Como o TatuEngine parou de estourar memória com pesos ternários
TatuEngine·

Como o TatuEngine parou de estourar memória com pesos ternários

3 min de leitura← Voltar para timeline

Agentes autônomos de código entram em falha silenciosa por dois motivos principais: alucinação sintática não tratada e exaustão de memória na camada de inferência.

No TatuEngine, o gargalo era o peso. Um único tensor de peso ocupava uma fatia grande o bastante para inviabilizar o modelo em VRAM de GPU consumidora — cada parâmetro custava dezenas de bytes, e com um bilhão deles a conta não fechava de jeito nenhum. A compressão veio do block encoding: os pesos passaram a ser guardados em blocos de valores ternários, e o formato reduziu o footprint por uma ordem de grandeza sem que a inferência perdesse coerência.

As ferramentas que uso neste projeto ficam na loja de skills — a primeira é grátis.

O que mudou na prática:

  • Inferência em GPU: o traversal paralelo da hierarquia de volumes na GPU ficou bit-a-bit idêntico ao ground truth de CPU, com a suíte de coerência passando inteira e diferença de fase zero.
  • Block-encoded structure: a mesma estrutura agora cabe na VRAM com folga, contra um formato empacotado que já estourava o orçamento.
  • Pipeline híbrido: a CPU cuida do estado recorrente e o restante roda em GPU, o que derrubou o tempo por token de minutos para frações de segundo.

O que NÃO fizemos (e por quê):

  • Não publicamos um comando de instalação que não roda. O CLI real do ai-test-loop exige --config e aceita --json, --quiet, --dry-run, --show-state. Qualquer botão “copiar e colar” precisa refletir isso — caso contrário a conversão morre no terminal do visitante.

Se você monta pipeline de inferência local e está batendo em VRAM, o caminho não é quantizar pós-treino — o TatuEngine perde coerência nesse caso, só funciona treinado desde o zero com pesos ternários. O caminho é block encoding + traversal em GPU + pipeline híbrido.

O paradigma por trás: em vez de multiplicações de ponto flutuante, operações de adição sobre tensores ternários. Isso tira o peso da unidade de ponto flutuante e mapeia direto para os warps da placa — cada bloco de pesos cabe num warp, e o resultado da travessia paralela bate com o do ground truth.

Leia também

Mesmo projeto, mesma trilha — as histórias se conectam.

Próximo passo

Se isto te serviu, tem mais: escrevo sobre o mesmo assunto nos outros projetos, e a loja tem as ferramentas que eu uso aqui.

Sem spam, descadastro de um clique. Também estou aqui: Loja de skills · Portfólio