
Como o TatuEngine parou de estourar memória com pesos ternários
Agentes autônomos de código entram em falha silenciosa por dois motivos principais: alucinação sintática não tratada e exaustão de memória na camada de inferência.
No TatuEngine, o gargalo era o peso. Um único tensor de peso ocupava uma fatia grande o bastante para inviabilizar o modelo em VRAM de GPU consumidora — cada parâmetro custava dezenas de bytes, e com um bilhão deles a conta não fechava de jeito nenhum. A compressão veio do block encoding: os pesos passaram a ser guardados em blocos de valores ternários, e o formato reduziu o footprint por uma ordem de grandeza sem que a inferência perdesse coerência.
As ferramentas que uso neste projeto ficam na loja de skills — a primeira é grátis.
O que mudou na prática:
- Inferência em GPU: o traversal paralelo da hierarquia de volumes na GPU ficou bit-a-bit idêntico ao ground truth de CPU, com a suíte de coerência passando inteira e diferença de fase zero.
- Block-encoded structure: a mesma estrutura agora cabe na VRAM com folga, contra um formato empacotado que já estourava o orçamento.
- Pipeline híbrido: a CPU cuida do estado recorrente e o restante roda em GPU, o que derrubou o tempo por token de minutos para frações de segundo.
O que NÃO fizemos (e por quê):
- Não publicamos um comando de instalação que não roda. O CLI real do
ai-test-loopexige--confige aceita--json,--quiet,--dry-run,--show-state. Qualquer botão “copiar e colar” precisa refletir isso — caso contrário a conversão morre no terminal do visitante.
Se você monta pipeline de inferência local e está batendo em VRAM, o caminho não é quantizar pós-treino — o TatuEngine perde coerência nesse caso, só funciona treinado desde o zero com pesos ternários. O caminho é block encoding + traversal em GPU + pipeline híbrido.
O paradigma por trás: em vez de multiplicações de ponto flutuante, operações de adição sobre tensores ternários. Isso tira o peso da unidade de ponto flutuante e mapeia direto para os warps da placa — cada bloco de pesos cabe num warp, e o resultado da travessia paralela bate com o do ground truth.
Leia também
Mesmo projeto, mesma trilha — as histórias se conectam.
Próximo passo
Se isto te serviu, tem mais: escrevo sobre o mesmo assunto nos outros projetos, e a loja tem as ferramentas que eu uso aqui.
Anotado — aviso quando sair artigo novo.
Sem spam, descadastro de um clique. Também estou aqui: Loja de skills · Portfólio