TatuEngine: o codec que fez o modelo caber — e o lm_head que não queria cooperar
TatuEngine·

TatuEngine: o codec que fez o modelo caber — e o lm_head que não queria cooperar

5 min de leitura← Voltar para timeline

O modelo que precisava caber

O BitMamba-2 1B é um modelo SSM de 1.58-bit — os pesos são ternários: {-1, 0, +1}. No disco, o .bin empacotado já é pequeno. Mas dentro do TatuEngine, a representação de inferência era um BVH 1:1: uma lente por peso. Cada peso virava um triângulo com posição, fase e refração — e um modelo de 1B de parâmetros virava uma estrutura centenas de vezes maior que o arquivo que ela representava.

Não cabia em VRAM. Não cabia em RAM com folga. E era absurdo carregar esse volume pra representar informação que o disco já guarda compacta.

As ferramentas que uso neste projeto ficam na loja de skills — a primeira é grátis.

Contexto

A teoria de campo do TatuEngine trata inferência como traversal óptico: uma PhaseWave atravessa a BVH de lentes, e cada peso contribui com um deslocamento de fase. Quanto mais lentes, mais cara a travessia — tanto em memória quanto em tempo.

O caminho 1:1 era simples mas suicida:

BVH 1:1:  estoura a VRAM da placa
BVH block: cabe no cache de nível 2

A ideia: em vez de uma lente por peso, uma lente compacta por bloco de pesos ternários — empacotamento de 2 bits por peso, mais escala e média de η. Um número pequeno de bytes no lugar de milhares de lentes individuais.

A luta

A conversão em si era mecânica: desempacotar o tensor ternário, agrupar em blocos, guardar a posição no tensor original. O código de conversão pré-calcula os valores ternários do tensor inteiro e só depois cria os blocos — evitando re-desempacotar a cada bloco.

E a travessia virava um loop com acúmulo em registro — o coração da lente.

Aí veio a parte que doeu. O teste comparava o resultado da travessia contra o bridge_matmul de referência, com memcmp + MSE por tensor:

in_proj:  MSE na ordem de ULP (diferenças de arredondamento)
out_proj: MSE na ordem de décimos (suspeita de acumulação)
lm_head:  divergência  debug em andamento

O in_proj saiu perfeito — diferenças de arredondamento no nível de unidades na última posição. O out_proj acusou um MSE na casa dos décimos, que já era suspeito: cheirava a ordem de acumulação, não a perda de informação. Mas o lm_head divergiu de verdade — e era o tensor mais importante, o que mapeia pro vocabulário.

Resolução

Mesmo parcial, o codec entregou o que prometia: a estrutura encolheu ordens de grandeza, e o save/load roundtrip com checksum provava que a representação era estável.

A validação não parou no codec. No mesmo dia, o Sprint 17 transformou a travessia de bloco em kernel CUDA com redução paralela e carregamento otimizado da BVH. O Teste de Ouro — coerência CPU ↔ GPU — fechou com coerência estrutural completa.

E o batch kernel mostrou por que valia a pena: ordens de grandeza de speedup na travessia em GPU contra CPU.

A lição do out_proj também se confirmou na prática: a travessia soma os blocos na ordem do BlockBVH, enquanto o bridge_matmul soma na ordem do tensor original — ordem de acumulação diferente, resultado levemente diferente. Não era perda de informação, era álgebra de ponto flutuante. O lm_head ficou como pendência registrada — o teste de ouro da GPU acabou validando a coerência estrutural que o codec tinha introduzido.

Métricas

MétricaValor
BVH 1:1 (1 lente por peso)inviável — estoura VRAM e RAM
Block BVH (codec ternário)ordens de grandeza menor
MSE in_proj vs bridge_matmulordem de ULP (arredondamento)
MSE out_projcasa dos décimos (ordem de acumulação)
lm_headdivergência no commit inicial (pendência)
Coerência CPU↔GPU (Teste de Ouro)coerência estrutural completa

Aprendizados

  • Compressão de modelo não precisa ser lossy pra ser radical: pesos ternários já são 2 bits — o desperdício estava na estrutura (1 lente por peso), não nos bits.
  • Validação por tensor separa os problemas: in_proj ULP-perfeito, out_proj com erro de acumulação e lm_head divergente são três diagnósticos diferentes — misturar tudo num número só esconderia a história.
  • Ordem de acumulação é o vilão silencioso de qualquer refatoração numérica: MSE discreto com memcmp idêntico por bloco não é bug — é ponto flutuante sendo ponto flutuante.
  • Commit honesto > commit perfeito: o primeiro commit do codec documentou “validação parcial” com o lm_head aberto. Isso virou trilha pra próxima etapa (a GPU), em vez de uma mentira enterrada.
  • O lm_head continua no backlog — os blocos de vocabulário merecem um capítulo próprio.

O próximo capítulo é o kernel que faz essa travessia voar — e o speedup no batch. Spoiler: o lm_head volta a aparecer.

Leia também

Mesmo projeto, mesma trilha — as histórias se conectam.

Próximo passo

Se isto te serviu, tem mais: escrevo sobre o mesmo assunto nos outros projetos, e a loja tem as ferramentas que eu uso aqui.

Sem spam, descadastro de um clique. Também estou aqui: Loja de skills · Portfólio