
TatuEngine — primeiros experimentos com wave field theory
Contexto
O TatuEngine nasceu de uma pergunta boba: “RT Cores processam redes neurais?” Parece piada, mas a ideia por trás tinha fundamento real — uma rede neural é, no fim, uma função que transforma um vetor de entrada num vetor de saída. A pergunta certa era: “se eu tratar inferência como propagação de onda num campo de fase, o que acontece?”
Essa pergunta começou os experimentos.
As ferramentas que uso neste projeto ficam na loja de skills — a primeira é grátis.
O sonho original: pesos como geometria
A metáfora inicial era elegante demais pra abandonar:
Peso ternário w ∈ {-1, 0, +1} → lente com η = w
Posição da lente → f(layer, row, col) no espaço 3D
Token de entrada → raio com fase inicial φ₀
Saída → interferência de todas as ondas no detector
Cada peso virava um triângulo numa BVH. Uma inferência era literalmente um ray-trace: disparar raios, calcular desvio de fase, somar coerentemente.
O problema apareceu rápido: 1 bilhão de parâmetros em float32 = dezenas de GB de lentes. Sem chance de caber em VRAM de GPU consumidor.
O primeiro pivot: abordagem híbrida
Em vez de converter TUDO em geometria (impossível), dividi o pipeline: matmuls pesados na GPU (99% dos FLOPs), o resto na CPU. Essa divisão não foi óbvia no começo — o SSM do Mamba é inherentemente sequencial, não se paraleliza sobre o tempo como attention.
A descoberta que mudou tudo: Block Codec
A abordagem híbrida funcionou, mas ainda era cara. Aí veio o insight: pesos ternários seguem padrões locais. Blocos consecutivos de pesos compartilham zero, sinal e magnitude similar.
Em vez de 1 lente por peso na representação 1:1, um bloco compacto cabia em um bloco enxuto — uma fração de byte por peso, bem abaixo da representação 1:1. O kernel de travessia processa blocos inteiros em paralelo.
O que aprendi com esses experimentos
1. Ternarizar depois do treino destrói coerência
O modelo que testei (BitMamba-1B) já era ternário nativo. Tentei ternarizar um modelo float32 pós-treino e os logits viraram ruído. Modelos ternários precisam ser treinados assim desde o início.
2. Softplus com float32 estoura silenciosamente
expf(89.0f) = +inf. Quebrou meus testes de SSM step por 2 dias até perceber que o softplus do A_log gerava inf nos últimos batches. A solução é a formulação numericamente estável.
3. SSM não carrega história no hidden state
Esperava que o hidden state h(t) carregasse contexto, tipo RNN. Mas Δh ≈ 0 entre tokens consecutivos. A memória real do Mamba está no kv_cache (conv buffer + SSM state). O hidden é quase um pass-through.
O que vem a seguir
O pipeline híbrido é funcional, mas a visão original não foi totalmente realizada: os pesos não são geometria real durante a inferência — o Block Codec é uma representação comprimida, não uma travessia óptica de verdade.
O próximo passo é conectar o MotorGPU com o pipeline de agente (Immunosystem, LTM associativo, GoalStack, ToolUseBuffer). O agente deve conseguir chamar ferramentas, lembrar sessões passadas e auto-corrigir o campo de fase baseado em feedback.
TL;DR: Comecei querendo fazer ray tracing pra redes neurais, descobri que SSM híbrido é o caminho real, comprimi o modelo com o Block Codec e alcancei speedup de ordens de grandeza em GPU. O TatuEngine não é mais uma ideia maluca — é um motor de inferência funcional que trata pesos de rede como um campo de fase.
Leia também
Mesmo projeto, mesma trilha — as histórias se conectam.
Próximo passo
Se isto te serviu, tem mais: escrevo sobre o mesmo assunto nos outros projetos, e a loja tem as ferramentas que eu uso aqui.
Anotado — aviso quando sair artigo novo.
Sem spam, descadastro de um clique. Também estou aqui: Loja de skills · Portfólio