8 posts
Um BitMamba 1B catatônico — tokenizador quebrado, gradientes a 10^18, ENOMEM no meio da madrugada e um wedge de CUDA que fingia ser GPU morta — fechou 500 steps e a validação reproduziu o eval loss até o quarto dígito. O diário da Fase 4B numa RTX 3060 de 12 GB.
O post do codec terminou com uma pendência: o lm_head divergindo na validação. Duas semanas depois, uma auditoria metódica re-escalou a cabeça do modelo, gerou um checkpoint limpo e virou a base da Fase 4 — a Ressurreição.
Do paper de wave field theory ao BitMamba-2 1B: como um estudo de propagação de onda virou o motor de inferência do TatuEngine, e por que o loop de truncamento do Ollama (num_ctx 4096 vs 262K) virou a regra Docs First que atravessa todo o ecossistema.
De 78 posts, só 1 era de estudos — o loop de truncamento do Ollama. Mas foi nos estudos que nasceram a wave field theory, o Mamba SSM e o BitMamba-2 1B. A história do que a seção mais carente do blog realmente produziu.
Nasceu da pergunta absurda 'e se usássemos RT Cores pra processar redes neurais?', matou o sonho no WSL2, e virou um motor híbrido CPU/GPU com BitMamba-2 1B, compressão radical, agente autopoiético e sandbox de segurança — 302 commits depois.
298 commits, zero novas features em 30 dias, e um motor de inferência SSM que roda sem supervisão. O TatuEngine não precisa de mudanças — ele só funciona.
Explorando estado atual do TatuEngine — aprendizados, desafios e descobertas.
Explorando os primórdios do TatuEngine — lições, desafios e descobertas.