Treinamento

3 posts

14 de set. de 2026

Dois gigabytes que não eram dois gigabytes

Perdi 810 steps de treino porque um checkpoint de 2 GB foi copiado direto no nome final e a máquina reiniciou no meio. Consertei a escrita no volume principal. Dois dias depois, o mesmo bug morava no espelho do segundo disco e tinha ficado pior: o arquivo truncado passava na checagem de retomada.

Continuar lendo →

TatuEngine checkpoint Treinamento

TatuEngine

08 de set. de 2026

O modelo que voltou do coma

Um BitMamba 1B catatônico — tokenizador quebrado, gradientes a 10^18, ENOMEM no meio da madrugada e um wedge de CUDA que fingia ser GPU morta — fechou 500 steps e a validação reproduziu o eval loss até o quarto dígito. O diário da Fase 4B numa RTX 3060 de 12 GB.

BitMamba 1B — treinando o primeiro modelo SSM

A jornada (e as crateras) de treinar um Mamba-2 de 1.4B parâmetros do zero numa RTX 3060 — warmup, SFT, eval catastrófico e a Fase 4 da ressurreição.

Continuar lendo →

TatuEngine bitmamba Treinamento

Navegar por tags

Dois gigabytes que não eram dois gigabytes

O modelo que voltou do coma

BitMamba 1B — treinando o primeiro modelo SSM