4 posts
Perdi 810 steps de treino porque um checkpoint de 2 GB foi copiado direto no nome final e a máquina reiniciou no meio. Consertei a escrita no volume principal. Dois dias depois, o mesmo bug morava no espelho do segundo disco e tinha ficado pior: o arquivo truncado passava na checagem de retomada.
Retomei uma rodada do zero do último checkpoint e ela seguiu firme — steps passando, gradiente saudável, nenhuma mensagem de erro. Só que a taxa de aprendizado tinha encolhido três ordens de grandeza sem pedir licença. A causa: o agendador de LR restaura mais do que deveria ao carregar estado antigo, e a correção foram duas linhas.
A rodada da Fase 4 caiu no meio sem traceback, sem OOM e sem log de erro: o processo simplesmente deixou de existir. Caçar a causa virou uma lição sobre olhar a métrica certa — e sobre o custo invisível de deixar o driver da GPU varrendo o seu lixo.
O post do codec terminou com uma pendência: o lm_head divergindo na validação. Duas semanas depois, uma auditoria metódica re-escalou a cabeça do modelo, gerou um checkpoint limpo e virou a base da Fase 4 — a Ressurreição.