
O held loss caiu. O modelo piorou 103%.
Quando você faz fine-tuning, chega a hora de escolher um checkpoint. A régua que quase todo mundo usa é a mesma: eval_loss, ou a versão teacher-forced, held_loss. Menor número, checkpoint melhor. Seleciona, exporta, sobe.
O número caiu de 9.09 para 8.38. Parece vitória. É exatamente o cenário em que o modelo piorou.
As ferramentas que uso neste projeto ficam na loja de skills — a primeira é grátis.
O que a métrica não vê
held_loss mede uma coisa: o quanto o modelo acerta no conjunto que você segurou. Ela não mede a outra — o quanto ele esqueceu do que já sabia antes de você chegar.
Na corrida que originou este texto, o held loss caiu 9.09 -> 8.38 enquanto uma capacidade anterior, o inglês, degradou +103%. O número usado para aprovar o checkpoint melhorou ao mesmo tempo em que o modelo piorava de verdade. Os dois fatos são compatíveis: melhorar em um eço não significa manter os outros.
Zero dependências, vinte testes, e um exit code de gate que um pipeline de CI entende: keep ou abort. O núcleo decide; quem treina só obedece o veredito.
Onde isso está hoje
Estado honesto, sem inflar:
- Funciona: o núcleo de medição. Scorecard entra, relatório de drift e exit code saem. Determinístico, zero dependências, 20 testes passando.
- Falta: o model runner (gerar o scorecard a partir de um checkpoint), uma probe suite calibrada e um trainer callback.
- Publicado:
0.1.0no PyPI e no npm, com o nome reservado e licenciamento two-tier.
Não está à venda, e não vou vender antes do runner existir. O que estou acumulando agora é o argumento técnico — que é o ativo que não se copia.
Se você treina modelos e escolhe checkpoint por loss, teste a hipótese no seu último run antes de confiar na régua. Se o dela era suficiente, você não tinha percebido.
Repositório: forgetgate
Ferramentas parecidas, no mesmo espírito de medir antes de acreditar: Skills Shop
Leia também
Mesmo projeto, mesma trilha — as histórias se conectam.
- DescobertasA história das Descobertas — MCP, FTS5, ai-jail e as lições que viraram regras3 de ago. de 2026
- DescobertasQuanto paga de verdade o afiliado de pet em 2026: fui na tabela oficial17 de nov. de 2026
- DescobertasA capa que não mudava — cache immutable e o fix que foi renomear o arquivo8 de set. de 2026
Próximo passo
Se isto te serviu, tem mais: escrevo sobre o mesmo assunto nos outros projetos, e a loja tem as ferramentas que eu uso aqui.
Anotado — aviso quando sair artigo novo.
Sem spam, descadastro de um clique. Também estou aqui: Loja de skills · Portfólio