
O auditor que dava nota 100 sem olhar a tela
O auditor visual do painel dava nota 100 sem ter capturado imagem: PNG de outro dia, interpretador errado e prompt que induzia falso positivo.
65 posts

O auditor visual do painel dava nota 100 sem ter capturado imagem: PNG de outro dia, interpretador errado e prompt que induzia falso positivo.

Sete testes falhavam e o pytest abortava tudo com erro de WindowsPath. A causa era um monkeypatch em os.name que contaminava o processo inteiro, e o erro aparecia num lugar onde não havia teste nenhum.

Um processo ocioso zerou 9 destilados do histórico. O fix com max() criou o defeito seguinte: o incremento de um processo novo desaparecia.

Um patch de segurança que trocou o cliente HTTP de vinte rotas passou na revisão, no lint e no build. A suíte completa acusou 22 falhas: 20 eram minhas. O pior grupo não era o que falhava alto, era o que continuava verde sem testar nada.

Três scripts mediam o mesmo checkpoint e liam, sem saber, um gêmeo parado dois dias antes. O caminho parecia certo, e por isso ninguém desconfiou.

A suíte do portfólio tinha 599 testes verdes e quatro arquivos que nunca exercitavam o código que diziam cobrir. Um deles chamava GET numa rota que só exporta POST. Outro mockava o módulo de React inteiro, tornando inalcançável justamente o caso que precisava provar.

A rotina de testes do Capivara criava convites de verdade e o endpoint disparava e-mail de verdade. Em cinco dias, 410 mensagens saíram para endereços que não existem, com 295 bounces. O domínio remetente é o mesmo que atende a loja, o app de passeio e o portfólio.

Um NameError silencioso no webhook de assinatura, uma marca de idempotência gravada cedo demais e um teste que exigia o token de redefinição no HTML.

Um teste de regressão visual que dependia de ver o erro de login parou de ser confiável porque o servidor de preview respondia 502 na própria rota que o mock devia interceptar. A config passou a escolher o servidor conforme o teste, e a mensagem de verificação do Turnstile deixou de descrever o sistema para dizer o que o usuário precisa fazer.

Um guard de auditoria exigia quatro campos de procedência em cada plano de trabalho. Rodei ele contra o acervo e descobri que cumpria 1 de 500 planos — 0,2%. A causa não era preguiça de quem escrevia: a regra existia só numa branch nunca mergeada. O que muda quando a regra entra no contrato com teto proporcional ao tamanho do plano, e por que o guard passou de 0,2% para 15% de aderência em três dias.

O jogo do terminal ainda anunciava o domínio antigo meses depois da migração. Criei um guard para essa classe de erro e ele passou a mentir de três formas: não olhava PDF, não conseguia ler o texto do PDF, e no CI não tinha a ferramenta para abrir o arquivo.

Dezesseis verificações de coerência passaram, a diferença entre CPU e GPU ficou na casa do bilionésimo, e mesmo assim o motor gerava texto sem sentido. O defeito só apareceu quando um segundo motor, escrito por outra pessoa, leu o mesmo arquivo de modelo.

A evolução recente do blog: melhorias de acessibilidade WCAG AA, correções de tags, e o ciclo de posts 2/dia. Uma jornada de engenharia de qualidade e consistência.

A suíte E2E derrubou o CI duas vezes com o mesmo sintoma: o servidor de preview não subia. O primeiro culpado tinha nome e endereço. O segundo estava escondido atrás dele, com a mesma assinatura exata. Dois defeitos, um código de saída — e a lição de que tempo de vida também é diagnóstico.

Dois commits no mesmo dia no Dogwalk. O primeiro normalizou a data do agendamento para acabar com três formatos convivendo no banco. O segundo desfez metade do primeiro, porque a normalização reinterpretava o instante e movia o passeio três horas. O guard de contrato de tempo foi quem barrou.

O PR parecia só um bump: a lib foi para 1.65, o binário ficou em 1.63, e os três shards do CI morreram antes de executar um único teste.

Três furos fechados em 48 horas no mesmo motor de verificação: uma chave nula que em Node virava zero e liberava qualquer nota, um ambiente herdado que fazia o mesmo commit dar dois resultados, e um timeout que matava o processo pai e deixava quatro filhos consumindo CPU por mais de uma hora.

Três suítes quebraram no mesmo dia em dois projetos diferentes, todas com a mesma mensagem de timeout — e nenhuma delas tinha regressão. A causa era o load average do host em 81. O que muda quando o orçamento do teste é dimensionado pela latência observada em vez de um número escolhido no susto.

Cento e dois testes passando, e qualquer conta autenticada ainda lia o GPS ao vivo do passeio de outra pessoa. A auditoria estática do backend do PataPass achou três falhas de ownership que a suíte não cobria.

O banner prometia 'Aceitar tudo' e gravava ads: false. canShowAds() devolvia false sempre, então nenhum anúncio carregava mesmo com o AdSense configurado. A correção levou três commits em dois dias, e o último não foi sobre o bug — foi sobre a promessa errada no rótulo.

Uma área de atendimento desenhada no mapa nunca aceitava nenhum ponto dentro dela. O algoritmo estava correto na forma e errado nos eixos: comparava latitude com longitude. Duas linhas trocadas, e o geofencing do PataPass simplesmente não existia.

Todo check saía aprovado. Não porque o sistema estivesse certo, mas porque o runner escrevia PASS no papel antes de olhar o resultado. O defeito ficou invisível por semanas: um gate que sempre concorda não é um gate, é um carimbo.

Oito testes falhavam e nenhum deles era um bug de produto: cada um media o estado da máquina em vez do contrato. Um deles passava sozinho, passava com filtro por nome, e só falhava na suíte completa — porque um arquivo deixava uma variável de ambiente alterada no import e ninguém desfazia.

Um guard de CSRF correto no código e inútil na borda: a allowlist de origins esquecia o host www, e todo POST de cadastro e login morria com 403 antes de chegar ao backend.

Em 48 horas, dois instrumentos de medição do projeto entregaram resposta errada. Um listava um terço do que existia por ordenar texto como texto. O outro fabricava número onde faltava dado. A cura dos dois foi a mesma.

A mesma mudança deu três vereditos diferentes em três medições. Um piloto com 80 itens aprovou, outro com 426 reprovou, e só o corpus completo mostrou a causa raiz: a janela diluía o embedding do turno-alvo.

Fechei um vazamento de topologia no endpoint de saúde da API e, no mesmo commit, deixei o painel de Monitoramento exibindo um grid vazio por doze horas. A página não quebrou: ela mentiu com educação.

Um bloco de shell na última linha de um post já publicado. O mesmo defeito estava em 18 posts, e nenhum dos meus gates olhava o corpo do artigo: um olhava tag, outro olhava par PT/EN. Escrevi o guard que faltava — e a primeira versão dele acusou 9 posts inocentes.

Um verificador que dizia OK e saía com código zero sem declarar quantos checks tinha executado. Em 1º de novembro eu reproduzi o defeito: três cenários, três aprovações falsas. O que muda quando o atestado passa a exigir a contagem explícita.

Duas imagens declaradas no manifest do PWA tinham dimensões completamente diferentes das que o app realmente renderizava — e o Chrome sinalizava isso no rich install. A cura envolveu ler o header binário do PNG.

13 links cruzados, zero com UTM: a medição do portfólio chegava sem saber quem mandou, e a cura foi um helper de 59 linhas que etiqueta cada saída.

Um transporter concluía o onboarding do Stripe Connect e caía numa rota que o app bloqueava para o papel dele: o callback nunca rodava e a conta continuava sem receber — sem um único erro na tela.

A suíte de testes do Portfólio passou um dia olhando para um site estrangeiro: a causa foi um preview reutilizado na porta sob teste, e a cura virou laço de liberação de porta mais um teste de identidade que falha na primeira navegação.

O roteador devolvia sucesso, o mailbox gravava, e a mensagem podia terminar em uma caixa que nenhum processo lia. Três defeitos de endereçamento e um aviso sem confirmação — a história de como o agent-to-agent do Yurumi ganhou um recibo.

O carregador de chaves documentava que o ambiente do processo vence os arquivos .env. O código fazia o contrário desde a primeira versão — e o único teste capaz de denunciar isso só rodava quando a máquina já tinha a resposta certa.

Um commit às 2h37 de uma manhã de junho tornou o lint e os testes não-bloqueantes no CI do Portfólio, com uma justificativa razoável. Cento e trinta e dois dias depois, o repositório tinha 14 erros de lint e um teste quebrado no master, e o pipeline continuava verde.

O run 2 provou que o TatuEngine aprendeu português e esqueceu inglês. Os dois runs seguintes provaram outra coisa: eu media esse esquecimento numa amostra cujo erro era maior que o efeito que queria enxergar — 16 linhas de 166.

Três bases de 20 MB, 16 segmentos de WAL e dois ensaios que compararam inventário de tabelas entre produção e cópia restaurada. O que aprendi medindo a recuperação em vez de confiar no arquivo salvo.

A suíte do Capivara passava no CI e quebrava no meu terminal. A causa não era o meu código: era o Node 26 declarando um localStorage global que ficava undefined, e o jsdom desistindo de copiar o dele.

Como o Dogwalk evoluiu em outubro de 2026: 1 379 testes, Stripe Connect e deploy automático via Cloudflare Pages.

O Arachne tinha uma funcionalidade inteira escrita, testada e verde — e que nunca esteve ligada. Quando destravei a montagem, ela continuou quebrada com 422 em toda chamada. Duas verdades passaram por cima do mesmo código sem tocar nele: teste que chama a função da rota direto nunca vê a app montada.

Três superfícies que diziam OK sem executar: o backup que pulava um banco de 300MB, a retenção que só olhava metade dos arquivos e oito asserções que nunca rodavam.

Pinar o sqlmodel, um helper único de tempo e o next-walk que aparecia com três horas de desvio — a rodada tz-aware de 05/10.

Um pip install resolveu. Depois um bisect medido mostrou que a fronteira entre funcionar e quebrar estava numa dependência, não no meu código. E, no caminho, doze cópias de uma função de cinco linhas viraram um helper só.

O Arachne deixa cada pessoa colocar a propria chave de modelo. A garantia de que essa chave so sai para o dono dependia de um campo opcional que, quando vazio, abria o caminho legado — e esse caminho era compartilhado por workspace. Um if de uma linha e meia era a borda entre a sua chave e a do seu colega.

Um PR aprovado, um merge-tree que passa e mesmo assim o CI volta ao vermelho: o trabalho local de outra sessao reintroduzia o erro que o PR acabara de consertar. O guard que transforma isso em reprovacao antes do commit.

Como o Estudos criou um sistema que valida fixtures contra o schema real do banco, evitando que testes passem por engano por nove dias.

Um health check que só olhava o código HTTP deixou passar respostas truncadas e vazias por dias. A sonda que veio depois mede o corpo, não o envelope.

A /explorar do Dogwalk ganhou zonas de cobertura, e a primeira versão carregava o vínculo entre cuidador e região numa página pública sem login. O conserto não foi esconder um campo: foi decidir que a zona só carrega agregados — e transformar o teste que exigia o dado em teste que exige a ausência dele.

O harness de testes do portfólio media contraste numa porta. Quando o endereço vinha de variável de ambiente, o servidor da branch nunca subia — e quem respondia ali era outro programa. O teste nunca mentiu, só respondeu outra pergunta.

hreflang é a tag que conta ao Google que cada página também existe em outro idioma — mas só vale se os dois lados se apontarem de volta. Aqui, 350 desses links apontavam para endereços que nunca existiram. O texto explica o que é a tag, como ela deveria funcionar, e onde a nossa premissa quebrou.

Uma ponte de ingestão pedia uma coluna que o banco nunca teve. Nove dias de execuções com código de saída zero e nada coletado. O detalhe incômodo: o teste passava porque a fixture tinha o MESMO erro da query. Corrigir o bug foi a parte fácil — o aprendizado foi sobre o que um teste verde realmente prova.

Uma semana depois de consertar os endpoints que não conectavam, o Dogwalk descobriu que aperto de mão repetido é pior que nenhum: o segundo accept() derrubava a conexão logo depois de abrir. E o primeiro conserto ainda deixou um socket morto entrando na sala.

O serviço parou de subir numa tarde comum e a guarda de porta jurava, a cada tentativa, que estava tudo livre. 79 reinícios em 24 minutos contra uma reserva que nenhum diagnóstico do convidado enxergava. A correção foi trocar o oráculo.

Durante meses olhei para o ponto verde do pipeline como se fosse prova. Quando tirei as duas linhas que engoliam o código de saída dos testes, o primeiro run honesto da história do repositório devolveu 8 falhas em 417 testes. A cura não foi escondê-las de novo: foi dar à dívida um endereço, um dono e um vencimento.

O cache de respostas do Arachne devolvia 'Brasília' pra quem perguntava sobre a França — cosseno 0.8531 contra threshold 0.85. A história de um bug nascido numa investigação de CI, a matemática que o escondeu e o guard de entidades que resolveu sem sacrificar o recall.

Antes de trocar o motor de busca do Arachne pelo Yurumi, precisei provar que o novo era no mínimo tão bom quanto o velho. Shadow dual-write, tráfego real, overlap@10 — e o número que ninguém espera: 0.511.

79 testes passando num dia, 4 falhando no outro, zero mudanças no código. O Arachne acumulou três sabores diferentes de flakiness em 48 horas — e cada um exigiu uma faca diferente: vetores aleatórios, rede que escapa do mock, e um assert que nunca rodou.

Um teste apagava as tabelas RAG no teardown. Numa rodada, a variável de ambiente apontando pro banco isolado foi ignorada pelo engine — e o DELETE caiu no arachne.db de produção, com o server vivo escrevendo nele. O que salvou os dados foi uma mensagem de erro.

O botão de status passou a funcionar na sessão — mas um F5 apagava tudo: o passeador recarregava a página e voltava como offline pro sistema inteiro. A continuação direta do botão fantasma: persistência real do status online, do front ao PATCH do perfil.

O toggle 'Ficar Online' do walker renderizava, animava e até mudava de cor. Mas o handler era uma função vazia: o estado nunca saía de 'online'. A história de como um teste de loop pegou um botão fantasma e devolveu o status online de verdade.

Depois de achar 28 textos PT hardcoded espalhados pelo Portfólio (botões, aria-labels, modais, tracking), criei um teste de auditoria que varre os componentes e falha o CI se qualquer texto português aparecer fora do t(). A lição: os testes antigos estavam ancorados no bug — buscavam o texto PT literal em vez do contrato i18n.

970 commits, 1456 testes, Stripe Connect, Open Design, e a saga de transformar um marketplace de pets em uma plataforma que não quebra no deploy.

Como os testes end-to-end transformaram a qualidade e confiança no desenvolvimento do Dogwalk — a história real de uma stack que aprendeu a se testar sozinha.

De zero testes a 853: como os testes Playwright viraram o backbone de qualidade do Dogwalk/PataPass, os aprendizados e o que mudou no processo.