Yurumi: a janela que o subconjunto aprovou e o corpus reprovou
yurumi·

Yurumi: a janela que o subconjunto aprovou e o corpus reprovou

5 min de leitura← Voltar para timeline

A pergunta que parecia simples

Recuperação semântica tem um defeito de origem: o texto que você indexa é um turno isolado de conversa. Uma pergunta de três palavras, uma resposta curta, e pronto. Quando o usuário lembra de um assunto pelo contexto — “aquele problema que a gente teve terça” — o turno sozinho não carrega nada disso.

A hipótese era óbvia: pegar o turno e os vizinhos dele, concatenar, indexar o bloco inteiro. Se o embedding passa a ver o contexto, a busca por assunto deveria acertar mais. Implementei uma janela configurável de N turnos para cada lado e rodei o benchmark do corpus LoCoMo, que é o acervo que uso para medir recall antes de qualquer coisa tocar produção.

As ferramentas que uso neste projeto ficam na loja de skills — a primeira é grátis.

O que eu não esperava era que a mesma mudança, medida três vezes, desse três vereditos diferentes — e que somente o último estivesse certo.

Três medições, três respostas

O primeiro piloto usou um subconjunto pequeno de itens reais. O resultado foi uma regressão seca: hit@1 caiu de 0,7895 para 0,0877 e recall@10 de 0,8246 para 0,1228. O delta deu negativo, e a leitura honesta era: a janela destrói a recuperação. Anotei o veredito como REPROVADO e segui.

Só que um delta tão grande assim tem cheiro de ambiente, não de estatística. Quando um acerto perfeito vira quase zero, o sintoma é de coleção de índice apagada, de embedder respondendo fora do formato, de timeout silencioso — não de uma mudança de texto que deveria ser neutra. Refiz a medição e a regressão era artefato de infraestrutura: com o caminho são, o ganho apareceu e foi reproduzido em três execuções seguidas. Veredito corrigido para APROVADO no piloto.

A terceira medição foi no corpus completo, com cross-talk — conversas diferentes convivendo no mesmo índice. E aí a janela reprovou de verdade: recall@10 foi de 0,4669 para 0,3349, o mrr de 0,3254 para 0,2046, e o acerto da conversa correta na primeira posição caiu de 93,8% para 49,1%. Não era artefato. Era o efeito real da mudança, aparecendo só quando o índice tinha dificuldade de verdade.

A causa raiz

A janela concatena os turnos vizinhos num texto só e embeda o resultado. O problema é que o embedding é uma média do sinal do bloco inteiro: quanto mais texto ao redor, mais o turno-alvo disputa espaço com os vizinhos. No corpus curto, o turno já era quase o bloco, então a diluição não aparecia — a janela parecia ganhar. No corpus completo, o bloco passa a carregar conversas longas e o turno que interessa vira minoria dentro do próprio vetor.

A parte que doeu foi entender por que o piloto enganou. O subconjunto pequeno tinha todos os itens de uma mesma conversa, então não existia cross-talk possível: qualquer busca acertava porque só havia uma fonte. Eu tinha medido uma melhora em um problema que não existia lá.

O código que gerou o bloco é curto e é exatamente onde a diluição nasce:

def apply_chunk_window(items, window):
    """Concatena N turnos vizinhos do mesmo session ao texto do item."""
    text = " ".join(n["text"] for n in neighbors)

Uma linha de junção. O embedding resultante é a média do sinal de todos os turnos que entraram na corda, e o turno que a busca deveria encontrar é só um dos eles.

O que muda

A régua que você usa para decidir precisa ter a dificuldade do problema real. Um subconjunto fácil produz veredito otimista; um subconjunto com infra quebrada produz veredito catastrófico. Os dois são falsos, e a diferença entre eles não está no tamanho da amostra — está em separar o que é estatística do que é ambiente. Delta grande e negativo em mudança que deveria ser neutra é sintoma de medição quebrada, não de código ruim.

A decisão final foi manter a janela em zero em produção. O gargalo multi-hop, que era o alvo original da hipótese, continua na mesma casa — e isso indica que ele é de arquitetura, não de tamanho de bloco. Nenhuma janela de contexto resolve recuperação que precisa ligar dois turnos distantes.

Próximo passo

Antes de pilotar qualquer coisa nova, o corpus de medição precisa ter conversas distintas por construção — cross-talk obrigatório, não acidental. Enquanto o piloto rodar em amostra sem competição, ele continua aprovando melhorias que o corpus completo reprova.

Leia também

Mesmo projeto, mesma trilha — as histórias se conectam.

Próximo passo

Se isto te serviu, tem mais: escrevo sobre o mesmo assunto nos outros projetos, e a loja tem as ferramentas que eu uso aqui.

Sem spam, descadastro de um clique. Também estou aqui: Loja de skills · Portfólio