26 posts
O Arachne tinha uma funcionalidade inteira escrita, testada e verde — e que nunca esteve ligada. Quando destravei a montagem, ela continuou quebrada com 422 em toda chamada. Duas verdades passaram por cima do mesmo código sem tocar nele: teste que chama a função da rota direto nunca vê a app montada.
Três superfícies que diziam OK sem executar: o backup que pulava um banco de 300MB, a retenção que só olhava metade dos arquivos e oito asserções que nunca rodavam.
O Arachne deixa cada pessoa colocar a propria chave de modelo. A garantia de que essa chave so sai para o dono dependia de um campo opcional que, quando vazio, abria o caminho legado — e esse caminho era compartilhado por workspace. Um if de uma linha e meia era a borda entre a sua chave e a do seu colega.
Como o Arachne evoluiu de um scraper para uma plataforma de conhecimento pessoal com infra zero‑porta, busca híbrida e geração de bots.
O serviço parou de subir numa tarde comum e a guarda de porta jurava, a cada tentativa, que estava tudo livre. 79 reinícios em 24 minutos contra uma reserva que nenhum diagnóstico do convidado enxergava. A correção foi trocar o oráculo.
O cache de respostas do Arachne devolvia 'Brasília' pra quem perguntava sobre a França — cosseno 0.8531 contra threshold 0.85. A história de um bug nascido numa investigação de CI, a matemática que o escondeu e o guard de entidades que resolveu sem sacrificar o recall.
Antes de trocar o motor de busca do Arachne pelo Yurumi, precisei provar que o novo era no mínimo tão bom quanto o velho. Shadow dual-write, tráfego real, overlap@10 — e o número que ninguém espera: 0.511.
79 testes passando num dia, 4 falhando no outro, zero mudanças no código. O Arachne acumulou três sabores diferentes de flakiness em 48 horas — e cada um exigiu uma faca diferente: vetores aleatórios, rede que escapa do mock, e um assert que nunca rodou.
Um teste apagava as tabelas RAG no teardown. Numa rodada, a variável de ambiente apontando pro banco isolado foi ignorada pelo engine — e o DELETE caiu no arachne.db de produção, com o server vivo escrevendo nele. O que salvou os dados foi uma mensagem de erro.
A landing do Arachne carregava sem CSS, o watchdog reiniciava o serviço em loop invisível e um socat zumbi roubava a porta do dono legítimo. Três bugs encadeados em um único diagnóstico — e a lição de que um serviço 'parado' pode continuar causando estrago.
Três modelos de embedding, dois sistemas de busca, um benchmark caseiro: o estudo que começou com uma pergunta sobre similaridade semântica e terminou revelando os tradeoffs entre colibri, bge e openai — e como cada um deles encontrou seu lugar no ecossistema.
O relatório do axe-core não deixou escapatória: 92 nós de contraste falhos, botões sem nome, selects sem label, zoom bloqueado no onboarding. Em dois dias o Arachne foi de 60 nós de violação para zero em 16 rotas — trocando tokens de cor, adicionando aria-label, aprendendo na marra que Cloudflare immutable serve CSS velho e que CSS de SPA com code-split não mora onde você espera.
Navegação preditiva no Arachne: o agente recebe uma imagem da página, prevê em cadeia os próximos passos e executa de ponta a ponta. Cascata de fallback D→C→B→A, driver real no browser_agent, elo de scraping e broadcast WebSocket no Cockpit.
O pipeline de visão do Arachne evoluiu: qwen2.5vl:7b no Ollama WSL, fila arachne-vlm-jobs com worker arachne-vlm-w1, cache SQLite vlm_cache.db (sha256) e polling GET /api/extract/image-jobs/{id}. Visão exige JWT, PYTHONPATH api/ e PostgreSQL (não SQLite).
O Arachne rodava 10 serviços em Docker Compose. Kubernetes aparecia no meu CV como keyword desejada — mas eu não usava. Em vez de mentir, decidi adotar k3s de verdade: single-node, com plano em fases, rollback garantido e métricas de RAM como critério de parada.
De madrugada, o Arachne acordava intermitente: o workflow de scraping falhava com 'browser agent não disponível neste worker'. O journal mostrava um RuntimeError enigmático: o lock do browser pool estava preso a um event loop que não era o do worker. A causa: asyncio.Lock() criado no import. O fix: lazy init — nascer dentro do loop certo.
O Arachne respondia 200, mas as rotas autenticadas renderizavam vazio. Um Bug Hunter encontrou 1.239 erros de QueuePool no journal desde as 02:57. A causa: um generator de sessão que nunca era fechado — cada request vazava uma transação idle in transaction até o pool de 30 conexões estourar.
777 commits, 2818 testes, RAG híbrido, ReAct Agent com 42 tools, MCP server, e a evolução de um scraper simples pra uma plataforma de conhecimento.
De 3 projetos em junho pra 5 em julho, o ecossistema Samuel agora tem 2.396 commits, 3.647+ testes, e um agente orquestrando tudo.
25 ferramentas MCP, visão multimodal com IA local, observabilidade, billing e o sandbox que tornou o Arachne uma plataforma — o estado atual do projeto em julho de 2026.
Explorando busca híbrida — aprendizados, desafios e descobertas.
O scraper simples virou uma plataforma. Crawl4AI Sidecar, fallback automático em 4 camadas, e cache em SQLite com FTS5.
A arquitetura que realmente resolve extração de dados na web: Trafilatura, Crawl4AI SDK, Sidecar Docker e Camoufox — como cada camada funciona, os critérios de fallback, e o que aprendi no caminho.
Experimentando Crawl4AI no Arachne: sidecar Docker, SDK Python, comparação com Trafilatura e a decisão de usar fallback automático entre engines.
Cansado de scrapers que quebravam do nada e serviços caros de terceiros, resolvi construir minha própria plataforma de extração de dados.
A história real de como um scraper Python de 200 linhas virou uma plataforma com 740+ arquivos, RAG, pipelines visuais e 36 ferramentas ReAct.