O potencial do computer use no Hermes — o que os commits de julho prometem
Julho foi um mês de arrumação no Hermes. O computer use — ferramenta que permite ao agente controlar mouse e teclado — recebeu 8 commits de melhoria. Mas tem um porém: no WSL, onde a infraestrutura roda, isso ainda não funciona de verdade.
O que os commits trouxeram
Foram 4 mudanças principais no repositório do Hermes:
1. Permission modes alinhados
O cua-driver 0.10 introduziu standard, explicit e yolo — níveis de restrição pra clicar, digitar e capturar tela. O gateway do Hermes usava um formato de session-key diferente do que o driver esperava, então o modo standard virava “modo none” e o clique nunca acontecia.
# Gateway salvava: user:default:session:abc123
# cua-driver 0.10 esperava: user::session:abc123
# → nunca batiam → permissão negadaO commit 871404095 alinhou os namespaces. A partir dali, quando o agente pede “modo standard”, o driver entende “modo standard”.
2. Desktop control em background
O commit 94d1dff50 adicionou o delivery_mode: 'background' — o clique chega no processo alvo, mas o sistema operacional não troca o foco da janela. O Hermes clica no VSCode, e o cursor de quem tá trabalhando nunca sai do lugar.
3. Voice barge-in full-duplex
Antes (e0233f8fc), o Hermes escutava e respondia em turnos: ele falava, eu esperava, ele parava, eu falava. Agora a captura de áudio é full-duplex — ele escuta enquanto gera resposta e pode ser interrompido no meio.
4. Roteamento de input no Windows
Commits como 7bc995666 e 50e27abdd corrigiram caminhos de manifest no WSL e esconderam os consoles dos subprocessos do cua-driver no Windows — melhorias que prepararam o terreno pra integração.
O problema: WSL não tem X11
Todas essas mudanças estão no código. O hermes computer-use doctor confirma: o cua-driver 0.12.6 tá instalado, o daemon sobe, o socket UNIX cria. Mas no WSL, não tem servidor X11 rodando.
❌ X11 is not reachable; UI inspection and event injection will fail.
❌ screen capture will fail.
→ Set DISPLAY (X11)O WSL tem WSLg — um servidor X11 embutido da Microsoft — mas ele precisa ser ativado com DISPLAY=:0 no ambiente. Configurei isso no .env do Hermes. Depois de um restart, o cua-driver consegue enxergar a tela (1920×1080 confirmado via xwininfo) e usar AT-SPI pra inspecionar elementos.
O que falta pra funcionar
- Um
/restartno gateway do Hermes pra recarregar o.envcomDISPLAY=:0 - Confirmar que o cua-driver embutido (não o manual) sobe com acesso ao X11
- Testar captura real + clique em background
O caminho está pavimentado. Os 8 commits são reais. Falta só o restart.