🖥️ Computer Use para Agents Sem Chute de Pixel
Vou avaliar os candidatos da lista contra os critérios.
---
NOTA 9/10 — Vercel agent-desktop: ferramenta open-source muito acionável para computer use sem pixel guessing.
🖥️ Computer Use para Agents Sem Chute de Pixel
📌 Pra que serve
Integra agentes de IA (Claude Code, Codex, MCP) com apps desktop nativos via árvore de acessibilidade do SO. Em vez de o agent adivinhar cliques por screenshot, ele recebe um JSON com referências estáveis pra cada elemento clicável — mais preciso e economiza tokens.🛠️ Passo a passo
1. Instale o CLI:
npm install -g agent-desktop2. No seu agente ou MCP, configure o endpoint:
Aponte pro agent-desktop rodando localmente (default: localhost:8765).
3. Peça permissão de Acessibilidade:
- macOS: Preferências → Segurança → Acessibilidade → Adicione seu terminal/editor
- Windows/Linux: O app solicitará permissões ao first use
4. Tire um snapshot da tela:
agent-desktop snapshotRetorna JSON com cada elemento clicável listado — sem screenshots, só referências.
5. Agent opera via referência:
Agent lê o JSON, clica numa referência estável (button_42), confere resultado com novo snapshot. Zero pixel-guessing.
💡 Dica: Snapshots podem vazar dados sensíveis da tela — se usar em logs públicos (GitHub Issues), tenha cuidado; mantenha-os locais ou mascare.
🔗 Links e instalação
- GitHub (Apache 2.0): https://github.com/vercel-labs/agent-desktop
- Release notes: Em
RELEASES.mdno repo - Comando:
npm install -g agent-desktop - Docs: README no repo; bom pra integrar com seu próprio agent builder
---
NOTA 9/10 — Neywa Labs Nativ: app macOS grátis pra rodar modelos open localmente com APIs compatíveis.
🤖 Modelos Open Locais no Mac com API OpenAI-Compatible
📌 Pra que serve
Baixa e roda modelos open (Llama, Mistral, Qwen) direto no Mac com Apple Silicon, sem cloud, sem conta. Expõe APIs compatíveis com OpenAI/Anthropic pra Claude Code , Codex e Aider apontarem pra modelo local — privado, offline, monitorável.🛠️ Passo a passo
1. Baixe o app:
Acesse nativ.app, baixe pro Mac (requer macOS 15+, Silicon native).
2. Lance o app:
Abre interface com lista de modelos abertos (Llama 3.2, Mistral, Qwen, visão, etc).
3. Escolha e baixe um modelo:
Clica no modelo, app baixa pesos automaticamente. Live memory/speed meter no painel.
4. Aponte seu agente pro endpoint local:
Claude Code ou Codex: em Configurações, mude base URL pra http://localhost:8000 (default Nativ).
5. Chat/Code direto no seu Mac:
Agora Claude Code usa seu modelo local — sem latência cloud, sem enviar code pra fora.
💡 Dica: Especifique modelo pequeno se Mac tiver < 16GB RAM. Nativ mostra uso em tempo real — ajuste conforme.
🔗 Links e instalação
- Site oficial: https://nativ.app
- Reqs: macOS 15+, Apple Silicon (M1+), RAM conforme modelo
- Gratuito: Sem subscription, sem account, sem dados coletados
- APIs: Compatível OpenAI (
/v1/chat/completions) e Anthropic (/v1/messages)
---
NOTA 8/10 — Google Gemini Decisions API: modelo rápido pra decisões estruturadas yes/no, choice e rubric, sem gerar texto.
🎯 Decisões Estruturadas 150-250ms com Gemini Decision 1
📌 Pra que serve
Decision API (viagemini-decision-1) retorna scores pra opções fixas em 1 request — ideal pra routing automático, grading, policy checks. Não escreve texto: retorna score 0–1 com confiança, pra route unclear cases pra fallback/humano.🛠️ Passo a passo
1. Acesse Google AI Studio:
Vá pra https://aistudio.google.com (login Google grátis).
2. Crie um novo projeto e obtenha API key:
No painel, copie sua chave API (free tier incluído).
3. Chame a Decision API em código:
import google.generativeai as genaigenai.configure(api_key="SEU_GEMINI_API_KEY")
Yes/No decision
result = genai.GenerativeModel("gemini-decision-1").generate_content(
{
"decision_type": "yes
_no",
"input": "Does this email sound like spam? 'You won a million dollars!'",
"reasoning_level": "basic"
}
)
print(result.scores) # {yes: 0.95, confidence: 0.92}4. Pra multiple choice (2–255 opções):
result = genai.GenerativeModel("gemini-decision-1").generate_content(
{
"decision_type": "choice",
"input": "What's the best routing: fast, cheap, or high-quality?",
"options": ["fast", "cheap", "high-quality"],
"reasoning_level": "moderate"
}
)5. Pra rubric scores (categoria + nível):
score: "1-5" como estrutura; API retorna score + confiança💡 Dica: Batch até 1.000 questions num request (input compartilhado). Score baixo com confiança? Route pra humano.
🔗 Links e instalação
- Docs: https://ai.google.dev/api/decision
- Pricing: $0.10/M input tokens, sem output tokens, free tier pra prototipo
- Latência: Google cita 150–250ms end-to-end
- SDK:
pip install google-generativeai
---
NOTA 8.5/10 — Anthropic Claude Fable 5.2: modelo mais forte pra código e research com safeguards integrados.
🧠 Claude Fable 5.2 pra Ambição Técnica
📌 Pra que serve
Fable é a aposta Anthropic pra trabalho técnico pesado — debugging 10K-line, research papers, análise matemática profunda. Mesmo underlying model que Mythos, mas com cyber/biology safeguards padrão pra todos (Mythos é só orgs vetted).🛠️ Passo a passo
1. Instale o cliente Python:pip install anthropic
2. Configure sua chave API:export ANTHROPIC_API_KEY="sua-chave"
3. Chame Fable no código:import anthropic
client = anthropic.Anthropic()
response = client.messages.create(
model="claude-fable-5-2",
max_tokens=4096,
messages=[
{
"role": "user",
"content": "Debug este código recursivo que tá caindo em stack overflow. [código]"
}
]
)
print(response.content[0].text)
4. Pra usar