OdisseIA100%0← todas as jornadas
Programação

🚀 RAG em Produção: Por que seu tutorial quebra quando sai do laptop

📌 Pra que serve

Você testou RAG no laptop com um dataset pequeno e funcionou. Em produção com 10 mil queries/dia, retorna respostas antigas, queima orçamento de LLM e alucinações explodem. Este guia cobre o gap entre "tutorial que funciona" e "sistema RAG que não falha em produção": métricas verdadeiras, chunking adaptado, custos vetoriais e observabilidade.

🛠️ Passo a passo

1. Meça o que importa, não Recall@5
Seu test set é pequeno e tendencioso. Produção traz typos, contexto faltante, perguntas que não estão na base. Use um query log com 7 campos: (query, chunk_ids, resposta_gerada, ação_do_usuário, latência, custo, timestamp). Analise as linhas ruins toda semana.

2. Chunking não é tamanho fixo

3. Custo do Vector DB muda com volume
Pinecone é barato em 100 queries/dia. Em 10 mil/dia, Qdrant Cloud flat-rate fica mais em conta. pgvector é grátis se você já usa Postgres — mas crie o índice HNSW ou cada query é scan sequencial.

4. Avaliação separa "eu entreguei" de "eu consigo melhorar"
Sem eval harness, cada tweek é achismo. Use LLM-as-judge (pin o modelo, calibre a rubrica, valide inter-rater agreement com teste Wilcoxon). 50 queries com protocolo de 5 passos de revisão humana dão sinal real.

5. Observabilidade RAG ≠ Observabilidade de API
Três alertas no pager:

Tudo mais vai num dashboard Grafana semanal. Debug script crítico: pega a query, roda retrieval novamente, mostra chunks retornados e quais o LLM usou. Resolve "resposta errada" em 5 min,
não 1 hora.

💡 Dica: Comece com pgvector + Postgres se não tiver volume gigante. Migrar depois é fácil; pagar por vector DB caro desde cedo não é.

🔗 Links e instalação

Artigo original: https://dev.to/aiunplugged/your-rag-tutorial-works-on-your-laptop-the-production-version-will-break-heres-what-nobody-58j

Repositório com código:

Setup rápido (pgvector + Python):

pip install langchain pgvector psycopg2

Crie índice HNSW no Postgres:

CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops);

Vendors suportados: Claude, OpenAI, modelos locais; pgvector, Qdrant, Pinecone, Chroma, Weaviate, LanceDB.

Espalhe esta jornada WhatsApp Telegram X LinkedIn
⚓ Fonte original💬 Ver e comentar no Discord

Essa jornada nasceu na comunidade — entra que é grátis e tem gente remando junto.

Entrar no Discord da OdisseIA