🚀 RAG em Produção: Por que seu tutorial quebra quando sai do laptop
📌 Pra que serve
Você testou RAG no laptop com um dataset pequeno e funcionou. Em produção com 10 mil queries/dia, retorna respostas antigas, queima orçamento de LLM e alucinações explodem. Este guia cobre o gap entre "tutorial que funciona" e "sistema RAG que não falha em produção": métricas verdadeiras, chunking adaptado, custos vetoriais e observabilidade.
🛠️ Passo a passo
1. Meça o que importa, não Recall@5
Seu test set é pequeno e tendencioso. Produção traz typos, contexto faltante, perguntas que não estão na base. Use um query log com 7 campos: (query, chunk_ids, resposta_gerada, ação_do_usuário, latência, custo, timestamp). Analise as linhas ruins toda semana.
2. Chunking não é tamanho fixo
- Docs narrativas → semantic chunking (agrupa por significado)
- Código/Markdown → structural chunking (respeita blocos)
- PDFs com tabelas → parent-child retrieval
- Versionie cada estratégia; use delta-reindex: hash cada chunk, re-embeda só o que mudou (reduz custo 99% em edits pequenos)
3. Custo do Vector DB muda com volume
Pinecone é barato em 100 queries/dia. Em 10 mil/dia, Qdrant Cloud flat-rate fica mais em conta. pgvector é grátis se você já usa Postgres — mas crie o índice HNSW ou cada query é scan sequencial.
4. Avaliação separa "eu entreguei" de "eu consigo melhorar"
Sem eval harness, cada tweek é achismo. Use LLM-as-judge (pin o modelo, calibre a rubrica, valide inter-rater agreement com teste Wilcoxon). 50 queries com protocolo de 5 passos de revisão humana dão sinal real.
5. Observabilidade RAG ≠ Observabilidade de API
Três alertas no pager:
- Retrieval retornou zero chunks
- Custo por query extrapolou SLA
- p95 latency quebrou limite
Tudo mais vai num dashboard Grafana semanal. Debug script crítico: pega a query, roda retrieval novamente, mostra chunks retornados e quais o LLM usou. Resolve "resposta errada" em 5 min,
não 1 hora.
💡 Dica: Comece com pgvector + Postgres se não tiver volume gigante. Migrar depois é fácil; pagar por vector DB caro desde cedo não é.
🔗 Links e instalação
Artigo original: https://dev.to/aiunplugged/your-rag-tutorial-works-on-your-laptop-the-production-version-will-break-heres-what-nobody-58j
Repositório com código:
chunkers.py(10 estratégias de chunking)retriever.py(abstração agnóstica de vendor)evaluator.py,logger.py, configs Docker/Vercel/Kubernetes
Setup rápido (pgvector + Python):
pip install langchain pgvector psycopg2Crie índice HNSW no Postgres:
CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops);Vendors suportados: Claude, OpenAI, modelos locais; pgvector, Qdrant, Pinecone, Chroma, Weaviate, LanceDB.