🔍 RAG do Zero ao Hero: Construindo Sistemas de Recuperação em Python
📌 Pra que serve
RAG (Retrieval-Augmented Generation) resolve dois problemas graves das LLMs: alucinações (respostas falsas mas convincentes) e conhecimento desatualizado. A ideia é recuperar documentos externos relevantes e passar como contexto pra gerar respostas precisas. Você treina o sistema uma vez, atualiza os documentos conforme necessário, e o modelo sempre responde com base no que você realmente tem.
🛠️ Passo a passo
1. Preparação do ambiente
pip install scikit-learn faiss-cpu numpy2. Carregue e divida seus documentos (chunking)
O truque aqui é não cortar frases no meio. Use chunks com 200-500 caracteres de tamanho, com sobreposição de 50 caracteres pra preservar contexto.
3. Vetorize com TF-IDF
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(stop_words="english")
vectors = vectorizer.fit_transform(chunks)TF-IDF calcula a importância de palavras: quanto mais frequente no seu documento, mais peso. Comum é ótimo? Menos peso.
4. Indexe com FAISS
FAISS (Facebook AI Similarity Search) é seu mecanismo de busca eficiente. Converta os vetores TF-IDF em densos e adicione ao índice. Usa cosine similarity: quanto maior o ângulo entre vetores, menos relacionados são.
5. Recuperação: transforme a pergunta em vetor
Mesmo processo TF-IDF. Busque os 3-5 chunks mais próximos no índice FAISS.
6. Melhorias (Advanced RAG)
- Query rewriting: envie a pergunta pro LLM reescrever pra busca melhor. "Quem é Spider-Man?" vira "Detalhes sobre Peter Parker, poderes, origem..."
- Reranking: pegue os chunks recuperados e peça pro LLM ordená-los por relevância real.
7. Flexibilidade (Modular RAG)
- Routing: o sistema decide se responde com conhecimento próprio ou precisa recuperar.
- Query fusion: gera múltiplas queries e combina resultados com Reciprocal Rank Fusion (RRF).
8. Cone
cte ao LLM
prompt = f"""Responda usando APENAS o contexto.
Se a resposta não está, diga "Não sei".Contexto:
{retrieved_context}
Pergunta:
{user_question}"""
💡 Dica: Comece com Naive RAG (simples). Só adicione Query Rewriting e Reranking se a recuperação ficar ruim. Prematura otimização é inimiga.
🔗 Links e instalação
- Artigo completo: https://dev.to/lochanjangid/rag-from-zero-to-hero-building-naive-advanced-and-modular-rag-from-scratch-with-python-3k7m
- Vídeo prático: https://www.youtube.com/watch?v=aenpTk8blIs
- FAISS:
pip install faiss-cpu(oufaiss-gpuse tiver CUDA) - LLMs gratuitas: Groq via OpenAI-compatible client, ou Ollama local