OdisseIA100%0← todas as jornadas
Introdução à IA

🔍 RAG: Conecte LLMs aos Seus Documentos

📌 Pra que serve

Modelo de linguagem só sabe o que aprendeu no treino. RAG (Retrieval-Augmented Generation) busca trechos relevantes dos seus documentos antes da IA responder, eliminando "alucinações" sobre informações que não existem. Essencial para assistentes que consultam manuais, wikis, dados recentes ou bases proprietárias.

🛠️ Passo a passo

1. Divida documentos em chunks: Corte seus textos em pedaços (20–50 palavras), respeitando limites de frase, com 5 palavras de overlap.

2. Crie embeddings: Transforme cada chunk em vetor numérico. Use sentence-transformers:

pip install sentence-transformers numpy anthropic

3. Armazene no vector store: Tabela com id, vetor e texto original. Para protótipo, NumPy serve; produção usa Chroma, Qdrant ou pgvector.

4. Implemente busca híbrida: Combine dois métodos:
- Semântica (embeddings cosine): encontra significado ("sabão?" → "nunca detergentes")
- Keyword (BM25): encontra termos exatos ("E04" → código E04)

Misture com α = 0.5: score = 0.5 × cosine + 0.5 × BM25_normalizado

5. Recupere top-k chunks: Para cada pergunta, ranqueie e pegue os 3–5 com maior score acima do threshold mínimo.

6. Construa o prompt:

Responda APENAS com este contexto. Cite [1], [2]...
[1] (Fonte) Chunk melhor ranqueado
[2] (Fonte) Segundo chunk...
Pergunta: [sua pergunta]

7. Gere resposta com LLM (Claude):

from anthropic import Anthropic
response = Anthropic().messages.create(
model="claude-3-5-sonnet-20241022",
messages=[{"role": "user", "content": prompt}]
)

8. Meça retriever antes de tudo: Teste recall@k — o documento certo volta nos top-3? Só depois otimize chunking ou modelo.

💡 Dica: Busca híbrida bate qualquer uma sozinha. Embeddings falham em códigos/nomes raros; BM25 falha em sinônimos.

🔗 Links e instalação

g-retrieval-augmented-generation-visual-tutorial/
Espalhe esta jornada WhatsApp Telegram X LinkedIn
⚓ Fonte original💬 Ver e comentar no Discord

Essa jornada nasceu na comunidade — entra que é grátis e tem gente remando junto.

Entrar no Discord da OdisseIA