🤖 Open-Weight Models: Escolha e Configure um LLM Local
📌 Pra que serve
Open-weight models são LLMs cujos pesos você baixa e executa localmente—sem depender de API paga. Você ganha controle sobre dados, custos menores e IA "soberana" (rodando na sua infraestrutura). Este guia ensina a escolher um modelo real de lançamentos recentes (Kimi K3, Kolibri-1, Nemotron) e começar a usá-lo.
🛠️ Passo a passo
1. Entenda os números que importam
- Total de parâmetros: memória que você precisa (ex: Kolibri-1 = 78B = ~78 GB em FP8)
- Parâmetros ativos: quantos são usados por token (ex: Kolibri-1 usa 3.46B de 78B = mais rápido)
- Contexto: quantos tokens/palavras o modelo lê (1M tokens ≈ 750 mil palavras em inglês)
2. Escolha um modelo por sua tarefa
- Programação (agentic coding): GLM-5.3 ou Kimi K3 (melhor em benchmarks)
- GPU única (24GB): Nemotron 3.5 Bolt (otimizado para isso)
- Alemão/Inglês: Kolibri-1 (bilíngue, Apache 2.0)
- Multimodal (imagem/vídeo): Muse Spark Open ou MiMo-V2.6-Pro
3. Verifique a licença antes de usar
- Apache 2.0 ou MIT = use à vontade (comercial ok)
- Licença custom (Kimi K3, Muse, GLM-5.3) = leia restrições de revenue e modelo-as-a-service
4. Comece com Ollama ou Hugging Face
## Exemplo com Ollama (fácil, local)
ollama pull nemotron-3.5-bolt
ollama run nemotron-3.5-bolt "Escreva um código Python para..."Ou via Hugging Face Transformers:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "deepseek-ai/deepseek-v4.1-flash"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)5. Use Haystack para trocar modelos facilmente
Haystack permite swappear modelos sem refazer retrieval ou prompts:
from haystack.components.generators import OpenAIGenerator
Troque "gpt-4" por seu modelo local
generator = OpenAIGenerator(api_type="openai",
base_url="http://lo
calhost:8000/v1",
model="seu-modelo-local")💡 Dica: Teste seu modelo com seus próprios dados antes de produção. MoE models (como Kimi K3) ativam poucos parâmetros por token = rodão mais rápido que modelos densos do mesmo tamanho total.
🔗 Links e instalação
- Artigo original: https://www.deepset.ai/blog/open-source-llm-open-weight-models
- Modelos no Hugging Face: https://huggingface.co (busque Kolibri-1, DeepSeek V4.1 Flash, Nemotron 3.5 Bolt)
- Ollama (local + fácil): https://ollama.ai —
ollama pull <modelo> - Haystack (IA agent-ready): https://github.com/deepset-ai/haystack
- Benchmark de coding: Datacurve's DeepSWE (mencionado no artigo)