🚀 Rode gpt-oss-20b Localmente com Ollama
Nível 4 · 👁️ Polifemo · ⏱️ ~20 min · Pré-requisitos: Terminal básico, Python opcional e GPU com memória suficiente (a dica do tutorial sugere NVIDIA, mas Ollama também roda em CPU ou Mac)
📌 Pra que serve
gpt-oss-20b é um modelo aberto de 20 bilhões de parâmetros criado em partnership OpenAI-NVIDIA. Oferece combinação rara: performance profissional + acesso completo + zero paywall. Ideal pra rodar localmente em GPUs NVIDIA (H100, A100, RTX series) e explorar agentes de IA, RAG, ou testar capacidades enterprise-grade sem nuvem.🛠️ Passo a passo
1. Instale Ollama via https://ollama.ai (Mac, Windows, Linux) 2. Abra terminal e puxe o modelo:ollama pull gpt-oss-20b
- Primeira execução baixa ~12GB (varia por quantização disponível)
3. Rode o modelo: ollama run gpt-oss-20b "Escreva um poema sobre IA"
4. Para chat interativo, execute: ollama run gpt-oss-20b e converse normalmente
5. Via Python, instale pip install ollama e use:
from ollama import Client
client = Client()
response = client.generate(model="gpt-oss-20b", prompt="Sua pergunta")
print(response.response)
6. Integre com aplicações via API local em http://localhost:11434💡 Dica: Se performance ficar lenta, tente: versão quantizada FP4 (2x mais rápida), explorar gpt-oss-120b em H100+, ou modelos menores como Phi. NVIDIA Blackwell oferece 50x melhor performance, mas 20B roda estável em H100 e acima.
🔗 Links e instalação
- Ollama: https://ollama.ai
- gpt-oss coleção HuggingFace: https://huggingface.co/collections/openai/gpt-oss
- gpt-oss-20b direto: https://huggingface.co/openai/gpt-oss-20b
- vLLM (mais otimizado): https://github.com/vllm-project/vllm
- TensorRT-LLM: https://developer.nvidia.com/nvidia-tensorrt-llm
- Fonte: https://developer.nvidia.com/ai-models
- Benchmark: "Delivering 1.5M TPS Inference on NVIDIA GB200"