🤖 Execute LLMs Localmente: Self-Host com Ollama em 13 Passos

📌 Pra que serve

Ollama é um runtime local que deixa você rodar grandes modelos de linguagem (LLMs) no seu hardware, sem API key, sem fatura por token e sem depender da internet. Ideal pra quem quer privacidade, controle total e custos previsíveis — desde um Llama 3.1 8B num laptop até um DeepSeek-V3 671B num servidor dedicado.

🛠️ Passo a passo

1. Confirme o hardware: rode nvidia-smi (NVIDIA), sysctl hw.memsize (macOS) ou free -h (Linux) pra saber se tem GPU e RAM suficiente.

2. Instale Ollama: em macOS/Linux, curl -fsSL https://ollama.com/install.sh | sh; no Windows, baixe o instalador em ollama.com/download.

3. Verifique a instalação: ollama --version (deve retornar v0.40.11+) e ollama list (deve estar vazio).

4. Puxe seu primeiro modelo: ollama pull llama3.1:8b ou rode direto ollama run llama3.1:8b pra testar — responde perguntas no terminal.

5. Chame a API REST: Ollama escuta em http://localhost:11434. Use curl pra chamar /api/generate ou /api/chat (set "stream": false pra resposta limpa).

6. Customize com Modelfile: crie um arquivo Modelfile com FROM llama3.1:8b, depois PARAMETER temperature 0.4 e um SYSTEM prompt personalizado. Rode ollama create seu-modelo -f Modelfile.

7. Rode em Docker (com GPU NVIDIA): docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama.

8. Configure aceleração de GPU: NVIDIA auto-detecta; AMD requer drivers ROCm; Apple Silicon usa Metal automaticamente. Verifique com os logs.

9. Exponha na rede: se precisa acessar de outro PC, set export OLLAMA_HOST=0.0.0.0:11434 (só em redes confiáveis — não tem autenticação padrão).

10. Conecte a Python: pip install ollama, depois use ollama.chat() pra chamar a API de forma limpa.

11. Adicione interface web: rode docker run -d -p 3000:8080 ghcr.io/open-webui/open-webui:main e acesse loc
alhost:3000 pra um ChatGPT-like.

12. Gerencie modelos: ollama list (vê tamanho), ollama rm llama3.1:8b (remove), ollama pull llama3.1:8b (atualiza).

13. Monitore recursos: ollama ps mostra qual modelo está carregado; máquinas com 8 GB rodam 7B confortávelmente, 16 GB pra 13–14B.

💡 Dica: comece com um 7B-class (Llama 3.1 ou Qwen3 8B) pra sentir a latência real. Se precisa de mais poder, suba gradualmente. Não abuse de 70B+ sem pelo menos 32 GB RAM.

🔗 Links e instalação

• Ollama oficial: https://ollama.com
• Instalar: https://ollama.com/download
• Modelos disponíveis: Qwen3 (multilíngue), gpt-oss 20B/120B (128K contexto), DeepSeek-V3 (671B), Mistral, Gemma 4
• Open WebUI: ghcr.io/open-webui/open-webui:main
• Documentação oficial: GitHub releases do Ollama