🚀 Roda LLMs Localmente com Ollama

📌 Pra que serve

Ollama é um gerenciador de modelos de IA que permite rodar LLMs potentes na sua máquina sem API costs ou dependências de nuvem. Ideal pra prototipar em produção privada, processar dados sensíveis offline e experimentar modelos de código aberto (Llama 3.1, Mistral, Qwen3) com total controle dos dados.

🛠️ Passo a passo

1. Instale Ollama — baixe de https://ollama.com e rode ollama --version pra confirmar.

2. Puxe seu primeiro modelo — execute ollama run llama3.1 (baixa 4.7 GB, funciona com 8 GB RAM).

3. Explore a biblioteca — rode ollama list pra ver modelos instalados, ou ollama pull gemma3:9b pra adicionar outros.

4. Use via REST API — o servidor roda em localhost:11434. Teste com:

curl http://localhost:11434/api/chat -d '{
     "model": "llama3.1",
     "messages": [{"role": "user", "content": "Olá!"}],
     "stream": false
   }'

5. Integre com Python — instale pip install ollama e rode:

import ollama
   response = ollama.chat(
     model='llama3.1',
     messages=[{'role': 'user', 'content': 'Explain AI in Portuguese'}]
   )
   print(response['message']['content'])

6. Crie modelos customizados — salve um Modelfile com sistema prompt próprio e rode ollama create meu-modelo -f Modelfile.

7. Implante com Docker — use docker-compose pra expor a API na rede e instale Open WebUI como interface web.

💡 Dica: Se rodas modelo de 70B+ sem GPU, tá perdendo 28%+ de velocidade. Começa com phi3 (2.3 GB) ou mistral (4.1 GB) em máquinas com poucos recursos.

🔗 Links e instalação

Fonte: https://tech-insider.org/ollama-tutorial-run-llm-locally-2026/

Download oficial: https://ollama.com

Instale em Linux/macOS:

curl -fsSL https://ollama.com/install.sh | sh

Windows: https://ollama.com/download/windows

Modelos disponíveis: llama3.1 (geral), codellama (código), mistral (i
nstruções), gemma3 (multilíngue), deepseek-r1 (raciocínio avançado).