🤖 Ollama Local: Rodando LLMs com Monitoramento em Produção
📌 Pra que serve
Ollama permite rodar modelos de linguagem localmente (Llama, Mistral, Gemma) sem internet, privacidade garantida. Ideal pra prototipar, dados sensíveis ou equipes. Quando vira serviço compartilhado, precisa monitoramento: métricas, logs e traces pra saber latência, consumo de GPU e performance.
🛠️ Passo a passo
1. Instalar Ollama
## Linux
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollamaDocker
docker run -d --name ollama -v ollama:/root/.ollama -p 11434:11434 --gpus=all ollama/ollama2. Baixar e testar modelo
ollama pull llama3.2
ollama run llama3.2 "Explique o que é um SLO em duas frases"
ollama ps # modelos carregados
ollama list # modelos no disco3. Chamar a API (já expõe métricas úteis)
curl -s http://localhost:11434/api/generate \
-d '{"model":"llama3.2","prompt":"Por que o céu é azul?","stream":false}' | jqResposta inclui:
total_duration, load_duration, eval_count, eval_duration (em nanosegundos).4. Monitorar com OpenTelemetry (Python)
pip install ollama opentelemetry-sdk opentelemetry-exporter-otlp opentelemetry-instrumentation-ollamafrom opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
from opentelemetry.instrumentation.ollama import OllamaInstrumentor
import ollamaprovider = TracerProvider()
provider.add_span_processor(BatchSpanProcessor(OTLPSpanExporter()))
trace.set_tracer_provider(provider)
OllamaInstrumentor().instrument()
response = ollama.chat(model="llama3.2", messages=[{"role": "user", "content": "Oi"}])
print(response["message"]["content"])
5. Expor para Dynatrace (ou similar)
export OTEL_SERVICE_NAME="seu-app"
export OTEL_EXPORTER_OTLP_ENDPOINT="h
ttps://<env>.live.dynatrace.com/api/v2/otlp"
export OTEL_EXPORTER_OTLP_HEADERS="Authorization=Api-Token%20<token>"
export OTEL_EXPORTER_OTLP_PROTOCOL="http/protobuf"💡 Dica:
Atualize as variáveisOLLAMA_HOST (pra expor em rede), OLLAMA_KEEP_ALIVE (quanto tempo modelo fica na RAM), e sempre coloque um proxy reverso com autenticação na frente da API — nunca exponha direto na internet.🔗 Links e instalação
Oficial: ollama.com | github.com/ollama/ollama
OpenTelemetry: opentelemetry.io | OpenLLMetry (instrumentações)
Modelos disponíveis: ollama.com/library