OdisseIA100%0← todas as jornadas
Programação

🤖 Ollama Local: Rodando LLMs com Monitoramento em Produção

📌 Pra que serve

Ollama permite rodar modelos de linguagem localmente (Llama, Mistral, Gemma) sem internet, privacidade garantida. Ideal pra prototipar, dados sensíveis ou equipes. Quando vira serviço compartilhado, precisa monitoramento: métricas, logs e traces pra saber latência, consumo de GPU e performance.

🛠️ Passo a passo

1. Instalar Ollama

## Linux
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama

Docker

docker run -d --name ollama -v ollama:/root/.ollama -p 11434:11434 --gpus=all ollama/ollama

2. Baixar e testar modelo

ollama pull llama3.2
ollama run llama3.2 "Explique o que é um SLO em duas frases"
ollama ps # modelos carregados
ollama list # modelos no disco

3. Chamar a API (já expõe métricas úteis)

curl -s http://localhost:11434/api/generate \
-d '{"model":"llama3.2","prompt":"Por que o céu é azul?","stream":false}' | jq

Resposta inclui: total_duration, load_duration, eval_count, eval_duration (em nanosegundos).

4. Monitorar com OpenTelemetry (Python)

pip install ollama opentelemetry-sdk opentelemetry-exporter-otlp opentelemetry-instrumentation-ollama

from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
from opentelemetry.instrumentation.ollama import OllamaInstrumentor
import ollama

provider = TracerProvider()
provider.add_span_processor(BatchSpanProcessor(OTLPSpanExporter()))
trace.set_tracer_provider(provider)
OllamaInstrumentor().instrument()

response = ollama.chat(model="llama3.2", messages=[{"role": "user", "content": "Oi"}])
print(response["message"]["content"])

5. Expor para Dynatrace (ou similar)

export OTEL_SERVICE_NAME="seu-app"
export OTEL_EXPORTER_OTLP_ENDPOINT="h
ttps://<env>.live.dynatrace.com/api/v2/otlp"
export OTEL_EXPORTER_OTLP_HEADERS="Authorization=Api-Token%20<token>"
export OTEL_EXPORTER_OTLP_PROTOCOL="http/protobuf"

💡 Dica:

Atualize as variáveis OLLAMA_HOST (pra expor em rede), OLLAMA_KEEP_ALIVE (quanto tempo modelo fica na RAM), e sempre coloque um proxy reverso com autenticação na frente da API — nunca exponha direto na internet.

🔗 Links e instalação

Fonte: https://dev.to/spanobserver/ollama-local-llm-running-models-and-monitoring-them-metrics-logs-traces-3no9

Oficial: ollama.com | github.com/ollama/ollama
OpenTelemetry: opentelemetry.io | OpenLLMetry (instrumentações)
Modelos disponíveis: ollama.com/library

Espalhe esta jornada WhatsApp Telegram X LinkedIn
⚓ Fonte original💬 Ver e comentar no Discord

Essa jornada nasceu na comunidade — entra que é grátis e tem gente remando junto.

Entrar no Discord da OdisseIA