Ollama: Guía Completa para Instalar y Usar LLMs Locales

Ollama es una herramienta de línea de comandos que simplifica la descarga, gestión y ejecución de modelos de lenguaje en tu ordenador local. Piensa en él como un "Docker para LLMs": un solo comando para descargar y ejecutar cualquier modelo.

¿Por qué importa? Porque antes de Ollama, ejecutar un LLM local requería compilar código C++, configurar dependencias, descargar pesos manualmente y rezar para que todo funcionara. Con Ollama, es literalmente:

ollama run llama3.3

Eso es todo. Un comando. El modelo se descarga, se optimiza para tu hardware y empieza a funcionar.

Mac:

# Descarga e instala desde la web
curl -fsSL https://ollama.com/install.sh | sh

# O con Homebrew
brew install ollama

Linux (Ubuntu/Debian):

curl -fsSL https://ollama.com/install.sh | sh

Windows:

Descarga el instalador desde ollama.com/download. Ejecuta el .exe y sigue el asistente. Compatible con Windows 10 y 11.

Verifica la instalación:

ollama --version
# Debería mostrar: ollama version 0.x.x

Después de instalar, descarga tu primer modelo:

ollama pull llama3.3
ollama run llama3.3

Recomendación: empieza con phi4-mini (3.8B). Es el mejor modelo general para 4 GB de RAM. Si tienes menos recursos, prueba gemma4:2b.

Para listar todos los modelos disponibles:

ollama list    # Modelos descargados
ollama search  # Buscar en el registro

Ollama expone una API REST compatible con OpenAI en localhost:11434. Esto significa que cualquier herramienta que soporte la API de OpenAI puede usarse con Ollama cambiando solo la URL base.

Conectar con OpenClaw:

# config.yaml
model:
  provider: ollama
  name: llama3.3
  base_url: http://localhost:11434
  temperature: 0.7

Conectar con cualquier cliente OpenAI:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="llama3.3",
    messages=[{"role": "user", "content": "Hola"}]
)

Esta compatibilidad hace que migrar de OpenAI a Ollama sea trivial: cambias la URL base y listo.

1. Usa cuantización adecuada: Los modelos vienen en diferentes niveles de cuantización (Q4, Q5, Q8, FP16). Q4 usa menos RAM y es más rápido, con una pérdida mínima de calidad.

# Descargar versión Q4 (más ligera)
ollama pull llama3.3:q4_0

2. Configura GPU correctamente: Ollama detecta GPUs NVIDIA automáticamente. Para AMD, necesitas ROCm instalado. Para Apple Silicon, usa Metal (activado por defecto).

3. Ajusta el contexto: Reducir la ventana de contexto reduce el uso de memoria:

ollama run llama3.3 --ctx-size 4096

4. Mantén el modelo en memoria: Ollama descarga el modelo de RAM tras 5 minutos de inactividad. Para mantenerlo cargado:

OLLAMA_KEEP_ALIVE=-1 ollama serve

5. Múltiples modelos simultáneos: Ollama soporta ejecutar varios modelos a la vez si tienes suficiente RAM. Perfecto para model routing local.