Guía de Prompt Caching: No Pagues Dos Veces por lo Mismo

Imagina que pagas el alquiler de tu oficina cada día en vez de cada mes. Absurdo, ¿verdad? Eso es exactamente lo que haces con tu LLM cuando no usas prompt caching.

Prompt caching es una técnica donde el proveedor de LLM almacena internamente partes de tu prompt que se repiten entre requests, evitando reprocesarlas cada vez.

Tu system prompt de 500 tokens se "cachea" en la primera request. Las siguientes 99 requests no necesitan reprocesar esos 500 tokens — el modelo ya los tiene "en memoria".

El resultado: pagas 500 tokens una vez y ~50 tokens (o menos) las siguientes veces. Eficiencia que se nota en tu bolsillo.

Sin entrar en detalles de GPU que no necesitas, el proceso simplificado es:

1. Primera request (cache miss):

[System prompt: 500 tokens] + [User message: 100 tokens]
→ Total procesado: 600 tokens
→ Coste: 600 tokens × precio normal
→ El provider cachea los 500 tokens del system prompt

2. Siguientes requests (cache hit):

[System prompt: 500 tokens CACHEADOS] + [User message: 120 tokens]
→ Total procesado: 120 tokens (nuevos) + 500 tokens (cacheados)
→ Coste: 120 tokens × precio normal + 500 tokens × precio reducido (10-50% del normal)

¿Por qué no es gratis? Porque el modelo aún necesita "leer" los tokens cacheados para generar una respuesta coherente. Pero la lectura de caché es 2-10x más barata que el procesamiento completo.

TTL (Time To Live): El caché expira. En Anthropic, dura ~5 minutos de inactividad. En OpenAI, ~1 hora. Después, la siguiente request es un cache miss completo.

Anthropic es el ganador claro: 90% de descuento, automático (no necesitas hacer nada especial), y funciona con todos los modelos Claude.

Con Anthropic (automático):

No necesitas configurar nada específico. Si tu system prompt tiene >1.024 tokens, Anthropic lo cachea automáticamente. Para maximizar el cache hit rate:

# Mantén el system prompt estático (no incluyas timestamps dinámicos)
# Agrupa las instrucciones al inicio del prompt
# Pon el contenido variable (historial, contexto) al final

system_prompt = """
[INSTRUCCIONES ESTÁTICAS - se cachean]
Eres un asistente personal. Respondes en español.
Estilo directo, sin relleno.
...más instrucciones fijas...
"""

# El historial va DESPUÉS del system prompt
messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "último mensaje del usuario"}
]

Con OpenAI:

Similar pero con 50% de descuento en lugar de 90%. El caching de prefijos funciona si los primeros N tokens del prompt son idénticos entre requests.

Error común: Incluir un timestamp o ID de sesión al inicio del system prompt. Esto invalida el caché porque los primeros tokens cambian.

Vamos a calcular el ahorro para tres escenarios reales:

Escenario 1: Asistente personal (50 mensajes/día, Anthropic Claude Haiku)

Escenario 2: Agente de soporte (500 mensajes/día, Claude Sonnet)

Escenario 3: Pipeline multi-agente (200 calls/día, Claude Opus)

Resumen: El prompt caching ahorra entre 60% y 90% del coste de input tokens. Cuanto más grande el system prompt y más requests hagas, mayor el ahorro. Es dinero que literalmente estás tirando si no lo activas.

¿Quieres aplicar prompt caching junto con las otras 4 técnicas de optimización? Lee el tutorial completo para reducir tu factura un 80%.

→ También te puede interesar: ratio input/output.