llm router api

Una API de enrutamiento LLM diseñada para el camino crítico

Enviar cada mensaje o paso de un agente a un modelo frontera quema margen y latencia en consultas rutinarias. Evalúa destino, complejidad y permisos en una sola pasada con Clef-Flash antes de despertar al modelo pesado.

Simulador de ahorro de costes para router de agentes y LLM
Ahorro mensual estimado en LLM
$2,048/mes (-73%)
Coste del pase en Clef-Flash
$8.55/mes

100% LLM frontera ($2,50/1M entrada, $10/1M salida): $2805/mes → Con router: $757/mes (~20.000 llamadas/día · plan Scale).

curl --fail-with-body https://clef-flash.com/api/v1/decisions \
  -H "authorization: Bearer $CLEF_API_KEY" \
  -H "content-type: application/json" \
  --data-binary @- <<'CLEF_DECISION'
{
  "model": "cloudflare/clef-flash",
  "threshold": 0.85,
  "state": "Customer asks: Where do I download last month PDF receipt and update our billing email?",
  "questions": {
    "destination": {
      "type": "choice",
      "instructions": "Which execution path should handle this request?",
      "criteria": {
        "docs_lookup": "standard product how-to, receipt download or settings lookup",
        "billing_workflow": "deterministic account/invoice state read via internal API",
        "frontier_reasoning": "multi-system debugging, ambiguous contract dispute or custom code"
      }
    },
    "complexity": {
      "type": "score",
      "instructions": "How much reasoning depth does this state require?",
      "criteria": [
        "trivial_lookup",
        "single_step",
        "multi_step",
        "frontier_escalation"
      ]
    },
    "require_human_gate": {
      "type": "noul",
      "instructions": "Does this action mutate billing, credentials or production data?",
      "criteria": {
        "true": "writes, deletes, charges, revokes keys or changes customer permissions",
        "false": "read-only query, search, draft or reversible local check"
      }
    }
  }
}
CLEF_DECISION

Cloudflare publicó 38,8 ms de mediana (122,4 ms p95) para Clef-Flash el 1 oct 2026; la latencia total incluye la red desde tu región.

Clave API Pro · $19 / 30 días · sin cobro automático

Pásalo a producción con una clave Pro de $19

2000 decisiones/día, 8 peticiones simultáneas en vuelo, estados de texto + JSON + imagen y clave enviada por correo en un minuto.

Por qué enrutar con un modelo de chat anula la ventaja

Muchos equipos construyen su primer router pidiendo a un LLM de chat que devuelva un nombre de herramienta en JSON. Eso añade entre 400 y 900 milisegundos hasta el primer token, factura tokens de salida y exige lógica de reparación cuando el modelo envuelve el JSON en texto, consumiendo el presupuesto de tiempo que el router debía ahorrar.

Clef-Flash es un modelo de decisión de 9B entrenado para puntuar opciones cerradas en una sola pasada hacia delante. El benchmark publicado por Cloudflare midió 38,8 ms de mediana (122,4 ms en p95), con un coste upstream de $0.019 por millón de tokens de entrada y cero cargo por salida.

Tres decisiones de enrutamiento en una sola llamada

Un orquestador en producción rara vez hace una sola pregunta. Cuando llega un turno de usuario o una traza de agente, necesitas decidir qué herramienta o modelo responde, cuánta profundidad requiere y si la acción modifica facturación o datos sensibles.

POST /api/v1/decisions resuelve las tres sobre el mismo estado en un único viaje: choice para el destino, score para el nivel de complejidad y noul para exigir aprobación humana. Si la ruta ganadora no alcanza tu threshold, needsReview pasa a true para escalar con seguridad.

  • Destino (choice): almacén SQL, búsqueda vectorial, API interna o LLM frontera.
  • Nivel de razonamiento (score): desde consulta trivial hasta síntesis multipaso.
  • Puerta de seguridad (noul): probabilidad de mutar pagos, claves o registros críticos.

Arquitecturas de enrutamiento comparadas

Los routers por embeddings fallan en cuanto dos intenciones comparten vocabulario ("cancelar reintento del webhook" frente a "cancelar mi plan anual"). Un modelo de decisión aplica atención completa sobre hasta 24.576 tokens servidos (64K en la ficha del modelo) y devuelve una distribución cerrada que suma 1.

Tipo de routerRutas nuevas sin entrenarNegación y maticesConfianza calibradaRiesgo de parseo
Similitud de embeddingsRequiere ajustar ejemplosDébil ante negacionesCoseno no calibradoNinguno
LLM pequeño + modo JSONSíBuenoSin vector nativoJSON roto o claves extra
API de Decisión Clef-FlashSí, edita criteria al vueloAtención completa 9BSuma exactamente 1,0Cero — esquema cerrado

Dimensionar la concurrencia para ráfagas de agentes

Los bucles de agentes lanzan peticiones en ráfagas y no en medias uniformes; por eso los planes de Clef-Flash dimensionan peticiones simultáneas en vuelo en lugar de imponer un tope artificial por segundo: 8 en vuelo en Pro ($19 / 30 días, 2.000 decisiones/día), 32 en Scale (20.000/día), 64 en Studio (40.000/día) y 128 en Agency (100.000/día).

Cuando el historial de un agente supera los 120.000 caracteres de Clef-Flash, puedes dirigir esa llamada puntual a cloudflare/clef-omni con la misma clave API (hasta 200.000 caracteres / 65.529 tokens servidos) sin cambiar de cliente.

Preguntas frecuentes

¿Cuánta latencia añade Clef-Flash delante de un LLM?

En el benchmark publicado por Cloudflare el 1 de octubre de 2026, Clef-Flash registró 38,8 ms de mediana y 122,4 ms en p95 de tiempo de modelo. El tiempo HTTP total desde tu servidor añade el tránsito de red; mídelo desde tu región con el endpoint gratuito o una clave Pro de $19.

¿Qué debe hacer mi router cuando la confianza es baja?

Envía threshold (por ejemplo 0.85) en el cuerpo de POST /api/v1/decisions. Si la opción ganadora queda por debajo de 0,85, la respuesta incluye needsReview: true para que escales al modelo frontera o pidas confirmación.

¿Puedo cambiar las rutas por cliente multi-tenant sin redesplegar?

Sí. Las etiquetas y sus descripciones criteria viajan en cada petición sin estado compartido entre llamadas, de modo que puedes enviar dinámicamente las herramientas activas de cada cuenta (de 2 a 12 opciones por pregunta).

¿Cómo funciona el límite de concurrencia en los planes de pago?

Cada clave API contabiliza las llamadas activas mediante un Durable Object (8 en Pro, 32 en Scale, 64 en Studio, 128 en Agency). Si superas ese techo en una ráfaga, el exceso recibe 429 concurrency_exceeded al instante sin consumir crédito ni cuota diaria.

Sigue leyendo

Notas del modelo

Un correo corto cuando salga un nuevo modelo de decisión o cambie un benchmark. Sin spam, baja en un clic.