Modelo de decisión vs LLM: elige por la forma de la respuesta
La pregunta nunca es «cuál es más inteligente», sino «si la respuesta es un documento o una elección». Esa única distinción decide la arquitectura.
La prueba de una sola pregunta
Anota lo que se supone que debe producir el paso. Si produce prosa que una persona va a leer, usa un modelo de lenguaje. Si produce uno de N valores permitidos, usa un modelo de decisión. Esa es toda la prueba, y resuelve la mayoría de los casos reales en menos de un minuto.
- Produce un resumen, un correo o una explicación → modelo de lenguaje.
- Produce una etiqueta, una ruta, una gravedad o un sí/no con confianza → modelo de decisión.
- Produce ambos → modelo de lenguaje para la prosa, modelo de decisión para la elección.
Lo que pagas en cada caso
Con un modelo de lenguaje pagas por token de entrada y de salida, y vuelves a pagar en ingeniería: prompts que se desvían, formatos que se rompen, reintentos cuando al modelo le da por ser creativo y una persona que revise los casos que fallan.
Con un modelo de decisión pagas por token de entrada y la salida está acotada por diseño. Clef-Flash se publica a unos $0.09 por millón de tokens de entrada, con una latencia mediana cercana a 39 ms, lo bastante rápido para ejecutarse de forma síncrona dentro de una solicitud.
El híbrido que todo el mundo acaba desplegando
Los sistemas en producción rara vez eligen uno solo. La forma habitual es un modelo de lenguaje que gestiona la instrucción abierta, seguido de un modelo de decisión para cada elección acotada que contiene: qué herramienta invocar, si la solicitud es segura o en qué cola encaja.
Esa división también mejora la depuración. Cuando ocurre un error de enrutamiento, puedes señalar una distribución de probabilidad y un umbral, en lugar de un párrafo de razonamiento que tienes que interpretar.
Haz la comparación tú mismo
Pega el mismo estado en un modelo de chat y en el playground de este sitio. Pide a ambos que elijan de una lista fija. La diferencia en lo que puedes construir encima es inmediata.
Preguntas frecuentes
¿Puede un LLM hacer todo lo que hace un modelo de decisión?
Puede aproximarse, si se le pide que responda con una de una lista. Lo que no puede darte es una garantía: un modelo de decisión válido no puede devolver una opción fuera del esquema, mientras que un LLM sí puede.
¿Cuál es más barato?
Para elecciones acotadas, los modelos de decisión son más baratos por llamada y mucho más baratos cuando cuentas los reintentos, el código de validación y la revisión humana que exige la salida de texto libre.
¿Clef-Flash es un modelo de lenguaje pequeño?
Comparte una base con uno, pero está ajustado para devolver respuestas tipadas con probabilidades en lugar de generar texto.
Sigue leyendo
Notas del modelo
Un correo corto cuando salga un nuevo modelo de decisión o cambie un benchmark. Sin spam, baja en un clic.