Antes de medir
Un modelo de decisión rápido puede resultar útil para asignar solicitudes y clasificar información, pero una cifra publicada de inferencia no indica cuánto tiempo espera un cliente en tu aplicación. La preparación de los datos, el envío por la red, las colas, la validación de la respuesta y un posible reintento pueden intervenir entre pulsar el botón y recibir un resultado utilizable.
Esta guía explica cómo interpretar los resultados publicados de Clef Flash y preparar una evaluación pequeña que puedas reproducir. No presenta nuevas ejecuciones del modelo ni puntuaciones de rendimiento inventadas. La herramienta de cálculo recibe tus observaciones y resume los datos; no convierte cifras de ejemplo en una prueba del modelo en funcionamiento.
Atribuye el resultado publicado a su fuente real
El anuncio de Cloudflare y la ficha del modelo describen la evaluación que realizó la propia empresa. La mediana de 38,8 milisegundos y el p95 de 122,4 milisegundos que se citan con frecuencia corresponden a esa prueba publicada. No deben presentarse como mediciones independientes de este sitio ni como un tiempo de respuesta garantizado para su entorno de pruebas.
Coloca el enlace a la fuente junto a cualquier cifra que cites. Indica qué se midió y, cuando esté disponible, la configuración declarada. Si falta alguna condición, señala que se desconoce. No completes la tabla con un equipo, una longitud de solicitud, una región o un nivel de concurrencia que parezcan razonables pero no estén documentados.
Define cuándo termina la tarea del usuario antes de medir el tiempo
Escribe una frase que describa el resultado útil. Para asignar un ticket de soporte, podría ser una decisión válida sobre la cola de destino a partir del mensaje recibido. Para moderación, podría ser una categoría de política con una vía de revisión visible. Que la solicitud devuelva una respuesta HTTP de éxito solo confirma un evento de transporte; el resultado todavía debe resolver la tarea.
Elige unas pocas comprobaciones de aceptación que puedas aplicar de forma coherente. Deben existir los campos obligatorios, sus valores deben pertenecer al conjunto permitido y la acción seleccionada debe coincidir con la etiqueta del caso. Separa los errores de formato de las decisiones incorrectas: corregir uno de estos problemas no demuestra que el otro haya mejorado.
Registra el servicio y la configuración exacta del modelo
El modelo abierto, el endpoint de Workers AI y una aplicación web independiente son entornos de ejecución distintos. Registra cuál estás probando, el identificador del modelo, su versión cuando se indique, el tipo de entrada y las opciones configurables. Guarda ese registro junto al conjunto de ejemplos.
Una actualización del modelo o un cambio en la capa de integración puede modificar los resultados sin que cambie nada visible en tu aplicación. Una evaluación útil permite identificar qué configuración produjo cada respuesta. Si no se expone el modelo concreto del proveedor, explica que estás evaluando el endpoint del producto en lugar de afirmar que has aislado el rendimiento de un modelo.
Prepara un conjunto pequeño que represente el trabajo real
Utiliza entradas que tengas permiso para evaluar y elimina los datos personales innecesarios. Incluye solicitudes habituales, ejemplos más largos, mensajes ambiguos y casos en los que la respuesta adecuada sea revisar en vez de actuar automáticamente. Escribe las etiquetas esperadas antes de consultar las predicciones del modelo.
Reserva un conjunto separado para la comprobación final después de modificar la pregunta o el esquema. De lo contrario, ajustar repetidamente la configuración con los mismos ejemplos puede hacer que parezca excepcionalmente buena. Si los revisores humanos discrepan sobre un caso, registra el desacuerdo y aclara el criterio de decisión en vez de suponer que existe una única respuesta evidentemente correcta.
Mide la latencia de extremo a extremo por separado de la inferencia
Inicia la medición en la aplicación antes de enviar la solicitud y termínala cuando una decisión utilizable haya superado la validación. Guarda en otro campo cualquier tiempo comunicado por el proveedor. No restes el tiempo de red o de procesamiento de la respuesta a la medición de espera del usuario, salvo que el gráfico indique claramente que representa otra métrica.
Siempre que sea posible, utiliza un reloj monotónico dentro de la aplicación. Mantén los mismos puntos de inicio y final para todos los candidatos. La comparación resulta engañosa si una medición incluye reintentos y otra termina en cuanto el proveedor confirma que ha recibido una solicitud que todavía está en cola.
Reproduce la comprobación con una solicitud fija
Las comprobaciones de publicación de este sitio incluyen un script pequeño, scripts/benchmark-cli.mjs, que envía una solicitud fija al endpoint y mide cada intento con el reloj de quien llama, junto al latencyMs que el servidor informa para ese mismo intento. Imprime una fila de «milisegundos,resultado» por intento, el formato que acepta la hoja de cálculo de este sitio, así que una ejecución se puede pegar sin editarla.
La solicitud es fija a propósito: un mensaje corto sobre un cobro duplicado y una pregunta con tres etiquetas (billing, technical, account). Fijarla es lo que hace comparables dos ejecuciones; cambiarla invalida la comparación. El script no tiene respuestas etiquetadas, así que nunca informa de precisión ni emite incorrect. Un intento solo cuenta como aceptado cuando la respuesta es un 200 cuya distribución cubre exactamente las etiquetas declaradas y suma uno.
- Endpoint con clave: CLEF_FLASH_KEY=… node scripts/benchmark-cli.mjs --url https://clef-flash.com --runs 30 --json run.json
- Endpoint anónimo: node scripts/benchmark-cli.mjs --url https://clef-flash.com --free --runs 20 (la cuota gratuita es de 25 por sesión y día; una ejecución más larga se detiene al agotarla en vez de contar los rechazos como latencia)
- Lee el resumen, no solo la mediana: intentos, aceptados, categorías de fallo, la mediana y el p95 de quien llama, y la mediana y el p95 del servidor a partir de su propio latencyMs.
Incluye los intentos fallidos en el registro de observaciones
Para cada intento, registra una categoría de resultado, como aceptado, incorrecto, respuesta inválida, tiempo de espera agotado o error del servicio. Guarda el tiempo transcurrido incluso cuando la solicitud falle. Si la aplicación reintenta, relaciona esos intentos con la misma tarea para poder medir también la espera total.
Un gráfico limitado a las solicitudes exitosas puede ocultar un sistema que obliga a los usuarios a empezar de nuevo con frecuencia. Muestra el número de fallos junto a los resúmenes de tiempo e indica si excluiste algún intento. Puede ser razonable excluir un error de configuración conocido, pero conserva el motivo y no elimines silenciosamente los resultados lentos.
Explica la mediana y el p95 sin ocultar el tamaño de la muestra
La mediana describe el punto central de los tiempos observados; no representa la espera más larga. El p95 resume la parte más lenta de una muestra, pero su utilidad depende de cuántas observaciones representativas hayas reunido. Un puñado de solicitudes no permite prometer de forma fiable cómo se comportarán las respuestas más lentas.
Si la herramienta utiliza el método del rango más próximo, indícalo y muestra el número de observaciones. Separa las pruebas con arranque en frío de las realizadas con el servicio ya en funcionamiento. Evita mezclar distintas longitudes de entrada, equipos y condiciones de cola en una sola cifra, salvo que esa combinación refleje el tráfico que realmente esperas atender.
Compara los errores según la acción que provocan
Examina qué ocurriría después de una decisión incorrecta. Enviar un ticket a otra cola interna puede ser un error recuperable. Rechazar una petición importante de un cliente o bloquear una acción legítima puede tener un coste diferente. Una precisión global elevada todavía puede ocultar un patrón de fallos relevante para tu producto.
Desglosa los resultados por tipo de acción y por los grupos de entrada importantes. Incluye la proporción de casos enviados a revisión para no presentar como totalmente automatizado un modelo que deriva muchas decisiones a una persona. Mantén estables las reglas de aceptación al comparar configuraciones; de lo contrario, quizá estés midiendo un cambio de política y no una mejora del modelo.
Evalúa las probabilidades con ejemplos reservados para la prueba
Una distribución de salida muy concentrada en una opción no demuestra que la decisión sea correcta. Comprueba si las predicciones con puntuaciones más altas en tus ejemplos etiquetados realmente contienen menos errores. Examina directamente los casos ambiguos y las respuestas incorrectas con alta confianza, en lugar de depender de un único resumen.
Elige cualquier umbral de acción automática según el comportamiento observado en la tarea y las consecuencias de los errores. Registra el modelo y la configuración de la pregunta utilizados para seleccionarlo. Si cambia cualquiera de los dos, vuelve a ejecutar los ejemplos pertinentes antes de dar por hecho que la política de revisión anterior sigue siendo adecuada.
Calcula el coste por decisión aceptada
Parte de los cargos observados en el servicio evaluado y añade el trabajo necesario para conseguir resultados aceptables. Incluye los reintentos que se facturen, las correcciones manuales y la infraestructura local si ejecutas el modelo por tu cuenta. Consulta las condiciones vigentes del proveedor en vez de copiar el precio de otro producto.
Divide el coste pertinente entre el número de decisiones aceptadas y mantén visible la cantidad total de solicitudes. Una solicitud barata que suele necesitar otra solicitud o la intervención de una persona puede terminar siendo una tarea cara. Si no se aceptó ningún resultado, indica que la proporción no está definida en vez de mostrar un coste de cero.
Corrige un cuello de botella y repite la misma comprobación
Si la preparación de la entrada consume la mayor parte de la espera, investiga ese recorrido antes de cambiar de modelo. Si muchas salidas no cumplen el esquema, revisa el contrato de la pregunta. Si el problema principal son las solicitudes largas, compara la versión original con una entrada más corta que conserve la información necesaria para la tarea. Deja que el fallo observado determine el siguiente experimento.
Haz cambios lo bastante pequeños como para revertirlos y vuelve a ejecutar los mismos casos de aceptación. Mantén separados los resultados de corrección, latencia y coste para que una mejora en un aspecto no esconda un empeoramiento en otro. No declares que el problema está resuelto porque un solo ejemplo parezca más rápido.
Convierte la evaluación en una decisión de puesta en producción
Un resultado útil expresa con claridad que una configuración concreta cumple los requisitos de una tarea concreta bajo unas condiciones registradas. Conserva la hoja de resultados, los casos aceptados y los ejemplos de fallo junto al registro de la versión. Así podrás volver a utilizar la evidencia cuando cambie el proveedor o la aplicación.
El entorno de pruebas existente de Clef Flash permite explorar el flujo de trabajo, mientras que este artículo explica qué necesitas medir. La presencia de una demostración integrada no demuestra que se alcancen las cifras de velocidad oficiales. Pon en producción un flujo de decisiones cuando puedas mostrar tanto su resultado útil como su comportamiento ante una solicitud fallida.