Ejecutar Clef-Flash en local

Un solo comando con Ollama

Ollama publica el modelo, lo que hace trivial la primera ejecución. Descárgalo y envía un estado con un esquema de preguntas tipadas; el modelo devuelve probabilidades.

• Instala Ollama para tu plataforma.
• Ejecuta: ollama pull clef-flash
• Envía un estado más un esquema JSON de preguntas tipadas y lee las probabilidades devueltas.

El hardware que realmente necesitas

El requisito publicado es de al menos 41 GB de VRAM de GPU para Clef-Flash con concurrencia única y el contexto completo de 64k. El modelo Clef de 27B necesita unos 85 GB. Los usuarios de Apple silicon pueden apoyarse en las conversiones MLX de 4 bits de la comunidad en Hugging Face, que sacrifican un poco de precisión a cambio de un espacio mucho menor.

Cuándo tiene sentido el autoalojamiento

Autoaloja cuando los datos no puedan salir de tu infraestructura, cuando el volumen sea lo bastante alto como para que el precio por token domine el coste del hardware, o cuando necesites ajustar el modelo con tus propias etiquetas. La publicación de Cloudflare incluye ajuste fino por aprendizaje por refuerzo, dirigido precisamente a ese último caso.

Alójalo cuando lo necesites funcionando hoy, cuando el tráfico sea irregular o cuando el volumen de decisiones no justifique una GPU.

Un camino intermedio

Puedes mantener el prototipo en el playground de este sitio y pasar a un endpoint alojado cuando salgas a producción, sin cambiar la forma de la solicitud: el contrato de estado más esquema es el mismo en todas partes.