clef flash benchmark

Clef Flash 基准:测量完整的决策流程

Cloudflare 公布的 Clef Flash 成绩属于厂商报告,不是本站独立完成的测试。评估自己的应用时,应测量从提交任务到得到有效、可接受决策的完整过程,包括失败和人工复核。

汇总自己的观测记录

每次尝试一行:耗时毫秒,结果。结果使用 accepted(接受)、incorrect(错误判断)、invalid(格式错误)、timeout(超时)或 error(服务错误)。不含标题行,最多 500 行,失败尝试也要记录时间。数据不上传、不保存,本工具不会执行模型。

中位数和最邻近秩法 p95 包含全部尝试。小样本不能证明尾部延迟。没有接受结果时,单次接受成本无法计算。重试仍按独立行计数。

开始之前

快速决策模型对路由与分类很有价值,但一条公开的推理时间不能告诉你客户实际要等多久。输入准备、网络、排队、输出校验和重试,都可能发生在点击按钮与拿到可用结果之间。

这份指南说明怎样阅读公开结果,以及怎样建立一个可以重复的小型评估。本文没有新增模型跑测或虚构成绩;页面中的计算工具只汇总你输入的观测值,不会把示例数字变成真实模型测试。

把公开成绩归到真正的来源

Cloudflare 公告和模型卡介绍的是它自己的 Clef 评估。经常被引用的中位数 38.8 毫秒、p95 122.4 毫秒,属于该次报告中的结果,不能标成本站独立测量,也不能当本站试玩的响应保证。

引用数字时把来源放在旁边,并说明测了什么、已知设置是什么。条件没写就标未知,不要为了凑完整表格而补一个看起来合理的机器、地区、输入长度或并发数。

计时之前定义用户真正完成什么

先用一句话写清有用结果。工单路由可能是依据原文产生合法队列;内容审核可能是产生符合政策的标签并提供复核路径。HTTP 成功只是传输成功,结果仍需满足任务。

验收项保持少而明确:必要字段齐全、取值合法、最终动作符合标注样本。把格式错误与判断错误分开,因为修好一种并不能证明另一种也改善了。

记录具体服务与模型配置

开放权重、Workers AI 接口和独立网页应用,是不同执行环境。记下测试哪一项、模型标识、可见版本、输入类型和可调选项,并把记录与样本一起保存。

模型升级或封装变化,可能在界面没有明显变化时影响输出。以后应该能回答这条结果是哪套配置产生的。没有准确上游标识,就说明测的是产品接口,不把它说成隔离后的纯模型测试。

用能够代表真实工作的样本

使用有权处理的输入,去掉不必要的私人信息。包含普通任务、较长输入、模糊表达,以及正确做法应该进入复核的情况。在看到预测之前写好期望标签。

调整问题或结构后,保留一组没有参与调试的样本做最后验收。人工存在分歧时,要记录并澄清规则,不要假装每个案例都有一个显而易见的答案。

端到端耗时与推理时间分开保存

应用计时从准备提交请求开始,到结果通过校验、可以使用时结束。服务商返回的内部耗时单独存一列。面向用户的数字不应悄悄减掉网络或解析时间。

所有候选使用相同计时边界。一个计时包含重试,另一个在接口刚接受排队时就停止,得到的对比没有相同含义。先把起止点说明白,再讨论哪个更快。

用一条固定请求复现这项检查

本站的发布检查里有一个小脚本 scripts/benchmark-cli.mjs:它向接口发送一条固定请求,按调用方时钟记录每次尝试,并把服务端返回的 latencyMs 单独列在旁边。输出每行是「毫秒,结果」,正是本站基准工作表接受的格式,可以直接粘贴进去。

请求刻意固定:一条重复扣费的短消息,加一道三选一的问题(billing、technical、account)。固定它,两次运行才有可比性;改了请求,比较即失效。脚本没有标注答案,所以从不报告准确率,也从不输出 incorrect。只有返回 200、且分布恰好覆盖全部声明标签并归一,才记为 accepted。

  • 带 key:CLEF_FLASH_KEY=… node scripts/benchmark-cli.mjs --url https://clef-flash.com --runs 30 --json run.json
  • 匿名端点:node scripts/benchmark-cli.mjs --url https://clef-flash.com --free --runs 20(每日每会话 25 次;额度用尽时停止,而不是把拒绝当成延迟)
  • 看汇总而不是只看中位数:attempts、accepted、失败分类、调用方中位数与 p95,以及服务端 latencyMs 的中位数与 p95。

日志里包含失败的尝试

每次请求记录接受、判断错误、输出无效、超时或服务错误等分类;失败也保存经过的时间。发生重试时,把尝试关联到同一个任务,才能知道用户总共等了多久。

只看成功请求,可能掩盖用户经常需要重来的事实。时间汇总旁边同时放失败次数,并说明是否剔除了样本。已知配置错误可以单列,但理由要保留,不能默默删掉慢请求。

解释中位数和 p95,同时展示样本量

中位数表示这批时间的中间位置,不是最慢的等待。p95 用于观察样本较慢部分,但是否有解释价值,还取决于样本数量和代表性。少量请求不能建立可靠的尾部延迟保证。

计算器使用最近秩方法时应明示,并展示样本数。冷启动与已经运行的状态分开统计;不同输入长度、硬件和排队条件,也不应无说明地混成一个成绩。

在最终动作处检查错误后果

检查判断错误后会发生什么。工单分到相邻内部队列可能容易恢复,错误拒绝重要请求可能有完全不同的代价。整体正确率高,仍可能掩盖对产品关键的失败类型。

按动作和重要输入群组拆开结果,同时展示人工复核比例。比较时保持验收规则稳定,避免把改变了政策误认为模型能力提升。

使用留出样本检查概率表现

分布非常集中,并不能证明答案正确。观察标注样本中分数较高的预测是否真的更少出错,直接查看模糊案例和自信错误,不只依赖一个汇总分数。

自动动作阈值要依据实际任务与错误后果选择,并记录当时的模型和问题配置。任何一项改变后,都应重跑相关样本,不能默认旧复核规则仍然合适。

按合格决策计算成本

从实际测试服务的费用开始,计入获得合格结果需要的重试、人工修正以及自建服务成本。使用该服务当前的条款,不从另一个产品复制价格。

用相关成本除以合格决策数量,同时保留原始请求数。单次调用便宜,但经常需要再试或人工处理,完成任务可能并不便宜。一个结果都没通过时应显示无法计算,而不是成本为零。

一次改变一个瓶颈,再跑同样验收

如果输入准备占了大部分时间,就先看这条链路;如果结构校验常失败,就检查问题契约;如果长输入有问题,就比较保留任务证据后的缩减版本。下一步实验应由观察到的问题决定。

每次修改小到能够撤回,并重跑同一批样本。正确性、时间、成本分别记录,避免一项改善掩盖另一项退步。单次突然变快,不足以宣布整个流程成功。

把基准变成可以解释的发布判断

有用的结论应该是:某套明确配置,在记录好的条件下,满足了某个任务的要求。保存计算表、合格案例和失败例子,服务或应用更新后还能继续使用。

试玩入口帮助探索流程,这篇文章帮助定义该测什么。网页里嵌着演示不等于证明官方速度数字;只有能展示有用结果和失败恢复行为,才适合把决策路径交给用户。

在本页试用

用实际模型探索决策流程

下方是社区托管的 Clef-Flash 演示,初次加载可能需要等待。粘贴状态并定义问题即可探索输出;如需直接调用本站 API,可打开完整工作台。

Clef-Flash community-hosted

Community-hosted demo of the 9B model. Runs live in your browser session.

Open the playground

打开判定工具

查看价格

Prefer code? The API takes the same state and schema.

常见问题

本站独立测出了 38.8 毫秒吗?

没有,这是 Cloudflare 报告的数字,本文不声称完成了新的独立模型基准。

为什么我的应用等待更久?

实际链路可能包含网络、排队、准备、校验和重试。先记录计时边界,再比较相同口径。

失败请求应该从报告删掉吗?

保留失败次数和耗时。可以单独统计成功请求,但不能因此隐藏完整任务的失败率与等待。

页面计算工具会运行 Clef 吗?

不会,它只汇总你填写的观测结果,实际推理由试玩或具体配置的接口完成。

我可以自己复跑这项接口检查吗?

可以。方法与固定请求都在上文的发布检查里;请对你控制的端点运行。本文仍然不发布自己的独立成绩。