开始之前
快速决策模型对路由与分类很有价值,但一条公开的推理时间不能告诉你客户实际要等多久。输入准备、网络、排队、输出校验和重试,都可能发生在点击按钮与拿到可用结果之间。
这份指南说明怎样阅读公开结果,以及怎样建立一个可以重复的小型评估。本文没有新增模型跑测或虚构成绩;页面中的计算工具只汇总你输入的观测值,不会把示例数字变成真实模型测试。
把公开成绩归到真正的来源
Cloudflare 公告和模型卡介绍的是它自己的 Clef 评估。经常被引用的中位数 38.8 毫秒、p95 122.4 毫秒,属于该次报告中的结果,不能标成本站独立测量,也不能当本站试玩的响应保证。
引用数字时把来源放在旁边,并说明测了什么、已知设置是什么。条件没写就标未知,不要为了凑完整表格而补一个看起来合理的机器、地区、输入长度或并发数。
计时之前定义用户真正完成什么
先用一句话写清有用结果。工单路由可能是依据原文产生合法队列;内容审核可能是产生符合政策的标签并提供复核路径。HTTP 成功只是传输成功,结果仍需满足任务。
验收项保持少而明确:必要字段齐全、取值合法、最终动作符合标注样本。把格式错误与判断错误分开,因为修好一种并不能证明另一种也改善了。
记录具体服务与模型配置
开放权重、Workers AI 接口和独立网页应用,是不同执行环境。记下测试哪一项、模型标识、可见版本、输入类型和可调选项,并把记录与样本一起保存。
模型升级或封装变化,可能在界面没有明显变化时影响输出。以后应该能回答这条结果是哪套配置产生的。没有准确上游标识,就说明测的是产品接口,不把它说成隔离后的纯模型测试。
用能够代表真实工作的样本
使用有权处理的输入,去掉不必要的私人信息。包含普通任务、较长输入、模糊表达,以及正确做法应该进入复核的情况。在看到预测之前写好期望标签。
调整问题或结构后,保留一组没有参与调试的样本做最后验收。人工存在分歧时,要记录并澄清规则,不要假装每个案例都有一个显而易见的答案。
端到端耗时与推理时间分开保存
应用计时从准备提交请求开始,到结果通过校验、可以使用时结束。服务商返回的内部耗时单独存一列。面向用户的数字不应悄悄减掉网络或解析时间。
所有候选使用相同计时边界。一个计时包含重试,另一个在接口刚接受排队时就停止,得到的对比没有相同含义。先把起止点说明白,再讨论哪个更快。
用一条固定请求复现这项检查
本站的发布检查里有一个小脚本 scripts/benchmark-cli.mjs:它向接口发送一条固定请求,按调用方时钟记录每次尝试,并把服务端返回的 latencyMs 单独列在旁边。输出每行是「毫秒,结果」,正是本站基准工作表接受的格式,可以直接粘贴进去。
请求刻意固定:一条重复扣费的短消息,加一道三选一的问题(billing、technical、account)。固定它,两次运行才有可比性;改了请求,比较即失效。脚本没有标注答案,所以从不报告准确率,也从不输出 incorrect。只有返回 200、且分布恰好覆盖全部声明标签并归一,才记为 accepted。
- 带 key:CLEF_FLASH_KEY=… node scripts/benchmark-cli.mjs --url https://clef-flash.com --runs 30 --json run.json
- 匿名端点:node scripts/benchmark-cli.mjs --url https://clef-flash.com --free --runs 20(每日每会话 25 次;额度用尽时停止,而不是把拒绝当成延迟)
- 看汇总而不是只看中位数:attempts、accepted、失败分类、调用方中位数与 p95,以及服务端 latencyMs 的中位数与 p95。
日志里包含失败的尝试
每次请求记录接受、判断错误、输出无效、超时或服务错误等分类;失败也保存经过的时间。发生重试时,把尝试关联到同一个任务,才能知道用户总共等了多久。
只看成功请求,可能掩盖用户经常需要重来的事实。时间汇总旁边同时放失败次数,并说明是否剔除了样本。已知配置错误可以单列,但理由要保留,不能默默删掉慢请求。
解释中位数和 p95,同时展示样本量
中位数表示这批时间的中间位置,不是最慢的等待。p95 用于观察样本较慢部分,但是否有解释价值,还取决于样本数量和代表性。少量请求不能建立可靠的尾部延迟保证。
计算器使用最近秩方法时应明示,并展示样本数。冷启动与已经运行的状态分开统计;不同输入长度、硬件和排队条件,也不应无说明地混成一个成绩。
在最终动作处检查错误后果
检查判断错误后会发生什么。工单分到相邻内部队列可能容易恢复,错误拒绝重要请求可能有完全不同的代价。整体正确率高,仍可能掩盖对产品关键的失败类型。
按动作和重要输入群组拆开结果,同时展示人工复核比例。比较时保持验收规则稳定,避免把改变了政策误认为模型能力提升。
使用留出样本检查概率表现
分布非常集中,并不能证明答案正确。观察标注样本中分数较高的预测是否真的更少出错,直接查看模糊案例和自信错误,不只依赖一个汇总分数。
自动动作阈值要依据实际任务与错误后果选择,并记录当时的模型和问题配置。任何一项改变后,都应重跑相关样本,不能默认旧复核规则仍然合适。
按合格决策计算成本
从实际测试服务的费用开始,计入获得合格结果需要的重试、人工修正以及自建服务成本。使用该服务当前的条款,不从另一个产品复制价格。
用相关成本除以合格决策数量,同时保留原始请求数。单次调用便宜,但经常需要再试或人工处理,完成任务可能并不便宜。一个结果都没通过时应显示无法计算,而不是成本为零。
一次改变一个瓶颈,再跑同样验收
如果输入准备占了大部分时间,就先看这条链路;如果结构校验常失败,就检查问题契约;如果长输入有问题,就比较保留任务证据后的缩减版本。下一步实验应由观察到的问题决定。
每次修改小到能够撤回,并重跑同一批样本。正确性、时间、成本分别记录,避免一项改善掩盖另一项退步。单次突然变快,不足以宣布整个流程成功。
把基准变成可以解释的发布判断
有用的结论应该是:某套明确配置,在记录好的条件下,满足了某个任务的要求。保存计算表、合格案例和失败例子,服务或应用更新后还能继续使用。
试玩入口帮助探索流程,这篇文章帮助定义该测什么。网页里嵌着演示不等于证明官方速度数字;只有能展示有用结果和失败恢复行为,才适合把决策路径交给用户。