返回知识库

AI 与提示 · 安全与运营

评测集Evaluation Set

固定同一批样例与标准,亲手标出修复和新增错误。

别让相同总分盖住新错误

验收任务:找出一个修好的旧错和一个新增错误。数据与输出均为预设模拟,不代表某个真实模型。

冻结集 v1 · 4 条 · 完全匹配标签才通过

旧版:未运行 新版:未运行

E01 · 没拆封,能退吗?

标准答案:咨询

旧版 A

待运行

新版 B

待运行

E02 · 请把订单退掉。

标准答案:退款

旧版 A

待运行

新版 B

待运行

E03 · 明天能送到吗?

标准答案:物流

旧版 A

待运行

新版 B

待运行

E04 · 补开一张发票。

标准答案:发票

旧版 A

待运行

新版 B

待运行

升级复核单

先运行旧版,再运行新版;固定集不随版本改变。

已标记:无

知识点:输入、答案、标准一起固定

评测集是可重复比较的样本集合;评分标准决定何为通过。面板里版本变了,输入和答案没有变,因此 E03 的退步可以追溯。总分之外要看错误类型与高风险样例。

什么时候用、怎么用

换模型、改提示或检索链路前保留基线。收集有代表性的正常、边界和历史错误 → 明确答案或评分量表 → 两版跑同一集 → 逐条分析修复与回归。四条只能演示流程,不能估计真实稳定性;保留未用于调提示的独立集,生成有随机性时重复运行。

正反例:同一次升级

正例:保留 E03,标明物流回归,修好后再复测。

反例:为了让新版分高删掉 E03,两版数据不一致,得分失去可比性。

快速自测

A 为 90%,B 为 92%,但 B 新增一条高风险错误,能直接升级吗?

继续查证

术语的技术定义和行为以这些一手或权威资料为准。

下一步学