旧版:未运行 新版:未运行
AI 与提示 · 安全与运营
评测集Evaluation Set
固定同一批样例与标准,亲手标出修复和新增错误。
别让相同总分盖住新错误
验收任务:找出一个修好的旧错和一个新增错误。数据与输出均为预设模拟,不代表某个真实模型。
E01 · 没拆封,能退吗?
标准答案:咨询
旧版 A
待运行
新版 B
待运行
E02 · 请把订单退掉。
标准答案:退款
旧版 A
待运行
新版 B
待运行
E03 · 明天能送到吗?
标准答案:物流
旧版 A
待运行
新版 B
待运行
E04 · 补开一张发票。
标准答案:发票
旧版 A
待运行
新版 B
待运行
升级复核单
先运行旧版,再运行新版;固定集不随版本改变。
已标记:无
知识点:输入、答案、标准一起固定
评测集是可重复比较的样本集合;评分标准决定何为通过。面板里版本变了,输入和答案没有变,因此 E03 的退步可以追溯。总分之外要看错误类型与高风险样例。
什么时候用、怎么用
换模型、改提示或检索链路前保留基线。收集有代表性的正常、边界和历史错误 → 明确答案或评分量表 → 两版跑同一集 → 逐条分析修复与回归。四条只能演示流程,不能估计真实稳定性;保留未用于调提示的独立集,生成有随机性时重复运行。
正反例:同一次升级
正例:保留 E03,标明物流回归,修好后再复测。
反例:为了让新版分高删掉 E03,两版数据不一致,得分失去可比性。
快速自测
A 为 90%,B 为 92%,但 B 新增一条高风险错误,能直接升级吗?
继续查证
术语的技术定义和行为以这些一手或权威资料为准。