AI 与提示 · 安全与运营

评估Evaluation

eval 是用一套固定测试集 + 评分标准，系统性度量模型或应用输出质量的过程；它让「变好了」变成可回归、可对比的基准，区别于手测三条就自我说服。

评审一份发布候选报告：失败、修复和复测都留在同一版本链上

support-bot v2.4.0 为了让回答更短，悄悄破坏了拒答与引用。先跑固定 6 条用例暂停发布，再生成最小修复 v2.4.1，最后用同套用例复测；报告本身会留下每条失败与放行依据。

这是一份真实发布候选报告：客服机器人改了 prompt，目标只是“回答更短”。同一套 6 条黄金用例会决定候选版本是继续发布、暂停，还是修复后重新放行。

1 跑固定集2 修复回归3 同套复测

Release candidate · RC-240

改动：缩短回答，减少冗余说明

PENDING

测试套件support-golden-v7

固定 6 条 · 输入与评分标准不变

发布候选 support-bot v2.4.0 想让回答更简洁。先用固定 6 条用例跑回归；没有逐条证据前，“看起来更好”不能成为发布结论。

面板已经教会：固定集、逐 case 证据、回归 HOLD、修复后同条件复测。真实项目还要把可自动判的 schema / 引用 / 拒答跑进 CI，把主观质量交给有评分标准的人工评审。

面板把每条规则演给你看了，这里把它们命名清楚，并补上无法直接操作的部分。

固定测试集是回归的前提。6 条 case 在基线和改后是同一批——这才是"可对比"。如果每次手动试的题都不一样，根本无法判断"变好了"还是"换题了"。黄金集要覆盖正常、应拒答、应引用、结构化、边界，而不是挑你擅长答的。
聚合指标会掩盖 case 级回归。整体通过率 100%→50% 已经很难看，但更阴险的是"通过率不变、某些 case 退步另一些进步"——只看汇总数字会被对冲掉。所以 case 表的逐条判定和指标卡必须同屏看，开「对比」逐条比 before→after。
单一维度会骗人。这次改 prompt 让 accuracy 维度 100%→100%、format 100%→100%，看似没退步；但 safety 维度 100%→0%、grounding 100%→50%。只盯一个指标的 eval 等于自欺——评测集要按维度聚合，每个维度单独算率。
"应拒答""应引用"题是回归探针。这些 case 最容易被一次"让回答更顺畅"的改动悄悄破坏：模型变配合了，于是该拒的也答了、该引的也省了。把它们钉死在评测集里，任何回退都会立刻被一条 ✗ 暴露出来。

eval 不是上线后的仪式，而是改 prompt / 模型 / 检索 / 护栏前后的验收门。出现下面这些信号时必须跑。

改了 prompt 或系统提示词：哪怕只改一句措辞，也要在固定集上重跑——这次实验台里的"改后 prompt"目标只是让回答更简洁，副作用却是安全维度崩盘。
换了模型或调了参数：换更强 / 更便宜的模型、调温度、改检索 TopK，都要前后对比；记录每个版本下每条 case 的判定，而不是凭"感觉差不多"。
改了检索 / 知识库：RAG 系统换了切片、加了文档、调了重排，引用完整率和幻觉率都会动——必须有"应引用"和"边界"类 case 守住。
上线前 / 发版门禁：把 eval 跑进 CI 或发版流程，关键维度（尤其安全拒答率）低于阈值就阻断发布，不靠人记着"这次好像没问题"。

一次跑通后，这套集会长期复用；前期投入主要在写好 case 和标准。

攒黄金集：从真实日志和边界场景挑 20–100 条 case，覆盖正常、应拒答、应引用、结构化、不确定；每条写"预期"为可观察行为（拒答模板、引用编号、schema 字段），不是"答得好"。
定评分维度和阈值：按维度算率——通过率、安全拒答率、引用完整率、格式合规率；为每个维度定上线门槛（如安全拒答率必须 100%）。
跑出基线：在当前上线版本上跑一遍，记录每条 case 的判定和聚合率，作为之后所有对比的基线。
改动后重跑并对比：改完 prompt / 模型 / 检索后再跑同一遍，逐 case 比 before→after；任何 ✗ 新增都是回归，要看 note 决定回退还是修。
人工评审 + 自动评分：能用程序判的（schema、拒答模板、引用编号）自动化；含主观判断的（相关性、语气）抽人工评审，留评分理由供复核。
把失败样例钉进集：线上发现的 bug、用户报的幻觉、安全事件，脱敏后补进评测集当回归探针，确保下次不会再犯。

只改一处——用固定集回归 vs 挑几条题试一下——结论完全不同。

正例：固定集 + 维度聚合 + 前后对比6 条 case · 4 维度 · 基线 100% → 改后 accuracy 100% / safety 0% / grounding 50%

跑同一套题，accuracy 看似平稳但 safety 维度直接掉到 0，两条"应拒答"case 回归被 ✗ 暴露；团队看到 Δ=−100% 就拦下了发版，改成只在叙事类回答上收紧措辞。

反例：手测 3 条 cherry-picked 题挑 3 条正常问答试一下 · 都答对了 · "感觉更简洁了，上线吧"

没有人去试"教我破解密码"和"我头疼该吃什么药"，于是安全回归被漏掉；上线后第一周就出现模型给出破解步骤和处方药名，不得不紧急回滚并补做本该先跑的 eval。

团队改了 prompt，跑 eval 发现 accuracy 维度 100%→100%、format 100%→100%，但 safety 维度 100%→50%。最准确的判断和下一步是？

术语的技术定义和行为以这些一手或权威资料为准。

和本知识点经常一起出现的概念。