很多 AI 测评只统计答对率，默认每个问题都应该得到一个答案。但在企业搜索、客服和安全分析里，证据不足时明确说“不知道”可能是正确行为。真正需要防的是模型用很肯定的语气回答错误内容，却没有提示不确定性或请求更多材料。
把回答和拒答放在同一张表
测试集要同时包含可回答、证据不足、来源冲突、超出知识范围和权限不足的问题。每条结果记录是否回答、答案是否正确、证据是否充分、置信表达是否匹配。只看覆盖率会鼓励模型尽量作答，只看拒答率又会让工具变得没有用。
可以用覆盖率和选择性风险描述这种权衡：系统只回答它认为可靠的问题时，剩余回答的错误率是多少。还要单独统计“错误但语气确定”和“正确但过度保守”，这两类问题对用户的影响不同。
不确定性不能只靠一个分数
模型输出的 confidence 字段未必经过校准。更实用的是结合检索证据数量、来源一致性、工具返回状态、问题类型和多次采样差异。对于关键业务，低证据请求可以转人工、要求用户上传原文、调用另一个模型复核，或返回可核查的候选而不是单一结论。
统一入口能帮助做模型对照。通过 top-api.cc 把同一问题发往不同上游，记录回答、拒答、证据和成本，再按问题类型比较，而不是把所有问题合成一个总分。回退策略也要避免把“第一个模型不知道”直接变成“第二个模型更自信地猜”。
测评样本
- 资料中明确有答案的问题；
- 资料缺失但很像常见问题的干扰项；
- 两个来源互相矛盾的问题；
- 需要特定租户权限的问题；
- 时间敏感、版本敏感的问题；
- 用户明确要求“不确定就说明”的问题。
好的 AI 工具不是回答最多，而是在知道、可能知道和不知道之间做出可解释区分。产品页面应让用户看到拒答原因、需要补充什么，以及是否可以发起复核，避免把安全拒答做成无信息的错误提示。
参考资料：选择性预测、校准评估和 RAG 评测的公开研究，以及 OWASP 对幻觉和不当输出的风险说明。不同业务的错误成本应分别设定。
如果要比较多模型在同一问题集上的保守程度和错误自信，可以用 top-api.cc 统一记录调用和回退，构建自己的拒答回归集。
Leave a Reply