一场关于26%的争论，暴露了评测的软肋

消息提到，Trail of Bits 发文批评 1Password 于8月6日发布的报告，认为其 26% 的 AI 干净修复率受四项实验设计选择影响而失真：刻意指示智能体应用错误修复的提示词占了 22% 数据，36% 的试验禁止编译测试，还存在不同推理档位设置。这些数字本身来自聚合摘要，原文论证未核验，但争论指向一个对求职者很实际的问题：评测结论高度依赖实验设计。

如果你正在面试 AI 安全或代码评测岗，这恰好是一份现成的提问清单。

看到指标，先核查设计细节

面试时对方常会介绍团队“修复率”“通过率”之类的指标。别急着点头，可以顺着问：

  • 评测数据里，提示词是怎么构造的？有没有刻意引导模型走错路的样本，占比多少？
  • 试验是否允许编译、运行测试？如果禁止，那测的到底是修复能力还是文本相似度？
  • 不同推理档位、模型版本是否混在一起统计？

这些问题的价值不在于挑刺，而在于看对方能否说清边界。一个严谨的团队通常能明确告诉你哪些结论成立、哪些不成立；只做表面指标的团队，往往只会重复一个漂亮数字。

有争议时，看团队怎么回应

Trail of Bits 公开批评 1Password 报告这件事本身，也提供了一个观察角度：评测结论被外部质疑是常态。面试时可以问：团队的方法是否公开？收到外部质疑后怎么处理？有没有复现机制？

假设一个模拟场景：面试官说“我们的评测集覆盖了主流语言”。你可以追问评测集来源、标注流程、争议样本怎么裁决。这不是刁难，而是判断你未来会不会长期维护一套没人敢信的指标。

值得加入的团队，通常愿意把方法摊开讲，也接受别人复现和反驳。

一个可以马上做的小建议

下次面试前，把上面三个问题写进你的提问清单，面试后记录对方的回答。如果对方只能给出指标、说不清设计，那这个岗位的评测工作可能更接近“跑分”而非“验证”。