答案更好，不等于最终结果更好

先确定分析单位，再选择指标

首先明确你想改进的决策。一个有用的模型可以缩短邮件分类、初步分析或候选人识别所需的时间。这些改善是真实的结果，不应被忽视。但组织的工作不只是给出下一个答案。它还必须决定应该提出哪些问题，发现惯用方法何时失效，培养能够诊断失效原因的人，并改变受到影响者的处境。

某一层面的指标不能在没有论证的情况下替代其他所有层面的指标。完成得更快，不能证明选定的任务有价值。固定测试中的准确率，不能证明面对变化后的人群仍有同样表现。较高的批准率，也不能证明审核者有能力推翻建议。请在每项主张旁写明分析单位：答案、任务、个人、团队、组织或更广泛的领域。然后追问：什么证据能够把一个层面的结果与下一个层面联系起来？

与人们真正能够采用的替代方案比较

比较的双方不是有缺陷的机器与完美无误的人类判断。现实替代方案可能意味着漫长排队、不一致的审核、负担不起的专业服务，甚至完全没有服务。一个系统即使不是想象中最优秀的专家，也可能因为扩大了服务可及性而值得采用。反过来，任务表现的小幅改善未必足以抵偿失去唯一有效申诉渠道的代价。

在决策记录中设置两栏。第一栏记录当前表现、可及性与成本；第二栏记录组织在一段时间内发现错误并恢复的能力。不要把两栏随意加权合成一个数字分数。应说明哪些权衡可以接受、由谁承担，以及将观察哪些结果。如果组织要求遵守安全阈值或保障申诉权，应把这些约束明确写出来，而不是藏在平均数中。

让主张能够被证据推翻

明确比较期间、研究人群、结果变量，以及一个可能使比较产生误导的原因。前后对比中的改善，可能来自人员配置变化或案件难度降低。即使设计严谨的随机化任务实验，也可能无法充分说明长期技能保留情况。这些局限不使证据失去价值，而是界定了它能够回答的问题。

最终建议应包含停止或修订条件。观察到什么情况时，你会缩小、暂停或扩大部署范围？这不是例行写一句“还需要更多研究”，而是把可测量的结果与一项决策连接起来，并明确谁有权作出该决策。

看分布，而不只看醒目的汇总数字

再看一个虚构的服务评价。在一组匹配的200个案件中，未使用辅助工具的团队耗时80小时，发生12次重大错误；使用辅助工具的团队耗时60小时，发生10次。描述性的用时降幅为25%，观察到的错误比例分别为6%和5%。下降一个百分点，不等于相对下降1%：以6%为基数，相对降幅约为16.7%。这些数字回答不同问题，在展示中不能互换。

现在把案件划分为160个常规案件和40个例外案件。假设辅助团队在常规案件中出现2次错误，在例外案件中出现8次。总体5%的错误率掩盖了例外案件20%的错误率。这本身不能证明辅助工具使例外案件表现变差，因为比较组也必须作同样分组。但它说明部署决策不能只依靠合并平均值。还应追问：能否在结果出现之前，通过可靠审核识别例外组？

请制作一张小型证据卡，列出分子、分母、任务定义、分配程序和缺失观察。判断比较支持的是描述性结论、因果效应，还是不确定条件下的决策。同一人参与两种条件的试验，可以控制部分个体差异，却可能产生练习效应和延续效应。随机化比较可以改善归因，但仍可能排除对业务连续性决策至关重要的罕见事件。

研讨：为服务提出论证，而不是为技术站队

用十分钟准备建议，十分钟提出质疑，再用十分钟修订。分别安排参与者关注运营可及性、受影响用户和证据质量。每个角色既要说明一项值得保留的收益，也要提出一个问题。这样可以避免讨论简单分裂为支持机器与反对机器两方。

提交一份简短决策备忘录，英文原要求为300词，中文建议约600字，其中包括一个扩大条件、一个暂停条件，以及一个你明确拒绝用作替代指标的测量值。总结讨论应指出初稿与终稿之间发生了什么变化。评价重点是推理是否回应证据，而不是建议是否支持采用技术。