让论证经得起最有力的反对意见

让主张与证据相匹配

一个鲜明的案例可以说明某种机制有可能存在，并揭示一个过程是如何运作的。但它不能证明该机制有多普遍。经过选择的比较，可以使问题更加明确，却未必能识别因果效应。一项随机化任务实验，可以支持其测试情境中的因果主张，但制度层面和长期问题仍可能悬而未决。首先应说明证据属于哪种类型，以及它最多能够支持什么结论。

要将观察、解释和方案建议区分开来。一份文件可能表明有人提出了异议。该异议是否构成了有效的独立质疑，可能需要作出判断。一项新的治理设计能否防止问题再次发生，则是更进一步的主张。如果没有明确论证，就在这些层次之间跳转，制造的只是确定性的表象，而不是证据。

将分歧视为信息

两名编码者可能在大多数项目上一致，却在决定结论的少数单元格上存在分歧。应报告分歧出现在哪里，而不只是给出一个总体百分比。应测试：分别采用每一套保留的编码，以及一项有充分依据的裁定规则时，研究关注的实质性关联是否仍然成立。选择规则应当基于证据理由，而不是为了保住所偏好的结果。

基于模型的重新编码练习，不等于独立的人工验证。共同的训练来源或模型谱系，可能导致错误相关。即使是真正独立的人类编码者达成一致，也不能使经过选择的样本具有代表性，更不能证明因果关系。这些局限并不意味着必须放弃概念框架，而是要求缩小实证主张的范围，并说明还需要哪些观察来支持或挑战它。

为设计辩护，而不是宣称发现了制度定理

即使尚未确立普遍适用的因果规律，纠错架构也可以是一项有用的方案。为它辩护时，应明确它针对的失误、运作机制、成本，以及应在什么条件下修订它。还应纳入一个有力的反例：例如，标准化提高了可靠性、独立检查几乎没有增加价值，或快速自动化扩大了服务可及性的情境。

因此，你的综合项目应包含一项决策和一份研究计划，而不仅仅是罗列优点。应说明哪些控制措施你会立即实施，哪些会先测试，哪些会拒绝采用。要始终区分完成一项练习与完成经验证的真实部署。最终成果应是一套其他人能够检查、质疑并改进的论证。

先建立证据台账，再写结论

设置五列：主张、观察、解释、替代解释，以及与决策的关系。对于综合项目中准备写出的每一句话，判断哪一列提供了它的依据。“两位复核者达成一致”是一项观察；“他们的一致意见构成了独立佐证”，则额外加入了对证据生成过程的主张。“机构应保留单独的检查”，是一项建议，需要论证收益、成本和可行性。

将虚构的十个案例编码示例扩展为合成数据设计练习；这里并未提供真实研究数据集。自行创建一个十行表格，让两名编码员分别对每个案例的六项能力作二元评分；安排恰好六个评分不一致，而且全部位于“叫停权限”这一列。为每个案例再添加一个明确注明为虚构的二元结果变量，并将关联定义为具有叫停权限的案例与不具有叫停权限的案例之间的结果发生比例之差。设计评分时，应确保在每名编码员的编码下，两组均有案例。保留两份评分表，列出六个存在争议的单元格，并在计算结果之前确定裁决规则。分别根据两名编码员的评分以及裁决后的评分报告关联。你编造的结果变量是教学构造，不是制度效果的证据。如果实证结论随编码选择而改变，就应缩小结论范围；不要通过删除引发分歧的案例来提高表面上的稳健性。

设计下一项有可能改变决定的测试。明确目标总体、比较对象、结果指标、观察期，以及实际约束。解释这项测试完成后，仍会留下哪些未知问题。一项试点可能证明工作流程能够运转、记录能够核对一致，却无法识别它对制度运行质量的因果影响。重复一项说明性计算，只能验证算术，而不能证明其输入有效。

研讨：口头答辩与修订

每位学员用三分钟提出建议，然后分别回答关于证据、资源，以及受影响者如何获得补救的质疑。考评者应要求学员根据已提交的记录进行推理，而不是背诵某种偏好的措辞。如果准备过程中使用了AI工具，学员应说明工具作出了什么贡献，并能够解释和检查由此形成的论证。

讨论结束后，提交一份修订说明，指出改变了什么、为何改变，以及还存在哪些分歧。英文原版的篇幅要求为300词；如用中文作答，可选择约600字的适配篇幅，这不是逐词对应的等值换算。只要用证据回应了反对意见，有充分理由地保留原建议也是可以接受的。评价应着眼于推理和修订的质量，而不是是否赞同课程作者。