English course · 简体中文版(扩展课程)

人工智能与制度 · 第 2 课,共 8 课

三次确认,可能只有一条证据路径

区分不同输出与独立证据。

建议约 75 分钟,包括练习。

学习目标

  • 区分不同输出与独立证据。
  • 解释共同失效为何可能使表面的相互印证失去意义。
  • 完成分析实训,并在结构化研讨中为修订后的建议作出论证。

配套阅读 Better Answers, Worse Decisions(《更好的答案,更差的决策》,暂译): 第2、3、10章. 该书另行销售。本课程不提供书稿或章节下载。

本课讲授

追溯通向结论的路径

三份措辞精致的报告可能拥有同一个证据源头。它们可以出自不同作者、界面并使用不同表述,却依赖同一模型、检索来源或照搬的假设。此时按报告数量计算,就会夸大相互印证的程度。先画出依赖关系图:原始观察、转换过程、模型、建议和最终决定。标出某条分支继承另一分支结果的位置。

独立性并不要求每个人都孤立工作。共同标准可以减少任意的不一致,共享工具也可以使昂贵的专业知识惠及更多人。真正的问题是:第二条路径能否揭示第一条路径容易遗漏的重大错误?换一个品牌并不足够;不借助工具的人类判断也不会自动更独立或更优秀。

一个简单的概率例子

仅作说明,假设两项检查各有10%的概率遗漏某种缺陷。如果它们的漏检事件彼此独立,两项都漏检的概率就是1%。如果它们总是漏掉完全相同的缺陷,两项都漏检的概率则为10%。边际漏检率完全一样,组合后的保护效果却不同。这些是教学假设,不是任何产品的实测数据。

实际依赖关系通常介于这些简单极端之间,也可能随失效类型而变化。两项检查可能在算术上得出不同结果,却共同接受一个错误的任务定义。应记录每项检查旨在揭示哪种错误。关于独立性的数值假设,应有证据支持或经过敏感性分析,不能仅由供应商数量推断。

先保留分歧,再处理分歧

一种成本较低的设计改变是时间上的分离:让审核者在看到共同建议之前记录自己的初步判断,再比较理由。这不能证明初步判断正确,却能保留原本可能因锚定效应或从众而消失的信息。

保留原始证据和改变决定的理由。只有当有人能够调查重要分歧并据此行动时,分歧记录才有价值。不要为分歧本身设置奖励:仅仅引入随机差异的审核者,并没有提供有用的独立路径。应检验替代路径能否发现错误、代价多大,以及组织是否能够裁决冲突。

对表面独立性进行压力测试

下面的虚构概率模型用于揭示共同原因。某个共同数据缺陷有5%的概率出现,并使两项检查都漏掉相关问题。如果该共同缺陷没有出现,每项检查独立漏检的概率为5%。因此,共同漏检概率为0.05 + 0.95 × 0.05 × 0.05 = 0.052375,即5.2375%。任一检查的边际漏检概率为0.05 + 0.95 × 0.05 = 9.75%。把这两个边际概率直接相乘是错误的,因为共同原因造成了依赖。

这个模型刻意保持简单。它假设共同缺陷必然导致共同漏检,条件漏检事件彼此独立,且这些概率适用于同一缺陷总体。改变其中任何假设,计算都会变化。本课意在暴露依赖关系,不是给出审核效果的普遍估计。

设计一次小型配对审核:让两项检查处理同一批案件,保留各自最初的结果,并按机制分类共同漏检。说明如何形成参考判断,同时保留未能裁定的案件,而不是把其中一个检查者直接当作真相。报告联合结果,不要只列出两个准确率。小样本中观察到很少的共同漏检,不能证明系统能够抵御罕见的共同失效。

研讨:购买第二条路径,还是修复第一条路径?

为每组设定固定的虚构审核预算。一种方案购买另一份基于相同数据的报告;第二种支付对照原始记录核对的费用;第三种改造原有数据流程。学员必须说明每项方案针对哪种失效、成本如何、还剩哪些风险。可以组合方案,但应解释因此放弃了什么。

提交一页依赖关系图和一份简短采购建议,英文原要求为200词,中文建议约400字。在总结讨论时,移除那份被认为独立的来源,并询问哪些结论仍然成立。坦诚说明相互印证已经消失,应比临时声称“措辞不同,所以证据独立”得到更高评价。

本课程虚构示例

两家供应商,同一个来源

某虚构采购团队收到两份风险报告。一份使用商业助手,另一份来自不同界面,但两份报告都引用同一张过时的电子表格。团队把两者一致视为两次独立确认。

  1. 识别共同的电子表格这一证据依赖。不同措辞和供应商名称不会消除这种依赖。
  2. 依据独立维护的交易记录及其更新日期核查相关数字。
  3. 保留两份原始报告,记录独立记录是否改变了决策。既要纠正具体答案,也要纠正共同来源。

由此可得: 有价值的第三次检查应提供不同的证据路径,而不是同一输出的另一个版本。

先作答,再查看反馈

绘制依赖关系图

围绕一个虚构决策,绘出三项建议的关系图。列明各自的来源、模型或方法,以及是否接触过先前建议。设计一项能够以不同方式失效的检查。

评价标准

  • 共同来源和照搬的假设应清晰可见。
  • 拟议的替代检查应针对某种明确失效,而不是泛泛追求多样性。
  • 说明检查成本,以及分歧如何进入最终决策。
参考反馈

一张有力的关系图可能揭示:两位分析员和一个仪表盘都继承了同一次数据提取。直接对照原始记录抽样核对,可以检验提取过程。但这不能证明决策规则本身合理,因此可能仍需独立审查规则。

形成性练习

检验你的推理

这是开放式自测,不是保密考试,也不颁发证书。下方提供答案与解析。你填写的答案不会发送到服务器。

两项检查各漏掉10%的缺陷,且漏检事件相互独立。两项检查都漏掉的比例是多少?

解析与参考答案

1%

在题目明确给出的独立性假设下,计算0.10乘以0.10。没有这一假设,就不能仅依据两个边际漏检率求得共同漏检率。

按照本课的共同缺陷模型,共同漏检概率是多少?

解析与参考答案

5.2375%

共同缺陷分支贡献5%;其余分支贡献95% × 5% × 5% = 0.2375%。把互斥分支相加,得到5.2375%,而不是两个边际漏检率的乘积。

保存学习笔记

笔记仅保留在当前标签页中,不会提交或自动保存。离开前请下载副本。请使用虚构或公开信息,不要填写个人或客户机密。