English course · 简体中文版(扩展课程)

人工智能与制度 · 第 2 课,共 8 课

三次确认,可能只有一条证据路径

区分不同输出与独立证据。

建议约 75 分钟,包括练习。

学习目标

  • 区分不同输出与独立证据。
  • 解释共同失效为何可能使表面的相互印证失去意义。
  • 完成分析实训,并在结构化研讨中为修订后的建议作出论证。

配套阅读 Better Answers, Worse Decisions(《更好的答案,更差的决策》,暂译): 第2、3、10章. 该书另行销售。本课程不提供书稿或章节下载。

本课讲授

追溯通向结论的路径

三份措辞精致的报告可能拥有同一个证据源头。它们可以出自不同作者、界面并使用不同表述,却依赖同一模型、检索来源或照搬的假设。此时按报告数量计算,就会夸大相互印证的程度。先画出依赖关系图:原始观察、转换过程、模型、建议和最终决定。标出某条分支继承另一分支结果的位置。

独立性并不要求每个人都孤立工作。共同标准可以减少任意的不一致,共享工具也可以使昂贵的专业知识惠及更多人。真正的问题是:第二条路径能否揭示第一条路径容易遗漏的重大错误?换一个品牌并不足够;不借助工具的人类判断也不会自动更独立或更优秀。

一个简单的概率例子

仅作说明,假设两项检查各有10%的概率遗漏某种缺陷。如果它们的漏检事件彼此独立,两项都漏检的概率就是1%。如果它们总是漏掉完全相同的缺陷,两项都漏检的概率则为10%。边际漏检率完全一样,组合后的保护效果却不同。这些是教学假设,不是任何产品的实测数据。

实际依赖关系通常介于这些简单极端之间,也可能随失效类型而变化。两项检查可能在算术上得出不同结果,却共同接受一个错误的任务定义。应记录每项检查旨在揭示哪种错误。关于独立性的数值假设,应有证据支持或经过敏感性分析,不能仅由供应商数量推断。

先保留分歧,再处理分歧

一种成本较低的设计改变是时间上的分离:让审核者在看到共同建议之前记录自己的初步判断,再比较理由。这不能证明初步判断正确,却能保留原本可能因锚定效应或从众而消失的信息。

保留原始证据和改变决定的理由。只有当有人能够调查重要分歧并据此行动时,分歧记录才有价值。不要为分歧本身设置奖励:仅仅引入随机差异的审核者,并没有提供有用的独立路径。应检验替代路径能否发现错误、代价多大,以及组织是否能够裁决冲突。

对表面独立性进行压力测试

下面的虚构概率模型用于揭示共同原因。某个共同数据缺陷有5%的概率出现,并使两项检查都漏掉相关问题。如果该共同缺陷没有出现,每项检查独立漏检的概率为5%。因此,共同漏检概率为0.05 + 0.95 × 0.05 × 0.05 = 0.052375,即5.2375%。任一检查的边际漏检概率为0.05 + 0.95 × 0.05 = 9.75%。把这两个边际概率直接相乘是错误的,因为共同原因造成了依赖。

这个模型刻意保持简单。它假设共同缺陷必然导致共同漏检,条件漏检事件彼此独立,且这些概率适用于同一缺陷总体。改变其中任何假设,计算都会变化。本课意在暴露依赖关系,不是给出审核效果的普遍估计。

设计一次小型配对审核:让两项检查处理同一批案件,保留各自最初的结果,并按机制分类共同漏检。说明如何形成参考判断,同时保留未能裁定的案件,而不是把其中一个检查者直接当作真相。报告联合结果,不要只列出两个准确率。小样本中观察到很少的共同漏检,不能证明系统能够抵御罕见的共同失效。

研讨:购买第二条路径,还是修复第一条路径?

为每组设定固定的虚构审核预算。一种方案购买另一份基于相同数据的报告;第二种支付对照原始记录核对的费用;第三种改造原有数据流程。学员必须说明每项方案针对哪种失效、成本如何、还剩哪些风险。可以组合方案,但应解释因此放弃了什么。

提交一页依赖关系图和一份简短采购建议,英文原要求为200词,中文建议约400字。在总结讨论时,移除那份被认为独立的来源,并询问哪些结论仍然成立。坦诚说明相互印证已经消失,应比临时声称“措辞不同,所以证据独立”得到更高评价。

本课程虚构示例

两家供应商,同一个来源

某虚构采购团队收到两份风险报告。一份使用商业助手,另一份来自不同界面,但两份报告都引用同一张过时的电子表格。团队把两者一致视为两次独立确认。

  1. 识别共同的电子表格这一证据依赖。不同措辞和供应商名称不会消除这种依赖。
  2. 依据独立维护的交易记录及其更新日期核查相关数字。
  3. 保留两份原始报告,记录独立记录是否改变了决策。既要纠正具体答案,也要纠正共同来源。

由此可得: 有价值的第三次检查应提供不同的证据路径,而不是同一输出的另一个版本。

先作答,再查看反馈

绘制依赖关系图

围绕一个虚构决策,绘出三项建议的关系图。列明各自的来源、模型或方法,以及是否接触过先前建议。设计一项能够以不同方式失效的检查。

评价标准

  • 共同来源和照搬的假设应清晰可见。
  • 拟议的替代检查应针对某种明确失效,而不是泛泛追求多样性。
  • 说明检查成本,以及分歧如何进入最终决策。
参考反馈

一张有力的关系图可能揭示:两位分析员和一个仪表盘都继承了同一次数据提取。直接对照原始记录抽样核对,可以检验提取过程。但这不能证明决策规则本身合理,因此可能仍需独立审查规则。

可选扩展 · 约 20 分钟,另计于核心课程用时

扩展实训:从配对审核还原共同漏检

把本课的依赖关系图用于合同触发审核。设想两个AI辅助审核流程A、B,都要判断交货证据是否存在指定缺陷。以下100个案例全部由另行核对的原始记录确认存在该缺陷;参考判断不取自A或B。这是人为构造的教学数据,不是实测审核结果,也不是从真实业务中随机抽取的全部案例。

A、B分别处理同一批案例,并在看到对方结论前保存各自的判断。表中“发现”表示识别出指定缺陷,“漏检”表示没有识别出它。先用这张配对表计算,再决定是否能够把两项边际比例相乘。

100个已确认有缺陷案例的配对结果(教学构造)
审核A / 审核BB漏检B发现合计
A漏检6410
A发现98190
合计1585100

先作答

  1. 计算A、B各自的漏检比例、共同漏检比例,以及假设独立时两个边际比例的乘积。共同漏检比例是该乘积的多少倍?说明分母。
  2. 流程规定:任一审核发现缺陷就转人工核查;只有两者都未发现缺陷才放行。相对于仅使用A,增加B在这100例中多发现了多少例?计算B在A漏检案例中的发现比例。
  3. 现在加入第三份报告C,C完整复制A的结论,并把放行规则改为三份报告多数同意即可。此时会放行多少个有缺陷案例?解释结果,同时指出这里既改变了报告组成,也改变了决策规则,不能把差异单独归因于报告数量。
  4. 提交一张简短审核卡:写明可支持的结论、仍不能估计的指标、需要核查的共同来源,以及下一轮测试的比较规则。若要评价真实业务中的总错误率和延误,还缺哪些案例与记录?
配对审核:计算与参考反馈

A漏检10/100 = 10%;B漏检15/100 = 15%;共同漏检6/100 = 6%。将边际比例代入独立模型得到0.10 × 0.15 = 1.5%,而表中的共同漏检比例是其4倍。后者直接来自配对计数;1.5%依赖额外的独立性假设。有限样本中两者不相等,并不单独证明总体依赖,更不能识别共同原因。

两项审核都未发现才放行时,共有6个有缺陷案例被放行。B额外发现A漏掉的4例,所以该批案例的漏检数由10降为6;B在A漏检案例中的发现比例为4/10 = 40%。这里的40%不是B在全部案例中的发现比例85%。

C复制A时,A与C总能形成多数,因此多数规则的结果完全等于A:放行10个有缺陷案例。第三份报告没有增加新的观察。与前一题的6例比较时,必须同时说明融合规则已经改变;若仍采用任一审核发现就转人工的规则,复制A的C不会改变原来的6例。

这100例只描述已确认有缺陷案例中的发现与漏检,不能估计真实业务中的缺陷发生率、无缺陷案例被错误拦截的比例,或全部案例的总错误率。下一轮应纳入明确抽样的有缺陷与无缺陷案例,保留各自结果、时间戳和人工核查耗时;说明参考判断的取得方式、未裁定案例及目标业务总体。不要把这张教学表外推成部署保证。

回到来源记录,核对A、B是否共用同一仓库数据、提取程序或错误定义。保留原始观察、报告生成过程和责任主体,并对同一批输入比较预先固定的决策规则。来源记录帮助定位依赖;记录完整本身不保证交货事实正确。

来源与适用范围

研究连接:本练习沿用《The Evidence Behind a Contract Trigger》的交货证据问题,将来源追踪推进到可复核的联合结果表。W3C PROV Primer第2.1—2.6节介绍实体、活动、责任主体及派生关系;NISTIR 8202第7.3节说明外部输入仍可能失实。两份资料支持来源核查的理由,不提供本练习的数字;表格、决策规则及计算均为课程自行构造。

形成性练习

检验你的推理

这是开放式自测,不是保密考试,也不颁发证书。下方提供答案与解析。你填写的答案不会发送到服务器。

两项检查各漏掉10%的缺陷,且漏检事件相互独立。两项检查都漏掉的比例是多少?

解析与参考答案

1%

在题目明确给出的独立性假设下,计算0.10乘以0.10。没有这一假设,就不能仅依据两个边际漏检率求得共同漏检率。

按照本课的共同缺陷模型,共同漏检概率是多少?

解析与参考答案

5.2375%

共同缺陷分支贡献5%;其余分支贡献95% × 5% × 5% = 0.2375%。把互斥分支相加,得到5.2375%,而不是两个边际漏检率的乘积。

保存学习笔记

笔记仅保留在当前标签页中,不会提交或自动保存。离开前请下载副本。请使用虚构或公开信息,不要填写个人或客户机密。