学习目标
- 区分不同输出与独立证据。
- 解释共同失效为何可能使表面的相互印证失去意义。
- 完成分析实训,并在结构化研讨中为修订后的建议作出论证。
配套阅读 Better Answers, Worse Decisions(《更好的答案,更差的决策》,暂译): 第2、3、10章. 该书另行销售。本课程不提供书稿或章节下载。
本课讲授
追溯通向结论的路径
三份措辞精致的报告可能拥有同一个证据源头。它们可以出自不同作者、界面并使用不同表述,却依赖同一模型、检索来源或照搬的假设。此时按报告数量计算,就会夸大相互印证的程度。先画出依赖关系图:原始观察、转换过程、模型、建议和最终决定。标出某条分支继承另一分支结果的位置。
独立性并不要求每个人都孤立工作。共同标准可以减少任意的不一致,共享工具也可以使昂贵的专业知识惠及更多人。真正的问题是:第二条路径能否揭示第一条路径容易遗漏的重大错误?换一个品牌并不足够;不借助工具的人类判断也不会自动更独立或更优秀。
一个简单的概率例子
仅作说明,假设两项检查各有10%的概率遗漏某种缺陷。如果它们的漏检事件彼此独立,两项都漏检的概率就是1%。如果它们总是漏掉完全相同的缺陷,两项都漏检的概率则为10%。边际漏检率完全一样,组合后的保护效果却不同。这些是教学假设,不是任何产品的实测数据。
实际依赖关系通常介于这些简单极端之间,也可能随失效类型而变化。两项检查可能在算术上得出不同结果,却共同接受一个错误的任务定义。应记录每项检查旨在揭示哪种错误。关于独立性的数值假设,应有证据支持或经过敏感性分析,不能仅由供应商数量推断。
先保留分歧,再处理分歧
一种成本较低的设计改变是时间上的分离:让审核者在看到共同建议之前记录自己的初步判断,再比较理由。这不能证明初步判断正确,却能保留原本可能因锚定效应或从众而消失的信息。
保留原始证据和改变决定的理由。只有当有人能够调查重要分歧并据此行动时,分歧记录才有价值。不要为分歧本身设置奖励:仅仅引入随机差异的审核者,并没有提供有用的独立路径。应检验替代路径能否发现错误、代价多大,以及组织是否能够裁决冲突。
对表面独立性进行压力测试
下面的虚构概率模型用于揭示共同原因。某个共同数据缺陷有5%的概率出现,并使两项检查都漏掉相关问题。如果该共同缺陷没有出现,每项检查独立漏检的概率为5%。因此,共同漏检概率为0.05 + 0.95 × 0.05 × 0.05 = 0.052375,即5.2375%。任一检查的边际漏检概率为0.05 + 0.95 × 0.05 = 9.75%。把这两个边际概率直接相乘是错误的,因为共同原因造成了依赖。
这个模型刻意保持简单。它假设共同缺陷必然导致共同漏检,条件漏检事件彼此独立,且这些概率适用于同一缺陷总体。改变其中任何假设,计算都会变化。本课意在暴露依赖关系,不是给出审核效果的普遍估计。
设计一次小型配对审核:让两项检查处理同一批案件,保留各自最初的结果,并按机制分类共同漏检。说明如何形成参考判断,同时保留未能裁定的案件,而不是把其中一个检查者直接当作真相。报告联合结果,不要只列出两个准确率。小样本中观察到很少的共同漏检,不能证明系统能够抵御罕见的共同失效。
研讨:购买第二条路径,还是修复第一条路径?
为每组设定固定的虚构审核预算。一种方案购买另一份基于相同数据的报告;第二种支付对照原始记录核对的费用;第三种改造原有数据流程。学员必须说明每项方案针对哪种失效、成本如何、还剩哪些风险。可以组合方案,但应解释因此放弃了什么。
提交一页依赖关系图和一份简短采购建议,英文原要求为200词,中文建议约400字。在总结讨论时,移除那份被认为独立的来源,并询问哪些结论仍然成立。坦诚说明相互印证已经消失,应比临时声称“措辞不同,所以证据独立”得到更高评价。
本课程虚构示例
两家供应商,同一个来源
某虚构采购团队收到两份风险报告。一份使用商业助手,另一份来自不同界面,但两份报告都引用同一张过时的电子表格。团队把两者一致视为两次独立确认。
- 识别共同的电子表格这一证据依赖。不同措辞和供应商名称不会消除这种依赖。
- 依据独立维护的交易记录及其更新日期核查相关数字。
- 保留两份原始报告,记录独立记录是否改变了决策。既要纠正具体答案,也要纠正共同来源。
由此可得: 有价值的第三次检查应提供不同的证据路径,而不是同一输出的另一个版本。
先作答,再查看反馈
绘制依赖关系图
围绕一个虚构决策,绘出三项建议的关系图。列明各自的来源、模型或方法,以及是否接触过先前建议。设计一项能够以不同方式失效的检查。
评价标准
- 共同来源和照搬的假设应清晰可见。
- 拟议的替代检查应针对某种明确失效,而不是泛泛追求多样性。
- 说明检查成本,以及分歧如何进入最终决策。
参考反馈
一张有力的关系图可能揭示:两位分析员和一个仪表盘都继承了同一次数据提取。直接对照原始记录抽样核对,可以检验提取过程。但这不能证明决策规则本身合理,因此可能仍需独立审查规则。
形成性练习
检验你的推理
这是开放式自测,不是保密考试,也不颁发证书。下方提供答案与解析。你填写的答案不会发送到服务器。
保存学习笔记
笔记仅保留在当前标签页中,不会提交或自动保存。离开前请下载副本。请使用虚构或公开信息,不要填写个人或客户机密。