学习目标
- 区分提出异议的许可与改变决定的权限。
- 梳理自动化工作流程中,每个会产生实质影响的环节由谁控制。
- 完成分析实训,并在结构化研讨中为修订后的建议作出论证。
配套阅读 Better Answers, Worse Decisions(《更好的答案,更差的决策》,暂译): 第8及12章. 该书另行销售。本课程不提供书稿或章节下载。
本课讲授
警示需要得到制度上的认可
一个组织可以允许不同意见存在,却仍然让它们无法发挥作用。异议可能在决定作出之后才到达,可能由被质疑其工作的团队自行裁定,也可能被要求提供提出异议者无法获取的证据。要检查整个顺序:何时能够提出担忧?调查期间会发生什么?什么情况会促使决定改变?倾听意见的流程,并不自动等于纠错流程。
要区分技术分歧与对目标的争议。两名分析人员可能对预测结果达成一致,却对这一结果是否可以接受持不同意见。不要要求模型性能测试替代伦理或制度层面的选择。应记录每个问题由谁有权决定,以及哪些义务约束着这种选择。
梳理实际控制,而不只是职位名称
名义上的管理者未必控制默认设置、数据管道、阈值或申诉界面。供应商、采购团队、运营人员和监管机构可能分别控制不同部分。应梳理发出指令、施加激励、设定默认值和行使否决的能力。这些是分析上的区分,并不是说每一个有影响力的参与方都承担相同的法律义务。
对于每个控制点,都要问:该参与方实际上能够改变什么?掌握什么信息?谁能够要求其作出回应?合同可能分配了一项责任,但缺少访问权限就根本无法履行。反过来,一个在技术上能力很强的参与方,也可能未获授权去改变一项影响重大的决定。设计必须把实际能力与正当的决策权限连接起来,同时不能假定二者是一回事。
让问责真正落地
应明确调查负责人、决定暂停运行的人、撤销决定的路径,以及承担补救责任的一方。这些角色可以由不同主体承担,但交接必须明确。一个案件编号并不等于补救。修改模型,也不能弥补此前已经针对某人作出的决定。
用一项最初遭到生产运行团队拒绝的异议来测试流程。谁能够获得独立意见?延误的成本由谁承担?是否存在原有管理链条之外的升级处理渠道?更充分的答案还应考虑无理或重复质疑带来的成本。纠错系统应当易于使用、符合比例原则,而不是被无限制的否决权拖入瘫痪。
区分技术控制、政策决策权限与补救
以一项虚构的学生支持资源分配为例。供应商维护排名模型;运营团队更正记录;大学委员会负责分配规则;一个独立小组可以重新审视个别决定。建立一个矩阵,区分修改软件的能力、改变政策的权限,以及对结果进行补救的权力。不要假定供应商应该决定学校教育目标的优先顺序。
对于每一项有争议的决定,都要找出能够通过质疑防止损害发生的最早时间点。如果申诉在固定的入学截止日期之后才处理完毕,所需的补救可能不同于分配前就完成更正的情况。应明确写出这种对时间的依赖。迅速确认收到投诉,是一项有用的服务指标,但不是成功完成重新审议的指标。
引入一项有根据、却被原团队拒绝的质疑。学员必须说明:证据如何传递给原有直接处理链条之外的行动者,这位行动者可以要求什么,以及最终决定的理由如何记录。然后再引入一项反复提出、缺乏依据的质疑,并设计符合比例原则的回应。让程序易于使用,并不意味着必须提供无限制的否决权;提高效率,也不能成为使实质性复核无法进行的理由。
研讨:围绕争议决定开展角色扮演
分配四种角色:受影响的申请者、运营人员、政策负责人,以及复核者。使用一份虚构记录,其中包含一个事实错误和一项真实的政策分歧。每个角色都要说明自己能够查明什么、改变什么,以及必须将哪些事项转交别处处理。不要在练习中使用个人信息或真实在读学生的信息。
制作一张控制与补救矩阵,并写一封简短的决定说明函,分别解释两个问题。评价应着眼于理由是否清晰、是否具备有效的决策权限,以及时间安排是否恰当。不要因为学员声称存在案例尚未证实的法定权利就给分;特定司法辖区的义务,需要另有证据支持。
本课程虚构示例
没有实权的申诉
一个虚构的奖学金平台允许申请者申诉。申诉团队能够更正拼写错误,却无法检查排名所用的输入信息,也不能撤销奖学金授予决定。网站将此称为人工复核。
- 准确指出缺口:申诉机制确实存在,但其职权范围触及不到真正影响结果的决定。
- 区分数据更正、排名复核,以及改变奖学金授予决定的权限。
- 为实质性争议安排处理路径,包括获取相关证据的权限、作出决定的期限,以及对错误结果进行补救的方式。
由此可得: 有人参与或设有申诉表单,并不能证明存在有效的回应与问责。关键在于其实际能够发挥作用的范围。
先作答,再查看反馈
绘制控制与义务对应图
针对一项虚构的自动化决策,找出五个控制点。对于每个控制点,说明谁能够改变它、谁获准作出改变、谁可以提出质疑,以及质疑成立后会发生什么。
评价标准
- 没有将技术控制能力与经授权承担的责任混为一谈。
- 至少有一条路径能够通向撤销决定或补救,而不只是召开复核会议。
- 设计考虑了延误、滥用以及受影响者承担的负担。
参考反馈
一张好的对应图,可以将数据更正交给运营团队,将阈值调整交给获授权的政策负责人,将存在争议的个别决定交给另设的复核者。它应揭示这样的交接缺口:所有人都能承认存在问题,却没有人能够改变结果。
形成性练习
检验你的推理
这是开放式自测,不是保密考试,也不颁发证书。下方提供答案与解析。你填写的答案不会发送到服务器。
保存学习笔记
笔记仅保留在当前标签页中,不会提交或自动保存。离开前请下载副本。请使用虚构或公开信息,不要填写个人或客户机密。