English course · 简体中文版(扩展课程)

人工智能与制度 · 第 3 课,共 8 课

决定哪些任务可以委托给系统

明确自主任务的运行边界。

建议约 75 分钟,包括练习。

学习目标

  • 明确自主任务的运行边界。
  • 区分有实际作用的干预与形式化批准。
  • 完成分析实训,并在结构化研讨中为修订后的建议作出论证。

配套阅读 Better Answers, Worse Decisions(《更好的答案,更差的决策》,暂译): 第4章. 该书另行销售。本课程不提供书稿或章节下载。

本课讲授

委托明确的决策,而不是笼统的能力

“在部门里使用人工智能”并没有界定决策边界。应明确输入、允许的输出、受影响人群,以及系统必须拒绝处理或按规则升级转交处理的条件。适用于狭窄常规决策的工具,未必适合证据含混且不可逆的判断。同一个模型在不同工作流程中可以承担不同角色。

识别现实可行的替代方案和延误的后果。要求专家批准每一项琐碎决定,可能消耗稀缺的专业资源而不改善结果。但在另一些场景中,移除独立判断会切断发现重大错误的唯一路径。真正有用的问题是:哪种安排既能改善服务,又能保留与风险相称的纠错渠道?

区分否决权与签字

屏幕要求某个人点击批准,并不意味着此人就是有效的保障。此人能否检查依据、取得相反证据、拒绝建议,并承担这样做所需的时间成本?组织是否允许不同意见,而不把它当成绩效失败?这些都是涉及决策权限与资源的运营问题。

转交处理规则必须明确接收方与响应期限。“转交疑难案件”并不完整:如果没有具备能力的接收人,或原决定在审核之前已经生效,这条规则就可能失去作用。审核渠道也可能让受影响者难以使用。应计入启动渠道的实际成本,而不是只确认政策文件里写有该渠道。

检验边界

扩大部署前,应测试接近边界的情形:数据缺失、证据相互矛盾、不熟悉的人群,以及上游服务失效。拒绝处理或转交处理可能正是正确输出。不能一方面宣称限定运行范围的好处,另一方面又把每次不作答都算成系统缺陷。

记录谁有权改变边界。阈值、输入字段或默认设置悄然发生变化,就可能扩大系统影响,而品牌名称并未改变。应对决策规则和运行条件进行版本管理。环境变化时就应复核部署,而不是只在日历提醒出现时才复核。

写出能够实际执行的委托边界

制定包含六个字段的决策规范:输入要求、允许动作、禁止动作、转交触发条件、获授权的接收人,以及需要保留的证据。以虚构的发票分流助手为例,对发票分类和准备付款建议属于不同权限;两者都不能在没有说明的情况下被视为付款授权。应明确哪一步只是提出建议,哪一步会改变外部状态。

按边界测试表逐项开展测试,表中包含一张普通有效发票、一张重复发票、供应商标识缺失、银行收款指令变更、核验来源不可用,以及金额超限六种情形。开展练习前先写下预期动作。当核验来源不可用时,系统拒绝处理可能正是在正确遵守边界。应测量由此产生的延迟成本,而不是看到结果后才重新定义任务。

再加入一次中断的交接:常规审核者不在,截止时间正在逼近。学员必须在已获授权的替代人员、临时搁置或范围更窄且可撤销的动作之间作出选择。紧急性不会创造权限。记录哪些动作能够撤销,哪些只能阻止未来风险,哪些在执行后需要另行补救。

研讨:质疑批准界面

一组仅用纯文字设计人工审核界面。另一组收到有争议的案件,必须说明缺少什么证据、如何拒绝,以及申诉交给谁。如果审核者无法取得相关证据,或无法改变结果,那么增加一个批准按钮并没有补上缺失的能力。

提交六字段规范及六情形边界测试表。在总结讨论中,分析一个强制审核会浪费稀缺专业资源的情形。优秀设计应提高常规服务效率,同时把有重大后果的干预保留给真正能够执行它的人。

本课程虚构示例

自动报销

某虚构组织考虑自动批准小额报销。常规申请应具有有效票据、获准的费用类别,并且金额低于固定限额。例外包括票据缺失或业务用途存在争议。

  1. 依据可观察字段划定常规处理边界,并保留纠正拒绝或分类错误的渠道。
  2. 对于业务用途争议,应转交处理,而不是假装文本分类器解决了背后的政策问题。
  3. 测试重复票据、税务处理变化和记录不可用的情形。明确在这些测试失败时谁有权暂停自动批准。

由此可得: 自动化可以适用于边界明确的常规业务,而例外判断由另设并配备人员的流程处理。

先作答,再查看反馈

制定任务委托规则

为某项虚构服务写明允许作出的决定、排除事项、转交触发条件、响应期限,以及暂停系统的权限。还要给出一条不要求每个案件都由人工批准的理由。

评价标准

  • 边界能够依据实际输入进行检验。
  • 转交处理有具备能力的明确接收方与时限。
  • 方案比较干预与不干预各自的成本。
参考反馈

规则应说明指定审核者缺席时如何处理。还应区分暂停自动化流程与暂停整个服务:人工或受限的备用流程可能维持服务可及性。如果不了解服务的证据与后果,就不存在普遍正确的阈值。

形成性练习

检验你的推理

这是开放式自测,不是保密考试,也不颁发证书。下方提供答案与解析。你填写的答案不会发送到服务器。

下列哪一项最能证明监督确实有效?

解析与参考答案

具备专业能力的审核者能够检查相反证据、停止决定并获得及时补救。

监督是一种能够实际使用的能力。标签、签字与会议,不能证明组织具备改变结果所需的信息、能力或权限。

常规审核者在时间紧迫的例外情形中缺席。按照界定清楚的边界,应采取什么行动?

解析与参考答案

使用已经获授权的替代人员,或采取规则指定的临时搁置措施。

转交设计必须明确主要接收人不可用时如何处理。紧急性本身不产生权限;使用获授权的替代人员或有边界的临时状态,才能保留原运行边界。

保存学习笔记

笔记仅保留在当前标签页中,不会提交或自动保存。离开前请下载副本。请使用虚构或公开信息,不要填写个人或客户机密。