English course · 简体中文版(扩展课程)

人工智能与制度 · 第 3 课,共 8 课

决定哪些任务可以委托给系统

明确自主任务的运行边界。

建议约 75 分钟,包括练习。

学习目标

  • 明确自主任务的运行边界。
  • 区分有实际作用的干预与形式化批准。
  • 完成分析实训,并在结构化研讨中为修订后的建议作出论证。

配套阅读 Better Answers, Worse Decisions(《更好的答案,更差的决策》,暂译): 第4章. 该书另行销售。本课程不提供书稿或章节下载。

本课讲授

委托明确的决策,而不是笼统的能力

“在部门里使用人工智能”并没有界定决策边界。应明确输入、允许的输出、受影响人群,以及系统必须拒绝处理或按规则升级转交处理的条件。适用于狭窄常规决策的工具,未必适合证据含混且不可逆的判断。同一个模型在不同工作流程中可以承担不同角色。

识别现实可行的替代方案和延误的后果。要求专家批准每一项琐碎决定,可能消耗稀缺的专业资源而不改善结果。但在另一些场景中,移除独立判断会切断发现重大错误的唯一路径。真正有用的问题是:哪种安排既能改善服务,又能保留与风险相称的纠错渠道?

区分否决权与签字

屏幕要求某个人点击批准,并不意味着此人就是有效的保障。此人能否检查依据、取得相反证据、拒绝建议,并承担这样做所需的时间成本?组织是否允许不同意见,而不把它当成绩效失败?这些都是涉及决策权限与资源的运营问题。

转交处理规则必须明确接收方与响应期限。“转交疑难案件”并不完整:如果没有具备能力的接收人,或原决定在审核之前已经生效,这条规则就可能失去作用。审核渠道也可能让受影响者难以使用。应计入启动渠道的实际成本,而不是只确认政策文件里写有该渠道。

检验边界

扩大部署前,应测试接近边界的情形:数据缺失、证据相互矛盾、不熟悉的人群,以及上游服务失效。拒绝处理或转交处理可能正是正确输出。不能一方面宣称限定运行范围的好处,另一方面又把每次不作答都算成系统缺陷。

记录谁有权改变边界。阈值、输入字段或默认设置悄然发生变化,就可能扩大系统影响,而品牌名称并未改变。应对决策规则和运行条件进行版本管理。环境变化时就应复核部署,而不是只在日历提醒出现时才复核。

写出能够实际执行的委托边界

制定包含六个字段的决策规范:输入要求、允许动作、禁止动作、转交触发条件、获授权的接收人,以及需要保留的证据。以虚构的发票分流助手为例,对发票分类和准备付款建议属于不同权限;两者都不能在没有说明的情况下被视为付款授权。应明确哪一步只是提出建议,哪一步会改变外部状态。

按边界测试表逐项开展测试,表中包含一张普通有效发票、一张重复发票、供应商标识缺失、银行收款指令变更、核验来源不可用,以及金额超限六种情形。开展练习前先写下预期动作。当核验来源不可用时,系统拒绝处理可能正是在正确遵守边界。应测量由此产生的延迟成本,而不是看到结果后才重新定义任务。

再加入一次中断的交接:常规审核者不在,截止时间正在逼近。学员必须在已获授权的替代人员、临时搁置或范围更窄且可撤销的动作之间作出选择。紧急性不会创造权限。记录哪些动作能够撤销,哪些只能阻止未来风险,哪些在执行后需要另行补救。

研讨:质疑批准界面

一组仅用纯文字设计人工审核界面。另一组收到有争议的案件,必须说明缺少什么证据、如何拒绝,以及申诉交给谁。如果审核者无法取得相关证据,或无法改变结果,那么增加一个批准按钮并没有补上缺失的能力。

提交六字段规范及六情形边界测试表。在总结讨论中,分析一个强制审核会浪费稀缺专业资源的情形。优秀设计应提高常规服务效率,同时把有重大后果的干预保留给真正能够执行它的人。

本课程虚构示例

自动报销

某虚构组织考虑自动批准小额报销。常规申请应具有有效票据、获准的费用类别,并且金额低于固定限额。例外包括票据缺失或业务用途存在争议。

  1. 依据可观察字段划定常规处理边界,并保留纠正拒绝或分类错误的渠道。
  2. 对于业务用途争议,应转交处理,而不是假装文本分类器解决了背后的政策问题。
  3. 测试重复票据、税务处理变化和记录不可用的情形。明确在这些测试失败时谁有权暂停自动批准。

由此可得: 自动化可以适用于边界明确的常规业务,而例外判断由另设并配备人员的流程处理。

先作答,再查看反馈

制定任务委托规则

为某项虚构服务写明允许作出的决定、排除事项、转交触发条件、响应期限,以及暂停系统的权限。还要给出一条不要求每个案件都由人工批准的理由。

评价标准

  • 边界能够依据实际输入进行检验。
  • 转交处理有具备能力的明确接收方与时限。
  • 方案比较干预与不干预各自的成本。
参考反馈

规则应说明指定审核者缺席时如何处理。还应区分暂停自动化流程与暂停整个服务:人工或受限的备用流程可能维持服务可及性。如果不了解服务的证据与后果,就不存在普遍正确的阈值。

可选扩展 · 约 15 分钟,另计于核心课程用时

扩展实训:请求超时,不能说明动作是否已经发生

沿着第4章的任务委托规则,分析动作提交后出现的故障。仅使用这个虚构的桌面演练案例,不要向真实服务发送请求。一项人工智能辅助仓储工具获准依据分配方案v8,按批准记录A17向目的地D4放行一笔恰好24件的分配。批准仅涵盖这一笔分配,不涵盖其他数量、目的地或版本。提交必须严格早于当天15:10。此前已经受理的提交可以在之后完成;批准到期不会将其取消。

15:02,工具以操作标识符R17提交获准动作,随后未能收到响应。服务是否已经受理或完成,尚不清楚。在本练习中,不能确定通常的动作请求具有幂等性:重复请求可能产生另一笔分配。仅仅附上相同标识符,并不能证明服务器会防止重复执行。规则允许读取状态,这种读取不会创建分配。

委托规则只允许对未改变的动作重试一次,前提是权威服务记录证明首次尝试未产生影响且之后也不可能执行,并且重新提交时批准仍有效。结果未明的操作必须最迟在15:09转交值班运营负责人。该负责人可以核查或暂缓操作,但不能悄然扩大A17的范围。这些是虚构的局部规则,不是通用期限,也不描述任何已部署服务。下表每行是一种独立的可能结果,不是连续发生的事件。

同一次超时尝试的四种可能回读结果(教学构造)
情形读取时刻返回的证据证据范围
A15:03权威完成记录:R17、A17、24件、D4、v8。完成状态及获准动作的各项细节均相符。
B15:04权威记录:R17已受理,仍待完成。尚无最终完成结果。
C15:05一个存在更新延迟的搜索索引未找到R17。该索引可能尚未包含近期受理的操作。
D15:06R17的权威终局失败记录确认:未产生分配或其他业务影响,该次尝试之后也不可能执行。该来源能够确认这一最终状态;A17及全部动作细节均未改变。

先作答

  1. 分别为A至D选择:记录完成、等待并核查,或允许那一次有边界的重试。说明每项选择依赖的证据。为什么C与D不同?
  2. 在D之后,工具建议将24件改为28件,但保留批准记录A17和标识符R17。为什么首次尝试失败的证据,不能授权这个改变后的动作?哪些信息必须交回具有相应决策权限的人?
  3. 假设直到15:11才确认D。工具仍可以做什么,又不能再依据A17提交什么?对于B,为什么15:10批准到期,不能证明待处理操作已经取消?
  4. 写一份五字段恢复记录:获准动作及版本;已尝试的操作标识符;最新权威状态与证据时刻;下一项允许步骤及其负责人和期限;已确认的最终结果,或明确注明结果仍未确定。提出一项能暴露重复执行或无依据完成声明的安全测试。
结果未明:决策与参考解析

A:记录已确认的完成结果,不要再次提交分配。如果数量、目的地、版本或完成状态不符,仅操作标识符一致仍然不足。保留将获准动作与实际结果联系起来的记录。

B:服务已经受理的工作仍可能完成。应核查状态,而不是创建第二笔分配。若结果仍未确定,按委托规则最迟在15:09转交负责人。C:存在更新延迟的索引返回空结果,仍无法确定是否受理或完成。应使用指定的权威状态来源,或转交处理;不要把索引中没有记录当作失败证明。

D:题设权威最终记录排除了首次尝试已经产生影响或之后继续执行的可能。15:06时,A17和全部动作细节仍有效,因此委托规则允许重试一次。记录重试与首次尝试的对应关系,并核验结果状态。支持这一步的是证据,而不是换一个标识符或反复点击。如果重试也超时,不要再次自动重试;保留结果未明的记录并转交处理。

把24件改为28件,是超出A17范围的新决策,即使界面接受这一数量,或增加的数量看起来很小,也不例外。应向有权限的决策者提供原批准、改变后的数量、变更理由、当前分配方案版本及先前尝试的证据。任何新分配之前,都应先核清首次尝试。操作标识符有助于关联记录,但既不是许可,也不保证防止重复执行。

到15:11,虽然可能已经确认首次尝试失败,但A17不再允许重新提交。此前结果未明时,就应已最迟在15:09转交负责人。状态核查和转交处理仍然获准;之后若要提交,必须先取得有效决策。相反,B仍可能在15:10之后完成,因为规则限制的是提交时间,而不是执行时间。批准到期不是取消确认。没有实际状态证据,不应报告工作已被停止。

一项有用的隔离测试,可以让服务完成首次动作,但故意不返回响应。学员应找到相符的完成记录,并使分配总数保持为一笔。第二项测试可以让索引返回滞后的空结果,同时已有一个受理后待完成的操作:正确记录应注明结果仍未确定,并列出负责人和下一次检查安排。应检验最终产生影响的次数,而不只是点击或消息数量。这些测试检验的是已声明的恢复边界,不能证明所有故障都被覆盖。

来源与适用范围

RFC 9110(2022)第9.2.2节指出:对于使用非幂等方法的请求,客户端不应自动重试,除非有办法确认该请求的实际语义具有幂等性,或确认原请求从未被应用。NIST AI RMF 1.0(2023)的GOVERN 2.1及3.2强调明确责任和监督角色。本课程将这些问题结合成一项原创委托练习。两个来源都未给出本题的委托规则、去重实现,或端到端“恰好执行一次”的保证。

形成性练习

检验你的推理

这是开放式自测,不是保密考试,也不颁发证书。下方提供答案与解析。你填写的答案不会发送到服务器。

下列哪一项最能证明监督确实有效?

解析与参考答案

具备专业能力的审核者能够检查相反证据、停止决定并获得及时补救。

监督是一种能够实际使用的能力。标签、签字与会议,不能证明组织具备改变结果所需的信息、能力或权限。

常规审核者在时间紧迫的例外情形中缺席。按照界定清楚的边界,应采取什么行动?

解析与参考答案

使用已经获授权的替代人员,或采取规则指定的临时搁置措施。

转交设计必须明确主要接收人不可用时如何处理。紧急性本身不产生权限;使用获授权的替代人员或有边界的临时状态,才能保留原运行边界。

保存学习笔记

笔记仅保留在当前标签页中,不会提交或自动保存。离开前请下载副本。请使用虚构或公开信息,不要填写个人或客户机密。