委托明确的决策,而不是笼统的能力
“在部门里使用人工智能”并没有界定决策边界。应明确输入、允许的输出、受影响人群,以及系统必须拒绝处理或按规则升级转交处理的条件。适用于狭窄常规决策的工具,未必适合证据含混且不可逆的判断。同一个模型在不同工作流程中可以承担不同角色。
识别现实可行的替代方案和延误的后果。要求专家批准每一项琐碎决定,可能消耗稀缺的专业资源而不改善结果。但在另一些场景中,移除独立判断会切断发现重大错误的唯一路径。真正有用的问题是:哪种安排既能改善服务,又能保留与风险相称的纠错渠道?
English course · 简体中文版(扩展课程)
人工智能与制度 · 第 3 课,共 8 课
明确自主任务的运行边界。
建议约 75 分钟,包括练习。
配套阅读 Better Answers, Worse Decisions(《更好的答案,更差的决策》,暂译): 第4章. 该书另行销售。本课程不提供书稿或章节下载。
“在部门里使用人工智能”并没有界定决策边界。应明确输入、允许的输出、受影响人群,以及系统必须拒绝处理或按规则升级转交处理的条件。适用于狭窄常规决策的工具,未必适合证据含混且不可逆的判断。同一个模型在不同工作流程中可以承担不同角色。
识别现实可行的替代方案和延误的后果。要求专家批准每一项琐碎决定,可能消耗稀缺的专业资源而不改善结果。但在另一些场景中,移除独立判断会切断发现重大错误的唯一路径。真正有用的问题是:哪种安排既能改善服务,又能保留与风险相称的纠错渠道?
屏幕要求某个人点击批准,并不意味着此人就是有效的保障。此人能否检查依据、取得相反证据、拒绝建议,并承担这样做所需的时间成本?组织是否允许不同意见,而不把它当成绩效失败?这些都是涉及决策权限与资源的运营问题。
转交处理规则必须明确接收方与响应期限。“转交疑难案件”并不完整:如果没有具备能力的接收人,或原决定在审核之前已经生效,这条规则就可能失去作用。审核渠道也可能让受影响者难以使用。应计入启动渠道的实际成本,而不是只确认政策文件里写有该渠道。
扩大部署前,应测试接近边界的情形:数据缺失、证据相互矛盾、不熟悉的人群,以及上游服务失效。拒绝处理或转交处理可能正是正确输出。不能一方面宣称限定运行范围的好处,另一方面又把每次不作答都算成系统缺陷。
记录谁有权改变边界。阈值、输入字段或默认设置悄然发生变化,就可能扩大系统影响,而品牌名称并未改变。应对决策规则和运行条件进行版本管理。环境变化时就应复核部署,而不是只在日历提醒出现时才复核。
制定包含六个字段的决策规范:输入要求、允许动作、禁止动作、转交触发条件、获授权的接收人,以及需要保留的证据。以虚构的发票分流助手为例,对发票分类和准备付款建议属于不同权限;两者都不能在没有说明的情况下被视为付款授权。应明确哪一步只是提出建议,哪一步会改变外部状态。
按边界测试表逐项开展测试,表中包含一张普通有效发票、一张重复发票、供应商标识缺失、银行收款指令变更、核验来源不可用,以及金额超限六种情形。开展练习前先写下预期动作。当核验来源不可用时,系统拒绝处理可能正是在正确遵守边界。应测量由此产生的延迟成本,而不是看到结果后才重新定义任务。
再加入一次中断的交接:常规审核者不在,截止时间正在逼近。学员必须在已获授权的替代人员、临时搁置或范围更窄且可撤销的动作之间作出选择。紧急性不会创造权限。记录哪些动作能够撤销,哪些只能阻止未来风险,哪些在执行后需要另行补救。
一组仅用纯文字设计人工审核界面。另一组收到有争议的案件,必须说明缺少什么证据、如何拒绝,以及申诉交给谁。如果审核者无法取得相关证据,或无法改变结果,那么增加一个批准按钮并没有补上缺失的能力。
提交六字段规范及六情形边界测试表。在总结讨论中,分析一个强制审核会浪费稀缺专业资源的情形。优秀设计应提高常规服务效率,同时把有重大后果的干预保留给真正能够执行它的人。
本课程虚构示例
某虚构组织考虑自动批准小额报销。常规申请应具有有效票据、获准的费用类别,并且金额低于固定限额。例外包括票据缺失或业务用途存在争议。
由此可得: 自动化可以适用于边界明确的常规业务,而例外判断由另设并配备人员的流程处理。
先作答,再查看反馈
为某项虚构服务写明允许作出的决定、排除事项、转交触发条件、响应期限,以及暂停系统的权限。还要给出一条不要求每个案件都由人工批准的理由。
规则应说明指定审核者缺席时如何处理。还应区分暂停自动化流程与暂停整个服务:人工或受限的备用流程可能维持服务可及性。如果不了解服务的证据与后果,就不存在普遍正确的阈值。
可选扩展 · 约 15 分钟,另计于核心课程用时
沿着第4章的任务委托规则,分析动作提交后出现的故障。仅使用这个虚构的桌面演练案例,不要向真实服务发送请求。一项人工智能辅助仓储工具获准依据分配方案v8,按批准记录A17向目的地D4放行一笔恰好24件的分配。批准仅涵盖这一笔分配,不涵盖其他数量、目的地或版本。提交必须严格早于当天15:10。此前已经受理的提交可以在之后完成;批准到期不会将其取消。
15:02,工具以操作标识符R17提交获准动作,随后未能收到响应。服务是否已经受理或完成,尚不清楚。在本练习中,不能确定通常的动作请求具有幂等性:重复请求可能产生另一笔分配。仅仅附上相同标识符,并不能证明服务器会防止重复执行。规则允许读取状态,这种读取不会创建分配。
委托规则只允许对未改变的动作重试一次,前提是权威服务记录证明首次尝试未产生影响且之后也不可能执行,并且重新提交时批准仍有效。结果未明的操作必须最迟在15:09转交值班运营负责人。该负责人可以核查或暂缓操作,但不能悄然扩大A17的范围。这些是虚构的局部规则,不是通用期限,也不描述任何已部署服务。下表每行是一种独立的可能结果,不是连续发生的事件。
| 情形 | 读取时刻 | 返回的证据 | 证据范围 |
|---|---|---|---|
| A | 15:03 | 权威完成记录:R17、A17、24件、D4、v8。 | 完成状态及获准动作的各项细节均相符。 |
| B | 15:04 | 权威记录:R17已受理,仍待完成。 | 尚无最终完成结果。 |
| C | 15:05 | 一个存在更新延迟的搜索索引未找到R17。 | 该索引可能尚未包含近期受理的操作。 |
| D | 15:06 | R17的权威终局失败记录确认:未产生分配或其他业务影响,该次尝试之后也不可能执行。 | 该来源能够确认这一最终状态;A17及全部动作细节均未改变。 |
A:记录已确认的完成结果,不要再次提交分配。如果数量、目的地、版本或完成状态不符,仅操作标识符一致仍然不足。保留将获准动作与实际结果联系起来的记录。
B:服务已经受理的工作仍可能完成。应核查状态,而不是创建第二笔分配。若结果仍未确定,按委托规则最迟在15:09转交负责人。C:存在更新延迟的索引返回空结果,仍无法确定是否受理或完成。应使用指定的权威状态来源,或转交处理;不要把索引中没有记录当作失败证明。
D:题设权威最终记录排除了首次尝试已经产生影响或之后继续执行的可能。15:06时,A17和全部动作细节仍有效,因此委托规则允许重试一次。记录重试与首次尝试的对应关系,并核验结果状态。支持这一步的是证据,而不是换一个标识符或反复点击。如果重试也超时,不要再次自动重试;保留结果未明的记录并转交处理。
把24件改为28件,是超出A17范围的新决策,即使界面接受这一数量,或增加的数量看起来很小,也不例外。应向有权限的决策者提供原批准、改变后的数量、变更理由、当前分配方案版本及先前尝试的证据。任何新分配之前,都应先核清首次尝试。操作标识符有助于关联记录,但既不是许可,也不保证防止重复执行。
到15:11,虽然可能已经确认首次尝试失败,但A17不再允许重新提交。此前结果未明时,就应已最迟在15:09转交负责人。状态核查和转交处理仍然获准;之后若要提交,必须先取得有效决策。相反,B仍可能在15:10之后完成,因为规则限制的是提交时间,而不是执行时间。批准到期不是取消确认。没有实际状态证据,不应报告工作已被停止。
一项有用的隔离测试,可以让服务完成首次动作,但故意不返回响应。学员应找到相符的完成记录,并使分配总数保持为一笔。第二项测试可以让索引返回滞后的空结果,同时已有一个受理后待完成的操作:正确记录应注明结果仍未确定,并列出负责人和下一次检查安排。应检验最终产生影响的次数,而不只是点击或消息数量。这些测试检验的是已声明的恢复边界,不能证明所有故障都被覆盖。
RFC 9110(2022)第9.2.2节指出:对于使用非幂等方法的请求,客户端不应自动重试,除非有办法确认该请求的实际语义具有幂等性,或确认原请求从未被应用。NIST AI RMF 1.0(2023)的GOVERN 2.1及3.2强调明确责任和监督角色。本课程将这些问题结合成一项原创委托练习。两个来源都未给出本题的委托规则、去重实现,或端到端“恰好执行一次”的保证。
形成性练习
这是开放式自测,不是保密考试,也不颁发证书。下方提供答案与解析。你填写的答案不会发送到服务器。
笔记仅保留在当前标签页中,不会提交或自动保存。离开前请下载副本。请使用虚构或公开信息,不要填写个人或客户机密。