算法厌恶与自动化偏见：为什么人工复核关口（Human Gate）不是过渡妥协而是核心架构

弃用系统与盲目放行：同一个流程里的双向失灵

设想这样一种情形：某业务部门上线了辅助审单与退费核算流程，并在界面末端放了一个“确认”按钮。运行不久后出现了两种截然相反的现象：在法务案卷整理环节，操作员目睹系统出现一次归类偏差后，便弃用辅助功能、退回手工核对；而在日常客服退款与报价环节，复核人面对待批队列往往不加核实便连续点击确认，把未经查验的异常差额直接放行。

这并非员工态度问题，而是人机交互文献记录的两种失效模式：算法厌恶与自动化偏见同时存在。人工关口（Human Gate）并非等待模型成熟前的过渡妥协，而应靠证据并排、异常高亮、高风险动作强制阻断与签名留痕来设计，不能只放一个“确认”按钮。

为什么一个“确认”按钮管不住风险：四项人机交互研究的机制解释

为何人机协同既会陷入排斥，又会滑向盲从？四项研究揭示了底层机制。

Dietvorst、Simmons 与 Massey（2015）研究了“算法厌恶”（algorithm aversion）：尽管基于证据的算法在预测未来时比人类预测者更准确，人们在人类预测者与统计模型之间做选择时仍常选人类^[1]。在 5 项研究中，参与者分别观察算法预测、人类预测、两者兼有或两者皆无，再决定将自身激励绑定于谁的未来预测^[1]。结果显示，观察过算法表现的参与者对算法更缺乏信心，即便亲眼看到算法优于人类，也更不愿选算法而宁可选表现更差的人类^[1]。原因在于看到双方犯下同样错误后，人们对算法失去信心的速度比对人类更快^[1]。

Parasuraman 与 Riley（1997）则将人与自动化的关系拆解为使用（use）、误用（misuse）、弃用（disuse）与滥用（abuse）^[2]。“使用”受信任、心理负荷与风险交互影响，个体差异很大；“误用”指过度依赖自动化，会导致监控失效或决策偏见，受工作负荷、自动化可靠性与一致性及状态指示显著性影响；“弃用”指忽视或少用自动化，常因未考虑待检测状况的基础概率（base rate）而引发虚假警报所致；“滥用”则指设计者与管理者不顾人类绩效后果推行自动化，把操作员角色定义为自动化副产品，反而助长误用与弃用^[2]。

这直接呼应了 Bainbridge（1983）提出的“自动化反讽”（ironies of automation）：设计者把能自动化的部分自动化，把无法自动化的任务留给操作员；操作员被期望监控系统并在异常时接管，但手动技能与过程知识因少用而退化，且人类并不擅长对极少失效的系统保持持续监控^[3]。

那么引入“算法在环”（algorithm-in-the-loop）能否自然解决？Green 与 Chen（2019）提出伦理且负责任的算法在环决策三项原则，并在众包实验平台上通过受控实验，考察审前释放与金融借贷两个场景、不同风险评估呈现与结构条件下人们的表现^[4]。虽然这些条件影响了行为并在部分情况下改善了表现，但仅有一项期望要求被一致满足；在所有条件下，参与者均无法有效评估自己或风险评估工具预测的准确性，未根据工具表现校准依赖程度，且在交互中表现出偏见^[4]。作者强调，分析必须从评估模型本身扩展到人与算法交互的完整社会技术语境^[4]。

把人工复核关口做成核心架构：证据并排、状态阻断与签名交接

既然操作员难以凭直觉校准信任，又难以在缺乏显著状态指示时维持监控，系统状态机就必须在高风险节点强制暂停，并排呈现证据与异常，对未批准动作实施阻断。这一架构体现在站点智能中枢与智能商务两个模块中：

第一，实行“事前范围审批 + 事后差异核对”双重关口。「经审批的电脑操作（S03）」技能包以“操作目标、账号和允许修改的资料”为初始输入：第一步准备账号与登录（辅助），输出可用会话和受限操作上下文；第二步在人工复核关口“审批操作清单”暂停，由指定复核人或请求用户审批，被拒绝的输出退回修订且不进入下一步；第三步获批后执行并截图（辅助），保留截图、文件差异和执行回执；第四步在人工复核关口“检查改动”确认变更和异常记录。它在法律行业为可迁移应用（如法务助理先列出案卷整理操作，授权后执行并核对差异，但须逐项限制读写目录，且对外提交不在默认权限内）；在零售与消费应用行业则无行业标签，仅作通用模式。

第二，用“签名式交接”替代静默代操作。「报价与客户确认下单（S33）」技能包以“客户要求、可供项与数量”为输入，前三个辅助步骤核对价格与资格、汇总含费用交期与缺项的供方报价、准备待确认购物车和金额；第四步“提交客户确认”设为人工复核关口，拒绝则退回。底层由「签名式智能体到人工的结账交接」组件（经静态源码检查为可运行代码）把预订意向转为带有效期和签名的浏览器或移动端交接，校验上下文并补齐缺失选项，供应商支付和履约仍由外部完成。该包在零售与电商标注为“源数据有行业依据”（整理成本、促销与购物车交顾客确认），但仍需购物车到签名意向的接线，且该标记仅指源数据有行业关联，不说明整包端到端完成。

第三，通过“异常高亮与环境隔离”防范误用。「收款对账与退款（S41）」技能包接收“费用明细、订单与适用退费规则”，先经三个辅助步骤统一金额与币种、核验付款状态（明确区分测试与真实状态）、应收实收逐笔核对并输出待查差异；第四步“批准退款或更正”由人工复核待查差异，被拒绝的输出退回修订；第五步再核对同一环境内的退款回执与未决事项。它在生活与消费应用为可迁移应用（对齐费用与回执，由客服核批重复扣款或退费），沙盒与真实适配器一次只用一种、不可混账，实际退款仍需有效授权与支付接线。

需如实说明边界：站点所有技能包均为拟议编排，仅用合成数据演示，尚未接入真实服务；“源数据有行业依据”不代表客户案例、部署或收益。支撑工作流暂停、权限检查与记录复核结果的「[可审计工作流、人工确认与决策复盘](/zh/capabilities/auditable-workflow-human-decisions/)」组件，以及校验金额、币种和幂等性的「[沙箱支付与退款状态编排](/zh/capabilities/sandbox-payment-refund-orchestration/)」组件，目前均为原型：前者工具步骤目前只是占位与记录，智能体建议来自输入或默认值而非自主执行工具；后者选用沙箱供应商，未发现真实支付适配器。

资助试点前的三项架构检验

业务负责人、CDO 或部门主管在资助试点前，可用三项标准检验人工关口设计：

• 复核界面是否并排呈现证据与异常高亮？ 检查批准前能否同屏看到原始输入契约、文件或金额差异、缺项提示及测试与真实环境标识，避免缺乏状态显著性诱发误用或单次失误导致弃用。
• 人工关口是否具备状态机级别的强制阻断？ 验证拒绝操作清单、报价或退费时，系统是否强制退回且不进入下一步，并要求带有效期与签名的交接，而非仅在前端放一个确认按钮。
• 签名与留痕能否支撑依赖校准？ 确认是否保留每次审批决定、文件差异与执行回执，以便评估人机判断准确性并调整权限边界。