算法厭惡與自動化偏見：為什麼人工複核關口（Human Gate）不是過渡妥協而是核心架構

棄用系統與盲目放行：同一個流程裏的雙向失靈

設想這樣一種情形：某業務部門上線了輔助審單與退費核算流程，並在界面末端放了一個「確認」按鈕。運行不久後出現了兩種截然相反的現象：在法務案卷整理環節，操作員目睹系統出現一次歸類偏差後，便棄用輔助功能、退回手工核對；而在日常客服退款與報價環節，複核人面對待批隊列往往不加核實便連續點擊確認，把未經查驗的異常差額直接放行。

這並非員工態度問題，而是人機交互文獻記錄的兩種失效模式：算法厭惡與自動化偏見同時存在。人工關口（Human Gate）並非等待模型成熟前的過渡妥協，而應靠證據並排、異常高亮、高風險動作強制阻斷與簽名留痕來設計，不能只放一個「確認」按鈕。

為什麼一個「確認」按鈕管不住風險：四項人機交互研究的機制解釋

為何人機協同既會陷入排斥，又會滑向盲從？四項研究揭示了底層機制。

Dietvorst、Simmons 與 Massey（2015）研究了「算法厭惡」（algorithm aversion）：儘管基於證據的算法在預測未來時比人類預測者更準確，人們在人類預測者與統計模型之間做選擇時仍常選人類^[1]。在 5 項研究中，參與者分別觀察算法預測、人類預測、兩者兼有或兩者皆無，再決定將自身激勵綁定於誰的未來預測^[1]。結果顯示，觀察過算法表現的參與者對算法更缺乏信心，即便親眼看到算法優於人類，也更不願選算法而寧可選表現更差的人類^[1]。原因在於看到雙方犯下同樣錯誤後，人們對算法失去信心的速度比對人類更快^[1]。

Parasuraman 與 Riley（1997）則將人與自動化的關係拆解為使用（use）、誤用（misuse）、棄用（disuse）與濫用（abuse）^[2]。「使用」受信任、心理負荷與風險交互影響，個體差異很大；「誤用」指過度依賴自動化，會導致監控失效或決策偏見，受工作負荷、自動化可靠性與一致性及狀態指示顯著性影響；「棄用」指忽視或少用自動化，常因未考慮待檢測狀況的基礎概率（base rate）而引發虛假警報所致；「濫用」則指設計者與管理者不顧人類績效後果推行自動化，把操作員角色定義為自動化副產品，反而助長誤用與棄用^[2]。

這直接呼應了 Bainbridge（1983）提出的「自動化反諷」（ironies of automation）：設計者把能自動化的部分自動化，把無法自動化的任務留給操作員；操作員被期望監控系統並在異常時接管，但手動技能與過程知識因少用而退化，且人類並不擅長對極少失效的系統保持持續監控^[3]。

那麼引入「算法在環」（algorithm-in-the-loop）能否自然解決？Green 與 Chen（2019）提出倫理且負責任的算法在環決策三項原則，並在眾包實驗平台上通過受控實驗，考察審前釋放與金融借貸兩個場景、不同風險評估呈現與結構條件下人們的表現^[4]。雖然這些條件影響了行為並在部分情況下改善了表現，但僅有一項期望要求被一致滿足；在所有條件下，參與者均無法有效評估自己或風險評估工具預測的準確性，未根據工具表現校準依賴程度，且在交互中表現出偏見^[4]。作者強調，分析必須從評估模型本身擴展到人與算法交互的完整社會技術語境^[4]。

把人工複核關口做成核心架構：證據並排、狀態阻斷與簽名交接

既然操作員難以憑直覺校準信任，又難以在缺乏顯著狀態指示時維持監控，系統狀態機就必須在高風險節點強制暫停，並排呈現證據與異常，對未批准動作實施阻斷。這一架構體現在站點智能中樞與智能商務兩個模組中：

第一，實行「事前範圍審批 + 事後差異核對」雙重關口。「經審批的電腦操作（S03）」技能包以「操作目標、帳戶和允許修改的資料」為初始輸入：第一步準備帳戶與登入（輔助），輸出可用會話和受限操作上下文；第二步在人工複核關口「審批操作清單」暫停，由指定複核人或請求用戶審批，被拒絕的輸出退回修訂且不進入下一步；第三步獲批後執行並截圖（輔助），保留截圖、文件差異和執行回執；第四步在人工複核關口「檢查改動」確認變更和異常記錄。它在法律行業為可遷移應用（如法務助理先列出案卷整理操作，授權後執行並核對差異，但須逐項限制讀寫目錄，且對外提交不在預設權限內）；在零售與消費應用行業則無行業標籤，僅作通用模式。

第二，用「簽名式交接」替代靜默代操作。「報價與客戶確認下單（S33）」技能包以「客戶要求、可供項與數量」為輸入，前三個輔助步驟核對價格與資格、彙總含費用交期與缺項的供方報價、準備待確認購物車和金額；第四步「提交客戶確認」設為人工複核關口，拒絕則退回。底層由「簽名式智能體到人工的結賬交接」組件（經靜態源碼檢查為可運行代碼）把預訂意向轉為帶有效期和簽名的瀏覽器或流動端交接，校驗上下文並補齊缺失選項，供應商支付和履約仍由外部完成。該包在零售與電商標註為「源數據有行業依據」（整理成本、促銷與購物車交顧客確認），但仍需購物車到簽名意向的接線，且該標記僅指源數據有行業關聯，不説明整包端到端完成。

第三，通過「異常高亮與環境隔離」防範誤用。「收款對賬與退款（S41）」技能包接收「費用明細、訂單與適用退費規則」，先經三個輔助步驟統一金額與幣種、核驗付款狀態（明確區分測試與真實狀態）、應收實收逐筆核對並輸出待查差異；第四步「批准退款或更正」由人工複核待查差異，被拒絕的輸出退回修訂；第五步再核對同一環境內的退款回執與未決事項。它在生活與消費應用為可遷移應用（對齊費用與回執，由客服核批重複扣款或退費），沙盒與真實適配器一次只用一種、不可混賬，實際退款仍需有效授權與支付接線。

需如實説明邊界：站點所有技能包均為擬議編排，僅用合成數據演示，尚未接入真實服務；「源數據有行業依據」不代表客戶案例、部署或收益。支撐工作流暫停、權限檢查與記錄複核結果的「[可審計工作流、人工確認與決策復盤](/zh/capabilities/auditable-workflow-human-decisions/)」組件，以及校驗金額、幣種和冪等性的「[沙箱支付與退款狀態編排](/zh/capabilities/sandbox-payment-refund-orchestration/)」組件，目前均為原型：前者工具步驟目前只是佔位與記錄，智能體建議來自輸入或預設值而非自主執行工具；後者選用沙箱供應商，未發現真實支付適配器。

資助試點前的三項架構檢驗

業務負責人、CDO 或部門主管在資助試點前，可用三項標準檢驗人工關口設計：

• 複核界面是否並排呈現證據與異常高亮？ 檢查批准前能否同屏看到原始輸入契約、文件或金額差異、缺項提示及測試與真實環境標識，避免缺乏狀態顯著性誘發誤用或單次失誤導致棄用。
• 人工關口是否具備狀態機級別的強制阻斷？ 驗證拒絕操作清單、報價或退費時，系統是否強制退回且不進入下一步，並要求帶有效期與簽名的交接，而非僅在前端放一個確認按鈕。
• 簽名與留痕能否支撐依賴校準？ 確認是否保留每次審批決定、文件差異與執行回執，以便評估人機判斷準確性並調整權限邊界。