【金融之二】回測過擬合與模型風險治理：規則情景沙盒與金融機構的調用賬本審計

歷史曲線的幻覺：為什麼參數尋優不能直接通向實盤

設想一種常見的量化與風控研發情形：投研團隊引入大模型與自動化算力後，在數週內將自然語言想法轉化為大批量候選規則，並在同一段歷史行情上反覆掃描參數、篩選出歷史曲線極其平滑的組合。然而一旦將入選規則投入真實市場或切換至未見過的行情窗口，原本亮眼的收益與風險指標便迅速衰減。

這種高通量實驗放大的並非真實預測能力，而是歷史噪音的擬合效率。在我們看來，未經樣本外檢驗的參數尋優會製造虛假的夏普比率；情景回放與模型風險管理（SR 11-7）應放在沙盒中進行，策略不得直接接入實盤。

回測過擬合、有效挑戰與風險數據歸集的監管機制

為什麼高通量的歷史參數搜尋容易演變為統計幻覺？Bailey、Borwein、López de Prado 與 Zhu（2014）在題為《Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance》的論文中探討了回測過擬合對樣本外表現的影響^[1]。該文摘要指出，只需回測相對少量的備選策略配置，就很容易得到很高的模擬表現，作者稱之為「回測過擬合」；嘗試的配置越多，回測過擬合的概率越大；而由於分析師很少報告某次回測共嘗試了多少配置，投資者無法評估多數投資主張的過擬合程度^[1]。作者還指出，在存在記憶效應時，回測過擬合會導致樣本外的負期望收益，而不僅是零收益^[1]。在我們的工程推演中，當策略假設含糊、參數調整與費用扣減的推算過程缺乏事前凍結的邊界時，反覆在歷史樣本中尋優就等於把歷史偶發波動當成確定性規律，最終導致樣本外表現失真。

要防範此類失真轉化為機構損失，必須引入制度化的模型風險治理。美聯儲與美國貨幣監理署於 2011 年 4 月 4 日聯合發佈的《SR 11-7: Guidance on Model Risk Management》（亦即 OCC Bulletin 2011-12）將「模型風險」界定為：基於不正確或被誤用的模型輸出作出決策而引發不利後果的潛在可能^[2]。該監管指引確立了模型風險管理的核心要素：穩健的模型開發、實施與使用；有效的模型驗證，涵蓋概念穩健性評估、持續監測與包括回測在內的結果分析；以及包含模型清單在內的治理、政策與控制體系^[2]。尤為關鍵的是，指引確立了“effective challenge”（有效挑戰）這一指導原則，要求由客觀、知情的各方對模型提出實質性質疑與檢驗^[2]。這意味着模型開發者自身的回測展示不能替代獨立驗證，未經獨立複核與樣本外檢驗的規則不能直接用於業務決策。

模型驗證與有效挑戰還依賴底層數據與報告的可靠性。巴塞爾銀行監管委員會（BCBS）於 2013 年 1 月發佈的《Principles for effective risk data aggregation and risk reporting》（BCBS 239，最初面向全球系統重要性銀行）圍繞治理與基礎設施、風險數據歸集能力、風險報告實踐及監管審查提出了系統原則^[3]。其中，風險數據歸集能力明確要求具備準確性與完整性、完備性、及時性及適應性；風險報告實踐則要求具備準確性、全面性、清晰度與有用性、適當的頻率及分發機制^[3]。將上述文獻與監管準則結合來看，只有先把模糊想法鎖定為可檢驗的顯式規則，在完整、準確的數據基礎上隔離樣本內回放與樣本外驗證，並把結果交由客觀複核人實施有效挑戰，金融機構才能守住模型風險防線。

規則情景沙盒的工程映射：顯式假設、樣本外隔離與人工關口

將上述學術與監管邏輯轉化為軟件架構，意味着系統不能把自然語言直接編譯為實盤指令，而必須在沙盒中建立「規則顯式化—歷史回放—樣本外與費用比較—人工複核」的完整證據鏈。在 rlab.works 的智能感知模組中，面向金融領域的「新規則歷史回測（S29）」技能包正是按這一沙盒邊界設計的：

• 明確規則與假設：以「規則想法、歷史記錄與比較目標」作為初始輸入，調用自然語言策略與模板，將投資或風控想法轉化為結構化、可檢查的策略規則及説明，產出可檢查規則與假設清單，避免因推算過程不明確而事後拼湊結論。
• 歷史數據回放：依託可解釋的投資組合回測與回放，在歷史區間上回測並回放策略，涵蓋組合構建、市場目標權重、換手率、命中率以及相對標的池的歸因，輸出按時間窗口記錄的回放結果。
• 比較參數與費用：通過策略參數掃描與滾動驗證比較模板回放結果，在可行性約束下掃描參數，並對選定參數做樣本外驗證，產出樣本外比較與費用情景表，使換手成本與樣本外衰減透明可見。
• 核對並存檔（人工複核關口）：流程在此暫停，交由流程指定的複核人或提出請求的用戶審查；被拒絕的產出退回修訂，不進入下一步，通過後才生成人工確認的假設表與比較説明。至於批量回放與研究實驗所消耗的算力成本，可配合模型網關模組中的「模型用量與費用核算（S13）」技能包做先核對預算、後核算用量的內部運營管理，該流程僅處理研究工具費用，不涉及金融交易結算。

需要如實説明工程與行業適配邊界：rlab.works 站點的所有技能包目前均為擬議編排，僅通過合成數據演示流程，尚未接入真實服務；上述底層能力雖在靜態源碼檢查中屬可運行代碼，但靜態檢查不等於生產部署。此外，「新規則歷史回測（S29）」與「模型用量與費用核算（S13）」在金融行業均屬於可遷移應用，尚無源數據有行業依據的直接標籤。在金融場景落地「新規則歷史回測（S29）」時，其產出僅為研究情景，跨組件流程中的預算工作簿源標籤來自媒體行業，需按金融投研與風控的數據契約重新適配，且嚴禁將沙盒研究輸出直接連通實盤交易接口；若將該回放方法遷移至能源行業的購能預算情景比較，還須整體替換資產、收益和組合權重模型並補入用能約束。

資助量化與風控試點前的管理檢驗

金融機構技術負責人、首席風險官或投研主管在批准策略研發或風控輔助試點前，可通過以下檢驗排查模型風險隱患：

• 核查規則與費用假設是否在回放前凍結：檢查系統是否強制要求先輸出結構化的規則、約束與費用假設清單，防止研究人員在看到歷史回放結果後靜默修改推算口徑。
• 核查樣本外驗證與數據歸集質素是否齊備：確認回放工作流是否強制分離樣本內參數掃描與樣本外滾動驗證，並按準確性、完整性與可追溯要求留存按時間窗口劃分的歸因記錄。
• 核查獨立複核關口與實盤物理隔離：確認流程末端是否設有具備退回阻斷權的人工複核節點以落實有效挑戰，並從架構上確保研究沙盒只輸出經人工確認的比較説明，不具備直接觸發實盤交易或資金劃撥的權限。