【金融之二】回测过拟合与模型风险治理：规则情景沙盒与金融机构的调用账本审计

历史曲线的幻觉：为什么参数寻优不能直接通向实盘

设想一种常见的量化与风控研发情形：投研团队引入大模型与自动化算力后，在数周内将自然语言想法转化为大批量候选规则，并在同一段历史行情上反复扫描参数、筛选出历史曲线极其平滑的组合。然而一旦将入选规则投入真实市场或切换至未见过的行情窗口，原本亮眼的收益与风险指标便迅速衰减。

这种高通量实验放大的并非真实预测能力，而是历史噪音的拟合效率。在我们看来，未经样本外检验的参数寻优会制造虚假的夏普比率；情景回放与模型风险管理（SR 11-7）应放在沙盒中进行，策略不得直接接入实盘。

回测过拟合、有效挑战与风险数据归集的监管机制

为什么高通量的历史参数搜索容易演变为统计幻觉？Bailey、Borwein、López de Prado 与 Zhu（2014）在题为《Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance》的论文中探讨了回测过拟合对样本外表现的影响^[1]。该文摘要指出，只需回测相对少量的备选策略配置，就很容易得到很高的模拟表现，作者称之为“回测过拟合”；尝试的配置越多，回测过拟合的概率越大；而由于分析师很少报告某次回测共尝试了多少配置，投资者无法评估多数投资主张的过拟合程度^[1]。作者还指出，在存在记忆效应时，回测过拟合会导致样本外的负期望收益，而不仅是零收益^[1]。在我们的工程推演中，当策略假设含糊、参数调整与费用扣减的推算过程缺乏事前冻结的边界时，反复在历史样本中寻优就等于把历史偶发波动当成确定性规律，最终导致样本外表现失真。

要防范此类失真转化为机构损失，必须引入制度化的模型风险治理。美联储与美国货币监理署于 2011 年 4 月 4 日联合发布的《SR 11-7: Guidance on Model Risk Management》（亦即 OCC Bulletin 2011-12）将“模型风险”界定为：基于不正确或被误用的模型输出作出决策而引发不利后果的潜在可能^[2]。该监管指引确立了模型风险管理的核心要素：稳健的模型开发、实施与使用；有效的模型验证，涵盖概念稳健性评估、持续监测与包括回测在内的结果分析；以及包含模型清单在内的治理、政策与控制体系^[2]。尤为关键的是，指引确立了“effective challenge”（有效挑战）这一指导原则，要求由客观、知情的各方对模型提出实质性质疑与检验^[2]。这意味着模型开发者自身的回测展示不能替代独立验证，未经独立复核与样本外检验的规则不能直接用于业务决策。

模型验证与有效挑战还依赖底层数据与报告的可靠性。巴塞尔银行监管委员会（BCBS）于 2013 年 1 月发布的《Principles for effective risk data aggregation and risk reporting》（BCBS 239，最初面向全球系统重要性银行）围绕治理与基础设施、风险数据归集能力、风险报告实践及监管审查提出了系统原则^[3]。其中，风险数据归集能力明确要求具备准确性与完整性、完备性、及时性及适应性；风险报告实践则要求具备准确性、全面性、清晰度与有用性、适当的频率及分发机制^[3]。将上述文献与监管准则结合来看，只有先把模糊想法锁定为可检验的显式规则，在完整、准确的数据基础上隔离样本内回放与样本外验证，并把结果交由客观复核人实施有效挑战，金融机构才能守住模型风险防线。

规则情景沙盒的工程映射：显式假设、样本外隔离与人工关口

将上述学术与监管逻辑转化为软件架构，意味着系统不能把自然语言直接编译为实盘指令，而必须在沙盒中建立“规则显式化—历史回放—样本外与费用比较—人工复核”的完整证据链。在 rlab.works 的智能感知模块中，面向金融领域的「新规则历史回测（S29）」技能包正是按这一沙盒边界设计的：

• 明确规则与假设：以“规则想法、历史记录与比较目标”作为初始输入，调用自然语言策略与模板，将投资或风控想法转化为结构化、可检查的策略规则及说明，产出可检查规则与假设清单，避免因推算过程不明确而事后拼凑结论。
• 历史数据回放：依托可解释的投资组合回测与回放，在历史区间上回测并回放策略，涵盖组合构建、市场目标权重、换手率、命中率以及相对标的池的归因，输出按时间窗口记录的回放结果。
• 比较参数与费用：通过策略参数扫描与滚动验证比较模板回放结果，在可行性约束下扫描参数，并对选定参数做样本外验证，产出样本外比较与费用情景表，使换手成本与样本外衰减透明可见。
• 核对并存档（人工复核关口）：流程在此暂停，交由流程指定的复核人或提出请求的用户审查；被拒绝的产出退回修订，不进入下一步，通过后才生成人工确认的假设表与比较说明。至于批量回放与研究实验所消耗的算力成本，可配合模型网关模块中的「模型用量与费用核算（S13）」技能包做先核对预算、后核算用量的内部运营管理，该流程仅处理研究工具费用，不涉及金融交易结算。

需要如实说明工程与行业适配边界：rlab.works 站点的所有技能包目前均为拟议编排，仅通过合成数据演示流程，尚未接入真实服务；上述底层能力虽在静态源码检查中属可运行代码，但静态检查不等于生产部署。此外，「新规则历史回测（S29）」与「模型用量与费用核算（S13）」在金融行业均属于可迁移应用，尚无源数据有行业依据的直接标签。在金融场景落地「新规则历史回测（S29）」时，其产出仅为研究情景，跨组件流程中的预算工作簿源标签来自媒体行业，需按金融投研与风控的数据契约重新适配，且严禁将沙盒研究输出直接连通实盘交易接口；若将该回放方法迁移至能源行业的购能预算情景比较，还须整体替换资产、收益和组合权重模型并补入用能约束。

资助量化与风控试点前的管理检验

金融机构技术负责人、首席风险官或投研主管在批准策略研发或风控辅助试点前，可通过以下检验排查模型风险隐患：

• 核查规则与费用假设是否在回放前冻结：检查系统是否强制要求先输出结构化的规则、约束与费用假设清单，防止研究人员在看到历史回放结果后静默修改推算口径。
• 核查样本外验证与数据归集质量是否齐备：确认回放工作流是否强制分离样本内参数扫描与样本外滚动验证，并按准确性、完整性与可追溯要求留存按时间窗口划分的归因记录。
• 核查独立复核关口与实盘物理隔离：确认流程末端是否设有具备退回阻断权的人工复核节点以落实有效挑战，并从架构上确保研究沙盒只输出经人工确认的比较说明，不具备直接触发实盘交易或资金划拨的权限。