D56 系列D · 治理与信任

报告越笃定,越要回看证据:研究智能体的“抹平”与证据配比

研究与简报智能体生成的报告往往引用密集,但“有出处”不等于结论力度与范围恰当。新近研究显示,智能体普遍会把存在分歧或条件限制的多源证据“抹平”为过度笃定与宽泛的论断,且必须同时提供完整全文与校准指令才能显著降低;同时,属实但单边的证据池也会带偏立场。工程上须按论断并排复核支持与限定证据、记录原文是否打开、在争议议题中配平证据池。

发布日期
阅读时长
约 8 分钟
参考文献
3
德国辛根,一台沿用三代药剂师的老式草药秤,有人正把草药倒入秤盘
图片: GabrielleMerk / Wikimedia CommonsCC BY-SA 4.0来源

句句都有真实出处,为何研究报告的结论依然失真

设想投研、法务或媒体的审阅人检查一份研究智能体起草的综述。报告每段末尾都附有真实链接,抽查几处后确有相关语句,审阅人便予放行。但原文只证明“某方法在特定小样本实验中有效、高并发下失效”,报告却写成了“充分证据表明该方法普遍优于传统方案”。

这种失真不同于捏造虚假判例,也不同于工具格式化遗漏截断上限。此处引用的材料完全真实,问题出在结论的力度、范围与证据池构成上。当复核只问“有无引用”时,两类隐患便会漏网:一是智能体综合多份文献时抹去限定条件,把局部证据夸大为普适定论[1];二是进入上下文的文档虽各自属实,却集中于单一立场,使回答整体偏斜[2]。

从单篇概括偏差到多源“抹平”与立场失衡:三项实证机制

概括单篇文献时,这种放大已有先例。Peters 与 Chin-Yee(2025)对比了 10 个主流大模型生成的 4,900 篇科学摘要与原文:即便明确提示要求准确,多数模型仍给出比原文更宽泛的概括,其中三个模型在 26% 至 73% 的案例中过度概括;直接对比显示,模型摘要出现宽泛概括的可能性接近人类摘要的五倍(比值比 4.85),且较新模型往往更差[3]。

在跨多源文献的研究智能体中,这一倾向演变为“论断抹平”。Roy、Wadhwa 与 Durrett(2026)界定,一条论断若同时满足三项条件即为被抹平:(1)它是从汇总证据得出的结论;(2)部分引用证据确实支持其中至少一部分;(3)结论整体比全部引用证据所能支撑的更强或更宽泛——忠实表述应在证据混杂时保持保留、在支持有限时收窄范围[1]。作者从报告中提取结论性论断,在报告自引文档上分别运行提取支持证据的通道与收集限定、边界或反驳证据的质疑通道,按维度聚类后由模型评判器按 1 至 5 分打分(3 分及以上为实质性抹平,4 分及以上为严重抹平);在 73 条论断的人工核验中,评判器与人类标注员分差在 1 分以内的比例达 93%,一致性与两名人类标注员之间相当[1]。

在 7 个系统与 4 个研究基准的评测中,每个系统在每个数据集上都出现了实质性抹平,占比至少 22%,多数系统超过论断总数的一半;严重抹平跨系统差异悬殊,最低的两个系统为 1% 至 4%,最高者达 22% 至 35%[1]。抹平反复呈现三种模式:无据拼合(把各自有据的片段拼成更强结论)、范围扩张(把单一设定下的结果写成普遍规律)与过早定论(使用“确凿证明”“最佳方案”等字眼);“哪种更有前景及原因”等比较型提问与主题综述型提问尤易诱发抹平[1]。作者还发现,被测智能体很少打开所引网页:一个系统仅打开了所引页面的 19%(主要靠中位长度 585 字符的搜索摘要写作),另一个仅打开 2%[1];作者据此认为,抹平部分取决于智能体选择读取哪些信息[1]。在一个基准 61 个问题上对两个系统的干预表明,单加校准指令或单给完整全文都不足以单独解决问题;唯有同时提供完整文档与校准指令,实质性抹平才分别从 29% 降至 12%、从 61% 降至 25%,严重抹平几乎消失(0.5% 与 2.2%),且报告未变短,论断保留主旨并补上了限制条件[1]。该结论受限于模型评判器评分(经 73 条校验)与研究型基准问题;同一系统内文档数与论断长度同抹平几乎无关,说明仍有其他因素[1]。

四张卡片:在 7 个系统与 4 个研究基准上,每个系统在每个基准上至少有 22% 的论断被实质性抹平;一个系统只打开了所引页面的 19%,另一个仅 2%;同时提供完整文档与校准指令后,实质性抹平的论断从 61% 降至 25%,另一系统从 29% 降至 12%,任一措施单独都不够(Roy、Wadhwa 与 Durrett,2026)。模型撰写的科学摘要出现宽泛概括的比值比为 4.85,对比人类撰写的摘要(Peters 与 Chin-Yee,2025)。
即便读了全文,证据池本身的构成仍可带偏结论。Yang 等人(2026)围绕 210 个争议问题,向知识库注入事实有据但偏向一端的文档,测试四种污染浓度、两个方向与不同供应商的四个生成模型[2]。当主题平均污染占比为 18.9% 时,四个模型均向污染方向偏移,且偏移随浓度单调增加;由于每篇材料本身可核实,仅逐条核查论断无法发现证据池一边倒[2]。作者在检索与生成间加入“立场配平”层:经立场检测后按“2 篇支持 + 2 篇反对 + 1 篇中立”固定配额选文,并配去偏提示词,不增加额外模型调用。完整方案在全部八项设定中将立场偏移幅度降低约 0.106 至 0.350,跨模型测试仅单向残留 +0.045 至 +0.063 的微小倾斜,单张图形处理器上检测 20 篇候选文档仅耗时中位生成时间的约 1.5%[2]。其局限在于仅覆盖英文、单一检索器、单一问题源及模型生成的倾向文档,且依赖立场类别与检测标签;该方法仅适用于真正存在争议的问题,并非要求所有事实问题都拼凑“正反双方”[2]。

工程落地与 rlab.works 能力映射:论断复核、阅读留痕与配额约束

基于此,我们的工程判断是:(1)在论断层面并排展示支持与限定证据,核查结论力度与范围是否匹配,而非只看有无引用;(2)记录每处引用是否真正读取全文,对仅靠摘要的论断打标;(3)对争议问题在写作前固定支持、反对与中立证据配比;(4)同时向写作端提供完整原文与校准指令;(5)重点盯防比较型与综述型问题;(6)在人工关口展示反证与范围边界,允许审阅人下调措辞。

在 rlab.works 的智能感知与智能中枢模块中,可映射三项技能包与三项组件:

  • 查资料与报告起草:智能感知的研究报告撰写(S24)执行“拆解问题与范围 → 收集材料 → 撰写引用草稿 → 核对论据(人工关口) → 排版并导出”,可配合有界的跨供应商研究工具循环(有迭代上限的检索工具循环,返回引用与步骤证据)与有依据的文档摘要(生成带引用与源元数据的摘要,并标注兜底结果)。该包在法律行业可迁移:需替换论文来源与新闻主题模型,审查法律效力与判例适用性,不自动化出具法律结论。我们的工程判断是在“核对论据(人工关口)”并排展示支持与限定证据,并标注引用页是否已读全文。
  • 跨周期补查与复核:智能中枢的研究续查与归档(S08)执行“调取已有研究 → 制定补查计划 → 批准后执行(人工关口) → 确认新发现(人工关口)”。该包在金融行业可迁移:研究执行仍需对接通用搜索与信息增补队列,因此整包未标为源数据直接支持的金融方案。我们的工程判断是在“确认新发现(人工关口)”核查新证据是否收窄既有结论范围,防止多轮汇总把局部结果抹平。
  • 日常资讯汇集与简报:智能感知的每日信息简报(S20)执行“采集并去重 → 提取事实 → 关联相关事件 → 核实并筛选(人工关口) → 生成并发送”,可配合事件、实体与叙事图谱构建(将文章关联为事件与叙事,提取参与方及其立场)。该包在传媒行业有源数据验证:需配置栏目与订阅范围,编辑责任留在复核环节。我们的工程判断是针对争议议题在进入“核实并筛选(人工关口)”前核查立场配比。

需如实说明边界:上述技能包均为基于合成数据演示的拟议未集成方案;三项组件虽经静态源码检查标为可用,但目前均未对论断力度与范围打分、未强制立场配额,也不检查被引用页面是否真正打开——这些是我们从论文提炼的工程要求。本文不构成法律、投资或编辑建议。

对比图:只查有无引用时,复核只问这句话有没有出处,只看链接是否存在,写作端拿到搜索摘要和通用提示词,争议议题的证据池每篇属实却可能一边倒;按论断核查力度与范围时,支持与限定证据并排展示,记录读了全文还是只读摘要,写作端同时拿到完整原文与校准指令,争议议题按支持 2、反对 2、中立 1 的配额选文。

研究智能体上线前的三项检验清单

  • 核查全文打开记录与双条件输入:确认日志区分“仅读搜索摘要”与“已读全文”,并为写作环节同时配置完整原文与校准指令。
  • 核查争议议题的证据池配比:对存在合理分歧的问题,在检索与生成间设置支持、反对与中立文档配额,防止单边材料主导结论。
  • 核查人工关口的反证与降级机制:在“核对论据(人工关口)”“确认新发现(人工关口)”与“核实并筛选(人工关口)”同屏展示限定证据,支持审阅人下调措辞强度与范围。

参考文献

  1. [1]

    Roy, T. S., Wadhwa, M., & Durrett, G. (2026). Quantifying claim smoothing by LLM research agents (arXiv:2610.35793). arxiv.org ↗

  2. [2]

    Yang, P., Dong, S., Wu, L., Cheng, X., & Li, B. (2026). Factual yet one-sided: Stance poisoning and evidence balancing in retrieval-augmented generation (arXiv:2610.34294). arxiv.org ↗

  3. [3]

    Peters, U., & Chin-Yee, B. (2025). Generalization bias in large language model summarization of scientific research. *Royal Society Open Science*, 12(4), 241776. doi.org/10.1098/rsos.241776

分享这篇文章

正在生成海报…

  • X
  • WhatsApp

AI 落地诊断

约 3 分钟 · 9 个问题

对话仅用于本次诊断 · 回复由 AI 生成