A02 系列A · 方法论

跨越“锯齿状技术前沿”:任务颗粒度拆解如何决定企业 AI 的成败

现场实验显示,大模型在看似相近的任务上表现可能截然相反;落地应以任务步骤为单位划定模型的使用范围,前沿外的步骤交给规则与人工复核。

发布日期
阅读时长
约 8 分钟
参考文献
3
立在黄色测量杆顶端的卫星定位接收机,背景是晴朗的天空
图片: LubGua987 / Wikimedia CommonsCC BY-SA 4.0来源

同一个业务流程里,为何大模型既能提效又会诱发失误

设想一个咨询或投研团队正在准备立项报告:分析人员让大模型根据公开纪要整理竞品论据、起草初稿,很快便得到了结构清晰的文本;于是团队顺势将同一模型用于下一步——综合存在细微矛盾的访谈记录与表格数据,直接给出最终业务判断。结果,表面通顺的结论掩盖了关键事实的错配,直到评审会上才被发现。

这种反差源于把“岗位”或“整条流程”当作引入人工智能的单位。现场实验显示,大模型在看似相近的任务上表现可能截然相反;落地应以任务步骤为单位划定模型的使用范围,前沿内的步骤交给模型辅助,前沿外的步骤交给规则与人工复核。

从规则替代到“锯齿状技术前沿”:任务层面的经济学与实验证据

理解技术对工作的影响,首先要把分析颗粒度从“职业”下沉到“任务”。Autor、Levy 与 Murnane(2003)研究计算机化如何改变工作技能需求时指出,计算机资本一方面替代可通过遵循显式规则完成的常规认知与体力任务,另一方面互补非常规问题解决与复杂沟通任务[2]。作者利用 1960 年至 1998 年的任务投入代表性数据发现,在行业、职业与教育群体内部,计算机化伴随着常规体力与常规认知任务劳动投入的减少,以及非常规认知任务劳动投入的增加[2]。将该模型转化为教育需求后,可解释 1970 年至 1998 年间偏向大学学历劳动力的相对需求转移估算值的 60%,而名义上相同职业内部的任务变化占到了这一影响的近一半[2]。

大语言模型改变了“只有显式规则任务才受技术触及”的传统边界,但影响仍集中在任务层面。Eloundou、Manning、Mishkin 与 Rock(2024)通过考察技术与岗位任务的相关性(结合人工与大语言模型评估),估算在仅配备简单界面与通用训练时,约 1.8% 的工作岗位可能有超过一半的任务受大语言模型影响[3];而计入当前及未来可能补充大语言模型能力的软件开发进展后,这一比例跃升至略高于 46% 的工作岗位[3]。需注意,这些数字是任务暴露度估算,而非失业或裁员预测;从单独调用模型到结合互补软件的跃升,也说明工作流软件设计决定了模型潜力能否转化为实际产出。

然而,即便在同一知识工作流内部,模型的能力边界也绝非平整。Dell’Acqua 等人(2023)与一家全球管理咨询公司合作开展预先注册的现场实验,提出“锯齿状技术前沿”(jagged technology frontier)概念:在同一知识工作流内、难度看似相近的任务上,人工智能辅助既可能提升表现,也可能恶化结果[1]。实验以该咨询公司的 758 名知识工作者为样本,在类似任务上建立基线后,将受试者随机分入无人工智能访问、可使用人工智能、或可使用人工智能并附提示词工程概览这几种条件[1]。在能力前沿内的 18 项真实管理咨询任务(涵盖创意到分析)中,使用人工智能者表现优于未使用者,多完成 12.2% 的任务,平均完成速度提升 25.1%,且方案质量显著提高[1]。但在一项选定处于能力前沿之外的复杂管理任务上,使用人工智能者产生正确方案的可能性比未使用者低 19%[1]。若不加拆解地让模型包揽全流程,前沿外的隐蔽错误就会抵消前沿内的效率增益。

示意图:同一份立项报告流程中,检索、整理论据、起草等步骤位于模型能力前沿以内,可交给模型辅助;综合矛盾材料与最终判断位于前沿以外,交给规则与人工复核。右侧为 Dell'Acqua 等(2023)的实验数字。

把任务拆解固化为工程边界:输入契约、分批核验与人工关口

要跨越锯齿状技术前沿,系统必须把目标拆解为步骤,在前沿内外切换处设置人工关口。这一设计体现于 rlab.works 的智能中枢与智能感知模块中。

针对一般业务交付,「复杂任务拆解与执行(S01)」技能包以“目标、范围和交付要求”为初始输入:先由「目标规划与版本化任务图」组件(静态源码检查为可运行代码)执行辅助步骤“拆解任务清单”,生成带依赖和执行方式的任务计划,并支持计划修订的提议与比对;接着在人工复核步骤“确认执行范围”由指定复核人或请求用户审批,被拒产出退回修订且不进入下一步;获批后执行辅助步骤“逐项执行”,输出任务结果和运行证据;最后经人工复核步骤“验收交付”,产出已接受的交付包与复用记录。其间,「可审计工作流、人工确认与决策复盘」组件负责持久化版本化工作流与步骤,在需人工决策时暂停并记录结果。

针对长周期研究,「研究续查与归档(S08)」技能包以“研究问题、已有材料与可用时间”为输入,按“调取已有研究(辅助,输出可追溯的研究状态与任务定义)→ 制定补查计划(辅助,输出需确认的研究步骤与预算)→ 批准后执行(人工复核,输出经授权的新材料与计算结果)→ 确认新发现(人工复核,输出已接受证据、未决问题与续查包)”推进,并可由「持久化研究工作区与记忆」组件(静态源码检查为可运行代码)保存研究会话、观察与决策及会话包。「研究报告撰写(S24)」技能包则以“研究问题、允许来源与报告提纲”为输入,经过“拆解问题与范围(辅助)→ 收集材料(辅助)→ 撰写引用草稿(辅助,输出带引用的报告草稿)→ 核对论据(人工复核,输出经核对的论据与报告内容)→ 排版并导出(辅助)”,将检索与草稿交给模型辅助,把论据核对锁定在人工关口。

技能包 S24 的五步流程:规划检索范围、收集并提取材料、组织引用与观点三步为辅助,人工核对论据为人工复核,排版并导出为辅助。
在行业落地上,上述技能包在企业服务与通用、金融、法律领域均无“源数据有行业依据”标签,仅作通用模式或可迁移应用:「复杂任务拆解与执行(S01)」在企业服务、金融与法律均无标签,仅在制造业标为可迁移应用(把设备检修拆成检查、备料和复核任务并留交班证据,但只编排软件任务和人工记录,机械维修由人员执行,须配作业许可与确认点);「研究续查与归档(S08)」在金融为可迁移应用(让跨周研究带着上次证据继续,但研究执行与通用搜索、补全队列仍需接线,非原生金融流程),在企业服务与法律无标签;「研究报告撰写(S24)」在法律为可迁移应用(围绕争点检索获准案卷与法规并保留引文位置,由法务核对后成稿,但需替换论文入口与新闻主题模型,核对法规效力和案件适用性,不自动作法律结论),在企业服务与金融无标签。此外,站点所有技能包均为拟议编排,仅以合成数据演示,尚未接入真实服务;组件成熟度基于静态源码检查而非生产部署(「可审计工作流、人工确认与决策复盘」为原型,工具步骤仅作占位与记录,建议来自输入或默认值而非自主执行工具)。

立项前的任务颗粒度检验清单

业务或技术负责人在资助试点前,可用以下标准检验方案是否正视了锯齿状技术前沿:

  • 是否将工作拆解到带依赖关系的步骤级? 拒绝笼统的“岗位替代”立项,明确区分检索、提取、草稿组织等前沿内步骤与跨源矛盾裁决等前沿外步骤。
  • 前沿交界处是否嵌入了具阻断权的人工关口? 确认在范围审批、预算确认与论据核对处设有人工复核,被拒产出必须退回修订且不流入下游。
  • 是否明确了行业迁移的接线与合规边界? 核实是否限定了允许来源、保留了引文与运行证据,并确保系统不自动生成交易指令或法律结论。

参考文献

  1. [1]

    Dell'Acqua, F., McFowland, E., Mollick, E. R., Lifshitz-Assaf, H., Kellogg, K., Rajendran, S., Krayer, L., Candelon, F., & Lakhani, K. R. (2023). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality (Harvard Business School Technology & Operations Mgt. Unit Working Paper No. 24-013). doi.org/10.2139/ssrn.4573321

  2. [2]

    Autor, D. H., Levy, F., & Murnane, R. J. (2003). The Skill Content of Recent Technological Change: An Empirical Exploration. The Quarterly Journal of Economics, 118(4), 1279–1333. doi.org/10.1162/003355303322552801

  3. [3]

    Eloundou, T., Manning, S., Mishkin, P., & Rock, D. (2024). GPTs are GPTs: Labor market impact potential of LLMs. Science, 384(6702), 1306–1308. doi.org/10.1126/science.adj0998

分享这篇文章

正在生成海报…

  • X
  • WhatsApp

AI 落地诊断

约 3 分钟 · 9 个问题

对话仅用于本次诊断 · 回复由 AI 生成