B21 系列B · 行业篇

【企业服务与通用】防止“影子 AI”演变为供应链失控:插件签名审计、网关多模型路由与移动端隐私脱敏

影子 AI 的风险在于未纳管的模型与插件入口;企业应通过签名插件注册表、许可证审计与统一模型网关收拢入口,并在移动端上传日志前脱敏。

发布日期
阅读时长
约 8 分钟
参考文献
3
机房配线架上密集排列的网线接头
图片: Inisheer / Wikimedia CommonsCC BY-SA 3.0来源

散落的外部接口与插件,如何绕开企业原有的安全边界

设想一种常见的企业办公情形:某业务部门为加快纪要整理与知识检索,自行在办公电脑上安装未经审计的桌面扩展插件,各自申请外部大模型接口密钥,并在外出参会时用手机语音工具录入待办。表面上日常文档处理更为顺畅,但安全与合规团队盘点时却发现,含内部项目背景的文本正通过分散的私人密钥流向未知节点,桌面加载的社区插件既无数字签名也未做许可证审查,移动端应用在异常崩溃时甚至将带有敏感请求头与会话上下文的原始日志直接上传到外部诊断平台。

这种“影子 AI”的核心风险在于未纳管的模型与插件入口。当外部模型调用、第三方插件与移动端日志绕过统一控制面时,局部的效率工具就会演变为软件供应链失控。企业应通过签名插件注册表、许可证审计与统一模型网关收拢入口,并在移动端上传日志前脱敏。

软件供应链、插件边界与敏感信息披露:入口失控的风险机制

为何未受管控的模型与插件入口会迅速放大安全与合规敞口?从应用安全分类、攻击面研究与安全软件开发生命周期文献中,可以拆解其机制。

首先,开放网络应用安全项目(OWASP Foundation, 2023)发布的《大语言模型应用十大风险(1.1 版)》列出了十项风险[2]:提示词注入、不安全的输出处理、训练数据投毒、模型拒绝服务、供应链漏洞、敏感信息披露、不安全的插件设计、过度代理权、过度依赖以及模型盗窃。在影子 AI 场景下,多项风险在入口处交汇:私自引入未经验证的模型服务或第三方依赖包,直接构成供应链漏洞;自行安装缺少来源核验与权限约束的扩展工具,会将不安全的插件设计与过度代理权引入内网;桌面或移动客户端在缺乏过滤时将上下文、凭据或崩溃日志发往外部端点,则会导致敏感信息披露[2]。

对比图:模型调用、插件安装与移动日志三个入口,分别对应 OWASP 列出的供应链漏洞、不安全的插件设计与敏感信息披露;左栏为未纳管做法,右栏为经网关、签名仓库与脱敏收拢后的做法。
其次,Greshake 等人(2023)指出,集成大模型的应用模糊了数据与指令的边界,可被间接提示词注入利用[1];其攻击机理与工具调用防御,见本专栏关于智能体工具调用纵深防御的配套文章。就入口治理而言,这意味着每一个未登记的外部数据源、插件或模型节点,都是潜在的越权通道。

更深层的问题在于,传统研发管理往往未在采购与集成阶段覆盖这些入口。美国国家标准与技术研究院(NIST, 2022)在《安全软件开发框架(SSDF)1.1 版》(NIST SP 800-218)中指出[3],极少有软件开发生命周期(SDLC)模型在细节上明确处理软件安全,因此需将安全软件开发实践集成到各开发生命周期实现中。遵循这些核心实践,有助于软件生产方减少已发布软件中的漏洞数量、减轻未发现或未处理漏洞被利用时的潜在影响,并从根本原因上防止漏洞重演;同时,该框架提供了通用词汇表,软件采购方可在采购流程与其他管理活动中借此促进与供应商的沟通[3]。这意味着模型节点、插件与客户端日志治理,必须作为标准化准入环节写入研发与采购流程。

收拢入口的工程设计:网关路由、插件签名审计与终端日志脱敏

将上述安全框架转化为工程架构,核心是把分散的模型调用、工具安装与移动终端接入收拢到带人工复核关口的工作流中。在 rlab.works 的能力体系里,这一治理由模型网关与智能中枢协同承担。

在模型与服务入口层,企业需用统一网关替代私人密钥。模型网关下的新服务试运行接入(S18)技能包以“服务地址、授权信息与接口约定”为输入,先辅助登记服务节点以生成节点和健康状态,再辅助配置调用方式、少量试运行以记录响应和类型化错误;最后在“接入或回退”人工复核关口由指定复核人审阅,仅人工确认的接入版本与发布记录可放行,被拒绝的产出退回修订且不进入下一步。节点接入后,模型对比与切换(S12)技能包以“任务样例、可用服务和选择标准”为输入,辅助检查可选模型并样例对比,输出质量、错误与费用比较记录;经“审阅切换建议”人工复核关口接受路由草案后,再辅助设定主备模型与额度规则,并由“切换后抽查”人工复核关口保留比较证据与决定。

在插件与供应链入口层,智能中枢下的工具接入与权限管理(S04)技能包以“待安装工具包与所需访问范围”为输入:首先在“检查签名与许可”步骤调用“签名插件仓库与可信安装”与“依赖许可证策略与元数据审计”能力——前者负责插件包发现、发布、审核、吊销与注册签名及安装验证,后者比对包锁定文件与已安装包元数据,将许可证分为允许、需审查和禁止类别并支持按包名、版本和作用域设置例外,共同输出签名与许可检查清单;随后在“批准账号权限”人工复核关口审批连接与范围;接着辅助安装并登记到工具目录;最后在“试用并备回退”人工复核关口核验调用结果,留存安装记录与回退办法。

技能包 S04 的四步流程:核对包和许可(辅助),确认账号范围(人工复核),安装并登记(辅助),试用与回退检查(人工复核)。
在移动与语音入口层,智能中枢下的[语音需求受理(S11)](/zh/skills/voice-work-assistant/)技能包以“用户发起的录音与可用上下文”为输入,辅助录制语音并补充授权背景,经“确认需求理解”人工复核关口由用户确认后,再辅助回复并记录,输出回复记录与脱敏错误线索。底层的“带隐私过滤的移动端崩溃上报”能力则在生产环境初始化崩溃上报时,清理请求头、字符串、面包屑和附加上下文,仅输出脱敏事件与页面结构定义。

需如实说明工程边界:上述技能包在企业服务与通用行业中均为可迁移应用,而非源数据有行业依据的方案。模型对比与切换需用内部知识助手真实样例核验兼容性,候选建议依赖已有记录,不承诺自动找到最优模型;新服务试运行接入需分别检查节点心跳、应用响应和部署结果,不假设开发包支持流式消费或自动重试;工具接入与权限管理需按包格式和客户端选择适配器并保留撤销路径;语音需求受理需连接实际转写端点并设定保存期限,不自动改日程或发消息。站点所有技能包均为拟议编排,仅以合成数据演示,尚未接入真实服务;所涉组件成熟度(可运行代码)均基于静态源码检查而非生产部署,且移动端崩溃上报同处的生产分析适配器目前只是空实现。

治理“影子 AI”入口的管理检验

业务与技术负责人在排查影子 AI 风险或批准内部应用上线前,可执行以下检验:

  • 盘点并收拢模型调用通道:排查硬编码的外部模型密钥;要求所有节点必须先经带人工验收的登记与有界试发请求,并基于共享样例完成主备路由与额度配置。
  • 强制执行插件签名与许可证准入:检查扩展工具是否经过数字签名校验、包锁定文件许可证分类审计及人工权限范围审批,确保具备回退与吊销路径。
  • 核验移动端采集同意与日志脱敏:确认语音录入具备用户发起与理解确认环节,并核实客户端崩溃日志在离开设备前已清理请求头、上下文与敏感字符串。

参考文献

  1. [1]

    Greshake, K., Abdelnabi, S., Mishra, S., Endres, C., Holz, T., & Fritz, M. (2023). Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection. Proceedings of the 16th ACM Workshop on Artificial Intelligence and Security (AISec), 79–90. doi.org/10.1145/3605764.3623985

  2. [2]

    OWASP Foundation. (2023). OWASP Top 10 for Large Language Model Applications (Version 1.1). OWASP. owasp.org ↗

  3. [3]

    National Institute of Standards and Technology (NIST). (2022). Secure Software Development Framework (SSDF) Version 1.1: Recommendations for Mitigating the Risk of Software Vulnerabilities (NIST Special Publication 800-218). doi.org/10.6028/NIST.SP.800-218

分享这篇文章

正在生成海报…

  • X
  • WhatsApp

AI 落地诊断

约 3 分钟 · 9 个问题

对话仅用于本次诊断 · 回复由 AI 生成