数据互联互通和高效流转是当下数字化时代发展的一个必然趋势，但当下大家不愿意共享数据，主要可以总结为两方面的问题：

A机构共享数据给B机构后，很难防范B机构偷用或转手给第三方。这就会导致在共享范围、方式方法、技术等角度被卡住。

许多数据都来之不易，但数据共享往往得不到相应的收益，因此有宝贵数据的机构往往不愿共享数据从而导致无法更好地促进数据互联互通。

面对上述问题，绿盟数据安全保险箱可以更好地保障数据合法使用、更好地解决数据权属和收益管理问题同时尽可能多地减少数据泄露的事件。

隐私计算技术在国家微生物科学数据互联互通平台的成功应用为后续科研数据共享开放提供了样板间。在未来，绿盟科技将和社会各界、各个机构更加紧密合作，为中国数字化发展贡献自己的力量。

当前，AI的运用与监管备受社会关注。近日，国家互联网信息办公室发布《生成式人工智能服务管理办法（征求意见稿）》，以期促进生成式人工智能技术健康发展与规范应用，拉开国内对大预言模型监管的序幕。

随着ChatGPT等通用人工智能的革命性突破，AI技术已成为数字经济时代的核心驱动力、产业转型升级的重要支撑。然而强劲发展势头下，AI不可避免会遭遇“成长烦恼”。本文主要介绍了ChatGPT潜在的八大安全隐患，包括隐私数据泄露、模型窃取、数据重构、成员推断攻击、数据投毒、Prompt Injection攻击、模型劫持攻击以及海绵样本攻击，呼吁ChatGPT自身的安全隐患不容忽视。

传统的网络安全手段难以迁移到对AI模型安全的保护中，AI模型所面临的攻击面相较于传统网络空间是不同的、全新的。

对MLaaS（机器学习即服务）提供商来说，为了保障人工智能模型和数据相关隐私，对外仅开放API接口提供服务，想要使用模型服务的用户没有机会直接接触到模型和数据。但由于AI模型的特性，在数据本身未遭到泄露的情况下，攻击者可能仅根据模型输出，通过成员推断攻击、数据重构攻击等，推断出训练数据的某种属性或恢复训练数据，也能够通过模型窃取重现模型功能与参数。模型输出易获得的特点决定了AI模型相关的隐私泄露很难避免。同时，在模型生命周期的各个阶段，AI模型都面临着安全威胁，例如，在训练阶段，通过数据投毒方式，攻击者使用对抗样本降低模型精度，也可以用后门攻击触发模型的特定行为；在推理阶段，攻击者通过逃逸攻击误导模型的决策过程。

ChatGPT作为大型语言模型，在模型的训练、推理、更新阶段采用的策略和过程上较一般通用模型都要更复杂，越复杂的AI系统意味着越多的潜在安全威胁，ChatGPT可能会受到多种攻击的影响。以下对ChatGPT潜在的安全风险进行介绍。

OpenAI在隐私政策中提到，ChatGPT会收集用户账户信息、对话相关的所有内容、互动中网页内的各种隐私信息（Cookies、日志、设备信息等），这些信息可能会被共享给供应商、服务提供商以及附属公司，数据共享过程可能会有未经授权的攻击者访问到模型相关的隐私数据，包括训练/预测数据（可能涵盖用户信息）泄露，模型架构、参数、超参数等。

除了ChatGPT自身的隐私泄露风险，近期也出现了利用ChatGPT热度对用户隐私实施窃取攻击的活动。比如，Github上非官方的开源ChatGPT桌面应用项目被发现植入高危险性木马，用户一旦运行了安装的可执行文件，就会泄露自己的账户凭证、浏览器Cookies等敏感信息，为避免更多的用户中招，该开源项目现已更改了下载地址。

文献显示[3,4]，在一些商用MLaaS（机器学习即服务）上，攻击者通过请求接口，能窃取到模型结构、模型参数、超参数等隐私信息。模型窃取的价值在于，一旦攻击者得到目标模型的功能、分布等信息，就可以免于目标模型的收费或以此作为服务或获取收益，甚至可以基于窃取到的模型对目标模型实施白盒攻击。

上图3展示了针对BERT模型的窃取方案，攻击者首先设计问题来问询目标黑盒BERT模型，再根据目标模型的回答来优化训练自己的模型，使自己的模型与目标BERT模型的表现接近。

对ChatGPT这样上千亿参数的大体量模型，窃取其完整的功能可能并不现实，一是大多公司支撑不起ChatGPT所需要的设备、电力成本要求，二是业务可能不涉及ChatGPT涵盖的所有领域，因此可以按需针对某一领域进行功能窃取，例如，攻击者根据目标任务领域，准备大量领域内相关问题，将问题和ChatGPT的回答作为输入，借助知识迁移策略训练本地体积更小的模型，在该领域的效果达到与ChatGPT近似的效果，窃取ChatGPT的特定功能。

数据重构攻击旨在恢复目标模型的部分或全部训练数据。例如，通过模型反演对模型接口上获取的信息进行逆向重构，恢复训练数据中的生物特征、病诊记录等用户敏感信息，如下图5所示。

研究发现，在NLP领域，尽管通用文本特征有着良好泛用性和性能，但也有泄露数据风险的可能，攻击者利用公开的文本特征，重构训练文本语义，获取训练文本中的敏感信息。Carlini等人[7]已经证实大型语言模型能够记忆训练数据，存在隐私泄露风险。他们设计了基于前缀词的方案在黑盒模型GPT-2上进行了训练数据窃取实验，攻击能够恢复的训练文本高达67%，而这些恢复的文本中包含了个人姓名、住址、电话号码等敏感信息，如图6所示。

我们在ChatGPT上进行了简单的测试。虽然ChatGPT的训练集尚不明确，但考虑到其训练集规模远超GPT-2的40G公开训练集，极有可能包含了GPT-2的训练数据，因此可以使用GPT-2的数据进行测试。在图7中，我们让ChatGPT补充完善句子“My address is 1 Main Street, San Francisco CA”， ChatGPT生成的文本“94105”正是Main Street, San Francisco CA的真实邮编，说明ChatGPT极可能在训练时见过这个数据并且记住了该数据。这给ChatGPT敲响了警钟，ChatGPT训练数据源中的隐私数据极有可能面临着被重构恢复的风险。

另外，值得注意的是，由于模型窃取攻击和数据重构攻击往往都通过问询来实现，适当结合使用会进一步加大隐私泄露风险。如，通过数据重构攻击恢复目标受害模型的部分或完整训练集，这些数据可以优化和训练模型窃取中构造的本地模型，使其在表现上更接近目标模型；也可以在模型窃取的基础上，通过模型反演恢复训练数据的信息。

成员推断攻击是针对训练集隐私的一种攻击方式，是机器学习隐私风险领域的一种主流攻击。成员推断攻击判断某些特定数据是否在目标模型的训练集里，从而推断数据是否具备某些属性。成员推断攻击的成因与模型的过拟合程度息息相关，过拟合程度越高，模型越可能泄露训练集隐私，但过拟合并非唯一影响成员推断攻击的因素，即便是过拟合程度不高的模型，也存在被成功攻击的可能。

图7是一种简单有效的成员推断攻击流程。在训练阶段，模型提供商基于训练数据集和机器学习算法训练一个模型并部署在机器学习平台上，该模型将作为攻击者的目标模型；预测阶段，攻击者精心准备一些与训练数据集分布近似的数据，并通过访问平台API接口获取模型对这些数据的预测结果，这样的“输入-输出”对被用来训练一个作为攻击模型的二分类器；攻击阶段，攻击者用特定数据询问目标模型，得到的输出交给攻击模型，判断特定数据是否为训练数据集成员。

当前成员推断攻击已经在图像分类、在线学习、推荐系统等不同场景上都展现出了不错的隐私窃取能力，同时成员推断攻击算法的研究也在朝着简单易行轻量级的方向发展，对现实中的模型威胁逐渐增大。ChatGPT这类大型语言系统也同样可能面临着成员推断攻击的威胁。成员推断攻击背后的逻辑在于模型对训练数据（模型见过）和其他数据（模型没见过）的表现是不同的，这种表现上的差异可能体现在模型预测、损失值、梯度信息等。我们在ChatGPT进行了初步实验，发现ChatGPT能够补全安徽歙县的正确地址、邮编等信息，而2021年杭州新增的地名顺仁街（所属地区上城区，邮编310005），ChatGPT误生成为西湖区、310000，这可能是由于ChatGPT的训练数据截至2021年，可能并未包含这些新增的地名信息，这也就造成了ChatGPT对训练集成员和非成员的表现差异。不过，此处仅为初步实验，ChatGPT面对成员推断攻击的鲁棒性如何，需要后续的实验进一步测试。

尽管AI模型面临的风险威胁众多，数据投毒攻击至今依然是关注度最高的攻击之一。AI模型中的数据投毒攻击通常指的是，攻击者向AI模型的训练数据源中注入恶意样本或修改训练数据标签信息，从而操控模型在推理阶段的表现，如下图10所示。

ChatGPT多处面临着数据投毒风险。OpenAI没有声明其训练集来源，据称ChatGPT的训练数据包含了网络上的公开数据源，因此在预训练阶段，如果公开数据集被恶意投毒，添加噪声扰动的投毒会引起模型生成文本存在错误、语义不连贯等问题，植入后门的投毒会导致一些字母符号等信号触发模型做出特定行为。而在模型推理阶段，ChatGPT可能会在答案生成阶段借助了额外的数据库、数据源进行文本搜索，这些数据库和数据源也同样存在被数据投毒的可能，另外，如果后续OpenAI将用户的历史对话内容当做语料更新ChatGPT，那么又将存在一个训练数据投毒的攻击面。                                                                     

值得注意的是，除了数据投毒，如果ChatGPT依赖用户反馈做出优化，攻击者利用这一点可以引导模型“负优化”，如下图所示，当ChatGPT给出了质量很高的回答，但攻击者恶意地做出负面评价和不当反馈；或通过对话对ChatGPT的正确答案不断进行挑刺和纠正，面对大量的此类恶意反馈，如果ChatGPT没有设置相关安全策略，将会影响到后续版本的生成文本质量。

ChatGPT的内容安全策略在逐步改进，但正如ChatGPT官网的声明，目前ChatGPT存在的缺陷之一是对输入措辞的调整或多次尝试同一提示很敏感，输入一个敏感问题，模型可以声称不知道答案，但重新组织一种更委婉的措辞，模型会做出正确回答。这就给了Prompt Injection攻击可乘之机。

Prompt Injection攻击是一种安全漏洞利用形式，给出聊天机器人能够接受的假设，引导聊天机器人违反自身的编程限制。这意味着不止ChatGPT，其他聊天机器人（如最近进入公测阶段的Bing Chat）也都会受到这种攻击的影响。

模型劫持攻击是AI模型面临的一种新型攻击，在这种攻击下，攻击者设定一个与目标模型原任务不同的任务，通过数据投毒劫持目标模型，在模型拥有者没有发觉的情况下，让目标模型成功执行攻击者设定的任务[10]。图13刻画了模型劫持攻击流程，攻击者制作在视觉上与目标模型训练集相似的伪装数据集，经过数据投毒和模型训练后，根据模型任务标签和自己的任务标签之间的映射关系，可以劫持目标模型完成自己设定的预测任务。

模型劫持攻击的特点在于不会影响目标模型在原始任务上的效果，有着很强的隐蔽性，且只要能够实施数据投毒的场景就有进行劫持攻击的可能。目前尚未看到模型劫持攻击在商业机器学习模型上的攻击效果，在大型语言模型上的攻击效果未知，短期内劫持ChatGPT的可能性较低，但一旦攻击成功，攻击者可以劫持目标模型提供某种非法服务，导致模型提供者因此承担一些法律风险。

由于模型劫持攻击需要大规模样本投毒，且在一段时间后才能观察到劫持效果，因此我们未进行相关测试。

海绵样本（Sponge Examples）也是AI安全中的新型攻击，类似于传统网络空间中的拒绝服务攻击（DoS），海绵样本能够增大模型延迟和能源消耗，推动模型推理的底层硬件系统在性能上达到最坏状态，从而破坏机器学习模型的可用性。Shumailov等人[11]使用海绵样本将Microsoft Azure翻译器的响应时间从1ms增加到6s，证实了海绵样本对语言模型的影响很大，对于同是语言模型的ChatGPT也是潜在的风险点，致使ChatGPT在对话中的反应过慢、运行ChatGPT消耗的电力和硬件资源进一步加大等问题。测试海绵样本对ChatGPT的攻击效果需要包含了大量样本的海绵样本池并计算ChatGPT的响应延迟时间的统计结果，测试成本较高，在此未进行攻击测试。

ChatGPT对于自身安全问题做了相关防护，通过限制用户的查询频率、查询次数，一定程度上能够抵御模型窃取、成员推断攻击等通常需要大量问询的攻击方案，降低了数据和模型的隐私泄露风险。比起微软在2016年推出的人工智能聊天机器人Tay，ChatGPT能够更好地拒绝回答一些敏感问题，虽然在“DAN（Do Anything Now）”模式下可能会出现暴力、偏激、歧视言论，但比起不到24时就被恶意操纵导致下架的Tay，ChatGPT明显在内容安全策略设置上对语料筛选、过滤进行了更严苛的管控。

随着攻防对抗的升级，ChatGPT技术的不断发展和应用，其自身安全问题是一个在未来会持续存在的问题。未来，攻击者必然会越来越关注ChatGPT相关的安全问题，以实现其窃取敏感信息或数据，获取经济利益等目标。目前，ChatGPT还处于高速发展中，本身技术存在一些不足，只有保证其自身的安全性问题，才能确保该技术可以真正地应用到各个领域。

Frost&Sullivan资深分析师Anh Tien Vu表示， “绿盟科技提供CNAPP所需的全部能力，包括DevOps安全、CSPM、CWPP、CNWS等；其中DevOps安全，通过代码审计平台提供漏洞扫描、SAST、DAST、IAST等能力，帮助客户解决软件供应链安全挑战。绿盟科技CNAPP支持与Kubernetes等云原生组件集成，实现自适应保护运行时的工作负载，为客户提供关于容器行为、安全威胁、东西向流量的细粒度可见性。”

绿盟科技CNAPP一体化安全平台安全防护思路由“以基础设施为中心”转向“以微服务应用为中心”，针对组织机构的云原生业务，保护容器镜像构建与分发、云原生编排和管理组件以及缓解运行时容器工作负载安全风险。绿盟科技CNAPP一体化安全平台通过统一安全管理平台，提供细粒度的云原生资源和安全态势可见性，助力客户DevSecOps团队及时发现云原生环境下的安全威胁并提供易用的处置机制，助力客户在云原生时代实践DevSecOps文化。

同时，绿盟科技CNAPP依托T-ONE CLOUD 平台，构建全面丰富的云原生安全产品及服务，满足用户对云原生应用的一体化安全检测和防护需求。T-ONE CLOUD是绿盟科技“智慧安全3.0”理念的全新实践，旨在以云的思路重构安全运营体系，为用户提供弹性敏捷的安全闭环保障能力。绿盟科技长期积累的各类不同形态的安全能力，都可以通过T-ONE CLOUD的模式为用户提供服务，为千行百业数字化转型保驾护航。

点击“阅读原文”了解绿盟科技CNAPP一体化安全平台

曾令平表示，近年来，数据安全治理成为银行发展中的关键问题之一，也是监管层关注的焦点，面对监管要求与同业创新压力，如何从数据安全合规+数据安全风险控制的视角来认识和应对相关问题，成为各银行亟需解决的问题。通过进行数据定义、分类分级、数据识别、数据脱敏，利用态势可视化技术，将数据资产态势从数据敏感程度、数据流转、数据操作行为等多维度进行可视化展示，从而进行业务分析、风险监测、风险研判、风险预警与处置，构建全面的数据安全防护能力、先进的数据安全风险监控能力、灵活的数据安全管控能力。

论坛同期，绿盟科技还在现场展示了数据安全解决方案，赢得现场嘉宾的关注与认可。

金融科技已成为金融行业实现数字化转型的强劲动力，研究金融科技新技术、新方案意义重大。绿盟科技专注金融行业的信息安全研究，持续跟踪信息安全发展趋势，不断洞察和深入分析银行、证券、保险及互联网金融等行业客户在信息安全方面所面临的信息安全风险和信息安全需求，在电子银行整体安全防护、移动金融交易安全、金融云安全建设与防护、网络安全保险等具体业务场景不断推出适应安全需求的产品和服务，并在企业安全度量、应用开发安全、企业员工内部安全意识教育等运维和管理方面提供相应服务，业务几乎涵盖金融客户数字化转型的全生命周期。未来，绿盟科技将继续以巨人背后的安全专家为使命，为金融客户的发展提供坚实有力的信息安全保障。

在此项目中，绿盟科技充分结合用户的实际需求，结合业内情报运营管理实践，提出符合行业需求的情报管理方案。绿盟科技威胁情报系统聚焦多源威胁情报管理，全面提供多源情报接入、融合存储、情报生命周期管理、情报共享输出、威胁预警、情报查询展示等能力。作为威胁情报体系的关键组件，绿盟科技威胁情报系统支持企业在离线、在线、云计算等不同环境下，融汇多方情报数据并整合应用到自身的安全体系中，全面提升威胁检测和响应能力。

• 独特优质的威胁情报数据

• 灵活快速的机读API接口

• 威胁情报数据的本地明文存储

• 覆盖度全面的攻击组织档案馆

• 协助企业构建本地威胁情报生态体系

• 重大事件及时通告，快速提供处置方案

• 单点感知全网防御，缩短威胁响应时间

未来，绿盟科技将在威胁情报领域持续创新、开拓进取，以“巨人背后的专家”为使命，为证券行业网络安全体系建设贡献力量。

2022年9月1日，《数据出境安全评估办法》（以下简称《办法》）正式实施，开展数据出境活动的组织应当对照《办法》具体规定及时依法申报数据出境安全评估。截至2月22日，全国各省网信办通报的数据出境申报情况如下表：

针对《办法》发布前已开展的数据出境活动，2022年9月至2023年2月为整改缓冲期。自2023年3月1日起，不符合《办法》规定的数据出境活动可能受到监管处罚。当前我国法律法规中涉及数据出境处罚条款如下：

未来监管处罚暂未可知，参考既往数据出境违规案例，涉事企业被要求停止出境活动、销毁相关违规出境数据、巨额罚款、APP全线下架、停止新用户注册、责令整改等。

总的来说，数据出境最强监管时代已经到来。涉及数据出境组织要想降低监管处罚风险、避免出境业务中断或甚至停业整改、巨额罚款等影响，就要赶快行动起来！采取数据出境合规应对行动，刻不容缓！

《网络安全法》和《数据安全法》明确了关基产生的重要数据和个人信息出境需开展安全评估的要求；《个人信息保护法》在此基础上，明确了个人信息出境的三条路径：通过国家网信部门组织的安全评估、个人信息保护认证、签署个人信息跨境标准合同。其中，安全评估这一路径依据《数据出境安全评估办法》开展。其余两条路就目前实践案例较少，但其作为申报评估外实现合法出境的唯二方法，值得关注。

此外，汽车、医疗、工业、金融等行业均出台行业数据出境管控要求。组织应先确保满足本行业数据出境监管要求，在此基础上，其申报材料才能顺利交到国家网信部门手中。

组织可通过下方流程图及判定规则，代入自身情况，判断适合自身的数据出境路径。

这三条出境路径各自合规实施要点如下：

数据出境申报评估应该找谁？多久可以办结？为此，我们梳理了下方申报流程图：   

组织应按网信部门要求准备材料，尤其在出具自评估报告时，不能删减、曲解自评估报告模板内容。申报材料清单如下：  

数据出境组织应梳理出境数据情况，开展自评估工作，对存在风险问题尽快整改，撰写自评估报告，并准备其他申报材料。在上述工作开展中，组织可能会遇到以下难题：   

从目前申报实践经验看，监管对于数据出境的关注点包括个人信息安全影响评估、数据出境风险评估、数据处理者安全保障能力评估、境外接收方安全保障能力评估及签订法律文件等内容。因此，申报评估准备工作仅靠法律专业人员是不够的，可通过引入绿盟这样的提供数据安全服务的安全公司解决。此外，我们已与知名律所达成战略合作，将在数据出境领域各展身手，助力企业顺利申报。

绿盟推出数据出境全流程、一站式服务，从数据出境前、出境中、出境后全链条为客户提供“数据安全咨询+产品”服务。助力客户提升数据出境安全能力，护航客户申报评估顺利通过。

（一）收集相关法律法规标准并进行解读，尤其关注行业数据出境要求；

（二）提供自评估准备工作协助，如数据分类分级、重要数据（如有）识别、关键信息基础设施识别（如涉及）、个人信息安全影响评估等工作。

（一）建立数据安全组织架构，协助确定数据安全负责人和管理机构;

（二）搭建数据出境制度体系，包含方针策略、管理制度、操作规程和表单记录四个层级，围绕出境数据全生命周期提出管理要求。

（一）协助编撰或协助准备准确、完备、高质量的申报材料；

（二）协助向省级网信部门沟通咨询，确保问题问清楚、解决思路捋明白；

（三）协助提交申报材料，解答监管询问，对材料进行修订完善再次提交。

（一）通过安全运营平台实现各出境管控、审计设备的日志收集、分析，实现对出境流量进行测绘；

（二）出境异常事件应急响应与追踪溯源。

绿盟科技在数据安全专业服务领域拥有深刻积累，具备数据分类分级、数据安全合规评估、数据安全风险评估、数据安全能力成熟度评估、个人信息安全影响评估、数据安全管理体系建设、数据安全规划等服务交付能力，助力金融、运营商、能源、交通、政府、企业等行业客户获得成功。

如果您在数据出境合规方面需要协助，请填写下方问卷。我们会尽快联系您！

  问卷链接：

  https://www.wjx.cn/vm/wcvpb5w.aspx#

科技自立自强是国家强盛之基、安全之要。党的二十大报告提出，到2035年，实现高水平科技自立自强，进入创新型国家前列。在技术创新与研发攻坚的过程中，网络安全作为安全“底座”也需要与信创产业的发展并肩而行。

目前，随着现有网络技术的发展以及5G技术的全面应用，让各种DDoS攻击变种更加难以防范，没有DDoS防护能力，客户将面对网络链路瘫痪，冲垮内部业务，其他安全设备无法起效的情况。因此，国产化的DDoS攻击防护方案也成为了国家实现安全强国必不可少的一环。

绿盟抗拒绝攻击系统（NSFOCUS Anti-DDoS System，简称NSFOCUS ADS）信创版，采用飞腾国产化CPU，基于麒麟操作系统，在IPv4、IPv6双栈混合环境中，帮助客户提供全面精准的各类DDoS攻击国产化防护方案。

飞腾CPU采用了节能设计，能够有效地降低功耗，助力信创版ADS可以更好使用负载均衡算法，用最少连接分配任务。其也采用了先进的架构设计和制造工艺，可提供高性能的处理能力，且具有兼容性强、易于编程等优势，信创版ADS使用高效的算法和数据结构减少计算量，提高计算速度以提高DDoS防护水平。

绿盟抗拒绝服务系统持续保持技术创新，通过积累的二十多年DDoS攻防经验，结合信创环境的特性，推出大量先进DDoS攻击清洗防护算法和核心功能。

绿盟ADS信创版会根据某些特殊协议类型，诸如DNS、HTTP、VOIP SIP等，启用分析模式算法机制，进一步对不同协议类型的DDoS攻击进行防护。

网络上的真实业务流量往往含有大量的背景噪声，这体现了网络流量的随机性；而攻击者或攻击程序，为了提高攻击的效率，往往采用较为固定的负载进行攻击。绿盟ADS信创版对用户的行为模式进行统计、跟踪和分析，分辨出真实业务浏览，并对攻击流量进行带宽限制和信誉惩罚。

作为一种通用算法，指纹识别和协议无关，绿盟ADS信创版技术采用滑动窗口对数据包负载的特定字节范围进行统计，采用模式识别算法计算攻击包的特征。对匹配指纹特征的攻击包进行带宽限制和信誉惩罚。

绿盟ADS信创版将会对数据包源地址和端口的正确性进行验证，同时还对流量在统计和分析的基础上提供针对性的反向探测

绿盟ADS信创抗D防护方案现已在各行业中得到广泛应用部署，随着绿盟抗拒绝服务系统的深度国产化适配，绿盟ADS信创版通过了麒麟软件的认证测试并取得相关证书，已具备成熟的国产化抗D能力建设方案。

绿盟ADS信创版将继续结合信创环境特性和绿抗D防护经验，不断更新算法，在自主创新这条路上，带给客户更全面的国产化解决方案和更高效的防护体验。

“CCF科技成果奖”是由中国计算机学会设立，授予在计算机科学、技术或工程领域具有重要发现、发明、原始创新，在相关领域有一定国际影响的优秀成果。在该项目中，绿盟科技发挥自身优势，负责项目整体技术方案设计、关键技术研发突破和整体应用推广，与浙江大学、北京理工大学团队共同实现多项关键技术突破，创造多个创新点，圆满完成项目并落地应用。

该项目立足网络空间安全风险管控与威胁响应等方面的综合治理，旨在推动全局、协同的云端风险运营智能决策，多维度提升对关键信息基础设施的风险管控能力，现已成功应用于政府、运营商、金融等行业的关键信息基础设施安全防护、高级持续性威胁组织打击、大规模资产的持续安全运营等场景。有效保障了相关单位业务的稳定运行，对我国网络空间运营决策平台技术及工程化领域发展产生了重大推进作用。

微信公众号：nsfocusfbd 

依据Wiki百科的介绍，ChatGPT是一种尚处于原型阶段的人工智能聊天机器人。ChatGPT由OpenAI公司在2022年11月30日发布。在同样由OpenAI开发的GPT-3.5模型基础上，ChatGPT通过监督学习与强化学习技术进行微调，并提供了客户端界面，支持用户通过客户端与模型进行问答交互。ChatGPT不开源，但通过WebUI为用户提供免费的服务。

OpenAI 成立于 2015 年，由Elon Musk、Sam Altman等出资10亿美元成立，致力于研究安全、通用、对人类有益的人工智能技术。OpenAI 最早是一家非营利性研究机构，在2019年微软注资10亿美元后，OpenAI转变为以盈利为目的的公司，将部分研究成果，如GPT-3、Codex等产品化并提供付费服务。

ChatGPT最核心的自然语言处理能力（Natural Language Processing, a.k.a, NLP）由微调（fine-tune）后的GPT-3.5模型提供。GPT-3.5模型是OpenAI在2020年发布的GPT-3模型的一个升级版本。GPT一词的全称是Generative Pre-trained Transformer，意即通用的预训练Transformer模型；其中Transformer指用于NLP任务的一类基于注意力机制（Attention）来提高模型效果的机器学习模型（事实上最新的GPT模型也包含除Transformer外的各类NLP模型[1]），Pre-trained指模型经过预训练因此用户可以直接使用，Generative指模型提供包含情感分析、语言翻译、文本生成、命名实体识别等一些列NLP任务中的通用能力。

GPT系列模型自2018年发布以来，就以提供通用的NLP能力为核心。该系列模型通过改进模型结构、增加可训练参数、增加训练样本等方式持续演进，提供更加准确与稳定的NLP能力，GPT-1模型、GPT-2模型、GPT-3模型的演进如下：

其中，发布于2020年的GPT-3模型划时代地包含了1,750 亿个参数，并使用了45TB的训练样本。这样的模型研发开销巨大，外界保守估计仅训练GPT-3模型就需要1200万美元。详细介绍GPT-3的论文中提到，研究者虽然提到GPT-3在训练过程中出现了错误并评估了该错误的影响，但由于训练代价巨大导致无法重新对模型进行训练[2]，GPT-3的训练开销可见一斑。GPT-3发布后，OpenAI对其进行了持续的优化与升级，ChatGPT基于目前较新的GPT-3.5这一版本进行研发。

自2020年GPT-3发布后，OpenAI提供了一些列API接口或应用界面，对付费用户提供GPT-3的NLP能力。

图1和图2均为互联网上发布于2020年的GPT-3试用截图，可以看到当时的GPT-3就已经能通过问答的方式，处理多个领域的工作。

自OpenAI于2022年11月30日发布ChatGPT至今，ChatGPT这一话题一直居高不下。我们通过Google的热词分析发现，在全球范围内“GPT”这一关键词的热度暴涨。

Google Trends的热度数字仅代表相对于图表中指定区域和指定时间内最高点的搜索热度，热度最高时取值为100。由图3可见，ChatGPT自发布后，GPT一词的热度不但远远超过2020年OpenAI发布GPT-3这一具有划时代意义的NLP模型时GPT一词的热度，更远远地超过了Machine Learning一词的热度。在绿盟君看来，ChatGPT的功能早在2020年就能通过基于GPT-3的应用实现，且和当时的应用同样使用GPT-3系列的模型（旧应用的模型也在伴随GPT-3模型的升级而升级，故这些应用发展到今天应当同样在使用GPT-3.5版本附近的模型），因此ChatGPT在技术上是不存在匹配这种热度的突破的。那么为什么ChatGPT的发布会带来如此罕见的高热度呢？

在分析这个问题时，绿盟君注意到2022年5月发生了与GPT模型相关的一个重要事件。自OpenAI于2020年发布GPT-3模型并陆续推出基于GPT-3模型的应用以来，该系列的产品一直是通过付费模式提供给用户的。然而，在2022年5月，Meta复现了GPT-3模型，该模型被命名为OPT（Open Pre-trained Transformers），同样使用了1750亿参数，拥有媲美GPT-3的能力[3]。

与OpenAI仅提供付费服务这一做法不同的是，Meta对OPT项目进行了开源[4]，对应项目名称中的“Open”一词与OPT项目强调的“fully and responsibly share”。据此，推测2022年5月Meta发布的开源OPT项目给坚持付费模式的GPT-3项目带来了商业维度上的直接挑战，故OpenAI在半年后的2022年11月，发布了可以免费使用的ChatGPT（GPT系列模型之前不提供免费应用），并设法提高了该词的社会关注度，作为应对OPT项目的一个反击与对自身品牌热度的一个宣传。

ChatGPT的界面非常简洁，登录后的界面左侧菜单如图6（该图及本章节所有ChatGPT截图均截自ChatGPT）所示的5个功能之外，便是文本交互框。

上述的5个功能分别为：重置线程、深色/浅色模式切换、OpenAI站点链接、更新与帮助、登出，其中重置线程这一功能相对特殊。由于ChatGPT会根据上文语境回答后续问题，因此用户需要通过重置线程这一功能来清除语境中已有的信息。

通过文本交互框，ChatGPT可以回答许多通用性的问题，例如图7所示：

我们可以通过文本交互框，围绕某一话题和ChatGPT进行聊天，ChatGPT会结合其自然语言处理能力，使用其内置的知识库生成文本进行回复。关于这一块的应用网络上目前已有不少测评，故本文不详细介绍。

ChatGPT发布初期，绿盟科技发布了《ChatGPT在信息安全领域的应用前景》一文，对ChatGPT在网络安全领域中的应用做了详细的评估。在2022年12月12日，即ChatGPT发布两周内，绿盟君将之前被证明有效的案例输入ChatGPT，却已无法得到ChatGPT的积极回复。随后，我们发现ChatGPT有时可以执行上文提到的案例，有时会因为内容安全策略拒绝执行，具体原因不明。

同样地，12月10日前ChatGPT可执行的任务：识别URL中是否包含恶意负载，截至12月12日也已无法执行。

既然ChatGPT由于其日渐完善的内容安全策略，现在已经有可能拒绝在网络安全任务中贡献“专家知识”，那我们有没有办法绕开基于内容安全策略的屏蔽呢？这里绿盟君发现一个思路：设定一个虚拟环境，诱导ChatGPT认为在这个虚拟环境的回答不违反内容安全策略。

首先我们提出一个明显违背内容安全策略的问题，如图12所示，ChatGPT会拒绝回答我们提出的问题。相反地，会建议我们通过合法合规的方式来处理问题中我们提到的“安全漏洞”。

我们再构建一个虚拟环境，并假设两个不存在的主体，且使用明显带有感情倾向的词来证明我们要做的事情是正确的，如图13所示。ChatGPT这时会开始积极地给出建议，甚至会利用其丰富的知识库扩展我们的思路到其他维度。

最后，我们针对ChatGPT给出建议的具体操作步骤进行提问，如图14。这时，ChatGPT会针对我们的问题，给出更为具体的回答。然而，在答案即将出现一些敏感词汇的时候，内容安全策略仍然对ChatGPT进行了屏蔽。

通过以上案例我们有两点主要发现：1、一些问题ChatGPT虽然拒绝正面回答，并号称自己不会解决，但实际上ChatGPT完全具备相关知识并能够给出清晰高效的解决方案，不能给出答案基本是由于内容安全策略的原因。2、ChatGPT作为一个免费且高影响力的应用，其内容安全策略演进速度快，覆盖范围广。换言之，ChatGPT作为一个免费AI应用，考虑到法律、道德、伦理等社会因素，为避免滥用，其使用限制将越来越多。

除了日渐严苛的内容安全策略外，我们在使用ChatGPT时还遇到了其他的一些限制。具体来说目前已发现的限制包含：

响应时间的限制：ChatGPT的文本生成是异步的，即每生成一小段就会在用户UI中展示。但若回答的文本在1分钟左右还没有完全生成，ChatGPT就会中断这次http会话，用户无法得到完整的回答。

服务不稳定：在使用ChatGPT时，某一段时间内ChatGPT会完全不响应用户的请求，直接报网络错误。因为此时的登入登出功能均正常，故推测是由于ChatGPT的服务器并发处理量过高导致的服务崩溃。

使用频率限制：当连续使用ChatGPT一段时间后，会出现提示告知使用次数已到上限，请等待一段时间。该提示出现后一定时间内无法继续使用ChatGPT。

输入字数限制：输入的单个问题如果过长，ChatGPT会拒绝处理。

输出字数限制：输出的答案文字如果过多，ChatGPT会停止输出。

ChatGPT发布至今，在展现出了亮眼能力的同时也收获了极高的社会关注度。在眼前一亮的同时，我们很自然地会希望能利用ChatGPT宛如黑科技一般的能力来赋能我们的产品。那么，我们是否有可能通过在产品中集成ChatGPT来赋能我们的产品呢？

以ChatGPT现在的情况看，集成ChatGPT来对产品进行赋能是比较困难的。原因可大致分为以下几点：

准确性不够：ChatGPT虽然可以执行生成一些代码、对文件或URL进行检测这样的任务，但其执行这些任务的正确程度是不能保证的。由于ChatGPT执行这些任务的内在逻辑对外不可解释，我们甚至无法在执行任务的过程中对其进行优化或调整，只能选择接受或不接受通过ChatGPT得到的结果。如果发现结果错误后，我们还需要使用其他的方式来保证任务的正确完成，那么通过ChatGPT执行任务这条链路就不是必须的；如果发现结果错误后就不提供结果甚至直接不检查ChatGPT的输出是否正确，则这样的服务质量一定不能满足用户需求。

知识受限制：ChatGPT目前的知识库仅覆盖到2021年，并不掌握最新的知识，也无法通过连接网络去查找最新资料来解决问题，如图15、16所示。

功能受限制：如上文提到，在ChatGPT的使用过程中我们发现其存在严格的内容安全策略，且从短时间内其内容安全策略变得明显更为严格，我们可以认为ChatGPT产品团队对于内容安全十分重视，且内容安全策略仍在快速完善中。这就导致一些任务由于内容安全问题，在目前或将来不能被ChatGPT执行。

稳定性较差：如上文提到，在ChatGPT的使用中我们发现其服务会间歇性崩溃。

限制条件多：如上文提到，ChatGPT对于使用频次、输入长度、输出长度、单次会话时长均有明确的限制。虽然截至2月7日，ChatGPT官方宣布ChatGPT即将推出价值20美元/月的付费订阅版ChatGPT Plus，订阅用户可获得在ChatGPT高峰时段继续使用，且服务响应时间也将有所缩短等有助于提高ChatGPT服务稳定性的权益，但从定价上看，ChatGPT Plus主要针对的仍是个人用户。ChatGPT的稳定性是否能达到企业级产品级的要求，仍然难以保证。

集成效率低：ChatGPT通过web服务的方式向用户提供服务，并不提供免费接口。因此若要将其集成进产品，只能对Web服务进行封装，通过外部开发的额外接口通过http请求发送问题与接收答案（可参考https://pypi.org/project/chatgpt-api/），如图17所示。这样的接入方式原理与爬虫类似，不仅每次创建新的会话都需要用户手动完成ChatGPT站点的登录并更新登录凭证，而且很容易随着ChatGPT官方对于http请求校验策略的变化而失效。

综上所述，要直接利用ChatGPT为产品赋能，目前仍比较困难。若需要引入类似ChatGPT的能力到产品中，比较好的办法还是使用OpenAI更加稳定、使用限制更少的付费产品，或根据Meta的OPT开源项目自行研发应用与服务。

ChatGPT是OpenAI的首个免费GPT系列模型应用。由于其发布时间正好处于Meta开源OPT的半年后，因此绿盟君推测OpenAI发布ChatGPT的主要目的是对自身技术实力进行宣传，以应对模型开源这一影响到OpenAI现有商务模式的挑战，而非抢占OpenAI自身基于GPT提供的付费服务市场。

基于这个观点，未来的ChatGPT：

• 不会提供免费的官方API；

• 使用限制会越来越严格；

• 以优化功能或便利用户为目的的更新不会太频繁。

ChatGPT一经发布，短时间内就成为了现象级的应用。其清晰明确的回答和丰富的知识，昭示着AI技术造福人类，彻底简化我们生活工作这一美好的未来愿景。对于解决各行各业的许多问题，ChatGPT也提供了另外一种思路，为更加自动化、智能化地优化IT产品与服务带来了可能性。

但是，正如Wiki对于ChatGPT的定义是“原型聊天机器人”，ChatGPT仅仅是一个尚处于原型阶段的，更加智能、更加博学的聊天机器人。不论是想要通过ChatGPT来彻底地解决传统方案难以解决的问题，还是希望通过ChatGPT来替代一些需要大量专业知识或人工的工作仍然为时过早。

从产品上看，可以将ChatGPT看作GPT系列模型应用的一个免费试用版本。虽然ChatGPT展现了令人眼前一亮的表现，但在解答问题的正确性和知识库储备上仍然存在明显的不足（可参考《ChatGPT在信息安全领域的应用前景》一文中关于正确性的测评），因此依赖其解决实际问题不够稳定，只能将其看作一个智能顾问。此外，作为一个免费应用，ChatGPT在使用上具有诸多不利于用户的限制，例如限制了输入输出长度、使用频率、响应时间，因此其很难直接用其赋能现有产品。若需要在产品中引入类似能力，选择OpenAI其他更为稳定和便利的付费应用是更明智的选择。

从技术上看，ChatGPT依托于2020年发布的GPT-3模型目前的最新版本GPT-3.5进行开发，ChatGPT的功能在2020年左右的GPT-3应用中已经可以实现。因此绿盟君认为ChatGPT自身并不存在划时代性质的技术突破。但ChatGPT展现出的效果，让我们对未来的GPT-4模型充满了期待，更极大地提高了社会各界对于AI技术的认可，同时鼓舞了资本和从业人员对于近期缺乏重大进展（相对于2018年左右）的AI技术的信心。

相信随着AI技术的不断进步，终有一天人类可以通过自然语言交互的方式，命令机器来正确、快捷地处理我们工作生活中的复杂任务。ChatGPT的出现向整个社会揭示了这一美好未来的可能性，是人类在向这一美好愿景迈进的过程中，一个不能被忽视的里程碑。

报告指出，WAF作为防护7层流量的基础技术产品，需求开始向API攻击、客户端攻击、BOT攻击防护转变。WEB应用防护系统，从WEB应用及API出发，基于用户面临的Web漏洞利用、资源滥用、资源访问控制等多方威胁，提供包含DDoS防护、Bot流量管理、WAF、API防护于一体的协同解决方案，升级整体安全架构，保障企业用户的Web应用安全、业务安全、数据安全，为用户提供端到端的全面防护。

绿盟下一代WEB应用防护系统覆盖数字变革下的全新服务提供场景，针对金融、政府、科教文卫等多个行业均有应用。它对外解决身披“合法身份”进行账号接管、黄牛党、薅羊毛这些引发敏感数据泄露、业务过载，以及造成的客户经济、声誉双重受损的问题；对内帮助客户梳理API资产，分类安置，基于不同的API类型，按行为、按上下文逻辑，在合规检测的基础上、解决API控制、防护等多方面问题。

在API安全方面，WEB应用防护系统可以根据业务流量自动学习API资产，生成API列表，也可对API资产进行导入导出，帮助客户识别和梳理API资产；针对重要业务的关键API，还支持OAS合规检测，通过设置API参数的有效范围、长度等，有效防范API资产的注入攻击及溢出攻击风险；针对OWASP API TOP 10的攻击类型，我们可提供规则+语义等多维度的检测机制，有效识别和拦截网络中的已知、未知威胁。

在BOT防护方面，在面临黑产的自动化攻击，WEB应用防护系统集成了BOT动态防护的能力。一方面，通过下发JS脚本对非浏览器行为进行识别和处置；另一方面，可以通过令牌认证、页面元素混淆、提交数据混淆等方式进行身份验证及数据混淆。

在云化部署方面，该系统支持K8S+Istio架构，可以针对海量的微服务进行伴生防护，并且可针对每种微服务使用不同的防护策略，同时提供全方位（南北向、东西向）流量的防护能力。

此外，绿盟科技Web应用防护系统凭借领先的技术实力和优异的市场表现，还获得了多个国际咨询机构认可：连续三年获得IDC中国硬件WAF市场占用率第一；连续十年位列Frost&Sullivan大中华区市场前三，连续四年入选Gartner魔力象限，入选Gartner WAF魔力象限亚太版（2018年），并入选Forrester 《Now Tech:Bot Management,Q4 2021》报告、《Now Tech: Web Application Firewalls, Q2 2022》报告中等收入阵营。