执行摘要

安全部署人工智能（AI）系统需要仔细的设置和配置，这取决于AI系统的复杂性、所需资源（例如，资金、技术专长）以及所使用的基础设施（即本地、云或混合）。本报告扩展了安全AI系统开发指南中的“安全部署”和“安全运维”部分，并结合了《与人工智能（AI）互动中的缓解》进行考虑。它适用于由另一实体设计和开发的AI系统的组织部署和运营。最佳实践可能不适用于所有环境，因此应将缓解措施适应特定用例和威胁概况。[1]，[2]

AI安全是研究领域中快速发展的区域。随着机构、行业和学术界发现AI技术和技术的潜在弱点以及利用它们的方法，组织将需要更新其AI系统以应对变化的风险，除了将传统的IT最佳实践应用于AI系统。

本报告由美国国家安全局的人工智能安全中心（AISC）、网络安全和基础设施安全局（CISA）、联邦调查局（FBI）、澳大利亚信号局的澳大利亚网络安全中心（ACSC）、加拿大网络安全中心（CCCS）、新西兰国家网络安全中心（NCSC-NZ）和英国国家网络安全中心（NCSC-UK）共同撰写。

AISC和本报告的目标是：

1. 提高AI系统的保密性、完整性和可用性；
2. 确保AI系统中已知的网络安全漏洞得到适当的缓解；
3. 提供方法和控制措施来保护、检测和响应针对AI系统及相关数据和服务的恶意活动。

范围和受众

本报告中AI系统一词指的是基于机器学习（ML）的人工智能（AI）系统。

这些最佳实践最适用于在本地或私有云环境中部署和运营外部开发的AI系统的组织，特别是在高威胁、高价值环境中的组织。它们不适用于不自己部署AI系统而是利用他人部署的AI系统的组织。

并非所有指导方针都直接适用于所有组织或环境。对手的复杂程度和攻击方法将根据针对AI系统的对手而变化，因此组织应考虑其用例和威胁概况的同时使用指导方针。

请参阅安全AI系统开发指南，了解AI系统的设计和开发方面。[1]

引言

AI能力的快速采用、部署和使用可能使它们成为恶意网络行为者的高价值目标。历史上曾通过盗窃敏感数据和知识产权来推进其利益的行动者，可能会寻求控制已部署的AI系统，并将它们用于恶意目的。

恶意攻击者针对人工智能（AI）系统时，可能会利用AI系统特有的攻击手段，也可能使用那些针对传统信息技术（IT）的常规攻击技巧。因为攻击手段多种多样，我们的防御措施也需要全面且多样化。那些技术高超的攻击者往往会同时使用多种攻击手段，进行更为复杂的攻击行动，这样的组合攻击更容易突破层层安全防护。

组织应考虑以下最佳实践，以保护部署环境，持续保护AI系统，并安全地操作和维护AI系统。

以下最佳实践与CISA和国家标准与技术研究所（NIST）共同开发的跨行业网络安全性能目标（CPGs）一致。CPGs提供了CISA和NIST推荐所有组织实施的最小实践和保护集。CISA和NIST基于现有的网络安全框架和指南制定CPGs，以防范最常见和影响最大的威胁、战术、技术和程序。访问CISA的跨行业网络安全性能目标，了解更多关于CPGs的信息，包括额外推荐的基线保护。

保护部署环境

组织通常在现有的IT基础设施内部署AI系统。在部署之前，他们应确保IT环境应用健全的安全原则，如健全的治理、设计良好的架构和安全的配置。例如，确保负责AI系统网络安全的人员与负责组织网络安全的总体人员相同[CPG 1.B]。

IT环境的安全最佳实践和要求也适用于AI系统。以下最佳实践对于应用到AI系统和组织部署它们的IT环境中尤为重要。

管理AI系统的部署环境和治理

• 如果组织外部的组织正在部署或运营AI系统，请与IT服务部门合作，确定部署环境，并确认它符合组织的IT标准。
• 了解组织的风险水平，并确保AI系统的使用在组织的整体风险容忍度内，并且在托管AI系统的特定IT环境的风险容忍度内。评估和记录适用的威胁、潜在影响和风险接受度。[3]，[4]
• 确定每个利益相关者的角色和责任，以及他们如何对履行它们负责；确定这些利益相关者尤其重要，如果组织分别管理他们的IT环境和AI系统。
• 确定IT环境的安全边界以及AI系统如何适应其中。
• 要求AI系统的主要开发人员为其系统提供威胁模型。
• AI系统部署团队应利用威胁模型作为指导，实施安全最佳实践，评估潜在威胁，并计划缓解措施。[5]，[6]
• 在为AI系统产品或服务开发合同时，考虑部署环境的安全要求。
• 促进所有相关方的协作文化，包括特别是数据科学、基础设施和网络安全团队，允许团队表达任何风险或关注，并让组织适当地解决它们。

确保强大的部署环境架构

• 为IT环境和AI系统之间的边界建立安全保护[CPG 2.F]。
• 识别并解决边界保护和其他安全相关领域中的盲点，这些是威胁模型识别的。例如，确保使用访问控制系统对AI模型权重进行限制，并限制访问到一组具有两人控制（TPC）和两人完整性（TPI）的特权用户[CPG 2.E]。

译者注：

"两人控制（TPC）"指的是在进行某些敏感操作时，需要至少两名授权人员同时在场并同意，以确保操作的安全性和可追溯性。这是一种防止单一个体滥用权限的措施。

"两人完整性（TPI）"则是指在处理敏感数据或关键操作时，需要两名独立的授权人员来验证和确认操作的准确性和完整性，以避免错误或故意的篡改。

• 识别并保护组织将在AI模型训练或微调中使用的所有专有数据源。如果可能，检查由他人训练的模型所使用的数据源列表。维护可信和有效数据源的目录将有助于防止潜在的数据投毒或后门攻击。对于从第三方获取的数据，考虑按照CPG 1.G和CPG 1.H推荐的内容，通过合同或服务级别协议（SLA）规定。
• 将安全设计原则和零信任（ZT）框架应用于架构，以管理来自AI系统的风险。[7]，[8]，[9]

加强部署环境配置

• 将现有的安全最佳实践应用于部署环境。这包括在加固的容器或虚拟机（VMs）中沙箱化运行ML模型的环境[CPG 2.E]，监控网络[CPG 2.T]，配置具有允许列表的防火墙[CPG 2.F]，以及其他最佳实践，如NSA的云部署十大云缓解策略中的最佳实践
• 查看硬件供应商的指导和通知（例如，GPU、CPU、内存），并应用软件补丁和更新，以最小化利用漏洞的风险，最好通过通用安全咨询框架（CSAF）。[10]
• 保护敏感AI信息：通过在数据静止时进行加密，确保AI模型权重、输出和日志的安全，并在硬件安全模块（HSM）中存储加密密钥，以便之后按需进行解密[CPG 2.L]。
• 实施强认证机制：建立强大的认证机制、访问控制和安全的通信协议，例如使用最新版本的传输层安全性（TLS）来加密传输中的数据[CPG 2.K]。
• 确保使用防钓鱼的多因素认证（MFA）：对于访问信息和服务，确保使用能够抵抗网络钓鱼攻击的多因素认证[2]，并监控并响应欺诈性认证尝试[CPG 2.H][11]。
• 了解和缓解安全控制的弱点：了解并减轻恶意行为者如何利用安全控制的弱点，按照《Weak Security Controls and Practices Routinely Exploited for Initial Access》中的缓解措施进行操作。

保护部署网络免受威胁

采用零信任策略的心态，假设违规是不可避免的或已经发生。实施检测和响应能力，实现快速识别和遏制违规行为。[8]，[9]

• 使用经过充分测试、高性能的网络安全解决方案，有效识别未经授权的访问尝试，并提高事件评估的速度和准确性[CPG 2.G]。
• 集成事件检测系统以帮助确定事件的优先级[CPG 3.A]。此外，集成一种手段，以立即阻止被怀疑是恶意的用户访问，或在需要快速响应的重大事件中断开所有进入AI模型和系统的传入连接。

持续保护AI系统

模型是软件，像所有其他软件一样，可能存在漏洞、其他弱点或恶意代码或属性。

在使用前和使用中验证AI系统

• 使用加密方法、数字签名和校验和来确认每个工件的来源和完整性（例如，加密safetensors以保护其完整性和保密性），在AI过程中保护敏感信息免受未经授权的访问。[14]
• 为AI模型和系统的每个版本创建哈希和加密副本，将其存档在防篡改的位置，将哈希值和/或加密密钥存储在安全保险库或硬件安全模块（HSM）中，以防止同时访问加密密钥和加密数据和模型。[1]
• 将所有形式的代码（例如，源代码、可执行代码、基础设施即代码）和工件（例如，模型、参数、配置、数据、测试）存储在具有适当访问控制的版本控制系统中，以确保只使用经过验证的代码，并且跟踪任何更改。[1]
• 在修改后，彻底测试AI模型的健壮性、准确性和潜在漏洞。应用技术，如对抗性测试，以评估模型对妥协尝试的弹性。[4]
• 准备自动回滚，并使用具有人工介入的高级部署作为故障安全措施，以提高可靠性、效率，并实现AI系统的持续交付。在AI系统的背景下，回滚功能确保如果新模型或更新引入问题或AI系统被破坏，组织可以快速恢复到最后一个已知的良好状态，以最小化对用户的影响。
• 评估并保护任何外部AI模型和数据的供应链，确保它们符合组织标准和风险管理政策，并优先选择根据安全设计原则开发的模型。确保了解并接受那些无法遵守组织标准和政策的供应链部分的风险。[1]，[7]
• 不要立即在企业环境中运行模型。在考虑调整、训练和部署之前，在安全开发区内仔细检查模型，尤其是导入的预训练模型。使用组织批准的AI特定扫描仪（如果有的话），以检测潜在的恶意代码，确保部署前模型的有效性。
• 考虑自动化检测、分析和响应能力，通过提供使IT和安全团队更高效的洞察力，使他们能够快速、有针对性地对潜在的网络事件做出反应。对AI模型及其托管的IT环境进行持续扫描，以识别可能的篡改。
• 在考虑是否使用其他AI功能使自动化更有效时，仔细权衡风险和收益，并确保在需要时有人参与。

确保API的安全暴露

• 如果AI系统暴露了应用程序编程接口（APIs），通过实施API访问的身份验证和授权机制来保护它们。使用安全协议，如带有加密和身份验证的HTTPS [CPG 2.C, 2.D, 2.G, 2.H]。[1]
• 为所有输入数据实施验证和数据清洗协议，以减少传递给AI系统的不良、可疑、不兼容或恶意输入的风险（例如，提示注入攻击）。[1]

积极监控模型行为

• 收集日志以涵盖输入、输出、中间状态和错误；自动化警报和触发器 [CPG 2.T]。
• 监控模型的架构和配置设置，以检测任何未经授权的更改或可能危及模型性能或安全的意外修改。[1]
• 监控尝试访问或从AI模型获取数据或聚合推理响应的尝试。[1]

保护模型权重

• 加固访问模型权重的接口，增加对手窃取权重的努力。例如，确保API只返回任务所需的最少数据，以抑制模型反转。
• 尽可能实施模型权重存储的硬件保护。例如，禁用不需要的硬件通信能力，并防止辐射或侧通道技术。

译者注：

“防止辐射或侧通道技术”是安全领域的术语，涉及到保护硬件安全模块（HSM）或其他敏感设备免受侧通道攻击。

1. 辐射：这里指的是电磁辐射，即电子设备在运行过程中可能发出的电磁波。攻击者可以通过捕捉这些电磁波来尝试获取设备中的敏感信息。
2. 侧通道技术：这是一种攻击手段，攻击者不直接攻击加密算法本身，而是通过分析加密系统的物理实现（如功耗、计算时间、电磁泄漏等）来获取加密密钥或其他敏感信息。侧通道攻击利用了物理实现的非理想特性，而不是算法本身的弱点。

• 积极隔离权重存储。例如，将模型权重存储在受保护的存储库中，在高度限制区域（HRZ）（即单独的专用飞地）中，或使用硬件安全模块（HSM） [CPG 2.L]。[12]

安全AI运维

遵循组织批准的IT流程和程序来部署AI系统，确保以批准的方式实施以下控制措施：

• 防止未经授权的访问或篡改AI模型。应用基于角色的访问控制（RBAC），或在可能的情况下应用基于属性的访问控制（ABAC），将访问限制在授权人员。
• 区分用户和管理员。要求对管理访问进行多因素认证（MFA）和特权访问工作站（PAW）[CPG 2.H]。

译者注：

特权访问工作站（Privileged Access Workstation，简称PAW）是一种特殊的计算机工作站，用于执行需要高权限或敏感操作的任务。PAW通常用于管理、配置和维护关键系统和应用程序，因为它们提供了额外的安全措施来保护这些操作免受恶意软件和其他安全威胁的侵害。

PAW的关键特点包括：

1. 增强的安全性：PAW配备了高级安全软件和硬件，如防病毒、防恶意软件、入侵检测系统和防火墙。
2. 访问控制：严格限制谁可以访问PAW，通常仅限于授权的管理员和技术人员。
3. 物理安全：PAW可能被放置在安全的位置，以防止未授权的物理访问。
4. 专用用途：PAW专门用于执行特权任务，不用于日常的、可能面临更高安全风险的活动，如浏览互联网或打开电子邮件附件。
5. 监控和审计：所有在PAW上的操作都可能被密切监控和记录，以便于事后审计和跟踪。

使用PAW的目的是减少高权限操作的安全风险，确保关键任务的安全性和完整性。在涉及敏感数据或关键基础设施的组织中，如金融服务、政府机构和大型企业，PAW的使用非常普遍。

确保用户意识和培训

教育用户、管理员和开发人员关于安全最佳实践的知识，如强密码管理、防网络钓鱼和安全数据处理。促进安全意识文化，以最小化人为错误的风险。如果可能，使用凭证管理系统来限制、管理和监视凭证使用，以进一步降低风险 [CPG 2.I]。

进行审计和渗透测试

• 让外部安全专家对即将部署的AI系统进行审计和渗透测试。这有助于发现可能被内部忽视的漏洞和弱点。[13]，[15]

实施强大的日志记录和监控

• 使用强大的监控和日志记录机制监控系统的行为、输入和输出，以检测任何异常行为或潜在的安全事件 [CPG 3.A]。[16] 在监控AI系统时，需要留意数据的统计特性是否随时间发生了变化（数据漂移），以及是否出现了异常的高频率或重复的输入模式。[17]
• 建立一个警报机制，当系统检测到可能是故意破坏的复杂攻击、安全漏洞或者不寻常的行为时，能够立即提醒管理员。[18]

定期更新和打补丁

• 在将模型更新到新/不同版本时，进行全面评估，确保在重新部署之前，准确性、性能和安全测试在可接受的范围内。

准备高可用性（HA）和灾难恢复（DR）

• 根据系统需求，使用不可变的备份存储系统来确保所有对象，尤其是日志数据，一旦写入就无法更改。[2]

计划安全删除能力

• 在任何过程中，如果数据和模型被暴露或可以被访问，必须执行彻底的组件删除操作，比如删除训练和验证模型或加密密钥，确保没有留下任何备份或残留信息。[19]

结论

撰写机构建议部署AI系统的组织实施强大的安全措施，既能防止敏感数据被盗，也能减轻AI系统的滥用。例如，模型权重作为深度神经网络中可训练的参数，是特别关键且需要保护的部分。它们代表了训练高级人工智能模型过程中许多昂贵且具有挑战性的要素的成果，这包括大量的计算资源、收集和处理可能包含敏感信息的数据，以及算法的优化工作。

AI系统是软件系统。因此，部署组织应优先选择安全设计，其中AI系统的设计师和开发者对系统运行后的积极安全结果感兴趣。[7]

尽管我们必须全面实施安全措施来防御各种潜在的攻击手段，以防止出现严重的安全漏洞。并且随着人工智能领域的不断发展，我们的最佳实践方法也会随之更新。但在此之前，以下是一些特别关键的安全措施概要：

• 对所有需要高权限访问或运行关键服务的设备，持续进行安全漏洞的评估。
• 加固和更新IT部署环境。
• 审查AI模型的来源和供应链安全。
• 在部署前验证AI系统。
• 对AI系统实施严格的访问控制和API安全，采用最小权限和深度防御的概念。
• 使用强大的日志记录、监控和用户和实体行为分析（UEBA）来识别内部威胁和其他恶意活动。

译者注：

用户和实体行为分析（User and Entity Behavior Analytics，简称UEBA）是一种先进的安全分析技术，它通过监控和分析用户及实体（如设备、应用程序、网络等）的行为模式，来识别和预防潜在的安全威胁。UEBA 系统使用机器学习和数据科学方法，从大量数据中发现异常行为，这些行为可能表明有恶意活动发生。

UEBA 的关键特点包括：

1. 行为基线学习：系统首先学习正常行为模式，建立基线。
2. 行为分析：持续监控用户和实体的行为，与基线进行比较。
3. 异常检测：当检测到与基线显著偏离的行为时，系统会发出警报。
4. 多数据源融合：分析来自不同来源的数据，如网络日志、系统日志、用户活动记录等。
5. 上下文关联：考虑行为发生的上下文，以提高警报的准确性。
6. 自动化响应：在某些情况下，系统可以自动采取措施，如隔离可疑设备或终止可疑会话。

UEBA 可以帮助组织提前发现潜在的安全问题，如内部威胁、账户泄露、恶意软件传播等，从而提高整体的安全防御能力。

• 限制和保护对模型权重的访问，因为它们是AI系统的本质。
• 持续关注当前和新兴的安全威胁，特别是在快速变化的人工智能领域，确保组织的人工智能系统得到加固，以防范安全漏洞和弱点。

最后，保护AI系统涉及一个持续的过程，包括识别风险、实施适当的缓解措施和监控问题。通过采取本报告中概述的步骤来保护AI系统的部署和运营，组织可以显著降低所涉及的风险。这些步骤有助于保护组织的知识产权、模型和数据免受盗窃或滥用。从一开始就实施良好的安全实践将为组织成功部署AI系统奠定正确的道路。

参考文献

[1] National Cyber Security Centre et al. Guidelines for secure AI system development. 2023. https://www.ncsc.gov.uk/files/Guidelines-for-secure-AI-system-development.pdf
[2] Australian Signals Directorate et al. Engaging with Artificial Intelligence (AI). 2024. https://www.cyber.gov.au/sites/default/files/2024- 01/Engaging%20with%20Artificial%20Intelligence%20%28AI%29.pdf
[3] MITRE. ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) Matrix version 4.0.0. 2024. https://atlas.mitre.org/matrices/ATLAS
[4] National Institute of Standards and Technology. AI Risk Management Framework 1.0. 2023. https://www.nist.gov/itl/ai-risk-management-framework
[5] The Open Worldwide Application Security Project (OWASP® ). LLM AI Cybersecurity & Governance Checklist. 2024. https://owasp.org/www-project-top-10-for-large-language-modelapplications/llm-top-10-governance-doc/LLM_AI_Security_and_Governance_Checklist-v1.pdf
[6] The Open Worldwide Application Security Project (OWASP® ). OWASP Machine Learning Security Top Ten Security Risks. 2023. https://owasp.org/www-project-machine-learning-securitytop-10/
[7] Cybersecurity and Infrastructure Security Agency. Secure by Design. 2023. https://www.cisa.gov/securebydesign
[8] National Security Agency. Embracing a Zero Trust Security Model. 2021. https://media.defense.gov/2021/Feb/25/2002588479/-1/- 1/0/CSI_EMBRACING_ZT_SECURITY_MODEL_UOO115131-21.PDF
[9] Cybersecurity and Infrastructure Security Agency. Zero Trust Maturity Model. 2022. https://www.cisa.gov/zero-trust-maturity-model
[10] Cybersecurity and Infrastructure Security Agency. Transforming the Vulnerability Management Landscape. 2022. https://www.cisa.gov/news-events/news/transforming-vulnerabilitymanagement-landscape
[11] Cybersecurity and Infrastructure Security Agency. Implementing Phishing-Resistant MFA. 2022. https://www.cisa.gov/sites/default/files/publications/fact-sheet-implementing-phishing-resistantmfa-508c.pdf
[12] Canadian Centre for Cyber Security. Baseline security requirements for network security zones Ver. 2.0 (ITSP.80.022). 2021. https://www.cyber.gc.ca/en/guidance/baseline-securityrequirements-network-security-zones-version-20-itsp80022
[13] Ji, Jessica. What Does AI Red-Teaming Actually Mean? 2023. https://cset.georgetown.edu/article/what-does-ai-red-teaming-actually-mean/
[14] Hugging Face GitHub. Safetensors. 2024. https://github.com/huggingface/safetensors.
[15] Michael Feffer, Anusha Sinha, Zachary C. Lipton, Hoda Heidari. Red-Teaming for Generative AI: Silver Bullet or Security Theater? 2024. https://arxiv.org/abs/2401.15897
[16] Google. Google's Secure AI Framework (SAIF). 2023. https://safety.google/cybersecurityadvancements/saif/
[17] Government Accountability Office (GAO). Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities. 2021. https://www.gao.gov/assets/gao-21-519sp.pdf
[18] RiskInsight. Attacking AI? A real-life example!. 2023. http://wavestone.com/en/2023/06/attacking-ai-a-real-life-example
[19] National Cyber Security Centre. Principles for the security of machine learning. 2022. https://www.ncsc.gov.uk/files/Principles-for-the-security-of-machine-learning.pdf

为加固互联网路由安全的薄弱环节，美国国家网络安全办公室（ONCD）近日发布了一个提升互联网路由安全的路线图，主要针对边界网关协议（BGP）相关漏洞进行改进。

BGP作为全球互联网的基础协议，负责全球超过7万个独立网络间的流量管理，广泛应用于ISP、云服务提供商、政府机构、大学和能源供应商等。ONCD指出，BGP的设计缺乏现代互联网所需的安全措施，这使得网络流量可能被意外或恶意重定向，导致关键基础设施面临风险，并可能为间谍活动、数据盗窃和安全漏洞提供掩护。

ONCD路线图中提出了广泛采用资源公钥基础设施（RPKI）的建议。RPKI是由IETF制定的标准框架，能够通过防止路由劫持、路由泄漏和IP资源劫持等手段来提升安全性。通过实施RPKI，互联网服务提供商（ISP）和运营自己的路由网络的企业可以确保BGP公告和路由更新的合法性和安全性，避免数据传输中断或被恶意篡改。

国家网络安全办公室呼吁所有网络类型的运营商，包括ISP、企业网络和拥有自己IP资源的组织，尽快采用RPKI标准。特别是对于关键基础设施的运营商、州和地方政府，以及依赖互联网进行“高价值”任务的组织，BGP的安全尤为重要。

白宫国家网络安全主任Harry Coker Jr.在发布报告时表示：“互联网安全事关重大，联邦政府将率先推动BGP安全措施的快速普及。”

除了发布报告，ONCD还设立了公私合作的利益相关者工作组，并共同主持了互联网路由安全工作组。该工作组将制定框架，帮助网络运营商评估风险，优先处理关键的IP地址资源和路由源。

BGP作为全球互联网的基础协议，广泛应用于ISP、云服务提供商、政府机构、大学和能源供应商等。然而，ONCD指出，BGP的设计缺乏现代互联网所需的安全措施，这使得网络流量可能被意外或恶意重定向，导致关键基础设施面临风险，并可能为间谍活动、数据盗窃和安全漏洞提供掩护。

互联网基础设施提供商Cloudflare指出，全球只有约一半的网络采用了RPKI。过去几年，曾发生过多起重大BGP安全事件，例如：

• 2021年4月：全球性BGP泄漏事件。这次BGP路由泄漏导致全球数千个网络受到影响。事件的起因是一个错误的BGP路由配置，导致原本不应该被广告的路由被传播到全球，影响了多个国家的互联网连接(。

• 2022年8月：加密货币服务Celer Bridge的BGP劫持。黑客通过伪造的BGP公告成功劫持了Celer Bridge的加密货币交易，重定向资金到攻击者的账户。此次事件通过更改AltDB数据库的内容欺骗了传输提供商，使攻击者得以冒充亚马逊网络服务（AWS）来进行劫持。

• 2008年：YouTube被封锁事件。巴基斯坦电信公司（PTCL）通过BGP劫持全球范围内的YouTube流量，试图在国内封锁该服务。虽然该举动本应仅影响巴基斯坦境内的访问，但错误的路由公告传播到了全球，导致YouTube在全世界范围内下线。

这些事件凸显了BGP的脆弱性，无论是有意的攻击还是无意的配置错误，都会导致全球互联网服务中断和安全隐患。

专家们认为，全球互联网路由依赖信任而非安全是不可持续的。Team8风投集团的首席技术官Eidan Siniver指出：“企业经常在全球站点之间传输敏感数据，而被劫持的路由将带来重大安全风险。网络运营商应当广泛采用RPKI等框架，优先考虑安全而非信任，建立可靠的标准。”

参考链接：

https://www.whitehouse.gov/wp-content/uploads/2024/09/Roadmap-to-Enhancing-Internet-Routing-Security.pdf

继去年一系列重大数据泄露事件后，2024年针对东南亚组织成功实施的勒索软件攻击持续保持高位水平。

9月4日消息，今年上半年，东南亚发生的一系列重大勒索软件攻击，但这仅仅是个开始。

东南亚地区遭勒索攻击频率显著增多

根据趋势科技的遥测数据，东南亚的公司和政府机构，尤其是泰国、日本、韩国、新加坡和印度尼西亚，遭遇了显著增加的攻击频率，这一增速已超过欧洲国家。例如，今年6月，一个名为Brain Cipher的团伙对印度尼西亚的160多家政府机构发动了勒索软件攻击。随着该地区经济的发展，类似的重大事件可能会进一步增加。

趋势科技威胁研究高级经理Ryan Flores表示，亚洲的许多公司和组织在急于实现基础设施数字化的过程中，往往以牺牲安全为代价。  

他说：“该地区正在积极推进多项数字化计划，政府也在支持和鼓励在线服务与支付的普及。由于这些基础设施和服务的快速推进，安全往往被降级为次要任务，主要目标是尽快将服务或平台推向市场。”

亚太地区的公司和组织已遭受严重的网络攻击，这也印证了威胁团体已将目光聚焦于该地区。今年3月，越南一家主要的经纪公司遭遇了勒索软件攻击，关键数据被加密，被迫关闭证券交易长达8天。同月，日本官员指责朝鲜黑客在Python包索引（PyPI）服务中植入了恶意代码，该代码可以在受害者的计算机上安装勒索软件。

虽然超过四分之三的勒索软件攻击仍然针对北美和欧洲的组织，但其他地区，特别是亚洲受到成功网络攻击的比例已经迅速上升。根据网络安全咨询服务公司Comparitech的数据，2023年，亚洲公开报道的勒索软件攻击数量增长了85%。

其他威胁追踪者也证实了这一趋势。根据终端安全公司Sophos发布的《2024年勒索软件状况》报告，印度和新加坡都位列受攻击最多的六个国家之中。

亚太地区成为勒索软件的温床

勒索软件团伙正在瞄准亚太地区最关键且最脆弱的工业部门。根据Comparitech从公开报告中整理的数据，针对制造业的攻击显著增加。2023年，已确认的针对制造业的勒索软件事件有21起，其次是政府部门的16起和医疗保健部门的11起。

造成这一局面的主要原因之一是，许多国家没有实施数据泄露通知法，这导致大量泄露事件未被报告，也使得亚洲对网络安全的关注度不足。Comparitech的数据研究负责人Rebecca Moody指出，加密货币在许多亚洲国家的流行也使得公司更容易支付赎金。  

她说：“在许多情况下，确认发生攻击的唯一方式是系统中断或网站瘫痪……如果设法让系统在无人察觉的情况下重新上线……那么这些攻击就可以轻松掩盖过去。”

勒索软件与网络犯罪欺诈在亚太地区十分猖獗。朝鲜团伙利用勒索软件、加密劫持攻击等手段，从全球经济中榨取资金，并进行间谍活动。一些亚洲国家的犯罪集团在柬埔寨、老挝和缅甸运营大型欺诈中心——这些实际上是强迫劳动营地——进行大规模、批量化的网恋骗局和“杀猪盘”诈骗，每年非法获利数百亿美元。

低成本，高回报

归根结底，勒索软件攻击的增加可能与犯罪团伙专注于某类受害者无关，而更多地与潜在受害者的增加有关。这是因为公司在进行数字化转型时，未能同步更新安全措施。趋势科技的Flores表示，该地区的网络安全生态系统相对不成熟，再加上地区紧张局势日益加剧，这更可能是攻击增加的原因，而非犯罪团伙专注于某类受害者。  

他说：“勒索软件团伙和一般的网络犯罪分子都是机会主义者，所以我认为他们不会真正专注于某个地区。他们关注的是如何以最小的成本获取最大的回报。因此，如果有脆弱、开放或配置错误的基础设施，无论位于亚洲、欧洲还是非洲，都将成为他们的攻击目标。”  

亚太地区各国政府已经开始更新法规以提高安全性。今年5月，新加坡更新了《网络安全法》，以应对关键基础设施部门对使用云服务的第三方的依赖，而马来西亚在4月通过了一项法律，要求网络安全服务提供商必须获得许可才能在该国开展业务，尽管法律细节尚未敲定。  

NCC集团全球战略威胁情报负责人Matt Hull表示，亚太地区的公司应重点做好基础防护工作，实施基本的防御措施。  

他说：“各组织必须优先进行定期的补丁管理，以关闭已知漏洞，实施强密码策略，以防止轻易被利用，并实施多因素认证（MFA），在密码之外增加额外的安全层。此外，建立强大的检测和监控系统，以便迅速识别和应对潜在威胁，也是至关重要的。”  

参考资料：

darkreading.com

近日，一场针对中国公务员的大规模网络钓鱼活动引起了国际安全专家的关注。美国威胁检测、调查和响应工具供应商Securonix揭露了一个隐蔽的网络攻击行动，攻击者利用国内某大型云服务作为攻击平台，在中国政府和企业网络中长期潜伏，其主要目标是数量庞大的公务人员群体。

针对公务人员的网络钓鱼活动

Securonix的研究人员Den Iuzvyk和Tim Peck在上周撰文披露了一起针对中文用户的隐蔽活动，攻击者通过钓鱼邮件发送Cobalt Strike有效载荷，邮件中包含压缩的Zip文件，标题为“20240739人员名单信息.zip”，意为“人员名单信息”。

点击该文件会解压出一个名为“违规远程控制软件人员名单.docx.lnk”的文件链接，意为“违反远程控制软件规定的人员名单”。研究者据此推测，攻击者的目标很可能是特定的中国政府部门公务人员。

攻击手法分析

点击该链接会执行代码，运行嵌套目录中的恶意DLL文件dui70.dll和UI.exe。UI.exe是合法Windows可执行文件LicensingUI.exe的重命名版本，该文件通常用于通知用户有关软件许可和激活的信息。

研究人员发现，攻击者利用DLL路径遍历漏洞，通过执行重命名的UI.exe文件，加载同名的恶意DLL文件，从而实现攻击。

一旦UI.exe运行，恶意DLL实际上是Cobalt Strike攻击工具包的植入物，它会注入到Windows二进制文件“runonce.exe”中，给予攻击者对主机的完全控制权。

攻击者随后会部署其他恶意软件，包括fpr.exe、iox.exe、fscan.exe、netspy.exe、lld.exe、xxx.txt、tmp.log、sharpdecryptpwd.exe、pvefindaduser.exe和gogo_windows_amd64.exe等，这些工具用于端口转发、网络侦察、扫描网络漏洞、收集凭据、枚举Windows Active Directory用户等。

Securonix观察到攻击者在受害者网络中建立持久访问，并使用远程桌面协议进行横向移动。攻击者的目标包括获取Active Directory配置信息和公共IP地址。

研究人员指出，所有在此次攻击中使用的IP地址均托管在中国某大型云服务平台上，包括其云对象存储服务。

幕后黑手：技术高明且善于潜伏的APT组织

Securonix将此次行动命名为SLOW#TEMPEST，因为攻击者愿意潜伏一周或两周以实现其目标。

研究人员Iuzvyk和Peck将攻击者描述为“高度组织化和复杂化，可能由经验丰富的威胁行为者策划，他们有使用CobaltStrike等高级利用框架和其他广泛的后利用工具的经验。”

尽管Securonix未能找到将此次攻击与任何已知的APT组织联系起来的有力证据，但攻击的复杂性表明攻击者在初始入侵、持久性、权限提升和跨网络横向移动方面拥有丰富经验和成熟技术手段。

总结

随着生成式AI技术在网络钓鱼和社会工程领域的快速普及，大规模针对性跨国网络钓鱼活动威胁正快速增长。此次针对中国公务员的网络钓鱼活动再次提醒我们，网络安全威胁无处不在，政府部门和企业必须加强网络安全防护，提高对钓鱼邮件和恶意软件的警惕，以保护敏感信息和网络安全。

同时，此次美国网络安全公司披露针对中国用户的网络攻击也表明，在地缘政治因素的干扰和操纵下，网络安全研究依然是一个全球性活动，需要国际社会的共同努力和合作。

参考链接：

https://www.securonix.com/blog/from-cobalt-strike-to-mimikatz-slowtempest/

原文来源：GoUpSec

图：Verkada

FTC还要求Verkada公司实施全面的安全计划，并在未来20年内每年向FTC提交风险评估报告。

9月3日消息，美国加州安防公司Verkada已同意支付295万美元（约合人民币2099万元）的民事罚款，并将实施一项全面的安全计划。此前2021年，黑客从该公司15万台联网的安全摄像头中窃取了视频，其中一些摄像头安装在精神病医院和妇女健康诊所。

美国联邦贸易委员会（FTC）对Verkada提起的诉讼指出，该公司未能采取适当的信息安全措施，以保护通过其安全摄像头收集的客户和消费者的个人信息。

除了数百万美元的财务罚款外，Verkada和FTC达成的同意令还要求公司实施全面的安全计划，并在未来20年内每年向FTC提交风险评估报告。这项同意令尚需联邦法官批准。

同意令还解决了Verkada涉嫌违反联邦反垃圾邮件法规的指控。该公司通过大量商业电子邮件向潜在客户发送广告，但未提供退订或退出选项。FTC表示，公司未能尊重客户的退订请求，也未在邮件中提供实体邮寄地址。

安全措施存漏洞致使客户摄像头被黑客访问

Verkada的主要产品是支持IP网络的安全摄像头，这些摄像头通过亚马逊云服务（AWS）的云端存储客户数据并保存视频档案。FTC指出，从2019年至2021年，该公司共销售了超过24万台安全摄像头。

据称，Verkada的安全措施存在漏洞，未能要求使用唯一且复杂的密码，未能充分加密客户数据，且未能实施安全的网络控制。因此，在2020年12月至2021年3月期间，Verkada至少发生了两次安全入侵事件。

2021年3月，一名黑客从超过15万台联网的Verkada摄像头中获取了视频录像及其他客户信息，如物理地址、音频记录和客户的Wi-Fi凭据。

FTC表示：“入侵者访问了超过15万台实时监控的客户摄像头，观看了精神病医院的病人（包括躺在病床上的病人）、妇女健康诊所、在房间内玩耍的小孩和被监禁者在牢房内的画面等。”

FTC还指出，2020年12月，一名黑客利用了旧版固件构建服务器中的安全漏洞，而这一漏洞的出现是因为一名员工未能恢复服务器的原始安全设置所致。“黑客在服务器上安装了Mirai僵尸网络软件，并进行恶意活动，包括将服务器武器化，对其他第三方互联网地址发起拒绝服务攻击。Verkada在AWS安全部门标记出这些活动两周多后，才意识到服务器已被入侵。”

FTC表示安防摄像头收集的数据存在用户敏感信息

Verkada在8月30日发表的声明中表示，公司不同意FTC的指控，但接受了和解条款，“以便我们能够继续推进使命，并专注于保护人们和场所的隐私。”

声明中还写道：“我们将继续优先加强Verkada的数据安全态势。”

FTC在诉状中表示，Verkada收集并维护了各种客户信息，包括姓名、物理地址、客户用户名和密码哈希值、客户站点平面图以及客户的Wi-Fi凭据。

FTC还指出，Verkada安全摄像头收集的视频录像“可能包括消费者影像，以及其他敏感的消费者个人信息，例如可见的医疗记录。”

FTC表示：“许多此类消费者的影像本质上具有敏感性，因为一个人在特定地点的出现必然会揭示其个人信息。例如，某个消费者出现在精神病医院的画面直接说明该消费者正在寻求心理健康服务。”

除了实时监控功能外，Verkada的安全摄像头还具备“人物分析”功能，允许客户查看所有被其安全摄像头录制或上传到公司Command平台的消费者高清图像。用户可以通过性别或衣服颜色筛选图像，并通过面部识别或脸部匹配技术搜索图像。

FTC以5比0的投票结果支持了前述同意令。

参考资料：

govinfosecurity.com

近日，安全研究人员在航空运输安全系统中发现一个严重漏洞，可允许未经授权人员（例如恐怖分子）绕过机场安检，获得进入飞机驾驶舱的权限。

安全研究人员伊恩·卡罗尔（Ian Carroll）和萨姆·库里（Sam Curry）在FlyCASS系统中发现了这一漏洞。FlyCASS是一个由第三方提供的web服务，一些航空公司使用它来管理和操作已知机组成员（KCM）计划和驾驶舱访问安全系统（CASS）。

KCM是美国运输安全管理局（TSA）的一项计划，允许飞行员和空乘人员通过机场安全处的一条特殊通道绕过安检。而CASS则为授权飞行员在搭乘飞机时使用驾驶舱的跳座提供进入飞机驾驶舱的身份验证。

KCM系统由ARINC（柯林斯宇航的子公司）运营，通过在线平台验证航空公司员工的身份。

KCM的流程相当简单，机组人员只需出示（扫描）KCM条形码或输入员工编号，通过TSA的终端笔记本电脑与航空公司的数据库进行交叉核对，验证通过的人员无需安检即可快速进入无菌区。

CASS系统类似KCM，用于验证飞行员是否有资格在通勤或旅行时进入驾驶舱内使用“跳座”（驾驶舱内供其无执飞任务机组人员搭乘航班的临时座位）。

CASS的主要功能是通过访问航空公司员工数据库来验证搭乘航班的飞行员的身份和就业状态，从而确保只有授权机组人员才能够进入驾驶舱并使用跳座。这一系统在“9·11”事件后变得尤为重要，因为它可以有效减少未经授权的人员进入驾驶舱的风险。

研究人员发现，FlyCASS的登录系统存在SQL注入漏洞，攻击者可以利用该漏洞插入恶意SQL语句进行数据库查询，并以航空公司——如航空运输国际（Air Transport International）的管理员身份登录，篡改系统中的员工数据。

令研究人员惊讶的是，在FlyCASS系统中添加航空公司飞行员和乘务员名单无需进一步检查认证，可以将任何人添加为KCM和CASS的授权用户。

研究人员成功添加一个名为“Test TestOnly”的虚构员工账户，并赋予其KCM和CASS的访问权限，实现了“绕过安检并进入商用飞机驾驶舱”（上图）。

“任何具备基本SQL注入知识的人都可以登录该网站，并将任意人员添加到KCM和CASS系统中，从而跳过安检并进入商用飞机的驾驶舱。”卡罗尔说道。

意识到问题的严重性后，研究人员立即展开了漏洞披露流程，并于2024年4月23日联系了美国国土安全部（DHS）。研究人员决定不直接联系FlyCASS网站，因为它似乎由一个人运营，研究人员担心直接披露会引起对方的恐慌。

国土安全部在接到通知后，也认识到这一漏洞的严重性，并确认FlyCASS已于2024年5月7日从KCM/CASS系统中断开。不久之后，FlyCASS上的漏洞被修复。

然而，在进一步协调安全披露的过程中，研究人员遇到了阻力，国土安全部停止回复他们的电子邮件。

此外，TSA的新闻办公室也向研究人员发送了一份声明，否认该漏洞对系统的影响，声称系统的审查过程会阻止未经授权的访问。然而，在研究人员通知TSA之后，TSA悄悄删除了其网站上与其声明相矛盾的信息。

“在我们通知TSA后，他们删除了网站上提到的手动输入员工ID的内容，但并未回应我们的更正。我们已确认TSA的界面仍然允许手动输入员工ID。”卡罗尔说道。

卡罗尔还表示，这一漏洞可能导致更严重的安全漏洞，例如攻击者可以篡改现有的KCM成员档案（例如用户照片和姓名），冒名顶替现有成员从而绕过对新成员的审查过程。

在研究人员发布报告后，另一位名为阿莱桑德罗·奥尔蒂斯的研究人员发现，FlyCASS似乎在2024年2月曾遭受过MedusaLocker勒索软件攻击，Joe Sandbox的分析显示该系统中存在被加密文件和勒索信。

此次曝光的可绕过机场安检的严重漏洞再次提醒我们，即便是用于关键安全保障的系统也可能存在严重安全隐患，需要持续监控和及时修补。

漏洞披露时间线：

• 2024年4月23日：首次向ARINC和FAA披露

• 2024年4月24日：随后通过CISA向DHS披露

• 2024年4月25日：国土安全部CISO确认他们正在制定解决方案

• 2024年5月7日：国土安全部CISO确认FlyCASS已与KCM/CASS断开连接

• 2024年5月17日：向国土安全部CISO跟进有关TSA声明的情况（无回复）

• 2024年6月4日：向国土安全部CISO跟进有关TSA声明的情况（无回复）

参考链接：

https://ian.sh/tsa

OpenAI ChatGPT的推出是人工智能（AI）领域的一个转折点，甚至可以说是历史上的一个分水岭。这个平台的多种功能不仅吸引了消费者，还激发了工程师们利用生成式AI的特点来构建应用程序，尽管缺乏强有力的政策和有效的风险管理，这些应用在商业和消费领域却都有着广泛的用途。

随着基于AI的系统融入日常业务运作中，一些关键问题亟待被解决。这些应用是否提供了准确和公正的结果？使用这些应用时，机密数据是否能够得到保护？根据最近对 IT专业人员的一项调查，71% 的受访者认为生成式AI可能会“引入新的数据安全风险”。

基于AI的系统扩展了攻击面，为黑客提供了新的威胁攻击机会。攻击者可以操纵这些系统并改变其行为以产生恶意结果。这些威胁与传统的网络攻击本质上有所不同，因为它们针对的是包括算法、学习模型和训练数据集在内的底层技术。AI安全仍在发展中，包括识别漏洞和实施适当的控制和对策。随着基于AI的系统变得越来越普遍，制定和评估AI相关攻击的风险缓解计划作为风险管理过程的一部分显得尤为重要。

提示词注入攻击

开放式Web应用程序安全项目（OWASP）已将提示词注入识别为大型语言模型（LLM）应用程序的最大漏洞。提示词注入指的是操纵应用程序的输入参数，以劫持输出并提供所需结果。自这种攻击被发现以来，因其严重后果而引起了应用程序开发人员的关注，特别是那些使用LLM的开发人员。研究人员表明，如果正确使用，提示词注入攻击可能导致敏感数据的泄露或外流，并允许远程控制甚至操纵 LLM。

提示词注入的操作方式类似于在Web应用程序中的结构化查询语言（SQL）注入和跨站脚本攻击。可以精心设计输入提示，通过一系列特定词语告诉机器该做什么以及如何表现。研究显示，攻击者可以采用直接模式或间接模式（通过在可能被检索的数据中注入提示）使用此技术来执行恶意代码、提取敏感数据或混淆模型。

目前，工程师们正在使用输入验证、内容过滤和输出监控等机制来阻止提示词注入攻击。在设计阶段更好地构建提示，并加强测试，可以提高应用程序的安全性。这是一个不断发展的话题，目前尚不清楚这些防御措施是否足以防御这一严重威胁。

数据中毒攻击

数据中毒是一个众所周知的漏洞，顾名思义，它涉及故意污染或破坏训练数据集的恶意信息。训练数据的质量影响学习模型的性能和应用程序输出的准确性。攻击者可以通过多种方式篡改训练数据，导致机器产生错误的结果。在使用分类器的机器学习算法中，攻击者注入错误数据，导致算法返回错误的分类结果，或者攻击者通过获取数据集并试图破坏它。例如，试图通过破坏其训练数据来篡改Gmail垃圾邮件过滤器的企图，突显了这一威胁的严重性。

机器学习供应链攻击

由于臭名昭著的SolarWinds和log4j事件，导致人们对软件供应链漏洞的认识增加，促使企业加强其应用安全扫描流程。相同的概念也适用于 AI 应用程序，因为学习模型通常是使用多个开源和第三方框架构建的。攻击者可以破坏用于构建模型的外部框架和代码库，并创建特洛伊木马或后门。最近比较流行的基于Python开源机器学习框架PyTorch披露其一个包受到了供应链攻击，突显了这种类型的威胁。这种特定的攻击类型在软件供应链术语中被称为依赖混淆，通过仅从验证或信任的来源或私有库（可能镜像其他公共库）拉取包，并仅通过内部代理下载包来缓解。

使用预训练模型也带来了显著风险，因为模型的完整性可能会被篡改。模型扫描目前获得大量关注，开发人员可以利用它来识别第三方模型或库中的漏洞，从而提高其LLM的安全性。

在开发包含外部构建模块的AI应用程序时，可以利用开源模型扫描工具。此外，建议对包括LLM在内的AI应用程序使用软件组成分析工具（SCA），类似于其他软件产品。这种分析应成为开发过程的一部分，并应生成详细的软件材料清单（SBOM）。这是跟踪在应用程序开发中使用的第三方模型或库并管理任何安全漏洞的有效方法。

推理攻击

在推理攻击中，攻击者试图提取用于训练机器学习模型的数据信息。例如，攻击者可能试图确定特定数据集是否作为训练数据的一部分被使用（成员推理），或试图重建训练数据集本身（模型推理）。从隐私角度来看，这类攻击的影响非常大，因为它们会导致训练数据库中的敏感信息泄露。可能的风险缓解策略包括使用一种称为正则化的数学方法改变模型从训练数据中学习的方式，或采用模型混淆，即在模型输出中添加随机性以隐藏敏感信息，使攻击者难以识别作为训练数据集一部分使用的机密信息。

规避攻击

另一种对抗性攻击类型是模型规避，即通过稍微修改合法输入来迷惑模型并引发错误。例如，研究人员已经表明，通过在街道标志上贴小条可以迷惑自动驾驶汽车。在这些情况下，需要对学习模型进行微调，以能够正确识别输入并生成适当的输出。持续的模型训练和测试是确保准确和可重复输出的必要条件。

结论

针对基于AI的应用程序及其底层训练系统和机器学习算法的潜在漏洞的研究正在积极进行，并持续揭示出有趣的发现。然而，随着企业加速开发基于AI的应用程序，建立一套强有力的控制措施以缓解攻击威胁是重要的。此外，在企业评估各种基于AI的产品时，评估其处理任何来自对手的攻击能力至关重要。这是一个不断发展的领域，随着AI应用的不断增长，必须不断被监控。

一、安全风险

二、风险治理

三、未来大模型攻防的预测