随着大语言模型（LLM）技术的飞速发展，LLM已经成为推动人工智能技术创新和业务转型的关键力量。从自然语言理解、生成到智能问答，LLM的应用正在深刻影响各行各业。然而，随着LLM应用的广泛推广，安全、隐私保护和合规性等问题也逐渐浮出水面，给全球范围内的数字生态带来了前所未有的挑战。

为应对这些挑战，CSA大中华区发布《大语言模型威胁分类》报告，旨在为行业提供一个全面的风险管理框架，帮助各行业识别、评估和管理LLM应用过程中可能遇到的风险。

《大语言模型威胁分类》报告详尽地分析了LLM的关键资产、服务生命周期、影响类别和威胁类别，为政策制定者、技术专家和行业决策者提供了一个清晰的理解和应对LLM相关风险的框架。报告的主要内容包括LLM资产的分类，详细描述了从数据资产到模型参数的各个方面；LLM服务生命周期的管理，涵盖了从准备到退役的各个阶段；以及LLM服务的影响和威胁类别，包括数据泄露、模型操纵、供应链安全等关键领域。

该报告涵盖了以下几个方面：

1.LLM资产分类与定义

报告首先定义了实施、管理大语言模型（LLM）系统所必需的基础组件，涵盖了从模型训练、微调过程中重要的数据到确保AI系统完美部署和操作的复杂运维环境。同时，报告也对LLM的必要性、架构、性能和优化技术作出了进一步阐述。

2.LLM服务生命周期管理

报告详细概述了LLM服务的不同生命阶段，每个阶段都对服务的效率、可靠性以及整个生命周期至关重要。从构想和规划的筹备阶段到最终的归档和处置阶段，每个阶段都被纳入一个综合框架，该框架旨在改善服务交付以及保障需求和标准的一致性。组织可以通过这种结构化方法清晰有效地管理服务开发、评估、部署、交付和退出。

报告对LLM服务生命周期各个阶段进一步细分，并给出了相关术语的定义。

3.威胁类别与影响分析

报告将影响类别直接对应到已经确立的CIA安全三要素（机密性、完整性和可用性）上。此外，根据NIST文件AI 100-2 E2023，还可以增加“滥用/误用”和“隐私丧失”这两个新的影响类别。

以下是对LLM相关风险的概括分类：

机密性：存在这样一种风险，即LLM的数据、模型本身或其生成的输出可能会被泄露给未授权的个人，这涉及到敏感信息，可能包括个人数据、商业秘密或其他机密材料。

完整性：存在LLM的数据或其生成的输出被恶意或意外地修改或损坏的风险，这可能导致结果不正确或具有误导性。

可用性：对LLM操作可能存在遭受干扰的风险，导致用户在关键时刻无法访问。这些干扰可能包括服务拒绝攻击、系统故障、意外停机、过高的计费限额或计算资源不足等情况。

4.大语言模型服务威胁分类

大语言模型服务威胁分类的初始列表涵盖一系列需要重点考虑并缓解的潜在风险和漏洞。每个类别都代表一个独特的挑战，可能会损害大语言模型服务的完整性、安全性和有效性。具体分类如下：

1）模型操纵

2）数据投毒

3）敏感数据泄露

4）模型窃取

5）模型故障/失灵

6）不安全的供应链

7）不安全的应用程序/插件

8）拒绝服务（DoS）

9）缺少治理/合规性

报告为大语言模型(LLM)的风险场景和威胁相关的关键术语建立了通用的分类和定义。这一成果旨在促进业界的深入沟通与交流，确保在CSA AI安全计划的指导下，我们能够更系统、更科学地识别和应对LLM带来的挑战。

原文链接：https://mp.weixin.qq.com/s/kUbtrs7-KTOlw9R28MNIvw