大语言模型安全 Large Language Models Security

大语言模型攻击概览

OWASP Top 10 for Large Language Model Applications

version:2025

风险编号	中文名称	英文名称	描述
LLM01:2025	提示注入	Prompt Injection	用户提示以意想不到的方式改变LLM的行为或输出。这种输入即使对人类不可见，只要能被模型解析，就可能影响模型，导致其违反准则、生成有害内容、造成未经授权的访问或影响关键决策
LLM02:2025	敏感信息泄露	Sensitive Information Disclosure	敏感信息会影响LLM及其应用场景，LLM在应用中可能会通过输出暴露敏感数据、专有算法或机密细节，进而导致未经授权的数据访问、隐私侵犯和知识产权泄露
LLM03:2025	供应链风险	Supply Chain	LLM供应链容易受到各种漏洞的影响，这些漏洞会对训练数据、模型和部署平台的完整性产生影响，可能导致有偏差的输出、安全漏洞或系统故障
LLM04:2025	数据和模型中毒	Data and Model Poisoning	在预训练、微调或嵌入数据过程中，数据被操纵，引入漏洞、后门或偏差，从而损害模型的安全性、性能或伦理行为，导致有害输出或功能受损
LLM05:2025	不当输出处理	Improper Output Handling	指在将LLM生成的输出传递给下游组件和系统之前，对其进行的验证、清理和处理不足。这可能导致跨站脚本攻击（XSS）、跨站请求伪造（CSRF）、服务器端请求伪造（SSRF）、权限提升或远程代码执行等问题
LLM06:2025	过度代理	Excessive Agency	基于LLM的系统被赋予一定的执行能力，当系统对LLM意外、模糊或被操纵的输出做出响应时，可能会执行有害操作，根源通常是功能、权限或自主性过多
LLM07:2025	系统提示泄露	System Prompt Leakage	LLM的系统提示可能包含敏感信息，一旦泄露，这些信息可能被用于辅助其他攻击。系统提示泄露本身不是主要风险，关键在于其背后可能隐藏的敏感信息泄露、系统防护绕过和权限分离不当等问题
LLM08:2025	向量和嵌入弱点	Vector and Embedding Weaknesses	在使用检索增强生成（RAG）与LLM的系统中，向量和嵌入在生成、存储或检索过程中的弱点可能被恶意利用，导致注入有害内容、操纵模型输出或访问敏感信息等风险
LLM09:2025	错误信息	Misinformation	LLM产生的错误或误导性信息看似可信，会对依赖这些模型的应用构成核心漏洞，可能导致安全漏洞、声誉损害和法律责任
LLM10:2025	无界消耗	Unbounded Consumption	LLM应用允许用户进行过多且不受控制的推理，导致诸如拒绝服务（DoS）、经济损失、模型被盗和服务降级等风险，这是由于LLM的高计算需求使其易受资源利用和未经授权使用的影响

LLM01:2025 Prompt Injection 提示注入

LLM02:2025 Sensitive Information Disclosure 敏感信息泄露

实际比较常见的就是模型云部署暴露在公网后，API接口鉴权没设置好，导致可以通过API接口获取一些敏感信息，甚至可以窃取模型并下载。

LLM03:2025 Supply Chain 供应链(风险)

LLM04:2025 Data and Model Poisoning 数据和模型中毒

之前某大厂的AI实习生因不满团队资源分配，悄悄对团队在培养的模型进行投毒，导致该团队数月的模型培养工作白费，造成一定的时间和经济损失。

LLM05:2025 Improper Output Handling 不当输出处理

LLM06:2025 Excessive Agency 过度代理

LLM07:2025 System Prompt Leakage 系统提示泄露

LLM08:2025 Vector and Embedding Weaknesses 向量和嵌入弱点

LLM09:2025 Misinformation 错误信息

LLM10:2025 Unbounded Consumption 无界消耗

LLM Security Matrix

ATLAS矩阵从左到右以列的形式显示了攻击中使用的策略的进展，下面每种策略都包含 ML 技术。

红色 &符号表示改编自 ATT&CK。单击蓝色链接可了解有关每项内容的更多信息，或使用顶部导航栏中的链接搜索和查看 ATLAS 策略和技术。

在 ATLAS Navigator 上查看与 ATT&CK Enterprise 技术一起突出显示的 ATLAS 矩阵。