大模型安全
针对大语言模型自身的安全问题 —— 区别于"用 AI 增强传统安全",本概念聚焦"AI 模型本身的安全",是 5-14 与 4-03 子行业的交叉领域,年增速 >50%,是 AI 安全里增长最快的细分赛道。
一句话定义
大模型安全 = 涵盖 LLM 全生命周期(训练 / 微调 / 部署 / 推理)的所有安全风险与防护方案,包括对抗输入(提示词注入 / 越狱攻击)、训练数据安全(数据投毒)、模型本身安全(模型窃取 / 后门)、输出安全(违规内容 / 隐私泄露)、Agent 系统安全(工具调用劫持)等。
四大核心风险
| 风险 | 描述 |
|---|---|
| 提示词注入 | 攻击者通过精心设计的提示词绕过安全限制 |
| 越狱攻击 | 诱导模型输出有害或违规内容 |
| 数据投毒 | 在训练数据中植入恶意样本影响模型行为 |
| 模型窃取 | 通过 API 调用推断模型参数和结构 |
增长驱动
- LLM 在各行业的广泛应用催生防护需求
- 国家《生成式人工智能服务管理暂行办法》要求安全备案
- AI Agent 兴起带来工具调用劫持、API 规模化攻击等新风险
- 大模型内容安全、数据隐私保护刚需
主要玩家
中国
国际
- Lakera — LLM 应用运行时防护(Prompt 注入)
- Patronus AI — LLM 评测 / 质量保证
- Robust Intelligence — 全生命周期 AI 防火墙(被 Cisco 收购)
市场数据
与 AI 产业链关系
↑ up::4-02-模型工厂 — 防护对象 ↑ up::安全大模型 — 以模制模 技术路径 ∈ belongs_to::5-14-AI赋能安全应用 ∈ belongs_to::4-03-模型生态与工具链