大模型安全攻防 （上篇）

01 · 研究概述与定位

1.1 定义边界：什么是"大模型安全攻防"

本课题的研究对象是以大语言模型（LLM）为核心组件的应用系统及其攻防对抗，覆盖范围从模型本身延伸至四类延伸形态：检索增强生成（RAG）、插件与工具调用、AI Agent与多智能体系统、以及支撑这一切的模型与插件供应链。厘清三个边界，是避免概念混淆的第一步：

• 模型安全 ≠ 模型对齐（Alignment）：对齐研究解决"模型本身是否拒绝输出有害内容"，属于模型厂商的训练议题；应用安全解决"模型接入真实业务后，系统整体是否仍然可控"。攻击者并不关心对齐分数——他们只关心系统里哪条路径能用。
• 大模型安全 ≠ 传统应用安全的简单延伸：注入攻击面从结构化语法（SQL、OS命令、模板）变成了自然语言指令。"代码与数据混杂"这一Web安全经典痼疾，以提示词为载体重新回归——用户输入、检索文档、工具输出与系统指令共存于同一个上下文窗口，模型无法天然区分"数据"与"指令"（Greshake et al., 2023）。
• 攻防对象是系统，而非单点：OWASP在2026版中明确表述，提示词注入无法在应用层被彻底"阻止"，有效缓解必须依赖系统架构设计（权限隔离、输出管控、人在回路）。这正是本课题将"模型、提示、上下文、工具、记忆、外部内容、权限与出口"作为统一攻击面研究的原因。

1.2 为什么是"关键窗口期"：三组硬数据

2025—2026年，LLM安全完成了从"论文风险"到"实战对抗"的跨越，以下数据全部来自可公开核实的权威来源：

来源：OWASP GenAI Security Project（2026年8月3日发布，经CSA、Invicti、ReversingLabs等多家独立分析交叉印证）；KnowBe4 2025；CrowdStrike 2026 GTR；MITRE ATLAS v5.1.0官方发布说明。

1.3 学院定位：与迪妙主旨的深度结合

迪妙网络空间安全学院依托CNNIC及公共互联网反网络钓鱼工作组的长期实践，聚焦企业员工安全意识培训与青少年网络安全启蒙教育。大模型安全攻防与这一主旨存在三重直接连接：

• 钓鱼防护的"前沿战场"：AI生成钓鱼邮件（82.6%）、深度伪造语音视频、以及GTG-1002所揭示的"AI Agent执行80–90%战术工作"的社工范式，正在全面改写反钓鱼工作组的研判对象。不懂LLM攻防，就无法讲解下一代钓鱼威胁。
• 演练剧本的"素材富矿"：本课题收录的18个真实事件（第2页）与检测规则映射表（第3页），可直接转化为企业钓鱼演练剧本与红队测评用例库——从"Chevy chatbot被1美元买走汽车"到"EchoLeak零点击外泄"，每一个案例都是一堂生动的安全意识课。
• 方法论的教育载体：LLM安全归因中普遍存在的"厂商披露、缺少独立验证"现象（如GTG-1002的80–90%自主性数据），为青少年批判性思维训练提供了绝佳真实素材：如何区分"已证实事实、机构评估、研究推断"，是数字时代公民的必修课。

1.4 研究方法论原则

• 来源分级：优先采用官方框架与标准（OWASP、MITRE ATLAS、NIST、TC260）、政府公告与司法文书、顶级学术会议论文（IEEE S&P、USENIX Security、NDSS、NeurIPS、ICML、EMNLP、CCS等）；厂商报告标注厂商立场；媒体报道仅作线索。
• 证据三分：行文严格区分"已证实事实"（如CVE编号、判决与裁定）、"机构评估"（如Anthropic对GTG-1002自主程度的披露）与"研究推断"（如本专题的归纳性结论），杜绝把厂商评估当作独立验证的事实引用。
• 攻防克制：所有攻击技术仅作科普性、机制性说明，不提供可直接复用的攻击载荷与操作指引；模拟演练必须在授权环境下进行。
• 时效标注：威胁情报强时效，本专题数据基准为2026年9月，关键数据均注明出处与发布日期。

1.5 核心术语速查表

为统一全文术语口径（与OWASP、MITRE ATLAS官方定义保持一致），先立后破：

02 · 权威框架全景

LLM安全治理的最大障碍之一是"术语不统一、度量不统一"。本课题以五类权威框架为骨架，形成"风险分类—攻击行为—治理合规—攻防测评"的完整参照系：

2.1 五类权威框架对照矩阵

2.2 OWASP LLM Top 10 版本演进与2026版排名迁移

OWASP榜单已迭代三版（2023 → 2025 → 2026）。2026版最大的方法论变革是引入真实事件数据，由此产生的排名迁移极具信号价值：

• 过度代理（Excessive Agency）：第6位 → 第3位——投票与事件数据罕见地一致，反映Agent化部署正是真实生产损失的发生地（Replit删库、GTG-1002均为标志事件）；
• 无界消耗（Unbounded Consumption）：第10位 → 第6位——AI推理成本已成为实质性业务风险，而不仅是可用性问题；
• 不当输出处理（Improper Output Handling）：第5位 → 第10位——降幅最大，并非风险消失，而是输出净化已逐渐成为标准应用安全实践；
• 供应链漏洞（Supply Chain Vulnerabilities）：第3位 → 第4位——绝对关注度未降，但在Agent风险的挤压下让位；恶意模型、插件投毒与MCP工具链事件（2025—2026）表明该风险仍处于高位平台期；
• 数据与模型投毒（Data and Model Poisoning）：第4位 → 第5位——RAG投毒（PoisonedRAG）与Agent记忆投毒（AgentPoison）研究的密集发表，使该条目持续保持高优先级；
• 错误信息（Misinformation）：第9位 → 第7位——事件数据权重将其推高，是"投票与事件数据分歧最大"的条目之一：专家投票不高，但真实事件（含幻觉致损判例）计数可观；
• 系统提示词泄露（System Prompt Leakage）退役，更名并扩展为隐藏上下文暴露（Hidden Context Exposure）——承认检索文档、Agent记忆、工具响应与应用状态与系统提示词具有同等机密性；
• 值得注意的分歧：提示词注入在原始事件计数中排名远低于专家投票位置——OWASP项目方解释这是"防御效应"（成熟团队大力缓解，使干净利用样本难以进入公开事件库），提示词注入连续三年蝉联榜首仍属合理。

2.2.1 2025版 → 2026版全量对照表

为便于精确引用，下表给出两版榜单的完整对照（2026版条目名以官方发布为准）：

注：2026版官方条目中，"过度代理"列第3位、"无界消耗"列第6位、"错误信息"列第7位、"不当输出处理"列第10位；"隐藏上下文暴露"承接原LLM07并扩展内涵。来源：OWASP GenAI Security Project 2026版发布页及CSA、ReversingLabs、Sysdig、CalypsoAI等独立解读交叉核对。

2.3 框架之间的映射关系

单一框架无法覆盖"风险—行为—治理—测评"全链条。本课题建立如下三层映射：OWASP双榜单回答"有哪些风险"，MITRE ATLAS回答"攻击者怎么做"，NIST AI RMF与国内治理框架回答"组织怎么管"，最终沉淀为本学院的教研产出。

03 · 攻击面体系：四层模型

将LLM系统的攻击面归纳为四层，是自底向上的理解框架：供应链层决定"你引入了什么"，数据层决定"模型记住了什么、能查到什么"，模型层决定"模型本身能被怎样操纵"，应用与Agent层决定"被操纵后能造成什么后果"。层与层之间是放大关系——底层失守为上层打开通路，上层失守把底层风险转化为实际损失。

3.1 四层攻击面模型

3.2 与经典Web安全的同构对比

对熟悉Web安全的读者，下列同构映射可大幅降低理解门槛；但请注意"关键差异"列——LLM场景下的同类攻击往往更隐蔽、更难彻底封堵：

注：同构对比为本专题基于OWASP文档与学术文献的教学性归纳，用于降低理解门槛，不构成严格的理论等价断言。

04 · OWASP LLM Top 10（2025版）逐条精讲

2025版（v2.0）是当前引用最广、控制措施最成熟的版本；2026版（第2.2节）在其上完成了数据驱动的排序更新。下表逐条给出核心机制与可溯源的代表性案例，案例详情见第2页：

来源：OWASP Top 10 for LLM Applications 2025（v2.0, 2024-11发布）官方条目说明；案例原始出处详见第2页事件总表与第3页参考文献。

05 · 关键数据速览与趋势研判

综合多源权威数据，本课题对LLM安全态势形成三点研判：

• 研判一：Agent化是风险重心迁移的根本原因。OWASP 2026版中"过度代理"与"无界消耗"的大幅上移、Agentic Top 10的独立成榜、以及GTG-1002/Replit两起标志性事件，共同指向同一结论——当模型获得工具与权限，攻击后果从"说错话"升级为"做错事"。
• 研判二：提示词注入的"低事件计数、高榜首位置"是成熟防御的信号，而非威胁下降。OWASP对"防御效应"的解释意味着：检测与护栏投入越充分的组织，越不会贡献干净利用样本。该风险的工程结论仍是OWASP原话——"停止尝试构建一个无法被骗的模型；围绕它构建系统，使得即使模型被骗——它一定会被骗——也不会有任何重要东西被破坏。"
• 研判三：攻防能力都在指数级提升，但可靠性与治理仍是防守方的窗口。GTG-1002中Claude"频繁夸大发现并偶尔编造数据"（Anthropic原文），以及AIxCC等赛事证明的自动化挖洞能力，说明两侧都在快速进化；组织的胜负手在于基础面（身份、权限、出口管控、监测）而非追逐单点AI安全产品。