01 · 六层纵深防御体系
第2页已论证：提示词注入无法被彻底阻止，越狱是对齐能力的系统性缺口。因此防御体系的设计公理必须是OWASP的那句话——"围绕模型构建系统，使得即使模型被骗——它一定会被骗——也不会有任何重要东西被破坏。"据此，本课题将LLM系统防御归纳为六层，自外向内逐层收缩权限与信任：
1.1 防御体系总览（JS绘制）
LLM系统六层纵深防御模型
外层失效时，内层仍可阻断损失；任何单层都不构成完整防线
本专题基于OWASP LLM/Agentic Top 10控制措施、MITRE ATLAS缓解措施（v5.1.0收录32项）与公开事件复盘归纳。
1.2 各层关键技术控制
| 层次 | 关键控制 | 设计要点与依据 |
|---|---|---|
| 交互与输入 | 注入检测分类器（如ProtectAI deBERTa注入检测模型、Meta Prompt Guard）；不可信内容标记为"数据"通道；提示词模板与参数分离。 | 分类器仅作"减速带"：可被自适应攻击绕过，不得作为唯一防线；检索/邮件/网页内容一律视为不可信输入。 |
| 运行时护栏 | NVIDIA NeMo Guardrails、Meta Llama Guard、Azure AI Content Safety Prompt Shields、Guardrails AI等组件化的输入输出策略。 | "模型外强制"（enforcement outside the model）：不依赖模型自觉，在框架层校验输出格式、敏感类别与工具参数。 |
| 模型与数据 | OpenAI指令层级（Instruction Hierarchy）类训练/推理方法；训练数据去重与DP训练；向量库按租户/密级隔离，写入走审批。 | 降低模型"被骗"概率与降低"被骗后果"同等重要；RAG知识库视同生产数据库管理。 |
| 架构与权限 | Agent最小权限与工具白名单；高危操作（删除、转账、外发、部署）强制人在回路（HITL）审批；开发/生产环境严格隔离。 | Replit事件的最直接教训；多数企业要求AI执行高风险修复前必须获得人工批准。 |
| 出口管控 | 模型工具出站网络默认拒绝、白名单放行；外发内容DLP审计；"读取敏感数据+对外发送"组合操作重点监控。 | 直接命中"致命三要素"：封死对外通信，三要素缺一即失去致命性。 |
| 监测与供应链 | 完整工具调用链与上下文留痕；行为基线比对；模型文件哈希签名与私有仓库；Skill/插件白名单与版本锁定；SBOM/AI-BOM。 | GTG-1002的检测线索恰来自模型输出异常；XZ事件确立的供应链审计铁律同样适用于模型与插件。 |
1.2.1 ATLAS检测映射示例
将权威技战术知识库转化为可落地的检测线索，是"框架—防御"闭环的关键一环。下表给出本课题沉淀的ATLAS技术→检测信号映射示例（完整映射随教研持续扩展）：
| ATLAS技术 | 攻击行为 | 建议检测信号 |
|---|---|---|
| AML.T0051.001 直接提示注入 | 用户输入携带"忽略之前指令"等指令性文本，劫持应用行为。 | 输入日志高置信关键词命中 + 注入分类器评分；会话内指令冲突事件计数。 |
| AML.T0051.002 间接提示注入 | 邮件/网页/检索内容携带隐藏指令，模型阅读即触发。 | 检索与外部内容统一打"不可信来源"标签；输出行为偏离任务基线时触发复核。 |
| AML.T0054 LLM越狱 | 编码请求、角色扮演、对抗后缀使模型输出本应拒绝的内容。 | 输出护栏类别命中 + 越狱基准（HarmBench用例集）回归测试；拒答率异常下降告警。 |
| AML.T0036 LLM插件/MCP妥协 | 工具描述投毒、工具被替换或新增未审批工具。 | 工具描述哈希与版本审计；新增工具调用强制人工确认；同源工具名冲突检测。 |
| AML.T0017 开发攻击能力 | Agent批量生成或迭代漏洞利用代码（GTG-1002模式）。 | 代码生成频率与质量异常、利用代码模式聚类；GTG-1002的检测线索即来自聚合流量分析而非单条请求。 |
| AML.T0025 经网络手段外泄 | 读取敏感数据后紧接对外HTTP请求，外泄至攻击者基础设施。 | "读取敏感存储+对外发送"组合告警（致命三要素缺一即降级）；出站域名信誉与DLP内容审计。 |
注：ATLAS v5.1.0（2025-11）收录16个战术、84项技术、32项缓解措施与42个案例；RAG投毒系列技术于2025年春季版本扩编，v5.4.0（2026-02）进一步新增Agent导向技术。另：训练数据提取、成员推断与模型窃取类外泄对应AML.T0024（Exfiltration via AI Inference API，含.000成员推断/.001模型反演/.002模型提取子技术），上表"经网络手段外泄"行为对应AML.T0025（Exfiltration via Cyber Means）。
1.3 模型侧缓解：安全对齐与指令层级
体系防御之外，模型本体安全是纵深防御的第三层内涵。当前主流技术路线包括：
- 安全对齐训练（RLHF / DPO / 宪法AI）：通过人类反馈强化学习、直接偏好优化与"宪法AI"自我批判机制，降低模型输出有害内容的先验概率。此类训练能显著提高攻击成本，但如第2页第2节所述，竞争目标与泛化失配两大结构性弱点决定了它不能被视为确定性控制；
- 指令层级训练（Instruction Hierarchy）：在训练阶段显式教会模型区分系统指令、开发者指令与用户指令的优先级（OpenAI, 2024），即使攻击者注入"忽略之前指令"，模型仍倾向维护高优先级指令；
- 对齐审计与持续评测：借助HarmBench、JailbreakBench等基准持续度量对齐缺口，将"越狱抵抗率"纳入模型选型与版本升级的验收指标，并随模型迭代回归复测。
来源：Wei et al.（NeurIPS 2023）；OpenAI Instruction Hierarchy技术报告（2024）；Mazeika et al.（ICML 2024）。
02 · 防御技术图谱与测评基准
LLM安全工具链在2023—2026年间快速成形。下表按用途分类梳理代表性组件，全部可在公开渠道核实：
| 类别 | 名称 | 维护方 | 用途与说明 |
|---|---|---|---|
| 护栏与内容安全组件 | |||
| 护栏 | Llama Guard / Prompt Guard | Meta | LLM对话安全分类护栏与提示注入/越狱专用分类器（arXiv:2312.06674）。 |
| 护栏 | Azure AI Content Safety（Prompt Shields） | Microsoft | 面向间接注入与用户输入攻击的托管检测服务。 |
| 护栏 | NeMo Guardrails | NVIDIA | 可编程护栏框架，支持对话流、检索链与工具调用的策略约束。 |
| 护栏 | Guardrails AI / Lakera Guard | 开源社区 / Lakera | 输出结构校验与注入检测服务；Lakera同时提供交互式教学平台Gandalf。 |
| 安全检测与红队工具 | |||
| 检测 | garak | NVIDIA等 | 开源LLM漏洞扫描框架，覆盖提示注入、越狱、数据泄露等多类探针（arXiv:2406.12127）。 |
| 检测 | ModelScan / prompt-injection-v2 | ProtectAI | 模型文件恶意代码扫描；注入文本专用分类模型。 |
| 红队 | PyRIT / promptfoo | Microsoft / 开源社区 | 自动化AI红队编排框架与LLM评测/对抗测试工具。 |
| 评测基准 | |||
| 基准 | HarmBench | CAIS等 | 标准化自动化红队评测框架（ICML 2024），衡量攻击成功率与鲁棒拒答。 |
| 基准 | JailbreakBench | 学术界 | 越狱攻击与防御的公开基准与排行榜。 |
| 基准 | AgentHarm | Meta等 | LLM Agent工具滥用危害性基准（arXiv:2410.09024）。 |
| 基准 | BFCL | UC Berkeley等 | 函数调用能力与安全拒答平衡榜单，是Agent选型的重要参考。 |
| 基准 | CyberSecEval系列 | Meta | 代码生成安全、提示注入抵抗力等模型安全评估集。 |
| 基准 | PromptBench | 学术界 | 提示攻击鲁棒性统一评测框架（arXiv:2306.04128）。 |
工具选型的三条纪律：①检测器类组件（注入分类器、AI文本检测器）一律视为"概率性控制"，必须配合确定性控制（权限、出口、审批）使用；②AI文本检测器存在系统性误判（斯坦福研究证实其对非母语写作者误判率显著偏高，Patterns 2023；OpenAI官方分类器亦因准确率不足于2023年下线），不得用于对个人的单方面定性；③所有工具自身的评测结果应记录模型版本与日期，随模型升级回归复测。
03 · 企业落地路线图
结合NIST AI RMF四职能（Govern/Map/Measure/Manage）与公开实践，本课题建议企业按四阶段推进LLM安全建设（规划性建议，需结合组织实际裁剪）：
第一阶段基线期0–6个月
可见性与使用规约
建立生成式AI使用登记（Shadow AI摸底）；发布员工使用规约（敏感数据禁贴、输出需人工核验）；完成OWASP Top 10差距自查；对高危场景（客服、代码、HR）建立人工复核流程。
第二阶段建设期6–18个月
护栏工程与权限治理
部署输入输出护栏与注入检测；RAG向量库租户隔离与写入审计；Agent工具白名单与最小权限；高危操作HITL审批；出站流量代理审计。同步开展基线红队测试（garak/PyRIT）。
第三阶段深化期18–36个月
常态化测评与供应链治理
建立红队测评与回归机制（模型/插件每次升级必测）；模型与Skill来源治理（签名验证、私有仓库、AI-BOM）；参与或对标行业基准（HarmBench/BFCL）；将AI安全指标纳入安全运营KPI。
第四阶段智能期36个月+
AI增强的自主防御
跟踪AIxCC开源网络推理系统（CRS）与自动化修复能力在真实开源社区的落地进展；将检测假设生成、告警分诊、修复验证交给受控Agent执行，人类专注决策与例外处置；建立跨机构AI威胁情报共享。
04 · 红队测评方法论
LLM系统的红队测评与渗透测试有本质差异：攻击面无固定路径、无标准端口，评估对象是"语义层欺骗的成功概率"。本课题推荐如下闭环流程：
STEP 1
范围定义
明确被测系统（模型/API/RAG/Agent工作流）、授权边界与禁测清单，书面授权先行。
STEP 2
威胁建模
按四层攻击面建模，映射OWASP条目与ATLAS技术（AML.T0051/T0054等），圈定高风险组合。
STEP 3
用例库构建
融合公开基准（HarmBench/AgentHarm）、真实事件复盘与自定义业务场景（财务审批、代码合并、客服退款）。
STEP 4
执行与记录
工具化执行（garak/PyRIT），记录模型版本、温度、完整上下文与工具调用链——复现性是评估的生命线。
STEP 5
分级报告
按"可直接利用/需条件触发/仅理论风险"分级，给业务可读的修复建议而非技术堆砌。
STEP 6
修复回归
修复后同一用例集回归；模型或护栏每次升级触发增量回归，结果沉淀为组织自有基准。
- 度量指标建议：攻击成功率（ASR）、鲁棒拒答率、护栏绕过率、工具越权调用率、敏感数据外泄率、平均检测时间（MTTD）；
- 独立性原则：对厂商披露的高危结论（如GTG-1002的自主性比例），测评方应在自己的环境中复现验证后再采信，避免"引用即事实"；
- 攻防双面利用：Big Sleep（2024）与AIxCC（2025）已验证LLM Agent自动化挖洞的可行性——同一套技术应优先服务于自身系统的持续测评；Sysdig 2025年披露的首个AI Agent驱动真实入侵（从公开凭证到管理权限不足10分钟、全程约1小时完成数据外泄）提示：防守方也应以Agent速度响应Agent速度的攻击；2026年7月Sysdig进一步披露JADEPUFFER——首个完全自主的AI勒索软件攻击，AI Agent在无人工介入下完成从初始访问、凭证窃取、横向移动到加密勒索的全流程，并以自然语言记录自身推理过程，标志着"AI即攻击者"从推演进入实锤阶段。
05 · 国内治理与合规要求
我国已形成覆盖算法推荐、深度合成、生成式AI服务与内容标识的治理框架。对提供或使用生成式AI服务的企业，以下要求的发布与施行时间均经核实：
| 法规 / 标准 | 发布与施行 | 核心要求 |
|---|---|---|
| 《互联网信息服务算法推荐管理规定》 | 2022年3月1日施行 | 算法推荐服务治理的基础性规章：算法备案、用户选择权保障、禁止诱导沉迷等。 |
| 《互联网信息服务深度合成管理规定》 | 2023年1月10日施行 | 深度合成服务落实信息安全主体责任；对人脸替换、人声编辑等易致混淆的功能进行显著标识；开展安全评估。 |
| 《生成式人工智能服务管理暂行办法》 | 2023年8月15日施行 | 面向公众提供生成式AI服务须履行算法备案与安全评估；训练数据不得侵害知识产权，需提升真实性与准确性；明确个人信息保护与投诉处置义务。 |
| 《生成式人工智能服务安全基本要求》（TC260-003） | TC260发布（2024年） | 备案与安全评估的技术细则：语料安全、模型安全、安全措施、安全评估方法逐项给出可执行要求。 |
| 《人工智能安全治理框架》1.0 | TC260，2024年9月发布 | 提出"以人为本、智能向善"理念，将AI安全风险划分为模型算法、数据、系统、内容、认知、伦理等维度，是我国AI安全治理的基础性文件。 |
| 《人工智能生成合成内容标识办法》及GB 45438-2025 | 2025年9月1日施行 | 对AI生成合成文本、图片、音频、视频添加显式标识（文字/语音提示）与隐式标识（元数据）；任何组织和个人不得恶意删除、篡改、伪造、隐匿标识。 |
上述专项规定以《网络安全法》《数据安全法》《个人信息保护法》为法律底座；企业开展AI治理须同时满足一般性的网络、数据与个人信息合规要求。
企业合规清单（最小集）
- 提供面向公众的生成式AI服务：完成算法备案与安全评估，并按TC260-003建立语料与模型安全文档；
- 使用第三方大模型：将"供应商是否完成备案/评估"纳入采购尽调；企业内部使用须另行制定数据分级与脱敏规约；
- 生成内容对外发布：按标识办法落实显式+隐式双标识，并建立用户投诉与纠错通道；
- 涉及深度合成（换脸、拟声）：落实显著标识与安全评估，2025年"清朗·整治AI技术滥用"专项行动已将此类滥用列为重点。
06 · 与学院业务协同
企业员工安全意识培训
AI时代的钓鱼与社工防御
将本课题19个真实事件转化为培训模块：AI生成钓鱼邮件识别（82.6%占比的事实冲击）、"致命三要素"工作场景自查、EchoLeak式"零点击"风险的防护动作（最小化授予AI工具的邮箱/文档权限）。培训有效性有实证支撑：KnowBe4《2025年按行业钓鱼基准报告》显示，持续培训可将员工钓鱼点击率从基线33.1%降至4.1%（降幅约86%）。
攻防演练剧本库
授权环境下的模拟对抗
基于事件总表开发演练剧本：提示注入邮件演练、MCP工具投毒场景复盘、Agent审批流绕过推演；配套第4节红队流程与度量指标，形成"演练—测评—改进"闭环。
青少年网络安全启蒙
批判性思维训练素材
用"Chevy chatbot被1美元买走汽车"等轻量案例讲解AI的局限；用GTG-1002的"厂商评估vs独立验证"讲解信息素养——如何区分事实、评估与营销，是AI时代公民的核心能力。
研究品牌建设
白皮书与公开课
本课题框架映射表、防御体系与测评方法论将持续沉淀为《大模型安全攻防白皮书》与系列公开课，与数据可视化中心联动发布，形成"研究—教学—传播"的正循环。
07 · 参考文献（全部可公开检索核验）
以下文献与资料均来自官方发布渠道、顶级学术会议或权威预印本平台，按主题分组排列；引用数据时请以原始版本为准。
- OWASP GenAI Security Project. OWASP Top 10 for LLM Applications 2025 (v2.0, 2024-11). https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
- OWASP GenAI Security Project. OWASP GenAI LLM Top 10 2026（2026-08-03发布，引入7,714起真实事件数据）. https://genai.owasp.org/
- OWASP GenAI Security Project. OWASP Top 10 for Agentic Applications（2025年11月，Black Hat Europe 2025发布）.
- OWASP. OWASP MCP Top 10（2026）.
- MITRE Corporation. ATLAS: Adversarial Threat Landscape for Artificial-Intelligence Systems, v5.1.0（2025-11）. https://atlas.mitre.org/
- NIST. AI Risk Management Framework (AI RMF 1.0), 2023-01；Generative AI Profile (NIST-AI-600-1), 2024-07.
- ISO/IEC 42001:2023. Information technology — Artificial intelligence — Management system.
- 国家网信办等七部门. 《生成式人工智能服务管理暂行办法》（2023年8月15日施行）.
- 国家网信办等四部门. 《互联网信息服务算法推荐管理规定》（2022年3月1日施行）；《互联网信息服务深度合成管理规定》（2023年1月10日施行）.
- 国家网信办等四部门. 《人工智能生成合成内容标识办法》（2025年9月1日施行）；配套强制性国家标准GB 45438-2025.
- 全国网络安全标准化技术委员会（TC260）. 《生成式人工智能服务安全基本要求》（TC260-003）；《人工智能安全治理框架》1.0（2024年9月）.
- Greshake K., Abdelnabi S., Mishra R., Endres C., Holz T., Fritz M. Compromising LLM-Integrated Applications with Indirect Prompt Injection. arXiv:2302.12173, 2023.
- Perez F., Ribeiro I. Ignore Previous Prompt: Attack Techniques For Language Models. arXiv:2211.09527, 2022.
- Liu Y., Jia J., Liu Y., Gong N. Z. Prompt Injection attack against LLM-integrated Applications. arXiv:2306.05499, 2023.
- Shayegani E. et al. HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition. EMNLP 2023. arXiv:2311.16119.
- Zou A. et al. Universal and Transferable Adversarial Attacks on Aligned Language Models. arXiv:2307.15043, 2023.
- Wei A., Haghtalab N., Steinhardt J. Jailbroken: How Does LLM Safety Training Fail? NeurIPS 2023. arXiv:2307.02483.
- Mazeika M. et al. HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal. ICML 2024. arXiv:2402.04249.
- Chao P. et al. JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models. arXiv:2404.01318, 2024.
- Andriushchenko M. et al. AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents. arXiv:2410.09024, 2024.
- Zhu K. et al. PromptBench: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts. arXiv:2306.04128, 2023.
- Carlini N. et al. Extracting Training Data from Large Language Models. USENIX Security 2021.
- Carlini N. et al. Membership Inference Attacks From First Principles. IEEE S&P 2022. arXiv:2112.03570.
- Carlini N. et al. Quantifying Memorization Across Neural Language Models. IEEE S&P 2023. arXiv:2202.07646.
- Tramèr F. et al. Stealing Machine Learning Models via Prediction APIs. USENIX Security 2016.
- Zou W., Geng R., Wang B., Jia J. PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models. USENIX Security 2025. arXiv:2402.07867.
- Chen Z., Xiang Z., Xiao C., Song D., Li B. AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases. NeurIPS 2024. arXiv:2407.12784.
- Cohen S., Bitton R., Nassi B. ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications. arXiv:2403.02817, 2024.
- Deng Y. et al. garak: A Framework for Security Probing Large Language Models. arXiv:2406.12127, 2024.
- Inan H. et al. Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations. arXiv:2312.06674, 2023.
- Invariant Labs. MCP Security Notification: Tool Poisoning Attacks, 2025-03；Trail of Bits. MCP威胁建模与安全实践系列.
- Willison S. The lethal trifecta for AI agents: private data, exposure to untrusted content, and the ability to communicate externally. simonwillison.net, 2025-06.
- Google Project Zero / DeepMind. From Naptime to Big Sleep: using LLM agents to find real-world vulnerabilities. Google Security Blog, 2024-11.
- Anthropic. Disrupting the first reported AI-orchestrated cyber espionage campaign (GTG-1002), 2025-11.
- CrowdStrike. 2026 Global Threat Report（Year of the Evasive Adversary）. 2026-02.
- DARPA. AI Cyber Challenge (AIxCC) Finals, DEF CON 33, 2025-08.
- Aim Security. EchoLeak: The First Zero-Click AI Vulnerability（CVE-2025-32711）, 2025-06.
- Liang W. et al. Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews. Patterns, 2023（GPT检测器对非母语写作者系统性误判）.
- Palo Alto Networks Unit 42. TeamPCP供应链攻击事件分析（Trivy/LiteLLM）, 2026-03；Datadog Security Labs. LiteLLM恶意包分析, 2026-03.
- TeamPCP. 蠕虫与GitHub源码泄露事件公开声明（Shai-Hulud / Mini Shai-Hulud）, 2026-05；Wiz / Platform.sh 公开分析.
- Snyk. ToxicSkills: ClawHub技能市场安全审计, 2026；VirusTotal. OpenClaw技能恶意软件分析, 2026.
- Sysdig. 2025 Threat Trends Report（首个AI Agent驱动入侵的观测记录）, 2025.
- Sysdig Threat Research Team. JADEPUFFER: The First Fully Autonomous AI Ransomware Attack, 2026-07.
- Google Threat Intelligence Group. Update: Widespread Data Theft Campaign Targets Salesforce Instances via Third-Party OAuth Apps（Salesloft Drift / UNC6395）, 2025-08.
- GitHub. GitHub security update: TeamPCP campaign and protection of customer data, 2026-05.
- Expel. Mini Shai-Hulud: A cross-ecosystem supply chain worm（npm/PyPI）, 2026-05；Microsoft. Detection and investigation guidance for Shai-Hulud 2.0, 2025-12.
- SecurityScorecard STRIKE Team. Beyond the Hype: OpenClaw's Real Risk Is Exposed Infrastructure, 2026.
- HackerOne. 2025 Hacker-Powered Security Report（提示词注入有效报告同比+540%）, 2025.
- Cloud Security Alliance. ChatGPhish: When the AI Assistant Becomes the Phishing Vector, 2026-05.
- FBI. Internet Crime Report 2025（首次单列AI相关诈骗统计）, 2025.
更新机制：OWASP榜单、MITRE ATLAS与国内外法规均为年度级更新；本页参考文献与数据随发布周期滚动核验，最近基准日期为2026年9月。欢迎读者逐条核实并向我们反馈勘误（sec@DiMiao.cn）。