11 · 纵深防御体系
模型安全的单点防御几乎不存在——后门可绕过检测器、水印可被移除尝试、DP训练牺牲精度。有效姿态是纵深防御：攻击者突破任何单一防线后，仍会被后续层次拦截、暴露或限制损失。
11.1 防御分层模型
模型安全七层纵深防御（JS绘制）
自上而下对应攻击者推进路径：任意单层失守都不等于全局失守
本专题综合OWASP ML Top 10（2023）思路、NIST AI RMF四职能与上述文献防御方法的归纳。
11.2 三阶段防御清单
| 阶段 | 核心措施 | 对应威胁 | 关键工具/方法 |
|---|---|---|---|
| 训练阶段 | 数据清洗与血缘管理；DP-SGD差分隐私训练；对抗训练提升鲁棒性；模型水印嵌入 | 投毒、后门、成员推断、窃取 | Opacus（Meta开源，PyTorch生态DP库）；ART对抗训练；Adi et al.水印方案 |
| 部署阶段 | 权重哈希签名验证；安全格式优先；API速率限制与输出降维；运行时对抗/后门检测 | 权重篡改、后门触发、API窃取、对抗逃逸 | Picklescan/ModelScan/Fickling；Neural Cleanse；MemGuard |
| 供应链阶段 | 私有镜像仓；CI/CD最小权限与签名发布；AI-BOM物料清单；依赖锁定与审计 | 恶意模型文件、依赖投毒、CI盗用 | ModelScan；Sigstore签名；CycloneDX/SPDX AI-BOM |
与"大模型安全"防御的衔接：模型安全的L3–L7（权重文件安全、运行时防护、查询管控、输出管控、监测响应）与大模型安全的护栏、权限隔离、人在回路体系天然互补——企业应将其作为同一套AI安全工程底座统一建设，而非按课题割裂采购。
12 · 评估基准与工具图谱
12.1 按威胁维度的评估基准
| 评估维度 | 代表性方法 / 工具 | 关键指标 | 出处 |
|---|---|---|---|
| 后门检测 | Neural Cleanse（异常触发器尺寸）、ABS（神经元刺激扫描） | 攻击成功率（ASR）、干净准确率（CA）、检出率/误报率 | IEEE S&P 2019；CCS 2019 |
| 后门基准 | DARPA TrojAI基准数据集与排行榜 | 跨模型族的检测AUC、未知后门类型泛化 | DARPA TrojAI计划 |
| 成员推断 | 影子模型攻击、ML Privacy Meter审计 | 推断准确率、AUC-ROC、(ε,δ)-DP预算 | IEEE S&P 2017；HotPETS 2020 |
| 模型窃取 | 替代模型训练（Knockoff Nets）、查询审计 | 替代模型准确率、所需查询预算 | ICLR 2019 |
| 隐私提取 | Carlini et al.提取方法、记忆化量化 | 可提取的真实样本数、暴露率 | USENIX 2021；2023 |
| 对抗鲁棒性 | ART（IBM）、Foolbox、CleverHans、TextAttack | PGD/AutoAttack下鲁棒准确率、认证半径 | 开源工具（厂商/社区） |
| 供应链安全 | Picklescan、ModelScan、Fickling、garak | 恶意代码检出率、格式覆盖度、依赖漏洞覆盖 | 开源工具（社区/Protect AI/Trail of Bits/NVIDIA） |
| 联邦学习 | DLG反演评估、Krum/FoolsGold鲁棒聚合评测 | 梯度重建误差、后门ASR、共谋容忍度 | NeurIPS 2019；NeurIPS 2017；RAID 2020 |
12.2 开源工具速查
| 工具 | 维护方 | 用途 | 说明 |
|---|---|---|---|
| Picklescan | 开源社区（Hugging Face发起，现由Protect AI维护） | pickle静态扫描 | 检出危险操作码与全局引用，轻量化、可入CI |
| ModelScan | Protect AI（开源） | 模型文件多格式扫描 | 覆盖pickle/H5/PMML/Keras等，检出嵌入恶意代码 |
| Fickling | Trail of Bits（开源） | pickle字节码分析 | 反汇编与模拟执行pickle，识别混淆与逃逸载荷 |
| garak | NVIDIA（开源） | LLM/模型漏洞扫描 | 覆盖提示注入、越狱、数据泄露等探针套件 |
| ART | IBM（开源） | 对抗攻防评估 | 攻击与防御算法最全的对抗样本研究框架之一 |
| Foolbox / CleverHans | 社区开源 | 对抗攻击基准 | 经典梯度攻击实现与基准评测 |
| ML Privacy Meter | NUS数据隐私与可信ML实验室（开源） | 成员推断审计 | 量化成员推断风险与DP预算核算 |
| Opacus | Meta（开源，PyTorch官方组织仓库） | 差分隐私训练 | DP-SGD工程实现，支持逐样本梯度裁剪 |
工具均为公开可查的开源项目；版本功能以各项目官方仓库为准，引用前请核验最新发布状态。
13 · 企业落地路线图
面向计划将模型安全从"课题认知"推进到"工程落地"的组织，本课题给出三阶段路线（可按组织规模等比缩放周期）：
阶段一 · 0–30天
盘点与止血
建立AI-BOM：清点全部在用模型、权重来源、依赖链；对存量模型文件跑Picklescan/ModelScan；关闭公网裸奔的模型API，启用认证与速率限制。
阶段二 · 30–90天
护栏与评估
上线输出降维与查询审计；对新引入权重强制执行安全扫描+哈希签名验证；按敏感度分级引入DP训练评估；建立后门检测（Neural Cleanse/ABS）进CI。
阶段三 · 90天起
度量与运营
建立模型安全度量看板（ASR、检出率、推断AUC、DP预算）；将模型窃取/后门检测用例纳入红队例行演练；对接合规审计（备案、AI Act高风险义务）。
落地原则：模型安全投入的优先级，应跟随"模型资产的价值×暴露面"排序——对外提供付费API的核心模型优先做窃取与水印防护；使用开源权重的业务优先做后门扫描与供应链治理；处理个人敏感数据的场景优先做成员推断审计与DP评估。
14 · 国内外合规要求
中国境内要求
- 生成式AI备案：依据《生成式人工智能服务管理暂行办法》（2023年8月15日施行），面向公众提供生成式AI服务须完成算法备案与安全评估；
- 训练数据合规：《个人信息保护法》《数据安全法》要求训练数据来源合法、最小必要、安全保障；《互联网信息服务算法推荐管理规定》（2022年3月1日施行）确立算法备案与透明度义务；
- 深度合成与标识：《互联网信息服务深度合成管理规定》（2023年1月10日施行）与《人工智能生成合成内容标识办法》（2025年9月1日施行）覆盖输出侧合规；
- 技术标准：TC260《生成式人工智能服务安全基本要求》（TC260-003）提供安全评估的具体技术口径。
国际框架对照
- 欧盟AI Act（2024年8月生效）：高风险AI系统须建立全生命周期风险管理体系、数据治理、技术文档与记录保存义务——模型安全评估是其技术底座；
- NIST AI RMF（2023年1月）：Govern/Map/Measure/Manage四职能构成AI治理通用方法论，NIST AI 600-1（2024年7月）补充生成式AI专项指导；
- ISO/IEC 42001：AI管理体系（AIMS）认证标准，为组织级AI治理提供可认证框架；
- DARPA TrojAI / AIxCC：后门检测基准与自动化攻防赛事，代表攻防能力评估的前沿实践，可作为企业红队建设的参照系。
合规与安全的关系：合规是"下限"，安全评估是"过程"——AI Act与备案制度要求的"安全评估"若要经得起检查，必须以本课题所述的可量化基准（ASR、AUC、DP预算等）为支撑，而非停留在文档承诺层面。
15 · 参考文献（全部可溯源）
以下文献均可在DBLP、IEEE Xplore、USENIX、ACM DL、OpenReview等公开学术数据库逐条核验；事件类条目附CVE编号或官方披露渠道。
[1]Fredrikson M., Jha S., Ristenpart T. Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures. ACM CCS 2015.
[2]Tramèr F., Zhang F., Juels A., Reiter M. K., Ristenpart T. Stealing Machine Learning Models via Prediction APIs. USENIX Security 2016.
[3]Shokri R., Stronati M., Song C., Shmatikov V. Membership Inference Attacks Against Machine Learning Models. IEEE S&P 2017.
[4]Gu T., Liu K., Dolan-Gavitt B., Garg S. BadNets: Evaluating Backdooring Attacks on Deep Neural Networks. IEEE Access, 2019（2017年预印）.
[5]Liu Y., Ma S., Aafer Y., et al. Trojaning Attack on Neural Networks. NDSS 2018.
[6]Blanchard P., El Mhamdi E. M., Guerraoui R., Stainer J. Machine Learning with Adversaries: Byzantine Tolerant Gradient Descent. NeurIPS 2017.
[7]Bonawitz K., Ivanov V., Kreuter B., et al. Practical Secure Aggregation for Privacy-Preserving Machine Learning. ACM CCS 2017.
[8]Abadi M., Chu A., Goodfellow I., et al. Deep Learning with Differential Privacy. ACM CCS 2016.
[9]Adi Y., Baum C., Cisse M., Keshet J., Pinkas B. Turning Your Weakness Into a Strength: Watermarking Deep Neural Networks by Backdooring. USENIX Security 2018.
[10]Wang B., Yao Y., Shan S., et al. Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks. IEEE S&P 2019.
[11]Liu Y., Chen X., Liu C., Song D. Reflection Backdoor: A Natural Backdoor Attack on Deep Neural Networks. ECCV 2020.
[12]Liu Y., Ma S., Aafer Y., Lee W.-C., Zhai J., Wang W., Zhang X. Neural Trojans. IEEE International Conference on Computer Design (ICCD) 2017.
[13]Liu Y., Ma S., Lee W.-C., Zhai J., Wang W., Zhang X. ABS: Scanning Neural Networks for Back-doors by Artificial Brain Stimulation. ACM CCS 2019.
[14]Zhu L., Liu Z., Han S. Deep Leakage from Gradients. NeurIPS 2019.
[15]Bagdasaryan E., Veit A., Hua Y., Estrin D., Shmatikov V. How To Backdoor Federated Learning. AISTATS 2020.
[16]Fung C., Yoon C. J. M., Beschastnikh I. The Limitations of Federated Learning in Sybil Settings. RAID 2020. （FoolsGold）
[17]Wang Z., Liu C., Cui X. EvilModel: Hiding Malware Inside of Neural Network Models. IEEE Symposium on Computers and Communications (ISCC) 2021. arXiv:2107.08590；扩展版 EvilModel 2.0: Bringing Neural Network Models into Malware Attacks, Computers & Security, 2022.
[18]Carlini N., Tramer F., Wallace E., et al. Extracting Training Data from Large Language Models. USENIX Security 2021.
[19]Carlini N., Ippolito D., Jagielski M., et al. Quantifying Memorization Across Neural Networks. ICLR 2023.
[20]Jia J., Salem A., Backes M., Zhang Y., Gong N. Z. MemGuard: Defending against Black-Box Membership Inference Attacks via Adversarial Examples. ACM CCS 2019.
[21]Szegedy C., Zaremba W., Sutskever I., et al. Intriguing properties of neural networks. ICLR 2014.
[22]Goodfellow I. J., Shlens J., Szegedy C. Explaining and Harnessing Adversarial Examples. ICLR 2015.
[23]Carlini N., Wagner D. Towards Evaluating the Robustness of Neural Networks. IEEE S&P 2017.
[24]Madry A., Makelov A., Schmidt L., Tsipras D., Vladu A. Towards Deep Learning Models Resistant to Adversarial Attacks. ICLR 2018.
[25]Athalye A., Carlini N., Wagner D. Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples. ICML 2018.
[26]Athalye A., Engstrom L., Ilyas A., Kwok K. Synthesizing Robust Adversarial Examples. ICML 2018. （EOT）
[27]Eykholt K., Evtimov I., Fernandes E., et al. Robust Physical-World Attacks on Deep Learning Visual Classification. CVPR 2018.
[28]Cohen J., Rosenfeld E., Kolter Z. Certified Adversarial Robustness via Randomized Smoothing. ICML 2019.
[29]Orekondy T., Schiele B., Fritz M. Knockoff Nets: Stealing Functionality of Black-Box Models. CVPR 2019.
[30]Nasr M., Shokri R., Houmansadr A. Machine Learning with Membership Privacy using Adversarial Regularization. ACM CCS 2018. （ML-Leaks）
[31]Murakonda S. K., Shokri R. ML Privacy Meter: Aiding Regulatory Compliance by Quantifying the Privacy Risks of Machine Learning. HotPETS 2020. HotPETS 2020论文全文（petsymposium.org）
[32]NIST. AI Risk Management Framework (AI RMF 1.0), 2023-01；NIST-AI-600-1, 2024-07. nist.gov
[33]European Union. Regulation (EU) 2024/1689 (AI Act), 2024-08生效. EUR-Lex
[34]MITRE ATLAS案例库（恶意模型/ML供应链案例）. atlas.mitre.org
[35]NVD. CVE-2024-3094（XZ Utils后门）. nvd.nist.gov
[36]DARPA. TrojAI Program（AI模型后门检测基准）. darpa.mil
[37]NIST. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations (NIST AI 100-2e2023), 2024-03. csrc.nist.gov
[38]JFrog Security Research. Slopsquatting: How AI Coding Assistants Are Eagerly Suggesting Vulnerable & Malicious Code, 2025. jfrog.com
[39]Turner A., Tsipras D., Madry A. Label-Consistent (Clean-Label) Backdoor Attacks. arXiv:1912.02771, 2019. arxiv.org
[40]Tran B., Li J., Madry A. Spectral Signatures in Backdoor Attacks. NeurIPS 2018.
[41]Steinhardt J., Koh P. W. W., Liang P. S. Certified Defenses for Data Poisoning Attacks. NeurIPS 2017.
[42]Liu T., Liu Z., Liu Q., Wen W., Xu W., Li M. StegoNet: Turn Deep Neural Network into a Stegomalware. ACSAC 2020.
[43]Pan X., Zhang M., Yan Y., Yang M. Understanding the Threats of Trojaned Quantized Neural Network in Model Supply Chains (QUASI). ACSAC 2021.
[44]Carlini N., Tramèr F., Wallace E., Jagielski M., Herbert-Voss A., Lee K., Roberts A., Brown T., Song D., Erlingsson Ú., Oprea A., Raffel C. Poisoning Web-Scale Training Datasets is Practical. IEEE S&P 2024.
[45]Mitchell M., Wu S., Zaldivar A., et al. Model Cards for Model Reporting. ACM FAT* 2019.
[46]Gebru T., Bender E. M., McMillan-Major A., Shmitchell S. Datasheets for Datasets. Communications of the ACM, 2021.
引用说明：文献[1]–[30]与[40]–[46]为同行评审的顶级会议/期刊论文；[17]EvilModel原始发表会议为IEEE ISCC 2021（arXiv:2107.08590，作者与出处已经人工核验更正），其扩展版EvilModel 2.0发表于Computers & Security 2022；[31]为HotPETS 2020研讨会论文，[39]为arXiv预印本，均已明确标注；[32]–[38]为标准、法规与官方数据库条目，所附链接经人工访问核验均可正常打开。本专题对部分文献的"教学性归纳"（如同构对比、能力评分）已明确标注，不与文献结论混淆。
返回总览：AI驱动安全研究专题 · 兄弟子课题：大模型安全攻防（三页分册）、对抗样本防御。迪妙网络空间安全学院将持续跟踪模型安全攻防演进，更新演练剧本与测评基准。
16 · 常见误区与高频问答（FAQ）
以下问答整理自企业安全意识培训与高校科普讲座中的高频问题，答案均可回溯至本专题前文论述与第15节参考文献。
模型私有化部署、离线加载开源权重，是否就没有供应链风险？
不是。风险至少有三层：①权重本身可携带后门触发器，下载微调后触发器随权重继承（BadNets）；②pickle类序列化格式加载即执行嵌入代码；③第三方量化模型可能携带"量化激活型"休眠后门，正常量化操作后自动激活（QUASI, ACSAC 2021）。私有化只消除了"传输链路"风险，不能替代权重扫描、来源验证与行为检测。
做了差分隐私训练，是否就免于成员推断攻击？
不完全。DP-SGD提供的(ε,δ)保障与隐私预算ε强相关：ε越小保护越强、精度损失越大；ε过大时保护趋弱。且DP训练不防御模型窃取与后门攻击，需配合输出降维与ML Privacy Meter等审计工具量化残余风险。
模型水印能否防止模型被窃取？
不能。水印（Adi et al., USENIX Security 2018）的定位是"溯源与威慑"：发现疑似克隆模型时可密码学验证归属。它既不阻止API查询，也存在去除攻击与验证争议，应作为纵深防御的一层而非唯一手段。
对抗训练之后，模型就鲁棒了吗？
不一定。Athalye et al.（ICML 2018）系统证明大量"防御"依赖梯度掩蔽而非真实鲁棒性，可被自适应攻击绕过；认证鲁棒性（如随机平滑）只覆盖可证明半径内的扰动。正确做法是以ART等工具开展自适应攻击下的持续评估，而非一次性通过即宣告安全。
联邦学习"数据不出域"，是否等于数据不泄露？
不是。DLG（NeurIPS 2019）证明共享梯度可被优化反演重建参与方训练样本；联邦后门（AISTATS 2020）证明单点恶意方可注入持久后门。只有叠加安全聚合、鲁棒聚合或差分隐私之后，"数据不出域"才具备安全含义。
模型文件扫描通过，是否意味着模型"干净"？
不是。Picklescan/ModelScan主要检出序列化格式中的危险代码与已知恶意模式，对权重隐写（EvilModel/StegoNet）、量化激活后门（QUASI）及样本级投毒覆盖有限。扫描是必要非充分条件，应与行为检测（Neural Cleanse/ABS）、来源验证和运行时监测组合使用。