01 · 防御技术全景：纵深防御八层
没有任何单一防御能独立解决对抗威胁。本课题参照纵深防御（Defense-in-Depth）思想，将对抗防御组织为八个层次——模型层的鲁棒化（净化、检测、对抗训练、认证）与系统层的兜底（冗余、隔离、人在回路、治理）必须组合使用：
对抗样本纵深防御体系（JS绘制）
从输入到治理的八层防线；下层失守由上层兜底，每层均须经受自适应攻击检验
本专题基于Madry et al. (2018)、Cohen et al. (2019)、Athalye et al. (2018)等文献的体系化归纳。
| 防御族 | 代表工作（出处） | 机制 | 已知局限 |
|---|---|---|---|
| 对抗训练 | PGD-AT (ICLR 2018)；TRADES (ICML 2019)；MART (ICLR 2020)；早停法 (ICML 2020) | 训练内嵌攻击求解，最小化最坏情况损失 | 约10倍算力开销；干净-鲁棒折损；对未见攻击类型泛化有限；存在灾难性过拟合 |
| 认证防御 | 随机平滑 (ICML 2019)；IBP (ICML 2018)；CROWN (NeurIPS 2018)；β-CROWN (NeurIPS 2021) | 为输入给出可证明的鲁棒半径 | 认证半径有限；精度折损；难以覆盖L∞与物理扰动；大规模网络验证成本高 |
| 输入净化 | 特征压缩 (NDSS 2018)；DiffPure (ICML 2022)；DefenseGAN/PixelDefend (ICLR 2018) | 推理期对输入做有损处理以"洗掉"扰动 | 有损处理损害语义；净化器自身可被自适应攻击（BPDA）绕过；延迟成本高 |
| 对抗样本检测 | LID (ICLR 2018)；特征压缩检测 (NDSS 2018)；ReLU激活统计 (ICLR 2019) | 训练二分类器或统计检验区分对抗/干净输入 | 自适应攻击下检测率骤降；理论上检测难度不亚于人分类难度（Tramèr, ICML 2022） |
02 · 对抗训练：唯一的主干防御
对抗训练（Adversarial Training, AT）由Madry等人（ICLR 2018）确立：在训练循环中嵌套PGD攻击求解，使模型直接学习对最坏情况扰动的正确响应。其理论意义在于把对抗防御从"事后补丁"转变为"内生鲁棒性"——这也是至今唯一被反复验证、能同时提升多种Lp攻击鲁棒性的方法。
2.1 三大改进路线
- 折损显式化——TRADES（Zhang et al., ICML 2019）：将鲁棒损失与干净损失的加权折损写入目标函数，并给出与贝叶斯最优鲁棒分类器的理论联系，成为后续几乎所有AT工作的对比基准；官方发布模型在CIFAR-10（WRN-34-10，ε=0.031）上干净准确率84.92%、FGSM-20鲁棒准确率56.61%（AutoAttack口径53.08%）；
- 误分类样本加权——MART（Wang et al., ICLR 2020）：对训练中被误分类的样本施加额外加权，从"误分类样本主导鲁棒性差"的观察出发进一步压榨性能；其收录于RobustBench官方模型库的WideResNet-28-10模型（AutoAttack口径，2026年9月核验）干净准确率87.50%、鲁棒准确率56.29%，是同容量级AT方法的代表性成绩；
- 早停法——Rice et al.（ICML 2020）：发现AT存在严重灾难性过拟合（鲁棒验证损失中途停止下降甚至回升），提出基于验证集鲁棒准确率的早停策略——PGD-AT训练至收敛后鲁棒准确率仅约48.6%，而最佳检查点达约56.8%（PGD-10口径，ε=8/255），一个"零新机制"的纯方法论改进即回收约8个百分点，凸显评估与调参的价值。
鲁棒过拟合实证：对抗训练收敛后性能 vs 最佳检查点（CIFAR-10，ε=8/255）
同一训练流程在不同检查点的PGD鲁棒准确率差异可达约8个百分点——"训练更久更鲁棒"是危险误区
来源：Rice et al., Overfitting in Adversarially Robust Deep Learning, ICML 2020（arXiv:2002.11569）：PGD-AT收敛后鲁棒误差51.4%（≈48.6%准确率）vs 最佳检查点43.2%（≈56.8%）；TRADES复现收敛后50.6%（≈49.4%）vs 论文最佳报告43.4%（≈56.6%）。
2.2 前沿：生成式数据与半监督
AT的两大瓶颈是算力开销与标注数据需求。缓解路径包括：用扩散模型生成额外训练数据（Wang et al., ICML 2023《Better Diffusion Models Further Improve Adversarial Training》将RobustBench收录的鲁棒准确率推至70.69%）；以自监督预训练提升鲁棒性与不确定性质量（Hendrycks et al., ICML 2019）；以及半监督AT（Carmon et al., NeurIPS 2019；Gowal et al., NeurIPS 2021《Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples》，用未标注/生成数据+一致性正则进一步抬升上限）。对抗权重扰动AWP（Wu et al., NeurIPS 2020）则通过在权重空间施加平滑极小化扰动，缓解鲁棒过拟合并改善鲁棒泛化，已成为高鲁棒模型训练的常用组件。
部署须知：AT模型必须连同事先声明的攻击预算（ε）与评估协议一并交付——在ε=8/255上训练的模型对ε=16/255的攻击依然脆弱；同时须以验证集鲁棒准确率做早停，规避灾难性过拟合；"我们做了对抗训练"本身不构成安全声明。
03 · 认证防御：可证明的鲁棒性
经验性鲁棒回答"已知的攻击没打穿"，认证鲁棒回答"在该半径内所有扰动都不可能改变输出"。两大技术路线：
- 随机平滑（Randomized Smoothing）——Cohen et al., ICML 2019：对输入加高斯噪声 σ，统计基础分类器预测构成平滑分类器，利用Neyman-Pearson引理导出可认证的L2半径。优势是可套用于任意黑盒基础模型、可向L0与 top-k 认证扩展；代价是精度折损与"半径-准确率"权衡——以CIFAR-10为例，σ=0.25口径下在L2认证半径0.25（≈64/255）处认证准确率约61%（Cohen et al., 2019原论文报告口径）。后续工作将其与视觉Transformer结合（Salman et al., CVPR 2022）提升了认证效率。
- 完备/不完备验证（Complete/Incomplete Verification）——Wong & Kolter（ICML 2018）提出IBP（区间界传播），在激活函数的凸松弛上做前后向区间传播，训练出可认证的网络；Zhang等人（NeurIPS 2018）的CROWN及后续β-CROWN（Wang et al., NeurIPS 2021）等分支传播算法大幅收紧了可验证界。优势是认证精确；局限是难以扩展到大规模网络，且主要覆盖L∞有界扰动。
实践定位：认证防御目前最适合对保证要求极高、扰动半径要求适中的场景（如金融风控特征、关键医疗影像预筛）；通用感知场景仍以经验性AT为主干、认证方法为补充。
04 · 输入净化与对抗样本检测
4.1 输入净化：推理期的"消毒器"
净化（Purification）在推理期对输入做有损变换以消除扰动：特征压缩（Xu et al., NDSS 2018：JPEG压缩、位深缩减等）是最早的实用方案；扩散净化DiffPure（Nie et al., ICML 2022：先向前加噪再反向去噪）以扩散模型强大的生成先验"洗掉"扰动同时修复语义，成为该方向标杆；基于生成模型先验的净化投影（DefenseGAN, ICLR 2018；PixelDefend, ICLR 2018）则尝试将被扰动样本"拉回"数据流形。共同局限：有损处理可能损害语义；净化器本身是可微的，可被BPDA类自适应攻击近似绕过——净化必须与随机化/认证组合，且评估必须使用完整自适应攻击。
4.2 对抗样本检测：拦不住的"报警器"
检测器尝试区分对抗输入与干净输入：LID（Ma et al., ICLR 2018）利用对抗样本在隐层表示上的局部内在维度异常；特征压缩检测（NDSS 2018）比较原始输入与压缩输入的预测一致性。但必须正视理论警示：Tramèr（ICML 2022）证明，在某些自然假设下，检测对抗样本与正确分类一样难——这意味着检测器只能作为纵深防御中的一环，与净化、AT组合使用，绝不可单独依赖。
常见误区
- "加了JPEG压缩就安全了"——自适应攻击下特征压缩类防御鲁棒性大幅缩水；
- "检测器能拦住攻击"——检测与分类难度相当（Tramèr, ICML 2022），误报与漏报无法两全；
- "对抗补丁太小无所谓"——物理攻击无需数字访问权。
正确姿势
- AT做主干 + 净化/检测做增强 + 系统兜底做保险；
- 所有防御声明必须经过自适应攻击与AutoAttack检验；
- 按威胁模型选型：感知场景重物理鲁棒，风控场景重认证保证。
05 · 评估方法论：让鲁棒性声明可验证
5.1 自适应攻击四步检验（Adaptive Attack Checklist）
Tramèr等人（USENIX Security 2020《On Adaptive Attacks to Adversarial Example Defenses》）将Athalye等人的原则操作化为评估流程：
- 第1步·威胁建模：明确攻击者知识（白盒/黑盒）、目标（无目标/定向）、扰动约束（范数与预算）；
- 第2步·攻击选型：根据防御机制选择攻击族——梯度类防御用BPDA近似，随机化类用EOT，净化类用BPDA+目标攻击组合；
- 第3步·充分调参：以攻击成功率为目标迭代攻击参数，确认攻击已收敛而非"没打够"；
- 第4步·标准化报告：报告干净准确率、AutoAttack鲁棒准确率、认证半径（如适用）与完整评估配置。
5.2 关键基准速查
| 基准 | 出处 | 定位与用途 |
|---|---|---|
| AutoAttack | Croce & Hein, ICML 2020 | APGD-CE/APGD-DLR/FAB/Square四攻击集成，无防御针对性调参；防御论文的默认评估器 |
| RobustBench | Croce et al., JMLR 2021 | 标准化排行榜（CIFAR-10/100、ImageNet，L2/L∞与常见corruption），第三方可复现 |
| BPDA / EOT | Athalye et al., ICML 2018 | 绕过不可微/随机化防御的自适应攻击方法论，已融入主流评估工具 |
| 随机平滑认证 | Cohen et al., ICML 2019 | L2可证明半径的标准认证协议与样本量界 |
5.3 RobustBench榜单快照（CIFAR-10，L∞ ε=8/255，AutoAttack口径）
| 排名 | 模型（出处） | 干净准确率 | 鲁棒准确率 | 方法要点 |
|---|---|---|---|---|
| 1 | Bartoldson2024（ICML 2024） | 93.68% | 73.71% | WRN-94-16；缩放定律与人眼对齐驱动的规模化研究 |
| 2 | Amini2024 MeanSparse（arXiv 2024） | 93.60% | 73.10% | S-WRN-94-16；训练后均值中心特征稀疏化（MeanSparse，作用于对抗训练模型） |
| 3 | Bartoldson2024（ICML 2024） | 93.11% | 71.59% | WRN-82-8；同系列较小容量模型 |
| 4 | Peng2023（BMVC 2023） | 93.27% | 71.07% | RaWideResNet-70-16；鲁棒架构设计原则（Robust Principles） |
| 5 | Wang2023（ICML 2023） | 93.25% | 70.69% | WRN-70-16；扩散模型数据增强AT（曾创当时纪录） |
来源：RobustBench官方排行榜与官方GitHub仓库Model Zoo（robustbench.github.io，2026年9月访问，本次核验与仓库数据完全一致）；榜单持续更新，引用时请以实时榜单与原始论文为最终依据。
榜单现状的解读：即便以榜首73.71%（Bartoldson et al., ICML 2024）计，也意味着约26%的样本在标准攻击预算内会被攻破——这正是"模型层防御必须叠加系统层兜底"的量化依据；同时榜单头部模型的干净准确率（93%+）与自然模型（95.29%）的差距已显著收窄，说明规模化与生成式增强正在同时改善两个指标。
06 · 应用场景风险矩阵
| 应用场景 | 攻击风险 | 防御组合建议 | 紧迫度 |
|---|---|---|---|
| 反钓鱼AI检测 | 对抗扰动绕过邮件分类器；对抗噪声干扰OCR与深度伪造检测 | AT主干+检测增强+邮件多特征融合（不依赖单一模型分数） | 高 |
| 自动驾驶感知 | 交通标志误识别、障碍物忽略（RP2, CVPR 2018已物理验证） | 物理鲁棒AT+多传感器融合冗余+异常感知兜底 | 高 |
| 人脸/声纹核身 | 对抗眼镜冒充他人（CCS 2016）；合成语音与不可闻指令（CCS 2017） | 活体检测增强+多模态（红外/深度/唇动）融合+对抗训练 | 高 |
| 医疗影像 | 病灶误识别与诊断偏差（Finlayson et al., Science 2019） | 认证鲁棒+扰动可视化告警+医生强制复核（人在回路） | 高 |
| 内容审核 | 文本对抗与排版攻击规避检测（ACL 2020；Distill 2021） | 多模型集成审核+语义级规则兜底+持续红队测评 | 中高 |
| 金融风控 | 欺诈特征扰动绕过评分卡与反欺诈模型 | 表格特征AT+规则引擎兜底+认证防御保障关键特征 | 中高 |
| 语音助手/IoT | Hidden Voice Commands（USENIX Sec 2016）、CommanderSong（USENIX Sec 2018） | 频谱异常检测+多通道一致性校验+指令二次确认 | 中 |
| 多模态大模型应用 | 排版攻击翻转分类；跨模态提示注入；越狱后缀（GCG） | 与"大模型安全攻防"子课题联动：输入隔离+输出过滤+权限最小化 | 中高 |
07 · 企业落地路线图与教研产出
7.1 四阶段落地路线
PHASE 1
摸清家底
盘点业务线中的深度学习模型（分类/检测/生成），按"单模型决策权重×被绕过后果"排定优先级。
PHASE 2
基线测评
用AutoAttack+迁移攻击对Top模型做首轮体检，建立干净/鲁棒准确率基线档案。
PHASE 3
纵深加固
核心模型上AT（附验证集早停）；外围配净化/检测；系统层落实最小权限、出口管控与速率限制。
PHASE 4
持续运营
红队季度演练（含物理攻击场景）；模型更新回归测评；监控对抗样本检出信号。
7.2 与学院教研的结合
- 演练剧本库：第2页收录的27个攻击方法（五大攻击线合计）经合规改编后可作为企业红队与钓鱼演练的测评用例；
- 教学案例库："熊猫变长臂猿"等经典示例是青少年AI安全启蒙的最佳素材，与"眼见不为实"媒介素养课衔接；
- 检测用例基准：评估清单（第5.1节）可直接转化为AI安全产品的验收测试集。
08 · 参考文献（真实可查，venues与年份经核实）
[1]Szegedy C. et al. Intriguing Properties of Neural Networks. ICLR 2014.（对抗样本首次提出）
[2]Goodfellow I.J., Shlens J., Szegedy C. Explaining and Harnessing Adversarial Examples. ICLR 2015.（FGSM与线性性假说）
[3]Papernot N. et al. The Limitations of Deep Learning in Adversarial Settings. EuroS&P 2016.（JSMA）；Papernot N. et al. Transferability in Machine Learning: from Phenomena to Black-Box Attacks using Adversarial Samples. AsiaCCS 2016.（迁移性系统研究）
[4]Moosavi-Dezfooli S.-M. et al. DeepFool: A Simple and Accurate Method to Fool Deep Neural Networks. CVPR 2016.
[5]Carlini N., Wagner D. Towards Evaluating the Robustness of Neural Networks. IEEE S&P 2017.（C&W攻击）
[6]Chen P.-Y. et al. ZOO: Zeroth Order Optimization Based Black-box Attacks to Deep Neural Networks. USENIX Security 2017.
[7]Kurakin A., Goodfellow I., Bengio S. Adversarial Examples in the Physical World. ICLR 2017 Workshop.（BIM与物理世界FGSM）
[8]Gu T. et al. BadNets: Evaluating Backdooring Attacks on Deep Neural Networks. ACSAC 2017.
[9]Brown T.B. et al. Adversarial Patch. NeurIPS 2017.（对抗补丁）
[10]Liu Y. et al. Trojaning Attack on Neural Networks. NDSS 2018.（TrojanNN）
[11]Madry A. et al. Towards Deep Learning Models Resistant to Adversarial Attacks. ICLR 2018.（PGD与对抗训练）
[12]Tramèr F. et al. Ensemble Adversarial Training: Attacks and Defenses. ICLR 2017.（迁移攻击与集成防御）
[13]Brendel W., Rauber J., Bethge M. Decision-Based Adversarial Attacks: Reliable Attacks Against Black-Box Machine Learning Models. ICLR 2018.（Boundary Attack）
[14]Athalye A., Carlini N., Wagner D. Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples. ICML 2018.（BPDA/EOT与自适应攻击原则）
[15]Ilyas A. et al. Black-box Adversarial Attacks with Limited Queries and Information. ICML 2018.（NES）
[16]Xu W. et al. Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks. NDSS 2018.
[17]Ma X. et al. Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality. ICLR 2018.（LID）
[18]Wong E., Kolter Z. Provable Defenses against Adversarial Examples via the Convex Outer Adversarial Polytope. ICML 2018.（IBP）
[19]Dong Y. et al. Boosting Adversarial Attacks with Momentum. CVPR 2018.（MIFGSM）
[20]Zhang H. et al. Theoretically Principled Trade-off between Robustness and Accuracy. ICML 2019.（TRADES）
[21]Cohen J., Rosenfeld E., Kolter Z. Certified Adversarial Robustness via Randomized Smoothing. ICML 2019.
[22]Hendrycks D. et al. Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty. ICML 2019.
[23]Finlayson S.G. et al. Adversarial Attacks on Medical Artificial Intelligence Systems. Science 363(6433), 2019.
[24]Wang Y. et al. Improving Adversarial Robustness Requires Revisiting Misclassified Examples. ICLR 2020.（MART）
[25]Rice L., Wong E., Kolter Z. Overfitting in Adversarially Robust Deep Learning. ICML 2020.（灾难性过拟合与早停）
[26]Croce F., Hein M. Reliable Evaluation of Adversarial Robustness with an Ensemble of Diverse Parameter-free Attacks. ICML 2020.（AutoAttack）
[27]Andriushchenko M. et al. Square Attack: A Query-Efficient Black-Box Adversarial Attack via Random Search. ICLR 2020.
[28]Tramèr F. et al. On Adaptive Attacks to Adversarial Example Defenses. USENIX Security 2020.
[29]Jin D. et al. Is BERT Really Robust? A Strong Baseline for Natural Language Attack on Text Classification and Entailment. ACL 2020.（TextFooler）
[30]Chen J. et al. HopSkipJumpAttack: A Query-Efficient Decision-Based Attack. IEEE S&P 2020.
[31]Croce F. et al. Evaluating the Adversarial Robustness of Adaptive Test-time Defenses. JMLR 22(83), 2021.（RobustBench）
[32]Gowal S. et al. Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples. NeurIPS 2021.（半监督/生成数据AT）
[33]Li L. et al. BERT-Attack: Adversarial Attack Against BERT Using BERT. EMNLP 2020.
[34]Nie W. et al. Diffusion Models for Adversarial Purification. ICML 2022.（DiffPure）
[35]Salman H. et al. Certified Patch Robustness via Smoothed Vision Transformers. CVPR 2022.
[36]Wang Z. et al. Better Diffusion Models Further Improve Adversarial Training. ICML 2023.（RobustBench收录鲁棒准确率70.69%）
[37]Tramèr F. Detecting Adversarial Examples Is (Nearly) As Hard As Classifying Them. ICML 2022（PMLR 162, pp.21692–21702）.（检测难度理论）
[38]Carlini N. et al. Hidden Voice Commands. USENIX Security 2016；Yuan X. et al. CommanderSong. USENIX Security 2018；Zhang G. et al. DolphinAttack. CCS 2017.（音频攻击三经典）
[39]Goh G. et al. Multimodal Neurons in Artificial Neural Networks. Distill, 2021.（排版攻击）
[40]Zou A. et al. Universal and Transferable Adversarial Attacks on Aligned Language Models. arXiv:2307.15043, 2023.（GCG）；Wei A. et al. Jailbroken: How Does LLM Safety Training Fail? NeurIPS 2023.
[41]Xiang Z. et al. PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models. NDSS 2025.
[42]Gilmer J. et al. Adversarial Spheres. NeurIPS 2018 Workshop.（高维几何视角）
[43]Biggio B. et al. Evasion Attacks against Machine Learning at Test Time. ECML-PKDD 2013.（对抗样本的独立早期来源）
[44]Bartoldson B.R. et al. Adversarial Robustness Limits via Scaling-Law and Human-Alignment Studies. ICML 2024.（RobustBench CIFAR-10 L∞榜首73.71%）
[45]Wang S. et al. β-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Neural Network Robustness Verification. NeurIPS 2021.
[46]Wu D. et al. Adversarial Weight Perturbation Helps Robust Generalization. NeurIPS 2020.（AWP）
[47]Samangouei P., Kabkab M., Chellappa R. Defense-GAN: Protecting Classifiers Against Adversarial Attacks Using Generative Models. ICLR 2018.
[48]Song Y. et al. PixelDefend: Leveraging Generative Models to Understand and Defend Against Adversarial Examples. ICLR 2018.
[49]Shafahi A. et al. Adversarial Training for Free! NeurIPS 2019.（快速对抗训练）
[50]Carmon Y. et al. Unlabeled Data Improves Adversarial Robustness. NeurIPS 2019.（半监督对抗训练）
[51]Ilyas A., Santurkar S., Tsipras D., Engstrom L., Tran B., Madry A. Adversarial Examples Are Not Bugs, They Are Features. NeurIPS 2019.（非鲁棒特征解释，第1页1.1节引用）
数据基准说明：本页所引图表数据以各论文报告值、官方仓库模型卡与公开排行榜为准（鲁棒过拟合图由Rice et al.报告的鲁棒误差换算为准确率）；RobustBench榜单为2026年9月访问口径，榜单持续更新，请以 robustbench.github.io 与原始论文为最终依据。
在线权威资源（本次核验均可正常访问，无失效链接）：RobustBench排行榜与模型库 robustbench.github.io ｜ MITRE ATLAS atlas.mitre.org ｜ TRADES官方仓库 github.com/yaodongyu/TRADES ｜ AutoAttack官方仓库 github.com/fra31/auto-attack ｜ TRADES论文 arXiv:1901.08573 ｜ Rice et al.鲁棒过拟合论文 arXiv:2002.11569 ｜ GCG越狱攻击 arXiv:2307.15043。