01 · 研究概述与定位
1.1 定义边界：什么是对抗样本与对抗鲁棒性
本课题的研究对象是机器学习（尤其是深度学习）系统在对抗扰动下的行为失稳问题及其防御。2014年，Szegedy等人在ICLR论文《Intriguing Properties of Neural Networks》中首次揭示：在输入上施加人眼几乎无法察觉的微小扰动，即可使深度网络以高置信度输出错误分类。这一发现动摇了"深度模型已逼近甚至超越人类感知"的乐观叙事——模型学到的"决策边界"并非人类可理解的语义边界，而是高维空间中高度非线性的统计曲面。
对抗样本的形式化定义是一个min-max博弈问题：攻击者在约束条件 ‖η‖p ≤ ε 内选择扰动 η 以最大化模型损失，防御者则通过训练或系统设计最小化最坏情况下的损失（Goodfellow et al., ICLR 2015；Madry et al., ICLR 2018）。其中范数约束的选择具有明确的语义含义：
- L∞范数（逐像素最大扰动）：最主流的评估设定，CIFAR-10标准半径 ε=8/255、ImageNet标准半径 ε=4/255；
- L2范数（扰动总能量）：与随机平滑认证框架（Cohen et al., ICML 2019）天然匹配；
- L0范数（修改像素数量）：对应稀疏攻击，与图像修补、物理贴纸攻击更接近。
关于对抗样本为何存在，学界形成两派互补的解释："线性性假说"认为高维空间中模型的线性成分足以积累出显著的对抗扰动（Goodfellow et al., ICLR 2015）；高维几何观点则指出，几乎所有测试样本都位于某个对抗方向附近，对抗误差与正常误差之间存在可证明的关联（Gilmer et al., NeurIPS 2018《Adversarial Spheres》）。两派之外，Ilyas等人（NeurIPS 2019《Adversarial Examples Are Not Bugs, They Are Features》）给出第三重解释：“非鲁棒特征”——数据中存在大量对分类有用、但对人类感知无意义的非鲁棒特征，标准训练会优先利用这些特征，对抗扰动本质上是将样本沿非鲁棒特征方向移过决策边界。三派共识是：对抗脆弱性不是实现层面的缺陷，而是当前统计学习范式的结构性属性。
核心洞察：对抗样本的本质是模型"语义理解"与"统计关联"之间的鸿沟——模型依赖的特征与人类理解的语义特征并不一致，攻击者利用这一差距构造误导性输入。防御的终极目标是让模型的决策对齐人类语义，而非仅在某一特定攻击下刷高指标。
1.2 关键窗口期：四组可溯源的硬数据
以下数据全部来自公开学术论文与排行榜，构成本课题风险研判的量化底座：
来源：Zhang et al. (ICML 2019) §5.3.2、Table 5及官方仓库README；RobustBench公开排行榜（robustbench.github.io，2026年9月访问）；Croce & Hein (ICML 2020)；MITRE ATLAS v5.1.0（2025-11发布口径，2026年9月访问）。
1.3 学院定位：与迪妙主旨的深度结合
迪妙网络空间安全学院依托CNNIC及公共互联网反网络钓鱼工作组的长期实践，聚焦企业员工安全意识培训与青少年网络安全启蒙教育。对抗样本防御研究与这一主旨存在三重直接连接：
- 反钓鱼AI防线自身的脆弱性：邮件钓鱼检测、OCR票据识别、人脸核身、声纹验证等防线本身多为深度学习模型，同样存在被对抗扰动绕过的风险。研究对抗样本，是评估"用AI防钓鱼"方案可信度的前提。
- 深度伪造攻防的必修基础：深度伪造检测器本身可被对抗噪声绕过（本课题第3页详述），"对抗样本防御"与"深度伪造检测"互为攻防两面，共同构成反钓鱼工作组的研判能力底座。
- 青少年数字素养教育的最佳载体：对抗样本是"眼见不为实"最直观的技术注脚——一张熊猫图加入肉眼不可见的噪声即被识别为长臂猿（Goodfellow et al., 2015的经典示例），为批判性思维训练提供了无可替代的真实素材。
1.4 研究方法论原则
- 来源分级：优先采用顶级学术会议论文（ICML、NeurIPS、ICLR、IEEE S&P、USENIX Security、NDSS、CVPR、CCS）、公开排行榜（RobustBench、AutoAttack）与标准化基准；厂商报告标注立场；博客仅作线索。
- 证据三分：行文严格区分"已证实结论"（经同行评审或公开复现）、"机构评估"（如厂商披露）与"本专题归纳"（教学性类比与总结），杜绝把推测当作事实引用。
- 攻防克制：所有攻击技术仅作机制性、科普性说明，不提供可直接复用的攻击代码；相关测评须在授权环境下进行。
- 时效标注：鲁棒性榜单更迭极快，本专题数据基准为2026年9月，关键数字均注明出处与口径。
合规与伦理声明：本课题仅基于公开学术文献开展研究性梳理，文中攻击方法均来自已发表论文的机制描述，用于防御研究、评估体系建设与安全教育，严禁用于绕过任何真实系统或干扰AI安全产品。
02 · 威胁模型：攻击者知道什么、能做什么
脱离威胁模型讨论防御是无意义的。对抗攻防文献按攻击者的知识水平与介入能力，建立了清晰的能力谱系：
| 威胁等级 | 攻击者知识 | 可实施攻击 | 现实对应场景 |
|---|---|---|---|
| 白盒 | 完整模型架构、参数、梯度、训练数据 | FGSM、PGD、C&W、DeepFool、JSMA——梯度优化攻击 | 开源模型被恶意微调；模型窃取后的二次攻击；内部威胁 |
| 灰盒 | 仅输出置信度分数或损失值 | NES估计、ZOO坐标下降、分数迁移攻击 | 开放API（按置信度返回） |
| 黑盒（决策） | 仅最终类别标签 | Boundary Attack、HopSkipJump、Square Attack | 绝大多数商用API与SaaS服务 |
| 黑盒（迁移） | 无任何查询，仅训练替代模型 | 替代模型生成扰动迁移至目标 | 攻击无法查询的高价值目标（自动驾驶、风控模型） |
| 物理世界 | 无法访问数字输入，只能修改物理对象 | 对抗贴纸、眼镜框、路牌涂鸦、不可闻声波 | 摄像头感知、人脸识别门禁、智能音箱、车载语音 |
| 训练期 | 可污染训练数据或供应链 | 数据投毒、后门触发器、模型文件篡改 | 第三方数据集、预训练模型仓库、外包标注 |
迁移性是黑盒威胁放大的根源。Papernot等人（EuroS&P 2016）系统证明了对抗样本在不同模型间的迁移性；Tramèr等人（ICLR 2017）进一步表明：仅集成少量异构模型进行对抗训练，才能显著降低迁移攻击成功率——这一发现直接否定了"我在私有模型上测过很安全"的常见误区。
目标函数维度同样关键：无目标攻击（只要错即可）与定向攻击（诱导为指定类别）难度不同；C&W攻击（Carlini & Wagner, IEEE S&P 2017）之所以成为标杆，正在于其定制的损失函数能在极小扰动预算内稳定求解定向攻击，此后几乎所有防御评估都以能否经受C&W检验为试金石。
03 · 攻击方法分类学：四大攻击族
十余年的研究沉淀出四大攻击族，覆盖从理论极限到物理落地的完整能力光谱：
| 攻击族 | 代表方法（出处） | 核心机制 | 防御启示 |
|---|---|---|---|
| 白盒梯度 | FGSM (ICLR 2015)；BIM (Kurakin, ICLR 2017w)；PGD (ICLR 2018)；C&W (S&P 2017)；DeepFool (CVPR 2016)；JSMA (EuroS&P 2016) | 利用损失对输入的梯度方向构造扰动，PGD为多步投影梯度下降的基本求解器 | 任何不经梯度攻击检验的防御声明均不可信 |
| 黑盒查询 | ZOO (Chen, USENIX Sec 2017)；NES (Ilyas, ICML 2018)；Boundary (Brendel, ICLR 2018)；Square (Andriushchenko, ICLR 2020)；HopSkipJump (Chen, S&P 2020) | 零阶优化：以查询反馈估计梯度或直接沿决策边界搜索，Square仅需数十次查询即可达到高成功率 | "不公开模型就安全"是错觉——查询攻击成本已极低 |
| 物理世界 | 对抗眼镜 (Sharif, CCS 2016)；Adversarial Patch (Brown, NeurIPS 2017)；RP2路牌攻击 (Eykholt, CVPR 2018)；EOT (Athalye, ICLR 2018) | 将扰动打印/投射到物体表面，EOT对光照、角度、距离做期望变换以保证鲁棒性 | 感知系统需端到端物理鲁棒性评估，数字指标不能直接外推 |
| 训练期 | BadNets (Gu, ACSAC 2017)；TrojanNN (Liu, NDSS 2018)；PoisonedRAG (NDSS 2025) | 污染训练数据或植入触发器，使模型在特定模式出现时输出攻击者指定结果 | 供应链审计、数据溯源、神经净化（NAD, ICLR 2021）缺一不可 |
3.1 与经典Web安全的同构对比
对熟悉Web安全的读者，下列同构映射可显著降低理解门槛；但请注意"关键差异"列——对抗场景下的同类防御往往更脆弱：
| 对抗防御手段 | 经典Web安全对应 | 本质共性 | 关键差异 |
|---|---|---|---|
| 对抗训练（AT） | 安全编码规范的内化 | 把威胁样本纳入开发/训练过程，内生提升鲁棒性 | 成本约10倍，且存在干净准确率-鲁棒准确率折损；无法覆盖未见攻击类型 |
| 输入净化 | 输入消毒/参数化查询 | 在消费前对输入做有损处理以消除载荷 | 压缩、去噪会损害语义；扩散净化成本高，自适应攻击可绕过（第3页详述） |
| 对抗样本检测 | WAF / IDS | 识别异常输入并拦截 | 理论上"检测与分类难度相当"（Tramèr, ICML 2022），自适应攻击下单独依赖检测不可靠 |
| 认证防御 | 形式化验证 | 给出可证明的保证而非经验性结论 | 保证半径有限、精度折损大、难以扩展到大规模模型与物理扰动 |
| 随机化防御 | 随机化/金丝雀部署 | 引入不确定性以抬升攻击成本 | 期望过变换（EOT）可将随机性"平均掉"，随机化必须结合认证才有意义 |
注：同构对比为本专题的教学性归纳，用于降低理解门槛，不构成严格的理论等价断言。
04 · 权威评估体系：从"自欺"到"标准化"
4.1 方法论的三次危机与确立
对抗防御研究在2016—2020年间经历了三次重大方法论危机，每一次都重塑了评估范式：
- 第一次危机（2016—2017）：评估攻击太弱。早期防御仅报告对FGSM单步攻击的鲁棒性，随后被BIM、PGD等强攻击击穿。Madry等人（ICLR 2018）确立PGD对抗训练作为第一根可靠基线。
- 第二次危机（2018）：梯度掩蔽的虚假安全感。Athalye等人（ICML 2018）在《Obfuscated Gradients Give a False Sense of Security》中系统展示：7种已发表论文的防御依赖"混淆梯度"虚增鲁棒性，使用BPDA（后向传播差异化近似）与EOT（期望过变换）的自适应攻击后全部失效。该文提出至今沿用的自适应攻击三原则：攻击者知晓防御、针对性构造攻击、充分调参验证收敛。
- 第三次危机（2020至今）：评估碎片化。Croce & Hein推出AutoAttack（ICML 2020）——集成APGD-CE、APGD-DLR、FAB、Square四种无参数攻击，杜绝"为防御调参"的嫌疑；RobustBench（Croce et al., JMLR 2021）提供标准化模型、攻击与数据集的公开排行榜。通过AutoAttack检验、上榜RobustBench，成为防御被学界认可的前提。
4.2 量化落差：干净准确率与鲁棒准确率
下图汇总TRADES论文（Zhang et al., ICML 2019）实测与官方仓库模型卡数据（CIFAR-10，WideResNet-34-10，L∞ ε=0.031，FGSMk-20白盒攻击口径）：未经防御的自然训练模型鲁棒准确率仅2.5%；Madry对抗训练（论文复现口径）在付出约10个百分点干净准确率代价后将鲁棒准确率提升至47.04%；TRADES官方发布模型在同口径下达56.61%（AutoAttack口径为53.08%）：
4.3 认证评估：从经验鲁棒到可证明鲁棒
上述所有数字都是经验性鲁棒——只能说明"我们试过的攻击没打穿"。认证防御（Certified Defense）追求更强保证：对给定输入，声明Lp范数球内所有扰动都不会改变输出。Cohen等人（ICML 2019）提出的随机平滑（Randomized Smoothing）是当前主流路线：给输入加高斯噪声、对基础分类器做多数投票，即可在L2范数下获得可证明的认证半径，且可套用于任意基础模型。其代价是精度折损与半径-准确率权衡——以CIFAR-10为例，σ=0.25口径下在L2认证半径0.25（≈64/255）处认证准确率约61%（Cohen et al., 2019原论文报告口径）。细节见第3页第3节。
4.4 对抗攻防大事记（2013—2026）
以可溯源文献为准，梳理对抗样本研究的关键节点——大事记同时标注了"评估方法论危机"的发生时刻，供快速建立领域时间轴：
| 年份 | 事件 | 意义 |
|---|---|---|
| 2013 | Biggio et al. 提出对机器学习分类器的逃逸攻击（ECML-PKDD） | 对抗样本的独立早期来源，早于深度学习时代 |
| 2014 | Szegedy et al.《Intriguing Properties》（ICLR 2014） | 深度网络对抗样本首次揭示，领域开端 |
| 2015 | FGSM与"线性性假说"（Goodfellow et al., ICLR） | 单步攻击与可解释框架，攻防军备竞赛启动 |
| 2016 | JSMA与迁移性（EuroS&P）；DeepFool（CVPR）；对抗眼镜（CCS）；Hidden Voice Commands（USENIX Sec） | 攻击扩展至多模型迁移、物理佩戴与音频通道 |
| 2017 | C&W攻击（IEEE S&P）；ZOO黑盒攻击（USENIX Sec）；对抗补丁（NeurIPS）；BadNets后门（ACSAC） | 极小扰动定向攻击、零阶黑盒与后门攻击三线并进；蒸馏防御被攻破宣告"弱评估"时代终结 |
| 2018 | PGD对抗训练（ICLR）；《Obfuscated Gradients》（ICML）；EOT；RP2路牌攻击（CVPR）；集成对抗训练（ICLR 2017）；IBP认证（ICML 2018） | 第一次方法论危机（梯度掩蔽）爆发；防御评估进入自适应攻击时代 |
| 2019 | TRADES（ICML）；随机平滑认证（ICML）；特征压缩（NDSS）；医疗AI攻击（Science） | 折损理论化、可证明鲁棒路线确立、领域获得顶级期刊背书 |
| 2020 | AutoAttack（ICML）；鲁棒过拟合与早停（ICML）；Square攻击（ICLR）；自适应攻击评估体系化（USENIX Sec） | 第三次方法论危机（评估碎片化）被标准化工具终结 |
| 2021—2022 | RobustBench（JMLR）；半监督AT（NeurIPS 2021）；DiffPure（ICML 2022）；检测难度理论（ICML 2022） | 公开排行榜时代；净化防御兴起；检测的结构性局限被证明 |
| 2023—2024 | 扩散数据增强AT（ICML 2023）；Bartoldson et al. 73.71%登顶RobustBench（ICML 2024） | 鲁棒准确率突破70%量级，但干净-鲁棒折损与算力开销依旧 |
| 2025 | PoisonedRAG（NDSS）；对抗攻击与LLM安全研究汇流 | 投毒攻击延伸至RAG检索库，三大子课题交汇 |
注：年份为该工作首次公开发表（会议/期刊）年份；榜单数字为2026年9月访问口径。
05 · 趋势研判与本篇小结
综合多源权威文献，本课题形成三点研判：
- 研判一：评估方法论成为攻防分水岭。2018年"梯度掩蔽"事件后，"自适应攻击+AutoAttack+公开榜单"成为硬门槛；不会正确评估防御的组织，其鲁棒性声明不具任何参考价值（Athalye et al., 2018；Tramèr et al., 2020；Croce et al., 2021）。
- 研判二：对抗训练仍是主干，生成式增强与规模化正在改写上限。扩散模型生成数据驱动的对抗训练将CIFAR-10鲁棒准确率推至70.69%（Wang et al., ICML 2023），规模化研究进一步把榜首推至73.71%（Bartoldson et al., ICML 2024，2026年9月榜单口径），但干净-鲁棒折损与高算力开销仍制约企业落地；半监督/自监督对抗训练（Carmon et al., NeurIPS 2019；Gowal et al., NeurIPS 2021）与快速对抗训练（Shafahi et al., NeurIPS 2019）是缓解数据与算力依赖的重要方向。
- 研判三：对抗威胁从"像素"扩展到"语义token"，与LLM安全汇流。文本、音频、多模态与LLM越狱攻击本质都是离散空间中的对抗优化（TextFooler, ACL 2020；GCG, 2023；Wei et al., NeurIPS 2023），与本专题"大模型安全攻防"子课题互为表里。