01 · 研究概述与定位
1.1 定义边界：什么是"机器学习模型安全"
本课题的研究对象是机器学习模型作为数字资产本身的全生命周期安全，覆盖五个环节：训练数据、训练过程、模型权重、推理服务与分发链路。与兄弟子课题"大模型安全攻防"（聚焦LLM作为系统组件的注入、Agent与护栏问题）和"对抗样本防御"（聚焦推理时输入操纵）相比，本课题的核心关切是：攻击者如何在无需攻破宿主系统的前提下，窃取、操纵或污染模型这一资产本身。厘清三个边界是避免概念混淆的第一步：
- 模型安全 ≠ 对抗样本防御：对抗样本仅是"运行时输入操纵"这一个切面；本课题同时覆盖训练时污染（数据投毒、后门植入）、静态权重威胁（窃取、篡改、隐写、水印溯源）、分发链路威胁（恶意模型文件、依赖投毒）与推理服务威胁（API级窃取、成员推断）。
- 模型安全 ≠ 大模型安全：大模型安全研究"LLM接入业务后的系统可控性"；模型安全研究"模型泛化能力本身如何被攻击与保护"。两者的交叉区——训练数据记忆化泄露（Carlini et al., USENIX Security 2021）与开源权重供应链——正是当前攻防最活跃的地带。
- 威胁模型根本不同：传统软件攻击需要利用漏洞获得执行能力；模型攻击只需"合法调用"——通过预测API的输入输出即可抽取等价模型（Tramèr et al., USENIX Security 2016 首次给出形式化攻击）。模型的商业机密就暴露在其对外服务的接口上，这是与传统软件安全最本质的差异。
1.2 为什么是"关键窗口期"：四组结构性变化
模型安全并非新议题（首个模型窃取攻击发表于2016年），但2023—2026年间四组结构性变化使其从学术风险演变为产业级现实威胁：
- 开源权重生态的爆炸式普及：Hugging Face托管模型于2024年4月官方宣布突破100万个，2025年底已超过200万个（第二个百万仅用时约335天），绝大多数由社区用户未经安全审计直接上传；下游企业以"拿来即微调"的方式使用社区权重，把上游的任何投毒、后门或恶意代码直接引入生产环境——模型分发链已成为事实上的"新型软件供应链"。
- "长潜伏+信任链"攻击范式向AI工程链蔓延：XZ Utils后门事件（CVE-2024-3094，CVSS评分10.0，2024年3月披露）证明数月乃至数年的耐心潜伏可以击穿全球最基础的信任链；2026年3月的TeamPCP供应链战役（公开披露：3月19日Trivy扫描器因GitHub Actions工作流配置缺陷失守→3月24日攻击者利用从LiteLLM CI管道被盗的PyPI凭证，直接向PyPI发布投毒版本1.82.7/1.82.8，其中恶意.pth文件在任意Python进程启动时即执行、无需import该库，约3小时后PyPI将该项目隔离；该库月下载量约9500万，被云环境广泛部署）表明同一范式已精确复制到AI工程工具链。
- 监管合规从倡导变为强制：欧盟《人工智能法案》（2024年8月生效）对高风险AI系统提出全生命周期风险管理义务；中国《生成式人工智能服务管理暂行办法》（2023年8月施行）确立算法备案与安全评估制度。模型安全评估正从"最佳实践"变为"准入门槛"。
- 攻防自动化军备竞赛启动：DARPA TrojAI专项（2019年启动）推动后门检测从研究原型走向可部署工具；美国DARPA AI Cyber Challenge（AIxCC，2023年启动）则验证了"AI自动发现与修补漏洞"的可行性——攻防两侧都在快速工业化。
来源：Hugging Face平台官方里程碑公告（2024年4月突破100万个）及公开统计（2025年底突破200万个）；NVD CVE-2024-3094条目；Abadi et al., CCS 2016；Wang et al., IEEE S&P 2019；TeamPCP供应链战役公开披露与Datadog Security Labs、Snyk、Endor Labs等厂商分析（2026-03）。
1.3 学院定位：与迪妙主旨的三重连接
迪妙网络空间安全学院依托CNNIC及公共互联网反网络钓鱼工作组的长期实践，聚焦企业员工安全意识培训与青少年网络安全启蒙教育。模型安全与这一主旨存在三重直接连接：
- 反钓鱼工作组的"镜像战场"：钓鱼邮件检测、URL分类、深度伪造识别本身都依赖ML模型——攻击者对检测模型的投毒（绕过邮件过滤）与逃逸（对抗样本绕过URL分类器），是反钓鱼体系的"阿喀琉斯之踵"。研究模型安全，就是加固反钓鱼能力本身。
- 演练剧本的"高阶素材"：模型窃取模拟、后门模型检测闯关、成员推断演示等，可直接转化为企业红队测评用例与安全意识培训的进阶模块，补足传统钓鱼演练之外的技术纵深。
- 批判性思维的教育载体：DP-SGD"以模型精度换取可证明隐私"的权衡、后门检测"高检出率vs低误报"的博弈、厂商披露与独立验证的差异（如某些后门检测工具对特定触发器家族的盲区），都是训练青少年"区分事实、评估与推断"的绝佳真实案例。
1.4 研究方法论原则
- 来源分级：仅采用顶级学术会议论文（IEEE S&P、USENIX Security、CCS、NDSS、NeurIPS、ICML、ICLR、AISTATS）、政府与标准机构文件（NIST、DARPA、欧盟委员会、网信办）及可核实的官方安全公告；媒体报道仅作线索，不作论据。
- 证据三分：严格区分"已证实事实"（CVE编号、已发表论文的实验结论）、"机构评估"（如平台方对事件规模的披露）与"研究推断"（本专题的归纳性评分），杜绝交叉引用失真。
- 攻防克制：所有攻击技术仅作机制性说明，不提供可直接复用的攻击代码与载荷；评估工具仅用于授权环境下的防御验证。
- 时效标注：威胁情报强时效，本专题数据基准为2026年9月，关键论断均注明出处与发表/披露时间。
1.5 核心术语速查表
为统一全文术语口径（与NIST AI 100-2e2023及顶级文献定义保持一致），先立后破：
| 术语 | 本课题定义口径 |
|---|---|
| 模型窃取（Model Extraction） | 攻击者仅经预测API的输入输出交互，训练出功能等价或近似的替代模型（Tramèr et al., USENIX Security 2016）。 |
| 成员推断（Membership Inference） | 判断某条特定记录是否在目标模型训练集中的攻击（Shokri et al., IEEE S&P 2017）。 |
| 模型逆向（Model Inversion） | 利用模型输出反推训练样本特征或属性的攻击（Fredrikson et al., CCS 2015）。 |
| 记忆化（Memorization） | 模型将训练样本以可提取形式固化于参数中的现象，是大模型训练数据提取的基础（Carlini et al., USENIX Security 2021）。 |
| 数据投毒（Data Poisoning） | 在训练数据中注入恶意样本（标签翻转、清洁标签等），降低模型可用性或诱导定向误分类。 |
| 后门攻击（Backdoor Attack） | 模型在触发器出现时输出攻击者指定结果、其余表现完全正常的隐藏行为（BadNets, Gu et al., IEEE Access 2019）。 |
| 触发器（Trigger） | 激活后门的特定输入模式：可为像素级图案、形变场、自然语言片段或物理贴纸。 |
| 对抗样本（Adversarial Example） | 施加人眼不可察觉扰动即可导致模型误判的输入（Szegedy et al., ICLR 2014）。 |
| 认证鲁棒性（Certified Robustness） | 在可证明半径内保证不被特定扰动攻破的鲁棒性，如随机平滑（Cohen et al., ICML 2019）。 |
| 差分隐私（Differential Privacy） | 以(ε,δ)参数量化单条记录对输出的影响上限；DP-SGD（Abadi et al., CCS 2016）是深度学习中的可证明实现。 |
| 模型水印（Model Watermarking） | 向权重嵌入可密码学验证的所有权标记，用于泄露溯源（Adi et al., USENIX Security 2018）。 |
| 模型隐写（Model Steganography） | 将任意载荷隐藏于模型权重之中的技术，既可用于恶意代码隐藏（EvilModel），也可用于良性隐蔽通信。 |
| 联邦学习（Federated Learning） | 多方在不共享原始数据的前提下，经梯度/参数聚合联合训练模型的分布式范式。 |
| 安全聚合（Secure Aggregation） | 服务器只见聚合更新、不见单方更新的密码学协议（Bonawitz et al., CCS 2017）。 |
| 鲁棒聚合（Robust Aggregation） | 抵抗恶意更新的聚合规则，如Krum（NeurIPS 2017）、FoolsGold（RAID 2020）。 |
| AI-BOM | AI物料清单：对模型、数据集、依赖与权重的版本化登记，是供应链治理与事件溯源的基础设施。 |
合规与伦理声明：本课题仅基于公开学术文献与官方披露开展学术性梳理，所有事件归因均为"某机构公开披露/某论文实验结论"的转述；文中攻击原理仅用于防御研究、检测规则开发与安全教育，严禁用于任何未授权测试。涉及AI生成内容安全的内容，请同时遵守《生成式人工智能服务管理暂行办法》与《人工智能生成合成内容标识办法》。
02 · 威胁分类学全景
模型安全的威胁可按攻击族（攻击者想达成什么）与攻击面（在哪个生命周期环节实施）两个维度组织。下表为本专题的分类学骨架，四个攻击族与五个攻击面的交叉矩阵覆盖了当前文献与事件库中的全部主要威胁。术语与攻击分类口径同时参照NIST《对抗性机器学习：攻击与缓解的分类与术语》（NIST AI 100-2e2023，2024年3月发布）与MITRE ATLAS知识库：
| 攻击族 \ 攻击面 | 训练数据 | 训练过程 | 模型权重 | 推理服务 / API | 分发与依赖链 |
|---|---|---|---|---|---|
| A1 隐私窃取 | 训练数据提取、记忆化泄露 | 梯度反演（联邦学习） | 权重隐写读取、模型逆向 | 模型窃取、成员推断 | — |
| A2 完整性破坏 | 数据投毒（标签翻转/清洁标签） | 后门植入、梯度投毒 | 后门触发器、权重篡改 | 对抗样本逃逸 | 恶意模型文件、依赖投毒 |
| A3 可用性破坏 | （伴随投毒发生） | — | — | 查询洪水、资源耗尽 | 镜像劫持、服务下线 |
| A4 知识产权侵害 | — | — | 模型窃取、蒸馏盗用 | API滥用克隆功能 | 权重泄露、许可证规避 |
本矩阵为专题基于文献的归纳框架；A3（可用性破坏）虽非本课题主线，但在API经济下与A4高度耦合（批量查询既耗尽资源又服务于窃取），故予保留。
03 · 攻击面体系：四层模型
与"大模型安全"的上下文攻击面不同，模型安全的攻击面沿模型生命周期展开。自下而上：供应链层决定"你加载了什么"，数据层决定"模型学了什么"，训练层决定"模型被怎样塑造"，服务层决定"攻击者能合法触达什么"。任一下层失守都会向上传导——恶意权重（L1）可携带后门进入训练（L2），投毒数据（L2）塑造出的脆弱模型（L3）在API服务（L4）上被合法调用并泄露。
3.1 与经典Web安全的同构对比
对熟悉Web安全的读者，下列同构映射可快速建立直觉；但请注意"关键差异"列——模型场景下的同类威胁往往因模型的"可查询性"与"黑箱性"而更隐蔽：
| 模型安全威胁 | 经典Web安全对应 | 本质共性 | 关键差异 |
|---|---|---|---|
| 模型窃取 | 接口滥用爬取核心数据 | 合法通道被系统性滥用以复制核心资产 | 仅需输入输出对即可训练出功能等价的替代模型，无需接触权重（Tramèr et al., 2016） |
| 成员推断 | 布尔盲注 | 通过是/否差异逐位探测敏感信息 | 利用模型对训练样本的"过拟合置信度差异"，医疗/金融场景可间接泄露病情（Shokri et al., 2017） |
| 后门攻击 | 逻辑炸弹 | 平时休眠、触发时异常、常规测试不可见 | 触发器可以是像素级图案或自然语言片段；干净样本准确率不受影响，生产前评估极难发现 |
| pickle反序列化 | Java/Python反序列化RCE | 对象加载即代码执行 | 几乎严格等价——且模型生态以pickle为主格式，Hugging Face大量权重均为pickle序列化 |
| 权重篡改 | 二进制补丁 | 静态文件被修改以改变行为 | 模型对小幅参数扰动具有天然容忍度，篡改可极精细且难以通过输出测试发现 |
| 数据投毒 | CI/CD构建源污染 | 上游污染源向下游传导 | 仅需污染极少比例样本（BadNets实验中低至约1%量级）即可植入可用后门 |
| 梯度泄露 | （无直接对应） | 中间产物反推原始输入 | 联邦学习特有：共享梯度本身可被反演重建参与方训练样本（DLG, Zhu et al., NeurIPS 2019） |
注：同构对比为本专题的教学性归纳，用于降低理解门槛，不构成严格的理论等价断言。
04 · 隐私攻击深度剖析：窃取、推断与逆向
隐私攻击族的核心问题是：攻击者只面对一个可查询的黑箱模型，能推断出多少关于模型与训练数据的机密信息？本节按攻击目标分为三类，均为已获顶级会议验证的经典攻击范式。
4.1 模型窃取：API即泄露面
威胁模型：攻击者仅有预测API的查询权限，目标是训练出功能等价的替代模型。Tramèr et al.（USENIX Security 2016）首次给出形式化攻击与理论边界，证明对多数模型族，方程求解式的查询抽取与基于主动学习的替代模型训练均可行；对决策树类模型甚至可做到近乎完美的等价抽取。Orekondy et al.（CVPR 2019）的Knockoff Nets进一步将成本压至极低查询预算（实验证明约30美元量级查询预算即可克隆图像分析API的可用替代模型），并引入"利用任务迁移性"的策略——即使无法完美复刻，抽取模型的功能也已足以支撑黑产滥用。
攻击路径
- 公式求解抽取：利用置信度向量反解模型参数（适用于线性/部分非线性模型）；
- 替代模型训练：以查询-响应对为监督信号，训练本地替代模型（Knockoff Nets, CVPR 2019）；
- 模型蒸馏滥用：合法API被用作"教师模型"批量生成训练数据。
防御路径
- 查询审计与速率限制：检测异常查询模式（高熵输入、系统化网格采样）；
- 输出降维：仅返回Top-1标签或低精度置信度，压缩信息泄露带宽；
- 模型水印（Adi et al., USENIX Security 2018）：向权重嵌入密钥化水印，发现泄露样本时可密码学验证归属并溯源。
4.2 成员推断：从"模型行为"到"隐私事实"
Shokri et al.（IEEE S&P 2017）首次系统证明：利用目标模型对训练集成员与非成员的置信度差异，可较准确地判断"某条记录是否在训练集中"。Nasr et al.（CCS 2018, ML-Leaks）简化了攻击条件——仅需黑盒访问与影子模型训练。医疗场景的后果是直接的：若确认某患者的病历在某癌症诊断模型的训练集中，即间接获知该患者病情。过拟合程度越高，模型越脆弱——这是成员推断的根本放大器。
- 量化审计工具：ML Privacy Meter（Murakonda & Shokri, HotPETS 2020工具论文）支持对成员推断脆弱性进行量化审计与DP预算核算；
- 经典防御：差分隐私训练——DP-SGD（Abadi et al., CCS 2016）通过梯度裁剪与噪声注入提供可证明的(ε,δ)-DP保障，可直接压低成员推断成功率，代价是一定的精度损失与训练成本上升；
- 输出侧防御：MemGuard（Jia et al., CCS 2019）在模型输出上加最小扰动，使攻击者无法从置信度中区分成员状态。
4.3 模型逆向与训练数据提取
Fredrikson et al.（CCS 2015）证明：置信度输出可被用于重建训练样本的特征（模型逆向），在面部识别等场景可恢复出近似人脸图像。对大语言模型，威胁升级为逐字提取训练语料：Carlini et al.（USENIX Security 2021）从GPT-2中提取出真实的姓名、电话、地址等隐私文本；其后续工作（Carlini et al., 2023, "Quantifying Memorization Across Neural Networks"）系统量化了记忆化程度随模型规模增长而上升的趋势——模型越大，"背课文"能力越强，隐私暴露面越大。
关键结论：隐私攻击族的共同根因是模型的"过拟合即泄露"——模型对训练数据越"自信"，泄露的信号越强。防御的共同主线是限制单条查询的信息量（输出降维、Top-k截断）与以可证明隐私约束训练（DP-SGD），二者可叠加使用。
4.4 隐私攻击对比速查表
三类攻击常被混用，下表按"攻击者知识需求—推断输出—根因"对比，便于快速建立准确概念：
| 攻击 | 攻击者知识需求 | 推断输出 | 根本放大器 | 代表文献 |
|---|---|---|---|---|
| 模型窃取 | 仅黑盒API访问 | 功能等价的替代模型 | 预测接口暴露的信息量（置信度向量泄露最多） | Tramèr et al., 2016 |
| 成员推断 | 黑盒访问+影子模型 | 某记录是否属训练集（布尔结论） | 过拟合：训练样本置信度系统性偏高 | Shokri et al., 2017 |
| 模型逆向/提取 | 置信度输出（部分需白盒） | 训练样本的特征乃至原文内容 | 记忆化：参数以可提取形式固化训练样本 | Fredrikson et al., 2015；Carlini et al., 2021 |
05 · 关键数据与趋势研判
综合前述文献与事件，本课题对模型安全态势形成四点研判：
- 研判一：API经济与开源生态使"合法攻击面"持续扩大。模型窃取与成员推断仅需合法API即可实施，且开源权重的普及使下游组织把上游风险"免费引入"——Hugging Face超100万托管模型中绝大多数未经独立安全审计，分发链已成为事实上的新型软件供应链。
- 研判二：完整性威胁（投毒/后门）正从"研究演示"走向"实战工具"。从BadNets（2017）到XZ Utils（2024）再到LiteLLM投毒（2026），"长潜伏+信任链"范式已完成从通用软件到AI工程链的复制；联邦学习场景的单点投毒（Bagdasaryan et al., 2020）证明分布式训练同样不可默认信任。
- 研判三：隐私防护存在"可证明"的技术路径，但伴随真实代价。DP-SGD（CCS 2016）提供可证明保障，代价是精度与训练成本；输出降维与水印可压低泄露带宽与实现溯源，但均非银弹——组织需按数据敏感度做显式权衡，而非默认模型输出"无害"。
- 研判四：合规已成为强制驱动力。欧盟AI Act（2024年8月生效）与中国算法备案、安全评估制度，使模型全生命周期风险管理从"最佳实践"变为"准入门槛"；模型安全评估能力将成为AI供应商的合规基础设施。
本专题结构：第1页（本页）完成定义边界、威胁分类学与隐私攻击剖析；第2页进入数据投毒与后门、对抗样本、模型供应链与联邦学习安全，附19个真实事件总表；第3页收束于纵深防御体系、评估基准与工具图谱、企业落地路线图、国内外合规要求与全部参考文献。