机器学习模型安全 （中篇）

06 · 数据投毒与后门攻击

完整性威胁的核心问题是：攻击者能在不接触模型权重的前提下，通过控制训练数据或训练过程，使模型获得攻击者预期的隐藏行为吗？答案是肯定的——且历史比想象中更长：数据投毒自机器学习诞生之初即是已知风险，而"深度神经网络后门"由BadNets（Gu et al., IEEE Access 2019，2017年预印）首次系统定义。

6.1 类型学：从数据投毒到后门家族

6.2 后门检测：从逆向触发器到基准竞赛

• Neural Cleanse（Wang et al., IEEE S&P 2019）：首个系统性后门检测方法——对每一类标签逆向求解"所需扰动的最小尺寸"，后门类的扰动尺寸显著异常，从而暴露触发器并支持修复性重训练；
• ABS（Liu et al., CCS 2019）：人工脑刺激扫描——通过刺激单个神经元并观察输出一致性，定位被后门"劫持"的神经元；
• DARPA TrojAI（2019年启动）：以竞赛与基准数据集形式推动后门检测产业化，持续发布含已知后门的模型数据集供检测器评测，是本领域公认的能力标尺；
• Spectral Signatures（Tran, Li & Madry, NeurIPS 2018）：利用表示矩阵的谱特征（奇异值分解）检出投毒样本，是数据侧清洗的代表性方法；
• 认证防御（Steinhardt, Koh & Liang, NeurIPS 2017）：对训练数据投毒给出可证明的鲁棒半径，是少数带理论保证的投毒防御之一，可与检测类方法互补；
• 防御纵深：检测（部署前扫描）之外，还有输入净化/预处理器（削弱触发器）、鲁棒重训练、模型融合表决等运行时缓解手段——单一手段均不充分，详见第3页纵深防御体系。

07 · 对抗样本与模型鲁棒性

对抗样本（Adversarial Examples）研究"模型在推理时对微小输入扰动的脆弱性"。本课题将其作为模型安全的运行时维度纳入，其深度攻防体系详见兄弟子课题《对抗样本防御》；攻击分类与术语口径参照NIST《对抗性机器学习：攻击与缓解的分类与术语》（NIST AI 100-2e2023）。此处聚焦与资产安全直接相关的结论：

• 存在性已被反复验证：Szegedy et al.（ICLR 2014）首次发现深度网络对不可察觉扰动的脆弱性；Goodfellow et al.（ICLR 2015）提出FGSM并给出"线性解释"；Carlini & Wagner（IEEE S&P 2017）提出当时最强的目标攻击；Madry et al.（ICLR 2018）将对抗训练确立为一阶防御范式。
• 物理世界同样生效：Eykholt et al.（CVPR 2018, Robust Physical Perturbations）证明贴纸式扰动可使路标识别模型将"停车标志"误判——对抗样本不是实验室玩具，而是自动驾驶、工业质检等物理系统的现实威胁。
• 防御军备竞赛永动：Athalye et al.（ICML 2018, "Obfuscated Gradients"）系统揭示了多种"被攻破的防御"依赖梯度掩蔽而非真实鲁棒性；认证防御（如Cohen et al., ICML 2019的随机平滑）提供可证明半径内的鲁棒性保证，但覆盖范围与成本仍受限。
• 与资产安全的交叉点：对抗样本可绕过内容审核、钓鱼检测与生物识别等模型护栏——对反钓鱼工作组而言，对抗扰动的URL/邮件样本是检测模型最直接的逃逸测试用例。

08 · 模型供应链安全

当"模型文件即代码、模型仓库即包管理器"，传统软件供应链攻击全数适用于AI资产，且因pickle生态与黑箱权重而更易藏毒、更难审计。本节按"权重文件—平台生态—工程链"三层展开。

8.1 模型文件即代码：pickle反序列化风险

PyTorch默认的序列化格式pickle在反加载时即执行任意嵌入代码——这一风险已被学术与产业双重证实：EvilModel（Wang, Liu & Cui, IEEE ISCC 2021；扩展版EvilModel 2.0发表于Computers & Security 2022）证明恶意软件可隐写进DNN权重本身——其实验将36.9MB恶意软件嵌入178MB的AlexNet模型、精度损失控制在1%以内，且模型文件可逃避杀毒引擎静态扫描；同类工作StegoNet（Liu et al., ACSAC 2020）进一步给出了面向参数隐写的完整木马化流程。安全厂商与MITRE ATLAS案例库持续披露含反向shell代码的恶意pickle模型上传到公开模型仓库的真实事件。与之相对，safetensors等安全格式（零代码执行、内存映射加载）已成为社区推荐的替代方案。

模型供应链的威胁还延伸到量化模型分发链：Pan et al.（ACSAC 2021, QUASI）系统证明，第三方预量化模型（QNN）可被植入"量化激活型"后门——后门在全精度模型中保持休眠，经正常量化操作后自动激活，且消费者几乎无从检验QNN保真度，使边缘端部署第三方量化模型的风险显著上升。

8.2 AI工程链与依赖投毒：XZ范式在AI领域的复制

模型安全的供应链不止"模型文件"，而是覆盖数据→训练框架→CI/CD→分发→运行的完整工程链。两个真实事件定义了当前威胁水位：

• XZ Utils后门（CVE-2024-3094，2024年3月披露，CVSS 10.0）：维护者账号被多年耐心渗透，后门代码藏在测试文件与构建脚本中，仅特定条件触发。其意义在于证明：最底层、最被信任的组件也可失守，而AI工程链对该范式的免疫力并不更高；
• TeamPCP供应链战役与LiteLLM投毒（2026年3月公开披露）：3月19日，Aqua Security的Trivy漏洞扫描器因GitHub Actions工作流配置缺陷失守，攻击者（TeamPCP）窃取CI凭证并强制推送恶意版本标签；3月24日，攻击者利用从LiteLLM自身CI管道中被盗的PyPI凭证，绕过其GitHub发布流程直接向PyPI发布投毒版本1.82.7与1.82.8——其中恶意.pth文件（litellm_init.pth）在任意Python进程启动时即执行，无需import该库；约3小时后PyPI将该项目隔离。LiteLLM月下载量约9500万、被云环境广泛部署，而事件发现者最初是因开发机出现异常进程才定位到该投毒。发布管道失守→凭证级联泄露→依赖投毒→任意代码执行，链条与XZ同构，目标已精确指向AI工程工具链。

此外，slopsquatting（JFrog 2025年安全研究报告命名的新型风险）利用AI代码助手的幻觉包名——攻击者抢注助手"推荐"但实际不存在的包名并注入恶意代码，形成"模型幻觉→开发者安装→供应链失守"的新闭环。

8.3 供应链治理与文档化基线

技术扫描之外，模型供应链治理需要"文档化＋签名化＋清单化"的制度性基线，四者分别对应透明度、来源可验证、可追溯三个治理目标：

• Model Cards（Mitchell et al., FAT* 2019）：为模型提供标准化"说明书"，要求披露用途、训练数据、性能边界与适用限制，已成为模型分发透明度的事实标准；
• Datasheets for Datasets（Gebru et al., CACM 2021）：为数据集提供标准化的来源、收集方式与合规说明文档，从源头压缩投毒与侵权空间，是训练数据治理的配套基线；
• 构建证明与签名：SLSA供应链完整性级别与Sigstore签名机制为构建产物提供可验证的来源链——直接针对"CI凭证被盗后冒充合法发布"类事件（LiteLLM事件的核心教训：恶意包以合法凭证发布，连pip哈希校验也无法识别）；
• AI-BOM：CycloneDX等标准已扩展ML-BOM能力，支持对模型、数据集、依赖与权重的版本化登记，支撑漏洞响应、影响面分析与事件溯源。

09 · 联邦学习与隐私计算安全

联邦学习允许多方在不共享原始数据的前提下联合训练，是"数据不出域"合规诉求下的主流技术路线（《个人信息保护法》《数据安全法》语境下尤受关注）。但隐私计算≠绝对安全——分布式训练引入了两类模型安全特有威胁：

• 梯度泄露（Deep Leakage from Gradients）：Zhu et al.（NeurIPS 2019, DLG）证明：共享的梯度更新可被优化反演，从梯度中重建出参与方的原始训练样本——"数据不出域"的联邦学习，若共享裸梯度，数据事实上仍"出了域"；
• 联邦后门（模型替换）：Bagdasaryan et al.（AISTATS 2020）证明单个恶意参与方可构造"看起来正常、触发即异常"的本地更新，经联邦平均注入持久后门，且随参与方数量增加反而更难被基线异常检测发现；
• 防御体系：安全聚合（Bonawitz et al., CCS 2017，服务器只见聚合结果不见单方更新）、鲁棒聚合规则（Krum, Blanchard et al., NeurIPS 2017；FoolsGold, Fung et al., RAID 2020——识别提交相似更新的共谋方）、差分隐私参与与安全裁剪（裁剪+噪声压低单点泄露上限）。

10 · 真实事件与研究里程碑总表（19例）

下表汇总本课题引用的全部标志性事件与研究里程碑，按时间排列。"类型"标注其所属攻击族，"证据级别"区分学术论文（已同行评审）、官方披露（CVE/厂商公告）与基准计划。

完整文献条目（作者、会议、年份）见第3页第15节参考文献；全部条目可在DBLP、IEEE Xplore、USENIX官网、NVD及DARPA TrojAI官网逐条核验。2026年TeamPCP条目据Datadog Security Labs、Snyk、Endor Labs、Akamai等厂商公开分析交叉确认。