01 · 威胁建模:从"保护数据的计算"到"计算本身的攻防"
1.1 安全假设的分层
隐私计算系统把信任从"数据接收方"转移到"协议/硬件/实现",因此必须对其自身做攻防审视。威胁建模通常沿三个正交维度展开:①对手模型——外部窃听者、诚实但好奇的参与方、恶意参与方(串谋、投毒、提前退出)、被攻破的协调服务器、供应链植入;②攻击目标——原始输入恢复、中间值推断、成员/属性推断、模型窃取、可用性破坏(拒绝服务);③攻击面——密码协议层、实现代码层(解析器、内存管理)、系统层(侧信道、固件)、运维层(密钥、日志、权限)。
1.2 组合安全的陷阱
- 协议组合泄露:单次MPC计算安全不代表多次调用安全:两次PSI的交集差分可反推出新增集合成员;联邦学习多轮梯度泄露的隐私预算需按DP组合定理累积(basic/advanced composition)。
- 输出即泄露:计算结果本身可能泄露输入("平均工资+总人数→总工资"类差分攻击);DP的引入正是为了量化并约束此类输出泄露。
- 实现≠论文:协议可证明安全,但工程实现(随机数生成器、序列化、边界检查)常成为短板;开源组件依赖(OpenSSL、网络库)的CVE会直接击穿密码学保证。
- 元数据暴露:即使内容加密,通信时序、流量大小、参与方在线模式也会泄露商业关系与任务类型,需要流量整形与调度混淆作为补充。
评测立场:对待隐私计算产品应采用"假定攻破"的评审姿态:先问"攻击者获得什么能力"(root权限?单个参与方?协调服务器?),再问"在该能力下协议保证还剩什么"。半诚实模型下的安全证明仅说明"守规矩的对手偷不走数据",不构成对恶意对手、被入侵节点或供应链攻击的完整防线。
02 · 联邦学习攻击谱系与防御
2.1 梯度反演:样本级重建
联邦学习最直接的隐私威胁来自梯度反演攻击(Gradient Inversion):Zhu、Liu与Han发表于NeurIPS 2019的《Deep Leakage from Gradients》证明,在小batch(如batch size 1—8)、全精度梯度、无防御条件下,攻击者可通过优化"虚拟样本—虚拟标签"使其梯度与窃得梯度匹配,从而以较高视觉保真度重建训练样本图像(如人脸照片);Geiping等的iDLG(NeurIPS 2020《Inverting Gradients》)进一步利用共享梯度的符号信息恢复标签并提升重建效率。后续研究表明,大batch、梯度量化/裁剪、客户端本地多步更新均可显著抬高攻击门槛,但"大规模联邦+安全聚合"仍不能视为样本隐私的自动保证——安全聚合只防服务器看单方更新,聚合后的全局模型更新仍可能携带可提取的信息。
2.2 推断类攻击
| 攻击类型 | 代表工作 | 威胁与适用条件 |
|---|---|---|
| 成员推断 | Shokri et al., IEEE S&P 2017(模型阴影训练法) | 判断某条记录是否参与训练,适用于黑盒API访问模型输出的场景,对医疗/金融训练集构成直接隐私威胁 |
| 模型反演 | Fredrikson et al., CCS 2014/2015 | 利用模型置信度输出反推特征向量(如从药物预测模型反推基因组特征) |
| 属性推断 | Melis et al., IEEE S&P 2019(联邦场景嵌入泄漏) | 在联合训练中推断参与者数据集的敏感属性(如种族、病史标签),即使无法重建具体样本 |
2.3 投毒、后门与可用性攻击
- 数据投毒/标签翻转:恶意客户端污染本地数据拉低全局模型精度,检测方法包括更新范数异常检测、余弦相似度聚类、Krum/Multi-Krum类鲁棒聚合。
- 后门攻击:Bagdasaryan等发表于AISTATS 2020的《How To Backdoor Federated Learning》证明:在模型替换范式下,恶意客户端可植入"对特定触发器输入表现异常、对正常输入保持正常"的后门,且安全聚合还会帮助隐藏后门更新;防御方向包括更新裁剪与噪声、后门剪枝、贡献度审计。
- 女巫与搭便车:伪造多客户端身份稀释他人贡献或骗取奖励;可用性攻击如"梯度爆炸投毒"使训练无法收敛。
防御基线(生产部署建议):①安全聚合(服务器不可见单方更新)作为默认配置;②梯度裁剪+DP-SGD给出(ε,δ)预算并纳入隐私会计台账;③鲁棒聚合(Krum/trimmed mean/median)抵御投毒;④参与方准入与持续信誉评分;⑤训练日志留痕,支持事后贡献审计。没有任何单一机制可覆盖全部攻击,纵深组合是成本与安全的现实平衡点。
03 · TEE攻击史:硬件信任根并非无懈可击
3.1 Intel SGX公开攻破事件(均可查证)
| 时间 | 攻击 | 原理与影响 |
|---|---|---|
| 2018 | Foreshadow / L1TF | 熔断(Meltdown)类瞬态执行漏洞波及SGX:可从enclave外推测读取enclave密钥材料;Intel发布微码缓解并发布SGX TCB恢复流程 |
| 2019—2020 | Plundervolt | 通过软件控制CPU电压引发故障注入,破坏enclave内计算完整性并泄露密钥(IEEE S&P 2020);随后Intel默认限制部分平台的软件电压调节接口 |
| 2020—2021 | LVI、CacheOut、SGAxe | LVI(IEEE S&P 2020)劫持瞬态执行实施负载值注入;CacheOut(IEEE S&P 2021)借缓存逐出窃取缓冲区数据;SGAxe(IEEE S&P 2021)组合攻击窃取SGX attestation密钥与enclave机密,动摇远程证明的信任锚——上述漏洞催生微码与SGX SDK多层修复 |
| 2022 | ÆPIC Leak | 非瞬态的APIC MMIO读取侧信道(处理器勘误级),可直接读取enclave内缓存行内容,Intel以平台级微码修复响应(USENIX Security 2022) |
- 影响评估:上述攻击多数需要本地特权或与恶意OS配合,威胁模型苛刻,但证明"硬件信任根+远程证明"存在可被系统性击穿的历史先例;Intel已自消费级平台(Alder Lake起)移除SGX,服务端至强平台继续演进。
- 设计启示:①关键密钥不应仅驻留单一TEE,可采用"TEE+阈值秘密共享"分割信任;②机密计算与密码学协议互补(MPC验证TEE内关键步骤、TEE加速MPC预处理);③建立固件/微码更新与证明策略的运维基线(禁用过期TCB)。
3.2 TrustZone与其他TEE的风险面
TrustZone类整SoC双世界架构的攻击面包括:安全世界组件自身漏洞(TA/Trustlet漏洞公开案例众多)、调试接口(JTAG)管控、熔断/幽灵类瞬态执行对内核隔离的绕过风险。VM级机密计算(SEV-SNP/TDX)虽将信任边界上移到Hypervisor之下,但管理面(固件、度量启动链)仍属攻击面,且"密文内存+明文I/O"边界上的设备直通与共享页缓存可能形成侧信道窗口。结论:TEE应与最小权限、网络隔离、入侵检测组合部署,并预先规划"信任根失效"的降级与轮换预案。
04 · 差分隐私的误用与其他攻击面
- ε虚标:实践中"DP"常被滥用为小噪声代名词而不给出(ε,δ)及会计过程;多轮查询未按组合定理累积预算将导致实际隐私远弱于宣称。合规评审应要求提供隐私会计方法与预算台账。
- 合成数据重识别:DP-GAN类合成数据若生成器过拟合,可被成员推断或"GAN反演"暴露训练样本;合成数据发布前应做独立重识别风险评估。
- MPC特有攻击:参与方串谋超过阈值可重构秘密;恶意方在SPDZ类协议下若未被检测(实现缺陷),可注入错误输出;拒绝服务型攻击(中途退出)需配合可验证秘密共享与断线惩罚机制。
- 同态加密实现风险:参数选择错误(多项式阶数、模数链深度不足)导致解密失败或噪声溢出;侧信道(解密时间、功耗)在本地终端仍可能暴露密钥——HE保护的是"传输与计算中的数据",不保护"端上的明文与密钥操作"。
- 平台层通用风险:Web控制台越权、任务编排注入、日志中落明文样本、镜像供应链投毒——隐私计算平台首先是软件系统,通用应用安全(OWASP ASVS)要求一项不能少。
05 · 安全评测方法与红队实践
5.1 分层评测框架
| 评测层 | 评测项示例 | 方法/依据 |
|---|---|---|
| 密码协议层 | 安全模型覆盖(半诚实/恶意)、串谋阈值、组合安全、证明/论文与实现一致性 | 协议文档审查;形式化验证(如EasyCrypt/Tamarin)或引用第三方审计报告 |
| 实现代码层 | 随机数源、内存清零、反序列化、依赖CVE、开源许可证 | SAST/DAST/SCA;第三方渗透测试报告 |
| 系统与侧信道层 | 缓存/时序/功耗侧信道面、TEE固件基线、证明链完整性 | 公开CVE与勘误核对;侧信道抽测;TCB版本核查 |
| 业务对抗层 | 梯度反演演练、投毒演练、PSI差分反推、输出差分攻击 | 参考公开攻击论文复现(内部授权环境);中国信通院评测大纲对齐 |
| 运维治理层 | 密钥管理(KMS/HSM)、权限最小化、日志脱敏、应急轮换 | 制度核查+配置基线扫描;与子课题05/06联动 |
5.2 产业评测参照
中国信通院自2018年起对多方安全计算、联邦学习产品开展基础能力评测,随后扩展出性能专项、安全专项(如抵御梯度反演/投毒能力的对抗评测)等分级评测体系,形成行业普遍引用的"通过信通院隐私计算评测"准入门槛;中国信通院牵头成立的隐私计算联盟(2021年)与相关标准化组织持续发布白皮书与评测方法更新。组织选型时应要求厂商提供:①对应评测项的通过证明与版本;②威胁模型声明(覆盖哪些对手模型);③安全事件响应与漏洞披露政策(VDP)。
给数据提供方的一句话:在把数据接入任何隐私计算平台之前,请要求运营方书面回答四个问题——对手模型是什么?已发生的攻击历史中我们如何自处(含TEE CVE基线)?隐私预算/安全参数如何记账?发生泄露时日志与审计证据能否支撑溯源(联动子课题06)?答不清这四个问题的平台,无论评测证书多少,都不应承载重要数据。
本节参考来源(第3页)
攻击原理仅作防御研究教育用途,均以公开学术论文与厂商安全公告为准。
Zhu L., Liu Z., Han S., "Deep Leakage from Gradients"(NeurIPS 2019,联邦梯度反演奠基工作);Geiping J. et al., "Inverting Gradients—How Easy is It to Break Privacy in Federated Learning?"(NeurIPS 2020,iDLG)。
Shokri R. et al., "Membership Inference Attacks Against Machine Learning Models"(IEEE S&P 2017);Fredrikson M. et al., "Privacy in Pharmacogenetics"(CCS 2014);Melis L. et al., "Exploiting Unintended Feature Leakage in Collaborative Learning"(IEEE S&P 2019)。
Bagdasaryan E. et al., "How To Backdoor Federated Learning"(AISTATS 2020);Blanchard P. et al., "Machine Learning with Adversaries: Byzantine Tolerant Gradient Descent"(NeurIPS 2017,Krum)。
Foreshadow/L1TF(2018)、Plundervolt(IEEE S&P 2020)、SGAxe/CacheOut(2020)、ÆPIC Leak(USENIX Security 2022)等SGX攻击的公开论文与Intel安全公告;Intel DCAP远程证明文档。
中国信息通信研究院《隐私计算白皮书(2022年)》与隐私计算评测(基础能力/性能/安全专项)公开结果:中国信通院官网;隐私计算联盟公开资料。