基于AASIST、RawNet2、AV-HuBERT、C2PA等前沿技术，系统阐述语音伪造检测、视频伪造检测、多模态内容真伪鉴别与数字水印溯源体系，构建覆盖"感知层—特征层—语义层—溯源层"的四维检测架构。
语音深度伪造检测（Audio Deepfake Detection, ADD）已从早期基于手工设计声学特征的阶段，演进为以自监督学习（SSL）前端与图神经网络（GNN）后端为核心的端到端深度检测范式。ASVspoof系列挑战赛持续推动该领域标准化评估。
早期语音伪造检测系统依赖手工设计的声学特征，通过分析频谱图与波形层面的artifacts识别合成痕迹。这些特征至今仍是理解伪造机理的重要基础，并在资源受限场景中保持实用价值。
AASIST（Audio Anti-Spoofing using Integrated Spectro-Temporal Graph Attention Networks, Jung et al., ICASSP 2022）是当前语音伪造检测领域最具影响力的单一模型架构之一，通过异构图注意力机制同时建模频谱域与时域伪造痕迹。
ASVspoof 5（2024）标志着语音伪造检测进入"大规模、对抗性、真实世界"的新阶段。该数据集引入众包语音数据、深度伪造与对抗攻击，对检测模型的泛化能力提出了前所未有的挑战。
从ASVspoof 2015的GMM基线（EER约10%量级），到ASVspoof 2019端到端系统（EER进入个位数），再到ASVspoof 2021的AASIST等图神经网络方法（EER降至1%左右），直至ASVspoof 5面对众包数据与对抗攻击时基线EER重新攀升至20%以上——这一"检测—对抗—再检测"的螺旋上升轨迹，深刻反映了语音伪造攻防对抗的本质特征。当前研究前沿聚焦于：① 基于LLM的TTS/VC系统检测；② 对抗训练增强鲁棒性；③ 零样本/少样本跨领域泛化。
视频深度伪造检测经历了从基于手工特征到基于深度学习、从帧级分析到时序建模、从单一生成器到跨生成器泛化的技术演进。FaceForensics++、Celeb-DF、DFDC等基准数据集构成了该领域的方法论基石。
早期视频伪造检测方法聚焦于单帧图像层面的视觉伪影，利用GAN生成过程中固有的统计异常进行判别。尽管现代扩散模型已大幅削弱这些伪影，但相关技术原理仍是理解伪造机理的基础。
视频的本质是时序信号。伪造视频在帧间时序一致性上往往存在微妙但可检测的异常——这些异常源于生成模型逐帧独立处理或时序建模能力的不足。
基于3D面部重建的物理一致性验证代表了视频伪造检测向"第一性原理"回归的趋势——不依赖生成模型的特定伪影，而是验证面部几何结构是否符合真实物理规律。
FaceForensics++（Rössler et al., 2019）包含1,000个真实视频与4,000个来自4种算法（Deepfakes、Face2Face、FaceSwap、NeuralTextures）的伪造视频，是早期最广泛使用的基准。Celeb-DF（Li et al., 2020）提供高质量名人换脸视频，Celeb-DF-v2包含563个真实视频与5,639个伪造视频。DFDC（Dolhansky et al., 2020）作为Facebook发起的挑战赛数据集，包含超过100K样本，但视频质量极低，对检测器构成特殊挑战。当前多生成器基准显示，SOTA检测器在OOD生成器上的鲁棒性严重不足——即使最佳检测器也缺乏跨训练-测试分布偏移的泛化能力。
针对多模态深度伪造攻击的跨模态一致性检测，是应对"邮件+语音+视频"协同钓鱼的核心技术路径。该领域涵盖唇音同步检测、声纹-面容关联验证、情感一致性分析与上下文逻辑校验四个层次。
唇音同步（lip-sync）检测是多模态深度伪造鉴别中最成熟的技术方向。其核心假设是：伪造视频中的唇部运动与音频内容之间存在系统性不匹配。
更深层的多模态验证关注声纹特征与面部特征之间的生物关联性，以及语音情感、面部表情、肢体语言三者之间的一致性。
FakeAVCeleb（Khalid et al., AAAI 2021）是首个大规模音视频深度伪造检测数据集，包含500个真实视频与超过20,000个多模态伪造视频，涵盖Wav2Lip唇音同步与FaceSwap换脸两种伪造类型。LAV-DF（2022）、AV-Deepfake1M（2023）等数据集将样本规模扩展至十万乃至百万量级。面向跨模态伪造的专门基准（如CMDFD, 2024）进一步推动了跨生成器泛化能力的评估。
被动检测（检测已生成的伪造内容）存在根本性局限——检测器永远滞后于生成器。主动防御通过在内容生成阶段嵌入不可感知的数字水印、在传播阶段附加可验证的来源信息，从根本上改变攻防博弈的不对称格局。
内容来源与真实性联盟（C2PA, Coalition for Content Provenance and Authenticity）是由Adobe、BBC、Intel、Microsoft、Sony、Truepic等联合推动的开放技术标准，旨在为数字内容附加可验证的来源信息（provenance）。
主动防御的另一路径是在内容生成的源头嵌入不可感知水印，或在采集设备硬件层面嵌入设备指纹，实现内容溯源。
主动防御面临的核心困境是"覆盖范围"——C2PA、数字水印与设备指纹仅在内容生态的参与者普遍采纳时才能形成有效防护。当前，大量开源生成工具、境外API服务与暗网平台完全不支持任何来源验证机制。更根本的挑战在于：即使原始内容携带完整来源信息，攻击者仍可通过屏幕录制、摄像机翻拍等模拟hole手段剥离元数据，生成"干净"的伪造内容。因此，被动检测与主动防御必须形成"检测-溯源-响应"的闭环体系：被动检测发现可疑内容，主动溯源验证其来源，响应机制（如快速关停、IOC共享）阻断传播链。
学术论文中的检测指标（EER、AUC、min t-DCF）与真实生产环境之间存在显著鸿沟。本节基于公开文献与产业实践，剖析检测系统落地时的核心工程障碍，避免对检测技术产生不切实际的期待。
| 检测层次 | 代表技术 | 优势 | 局限 |
|---|---|---|---|
| 感知层（信号伪影） | LFCC/CQCC、频域分析、PRNU传感器噪声 | 可解释性强、推理成本低 | 对新型生成器与压缩信道敏感，泛化差 |
| 特征层（深度表征） | AASIST、RawNet2、时序CNN模型 | 检测精度高、端到端可训练 | 分布外退化明显、需要持续再训练 |
| 语义层（跨模态一致性） | SyncNet、AV-HuBERT、情感一致性分析 | 可识别单模态检测器无法发现的协同伪造 | 对高质量唇音同步攻击的鲁棒性仍存疑 |
| 溯源层（主动验证） | C2PA内容凭证、数字水印、设备指纹 | 源头可信、不受生成器迭代影响 | 依赖生态采纳率，存在翻拍/录屏等"模拟漏洞"绕过 |
以下均为公开发表、可查证的真实文献；链接截至2026年9月均可正常访问。