2024年,人工智能驱动的钓鱼攻击呈现出三重典型面孔:在美国新罕布什尔州,数千名选民接到了AI克隆总统语音的机器人电话;在香港,英国工程巨头Arup的财务员工在AI伪造的视频会议中被骗转账2.56亿港元;在中国内地,福建某企业主在10分钟内被AI换脸的"好友"骗走430万元。这三起事件跨越政治、商业、个人三个领域,共同指向一个令人警觉的事实:生成式AI正在将钓鱼攻击从"技术对抗"推向"认知战争"的新维度。
本节将聚焦AI如何重塑钓鱼攻击的全链条——从文本生成到深度伪造,从工具普及到APT战术升级,从检测困境到治理应对——还原一幅关于"算法武器化"的完整图景。
本节内容导航
一、从"手工锻造"到"流水线生产":AI如何重塑钓鱼攻击
在传统钓鱼攻击的时代,攻击者需要像手工匠人一般精心打磨每一封钓鱼邮件。他们要先收集目标的基本信息——姓名、职位、工作单位、近期动态;然后构思一个看似合理的邮件主题;接着撰写正文,力求语气自然、逻辑通顺;最后还要设计一个足以乱真的伪造页面。一封高质量的鱼叉邮件,往往需要攻击者花费数小时甚至数天的准备时间。这种"手工锻造"模式,决定了传统钓鱼攻击的产量天然受限——一个攻击团队一天能发出的高质量钓鱼邮件,通常不超过几十封。
生成式AI的出现,彻底颠覆了这一格局。2022年底,ChatGPT的横空出世标志着大语言模型(LLM)从学术圈走向大众视野。到2024年,GPT-4、Claude、Gemini等模型已经能够生成几乎无法与人类写作区分的文本内容。攻击者发现,他们可以将原本需要数小时完成的工作,压缩到几分钟——甚至几秒钟。只需向AI模型提供目标的基本资料,模型就能自动生成一封语气恰当、内容逼真、针对性极强的钓鱼邮件。更可怕的是,AI不仅能生成文本,还能生成语音、图像、视频,甚至是完整的交互式对话。
Egress公司在2024年10月发布的《钓鱼威胁趋势报告》揭示了这一趋势的严重性:2024年第二季度,钓鱼邮件数量较第一季度增长了28%;74.8%的钓鱼工具包明确提及人工智能作为关键驱动力;82%的钓鱼工具包提及深度伪造技术。报告还发现,大规模冒充攻击(Mass Impersonation)激增了2700%——这意味着AI不仅提升了单封钓鱼邮件的质量,更将攻击的规模推向了前所未有的高度。一个攻击者利用AI工具,一天可以生成数千封个性化钓鱼邮件,而传统模式下这需要一个数十人的团队才能完成。
Darktrace在2024年年度威胁报告中披露的数据更加触目惊心:该公司全年检测到超过3040万封钓鱼邮件,其中270万封包含多阶段恶意载荷,超过94万封包含恶意二维码。更令人担忧的是,32%的钓鱼攻击使用了AI生成的文本,呈现出更高的语言复杂度——更长的文本、更丰富的标点、更复杂的句式结构。这些特征恰恰是人类阅读时判断"这封邮件是否可信"的重要线索,AI生成的邮件在这些维度上的表现,甚至优于许多人类撰写的正常商务邮件。
这种从"手工锻造"到"流水线生产"的转变,不仅改变了钓鱼攻击的效率和规模,更从根本上改变了攻击的成本结构。在传统模式下,钓鱼攻击的"质量-数量"之间存在此消彼长的关系——攻击者要么追求高精准度的少量攻击,要么追求广撒网式的批量攻击。AI打破了这一平衡,使得"高质量+大规模"同时成为可能。这种"鱼与熊掌兼得"的能力,正是AI驱动钓鱼攻击最令人恐惧的地方。
DHL快递电子邮件钓鱼页面
AI重塑钓鱼攻击的关键数据
- 钓鱼邮件增长:2024年Q2较Q1增长28%,大规模冒充攻击激增2700%
- AI工具包渗透:74.8%的钓鱼工具包提及AI为关键驱动力,82%提及深度伪造
- AI文本占比:32%的钓鱼攻击使用AI生成文本,语言复杂度显著提升
- 绕过检测率:2024年Q2,成功绕过安全邮件网关(SEG)的钓鱼攻击增长52.2%
- 深度伪造增长:2019年至2025年,网上流通的深度伪造文件从数千个增长到约800万个,年增长率接近900%
- 检测准确率:人类识别深度伪造的平均准确率仅为55.5%,几乎与随机猜测无异
- 生成成本:深度伪造身份套件最低仅需5美元即可购买
AI驱动钓鱼攻击增长趋势(2019—2025)
数据来源:Egress《2024钓鱼威胁趋势报告》、Darktrace《2024年度威胁报告》、Sensity深度伪造监测数据上图综合展示了AI驱动钓鱼攻击的三个关键维度增长趋势。深度伪造文件数量从2019年的数千个飙升至2025年的约800万个,年复合增长率接近900%。与此同时,2024年第二季度钓鱼邮件数量较第一季度增长28%,大规模冒充攻击激增2700%,AI生成文本在钓鱼攻击中的占比达到32%。这三条曲线共同勾勒出AI技术如何将钓鱼攻击从"手工锻造"推向"流水线生产"的质变过程。
二、深度伪造的"信任崩塌":语音、视频与选举干预
如果说AI生成的文本钓鱼邮件是"暗箭",那么深度伪造(Deepfake)技术就是"明枪"——它直接攻击人类最根深蒂固的信任机制:对声音和面孔的信任。人类对熟悉的声音和面孔具有天然的信任倾向。这种信任机制在日常生活中帮助我们快速识别亲友、建立社交联系,但在深度伪造技术面前,恰恰成了最危险的弱点。然而,深度伪造技术恰恰利用了这种本能,将最可靠的信任信号变成了最危险的欺骗工具。
2024年1月21日的新罕布什尔州事件,是深度伪造技术干预选举的标志性案例。当时距离该州民主党初选仅剩两天,数千名选民接到了一通AI生成的电话。电话中的"拜登"用他标志性的特拉华口音说道:"把你们的选票留到11月再用,这个星期二不要去投票。投票只会让共和党人得逞。"事后调查显示,这通电话的制作成本不到一美元,使用了ElevenLabs的语音克隆技术,由政治顾问史蒂夫·克莱默(Steve Kramer)委托制作。美国联邦通信委员会(FCC)随后对涉事电信公司Lingo Telecom开出了600万美元的罚单,克莱默本人则面临13项重罪和13项轻罪指控。
这通电话的影响远超其直接成本。它向全世界证明了一个令人不寒而栗的事实:制造一次足以影响选举的虚假信息传播,所需的技术门槛和经济成本已经低到几乎任何人都可以负担。正如谢澍教授所言:"互联网互联互通的本质便利了人们生活,也被专业化、模块化的诈骗分子所利用。"这种"信任崩塌"效应,远比任何单一虚假信息本身更具破坏性。
2024年被称为"超级选举年",全球有超过60个国家和地区举行重要选举,深度伪造技术的滥用呈现出爆发式增长的态势。在印度,深度伪造视频被用于散布关于候选人的虚假信息;在孟加拉国,AI生成的音频被用来煽动社会对立;在中国台湾地区,深度伪造内容被用于干扰选举进程。世界经济论坛(WEF)在2024年和2025年连续两年的《全球风险报告》中,都将"错误信息和虚假信息"列为短期全球风险之首——这是该风险类别连续两年位居榜首。
深度伪造的威胁不仅限于选举领域。在商业领域,AI生成的虚假代言视频被用于钓鱼欺诈——2024年,一段伪造的泰勒·斯威夫特(Taylor Swift)代言Le Creuset厨具的视频在社交媒体上广泛传播,诱导大量粉丝点击虚假链接。在司法领域,"真伪难辨效应"日益严重——当深度伪造技术足够普及时,任何真实的证据都可以被质疑为"可能是AI生成的",这从根本上动摇了司法举证的基础。当社会无法辨别真伪时,"真相"本身就变成了一个有争议的概念,认知基础的侵蚀将远超任何单一攻击造成的直接损失。
2024年全球深度伪造攻击事件时间线
- 2024年1月:美国新罕布什尔州,AI克隆拜登语音的机器人电话干扰民主党初选,影响5000至25000名选民
- 2024年2月:香港Arup公司财务员工在AI伪造高管视频会议中被骗转账2.56亿港元(约2500万美元)
- 2024年3月:斯洛伐克选举前夕,AI伪造的音频声称某候选人讨论操纵选举,引发选前动荡
- 2024年5月:英国工程巨头Arup公开披露其香港员工遭遇深度伪造视频会议钓鱼欺诈,损失2500万美元
- 2024年6月:微软威胁分析中心披露伊朗"Mint Sandstorm"组织利用生成式AI伪造身份对美国竞选官员实施钓鱼攻击
- 2024年9月:中央网信办发布《人工智能生成合成内容标识办法(征求意见稿)》,首次对AI深度伪造作出规范
- 2024年全年:OpenAI报告全年干预超过20起利用其模型进行的欺骗性操作,涉及恶意软件开发、虚假信息和网络钓鱼
2024年全球深度伪造攻击事件时间线
数据来源:FCC、Microsoft Threat Analysis Center、OpenAI、CNN Business、世界经济论坛《全球风险报告》2024年被称为"超级选举年",全球超过60个国家和地区举行重要选举。上图以时间轴形式呈现了2024年最具代表性的深度伪造攻击事件,从1月新罕布什尔州AI克隆拜登语音的机器人电话,到2月香港Arup公司2.56亿港元AI视频钓鱼,再到6月伊朗"Mint Sandstorm"组织利用生成式AI对美国竞选官员实施钓鱼攻击。这些事件标志着深度伪造已从"概念验证"演变为"实战武器"。
三、Arup事件:2.56亿美元背后的AI视频钓鱼
AI视频伪造在商业领域的破坏力,在2024年初香港的一起案件中得到了惊人展示。这起案件的受害者,是英国工程咨询巨头奥雅纳(Arup)集团的一名香港财务员工。奥雅纳是一家拥有超过18,000名员工、在全球140多个国家开展业务的跨国企业,曾参与悉尼歌剧院、北京奥运会鸟巢体育场等标志性建筑的设计。然而,就是这样一家拥有成熟安全体系的企业,也在AI伪造技术面前栽了跟头。
事件的起因是一封看似寻常的邮件。该员工收到一封来自"英国总部首席财务官"的邮件,要求他参加一个关于"机密交易"的视频会议。邮件的措辞、格式、签名都与真正的CFO邮件别无二致。员工没有起疑,按时进入了视频会议。屏幕上出现了他熟悉的CFO的面孔,还有其他几位"总部高管"。会议讨论了公司的财务安排,CFO要求该员工将一笔资金转入指定账户——用于一个"紧急收购项目"。
整个过程中,员工没有察觉到任何异常。视频会议中的"CFO"不仅外貌逼真,而且言谈举止、声音语调都与真人无异。"他"适时地点头、微笑、做手势,甚至在与他人"交谈"时表现出自然的互动。这是深度伪造技术的一次"实战演练"——攻击者不仅伪造了CFO的面容和声音,还构建了一个完整的虚假会议场景,让受害者沉浸在一种"一切正常"的错觉中。
最终,该员工按照"CFO"的指示,将2亿港元(约合2560万美元)转入了攻击者指定的账户。直到事后与真正的CFO核实,他才意识到自己遭遇了一场精心设计的AI诈骗。事后调查发现,攻击者使用了先进的实时深度伪造技术,将预先录制或生成的视频流注入到视频会议中。这种技术不仅要求高超的AI生成能力,还需要对目标人物的外貌、声音、习惯进行深度研究和模拟——其复杂程度远超普通网络钓鱼。
Arup事件之所以具有标志性意义,不仅在于其惊人的金额,更在于它揭示了一个深刻的趋势:深度伪造技术正在从"娱乐工具"和"概念验证",演变为"实战武器"。在此之前,深度伪造主要出现在社交媒体上——伪造的名人视频、恶搞的政治人物片段。但Arup事件证明,深度伪造已经具备了欺骗专业财务人员、绕过企业内控流程的能力。深度伪造从社交媒体上的娱乐恶搞,演变为能够穿透企业内控流程的实战武器,这一转变的速度远超多数企业的安全更新周期。
更令人担忧的是,这类攻击的"性价比"正在急剧提升。据安全研究机构估计,制作一段足以欺骗专业人士的深度伪造视频,在2020年需要数万美元和数周时间;到2024年,成本已降至数百美元,时间缩短至数小时。随着开源模型和云服务的普及,这一趋势还将继续加速。当"伪造一位CEO的视频会议"变得像"拍一张自拍"一样简单,企业的安全防线将面临前所未有的考验。
亚太地区正面临越来越多的深度伪造攻击威胁。在中国香港,Arup事件只是冰山一角;在印度,深度伪造助长了广泛的不实信息传播。据多家安全研究机构监测,2025年亚太地区深度伪造音频和视频攻击将呈明显上升趋势。
Caffeine钓鱼即服务平台(Phaas)
四、AI鱼叉邮件的"个性化革命":当算法比你更懂你
如果说深度伪造是AI钓鱼攻击的"重武器",那么AI生成的个性化鱼叉邮件就是它的"常规弹药"——数量更多、频率更高、隐蔽性更强。传统鱼叉邮件的核心挑战在于"个性化"与"规模化"之间的矛盾:攻击者要么对少量目标进行深度定制(高精准、低产量),要么对大量目标发送模板化邮件(低精准、高产量)。AI彻底打破了这一矛盾。
现代大语言模型具备一项令攻击者垂涎的能力:它们可以在几秒钟内分析一个人的社交媒体资料、职业履历、近期动态,然后生成一封看似来自其同事、合作伙伴或上级的邮件。这封邮件不仅使用了正确的行业术语、符合目标的工作语境,还可能提及目标最近参加的一次会议、发布的一篇论文、或者社交媒体上的一条动态。这种"比你自己还懂你"的精准度,使得传统的"检查邮件是否可疑"的方法几乎失效。
Egress的报告揭示了一个令人不安的趋势:2024年,89%的钓鱼邮件使用了虚构身份进行冒充,其中被冒充最多的品牌是Adobe和微软。攻击者利用AI生成的邮件,不仅模仿了这些品牌的官方邮件风格,还能根据目标的具体情况调整内容——例如,针对设计师的目标会收到"Adobe Creative Cloud账户异常"的邮件,针对IT管理员的目标则会收到"Microsoft 365安全警报"的邮件。这种基于目标特征的动态内容生成,使得钓鱼邮件的点击率大幅提升。
更隐蔽的是"无载荷攻击"(payloadless attacks)的崛起。传统钓鱼邮件通常包含恶意附件或链接,安全软件可以通过扫描这些载荷来识别威胁。但AI驱动的"无载荷攻击"完全依赖社会工程学——邮件本身没有任何恶意代码,只是诱导目标进行某种操作,如"请确认您的账户信息"、"请点击此链接查看文档"。2024年,这类攻击占钓鱼尝试的近19%,较2021年的5.4%增长了近四倍。由于邮件本身"干净",传统安全网关几乎无法拦截。
AI还催生了"多通道钓鱼"(multi-channel phishing)的新形态。攻击者不再局限于邮件这一单一渠道,而是利用AI在邮件、短信(smishing)、语音电话(vishing)、即时通讯工具(如Microsoft Teams、Slack)之间无缝切换。2024年,语音钓鱼(vishing)从上半年到下半年激增了442%,攻击者通常冒充IT支持人员,通过电话诱导受害者提供凭证或安装恶意软件。AI生成的语音不仅逼真,还能实时响应受害者的提问,使得电话诈骗的欺骗性大幅提升。
这种"个性化革命"的可怕之处在于,它正在模糊"正常通信"与"恶意通信"之间的界限。当AI能够完美模仿你上司的写作风格、你同事的说话方式、你合作伙伴的邮件习惯,你如何分辨哪一封是真的、哪一封是假的?传统的"看语法错误""检查发件人地址"等识别方法,在AI面前已经形同虚设。传统上依赖"识别恶意"的防御思路,在AI时代已难以奏效;防御重心正被迫从"识别恶意"转向"验证真实"——这意味着安全成本的大幅上升和用户体验的显著下降。
五、PhaaS与AI工具包:钓鱼攻击的"低门槛化"陷阱
AI不仅提升了钓鱼攻击的质量,更通过"钓鱼即服务"(Phishing-as-a-Service,PhaaS)模式,将攻击的门槛降到了历史最低点。在PhaaS模式下,攻击者无需具备任何技术背景,只需支付少量费用,就能租用一套完整的钓鱼攻击工具包——包括伪造的登录页面、邮件模板、恶意载荷、甚至受害者数据。AI的加入,使得这些工具包变得更加智能和易用。
2024年,PhaaS平台的数量和质量都出现了显著增长。一些平台甚至提供了"AI助手"功能——用户只需输入目标的基本信息,AI就能自动生成个性化的钓鱼邮件、设计逼真的伪造页面、甚至规划整个攻击流程。这种"一键式"攻击能力,使得原本需要专业知识和经验的网络犯罪,变成了一种几乎任何人都能参与的"副业"。
Egress的报告揭示了一个令人震惊的数据:在2024年的大规模冒充攻击中,拥有超过2000名员工的企业在31天内平均收到1128封钓鱼邮件——每天约36封。这意味着,即使企业部署了最先进的安全邮件网关,攻击者仍然能够通过单纯依靠数量来突破防线。当攻击的数量级达到每天数十封、数百封时,即使每封邮件的识别准确率很高,"漏网之鱼"的绝对数量仍然足以造成严重后果。
AI工具包的"低门槛化"还体现在攻击成本的急剧下降。据安全研究机构监测,深度伪造工具的获取成本已大幅下降。这意味着,一个攻击者只需花费不到一杯咖啡的钱,就能获得一套足以欺骗大多数人的伪造工具。相比之下,2020年制作一段高质量的深度伪造视频需要数万美元。这种成本曲线的急剧下降,使得攻击的"投入产出比"变得极具吸引力——即使成功率只有千分之一,考虑到极低的成本和潜在的高额回报,攻击者仍然有强烈的动机持续发起攻击。
这种"低门槛化"趋势对全球网络安全构成了根本性挑战。在传统模式下,防御方可以依赖"攻击者数量有限"这一假设,通过重点监控已知的威胁来源来降低风险。但当攻击者从"专业犯罪团伙"扩展到"任何拥有智能手机的人",这种防御策略就彻底失效了。AI驱动的PhaaS平台,正在将网络犯罪从需要专业技能的"精英犯罪"转变为几乎人人可参与的"大众犯罪"。2024年,拥有超过2000名员工的企业在31天内平均收到1128封钓鱼邮件——每天约36封——这一数量级已使"重点监控已知威胁来源"的传统防御策略彻底失效。
六、国家级APT组织的AI战术升级
当普通网络犯罪分子还在学习如何使用AI工具时,国家级APT组织已经将AI深度整合进了他们的攻击体系。这些组织拥有充足的资金、专业的人才和长期的战略规划,AI技术在他们手中,不再是"锦上添花"的工具,而是"脱胎换骨"的催化剂。
2024年6月,微软威胁分析中心(MTAC)披露了一起令人警觉的事件:伊朗伊斯兰革命卫队(IRGC)支持的"Mint Sandstorm"组织,利用生成式AI技术伪造社会和政治活动家身份,对美国总统竞选的高级工作人员实施鱼叉式钓鱼攻击。攻击者使用被黑的高级顾问邮件账户,向目标发送包含恶意链接的钓鱼邮件。MTAC评估认为,这些行为者可能会继续针对共和党竞选目标,或在摇摆州选民中"制造混乱、恐惧或恐吓"。这是首次有公开证据表明,国家级APT组织将生成式AI直接用于选举干预。
OpenAI在2024年10月发布的报告进一步证实了这一趋势。报告显示,OpenAI全年干预了超过20起试图利用其模型进行的欺骗性操作,其中包括四起与选举相关的内容。这些操作涉及利用AI模型开发恶意软件、传播虚假信息和进行网络钓鱼攻击。虽然OpenAI的安全机制拦截了大部分滥用尝试,但报告也坦承,随着AI模型的能力不断增强,识别和拦截恶意使用的难度也在持续上升。
国家级APT组织利用AI的方式远不止生成钓鱼邮件。他们还在利用AI进行:
目标画像自动化:AI可以自动分析目标的社交媒体、公开履历、新闻动态,生成详细的人物画像,为精准钓鱼提供情报支持。传统上需要人工数天完成的情报收集工作,AI可以在数分钟内完成。
多语言本地化:AI的翻译和本地化能力,使得攻击者可以轻松地将钓鱼内容适配到不同语言和文化环境。一个以英语为母语的APT组织,现在可以毫不费力地发起针对中文、阿拉伯语、俄语目标的钓鱼攻击,且内容的地道程度足以欺骗母语者。
自适应攻击:AI可以根据目标的反应实时调整攻击策略。例如,如果目标没有点击第一封邮件中的链接,AI可以分析可能的原因(主题不够吸引人?时间不合适?),然后生成第二封更具针对性的跟进邮件。这种"学习-调整-再攻击"的循环,使得钓鱼攻击的成功率持续提升。
深度伪造情报:APT组织可以利用深度伪造技术,伪造目标国家政府官员的视频或音频,用于情报欺骗、舆论引导或战略威慑。2024年,多家西方安全厂商报告称观测到利用AI生成内容针对选举活动的虚假信息传播——这仅仅是冰山一角。
这些战术升级揭示了一个深刻的趋势:AI正在将国家级网络攻击从"人力密集型"转变为"算法密集型"。在传统模式下,一个APT组织的攻击能力主要取决于其人员规模和专业水平。但在AI时代,一个规模不大但技术先进的组织,借助AI工具,可以发起相当于传统模式下数十人团队才能执行的攻击。这种"以小博大"的能力,意味着小型APT组织借助AI工具即可发起传统模式下数十人团队才能执行的攻击,防御方面临的威胁来源正在从"可预测的"变为"不可预测的"。
国家级APT组织的AI战术升级特征
- 目标画像自动化:AI自动分析目标社交媒体和公开信息,数分钟内生成详细人物画像
- 多语言本地化:利用AI翻译和本地化能力,发起跨语言、跨文化的精准钓鱼攻击
- 自适应攻击:根据目标反应实时调整策略,形成"学习-调整-再攻击"的闭环
- 深度伪造情报:伪造政府官员视频/音频,用于情报欺骗、舆论引导和战略威慑
- 零日漏洞结合:52.5%的APT攻击报告为零日攻击,AI辅助漏洞挖掘和利用
- 供应链渗透:利用AI生成看似合法的软件更新或文档,渗透目标供应链
- 长期潜伏:AI辅助构建隐蔽通信通道,在目标网络中长期潜伏并持续窃取数据
七、检测困境:为什么AI钓鱼如此难以识别?
面对AI驱动的钓鱼攻击,传统的防御手段正在经历一场"降维打击"。安全邮件网关(SEG)依赖关键词过滤、发件人信誉评分和附件扫描来识别钓鱼邮件。但AI生成的邮件没有语法错误、使用合法的域名、不包含传统的恶意载荷,使得这些检测方法几乎失效。2024年第一季度的数据显示,成功绕过SEG检测的钓鱼攻击激增了52.2%,其中68.4%的攻击甚至通过了DMARC等邮件认证检查。
深度伪造的检测困境更为严峻。一项涵盖56项研究、超过86,000名参与者的元分析发现,人类识别深度伪造的平均准确率仅为55.5%——几乎与抛硬币无异。更令人沮丧的是,即使是最先进的自动化检测工具,在实验室条件下可以达到90%以上的准确率,但在真实世界环境中,准确率会下降45%至50%。这意味着,当深度伪造技术真正被用于攻击时,我们的检测系统几乎形同虚设。
这种"检测困境"的根源,在于生成式AI与检测AI之间的"军备竞赛"本质。生成式AI和检测AI本质上是同一枚硬币的两面——它们基于相似的神经网络架构,学习相似的数据分布。每当检测AI发现一种新的伪造特征,生成AI就会在下一次迭代中消除这一特征。这种"猫捉老鼠"的游戏没有终点,因为生成AI始终掌握着主动权——它只需要让伪造内容"足够好",而不需要"完美无缺"。
更深层的问题在于,AI钓鱼攻击正在利用人类认知的"盲区"。人类大脑在处理信息时,依赖于一系列快速、自动的启发式判断——"这封邮件来自我认识的人""这个声音是我上司的""这个人脸是我同事的"。这些启发式判断在进化过程中帮助我们快速识别威胁,但在AI时代,它们恰恰成了最危险的弱点。AI不需要欺骗我们的理性思维,它只需要欺骗我们的直觉——而后者,远比前者更容易被操控。
当深度伪造技术足够普及时,任何真实的音频、视频证据都可以被质疑为"可能是AI生成的"。这不仅为真正的犯罪分子提供了脱罪借口,更从根本上侵蚀了社会信任的基础。当一个社会无法确定什么是真实的、什么是伪造的,"真相"本身就变成了一个有争议的概念。这种"认知污染"的深远影响,可能远超任何单一钓鱼攻击造成的直接损失。
八、中国的应对:从算法治理到安全大模型
在AI驱动钓鱼攻击全球化蔓延之前,中国已前瞻性地布局AI安全治理体系。这条路的核心,是坚持"发展与安全并重"的原则——既不因噎废食地限制AI技术的发展,也不放任自流地让AI技术被滥用。中国的应对策略,可以从"制度治理"和"技术创新"两个维度来理解。
在制度治理层面,中国构建了全球最为系统化的AI治理法规体系。2017年,《国务院关于印发新一代人工智能发展规划的通知》明确提出到2030年初步建立和完善人工智能法律法规、伦理规范和政策体系。2020年,《法治社会建设实施纲要(2020-2025年)》进一步提出制定完善对算法推荐、深度伪造等新技术应用的规范管理办法。2022年3月1日起施行的《互联网信息服务算法推荐管理规定》,从信息服务规范和用户权益保护两个方面,对五大类算法做出了规范,构建了涵盖算法分级分类、备案管理、监督检查、风险监测、安全评估等举措的科学监管体系。
2022年12月,《互联网信息服务深度合成管理规定》正式施行,这是中国首部专门针对深度合成(即深度伪造)技术的法规。该规定明确要求,深度合成服务提供者应当采取技术措施添加不影响使用的标识,并提示使用者深度合成内容情况。2024年9月,国家互联网信息办公室发布《人工智能生成合成内容标识办法(征求意见稿)》,首次对AI深度伪造作出了更为具体的规范,要求AI生成的合成内容应当添加显式标识和隐式标识,未进行标识造成严重后果的,将予以处罚。
在技术创新层面,中国网络安全企业和研究机构正在将AI的力量从"攻击方"转向"防御方"。360安全大模型在2024年完成了全球首次系统在无人类专家介入下,以分钟级速度智能化捕获APT-C-28的攻击。这一突破标志着中国在APT检测领域从"人工分析"迈入了"AI自动化"时代。360安全大模型还成为国内首个接入DeepSeek的安全大模型,通过继续强化学习等技术手段,让安全真正做到"自动驾驶"。
中国的AI安全治理还体现在对生成式AI服务提供者的严格监管上。《生成式人工智能服务管理暂行办法》于2023年8月施行,要求服务提供者建立健全投诉举报机制,对违法内容及时采取停止生成、停止传输、消除等处置措施。这些规定虽然主要针对内容安全,但其底层逻辑——对AI生成内容的可追溯性和可问责性——同样适用于防范AI驱动的钓鱼攻击。
值得注意的是,中国的AI治理始终坚持"党对人工智能服务的领导"这一根本原则。2024年,《中共中央关于进一步全面深化改革、推进中国式现代化的决定》把人工智能发展政策、安全监管、治理体系、管理机制列为全面深化改革的重要任务。2025年全国人大常委会工作报告提出将围绕人工智能等新兴领域加强立法研究。《人工智能法》草案已被列入国务院2023年立法工作计划。这些顶层设计,有力指导和推动了AI安全治理的制度体系建设。
清华大学教授薛澜在2025年3月的一次访谈中指出,AI深度伪造现象层出不穷,根本原因在于"造假成本过低,追查和执法成本却非常高"。这种不对称性使一些人铤而走险。他强调,除了国家层面要出台原则性规制,社会和企业也需要在实践中不断调试和探索,对政府层面的规则进行补充。这一观点深刻揭示了中国AI治理的核心理念:不是依靠单一的法律手段,而是构建政府、企业、社会协同共治的多元治理格局。
中国AI安全治理关键法规与政策时间线
- 2017年:《国务院关于印发新一代人工智能发展规划的通知》,明确到2030年初步建立AI法律法规体系
- 2020年:《法治社会建设实施纲要(2020-2025年)》,提出制定深度伪造等新技术应用的规范管理办法
- 2022年3月:《互联网信息服务算法推荐管理规定》正式施行,构建算法分级分类监管体系
- 2022年12月:《互联网信息服务深度合成管理规定》正式施行,中国首部深度伪造专项法规
- 2023年8月:《生成式人工智能服务管理暂行办法》施行,规范生成式AI服务
- 2024年9月:国家网信办发布《人工智能生成合成内容标识办法(征求意见稿)》
- 2024年:《中共中央关于进一步全面深化改革、推进中国式现代化的决定》将AI安全监管列为重要任务
- 2025年:全国人大常委会工作报告提出加强AI领域立法研究;《人工智能法》草案推进中
中国AI安全治理关键法规与政策演进(2017—2025)
数据来源:国务院、国家网信办、中共中央、全国人大常委会工作报告等官方文件面对AI驱动钓鱼攻击的全球化浪潮,中国构建了全球最为系统化的AI治理法规体系。从2017年《新一代人工智能发展规划》提出到2030年初步建立AI法律法规体系,到2022年首部深度伪造专项法规《互联网信息服务深度合成管理规定》正式施行,再到2025年《人工智能法》草案推进中——中国走出了一条"发展与安全并重"的治理之路。上图清晰呈现了从顶层设计到具体法规的完整制度演进脉络。
九、全球治理困局:谁来约束算法的武器化?
AI驱动钓鱼攻击的全球化特征,决定了任何单一国家的治理努力都是不够的。然而,在全球范围内建立有效的AI安全治理机制,却面临着前所未有的困难。这些困难不仅来自技术层面的挑战,更来自政治、经济和法律层面的深层矛盾。
首先,技术发展的速度远超监管能力。生成式AI的能力正以指数级速度提升,而法律法规的制定和修订周期通常以年为单位。当一部法规从起草到施行时,它所针对的技术可能已经迭代了数个版本。这种"监管滞后"不是某个国家的特例,而是全球性的困境。欧盟的《人工智能法案》(AI Act)虽然被誉为全球首部综合性AI法规,但其从提出到最终通过历时数年,期间AI技术已经发生了翻天覆地的变化。
其次,国际合作的障碍重重。AI安全治理需要各国在标准制定、情报共享、执法协作等方面开展深度合作。但在当前的国际政治环境下,这种合作面临着巨大的阻力。某些西方国家一方面呼吁"国际AI治理",另一方面却将AI技术作为地缘政治竞争的工具,对中国等国家的AI发展实施技术封锁和出口管制。这种"既要合作又要遏制"的双重标准,严重削弱了全球AI治理的公信力。
再次,某些西方国家将AI治理政治化、工具化,以"言论自由"为名行放任之实,以"技术封锁"为器行打压之实。2024年,部分国际社交媒体平台在内容治理上摇摆不定——对明显的AI生成诈骗内容反应迟缓,却对发展中国家的正常技术交流设置障碍。这种"选择性治理"不仅未能遏制AI滥用,反而为全球AI安全治理制造了新的分裂。
世界经济论坛在2025年《全球风险报告》中警告,64%的专家预计到2035年全球秩序将更加碎片化,中等强国和大国之间的竞争将加剧。在这种背景下,多边主义面临重大压力,全球合作应对AI安全威胁的前景不容乐观。报告还指出,超过半数的受访者预计两年内将出现某种程度的不稳定,这反映了国际合作机制普遍面临的断裂风险。
面对这一困局,中国提出了"构建网络空间命运共同体"的理念,倡导各国在尊重彼此网络主权的基础上,通过对话与合作共同应对网络安全威胁。中国认为,AI治理不应成为某些国家推行技术霸权、打压竞争对手的工具,而应服务于全人类的共同利益。这一立场在国际社会获得了广泛认同,也为破解全球AI治理困局提供了中国方案。
然而,理念的共识转化为行动的合作,仍然需要漫长的过程。在AI安全领域,各国需要在以下方面取得实质性进展:建立全球统一的AI生成内容标识标准,使伪造内容在任何平台都能被快速识别;构建跨国界的AI安全情报共享机制,及时预警和协同应对新型AI攻击;制定针对AI滥用行为的国际法律框架,明确国家、企业和个人在AI安全中的责任;推动AI安全技术的开源共享,帮助发展中国家提升防御能力。这些目标的实现,需要超越地缘政治分歧的政治智慧和战略勇气。
十、结语:在算法的镜子中,我们如何守护信任?
从2024年新罕布什尔州的拜登机器人电话,到香港Arup公司的2.56亿港元诈骗;从伊朗"Mint Sandstorm"组织的AI驱动选举干预,到全球范围内每天数百万封AI生成的钓鱼邮件——AI驱动的国家级钓鱼攻击,正在以一种前所未有的速度和规模重塑网络空间的威胁格局。这不是一个关于技术的未来想象,而是已经发生的现实。
这场"算法武器化"的浪潮,提出了一个根本性问题:当AI生成的内容足以乱真,社会如何维系对"真实"的共同认知?当任何证据都可以被质疑为"可能是AI生成的",司法举证、新闻报道、公共决策的基础都将受到侵蚀。钓鱼攻击从"欺骗机器"升级为"欺骗人心",防御的重心必须从技术层面向社会认知层面转移。
这些问题没有简单的答案。但中国的实践表明,应对AI驱动的安全威胁,需要超越单纯的技术对抗,走向制度治理、技术创新和国际合作的综合治理之路。在制度层面,中国构建了从算法推荐到深度合成、从生成式AI到内容标识的完整法规体系,为全球AI治理提供了"中国样本"。在技术层面,360安全大模型等自主创新成果,展示了中国在AI安全防御领域的技术实力。在国际层面,"网络空间命运共同体"理念为破解全球AI治理困局提供了中国智慧。
然而,技术再先进、制度再完善,最终都无法完全替代人的判断。在AI时代,每个人都是自己信息安全的第一道防线。培养公众的AI素养——了解AI能做什么、不能做什么,学会识别AI生成内容的常见特征,保持对"过于完美"的信息的警惕——可能比任何技术措施都更为重要。攻击者不需要让受害者相信谎言是真的,他们只需要让受害者对一切都产生怀疑。当信任的基础被侵蚀,社会秩序本身就会动摇。守护信任,首先要守护我们对"真相可以被认知"的信念。
站在2025年回望,2024年或许是人类历史上第一个"AI大规模介入信息战"的年份。这一年发生的每一起AI钓鱼攻击、每一次深度伪造诈骗、每一场选举干预,都在提醒我们:算法本身没有善恶,但使用算法的人却有立场和意图。当算法被武器化,对抗它的不能只是更好的算法,还需要更坚定的价值立场、更完善的制度保障、更广泛的社会共识。
中国坚持走和平发展道路,坚定维护国家主权、安全和发展利益。在AI安全领域,中国既不会将AI技术武器化以威胁他国,也不会在AI攻击面前坐以待毙。中国将坚持发展与安全并重,推动AI技术造福全人类,同时坚决捍卫国家网络安全和公民合法权益。这是中国特色社会主义制度的优越性所在,也是中华民族走向伟大复兴的自信所在。
当AI驱动的钓鱼攻击足以影响选举结果、瘫痪企业运营、侵蚀社会信任,一个无法回避的问题随之而来:这种攻击是否已构成"网络战"行为?国际法如何界定其性质?各国又该如何在"主权"与"协作"之间找到平衡?——这些问题,将在下一节中深入探讨。
"网络空间不是法外之地。维护网络安全不应有双重标准。各国都应该遵守国际法和国际关系基本准则,尊重他国网络主权,不从事、纵容或支持危害他国国家安全的网络活动。" —— 习近平在第二届世界互联网大会开幕式上的讲话,2015年12月16日
延伸阅读与参考
- Egress. (2024). Phishing Threat Trends Report 2024. Egress Software Technologies. — 报告揭示2024年AI驱动钓鱼攻击激增,QR钓鱼和语音钓鱼成为新趋势,千禧一代成为首要目标。
- Darktrace. (2024). Annual Threat Report 2024. Darktrace Limited. — 全年检测超3040万封钓鱼邮件,32%使用AI生成文本,语言复杂度显著提升。
- Microsoft Threat Analysis Center (MTAC). (2024). Iranian Threat Actor Mint Sandstorm Uses AI-Generated Content in Spear-Phishing Campaign. Microsoft. — 披露伊朗IRGC关联组织利用生成式AI伪造身份,对美国竞选官员实施鱼叉式钓鱼攻击。
- OpenAI. (2024). Disrupting Deceptive Uses of AI by Covert Influence Operations. OpenAI. — 全年干预超过20起利用OpenAI模型的欺骗性操作,涉及恶意软件、虚假信息和网络钓鱼。
- World Economic Forum. (2025). Global Risks Report 2025. WEF. — 错误信息与虚假信息连续两年位列短期全球风险之首,64%专家预计全球秩序将更加碎片化。
- World Economic Forum. (2024). Global Risks Report 2024. WEF. — 首次将错误信息和虚假信息列为短期全球风险首位,标志"超级选举年"的认知危机。
- Federal Communications Commission (FCC). (2024). FCC Proposes $6 Million Fine for AI-Generated Robocall Impersonating President Biden. FCC. — 对制作AI克隆拜登语音机器人电话的政治顾问开出600万美元罚单,并起诉13项重罪。
- Chen, H. & Magramo, K. (2024). "British engineering giant Arup revealed as $25 million deepfake scam victim." CNN Business, May 16, 2024. — 报道香港Arup员工在AI伪造高管视频会议中被骗转账2.56亿港元(约2500万美元)的详细经过。
- Check Point Software Technologies. (2024). APAC Cybersecurity Threat Landscape 2024-2025. Check Point. — 预测2025年亚太地区将面临AI驱动的深度伪造音频和视频攻击浪潮。
- South African Banking Risk Information Centre (SABRIC). (2024). Annual Crime Statistics 2024. SABRIC. — 南非2024年数字银行欺诈案件翻倍至6.4万起,CEO警告AI生成的钓鱼邮件和语音深度伪造成为新威胁。
- 《互联网信息服务算法推荐管理规定》. (2022). 国家互联网信息办公室等四部门. — 中国首部系统性算法监管法规,构建算法分级分类、备案管理、安全评估等监管体系。
- 《互联网信息服务深度合成管理规定》. (2022). 国家互联网信息办公室等三部门. — 中国首部专门针对深度合成(深度伪造)技术的法规,要求添加内容标识。
- 《生成式人工智能服务管理暂行办法》. (2023). 国家互联网信息办公室等七部门. — 规范生成式AI服务,要求建立投诉举报机制,对违法内容及时采取停止生成等处置措施。
- 《人工智能生成合成内容标识办法(征求意见稿)》. (2024). 国家互联网信息办公室. — 首次对AI深度伪造作出具体规范,要求添加显式和隐式标识,未标识将予以处罚。
- 《法治社会建设实施纲要(2020-2025年)》. (2020). 中共中央. — 提出制定完善对算法推荐、深度伪造等新技术应用的规范管理办法。
- 《国务院关于印发新一代人工智能发展规划的通知》. (2017). 国务院. — 明确到2030年初步建立AI法律法规、伦理规范和政策体系的顶层设计。
- 《中共中央关于进一步全面深化改革、推进中国式现代化的决定》. (2024). 中共中央. — 将AI发展政策、安全监管、治理体系、管理机制列为全面深化改革重要任务。
- 习近平. (2015). 在第二届世界互联网大会开幕式上的讲话. 乌镇,2015年12月16日. — 提出"网络空间不是法外之地",倡导尊重各国网络主权,反对双重标准。