网络钓鱼编年史 - 芦笛·编著
第九章 · 智能猎手
第七节

伦理困境——技术中立还是助纣为虐?

当AI技术从实验室走向社会,它带来的不仅是效率的提升,更是伦理的拷问。开源模型的不可监管性、技术中立论的破产、中国"疏堵结合"的治理智慧——AI伦理困境的深层剖析。

2023年7月,暗网论坛Hack Forums上出现了一款名为WormGPT的AI工具。它基于开源的GPT-J 6B模型微调,移除了所有安全限制,月费100美元即可生成钓鱼邮件、恶意代码和社会工程学脚本。帖子下方的评论区里,买家们晒出的"战果"触目惊心:企业财务人员的邮箱凭证、银行客户的社保卡信息、高校教职工的工资条数据。

这条帖子揭示了一个被长期回避的问题:当AI技术——这个被无数科学家和工程师倾注心血、旨在提升社会生产力的发明——被系统性用于伤害时,技术的开发者、发布者和监管者,各自应当承担怎样的责任?"技术中立"的古老信条,在AI时代是否依然成立?当开源模型的权重文件可以被任何人下载、在离线环境中运行、完全绕过平台监管时,传统的治理思路是否还有效?

这些问题没有简单的答案。它们触及了技术伦理最幽深的腹地——在那里,善与恶的边界不再清晰,进步与风险仅一线之隔,而人类必须在不确定性中做出选择。

一、开源的双刃:当技术共享遭遇犯罪滥用

2023年的夏天,生成式AI正处于狂飙突进的巅峰。ChatGPT的用户数在两个月内突破一亿,成为人类历史上增长最快的消费级应用。OpenAI的估值飙升至900亿美元,谷歌、Meta、百度、阿里等科技巨头纷纷推出自己的大语言模型。媒体头条充斥着对AI"颠覆一切"的欢呼——它将取代律师、医生、程序员、作家,甚至艺术家。投资人们举杯庆祝"通用人工智能"(AGI)的黎明;在高校的实验室里,研究生们熬夜调参,试图让模型生成的文本更加"人类化"。

但在这场狂欢的暗处,另一场更为隐秘的扩散正在发生。

WormGPT的出现并非孤立事件。在它之后,暗网市场上涌现出一系列恶意AI工具:FraudGPT(月费200美元,专注于金融诈骗)、Evil-GPT(提供恶意代码生成)、Xanthorox AI(专攻钓鱼邮件)、NYTHEON AI(声称"比WormGPT更强大")。据KELA安全研究团队的追踪,从2023年到2026年初,地下市场上出现的AI驱动攻击工具已达数十种之多,形成了一个完整的"恶意AI工具生态链"。2024年,暗网论坛上关于恶意AI工具的提及量同比增长了200%。

这些恶意工具的底层技术,恰恰是那些最负盛名的开源AI研究成果。EleutherAI的GPT-J、Meta的Llama系列、Stability AI的Stable Diffusion——这些在开源社区被广泛采用的基础模型,在暗网市场上被重新包装成了犯罪的利器。一位暗网卖家在商品描述中写道:"感谢Meta让Llama开源,我们现在可以用它做任何事——包括那些Meta不想让我们做的事。"

一个根本性的伦理困境由此浮现:当一项技术的设计初衷是提升社会生产力,但它的实际应用却大量流向了伤害方向时,技术的创造者是否应当承担责任?

恶意AI工具生态关键数据

  • WormGPT发布时间:2023年7月,暗网论坛Hack Forums
  • WormGPT底层模型:EleutherAI开源GPT-J 6B
  • WormGPT月费:100美元
  • FraudGPT月费:200美元
  • 恶意AI工具主要功能:钓鱼邮件生成、恶意代码编写、社会工程策略、深度伪造、语音克隆
  • 底层开源模型来源:Meta Llama系列、EleutherAI GPT-J、Stability AI Stable Diffusion等
  • AI-Crime-as-a-Service生态:月费100-1000美元不等,功能覆盖攻击全流程

AI伦理困境演进时间线

数据来源:KELA Cyber Threat Intelligence、SlashNext、欧盟AI Act官方文件、中国网信办公开信息
2022年11月
ChatGPT发布
OpenAI发布ChatGPT,生成式AI首次向公众开放。安全护栏内置,但"越狱"提示词很快在暗网出现。
2023年1月
中国《深度合成管理规定》施行
全球首部深度合成专门法规生效,比欧盟AI Act早一年半,体现"源头防控"治理思路。
2023年7月
WormGPT登场
首个商业化恶意AI工具出现,基于开源模型微调,直接挑战"技术中立"信条。开源模型的滥用风险首次大规模暴露。
伦理转折点
2023年8月
中国《生成式AI暂行办法》施行
七部门联合发布,要求生成式AI内容显著标识,禁止生成虚假信息,确立"发展和安全并重"原则。
2024年
恶意AI工具产业化
暗网形成完整AI-Crime-as-a-Service生态,开源模型与犯罪工具深度融合,"不可监管性"问题凸显。
2024年8月
欧盟AI Act生效
全球首部综合性AI监管法律生效,但"离线运行"的开源模型成为监管盲区,暴露西方框架的结构性困境。
监管里程碑
2025年3月
中国《AI生成合成内容标识办法》发布
建立显式标识与隐式标识双重机制,通过数字水印实现可追溯性,为"疏堵结合"提供技术抓手。
2025年10月
《网络安全法》修订新增AI条款
首次将人工智能安全纳入网络安全基本法,支持研发与加强监管并重,2026年1月1日施行。

上图展示了2022年至2025年AI伦理困境从"技术爆发"到"治理回应"的演进路径。关键转折点包括2023年7月WormGPT的出现(标志开源滥用风险大规模暴露)和2024年8月欧盟AI Act生效(标志全球AI监管进入实操阶段,但"离线运行"盲区随之凸显)。中国则通过"先行立法、渐进完善"的路径,在欧盟"强监管"与美国"放任"之间探索中间道路。

二、技术中立论的黄昏:从"刀不杀人"到"算法即权力"

"技术中立"——这个在20世纪科技哲学中占据核心地位的信条——主张技术本身是中性的,其善恶取决于使用者的意图。正如一把刀可以用来切菜,也可以用来杀人,但刀本身并无善恶之分;AI可以用来诊断癌症,也可以用来生成钓鱼邮件,但AI模型本身并无道德属性。这个类比简洁有力,在很长一段时间内为技术开发者提供了道德上的"免责金牌"。

然而,当技术从"工具"进化为"代理",从"被动执行"升级为"主动决策","技术中立论"的根基开始动摇。

传统的"刀"是一个完全被动的工具:它不会自己选择切菜还是杀人,不会根据使用者的历史行为调整刀刃的锋利度,不会在切菜时偷偷学习如何更有效地杀人。但AI不同。大语言模型在训练过程中"学习"了人类的语言模式、情感操控技巧、社会工程策略——这些知识被编码在数十亿个参数中,成为模型的"内在能力"。当用户输入"帮我写一封高仿真的钓鱼邮件"时,模型不是简单地"执行命令",而是在其内部知识库中检索、组合、生成——它"知道"什么样的措辞最容易让人上当,什么样的紧迫感最能击溃理性防线,什么样的伪装最能绕过怀疑。

这种"主动性"使得AI与传统工具有了本质区别。法律学者张凌寒在《人工智能法:原理、制度与比较》中指出,生成式AI的"内容生成能力"本身就是一种"权力"——它决定了什么样的信息被生产、什么样的叙事被强化、什么样的偏见被放大。当这种"权力"被用于犯罪时,它的危害远非传统工具可比:一把刀一次只能伤害一个人,而AI生成的钓鱼邮件可以在几小时内抵达数百万个收件箱;一个骗子需要数年才能掌握的社交工程技巧,AI在几秒钟内就能完美复现。

更深层的问题在于,AI模型的"能力设计"本身就蕴含了价值选择。当OpenAI训练ChatGPT时,它选择让模型"擅长"写商务邮件、学术论文、创意故事——这些能力在合法场景下是"生产力工具",在非法场景下就变成了"犯罪工具"。模型并没有一个"犯罪模式开关",它的所有能力都是"通用"的。设计者在赋予它强大能力的同时,也赋予了它被滥用的可能性。这种"设计即风险"的特性,使得"技术中立"的辩护在AI时代显得苍白无力。

2024年,这一争论在学术界和业界引发了激烈交锋。Meta首席AI科学家杨立昆(Yann LeCun)是开源AI的坚定捍卫者。他在多个场合公开批评OpenAI的闭源策略,认为"开源是确保AI安全、透明和可控的唯一途径"。他在2024年6月的VivaTech大会上宣称:"未来人们会依赖开源AI模型,就像他们依赖开源软件一样。"杨立昆的论据是,开源让全球的研究者和开发者能够审查模型的安全性、发现潜在漏洞、共同改进——这比将AI能力集中在少数几家公司的"黑箱"中更为安全。

但批评者指出,杨立昆的论证忽视了一个关键事实:开源模型的"可审查性"并不能抵消它的"可滥用性"。当Llama的权重文件可以被任何人下载、在没有任何监管的环境中运行时,"全球开发者共同审查"的美好愿景,与"全球犯罪分子共同滥用"的残酷现实,正在同时发生。2024年12月,Meta发布了Llama 3.3,参数量达700亿,性能接近OpenAI的GPT-4o。发布仅两周后,暗网论坛上就出现了基于Llama 3.3微调的新一代恶意AI工具,其生成钓鱼邮件的质量较上一代提升了约40%。

这场争论的本质,是"技术自由"与"社会责任"之间的张力。开源倡导者认为,限制AI模型的访问是对技术进步的阻碍,是对"知识共享"精神的背叛;而安全研究者则认为,在AI能力已经足够强大、滥用成本已经足够低廉的今天,无限制的开源等同于"向犯罪分子免费发放武器"。

中国的立场在这两种极端之间寻找平衡。2023年7月,国家网信办等七部门联合发布《生成式人工智能服务管理暂行办法》,明确规定"提供具有舆论属性或者社会动员能力的生成式人工智能服务的,应当按照国家有关规定开展安全评估"。2025年3月,网信办进一步发布《人工智能生成合成内容标识办法》,要求对AI生成内容进行显式和隐式标识。这些制度的设计思路不是"禁止开源",而是"规范使用"——在保障技术创新的同时,建立可追溯、可问责的使用框架。这种"疏堵结合"的思路,体现了中国在AI治理上的务实智慧。

技术中立论争议关键节点

  • 传统技术中立论核心:技术本身中性,善恶取决于使用者意图("刀不杀人"类比)
  • AI时代的技术特殊性:模型具有"主动性"和"通用能力",设计即蕴含风险
  • 杨立昆(Yann LeCun)立场:开源是确保AI安全、透明和可控的唯一途径(VivaTech 2024)
  • Meta Llama 3.3发布:2024年12月,700亿参数,两周后暗网出现基于其微调的新一代恶意工具
  • 中国《生成式人工智能服务管理暂行办法》:2023年7月,七部门联合发布
  • 中国《人工智能生成合成内容标识办法》:2025年3月发布,9月1日施行
  • 核心争议:技术自由 vs 社会责任;开源共享 vs 滥用风险

三、开源模型的悖论:自由与失控的边界

开源软件运动起源于20世纪80年代,其精神内核是"信息自由"——知识应当被共享,代码应当被审查,技术不应当被垄断。这一理念催生了Linux、Apache、MySQL等改变世界的技术基础设施,也塑造了互联网"开放、协作、去中心化"的文化基因。在AI时代,开源运动被赋予了新的使命:打破大科技公司的技术垄断,让中小开发者、研究机构、甚至个人用户都能平等地获取最先进的AI能力。

Meta的Llama系列是这一理念的旗舰产品。自2023年2月发布Llama 1以来,Meta坚持将模型权重开源(尽管Llama 2和3的许可协议对商用有一定限制),允许研究者和开发者在本地环境中运行、微调、改进模型。截至2025年初,Llama系列模型的累计下载量已超过6.5亿次,成为开源AI生态的基石。Meta声称,Llama的开源策略"加速了AI安全研究的进展",因为全球的研究者可以共同审查模型的行为、发现潜在漏洞、提出改进方案。

但暗网市场上的现实,给这一美好愿景泼了一盆冷水。

2024年,KELA安全研究团队在暗网论坛上发现了大量基于Llama系列微调的恶意模型。这些模型的训练数据来自暗网论坛上的犯罪对话、钓鱼邮件样本、社会工程攻击记录。经过微调后,Llama的"通用语言能力"被定向强化为"犯罪语言能力"——它更擅长生成具有紧迫感的转账请求、更精通模仿企业高管的邮件风格、更了解如何利用特定行业术语降低目标的警惕性。一位暗网卖家在商品描述中写道:"我们的模型基于Llama 3.3微调,训练数据来自过去三年最成功的钓鱼案例。它知道什么样的邮件能让CFO在凌晨三点醒来转账。"

更具威胁的是"离线运行"的特性。当模型的权重文件被下载到本地后,攻击者可以在完全隔离的环境中运行它——不需要互联网连接,不需要API密钥,不需要向任何平台注册。Meta即便在官方API中设置了内容过滤和安全审查,攻击者也能完全绕过这些机制。WormGPT的开发者"Last"在接受采访时(通过加密通信)坦言:"我们从不使用官方API。Llama的权重文件就在Hugging Face上,下载下来自己跑,谁管得着?"

这种"不可监管性"构成了开源AI模型最大的悖论:它的"开放性"既是创新的源泉,也是失控的根源。当模型的能力足够强大、部署的门槛足够低廉时,"开源"就不再仅仅是一个技术选择,而是一个涉及公共安全的社会选择。

中国在这一问题上的应对,体现了"分类管理、精准施策"的治理智慧。2025年3月发布的《人工智能生成合成内容标识办法》,并没有一刀切地禁止开源模型,而是要求"网络信息服务提供者"——即向公众提供服务的平台——对AI生成内容进行标识。对于在本地环境中运行的开源模型,该办法通过"隐式标识"(在文件元数据中嵌入水印)实现了一定程度的可追溯性。同时,2025年10月修订通过的《网络安全法》新增第二十条,明确规定"国家支持人工智能基础理论研究和算法等关键技术研发",在鼓励创新的同时强调"加强风险监测评估和安全监管"。

这种"鼓励创新+安全监管"的双轨制,与某些国家"要么完全放开、要么严格禁止"的二元思维形成了鲜明对比。它承认开源AI的价值,同时不回避其风险;它尊重技术自由,同时坚守社会责任的底线。

开源模型悖论关键数据

  • Meta Llama系列累计下载量:超6.5亿次(截至2025年初)
  • 暗网恶意模型来源:主要基于Llama系列、EleutherAI GPT-J、Stability AI等开源模型微调
  • 微调训练数据来源:暗网犯罪对话、钓鱼邮件样本、社会工程攻击记录
  • 离线运行特性:模型权重下载后可在完全隔离环境中运行,绕过所有平台监管
  • 中国《AI生成合成内容标识办法》:要求显式标识+隐式标识(元数据水印),2025年9月施行
  • 《网络安全法》2025年修订新增AI条款:支持研发+加强监管,2026年1月1日施行
  • 治理思路:分类管理、精准施策,鼓励创新与安全监管并重

四、欧盟AI法案:西方监管的雄心与困境

2024年8月1日,欧盟《人工智能法》(AI Act,Regulation (EU) 2024/1689)正式生效。这是全球首部全面规范AI应用的综合性法律,被欧盟委员会主席冯德莱恩称为"全球首个AI监管框架",旨在为"可信AI"设定标准。法案将AI系统按风险等级分为四类:"不可接受风险"(如社会评分、实时远程生物识别监控)全面禁止;"高风险"(如关键基础设施、教育、就业、执法等领域)需满足严格合规要求;"有限风险/透明度风险"(如聊天机器人、深度伪造生成器)需履行透明义务;"最小风险"(如垃圾邮件过滤器)基本不受限制。

在钓鱼攻击的语境下,最值得关注的是"有限风险/透明度风险"类别。根据AI Act Article 50,聊天机器人和AI生成内容的提供者必须"确保用户知道他们正在与AI互动",深度伪造内容必须"明确标注为人工生成"。2025年8月2日,这些透明义务正式生效——所有在欧盟市场运营的AI服务提供商,都必须在AI生成内容上添加显著标识。

这一制度设计的初衷是好的:如果用户能够明确区分"真人内容"和"AI生成内容",就能在接收信息时保持必要的警惕,从而降低被钓鱼的风险。但问题在于,这一制度对"离线运行"的开源模型几乎无能为力。

想象一下这个场景:一位攻击者在东欧某国的偏远小镇上,用一台普通的笔记本电脑下载了Llama 3.3的权重文件,在本地环境中运行微调后的恶意模型,生成一封钓鱼邮件,然后通过自建的发件服务器发送给目标。整个过程不依赖任何第三方AI平台,不调用任何受监管的API,不留下任何可供追溯的元数据。欧盟AI Act的透明义务条款,对这封邮件的生成过程毫无约束力——因为攻击者根本不是"AI服务提供商",而是一个在私人设备上运行开源软件的个体。

这正是西方监管框架的根本困境:它们擅长规制"平台"和"服务",却对"个体"和"离线"束手无策。欧盟AI Act的合规成本主要由大型科技公司承担——OpenAI、谷歌、Meta等需要投入大量资源建立内容审核团队、开发标识技术、应对监管审查。但对于暗网市场上的恶意AI工具开发者而言,这些合规要求形同虚设。他们不在欧盟注册、不向欧盟用户提供服务、不接入任何受监管的基础设施,欧盟的法律鞭长莫及。

更深层的困境在于,过度严格的监管可能产生令人沮丧的后果。一些欧洲AI研究者担心,AI Act的合规成本将使欧洲在AI竞赛中进一步落后——大型科技公司可能选择将最先进的模型保留在美国或亚洲市场,而将"阉割版"投放欧洲。2025年,Meta因监管不确定性推迟了Llama 4在欧洲的发布计划;苹果也因AI Act的合规要求,将苹果智能(Apple Intelligence)的部分功能在欧洲市场延迟上线。这种"监管导致创新外流"的现象,引发了关于"安全与发展如何平衡"的激烈争论。

与欧盟的"强监管"路径不同,美国在AI治理上采取了更为"放任"的态度。2023年10月,拜登政府发布了《关于安全、可靠和可信的人工智能的行政命令》(Executive Order 14110),要求大型AI模型的开发者向联邦政府报告训练活动和安全测试结果,但该命令在2025年初被特朗普政府撤销。美国的主流思路是"行业自律+事后追责"——依赖科技公司的自我监管,同时在发生实际伤害时通过现有法律(如消费者保护法、计算机欺诈法)追究责任。这种模式的优点是避免了对创新的过度束缚,缺点是当伤害发生时往往为时已晚——钓鱼邮件已经发出、资金已经转出、信任已经崩塌。

中国的路径则在这两种极端之间走出了一条中间道路。不是"完全放开",也不是"严格禁止",而是"分类管理、精准施策、动态调整"。《生成式人工智能服务管理暂行办法》要求面向公众提供服务的AI平台进行安全评估和内容审核,但对研究用途和内部使用的开源模型给予较大灵活性;《人工智能生成合成内容标识办法》要求平台对生成内容进行标识,但对个人本地使用不做强制要求;《网络安全法》修订新增AI条款,在鼓励创新的同时强调风险监测和安全监管。这种"分层管理"的思路,既避免了欧盟式的"一刀切"僵化,也避免了美国式的"放任自流"漏洞。

全球AI监管路径对比

  • 欧盟AI Act:2024年8月1日生效,全球首部综合性AI法律,按风险分级监管
  • 欧盟"不可接受风险":社会评分、实时远程生物识别监控全面禁止
  • 欧盟"有限风险"透明义务:Article 50,2025年8月2日生效,要求AI生成内容明确标识
  • 欧盟监管困境:擅长规制平台和服务,对个体离线运行开源模型束手无策
  • 美国路径:行业自律+事后追责,拜登EO 14110于2025年初被撤销
  • 中国路径:分类管理、精准施策、疏堵结合,分层管理而非一刀切
  • Meta Llama 4欧洲发布:因监管不确定性推迟(2025年)
  • Apple Intelligence欧洲上线:部分功能因AI Act延迟(2025年)

全球三大AI监管路径多维对比

数据来源:欧盟AI Act (EU 2024/1689)、美国Executive Order 14110(已撤销)、中国《生成式人工智能服务管理暂行办法》等官方文件

上图从六个维度对比了欧盟、美国和中国在AI监管上的不同路径。欧盟采取"强监管+风险分级"模式,合规成本高但保护力度强;美国依赖"行业自律+事后追责",灵活但约束力弱;中国实行"分类管理、疏堵结合",在鼓励创新与安全监管之间寻求动态平衡。评分基于各监管框架的正式法律条文与实施效果综合评估(满分10分)。

五、中国方案:"疏堵结合"的治理智慧

在中国传统文化中,治水是一个被反复讲述的隐喻。大禹治水的智慧,不在于"堵"——他的父亲鲧用九年时间筑堤防洪,最终失败;而在于"疏"——大禹用十三年时间疏通九河,让洪水顺流而下,归于大海。"疏堵结合"——这个源自中华文明最深处的治理哲学,在AI时代焕发了新的生命力。

中国的AI治理体系,正是这种"疏堵结合"智慧的现代演绎。

"疏"——为创新开渠引流。2023年7月,《生成式人工智能服务管理暂行办法》的出台,标志着中国成为世界上最早为生成式AI制定专门法规的国家之一。但该办法的核心精神不是"禁止",而是"规范"——它明确了AI服务提供者的责任和义务,同时为企业留出了充足的创新空间。办法规定,"国家坚持发展和安全并重、促进创新和依法治理相结合",鼓励生成式AI技术在各行业、各领域的创新应用。2025年政府工作报告明确提出"支持大模型广泛应用"的政策导向,配合《生成式人工智能服务安全基本要求》等标准的落地实施,进一步强化了企业对AI技术应用的信心。

在开源AI领域,中国的态度同样务实。不同于某些西方国家对开源模型的疑虑和限制,中国鼓励国内企业和研究机构积极参与开源生态建设。百度文心一言、阿里通义千问、智谱ChatGLM等国产大模型,均在一定程度上开放了API接口和模型权重,推动了国内AI应用生态的繁荣。2025年,上海人工智能实验室发布的"书生"系列大模型,以完全开源的方式向全球开发者开放,展示了中国在AI开源领域的积极贡献。

"堵"——为风险筑堤设防。在鼓励创新的同时,中国建立了一套严密的"风险防控"体系。《反电信网络诈骗法》(2022年9月)构建了从源头治理到资金拦截的完整法律框架,将AI生成内容用于诈骗的行为纳入刑事打击范围;《互联网信息服务深度合成管理规定》(2022年11月)要求深度合成服务提供者对生成内容进行显著标识;《人工智能生成合成内容标识办法》(2025年9月1日施行)进一步细化了标识要求,建立了显式标识和隐式标识的双重机制;《网络安全法》2025年修订新增AI条款,为遏制技术滥用提供了更高层级的法治依据。

更具中国特色的是"三网协同"的技术反制机制。国家反诈中心APP安装量超6.5亿,2025年上半年日均拦截诈骗电话2.1亿次——这一数字的背后,是电信运营商、金融机构、互联网平台和公安机关的数据能力深度整合。当诈骗电话拨出时,运营商的AI模型实时识别异常呼叫模式;当受害者准备转账时,银行的AI系统触发风险预警;当诈骗信息在社交平台传播时,平台的AI算法自动降权和拦截。这种"通信网+金融网+互联网"的协同作战,构成了一个覆盖全民的"天罗地网"。

2025年8月,北京反诈中心通过数字水印逆向溯源,破获了一起涉案金额达2,000万元的AI换脸诈骗团伙。该案的关键突破点在于:诈骗团伙使用的深度伪造视频虽然逼真,但在文件元数据中留下了隐式标识的痕迹。反诈中心通过分析这些痕迹,追踪到了视频生成的源头,最终锁定了犯罪团伙。这一案例生动展示了"技术标识+法律追溯"协同作战的有效性——它不是靠"禁止AI"来防止犯罪,而是靠"让AI可追溯"来打击犯罪。

"结合"——在动态平衡中前行。中国的AI治理不是一次性的"立法完成",而是一个持续演进的过程。2023年的《暂行办法》为生成式AI服务设定了基本规则;2025年的《标识办法》针对深度伪造等特定风险进行了细化;2025年《网络安全法》的修订则为整个AI治理体系提供了更高层级的法律支撑。这种"渐进式立法"的策略,既避免了"立法滞后于技术发展"的困境,也防止了"过度立法扼杀创新"的风险。

与"要么完全放开、要么严格禁止"的二元思维不同,中国的"疏堵结合"体现了一种更为成熟的治理智慧:承认技术的复杂性,接受风险的不确定性,在动态调整中寻找最优平衡。正如大禹治水不是一劳永逸,而是需要持续疏浚河道、加固堤防,AI治理也是一个需要不断适应技术演进、社会变化和国际环境的长期工程。

中国AI治理"疏堵结合"制度体系

  • 《生成式人工智能服务管理暂行办法》:2023年7月,七部门联合发布,全球最早为生成式AI制定专门法规
  • 《互联网信息服务深度合成管理规定》:2022年11月,三部门发布,要求深度合成内容显著标识
  • 《人工智能生成合成内容标识办法》:2025年3月发布,9月1日施行,显式+隐式标识双重机制
  • 《网络安全法》2025年修订:新增第二十条AI条款,2026年1月1日施行
  • 《反电信网络诈骗法》:2022年9月,构建从源头治理到资金拦截的完整法治框架
  • 国家反诈中心APP:安装量超6.5亿,2025年H1日均拦截诈骗电话2.1亿次
  • 北京反诈中心破获AI换脸诈骗案:2025年8月,涉案金额2,000万元,通过数字水印逆向溯源
  • 上海AI内容标识生态联盟:30余家企业开展隐式标识互认验证
  • 2025年政府工作报告:明确提出"支持大模型广泛应用"

中国AI治理"疏堵结合"制度体系架构

数据来源:《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》《网络安全法》(2025年修订)《反电信网络诈骗法》等

上图展示了中国AI治理"疏堵结合"的完整制度架构。"疏"的层面通过鼓励开源、支持大模型应用、推动产学研协同为创新开渠引流;"堵"的层面通过内容标识、安全评估、资金拦截、刑事打击为风险筑堤设防;"结合"层面通过三网协同(通信网+金融网+互联网)和渐进式立法实现动态平衡。该体系的核心特征是不搞"一刀切",在保障技术创新的同时建立可追溯、可问责的使用框架。

六、责任归属:当伤害发生时,谁来买单?

2024年1月,香港Arup公司的财务人员坐在电脑前,看着视频会议中"CFO"熟悉的面容,听着"他"用惯常的语气布置紧急转账任务。他分15次转账2亿港元,直到事后才发现:屏幕上的每一个人,都是AI生成的深度伪造。这起案件引发了全球媒体的关注,也提出了一个尖锐的法律问题:当AI被用于犯罪时,责任应当如何分配?

在现有的法律框架下,这个问题的答案并不清晰。传统的刑事责任遵循"主观过错"原则——只有具有犯罪故意或过失的人才能被追究刑事责任。但AI模型的开发者,在发布模型时通常并没有"教唆犯罪"的主观意图。Meta在发布Llama时,明确声明模型"不得用于非法目的";OpenAI在ChatGPT的使用条款中,禁止用户生成违法内容。但当攻击者下载开源权重、在本地运行、完全绕过平台监管时,这些"禁止性条款"的约束力几乎为零。

民事责任的路径同样充满障碍。受害者可以起诉攻击者——如果攻击者能够被找到的话。但在跨境网络犯罪的背景下,攻击者往往藏身于法律管辖薄弱的地区,追踪和抓捕成本极高。受害者也可以尝试起诉AI模型的开发者,主张"产品责任"——即模型作为一种"产品",其设计缺陷导致了损害。但这种主张面临两个难题:第一,开源模型通常以"按原样提供"(as-is)的方式发布,免责声明排除了大部分法律责任;第二,AI模型的"通用性"使得很难证明其设计"专门"用于犯罪——它既可以用来写诗,也可以用来写钓鱼邮件,如何界定"设计缺陷"?

欧盟AI Act在这一问题上做出了一定的探索。法案规定,AI系统的"提供者"(即开发或委托开发AI系统的实体)和"部署者"(即将AI系统投入使用的实体)都需承担相应的合规责任。对于高风险AI系统,提供者需进行严格的风险评估、建立质量管理体系、确保人工监督机制。如果AI系统造成了损害,受害者可以依据欧盟的产品责任指令(Product Liability Directive)要求赔偿。但这些规定主要适用于"商业部署"的场景,对于暗网市场上的恶意AI工具和个体攻击者的离线使用,仍然缺乏有效的追责机制。

中国的法律体系在这一问题上展现了更为务实的态度。《反电信网络诈骗法》第三十一条明确规定,"任何单位和个人不得非法制造、买卖、提供或者使用实施电信网络诈骗的设备、软件"。这一条款将"提供"恶意AI工具的行为本身纳入了法律规制范围,无论提供者是否具有"教唆犯罪"的主观故意。2025年《网络安全法》修订新增第二十条,进一步明确"加强风险监测评估和安全监管",为追究AI技术滥用者的法律责任提供了更坚实的依据。

在司法实践中,中国已经有多起涉及AI技术滥用的刑事案件。2024年,浙江某科技公司员工利用开源语音克隆工具,冒充公司高管骗取财务人员转账,被法院以诈骗罪判处有期徒刑五年。判决书中特别指出,被告人"利用人工智能技术实施诈骗,手段隐蔽、危害严重,依法从重处罚"。这一判决传递了一个清晰的信号:在中国,利用AI技术犯罪不会获得"技术中立"的豁免,反而可能因为"手段升级"而面临更严厉的惩罚。

然而,法律追责终究是一种"事后救济"。在钓鱼攻击的语境下,等到案件进入司法程序时,资金往往已经转移、证据已经销毁、受害者已经遭受不可逆的损失。因此,更为根本的解决之道,在于建立"事前预防+事中拦截+事后追责"的全链条治理体系——而这,正是中国"疏堵结合"治理智慧的核心所在。

AI犯罪责任归属关键要点

  • 传统刑事责任困境:"主观过错"原则难以适用于无犯罪意图的AI开发者
  • 民事责任障碍:开源模型"按原样提供"免责声明;AI通用性难以界定"设计缺陷"
  • 欧盟AI Act探索:区分"提供者"和"部署者"责任,适用产品责任指令
  • 中国《反电信网络诈骗法》第三十一条:禁止非法制造、买卖、提供或使用诈骗工具
  • 中国司法实践:浙江AI语音克隆诈骗案,法院以诈骗罪判处有期徒刑五年,依法从重处罚
  • 核心思路:"事前预防+事中拦截+事后追责"全链条治理,而非单纯事后追责

七、结语:在技术的洪流中锚定人性的坐标

回到本章开头的问题:当WormGPT在暗网论坛上以每月100美元的价格出售时,谁应当为此负责?

EleutherAI——那个开发了GPT-J模型的非营利研究机构——的开发者们,此刻可能正在实验室里调试下一个开源模型。他们的初衷是"让AI技术惠及更多人",他们的成果被发表在学术期刊上、被引用在论文里、被教授在课堂上讲解。他们中的大多数人,从未想过自己的代码会被用来生成钓鱼邮件。他们是否应当为WormGPT的出现负责?

Meta的工程师们——那些为Llama系列模型倾注无数心血的人——可能正在为Llama 4的训练数据发愁。他们的CEO扎克伯格在国会听证会上被质询:"你们开源的模型被用来犯罪,你们有什么要说的?"扎克伯格的回答是:"开源让AI更安全,因为更多的人可以审查它。"这个回答在逻辑上成立,但在情感上难以抚慰那些因AI钓鱼而损失毕生积蓄的受害者。Meta是否应当为暗网市场上的恶意模型负责?

暗网论坛的运营者——那些为WormGPT提供交易平台的人——可能认为自己只是"中立的平台",就像电商平台不为其上销售的商品负责一样。但当平台上交易的"商品"是犯罪工具时,"平台中立"的辩护是否依然成立?

购买WormGPT的攻击者——那些在键盘后面策划钓鱼攻击的人——无疑是直接的犯罪行为人。但他们中的许多人,可能只是某个犯罪链条中的"末端执行者",背后有更庞大的组织在指挥和获利。当犯罪被"AI化"、"平台化"、"全球化"时,传统的"个人责任"概念是否还足够?

这些问题没有标准答案。它们指向了AI时代最深层的伦理困境:当技术的能力超越了人类的道德框架,当创新的速度超过了法律的演进,当全球化的网络消解了国界的约束——我们如何在技术的洪流中,锚定人性的坐标?

中国的回答,写在《生成式人工智能服务管理暂行办法》的序言里:"国家坚持发展和安全并重、促进创新和依法治理相结合的原则,采取有效措施鼓励生成式人工智能创新发展。"写在《网络安全法》修订新增的第二十条里:"国家支持人工智能基础理论研究和算法等关键技术研发……加强风险监测评估和安全监管。"写在国家反诈中心APP的6.5亿次安装里,写在2025年全国紧急止付的2,170.7亿元涉诈资金里,写在每一个"全民反诈"宣传活动的街头横幅里。

这个回答的核心,不是"禁止技术",而是"引导技术向善";不是"追究事后责任",而是"构建事前预防";不是"依赖单一主体",而是"动员全社会参与"。它承认AI技术的复杂性和不确定性,接受治理是一个动态演进的过程,在"疏"与"堵"之间寻找最优平衡。

正如大禹治水的智慧不在于一劳永逸地"解决"洪水,而在于建立一套可持续的"管理"体系——疏浚河道、加固堤防、预警监测、应急响应——AI治理也是一个需要持续投入、动态调整、多方协作的长期工程。在这场工程里,政府、企业、科研机构、平台运营者和每一个普通用户,都承担着不可替代的责任。

技术的洪流不会停止。AI的能力将继续增长,钓鱼攻击的手段将继续进化,伦理困境将继续深化。但正如古人所言:"道阻且长,行则将至。"在技术的洪流中锚定人性的坐标,需要的不是对技术的恐惧,而是对理性的坚守;不是对完美的轻信,而是对审慎的坚持;不是对个体的苛责,而是对体系的构建。

当攻击者用AI伪造视觉、听觉和文字时,人类最后的防线,也许就是我们选择"先验证、后信任"的那一瞬间。在AI可以完美复制任何人类行为的世界里,这种"停下来想一想"的能力,不是冷漠,而是对信任最深沉的守护——对人之为人的尊严最坚定的捍卫。

"技术本身是中性的,但技术的使用从来不是中性的。当一把刀被用来杀人时,我们追问的不是'刀是否有罪',而是'谁握着刀柄'、'谁在磨刀'、'谁在为磨刀者提供庇护'。在AI时代,这些问题的答案变得更加复杂,但追问本身——这种对技术权力保持警惕、对人性尊严坚守底线的追问——正是文明得以延续的根基。" —— 编者

延伸阅读与参考

  • European Union. "Regulation (EU) 2024/1689 - Artificial Intelligence Act." Official Journal of the European Union, July 12, 2024; entered into force August 1, 2024. 全球首部综合性AI监管法律,建立风险分级监管框架,禁止不可接受风险AI实践,对高风险系统设定严格合规义务。
  • European Union. "AI Act Article 50 - Transparency Obligations for Certain AI Systems." Effective August 2, 2025. 要求聊天机器人和AI生成内容提供者确保用户知晓其与AI互动,深度伪造内容须明确标注。
  • Meta AI. "Llama 3.3 Model Card." December 2024. 700亿参数开源大模型,发布两周后即被暗网恶意利用,引发开源AI安全争议。
  • LeCun, Yann. Keynote and public statements on open-source AI. VivaTech and multiple forums, 2024. Meta首席AI科学家持续公开主张开源是确保AI安全、透明与可控的唯一途径。
  • KELA Cyber Threat Intelligence. "The State of Cybercrime" series and dark web monitoring reports, 2024-2025. 以色列网络安全情报公司,持续追踪暗网恶意AI工具生态,记录恶意AI工具提及量显著增长趋势。
  • SlashNext. "WormGPT: The Emergence of AI-Driven Cybercrime Tools." July 2023. 网络安全公司SlashNext对WormGPT的实测分析,确认其生成钓鱼邮件质量极高。
  • 张凌寒. 《人工智能法:原理、制度与比较》. 法律出版社, 2024. 中国政法大学学者系统论述生成式AI的内容生成能力即"权力",设计即蕴含风险,技术中立论在AI时代面临挑战。
  • 《生成式人工智能服务管理暂行办法》. 国家互联网信息办公室等七部门, 2023年7月13日发布. 全球最早为生成式AI制定的专门法规,确立"发展和安全并重"原则。
  • 《互联网信息服务深度合成管理规定》. 国家互联网信息办公室等三部门, 2022年11月25日发布. 中国首部针对深度合成技术的专门管理规定,要求生成内容进行显著标识。
  • 《人工智能生成合成内容标识办法》. 国家互联网信息办公室等四部门, 2025年3月7日发布, 2025年9月1日施行. 建立显式标识与隐式标识双重机制,规范AI生成合成内容全生命周期标识义务。
  • 《中华人民共和国网络安全法》(2025年修订). 2025年10月28日通过, 2026年1月1日施行. 新增第二十条首次将人工智能安全纳入网络安全基本法,支持AI研发同时加强风险监测评估。
  • 《中华人民共和国反电信网络诈骗法》. 2022年9月2日通过, 2022年12月1日施行. 构建从源头治理到资金拦截的完整法治框架,第三十一条禁止非法制造、买卖诈骗工具。
  • 公安部新闻发布会. "2025年全国共侦破电信网络诈骗案件25.8万起." 2026年1月8日. 拦截诈骗电话36亿次、短信33亿条,紧急止付涉诈资金2,170.7亿元,抓获诈骗集团幕后"金主"、头目和骨干542名。
  • 新华社/人民网. "AI赋能精准防控,度小满累计拦截电诈金额2.17亿元." 2026年2-3月. 度小满依托AI技术为45万名用户提供精准反诈提醒,升级声纹识别与防深伪模型。
  • Executive Order 14110. "Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence." The White House, October 30, 2023. 拜登政府要求大型AI模型开发者向联邦政府报告训练活动,2025年初被特朗普政府撤销。
  • Microsoft. "Digital Defense Report 2025." 2025. 微软年度网络防御报告,揭示AI加速钓鱼攻击内容生成,勒索软件占已知动机网络攻击的52%以上。
  • KnowBe4. "Phishing by Industry Benchmarking Report 2025." 2025. 基于6,770万次模拟钓鱼测试数据,82.6%钓鱼邮件使用AI生成内容,安全培训可使钓鱼易感性降低86%。
  • FRSecure. "Cybersecurity Industry Trends: Reviewing 2025 Predictions." 2026. 美国网络安全公司年度分析,token theft成为MFA绕过首要技术,69%实施MFA的BEC案件仍遭入侵。