01 · 匿名网络技术底座
1.1 Tor 与 onion 服务的基本原理
Tor(The Onion Router)通过三跳加密电路实现匿名通信:客户端流量依次经入口中继、中间中继、出口中继三层转发,每层仅知晓相邻一跳的信息,任何单一中继无法同时获知通信发起方与目标。运行在Tor网络之上的隐藏站点称为onion服务(旧称"隐藏服务"):服务方同样通过三跳电路发布与提供服务,通信双方互相不暴露真实IP地址,其地址以.onion为顶级域名。
| 特征 | onion v2(已退役) | onion v3(现行标准) |
|---|---|---|
| 地址长度 | 16个字符 | 56个字符(Base32编码) |
| 密码学基础 | RSA-1024 | Ed25519曲线签名,提供128位安全强度 |
| 服务目录 | 描述符明文登记于HSDir中继,可被枚举爬取 | 采用盲化密钥(blinded keys)登记,HSDir无法直接枚举服务清单 |
| 退役时间线 | Tor项目2020年宣布弃用,2021年7月服务端停止支持,2021年10月客户端默认禁用 | 2017年起可用,现为唯一受支持版本 |
v3的盲化密钥设计从协议层面终结了"遍历HSDir目录即可枚举全网onion服务"的传统方法——这是暗网监测面临的最根本的覆盖度挑战,直接决定了第02节的发现策略。学术界对此有持续研究,例如对Tor v3 onion服务的长期测量评估(USENIX Security 2024)系统分析了v3服务的注册、存活与可达性特征。
1.2 I2P 与其他匿名网络
I2P(Invisible Internet Project)采用大蒜路由(Garlic Routing,多条消息捆绑封装)与单向隧道设计,其站点以.i2p为后缀(eepsite)。与Tor"出站匿名访问明网+洋葱服务"的定位不同,I2P更强调网络内部端到端匿名通信,在地下数据交易场景中有一定使用。监测方法论与Tor类似:只读采集、隔离代理、目标谱系维护。Telegram等半公开加密通讯平台承载的地下担保市场(参见第3页Huione Guarantee案例)虽不属于严格意义的暗网,但已是黑灰产交易的主要渠道之一,应纳入广义的"深网监测"范围。
1.3 规模与可达性估计
规模认知需要建立在有出处的测量之上:Tor网络日常活跃用户稳定在200万—250万量级(Tor Metrics长期口径,2013年后基本稳定在该区间);中继节点约7,000—8,000个(Tor Metrics官方口径)。针对v3协议的长期测量研究(东南大学与马萨诸塞大学洛厄尔分校团队,全文公开存档于NSF Public Access Repository)给出了更精细的结构画像:研究团队收集到57,531个有效公开onion地址、爬取45,889个公开网站,经DOM树相似度聚类后却发现真正的核心网站仅487个——其余约35,331个为仿冒这些核心站的钓鱼/克隆镜像。该研究还通过部署HSDir中继对盲化公钥做捕获概率估计,测得v3 onion服务总量从2020年7月的约7万个增至2022年5月的约120万个(大规模仿真验证平均估计偏差率2.43%),提示"可观测站点数"与"真实生态规模"之间存在数量级差异。这一"海量镜像淹没核心站点"的结构,正是黑灰产对抗监测、稀释分析资源的典型手法,也解释了为什么"站点数量"从来不是有效的覆盖度指标。可达性方面,onion服务对DDoS的抵抗力较强,但常被运营商主动关闭、迁移或更换地址,监测谱系的存活率管理因此成为长期运营的核心成本。
要点:暗网的"匿名性"来自协议层设计而非神秘技术——理解Tor电路与v3盲化密钥机制,就能理解为什么监测覆盖必须依赖目标谱系运营而非"全网扫描",这也是本课题将站点谱系维护列为核心工程资产的原因。
02 · onion服务发现与覆盖建设
2.1 服务发现渠道
v3时代的服务发现依赖多源汇聚,各渠道的可信度与成本差异显著:
| 发现渠道 | 说明 | 可信度 | 典型用途 |
|---|---|---|---|
| 公开目录与维基 | Hidden Wiki类目录站收录的站点链接,含大量失效与诈骗镜像 | 低—中 | 初始种子清单 |
| 暗网搜索引擎 | Ahmia等提供.onion搜索的合规服务(明网可访问,主动剔除CSAM等违法内容) | 中 | 关键词发现新站点 |
| 站点互链与跳转 | 从已监测站点的友链、公告、镜像跳转中递归发现 | 中—高 | 谱系扩展主渠道 |
| 勒索组织泄露页 | Ransomware leak site清单可通过安全社区公开研究与情报源获取 | 高 | 企业泄露监测核心目标 |
| 情报社区共享 | MISP社区、行业ISAC、开源情报研究的站点清单交换 | 中—高 | 覆盖度补盲 |
2.2 覆盖度度量与蜜罐研究
由于全网枚举不可行,覆盖率只能以运营指标间接度量(见第06节)。学术界的蜜罐研究为"谁在窥探"提供了参照:HOnions(DEF CON 24, 2016)研究通过部署蜜罐onion服务,识别出大量主动探测、复制粘贴描述符的窥探型HSDir中继,表明在v2时代已有系统性的大规模服务枚举行为存在;v3协议虽然封死了目录枚举,但对服务的主动探测(如地址猜测、链接爬取)依然发生。这提示我们:监测谱系的价值不仅在于"收了什么",更在于持续跟踪其迁移演化。
2.3 站点画像与分级
对谱系内每个站点建立画像卡:地址族(主站/镜像)、语言与主题、更新频率、内容类型(论坛/市场/泄露页/新闻)、反爬强度、历史存活时长、关联团伙。按监测优先级分为三级:P1(勒索泄露页、针对本行业市场)、P2(综合论坛、数据售卖频道)、P3(目录与镜像站)。采集频率与解析资源按分级差异化配置。
03 · 分布式采集工程
3.1 架构设计原则
| 原则 | 设计要求 | 合规/安全价值 |
|---|---|---|
| 网络隔离 | 采集集群部署于独立VLAN/沙箱,与生产网络物理或逻辑隔离,出口仅经Tor代理 | 防止采集环境成为入侵跳板 |
| 代理池化 | Tor SOCKS代理池轮换,单站点低频访问,遵守站点访问频率惯例 | 避免构成干扰性访问,降低对抗烈度 |
| 任务调度 | 分级调度(P1高频/P3低频)、失败重试、超时熔断、断点续采 | 保障长期运营稳定性 |
| 快照留痕 | 原始页面哈希存档(只存证据、不存原始个人数据),时间戳固化 | 支撑取证与交叉验证,满足审计要求 |
| 内容去重 | SimHash/内容哈希去重,跨镜像站归并同一事件 | 抑制黑灰产的重复投放噪音 |
3.2 反爬对抗与工程难点
- 反爬机制:部分站点设置访问频率限制、验证码、登录墙;应对策略是低频分布式采集与公开内容聚焦,不以绕过访问控制为目标(登录墙后内容不属于公开可及范围,本课题主动放弃)。
- 镜像与克隆:同一市场常存在数十个钓鱼镜像与克隆站,需通过内容指纹与运营方签名特征归并,避免重复计数虚增"市场数量"。
- 内容形态:大量信息以图片形式发布(截图、样本打码图),需OCR与图像版式分析;附件加密与外部网盘跳转增加获取成本,本课题不主动下载可疑可执行文件。
- 高死链率:站点平均存活周期短,谱系月存活率需作为运营指标持续度量,死链及时降级或清除。
04 · 内容理解与信息提取
原始采集内容以非结构化文本与图片为主,需经多层解析转化为结构化情报:
- 实体抽取(NER):识别加密货币地址(BTC/ETH/TRC-20等格式正则)、.onion/.i2p地址、邮箱、Telegram/WhatsApp账号、站点跳转链接——这些实体是后续链上分析(第3页)与谱系扩展的输入。
- 事件要素抽取:从售卖帖中抽取"数据类型、量级、时间范围、价格、卖家历史"字段;从勒索泄露页抽取"受害组织、声称窃取数据描述、倒计时、联系方式"。
- 多语言处理:地下渠道以俄语、英语、中文为主,兼含东南亚语言;机器翻译辅助研判,关键事件由分析师人工复核,避免纯机翻误判语义。
- OCR与图像分析:对样本截图、数据库打码图进行OCR与版式分析,提取表头字段结构(服务于第05节指纹比对),不对图片中可识别个人进行画像。
质量控制:所有机器抽取结果进入分析师复核队列后才生成正式预警;自动化环节只负责"降噪与排序",不负责"定性与结论"。
05 · 泄露确认与样本指纹技术
5.1 为什么需要"确认"环节
暗网售卖信息中存在大量历史数据重打包(将数年前泄露的旧库重新包装售卖)、注水造假(拼接合成假数据夸大量级)与夸大宣传。未经确认直接通报企业,会造成不必要的恐慌与资源浪费,甚至损害监测方公信力。因此"线索"与"确认事件"之间必须有一道基于证据的确认流程。
5.2 样本指纹方法
| 指纹类型 | 方法 | 能回答的问题 |
|---|---|---|
| 字段结构指纹 | 提取样本表头、列序、字段命名、分隔符、编码等结构特征,与已知泄露库指纹库比对 | 数据源自哪个已知系统/哪次历史泄露 |
| 格式校验指纹 | 手机号段/长度、证件号校验位(如加权校验)、银行卡Luhn校验、邮箱语法与域名分布统计 | 数据是真实采集还是随机伪造 |
| 统计指纹 | 字段空值率、取值分布、时间戳范围与格式、地域/行业分布 | 数据量级声称是否可信、时间范围是否合理 |
| 内容交叉指纹 | 与该企业公开信息、历史泄露、内部遥测侧(经授权)的最小化比对 | 是否确为该企业数据(确认金标准) |
5.3 误报的主要来源与抑制
- 历史库重打包:指纹库命中已知历史泄露即降级为"存量风险提醒",提示企业核对历史事件是否已处置完毕。
- 合成注水:格式校验批量失败、统计分布异常的数据,标记"疑似造假"并记录卖家行为画像(失信档案)。
- 同名误伤:企业名称缩写与别名碰撞,需以域名、行业、样本内容三重消歧。
- 镜像重复:跨镜像站归并,同一事件只计一次。
06 · 监测指标体系
监测能力必须可度量、可运营,本课题定义以下核心指标:
| 指标 | 定义 | 用途 |
|---|---|---|
| 谱系存活率 | 当月可成功采集站点数 / 谱系站点总数 | 度量覆盖衰减,驱动谱系补盲 |
| 更新发现时延 | 站点内容首次更新到被采集的时间差 | 衡量监测时效,P1站点半衰期目标 |
| 去重归并率 | 被识别为重复/镜像的事件占比 | 度量反噪音能力 |
| 确认转化率 | 确认及高度疑似事件数 / 线索总数 | 度量指纹方法与验证流程质量 |
| 预警采纳率 | 被监测客户/内部响应团队采纳处置的预警占比 | 度量业务价值,反馈调优 |
注:除标注来源者外,指标目标值均为本课题设定的运营假设,用于能力验收,不构成行业基准。
07 · 操作规范与合规控制点
操作红线:①不注册、不登录任何交易账号,不进入登录墙后区域;②不发起、不参与、不撮合任何交易,不购买任何数据或工具;③不下载执行任何可疑附件或可执行文件;④不绕过任何访问控制、验证码或加密机制;⑤采集环境与本组织网络隔离,访问日志全程审计;⑥泄露样本仅做指纹化特征提取,原始个人数据不落库、不扩散;⑦发现涉嫌违法犯罪的线索,依法依规向有关部门报告。
- 人员授权:监测平台访问按最小权限授权,分析师操作留痕可审计。
- 数据生命周期:原始快照按证据管理要求设定保存期限,到期销毁;指纹库只存特征,不存内容。
- 心理与伦理防护:长期从事暗网内容分析的人员接触大量违法不良信息,应建立轮岗、心理支持与内容接触分级制度,这本身也是研究团队可持续运营的组成部分。
本节参考来源(第2页)
以下均为真实可查的权威来源,用于支撑本页技术性表述。
Tor Project 官方文档(onion服务、v2弃用公告、桥接与可插拔传输):torproject.org;Tor Metrics 测量数据:metrics.torproject.org
Wang C., Luo J., Ling Z.等《A Comprehensive and Long-term Evaluation of Tor V3 Onion Services》(东南大学/UMass Lowell,Tor v3服务规模、存活与可达性两年以上长期测量;全文公开存档于NSF Public Access Repository,链接已实测可达):par.nsf.gov/servlets/purl/10485912
Noubir & Sanatinia《HOnions: Exposing Snooping Tor HSDir Relays》(DEF CON 24, 2016,蜜罐onion服务研究):khoury.northeastern.edu/.../HOnion_DEFCON24.pdf
Ahmia 暗网搜索服务(合规.onion搜索引擎,明网可访问):ahmia.fi
I2P 匿名网络项目官方站点:geti2p.net
威胁猎人《2026年上半年企业品牌外部风险研究报告》(泄露事件与暗网渠道占比数据):threathunter.cn