01 · 数据需求分析
变体检测管道对数据的核心需求按优先级排序:
| 优先级 | 需求 | 说明 | 主要数据源 |
|---|---|---|---|
| P0 | 域名存在性确认 | 候选变体"是否已注册",决定后续富化是否进行 | Zone 文件 / RDAP / 批量 DNS 探测 |
| P0 | 注册时间发现 | 新注册事件的小时级捕获(抢注生命周期短) | Zone 文件 diff / 注册局数据流 |
| P1 | 解析记录 | A/AAAA/NS/MX/TXT 记录,判定基础设施 | Passive DNS / 主动解析 |
| P1 | 证书信息 | TLS 证书中的域名与签发信息,同基础设施聚类 | CT 日志 |
| P2 | 注册人/注册商 | 归属与批量注册模式识别(受隐私政策限制) | RADP/WHOIS(有限)/ 威胁情报 |
| P2 | 网页内容 | 判定模型(第4页)的内容特征输入 | 网页抓取(合规采集) |
02 · Zone 文件:存在性的权威数据源
注册局维护的 Zone 文件包含其 TLD 下全部已注册域名的权威列表(以及其解析配置),是确认"变体是否已注册"覆盖率最高的公开数据源。关键事实:
- .com/.net Zone 文件:由 Verisign 维护,覆盖约 1.8 亿注册量级(.com 约 1.666 亿、.net 约 1250 万,Verisign/DNIB 2026 年第二季度报告,截至 2026-06-30),通常以压缩文本形式每日更新发布。
- ICANN CZDS(Centralized Zone Data Service):ICANN 面向研究人员开放的集中式 Zone 数据服务平台,通过申请可获得多数 gTLD 的 Zone 文件访问权限——这是学术与公益监测项目的标准获取通道。
- 国家代码域:.cn 等 ccTLD Zone 数据获取遵循各注册局(CNNIC 等)政策,通常不对公众开放全量 Zone,需通过合作或新注册流替代。
2.1 Zone 数据的工程用法
- 每日增量 diff:与昨日 Zone 求差集,即得"昨日新注册域名集合"——新注册变体小时级发现的标准做法。
- 倒排索引查询:对候选变体集合在 Zone 中做集合求交(Bloom filter / hash join),单品牌查询为毫秒级。
- 成本结构:Zone 文件本身免费(CZDS),成本集中在存储(每日全量+历史快照)与计算管线。
03 · 注册事件流:RDAP / WHOIS 与速率现实
RDAP(Registration Data Access Protocol,RFC 7482-7485)是 ICANN 推动取代传统 WHOIS 的新标准协议,提供结构化 JSON 注册数据。工程现实:
- 存在性探测速率限制:RDAP 服务端普遍实施严格限流,且大量注册商为注册人提供隐私保护服务,返回的注册人字段为代理信息——RDAP 适合精确核查少量高价值候选,不适合作为批量存在性数据源;批量存在性确认应走 Zone 文件或 DNS 探测。
- WHOIS 的历史变化:GDPR(2018 年生效)后,ICANN 临时规范要求注册商对自然人注册人信息做红action处理,公开 WHOIS/RDAP 中的注册人联系方式大幅收缩——批量注册模式识别需转而依赖 NS/IP/证书等基础设施维度(第4页特征体系)。
- .cn 等域名的实名数据:依据工信部《互联网域名管理办法》(工信部令第 43 号)域名注册实行实名制,注册服务机构留存真实身份信息——但该数据属监管与执法通道,公开监测项目不可获取,研究结论中不得假设其可用。
04 · 证书透明度日志:基础设施视角
证书透明度(Certificate Transparency, RFC 6962)要求公开可信 CA 签发的每份 TLS 证书都记录到公共日志。对变体检测的价值:
- 证书中的域名枚举:攻击者为钓鱼站点申请证书时,证书 SAN 字段即暴露其控制的变体域名——CT 日志可按品牌关键词流式检索。
- 基础设施聚类:同一证书覆盖的多个域名、同一签发账号(ACME 账户凭据不可见,但时间聚集与 SAN 共现可推断)常为同一攻击者资产池。
- 覆盖盲区:自签名证书、无 HTTPS 站点不进入 CT 日志;且 CT 只证明"证书存在",不能替代存在性判定。
注:CT 日志公开可订阅(如由云厂商与各 CA 运营的日志服务),全量解析成本较高,实践中按品牌关键词过滤订阅;单点快速人工核查可用公开检索服务 crt.sh(Sectigo 运营)或 Censys 证书数据集。
05 · Passive DNS 与威胁情报源
- Passive DNS:通过全网递归解析器采集的被动 DNS 数据(业界有 Farsight SIE、CIRCL pDNS 等服务;国内安全厂商亦提供商业遥测),可回溯变体域名的历史解析轨迹,是判定"何时开始作恶"的关键证据链组成部分。
- 社区情报源:PhishTank(社区验证钓鱼 URL)、abuse.ch 的 URLhaus(恶意 URL)/ThreatFox(IOC)等开源情报平台,可直接命中"已被社区确认"的变体域名,用作判定模型的正样本标注来源之一。
- 商业威胁情报:商用 TI 源提供注册人聚集、基础设施信誉等富化字段,适合对高价值品牌做深度溯源(采购评估维度参见学院威胁情报分析专题)。
06 · 多源融合监测架构建议
单一数据源均存在覆盖盲区,推荐按"存在性—注册时间—解析—证书—情报"五层融合:
6.1 刷新频率与数据新鲜度基线
| 数据层 | 推荐刷新频率 | 说明 |
|---|---|---|
| Zone 文件 diff | 每日(TLD 更新后即时拉取) | 新注册发现延迟 ≤24h;对高价值品牌可叠加 RDAP 抽查提速 |
| 批量 DNS 探测 | 候选清单变化时 + 周期复扫 | 存在性二次确认,捕捉注册但暂不解析的"休眠"变体 |
| CT 日志检索 | 流式订阅 + 每日聚合 | 证书签发与站点上线同步捕捉 |
| 情报源同步 | 按各源 API 频率(分钟—小时级) | 命中即触发高优先级预警 |
07 · 合规边界
数据合规红线:①监测数据仅限公开来源与授权通道(CZDS 等协议明确数据仅限安全研究用途,禁止转售与公开再分发);②RDAP/WHOIS 查询须遵守服务端速率政策与 ToS,禁止绕过限流;③GDPR/《个人信息保护法》下,自然人注册人信息属于个人信息,处理须有合法基础并遵循最小化原则——工程上本课题仅使用"基础设施维度"(NS/IP/证书)聚集分析,不处理自然人身份字段;④网页内容采集遵守 robots 协议与目标站点条款,采集速率控制在合理范围;⑤.cn 等国内域名的实名注册信息仅执法与监管部门可调取,研究结论不得基于未授权的实名数据。
存储合规:采集数据的留存期限按"监测目的必要"设定(建议原始数据 ≤12 个月滚动覆盖),并建立数据删除流程;与处置机构共享情报时按 STIX 2.1 格式脱敏后交换(与学院威胁情报分析专题的 GB/T 36643-2018 映射衔接)。
本节参考来源(第3页)
ICANN Centralized Zone Data Service (CZDS):czds.icann.org
RFC 7482, "Registration Data Access Protocol (RDAP) Query Format", 2015;RFC 7483/7484/7485:rfc-editor.org
RFC 6962, "Certificate Transparency", 2013:rfc-editor.org/rfc/rfc6962
ICANN, "Temporary Specification for gTLD Registration Data"(GDPR 过渡期规范,2018):icann.org gtld-registration-data-specs
PhishTank:phishtank.org;abuse.ch(URLhaus/ThreatFox):abuse.ch
Verisign / DNIB Domain Name Industry Brief(注册量与 Zone 体量参考,季度更新):dnib.com(原 verisign.com/dnib 入口已迁移至 DNIB.com)
《中华人民共和国个人信息保护法》(2021):《网络安全法》《数据安全法》配套个人信息保护专门立法