01 · 注册数据:WHOIS到RDAP
1.1 协议演进
WHOIS是最早的域名注册信息查询协议(基于TCP 43端口,纯文本无结构化标准)。IETF于2015年发布RDAP(Registration Data Access Protocol,RFC 7482/7483/7484),以HTTPS+JSON提供标准化、分级的注册数据访问,并支持认证与速率控制。ICANN要求各注册管理机构与注册服务商逐步以RDAP替代WHOIS,目前主流gTLD均已提供RDAP服务(查询入口可通过IANA的bootstrap注册表发现,RFC 7484)。
1.2 数据可用性与遮蔽(redaction)
自2018年欧盟GDPR生效后,gTLD的WHOIS/RDAP中注册人姓名、邮箱、电话等个人信息被系统性遮蔽(redacted),公开可见字段主要为:注册商、创建/到期/更新时间、状态码(如clientTransferProhibited)、名称服务器。这意味着:①基于"注册人邮箱聚类"的基础设施关联在gTLD侧大幅受限,但在ccTLD与部分注册商渠道仍部分可行;②时间字段(创建时间)成为最有价值的公开信号——新注册+高相似是强告警组合;③批量注册识别需转向"创建时间聚类+NS/证书聚类"等行为维度。
合规要点:RDAP数据的使用须遵守各注册局的可接受使用策略(AUP)与查询速率限制;遮蔽字段不可通过撞库、交叉泄露等灰色手段还原。涉及注册人溯源的诉求,应通过域名投诉举报处理平台、注册商合规通道或司法程序进行。
02 · 证书透明度(CT)日志:监测金矿
2.1 机制原理
证书透明度(Certificate Transparency, RFC 6962,2013;更新版RFC 9162)要求公共可信CA签发的每本TLS证书都必须登记到公开可审计的CT日志中。由于证书SAN(Subject Alternative Name)字段必然包含目标域名,CT日志流等价于一个近乎实时的"域名签发事件流"——攻击者为仿冒站点配置HTTPS时,必然在CT日志中留下记录。这是仿冒域名发现性价比最高的数据源。
2.2 接入方式
| 渠道 | 特点 | 适用场景 |
|---|---|---|
| crt.sh | 免费CT日志搜索引擎,支持通配符与百分比查询,提供JSON接口 | 回溯查询、低预算场景 |
| Censys | 持续扫描+CT聚合,提供API与SQL查询,覆盖主机/证书/域名视角 | 结构化分析、规模化管道 |
| Cert Spotter(SSLMate) | 开源CT监控工具,可自托管实时订阅证书流并按域名匹配告警 | 实时告警、私有化部署 |
| 各CA日志端点 | 直接读取CT日志操作端的 Merkle树叶节点流 | 超低时延、高工程成本 |
监测匹配策略:对品牌词及其变体做子串匹配与相似度匹配(如"%.example.com"查询+对example变体的逐条比对)。注意证书可能为通配符证书(*.example-evil.com)或覆盖大量SAN的批量证书,需做展开处理。
2.3 时延特征
证书签发至日志最终一致(Merkle树并入)通常有分钟到小时级延迟;自建实时订阅管道可将发现时延压缩至证书签发后数分钟。经验预算:签发后≤10分钟进入候选队列(工程目标值)。
03 · 区域文件与新注册流
3.1 ICANN CZDS
ICANN运营的集中式区域数据服务(Centralized Zone Data Service, CZDS)向通过审批的研究者与安全机构提供gTLD区域文件(zone file)下载。区域文件包含该TLD全部已注册域名及其NS记录,是离线全量比对变体候选的权威数据源(按注册局政策,区域文件访问需申请并接受使用条款)。
3.2 ccTLD与国家域名数据
.cn/.中国等国家域名的注册数据由CNNIC统一管理。依托CNNIC的资源优势,课题可获得新注册域名的合规数据接口,实现对国家域名注册流的直接监测——这是本课题区别于一般商业监测服务的独特数据基础。
3.3 新注册通知类服务
部分注册局与数据商提供"品牌相关新注册域名"通知服务(基于注册局预留词与商标词匹配)。可作为区域文件管道的补充通道,但覆盖面受限于词库质量,不能替代自有相似度引擎。
04 · 被动DNS与解析行为
4.1 被动DNS
被动DNS(passive DNS)由Florian Weimer于2005年提出:旁路采集递归解析器/权威服务器间的DNS查询与响应,形成"域名→解析记录"的历史数据库。其价值在于:①回溯某域名历史解析IP,判断其是否曾指向已知恶意基础设施;②发现同一IP/NS下的关联域名(基础设施聚类);③识别Sinkhole记录(域名已被安全机构接管清洗)。商业源(如Farsight DNSDB类服务)与社区源(如微步X社区等国内平台的被动DNS查询)可按需组合。
4.2 主动解析探测
对候选域名做受控的主动解析探测(A/AAAA/CNAME/MX/NS),提取行为特征:是否解析到停放页IP(parking,误报信号)、是否解析到云厂商IP(需结合内容判定)、MX记录是否与仿冒邮件场景匹配、NS是否为知名免费DNS或攻击者自建NS。
注意:主动探测速率必须受控,避免对权威服务器造成压力或触发封禁;探测行为遵守目标网络的AUP。对高价值候选,应通过被动DNS先行取证,再决定是否主动探测。
05 · 品牌关键词库建设
品牌库质量决定监测召回上限。建设规范:
- 核心层:主域名、商标全称、官方中英文名称(如"工商银行/ICBC");
- 产品层:旗舰产品名、App名、子品牌(如手机银行App名称);
- 场景层:官方客服词、活动词(如"积分兑换""年报")——与品牌词组合生成combosquatting候选;
- 高管层(敏感):高管姓名拼音——仅用于监测、不外发,遵循个人信息保护要求;
- 生命周期:商标变更、产品上下线同步更新,每季度复核。
行业覆盖建议优先金融、政务、电信运营商、电商平台、物流快递、在线教育等高钓鱼风险行业。
06 · 网页快照源
域名/解析信号给出"候选",内容信号给出"定性"。网页快照获取渠道:①自有爬虫(无头浏览器渲染,详见第4页);②公开沙箱/扫描服务(如urlscan.io提供公开提交与API,含截图、DOM、请求链);③威胁情报平台的既有判定结果(VirusTotal URL、微步、奇安信TI等)。多源快照互为冗余,防止单一渠道被仿冒站反爬。
07 · 数据源综合对比与时延预算
| 数据源 | 发现价值 | 典型时延 | 成本 | 合规要点 |
|---|---|---|---|---|
| RDAP/WHOIS | 注册时间、注册商、状态码 | 近实时 | 低(免费) | AUP与速率限制;遮蔽字段不还原 |
| CT日志 | 证书签发事件→HTTPS仿冒站点 | 分钟级(自建订阅) | 低-中 | 公开数据;遵守日志操作方条款 |
| 区域文件(CZDS) | 全量离线比对、历史回溯 | 日级更新 | 低(需申请) | 使用条款约束研究用途 |
| .cn注册流 | 国家域名新注册直接监测 | 近实时(合规接口) | 依托CNNIC资源 | 数据使用须遵守授权范围 |
| 被动DNS | 历史解析、基础设施关联 | 小时级(回溯) | 中-高 | 商业源遵守许可协议 |
| 网页快照 | 内容定性、视觉仿冒证据 | 分钟-小时级 | 中 | 爬虫遵守robots与AUP;公开沙箱按条款 |
单一数据源不可依赖:仅看注册流会漏掉"老域名复活仿冒"(早年注册、近期启用);仅看CT日志会漏掉纯HTTP仿冒与自签证书场景;仅看内容无法规模化。五源互补、以时间窗融合,是召回率的根本保障。
08 · 数据质量监控与管道健康度
数据源接入不是一次性工程,而是需要持续度量与运营的资产。建议在管道建设期即内建以下监控指标,避免"沉默性断流"导致的召回塌陷:
| 指标 | 定义 | 异常处置建议 |
|---|---|---|
| 数据源可用率 | 各源成功拉取周期占比(CT订阅/RDAP/注册流分别统计) | 连续失败即告警并切换备用通道;恢复后自动回补缺口窗口 |
| 事件到达延迟分位数 | P50/P95/P99的"源端发生→管道可见"时延 | P95超预算时排查订阅断流、速率限制、解析积压 |
| 覆盖率对账 | CT出现的品牌相关证书数 vs 系统候选队列数 vs 最终判定数的三级漏斗对账 | 漏斗比异常(如候选→判定骤降)提示指纹库或阈值配置回归 |
| 数据漂移检测 | 域名长度分布、TLD分布、手法类型分布的周环比 | 分布突变(如某TLD突增)提示新型攻击活动或数据源口径变化,触发人工排查 |
| 断点续传与回补 | 每个消费位点的持久化偏移量与幂等去重 | 进程重启/扩容后从最近位点续传;重复事件按事件指纹去重 |
运营建议:将上述指标纳入每日自动化巡检报表;每月与外部基准(如ICANN DAAR的注册商滥用率统计、公开情报平台收录量)做交叉对账,偏差超阈值时启动数据源健康度专项复盘。
本节参考来源(第3页)
RFC 7482 "Registration Data Access Protocol Query Format" / RFC 7483 JSON Response / RFC 7484 Finding Bulk Registration Data(RDAP协议族,2015)
IANA RDAP Bootstrap Registry:iana.org/assignments/rdap-bootstrap
RFC 6962 "Certificate Transparency"(2013)/ RFC 9162 "CT Version 2"(2022):rfc-editor.org
crt.sh(CT日志搜索引擎):crt.sh
Censys:search.censys.io;SSLMate Cert Spotter:sslmate.com/certspotter
ICANN Centralized Zone Data Service (CZDS):czds.icann.org
F. Weimer, "Passive DNS Replication"(FIRST Conference 2005):被动DNS概念出处
urlscan.io 公开URL扫描平台:urlscan.io
GDPR(欧盟《通用数据保护条例》,2018年5月25日生效)及ICANN WHOIS数据遮蔽政策背景