课题研究 域名数据与威胁监测 子课题05 · 第2页 / 共8页
05子课题 · 域名注册行为画像

域名注册行为画像第2页:数据底座与特征工程体系

特征工程的判别力上限由数据底座决定,模型的可信度下限由标签质量决定。本页建立五源融合的数据底座(RDAP/WHOIS、区域文件、CT日志、DNS测量、威胁情报RBL),以GB/T 36344-2018六维框架实施数据质量治理,给出对Redaction鲁棒的18维可解释特征体系,并提出"时序回溯标注法"破解RBL标签中"恶意注册/被攻陷"的系统性混淆——这是画像模型可复现、可审计的前提。

RDAP区域文件特征工程实体对齐GB/T 36344-2018标签混淆Precision@k研究状态:研究中
所属专题域名与DNS安全 › 域名数据与威胁监测
目标受众威胁分析师、品牌安全团队、注册服务机构安全运营、SOC/SIEM运营
全文结构8页:总览 → 数据特征 → 聚类 → 模型预警 → 指标度量 → 案例 → 情报共享 → 实践路线

01 · 五源数据底座

画像模型的判别力上限由数据底座决定。本课题采用五源融合架构,每一路数据解决一个特定问题,同时引入各自的偏差与局限(在§04统一治理)。

数据源提供的关键字段优势固有局限
RDAP注册记录
RFC 7483
注册/到期/更新时间、注册商实体、状态码、名称服务器、事件时间线机器可读、结构化、事件时间线完整字段覆盖率因TLD/注册商而异;自然人字段普遍Redaction
WHOIS记录
RFC 3912
thin模式的注册商侧补充字段、历史记录.com/.net等thin场景的必要补充;历史档案长非结构化文本、无标准格式、端口43逐步退役
TLD区域文件
CZDS等
TLD全量已注册域名清单、成员资格确定"域名存在"的金标准;DAAR同款底座不含注册行为字段;获取需授权;ccTLD覆盖有限
CT日志
RFC 6962
证书CN/SAN、签发CA、申请时间分钟级签发事件流;证书与域名强绑定仅覆盖申请证书的域名;CDN共享证书稀释关联信号
威胁情报RBL
Spamhaus等
钓鱼/恶意软件/C2/垃圾邮件标签、列入时间唯一带"恶意"标注的反馈源;支持模型训练与评估存在"恶意注册vs被攻陷"混淆;各家方法论与口径不同

方法学警示(来自DAAR的教训):ICANN DAAR方法论明确声明其数据无法区分"恶意注册"与"被攻陷的合法域名"。本课题的标签体系必须显式处理这一混淆——采用第2页§04的"时序回溯标注法"(利用注册时点的可观测字段,回溯区分两类样本),并报告混淆率对模型指标的影响区间。

02 · 数据质量治理

数据底座建设参照GB/T 36344-2018《信息技术 数据质量评价指标》的六维框架(完整性、规范性、一致性、准确性、时效性、可访问性)执行,每个维度落实为可度量的工程指标:

维度画像场景中的操作性定义度量与阈值示例
完整性核心字段(注册时间、注册商、NS)非空率RDAP核心字段非空率≥99%;单源缺失时用WHOIS/区域文件交叉补齐
规范性字段格式合规(邮箱/电话/邮编/日期格式)格式校验通过率;异常格式本身作为画像特征(见§03)
一致性跨源同一域名记录的时间/状态一致RBL列入时间应晚于注册时间(逻辑一致性校验,冲突样本入隔离区)
准确性字段值真实有效(邮箱可达性等)抽样核验虚假邮箱比例(WAPS验证数据的聚合统计口径)
时效性注册事件从发生到入库的延迟NRD管道端到端延迟<30分钟;区域文件日更
可访问性数据可按需获取(授权、速率、覆盖)RDAP服务端可用性监控;采集限速遵循各源服务条款

2.1 实体对齐:同一实体的跨源归一化

  • 域名实体:统一大小写与punycode归一化(xn--前缀域名同时保留IDN原始形态计算同形特征);同义后缀(如.co.uk vs .uk)按有效顶级域切分。
  • 注册商实体:RBL、RDAP与区域文件中的注册商名称映射到统一的IANA注册商ID——这是DAAR实现按注册商聚合的关键技术,本课题沿用该思路并维护别名表。
  • 名称服务器实体:FQDN归一化(去尾点、小写)+ 托管NS聚落识别(同一运营方旗下多品牌NS,如多家云厂商的NS集群)。

2.2 被动DNS与解析测量数据

注册后行为链(第4页§04)依赖解析侧测量数据。可用的被动DNS来源包括CIRCL Passive DNS(公益)、Rapid7 Open Data、Farsight DNSDB/SIE(商用)等;主动测量借助分布式解析节点观测NS切换、TTL异常与Fast-flux行为(与子课题04联动)。被动DNS在画像中的三个用途:①补全"注册→首次解析"时序;②支撑NS聚落图构建(域名—NS—IP多边关系);③验证"启用即弃"生命周期规则。

2.3 隐私/代理服务的规模现实

据Interisle经ICANN《域名行业简报》(Domain Name Industry Brief)发布的研究,截至2024年1月58.2%的gTLD域名记录处于隐私/代理服务保护之下(2020年11月该比例为29.2%),两年内近乎翻倍。这一结构性事实决定了:①"隐私/代理使用"特征只能作为弱信号,单独使用误伤率高;②模板复用与聚落归并必须更多依赖NS、注册商、时序等不含自然人信息的维度;③个案身份核实走RDRS等正规渠道(见第7页)。

03 · 特征工程体系(18维)

特征设计遵循三条原则:①全部特征可在注册时点计算(保证前置性);②对Redaction鲁棒(不依赖自然人联系字段);③可解释(支持处置侧理解)。完整特征体系按四个域组织:

域特征定义与恶意注册侧的异常表现
时序域注册时刻UTC小时分布;批量注册常呈整点/凌晨集中爆发,合法注册更接近工作时段均匀分布
注册商内速率该注册商当日单位时间注册量相对其30天基线的偏离(z-score);突发尖峰为批量注册指纹
相邻注册间隔同一模板/NS下相邻域名注册间隔的熵与最小间隔;自动化注册呈毫秒级规律性
注册时长首次注册年限选择;钓鱼域名倾向最短周期(1年)且极少续费
生命周期节奏注册→首次解析→首次证书→RBL列入的事件间隔序列("启用即弃"节奏)
命名域字符熵/可读性Shannon熵与字典命中率;DGA式随机命名熵显著偏高,词典型DGA偏低但拼接生硬
品牌距离与Tranco榜单及品牌词库的编辑距离/Levenshtein距离(≤2为高危带)
数字-连字符模式连字符数量、数字插入位置;仿冒命名常见"品牌+数字/连字符"模板
IDN/同形特征是否xn--前缀、Unicode混淆指数(对标UTS #39 confusables)
语义模式高频钓鱼词根(login、verify、secure、account、update等)与品牌词组合检测
基础设施域NS共享度共用同一NS(聚落)的域名数与该聚落历史恶意率
NS模板相似NS命名模式与目标品牌/目标机构的NS相似度(ns1.brand-login-xxx类)
隐私/代理使用是否使用隐私保护或代理注册服务(聚合统计口径,非个案身份)
邮件域复用注册邮箱域名(在可得范围内)的聚落复用度
生态域TLD选择目标TLD在RBL中的历史密度(对标Interisle年度TLD滥用榜)
注册商画像注册商在RBL中的历史密度与处置时效(仅作聚合先验,不作个案定性)
跨源共现注册后N天内CT证书出现、N天内首次解析的行为序列完整度
历史关联同NS/同模板历史聚落的封禁率与重生率(聚落复活是强信号)

特征鲁棒性设计:GDPR后自然人字段系统性缺失,因此本体系刻意不依赖注册人姓名/电话/地址。对确实含有个人信息的内部数据(如WAPS验证日志),特征计算仅使用其聚合统计量(如"该注册商样本虚假邮箱比例"),满足最小化原则。

04 · 标签体系与评测协议

4.1 时序回溯标注法:破解"恶意注册/被攻陷"混淆

直接以"RBL列入"为标签会引入系统性偏差(被攻陷的合法域名被错标为恶意)。本课题采用注册时点回溯法:

  • 恶意注册样本:RBL列入时间在注册后T天内(T=30,对齐Interisle"30天内投入使用"统计),且注册时点字段已呈现异常特征(品牌距离≤2或NS聚落历史恶意率高于阈值)的域名。
  • 被攻陷样本:域名注册时间早于RBL列入时间超过阈值(如365天)或注册时即为知名站点(Tranco前100万内),列入原因判定为"站点被攻陷"——此类样本不进入恶意注册训练集,但单独用于评估模型的"误伤合法老域名"率。
  • 灰色样本隔离:无法判定的样本进入隔离区,仅用于无监督聚类评估,不进入监督训练。

4.2 类别不平衡与评估协议

  • 恶意注册在NRD中占比极低(万分位量级),训练采用代价敏感学习与分层抽样;评估以PR-AUC、Precision@k为主指标,Accuracy不作为参考指标。
  • 时间维度切分:训练/测试按时间窗隔离(避免未来信息泄漏),滚动回测模拟生产。
  • 外部一致性校验:模型产出的"高危注册商/TLD先验"与DAAR、Interisle公开密度数据做年度级对照(仅验证方法学方向一致,不追求数值一致——口径不同)。

4.3 特征与标签的版本化管理

  • 特征定义、标签规则(T、阈值、RBL清单版本)纳入版本库管理,模型评估报告强制标注特征集与标签集版本号;
  • RBL源变更(清单增删、口径调整)触发回归评估,避免"指标漂移"被误读为"威胁态势变化";
  • 保留特征缺失率周报:Redaction政策调整、TLD注册模式迁移(thin→thick)等外部事件导致的特征可得性变化须可追溯。

05 · 本节参考来源(第2页)

[1]

ICANN DAAR Methodology Paper(2017年11月30日):三源采集与注册商ID归一化方法出处。icann.org

[2]

GB/T 36344-2018《信息技术 数据质量评价指标》:数据质量六维框架出处。openstd.samr.gov.cn

[3]

IETF RFC 7483 / RFC 3912 / RFC 5730:RDAP数据模型、WHOIS、EPP。rfc-editor.org

[4]

Unicode Technical Standard #39《Unicode Security Mechanisms》:同形异义字符混淆检测方法学。unicode.org/reports/tr39

[5]

Interisle《Phishing Landscape 2022》:41%钓鱼域名注册后14天内使用、多数48小时内。interisle.net

[6]

ICANN CZDS集中式区域文件服务:czds.icann.org;IANA RDAP Bootstrap(RFC 7484):data.iana.org/rdap

[7]

Le Pochat et al. Tranco(NDSS 2019):品牌距离特征的目标榜单基线。tranco-list.eu

[8]

Interisle Consulting(经ICANN《Domain Name Industry Brief》发布):gTLD隐私/代理服务使用趋势研究——2024年1月58.2%的gTLD记录受隐私/代理保护(2020年11月为29.2%)。icann.org