01 · 五源数据底座
画像模型的判别力上限由数据底座决定。本课题采用五源融合架构,每一路数据解决一个特定问题,同时引入各自的偏差与局限(在§04统一治理)。
| 数据源 | 提供的关键字段 | 优势 | 固有局限 |
|---|---|---|---|
| RDAP注册记录 RFC 7483 | 注册/到期/更新时间、注册商实体、状态码、名称服务器、事件时间线 | 机器可读、结构化、事件时间线完整 | 字段覆盖率因TLD/注册商而异;自然人字段普遍Redaction |
| WHOIS记录 RFC 3912 | thin模式的注册商侧补充字段、历史记录 | .com/.net等thin场景的必要补充;历史档案长 | 非结构化文本、无标准格式、端口43逐步退役 |
| TLD区域文件 CZDS等 | TLD全量已注册域名清单、成员资格 | 确定"域名存在"的金标准;DAAR同款底座 | 不含注册行为字段;获取需授权;ccTLD覆盖有限 |
| CT日志 RFC 6962 | 证书CN/SAN、签发CA、申请时间 | 分钟级签发事件流;证书与域名强绑定 | 仅覆盖申请证书的域名;CDN共享证书稀释关联信号 |
| 威胁情报RBL Spamhaus等 | 钓鱼/恶意软件/C2/垃圾邮件标签、列入时间 | 唯一带"恶意"标注的反馈源;支持模型训练与评估 | 存在"恶意注册vs被攻陷"混淆;各家方法论与口径不同 |
方法学警示(来自DAAR的教训):ICANN DAAR方法论明确声明其数据无法区分"恶意注册"与"被攻陷的合法域名"。本课题的标签体系必须显式处理这一混淆——采用第2页§04的"时序回溯标注法"(利用注册时点的可观测字段,回溯区分两类样本),并报告混淆率对模型指标的影响区间。
02 · 数据质量治理
数据底座建设参照GB/T 36344-2018《信息技术 数据质量评价指标》的六维框架(完整性、规范性、一致性、准确性、时效性、可访问性)执行,每个维度落实为可度量的工程指标:
| 维度 | 画像场景中的操作性定义 | 度量与阈值示例 |
|---|---|---|
| 完整性 | 核心字段(注册时间、注册商、NS)非空率 | RDAP核心字段非空率≥99%;单源缺失时用WHOIS/区域文件交叉补齐 |
| 规范性 | 字段格式合规(邮箱/电话/邮编/日期格式) | 格式校验通过率;异常格式本身作为画像特征(见§03) |
| 一致性 | 跨源同一域名记录的时间/状态一致 | RBL列入时间应晚于注册时间(逻辑一致性校验,冲突样本入隔离区) |
| 准确性 | 字段值真实有效(邮箱可达性等) | 抽样核验虚假邮箱比例(WAPS验证数据的聚合统计口径) |
| 时效性 | 注册事件从发生到入库的延迟 | NRD管道端到端延迟<30分钟;区域文件日更 |
| 可访问性 | 数据可按需获取(授权、速率、覆盖) | RDAP服务端可用性监控;采集限速遵循各源服务条款 |
2.1 实体对齐:同一实体的跨源归一化
- 域名实体:统一大小写与punycode归一化(xn--前缀域名同时保留IDN原始形态计算同形特征);同义后缀(如.co.uk vs .uk)按有效顶级域切分。
- 注册商实体:RBL、RDAP与区域文件中的注册商名称映射到统一的IANA注册商ID——这是DAAR实现按注册商聚合的关键技术,本课题沿用该思路并维护别名表。
- 名称服务器实体:FQDN归一化(去尾点、小写)+ 托管NS聚落识别(同一运营方旗下多品牌NS,如多家云厂商的NS集群)。
2.2 被动DNS与解析测量数据
注册后行为链(第4页§04)依赖解析侧测量数据。可用的被动DNS来源包括CIRCL Passive DNS(公益)、Rapid7 Open Data、Farsight DNSDB/SIE(商用)等;主动测量借助分布式解析节点观测NS切换、TTL异常与Fast-flux行为(与子课题04联动)。被动DNS在画像中的三个用途:①补全"注册→首次解析"时序;②支撑NS聚落图构建(域名—NS—IP多边关系);③验证"启用即弃"生命周期规则。
2.3 隐私/代理服务的规模现实
据Interisle经ICANN《域名行业简报》(Domain Name Industry Brief)发布的研究,截至2024年1月58.2%的gTLD域名记录处于隐私/代理服务保护之下(2020年11月该比例为29.2%),两年内近乎翻倍。这一结构性事实决定了:①"隐私/代理使用"特征只能作为弱信号,单独使用误伤率高;②模板复用与聚落归并必须更多依赖NS、注册商、时序等不含自然人信息的维度;③个案身份核实走RDRS等正规渠道(见第7页)。
03 · 特征工程体系(18维)
特征设计遵循三条原则:①全部特征可在注册时点计算(保证前置性);②对Redaction鲁棒(不依赖自然人联系字段);③可解释(支持处置侧理解)。完整特征体系按四个域组织:
| 域 | 特征 | 定义与恶意注册侧的异常表现 |
|---|---|---|
| 时序域 | 注册时刻 | UTC小时分布;批量注册常呈整点/凌晨集中爆发,合法注册更接近工作时段均匀分布 |
| 注册商内速率 | 该注册商当日单位时间注册量相对其30天基线的偏离(z-score);突发尖峰为批量注册指纹 | |
| 相邻注册间隔 | 同一模板/NS下相邻域名注册间隔的熵与最小间隔;自动化注册呈毫秒级规律性 | |
| 注册时长 | 首次注册年限选择;钓鱼域名倾向最短周期(1年)且极少续费 | |
| 生命周期节奏 | 注册→首次解析→首次证书→RBL列入的事件间隔序列("启用即弃"节奏) | |
| 命名域 | 字符熵/可读性 | Shannon熵与字典命中率;DGA式随机命名熵显著偏高,词典型DGA偏低但拼接生硬 |
| 品牌距离 | 与Tranco榜单及品牌词库的编辑距离/Levenshtein距离(≤2为高危带) | |
| 数字-连字符模式 | 连字符数量、数字插入位置;仿冒命名常见"品牌+数字/连字符"模板 | |
| IDN/同形特征 | 是否xn--前缀、Unicode混淆指数(对标UTS #39 confusables) | |
| 语义模式 | 高频钓鱼词根(login、verify、secure、account、update等)与品牌词组合检测 | |
| 基础设施域 | NS共享度 | 共用同一NS(聚落)的域名数与该聚落历史恶意率 |
| NS模板相似 | NS命名模式与目标品牌/目标机构的NS相似度(ns1.brand-login-xxx类) | |
| 隐私/代理使用 | 是否使用隐私保护或代理注册服务(聚合统计口径,非个案身份) | |
| 邮件域复用 | 注册邮箱域名(在可得范围内)的聚落复用度 | |
| 生态域 | TLD选择 | 目标TLD在RBL中的历史密度(对标Interisle年度TLD滥用榜) |
| 注册商画像 | 注册商在RBL中的历史密度与处置时效(仅作聚合先验,不作个案定性) | |
| 跨源共现 | 注册后N天内CT证书出现、N天内首次解析的行为序列完整度 | |
| 历史关联 | 同NS/同模板历史聚落的封禁率与重生率(聚落复活是强信号) |
特征鲁棒性设计:GDPR后自然人字段系统性缺失,因此本体系刻意不依赖注册人姓名/电话/地址。对确实含有个人信息的内部数据(如WAPS验证日志),特征计算仅使用其聚合统计量(如"该注册商样本虚假邮箱比例"),满足最小化原则。
04 · 标签体系与评测协议
4.1 时序回溯标注法:破解"恶意注册/被攻陷"混淆
直接以"RBL列入"为标签会引入系统性偏差(被攻陷的合法域名被错标为恶意)。本课题采用注册时点回溯法:
- 恶意注册样本:RBL列入时间在注册后T天内(T=30,对齐Interisle"30天内投入使用"统计),且注册时点字段已呈现异常特征(品牌距离≤2或NS聚落历史恶意率高于阈值)的域名。
- 被攻陷样本:域名注册时间早于RBL列入时间超过阈值(如365天)或注册时即为知名站点(Tranco前100万内),列入原因判定为"站点被攻陷"——此类样本不进入恶意注册训练集,但单独用于评估模型的"误伤合法老域名"率。
- 灰色样本隔离:无法判定的样本进入隔离区,仅用于无监督聚类评估,不进入监督训练。
4.2 类别不平衡与评估协议
- 恶意注册在NRD中占比极低(万分位量级),训练采用代价敏感学习与分层抽样;评估以PR-AUC、Precision@k为主指标,Accuracy不作为参考指标。
- 时间维度切分:训练/测试按时间窗隔离(避免未来信息泄漏),滚动回测模拟生产。
- 外部一致性校验:模型产出的"高危注册商/TLD先验"与DAAR、Interisle公开密度数据做年度级对照(仅验证方法学方向一致,不追求数值一致——口径不同)。
4.3 特征与标签的版本化管理
- 特征定义、标签规则(T、阈值、RBL清单版本)纳入版本库管理,模型评估报告强制标注特征集与标签集版本号;
- RBL源变更(清单增删、口径调整)触发回归评估,避免"指标漂移"被误读为"威胁态势变化";
- 保留特征缺失率周报:Redaction政策调整、TLD注册模式迁移(thin→thick)等外部事件导致的特征可得性变化须可追溯。
05 · 本节参考来源(第2页)
ICANN DAAR Methodology Paper(2017年11月30日):三源采集与注册商ID归一化方法出处。icann.org
GB/T 36344-2018《信息技术 数据质量评价指标》:数据质量六维框架出处。openstd.samr.gov.cn
IETF RFC 7483 / RFC 3912 / RFC 5730:RDAP数据模型、WHOIS、EPP。rfc-editor.org
Unicode Technical Standard #39《Unicode Security Mechanisms》:同形异义字符混淆检测方法学。unicode.org/reports/tr39
Interisle《Phishing Landscape 2022》:41%钓鱼域名注册后14天内使用、多数48小时内。interisle.net
ICANN CZDS集中式区域文件服务:czds.icann.org;IANA RDAP Bootstrap(RFC 7484):data.iana.org/rdap
Le Pochat et al. Tranco(NDSS 2019):品牌距离特征的目标榜单基线。tranco-list.eu
Interisle Consulting(经ICANN《Domain Name Industry Brief》发布):gTLD隐私/代理服务使用趋势研究——2024年1月58.2%的gTLD记录受隐私/代理保护(2020年11月为29.2%)。icann.org