01 · 公开数据源全景
注册数据研究的可复现性，取决于是否基于公开、稳定、可校验的数据源。以下盘点按"权威注册数据—研究数据集—国内数据源"三类组织，全部来源均可公开访问且长期维护：
1.1 权威注册数据服务
| 数据源 | 内容 | 使用要点 |
|---|---|---|
| IANA根区数据库 | 全部顶级域（含ccTLD/gTLD）的注册局信息、WHOIS/RDAP服务端地址 | 研究域名生态总目录；iana.org/domains/root/db |
| IANA RDAP Bootstrap注册表 | TLD/IP/ASN到RDAP服务端的官方映射（dns.json等） | 采集管道的"路由表"，应每日同步；data.iana.org/rdap |
| ICANN CZDS | 集中式区域文件访问服务，提供gTLD区域文件下载 | 需注册申请并经审批；区域文件不含注册人信息，用于域名存在性测量；czds.icann.org |
| Verisign域名片段名统计报告 | .com/.net注册量与行业统计（Domain Name Industry Brief） | 行业基线参照；DNIB报告 |
1.2 研究导向数据集
| 数据集 | 内容 | 出处与要点 |
|---|---|---|
| Tranco List | 研究导向的顶级域名排名（默认Top 1M），融合多个商业排名并加入稳定性设计，抗操纵与排名漂移 | Le Pochat et al., NDSS 2019；tranco-list.eu；Alexa排名服务于2022年5月1日停止服务后，Tranco已成为学术研究的主流排名基准 |
| DGArchive | DGA生成域名学术数据库，覆盖90余个DGA家族、逾1.2亿个已知生成域名（2020年公开口径，持续更新） | Platzbart et al., ACSAC 2018；dgarchive.caastuff.net；DGA检测模型训练与评测的标准基准 |
| crt.sh | CT日志聚合查询服务，按域名/证书指纹/组织检索全量证书 | crt.sh；与注册数据时序关联（第6篇）的关键外部信号 |
1.3 国内权威数据源
| 数据源 | 内容 | 要点 |
|---|---|---|
| CNNIC统计报告 | 《中国互联网络发展状况统计报告》（半年度）：域名总量、.CN规模、互联网普及率等 | 域名生态宏观基线的权威口径；cnnic.cn |
| CNNIC域名投诉举报处理平台 | .CN域名滥用投诉受理与处置公示 | 处置时效指标（子课题06）的观测窗口；tsi.cnnic.cn |
| CNNIC WHOIS服务 | .CN/.中国国家域名权威WHOIS查询（whois.cnnic.cn） | 截至本稿.CN尚未纳入IANA RDAP Bootstrap，国内采集以WHOIS为权威端点；CNNIC运营的.公司/.网络RDAP（rdap.ngtld.cn）可作协议参考 |
商业数据源边界：DomainTools、WhoisXML API等商业WHOIS历史库在研究界广泛使用，但属付费服务且许可限制各异。本课题的复现清单（§05）以公开数据源为准，商业数据仅作为可选增强项单独评估。
02 · 采集管道架构
2.1 架构设计
RDAP/WHOIS采集管道参考架构
调度与采集解耦，队列削峰，每个环节独立审计
2.2 合规限速与采集礼仪
- 尊重429：收到429（Too Many Requests）即按Retry-After或指数退避等待，禁止并发重试轰炸。
- 请求间隔：对单服务端维持保守QPS（如≤1请求/秒），夜间低峰执行全量任务。
- ToS审查：采集前阅读目标服务端使用条款，部分注册商明确禁止批量采集。
- 身份透明：使用机构级User-Agent标识采集主体与联系邮箱，便于服务端管理方联系。
- 全量留痕：查询目标、时间、响应状态、原始报文哈希四要素缺一不可（第4篇合规审计要求）。
2.3 开发库选型
| 工具 | 说明 |
|---|---|
| ipwhois（Python） | 封装RDAP/WHOIS查询、Bootstrap解析与NIR/WHOIS回退，适合原型与研究脚本 |
| requests + tenacity | 自研采集器的HTTP层与重试/退避组件，可控性最强 |
| python-whois | 传统WHOIS解析库，输出格式依赖注册局，需按源适配 |
| jq / Miller(mlr) | RDAP JSON的命令行处理与批量校验 |
| icann-rdap（Rust） | ICANN官方开源RDAP客户端/服务端实现（GitHub: icann/icann-rdap）；CNNIC曾中标ICANN下一代WHOIS（RDAP）开源参考实现项目（github.com/cnnic/rdap） |
03 · 存储与检索设计
3.1 三类存储分工
| 存储 | 内容 | 推荐技术 |
|---|---|---|
| 对象存储 | 原始报文（不可变层），支撑审计回溯 | MinIO / S3 兼容存储 |
| 检索引擎 | 档案库（域名文档）与全文检索 | Elasticsearch / OpenSearch |
| 分析列库 | 事件流（注册—删除—再注册全周期）与时序分析 | ClickHouse（大规模）/ PostgreSQL（中小规模） |
3.2 索引设计要点
- 域名键：以A标签（punycode）小写为规范键，U标签原样存展示字段；考虑国际化域名的等价归一。
- 实体键：实体标识符+加盐HMAC哈希双键设计——哈希键用于跨源同一性（第3篇实体解析），实体键对外服务。
- 时间索引：事件（registration/transfer/expiration等）独立时间线存储，支撑"删除—再注册"循环检测。
- 质量字段：每条档案内嵌quality_score与维度明细，查询端可过滤低质量数据。
04 · 质量验证工具箱
对应第3篇五维质量模型的自动化验证组件：
| 维度 | 验证组件 | 技术要点 |
|---|---|---|
| 完整性 | Schema校验器 | JSON Schema对照RFC 7483必填字段，输出缺失清单 |
| 准确性 | 联系方式校验器 | RFC 5322语法校验 + MX记录解析 + 号段规则库（中国手机号） |
| 时效性 | 新鲜度监控 | 事件时间戳与采集时刻偏差告警；跨源同步延迟探测 |
| 一致性 | 交叉验证器 | RDAP与WHOIS双栈比对；IANA RDAP Status Values枚举校验 |
| 可联系性 | 验证记录分析 | 验证状态标注、退信率统计、Redaction状态机管理 |
05 · 实验环境与复现清单
5.1 实验环境建议
- 数据沙箱：与生产隔离的独立环境；样本数据先去标识化后方可进入沙箱。
- 最小数据集：选取3—5个代表性TLD（建议含.CN、.COM及一个thin模式gTLD、一个new gTLD），覆盖thick/thin双模式验证管道健壮性。
- 时间窗：新注册域名流至少覆盖90天，以观察注册—使用—处置全周期。
- 基准真值：抽样人工标注集（双人标注、Cohen's Kappa≥0.75），作为质量模型与风险模型的校准基准。
5.2 复现清单（Checklist）
| # | 复现步骤 | 验收标准 |
|---|---|---|
| 1 | 同步IANA Bootstrap注册表并解析 | TLD映射覆盖率100% |
| 2 | 对样本TLD执行RDAP全量采集（限速合规） | 429退避生效、零封禁记录 |
| 3 | Schema校验与字段映射入库 | 必填字段填充率≥95% |
| 4 | 运行五维质量评分与隔离区 | 低分记录100%入隔离区、可回溯 |
| 5 | 实体解析与聚类 | 抽样聚类准确率人工复核≥90% |
| 6 | 导出带置信度的样本情报条目 | STIX/GB/T 36643封装通过校验 |
| 7 | 合规审计演练 | 随机20条记录可完整回溯采集链路 |
本篇参考来源（第7篇）
[1]
IANA根区数据库：iana.org/domains/root/db；RDAP Bootstrap注册表：data.iana.org/rdap/dns.json
[2]
ICANN CZDS（集中式区域文件服务）：czds.icann.org
[3]
V. Le Pochat et al., "Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation"（NDSS 2019）：tranco-list.eu
[4]
S. Platzbart, F. Stuetz, G. Pellegrino, "DGArchive: A Comprehensive Database of DGA-generated Domains"（ACSAC 2018）：dgarchive.caastuff.net
[5]
crt.sh证书透明度查询服务：crt.sh；RFC 6962（CT机制）：rfc-editor.org/rfc/rfc6962
[6]
ipwhois项目文档：pypi.org/project/ipwhois；tenacity重试库：pypi.org/project/tenacity
[7]
CNNIC《中国互联网络发展状况统计报告》与域名投诉举报处理平台：cnnic.cn、tsi.cnnic.cn