01 · 数据源全景与接入要点
域名层监测的原料来自多类数据源，覆盖"注册—解析—证书—内容"四个观察面。各源的获取门槛、更新频率与合规约束差异显著，需组合使用：
| 数据源 | 提供方/获取方式 | 覆盖与价值 | 约束与注意 |
|---|---|---|---|
| CZDS区文件 | ICANN集中式区域数据服务（CZDS），在线申请协议后下载 | 全部gTLD（含新gTLD）每日区文件，含全部已注册域名——变体扫描的全量底账 | 需签协议、有使用条款；文件体量大，需流式处理管道 |
| RDAP/WHOIS | 各注册局RDAP服务（RFC 7480-7489）/WHOIS（RFC 3912） | 注册时间、状态、NS、注册商——L4行为层关键输入 | GDPR（2018年5月生效）后个人信息普遍脱敏；查询速率受限，需缓存与调度 |
| CT日志 | 公开证书透明度日志（RFC 6962），crt.sh等聚合检索 | 品牌关键词证书检索，可在域名被公开使用前发现仿冒基础设施 | 覆盖DV证书全量、OV/EV部分；需处理海量噪声 |
| Passive DNS | 商业/社区被动DNS服务 | 解析关系历史、IP基础设施聚类 | 商用成本；社区源覆盖不均 |
| 新注册流（NRD） | 安全厂商与社区提供的新注册域名清单服务 | 比区文件更早获得"今日新增"——时效优先场景的核心源 | 质量参差，需交叉验证 |
| CNNIC公开数据 | CNNIC统计报告（半年度）、域名投诉举报处理平台 | 中文域名与中国域名市场结构的权威口径 | 半年度更新，不含逐域名明细 |
| 遥测/举报 | 企业遥测、12321/CNNIC平台举报、PhishTank等社区 | 真实受害面视角，发现"已在使用"的活跃仿冒 | 有偏采样，不能单独作为发现机制 |
组合策略：NRD流负责"分钟级时效"、CZDS区文件负责"全量底账与查漏"、RDAP负责"行为取证"、CT日志负责"基础设施预警"、遥测举报负责"受害面校准"。任何单一来源都不足以同时满足时效、覆盖与成本三重要求。
02 · 监测流水线架构
七阶段监测流水线
从原始数据到情报产出的端到端时延目标：分钟级候选生成、小时级置信度收敛
说明：流水线各阶段均为异步解耦设计，单点故障不阻塞全链；全部中间产物留痕以满足取证与审计要求。
03 · 大规模相似度计算：算法与索引
3.1 变体生成的四路召回
| 召回路 | 生成方法 | 规模量级（每品牌） | 说明 |
|---|---|---|---|
| 拼写变体 | 编辑距离≤2、键盘邻接、重复/省略字符 | 10³—10⁴ | 成熟方法（课题二详述），BK-tree索引 |
| 同形变体 | 品牌串逐字符替换为UTS #39 confusables集内候选 | 10²—10⁵ | 需按"每字符候选数"剪枝，优先高风险字符对 |
| 简繁/拼音变体 | OpenCC双向转换、拼音全拼/首字母/谐音数字替换 | 10²—10³ | 中文品牌必选；谐音词典需持续维护 |
| 组合变体 | 品牌词+功能性中文/英文词根（客服/verify/安全中心）字典组合 | 10²—10⁴ | 字典质量决定召回上限，源自真实处置样本积累 |
3.2 索引结构选型
- 候选→全量库匹配（正向）：变体候选集与每日NRD流做集合匹配——布隆过滤器前置+精确哈希确认，单机可支撑每日百万级候选对千万级新增；
- 全量库→品牌召回（反向）：对区文件做品牌相似度扫描——按TLD分区，BK-tree/n-gram倒排索引，多机并行，批处理时延控制在小时级；
- 存储设计：判定结果与证据链对象化存储（含Unicode/UTS版本号、判定规则版本），支持任意历史判定的完整复算——这是与第3页"版本固定纪律"配套的可复现性要求；
- 性能参考：按本课题实验环境经验值，L1字符层判定约0.1ms/域名，单节点日处理千万级域名可行；L2视觉层（截图+哈希比对）约5—15s/域名，仅对L1高风险项激活（非行业基准，仅供容量规划参考）。
04 · 中文域名特化处理清单
| 处理项 | 规则 | 常见错误（反模式） |
|---|---|---|
| 解码顺序 | 先Punycode解码 → 再UTS #46 → 再NFKC → 再简繁归一，顺序不可交换 | 先NFKC后UTS#46：全角字符在NFKC后变成ASCII，破坏IDNA判断语义 |
| 简繁方向 | 一律以"繁→简"为归一化方向（一对多有确定映射），"简→繁"仅用于变体生成 | 双向归一混用导致一对多字符匹配漂移 |
| 版本留痕 | 每批数据记录：Unicode版本、UTS #39版本、OpenCC版本、规则库版本 | 无版本号导致跨期统计不可比（第3页版本漂移警示） |
| 中文关键词表 | 从真实处置样本积累高频诈骗词根（客服/中心/验证/补贴/退税/登录/兑换/积分），月度评审 | 直接照搬英文关键词表翻译，漏掉中文语境词根 |
| 汉字形近检测 | 仅对L1命中同形替换的域名激活形近字比对，且输出标注字体条件 | 对全量域名无差别跑形近比对，成本与误报双高 |
05 · 数据合规与伦理
- 境内合规：监测数据的采集、存储与共享遵循《网络安全法》《数据安全法》《个人信息保护法》与《反电信网络诈骗法》要求；注册数据坚持最小化采集，仅保留判定与取证必需的字段；
- 域外合规：WHOIS/RDAP数据受GDPR等制度约束，公开查询数据与个人信息的边界须由合规评审确认；对境外数据源的使用遵守其服务条款；
- 留存策略：原始注册数据设定留存期限（建议与取证需求挂钩），到期匿名化；证据链单独按司法取证要求保存；
- 伦理红线：监测数据不得用于与防御无关的用途；对被监测主体（含误伤的正常注册人）提供申诉与纠错通道；
- 处置授权：向注册商/注册局发起处置前，证据链必须达到该渠道的形式要求（第7页），禁止基于不充分证据批量投诉。
06 · 情报输出：标准化与生态对接
监测产出的最终形态是可机读的威胁情报，对接学院威胁情报体系与外部生态：
- 国标格式：仿冒域名IOC按GB/T 36643-2018《信息安全技术 网络安全威胁信息格式规范》的"攻击指标/可观测数据"组件表达，标注置信度与有效时间范围（该标准2018年10月10日发布、2019年5月1日实施）；
- 国际标准：向MISP/TIP生态分发时映射为STIX 2.1的domain-name可观测对象与indicator对象，附攻击模式引用（如钓鱼场景映射ATT&CK T1566）；
- 下游消费：DNS防火墙/安全网关直接消费阻断列表；投递层（邮件网关、IM安全组件、短信审核侧）消费"首发域名"预警；演练平台消费真实样本生成沙盘场景；
- 质量背书：每条IOC附证据链链接与判定规则版本，消费方可独立复核——情报的可复核性是其流通价值的前提。
§ · 本节参考来源（第5页）
[1]
ICANN集中式区域数据服务（CZDS）——czds.icann.org
[2]
IETF RFC 7480-7489（Registration Data Access Protocol, RDAP）——rfc-editor.org
[3]
IETF RFC 6962《Certificate Transparency》——rfc-editor.org/rfc/rfc6962
[4]
IETF RFC 3912（WHOIS协议）——rfc-editor.org/rfc/rfc3912
[5]
GB/T 36643-2018《信息安全技术 网络安全威胁信息格式规范》——全国标准信息公共服务平台
[6]
OASIS STIX 2.1规范（domain-name可观测对象）——docs.oasis-open.org/cti/stix/v2.1
[7]
MITRE ATT&CK T1566（Phishing）——attack.mitre.org/techniques/T1566
[8]
GDPR（欧盟《通用数据保护条例》，2018年5月25日生效）对WHOIS数据展示的影响，见ICANN注册数据规范——icann.org注册数据规范