域名注册数据治理

01 · 为什么需要数据质量治理

注册数据"能不能查到"只是第一层问题，"查到的是否可信"才是决定研究价值的关键。真实世界中的注册数据存在系统性质量缺陷：注册人随意填写"abc@123.com"之类的占位邮箱；域名到期后联系方式早已失效；同一注册人在不同注册商处的名称拼写不一致；批量注册使用同一模板导致数据高度重复；GDPR之后公开层个人信息大面积Redaction，进一步压缩了可直接使用的字段范围。若不经过质量治理，基于原始注册数据的任何分析结论都可能建立在流沙之上——本课题第3篇建立的五维质量模型，正是为了让"这条数据可信吗"成为可计算、可审计的问题。

02 · 五维质量模型（对齐GB/T 36344-2018）

GB/T 36344-2018《信息技术 数据质量评价指标》给出了数据质量评价的国标框架。本课题结合注册数据的领域特性，将其落地为五个可操作的维度：

2.1 抽样审计协议

• 抽样设计：按TLD×注册商×注册年份分层抽样，每层随机抽取不少于30条记录（统计学最小样本量的工程近似），保证各层可独立估计。
• 双人标注：准确性维度由两名分析员独立判定，计算一致性（Cohen's Kappa）；分歧样本经裁决后入库为基准真值。
• 判定标准：每个维度给出0—100分制评分，设60分为可用阈值；低于阈值的批次触发"隔离区"流程，禁止直接流入分析管道。
• 周期：全量审计每季度一次；新接入数据源必须先过审计再上线。

03 · 实体解析与去重

注册数据的核心价值在于关联：同一注册人名下的域名构成行为单元。但"同一个人"在数据中从不以同一形态出现——名称简繁/全半角差异、个人邮箱与企业邮箱并存、不同注册商的字段截断。实体解析（Entity Resolution）要解决的就是跨记录、跨数据源的同一性判定：

3.1 归一化规则

• 名称归一化：全半角统一、大小写折叠、繁简转换、去除标点与多余空白、常见后缀剥离（Ltd./LLC/有限公司等需保留为独立特征而非直接删除）。
• 邮箱归一化：小写化、去除Gmail等平台允许的"点号/加号别名"（foo.bar@gmail.com ≡ foobar+tag@gmail.com ≡ foobar@gmail.com），用于同一性判定时归并、用于欺诈检测时保留原始形态。
• 电话归一化：统一为E.164格式，剥离分机号与格式符；中国手机号校验号段有效性。
• 时间归一化：全部转UTC时间戳存储，保留原始时区标注供审计。

3.2 同一性判定策略

3.3 实体解析的效果评估

实体解析质量直接决定下游集群分析的可靠性。本课题在季度审计中以人工复核抽样集为基准真值，采用"精度（Precision）/召回（Recall）/聚类纯度"三指标持续度量：确定同一级别的判定精度目标不低于95%；高度疑似级别判定必须保留置信度与人工复核入口；对"同一实体被错误拆分"（影响集群扩展完整性）与"不同实体被错误合并"（影响误伤面）两类错误分别统计，并按TLD分层报告。评估结果反馈至归一化规则与相似度阈值调优，形成"解析—评估—调优"的闭环，相关记录纳入本篇§06的质量KPI体系。

04 · 数据管道架构

4.1 统一数据字典（节选）

4.2 质量门禁规则示例

def quality_gate(record):
    score, detail = {}, {}
    detail["completeness"] = required_fields_filled(record) / len(REQUIRED_FIELDS)
    detail["accuracy"]     = contact_validity(record)      # 语法+MX+号段
    detail["timeliness"]   = freshness(record.event_dates) # 与当前时间偏差
    detail["consistency"]  = cross_source_agreement(record) # RDAP vs WHOIS
    detail["contactable"]  = verification_status(record)    # 验证/退信记录
    score = weighted_sum(detail, WEIGHTS)
    if score >= 60:  store(record, tier="gold")
    elif score >= 40: store(record, tier="silver")
    else:             quarantine(record, reasons=detail)   # 隔离区，禁止下游消费

05 · 常见数据缺陷模式库

基于公开研究与行业实践，注册数据的典型缺陷可归为以下模式（用于自动检测规则的规则库建设）：

注：缺陷模式的判定阈值（如"大量"的域名数量界限）应结合具体TLD基线分布设定，避免一刀切误伤正常注册行为。

06 · 质量KPI与治理运营

• 运营节奏：日级自动校验监控；周级缺陷模式通报；季度全量审计与模型校准；年度质量白皮书。
• 回溯机制：下游分析发现脏数据时，可凭审计ID回溯至采集原始报文，定位缺陷产生环节并修正规则。
• 对外承诺：向情报消费方披露质量评分与已知局限，避免"高质量假象"误导自动化决策。

本篇参考来源（第3篇）