从公开数据到可用情报：采集面、管道与源评估

01 · OSINT采集面全景

开源情报的核心逻辑是：攻击者的基础设施必须暴露在公开互联网才能发挥作用——注册域名要留痕、申请证书要进日志、架设服务器要开放端口、投递恶意软件要过公开扫描器。防御者要做的，是把这些公开痕迹系统性地收集起来。主要采集面如下：

1.2 开源工具速查（均为真实可查的开源项目）

1.3 abuse.ch 子项目对照（数据类型、更新形态与获取方式）

注：abuse.ch 由瑞士安全研究者创立并长期运营，各子项目数据免费公开（允许商业使用，以站点条款为准），是开源情报管道中性价比最高的基础来源之一；引用时应注明抓取时间。

1.4 情报源可信度分级（使用规则）

1.5 新注册域名（NRD）监测与区域文件数据

大量钓鱼与欺诈域名在注册后数日内即投入使用——这是威胁情报领域的稳定观测结论，也是"新注册域名"启发式检测（NRD检测）的行业基础。工程上有三类获取途径：

• 区域文件访问（Zone File Access）：ICANN 要求新通用顶级域（gTLD）注册局通过 CZDS（Centralized Zone Data Service，中央化区域数据服务）向通过申请的研究者开放区域文件——其中完整列出该TLD下当日全部已注册域名，是NRD清单最权威的免费来源；缺点是数据量巨大（单TLD即可达千万行级/日），需专用解析管线。
• 每日新增域名清单：部分公开服务聚合各注册局数据，提供"每日新注册域名"下载；获取便捷但覆盖与及时性以服务商为准，引用时须注明口径。
• CT日志新增证书：与注册时间解耦，直接反映"近期开始使用的域名"，且天然带HTTPS意图信号——实践上常与NRD清单交叉使用（注册后长期未启用、临启用前突然申请证书的域名风险显著升高，呼应第5页域名老化手法的识别）。

1.6 基础设施归属与历史取证数据

域名与IP的"当下状态"之外，两类长期公开数据在溯源中的价值常被低估：

• BGP/路由数据：RouteViews与RIPE RIS二十余年来持续公开全球BGP路由表快照与更新流，可回答"这个IP属于哪个自治域（AS）、何时被公告、归属是否频繁变更"——防弹主机识别、被劫持前缀发现与托管商画像的关键依据，数据免费且历史跨度长。
• 网页历史存档：Internet Archive的Wayback Machine等公开存档用于比对钓鱼页面的历史版本、确认仿冒站点上线时间与内容演变；取证引用须注明快照时间与原始URL，并遵守存档站点的访问条款。

注：主动探测（端口扫描、漏洞探测）仅限组织自有或取得书面授权的资产，与面向全网公开数据的开源采集存在明确的合规边界（主动/被动之辨详见第3页§1.5 EASM小节）。

02 · 证书透明度日志：钓鱼对抗的第一线

2.1 机制与防御价值

证书透明度（Certificate Transparency, CT，IETF RFC 6962）要求公共可信CA签发的证书必须记录到公开的、只追加的CT日志中，证书中的SAN（主题备用名称）字段会暴露证书覆盖的全部域名。这一机制最初为发现错误签发与恶意CA而设计，却意外成为发现钓鱼基础设施的利器：攻击者为仿冒站点申请HTTPS证书时，其域名必然在CT日志中留下痕迹——防御者可以据此在钓鱼站点投入运营之前或之初就完成发现。

2.2 监测方法

• 品牌关键词匹配：对自有品牌名、核心产品名在CT日志中做子串与变体匹配（如增删字符、数字替换、同音字）。
• 域名编辑距离监测：对官方域名计算编辑距离较小的注册域名（如把字母o换成数字0），这是域名仿冒的经典手法。
• 证书结构异常：同一证书覆盖大量相似域名、证书有效期极短、频繁重复申请等模式值得告警。
• 查询与订阅：ct日志可通过crt.sh等公共查询接口按域名模式检索（如%.example.com形式），也可订阅商业CT监测服务获得近实时推送。

2.3 规模与政策背景

CT日志自2013年前后规模化部署，Google Chrome自2018年7月（Chrome 68起，要求2018年4月30日之后签发的公开信任证书必须出现在CT日志中并附带SCT证明）强制要求CT合规，此后全球CA签发的证书几乎全部进入日志。公开数据显示，CT生态累计收录的证书日志条目已达百亿量级并持续增长（crt.sh 公共查询接口收录量已超百亿条，含同一证书的多次记录），crt.sh等公共查询接口对安全研究者免费开放。这一规模意味着：未做监测等于主动放弃了攻击面最透明的一层信号；同时也意味着监测规则必须工程化降噪，否则人力无法消化。

2.4 能力边界（必须知道的局限）

• 非实时：CT日志同步存在分钟到小时级延迟，且监测发现到实际处置之间仍有窗口期，不能替代终端侧防护。
• 免费DV证书滥用：攻击者可低成本批量申请域名与证书，监测结果量大、噪音高，必须配合白名单与信誉评分降噪。
• 覆盖盲区：自签名证书、内部CA签发证书不进入公共CT日志；攻击者也可能直接复用被攻陷的合法站点，此时CT日志无异常。

2.5 监测发现的标准处置SOP

1. 确认：核实域名是否真实注册、解析、可访问，排除误报（合法营销活动常注册相似域名）。
2. 分级：查询信誉与历史命中，判断属仿冒、钓鱼还是仅相似。
3. 存证：固定页面快照、证书、DNS记录与时间戳，为处置与溯源留证。
4. 处置：内部侧封禁解析/访问；对外按渠道向注册商、托管商与反钓鱼协同渠道（CNNIC域名投诉举报处理平台、公共互联网反网络钓鱼工作组）发起处置。
5. 共享：确认IOC按分级机制入库并对外共享（第3、4页）。

2.6 RDAP 与 WHOIS 的差异

注：工程上建议新代码一律面向RDAP开发，WHOIS仅作存量来源兼容；两者都无法稳定提供自然人注册人信息时，应转向"注册商/注册时间/NS"等组织级字段做基础设施聚类（第2页§01表格）。

03 · 品牌仿冒变体监测实战

钓鱼域名不是随机生成的，而是围绕目标品牌按固定"配方"变造。把配方系统化，就能把监测从"关键词撞运气"升级为"变体全覆盖"：

3.1 工程化降噪

• 白名单先行：维护已知合法的自有营销域名、合作伙伴域名清单，命中先比对白名单再告警。
• 信誉加权：新注册（30天内）、廉价TLD、隐私保护注册等特征加权，提升高风险变体优先级。
• 聚合去重：同一基础设施（同IP/同证书/同注册信息）托管的变体聚合为"基础设施簇"统一处置，避免告警洪水。
• 回测校准：每月抽样回测告警命中率与误报率，动态调整阈值——把"安全运营"变成"可度量工程"的关键动作。

04 · 自动化采集管道参考架构

多源采集不是写几个爬虫那么简单，而是一条需要可运维、可度量、可容错的流水线。参考架构分为七个环节：

4.1 工程质量要点

4.2 礼貌采集代码骨架（教学示例）

以下为采集适配器的最小实现骨架，体现速率控制、退避重试与失败隔离三项工程纪律（第5页给出完整适配器接口设计）：

# 礼貌采集骨架：仅用于授权范围内的公开数据获取
import time, random, requests

HEADERS = {"User-Agent": "ThreatIntelBot/1.0 (+https://example.org/sec-contact)"}

def polite_get(url, session, min_interval=5.0):
    time.sleep(min_interval + random.uniform(0, 2))  # 速率控制，遵守目标站点配额与robots
    for attempt in range(4):                          # 指数退避重试
        try:
            r = session.get(url, headers=HEADERS, timeout=30)
            if r.status_code == 200:
                return r
        except requests.RequestException:
            pass
        time.sleep(2 ** attempt)
    return None  # 连续失败：告警+占位，不将脏数据写入主库

注：教学骨架，省略了robots检查、Schema校验与审计日志；生产实现须满足第2页§4.1全部工程质量要点与第5页§3.3出口合规红线。

05 · 商业情报源评估模型

商业情报源采购的最大风险是"用了才知道不好"。本课题建立六维加权评估模型，用可回测的指标替代销售话术：

注：权重为示例框架（合计100%），组织应按自身威胁模型调整；时效性权重对以钓鱼/勒索快速处置为目标的组织应进一步提高。

5.1 评估之外：TCO要素清单

• 订阅费：按量/按席位/按资产规模的计费模式与涨幅条款；
• 对接成本：API对接、TIP/SIEM集成的人日与外部服务费用；
• 存储与计算：高频情报流的入库、检索与保留成本；
• 运营成本：分析师研判工时、误报处理、季度复评；
• 退出成本：数据可携带性（能否完整导出STIX格式）与合同绑定年限。

5.2 黄金样本回测法

1. 构建黄金集：整理本组织已确认过的历史IOC（含发现时间与处置结论），脱敏后作为评测基准。
2. 双盲回放：将候选情报源的输出与黄金集比对，统计召回率（源发现了多少）与时延（发现得多快）。
3. 交叉验证：用开源渠道（OTX、abuse.ch、VirusTotal社区）对商业源独家IOC做抽样复核，评估其独家贡献率与误报水平。
4. 试用决策：试用期不少于一个完整攻击周期（建议3个月），覆盖月末、节假日等攻击活跃时段。

06 · 国内情报生态与合规渠道

国内威胁情报生态由官方/行业渠道与商业/社区渠道共同构成。以下为真实存在的主要渠道类型（按类型列举，不构成采购推荐）：

07 · 采集质量KPI体系

采集管道必须可度量。本课题定义以下核心指标（目标值为实践建议，组织应结合基线调整）：

08 · 采集活动合规核查清单

每个新数据源接入前，按下表完成核查并留存记录；已有来源每年复核一次：

本节参考来源（第2页）

以下渠道均为真实存在的公开服务或官方项目站点，用于支撑本页采集面描述。