威胁情报收集与标准化

01 · 研究背景与意义

1.1 为什么"收集与标准化"是情报体系的瓶颈

Gartner对威胁情报的经典定义是"基于证据的知识，包括上下文、机制、指标、含义和可行的建议"（evidence-based knowledge, including context, mechanisms, indicators, implications, and actionable advice）。定义中的每一个要素——证据、上下文、可行性——都依赖规范化的收集与标准化过程才能落地。威胁情报的价值上限，由输入数据的质量与覆盖面决定；而分析模型再先进，也无法消化格式混乱、置信度缺失、大量重复、时效不明的原始数据。

当前组织面临的普遍困境是：情报来源众多但格式各异、置信度参差、重复度高，未经处理的原始数据无法直接被SIEM、EDR、防火墙等安全设备消费。采集侧"收不全、收不准、收进来用不动"，是威胁情报项目失败最常见的原因之一。我国GB/T 36643-2018《信息安全技术 网络安全威胁信息格式规范》（2018年10月10日发布，2019年5月1日实施，全国信息安全标准化技术委员会归口管理，产学研多家单位共同起草）与国际OASIS STIX 2.1标准，为情报的标准化表达提供了权威依据。

1.2 与迪妙反钓鱼业务的直接关联

迪妙网络空间安全学院深耕反钓鱼、反诈骗与企业安全意识培训。钓鱼对抗天然是一个情报密集型场景：仿冒域名、钓鱼URL、恶意证书、群发短信号码、C2基础设施的规模化发现与快速共享，决定了钓鱼检测的召回率与时效性。本课题形成的采集管道、标准化模型与质量控制机制，直接支撑学院演练沙盘的数据水位与课程案例库建设。

1.3 关键概念辨析：从数据到情报

一条恶意域名只是数据；标注了来源、首次发现时间与置信度的恶意域名是信息；只有当它被放进攻击活动的上下文中、并能支撑检测或决策时，才是情报。本课题全文高频使用以下概念，先作统一定义：

三者的关系是：IOC时效最短、数量最大（适合机器消费与自动阻断）；TTP时效最长、价值最高（适合狩猎与检测工程）。成熟的情报体系应以IOC保障"当下能挡住"，以TTP保障"未来看得见"。

1.4 情报消费场景与决策映射

同一套采集与标准化管道，服务的消费场景差异极大。下表把组织内的常见决策场景映射到所需的情报层级与本课题对应输出，避免"为收而收"的盲目采集：

02 · 研究目标与关键问题

• 建立多源采集体系：覆盖开源情报、商业情报、内部遥测、暗网监测与伙伴共享五类来源，形成可持续的自动化采集管道。
• 统一标准化格式：实现向STIX 2.1与GB/T 36643-2018双标准的归一化转换，保证跨平台语义一致、机器可读。
• 保障数据质量：建立去重、置信度标注、时效性管理与过期淘汰机制，解决情报库"数据膨胀、价值稀释"问题。

2.1 三个关键研究问题

03 · 课题在威胁情报生命周期中的定位

业界通行的威胁情报生命周期划分为六个阶段：规划与指导 → 收集 → 处理 → 分析 → 发布 → 反馈。本课题覆盖收集阶段全程与处理/标准化阶段的主体，并向分析与发布阶段提供接口规范。

04 · 情报来源全景：五类来源的能力边界

我们把可获取的威胁数据来源划分为五类。任何单一来源都存在结构性盲区，多源交叉验证是覆盖度与准确性的共同前提：

4.1 多源采集的常见失败模式

• 烟囱式平台：每上一个新设备/平台就建一套独立情报库，互不联通，重复投资且视图割裂——解法是从第一天起统一归一化格式（第4页）。
• 唯IOC论：只消费裸IOC清单、忽视上下文与TTP，检测停留在哈希/IP层，攻击者轻微变装即可绕过——解法是建立上下文富化与ATT&CK映射习惯。
• "买平台=有能力"错觉：采购TIP/威胁情报订阅后无人运营，数据在库里"躺平"过期——情报能力三分靠工具、七分靠流程与人（第4页运营指标即为此设计）。
• 无反馈闭环：消费端命中/误报结果不回传，情报质量无法校准，库随时间劣化——反馈机制贯穿本课题各页设计。

注：本页对各来源的成本与能力描述为定性判断，用于选型框架，不构成对任何具体产品或厂商的推荐。

05 · 标准化体系总览

5.1 国内外主要标准与格式

5.2 本课题的标准化选型策略

• 表达层以STIX 2.1为主：图模型表达能力最强、国际工具链最完整（官方Python库、验证器、可视化生态）。
• 国内对标GB/T 36643-2018：面向监管报送、行业共享平台对接时按八组件三域模型映射输出，实现"一份数据、两种标准"。
• 传输层采用TAXII 2.1：对外共享与订阅通道标准化，内部也可经MISP社区机制补充人工协同流转。
• 存量格式渐进迁移：OpenIOC与各类CSV/JSON存量不推倒重来，经转换器归一后逐步淘汰旧格式。

06 · 核心概念与分析模型基础

6.1 四个必须掌握的经典模型

• 痛苦金字塔（Pyramid of Pain，Bianco 2013）：将防守方检测依赖由易到难分为哈希、IP地址、域名、网络与主机工件、工具、TTP六层。越往上攻击者改变对应行为的代价越大——仅封IP对方秒换，被迫改变TTP则伤筋动骨。情报体系应随成熟度把检测重心从低层逐步上移。
• 钻石模型（Diamond Model，Caltagirone等，2013）：以"对手—能力—基础设施—受害者"四个顶点刻画单个入侵事件，顶点间连线即攻击路径与依赖关系，是单事件深度分析与跨事件关联（共享基础设施、同一对手）的统一框架。
• 网络杀伤链（Lockheed Martin，2011）：将网络攻击划分为侦察跟踪、武器构建、载荷投递、漏洞利用、安装植入、命令控制、目标达成七阶段，帮助防守方明确各阶段可见性与最优阻断点，避免"只守最后一环"。
• F3EAD 循环：Find（发现）—Fix（定位）—Finish（处置）—Exploit（利用）—Analyze（分析）—Disseminate（分发）六环节，源自军事情报目标流程，核心思想是"分析—分发"反哺"发现"，与本课题生命周期反馈阶段的设计思想一致。

6.2 情报分层：谁需要什么情报

注：各框架对层级命名略有差异（"战役层"亦有"作战层"译法），功能划分一致。本课题采集与标准化管道需同时服务四层产出，这也是双标准设计（第4页）的原因。

6.3 情报消费需求管理（RFI 流程）

情报工作始于需求而非数据。RFI（Request for Information，情报需求请求）是军事情报与商业情报中的通行机制：需求方以标准模板提出问题（背景、问题、时限、期望格式、密级），情报团队评审优先级后排期采集与分析，交付后回收满意度与命中反馈。本课题建议组织以轻量化RFI模板启动需求管理，避免"有什么看什么"的被动消费。

07 · 核心研究内容总览

本课题围绕三大研究目标展开五项核心研究内容，全文各页覆盖关系如下：

6.1 关键技术与方法（总览）

• 采集自动化：基于RSS/API/爬虫的多源采集框架，结合调度与容错机制实现7×24小时持续采集。
• 富化（Enrichment）：集成开源信誉查询接口，为原始IOC补齐WHOIS/RDAP、被动DNS、开源信誉等上下文。
• 归一化映射：建立异构格式（CSV、JSON、OpenIOC、MISP Event）到STIX 2.1的对象映射表与转换器。
• 质量管理：采用哈希归并与相似度算法去重，按证据强度分级标注置信度，按IOC类型设定差异化有效期。

08 · 研究边界与合规声明

8.1 主要法律法规依据（公开条文要点转述）

• 《网络安全法》（2017年6月1日施行）：第二十一条确立网络安全等级保护制度；第二十五条要求制定应急预案并及时处置安全风险；第二十九条明确"国家支持网络运营者之间在网络安全信息收集、分析、通报和应急处置等方面进行合作"——组织间情报共享的顶层法律依据。
• 《数据安全法》（2021年9月1日施行）：确立数据分类分级保护制度；第三十一条对重要数据出境安全管理提出要求——情报共享与富化涉及数据出境时须评估。
• 《个人信息保护法》（2021年11月1日施行）：第十三条列举处理个人信息的合法性基础，第六条确立最小必要原则——WHOIS/RDAP数据中的注册人个人信息处理须对照执行。
• 《关键信息基础设施安全保护条例》（国务院令第745号，2021年9月1日施行）：规定关基运营者发生网络安全事件、发现重大网络安全威胁时应按规定报告，并支持与保护工作部门、公安机关等的协作。
• 《网络数据安全管理条例》（国务院令第790号，2024年9月29日公布，2025年1月1日施行）：对网络数据的收集、存储、使用、加工、传输、提供、公开等处理活动细化安全管理要求，本课题各环节均应对照执行。
• 网络安全等级保护制度（GB/T 22239-2019等）：等保2.0基本要求中安全管理中心相关条款涉及对外部威胁情报的利用与协同，情报消费能力是等级保护建设的组成部分。

法规全文可在"国家法律法规数据库"（flk.npc.gov.cn）检索；行政法规可在中国政府网政策库（gov.cn）检索。以上为公开条文的要点转述，具体适用请以正式文本与组织法务意见为准。

09 · 数据支撑与年度权威报告指引

威胁情报研究必须建立在可核验的公开数据之上。以下为发布方明确、持续更新、可免费获取的主要权威报告，建议作为本课题数据引用与年度复核的基准来源：

作为基准示例（引用时请核对最新版本）：Mandiant《M-Trends 2024》报告全球中位驻留时间已降至10天量级；IBM《Cost of a Data Breach Report 2025》给出全球平均泄露成本约444万美元（较2024年的488万美元下降9%，归因于更快的识别与遏制），平均泄露生命周期约241天。Mandiant《M-Trends 2026》进一步显示，2025年全球中位驻留时间已从2023年的历史低点10天回升至14天，外部通报类事件的驻留时间更是升至25天——攻击者的逃逸能力在增强，采集与分发的时效性指标（第2、4页KPI）不是锦上添花，而是能力底线。

注：以上报告均可从发布方官网免费获取；引用具体数字时应标注报告年份与版本，本课题正文数字均随页标注出处。

10 · 预期成果与交付物

• 《多源威胁情报采集技术指南》研究报告一份
• STIX 2.1 / GB/T 36643-2018 双标准数据模型与转换规范一套
• 开源情报采集工具链与IOC富化管道原型
• 情报源质量评估指标体系与候选源评估报告
• 《威胁情报需求（RFI）流程与模板》
• 威胁情报能力成熟度自评清单（初始/可重复/已定义/已管理/优化五级）
• 年度威胁态势综述工作机制（聚合权威报告的课程与报告产出）

11 · 威胁情报体系发展历程与关键里程碑

理解标准与工具的"来路"，是正确使用它们的前提。下表依据各项目官方公开资料整理威胁情报领域的关键节点，作为本课题全文方法选择的背景坐标：

注：各节点时间以发布方官方公开资料为准；个别工具的首发月份不同文献记述略有出入，本表只记年份级精度。

12 · 威胁情报平台（TIP）核心能力架构

组织落地时通常需要威胁情报平台（TIP）作为载体。一个合格的TIP应覆盖六层能力——采购评估与自建设计均可对照此表逐项打分：

12.1 选型五大误区（提示：采购前必读）

• 误区一"平台=能力"：平台只是管道载体，来源建设、标准化与运营才是能力本体（第1页§4失败模式）；
• 误区二"重展示轻管道"：演示环境的炫酷图谱不能替代采集成功率、格式合规率等工程指标（第2页KPI）；
• 误区三"忽视数据出口"：必须核实平台是否支持完整STIX导出——被格式锁死等于退出成本无穷大（第2页TCO要素）；
• 误区四"只看功能不看生态"：社区适配器数量、互操作口碑比功能清单更决定长期价值；
• 误区五"跳过试点直接全量"：以黄金样本集（第2页§4.2）做不少于3个月试用，覆盖攻击活跃时段。

13 · 全课题KPI总表（度量基线）

将分散于各页的指标汇总为一张基线表，作为年度复评的统一口径：

注：目标值为实践建议基线，组织应经一个季度实测建立自有基线后再固化；所有指标季度评审，年度复核（第7页§1.3度量纪律）。

本节参考来源（第1页）

以下均为真实可查的权威来源（标准发布机构、官方项目站点、政府/标准组织页面），用于支撑本页事实性表述。