多源情报融合与关联分析

01 · 研究背景与意义

1.1 信息孤岛：情报越多，噪音越大

威胁情报的生产者遍布全球：商业情报厂商、开源社区、行业共享组织、政府部门、安全研究团队，各自独立命名、独立评级、独立发布。其直接后果是同一威胁的多重碎片化表达。以被公开归因于俄罗斯军事情报机构（GRU）的攻击组织为例，该组织在不同机构的报告中分别被称为：APT28（Mandiant/FireEye编号体系）、Fancy Bear（CrowdStrike命名）、Sofacy与Sednit（卡巴斯基命名）、Strontium（微软命名）、Pawn Storm（趋势科技命名）。如果情报平台不做实体归并，这五份报告中的IOCs、TTP与受害目标将无法汇聚到同一个组织名下，分析人员看到的是五个"不同"的对手。

注：上表均为各厂商公开报告中的命名，仅用于说明"同一实体、多源异名"问题，不代表本课题对归因结论的独立背书；归因本身属于分析判断，存在公开争议空间。

碎片化的代价是具体的：重复告警消耗分析人力（同一条IOC被五个源各报一次，SOC看到的是五倍工作量）；威胁画像无法累计（无法回答"这个组织一年来攻击过我们几次"）；基础设施复用无法识别（同一台服务器 hosting 的多个钓鱼域名被当作孤立事件分别处置）。

从产业侧看，多源情报供给已形成层次分明的生态：商业情报厂商（如微步在线、奇安信、腾讯安全、天际友盟等）、开源情报社区（MISP生态、OpenCTI社区及各类OSINT项目）与政府/行业共享渠道并存，供给侧的多样化正是“多源融合”需求持续增长的根本背景——组织几乎必然同时消费多个来源，融合能力从“可选”变为“必选”。说明：国内威胁情报市场规模与厂商份额的统计口径分散且多数不公开，本课题不引用无法溯源的具体数字；有需要的读者可参考中国网络安全产业联盟（CCIA）年度产业分析报告等公开资料自行核实。

1.2 融合与关联是情报价值放大的必经环节

数据融合（Data Fusion）是多传感器信息处理领域的成熟概念，美国联合指挥实验室（JDL, Joint Directors of Laboratories）数据融合过程组提出的融合分级模型（Level 0 信号评估、Level 1 实体评估、Level 2 态势评估、Level 3 影响评估）长期被情报界借鉴。本课题将其工程化为三个可操作层级：数据级融合（清洗、去重、归一）、特征级融合（实体解析、关系发现）、决策级融合（置信度综合、活动判定）。知识图谱与实体解析技术为这一路径提供了工程基础——STIX 2.1标准本身就是图结构模型，OpenCTI等开源平台已验证了图模型承载威胁实体统一管理的可行性。

1.3 与迪妙反钓鱼业务的直接关联

钓鱼对抗是典型的关联密集型场景：钓鱼URL极少孤立存在，它们通常成批注册、共享解析IP、复用页面模板与证书基础设施。只有将分散的钓鱼URL聚类为"钓鱼活动"，才能实现批量域名处置、封禁清单生成与攻击者手法画像，这正是学院攻防演练沙盘与识别指南课程最需要的数据能力。

02 · 研究目标与关键问题

• 实体同一性判定：基于域名相似度、IP归属、证书指纹、基础设施重叠等特征，实现跨源IOC与威胁实体（组织、恶意软件、基础设施）的去重合并。
• 全局视图构建：建立覆盖威胁行为者、入侵组织、恶意软件、基础设施、漏洞、目标行业的威胁知识图谱，支持多跳路径查询与社区发现。
• 置信度融合：综合多个相互独立的情报源对同一威胁的评估，输出比任何单一来源更可靠的综合置信度。
• 攻击活动重构：将分散的IOC、TTP与受害者报告聚类为完整攻击活动（Campaign），还原攻击全貌与攻击链。

2.1 四个关键研究问题

03 · 课题在威胁情报生命周期中的定位

本课题位于威胁情报生命周期的处理与分析阶段：上游消费子课题01（威胁情报收集与标准化）产出的STIX 2.1 / GB/T 36643-2018标准化情报，下游支撑子课题04（情报驱动的主动防御）的检测规则生成与子课题06（暗网监测与追踪）的线索关联需求。没有上游的标准化输入，融合与关联就退化为格式纠缠；没有本课题的融合关联，上游采集的数据只能以原始形态堆积，无法形成态势。

04 · 融合关联总体框架：三级融合

本课题将多源情报融合拆分为三个递进的层级，每一层依赖上一层的结果，共同构成完整的融合关联流水线：

05 · 核心研究内容总览

本课题围绕四大研究目标展开五项核心研究内容，全文各页覆盖关系如下：

06 · 关键技术与方法总览

• 相似度计算：编辑距离（Levenshtein）、Jaccard系数、Jaro-Winkler、n-gram余弦相似度，面向域名的可注册主域级比较。
• 基础设施复用特征：共享IP/自治域、被动DNS共现、TLS客户端/服务端指纹（JA3/JA3S）、证书SAN重叠与证书透明度日志。
• 图存储与查询：基于STIX 2.1图模型，Neo4j（Cypher查询语言）或OpenCTI（GraphQL API）承载实体关系，支持多跳路径查询与子图挖掘。
• 社区发现：Louvain模块度优化、Leiden算法（保证社区内部良好连接）、标签传播算法，用于攻击基础设施集群识别。
• 置信度融合：基于源历史准确度的加权投票、Dempster-Shafer证据理论、贝叶斯网络三种方法对比选型。
• 活动聚类：层次聚类、DBSCAN密度聚类，结合时间窗与基础设施共现特征的复合相似度。
• ATT&CK映射：将行为与TTP映射至MITRE ATT&CK企业矩阵技术编号，以技术向量相似性辅助组织与活动归并。

07 · 研究边界与合规声明

需要特别指出：实体归并与攻击归因属于分析判断而非事实断言。本课题输出的一切组织归属结论均标注证据强度与不确定性，避免将"基础设施重叠""代码相似"等弱特征直接表述为确定性归因，这是学术严谨性与法律合规的双重要求。

08 · 预期成果与交付物

• 《多源情报融合框架与关联分析模型》研究报告一份
• 基于OpenCTI的威胁知识图谱部署方案与图谱模式设计规范
• IOC实体解析与去重算法原型（含相似度阈值调参指南）
• 多源置信度融合评估指标体系（含源权重标定方法）
• 攻击活动聚类重构方法及典型案例复盘集

09 · 国内外研究现状与相关工作综述

9.1 实体解析与记录链接研究线

实体解析并非威胁情报独有需求，其理论基础来自统计学中的记录链接（Record Linkage）：美国统计局的Fellegi与Sunter于1969年在Journal of the American Statistical Association上发表的《A Theory for Record Linkage》奠定了该领域的数学框架——将两条记录的字段比较结果转化为比较向量，基于错误率模型给出"匹配/可能匹配/不匹配"三级决策阈值。Winkler在1990年代发展了自适应阈值与非精确字符串比较方法，使该框架可工程化。本课题第2页的"规范化→候选对生成→相似度判定→人工复核"流水线，正是该经典框架在威胁情报领域的实例化，其中"可能匹配"对应本课题的"疑似关联边+人工队列"设计。

9.2 威胁知识图谱与CTI结构化研究线

• ThreatKG（Gao等，arXiv:2212.10388，2022）：验证了自动化聚合开源威胁情报并构建知识图谱的可行性，其流水线思路（采集→抽取→图谱化）与本课题第3页构建流水线同构。
• AnnoCTR（Lange等，arXiv:2404.07765，LREC-COLING 2024）：面向网络威胁报告的带标注语料，覆盖组织、恶意软件、漏洞等实体类型并将行为描述链接至ATT&CK战术与技术条目，为“报告文本→结构化实体”提供带标注的语料基础与评测基准，数据与代码开源。
• CTI-HAL（Della Penna等，arXiv:2504.05866，2025）：人工标注的CTI分析语料，其标注体系可作为本课题金标准集设计的参考。
• STIX实体关系自动抽取（arXiv:2507.16576，2025）：研究从非结构化CTI报告中自动抽取STIX实体与关系的方法，代表"报告→STIX图"流水线的自动化前沿。
• STIX 2.1图基准数据集（Das等，达卡大学信息技术学院与阿拉巴马大学，arXiv:2607.23312，2026）：150份英文CTI报告人工构建为STIX 2.1有向异构图，含4,777个实体、5,817条关系、1,273条ATT&CK映射（覆盖269个技术/子技术编号与全部15个企业矩阵战术）；采用双标注+仲裁建立金标准，并评测了本地开源大模型作为标注裁判的可行性。该工作同时证明了两件事：报告级STIX图构建已具备公开基准；"LLM辅助标注+专家校验"是可持续的标注生产模式。

9.3 社区发现与图算法研究线

模块度优化社区发现自Louvain（Blondel等，2008）起成为大图聚类的主流方法，Leiden（Traag等，Nature Communications，2019）修复了其社区不连通的理论缺陷；本课题第3页选用Leiden作为基础设施聚类基线即源于此。标签传播（Raghavan等，2007）则代表近线性时间复杂度的粗筛思路。近年来图神经网络（GCN，Kipf与Welling，ICLR 2017；知识图谱嵌入TransE，Bordes等，NIPS 2013）被引入威胁图谱的关联预测研究，但该方向尚处学术探索阶段，本课题仅作前沿跟踪，不作为工程依赖（详见第3页§11）。

9.4 研究空白与本课题定位

综合上述工作可见三个空白：①多数公开数据集聚焦英文报告与欧美威胁生态，面向国内钓鱼场景的中文情报融合基准基本空白；②实体解析、图谱构建、置信度融合三个环节在公开文献中多为孤立研究，贯通"去重—关联—融合—重构"全链路的工程化参考实现稀缺；③置信度校准（calibration）在威胁情报文献中极少被严肃讨论，而它是阈值决策可信的前提。本课题的七页结构正是针对这三个空白组织。

10 · 研究方法与技术路线

技术路线总览：文献综述与需求分析 → 三级融合框架设计（第1页） → 实体解析算法研究与原型（第2页） → 图谱平台搭建与关联挖掘（第3页） → 置信度融合与活动重构方法（第4页） → 治理制度与合规框架（第5页） → 工程化与评估基准（第6页） → 反钓鱼场景验证与案例复盘（第7页） → 研究报告与课程/沙盘转化。各环节遵循"方法研究→原型验证→制度固化"三小步循环，任何环节的算法结论都要经过原型数据回放验证后才写入研究报告。

11 · 研究进度与里程碑（教学规划示意）

下表为本课题的教学性进度规划示意，用于展示研究管理的颗粒度要求；实际排期以立项任务书为准。

本节参考来源（第1页）

以下均为真实可查的权威来源（标准发布机构、官方项目站点、学术文献），用于支撑本页事实性表述。