课题研究威胁情报分析研究子课题01 · 第6页 / 共7页
01语义建模 · 知识图谱 · 数据治理 · 隐私工程

让情报成为组织的结构化知识资产

第4页解决了单条情报的标准化表达;本页解决"万条情报之间的关系"问题——多源情报如何归并成同一攻击活动?威胁主体的十几个别名如何统一?情报结论沿血缘链如何溯源与问责?向伙伴共享时如何在保持可用性的同时保护隐私?本页给出语义建模与STIX扩展规范、知识图谱构建与实体解析方法、外部知识库融合策略、W3C PROV数据血缘体系、隐私工程工具箱,以及情报资产目录与数据管家制度——这是情报从"数据堆积"走向"知识资产"的最后一公里。

STIX扩展实体解析威胁主体归并时间版本化W3C PROVCISA KEV差分隐私数据血缘第6页 / 共7页
本页定位情报资产化:从标准化数据到可推理知识
关键产出实体解析规则库 / 血缘审计链 / 隐私工程工具箱 / 资产目录规范
治理主线可溯源 · 可问责 · 最小化 · 双轨分级(TLP×国内密级)

01 · 语义建模与本体工程

当多个团队各自扩展STIX对象时,"同名不同义"会很快摧毁数据的可交换性。语义治理的目标是让每个字段在组织内有唯一、显式、共享的含义。

1.1 三个治理层次

层次内容治理手段
词汇层威胁类型、行业、攻击动机等受控词表引用成熟公开词表为主(STIX开放词汇、ATT&CK术语),自建补充须走评审流程
模式层对象结构与自定义扩展的Schema自定义属性经JSON Schema注册管理;扩展(STIX Extensions)声明命名空间与版本,防冲突
语义层对象间关系的业务含义关系类型(Relationship的relationship_type)使用受控枚举;新增关系类型须附用例与文档

1.2 STIX扩展的纪律

  • 先查后用:扩展自定义字段前,先查STIX 2.1标准对象与既有社区扩展(STIX 2.1原生支持Extension机制),重复造轮子会切断与外部工具的互操作。
  • 命名空间隔离:组织自定义扩展使用唯一命名空间(如x-organization-前缀),并登记到内部资产目录。
  • 向下兼容:扩展字段的增改不破坏既有对象的解析;破坏性变更走版本化迁移。
  • 文档即契约:每个扩展字段须有一行语义定义(含义、取值范围、示例),无文档字段视为无效字段。

与RDF/OWL的关系:语义网的RDF/OWL体系(W3C标准)为"机器可推理的语义"提供了形式化框架;STIX 2.1的图模型与其思想同构但工程门槛更低。组织若已有本体工程积累,可将STIX对象导出为RDF视图用于跨域推理;若无,则不必为引入而引入——受控词表+Schema校验+文档契约已能满足多数组织的语义治理需求;组织自建受控词表时,建议遵循W3C SKOS(简单知识组织系统)标准建模,便于与外部词表映射。

02 · 知识图谱与实体解析

多源情报的最大浪费是"同一个东西被记了十遍,彼此不知"。实体解析(Entity Resolution)就是把分散记录归并到同一实体的过程,它是知识图谱可用性的生命线。

2.1 构建流水线

知识图谱构建五步流水线
抽取 → 规范化 → 实体解析 → 对齐融合 → 版本化;前两步已在第4页标准化中完成
说明:该流水线为知识图谱工程的通行参考模型(与OpenCTI等平台的实现思路一致);实体解析规则质量决定图谱可信度,规则变更须版本化并保留旧版本可回放。

2.2 三类核心实体解析规则

实体类型归并信号风险与纪律
威胁主体别名/代号对应(社区惯用名、厂商命名、政府命名的映射)、TTP重合度、基础设施重合度归因是行业公认难题,命名冲突(不同组织对同一团伙不同命名)须建立别名映射表而非强行合并;置信度单独标注
基础设施同IP/同证书(SHA-256)、同注册信息(邮箱/注册商组合)、同NS、被动DNS解析集合重合共享基础设施(CDN、免费主机)会造成"假性归并";归并键需加权组合,单一弱信号不触发自动合并
攻击活动/事件时间窗口重叠、目标重合、TTP序列相似、共享IOC占比与第4页去重纪律一致:活动级归并由分析师确认,不自动合并——并错活动比漏并代价更高

2.2.1 基础设施归并加权打分(工程参考)

score = 0
if sha256(cert_i) == sha256(cert_j):          score += 40  # 同证书:强信号
if registrant_email_i == registrant_email_j:  score += 25  # 同注册邮箱:强信号
if ns_overlap(i, j) >= 2:                     score += 15  # NS重合
if passive_dns_overlap(i, j) >= 0.6:          score += 10  # 解析集合重合
if asn(i) == asn(j) and is_small_asn(asn_i):  score +=  5  # 小众ASN同居
# 纪律:任一弱信号单独不触发合并;
# 总分≥60进"待研判"队列;≥80方生成自动归并候选,仍留人工复核期

注:权重与阈值为示例,须用历史标注样本回测校准后固化;自动归并准确率作为治理指标持续监控(§07),超阈值即回滚自动化比例。

2.3 时间版本化的价值

  • "当时视图":复盘某次事件时,可查询"事发当时我们的情报库显示了什么",避免用今天的知识评判当时的决策——这是审计与培训的关键能力。
  • 基础设施生命周期研究:同一IP从"恶意"到"资产复用"的状态变迁带时间戳,支撑第4页复活检测的准确性。
  • 归因可信度演化:威胁主体归因结论随证据变化,版本化保留结论演化链。

2.4 图谱存储选型要点

属性图与RDF三元组库是两条主流路线:属性图(以Neo4j为代表)查询直观、工程生态成熟,OpenCTI等情报平台即采用属性图内核;RDF库在跨本体推理与标准化语义互操作上更强,适合已有OWL本体积累的组织。选型判据:STIX"对象—关系"模型能否无损映射、时态查询性能、团队技能栈——避免为技术路线之争牺牲交付进度。

图谱质量红线:①推断关系(机器推断而非来源明示)必须与显式关系视觉与查询上区分;②任何自动归并动作记录进审计日志并支持一键回滚;③图谱分析结论对外引用时须注明"基于截至某时间的图谱状态"——情报图谱是快照不是永恒真理。

03 · 外部知识库融合

内部情报库不是孤岛——与权威外部知识库对齐,才能回答"这个TTP属于谁""这个漏洞正在被谁利用"。

知识库发布方/时间融合方式
MITRE ATT&CKMITRE,持续更新官方提供STIX 2.1格式Bundle与TAXII 2.1服务,可直接订阅对齐;Attack Pattern对象external_references引用技术编号
CISA KEV目录CISA,2021年11月上线已知被积极利用漏洞目录(含补丁期限);漏洞类情报入库时比对KEV清单,命中即升级处置优先级
CVE / CWE / CAPECMITRE维护Vulnerability对象external_references引用CVE编号;CWE用于弱点模式、CAPEC用于攻击模式上下文富化
MalwareBazaarabuse.ch运营样本哈希社区库,API免费查询;文件情报的交叉验证源
MITRE D3FENDMITRE,2021年公开ATT&CK的防御对偶知识库(防御技术词汇);将Course of Action对齐D3FEND提升应对建议的机器可读性

融合纪律:外部知识库的引用一律通过external_references(STIX标准机制)建立链接而非复制内容——既避免快照过时,也保持溯源。KEV命中规则的优先级提升应写入SOAR剧本,实现"入库即自动升级处置流"。

04 · 数据血缘与审计:每句话都有出处

"这条情报是谁、在什么时间、基于什么证据、以什么置信度给出的"——血缘(Lineage)是情报可信度的基础设施。本课题采用W3C PROV模型(PROV-O,2013年成为W3C推荐标准)作为血缘表达的参考框架:实体(Entity)、活动(Activity)、代理(Agent)三元组足以覆盖"来源→加工→产物"全链。

4.1 血缘最小记录集

要素记录内容对应机制
来源链原始来源(含获取时间、批次)→每次加工动作(谁、何时、做了什么)来源适配器自动附加;加工动作写审计日志
证据引用结论所依据的原始报文/观测记录指针原始区留存机制(第5页§3.2)
置信度演化每次置信度调整的值、时间、操作人、依据第4页§4.6变更留痕要求的延伸
流转记录共享对象的分发对象、时间、TLP级别TAXII/MISP平台日志;导出操作审计
撤销链路revoked标记传播到的所有下游副本清单第4页§4.6撤销经通道同步的执行记录
PROV血缘表达示例(JSON-LD形态,节选)
{
  "@context": "http://www.w3.org/ns/prov#",
  "id": "dimiao:intel/indicator-8e2e2d2b",
  "type": "Entity",
  "wasGeneratedBy":   { "type": "Activity", "id": "dimiao:act/enrich-2026-09-01" },
  "wasDerivedFrom":   { "type": "Entity",   "id": "dimiao:raw/urlhaus-batch-0901" },
  "wasAttributedTo":  { "type": "Agent",    "id": "dimiao:agent/osint-adapter-07" }
}

注:三元组(Entity/Activity/Agent)即可支撑"谁、何时、基于什么、做了什么"的完整审计问询;计划(Plan)、集合(Collection)等高阶建模按组织需要扩展(PROV-O为W3C推荐标准,2013年发布)。

问责场景:当消费方因某条情报做出错误阻断导致业务损失时,血缘链使组织能够回答:情报来自哪里、置信度当时是多少、我方做了什么加工、共享时分级是否恰当。没有血缘的情报共享在事故追责时等于全员担责——这既是管理问题,也是法律问题(《数据安全法》下的数据处理活动留痕义务)。

05 · 隐私工程:共享中的最小化与去标识化

第3页确立了"共享前四问",本页给出技术工具箱。核心原则:情报价值与隐私暴露的权衡必须由显式设计决定,而不是默认全给。

5.1 工具箱

技术机制情报场景适用性
字段级脱敏删除/泛化直接标识符(用户名→角色名、内网IP→网段、主机名→资产类别)遥测情报共享的主手段;IOC本身(域名/IP)通常无需脱敏,上下文才含个人信息
聚合泛化个体记录→统计特征("3台终端曾访问该C2"→"存在访问行为")趋势类情报(战术/战役层)天然适配;战术级实时情报不适用(需精确性)
k-匿名思路发布数据保证每条记录在准标识符上至少与k-1条不可区分用于批量遥测数据集共享设计;威胁狩猎场景中作为评估框架参考
差分隐私对统计查询注入 calibrated 噪声,数学上限制个体被推断风险(Dwork 2006年提出)适合宏观统计类情报产品(如行业威胁态势统计);战术级精确IOC不适用

5.2 遥测情报的"上下文剥离"标准

从内部遥测提取的IOC(第3页)共享时执行默认剥离:只带走"恶意证据",不带"受害者画像"。具体规则:

  • 保留:IOC值、类型、首次/末次所见时间、命中次数、研判结论;
  • 剥离:用户名、主机名、内网IP、组织架构信息、业务系统名称;
  • 例外:事件响应协同等确需完整上下文的双边共享,须附TLP:AMBER级别并按协议约定使用范围。

5.3 双轨分级映射示例(TLP × 组织保密制度)

TLP级别组织内部对应(示例)流转规则
TLP:RED核心敏感(限定项目组)不进入共享平台,线下点对点且登记
TLP:AMBER+STRICT内部(部门内知悉)平台内可见,导出需审批
TLP:AMBER内部+指定伙伴伙伴通道白名单分发,标记随数据流动
TLP:GREEN行业社区共享ISAC/MISP社区内流转,禁公开上网
TLP:CLEAR可公开不受限传播,仍可保留出处署名

注:上表为示例映射,组织应按自身保密制度细化并版本化维护;双轨并存时一律"最严优先",映射关系由数据管家(§6.2)负责维护。

合规定位:《个人信息保护法》第六条规定"处理个人信息应当具有明确、合理的目的,并应当与处理目的直接相关,采取对个人权益影响最小的方式"——上下文剥离正是"最小必要"在情报工程中的直接落地;具体适用以组织法务评估为准。

5.4 法定与监管留存要求对照

要求来源内容要点对本课题的影响
《网络安全法》第二十一条(三)采取监测、记录网络运行状态与网络安全事件的技术措施,留存相关网络日志不少于六个月管道与遥测原始区保留期的法定下限
《关键信息基础设施安全保护条例》关基运营者的日志留存与重大威胁报告义务关基场景下全部留存策略从严一档
行业监管要求(金融、电信等)交易/审计日志更长留存期、专项审计要求按行业规定叠加,就高不就低

注:条文为公开文本要点转述;法规全文可在国家法律法规数据库(flk.npc.gov.cn)检索核对。

5.5 个人信息删除权对情报库的影响

《个人信息保护法》第四十七条规定了个人信息处理者应当主动删除或依申请删除个人信息的情形。情报库中的间接个人信息(如遥测日志中的用户标识)应建立删除权响应流程:核实请求主体与信息范围→评估情报证据价值与法定留存义务→在主库、备份与衍生数据中同步处置→留存处置记录。实践要点:遥测类情报优先以聚合形式保留(§5.2上下文剥离),从架构上减少删除权触发面;删除权与法定留存义务(如《网络安全法》第二十一条网络日志留存要求)冲突时依就高原则执行并书面记录依据;具体适用以组织法务评估为准。

06 · 情报资产目录与治理角色

6.1 情报资产目录

把情报库当作资产管理:每类情报对象登记责任人、来源清单、更新频率、有效期策略、共享级别、保留期限六个属性,形成可检索的资产目录。目录的价值:①新成员快速理解"库里有什么";②合规审计时直接回答"我们持有哪些数据、为何持有";③数据清理有依据(到期数据按目录策略处置而非永久堆积)。工具层面,可采用Apache Atlas等开源数据治理组件承载目录与血缘登记。

6.2 治理角色分工(RACI简化)

角色职责
数据管家
(Data Steward)
对特定情报域(如钓鱼IOC、漏洞情报)的质量与合规负全责:审批映射变更、主持周评审、签批对外共享
平台工程管道可用性、Schema校验、血缘日志、权限与TLP技术强制
隐私/合规联络新数据源接入合规核查(第2页§08清单)、出境评估、个人信息影响评估
分析师群体标注纪律执行(置信度、TLP、来源四要素),误报回传,失效复盘

注:角色可一人多岗;小团队中数据管家通常由资深分析师兼任,但"审批自己产的共享"这类职责冲突须用双人复核机制对冲。

07 · 治理度量指标

指标定义目标参考
血缘完整率库内对象中可完整回溯"来源→加工→产物"链的比例100%(新入库对象)
自动归并准确率抽样复核中自动归并无误的比例≥98%,否则降自动化比例
共享脱敏执行率共享批次中执行上下文剥离检查通过的比例100%
目录覆盖率已登记资产目录的对象类型占比100%
推断关系误判率推断关系中被分析师否定比例持续监控,超过阈值则回炉规则

本节参考来源(第6页)

以下均为真实可查的标准、项目或学术来源。

[1]

W3C PROV-O本体(数据血缘表达,W3C推荐标准2013):w3.org/TR/prov-o

[2]

MITRE ATT&CK官方TAXII 2.1服务与STIX数据(attack.mitre.org提供):attack.mitre.org

[3]

CISA Known Exploited Vulnerabilities (KEV) Catalog:cisa.gov/known-exploited-vulnerabilities-catalog

[4]

MITRE CAPEC(攻击模式知识库):capec.mitre.org;MITRE D3FEND(防御技术知识库):d3fend.mitre.org;MITRE CWE:cwe.mitre.org

[5]

OpenCTI(开源知识图谱型情报平台):filigran.io/solutions/opencti(实体解析与图谱构建的工程参考实现)

[6]

Cynthia Dwork《Differential Privacy》(2006,差分隐私奠基论文);Latanya Sweeney《k-anonymity: a model for protecting privacy》(2002)

[7]

STIX 2.1 Extensions机制(自定义属性规范):docs.oasis-open.org/cti/stix/v2.1/os/stix-v2.1-os.html

[8]

abuse.ch MalwareBazaar:bazaar.abuse.ch