课题研究 威胁情报分析研究 子课题09 · 第5页 / 共8页
09十大核心研究子课题 · 自动化与机器学习

自动化置信度计算与机器学习方法(第5页)

第2–4页建立了人工框架、证据链与规范。当情报规模达到每日数十万条指标时,逐条人工评级不再可行。本页研究如何将人工框架工程化为可计算、可融合、可衰减的自动化评分方法:贝叶斯更新、Dempster-Shafer 多源概率融合、源信誉的机器学习建模、置信度时间衰减、投毒与异常检测,以及 LLM 辅助分析的边界与自动化评分流水线。

贝叶斯更新概率融合源信誉ML置信度衰减投毒检测LLM辅助自动化评分研究状态:研究中
所属阶段生命周期 · 处理与分析 / 工程
目标受众情报分析师、TIP平台团队、数据科学家
覆盖内容贝叶斯 / 融合 / ML信誉 / 衰减 / 检测 / LLM边界 / 流水线

01 · 为什么需要自动化评分

第2页的人工框架(Admiralty Code 双维度 + STIX 2.1 数值)解决了"怎么评"的问题,但在规模面前遇到硬约束:一个中型 TIP(威胁情报平台)每日可能接入数十万条新指标,跨数百个来源;逐条人工评级在人力与时效上都无法承受,而"只评重点、其余不评"又会让未评级情报失去消费依据。

自动化的目标不是取代分析师,而是把可复用、可解释、可审计的规则固化成引擎:以源信誉作为先验、以多源证据做融合、以时间衰减做保鲜、以对抗校验做纠偏,最终输出与人工框架语义一致的 STIX confidence 数值。人工则聚焦于高影响决策(自动阻断、封禁)与异常复核。

设计原则:① 自动化评分必须可解释——每个分值都能回溯到"源可靠性 + 证据强度 + 时效修正"的可读公式,而非黑盒;② 自动化评分必须可校准——消费回传数据(第3页 Sighting)是其唯一的真相来源;③ 自动化评分必须有人工兜底——任何不可逆动作仍须满足"双高 + 独立佐证 + 回滚"(第2、4页)。

02 · 贝叶斯置信度更新

贝叶斯推断提供了"先验 → 新证据 → 后验"的严谨数学框架。设命题 H 为"该情报所描述威胁为真",先验概率 P(H) 由源可靠性给出;当获得一条独立的观测证据 E 时,后验为:

P(H|E) = P(E|H) · P(H) / P(E)

直观结论:独立证据会按似然比放大或缩小置信度,但永远无法把"不可能"变成"确定"。这也解释了第3页强调的"独立性"——若新证据与旧证据同源(回声室),其似然比应视为 1(不提供新信息),否则会高估置信度。

2.1 源可靠性 → 先验概率的示例映射

下表为本课题给出的示例性映射,用于演示计算逻辑,并非任何官方标准;各组织应结合自身回传数据标定。Admiralty 等级本身只做"A–F / 1–6"的序数评级,到概率的映射没有统一规定。

源等级含义示例先验 P(H)(示意区间)
A完全可靠0.90 – 0.98(一贯准确、多次独立验证的来源)
B通常可靠0.75 – 0.90
C较可靠0.55 – 0.75
D不太可靠0.30 – 0.55
E不可靠0.10 – 0.30
F无法判断0.50(无信息先验,不增不减)

信息可信度(1–6 级,第2页)则用于设定似然 P(E|H) 与 P(E|¬H) 的相对强度。例如"经独立来源证实(1级)"对应的似然比远大于"存疑(4级)"。多条真正独立的证据依次相乘,后验快速收敛——这正是"多源交叉验证提升置信度"的数学本质,也定量说明了为什么第3页要求剔除同源转载。

03 · 多源概率融合:Dempster-Shafer 证据理论

贝叶斯方法要求为每个假设指定完整先验,而现实中的情报常带有"未知/不确定"——来源只说"可能",没有足够信息给出精确先验。Dempster-Shafer(D-S)证据理论允许把信念质量(mass)显式地分配给"整个识别框架"(即"我不知道"),从而更诚实地表达不确定性。

  • 基本思想:每个独立信息源给出对"真/假/未知"的信念质量分配;Dempster 组合规则把多个来源的证据融合为联合信念(Belief)与似真(Plausibility)区间。
  • 适用场景:多份评级口径不一、部分缺失、相互不完全一致的情报进行加权综合,输出"置信区间"而非单点值,与第3页"用小样本区间估计而非点值"的思想一致。
  • 已知风险:当来源间高度冲突时,朴素 D-S 组合可能产生反直觉结果(Zadeh 经典批评)。缓解手段是对冲突质量单独计量、采用带冲突因子的归一化组合规则,并对高冲突触发人工复核而非自动采信。

方法选型建议:来源可靠、证据可量化时优先用贝叶斯(可解释、易校准);证据稀疏、冲突明显、需保留"未知"语义时,用 D-S 区间表达。两者都只是决策支持,最终进入自动处置的仍须满足第2、4页的保守门槛。

04 · 源信誉的机器学习建模

第3页提出以 EWMA 指数加权滑动平均聚合源历史准确率。当积累足量带标签的回传数据后,可进一步用机器学习提升源信誉与指标级置信度的预测能力:

  • 监督学习(指标级):以"来源等级、情报类型、覆盖行业、历史命中率、与已知家族相似度、发布—消费时延"等为特征,预测该指标在消费端的最终处置(真阳性 / 误报);标签来自 SIEM/EDR 的实际命中与 MISP 的 false-positive 回传(第3页)。
  • 在线学习(源级):源信誉随新命中/误报持续更新,近期表现权重更高,使评分能快速反映来源恶化;与第3页 EWMA 思路兼容,但可选用梯度类模型捕捉非线性。
  • 异常检测:监控单源的体积突变、类型漂移、TTP 分布异常,自动标记"行为可疑"的来源进入隔离待审,是自动化的投毒前哨。

关键前置:标签质量决定模型上限。若回传率低(第3页 KPI)或标签本身有偏,模型会学到错误相关性——因此"先建反馈闭环、再上 ML"是顺序铁律,不能本末倒置。

05 · 置信度的时间衰减

证据会过时。第4页的 IOC 时效表说明:钓鱼 URL 以小时—天计、C2 IP 以天—周计、TTP 以月—年计。置信度应随证据年龄衰减,而非恒定不变:

C(t) = C₀ · exp(−λ · Δt)      # λ 按情报类型取值:钓鱼URL高、TTP低
  • 衰减与时效协同:衰减到阈值线即触发复评(第3页复评触发器),逼近 valid_until(第4页)时加速降级,到期后停止在线匹配、转入存档(过期 ≠ 删除)。
  • 反衰减信号:若在衰减期内获得新的独立命中回传,则按第2页"评级是动态而非终身"的原则重置计时并上调,形成"使用即保鲜"的正向循环。

衰减不是惩罚,而是诚实:一条三个月前"高置信"的钓鱼域名,今天大概率已弃用;不衰减的静态高分只会制造误报、侵蚀信任(呼应第1页核心命题)。

06 · 投毒与异常检测(自动化对抗校验)

第3页的人工对抗校验(沙箱复现、时间线一致性、蜜标 IOC)在规模化下必须辅以自动化:

  • 分布监控:对单源指标的"类型构成、时效分布、与历史基线的偏离"做统计监控,突变即预警;
  • 蜜标命中:把第3页的 Canary IOC 检测规模化——一旦内部诱饵指标出现在外部共享源,自动将该来源全部情报置为隔离待审并启动安全调查;
  • 矛盾检测:自动比对情报声称的活动时间窗与被动 DNS 首次出现时间、证书签发时间,明显矛盾即降权;
  • 声誉联动:异常来源自动下调其未来情报的先验权重,使投毒的"杠杆"被持续压缩。

07 · LLM 辅助分析的边界

大语言模型(LLM)在情报处理中能显著提升效率,但边界必须划清:

可辅助(在边界内)不可越界(必须人工/机制兜底)
从非结构化报告中抽取 IOC / TTP 草稿直接给出置信度结论(缺乏可验证证据链)
按模板生成结构化报告初稿替代溯源(幻觉会伪造"来源"与"依据")
对多语言情报做初译与摘要作为不可质疑的权威(无 provenance)
根据既有评级规则建议分值进入自动阻断等不可逆动作而无人复核

红线:LLM 的输出只能作为"待验证的输入"进入证据链,绝不能替代证据链。其建议分值须与贝叶斯/D-S 计算、源信誉、回传校准相互独立地交叉核对;任何 AI 生成的分析都应可被溯源、可被复核、可被回滚。

08 · 自动化评分流水线

把上述方法组装为可运行的评分引擎,是本页的工程落点:

自动化置信度评分流水线(九环节)
每个环节留痕,输出直接写为 STIX confidence,并以消费回传持续再训练
说明:流水线为本课题设计建议;所引机制(STIX 2.1 confidence、Sighting、源信誉、时间衰减)均有公开规范或教科书方法支撑,ML 部分为工程化扩展建议。

8.1 评分要素贡献(示例权重)

自动化评分各要素贡献权重(示例分配,合计100)
权重为配置参数示意,需结合本单位回传数据标定
说明:条形长度为要素相对贡献的示意权重,非实测统计结果;不同组织应据自身数据设定并审计。

09 · 贝叶斯更新的数值工作示例(演示用)

以下数字仅为演示计算逻辑的构造示例;先验与似然比取值对应第2节"示例性映射",非实测数据,落地时须以本单位回传数据重新标定。

设某域名情报来自 B 级源(先验 P(H)=0.8,对应先验胜率 o₀=4)。第一条独立证据:内部沙箱确认该域名承载钓鱼页面(设似然比 LR₁=6);第二条独立证据:被动 DNS 显示其注册与解析时间线和所述活动一致(设 LR₂=2,较弱佐证)。则:

先验胜率   o₀ = 0.8 / 0.2 = 4
一次更新   o₁ = o₀ × LR₁ = 4 × 6 = 24   →  P(H|E₁) = 24/25 = 0.96
二次更新   o₂ = o₁ × LR₂ = 24 × 2 = 48  →  P(H|E₁,E₂) = 48/49 ≈ 0.98
映射示例   0.98 → STIX confidence 98;未经对抗校验与独立复核前,
           按第2、4页保守门槛封顶进入"告警级"(如 85),不进入自动处置
  • 独立性决定上限:若两条证据同源(如都来自同一商业源的转载),LR 应视为 1,后验维持 0.96 不变——这定量解释了"同源转载不构成印证"(第3页谱系排查);
  • 收敛但不越界:无论叠加多少证据,后验只能渐近 1 而无法"证明"为真——这正是"置信度是分析判断而非客观概率"的数学表达(第2页);
  • 似然比的标定来源:LR 应由历史数据估计(某类证据在真情报 / 假情报中的出现比例之比),这正是回传闭环(第3页)喂养模型的具体方式;
  • 人工封顶不是形式主义:演示中"98 封顶为 85"体现第8节流水线的人工兜底——对抗校验与独立复核未完成前,高计算值不直接驱动不可逆动作。

10 · 模型治理:漂移监测、再训练与版本管理

  • 漂移监测:持续监控输入特征分布(来源构成、情报类型占比)与输出分布(评分直方图)的漂移;漂移超阈触发人工复核,防止"数据变了、模型不知道";
  • 再训练触发:新标签积累达阈值、或校准偏差(第4页 KPI)持续劣化时触发再训练;再训练必须走灰度发布并保留回滚预案,禁止直接全量替换线上模型;
  • 版本管理:模型、特征、权重、规则全部版本化,任一评分结果可回溯到当时的模型版本与参数快照——这是"可审计"(第4页)在 ML 环节的兑现;
  • 校准曲线(Reliability Diagram):将评分分桶,比较"桶内平均置信度"与"桶内实际命中率",理想状态下两者近似对角线;系统性偏离(过度自信或过度保守)应触发分析师校准训练(第2页)而非直接调权重——先修人,再修参数;
  • 红队评估:定期以已知投毒样本与对抗样例测试评分引擎的鲁棒性(第6节),评估结果纳入模型版本发布门槛;
  • 冷启动保护:新接入来源的 ML 特征以中性值填充并设置人工复核期(呼应第3页源信誉冷启动),避免新源被模型 silent 歧视或 silent 信任。

本节参考来源(第5页)

以下均为真实、公开可查的权威来源与经典方法文献;贝叶斯推断、Dempster-Shafer 证据理论为教科书级标准方法,本页未虚构任何实验数据或模型性能指标。

[1]

OASIS《STIX Version 2.1》(confidence 属性与 Sighting 对象):docs.oasis-open.org/cti/stix/v2.1/os/stix-v2.1-os.html

[2]

E. T. Jaynes, Probability Theory: The Logic of Science(贝叶斯推断经典著作,2003 整理出版):cambridge.org

[3]

G. Shafer, A Mathematical Theory of Evidence, Princeton University Press, 1976(Dempster-Shafer 证据理论奠基著作,ISBN 978-0691081755):press.princeton.edu(出版社官方站点)

[4]

MISP 项目(sightings / false-positive 回传作为标签数据):misp-project.org

[5]

NIST SP 800-150《Guide to Cyber Threat Information Sharing》(2016):csrc.nist.gov/pubs/sp/800/150/final

[6]

MITRE ATT&CK(TTP 特征工程参考):attack.mitre.org;Canarytokens 蜜标工具:canarytokens.org

11 · 低回传率与冷启动场景的降级策略

自动化评分引擎的两个"饥饿"场景需要显式降级设计,否则 ML 会退化为"用没有标签的训练没有验证的模型":

  • 低回传率(反馈饥饿):回传率低于统计可信阈值时,引擎输出自动附"统计不可信"标记——评分仅作排序参考,不进入自动处置决策;同时触发回传通道修复专项(接口可用性、消费方激励、协议追责),而非调高模型自信度;
  • 来源冷启动(标签饥饿):新接入来源的信誉特征以中性值填充、先验取无信息值 0.5(第2节示例映射),并设人工复核保护期;保护期内其情报一律走"隔离观察"路由,不参与融合加权、不上调他源置信度;
  • 双饥饿叠加:新源 + 低回传并存时执行最保守策略——仅入狩猎线索池,告警级与处置级均不可达,直至回传样本量使 Wilson 区间宽度收窄到阈值以内;
  • 恢复条件:降级状态解除须满足可复核条件(回传率、样本量、复核抽检通过率),解除动作本身留痕,防止"静默升级"绕过治理。

与 FAQ 的衔接:本节是第6页落地 FAQ"没有历史回传数据,源信誉从哪来"的引擎层实现——规则侧(FAQ)讲管理动作,引擎侧(本节)讲技术降级,两者必须一致配置。