01 · 平台参考架构总览
态势感知平台采用"采集层—处理层—分析层—服务层—展示层"五层松耦合架构,层间以消息队列解耦,保证单点组件故障不扩散、热点组件可水平扩展。
| 层级 | 职责 | 参考技术选型 |
|---|---|---|
| 采集层 | MRT快照/更新下载、ris-live/WebSocket实时流接入、RPKI存储库同步(rsync/rrdp)、API轮询(BGPStream/PeeringDB/WHOIS) | libbgpstream(CAIDA开源库)、rpki-client / Routinator(NLnet Labs开源RPKI依赖方工具)、自研采集适配器 |
| 处理层 | 流式解析MRT/BGP报文、实体对齐与标准化、窗口聚合、多源对齐、原始数据落冷存储 | Kafka(消息总线)+ Flink/Spark Streaming(流处理)+ ClickHouse/列式库(分析存储)+ 对象存储(原始MRT归档) |
| 分析层 | 事件检测(劫持/泄露/路径操纵)、影响面量化、RPKI验证富化、风险评分、趋势计算 | 自研检测引擎(规则+统计双层)+ ARTEMIS/GRIP算法复现模块 + RPKI validator输出消费 |
| 服务层 | 指标API、事件API、情报API(STIX/TAXII)、告警推送、权限与审计 | REST/GraphQL服务 + eclecticiq/OpenCTI(情报平台)+ TAXII 2.1 Server(如OpenTAXII/eclecticiq Taxii Server) |
| 展示层 | 态势大屏、研判工作台、AS画像页、管理配置台 | Web前端(地图/时序/拓扑可视化)+ Grafana(指标面板) |
设计原则:①数据与算法解耦——检测算法以可插拔模块形式注册,支持A/B比对与灰度上线;②冷温热分层——实时流(热,分钟级保留)→ 事件档案(温,在线可查)→ 原始MRT(冷,对象存储归档,重放分析用);③全链路可重放——原始报文归档保证任何告警结论可回溯复核,满足研判审计要求。
02 · 采集层关键技术
2.1 实时流接入
ris-live(RIPE NCC运营的实时BGP更新WebSocket流)是分钟级MTTD目标的关键数据源:其将RIS收集器收到的BGP更新以JSON格式近实时推送,订阅方可按前缀、AS等条件过滤,显著降低全量MRT解析的算力开销。接入要点:
- 订阅策略:重点前缀(自有资产、关键基础设施、历史高频被劫目标)全量订阅,其余依赖RIS默认feed;过滤条件在服务端执行,减少回传带宽。
- 断线恢复:WebSocket持久连接需实现指数退避重连与序列号断点续传,避免长事件在中断期间丢失。
- 与MRT快照互补:流数据负责"快",每日MRT全表快照负责"全"——影响面回溯、基线比对以快照为准。
2.2 RPKI数据同步
RPKI验证富化要求持续同步各RIR存储库的证书与ROA对象。生产环境推荐采用成熟开源依赖方(Relying Party)工具而非自研协议栈:
| 工具 | 说明 |
|---|---|
| rpki-client | RIPE NCC主导开发的开源RPKI依赖方,OpenBSD项目出身,以代码审计严格、内存占用低著称;输出Validated ROA Payload(VRP)集 |
| Routinator | NLnet Labs开发的RPKI Relying Party,支持RTR服务端模式(可直接向路由器分发验证结果)与HTTP VRP导出,运维友好 |
| Fort Validator | NIC.br(巴西网络信息中心)开发的开源validator,兼容RFC 8210 RTR服务 |
选型建议:VRP消费场景选rpki-client或Routinator;需直接为路由器提供RTR服务的场景选Routinator/Fort;无论选型如何,必须验证工具自身的TLS证书校验与Manifest完整性校验未被削弱——RPKI数据是后续所有验证结论的信任根。
03 · 分析层:检测引擎设计
分析层复用子课题01的方法论成果,此处聚焦平台化实现中的三个关键设计。
3.1 双层检测结构
| 层级 | 方法 | 产出 |
|---|---|---|
| 规则层(秒级) | 重点前缀白名单/基线比对:宣告源AS不在基线集合→立即告警;合法MOAS清单、任播前缀清单作为抑制规则 | 高置信告警,直接进入通报队列 |
| 统计层(分钟级) | 新起源AS检测(历史未见宣告者)、MOAS冲突聚类、路径偏离分析、与BGPStream事件库交叉印证 | 候选事件池,进入研判工作台分级处置 |
3.2 误报治理的工程化
- 基线库运营:合法MOAS冲突(多归属、任播、迁移窗口)是最大误报源;基线库须支持"临时窗口期"语义(如已知维护窗口),到期自动失效。
- 预置prepending归一化:流量工程中常见的AS_PATH预置(prepending)会干扰路径分析,统计层需先对AS_PATH做去重归一化再比对。
- 置信度分级:每条告警携带规则命中数、源数量、历史信誉分三要素计算的置信度(高/中/低),低置信度告警聚合后批量研判,避免淹没研判员。
3.3 算法参考实现
学术界的两个代表性系统为本课题算法设计提供了可复现基线:ARTEMIS(FORTH团队,IMC 2017论文)证明了基于公开数据的分钟级劫持检测可行性,其"基于监测器可见性的影响面推断"方法被本课题采用;GRIP(佐治亚理工运营的Global Routing Integrity Platform)持续对路由劫持与泄露事件进行实时检测与分类,其事件类型学与公开事件流是本课题检测规则校准的重要参照。
04 · 告警、联动与服务层接口
4.1 告警分级与通道
| 级别 | 触发条件 | 通知通道与时限 |
|---|---|---|
| P1 紧急 | 重点前缀(自有/客户关键资产)出现高置信异常宣告,或事件影响面超过阈值(如观测受影响AS>50) | 电话/IM机器人即时通知 + 邮件,5分钟内触达值班研判员 |
| P2 重要 | 非重点前缀高置信事件,或重点前缀中置信度事件 | IM/邮件,15分钟内触达 |
| P3 观察 | 低置信度候选事件、已知边界场景(如大型任播网络的MOAS波动) | 研判工作台批量队列,工作时段处理 |
4.2 对外接口规范
- 事件API:REST分页查询,字段含事件ID、类型、前缀、源头AS、AS_PATH证据、时间窗、置信度、影响面初估、处置状态;支持按时间/前缀/ASN过滤。
- 指标API:第2页定义的指标以时序点形式暴露,支持区域/AS维度过滤,供下游可视化与年度报表消费。
- 情报API:STIX 2.1 Bundle经TAXII 2.1 Discovery/Collection端点发布,鉴权采用API Token + 按集合(Collection)粒度授权(详见第4页)。
- 推送通道:支持Webhook订阅(事件确认时回调)与邮件列表 Digest,适配不同成熟度消费方。
可用性要求:告警链路本身成为攻击目标(如通过伪造事件淹没研判团队——"告警洪水"攻击)。缓解:告警接入速率限制、研判员一键"静默模式"(仅P1穿透)、所有告警带签名防伪造。
05 · 性能与容量规划参考
容量规划的基准经验值:ris-live峰值更新速率在路由震荡期可达每秒数百至上千条更新(大规模事件期间更高),Kafka分区与Flink并行度应按峰值×3冗余设计;ClickHouse存储按"每日快照差分+事件明细"建模,一年事件档案的压缩存储量级在数百GB以内(视事件量波动),属常规数据平台可承载范围。
06 · 高可用、灾备与平台自身安全
态势感知平台自身成为单点故障即意味着"监测盲区"。本节给出平台工程层面的硬性要求:
6.1 可用性与灾备指标
- RPO/RTO:告警链路RTO≤5分钟(双活部署);事件档案RPO≤15分钟(消息队列多副本+定期快照);原始MRT归档RPO≤24小时(跨区对象存储复制)。
- 单点消除:采集器多实例分片、消息队列跨机房副本、检测引擎无状态化支持故障转移。
- 降级运行:任一下游组件故障时原始数据落盘续传,恢复后按序重放——宁可延迟、不可丢失。
6.2 平台自身安全
- 访问控制:研判工作台与情报API采用RBAC最小权限;所有导出操作留痕审计。
- 供应链校验:开源组件(rpki-client/Routinator/Kafka等)仅从官方渠道获取,校验发布签名与哈希;升级走测试环境灰度。
- 凭据管理:API Token、Webhook密钥集中托管并定期轮换;严禁硬编码。
- 自身被攻击防护:管理面与数据面隔离、暴露面收敛;针对"告警洪水"的接入限速已在§4.1声明。
审计要求:平台全部操作(研判标记、情报发布、权限变更)写入不可篡改审计日志,保存期限不低于法规要求,支撑事件复盘与监管检查。
本节参考来源(第3页)
Sermpezis P.等《ARTEMIS: Neutralizing BGP Hijacking within a Minute》(IMC 2017),DOI:10.1145/3131365.3131379。
libbgpstream(CAIDA开源):bgpstream.caida.org;ris-live:ris-live.ripe.net。
rpki-client:rpki-client.org;Routinator:rpki.readthedocs.io;Fort Validator:fortproject.net。
GRIP(佐治亚理工):grip.inetintel.cc.gatech.edu;相关论文《Beware of BGP: The Critical Role of Route Filtering...》等见项目页面引用的文献列表。
NTT BGPalerter:github.com/nttgin/BGPalerter(开源监测告警工具的工程实现参考)。
IETF RFC 8210《The Resource Public Key Infrastructure (RPKI) to Router Protocol, Version 1》:rfc-editor.org/rfc/rfc8210(RTR协议现行规范)。
Cloudflare Radar(含路由板块与公共API):radar.cloudflare.com(平台展示层设计参考)。
IETF draft-ietf-sidrops-8210bis《The RPKI to Router Protocol, Version 2》(制定中):RTR协议演进方向,平台RTR对接能力需跟踪该草案进展。
NIST SP 800-92《Guide to Computer Security Log Management》(2006):csrc.nist.gov(日志管理审计基线)。