01 · 公开数据源全景
劫持检测研究主要依赖以下公开数据源。各平台的观测点数量、覆盖区域随时间持续变化，下表"观测规模"为长期公开资料的量级描述，精确数字请以各平台官方状态页为准。
| 数据源 | 运营方 | 数据内容与特点 | 获取方式 |
|---|---|---|---|
| RouteViews | 美国俄勒冈大学 | 全球最早的BGP收集项目之一；数十个观测点（collector）与不同规模的AS建立多对多会话，发布MRT格式的RIB快照与Updates流；提供pfx2as等派生数据集 | rsync/HTTP下载MRT文件；官方API |
| RIS（RIS Raw Data） | RIPE NCC | RRC系列路由收集器（RRC00等），以MRT格式发布数据；同时提供BGPdump文本、近实时WebSocket通道ris-live与RIS Data API | HTTP下载、ris-live WebSocket、API |
| ris-live | RIPE NCC | 近实时BGP更新流推送服务，秒级延迟，适合实时检测管道接入 | WebSocket订阅（仅传播部分/类型可按需过滤） |
| BGPStream / libbgpstream | CAIDA | 统一的多源BGP数据访问工具集与开发库，抽象RouteViews、RIS等源，支持在线流与历史归档分析；提供高层的异常检测组件 | 开源软件（C/Python绑定） |
| Isolario | 意大利学术机构（IIT-CNR等） | 覆盖视角与RouteViews/RIS互补（含更多欧洲/学术网络观测点）的MRT数据归档 | HTTP下载 |
| PCH | Packet Clearing House | 面向IXP的广泛Looking Glass与路由数据收集，适合观测互联交换点侧的路由行为 | 网站查询/数据服务 |
| RIPE Atlas | RIPE NCC | 全球分布式探针测量网络（用户侧可达性验证）：劫持事件发生后，可用探针从用户视角验证目标前缀的真实可达性状态，是控制面数据（BGP）之外的重要交叉验证手段 | API/测量计划 |
| 派生数据集 | CAIDA等 | 前缀→AS映射（RouteViews pfx2as）、AS商业关系（基于Gao算法推断的serial-1/2数据集）、AS Rank规模排名——是检测基线与影响面分析的基础设施 | 公开数据集下载 |
02 · 数据形态：MRT格式、RIB快照与Updates流
2.1 MRT格式
MRT（Multi-Threaded Routing Toolkit）格式是BGP数据交换的事实标准（相关规范见RFC 6396），以二进制记录BGP消息（BGP4MP类型），支持表转储（TABLE_DUMP_V2）与实时消息（BGP4MP_MESSAGE）两类记录。解析工具包括bgpdump、bgpreader（BGPStream组件）、pybgpstream等。
2.2 RIB快照与Updates流
- RIB快照（Routing Information Base dump）：收集器与其每个对等会话的完整路由表周期性快照（RouteViews与RIS均以固定周期发布，常见为2小时粒度）。用途：构建基线、前缀→起源AS映射、影响面评估。局限：快照周期内的瞬时劫持可能丢失。
- Updates流：持续的BGP更新/撤销事件记录。用途：实时检测的唯一可行载体；可精确还原事件时序（宣告首次出现的collector与时间）。局限：体量大、含大量抖动噪声（flap dampening相关的反复撤销/宣告）。
2.3 数据量级感知
全球BGP表的长期增长趋势明确：IPv4全局路由表于2021年前后突破90万条，2024年达到约95万—97万条（APNIC thyme周报口径），2025年突破100万条。单一collector的RIB快照为百万条量级、Updates为每日千万条量级事件流；全源聚合分析需TB级存储与流式计算架构支撑。工程取舍见第8页§03。
03 · 实时接入方式
- ris-live：通过WebSocket订阅
ris-live.ripe.net，可指定对等体、前缀类型过滤，是分钟级检测的首选实时通道； - MRT增量下载：按发布周期轮询RouteViews/RIS的Updates文件，适合离线批处理与历史复盘；
- libbgpstream：以统一接口同时消费多个源的实时与归档数据，降低多源接入的代码复杂度；
- 路由器侧遥测（补充）：对于有自有网络的组织，BMP（RFC 7854）可将路由器收到的BGP更新实时外送至监测平台，形成"自有视角"的第一手数据源，与公共collector数据互补验证。
04 · 观测偏差与覆盖评估
BGP收集数据不是全网无偏采样，理解其偏差是严谨分析的前提：
- 拓扑偏差：collector的会话集中于大型骨干网、欧美学术网络与部分区域运营商；小规模AS、部分国家/地区网络观测严重不足——某劫持若未被任何collector观测到，则在数据中"不存在"；
- 时滞偏差：从异常宣告发生到被collector记录存在传播延迟（秒至分钟级，取决于路径长度与MRT文件发布周期）；
- 会话偏差：同一collector不同对等体的导入策略不同，导致"观测到的路径"不等于"全网采纳的路径"；
- 政策过滤：部分运营商在collector会话上应用了路由过滤（如拒绝过长前缀），使部分劫持宣告（尤其sub-prefix）观测缺失。
对影响面量化的特别警示：基于collector数据统计"受影响AS数量/国家数"时，必须声明观测口径（哪些collector、何种对齐规则），并给出外推假设。第6页案例库中所有影响面数字均标注原始披露来源，不复用无出处的夸大表述。
05 · 数据治理与质量控制
- 实体对齐：统一ASN、前缀、时间戳的规范化表示；处理4字节ASN与AS_DOT/AS_PLAIN双格式；前缀按RIR最小分配粒度归一。
- 时钟与完整性校验：比对相邻MRT文件序列连续性，监控文件缺失与延迟；对ris-live做心跳与序列号跟踪。
- 存储分层：热数据（近7天Updates）保留在流式/列式存储供实时检测；温数据（近90天）供事件复盘；冷数据（全量归档）压缩存储于对象存储，按事件时间窗回溯提取。
- 质量指标：数据缺口率（缺失文件占比）、端到端接入时延、事件重复率、collector可用率，纳入运营月报（模板见第8页）。
- 速率限制与礼仪：遵守RouteViews/RIS的下载频率指引，避免高频抓取影响公益服务；批量历史数据优先使用官方镜像与学术镜像（如CAIDA的归档）。
本节参考来源（第3页）
RouteViews：routeviews.org（数据下载与观测点列表）；RIPE NCC RIS：ris.ripe.net；ris-live：ris-live.ripe.net。
IETF RFC 6396（MRT格式）：rfc-editor.org/rfc/rfc6396。
BGPStream / libbgpstream（CAIDA）：bgpstream.caida.org；CAIDA派生数据集（pfx2as、AS关系）：caida.org/catalog/datasets。
IETF RFC 7854（BGP Monitoring Protocol, BMP）：rfc-editor.org/rfc/rfc7854；RIPE Atlas：atlas.ripe.net。
Isolario：isolario.it；PCH：pch.net。