01 · 方法体系总览:四大方法族
| 方法族 | 代表手段 | 优势 | 局限 |
|---|---|---|---|
| 被动情报富化 | DNS(AAAA/区域文件)、证书透明度日志、BGP宣告、RIR注册数据、被动DNS、rDNS、Web爬虫 | 零探测成本、不触及目标网络、覆盖面含“未暴露服务” | 时效差、覆盖偏差、无法验证存活 |
| 主动定向探测 | 对候选列表发ICMPv6 Echo/TCP SYN/UDP探测,ZMapv6/Nmap/Masscan执行 | 直接验证活跃性、可带服务指纹 | 需带宽、受边界过滤影响、需授权 |
| 地址模式推测 | 6Gen/Entropy/IP/6tree等由种子外推候选(第3页) | 突破情报盲区、命中率可调 | 依赖本地建模质量、可能产生噪声 |
| 众包与分布式测量 | RIPE Atlas、CAIDA Ark、多观测点探测 | 多路径视角、可测anycast与路径依赖 | 测量配额受限、粒度粗 |
组合策略(KQ-1的回答):“情报富化定种子 → 模式推测扩候选 → 定向探测验存活 → 众包校验路径依赖”。单一方法均有系统性盲区:仅用情报富化会漏掉未被索引的服务,仅用探测会漏掉被过滤的主机。四类方法交叉验证后,覆盖率与置信度才能同时达标。
02 · Hitlist:机制、构建与质量治理
2.1 什么是Hitlist
Hitlist是“已知活跃IPv6地址+元数据”的种子库,是所有主动探测与模式推测的起点。公开IPv6 Hitlist Service(Gasser等维护,配套IMC 2018论文)长期发布按协议分类的活跃地址列表(如ICMPv6响应、TCP/80、TCP/443响应类别),并持续更新——已成为学术界的标准数据源。2023年Rye与Levin进一步构建了约79亿条地址的超大活跃地址列表(SIGCOMM 2023),揭示了Hitlist规模化的收益与用户隐私风险,其伦理与安全讨论对本课题数据治理(第8页)有直接参照价值。自建Hitlist时,应沿用相同治理框架。
2.2 种子来源清单(按成本与覆盖排序)
| 来源 | 获取方式 | 典型产出 |
|---|---|---|
| DNS AAAA记录 | 区域文件(公开索取/合作)、解析热门域名集、DNS爬虫 | 面向服务的稳定地址,双栈站点全覆盖 |
| 证书透明度日志 | CT日志查询IP SAN/域名→地址关联(crt.sh等) | HTTPS服务地址,带证书身份元数据 |
| BGP宣告数据 | RouteViews、RIPE RIS快照与更新流(BGPStream) | 活跃宣告前缀清单——探测任务的前缀范围界定 |
| RIR注册数据 | delegation files(每日)、RDAP(RFC 7482/7483) | 前缀归属画像(机构/国家/日期/粒度) |
| 被动DNS | 商业/学术pDNS库 | 历史AAAA观测,覆盖已下线但有价值的目标 |
| DNSSEC签名的反向解析区 | 对支持DNSSEC的反向区(ip6.arpa)做NSEC/NSEC3遍历枚举 | 批量获得区域内活跃地址,覆盖主机侧长尾(Borgolte等,IEEE S&P 2018) |
| 公开Hitlist | IPv6 Hitlist Service定期下载 | 经校验的活跃地址及响应类别 |
| rDNS(ip6.arpa) | 对已获地址批量PTR查询 | 角色/位置语义(第2页5.2节) |
2.3 质量治理三原则
- 时间戳与置信度分级:每条记录保留first_seen/last_seen与来源标签;按“近7日验证活跃/历史活跃/仅情报未验证”分级使用;
- 周期性滚动验证:按验证周期(如每周)对存量地址做轻量存活探测,淘汰失效条目;
- 别名与聚合视图:保留地址级原始数据,同时提供/64聚合视图与别名消解标记,避免统计口径混乱(第3页4.2节)。
03 · 主动定向探测:协议选择与执行要点
3.1 探测协议对比
| 探测方式 | 优点 | 局限 | 适用 |
|---|---|---|---|
| ICMPv6 Echo(类型128) | 开销小、无状态、命中即证明IP层活跃 | 最易被防火墙/路由器限流或丢弃;有滥用误报(限速响应) | 首轮粗筛 |
| TCP SYN(80/443/22等) | 对服务器类资产覆盖最好;开放端口即额外情报 | 仅能发现监听对应端口的主机 | 服务资产主探测 |
| UDP(53/123/161等) | 可触发不可达报告间接证明活跃 | 无响应不等于不活跃,解释成本高 | 补充探测 |
3.2 执行要点
- 观测点选择:源地址应选稳定宣告的前缀(避免被uRPF丢弃),多观测点可评估路径过滤差异并辅助anycast判定;
- 报文合规:探测报文应为合法IPv6报文(遵从RFC 8200,不构造异常扩展头/分片——那是子课题05的测试域);
- 速率与礼貌:遵守目标网络与上游AUP,设置每秒包数上限与每日总量上限,保留opt-out机制;
- 结果判读:“无响应”≠“不活跃”(可能被过滤),“响应”≠“独立资产”(可能是anycast),两者都必须进入置信度体系而非二元判定。
04 · 候选生成与发现算法
第3页已详述算法谱系,本节聚焦“算法在流水线中的接入位置”:情报种子经熵分析(Entropy/IP式)产出模式模型→模型生成候选(6Gen式区域变异/6tree式树细化)→定向探测→新命中回流种子库。ZMapv6(Beverly等,2018)解决了该流程的工程底座问题:以目标列表驱动的高速探测框架,在千兆级带宽下对千万级候选完成日级更新——使“模式推测—探测”闭环得以规模化运行。6Scan的启示则在于调度:当候选池超过带宽预算时,应以BGP/DNS遥测先验排序前缀,把探测资源投向“最可能有活跃地址且最有情报价值”的前缀。
选型决策树:①有自有/授权网络资产范围?→直接以前缀+低熵模式清单探测(成本最低、精度最高);②无范围约束的研究任务?→Hitlist种子+6Gen扩展+ZMapv6执行+6Scan调度;③只需服务级资产?→DNS/CT富化+TCP 80/443探测即可,无需ICMPv6粗筛。
05 · 存活校验与别名消解
5.1 存活校验分层
| 层级 | 判定依据 | 置信度 |
|---|---|---|
| L3活跃 | 任意ICMPv6响应或TCP RST/ACK | 地址被路由且主机在线 |
| L4服务 | TCP握手成功/应用层应答 | 具体服务可识别,资产价值高 |
| L7身份 | TLS证书/横幅/协议指纹 | 可归入资产台账 |
5.2 别名消解线索
- TTL/跳数比对:同地址从不同观测点响应TTL差异过大→anycast嫌疑;
- 响应内容指纹:同地址不同时间TCP握手特征(窗口、选项、时序)不一致→负载均衡组;
- 地址聚合:同/64内多个“活跃地址”响应指纹一致→同一主机多地址(稳定+临时并存),应归并;
- rDNS与证书交叉:命名/证书主体一致的不同地址→同一资产的多接入路径。
边界说明:IPv6别名消解在学术与工具层面均不如IPv4成熟(CAIDA主流别名工具集以IPv4为重心),本课题建议以“多观测点+多协议指纹”的工程组合获得可用的近似消解,并在台账中显式标注“归并不确定”的条目。
06 · 授权边界与测量伦理
- 授权范围:主动探测仅限自有网络或书面授权网络;对外部目标的任何探测均须取得授权并留存记录——这是本页全部方法的前置条件;
- 伦理框架:参照Menlo报告(伦理原则:尊重、受益、正义、尊重法律与公共利益)与CAIDA AUP类实践;数据采集遵循最小化原则,不采集探测目标之外的个人信息;
- 合规要求:遵守《网络安全法》《数据安全法》及相关行业规范;探测日志与结果数据的留存、访问控制与跨境要求见第8页数据治理章节。
本节参考来源(第4页)
以下均为真实可查的权威来源,用于支撑本页事实性表述。
IPv6 Hitlist Service(学术项目,配套Gasser等IMC 2018论文):ipv6hitlist.github.io。
ZMap项目(Durumeric等,USENIX Security 2013,Apache-2.0开源):zmap.io、github.com/zmap/zmap;ZMapv6(TUM团队的ZMap IPv6扩展版,支持IPv6目标列表与ICMPv6/TCP/UDP探针):github.com/tumi8/zmap;Masscan项目(支持IPv6,建议使用地址列表方式):github.com/robertdavidgraham/masscan;Nmap IPv6扫描:nmap.org。
CAIDA测量平台与scamper工具:caida.org;RIPE Atlas:atlas.ripe.net;RouteViews:routeviews.org;RIPE RIS:ripe.net(RIS);BGPStream(CAIDA):bgpstream.caida.org。
IETF RFC 7482《Registration Data Access Protocol (RDAP)》(2015年3月):rfc-editor.org/rfc/rfc7482;RFC 7483(RDAP JSON格式);RIR delegation files经由各RIR官网发布(APNIC/RIPE NCC/ARIN/LACNIC/AFRINIC)。
Dittrich D.、Bailey M.、Rogers D.《Menlo Report: Ethical Principles Guiding Information and Communication Technology Research》(2012,美国国土安全部资助):dhs.gov;CAIDA Acceptable Use Policy:caida.org/about/legal。
Borgolte K.、Hao S.、Fiebig T.、Vigna G.《Enumerating Active IPv6 Hosts for Large-scale Security Scans via DNSSEC-signed Reverse Zones》(IEEE S&P 2018,pp. 438–452):doi.org/10.1109/SP.2018.00027;Fiebig T.等《Something from Nothing (There): Collecting Global IPv6 Datasets from DNS》(PAM 2017)。