互联网规模TLS生态测量 （上篇 · 测量科学基础与研究方法）

01 · 研究定位：为什么"测量"是检测科学的地基

1.1 检测的本质是"偏离检测"，而偏离需要基线

加密流量探测的每一个检测结论——"这条流的包长序列偏离正常模型""这个JA4指纹属于已知C2框架""这张证书的签发行为异常"——其逻辑内核都是同一句话：与"正常"相比，它偏离了多少。因此，"正常"的定义必须先于检测器存在。在互联网尺度上，"正常"不是RFC文档中的静态描述，而是数十亿主机、数亿站点持续演化形成的动态分布，只能用持续测量来刻画。

互联网规模TLS生态测量（Internet-Scale TLS Ecosystem Measurement）正是绘制这张"底图"的学科：它以互联网级扫描与全球被动观测为手段，定量回答四个根本问题——谁在用哪个协议版本、配置质量处于什么水位、有多少连接被中间人改写、威胁基础设施如何隐藏其中。没有这张底图，检测规则没有校准的标尺，威胁情报没有可信的参照系，演练沙盘没有真实的数据水位。

1.2 对迪妙业务的三重直接价值

• 反钓鱼与反诈骗：仿冒域名注册、证书申请、C2托管构成钓鱼攻击的"基础设施指纹"。CT日志使恶意证书在签发瞬间即被公开记录，互联网级测量让钓鱼站点在"挂锁"的同时进入监测视野。
• 攻防演练：演练沙盘的指纹库、证书样本、目标环境越接近真实互联网的分布形态，演练结果越能外推到生产防御。测量数据是演练仿真度的上限。
• 安全培训：课程中的每一个数字都应有出处、有统计周期、有口径说明。测量科学为教学提供可信的数据底座——这也是迪妙"来源分级、证据三分、时效标注"方法论原则的落地。

1.3 与专题内其他子课题的接口

02 · 测量方法论：主动扫描与被动观测两大范式

2.1 两种范式的互补关系

获取互联网尺度数据的途径可归为两类：主动测量（研究者主动向目标发送探测报文并观察响应）与被动观测（研究者旁观真实流量并统计）。二者不是替代关系，而是互为校验的两个视角——本课题的全部指标均要求至少两个视角交叉验证。

2.2 互联网级主动测量的技术底座

主动测量的工程前提是"扫描整个IPv4空间足够便宜"。ZMap（Durumeric等，USENIX Security 2013）以无状态探测与内核旁路实现了这一前提：不维护每目标状态机，只根据收到的响应报文反推探测目标，从而在1 Gbps链路上以约45分钟完成全部约43亿个IPv4地址的单端口扫描——比当时主流扫描器快两个数量级。后续的Zippier ZMap（WOOT 2014）通过并行化地址生成、改进黑名单算法与零拷贝网卡访问，把单端口全网扫描压缩到10 Gbps链路上不足5分钟。ZGrab2负责应用层：对存活主机完成TLS、HTTP、SSH等协议握手并结构化记录协商参数；Censys（Durumeric等，ACM CCS 2015）进一步将周期性扫描数据纳入搜索引擎架构，使"查询互联网"成为像查询数据库一样的基础设施操作。

测量的第一个方法论陷阱是"目标集定义"：Bano等（ACM CCR 2018）系统比较了ICMP Echo、TCP SYN等不同探针的"活性"判定差异——不同探测方法识别出的"在线主机"集合并不相同。这意味着任何"全网有多少主机支持TLS 1.3"式的结论，都必须绑定探测方法与目标集版本才有意义。该发现直接塑造了迪妙测量流水线中的"目标集版本化"设计原则。

2.3 被动观测与公开权威数据源

• Cloudflare Radar：全球连接侧视角，按日更新协议版本、HTTP版本、后量子（PQC）采用率等指标；口径为Cloudflare全球网络所见的流量份额。
• Google Transparency Report / Chrome UX Report：浏览器侧HTTPS采用率与真实用户体验侧（CrUX）的加密化指标。
• Qualys SSL Pulse：面向全球Top 15万站点的周期性主动扫描体检，提供TLS版本支持率、配置评级分布等站点侧指标。
• SSLMate CT Statistics：证书透明度（CT）生态的日志数量、日增条目与累计规模统计。

本课题的方法论铁律：同一指标至少由两个独立视角交叉验证。例如TLS 1.3份额同时引用连接侧（Radar）与站点侧（SSL Pulse）数据，并显式标注两者的口径差异（详见第2页）。

2.4 纵向追踪：测量"变化"而非"快照"

单次扫描只能给出快照，安全演化的判断需要纵向数据。Kotzias等（IMC 2018）在《Coming of Age: A Longitudinal Study of TLS Deployment》中通过对固定目标集的多年追踪，刻画了HTTPS部署从"少数大厂配置"到"普遍默认开启"的成熟曲线，并揭示了证书生态向CA集中签发、自定义证书持续消退的结构性变化。Holz等（ACM CCR 2020）进一步聚焦TLS 1.3：其早期部署高度由大型平台与CDN驱动，呈现明显的集中化（centralization）特征——这一发现提醒所有检测工程师：协议演进的速度从来不由长尾决定，而由头部平台决定；预测"何时可以放弃对旧版本的兼容检测"，应盯头部而非盯平均。

2.5 标准演进对测量口径的影响（2026年更新）

2026年7月，IETF发布RFC 9846，作为TLS 1.3的新基准规范取代RFC 8446（2018）：协议版本号保持不变、明确禁止协商TLS 1.0/1.1、收紧KeyUpdate机制要求，并为TLS 1.2实现追加新的安全要求；同期，混合后量子密钥交换（X25519MLKEM768）在RFC 9954中标准化，加密客户端问候（ECH）在RFC 9849中标准化。对测量的含义有三：①指纹库与协商特征库的基准文档编号需同步更新；②混合密钥协商将成为ClientHello的新常态维度，JA4类指纹需评估其对key_share列表变化的表达能力；③ECH普及将进一步压缩被动观测可见的明文字段，目标归因更依赖CT与DNS侧信道——这是tls-analysis子课题的重点议题。

03 · 全球公共测量基础设施图谱

本课题的数据并非全部来自自建扫描：国际学术与运营社区已经沉淀出一套可复用的公共测量基础设施。了解它们的覆盖范围、数据开放方式与口径特征，是"站在巨人肩膀上测量"的前提。下表仅收录本课题实际采用、且可持续访问的公共基础设施：

平台口径说明：OpenINTEL（Jonker等，IMC 2016）面向"域名集合"而非"地址集合"测量，天然适合证书透明度研究的域名侧验证；RIPE Atlas的优势在于"从何处看"可控，可规避单一扫描源的地理偏差（详见下节）。

04 · 测量的时间与空间稳定性

4.1 同一个互联网，不同时间测出不同结果

互联网地址的"活性"具有明显的日周期（diurnal）特征：大量地址随用户作息开机关机，扫描结果因此强烈依赖扫描时刻。Plonka与Berger（IMC 2015）对活跃IPv4地址的时空分类研究，以及Richter等（IMC 2016，《Beyond Counting》）进一步指出：约三分之一的"活动地址"与人口作息的日周期相关，且分类方法本身会改变结论。工程含义极为直接：两次不同时间窗的扫描结果不可直接比较；任何纵向对比必须先对齐扫描时间窗（如统一取UTC 02:00-06:00低谷段），否则"增长"可能只是"测量到了不同的人群"。

4.2 从何处扫描，决定了你能看见什么

Wan等（IMC 2020，《On the Origin of Scanning》）系统量化了扫描源位置的影响：同一个扫描器、同一个目标集，从不同地理位置、不同运营商出口发起，返回的响应集合存在系统性差异——其定量结论是：单一扫描源平均遗漏1.6%–8.4%的HTTP主机、1.5%–4.6%的HTTPS主机与8.3%–18.2%的SSH主机，约半数目的AS中任意两观测点的覆盖率差异超过1%，两个多样性足够的观测点可将覆盖提升至约98%——地理过滤（geoblocking）、运营商级过滤与响应率差异常被误读为"互联网本身的状态"。该研究与2.1节的探测方法偏差、目标集偏差共同构成测量的三重选择偏差：方法、目标集、观测点。

4.3 测量的"观察者效应"

主动扫描本身会成为被测系统的输入：Durumeric等（USENIX Security 2014，《An Internet-Wide View of Internet-Wide Scanning》）发现互联网上的扫描行为本身已成为常态背景流量，安全设备对扫描的告警与处置会反过来影响后续测量（例如被测主机在多次探测后启用限速或封锁）。这要求测量方以低频、节流、可识别的方式设计探测，并在分析中显式排除因前次扫描触发的防御性响应。

05 · 测量伦理与合规框架

5.1 Menlo Report：网络测量的伦理共识

大规模扫描天然触碰"对他人网络施加探测行为"的边界。美国国土安全部2012年发布的The Menlo Report将人体研究伦理框架（贝尔蒙报告）移植到信息与通信技术研究领域，确立四项原则：尊重个人（respect for persons）、行善（beneficence）、公正（justice）、尊重法律与公共利益（respect for law and public interest）。在网络测量社区，这四项原则已沉淀为可操作的工程惯例，ZMap等项目从设计之初即内置了对应机制。

5.2 工程化伦理清单（迪妙执行标准）

• 必要性与相称性：探测范围严格限定于研究问题所需，不做"顺手全端口、全协议扫描"；扫描速率控制在不对目标造成可感知负担的区间。
• 目标节制：避开医疗、工控、应急等敏感端口与协议；尊重IANA特殊用途地址段与业界维护的扫描黑名单（ZMap原生支持黑名单文件与速率节制参数）。
• 数据最小化：只记录协议握手元数据（版本、套件、证书、扩展），不请求、不触碰任何应用层私有内容。
• 可退出机制：发布测量主体身份与联系方式，支持目标方通过黑名单退出后续测量。
• 负责任披露：发现高危脆弱配置时遵循"先通知责任方、后公开"的协同披露流程——《The Matter of Heartbleed》（IMC 2014）对OpenSSL漏洞修复行为的大规模测量，即是"测量服务于修复"的学术典范。

5.3 中国法域下的合规边界

在中国法域内，主动扫描必须严格限定于自有授权资产与明确许可的测试范围；对他人网络实施高频探测可能触及《网络安全法》关于不得干扰网络正常功能的禁止性规定；测量数据的发布须符合《数据安全法》与《个人信息保护法》的最小化要求——能不收集的不收集、能聚合的不留存明细、发布形态尽量统计化。

06 · 指标体系与迪妙测量流水线

6.1 六维测量坐标系

为避免"看到什么测什么"的碎片化，本课题将全部测量指标归入六个正交维度，每个维度绑定明确的指标定义与数据源：

6.2 迪妙测量流水线（JS绘制）

6.3 可复现性三原则

公开工具（ZMap/ZGrab2等开源工具链，扫描代码可审计）、公开目标集（Tranco等学术维护榜单，版本快照留档）、公开时间戳（所有指标绑定统计周期、采集时刻与观测点）。本课题拒绝引用任何"来源不可查、口径不可复现"的数字——这一原则与专题首页所述"来源分级、证据三分、时效标注"方法论一一对应。

本节参考文献（第1页 · [1]—[17]）