01 · 方法体系总览:四族方法
钓鱼证书检测不是单一算法问题,而是"数据源×方法族"的组合工程。本子课题将方法归纳为四族,组合原则为:任何告警至少由两个独立方法族交叉确认(纵深防御),同时保留"单族强特征直出"的例外通道(如注册-签发时间窗)。
| 编号 | 方法族 | 核心思想 | 典型产出 |
|---|---|---|---|
| F1 | 被动情报型(CT流式) | 消费CT日志流,对全网每张新签证书做品牌规则匹配——不接触目标、合法、近实时 | 仿冒证书秒级—分钟级发现告警 |
| F2 | 域名相似度计算型 | 对候选域名计算与品牌词典的字符/语义/视觉距离,分层阈值评分 | 候选仿冒域名清单(分置信度) |
| F3 | 证书字段与行为特征型 | 提取证书自身字段与签发时序特征(SAN结构、通配符、注册-签发时窗、换证频率) | 风险加权分与特征标签 |
| F4 | 多源联合研判型 | 融合RDAP、被动DNS、IP/ASN、URL情报等外部数据对候选做实体级画像 | 团伙级告警与处置优先级 |
02 · CT流式检测(F1,主数据源)
2.1 为什么CT是决定性的
- 政策全覆盖:Chrome自2018年4月(Chrome 66)、Apple自2018年10月15日起强制要求新签发公开信任证书具备CT合规性——公网钓鱼证书(C1/C2通道)近乎100%进入CT日志。
- 时效可竞赛:证书(含预证书)通常在签发后秒级—分钟级进入日志并可被查询/订阅——发现速度第一次快过了钓鱼站点的部署速度。
- 完全被动:监测方无需访问目标站点,合规风险趋近于零(与主动爬取钓鱼页面的本质区别)。
2.2 工程要点与已知局限
| 要点 | 说明 |
|---|---|
| 日志清单维护 | Chrome维护accepted/blocked/retired日志清单(动态变化),订阅方须跟踪清单更新与日志退役计划(子课题02负责日志质量监测) |
| 预证书去重 | 预证书(含poison扩展)与正式证书可能先后入日志,需按证书指纹/SKI去重,避免双计 |
| 断流补偿 | 日志服务中断后按日志的仅追加一致性(Merkle Tree)做断点续传与完整性校验 |
| 盲区声明 | C3被黑站点复用、C4平台子域不产生新证书——CT不可见,必须叠加URL情报(F4)互补 |
时延竞赛的量化目标:钓鱼站点从证书签发到上线可在数分钟内完成。监测管道的合格线为"证书入日志→规则命中→告警发出"全程自动化、端到端时延控制在15分钟以内;人工介入只发生在告警分级与处置决策,不发生在发现环节。
03 · 域名相似度算法(F2)
3.1 算法工具箱
| 算法/技术 | 原理 | 适用场景与注意 |
|---|---|---|
| 编辑距离族 | Levenshtein / Damerau-Levenshtein:计算最少字符插入、删除、替换(Damerau含换位)次数 | 漏字/换位/重复类仿冒(M3);短域名上区分度好,长拼接域名需配合分词 |
| Jaro-Winkler | 对前缀匹配的加权相似度,适合品牌词居前的构造 | 组合仿冒(M2)的前缀对齐评分 |
| 分词+品牌词典 | 按连字符/点分词后与品牌词典、风险关键词库匹配 | 组合仿冒主方法;品牌词典须多语言化(中文、拼音、英文、缩写、历史品牌名) |
| 同形映射(confusables) | 基于Unicode UTS #39 confusables表与IDN归一化(Punycode解码),度量视觉相似 | M1同形异义专项;数量占比虽小(0.17%)但定向攻击价值高,不可缺席 |
| TLD与词根归一化 | 剥离TLD与子域层级后对主域评分,避免M4子域滥用逃逸 | 所有算法的前置步骤;需处理多级ccTLD(如.com.cn)例外 |
3.2 分层阈值与误报控制
- 三层置信度:高置信(如主域与品牌编辑距离≤1且含风险关键词)直出P1候选;中置信进富化队列;低置信仅入观察库。阈值按品牌重要性差异化(金融品牌从严)。
- 合法变体白名单:官方营销域名、区域站点、授权合作方域名入库豁免——白名单治理质量直接决定误报率,须有 owner 与季度评审机制(第5页)。
- 对抗样本跟踪:攻击者会针对单一算法构造绕过样本(如过长拼接稀释编辑距离),须保留多算法并行与人工抽检机制,持续回灌误报/漏报样本。
04 · 证书字段与行为特征(F3)
| 特征 | 钓鱼倾向 | 合法例外与使用纪律 |
|---|---|---|
| 注册-签发时间窗 | 域名RDAP创建时间与证书签发时间同日/次日——最强单信号 | 极少例外(新上线业务);可直接作基础分项 |
| 证书历史链 | 域名无历史证书或历史链极短 | 新域名首次上线属正常——与上一特征联合使用 |
| SAN数量与结构 | 单证书承载大量相似品牌词根=批量活动指纹 | SaaS/CDN证书天然多SAN——须结合词根相似度而非SAN数量本身 |
| 通配符位置 | *.仿冒主域+动态子域轰炸(M6) | 合法主域也用通配符——看主域是否仿冒 |
| 有效期与换证频率 | 90天批量换证接力;6天短寿命时代换证频率进一步升高 | 自动化合法站点同样高频换证——弱特征,仅作行为画像维度 |
| 签发CA身份 | 弱特征,禁用为判定依据:免费CA占全网证书绝对多数,按CA判定等于大规模误伤(见第1页误区辨析) | |
特征工程的铁律:证书字段与"品牌相似度"必须联合使用。单独看,"新域名+免费CA+90天有效期+HTTP-01验证"描述的是全球数亿个合法站点;单独看,"与品牌编辑距离1"也可能是合法促销域名。只有"仿冒词根 × 注册-签发时窗 × 聚集行为"的联合评分才具备判别力——这也是"证书-域名-行为"联合画像命名的由来。
05 · 多源联合研判(F4)与评分模型
5.1 富化数据源
| 数据源 | 获取方式 | 研判价值 |
|---|---|---|
| RDAP/WHOIS | 注册时间、注册商、注册人(最小化合规查询) | 注册-签发时窗;注册商聚集(如Unpaid Toll Scam的24,000域名单一注册商) |
| 被动DNS | 解析记录历史与变更 | 同IP承载的域名集合;快速迁移模式;短TTL特征 |
| IP/ASN情报 | ASN归属、托管商、信誉库 | 共享钓鱼托管识别;托管商层处置依据 |
| URL情报源 | APWG、PhishTank、OpenPhish、厂商威胁源 | C3/C4盲区互补;已被社区确认的样本直接升权 |
| 内容核验(沙箱) | 隔离环境一次性采集页面指纹(需授权,第8页) | P1告警的最终确认证据;不用于全量扫描。注意反检测对抗:越来越多钓鱼站点仅在特定referrer来源(搜索引擎、社交平台跳转)或UA下展示恶意内容,直接访问呈无害页面(APWG 2026Q1报告观察)——沙箱核验须模拟完整访问链 |
5.2 联合评分模型(示意配置)
{
"rule_example": "示意配置——权重须按本单位误报容忍度校准",
"signals": [
{"name": "brand_similarity_high", "source": "F2", "weight": 40, "note": "主域与品牌编辑距离≤1 或 高置信confusable"},
{"name": "reg_cert_same_day", "source": "F3", "weight": 25, "note": "RDAP创建时间与CT签发时间差<24h"},
{"name": "risky_keyword", "source": "F2", "weight": 10, "note": "login/verify/secure/update等"},
{"name": "bulk_registration", "source": "F4", "weight": 15, "note": "同注册商/同模板批量注册聚集"},
{"name": "shared_hosting", "source": "F4", "weight": 10, "note": "同IP/ASN承载多个仿冒词根"}
],
"policy": [
{"if": "score >= 70", "then": "P1告警——分钟级人工复核并启动处置(第6页)"},
{"if": "score 40-69", "then": "P2——富化队列,4小时内复核"},
{"if": "score < 40", "then": "观察库——沉淀行为特征,不告警"}
]
}06 · 方法族对比与选型指南
| 方法族 | 数据成本 | 时延 | 覆盖 | 误报风险 | 最小可行形态 |
|---|---|---|---|---|---|
| F1 CT流式 | 免费(公开日志) | 秒级—分钟级 | 新签钓鱼证书近100% | 低(规则决定) | crt.sh定时检索(第5页轻量方案) |
| F2 相似度 | 仅算法 | 毫秒级 | 受限于品牌词典完备性 | 中(需白名单) | 编辑距离脚本+品牌词表 |
| F3 特征 | 免费 | 分钟级 | 全量证书 | 中(弱特征禁单用) | 时间窗特征即可起步 |
| F4 联合研判 | 部分付费源 | 分钟级—小时级 | 补齐C3/C4盲区 | 低(多源互证) | RDAP+被动DNS免费源 |
选型建议:起步组织按"F1轻量形态+F2基础算法"即可覆盖C1通道的八成价值;金融/电商平台应补齐F4富化与沙箱核验,并将C3/C4盲区纳入URL情报采购;CA与注册商侧则在F1之上叠加"签发/注册行为聚集分析"(同账户/同模板聚集),这是外部防御方不可得、行业侧独有的上帝视角。
本节参考来源(第4页)
RFC 6962 / RFC 9162(CT体系、SCT、日志架构):rfc-editor.org/rfc/rfc6962、rfc-editor.org/rfc/rfc9162。
Chrome Certificate Transparency政策与accepted日志清单:chromium.org(Certificate Transparency)。
Unicode UTS #39《Unicode Security Mechanisms》(confusables与同形判定):unicode.org/reports/tr39。
Calidog CertStream(CT日志流式接入组件):certstream.calidog.io;crt.sh公共CT查询:crt.sh。
RDAP协议(RFC 7482等)与IANA RDAP服务发现:rfc-editor.org/rfc/rfc7482。
APWG、PhishTank、OpenPhish公开URL情报源:apwg.org、phishtank.org、openphish.com。