01 · 评测基准建设原则
DGA检测领域的论文指标长期以来参差不齐，根源在于数据切分方式不透明。本课题确立五项基准原则：
- 版本化快照：所有基准数据以不可变快照（含日期与来源版本号）发布，任何评测必须引用快照ID，杜绝“悄悄换数据复测”；
- 家族级标注：每个AGD样本携带DGArchive家族ID；评测按家族分组报告，而非只报总体均值；
- 时间对齐：AGD样本标注其生成时间窗；负样本标注采集日期，支持时间外推测试；
- 可复现：切分脚本、训练配置、随机种子全部公开，第三方可逐位复现指标；
- 运营口径：除学术指标外，必须报告固定低误报工作点（如FPR≤0.1%）下的召回与单查询推理成本。
02 · DGA正样本基准：DGArchive
DGArchive由Fraunhofer FKIE团队建设，是目前学术界公认最权威的DGA基准：
DGArchive对本课题有三重价值：训练价值——按家族无限量导出带标注样本，解决多分类不平衡；预测价值——对TDD家族可按未来时间窗预生成候选域名，直接支撑预注册与黑名单；评测价值——提供跨研究可比的统一正样本口径。
标签污染警示：DGA候选域名中绝大多数从未被注册；部分过期后可能被域名投资者重新注册并建站。直接把“历史DGArchive域名”全部标为恶意，会把今天的正常站点误标为AGD，训练出上线即误伤的模型。基准协议要求：按样本生成时间窗与采集时间窗做双时间过滤，无法确认当前注册状态的样本降级使用。
03 · 良性域名基准
| 基准 | 状态 | 说明 |
|---|---|---|
| Tranco List | 现役学术基准 | Le Pochat等（NDSS 2019）提出：聚合多个排名源并按30天窗口累计，显著抗操纵与抗短期波动，已成为DGA检测论文的主流良性基准 |
| Cisco Umbrella / Cloudflare Radar排名 | 工程补充 | 商业解析器排名，适合工程负样本补充；注意其用户群体偏差（企业/家庭比例） |
| Alexa Top 1M | 2022年5月已停用 | 随amazon关闭alexa.com而停止更新；历史论文以Alexa为基准的结果不可直接复现，需迁移至Tranco |
| 合法随机域名集 | 必须显式构造 | 浏览器连通性探测（如Chrome启动探测域名）、CDN/云服务生成域名、一次性邮箱/短链域名——防止模型学到“随机即恶意” |
04 · 基准构建协议（七步）
4.1 推荐切分配比（示意）
05 · 评测指标体系
| 指标 | 定义要点 | 运营含义 |
|---|---|---|
| 精确率 Precision | 判为AGD中真正AGD的比例 | 决定误伤率——低精确率意味着大量正常域名被阻断 |
| 召回率 Recall | AGD中被检出的比例 | 决定漏检率——低召回意味着C2会合漏网 |
| F1 / 宏平均F1 | P与R的调和均值；按家族分别计算后取宏平均 | 平衡度量；宏平均防止大体量家族主导 |
| PR-AUC | 精确率-召回曲线下面积 | 类别不平衡下比ROC-AUC更敏感，本课题首选 |
| 固定工作点召回 | FPR≤0.1%（或按业务标定）时的召回 | 直接对应可上线性：运营商级流量下的硬约束 |
| 推理成本 | 单查询特征计算＋模型推理耗时/内存 | 决定部署位置：解析器数据面只能承受微秒—亚毫秒级 |
| 校准误差 ECE | 预测概率与经验频率的偏差 | 概率可信是分层阈值与置信度分级的 prereq（先决条件） |
06 · 基准复现清单
- □ 正样本：DGArchive快照ID、家族列表、采样上限、生成时间窗均已记录；
- □ 负样本：Tranco榜单ID＋采集日期；合法随机域名集已显式构造并入负样本；
- □ 切分：GroupKFold按家族分组；时间外推切分已单独执行；无同家族泄漏；
- □ 报告：按家族宏平均P/R/F1、PR-AUC、FPR≤0.1%工作点召回、ECE、推理成本；
- □ 对抗：在CharBot/Khaos类扰动样本上复测，报告鲁棒性退化幅度；
- □ 真实流量：在标注过的递归解析器流量上回放，报告实际误伤率；
- □ 归档：模型卡、特征清单、训练配置、随机种子随版本归档。
本篇参考来源（第5篇）
以下均为真实可查的论文与公开基准文档。
Plohmann D. 等：A Comprehensive Measurement Study of Domain Generating Malware，USENIX Security 2016（DGArchive：43个家族，pp.263–278）：usenix.org会议页 DGArchive数据库
Open SESAME（家族覆盖43→99的种子自动重建），NDSS 2021：ndss-symposium.org
Le Pochat V. 等：Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation，NDSS 2019：tranco-list.eu
Schüppen S. 等：FANCI（评估与特征开销分析），USENIX Security 2018：usenix.org会议页
Peck J., Nie C., Sivaguru R. 等：CharBot（对抗鲁棒性评测基准），IEEE Access 7:91759–91771 (2019)，DOI: 10.1109/ACCESS.2019.2927075：ieeexplore.ieee.org
Yun X., Huang J., Wang Y. 等：Khaos: An Adversarial Neural Network DGA with High Anti-Detection Ability（高抗检测对抗DGA），IEEE TIFS 15:2225–2240 (2020)：ieeexplore.ieee.org
Tranco官方文档（榜单生成机制与快照ID说明）：tranco-list.eu