01 · 系统总体架构（五层设计）
监测平台采用分层解耦设计，每一层只依赖下一层的接口契约，便于独立升级与故障隔离：
| 层级 | 核心组件 | 职责要点 | 关键设计约束 |
|---|---|---|---|
| L1 采集层 | 调度器、Tor代理池、采集沙箱、快照器 | 按站点分级调度执行只读采集，原始页面哈希快照留痕，死链检测与自动降级 | 隔离网段、出口仅经Tor、单站点低频访问 |
| L2 解析层 | 解析管线、NER模块、OCR模块、去重归并 | HTML/图片解析、实体抽取、跨镜像归并、语种识别与机翻预处理 | 解析结果带置信度分数与原文锚点，可回溯 |
| L3 存储层 | 证据快照库、结构化情报库、指纹特征库、图谱库 | 四类存储分离管理（详见第03节），统一数据目录与血缘登记 | 指纹库只存特征不存原文，敏感字段加密 |
| L4 分析层 | 泄露确认引擎、团伙画像引擎、关联图谱、LLM辅助模块 | 指纹比对、多源交叉验证、置信度分级、画像卡生成（第5页详述） | 机器产出一律进人工复核队列后才可成文 |
| L5 应用层 | 分析师工作台、预警发布、运营看板、API网关 | 预警工单流转、TLP感知分发、指标看板、对外API（鉴权+限流+审计） | 最小权限、操作留痕、外发内容人工审批 |
解耦原则：采集层与解析层之间通过消息队列解耦，解析层与分析层之间通过标准化情报对象（STIX 2.1）解耦——任何一层的技术替换（如更换OCR引擎、更换图数据库）不改变上下游契约，这是平台可长期演进的结构基础。
02 · 数据模型与标准化落地
2.1 STIX 2.1 对象映射
平台内部统一采用STIX 2.1作为情报对象模型（与国内GB/T 36643-2018《信息安全技术 网络安全威胁信息格式规范》（2018年10月10日发布，2019年5月1日实施，全国信息安全标准化技术委员会SAC/TC260归口）对应映射），对外交换经TAXII 2.1或MISP通道。暗网监测特有的对象映射关系如下：
| 监测实体 | STIX 2.1 对象 | 关键属性 |
|---|---|---|
| 一次泄露事件预警 | report | published、object_refs（关联的indicator/observed-data）、labels（泄露类型）、confidence、x_dm_verification_level（确认分级扩展） |
| 售卖帖/勒索页 | observed-data | first_observed/last_observed、objects（URL、发布时间、哈希）、x_dm_snapshot_ref（快照指针） |
| 泄露站点/镜像 | infrastructure | infrastructure_types=["anonymization-service"]，name记录.onion地址，aliases记录镜像族 |
| 勒索/RaaS组织 | intrusion-set + threat-actor | aliases（如LockBit又名ABCD）、goals、resource_level、x_dm_first_seen/x_dm_status（活跃状态） |
| 钱包地址/账号 | indicator（pattern: cryptocurrency-wallet 等） | pattern、valid_from、kill_chain_phases、confidence，命中即生成sighting |
| 样本字段指纹 | note + x_dm_fingerprint（自定义扩展对象） | 仅存字段结构/统计特征，不存任何原始个人数据，附指纹算法版本号 |
注：自定义扩展属性统一使用 x_dm_ 前缀（dm = DiMiao），避免与未来STIX官方属性冲突；扩展对象变更须走版本评审。自定义字段的语义定义在平台数据字典中公开维护。
2.2 标识与版本规范
- 全局标识：所有对象采用UUIDv4，跨库引用严禁使用自增ID，保证快照库、情报库、图谱库之间可无损对账。
- 版本策略：情报对象以"新增版本+ revoked 旧版本"方式演进，任何对外发布过的报告不可物理删除，只可标注撤销并注明原因，满足取证与审计要求。
- 置信度字段：confidence取0—100整数，与第3页四级分级（确认/高度疑似/疑似/存疑）的映射关系在数据字典中固定，禁止下游自行解释。
- 时间规范：一律UTC存储、界面本地化展示；时间戳字段区分 observed（观测时间）、published（发布时间）、ingested（入库时间），三者在血缘分析中不可混用。
03 · 存储设计与数据生命周期
3.1 四类存储分离
| 存储 | 技术形态 | 内容 | 访问控制 |
|---|---|---|---|
| 证据快照库 | 对象存储（WORM策略） | 原始页面/图片的哈希、截屏证据、采集元数据（URL、时间、代理出口指纹） | 仅取证角色可读写，写入后不可篡改 |
| 结构化情报库 | 关系库/文档库 | STIX对象、事件要素、标注结果、预警工单 | 分析师读写，应用层只读 |
| 指纹特征库 | 专用特征库 | 字段结构指纹、统计指纹、卖家失信档案特征 | 分析引擎读写，人不可直接查询原始样本 |
| 关联图谱库 | 图数据库 | 组织—基础设施—钱包—账号的关联边（带证据引用） | 分析层读写，每条边必须挂证据指针 |
3.2 数据生命周期矩阵
| 数据类别 | 留存期限（建议） | 到期处置 | 依据/说明 |
|---|---|---|---|
| 含个人信息的快照 | 完成确认流程后即脱敏，原始件≤90天 | 加密销毁并出具销毁记录 | 最小必要原则（个保法第6条精神） |
| 证据类快照（涉案） | 按案件/委托约定，通常≥3年 | 到期经审批后销毁，留销毁审计 | 取证与司法协作需要 |
| 结构化情报对象 | 长期（可撤销不可删除） | revoke标记，物理保留 | 情报溯源与误报复盘需要 |
| 指纹特征 | 长期 | 仅当指纹算法废弃时下线 | 特征不含原文，风险可控 |
| 审计日志 | ≥2年 | 到期归档/销毁 | 参照日志管理最佳实践（NIST SP 800-92） |
注：留存期限为本课题建议值，实际执行以适用法律、监管要求与委托合同约定中更严格者为准。
04 · 标注规范与数据质量评估
4.1 标注 Schema
所有进入分析层的内容须经标注，标注维度包括：
| 标注维度 | 取值定义 | 标注依据 |
|---|---|---|
| 事件类型 | 数据售卖 / 勒索泄露 / 凭证售卖 / 漏洞交易 / 招募广告 / 其他 | 帖子文本与样本证据 |
| 确认分级 | 确认 / 高度疑似 / 疑似 / 存疑（沿用第2页§05定义） | 证据链完整性 |
| 影响分级 | 重大 / 较大 / 一般 / 轻微（数据量级×字段敏感度二维矩阵） | 样本字段与量级声称 |
| 来源可信度 | 历史履约 / 新号无记录 / 有失信记录 | 卖家失信档案 |
| TLP 标记 | RED / AMBER / GREEN / CLEAR（FIRST TLP v2.0） | 传播范围决策 |
4.2 质量控制机制
- 双人标注+仲裁：所有"确认级"判定必须由两名分析师独立标注，分歧进入仲裁；标注一致性以Cohen's Kappa度量，kappa<0.7的维度须修订标注指南并回炉培训。
- 黄金集回归：维护带标准答案的历史事件黄金集，每次升级NER/指纹/LLM模块后跑回归测试，确认转化率、实体抽取F1值不得低于基线，防止"越升级越退步"。
- 误报回流：被客户/内部团队驳回的预警必须回填驳回原因标签，每月聚类分析误报模式，反哺规则与指纹库（与第2页§05.3闭环呼应）。
- 质量看板：标注吞吐量、一致率、确认转化率、驳回率四项指标周度公示，纳入运营KPI（第2页§06指标体系的执行化）。
05 · 平台安全与审计工程
平台自身安全即课题安全：监测平台一旦失陷，攻击者可借其匿名基础设施反溯分析团队、投毒指纹库或伪造预警。平台必须按"高价值攻击目标"标准自我防护，并默认监测对象中的部分站点由执法机构或对手运营（蜜罐/反制节点），与之交互的一切行为都可能被记录与分析——只读、低频、合规是唯一安全姿态。
5.1 工程控制清单
| 控制域 | 要求 |
|---|---|
| 采集沙箱 | 独立VLAN/裸金属或强隔离虚拟机；无生产网路由；无持久化凭据；镜像定期重建；出站仅允许Tor代理端口 |
| 代理与出口 | Tor代理池统一纳管，出口节点白名单，禁止采集器直连任何明网地址；每站点访问频率受调度器硬限流 |
| 密钥管理 | 平台凭据集中托管（KMS/HSM），采集器使用短时轮换令牌；私钥永不落盘于沙箱 |
| 内容安全 | 采集内容进入解析前先过恶意内容检测（EICAR式探针+沙箱渲染隔离），防止恶意HTML/图片利用解析器漏洞 |
| 审计日志 | 记录主体、时间、对象、动作、前后值五要素；日志WORM存储，与业务库物理分离；日志本身不含敏感数据明文 |
| 漏洞管理 | 平台组件纳入常规漏洞扫描与补丁SLA；每年至少一次针对采集链路的专项渗透测试（由内部红队或授权第三方执行） |
06 · 团队可持续运营制度
暗网内容分析是公认的高负荷工作：分析人员长期接触违法不良信息，存在心理创伤累积与职业倦怠风险。本课题将"人的可持续"视为系统可用性的一部分：
- 内容接触分级：按内容严重度分级（一般违规 / 高危害 / 极端内容），极端内容仅由受训人员按需接触且轮岗处理；平台默认对极端图像做模糊预处理。
- 轮岗与心理支持：暗网分析岗每12—18个月轮岗；提供保密心理咨询通道；建立同伴支持机制，主管接受心理急救培训。
- 保密与离岗：全员签署保密与利益冲突协议；离岗执行访问即时回收、设备清查与保密义务重申；关键岗位设竞业与脱密期管理（依法约定）。
- 能力认证：分析师须完成"威胁情报分析+合规边界"双认证后方可独立上岗；每年复训覆盖新法规、新案例与操作红线。
- 研究伦理：成果发布实行双人审阅——技术准确性之外，专门审查是否可能被误用于进攻目的；对敏感性存疑的成果只做防御框架性发布。
本节要点：工程能力决定监测平台"能不能跑"，数据治理决定"跑得对不对"，团队制度决定"跑得久不久"。三者缺一，课题都无法形成可持续的防御产出。
本节参考来源（第4页）
以下均为真实可查的权威来源（标准组织、官方项目、政府与研究机构），用于支撑本页工程性表述。
OASIS《STIX Version 2.1》官方规范：docs.oasis-open.org/cti/stix/v2.1/os/stix-v2.1-os.html；GB/T 36643-2018《信息安全技术 网络安全威胁信息格式规范》（2018年10月10日发布，2019年5月1日实施，全国信息安全标准化技术委员会SAC/TC260归口）
OASIS《TAXII Version 2.1》官方规范：docs.oasis-open.org/cti/taxii/v2.1/os/taxii-v2.1-os.html；MISP Project 威胁情报共享平台：misp-project.org
FIRST《Traffic Light Protocol (TLP) v2.0》：first.org/tlp
NIST SP 800-92《Guide to Computer Security Log Management》（日志管理实践）：csrc.nist.gov/publications/detail/sp/800-92/final
《国家网络安全事件报告管理办法》（国家网信办2025年9月11日发布）及附件《网络安全事件分级指南》（参照GB/T 20986-2023）：cac.gov.cn/2025-09/15/c_1759583017563621.htm
USENIX Security 2024《A Comprehensive and Long-term Evaluation of Tor V3 Onion Services》（长期测量数据亦支撑平台对"镜像淹没核心站点"的架构设计判断）：par.nsf.gov/servlets/purl/10485912