研究概述（第6页）
第2页建立了统计方法的"选路地图"，本页深入执行层的四个硬问题：报告什么（效应量与不确定性的完整呈现）、测不到怎么办（功效与最小可检测效应量）、数据缺了怎么办（缺失机制与插补）、证据如何积累（元分析与可复现性）。本页内容为心理统计学与医学研究方法学的成熟共识（CONSORT、APA JARS、Gelman与Hill的应用回归分析传统），全部为已发表的方法学标准，不涉及自有主张。
效应量家族与置信区间：把"差异"翻译成"多大"
不同结局变量对应不同的效应量度量，混用会造成数量级误判。安全行为研究中最常遇到的四族：
| 效应量 | 适用结局 | 计算方式（直觉版） | 报告时必须附带 |
|---|---|---|---|
| Cohen's d / Hedges' g | 连续变量（测验分数、CSBI） | 组间均值差 ÷ 合并标准差；Hedges' g为小样本校正版（优先报告） | 校正方式、g的方差或95%CI |
| 优势比 OR / 风险比 RR | 二分类（点击/未点击） | OR=(a/b)/(c/d)四格表；RR直接比两组发生率 | 95%CI（OR的CI跨过1=不显著）；注明OR≠RR，发生率>10%时差别明显 |
| 风险差 RD + NNT | 二分类（管理者最易懂） | RD=两组发生率之差；NNT=1/RD（需多少人培训才能避免1次点击） | RD的95%CI；NNT保留1位小数 |
| η² / 偏η² / ω² | 方差分析（多组/多时点） | 平方和分解；ω²为总体校正版（优先） | 自由度（如F(2,147)=…）、ω² |
换算示例：把点击率差异翻译成NNT
假设对照组点击率30%、嵌入式培训组10%，则RD=20个百分点，NNT=1/0.20=5——每培训5人即可避免约1次钓鱼点击。NNT是让管理层"秒懂"培训价值的最佳表达；但注意NNT依赖基线风险，基线10%的组织同样干预下NNT=1/(0.10−0.05)=20。跨组织比较NNT时必须连同基线一起报。
置信区间的三重读法（以"g=0.45, 95%CI [0.12, 0.78]"为例）：①区间不含0→双侧p<0.05；②区间宽度反映精度（样本越大越窄）；③区间位置反映量级——即使显著，若整个区间都低于"实际重要阈值"（组织预设的最小有意义效应，如d=0.3），则结论应为"效果存在但不足以改变决策"，而非"培训有效"。
最小可检测效应量（MDES）与功效模拟
功效分析的正向问题是"给定样本能测到什么"，逆向问题是"这个结论能排除多小的效应"——后者才是阴性结果报告的规范内容：
| 场景 | 样本 | 可给出的MDES表述（双侧α=0.05，功效0.80） |
|---|---|---|
| 两组点击率先验各约30%，每组n=100 | n=100/组 | "本研究足以检出约16个百分点的组间差异；小于该值的效应无法被排除" |
| CSBI连续指标前后测，n=60 | n=60（配对） | "足以检出d≈0.37的效应；0.2量级的小效应不具备可检测性" |
| 全年4轮演练全员参与，n≈800 | n=800 | "足以检出约5–6个百分点的季度环比变化" |
蒙特卡洛功效模拟：当设计复杂（多层级嵌套：员工嵌套于部门嵌套于分公司；不等比例随机化；时变协变量）时，解析功效公式失效，应采用模拟法：①按假设的数据生成机制模拟数据集（如点击率从基线30%按衰减函数演化）；②跑拟定的分析模型、记录显著率；③重复1000–5000次，显著率即模拟功效。模拟参数（基线率、效应、聚类相关系数ICC）必须给出先验来源；ICC未知时可从组织历史演练数据估计——层级数据的ICC通常使有效样本量大幅缩水（设计效应DEFF=1+(m−1)×ICC，m为组均人数）。
缺失数据机制与处置：缺失不是随机噪声
完全随机缺失
随机缺失（可观测原因）
非随机缺失
- MCAR（缺失与一切无关）：罕见（如服务器日志丢失）。处置：完整案例分析不引入偏差，但损失精度；
- MAR（缺失可由已观测变量解释；如"高点击者更可能退出追踪"但点击记录已留存）：最常见假设。处置：多重插补（MI，m=20–50套）或全信息最大似然（FIML），两者在大样本下等价；
- MNAR（缺失与未观测值本身相关）：如"因羞愧而退出且未留下点击记录"。处置：无法从数据内部识别，只能靠敏感性分析（pattern-mixture模型：假设退出者比留任者差Δ个百分点，观察结论在Δ多大时翻转）。
演练场景的高危缺失模式
attrition偏差在本领域几乎必然存在：演练中表现差的员工更可能离职、更可能退订后续测量。仅对"留任者"做前后测对比会系统性高估培训效果。规范做法：①记录每一轮测量的响应者名单，分析"流失者 vs 留任者"的基线差异并报告；②意向性分析（ITT）为主：按原始随机分组纳入所有人；③以多重插补处理MAR成分；④用敏感性分析覆盖MNAR的合理范围。
多重插补执行要点：插补模型应包含分析中的全部变量（含结局）与辅助变量（部门、工龄、历史点击记录——与缺失强相关且已观测的变量能显著收窄插补不确定度）；报告插补套数m与汇合规则；对二分类结局使用logistic插补而非线性插补。
多重比较与错误发现率
一次季度复盘同时对"10个部门×5个指标"做50次检验，即使全部无效，期望也有约2–3次"显著"（50×0.05=2.5）。控制策略按目的选择：
- Bonferroni：α/m。最保守，适合"任一假阳性代价极高"的场景（如对外公布部门排名）；
- Holm：逐步下调，功效优于Bonferroni，同样控制族错误率（FWER），默认推荐；
- BH-FDR：控制错误发现比例（q=0.05），适合探索性分析（如"哪些偏差触发因素值得纳入下季度模板"）；
- 分层检验：先验设定主要指标（如CSBI）以完整α检验，次要指标作为支持性证据不做显著性裁决——这是CONSORT对多重性的首选方案，比事后校正更根本。
贝叶斯方法入门：用"概率"代替"门槛"
频率学派回答"P(数据|假设)"，贝叶斯回答"P(假设|数据)"——后者才是决策者真正想问的。最小可用集：
- 先验：小样本时先验影响大，应使用弱信息先验（如点击率差~N(0,0.5²)）而非无信息均匀先验（会在边界处失真）；先验选择必须在看到结果前定好并公开；
- 贝叶斯因子BF₁₀：数据支持H₁相对H₀的倍数。BF>10为强证据、3–10中等、1–3弱（Jeffreys惯例）；BF<1/3可视为"有证据支持无效"，这比"不显著"的模糊表述信息量大得多；
- 可信区间（CrI）+ ROPE：设实际等价区间ROPE（如点击率差±2个百分点以内视为无实际意义）：CrI完全落在ROPE外→存在有实际意义的效应；完全落在ROPE内→可接受"无实际意义效应"。
本专题为何不全面转向贝叶斯
贝叶斯方法对样本量小的组织内研究确有优势（连续监控、序列决策友好），但其结论依赖先验，且与外部基准（DBIR等频率学派文献）比较时需额外换算。务实立场：探索与内部决策用贝叶斯，对外对标与行业比较保留频率学派口径——两套结果并报告，结论一致则信心加倍，分歧之处正是需要更多数据的地方。
元分析入门：把单点证据变成证据体
单个组织的研究再严谨，也只是n=1。元分析（Meta-analysis）通过标准化效应量把多个独立研究聚合为总体估计，是"研究的研究"。核心概念：
- 固定效应 vs 随机效应：固定效应假设所有研究估计同一真实值（仅限统计抽样差异）；随机效应承认研究间真实异质性（人群、干预、测量不同），用τ²量化。跨组织聚合必须默认随机效应；
- 异质性I²：I²=0–40%低、30–60%中、50–90%高、75%+很高（Higgins & Thompson惯例）。高异质性时加权平均的含义存疑，应转向调节变量分析（组织规模？行业？培训形式？）——这比"平均效应多大"更有行动价值；
- 发表偏倚：显著结果更易发表，会推高合并效应。漏斗图不对称+Egger检验提示偏倚；本领域尤须警惕——厂商白皮书倾向发布"培训有效"的结果，而内部演练的阴性结果很少公开（"文件抽屉"问题，见第2页）；
- 组织内微型元分析：无需发表——把本组织历年各季度、各部门的同质对比（嵌入式 vs 传统提示）按固定效应模型合并，即可在数月内获得比任何单轮演练更稳定的效应估计，并为年度复盘提供"效应量轨迹"。
可复现性工程：让结论可被别人（和未来的自己）重跑
分析可复现性最低配置
- 原始数据只读存放，任何清洗步骤都在脚本中完成，禁止手工改表
- 分析脚本与数据字典同仓保存；随机种子显式写入（如set.seed(20260910)）
- 环境锁定：R使用renv、Python使用requirements.txt或环境锁文件，记录关键包版本
- 从原始数据到论文/报告图表"一键重跑"（make/R targets/Jupyter流水线）
- 口径变更写入CHANGELOG：哪个指标、何时、为何、影响哪些历史对比
- 去标识化副本与分析副本分离；分析副本中删除直接标识符（工号、姓名）
分析登记（Registration）的三个层级：①内部登记——实验开始前把假设与指标写入受控文档（共享盘+日期戳即可起步）；②OSF预注册——适合与学术机构合作的研究；③企业级实验登记系统——多团队并行演练时的必要基础设施。层级可低起步，但"先定后看"的纪律不可省略。
图表诚实性规范
- 轴：点击率趋势图的纵轴从0开始（差异天然是比例）；CSBI等指数轴可不从0起，但须明确标注断轴；禁止双轴图（两个不同量纲的序列强行共图制造相关性假象）；
- 比较基线：同比/环比必须标注口径变化（如演练模板更换、送达人群变化），否则"点击率下降"可能只是"这次邮件更容易识别"；
- 不确定度：任何点估计图（部门CSBI、季度报告率）附误差线（95%CI或至少±1SE）；小样本部门的宽CI本身就是重要信息；
- 标注示意：非实证数据（示意图、推演曲线）在图注显式标注"示意"，本专题已执行，务必保持。
小结
第6页把统计从"工具"升级为"纪律"：效应量+CI+MDES是报告的底线三件套，缺失数据按机制处置，多重比较按目的选校正，探索性结论可借贝叶斯表达证据强度，跨研究结论靠随机效应元分析聚合，全过程以可复现性工程兜底。第7页转向外部：用2025–2026年最新威胁情报校准演练设计。