思维工具箱A/B 随机对照测试
E19
A/B 随机对照测试
A/B Testing / Randomized Controlled Experiment
随机分组比较处理与对照的平均因果效应
这是什么
把合格单位随机分到处理组与对照组，用组间差异估计措施效果。随机化帮助平衡已知与未知因素，但分流、埋点、流失与组间干扰仍会搞砸。判断要看效应大小、区间、功效与业务价值，不能只看 p 值；不显著也不等于两方案等效。
示意图
什么时候用 / 别用
该用
- 页面、引导、运营动作能否改善行为尚不确定
- 用户足够、可随机分组、结果可观测
- 能控制实验间相互影响
别用
- 流量过小达不到最小有意义效应所需样本
- 反复偷看并在「显著」时停测（无序贯设计）
- 按成功曝光筛选用户破坏随机化
怎么做
准备：可检验假设、随机化单位与主/护栏指标；基线、最小有意义效应、显著性与功效；流量与实验周期、停止规则
- 预先写定人群、分流、指标、停止与分析方法，估样本
- 验证分流与埋点，必要时跑 A/A
- 运行至预定条件，监控安全与数据质量
- 按分配组分析，报告效应与区间
- 查护栏与长期影响，再决定上线；多指标处理多重比较
交付：实验方案、数据质量报告、效果区间、上线判断与后续监测
一个例子
假设示例 · 产品
【假设示例】51as.com 新手引导完成率对照 40%、实验 44%（＋4 个百分点）。还要看样本量、置信区间与后续真实使用完成率，不能只凭表面比例全量发布。
容易踩坑
- 偷看数据早停抬高误报
- 成功用户筛选破坏随机
- 不显著当成「没差」或「等效」
出处：在线产品实验中随机对照 A/B 测试的标准做法