A/B 测试A/B Test
你可能会说
两个注册页别凭感觉选,把用户随机分组,用同一个指标比较哪个版本更有效。
把符合条件的用户随机分到不同版本,并用预先确定的指标比较结果的实验方法例如,同一时期的新访客可以随机看到两个注册页版本,再比较注册完成率。只比较改版前后数据,或测试中途不断更换指标,都不能提供同等可靠的因果证据。
先知道
也常被叫作AB 测试A/B TestingSplit Test分流实验对照实验
延伸阅读 · 权威出处
两个注册页别凭感觉选,把用户随机分组,用同一个指标比较哪个版本更有效。
一次实验只回答一个主要问题:先写清改变什么、预期影响哪个主要指标,避免同时修改多处后无法解释结果来自哪里。
同期随机分组并保持口径一致:符合条件的用户随机进入各版本,两组的目标人群、事件定义和时间范围需要一致。
提前约定怎样判断和停止:主要指标、保护指标、样本需求和停止规则在开始前确定;统计显著也不自动代表业务影响足够大。
请为这两版注册引导整理 A/B 测试方案,先写清单一假设、参与条件、随机分流方式、主要指标、保护指标、分析时间和停止规则。检查埋点能否对两组使用同一口径。只生成方案和验证清单,不要自动启动实验、修改流量或把暂时领先写成胜出;统计判断需要数据人员确认。