返回知识库

产品方法 · 产品方法

A/B 测试A/B Test

A/B 测试是同一落地页的两版对照:随机分流、只改一处,用事先写下的指标和门槛拍板。

先认出两版落地页,再按门槛判断谁胜出

下面就是同一注册页的两版主按钮:A「免费开始」、B「立即创建」。只改文案。点「按指标判断」,胜负章盖在页面上——老板偏好一直停在 A,但不决定发布。

A 版 · 老板偏好

把想法变成页面

CTR 4.8% · n ≈ 300

老板偏好
B 版 · 只改文案

把想法变成页面

CTR 5.4% · n ≈ 300

待判断

尚未判断 · 600 / 1000

继续收集总样本 600,未到 1000。原因:未到门槛不下结论,0.6pp 可能是噪声。

下一步:点页面上的「按指标判断」;再切达标或按老板偏好。

知识点:同一流量、一处变量、门槛拍板

上面的两版页面已经演示了核心关系,这里只给可复用的命名。

  • 同一流量随机分两半对照,不按时间段切。
  • 只改一个变量:这里只改 CTA 文案。
  • 指标和样本门槛事先写下,先看数据再改标准叫 p-hacking。
  • 未到门槛不下结论;数据决定胜负,不是职位高低。

什么时候用、怎么用

两个版本吵不出结果时,用 A/B 把主观争议换成数据结论。

  • 信号:有两个真实备选、能拆成单一变量、有足够流量跑满样本。
  • 适用:CTA 文案、按钮颜色、列表默认排序、引导首屏。
  • 不适用:流量极小、改不了单变量、主指标难计数,或该先做 MVP。
  • 最短路径:写假设 → 圈唯一变量 → 定指标和门槛 → 随机分流 → 跑满再读数。

正反例:同一 CTA 实验,只换何时停

目标都是「决定上线哪个按钮文案」。差别只在是否跑满门槛。

正例只改文案,跑满 1000 样本后发布 B

变量、指标、门槛事先写清;B 的 CTR 更高,结论可写进实验日志。

反例第 2 天 B 领先就按老板偏好提前发布 A

样本未到门槛,对照被打断;把噪声和职位当成结论。

快速自测

实验跑到第 2 天,B 版 CTR 暂时领先,但总样本只有 300。哪个做法符合 A/B 原则?

继续查证

术语的技术定义和行为以这些一手或权威资料为准。

下一步学

和本知识点经常一起出现的概念。