把想法变成页面
CTR 4.8% · n ≈ 300
老板偏好产品方法 · 产品方法
A/B 测试是同一落地页的两版对照:随机分流、只改一处,用事先写下的指标和门槛拍板。
下面就是同一注册页的两版主按钮:A「免费开始」、B「立即创建」。只改文案。点「按指标判断」,胜负章盖在页面上——老板偏好一直停在 A,但不决定发布。
CTR 4.8% · n ≈ 300
老板偏好CTR 5.4% · n ≈ 300
待判断!尚未判断 · 600 / 1000
继续收集:总样本 600,未到 1000。原因:未到门槛不下结论,0.6pp 可能是噪声。
下一步:点页面上的「按指标判断」;再切达标或按老板偏好。
上面的两版页面已经演示了核心关系,这里只给可复用的命名。
两个版本吵不出结果时,用 A/B 把主观争议换成数据结论。
目标都是「决定上线哪个按钮文案」。差别只在是否跑满门槛。
变量、指标、门槛事先写清;B 的 CTR 更高,结论可写进实验日志。
样本未到门槛,对照被打断;把噪声和职位当成结论。
实验跑到第 2 天,B 版 CTR 暂时领先,但总样本只有 300。哪个做法符合 A/B 原则?
术语的技术定义和行为以这些一手或权威资料为准。
和本知识点经常一起出现的概念。