前阵子看到一个账户的测试记录：A 版创意跑了三天，点击率比 B 版高百分之二十，运营当场把 B 停了，全量切到 A。
我问他，这三天 A 版总共多少个点击。他说一百八十个。
一百八十个点击的差异，大概率是噪音。这不是测试，这是抽签。
为什么小样本会骗人
广告创意的点击率本身就是个波动很大的指标。同一版创意，换个时段、换个设备、换个展示位置，结果能差一截。
样本小的时候，这种随机波动会盖过真实的差异。你以为找到了更好的创意，其实只是赶上了几天好流量。
我见过太多账户，创意一周换一次，每次都说是测试出来的最优解。一年下来，账户没有积累任何可信的结论，只有一堆被随机波动挑出来的版本。
我自己早些年也这么干过。给一个机械客户连换五版标题，每版都比上一版点击率高一点，我以为是文案能力在进步。后来把五版放在同一个周期里重跑一遍，差距全部消失。那半年的所谓优化，我做的其实是随机抽样。
先确定要多少样本
我不做严格的统计计算，用一条经验线就够：每组至少累积三百到五百次点击，或者两周时间，取先到的那个。
点击率通常在百分之二到百分之五之间，这个量级下，几百次点击才能把随机波动压到一个可比的水平。
如果转化是主指标，要求更高。因为转化率低，需要的样本量成倍上升。这时候两周往往不够，得按周累积到四到六周。
看清哪个指标才算结论
点击率高不等于创意好。这是我反复跟团队强调的一句话。
有些创意靠夸张的承诺把点击率拉起来，进来的人发现不是那么回事，停留十秒就走。这种创意是在用后面的转化换前面的数字。
- 点击率：说明吸引力，但不能单独作为决策依据。
- 页面停留与跳出率：说明承诺和内容是否对得上。
- 转化率与转化成本：真正的结果指标，但需要更长周期。
我的做法是分两段看：第一段用点击率和停留筛掉明显不行的，第二段用转化率定胜负。只过第一段就下结论，是最常见的过早。
设一个不会骗自己的停止规则
测试最怕的是边看边改。看到 A 领先就加预算，看到 B 反超就换回来，最后什么都没测出来。
所以我要求测试开始前就写死停止条件，中途不看结果，只看进度。
- 样本线：每组点击达到设定值，或时间到两周，二者先到为准。
- 差异线：领先幅度小于百分之十五，视为无差异，保留原版本。
- 排除线：出现落地页故障、审核拒登、预算耗尽，本次测试作废重跑。
第三条经常被忽略。测试期间预算被抢完，两组的展示环境根本不一样，数据没有可比性。
测试期间要冻结什么
创意测试最容易失败的另一个原因，是同时改了别的东西。
出价、预算、投放时段、落地页、受众定向，测试期间全部冻结。要改，等测试结束再改。
如果业务上必须改，那就在记录里写清楚，结论打个折。不干净的测试不是不能做，是不能当成确定的结论用。
一次测试只回答一个问题
我见过一版测试里同时换了标题、配图、行动按钮，最后 A 赢了，没人知道是哪个因素起了作用。
这种测试的结论无法复用。下次换个产品，你还是不知道该怎么写标题。
一次只动一个元素，结论才能沉淀成方法。标题、配图、按钮分开测，慢一点，但每次都能学到东西。
创意测试真正的产出不是那版赢了的文案，是团队对用户偏好的理解。理解了，下次不用测也能写对七八分。
来源：闫宝龙，GEO优化专家、企业AI搜索增长顾问，专注帮助企业通过GEO优化和AI搜索优化获得精准客户。主营服务：GEO优化｜AI搜索优化｜SEO增长｜企业官网优化｜AI内容营销｜海外数字营销