“上周把出价降了15%，这周线索成本降了，说明降价有效。”这句话在复盘会上很常见，但经不起追问。同一周行业展会结束、竞品缩了预算、销售回访从半天缩到两小时，任何一个都足以让成本下降。
要判断一次调整的真实效果，只有一条路：同时保留实验组和对照组，除被测变量外其他条件尽量一致，并在开测前算清能识别多大的差异。
前后对比不是测试，是叙事。叙事可以解释任何结果，测试只能给出一个范围。
一、前后对比为什么会失真
搜索广告的日常波动本来就大。一个账户月均100条线索，按周分布，单周上下浮动20%属于正常。你在这周做了调整，看到的“变化”很可能只是波动落在了一个好看的位置。
还有四类系统性干扰：季节性需求、竞品动作、平台流量结构变化、销售端跟进效率。它们和你的调整同时发生，前后对比无法拆分。
更隐蔽的是均值回归。上月成本异常高的计划，这个月即使什么都不做，也会往平均值回落。把它归功于“优化”，是把自己骗得很舒服。
二、三种能落地的分组方式
地域分组
把体量相近的城市配成两组，一组执行新策略，一组维持原策略。适合测试出价策略、落地页、地域溢价。优点是互不干扰，缺点是城市之间需求结构不同，配对要花点功夫。
计划AB组
复制一条计划，一组改出价或匹配，一组不动，预算尽量均分。适合测试匹配方式、创意、出价方式。难点在于两条计划会互相竞争同一批流量，需要错开时段或用不同关键词包。
时间轮换
单量太小、无法拆分流量时使用。第一周用A策略，第二周用B策略，交替四到六轮，再比较均值。它能抵消部分季节性，但要求业务没有明显周内规律，否则会把周一和周末的差异算进去。
三种方式里，地域分组最干净，计划AB最灵活，时间轮换最省流量但最不精确。单月线索少于30条的账户，建议直接用时间轮换，别硬拆。
三、开测前先算：这组数据够不够
样本不足是所有测试失败的头号原因。一个粗略公式：每组所需样本量约为 16 × p × (1−p) ÷ d²，p是基线转化率，d是想识别的绝对差异。
举例：落地页转化率基线5%，你想识别提升到6%，差异1个百分点。代入公式，每组约需 16×0.05×0.95÷0.0001 ≈ 7600 次点击。按月点击5000次计算，这个测试要跑三个月，显然不现实。
这时候只有两个选择：把目标改大，比如只测“能否从5%提到7%”；或者换更容易积累的指标，比如用“有效线索率”替代“成交率”。硬测一个识别不出来的差异，最后只会得到一句“差不多”。
经验阈值：每组至少50个转化，只能看方向；150个以上，才适合下结论。低于30个转化的测试，建议不要对外汇报。
四、把变量锁死
- 预算同比例，别让实验组多花钱。预算不同，展示份额不同，点击质量也会不同。
- 出价方式保持一致。测落地页时改智能出价，等于同时动了两个变量。
- 投放时段、地域、设备保持一致，尤其是B2B，工作日和周末的线索质量差别很大。
- 销售跟进规则一致。实验组线索被优先回访，转化率当然更高，但这不说明广告变好了。
- 只改一个东西。标题、落地页、出价一起改，即使结果变好，也不知道该保留哪个。
五、测多久：两个完整周加一个决策周期
最短两周，因为第一周通常还在学习期，数据不稳定。更稳的做法是覆盖一个完整的客户决策周期：客单价低、当天咨询当天成交的，两周够；决策要一个月的，至少跑四周。
不要因为第三天的数据好看就提前结束。提前停止会系统性高估效果，因为你想停的时候，往往正是波动向上的时候。
六、结果怎么判：差异要大于噪声
最实用的判断方法：看两组指标的差异，是否超过两倍标准误。标准误可以用 Simplified 方式估算，转化率的标准误约等于 √(p(1−p)/n)。两组相比较时，差值小于两倍合并标准误，基本可以当作“没变”。
假设实验组转化率6.2%（样本800），对照组5.4%（样本800），差值0.8个百分点。标准误约1.1个百分点，两倍就是2.2个百分点，差值远小于它，结论应是“未观察到显著差异”，而不是“提升了15%”。
除了主指标，还要设护栏指标：线索质量、退款率、页面停留、销售接通率。主指标涨了、线索质量掉了，这种“胜利”在两个月后会变成成本上升。
七、把测试记录下来
每次测试留一条记录：假设、变量、分组方式、起止时间、样本量、主指标、护栏指标、结论、后续动作。十条记录之后，你会发现自己反复在同样的假设上打转，这比任何单次结论都值钱。
记录里要写“无效结论”。测了没差别，也是有价值的信息，它说明这个变量不是当前的瓶颈，别再花时间。
八、四个常见错误
用全账户做实验。没有对照，只能写故事。宁可少测，也要留一组不动。
测试期同时做其他优化。这是最常见的污染源。开测前把账户冻结，除被测变量外一律不碰。
只看均值，不看分布。整体成本没变，但高价值城市的成本涨了30%，这种结构性变化在均值里看不见。
把一次结果当规律。一次测试只证明“在这个账户、这段时间、这个预算下”有效。换行业、换季节，要重测。
总结
先问自己有没有对照组。没有，就别用“调整后变好”这种句式。有，再问样本够不够、变量锁没锁、周期覆没覆盖决策链。
开测前用公式估样本，每组至少50个转化看方向，150个以上再下结论；差异小于两倍标准误，就老实承认没测出来。
最后把测试写进流程：一次只动一个变量，冻结其他操作，记录无效结论。做到这三点，账户的每一次调整才有可复用的依据。
来源：闫宝龙，GEO优化专家、企业AI搜索增长顾问，专注帮助企业通过GEO优化和AI搜索优化获得精准客户。主营服务：GEO优化｜AI搜索优化｜SEO增长｜企业官网优化｜AI内容营销｜海外数字营销