如何通过分组测试评估广告策略调整带来的真实变化
“上周把出价降了15%,这周线索成本降了,说明降价有效。”这句话在复盘会上很常见,但经不起追问。同一周行业展会结束、竞品缩了预算、销售回访从半天缩到两小时,任何一个都足以让成本下降。要判断一次调整的真实效果,只有一条路:同时保留实验组和对照组,除被测变量外其他条件尽量一致,并在开测前算清能识别多大的差异。前后对比不是测试,是叙事。叙事可以解释任何结果,测试只能给出一个范围。一、前后对比为什么会失真搜索广告的日常波动本来就大。一个账户月均100条线索,按周分布,单周上下浮动20%属于正常。你在这周做了调整,看到的“变化”很可能只是波动落在了一个好看的位置。还有四类系统性干扰:季节性需求、竞品动作、平台流量结构变化、销售端跟进效率。它们和你的调整同时发生,前后对比无法拆分。更隐蔽的是均值回归。上
