实验赢了，然后呢
做投放的人都知道要实验：新创意、新落地页、新出价策略，先小流量测再放大。
但实验到正式之间这段路，很多人走得太草率，实验组赢了一周，就直接全量切换，结果正式跑起来完全是另一回事。
我早年也交过学费。一个新版落地页在实验里转化率高了三成，全量之后第一个月就被打回原形。问题不在实验，在从实验到正式之间缺了一套决策标准。
显著性只是入场券
统计显著性是最低门槛，不是终点。样本量够不够、置信区间宽不宽，这些先看。看完只说明这个结果不像是巧合，不说明这个结果可以照搬到正式环境。
所以我在显著性之外，还会问自己三个问题，都答得上来才动手切流量。
顺带一提，实验结论只在那个时间窗口里成立。竞品换了打法、行业起了波动，隔了一个季度的实验结果，我会当作过期处理。
三个常被忽略的判断
结果可解释吗
赢得说不清道理的实验，我一般不敢用。比如新落地页转化涨了，但你既不知道是加载快了，还是信息更清楚了，那就不知道它为什么赢，也就不知道它什么时候会输。
能解释的结果才可复制。解释不通的时候，宁可补一轮实验，把变量拆开再测。
可解释还有个好处，是能举一反三。搞清楚了原因，同样的思路可以搬到其他广告组，一次实验的价值就翻了好几倍。
样本覆盖主要场景吗
实验跑了七天，正好赶上行业大促周或者竞品停投周，这数据就不干净。样本至少要覆盖完整的周期和主要场景：工作日和周末、新老访问者、主流设备和主要市场都要进到样本里。
我的习惯是实验至少跑满两个完整的周循环，再谈结论。
还有个容易漏的场景：实验期间正好赶上某个市场的展会季，流量构成和平时不一样。这种时段的数据，我一般单独标注，解读时打折扣。
换到正式规模还成立吗
实验环境是理想化的：预算受限、流量切片、排期干净。正式投放一放大，出价环境变了，触达构成变了，实验里的优势可能被规模化稀释掉。
假设实验在两成流量上验证，放大到全量后均价和竞争密度都是新的，结果未必保持。另外，实验和正式用的出价策略如果不一致，结论基本作废，实验环境要尽量模拟正式环境。
我的决策门槛清单
把上面的思考固化成一张清单，实验转正式之前逐条过。
- 显著性达标，且样本覆盖至少两个完整周期
- 结果有明确的业务解释，说不通的不上
- 核心指标赢，同时点击率、成本这些辅助指标没有明显恶化
- 放大后涉及的预算和流量规模，已经在实验中被验证过边界
- 回滚方案准备好，正式期一恶化可以快速切回旧版
- 实验和正式的出价策略、账户结构保持一致
放量要阶梯
就算清单全过，我也不建议一步到位。放量要阶梯，从实验比例往上翻，每一级稳定一周再看下一步。
- 实验两成流量赢了，先放到四成，观察成本和转化是否同步走好
- 每一级都复核一次门槛清单，指标走形就停在这一级
- 全量之后继续保持两周观察期，和旧版的数据留好对照
- 阶梯之间不要叠加别的改动，一次只验证一个变量
写在最后
实验和正式投放之间，差的不是统计知识，是纪律。清单看起来啰嗦，但它省下的是全量失败后一个月的预算和团队的信心。
如果团队里不止一个人管账户，这套标准更要写清楚。标准统一了，实验结果才有资格进入正式投放的讨论。
把标准写下来，比每次临场拍脑袋可靠。你的决策门槛越清楚，实验就跑得越快，因为知道什么样的结果可以直接动手。
来源：闫宝龙，GEO优化专家、企业AI搜索增长顾问，专注帮助企业通过GEO优化和AI搜索优化获得精准客户。主营服务：GEO优化｜AI搜索优化｜SEO增长｜企业官网优化｜AI内容营销｜海外数字营销