闫宝龙

实验赢了，然后呢做投放的人都知道要实验：新创意、新落地页、新出价策略，先小流量测再放大。但实验到正式之间这段路，很多人走得太草率，实验组赢了一周，就直接全量切换，结果正式跑起来完全是另一回事。我早年也交过学费。一个新版落地页在实验里转化率高了三成，全量之后第一个月就被打回原形。问题不在实验，在从实验到正式之间缺了一套决策标准。显著性只是入场券统计显著性是最低门槛，不是终点。样本量够不够、置信区间宽不宽，这些先看。看完只说明这个结果不像是巧合，不说明这个结果可以照搬到正式环境。所以我在显著性之外，还会问自己三个问题，都答得上来才动手切流量。顺带一提，实验结论只在那个时间窗口里成立。竞品换了打法、行业起了波动，隔了一个季度的实验结果，我会当作过期处理。三个常被忽略的判断结果可解