闫宝龙

很多企业把“换个素材看看”叫测试。我通常不认，因为那只是调整，不是实验。实验要能回答一个明确的问题，并且允许你说“我错了”。没有假设的测试，做完也不知道自己学到了什么。下面这套判断标准，是我在项目里反复用的。实验的四个条件，缺一不可我判断一次投放动作算不算实验，看四样东西齐不齐。假设：我改什么，预期哪个指标往哪个方向变；对照：有不改的那一组，或者有可比的基线期；样本量：事先算过，够不够看出差别；结束条件：什么时候停，什么结果算成立。四样缺一样，结论就只能当参考，不能当依据。四样里最难的是对照。很多团队根本没有可比的组，只能拿历史数据凑，结论自然打折。没有对照，你只能和过去比，而过去从来不会原样重来。所以我看一个团队会不会做营销，先看它有没有留过对照组。失真，多半