问:貌似现在很多人都在说A/B测试,动不动就是测试。不知道到底哪些情况下是不需要做测试的呢?
答:明白你的意思,AB测试又被口语化了对吧,哈哈。我调研了一下总结为4个建议你可以作为参考:
有些情况叫做“先下手为强”,此时就是比谁入新市场的速度快而获得占据优势。所以这个时候如果还是在乎测试的好坏,那就得不偿失了。
A/B测试不应该是赶时髦的事情,而是要用真实数据去论证你对用户体验改良后的效果时,才应该考虑的东西。所以每个测试前是有原始目的的,不能没有计划没有周期,停停走走。
样本数量原则上是越多越好,这样测试的结果偏差更小。我之前看到在统计学里也有对某些样本数量的反推导。比如当前转化率是5%,你想通过ab测试来获得15%的提升(即5.75%),这种情况下,则需要至少9200个样本才够准确。
再有趣或是创意的测试也不能脱离原本你品牌的含义,搅乱整体UI,或是让用户误解你。这样对于长期的伤害是很大的,所以不要让短期兴奋影响长期的企业健康。