满足AB测试的四个前置条件优测云服务平台总结分享

2020-12-10  优测 

优测云服务平台总结满足AB测试的四个前置条件

AB测试在产品迭代过程中还是必要的。那么是不是所有产品迭代或者优化都需要做AB测试呢?我觉得不一定,需要具体情况具体分析,我认为下面4点是需要利用AB测试来做决策的前置条件。

1 .必须是有大量用户的产品或者功能点
如果你的产品只有很少的用户使用,比如一些政府部门的官网。由于用户少,分组后用户更少。根据上面AB测试的统计学解释(大量随机样本产生的影响的均值是正态分布,样本量小就不是,这时其他因素的影响就可能无法抵消,导致控制变量的比较就无意义),根据很少的用户得出的结论是不具备统计学意义的。所以即使做了AB测试,得出的结论的有效性是无法用统计学原理支撑的,因此是不可信的。

同样的,某个产品虽然用户多,但是如果某个功能点只有很少用户用,这跟上面道理是一样的,是无法做出可信服的结论的。

同样的,某个优化太细(用户意识到这种改变的概率很小),比如就看某个推荐位的颜色深浅是否对用户点击是否有影响,这时也需要大量的用户对这个位置的访问才可以得出比较有指导意义的结论。

2 .进行AB测试的代价(金钱&时间)可以接受
如果做AB测试的代价太大,比如需要消耗大量的人力财力,这时做AB测试的产出可能小于付出, 这时做AB测试就是费力不讨好的事情了。

3 .有服务质量提升诉求
如果某个业务或者功能点用户极少使用,并且也不是核心功能点,比如视频软件的调整亮度,这个是一个很小众的需求,只要功能具备就可以了,好用和不好用对用户体验影响不大,这时花大力气对它进行优化就是没必要的。

4 .变量可以做比较好的精细控制
如果某个功能影响的变量太多,并且我们也无法知道哪个变量是主导变量,甚至都不知道有哪些变量对它有影响,这时就很难利用AB测试了。因为,AB测试需要调整一个变量同时控制其他变量不变。


260°/2609 人阅读/0 条评论 发表评论

登录 后发表评论