白癜风的危害 http://m.39.net/news/a_6326476.htmlABtest越来越受到大家的重视,快速的、灵活的快速对比实验能迅速的找出问题所在,避免了大范围的资源浪费。所以设计一个好的实验是至关重要的。
一、A/B测试是什么
简单来说,A/B测试在产品优化中的应用方法是:在产品正式迭代发版之前,为同一个目标制定两个(或以上)方案,将用户流量对应分成几组,在保证每组用户特征相同的前提下,让用户分别看到不同的方案设计,根据几组用户的真实数据反馈,科学的帮助产品进行决策。
A/B测试的应用方式决定了它拥有的三大特性:先验性、并行性和科学性。
先验性:A/B测试其实是一种“先验”的试验体系,属于预测型结论,与“后验”的归纳性结论差别巨大。同样是用数据统计与分析版本的好坏,以往的方式是先将版本发布,再通过数据验证效果,而A/B测试却是通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论,这样就可以用很少的样本量就能推广到全部流量可信。
并行性:A/B测试是将两个或以上的方案同时在线试验,这样做的好处在于保证了每个版本所处环境的一致性,便于更加科学客观地对比优劣。同时,也节省了验证的时间,无需在验证完一个版本之后再测试另一个。
科学性:这里强调的是流量分配的科学性。A/B测试的正确做法,是将相似特征的用户均匀的分配到试验组中,确保每个组别的用户特征的相似性,从而避免出现数据偏差,使得试验的结果更有代表性。
二、A/B测试的使用误区
误区一:轮流展现不同版本
首先需要明确,这种做法不是真正意义上的A/B测试。而这一现象,经常出现在如今的广告投放的环节。广告主为了提升着陆页的转化率,会选择将不同的广告版本进行轮流投放展示。
但这一做法并不能保证每个版本所处的环境相同,例如选在工作日的晚七点*金档和下午三点时段,受众群体会有明显区别,以至于最终效果是否有差异,甚至导致效果不同的原因是很难下定论的。
正确做法:不同版本方案并行(同时)上线试验,尽可能的降低所有版本的测试环境差别。
误区二:选择不同应用市场投放(随机选取用户测试)
对于一些已经意识到数据先验重要性的企业来说,为了验证新版本对于用户使用真实影响,可能会选择将不同版本打包,分别投放到不同的应用市场,当发现其中某版本的数据表现的最好,就决定将该版本全量上线。
更有甚者,会随机选取一部分用户(甚至是公司内部人员)进行前期试用,根据数据反馈决定迭代版本。这都违背了A/B测试的科学流量分配的原则,很容易造成辛普森悖论(即某个条件下的两组数据,分别讨论时都会满足某种性质或趋势,可一旦合并起来考虑,却可能导致相反的结论)。
正确做法:科学的进行流量分配,保证每个试验版本的用户特征相类似。
误区三:让用户自主选择版本
不少企业会在新版的页面上留下返回老版本的入口,让用户自主选择使用哪一版,通过收集返回按钮的点击率来判断最佳版本。但该思路不利于统计分析用户在新版的行为数据,因为用户离开新版本可能单纯是因为习惯使用老版本,而不是认为新版本的体验不好,最终导致了试验结果的不准确。
正确做法:让用户展现对不同版本的真实使用体验,企业则应实时