中科医院专家 http://www.jk100f.com/baidianfengzixun/zhiliaowuqu/43434.htmlA/B试验是数据分析师较为常用的对比分析方法，数据分析师掌握了A/B试验，可以解决工作中大部分选择最优方案的问题。这一节将会介绍A/B试验相关的知识点，包括什么是A/B试验；为什么需要A/B试验；A/B试验的流程以及A/B试验的常见误区。
01
什么是A/B试验
A/B试验是对比分析方法的一个类型，可以通过控制变量对比统一APP不同版本的打开率、或者对比相同网页不同颜色的按钮的点击率。从本质上来讲，A/B试验属于试验范畴，通过对用户进行随机分组，根据单一变量的原则为每一组用户分配一个实验方案，在相同的时间维度观察用户的反应已确定最佳方案。
以网页皮肤优化为例，原方案A中网页颜色为绿色，调整后的方案B网页颜色为黄色，如图1所示。为了确定用户对网页颜色的偏好，数据分析师设计了A/B试验实验，将特征相似的用户随机分成A、B两组让其分别进入不同颜色的网页当中，观察两组用户的网页点击率。最终结果显示，A组网页点击率为39.13%，而B组只有36.86%，那是否可以直接判定用户更喜爱绿色的网页呢？这个问题留给大家思考，后面会具体说明。
图1网页皮肤优化A/B试验
02
A/B试验能解决什么问题
A/B试验之所以能在数据分析领域广泛应用，是因为它能够解决大多数关于“选择”的问题，通过A/B试验选择出来的方案大部分情况下会使得投入产出比最大化。总之一句话，A/B试验可以辅助业务方选出最优方案并且在现有流量中获得更高的投入产出比。
1.评估方案优劣，选择最优方案
A/B试验实验的主要目的之一是判断两个方案哪个更好，以辅助运营选择最优方案，到达最好的效果。以网页皮肤选择为例，通过A/B试验实验确定用户对皮肤的偏好，以提升用户点击率，降低用户跳出率。
2.计算ROI从现有流量中获得更高的投入产出比
通过A/B试验选择最优方案的终极目的还是提升收益，量化收益，计算投入产出比(ROI)也是数据分析师需要掌握的技能。对于不同的方案而言，成本都是可以直接计算出来的；而对于收益来说，则需要计算实验组与对照组收益的差值来计算。
假设以总日活跃天(即DAU按日累计求和)作为收益指标,需要假设不做运营活动,DAU会是多少,可以通过对照组进行计算,即
/p>
日活跃天(实验组假设不做活动)=对照组日活跃天*(实验组流量/对照组流量)
收益(实验组)=日活跃天(实验组做活动)-日活跃天(实验组假设不做活动)
03
A/B试验全流程拆解
知道了什么是A/B试验及其作用，一起来学习下做A/B试验的完整流程。以用户对网页皮肤的偏好选择为例进行说明，A/B试验的实施流程可以归纳为以下七个步骤，如图2所示。
图2A/B试验全流程
1.设定指标
确定比较指标是在进行A/B试验的第一步，选取哪些指标进行对比需要根据测试的目的来决定。A/B试验中的指标可以分为三大类，分别是核心指标、辅助指标和反向指标，在进行A/B试验时建议同时选择三类指标作为试验指标。
通过A/B试验确定用户对网页皮肤的偏好就可以选择点击率作为比较的核心指标。为了排除同一个用户进行多次点击而造成的统计偏差，这里将点击率的统计口径定为去重的点击人数与去重的页面访问人数的比值。
除了核心指标之外，也需要一些辅助指标和反向指标。辅助指标的确定可以根据用户行为漏斗进行设定；也可以选择重要的下游指标，例如，平均点击次数、下单成功率、复购率等；反向指标是可能对产品产生负面影响的指标，例如，回跳率、退货率、回撤率、应用删除率等。
2.创建变量
选定指标之后，就需要进行变量的创建，即对网页的元素进行更改，将之前绿色的皮肤改为黄色皮肤。这部分工作由前后端配合完成。
3.生成假设
有了变量之后，可以基于经验对试验结果作出假设。例如，可以假设用户更喜欢改版后的网页。
4.确定分流（抽样）方案
如何分配流量、分配多少流量涉及到A/B试验的成败，尽量选择同质性较高的用户，也就是各个维度特征较为相似的用户进行测试，同时需要确定分流比例和其他分分流细节。
国内外很多的开源网站都提供了A/B试验样本量计算器，evanmiller[7]是其中一种。如图3所示，只需输入目前大盘基准值、预期试验提升效果、置信度以及功效等参数，即可计算出试验所需的样本值。目前大盘的基准值为41.68%，预期能够提升的比率为0.2%，如果估计不准，为了保证实验能够得到结果，此处可低估，不可高估，也就是0.2%是预期能够提升的最小值。在95%的置信度，80%的功效下每一组所需的最小样本量为95.万。
图3evanmillerA/B试验样本量计算器
如果预期的指标是均值相关的指标，例如人均时长、人均付费等指标，估算样本量可能就会稍微复杂，这时候需要运用T检验反算样本量，但同样可以使用各类开源的网页工具进行计算，这里不再赘述，只将常用A/B试验工具进行列举，如图4所示，以便读者比较和使用。
图4国内外常用的A/B试验样本量计算器
后续内容目录：
5.确定测试时长
6.收集数据
7.分析数据
04
A/B试验常见误区
1.忽略统计学意义
2.忽略新奇效应对于试验的影响
3.以偏概全-实验周期没有覆盖产品高低频用户
4.随意切割试验流量比例而造成辛普森悖论
具体内容，请参考下方拓展链接
