营销方案哪个好？A/B测试告诉你答案

通常，我们在进行一场营销活动前，员工会准备好几个不同的营销文案、广告文案供领导来选择。但是我们不能保证精挑细选出来的文案会获得高的客户转化率。

今天，我就给大家带来一种实用的解决这一难题的方法----A/B测试。

A/B测试，其核心是“确定两个元素或版本（A和B）哪个版本更好，需要同时实验两个版本，最后，选择最好的版本使用。网络上的A/B测试，比如设计的页面有两个版本（A和B)，A为现行的设计，B是新的设计，比较这两个版本之间测试者所关心的数据（转化率、业绩、跳出率等)，最后选择效果最好的版本。

简单来说A/B测试就是一种控制单一变量的实验方法。也就是在保持其他变量不变的情况下，通过改变单一变量的方法来获得不同的实验结果。这样，我们就能确定哪一种文案对营销活动是更有利的。

A/B测试的具体实施方式有很多种，网站、桌面应用、手机应用等对应不同的实施方式，但均是将选定的用户分为两组，一组使用旧版本，一组使用新版本，对试验中收集到的效果指标数据，应用统计学上的方法进行验证，选择效果最好的版本正式上线推广。

A/B测试的实质，是对照实验法在线上的实施，是与控制组、实验组的自然科学实验一脉相承的，其原理应用的是统计学上的一种假设检验（显著性检验)。在这一过程中，“假设检验是先对总体的参数提出某种假设（比如说转化率的平均值)，然后利用样本数据判断假设是否成立的过程。逻辑上采用反证法，先提出假设，再计算该假设可能性的大小……由于统计得出的结果来自于随机样本的数据，结论不可能为绝对的，所以只能根据概率上的一些依据进行相关的判断。依据小概率思想（即显著性水平p<0.05的小概率事件在一次试验中基本上不会发生)，也就是说当原假设的可能性小于认定的某一标准的话，则拒绝原假设（认为这个假设是不成立的)，反之则接受原假设。”

具体到A/B测试里的假设检验，试验的目的就在于推翻“A/B两个版本无差异”的原假设，验证“A/B两个版本有差异”的备择假设。最终，通过比较A/B两个版本样本数据的相关参数，来决定最终投放使用的版本采用哪一个。

进行A/B测试时，测试用户的选取是十分关键的环节，为保证试验结果的准确性，一是要保证一定的样本数量，二是要考虑用户细分。“在A/B测试的实验中，需要保证小流量的实验具备代表性，也就是说1%的流量做出来的实验结果，可以推广到100%的用户，为了保证这一点，需要保证1%的流量的样本特征与100%流量的样本特征具备相似性。”具体来讲，要将在某一特征上具有相似性的用户聚为一类，再将其随机分为控制组与实验组，如果“所有用户杂糅在一起，导致即使我们做了A/B测试，也得不出有效结果。所以，我们需要按用户群体细分去做A/B测试，高质量用户、留存用户、低质量用户、不活跃用户，它们的行为是怎么样的，这才是有效A/B测试的关键。”