今天已经周四了哎，每当周五的钟声🔔敲响，就觉得好开心哎～回归正题，我们今天聊一下 A/B 测试。

1. 为什么做 A/B 测试

A/B 测试是一种经典的验证假设的方法，即分为对照组（base）和实验组（exp）。实验会从整体流量中抽取部分进行实验，从部分流量中验证预判，并推断整体结果。

2. 做实验的目的是什么

一般是提出假设并进行验证。通过数据分析洞察相关性，再通过实验提出假设，最终判定结果。

举个例子：我通过数据分析发现提升互动特征权重，会提升 CVR 效果。于是分别设两组，base 为未提升互动特征的 CVR 模型，exp 为提升互动特征的 CVR 模型进行比对，看转化效果。

3. 明确你的业务指标

像是第二点举的例子，你最终要达成的业务指标是提升 CVR。业务指标一般可以拆解为两种：过程指标和结果指标。

1. 过程指标：影响你目标结果的相关指标，比如一个用户需要浏览、点击、下滑等最终才会到达 CVR（转化）的指标。展现 PV、展现 UV、点击 PV、点击 UV、CTR、UTR、下滑个数、下滑率就是你的过程指标。

2. 结果指标：你的最终目标，即 CVR。

明确了指标你就成功了一大半，但还有最重要的一点，就是这些指标的正负❗️比如你是否可以接受 CVR 的提升是 CTR 下降带来的。明确目标、明确自己的预期，才能对你做的实验进行判断❗️

4. 如何制定 A/B 实验

目前 A/B 实验基本分两种：互斥实验和正交实验。

1. 互斥实验：遵循单一变量原则，简单来说，做实验时圈定完了流量，这部分流量只能你用，别人不能用，通过流量互斥保证实验不受干扰。

2. 正交实验：通过流量分层的形式，可以让大家共享流量，整体流量分为 a、b 两块。当需要同时进行两个实验的时候，第一组实验的 base vs exp：a1b1:a2b2，第二组实验的 base vs exp：a1b2:a2b1，感兴趣的可以看下谷歌的分桶实验。

5. 怎么选择 A/B 实验样本

1. 抽样原则：唯一性、均匀性。

2. 抽样方法：完全随机分组、重新随机分组、自适应分组，一般都是完全随机用的比较多。

6. 如何进行实验分析

1. 流量置信：即你抽取的流量不会因为大盘流量波动而受影响。

2. 指标符合预期：实验结果中的关键指标符合预期设定。

3. 效果稳定：实验结果不会忽高忽低，具有一致性。

#大厂女孩 #互联网产品经理 #职场日常 #数据分析 #数据分析在行