🌟Udacity的AB Test课程笔记系列

1. AB Test的局限性

• 不擅长的方面：

• Testing New Experience：测试新体验

• Tell if you are missing something：判断是否遗漏某些东西

• 引入了Change Aversion（变更厌恶）和Novelty Effect（新奇效应）

2. 常用指标

• Click Through Rate (CTR)：点击率

• Click Through Probability (CTP)：点击概率

• 区别：CTR不按用户数计算，而CTP的最小单位是用户。记忆方法：Person是p开头，所以CTP与人/用户相关。

3. Binomial Distribution和CI的计算

• Binomial Distribution：二项分布

• CI：置信区间

• CTP一般被视为二项分布

4. Hypothesis Test（假设检验）

• 单边和双边：

• 单边检验（one-tailed test）

• 双边检验（two-tailed test）

• 配对检验：要用pooled standard error（合并标准误差）

5. Statistical Significance和Practical Significance

• Statistical Significance (SS)：统计显著性

• 更有重复性（Repeatability）

• Practical Significance (PS)：实际显著性

• 具有现实意义（不同的行业差别也很大）

• 一般SS会低于PS，所以满足PS的一般也会满足SS

6. Size和Power

• Power：统计功效

• 计算公式：Power = 1 – β

• β：第二类错误（取伪），越小越好

• Power：正确拒绝原假设的概率，也是敏感度（sensitivity），越大越好

7. 计算Size的方法

• Size Calculation：计算样本量的方法

#datascience #北美求职 #DS #面试 #ABtest #ds #北美留学 #北美找工作 #BA #数据分析 #商业分析 #DS面试