你将获得什么?
- 互联网人必懂的A/B测试方法论
- 手把手带你构建A/B测试流程体系
- A/B测试常见使用场景及误区
- A/B测试面试真题详解
课程简介
在大数据时代,业务的科学增长要靠数据来驱动。但是有很多人认为,数据驱动不就是做几次数据分析、产生一些报表嘛?当然不是了。要把数据真正用在公司/团队的业务决策流程中,A/B测试是非常关键的一环。
但A/B测试是一种实践性非常强的方法。其实,A/B测试的原理并不难,难的就是在面对千变万化的业务场景和数据时,该怎么灵活处理。毕竟在A/B测试都实施过程中,有太多琐碎的环节,也存在着太多的误区。
- 一个科学、规范的做A/B测试的框架是什么样的?
- 选取样本量时,真的是越多越好吗?
- 复杂业务场景下,怎么选取评价指标呢?
- 测试结果在预计时间之前达到了统计显著,实验是不是提前成功了呢?
很多人被这样的问题所困扰,这也是为什么我们经常会看到这样一个怪现象:如果没有扎实的统计学基础,那么肯定做不好A/B测试;可即使掌握了理论基础,在实施A/B测试中还是会遇到各种数据问题或者工程Bug。要是一不小心哪怕忽视了很小的一个点,实验结果就会变得不准确,所有的功夫就都白费了。
所以,我们特意邀请了美国互联网大厂FLAG的资深数据科学家张博伟,从框架搭建和实战解析两个层面,帮助你学会使用A/B测试,以及用好A/B测试。
老师将结合自己多年参与、主导A/B测试的经验,依据大量实践案例,从0到1帮你建立起一个科学、规范的做A/B测试的流程。除此之外,他还会梳理、总结出一些方法论,分享一些避坑经验,让你真正用A/B测试做好数据决策,让业务增长不止翻倍!
模块设计
课程主体包括三大模块。
统计篇:带你快速掌握A/B测试的统计学基础
这个模块精选了做A/B测试必须掌握的两大块统计学知识,包括A/B测试的理论基础假设检验、A/B测试的前提指标的统计属性,带你有针对性地、快速掌握A/B测试的理论知识。
基础篇:从0到1建立规范的A/B测试流程
这个模块将会按照做A/B测试的5个关键步骤来展开,也就是确定目标和假设、确定指标、选取实验单位、计算所需样本大小,以及分析测试结果。在讲解流程的同时,告诉你背后的原理,帮助你在实际应用时能举一反三。
进阶篇:带你绕过A/B测试实践中的坑
这个模块主要针对实际业务场景中潜在的坑,包括测试结果不显著怎么改善、A/B测试是不是万能的、多重检验等问题,还会为你梳理面试中常考的知识点。
此外,这个模块还会带你实战制作一个实用的样本量计算器,来解决网上工具参差不齐、适用范围有限等问题。
课程目录
开篇词 (1讲)
开篇词|用好A/B测试,你得这么学
统计篇:A/B测试的前提与理论基础 (2讲)
01 | 统计基础(上):系统掌握指标的统计属性
02|统计基础(下):深入理解A/B测试中的假设检验
基础篇:从0到1,带你建立规范的A/B测试流程 (7讲)
导读 | 科学、规范的A/B测试流程,是什么样的?
03|确定目标和假设:好的目标和假设是什么?
04|确定指标:指标这么多,到底如何来选择?
05|选取实验单位:什么样的实验单位是合适的?
06 | 选择实验样本量:样本量越多越好吗?
07| 分析测试结果:你得到的测试结果真的靠谱吗?
08 | 案例串讲:从0开始,搭建一个规范的A/B测试框架
进阶篇:怎么在A/B测试的实践中避坑 (7讲)
09 |测试结果不显著,要怎么改善?
10|常见误区及解决方法(上):多重检验问题和学习效应
11 | 常见误区及解决方法(下):辛普森悖论和实验组/对照组的独立性
12|什么情况下不适合做A/B测试?
13|融会贯通:A/B测试面试必知必会(上)
14|举一反三:A/B测试面试必知必会(下)
15|用R/Shiny,教你制作一个样本量计算器
结束语 (3讲)
结束语|实践是检验真理的唯一标准
结课测试题|这些A/B测试的知识你都掌握了吗?
加餐|试验意识改变决策模式,推动业务增长
讲师介绍
张博伟,目前在硅谷大厂FLAG任资深数据科学家,7年+数据科学从业经验。
擅长A/B测试在增长方面的应用,与工程、营销和产品团队合作,通过A/B测试已累积为公司带来百万级用户增长;作为数据科学的接头人,和工程团队一起改进提升公司内部的A/B测试平台。目前在FLAG作为数据科学Lead参与制定千万级用户产品的增长计划。
博伟老师还是热心的传道解惑者。在FLAG任职期间,已为数据分析、营销和产品团队提供数十场A/B测试的讲座和上百次的咨询,给他们讲解A/B测试的最佳实践以及避坑经验。