AB测试这项技术最早被应用于美国的互联网市场，进入国内市场也不过6、7年时间。2000年左右，以谷歌为首的互联网企业开始采用AB测试的方法，运用数据帮助企业做决策管理，降低试错成本，促进业务增长。
ab测试什么意思
AB测试是为Web和App的页面或流程设计两个版本(A/B)或多个版本(A/B/n)，同时随机的分别让一定比例的客户访问，然后通过统计学方法进行分析，比较各版本对于给定目标的转化效果，最后选择效果更好的版本正式发布给全部客户。
什么是 A/B 测试
通过运行A/B测试，比较新版本与当前版本用户体验的变化，收集数据并分析，根据数据分析结果衡量更改对业务的影响，可以确保每个更改都产生正向结果，从而消除创新和迭代风险，让业务快速增长。
AB测试步骤
A/B测试的步骤包括：现状分析、假设构建、人群分流、目标设置、A/B/n版本制作、数据收集、结果分析等。
AB测试的步骤
AB测试应用场景
1. 体验优化：A/B测试可以让运营者根据数据小心的更改用户体验。通过构建假设然后再验证，很好的了解界面元素如何影响用户行为。另一方面，假设也可能被证明是错误的，就是说，某些所谓最佳体验的观点在本案例中不适合。
2. 转化率优化：AB测试不仅仅能回答一次性的问题或解决分歧，还可以持续改进用户体验，不断提高某个目标转化率。比如希望通过广告着陆页提高销售线索质量和数量，可以尝试通过AB测试更改标题，图片，表单域，召唤语(Call to Action)和页面整体布局。AB测试有助于确定哪些更改对访客的行为造成影响。随着时间推移，可以合并试验中多个获胜更改到界面的新版本中。
3. 广告优化：通过测试广告文案，营销人员可以了解哪个版本能吸引更多点击。通过测试后续的着陆页，可以了解哪种布局更好地将访问者转化为客户。如果每个步骤的要素尽可能高效地获得新客户，那么营销活动整体支出实际上可以减少。
4. 算法优化：产品开发人员和设计人员可以使用AB测试来了解新功能或更改所带来的影响。产品发布，客户互动，模式和产品体验都可以通过AB测试进行优化，只要目标能明确定义，并且有清楚的假设。
A/B测试
AB测试并非“测试”
通常我们提到的“测试”是指工程测试，主要是验证产品功能、性能、易用性等方面是否满足设计预期。A/B测试与一般的工程测试有很大不同，它是通过用户行为分析用户心理，从而优化产品用户体验。
| 工程测试 | A/B测试 | |
|---|---|---|
| 关注点 | 设计、功能、代码程序等是否正确性 | 是否容易使用 |
| 关注角度 | 是否符合设计者的期望 | 是否符合用户的期望 |
| 执行时机 | 产品上线发布之前 | 产品上线发布之后 |
| 执行者 | 一般是工程技术人员 | 真正的用户 |
AB测试vs用户测试
A/B测试比用户测试(或调查问卷)更加客观和准确。用户测试虽然能够搜集用户直接反馈的意见，但是所收集信息往往有偏差和失真。尽管设计者制作调查问卷时费尽苦心，以“套取”用户真实想法，而实际上常常不能如愿。这是因为用户知道在参与测试后，行为会走样，另外用户可能出于种种顾虑不能如实回答问题。于此相反，AB测试是在用户不觉察的情况下进行，用户行为可以反应真实的心理状态。
| 用户测试/用户调查 | A/B测试 | |
|---|---|---|
| 用户是否感知 | 是 | 否 |
| 反馈收集方式 | 用户回答问题、发表意见 | 搜集用户行为数据 |
AB测试涉及的业务领域
A/B测试涉及市场、运营、产品和技术等领域，因此实施AB测试往往要多部门协同合作。这也是AB测试在管理上的难点。通过使用云眼A/B测试工具软件，可以减少市场、运营和产品部门对技术部门的依赖，降低实施AB测试的难度，提高实施效率。
AB测试涉及的业务领域
AB测试与管理模式和企业文化
A/B测试不仅会给企业带来管理模式上的变革，也会带来一股新鲜的基于试验和数据驱动的企业文化。AB测试成为互联网业务不可缺少的环节，也成为推广、运营、产品经理、数据分析师、开发人员的必备技能。
AB测试经济效益
| 优化前 | 优化后 转化率提高10% |
优化后 转化率提高20% |
|
|---|---|---|---|
| 从搜索引擎和广告引来的访客数 | 10,000 | 10,000 | 10,000 |
| 网络推广投入（假设每个点击2元） | ￥20,000 | ￥20,000 | ￥20,000 |
| 转化率（假设） | 5.0% | 5.5% | 6.0% |
| 转化的访客数 | 500 | 550 | 600 |
| 从节省成本角度，改进后节省投入 | — | ￥2000 | ￥4000 |
| 从增加收入角度，改进后增加收入 假设每个访客终身价值(LTV: Lifetime Value)￥100 |
— | ￥5,000 | ￥10,000 |
云眼AB测试SaaS基础版1万访客每月使用费仅￥500，带来收益却是￥5000+，投资回报率(ROI)10倍以上，A/B测试带来的经济效益是非常显著的。
