为什么互联网巨头如此热衷于A/B测试?

A/B 测试前身:历史悠久的对照实验

今天互联网巨头热衷的 A/B 测试,其实源于学术层面的“随机对照试验”,作为一种方法论,这种对照试验有着悠久的历史:

  • 1747 年,为了治疗坏血病,皇家海军的外科医生 James Lind 设计了一项实验。他测试了苹果醋、大麦水、橘子等六种不同药方。
  • 最终发现新鲜的橘子为最佳的治疗药物,尽管那时并不清楚是橘子中维 C 的作用。
  • 1835 年,医学史上第一次“双盲实验”在纽伦堡实现。一位名为弗里德里希的公共卫生官员,为对抗当时颇为流行的顺势疗法开启了一个赌注:将 25 瓶顺势疗法盐水和 25 瓶蒸馏水分发给 50 位双盲受试者。
  • 最后 8 位声称产生了治疗效果,但揭盲后发现,有 3 位喝的其实是蒸馏水,弗里德里希赢得了赌注。
  • 1935 年,统计学家兼生物学家罗纳德·费雪(Ronald Fisher)写了一本名为《实验设计》的书。在书中,他系统论述了随机对照实验的设计原则和统计检验的方法,成为实验设计领域的开山之作。
  • 1944 年,在制造原子弹的过程中,曼哈顿计划的领军科学家奥本海默,用 3 种方法测试如何分离铀 235,这一步骤成为整个项目中最关键的环节之一。
  • 1960 年代,大卫·奥格威用对照测试的方法验证广告的有效性——写两条不同的文案并要求报纸将其各印一半,同时在文案中留下索取免费样品的邮编和地址,但样式不一样,最终根据实际样品索取量来观察哪种文案效果更好。

……

可以清楚地看到,随机对照实验作为一种方法论,在现代科学和商业发展中发挥了重要作用。它本质上能通过控制单一变量的方法来寻找最优解决方案,已经被广泛运用到工程学、医学、教育学和多个领域的商业实践中。而我们今天要聊的 A/B 测试其实就是随机对照实验在互联网领域的具体应用。

A/B 测试,互联网巨头的标配

A/B 测试——又被称为小流量实验。

通常是针对某个功能/UI/逻辑策略等,提供两种(或多种)不同的备选解决方案,从总体用户中随机抽取一小部分流量,分配给不同方案,最终通过实验数据对比来确定最优方案。

今天,在硅谷和中国的互联网头部企业,A/B 测试已经成为业务发展的标配。我们简单梳理下 A/B 测试是如何风靡各大互联网巨头的——2000 年 2 月 27 日,谷歌搜索部门的一位工程师进行了互联网时代的第一次 A/B 测试——他想知道搜索结果每页展示多少条是效果最好的,当时默认为 10。实验是这样设计的:对于 0.1%的搜索流量,每页显示 20 条结果;另外两个 0.1%分别显示 25 条、30 条。这次测试从直接结果看并不成功——由于技术故障,实验组页面的加载速度明显慢于对照组,最终导致实验的相关指标下降。

但谷歌因此获得了意外收获——他们发现即便是0.1秒的加载延迟也会显著影响用户满意度。很快,谷歌将改善响应时间提升为高优先级事项。以这次实验为开端,A/B 测试在谷歌内部快速流行起来。

2012 年,据谷歌的首席经济学家范里安称,谷歌每年就会开展超过 5000 次的 A/B 测试。

亚马逊早期,工程师 Greg Linden 曾提出一个想法——在客户支付时,根据他们购物车中的商品,向他们提供个性化的“冲动购买”建议。他精心做了一个 Demo,但演示后当时亚马逊的一位副总裁武断地否决了这一想法。Greg Linden 并不气馁,他业余时间用三个半月完成了这一功能的开发,并对这个功能进行了小流量的测试。结果证明,即便是这个极其粗糙、简陋的版本,也让实验组用户的购买规模提升了 17%。

于是,“商品推荐”这个今天司空见惯的功能从此在亚马逊开启。

在 Facebook,CEO 扎克伯格曾公开宣称:

“在任何给定的时间点,都不会只有一个版本的 Facebook 在线上运行,而是有超过一万个,我们的实验框架能随时发现和感知用户最细微的行为差异。”

在中国,头部的互联网企业也都有自己的 A/B 测试平台。比如字节跳动的 Libra、美团的 Gemini、滴滴的阿波罗。张一鸣曾表示——“即使你有99%的把握某个名字比另一个名字更好,测一测又有什么关系呢?”

目前在字节跳动,每天同时进行的 A/B 测试达上万场,单日新增实验数量超过 1500 个,覆盖 400 多项业务。截至今年 3 月底,字节跳动累计已经做了 70 多万次 A/B 测试。

为什么互联网巨头热衷于 A/B 测试?

互联网公司大规模运用 A/B 测试并非偶然,这背后深层次的原因在于,A/B 测试是数据驱动理念的最佳落地实践。它能以最小的风险实现业务的有效反馈。

字节跳动在发布 APP 的时候,通常会给 APP 取多个名字,打多个包上架到应用市场进行 A/B 测试,观察不同名字的下载率、留存率等指标。这背后其实是一种尊重客观事实的决策哲学。事实上,在硅谷的互联网文化中,那些靠拍脑袋的决策有一个专有名词“HiPPO”—”Highest-paid person’s opinion”,即“公司收入最高的那个人说了算”。

谷歌的技术专家 Avinash Kaushik 曾说:

“大多数互联网产品都很糟糕,因为 HiPPO 创造了它们。”

Netflix 在 2016 年 4 月的一篇技术博客中写道:

“通过对照测试的方法,我们确保产品变更不是由最固执己见,和最有发言权的 Netflix 高管驱动,而是由实际的在线数据驱动,这是我们走向成功的基础。”

有人会问——A/B测试的决策思想其实由来已久,为什么直到现在才变得流行起来?

答案是——实验成本。

在硬件产品时代,产品的开发成本很高,一台电脑如果控制不同变量,事实上它就变成两台不同的电脑,本质上属于两条产品线,而开发多条产品线对于硬件产品的成本是非常高的。软件产品时代开发成本同样高昂,一个版本的 Windows 要开发数年,一个 3A 大作开发同样动辄数年,这样庞大的开发成本是无法同时进行不同版本的开发的。同时,无论是硬件产品还是软件产品,它们从开发、上市到客户反馈,这个周期是极其漫长的,这样冗长的周期也让灵活多变的 A/B 测试难以大规模应用。而到了互联网时代,每一个产品特性都可以快速迭代,每一次迭代都能迅速得到反馈。开发成本的降低和反馈周期的缩短——这两重因素无疑给A/B测试提供了极其便利的实践条件。

为了让 A/B 测试的价值得到更大发挥,很多互联网巨头还将这项能力开放给 C 端用户。比如今日头条发布文章的界面,作者可以取双标题和双封面,经过小流量的测试之后,推荐系统会自动推荐点击率高的标题。Facebook 的广告系统也给广告主提供了一项组合实验能力,即客户可以上传不同的标题、描述、封面和按钮。Facebook 自动对这些元素进行随机组合,形成多个创意进行 A/B 测试,自动将预算分配到转化率最高的创意组合上。

为什么今天传统的“广告大师”越来越少了?因为互联网广告在很大程度上不再依靠“大师”的灵光乍现,而是更多地依靠优化师每天测试无数版文案和素材,甚至很多文案是机器生成的。

如何利用工具做好 A/B 测试?

我们在上面的部分了解了 A/B 测试的原理和意义,很多公司会问:我知道在增长日益困难的今天,A/B 测试是一个好东西,那到底应该如何付诸实践呢?

的确,A/B 测试的实践并不是一个简单的过程,它比很多人想象得要困难,这个困难体现在几个层面——

首先,需要确定 A/B 测试的关键环节。A/B 测试到底测什么的问题,即企业必须清楚哪些环节是推动业务发展的关键,在关键环节上进行试验。如果找不到关键环节,在无关痛痒的环节上,无论做多少 A/B 测试也是徒劳的。

其次,需要确保 A/B 测试过程的科学性和合理性。比如控制单一变量,即确保实验组和对照组只有一个关键变量是存在差异的;比如确保流量分配的均匀随机,即实验组和对照组的流量是完全独立的,不存在互相影响的关系。

最后,还需要确定合适的评价指标。评价指标通常不止一个,是看 A 指标还是 B 指标?过程指标还是结果指标?短期指标还是长期指标?单个指标还是多重指标?这些都需要根据业务实际情况审慎决定。

总结

A/B 测试作为一种科学的实验手段,能够帮助企业在多种方案中寻求最优解,以最小的风险前置性地验证策略效果,为企业规避风险。作为互联网时代的企业,理性拥抱前沿趋势永远是最优的选择。

给TA打赏
共{{data.count}}人
人已打赏
设计方法论

图标的辅助图形如何设计?我总结了这5条实用经验

2021-6-22 14:25:53

设计方法论

如何来设计“时间显示”更专业?来看看大厂总结的方法!

2021-6-24 22:22:03

个人中心
今日签到
有新私信 私信列表
搜索