靠实验做出的决策,比直觉强在哪儿?

杰里米·金从事技术工作近30年,过去15年里大部分时间在帮助企业运用实验和数据辅助决策。现任Pinterest技术高级副总裁的金与《哈佛商业评论》聊了聊实验法的益处,以及支持实验法所必不可少的企业文化。以下是采访节录:

HBR:对照测试是什么时候开始成为你工作的一部分的?

金: 从2001年到2008年,我在eBay工作,任期到了后半程的时候实验平台和对照测试成为焦点。早期许多实验关注的是公司的搜索引擎。我在eBay工作时网站上出售的商品非常多,我们一直在努力优化用户使用搜索功能时呈现出的结果。当时的目标是要让用户能搜到自己想找的东西,同时也要让用户有意外发现。像eBay、Etsy和Pinterest这样的平台,你不会希望搜索功能太过精确。你会想要鼓励探索发现,鼓励用户到处逛逛,发现新的东西。因此我们测试不同的搜索结果,评估交易量、点击率和浏览时间等,尝试寻找最佳平衡。

HBR: 一家企业是否需要某种特定的文化,才能够具备优秀的实验能力?

金:要想在实验方面成功,企业必须坚持根据数据作决定。对于多数在位公司而言,做到这一点需要转型变革。许多公司是让位高权重的人、相关的专家或直接负责人做决定,依靠的往往是直觉。而在数据驱动的公司,你不太会听到“我猜想......”“我敢说......”这样的话。我进入Pinterest的时候印象最深的是,最近六天里在公司大数据系统里查询过数据的员工多达65%。这些人不只是产品工程师和高管,还有HR部门和法务团队的人。在会议中,如果有人提出问题,大家并不会猜测答案,通常会打开笔记本电脑,开始查询客户交易信息,寻找有数据支持的答案。

HBR: 比较老的非数字化公司要转为这种环境有多难?

金:这种公司的第一大问题是员工无法访问数据。企业都喜欢讲数据民主,但这方面还有问题,比如个人隐私问题。我碰到过各行各业对此抱有怀疑态度的人,他们问:“我是否真的应该允许全公司所有的人看到所有数据?”数据民主需要投资和文化上的转变,不过,让公司更多的人有权限访问数据,带来的益处是很显著的,因为这样可以促成更好的决策制定。

HBR: 你在沃尔玛工作了近八年。请你形容一下沃尔玛的实验文化。

金:沃尔玛的员工依然在讲述八号店的故事。八号店是创始人萨姆·沃尔顿(Sam Walton)实验新方法的地方。挑选一小部分门店尝试新创意的做法保留至今:沃尔玛有大概十家店是专为实验而设计的,每个地区至少有一家。实验通常涉及楼层布局或交互设备等。我在沃尔玛的时候,我们尝试过让一个门店只开设自助结账,不设收银员。你可以想象,实体店的实验比在线实验慢得多。沃尔玛的文化还会受加盟零售商影响,零售商很有经验,有时候依赖直觉多于数据。这种看重本能的做法在一定范围内可以取得成功,但是像我们Walmart.com这样的大规模运营,每天推出几千种新产品,一个人的能力就很有限,不可能完全了解每一分类下的每种新产品,也无法预测新产品会在各地区各卖出多少。这项任务最好留给计算机。

HBR: 为了支持实验驱动的文化,你是否必须聘请不同类型的人才?

金:我不确定我们是不是请了不一样的人,但的确需要不一样的入职培训。像Facebook、谷歌和Pinterest这样的公司,入职培训是出了名的长。我有朋友在Facebook,他们的新员工要接受整整两个星期的数据培训,让每个人都理解什么样的数据是可用的、如何访问数据、如何充分利用数据支持决策。这种培训需要巨大的投资。

HBR: 公司是否会过度看重实验,反而拖慢决策?

金:我们Pinterest内部有过这样的争论。为了避免实验阻碍决策,我们运用“不参与”的方法。比如说你凭直觉觉得给网站做一点改动会有积极作用,你很有自信,那我们不用等上两个星期做对照测试,可以直接让99%的用户体验这种改动,保留1%的用户不接触改动。然后我们评估这99%的用户体验是否优于“不参与”的1%。这种方法让我们能够迅速实现改动,同时也能利用测试验证自己的直觉对不对。

HBR: 为实验投入的所有这些成本能不能获得相应的回报,你担心吗?

金:实验的成本相对较高,但我们获得的回报也非常可观,一般都是值得的。比如我们Pinterest进行了几项实验,考察机器学习如何检测违反社区规定的内容。我们建立了一个新的系统,显示对违规内容的检测能力提升了20%。如果没有几十次的对照测试,我们不可能实现这样的改进。比方说,我们开发了新的机器学习技术,识别和隐藏自残内容,让这样的内容在Pinterest上减少,于是去年用户关于此类内容的举报减少了88%。现在如果有人举报自残内容,我们的处理速度会比以前快三倍,这就意味着看到这种内容的人更少了。实验帮助我们做到了这种程度的改进。

HBR: 对照测试会不会也只是一时的风潮?

金:我觉得不会。我2004年开始用这种方法,到现在已经15年了。这类技术的力量只会越来越强大。用来进行实验的平台进一步推广,效率更高。我盼望着以后能看到更多公司通过实验做出更多的商业决策。

亚沃尔·波季诺夫(Iavor Bojinov)纪尧姆·圣雅克(Guillaume Saint-Jacques)马丁·廷利(Martin Tingley)|文

蒋荟蓉|译 刘筱薇|校 李源|编辑

《哈佛商业评论》联系方式

投稿及内容合作 | zhenminma@hbrchina.org

广告及商务合作 | luojiajin@hbrchina.org

公众号ID:hbrchinese

长按二维码,订阅属于你的“卓越密码”。

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章