躲猫猫!有时候没有数据就是答案

188bet金宝搏官网OkCupid对我们的数据分析感到自豪。虽然我们以分享关于人们如何约会的见解而闻名,但我们现有的过程导致这些见解超越了约会的范畴,我们希望你能将它们应用到你自己的工作中!在这篇文章中,我们将探讨如何在我们的数据中测量新奇效应和零假设,并影响我们的决策过程。

新奇的效果

我们不断地进行实验,以改善我们的成员的体验,但是,没有两个成员是相同的。我们不会坚持一个适用于所有人的方法——尤其是当涉及到爱和更深层次的联系时。我们的应用是独一无二的,因为爱需要互惠和相互互动。由于这些相互依赖的联系的本质,我们不得不发明新的方法来分析我们的一些实验.即使如此,当我们进行实验时,我们也看到了一些独特的经验,在没有可检测数据的情况下,产生了令人信服的结果。

让我们以最近的UI更改为例:我们最近更新了费率卡的颜色。

设计更现代,表面上,似乎与我们的旧设计持平。所以,把它运出去,对吧?实际上,不!

通常情况下,我们也会根据新老成员分析所有更新内容。这有助于我们评估新奇的效果维基)(当产品的新变化由于“新奇”而非实用性而导致行为激增时)。当我们分解新老成员的设计变化时,我们发现新设计的吸引力推动了现有成员购买的显著提升。新成员的情况就不同了;他们购买的少得多——导致整体业绩下降!从表面上看,我们似乎可以发布新设计,但通过简单的数据裁剪,我们发现新奇效应会错误地夸大结果。

经过一些快速的调整,我们发布了带有新配色方案的第二个版本。仅用了几个小时的开发时间和重新启动实验后排除那些暴露在首次运行(这是很重要的,以防止污染我们的数据集与偏见的用户),我们驱车显著提升kpi为新的和现有的成员——证明第二种设计更好的产品。

否定零假设

另一个数据看起来有点落后的时候是“防御性”实验。对于一些实验,我们希望在控制组和测试组之间看到kpi没有显著变化。例如,为了消除技术债务,我们重写了一个网页来通过GraphQL获取信息。当然,我们在发布之前进行了QA,并编写了大量的单元测试来验证性能,但我们并不知道它在不同的浏览器和设备上的性能如何。在Ok188bet金宝搏官网Cupid,我们可以使用我们的实验系统!

我们称这种实验为“防御性”。与所有实验一样,我们希望收集数据来推翻零假设。因为我们希望新的GraphQL页面和我们的遗留页面之间不会有任何变化,在这种情况下,我们实际上希望我们不能反驳零假设。

我们该怎么做呢?我们需要做一个动力分析为了确定数据量,我们需要在我们选择的阈值下的最小可检测效应大小内一致否定原假设。这意味着我们不希望两组之间的结果一旦超过所选择的阈值就具有统计学意义——而且在我们达到那个权力级别之前,我们不能进行实验。

在这种情况下,实验发现两组人的行为变化很小,与权力相比被证明是微不足道的,也就是说,这是成功的!有时候没有正面数据就是好消息。现在,我们对OkCupid上的消息如何与来自GraphQL的数据相结合感到放188bet金宝搏官网心。

结论

不管是否定新奇效应还是零假设,OkCupid有一个强大的实验系统,可以在很多方面用来测试和衡量我们的程序员对我们会员的影响。188bet金宝搏官网我们总是不断迭代,让我们的成员更容易找到爱。虽然我们对如何做到这一点有一个清晰的愿景,但有时数据本身并不能告诉我们整个故事。

最初发表在https://tech.188bet金宝搏官网okcupid.com2019年11月19日。

188bet金宝搏官网OkCupid科技博客

阅读来自工程团队的故事,每天连接数百万人

媒介是一个开放的平台,1.7亿读者可以在这里找到深刻和动态的思考。在这里,专家和未被发现的声音同样会深入任何话题的核心,并带来新的想法。了解更多

关注与你有关的作家、出版物和主题,你会在你的主页和收件箱中看到它们。探索

如果你有故事要讲,有知识要分享,有观点要提供,欢迎回家。发布你对任何话题的想法都是很容易和免费的。开一个博客

获取媒体应用程序

有一个“在App Store上下载”的按钮,点击它就会引导你进入iOS App Store
一个按钮,上面写着“Get it on,谷歌Play”,如果点击它,你就会进入谷歌Play商店