躲猫猫!有时没有数据是答案

188bet金宝搏官网OkCupid以我们的数据分析而自豪。虽然我们以分享人们如何约会的见解而闻名,但我们的过程导致这些见解超越了约会范畴,我们希望你能将它们应用到你自己的工作中!在这篇文章中,我们将探讨如何在我们的数据中衡量新奇效应和无效假设,并影响我们的决策过程。

新奇的效果

我们不断地进行实验,以改善我们的成员的体验,然而,没有两个成员是相同的。我们不坚持一刀切的方法——尤其是当涉及到爱和更深层次的联系时。我们的应用程序的独特之处在于,爱情需要互惠和相互作用。由于这些相互依赖的联系的本质,我们必须发明新的方法来分析我们的一些实验。即使如此,当我们进行实验时,我们已经看到一些独特的经验,没有可检测的数据产生引人注目的结果。

让我们以最近的UI更改为例:我们最近更新了费率卡的颜色。

设计更现代,表面上,似乎表现与我们的旧设计相同。所以,发行它,对吧?实际上,不!

作为一个规则,我们通常也根据旧/新成员分析所有更新。这有助于我们评估新奇的效果维基(当产品的新变化引起行为的激增,因为“新”而不是有用)。当我们根据新会员和老会员对设计的改变进行分析时,我们发现新设计的吸引力大大提高了现有会员的购买量。新成员的情况不同;他们购买的东西少得多——这使整体成绩下降了!从表面上看,我们似乎可以推出新的设计,但通过简单的数据切割,我们了解到新奇效应是错误的膨胀结果。

经过一些快速调整,我们发布了带有新配色方案的第二个版本。仅用了几个小时的开发时间和重新启动实验后排除那些暴露在首次运行(这是很重要的,以防止污染我们的数据集与偏见的用户),我们驱车显著提升kpi为新的和现有的成员——证明第二种设计更好的产品。

无效假设的证明

另一种情况是,“防御性”实验的数据可能看起来有点倒退。在一些实验中,我们希望在控制组和测试组之间的kpi没有显著变化。例如,为了消除技术债务,我们重写了一个网页,通过GraphQL提取信息。当然,我们在发布之前进行了测试,并编写了大量的单元测试来验证性能,但我们并不真正知道它在不同浏览器和设备上的性能如何。在Ok188bet金宝搏官网Cupid上,我们可以使用我们的实验系统!

我们称这种实验为“防御性的”。像所有的实验一样,我们想要收集数据来证明零假设是错误的。由于我们希望新的GraphQL页面和遗留页面之间不会有任何变化,在本例中,我们实际上希望我们无法证明Null假设是错误的。

我们怎么做呢?我们需要执行动力分析为了确定数据量,我们需要在我们选择的阈值内,在最小可检测的效应大小内,始终如一地证明零假设。这意味着我们不希望两组之间的结果有统计学上的显著性,一旦他们超过了选择的阈值,我们不能进行实验,直到我们达到了这个水平。

在这种情况下,实验中两组人的行为变化很小,与权力相比,这在统计学上是微不足道的,也就是说,实验是成功的!有时候没有积极的数据就是好消息。现在我们对OkCupid上的消息如何用GraphQL的数据填充感到放心了。188bet金宝搏官网

结论

无论是否定新奇效应还是无效假设,OkCupid都有一个强大的实验系统,可以以多种方式来测试和衡量我们的程序员对我们成员的影响。188bet金宝搏官网我们一直在迭代,让我们的成员更容易找到爱。虽然我们对如何做到这一点有一个清晰的愿景,但有时数据不会自己告诉我们整个故事。

最初发表在https://tech.188bet金宝搏官网okcupid.com2019年11月19日。

188bet金宝搏官网OkCupid科技博客

阅读来自OkCupid工程团队的故事,每天连188bet金宝搏官网接着数百万人

188bet金宝搏官网OkCupid科技博客

188bet金宝搏官网OkCupid的工程团队负责每天为数百万人配对。在OkCupid科技博客上阅读他们的故事188bet金宝搏官网

188bet金宝搏官网OkCupid科技博客

188bet金宝搏官网OkCupid的工程团队负责每天为数百万人配对。在OkCupid科技博客上阅读他们的故事188bet金宝搏官网