188bet金宝搏官网OkCupid对我们的数据分析感到自豪。虽然我们以分享关于人们如何约会的见解而闻名,但我们现有的这些见解超越了约会范畴,我们希望您能够将其应用到自己的工作中!在这篇文章中,我们将探讨如何在我们的数据中测量新奇效应和零假设,并影响我们的决策过程。

新奇效应

我们不断地进行实验,以改善我们的成员的经验,然而,没有两个成员是相同的。我们不坚持一刀切的做法——尤其是在爱情和更深层次的联系上。我们的应用程序是独一无二的,因为爱需要互惠和互动。由于这些相互依赖的联系的性质,我们必须发明新的方法来分析我们的一些实验. 尽管如此,当我们进行实验时,我们看到了一些独特的经验,在这些经验中,看不到可检测的数据会产生令人信服的结果。

让我们以最近的UI更改为例:我们最近更新了费率卡的颜色。

截屏时间:2019-11-15-at-3.08.13-PM

设计更加现代,表面上看,似乎与我们的旧设计不相上下。所以,把它运过来。。。正确的?!事实上,不!

通常,我们也会分析所有旧/新成员的更新。这有助于我们评估新奇效应(维基)(当产品中的新变化由于“新颖性”而不是有用性而导致行为激增时)。当我们将新老会员的设计变化进行分解时,我们发现新设计的吸引力推动了现有会员购买量的大幅提升。新会员的情况就不同了,他们的购买量要少得多,从而降低了整体业绩!从表面上看,我们似乎可以推出新的设计,但通过简单的数据切割,我们了解到新奇的效果是虚假的膨胀结果。

通过一些快速旋转,我们提供了一个新的配色方案的第二个版本。只花了几个小时的开发时间,在通过排除第一次运行中暴露的用户(这对于防止有偏见的用户污染我们的数据集很重要)重新启动实验后,我们显著提高了新成员和现有成员的KPI,证明第二次设计对产品整体来说更好。

否定无效假设

另一个数据看起来有点倒退的时候是为了“防御”实验。对于一些实验,我们希望在控制组和测试组之间的KPI没有明显变化。例如,为了消除技术债务,我们重写了一个网页,通过GraphQL获取信息。当然,我们在启动之前进行了QA,并编写了大量的单元测试来验证性能,但我们并不真正知道它在不同浏览器和设备上的性能。在OkCupid,我们可以使用我们的实验系统!188bet金宝搏官网

我们称这种实验为“防御性的”。像所有的实验一样,我们想收集数据来反驳无效的假设。因为我们希望新的GraphQL页面和遗留页面之间不会有任何变化,所以在本例中,我们实际上希望我们无法反驳无效假设。

零假设检验前后

我们怎么做?我们需要执行一个功率分析为了确定数据量,我们需要在我们选择的阈值下,在最小可检测效应大小范围内一致地推翻无效假设。这意味着,我们不希望两组之间的结果一旦通过所选的阈值,就具有统计学意义——而且在达到该功率水平之前,我们不能调用该实验。

在这种情况下,实验发现两组人的行为变化很小,通过与权力的比较,证明在统计学上是不显著的,也就是说,这是一个成功!有时没有积极的数据是好消息。现在,我们可以放心地使用GraphQL中的数据填充OkCupid上的消息。188bet金宝搏官网

结论

不管是否定新奇效应还是零假设,OkCupid都有一个强大的实验系统,可以用很多方法来测试和衡量我们的编码人员对我们成员的影响。188bet金宝搏官网我们总是不断迭代,让我们的成员更容易找到爱。虽然我们对如何做到这一点有着清晰的认识,但有时数据本身并不能告诉我们整个情况。