188bet金宝搏官网OkCupid自诩我们的数据分析。虽然我们是著名的人们如何数据共享的见解,我们在地方,导致这些见解超越约会类别,我们希望你将能够将它们应用到你自己的工作流程!在这篇文章中,我们将探讨影响和零假设新奇如何在我们的数据测量和影响我们的决策过程。

的新颖效果

我们不断地进行实验,以改善我们的成员的经历,但是,没有任何两个成员是一样的。我们不坚持一个一刀切的做法 - 尤其是当它涉及到爱情和连接在更深的层次。我们的应用程序是在爱情的独特需要互惠互利互动。由于这些相互依赖连接的性质,我们必须发明新的方法来分析我们的一些实验。即使如此,当我们运行实验中,我们已经看到了一些独特的经验,在那里看到没有可检测到的数据得出令人信服的结果。

让我们举个例子最近的UI变化:我们最近更新了价目表的颜色。

屏幕截图 - 二零一九年十一月十五日-AT-13年3月8日,PM

设计是更现代,表面上,似乎在与我们的老设计校验被执行。因此,船吧......吧?其实,NO!

作为一项规则,我们一般分析沿旧/新成员的所有的更新。这有助于我们评估新奇效应维基)(当产品事业行为穗因“新奇”,而不是有用性)的新变化。当我们打破了由新老成员的设计变更,实际上我们发现,新设计的吸引力是在现有成员中的购买驱动显著提升。这个故事是新成员不同;他们远不如被收购 - 使整体效果下来!在表面上,它看起来就像我们可以将上新的设计,但随着数据的简单切割,我们了解到,新奇效果虚增的结果。

对于一些快速的旋转,我们发布了第二版采用了新的配色方案。只花了开发时间几个小时,并通过排除那些从第一次运行暴露(这点很重要,以防止污染我们的偏置用户数据集)重新开始实验后,我们驱车显著提升我们的KPI为新的和现有成员- 证明第二个设计是为整个产品更好。

驳斥零假设

还有一次,该数据似乎有点倒退是“防御性”的实验。对于一些实验,我们希望看到在我们的控制和测试组之间的KPI没有显著变化。例如,要消除技术的债务,我们改写了通过GraphQL我们的网页,以拉动信息之一。当然,我们推出之前QA'ed,并写了大量的单元测试,以验证性能,但是我们并不真正知道如何将大规模在不同浏览器和设备上执行。在Ok188bet金宝搏官网Cupid,我们可以用我们的实验系统的!

我们称这种实验的“防御性”。像所有的实验中,我们要收集数据反驳零假设。因为我们希望能有新的GraphQL页面和我们原有的页面之间没有变化,在这种情况下,我们实际上希望我们无法反驳零假设。

/ null的假设检验之后之前

我们如何做到这一点?我们需要执行动力分析确定一个数据,我们就需要一致反驳最小可检测的效果大小中的零假设,在我们选择的阈值量。这意味着我们不想在两组间结果在统计学上显著一旦他们通过所选择的阈值 - 我们不能称之为实验,直到我们达到这个功率电平。

在这种情况下,实验看到在这两个群体,被证明是统计学意义的行为的变化最小通过比较它们的功率,这是说,它是成功的!有时没有积极的数据是个好消息。现在,我们觉得与来自GraphQL数据OkCupid填入如何邮件安全。188bet金宝搏官网

结论

无论是反驳新颖效果或零假设,OkCupid有可以在许多方面可用于测试和衡量我们的成员的影响我们的程序员有一个强大的实验系统。188bet金宝搏官网我们一直迭代,使其更容易为我们的会员寻找爱情。虽然我们有我们如何做一个清晰的愿景,有时数据不会告诉我们整个故事上它自己。