188bet金宝搏官网Okcupid自豪地了解我们的数据分析。虽然我们以分享关于人们的日期的洞察的洞察,但导致这些见解的流程超越约会类别,我们希望您能够将它们应用于您自己的工作!在这篇文章中,我们将探讨如何在我们的数据中测量新颖的效果和空假设,并影响我们的决策过程。

新颖的效果

我们不断运行实验,以提高我们成员的经验,但没有两个成员是一样的。我们不粘附在一种尺寸适合所有方法 - 特别是当谈到爱和连接更深层次。我们的应用程序在这种应用中是独一无二的,需要互惠和相互互动。由于这些证券连接的性质,我们必须发明了分析我们一些实验的新方法。即使仍然,当我们运行实验时,我们也看到了一些独特的体验,看到没有检测到的数据产生引人注目的结果。

让我们参加最近的UI变换:我们最近更新了我们的价格卡的颜色。

筛选-2011-11-15-at-3.08.13-pm

该设计更现代,表面上,似乎以旧设计为平价表演。所以,发货......对吗?!实际上,没有!

通常,我们通常也会沿着旧的/新成员分析所有更新。这有助于我们评估新奇效应Wiki.)(当产品的新变化导致行为导致的尖峰时,由于“新性”而不是有用性)。当我们通过新老会员打破设计变化时,我们实际上发现新设计的吸引力在现有成员之间进行了大量的提升。这个故事对新成员不同;他们正在购买远 - 带来整体结果!在表面上,它看起来我们可以发货,但随着数据的简单削减,我们了解到新颖性效应是错误的膨胀结果。

随着一些快速的枢转,我们用新的配色方案发布了第二个版本。通过排除第一次运行的人重新启动实验后,只需几个小时的开发时间和在重新启动实验后(这对于防止使用偏见用户的数据集是很重要),我们将在我们的KPIS中推动了新的和现有成员- 证明第二种设计整体上的产品更好。

讨论零假设

另一个时候数据似乎可以倒退就是“防御性”实验。对于一些实验,我们希望在控制和测试组之间看到我们的KPI中没有重大变化。例如,为了消除技术债务,我们将我们的一个网页重写为通过GraphQL提取信息。当然,我们在启动之前,并编写了广泛的单元测试来验证性能,但我们不知道它如何在不同的浏览器和设备上以规模执行。在Ok188bet金宝搏官网cupid,我们可以使用我们的实验系统!

我们称这种实验“防御”。与所有实验一样,我们希望收集数据以反驳零假设。由于我们希望新的GraphQL页面和我们的遗留页面之间不会发生变化,因此在这种情况下,我们实际上希望我们无法反驳Null假设。

在空假设试验之前/之后

我们如何做到这一点?我们需要执行一个权力分析为了确定我们需要一致地抵消我们选择的阈值的最小可检测效果大小内的空白假设。这意味着一旦他们通过所选择的阈值,我们不希望两组之间的结果是统计学意义的 - 我们无法呼唤实验,直到我们达到该功率水平。

在这种情况下,实验在两组上看到了行为的最小变化,证明是通过将它们与电力进行统计而微不足道的,这是一件成功!有时没有积极的数据是好消息。现在我们觉得okcupid如何使用GraphQL填充数据。188bet金宝搏官网

结论

无论是讨厌新的效果还是零假设,Okcupid都有一个强大的实验系统,可以在许多方法中使用来测试和测量我们的编码人员对我们成员的188bet金宝搏官网影响。我们总是迭代,让我们的成员更容易找到爱情。虽然我们对我们如何做到的明确愿景,但有时数据不会告诉我们它自己的整个故事。