188bet金宝搏官网OkCupid为自己的数据分析感到自豪。虽然我们以分享关于人们如何约会的见解而闻名，但我们所采用的方法导致这些见解超越了约会范畴，我们希望你能将它们应用到自己的工作中!在这篇文章中，我们将探讨新颖性效应和零假设是如何在我们的数据中测量的，并影响我们的决策过程。

新奇的效果

我们不断地进行实验，以改善我们的成员的体验，然而，没有两个成员是相同的。我们不会坚持一种适合所有人的方法——尤其是当涉及到爱和更深层次的联系时。我们的应用程序的独特之处在于，爱需要互惠和相互作用。由于这些相互依赖的联系的本质，我们必须发明新的方法来分析我们的一些实验．即使如此，当我们进行实验时，我们也看到了一些独特的体验，在这些体验中，看不到任何可检测到的数据，却产生了令人信服的结果。

让我们以最近的UI更改为例:我们最近更新了费率卡的颜色。

设计更现代，表面上，似乎与我们的旧设计持平。所以，把它运出去，对吧?实际上,不!

作为一个规则，我们通常也会分析所有更新的老/新成员。这有助于我们评估新奇的效果（维基)(当产品的新变化由于“新颖性”而非实用性而导致行为激增时)。当我们对新老会员的设计变化进行分析时，我们发现新设计的吸引力显著提升了现有会员的购买量。对于新成员来说，情况就不同了;他们购买的东西少得多，这使得整体结果下降了!从表面上看，我们似乎可以推出新的设计，但通过简单的数据处理，我们发现新奇的效果是错误的夸大结果。

通过一些快速的旋转，我们发布了带有新配色方案的第二个版本。仅用了几个小时的开发时间和重新启动实验后排除那些暴露在首次运行(这是很重要的,以防止污染我们的数据集与偏见的用户),我们驱车显著提升kpi为新的和现有的成员——证明第二种设计更好的产品。

否定零假设

还有一次，“防御性”实验的数据似乎有点落后。对于一些实验，我们希望在对照组和试验组之间看不到kpi的显著变化。例如，为了消除技术债务，我们重写了一个网页，通过GraphQL获取信息。当然，我们在发布前进行了QA测试，并编写了大量的单元测试来验证性能，但我们并不真正知道它在不同浏览器和设备上的性能。在Ok188bet金宝搏官网Cupid，我们可以使用我们的实验系统!

我们称这种实验为“防御性的”。像所有的实验一样，我们希望收集数据来反驳零假设。由于我们希望新的GraphQL页面和我们的遗留页面之间没有变化，在本例中，我们实际上希望我们不能证明零假设不成立。

我们怎么做呢?我们需要执行a动力分析为了确定数据量，我们需要在我们选择的一个阈值上的最小可检测效应量范围内不断地证明无效假设。这意味着，我们不希望两组人的结果在统计学上具有显著性，一旦他们超过了所选择的阈值，我们就不能调用这个实验，直到我们达到那个功率水平。

在这种情况下，实验发现两组人的行为发生了最小的变化，通过将他们与权力进行比较，结果被证明在统计学上是无关紧要的，也就是说，这是成功的!有时候，没有正面数据就是好消息。现在我们觉得OkCupid上的消息是如何用GraphQL的数据填充的。188bet金宝搏官网

结论

无论是对新奇效应的否定，还是对无效假设的否定，OkCupid都有一个强大的实验系统，它可以在很多方面用来测试和衡量我们的程序员188bet金宝搏官网对我们的成员产生的影响。我们总是不断迭代，让我们的成员更容易找到爱。虽然我们对如何做到这一点有一个清晰的愿景，但有时数据本身并不能告诉我们整个故事。

最初发表在https://tech.188bet金宝搏官网okcupid.com2019年11月19日。