每天推送5篇优质英文文章 · By makers, for makers

运营 1111 天, 推荐好文 4,975 篇, 原创简评 1,021,072 字, 原文总阅读时间 43,518 分钟, 139,055 人订阅

一个新功能的短期影响很容易就能观察到,但是用户会不会慢慢的对这个新功能免疫而使得其长期表现不如意呢?这篇文章,Pinterest的工程师以app上的图标数字提醒为例子,介绍了如何用holdout experiment来做长期影响的检验。这其实也是一个A/B experiment,1%的用户作为holdout group保持原来的功能不变,而99%的用户增加了新功能(app上图标数字提醒),然后追踪一年多的时间,最后发现:app上的图标数字提醒确实在长期对于daily active users的增长、engagement metrics(e.g. Pin close-ups, repins, Pin click-throughs)的增长都有显著的作用。
分享到: