在和阿里推荐算法的同事交流时，我们探讨了产品经理在算法/大数据领域的角色。我们一致认为，产品经理能够有效地确定产品指标，帮助开发团队专注于模型的优化。
那么，对于推荐产品，我们通常关注哪些指标呢？在最近的业务探索中，我整理了一些思考，并列举了常用的指标，希望与大家交流。
目前，我们内部常用的指标主要分为两类：场景转化效果指标和内容消费满意度指标。
场景转化效果指标
场景转化类指标关注将用户从一个场景引导至我们预期场景的效果。在这个过程中，用户需要进行主动的行动，例如点击行为。此类指标主要关注推荐系统的漏斗效果，包括：
1. pv点击率（点击量/pv）
pv点击率是一个较为传统的指标，计算用户每次进入页面时的点击情况。它可以粗略地衡量转化效果，但可能会受到少数用户贡献大量点击的影响，从而掩盖真实情况。
2. uv点击率（点击量/uv）
与pv点击率不同，uv点击率的分母是整个产品的uv，而不是拥有点击行为的uv。它不受用户行为路径的影响，能够记录用户在一个完整session中的点击效果。据了解，阿里不少团队已经将指标从pv点击率调整为uv点击率。
3. 曝光点击率（点击量/曝光次数）
曝光点击率适用于支持上拉/下拉翻页的产品，例如Feed流。与pv点击率相比，曝光点击率的分母会随着用户刷屏次数的增加而变大，更真实地反映每一屏的转化情况。
4. uv转化率（转化用户数/uv）
uv转化率衡量对用户的转化情况，即通过产品设计，将多少比例的用户从一个场景引导至另一个我们预期的场景。与前两个指标相比，uv转化率更加健壮，不易受到攻击。
uv转化率尤其适用于评价入口型产品，例如视频app的首页。如果使用uv点击率进行衡量则不太科学，因为用户通常在首页点击某个视频后，会进入详情页进行深度消费，很少返回首页继续消费。虽然该用户已经被转化，但不再贡献点击，因此uv点击率不合理，而uv转化率则更加合理。
5. 人均点击次数（点击量/点击uv）
人均点击次数与uv转化率相辅相成。uv转化率表示页面的消费宽度（吸引的用户比例），而人均点击次数表示页面的消费深度（每个用户消费的次数）。
内容消费满意度指标
内容消费满意度指标关注用户在特定场景下对内容的消费体验，例如：
1. 留存率（x日后仍活跃的用户数/x日前的用户数）
留存率十分重要，每个公司都高度重视，但它难以作为优化算法的指标，因为时间周期较长，涉及许多变量。例如，计算视频app首页的7日留存率非常困难，因为期间可能会上线热门大剧和综艺节目。虽然难以准确衡量，但留存率对于产品技术团队至关重要：市场负责拉新用户，而产品技术团队负责留住用户并提供优质服务。
2. 停留时长
对于内容消费型产品，点击率难以反映推荐的真实效果。如果用户被“骗进”了预期的场景进行消费，但发现真相后转身离开，则说明推荐失败。需要引入停留时长来量化用户消费效果。例如，音视频类产品的播放时长，YouTube的核心推荐指标就是WatchTime。
3. 播放完成率（播放时长/视频时长）
由于停留时长受视频时长的锚定效应影响，更长的视频即使用户不感兴趣，平均停留时间也会比短视频更长。播放完成率指标能够在一定程度上弥补这个问题。但短视频的播放完成率天生高于长视频，需要在分析指标时注意这一点。
总而言之，个性化推荐产品关注的指标与其他产品并无本质区别，区别在于推荐产品涉及大量算法，而算法本身在离线阶段也需要评测。算法评测指标与产品指标是两个不同的概念。
关于产品指标的几点思考
分享关于产品指标需要注意的几点：
1. 不要迷恋算法指标
算法指标包括准确率、召回率、AUC值等，它们的表现良好并不意味着产品表现良好。因为选择算法或模型本身就存在一定假设，所以无论是产品技术团队还是开发团队，都应该避免过度依赖算法指标。
2. 各个指标都有局限性
每个产品指标都存在一定的劣势，无法完全体现出区分度。本文列举的指标都存在无法反应的情况，因此必须认识到指标的局限性。
3. 指标不宜过多
产品指标不宜过多，过多指标会不利于最终的优化决策。本文所述指标，每个产品需要根据自身特点和业务需求选择核心的几个。如果要关注多个指标，可以尝试将这些直观指标综合成一个更高级的指标，减少关注的目标，集中优化精力，帮助决策。