新浪新闻客户端

当线上业务数据发生异常,产品该如何进行深度分析

当线上业务数据发生异常,产品该如何进行深度分析
2020年08月06日 18:29 新浪网 作者 PMCAFF

  作者:张一文

  本文在PMCAFF社区发布,转载请注明作者及出处。

  在产品的工作日常中,特别是C端产品,基本是和数据分不开的,每天看各种数据,而这个看数据的过程就是流量分析。这里的流量指广义的流量,并不一定单指日活。它是指所有的流量,比如用户从哪儿来,经过什么过程,产生什么价值,如果流量波动了,为何波动。

  从流量分析的定义来看,可以分为以下四部分:

  

  • 渠道分析——从哪来;

  

  • 转化分析——经过什么过程;

  

  • 价值分析——产生什么价值;

  

  • 波动分析——日常的监控分析。

  下面我逐个说说我的看法:

  渠道分析

  

  • 渠道分析包含三部分:常见渠道及渠道分类;

  

  • 渠道推广的整个过程;

  

  • 渠道的关键指标及分析方法。

  常见渠道及渠道分类

  我们常见的渠道,如下图所示。

  

  渠道分为内部渠道和外部渠道,内部渠道包括内部的产品矩阵。比如,今日头条会给抖音带量,内部渠道往往都是免费使用。外部渠道往往需要付费,包括多个渠道。第一是搜索引擎,比如打开百度会看到有很多广告的推广;第二是 App 内的广告,比如今日头条里会经常看到京东或双 11 的链接;第三是社交媒体,比如微信朋友圈的广告;第四是软件市场,比如应用宝、华为手机市场、豌豆荚等。

  内部渠道和外部渠道都是为了拉新、拉增而用。对于一款健康的 App,前期靠渠道(特别是外部渠道)的品牌带量,后期靠自传播或者免费推广。大多公司都会单独设有渠道运营经理岗位,分析师在这部分的价值体现不会很大。

  我们再看下渠道的分类,如下图所示。

  

  横坐标是渠道给我们产品带来的量级,从左到右是越来越高。纵坐标是渠道本身的质量,一般我们可以用留存来看,有些同学可能会用收入衡量渠道质量,其实本质一样,因为留存跟收入本身就是高度相关性的指标。假设我们就是用留存来衡量,那么按照量级和质量画这样一个四象限,可以把渠道分为 4 类。

  

  • 量级少,但是质量比较高。对于这种渠道,需要扩量,需在扩量的基础上仔细观察数据。

  

  • 量级多,同时质量也高。代表渠道非常好,这部分渠道需加快变现能力。

  

  • 量级多,质量不太好。说明用户不匹配,交互有问题,这部分渠道需要拆解,精细化运营。

  

  • 量级少,质量也差,这部分渠道直接放弃即可。

  其实所有的分析都是先分析一级渠道,然后在此基础上进行拆解。比如,一级渠道的 A 渠道留存很差,我们要进一步对 A 渠道进行二级渠道拆解,看是所有二级渠道差还是部分二级渠道差,这里所有质量的好与差都是相对大盘来说。

  渠道推广的整个过程

  有些同学对渠道的整个推广过程理解不深刻,我举个例子来说明渠道推广的整个流程,如下图所示。

  

  第一步是外部渠道,然后在外部渠道里,放了一个文案展示,点击文案展示之后会有一个落地页,落地页里面会提示用户进行下载,用户下载之后是打开 App ,打开 App 浏览一遍之后就是注册 App,然后直到最后一步退出。从外部渠道到注册的整个过程实际上是一个漏斗,在这里面分析师可以提供一些优化建议。假设我搜索“外卖”两个字,出现的第一个链接是“外卖送药 京东到家”,这链接下方有个广告的标签,这是“京东到家”在百度搜索投放的外部渠道。当我点击进去之后,文案展示如上图所示,有“15元优惠券”的文案提示,下方有个横框,你有没有觉得这儿有一点不合理,因为没有提示输入什么。有些用户第一次打开会犹豫这里是不是输入手机号码,当我把手机号码输入进去之后,点击“立即领取”,就会出现一个下载页面。在下载的过程中又有很多弹窗,比如说外部风险提示等。

  当 App 下载完成后,用户打开后在里面浏览或者注册,所有的这些步骤就是渠道推广的整个过程。虽然看似很简单的例子,但在页面的交互还是设计又或是产品的文案方面,都有很多优化点。

  渠道的关键指标及分析方法

  第三是渠道的关键指标以及分析方法。

  关键指标指前期看有效用户数和次留,中期看次日、7 日、30 日留存,后期看 ROI。

  其中要注意,由于渠道都是收费的,所以有效用户数会有刷量的嫌疑,所以除了看直接量级,还要看有主动行为的用户数,所有渠道最终的目的还是商业变现,所以一定要计算每个渠道的 ROI,及时把 ROI 小于 1 的渠道砍掉。

  

  • 分析方法包括结构分析、趋势分析、对比分析、作弊分析。

  

  • 结构分析:先按照一级渠道来拆解,再按照二级渠道来拆解。

  

  • 趋势分析:需看每个渠道的变化趋势,包括量级和留存。

  

  • 对比分析:不同渠道间的趋势对比。

  

  • 作弊分析:包含用户行为分析和机器学习,这块可以用 Python 来完成。

  转化与价值分析

  渠道转化和价值的分析,我们分为两个点,第一是漏斗分析,第二是功能模块分析(常规分析、价值分析)。

  漏斗分析

  漏斗分析是数据分析师看一款产品必不可少的阶段,我以京东 App 电商模块为例,如下图所示。

  

  如果需要提升某一步转化率,核心思想都是按照用户基础属性和行为属性来细分。

  

  • 基础属性:手机品牌、地域、imei 特征。

  举例:主界面全部 UV 到店面页 UV 为 50%,我们想提高至 60%,需要进一步拆分。比如,华为手机和苹果手机等品牌各自的转化率是多少,华北、华南、华东等地域的转化率是多少,按照这种基础属性,最后甚至都可以拿到用户的基础画像。当你按照这些维度去拆解,你就能更精细化运营。

  

  • 行为属性:入口、时段、用户活跃度、用户标签。

  举例:用户是通过桌面图标还是弹窗还是外链进入的页面,早、中、晚的用户量级,用户活跃度的区分,不活跃的老用户被激活后的活跃度观察。

  总之需按照用户的基础属性和行为属性来拆分,对有问题的群体进行针对性优化,才能更精细化。

  功能模块的常规分析

  用户进来主页面之后不一定非要走漏斗,因为用户还可以使用各种各样的功能,对于功能模块来说,我们往往会看这三个指标。

  

  • 功能渗透率=功能用户数/大盘用户数(使用某功能用户在大盘的占比);

  

  • 功能的功能留存率:第一天使用该功能同时第二天也使用该功能的用户数/第一天使用该功能的用户数;

  

  • 功能大盘留存率:第一天使用该功能同时第二天是大盘用户的用户数/第一天使用该功能用户数。

  对于 2 和 3,可以进一步理解。功能留存是指第二天还要使用该功能,大盘留存是指第二天只要打开 App 就可以。

  另外一个必须关注的数据是大盘用户,大盘用户等于所有功能用户排重加上不使用任何功能用户(逛一逛的用户)。对于不使用任何功能的用户也要监控起来,只有这样才是完整的大盘。

  功能模块的价值分析

  衡量功能的真正价值有三个指标。

  

  • 功能核心用户数:有多少用户是这功能的核心用户,它的定义是符合某种要求的功能用户数,一般用使用次数、使用时长、使用天数等具备某种行为来定义“核心”。这里面如果单纯看用户数可能会出现一个悖论——所有功能在涨,但大盘在跌。

  

  • 功能对大盘贡献度,比如对大盘留存提升的贡献。

  功能 A 对大盘留存的提升贡献=功能A渗透率*功能A的大盘留存率提升数。

  严格来说,只有 A/B 测试才能说明功能对大盘贡献度,但实际应用中不可能所有功能都做 A/B 测试,所以这种计算可以对不同功能进行横向对比。

  

  • 功能带来的收入对比:每个功能每个月赚多少钱。

  分析师对收入部分可能没接触过,但实际过程中会有单独的计费系统,基本上你拉一个月的收入数,除以你的功能用户数即可,计算起来非常简单,所以这一块不用刻意担心。

  以刚刚功能价值举例,如下图所示。

  

  对于功能 A (上图左)我们发现最近两周的用户数呈直线上升趋势,但我们看核心用户数指标(上图右)实际上没有涨,在中间反而还跌了一段时间。这里核心用户数口径是产生点击行为的用户数,也就是必须使用这个功能的用户数。

  实际工作过程中,这种情况很常见。大家可以去看一下自己的某产品,当你分别看用户数和核心用户数时,趋势可能不一样,这就是核心用户数的价值。因为只有核心用户数才是你这个功能的真正用户,其他用户很有可能通过其他方式带量,比如你上线了一个小图标,或有一个红点提示。

  下面我们再来看一个功能对大盘的贡献度的例子,如下图所示。

  

  我们以功能 B 和功能 C 为例,比如功能 B 的渗透率是 20%,功能 C 的渗透率是 25%。功能 B 对大盘留存提升 3%,由 55% 提升到 58%。而功能 C 提升了 1%,由 45% 提升到 46% 。

  那么功能 B 对大盘周留存的提升贡献为 0.6% ,功能 C 对大盘周留存的提升贡献为 0.25% 。

  从这个层面出发,功能 B 当前要比功能 C 对大盘的贡献要多,所以这就是当我们去评估功能价值时用到的一些指标。

  其实你日常在看功能的时候,除了看功能的使用 UV ,还要进一步看更多的数据,这才能真正说明功能有没有问题,是不是比较健康。

  我个人工作的感触如下:

  

  • 产品的每一次决策都要基于逻辑性很强的数据证明,“我觉得”这种词没有任何说服力,很容易被挑战,先有数据再有结论,不要先入为主。

  

  • 每个产品经理都有自己内部的指标,但必须要去衡量你当前做的事情对大盘 KPI 的贡献度,只有大盘好才是真的好.

  

  • 敢于说真话,实事求是——没做好就是没做好,关键是你接下来怎么做,当前有没有找到真正问题。

  流量波动逻辑性分析

  下面我们来看下流量波动的逻辑性分析,常见的流量波动分析包括日活和留存,所以我主要围绕这两个来展开。

  日活

  日活波动受外部影响和内部影响。

  外部影响包括行业变化和竞品变化,而竞品的变化跟竞品的策略有关,所以外部影响就分为常识、外部事件、竞品策略。

  内部影响包含数据统计、用户基础属性、用户行为属性。

  数据统计:数有没有搞错——数据采集和统计口径。

  用户基础属性:用户从哪里来,通过什么方式进入——渠道(新增用户变化)、入口(手机型号)、画像。

  用户行为属性:用户进来干了什么——具体功能的变化,跟版本可能有关。

  当我们按照金字塔原理的逻辑来拆分产品,就不会有遗漏,这就是日活波动采取的一个逻辑性思考。

  留存

  接下来看留存,留存相对来说要复杂一点。留存波动包含新用户留存和老用户留存,新用户留存与渠道和渠道过程有关,老用户留存有两个影响因素:核心功能用户留存、非核心非功能用户留存,所以要区分来看。

  老用户留存:核心功能的留存加上非核心功能的留存,这里核心功能可以进一步拆解为功能 A 的留存加上功能 B 的留存加上功能 C 的留存。

  假设留存下跌,会出现以下情况:

  

  1. A、B、C 中有 1 个留存下跌,这种情况最好解释,直接解释由于谁下跌即可。

  2.   A、B、C 中有两个以上留存下跌,这要看其中谁是主要下跌因子,找到它。如果下跌幅度都差不多,则需进一步观察。如果还是持续下跌,必然是产品某核心部分出问题,围绕指标体系做一次产品全盘分析,找到它。如果跌了几天之后回去了,可能跟外部影响因素有关,暂时不管。

  在留存这件事上,由于是比例,排查起来会比较费神,保持耐心跟业务方多沟通,就一定能够找到主要影响因子。流量分析是分析师每天都要做的一件事,小到看日报,大到波动排查几个月,所以一定要非常熟悉各类核心数据,要能够很好地说出数据的规律并能够进行预测。当数据出现稍微一点点异常时,你能够很敏锐地感觉到,然后去排查,之所以这样说,是因为我有过很多次经历。

  比如,某产品近三天日活分别是 1000w、1020w、1025w,按照产品规律,第四天应该在1050w 左右,如果第四天是 1035w,这就说明必然某部分出问题了。所谓的数据敏感性就是指对数据产品的微观感知能力,这需要大量的沉淀和思考才能做到。

  总结

  今天主要是跟大家分享了流量分析,流量分析本质上就是解决用户从哪来,干了什么,带来什么价值。整体可以概括为三个部分。

  渠道分析——渠道的整个过程和分析方法;

  功能模块价值分析——漏斗分析、功能常规指标和价值指标分析;

  流量波动逻辑性分析——一定要有逻辑性,在过程非常严密的基础上得到正确的结果。

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
权利保护声明页/Notice to Right Holders

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2024 SINA Corporation

All Rights Reserved 新浪公司 版权所有