如何进行数据采集以及数据分析？

看了下大家的回答，都因为这个问题太大没有回答的很全面

这里就给大家一份万字长文详解，来好好回答一下这个问题。（一下可能看不完，建议先收藏）

一，如何进行数据采集

数据采集的方式分别两种，一种是埋点，一种是无埋点

1，埋点

1.1 什么是埋点？

一种非常传统、非常普遍的方式就是通过写代码去定义这个事件。在网站需要监测用户行为数据的地方加载一段代码，比如说注册按钮、下单按钮等。加载了监测代码，我们才能知道用户是否点击了注册按钮、用户下了什么订单。

所有这些通过写代码来详细描述事件和属性的方式，国内都统称为“埋点”。这是一种非常耗费人力的工程，并且过程非常繁琐重复，但是大部分互联网公司仍然雇佣了大批埋点团队。

1.2 埋点采集的 7 个步骤

那么，埋点采集数据的过程又是怎样的呢？一般可以分成以下七个步骤。

（1）确定场景或目标

确定一个场景，或者一个目标。比如，我们发现很多用户访问了注册页面，但是最终完成注册的很少。那么我们的目标就是提高注册转化率，了解为什么用户没有完成注册，是哪一个步骤挡住用户了。

（2）数据采集规划

思考哪些数据我们需要了解，帮助我们实现这个目标。比如对于之前的目标，我们需要拆解从进入注册页面到完成注册的每一个步骤的数据，每一次输入的数据，同时，完成或者未成为这些步骤的人的特征数据。

（3）埋点采集数据

我们需要确定谁来负责收集数据？这个一般是工程师，有些企业有专门的数据工程师，负责埋点采集数据。

（4）数据评估和数据分析

收集上来的数据质量如何，又该如何分析呢？

（5）给出优化方案

发现问题后，怎么来出解决方案。比如，是否在设计上改进，或者是否是工程上的 bug。

（6）实施优化方案

谁负责实现解决方案。确定方案的实施责任人。

（7）如何评估解决方案的效果？

下一轮数据采集和分析，回到第一步继续迭代。

知易行难。这整个流程里，第 2 步到第 4 步是关键。目前传统的服务商比如 Google Analytics 、Mixpanel、友盟所采用的方式我们称之为 Capture 模式。通过在客户端埋下确定的点，采集相关数据到云端，最终在云端做呈现。

2，无埋点

2.1 无埋点的采集原理

区别于 Capture 模式，Record 模式是用机器来替代人的经验；在数据分析产品 GrowingIO 中，无需手动一个一个埋点；只需在第一次使用时加载一段 SDK（ Software Development Kit，软件开发工具包 ）代码，即可采集全量、实时的用户行为数据。

因为自动化，我们从分析流程的源头开始就控制了数据的格式。所有数据，从业务角度出发，划分为 5 种维度： Who，行为背后的人，具有哪些属性；When，什么时候触发的这个行为；Where，城市地区浏览器甚至 GPS 等；What，也就是内容；How，是怎样完成的。

基于对信息的解构，保证了数据从源头就是干净的，再在此基础上面，我们完全可以把 ETL 自动化，需要什么数据可以随时回溯。

2.2 无埋点的技术优势

回顾上面埋点采集数据的 7 个步骤，无埋点很好地解决了第二、三、四步的需求，将原来的多方参与减少到基本就一方了。无论是产品经理、分析师还是运营人员，都可以使用可视化工具来查询和分析数据，真正做到所见即所得。不仅是 PC，还支持 iOS、Android 和 Hybrid，可以进行跨屏的用户分析。

我们以自己的官网（ www.growingio.com ）为例，加载了我们自己的监测代码后；无需一个一个写埋点代码，只需要用鼠标圈选对应元素，即可获得数据。上图中，如果市场部门员工想知道每天有多少人点击了【免费试用 GrowingIO 】按钮，只需用在 GrowingIO 产品内用鼠标圈选该按钮，即可获得该按钮的点击量和浏览量。原来埋点方式需要花费产品和工程几天的时间，现在业务端同事可以自己几秒钟就解决。

用户行为数据采集的目的是通过了解用户过去做的行为，用来预测未来发生的事情。无需埋点，随时回溯数据，让一个人就可以搞定用户行为分析的全部流程。这样一个简单、迅速和规模化的数据分析产品，能极大地简化分析流程，提交效率，直达业务。

3，埋点+无埋点

不论是采用无埋点还是埋点的方式，都需要能够将用户的每一次线上的访问过程用数据描述清楚；这个是 数据采集的基本目标，也是 GrowingIO 的初衷。

3.1 “埋点+无埋点”的数据采集原理

我们以一个加载了 GrowingIO 无埋点 SDK 的电商 App 为例：顾客打开 App，在首页搜索关键词，然后在结果页挑选喜欢的商品加入购物车；接着给购物车的商品下订单，并且完成支付。那么在这个过程中，有哪些数据需要采集，又该怎么去采集呢？

用户从 “打开 App” – “观看首屏广告” – “搜索关键词” – “进入结果页” – “加入购物车” 再到 “支付完成”，整个过程中既有用户行为数据（过程型数据），又有交易数据（结果型数据）。在上图中，GrowingIO 的无埋点 SDK 会自动采集用户在这个 App 上的所有行为数据，包括访问、页面浏览和行为事件。同时，GrowingIO 的数据对接埋点方案可以采集更多的交易数据，这里面包括商品 SKU、价格、折扣、支付等信息。

这样我们就可以将一个完整的线上购物行为，用无埋点和埋点相结合的方式采集下来了，用数据来完整的来描述和分析用户的购物历程。其实不论什么线上的业务场景，我们都希望能够采集到完整的用户的行为数据和业务数据。而且要把用户行为数据和业务数据打通。

3.2 “埋点+无埋点”的数据采集优势

那么为什么需要要无埋点和埋点相结合的方式去采集数据呢？

第一，因为无埋点的方法本身效率比较高。经过实践我们发现，无埋点产生的数据指标是埋点产生的数据指标的 100 倍甚至更多。

第二，无埋点数据采集成本低，App 发版/网站上线，都不影响数据自动采集。

第三，埋点采集的优势是可以更加详细的描述每个事件的属性，特别针对结果数据。

用无埋点采集的用户行为数据是用户产生最后结果的“前因”数据，用埋点采集的业务数据是结果数据是“后果”。无埋点和埋点相结合的解决方案提高了工作效率，同时记录了“前因”和“后果”数据，帮助市场、产品和运营分析获客、转化和留存，实现用户的快速增长。

知友福利：点击领取 GrowingIO 全系列产品 15 天免费使用特权

GrowingIO 是基于用户行为数据的增长平台，国内领先的数据运营解决方案供应商。为产品、运营、市场、数据团队及管理者提供客户数据平台、获客分析、产品分析、智能运营等产品和咨询服务，帮助企业在数据化升级的路上，提升数据驱动能力，实现更好的增长。

二，如何进行数据分析

数据分析似乎是近几年新兴的字眼，往往与这两年“大数据”的火热相关联起来。之前大家对 “数据” 的关注点，在数据技术本身，包括数据存储成本、数据存储方式、数据处理技术等等。

数据存储量由 90 年代我们日常熟知的存盘 1.44MB 的存储量级，到如今不到 300 块人民币就可以买到 1 TB的移动硬盘，超过1百万倍数的提升，同时成本也在大幅度下降。存储便宜了，数据采集的端口也就越来越多，从以往手动记录到现在智能的硬件，包括手机、电脑、电视、甚至饮水器、电冰箱、都在不断的录入新的数据，存储到本地或云端。数据量的提升，也直接影响推进了数据处理技术的升级，由之前单机数据读取到 Hadoop、Spark 构架的产生，大幅度提升了数据处理的量级和速度。

而当我们投入了大量的时间和资源，建立了一套完整的数据技术，拿到了我们想要的数据后。作为首席增长官，你必须反思：数据本质的价值，究竟在哪里？从这些数据中，你和你的团队都可以学习到什么？这也是为什么最近几年数据分析，乃至数据挖掘的一些话题，逐渐受到关注的核心原因。

1. 数据分析的战略思维

提起数据分析，大家往往会联想到一些密密麻麻的数字表格，或是高级的数据建模手法，再或是华丽的数据报表。其实，“ 分析 ”本身是每个人都具备的能力；比如根据股票的走势决定购买还是抛出，依照每日的时间和以往经验选择行车路线；购买机票、预订酒店时，比对多家的价格后做出最终选择。

这些小型决策，其实都是依照我们脑海中的数据点作出判断，这就是简单分析的过程。对于首席增长官而言，则需要掌握一套系统的、科学的、符合商业规律的数据分析知识。

1.数据分析的目标

对于企业来讲，数据分析的可以辅助企业优化流程，降低成本，提高营业额，往往我们把这类数据分析定义为商业数据分析。商业数据分析的目标是利用大数据为所有职场人员做出迅捷、高质、高效的决策，提供可规模化的解决方案。商业数据分析的本质在于创造商业价值 ，驱动企业业务增长。

2.数据分析的作用

我们常常讲的企业增长模式中，往往以某个业务平台为核心。这其中，数据和数据分析，是不可或缺的环节。

通过企业或者平台为目标用户群提供产品或服务，而用户在使用产品或服务过程中产生的交互、交易，都可以作为数据采集下来。根据这些数据洞察，通过分析的手段反推客户的需求，创造更多符合需求的增值产品和服务，重新投入用户的使用，从而形成形成一个完整的业务闭环。这样的完整业务逻辑，可以真正意义上驱动业务的增长。

3.数据分析进化论

我们常常以商业回报比来定位数据分析的不同阶段，因此我们将其分为四个阶段。

首先，基本的数据展示，可以告诉我们发生了什么。例如，公司上周投放了新的搜索引擎A的广告，想要比对一周下来，新渠道A比现有渠道B情况如何，A、B各自带来了多少流量，转化效果如何？ 又比如，新上线的产品有多少用户喜欢，新注册流中注册的人数有多少。这些都需要通过数据来展示结果，都是基于数据本身提供的“发生了什么”。

如果看到了渠道A为什么比渠道B带来更多的流量，这时候我们就要结合商业来进一步判断这种现象的原因。这时候我们可以进一步通过数据信息进行深度拆分， 也许某个关键字带来的流量，也许是该渠道更多的获取了移动端的用户。这种数据深度分析判断，成为了商业分析第二个进阶，也同时能够提供更多商业价值上的体现。

而当我们理解了渠道A、B带来流量的高低，就根据以往的知识预测未来会发生什么。在投放渠道C、D的时候，猜测渠道C比渠道D好，当上线新的注册流、新的优化，可以知道哪一个节点比较容易出问题；我们也可以通过数据挖掘的手段，自动预测判断C和D渠道之间的差异，这就是数据分析的第三个进阶，预测未来会发生的结果。

所有工作中最有意义的还是商业决策，通过数据来判断应该做什么。而商业数据分析的目的，就是商业结果。当数据分析的产出可以直接转化为决策，或直接利用数据做出决策，那么这才能直接体现出数据分析的价值。

4.数据分析的 EOI 框架

EOI 的架构是包括 LinkedIn、Google 在内的很多公司定义分析型项目的目标的基本方式，也是首席增长官在思考商业数据分析项目中一种基本的、必备的手段。

其中，我们先会把公司业务项目分为三类：核心任务，战略任务，风险任务。以谷歌为例，谷歌的核心任务是搜索、SEM、广告，这是已经被证明的商业模型，并已经持续从中获得很多利润。谷歌的战略性任务（在2010年左右）是安卓平台，为了避免苹果或其他厂商占领，所以要花时间、花精力去做，但商业模式未必成型。风险任务对于创新来说是十分重要的，比如谷歌眼镜、自动驾驶汽车等等。

数据分析项目对这三类任务的目标也不同，对核心任务来讲，数据分析是助力（E），帮助公司更好的盈利，提高盈利效率； 对战略任务来说是优化（O），如何能够辅助战略型任务找到方向和盈利点；对于风险任务，则是共同创业（I），努力验证创新项目的重要性 。首席增长官需要对公司业务及发展趋势有着清晰的认识，合理分配数据分析资源、制定数据分析目标方向。

2. 数据分析的 3 大思路

而面对海量的数据，很多人都不知道从如何准备、如何开展，如何得出结论。下面为大家介绍做数据分析时的 3 个经典的思路，希望在数据分析的实际应用中能给大家带来帮助。

1.数据分析的基本步骤

上面我们提到了数据分析与商业结果之间关联的重要性，所有商业数据分析都应该以业务场景为起始思考点，以业务决策作为终点。数据分析该先做什么、后做什么？基于此，我们提出了商业数据分析流程的五个基本步骤。

第一步，要先挖掘业务含义，理解数据分析的背景、前提以及想要关联的业务场景结果是什么。

第二步，需要制定分析计划，如何对场景拆分，如何推断。

第三步，从分析计划中拆分出需要的数据，真正落地分析本身。

第四步，从数据结果中，判断提炼出商务洞察。

第五步，根据数据结果洞察，最终产出商业决策。

举个例子：

某国内互联网金融理财类网站，市场部在百度和 hao123 上都有持续的广告投放，吸引网页端流量。最近内部同事建议尝试投放神马移动搜索渠道获取流量；另外也需要评估是否加入金山网络联盟进行深度广告投放。

在这种多渠道的投放场景下，如何进行深度决策？ 我们按照上面商业数据分析流程的五个基本步骤来拆解一下这个问题。

首先要了解市场部想优化什么，并以此为北极星指标去衡量。对于渠道效果评估，重要的是业务转化：对 P2P 类网站来说，是否发起 “投资理财” 要远重要于 “访问用户数量” 。所以无论是神马移动搜索还是金山渠道，重点在于如何通过数据手段衡量转化效果；也可以进一步根据转化效果，优化不同渠道的运营策略。

以 “投资理财” 为核心转化点，分配一定的预算进行流量测试，观察对比注册数量及最终转化的效果。记下俩可以持续关注这些人重复购买理财产品的次数，进一步判断渠道质量。

既然分析计划中需要比对渠道流量，那么我们需要各个渠道追踪流量、落地页停留时间、落地页跳出率、网站访问深度以及订单等类型数据，进行深入的分析和落地。

根据数据结果，比对神马移动搜索和金山网络联盟投放后的效果，根据流量和转化两个核心KPI，观察结果并推测业务含义。如果神马移动搜索效果不好，可以思考是否产品适合移动端的客户群体；或者仔细观察落地页表现是否有可以优化的内容等，需找出业务洞察。

根据数据洞察，指引渠道的决策制定。比如停止神马渠道的投放，继续跟进金山网络联盟进行评估；或优化移动端落地页，更改用户运营策略等等。

以上这些都是商务数据分析拆解和完成推论的基本步骤。在接下来的内容中，我们都会有这个分析思路。

2.内外因素分解法

在数据分析的过程中，会有很多因素影响到我们的北极星指标，那么如何找到这些因素呢？在此向大家推荐内外因素分解法。内外因素分解法是把问题拆成四部分，包括内部因素、外部因素、可控和不可控，然后再一步步解决每一个问题。

举个例子：

某社交招聘类网站，分为求职者端和企业端。其盈利模式一般是向企业端收费，其中一个收费方式是购买职位的广告位。业务人员发现， “发布职位” 的数量在过去的 6 月中有缓慢下降的趋势。对于这类某一数据指标下降的问题，可以怎么分析呢？

有了内外因素分解法，我们就可以较为全面地分析数据指标，避免可能遗失的影响因素并且对症下药。

3. DOSS 思路

DOSS 思路是从一个具体问题拆分到整体影响，从单一的解决方案找到一个规模化解决方案的方式。首席增长官需要快速规模化有效的增长解决方案，DOSS 是一个有效的途径。

举个例子：

某在线教育平台提供免费课程视频，同时售卖付费会员，为付费会员提供更多高阶课程内容。如果我想将一套计算机技术的付费课程，推送给一群持续在看 C++ 免费课程的用户，那么数据分析应该如何支持呢？

我们按 DOSS 思路的四个步骤，分解如下：

3. 数据分析的 8 种方法

上面介绍了 3 个经典分析思路，它们可以帮你搭建一个清晰的数据分析思路框架。那么对于具体的业务场景问题，我们又该怎么办呢？我们以一个电子商务网站为例，用数据分析产品 GrowingIO 对该网站进行快速地数据采集、清晰和可视化展示，然后给大家分享这 8 种常见的数据分析方法。

1.数字和趋势

看数字、看趋势是最基础展示数据信息的方式。在数据分析中，我们可以通过直观的数字或趋势图表，迅速了解例如市场的走势、订单的数量、业绩完成的情况等等，从而直观的吸收数据信息，有助于决策的准确性和实时性。

对于电子商务网站，流量是非常重要的指标。上图中，我们将网站的访问用户量（UV）和页面浏览量（PV）等指标汇汇聚到统一的数据看板（Dashboard），并且实时更新。这样的一个数据看板，核心数字和趋势一目了然，对于首席增长官来说一目了然。

2.维度分解

当单一的数字或趋势过于宏观时，我们需要通过不同的维度对于数据进行分解，以获取更加精细的数据洞察。在选择维度时，需要仔细思考其对于分析结果的影响。

举个例子，当监测到网站流量异常时，可以通过拆分地区、访问来源、设备、浏览器等等维度，发现问题所在。图 7 中，当天网站的访问用户量显著高于上周，这是什么原因呢？当我们按照访问来源对流量进行维度拆分时（图 9 ），不难发现直接访问来源的访问量有非常大的提升，这样就进一步把问题聚焦了。

3.用户分群

针对符合某种特定行为或背景信息的用户，进行归类处理，是我们常常讲到的用户分群（segmentation ）的手段。我们也可以通过提炼某一群用户的特定信息，创建该群体用户的画像。 例如访问购物网站、寄送地址在北京的用户，可以被归类为“北京”用户群体。而针对“北京”用户群体，我们可以进一步观察他们购买产品的频度、类别、时间，这样我们就创建出该用户群体的画像。

在数据分析中，我们往往针对特定行为、特定背景的用户进行有针对性的用户运营和产品优化，效果会更加明显。上图中，我们通过 GrowingIO 的用户分群功能将一次促销活动中支付失败的用户挑选出来，然后推送相应的优惠券。这样精准的营销推广，可以大幅度提高用户支付的意愿和销售金额。

4.转化漏斗

绝大部分商业变现的流程，都可以归纳为漏斗。漏斗分析是我们最常见的数据分析手段之一，无论是注册转化漏斗，还是电商下单的漏斗。通过漏斗分析可以从先到后还原用户转化的路径，分析每一个转化节点的效率。

其中，我们往往关注三个要点：

第一，从开始到结尾，整体的转化效率是多少？

第二，每一步的转化率是多少？

第三，哪一步流失最多，原因在什么地方？流失的用户符合哪些特征？

上图中注册流程分为 3 个步骤，总体转化率为45.5%；也就是说有 1000 个用户来到注册页面，其中 455 个成功完成了注册。但是我们不难发现第二步的转化率是 56.8% ，显著低于第一步 89.3% 和第三步转化率 89.7%，可以推测第二步注册流程存在问题。显而易见第二步的提升空间是最大的，投入回报比肯定不低；如果要提高注册转化率，我们应该优先解决第二步。

5.行为轨迹

关注行为轨迹，是为了真实了解用户行为。数据指标本身往往只是真实情况的抽象，例如，网站分析如果只看访问用户量（UV）和页面访问量（PV）这类指标，断然是无法全面理解用户如何使用你的产品。通过大数据手段，还原用户的行为轨迹，有助于增长团队关注用户的实际体验、发现具体问题，根据用户使用习惯设计产品、投放内容。

上图中展示了一位用户在某电商网站上的详细行为轨迹，从官网到落地页，再到商品详情页，最后又回到官网首页。网站购买转化率低，以往的业务数据无法告诉你具体的原因；通过分析上面的用户行为轨迹，可以发现一些产品和运营的问题（比如是不是商品不匹配等等），从而为决策提供依据。

6.留存分析

在人口红利逐渐消褪的时代，留住一个老用户的成本要远远低于获取一个新用户。每一款产品，每一项服务，都应该核心关注用户的留存，确保做实每一个客户。我们可以通过数据分析理解留存情况，也可以通过分析用户行为或行为组与回访之间的关联，找到提升留存的方法。

在 LinkedIn，增长团队通过数据发现，如果新用户进来后添加5个以上的联系人（上图红色线条），那么他／她在LinkedIn 上留存要远远高于那些没有添加联系人（上图绿色和紫色的线条）的留存。 这样，添加联系人称为 LinkedIn 留存新用户的最核心手段之一。

除了需要关注整体用户的留存情况之外，市场团队可以关注各个渠道获取用户的留存度，或各类内容吸引来的注册用户回访率，产品团队关注每一个新功能对于用户的回访的影响等等，这些都是常见的留存分析场景。

7.A/B 测试

A/B 测试用来对比不同产品设计／算法对结果的影响。产品在上线过程中经常会使用 A/B 测试来测试不同产品或者功能设计的效果，市场和运营可以通过 A/B 测试来完成不同渠道、内容、广告创意的效果评估。

举个例子，我们设计了两种不同的产品交互形式，通过比较实验组（A 组）和对照组（B 组）的访问时长和页面浏览量两个衡量指标，来评估哪一种交互形式更佳。

要进行A/B测试有两个必备因素：第一，有足够的时间进行测试；第二，数据量和数据密度较高。因为当产品流量不够大的时候，做 A/B 测试得到统计结果是很难的。而像 LinkedIn 这样大体量的公司，每天可以同时进行上千个 A/B 测试。所以 A/B 测试往往在公司数据规模较大时使用会更加精准，更快得到统计的结果。

8.数学建模

当一个商业目标与多种行为、画像等信息有关联性时，我们通常会使用数学建模、数据挖掘的手段进行建模，预测该商业结果的产生。

作为一家 SaaS 企业，当我们需要预测判断客户的流失时，可以通过用户的行为数据、公司信息、用户画像等数据建立流失模型。利用统计学的方式进行一些组合和权重计算，从而得知用户满足哪些行为之后流失的可能性会更高。

我们常常说，不能度量，就无法增长，数据分析对于企业商业价值的提升有着至关重要的作用。当然，仅仅掌握单纯的理论还远远不够，实践出真知。 数据分析的大家不妨在自己日常工作中，有分析相关项目里尝试使用，相信可以事半功倍，创造更多商业价值。

以上就是针对「如何进行数据采集以及数据分析」这个问题的详细解答

希望能对大家有所帮助

知友福利：点击领取 GrowingIO 全系列产品 15 天免费使用特权

GrowingIO 是基于用户行为数据的增长平台，国内领先的数据运营解决方案供应商。为产品、运营、市场、数据团队及管理者提供客户数据平台、获客分析、产品分析、智能运营等产品和咨询服务，帮助企业在数据化升级的路上，提升数据驱动能力，实现更好的增长。