做市场调研时，面对一堆用户反馈数据，你会感到无从下手，不知道这些数字到底代表什么意思，用户满意度是高还是低，哪个因素真正影响了购买决策。这些问题的答案，就藏在统计分析之中。
统计分析就是把数据变成洞察的科学方法，它用收集、整理、分析数据的方式来发现规律，并且为决策提供支持。描述性统计可以计算出电商店铺的月均销售额，但是要预测双十一的总销量，就必须使用推断性统计。统计分析的一般步骤有：确定问题、搜集数据、整理数据、探索性分析、统计建模、解释结果、撰写报告。这是一条从数据到决策的全部链条。
1. 什么是统计分析？
统计分析就是用数学的方法对数据进行分析、解释的过程。它的主要目的就是从数据中获取有价值的信息，使人们能够理解现象、检验假设或者作出预测。
统计分析是数据科学的基础，也是核心。它不是机器学习，统计分析更注重因果推断，例如，统计检验可以告诉你A/B测试中两个版本的用户转化率差异是否显著，但是机器学习模型只能告诉你预测结果，不能解释因果关系。例如，统计分析用假设检验发现咖啡销量和心脏病发病率有关，但进一步分析才发现这是由于压力大这个共同因素造成的，并不是咖啡本身引起心脏病。
统计分析的基本流程可以归纳为以下几个步骤：
1. 确定问题：确定研究目的，提出可以检验的假设。
2. 数据收集：通过调查、实验或者现有的数据库得到数据。
3. 数据清洗：处理缺失值、异常值，保证数据质量。
4. 探索性分析：用图表、统计指标等方式对数据有初步的认识。
5. 统计建模：选择合适的方法进行假设检验、回归分析等。
6. 结果解释：把统计结果转化为业务或者研究结论。
7. 报告撰写：清楚地表现分析的过程和结果。
展示统计分析从问题定义到结论报告的全流程步骤图
2. 统计分析的两种基本类型
统计分析可以分为描述性统计和推断性统计两种。描述性统计是对已有的数据进行整理、概括和描述，不涉及预测或者推断；推断性统计是用样本数据来对总体特征做出估计或者假设检验。简单来说，描述性统计回答的是数据是什么样的，推断性统计回答的是数据背后有什么规律或者结论。
为了更直观地理解两者的区别，可以参考以下对比：
对比描述性统计和推断性统计在目的、方法、输出方面的异同
两者常常结合在一起使用。电商团队先用描述性统计统计出月度销售额、用户活跃数等指标，然后用推断性统计从样本数据中推测出双十一期间总销量。
描述性统计的常用方法
描述性统计的核心就是用图表、指标来概括数据。常用的指标有：
集中趋势指标：
重要提示：数据偏斜时用中位数代替均值。在分析收入数据的时候，少数高收入者会使得平均值被拉高，从而不能反映普通人群的收入水平。这时中位数更能体现中心趋势。
离散程度指标：
分布形态指标：
- 偏度：衡量数据分布对称性的指标。正偏态（右偏）数据右侧有长尾，负偏态（左偏）数据左侧有长尾。
- 峰度：衡量数据分布尖锐程度的指标。高峰度数据集中在均值附近，低峰度数据比较分散。
数据可视化：
- 直方图：展示数据分布形态，判断是否正态分布。
- 箱线图：快速识别异常值、中位数、四分位数，特别适合比较多个组。
- 散点图：展示两个变量之间的关系，为后续相关分析或回归分析提供初步判断。
推断性统计的核心方法
推断性统计的核心就是从样本推断总体，它的方法有参数估计和假设检验。
参数估计：
- 点估计：用样本统计量（样本均值等）直接估计总体参数（总体均值等）。
- 区间估计：给出总体参数可能落在的区间，同时给出置信度。例如，“95%置信区间”表示有95%的把握认为总体参数在这个区间内。
假设检验的基本步骤：
1. 提出原假设（H₀）和备择假设（H₁）。
2. 选择检验统计量并计算p值。
3. 根据显著性水平（通常α=0.05）判断是否拒绝原假设。
p值误区：p值不是原假设为真的概率，而是“在原假设成立的前提下，观察到当前数据或更极端数据的概率”。p值小于0.05只表明数据与原假设不太一致，不能直接证明备择假设为真。
常见假设检验方法：
如何选择正确的假设检验方法？可以参考以下决策树：
引导用户根据数据类型和问题选择正确的假设检验方法
置信区间的正确解读：95%置信区间不是“总体参数有95%的概率落在这个区间内”。正确的理解是：如果重复抽样100次，每次计算一个置信区间，大约有95个区间会包含总体参数。置信区间越窄，估计越精确。
3. 统计分析的实际应用场景
商业分析
市场调研：企业在推出新产品之前，一般会通过发放问卷的方式来获取用户的喜好数据。利用描述性统计（频数分布、交叉表）来了解用户的画像，再用卡方检验来分析不同用户群体对于产品属性的偏好差异。
用户行为分析：电商平台通过对用户的点击流数据进行分析，从而得出用户从浏览到购买的转化率。利用假设检验可以判断某个促销活动是否显著提高了转化率。
A/B测试属于推断性统计在商业领域的一种应用。假设某电商平台想要测试新页面设计是否能提高点击率，就会把用户随机分成两组，一组用旧页面（对照组），一组用新页面（实验组）。用t检验或者卡方检验来判断两组点击率差异是否显著。
真实案例：某分析师负责产品A/B测试，实验组新设计在测试期间点击率提高了5%，p值小于0.05。按照常规的判断，这似乎意味着新的设计效果很好。但进一步分析可知，测试期间正好是节假日，实验组用户的行为受到节日的影响。通过控制时间因素之后再进行检验，发现新设计并没有显著提高点击率。这个案例告诉我们，假设检验的结果要结合业务背景以及实验设计来解释，不能被p值所误导。
科学研究
实验数据处理：生物医学研究中用统计分析来处理实验数据。比较两种药物对血压的影响，用配对样本t检验或者ANOVA分析。
生物统计：分析基因表达数据时用t检验或者非参数检验来比较不同组的表达水平差异。数据分布的正态性检验非常重要，如果数据不是正态的，应该用非参数检验（Mann-Whitney U检验）而不是t检验。
公共政策
民意调查：用样本数据来推断总体意见。调查1000名选民对某项政策的支持率，计算置信区间，从而估计总体支持率的范围。
经济指标分析就是用时间序列分析来预测GDP增长率、失业率等经济指标。ARIMA模型属于常用的预测手段，其借助自回归以及移动平均成分来把握数据里的趋势及季节性。
质量管理
六西格玛：用统计过程控制（SPC）来监控生产过程中质量的波动。用控制图（均值-极差图）来判断生产是否处于稳定状态，一旦出现异常点就立即采取措施。
过程控制：用假设检验来判断工艺改进是否显著降低了缺陷率。用卡方检验来分析改进前后产品合格率有无显著差异。
4. 怎样做一次完整的统计分析？
步骤1：明确问题与目标
在分析之前必须确定研究问题。例如，新营销策略是否提高了用户注册率？这个问题要转化为可以检验的假设，即原假设H₀：新策略和旧策略的注册率没有差异；备择假设H₁：新策略的注册率高于旧策略。
步骤2：收集与清洗数据
数据来源可以是内部数据库、公开数据集（Kaggle的UCI公开数据集）或者自己设计的问卷。数据清洗包括：
- 缺失值处理：删除缺失值、用均值/中位数填充，或使用模型预测。
- 异常值处理：通过箱线图识别异常值，根据业务逻辑判断是否剔除或修正。
- 数据类型转换：确保分类变量、连续变量类别正确。
步骤3：探索性数据分析（EDA）
利用直方图、箱线图、散点图等可视化工具对数据分布、缺失值、异常值做初步的了解。绘制箱线图可以发现异常值，判断数据是否偏态分布，为之后选择统计方法提供依据。
实例：小李在分析某电商平台用户行为数据时，最初直接计算平均值，但发现数据严重右偏。用箱线图找出异常值之后，改用中位数来描述中心趋势，用Mann-Whitney U检验代替t检验，最后得到显著结果。以下是Python代码示例：
步骤4：选择并执行统计方法
根据数据分布和问题类型来选择方法。例如：
- 比较两组均值：若数据正态，用t检验；若偏态，用Mann-Whitney U检验。
- 分析变量关系：用Pearson相关（连续数据正态）或Spearman相关（数据偏态）。
- 预测变量：用线性回归（响应变量连续）、Logistic回归（响应变量二分类）。
步骤5：结果解读与报告撰写
结果解读包含：
- 统计显著性：p值是否小于0.05。
- 实际显著性：效应量（如Cohen's d）是否足够大，在业务上是否有意义。
- 置信区间：给出参数估计的精度范围。
报告撰写时要清楚地表现出分析的过程、重要的图表以及结论，不能过多地进行解释。p值小于0.05并不意味着结果一定重要，还要结合业务背景来判断。
5. 常用统计分析工具介绍
不同的工具有不同的优缺点，选择的时候要考虑学习成本、功能需求以及团队协作等各方面因素。
常用统计工具功能对比雷达图
Excel 适合初学者，自带统计函数（AVERAGE、STDEV、T.TEST等）以及数据分析工具包，可以做基本的描述性统计和t检验。但是处理大样本数据的时候性能差，功能也少。
SPSS：社会科学领域常用，操作界面友好，不需要编程就可以完成复杂的统计分析，适合没有编程背景的研究人员。但是费用高、自定义分析能力差。
R语言：开源免费，统计功能强大，有很多包（tidyverse、stats、car）。可视化能力强（ggplot2）。学习曲线陡峭，但是一旦学会了就可以进行高度定制化的分析。
Python：结合pandas、scipy、statsmodels等库，适合大规模数据处理和机器学习集成。pandas用来数据清洗，scipy提供统计函数，statsmodels做回归分析、时间序列。代码可以重复使用、可以扩展，适合团队合作。
选择建议：
- 初学者或者只需要简单分析的人可以从Excel入手。
- 社会科学研究者使用SPSS就足够了。
- 灵活定制、处理大量数据时使用Python或者R更好。
- 如果团队有编程基础，那么Python由于其生态（和机器学习、深度学习结合）更好。
常见问题
常见问题
共 4 个问题，点击展开查看答案
-
暂无答案
-
统计分析可以分为描述性统计和推断性统计两种。描述性统计用来概括和描述数据的基本情况，例如均值、中位数、标准差等；推断性统计是利用样本数据来推断总体的特征，常用的方法有假设检验、置信区间、回归分析等。
-
描述性统计是对已经存在的数据进行整理、概括和描述，不涉及预测或者推断；推断性统计是利用样本数据来对总体特征进行估计或者假设检验。简单来说，描述性统计回答的是数据是什么样的，推断性统计回答的是数据背后有什么规律或者结论。
-
选择统计分析方法要考虑数据类型（连续、分类）、变量数量（单变量、双变量、多变量）、研究目的（描述、比较、关联、预测）和数据分布（正态、非正态）。比较两组均值用t检验，分析变量关系用相关或者回归分析。