统计学

统计学是一门有关收集、处理、分析、解释和展示数据的学科。统计分析数据所用的方法大体上可分为两大类：

• 描述统计（descriptive statistics）是研究如何收集、处理、展示数据的统计学方法。
• 推断统计（inferential statistics）是研究如何利用样本数据来推断总体特征的统计学方法。

描述统计

位置度量

名称	描述	常用表示方法	公式
平均数 mean	也叫算数平均数，是一组数据的数值之和除以个数。	样本平均数：[math]\displaystyle{ \bar{x} }[/math] 样本个数：n 总体平均数：[math]\displaystyle{ \mu }[/math] 总体个数：N	[math]\displaystyle{ \bar{x} = \frac{\sum{x}_{i}}{n} = \tfrac{x_1 + x_2 + x_3 \ldots + x_n}{n} }[/math] [math]\displaystyle{ \mu = \frac{\sum{x}_{i}}{N} = \tfrac{x_1 + x_2 + x_3 \ldots + x_N}{N} }[/math]
加权平均数 weighted mean	类似算术平均数，算数平均每个数据的权重都为[math]\displaystyle{ \frac{1}{n} }[/math]，但加权平均数会根据每个数据的重要性分配权重。	样本平均数：[math]\displaystyle{ \bar{x} }[/math] 样本个数：n 总体平均数：[math]\displaystyle{ \mu }[/math] 总体个数：N	假设一组数据：[math]\displaystyle{ x_1, x_2, \dots , x_n }[/math] 权重为[math]\displaystyle{ w_1, w_2, \dots, w_n }[/math] [math]\displaystyle{ \bar{x} = \frac{ \sum_{i=1}^n w_i x_i}{\sum_{i=1}^n w_i} = \frac{w_1 x_1 + w_2 x_2 + \cdots + w_n x_n}{w_1 + w_2 + \cdots + w_n} }[/math]
几何平均数 geometric mean	是n个数据乘积的n次方根。几何平均数比算术平均数更适合用于指数增长和变化的增长值；在商业中，几何平均数的增长率被称为复合年均增长率(CAGR)。	样本几何平均数：[math]\displaystyle{ \bar{x}_g }[/math] 样本个数：n 总体几何平均数：[math]\displaystyle{ \mu_g }[/math] 总体个数：N	[math]\displaystyle{ \bar{x}_g = \sqrt[n]{x_1 x_2 \cdots x_n}=({x_1 x_2 \cdots x_n})^{\frac{1}{n}} }[/math] 简洁记法：[math]\displaystyle{ \bar{x}_g = \left(\prod_{i=1}^n x_i\right)^\frac{1}{n} }[/math]
调和平均数 harmonic mean	是将所有数值取倒数并求其算术平均数后，再将此算术平均数取倒数。一般是在计算平均速率时使用。	[math]\displaystyle{ H }[/math]	[math]\displaystyle{ H = \left(\frac{x_1^{-1} + x_2^{-1} + ... + x_n^{-1}}{n}\right)^{-1} = \frac{n}{\frac{1}{x_1} + \frac{1}{x_2} + ... + \frac{1}{x_n}} }[/math] 简记：[math]\displaystyle{ H = \frac{n}{\sum_{i=1}^n \frac{1}{x_i}} }[/math]
调整平均数 trimmed mean 或truncated mean	是删除数据的最高和最低端的一部分数值后，再计算平均值。如丢弃最高5%和最低5%的数据再计算平均值。
中位数 median	也叫中值，是一组数据按数值大小排序后，位于正中间的数，如果正中间有2个数，取这2个数的平均值。	[math]\displaystyle{ M_e }[/math]	设一组数据：[math]\displaystyle{ x_1, x_2, \dots , x_n }[/math]。按大小顺序（升序或降序）排列后为：[math]\displaystyle{ x'_1, x'_2, \dots , x'_n }[/math] [math]\displaystyle{ \mathrm{M_e} = \begin{cases} x'_\frac{n + 1}{2}, & \mbox{n为奇数} \\ \frac{1}{2}( x'_\frac{n}{2} + x'_{\frac{n}{2} + 1}), & \mbox{n为偶数} \end{cases} }[/math]
众数 mode	指一组数据中出现次数最多的数据值。
百分位数 percentile	将一组数据从小到大排序，并计算相应的累计百分位，某一百分位所对应数据的值就称为这一百分位的百分位数。	[math]\displaystyle{ P_k }[/math] 表示第k百分位数
四分位数 quartiles	是把所有数值按大小排序并分成四等份，处于三个分割点位置的数值就是四分位数。 *[math]\displaystyle{ Q_1 }[/math]为第一四分位数（即第25百分位数） *[math]\displaystyle{ Q_2 }[/math]为第二四分位数（即第50百分位数或中位数） *[math]\displaystyle{ Q_3 }[/math]为第三四分位数（即第75百分位数）	[math]\displaystyle{ Q_1 }[/math] [math]\displaystyle{ Q_2 }[/math] [math]\displaystyle{ Q_3 }[/math]

离散程度

名称	描述	常用表示方法	公式
极差 range	是最大值减最小值后所得数值。
四分位数间距 interquartile range	是第三四分位数[math]\displaystyle{ Q_3 }[/math]减第一四分位数[math]\displaystyle{ Q_1 }[/math]所得的数值。也就是一组数据排序后中间50%的数据的极差。	[math]\displaystyle{ IQR }[/math]	[math]\displaystyle{ IQR = Q_3-Q_1 }[/math]
方差 variance	是每个值与平均值之间差的平方和，再除以个数N，对于样本除以n-1。	样本方差：[math]\displaystyle{ s^2 }[/math] 样本平均数：[math]\displaystyle{ \bar{x} }[/math] 样本个数：n 总体方差：[math]\displaystyle{ \sigma^2 }[/math] 总体平均数：[math]\displaystyle{ \mu }[/math] 总体个数：N	[math]\displaystyle{ \sigma^2 = \frac{\sum{(x_i - \mu)^2} }{N} }[/math] [math]\displaystyle{ s^2 = \frac{\sum{(x_i - \bar{x})^2} }{n-1} }[/math]
标准差 standard deviation	是方差的平方根。	样本标准差：[math]\displaystyle{ s }[/math] 总体标准差：[math]\displaystyle{ \sigma }[/math]	[math]\displaystyle{ s = \sqrt{s^2} }[/math] [math]\displaystyle{ \sigma = \sqrt{\sigma^2} }[/math]
变异系数 coefficient of variation	又称标准差系数，是标准差归一化度量，通常表示为百分比。它是标准差[math]\displaystyle{ \sigma }[/math]与平均值[math]\displaystyle{ \mu }[/math]之比。

分布形态

名称	描述	常用表示方法	公式
偏度 skewness
峰度 kurtosis
z-分数 z-score	也叫标准分数(standard score)，是用来计算一个数据点的相对位置，即该值与平均值距离多少个标准差。	z	[math]\displaystyle{ z_i = {x_i - \mu \over \sigma} }[/math] [math]\displaystyle{ z_i = \frac{x_i-\bar{x}}{s} }[/math]

概率

概率基本概念

概率（probability）是对事件发生的可能性的度量，是0至1闭区间内的数字。

名称	描述	示例
试验 experiment
随机事件 random event	简称事件，在一次随机试验中，可能出现也有可能不出现的某个特定事件。常用大写字母A、B、C等表示。
确定事件	确定事件可分为2类： * 必然事件（certain event），在一定的条件下重复进行试验时，每次试验中必然出现的事件。用Ω表示 * 不可能事件（impossible event），在一定的条件下重复进行试验时，每次试验中不可能出现的事件。用Ф表示 确定事件的概率为1或0，但概率为0或1的事件不一定为确定事件。
样本点 sample point	也叫基本事件（elementary event），	抛硬币有2个样本点：正面和反面。
样本空间 sample space	是试验所有可能结果的集合。常用S、Ω或U表示	掷骰子的样本空间 [math]\displaystyle{ S = \{1,2,3,4,5,6\} }[/math]
事件的补 complement	是所有不包含该事件的样本点。使用c表示，如事件[math]\displaystyle{ A }[/math]的补为 [math]\displaystyle{ A^c }[/math]。
两个事件的并 union	属于第一个事件或第二事件或同时属于二者的样本点构成的事件。使用[math]\displaystyle{ \cup }[/math]表示，如事件[math]\displaystyle{ A }[/math]和事件[math]\displaystyle{ B }[/math]的并为[math]\displaystyle{ {A}\cup{B} }[/math]。
两个事件的交 intersection	同时属于两个事件的样本点构成的事件。使用[math]\displaystyle{ \cap }[/math]表示，如事件[math]\displaystyle{ A }[/math]和事件[math]\displaystyle{ B }[/math]的交为[math]\displaystyle{ {A}\cap{B} }[/math]。
条件概率 conditional probability	在某事件发生的条件下，该事件的概率。使用[math]\displaystyle{ | }[/math]表示，如[math]\displaystyle{ P(A|B) }[/math]表示事件B发生的条件下事件A发生的概率。
独立事件 independent events	一个事件发生的概率不受另一个事件的是否发生影响，则称这两个事件为独立事件。如果事件A和事件B相互独立，则[math]\displaystyle{ P(A|B) = P(A) }[/math]或[math]\displaystyle{ P(B|A) = P(B) }[/math]

计数法则

方法	描述	示例
加法法则 addition principle
乘法法则 multiplication principle	事件A有m种试验结果（样本点），事件B有n种试验结果，且事件A与事件B相互独立，则事件A与B有 [math]\displaystyle{ {m}\times{n} }[/math]种试验结果。多步骤试验（multiple-step experiment）适用乘法法则。	如抛掷3枚硬币，抛第一枚有2种试验结果，抛第二枚有2种试验结果，抛第三枚也有2种结果，所以一共有[math]\displaystyle{ {2}\times{2}\times{2}=8 }[/math]种试验结果
组合 combinations	从N项中选取n项（0≤n≤N）的试验，选取的n个元素为一个组合。可以使用组合计数法则计算试验结果数： [math]\displaystyle{ C_{N}^{n} = {N\choose n} = \frac{N!}{n!(N-n)!} }[/math] 符号“[math]\displaystyle{ ! }[/math]”表示阶乘，如3的阶乘[math]\displaystyle{ 3! = {1}\times{2}\times{3} = 6 }[/math]。并且定义[math]\displaystyle{ 0! = 1 }[/math]
排列 permutations	从N项中选取n项（0≤n≤N）的试验，并且考虑选取的顺序，可以使用排列计数法则计算实验结果数： [math]\displaystyle{ P_{N}^{n} = n!{N\choose n} = \frac{n!}{(N-n)!} }[/math]

概率分配

方法	描述	示例
古典法 classical method	如果一个随机试验所包含的基本事件是有限的，且每个基本事件发生的可能性均相等，可以采用古典法进行概率分配。	如掷色子，假设A表示色子点数为1的事件，则[math]\displaystyle{ P(A)=\frac{1}{6} }[/math]，B表示色子点数<=2的事件，则[math]\displaystyle{ P(B)=\frac{2}{6} }[/math]
相对频数法 relative frequency method
主观法 subjective method

概率的性质与计算

名称	公式	描述
事件A的补	[math]\displaystyle{ P(A^c)=1-P(A) }[/math]
事件A与事件B的并	[math]\displaystyle{ \begin{align} P(A\cup B) & = P(A)+P(B)-P(A\cap B) \\ P(A\cup B) & = P(A)+P(B) \qquad\mbox{如果A和B为互斥事件} \\ \end{align} }[/math]	即加法公式（addition law）
事件A与事件B的交	[math]\displaystyle{ \begin{align} P(A\cap B) & = P(A|B)P(B) = P(B|A)P(A)\\ P(A\cap B) & = P(A)P(B) \qquad\mbox{如果A和B为独立事件}\\ \end{align} }[/math]	即乘法公式（multiplication law）
事件B发生的情况下事件A的概率	[math]\displaystyle{ P(A \mid B) = \frac{P(A \cap B)}{P(B)} = \frac{P(B|A)P(A)}{P(B)} }[/math]
贝叶斯定理 Bayes's theorem

随机变量

随机变量（random variable）是将试验结果用数值表示。可分为2类：

• 离散型随机变量（discrete random variable），取值是有限的或者是可数无穷尽的值的随机变量。
• 连续型随机变量（continuous random variable），取值是全部实数或者由一部分区间组成的随机变量。

以下为随机变量的数字特征：

名称	描述	离散型随机变量	连续型随机变量
数学期望 expected value	简称期望或均值，通常使用[math]\displaystyle{ E(x) }[/math]或[math]\displaystyle{ \mu }[/math]表示	[math]\displaystyle{ E(x) = \sum{x}f(x) }[/math]
方差 variance
协方差

离散型概率分布

名称	描述	概率函数	数学期望	方差
伯努利分布 bernoulli distribution	也称两点分布或者0-1分布，
二项分布 binomial distribution	二项概率分布的简称，是n个独立的（成功或失败）试验中成功的次数的离散概率分布。其中每次试验的成功概率相同，用p表示。这样的单次成功或失败试验又称为伯努利试验，多次伯努利试验称为二项试验。	[math]\displaystyle{ f(x) = {n\choose x}p^x(1-p)^{n-x} }[/math] 其中x为成功的次数，n为试验的次数
泊松分布 poisson distribution	适合于描述一个时间段或空间随机事件发生的次数的概率分布。
几何分布 geometric distribution
超几何分布 hypergeometric distribution

连续型概率分布

名称	描述	概率函数	数学期望	方差
均匀分布 uniform distribution
正态分布 normal distribution	也称高斯分布，
指数分布 exponential distribution
卡方分布 chi-square distribution	也叫[math]\displaystyle{ \chi^2 }[/math]分布。[math]\displaystyle{ \chi }[/math]是第22个希腊字母，英语名称chi，读音与“开”相同。
t分布 t-distribution	也叫Student t-分布（Student's t-distribution）。
F分布 F-distribution
伽玛分布 Gamma distribution
Beta 分布 Beta distribution	也称B分布或贝塔分布。

抽样与抽样分布

基本概念

名称	描述	示例
抽样 sampling	是从总体（目标总体）中抽取一部分个体作为样本（Sample）
目标总体 target population	简称总体（population），是所有要研究的个体的集合，即进行统计推断的总体。总体按个体的数目可分为2类： *有限总体 *无限总体
抽样总体 sample population	实际抽取样本的总体。使用样本去推断总体时，应该确保抽样总体与目标总体尽可能相似。
抽样框 frame
样本 sample	总体的一个子集，通过样本可以推测出总体的情况。样本可分为： 单样本（one sample），从一个总体中抽取的样本。 独立样本（independent sample），从两个总体中独立抽取的两个样本，两个样本抽取时是相互独立的。 配对样本（matched sample），也称匹配样本，两个样本的值是相对应的。如一组病人服药前数据和服药后数据，一组工人使用方法A的数据和方法B的数据。
样本容量 sample size	也称样本的大小，是样本中个体的数目。通常用n表示
总体参数 parameter	总体的数值特征，如总体平均值[math]\displaystyle{ \mu }[/math]、总体标准差[math]\displaystyle{ \sigma }[/math]和总体比率[math]\displaystyle{ p }[/math]等。
样本统计量 sample statistic	样本的数值特征，如样本平均值[math]\displaystyle{ \bar{x} }[/math]、总体标准差[math]\displaystyle{ s }[/math]和总体比率[math]\displaystyle{ \overline{p} }[/math]等。

抽样方法

名称	描述	示例
简单随机抽样 simple random sampling	也叫纯随机抽样。从总体N个个体中随机地抽取n个个体作为样本，使每个个体都有相同的概率被抽中。
系统抽样 systematic sampling	也称等距抽样或机械抽样。将总体中的所有个体按一定顺序排列，在规定的范围内随机地抽取一个个体作为初始个体，然后按事先规定好的规则确定其他样本个体。
分层抽样 stratified sampling	将抽样个体按某种特征或某种规则划分为不同的层，然后从不同的层中独立、随机地抽取样本。从而保证样本的结构与总体的结构比较相近，从而提高估计的精度。
整群抽样 cluster sampling	将总体分为若干个群，然后从若干个群中随机抽取1个或多个群。该可简化工作量，缺点是估计的精度较差。	调查中学生患近视眼的情况，随机抽取某一个班进行调查。

参数估计

基本概念

名称	描述	示例
参数估计 parameter estimation	是使用样本统计量来估计总体参数。分为点估计和区间估计。
点估计 point estimation	是使用某个样本统计量估计某个总体参数。比如使用样本平均值[math]\displaystyle{ \bar{x} }[/math]直接作为总体平均值[math]\displaystyle{ \mu }[/math]的估计。
区间估计 interval estimation	总体参数估计的一个区间范围，是点估计加减一个估计误差得到。
置信水平 confidence level	也称置信度或置信系数，是置信区间中包含总体参数真值的概率。如95%置信水平表示我们相信总体参数的真值有95%的概率落在置信区间。
置信区间 confidence interval	是在某个置信水平下构造的区间估计。如95%置信区间表示95%置信水平下的区间。

一个总体区间估计

区间估计	适用情况	公式	描述
总体均值 [math]\displaystyle{ \mu }[/math]	总体标准差[math]\displaystyle{ \sigma }[/math]已知	[math]\displaystyle{ \bar{x} \pm z_{\alpha / 2} \frac{\sigma}{\sqrt{n}} }[/math]	当总体服从或近似正态分布，可以使用小样本容量。 当总体不服从正态分布，该公式给出的置信区间是近似的，一般样本容量[math]\displaystyle{ n \ge 30 }[/math]时也可以使用。
	总体标准差[math]\displaystyle{ \sigma }[/math]未知	[math]\displaystyle{ \bar{x} \pm t_{\alpha / 2} \frac{s}{\sqrt{n}} }[/math]	当总体服从或近似正态分布，所给的置信区间是精确的，小样本容量可以使用。 当不知道总体是否服从正态分布，样本也没发现偏斜或异常点，小样本容量也可以使用。 当总体不服从正态分布，该公式给出的置信区间是近似的，一般样本容量[math]\displaystyle{ n \ge 30 }[/math]时也可以使用，如果总体分布严重偏斜或包含异常点建议样本容量[math]\displaystyle{ n \ge 50 }[/math]或更多。 原理：利用s估计[math]\displaystyle{ \sigma }[/math]，利用t分布求出置信区间。虽然t分布是建立在抽样总体服从正态分布的基础上，但研究表明总体分布偏离正态分布下，利用t分布的结果还是相当不错。
	总体标准差[math]\displaystyle{ \sigma }[/math]未知，样本容量大	[math]\displaystyle{ \bar{x} \pm z_{\alpha / 2} \frac{s}{\sqrt{n}} }[/math]	一般样本容量[math]\displaystyle{ n \ge 30 }[/math]，如果总体分布严重偏斜或包含异常点建议样本容量[math]\displaystyle{ n \ge 50 }[/math]或更多。
总体比率 [math]\displaystyle{ p }[/math]		[math]\displaystyle{ \overline{p} \pm z_{\alpha / 2} \sqrt{\frac{\overline{p}(1-\overline{p})}{n}} }[/math]
总体方差 [math]\displaystyle{ \sigma^2 }[/math]		[math]\displaystyle{ \frac{(n-1) s^{2}}{\chi_{\alpha / 2}^{2}} \leq \sigma^{2} \leq \frac{(n-1) s^{2}}{\chi_{(1-\alpha / 2)}^{2}} }[/math]	式中，[math]\displaystyle{ 1-\alpha }[/math]为置信水平，[math]\displaystyle{ \chi^2 }[/math]值为小于等于下标概率的自由度n-1的卡方分布值。

两个总体区间估计

区间估计	适用情况	公式	描述
两个总体均值之差 [math]\displaystyle{ {\mu}_1 - {\mu}_2 }[/math]	2个总体标准差[math]\displaystyle{ \sigma_1,\sigma_2 }[/math]已知	[math]\displaystyle{ \left(\bar{x}_{1}-\bar{x}_{2}\right) \pm z_{\alpha / 2} \sqrt{\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}} }[/math]	当两总体服从或近似正态分布，可以使用小样本容量。 当总体不服从正态分布，该公式给出的置信区间是近似的，一般样本容量都大于30时也可以使用。
	2个总体标准差[math]\displaystyle{ \sigma_1,\sigma_2 }[/math]未知	[math]\displaystyle{ \left(\bar{x}_{1}-\bar{x}_{2}\right) \pm t_{\alpha / 2} \sqrt{\frac{s_{1}^{2}}{n_{1}}+\frac{s_{2}^{2}}{n_{2}}} }[/math]
	配对样本	[math]\displaystyle{ \bar{d} \pm z_{\alpha / 2} \frac{\sigma_{d}}{\sqrt{n}} }[/math]
两个总体比率之差 [math]\displaystyle{ p_1 - p_2 }[/math]		[math]\displaystyle{ \left(\bar{p}_{1}-\bar{p}_{2}\right) \pm z_{\alpha / 2} \sqrt{\frac{\bar{p}_{1}\left(1-\bar{p}_{1}\right)}{n_{1}}+\frac{\bar{p}_{2}\left(1-\bar{p}_{2}\right)}{n_{2}}} }[/math]
两个总体方差之比 [math]\displaystyle{ \frac{{\sigma_1}^2}{{\sigma_2}^2} }[/math]		[math]\displaystyle{ \frac{s_{1}^{2} / s_{2}^{2}}{F_{\alpha / 2}} \leq \frac{\sigma_{1}^{2}}{\sigma_{2}^{2}} \leq \frac{s_{1}^{2} / s_{2}^{2}}{F_{(1-\alpha / 2)}} }[/math]	式中，[math]\displaystyle{ 1-\alpha }[/math]为置信水平，[math]\displaystyle{ F }[/math]值为小于等于下标概率的自由度[math]\displaystyle{ (n_1-1, n_2-1) }[/math]的F分布值。

假设检验

基本概念

名称	描述
假设检验 hypothesis testing	是对总体参数提出某种假设,然后利用样本信息判断假设是否成立。
假设	做假设检验时，首先对总体提出两个相反假设： *原假设（null hypothesis），也叫零假设，记为[math]\displaystyle{ H_0 }[/math]。 *备择假设（Alternative hypothesis），也叫对立假设，记为[math]\displaystyle{ H_{a} }[/math]或[math]\displaystyle{ H_1 }[/math]。
两类错误	因为是根据样本的统计信息去推断总体信息，所以假设检验的结果可能会存在两类错误： *第一类错误（Type I error），也叫α错误或假阳性，是原假设[math]\displaystyle{ H_0 }[/math]是正确的，却拒绝了原假设，即弃真。 *第二类错误（Type II error），也叫β错误或假阴性，是原假设[math]\displaystyle{ H_0 }[/math]是错误的，却没有拒绝原假设，即存伪。
检验统计量
显著性水平
拒绝域

假设检验方法

方法	描述
t检验 t test	又称student t检验
卡方检验	又称[math]\displaystyle{ \chi^2 }[/math]检验
F检验

方差分析

基本概念

名称	描述
方差分析 Analysis of variance	简称ANOVA，通过两个及两个以上样本均值差别的假设检验，判断多个总体均值是否相等，即可得出分类型自变量对数值型因变量是否有显著影响。
单因子实验 single-factor experiment	是只对一个因子进行实验，而将其他因子都固定。
因子 factor	也称因素，即实验的自变量。
响应变量 response variable	即实验的因变量。
处理 treatments	也称水平，指因子的不同表现，即因子的不同选择方案（或称组）。

方差分析原理

方差分析有三个基本假定：

• 1.每个总体服从正态分布。
• 2.所有总体方差必须相同。
• 3.观测值是独立的。

资源

相关网站

• 中国科学技术大学：概率论与数理统计
• 美国布朗大学：看见统计
• RPubs：梁雪枫
• 统计之都
• 何志坚：数理统计讲义
• Bryan R. Burnham：Fundamental Statistics for the Behavioral Sciences

相关文章

• 搜狐：统计学的实质是什么？--写给所有将要或者正在学习统计学的朋友们
• 统计之都：谢益辉-统计学的领域（写给在统计学院学习的学弟学妹之一）
• 斯坦福大学：CS 229 - 机器学习 概率和统计回顾
• 机器之心：自学数据科学与机器学习，19个数学和统计学公开课推荐
• 人人都是产品经理：数据分析必备——统计学入门基础知识

书籍

• 《商务与经济统计》- 戴维.安德森
• 《统计学》-贾俊平

参考

• 维基百科：统计学
• 维基百科：统计学（英）
• 维基百科：集中趋势
• 维基百科：概率
• 维基百科：概率分布
• 维基百科：抽样
• 维基百科：置信区间