回归分析

回归分析（regression analysis），是一种建模方法，是建立因变量（或称结果变量，通常用Y表示）与一个或多个自变量（或称预测变量，通常用X表示）之前的关系模型，从而能够通过给定的自变量来估计预测因变量。

基本概念

名称	描述
变量	因变量（dependent variable） 自变量（independent variable）
回归模型
回归方程
一元回归分析与多元回归分析	一元回归分析，是只包含一个自变量的回归分析。 多元回归分析（multiple regression analysis），是包含两个或两个以上自变量的回归分析。
线性回归与非线性回归	线性回归（linear regression）是指变量之间是直线关系。 非线性回归（non-linear regression）是指变量之间是不是直线关系，而是曲线、曲面等。
简单线性回归 simple linear regression	即一元线性回归，是只含有一个自变量，并且自变量与因变量的关系是一条近似直线的回归分析。
虚拟变量
逻辑回归 logistic regression	也称logistic回归，是因变量只能取2个离散值（如成功与失败，有与没有等，一般使用0和1表示）的回归分析。
拟合	欠拟合（underfitting），也称High-bias 合适拟合, 过拟合（overfitting），也称High variance，
误差平方和 Sum of Squared Errors	用[math]\displaystyle{ SSE }[/math]表示，也称残差平方和，是因变量的实际值[math]\displaystyle{ y }[/math]与预测值[math]\displaystyle{ \hat{y} }[/math]差的平方和。计算公式：[math]\displaystyle{ SSE = \sum(y_i - \hat{y_i})^2 }[/math]
回归平方和 Sum of Squares Regression	用[math]\displaystyle{ SSR }[/math]表示，是因变量的预测值[math]\displaystyle{ \hat{y} }[/math]与实际值的均值[math]\displaystyle{ \bar{y} }[/math]差的平方和。计算公式：[math]\displaystyle{ SSR = \sum(\hat{y_i} - \bar{y})^2 }[/math]
总偏差平方和 Sum of Squares Total	用[math]\displaystyle{ SST }[/math]表示，是因变量的实际值[math]\displaystyle{ y }[/math]与实际值的均值[math]\displaystyle{ \bar{y} }[/math]差的平方和。计算公式：[math]\displaystyle{ SST = \sum(y_i - \bar{y})^2 }[/math] SST、SSR和SSE关系：[math]\displaystyle{ SST = SSE + SSR }[/math]
判定系数 coefficient of determination	用[math]\displaystyle{ R^2 }[/math]或[math]\displaystyle{ r^2 }[/math]表示，也称决定系数，是拟合程度（拟合优度）的度量。值为SSR/SST，位于0和1之间，当实际值和预测值完全重合SSE=0可得出SSR=SST此时SSR/SST=1，计算公式：[math]\displaystyle{ r^2 = \frac{SSR}{SST} }[/math]
相关系数 correlation coefficient
均方误差 mean square error	用MSE表示，计算公式：[math]\displaystyle{ MSE = \frac{SSE}{n-2} }[/math]
均方回归 regression mean square	用MSR表示，计算公式：[math]\displaystyle{ MSE = \frac{SSR}{回归自由度} }[/math]。一般情况[math]\displaystyle{ MSR = \frac{SSR}{自变量的个数} }[/math]，如一元线性回归MSR=SSR/1=SSR。

分析步骤

序号	步骤	描述
1	确定自变量和因变量	因变量，就是预测目标 自变量，是与预测目标相关的因素，可通过他人研究或经验常识初步确定。
2	确定回归模型类型	先绘制散点图，初步判断自变量与因变量是线性关系还是非线性关系。
3	建立回归模型
4	检验回归模型
5	预测

一元线性回归

也叫简单线性回归，只包含一个自变量和因变量。

资源

相关网页

• 维基百科：回归分析
• ArcMap：回归分析基础知识
• Python Data Science Handbook：线性回归
• 91maths：在线拟合函数
• realpython：使用Python进行线性回归
• 365datascience：Sum of Squares Total, Sum of Squares Regression and Sum of Squares Error