Loading...
墨滴

精益修身

2021/05/29  阅读:84  主题:橙心

多元线性回归

第十二章 多元线性回归


主要内容

12.1 多元线性回归模型 12.2 显著性检验 12.3 多重共线性 12.4 预测 12.5 变量选择和逐步回归


多元回归的动因

  • 一元回归很可能遗漏了其他因素。
  • 比如,在关于教育投资回报率的研究中,将工资对数对教育年限回归。
  • 工资还依赖于个人能力,而个人能力未包括在回归方程中,故被纳入扰动项。
  • 能力强的人通常上学更久(二者正相关),故一元回归所估计的教育回报率事实上也包括了对能力的回报,导致估计出现偏差。
  • 其他遗漏变量还包括年龄、工龄、性别、种族、相貌等,其中年龄与工龄可视为“在职培训”(on the job training)的代理变量,而在职培训是增加人力资本(human capital)的另一重要方式。

二元回归

首先考察二元回归。

OLS 估计量的最优化问题仍为残差平方和最小化:

bg auto right:45%
bg auto right:45%

多元线性回归模型

多元回归模型

回归方程(总体回归函数PRF)

样本回归函数 (SRF)


普通最小二乘法(OLS)

假设条件

  1. MLR.1 线性于参数 如果有常数项,
  2. MLR.2 随机抽样
  3. MLR.3 不存在完全共线性

  1. MLR.4 严格外生性 (小样本)
  2. MLR.4' 零均值和零相关 (大样本)

ols的一些性质

  1. 正交)
  2. 正交)

多元线性回归的推导

  • 由于一般的回归模型里面都有常数项,所以数据矩阵的第一列修改为1,也就是说样本数据的变量是有( )个。回归方程对于每个观测都是成立的,即

目标函数

正规方程组


  • n个等式写成矩阵形式为:

  • 由外生性可知

  • 即残差和任一变量 都正交。(1)式代入(2)式可得:

  • 解方程可得:

    只要X是满秩的,即 一定是正定的,必然会有逆矩阵。


拟合优度

调整的

  • 在模型的拟合程度很差时, 有可能为负值。

显著性检验

误差方差的无偏估计

回归系数的置信区间

所以 的置信区间为:


回归系数的检验(t检验)

小样本下,要求数据服从正态分布,大样本则不需要。 在大样本下,根据中心极限定理可得:

但我们知道,如果总体方差未知的时候,我们一般用t分布。t分布在大样本下是趋向于服从标准正态分布的。所以上式也可以写成:


模型的检验(F检验)

构造的思路和方差分析完全一样,即如果模型如果是不显著的,则解释平方和除以自由度与残差平方和除以自由度的比值应当接近于1,如果比值足够大,表明模型是显著的。


例子

reg 不良贷款亿元 各项贷款余额亿元 本年累计应收贷款亿元 贷款项目个数个 本年固定资产投资额亿元
gen cons1 = 1 //生成常数项数据
mkmat 各项贷款余额亿元 本年累计应收贷款亿元 贷款项目个数个 本年固定资产投资额亿元 cons1, mat(X)
mkmat 不良贷款亿元, mat(Y)
mat A = inv(X'*X)*X'*Y //手工计算的回归系数
mat B = (e(rss)/20)*inv(X'*X) //手工计算的的方差协方差矩阵

mat list A  //矩阵运算得到的系数
regress, noheader
mat list B  //方差协方差阵
vce //方差协方差矩阵

多重共线性

回归系数估计量的方差的另一个形式:

其中: 和其他变量之间复相关系数的平方。 的方差膨胀因子。

bg contain right
bg contain right

多重共线性的处理

  1. 如不关心具体的回归系数,只关心整个方程的预测能力,可不必理会多重共线性(假设整个方程显著)。多重共线性的主要后果是使得对单个变量的贡献估计不准,但所有变量的整体效应仍可较准确地估计。
  2. 如关心具体的回归系数,但多重共线性并不影响所关心变量的显著性,也可不必理会。在方差膨胀的情况下,系数依然显著;如没有多重共线性,只会更显著。
  3. 如多重共线性影响所关心变量的显著性,应设法进行处理。 比如,增大样本容量,剔除导致严重共线性的变量,将变量标准化,或对模型设定进行修改。
  4. 无为而治(do nothing)

预测

adjust 各项贷款余=100 本年累计应=20
predict yhat if e(sample) //计算回归模型使用的样本的预测值
margins, atmeans

margins, at(各项贷款余=100 本年累计应=20)

变量选择和逐步回归

模型的选择是一项技术,也是一门艺术。

stepwise, pr(0.2): reg 不良贷款亿元 各项贷款余额亿元 本年累计应收贷款亿元 贷款项目个数个 本年固定资产投资额亿元
estat ic

stepwise, pe(0.1): reg 不良贷款亿元 各项贷款余额亿元 本年累计应收贷款亿元 贷款项目个数个 本年固定资产投资额亿元

stepwise, pr(0.2): reg 不良贷款亿元 各项贷款余额亿元 本年累计应收贷款亿元 贷款项目个数个 本年固定资产投资额亿元 if num1 != 8

参考文献

  1. Wooldridge, Jefferey M. Introductory econometrics:a modern approach[M]. 7e. Boston:Cengage, 2020.
  2. 贾俊平. 统计学[M]. 7e. 北京:中国人民大学出版社,2018.
  3. 陈强. 计量经济学及Stata应用[M]. 北京:高等教育出版社, 2015.

精益修身

2021/05/29  阅读:84  主题:橙心

作者介绍

精益修身