应用统计ch9.ppt

1、应用统计第九章第九章 多元回归和多重相关分析多元回归和多重相关分析引言引言在许多经济问题中，简单相关分析和回归分析只不在许多经济问题中，简单相关分析和回归分析只不过是相关分析和回归分析中的一种特例，它通常是过是相关分析和回归分析中的一种特例，它通常是对影响某种经济现象的许多因素进行了简化考虑的对影响某种经济现象的许多因素进行了简化考虑的结果。结果。若某公司管理人员要预测来年该公司的销售额若某公司管理人员要预测来年该公司的销售额y时，时，研究认为影响销售额的因素不只是广告宣传费研究认为影响销售额的因素不只是广告宣传费x1,还还有个人可支配收入有个人可支配收入x2,价格价格x3,研究与发展费用研究

2、与发展费用x4,各各种投资种投资x5,销售费用销售费用x6.因此我们需要进一步讨论多元相关分析和多元回归因此我们需要进一步讨论多元相关分析和多元回归问题（复相关和复回归问题）。问题（复相关和复回归问题）。多元线性回归多元线性回归多元线性回归模型多元线性回归模型 回归方程的拟合优度回归方程的拟合优度显著性检验显著性检验利用回归方程进行估计和预测利用回归方程进行估计和预测回归模型的检测回归模型的检测多重相关分析技术多重相关分析技术多元回归模型多元回归模型(multiple regression model)1.一个因变量与两个及两个以上自变量的回归一个因变量与两个及两个以上自变量的回归2.描描述述

3、因因变变量量 y 如如何何依依赖赖于于自自变变量量 x1，x2，xk 和误差项和误差项 的方程，称为多元回归模型的方程，称为多元回归模型3.涉及涉及 k个自变量的多元回归模型可表示为个自变量的多元回归模型可表示为 a a a a ，1 1 1 1，k k是参数是参数是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是是是x x1,1,，x x2 2 ，x xk k 的线性函数加上误差项的线性函数加上误差项的线性函数加上误差项的线性函数加上误差项 包包包包含含含含在在在在y y里里里里面面面面但但但但不不不不能能能能被被被被

4、k k个个个个自自自自变变变变量量量量的的的的线线线线性性性性关关关关系系系系所所所所解解解解释释释释的的的的变变变变异性异性异性异性多元回归模型多元回归模型(基本假定基本假定)1.误误差差项项是是一一个个期期望望值值为为0的的随随机机变变量量，即即E()=02.对对于于自自变变量量x1，x2，xk的的所所有有值值，的的方差方差 2都相同都相同3.误误差差项项是是一一个个服服从从正正态态分分布布的的随随机机变变量量，即即N(0,2)，且相互独立且相互独立总体多元回归方程总体多元回归方程(multiple regression equation)1.描描述述因因变变量量 y 的的平平均均值值或或

5、期期望望值值如如何何依依赖赖于自变量于自变量 x1，x2，xk的方程的方程2.总体多元线性回归方程的形式为总体多元线性回归方程的形式为 E(y)=a a+1 x1+2 x2+k xk i i 表表表表示示示示假假假假定定定定其其其其他他他他变变变变量量量量不不不不变变变变，当当当当 x xi i 每每每每变变变变动动动动一一一一个个个个单单单单位位位位时，时，时，时，y y 的的的的平均平均平均平均变动值变动值变动值变动值 1 1 1 1，k k称为偏回归系数称为偏回归系数称为偏回归系数称为偏回归系数 二元回归方程的直观解释二元回归方程的直观解释估计的多元回归方程估计的多元回归方程估计的多元回

6、归的方程估计的多元回归的方程(estimated multiple regression equation)1.用样本统计量用样本统计量 估计回归方程估计回归方程中的中的 参数参数 时得到的方程时得到的方程2.由最小二乘法求得由最小二乘法求得3.一般形式为一般形式为 是是是是 估计值估计值估计值估计值 是是是是 y y 的估计值。的估计值。的估计值。的估计值。参数的最小二乘估计参数的最小二乘估计2.求求求求解解解解各回归参数的标准方程如下各回归参数的标准方程如下各回归参数的标准方程如下各回归参数的标准方程如下1.使使使使因因因因变变变变量量量量的的的的观观观观察察察察值值值值与与与与估估估估计

7、计计计值值值值之之之之间间间间的的的的离离离离差差差差平平平平方方方方和和和和达到最小来求得达到最小来求得达到最小来求得达到最小来求得 。即即即即参数的最小二乘估计参数的最小二乘估计参数的最小二乘估计根据实际资料，用最小平方法，即使根据实际资料，用最小平方法，即使 ，分别对，分别对a、b1、b2求编导并令其为零，求得三个标准方求编导并令其为零，求得三个标准方程：程：解此联立方程便可得到解此联立方程便可得到a、b1、b2。二元线性回归方程的确定二元线性回归方程的确定参数的最小二乘法参数的最小二乘法(例题分析例题分析)【例例1】抽样调查了抽样调查了12个地区，获得了个地区某季度个地区，获得了个地区

8、某季度家具销售额和前一个季度住宅许可证颁发数，以及结家具销售额和前一个季度住宅许可证颁发数，以及结婚证颁发数的相应资料。试建立一个二元回归方程以婚证颁发数的相应资料。试建立一个二元回归方程以揭示家具销售额揭示家具销售额y与上季度住宅建筑许可证颁发数与上季度住宅建筑许可证颁发数x1和和结婚证数颁发数结婚证数颁发数x2之间的关系。之间的关系。参数的最小二乘法参数的最小二乘法(例题分析例题分析)本季度家具销售额本季度家具销售额（万元）（万元）y y上季度住宅建筑许可证上季度住宅建筑许可证颁发数（份）颁发数（份）x x1 1上季度结婚证颁发数上季度结婚证颁发数（对）（对）x x2 2 26112233

9、6129274023919382212442248234425126572023556338214825434603723960247416341038参数的最小二乘法参数的最小二乘法(例题分析例题分析)参数的最小二乘法参数的最小二乘法(例题分析例题分析)参数的最小二乘法参数的最小二乘法(例题分析例题分析)参数的最小二乘法参数的最小二乘法(例题分析例题分析)【例2】一家大型商业银行在多个地区设有分行，一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行为弄清楚不良贷款形成的原因，抽取了该银行所属的所属的25家分行家分行2002年的有关业务数据。试年的有关业务数据。试建立

10、不良贷款建立不良贷款y与贷款余额与贷款余额x1、累计应收贷款累计应收贷款x2、贷款项目个数贷款项目个数x3和固定资产投资额和固定资产投资额x4的线性回的线性回归方程，并解释各回归系数的含义归方程，并解释各回归系数的含义用用Excel进行回归进行回归参数的最小二乘法参数的最小二乘法(例题分析例题分析)回归方程的拟合优度回归方程的拟合优度多重可决系数多重可决系数估计标准误差估计标准误差多重可决系数多重可决系数(multiple coefficient of determination)1.回归平方和占总平方和的比例回归平方和占总平方和的比例2.计算公式为计算公式为3.因因变变量量取取值值的的变变差

11、差中中，能能被被估估计计的的多多元元回回归方程所解释的比例归方程所解释的比例 修正多重可决系数修正多重可决系数(adjusted multiple coefficient of determination)1.用样本容量用样本容量n和自变量的个数和自变量的个数k去修正去修正R2得到得到 2.计算公式为计算公式为3.避免增加自变量而高估避免增加自变量而高估 R24.意义与意义与 R2类似类似5.数值小于数值小于R2估计标准误差估计标准误差 Sy.12.k1.对误差项对误差项 的标准差的标准差 的的一个估计值一个估计值2.衡量多元回归方程的拟合优度衡量多元回归方程的拟合优度3.计算公式为计算公式为

12、回归方程的拟合优度回归方程的拟合优度（例题分析例题分析）例例1例例2显著性检验显著性检验线性关系检验线性关系检验回归系数检验和推断回归系数检验和推断线性关系检验线性关系检验1.检检验验因因变变量量与与所所有有自自变变量量之之间间的的线线性性关关系系是是否显著否显著2.也被称为也被称为总体的显著性总体的显著性检验检验3.检检验验方方法法是是将将回回归归均均方方和和(MSR)同同离离差差均均方方和和(MSE)加加以以比比较较，应应用用 F 检检验验来来分分析析二二者者之之间的差别是否显著间的差别是否显著如如果果是是显显著著的的，因因变变量量与与自自变变量量之之间间存存在在线线性性关关系系如如果果不

13、不显显著著，因因变变量量与与自自变变量量之之间间不不存存在在线线性性关关系系线性关系检验线性关系检验1.提出提出假设假设H0：1 2 k=0 线性关系不显著线性关系不显著H1：1，2，k至少有一个不等于至少有一个不等于02.2.计算计算计算计算检验统计量检验统计量检验统计量检验统计量F F3.确定确定确定确定显著性水平显著性水平显著性水平显著性水平 和分子自由度和分子自由度和分子自由度和分子自由度k k、分母自由度分母自由度分母自由度分母自由度n-n-k k-1-1找出临界值找出临界值找出临界值找出临界值F F 4.4.作出作出作出作出决策：若决策：若决策：若决策：若F F F F ，拒绝拒绝

14、拒绝拒绝HH0 0回归系数的检验回归系数的检验1.线线性性关关系系检检验验通通过过后后，对对各各个个回回归归系系数数有有选选择地进行一次或多次检验择地进行一次或多次检验2.究究竟竟要要对对哪哪几几个个回回归归系系数数进进行行检检验验，通通常常需需要在建立模型之前作出决定要在建立模型之前作出决定3.对对回回归归系系数数检检验验的的个个数数进进行行限限制制，以以避避免免犯犯过多的第一类错误过多的第一类错误(弃真错误弃真错误)4.对每一个自变量都要单独进行检验对每一个自变量都要单独进行检验5.应用应用 t 检验统计量检验统计量回归系数的检验回归系数的检验(步骤步骤)1.提出假设提出假设H0：i=0

15、(自变量自变量 xi 与与 因变量因变量 y 没有线性关系没有线性关系)H1：i 0 (自变量自变量 xi 与与 因变量因变量 y有线性关系有线性关系)2.计算检验的统计计算检验的统计量量 t3.确定显著性水平确定显著性水平，并进行决策，并进行决策 t t t t ，拒绝拒绝拒绝拒绝HH0 0；t t t (25-2)=2.069，所所以以均均拒拒绝绝原原假假设设，说说明明这这4个个自自变变量量两两两两之之间间都都有有显著的相关关系显著的相关关系2.由由表表Excel输输出出的的结结果果可可知知，回回归归模模型型的的线线性性关关系系显显著著(Significance-F1.03539E-06=

16、0.05)。这也暗示了模型中存在多重共线性这也暗示了模型中存在多重共线性3.固固定定资资产产投投资资额额的的回回归归系系数数为为负负号号(-0.029193)，与与预期的不一致预期的不一致多重共线性问题的处理多重共线性问题的处理多重共线性多重共线性(问题的处理问题的处理)1.将将一一个个或或多多个个相相关关的的自自变变量量从从模模型型中中剔剔除除，使保留的自变量尽可能不相关使保留的自变量尽可能不相关2.如果要在模型中保留所有的自变量，则应如果要在模型中保留所有的自变量，则应避免根据避免根据 t 统计量对单个参数进行检验统计量对单个参数进行检验对对因因变变量量值值的的推推断断(估估计计或或预预测

17、测)的的限限定定在在自自变量样本值的范围内变量样本值的范围内3.对子变量实施中心离差的变量的变换。对子变量实施中心离差的变量的变换。4.增加样本容量增加样本容量关于多元回归模型假定条件的讨论关于多元回归模型假定条件的讨论1.误误差差项项为为一一随随机机向向量量，且且对对不不同同的的自自变变量取值对应的量取值对应的是相互独立的。是相互独立的。2.服从正态分布，期望值为服从正态分布，期望值为0。3.对对于于自自变变量量x1，x2，xk的的所所有有值值，的的方差方差 2都相同都相同自相关问题自相关问题图形法散点图图形法散点图残值随着时间的顺序推演交替改变符号，就是残值随着时间的顺序推演交替改变符号，

18、就是负自相关。负自相关。残值随着时间的顺序推演并不频繁变号，而是残值随着时间的顺序推演并不频繁变号，而是连续几个正值后面跟着连续几个负值，就是正连续几个正值后面跟着连续几个负值，就是正自相关。自相关。统计检验方法统计检验方法自相关问题自相关问题杜宾杜宾-沃岑沃岑检验检验(Durbin-Watson test)DW-检验，检验统计量检验，检验统计量 把上式计算的把上式计算的DW值，与值，与杜宾杜宾-沃岑给出沃岑给出的不同显著性水的不同显著性水平下的平下的DW值的上限值的上限du和下限和下限dL（它们与样本容量它们与样本容量n和自变量和自变量的个数的个数k有关）进行比较，有关）进行比较，DW的取值

19、域在的取值域在04之间。之间。自相关问题自相关问题DW检验法则规定：检验法则规定：在在DW小于等于小于等于2 时，如时，如DWdU，认为无自相关；如认为无自相关；如dLDWdu,不能确定是否有自相关。不能确定是否有自相关。在在DW大于大于2时，如时，如4DWdu，认为无自相关；如认为无自相关；如dL4-Dwdu,能确定是否存在自相关。能确定是否存在自相关。残差残差(residual)1.因因变变量量的的观观测测值值与与根根据据估估计计的的回回归归方方程程求求出出的的预测值之差，用预测值之差，用e表示表示2.反映了用估计的回归方程去预测而引起的误差反映了用估计的回归方程去预测而引起的误差 3.确

20、定有关误差项确定有关误差项 的假定是否成立的假定是否成立 4.检测有影响的观测值，检测有影响的观测值，5.正态性正态性用残差证实模型的假定用残差证实模型的假定残差图残差图(residual plot)1.表示残差的图形表示残差的图形关于关于x的残差图的残差图如如果果是是简简单单回回归归则则x为为回回归归变变量量，如如果果是是多多元元可可以以分别每个回归变量作参差图分别每个回归变量作参差图关于关于y的残差图的残差图标准化残差图标准化残差图2.用于判断误差用于判断误差 的假定是否成立的假定是否成立参差模式参差模式其中（其中（a）表示同方差，其它参差图表示存在异方差。对表示同方差，其它参差图表示存在

21、异方差。对异方差的处理是对变量进行变换异方差的处理是对变量进行变换。残差图残差图(例题分析例题分析)标准化残差标准化残差(standardized residual)残残差差除除以以它它的的标标准准差差后后得得到到的的数数值值。计计算公式为算公式为 Sei是第是第i个残差的标准差，其计算公式为个残差的标准差，其计算公式为 标准化残差图标准化残差图 用用以以直直观观地地判判断断误误差差项项服服从从正正态态分分布布这一假定是否成立这一假定是否成立 若若假假定定成成立立，标标准准化化残残差差的的分分布布也也应应服服从从正态分布正态分布在在标标准准化化残残差差图图中中，大大约约有有95%的的标标准准化化残差在残差在-2到到+2之间之间