第十七--章相关分析与回归分析

ChapterSeventeenCorrelationAndRegression第十七章相关分析与回归分析学习目标讨论积矩相关系数、偏相关和部分相关的概念，并说明这些相关关系如何为回归分析建立基础。解释二元回归的特点和方法，描述其一般模型、参数估计、标准化回归系数、显著性检验、预测准确性、残差分析和模型交叉检验。解释多元回归分析的特点和方法，尤其是逐步回归、含虚拟变量的回归以及回归中的方差和协方差分析。描述多元回归分析中用的特殊方法，尤其是逐步回归、含虚拟变量的回归以及回归中的方差和协方差分析。探讨非定量相关及其测量指标学习内容1.积矩相关系数2.偏相关3.非定量相关4.回归分析5.二元回归6.统计与二元回归分析的关系7.进行二元回归分析8.多元回归9.与二元回归分析相关的统计量9.进行多元回归分析10.逐步回归11.多重共线性12.预测的相对重要性13.交叉验证14.回归与虚拟变量15.方差分析与回归分析16.总结ProductMomentCorrelation积矩相关系数积矩相关系数r是最常用的概括两个定量（定距或定比尺度）变量X与Y的关系强度的统计量它是一个决定X与Y是否存在线性关系的指标。由于这个指标最早由KarlPearson提出的，因此也被称为Pearson相关系数。它同时也叫简单相关系数、双变量相关系数或者相关系数。ProductMomentCorrelation积矩相关系数对于n个观测值的样本，变量为X和Y，积矩相关系数r计算为r=(Xi-X)(Yi-Y)Si=1n(Xi-X)2Si=1n(Yi-Y)2Si=1nDivisionofthenumeratoranddenominatorby(n-1)givesr=(Xi-X)(Yi-Y)n-1Si=1n(Xi-X)2n-1Si=1n(Yi-Y)2n-1Si=1n=COVxySxSyProductMomentCorrelation积矩相关系数r在-1.0和+1.0之间变化。不论两个变量各自的测量单位是什么，相关系数都是不变的。ExplainingAttitudeTowardtheCityofResidence研究对居住城市的态度Table17.1调查对象编号对城市的态度居住年限天气的重要性161032912113812443415101211646175878224911188109910111017812225ProductMomentCorrelation积矩相关系数相关系数的计算如下：=(10+12+12+4+12+6+8+2+18+9+17+2)/12=9.333XY=(6+9+8+3+10+4+5+2+11+9+10+2)/12=6.583(Xi-X)(Yi-Y)Si=1n=(10-9.33)(6-6.58)+(12-9.33)(9-6.58)+(12-9.33)(8-6.58)+(4-9.33)(3-6.58)+(12-9.33)(10-6.58)+(6-9.33)(4-6.58)+(8-9.33)(5-6.58)+(2-9.33)(2-6.58)+(18-9.33)(11-6.58)+(9-9.33)(9-6.58)+(17-9.33)(10-6.58)+(2-9.33)(2-6.58)=-0.3886+6.4614+3.7914+19.0814+9.1314+8.5914+2.1014+33.5714+38.3214-0.7986+26.2314+33.5714=179.6668ProductMomentCorrelation积矩相关系数DecompositionoftheTotalVariation总变差分解r2=ExplainedvariationTotalvariation=SSxSSy=Totalvariation-ErrorvariationTotalvariation=SSy-SSerrorSSyDecompositionoftheTotalVariation总方差分解DecompositionoftheTotalVariation总变差分解r=0时的非线性关系PartialCorrelation偏相关偏相关系数是用于测量在控制或调整了一个或多个变量的基础上，两个变量之间的关系计算偏相关系数是需要考虑其“阶数”，这“阶数”说明有多少个变量被控制或调整简单相关系数r是零阶的，因为在测量两个变量之间关系时不需要控制额外变量的作用。PartialCorrelation偏相关PartCorrelationCoefficient部分相关系数部分相关系数代表从X中去除其他自变量线性影响后，Y和X之间的相关性。ry(x.z)部分相关系数计算如下：通常认为偏相关系数比部分相关系数重要。ry(x.z)=rxy-ryzrxz1-rxz2NonmetricCorrelation非定量相关rstrttrsrRegressionAnalysis回归分析Regressionanalysisexaminesassociativerelationshipsbetweenametricdependentvariableandoneormoreindependentvariablesinthefollowingways:回归分析是分析定量因变量与一个或多个自变量之间相关关系的有效且易用的方法，可以用于以下几方面；Determinewhethertheindependentvariablesexplainasignificantvariationinthedependentvariable:whetherarelationshipexists.确定自变量是否能够解释因变量的重要变差，即二者之间是否存在关系。Determinehowmuchofthevariationinthedependentvariablecanbeexplainedbytheindependentvariables:strengthoftherelationship.确定因变量中有多大比例的变差可以有自变量来解释，即关系的强度有多大。RegressionAnalysis回归分析Determinethestructureorformoftherelationship:themathematicalequationrelatingtheindependentanddependentvariables.确定二者关系的形式，即与自变量和因变量有关的数学方程式。Predictthevaluesofthedependentvariable.预测因变量的值。Controlforotherindependentvariableswhenevaluatingthecontributionsofaspecificvariableorsetofvariables.在评估特定变量贡献时，控制其他变量的作用。Regressionanalysisisconcernedwiththenatureanddegreeofassociationbetweenvariablesanddoesnotimplyorassumeanycausality.尽管自变量可能解释一部分因变量的变差，但这并不表示必然存在因果关系StatisticsAssociatedwithBivariateRegressionAnalysis与二元回归分析相关的统计量Bivariateregressionmodel.ThebasicregressionequationisYi=+Xi+ei,whereY=dependentorcriterionvariable,X=independentorpredictorvariable,=interceptoftheline,=slopeoftheline,andeiistheerrortermassociatedwiththeithobservation.二元回归模型，基本的回归等式为Yi=+Xi+ei,其中Yi是因变量或标准变量，Xi为自变量或预测变量，为直线截距，为直线斜率，ei为第i个观测值的误差。Coefficientofdetermination.Thestrengthofassociationismeasuredbythecoefficientofdetermination,r2.Itvariesbetween0and1andsignifiestheproportionofthetotalvariationinYthatisaccountedforbythevariationinX.可决系数变量之间联系的强度由可决系数r2类测量，其值在0和1之间变化，表表示Y的总变差中能被X变差解释的比例。Estimatedorpredictedvalue.TheestimatedorpredictedvalueofYiisi=a+bx,whereiisthepredictedvalueofYi,andaandbareestimatorsofand,respectively.估计值或预测值：Yi的估计值或预测值为=a+bx，为Yi预测值，a和b分别为和的估计值。b0b1b0b1YYb0b1StatisticsAssociatedwithBivariateRegressionAnalysis与二元回归分析相关的统计量Regressioncoefficient.Theestimatedparameterbisusuallyreferredtoasthenon-standardizedregressioncoefficient.回归系数。估计的参数b通常是指非标准化回归系数。Scattergram.Ascatterdiagram,orscattergram,isaplotofthevaluesoftwovariablesforallthecasesorobservations.散点图。散点图是根据两个变量的所有观测值绘制的图。Standarderrorofestimate.Thisstatistic,SEE,isthestandarddeviationoftheactualYvaluesfromthepredictedvalues.估计标准误。SEE表示Y的实际值与预测值之间的标准差Standarderror.Thestandarddeviationofb,SEb,iscalledthestandarderror.标准误。B的标准差Seb被称作标准误。YStatisticsAssociatedwithBivariateRegressionAnalysis与二元回归分析相关的统计量Standardizedregressioncoefficient.Alsotermedthebetacoefficientorbetaweight,thisistheslopeobtainedbytheregressionofYonXwhenthedataarestandardized.标准化回归系数。也被称作beta系数或beta权数，是X与Y均为标准化数据时的斜率。Sumofsquarederrors.Thedistancesofallthepointsfromtheregressionlinearesquaredandaddedtogethertoarriveatthesumofsquarederrors,whichisameasureoftotalerror,误差平方和。将所有偏离回归拟合线的点的距离的平方和加总就得到误差平方和，值总误差的测量指标，记作tstatistic.Atstatisticwithn-2degreesoffreedomcanbeusedtotestthenullhypothesisthatnolinearrelationshipexistsbetweenXandY,orH0:β=0,wheret=b/SEbT统计量。自