06非线性回归模型

1第六章非线性回归模型§6.1非线性回归模型的形式及其分类§6.2直接换元法§6.3间接换元法§6.4非线性回归模型的线性逼近2§6.1非线性回归模型的形式及其分类在社会现实经济生活中，很多现象之间的关系并不是线性关系，对这种类型现象的分析预测一般要应用非线性回归预测或曲线回归预测。通过变量代换，可以将很多的非线性回归转化为线性回归。因而，可以用线性回归方法解决非线性回归预测问题。非线性回归模型按变量个数也可以分为：一元非线性回归模型和多元非线性回归模型。3曲线的形式也因实际情况不同而有多种形式。配曲线问题主要包括：–1、选配拟合曲线（即确定变量间函数的类型）：►可以根据理论分析或过去的实际经验事先确定；►不能根据理论或过去积累的经验确定时，根据实际资料作散点图，从其分布形状选择适当的曲线来配合。–2、确定相关函数中的未知参数►最小二乘法是确定未知参数最常用的方法。选择合适的曲线类型不是一件轻而易举的工作，主要依靠专业知识和经验，也可以通过计算剩余均方差来确定。4常见的非线性回归模型有以下几种：–(1)双曲线模型，其方程式为–(2)多项式模型，其方程式为–(3)对数模型，其方程式为–(4)三角函数模型，其方程式为121(6.1.1)iiiyux2123(6.1.2)iiiniyxxu12ln(6.1.3)iiiyxu12sin(6.1.4)iiiyxu5–(5)指数模型，其方程式为–(6)幂函数模型，其方程式为–(7)罗吉斯曲线，其方程式为–(8)修正指数增长曲线，其方程式为=(6.1.5)xiiiyabu01122(6.1.6)iiixxuiye(6.1.7)biiiyaxu0101(6.1.8)1iixiixeyue(6.1.9)ixiiyabru6根据非线性回归模型线性化的不同性质，上述模型一般可以分成三种类型：–第一类，直接换元型►这类非线性回归模型通过简单的变量换元可直接化为线性回归模型。如式(6.1.1)、式(6.1.2)、式(6.1.3)和式(6.1.4)。►由于这类模型的因变量没有变形，所以可以直接采用最小二乘法估计回归系数并进行检验和预测。–第二类，间接代换型►这类非线性回归模型经常通过对数变形代换间接地化为线性回归模型。如式(6.1.5)、式(6.1.6)和式(6.1.7)。7►由于这类模型在对数变形代换过程中改变了因变量的形态，使得变形后模型的最小二乘估计失去了原模型的残差平方和为最小的意义，从而估计不到原模型的最佳回归系数，可能造成回归模型与原数列之间的较大偏差。–第三类，非线性型►这类非线性回归模型属于不可线性化的非线性回归模型。如式(6.1.8)和式(6.1.9)。–第一类和第二类非线性回归模型相对于第三类，又称为可线性化的非线性回归模型。8§6.2直接换元法对于式(6.1.1)、式(6.1.2)、式(6.1.3)和式(6.1.4)所示的非线性回归模型，虽然包含有非线性变量，但因变量与待估计参数之间的关系却是线性的。对于此类模型，可以直接通过变量代换将其化为线性模型。换元过程和参数估计法如表6.2.1所示。9表6.2.1直接换元法的变量代换10例6.2.1：设某商店1991—2000年的商品流通费用率和商品零售额资料如表6.2.2所示。根据表中资料，配合适当的回归模型分析商品零售额与流通费用率的关系，若2001年该商店商品零售额为36.33万元，试预测2001年的商品流通费用额。解：第一步，绘制散点图(见图6.2.1)。从图中可以清楚地看到：随着商品零售额的增加，流通费用率有不断下降的趋势，呈双曲线形状。1112第二步，建立双曲线模型。即令得第三步，用OLS法估计参数。即得回归模型为：121iiiyux1iixx12iiiyxu22242.8726()iiiiiinxyxynxx12.5611iiiyxnn1ˆ2.561142.8726yx13第四步，计算相关系数。即由于商品零售额增加，流通费用率呈下降趋势，两者之间为负相关关系，故相关系数取负值-0.9898，说明两者高度相关，用双曲线回归模型配合进行预测是可靠的。第五步，预测。将2001年该商店零售额36.33万元代入模型，得2001年流通费用率为：故2001年该商店商品流通费用总额预测值为：36.33×3.74％=1.3587万元22222()()1.93781.93780.98981.95780.04519910268.58(51.0)iiiiiiiinxyxyRnxxnyy12.561142.87263.74%36.33y14§6.3间接换元法对于式(6.1.5)、式(6.1.6)和式(6.1.7)所示的非线性回归模型，因变量与待估计参数之间的关系也是非线性的，因此不能通过直接换元化为线性模型。对此类模型，通常可通过对回归方程两边取对数将其化为可以直接换元的形式。这种先取对数再进行变量代换的方法称为间接换元法。为使取对数后回归方程的形式更为简捷，不妨适当变换式(6.1.5)和式(6.1.7)中随机扰动项的形式，将式(6.1.5)和式(6.1.7)改写为：15=(6.1.5)ixiiyabu(6.1.5)iixuiyabe(6.1.7)biiiyaxu(6.1.7)iubiiyaxe对式(6.1.5’)、式(6.1.6)和式(6.1.7’)两边取对数，得lnlnln(6.3.1)iiiyabxu01122ln(6.3.2)iiiiyxxulnlnln(6.3.3)iiiyabxu式(6.3.1)、式(6.3.2)和式(6.3.3)皆可经过适当的换元直接化为线性回归方程。16例6.3.1：柯布—道格拉斯(Cobb-Douglas)生产函数模型就是一个可以线性化的模型。其中α为资金投入的弹性系数，β为劳动力投入的弹性系数。解：对式(6.3.4)两边取对数，得令lny=y’，lnA=a，InK=K’，lnL=L’，式(6.3.5)已化为线性回归模型给定观测数据，并据此推测，得(6.3.4)uyAKLelnlnlnln(6.3.5)yAKLu(6.3.6)yaKLu1/3,2/317§6.4非线性回归模型的线性逼近在许多实际问题中所建立的模型并不是线性的，而且也不能通过变量变换的方法化为线性模型。如式(6.1.8)和式(6.1.9)所示的模型。对于这一类非线性模型，可采用一种借助于泰勒级数展开式进行逐次线性逼近的估计方法。练习：把恩格尔定律线性化。12iiiiruiyexxe18泰勒级数：定理：设函数在点x0的某一邻域内具有各阶导数，则在该邻域内能展开成泰勒级数的充分必要条件是泰勒公式中的余项当时的极限为零。函数在x0的某一邻域的n阶泰勒公式为：函数的泰勒级数为：()20000000()()()()()()()()()2!!nnnfxfxfxfxfxxxxxxxRxn()20000000()()()()()()()()2!!nnfxfxfxfxfxxxxxxxn(1)100()()(),(1)!nnnfRxxxxxn拉格朗日型余项是与之间的某个值()fx()fx()fx()fx0()Ux()nRxn19给定一般的非线性函数模型为：式中：k—自变量的个数；p—待估计参数的个数；f—非线性函数。利用泰勒级数展开式，将模型(6.4.1)展开为泰勒级数，进行逐次线性逼近，其步骤如下：(1)给定参数的初始值，将非线性函数f，按照给定的初始值展开为泰勒级数，即1212(,,,;,,,)(6.4.1)kpYfXXXbbbv12,,,pbbb10200,,,pbbb10200,,,pbbb0012102002200211(,,,;,,,)1()()()()(6.4.2)2iikpppbiibiiiiiYfXXXbbbffbbbbvbb20001210200011(,,,;,,,)()()(6.4.3)iikpppibibiiiiYfXXXbbbffbbvbb取(6.4.2)右边的前两项，略去f展开式第三项及以后的所有高阶项，即可得到非线性模型的一个线性近似。即(2)对(6.4.3)利用OLS估计出一组参数。(3)重复步骤(1)和(2)中的过程，以为初始值，将非线性函数，按照新的初始值展开为泰勒级数，可得到一个新的线性近似，利用OLS估计出一组参数。11211ˆˆˆ,,,pbbb11211ˆˆˆ,,,pbbb12222ˆˆˆ,,,pbbb21(4)如此反复，可得一参数点列，即若存在某个n，满足参数点列与相等或充分接近，即对于事先给定的小正数，有成立，则停止。(5)如(4)中所得的参数点列不收敛，这时返回(1)，选取一组新的初始参数值，重新进行逐次线性逼近。1,12,1,1ˆˆˆ,,,nnpnbbb1,2,,ˆˆˆ,,,nnpnbbb^^,1^,1,1,2,,(6.4.4)inininbbipb11211122221,2,,ˆˆˆ,,,ˆˆˆ,,,ˆˆˆ,,,ppnnpnbbbbbbbbb22应用回归预测法时应注意的问题–应用回归预测法时应首先确定变量之间是否存在相关关系。如果变量之间不存在相关关系，对这些变量应用回归预测法就会得出错误的结果。正确应用回归分析预测时应注意：–用定性分析判断现象之间的依存关系；–避免回归预测的任意外推；–应用合适的数据资料。