概率与数理统计基础.

计量经济学数学基础概率论与数理统计概率论与数理统计是研究和揭示随机现象统计规律性的数学分支。主要包括：随机事件和概率、随机变量的分布和数字特征、中心极限定理和大数定理、抽样分布、统计估计、假设检验、回归分析等。主要内容•1.基本概念•2.对总体的描述——随机变量的数字特征•3.对样本的描述——样本分布的数字特征•4.随机变量的分布•5.通过样本，估计总体——估计量的特征•6.通过样本，估计总体——估计方法•7.通过样本，估计总体——假设检验第一节基本概念•总体和个体•样本和样本容量•随机变量•统计量1.1总体、个体、样本和样本容量•研究对象的全体称为总体或母体，通常指研究对象的某项数量指标；组成总体的每个基本单位称为个体。•从总体X中抽出若干个个体称为样本，一般记为(X1,X2,…,Xn)。n称为样本容量。而对这n个个体的一次具体的观察结果——(x1,x2,…,xn)是完全确定的一组数值，但它又随着每次抽样观察而改变。(x1,x2,…,xn)称为样本观察值。注意：抽样是按随机原则选取的，即总体中每个个体有同样的机会被选入样本。当人们在一定条件下对某一现象加以观察时，观察到的结果是多个可能结果中的某一个，且在每次观察前都无法预知观测结果到底是哪一个，即结果的出现呈现出偶然性，但是所有可能出现的结果是知道的。随机现象具有偶然性一面，也有必然性一面。偶然性一面表现在“对随机现象做一次观测时，观测结果具有偶然性(不可预知性)”；必然性一面表现在“对随机现象进行大量重复观测，观测结果有一定的规律性，亦即统计规律性”。具有不确定性(或随机性、偶然性)的现象称为随机现象。特点：随机现象定义：随机试验举例：E1:掷一颗骰子，观察所掷的点数是几；E2:观察某城市某个月内交通事故发生的次数；E3:对某只灯泡做试验,观察其使用寿命；E4:对某只灯泡做试验,观察其使用寿命是否小于200小时。在实际问题中，随机试验的结果可以用数量来表示，由此就产生了随机变量的概念有些试验结果本身与数值有关（本身就是一个数）.例如，掷一颗骰子面上出现的点数；七月份济南的最高温度；每天从济南下火车的人数；昆虫的产卵数；它随试验结果的不同而取不同的值，因而在试验之前只知道它可能取值的范围，而不能预先肯定它将取哪个值。由于试验结果的出现具有一定的概率，于是这种实值函数取每个值和每个确定范围内的值也有一定的概率。1.2随机变量•根据概率不同而取不同数值的变量称为随机变量。•一个随机变量具有这样的特性：可以取许多不同的数值，取每一个数值都有相应的概率p,0≤p≤1。总体、随机变量、样本间的联系•样本就是一个随机变量，所谓“样本容量为n的样本”就是n个相互独立且与总体有相同分布的随机变量X1,X2,…,Xn•每一次具体抽样所得的数据，就是n元随机变量的一个观察值，记为X1,X2,…,Xn•样本是总体的一部分。总体一般是未知的。一般要通过样本才能部分地推知总体的情况。1.3统计量•由样本值去推断总体情况，需要对样本值进行“加工”，这就要构造一些样本的函数，它把样本中所含的（某一方面）的信息集中起来。设(x1,x2,…,xn)为一组样本观察值，函数y=f(x1,x2,…,xn)若不含有未知参数，这种不含任何未知参数的样本的函数称为统计量。它是完全由样本决定的量。•统计量既然是依赖于样本的，而后者又是随机变量，故统计量也是随机变量。•几个常见统计量niiXnX11样本均值：样本方差：niiXXnS122)(11第二节对总体的描述——随机变量的数字特征•2.1数学期望•2.2方差•2.3协方差2.1.1数学期望：实际上就是一个加权平均值，描述随机变量的集中程度。•数学期望描述随机变量（总体）的一般水平。•定义1离散型随机变量数学期望的定义假定有一个离散型随机变量X有n个不同的可能取值x1,x2,……,xn，而p1,p2,……,pn是X取这些值相应的概率，则这个随机变量X的数学期望定义如下：平均数。的所有可能取值的加权是随机变量实际上，XXExEniiinnxpxpxpxp12211•定义2连续型随机变量数学期望的定义的数学期望。称为则绝对收敛，若积分，有分布密度函数若连续型随机变量XdxxxxEdxxxxX2.1.2数学期望的性质：•（1）如果a、b为常数，则E(aX+b)=aE(X)+b•（2）如果X、Y为两个随机变量，则E(X+Y)=E(X)+E(Y)•（3）如果g(x)和f(x)分别为X的两个函数，则E[g(X)+f(X)]=E[g(X)]+E[f(X)]•（4）如果X、Y是两个独立的随机变量，则E(X.Y)=E(X).E(Y)2.2.1方差的定义•离均差的定义若随机变量X的数学期望E(X)存在，称[X-E(X)]为随机变量X的离均差。•方差的定义离均差的平方的数学期望。设X是随机变量，若E{[X-EX]2}存在，则称E{[X-EX]2}为随机变量X的方差，记为D(X)或Var(X)，即D(X)=E{[X-EX]2}方差的算术平方根称为随机变量X的均方差或标准差。)()(XDX2.2.2方差的意义•离均差和方差都是用来描述随机变量离散程度的，即描述x对于它的数学期望的偏离程度，这种偏差越大，表明变量的取值越分散。•一般情况下，常用方差来描述离散程度。因为离均差的和为零，无法体现随机变量的总离散程度。事实上正偏差大或负偏差大，同样是离散程度大。方差中由于有了平方，从而消除了正负号的影响，并易于加总，也易于强调大的偏离程度的突出作用。2.2.3方差的性质：•（1）Var(c)=0•（2）Var(c+x)=Var(x)•（3）Var(cx)=c2Var(x)•（4）Var(x-y)=Var(x)+Var(y)-2cov(x,y)•Var(x+y)=Var(x)+Var(y)+2cov(x,y)•（5）Var(a+bx)=b2Var(x)•（6）a,b为常数，x,y为两个相互独立的随机变量，则Var(ax+by)=a2Var(x)+b2Var(y)•（7）Var(x)=E(x2)-(E(x))22.3协方差Cov(X,Y)=E[(X-EX)(Y-EY)]Cov(X,Y)=E(XY)-E(X)E(Y)（积的期望减期望的积）第三节对样本的描述——样本分布的数字特征•样本均值反映样本集中程度•样本方差•样本标准差ixnx1niixxnS122)(11niixxnS12)(11描述样本离散程度第四节随机变量的分布•4.1正态分布•4.2t分布•4.3卡方分布•4.4F分布。服从正态分布，记为称为常数，、的概率密度为若连续型随机变量22,μ~0σμσ2122NXXxxfXe2VarXEX方差，正态分布的数学期望4.1正态分布正态分布图形X)(xf0标准正态分布根据以上定理，可以将任何一个正态分布化为标准正态分布，即将其标准化。exxfNX222211,0~10。密度函数为记作正态分布，的正态分布，称为标准，当。，那么且如果1,0~,,~2NYXYNX标准正态分布图形)(xf0X2Z2Z221}ZXZP{}ZXP{,10N(0,1),XZ标准正态分布2222或）（对于给定的服从设双侧分位数：x)(xf标准正态分布的分位数(临界值)在实际问题中，常取0.1、0.05、0.01.z0.05=1.645z0.01=2.326z0.01/2=2.575z0.05/2=1.964.2t分布212221)(~XX21xnnnnxfntXtnxf。分布，记作个自由度的服从具有给出，则称由下式的分布密度函数若连续型随机变量定理1：若X~N(0,1)，Y~2(n)，X与Y独立，则).(~ntnYXT定理2：设(X1,X2,…,Xn)是正态总体N(μ,σ2)的简单随机样本，则)1(~ntnSX性质:(1)f(x)关于x=0(纵轴)对称。(2)f(x)的极限为N(0，1)的密度函数，即xexxfxn,21)()(lim22当n较大时，t分布近似于标准正态分布.221})n(tt(n))n(P{-t})n(tt(n)P{,10t(n),t)n(tt2222或）（对于给定的服从设分布双侧分位数：)n(-t2)n(t2x)(xf000)2(21)(2122xxexnxfxnn来定义.其中伽玛函数通过积分0,)(01xdttexxt)(x若随机变量X的概率密度为那么称X服从自由度为n的分布记作：2)(~2nX24.3分布χ2分布的密度函数的图形如右图.应用中心极限定理可得，，则当n充分大时2~nX若的分布近似正态分布N(0,1).则可以求得，E(X)=n,Var(X)=2n,~2nX若若X1,X2,……,Xn相互独立，且Xi~N(0,1)，则)(~...222221nXXXn性质1：性质2：22-1})n()n()n(P{})n()n(P{})n()n(P{,10,n)n()n(),n(222212212222222222122或）（对于给定的分布的服从自由度为设分布双侧分位数：)n(212)n(220001))(()()()()(2222212112121212121xxxxxfnnnnnnnnnnnnn则称X服从自由度为n1和n2的F分布。n1称第一自由度，n2称第二自由度。定义：若随机变量X的密度函数为4.4F分布定理1若X~2(n1)，Y~2(n2)，X,Y独立，则1122~(),FnXnFYnn2121~1(),YnFFnnnX那么**定理2：设(X1,X2,…,Xn1)是N(μ1,σ12)的样本，(Y1,Y2,…,Yn2)是N(μ2,σ22)的样本，且相互独立，S12，S22是样本方差，则)1,1(~2122222121nnFSSF)1,1(~1)1(1)1(:2122222212121122222121nnFnSnnSnSSF原因222(1)~(1)nSn注意：})nn(F)nn(P{F)nn(FFnn})nn(P{F,10,FnnFF212121212121，，这时有，，记作水平上侧分位数，分布的的，称为自由度为值，的，满足）（对于给定的分布的，服从自由度为设分布上侧分位数：)nn(F21，分位数问题：1})nn(F)nn(F)nn(P{F})nn(F)nn(F)nn(F)nn(P{F)nn(F)nn(FFnn})nn(F)nn(P{F,10,FnnFF21221212-1212-121212212122212-112112122121，，，即：，，或，，这时有，，，记作水平双侧分位数，分布的的，称为自由度为值，的，或，满足）（对于给定的分布的，服从自由度为设分布双侧分位数：22)n,n(F2121)n,n(F212第五节通过样本，估计总体（一）——估计量的特征•5.1无偏性•5.2有效性•5.3一致性所谓估计量的特性指的是衡量一个统计量用以估计总体参数的好坏标准。5.1无偏性估计量),,,(ˆ21nXXX的观察或试验的结果，估计值可能较真实的参数值偏大或偏小，而一个好的估计量不应总是偏大或偏小，在多次试验中所得的估计量的平均值应与真实参数吻合，这就是无偏性所要求的。是一个随机变量，对一次具体定义),,,(ˆˆ21nXXX是的一个估计量，如果)ˆ(E则称ˆ是的一个无偏估计。如果