讲义3 多元线性回归模型:推断
主要内容:
1、推断的数学知识复习 2、Size ,power 的含义 3、OLS 估计量的样本分布 4、单约束检验-t 检验 5、多约束检验—F 检验 对应教材内容:chapter2.5
自由度的概念
“自由度”是指当以样本的统计量来估计总体的参数时,样本中独立或能自由变化的数据的个数。
例:假设n 个独立变量Xi ~N(0,1),那么(X 1+X 2+... +X n ) ~χ(n ) ;
随机向量的分布与数字特征 ● 协方差矩阵
设Y 是一个由多个随机变量组成的向量,即Y =(Y 1, Y 2,..., Y n ) ,那么 Y 的期望为
⎡E (Y 1) ⎤⎡μ1⎤⎢⎥⎢⎥
μ=E (Y ) =... =...
⎢⎥⎢⎥, ⎢⎣E (Y n ) ⎥⎦⎢⎣μn ⎥⎦
'
2
2
2
2
Y 的协方差矩阵为
∑=E [(Y -μ)(Y -μ) ]
2
⎡E [(Y 1-μ1) ]⎢=⎢...
⎢E [(Y -μ)(Y -μ)]
n n 11⎣
'
... ... ...
'
E [(Y 1-μ1)(Y n -μn )]⎤
⎥
... ⎥
2⎥E [(Y n -μn ) ]⎦
对于n 个随机变量的线性组合αY ,有
E (α1Y 1+... +αn Y n ) =E (αY ) =αμ
Var (αY ) =α∑α
'
'
' '
● 多变量的正态分布X ~N(μ, ∑) ,其中X 为n 维列向量,常被称为正态向量;μ为期望向量,∑为协方差矩阵。X 的密度函数为f (X ) =
● 正态向量的线性函数 若X ~N (μ, ∑) ,那么
1(2π)
n /2
|∑|
1/2
exp[-
12
(x -μ) ∑(x -μ)].
' -1
AX +b ~N (A μ+b , A ∑A )
● 标准正态向量的二次型
若X ~N (0,I n ) ,A 是幂矩阵,那么X AX ~χ(rank (A )) 。
n
'
' 2
特别地,X M X =
' 0
∑
i =1
(X i -X ) ~χ(n -1) 。
22
● 幂矩阵二次型的独立性
设X ~N (0,I n ) ,A 和B 都是幂矩阵,那么如果AB =0就有X AX 和X BX 就独立。
'
'
● 满秩二次型的分布 设
X ~N (μ, ∑) ,那么
-1/2
∑
(X -μ) ~N (0, I ) ,(X -μ) ∑
' -1
(X -μ) ~χ(n ) 。
2
● 线性函数与二次型的独立性
设X ~N (0,I n ) ,LX 是X 的线性函数,X AX 是X 的二次型,那么如有LA=0必有LX 和
X AX 独立。
'
'
临界值的概念
设X 的分布函数为F ,x α满足F (x α) =P {X ≤x α}=α, 0
例1:对称分布U ~N (0,1)的临界值
例2:非对称分布χ
2
~χ(n -1) 的临界值
2
区间估计
对于参数θ,如果有两个统计量θˆ1=θˆ1(X 1, X 2, , X n ) , θˆ2=θˆ2(X 1, X 2, , X n ) ,满足对给定的α∈(0, 1) ,有
P {θˆ1≤θ≤θˆ2}=1-α
1-α则称区间[θˆ1,θˆ2]是θ的一个区间估计或置信区间,θˆ1、θˆ2分别称作置信下限、置信上限,
称为置信水平。
置信水平为1-α,在实际上可以这样理解:如取1-α=95%,就是说若对某一参数θ取100个容量为n 的样本,用相同方法做100个置信区间。[θˆ1(k ) ,θˆ2(k ) ],k =1,2,…,100,那么其中有95个区间包含了真参数θ.因此, 当实际上只做一次区间估计时,我们有理由认为它包含了真参数。这样判断当然也可能犯错误,但犯错误的概率只有5%。
寻找置信区间的通常方法是从已知抽样分布的统计量,如上文提到的U ,X 和T 入手,由于分布和概率已知,只要确定临界值就可以了。
假设检验原理的复习
第一步,建立假设
H 0称为原假设,H 1称为备择假设。
注意:在假设检验中,原假设H 0与备选假设H 1的地位是不对等的。一般来说α是较小的,因而检验推断是“偏向”原假设,而“歧视”备选假设的。既然H 0是受保护的,则对于H 0的肯定相对来说是较缺乏说服力的,充其量不过是原假设与试验结果没有明显矛盾;反之,对于H 0的否定则是有力的,且α越小,小概率事件越难于发生,一旦发生了,这种否定就越有力,也就越能说明问题。在应用中,如果要用假设检验说明某个结论成立,那么最好设H 0为该结论不成立。
例3.1(单侧检验):
H 0:μ=μ0,H 1:μ>μ0
第二步,构造统计量,求出统计量的样本分布以及由样本观察值算出其具体值。
统计量t =
X -μ0S
n -1
在H 0成立的条件下,t
~t (n -1) ; 对应的具体值记为t ˆ。
第三步,根据备择假设构造出对H 0不利的小概率事件——在给定显著性水平α下,确定临界值,构造出拒绝域。
在一个问题中,通常指定一个正数α(0中几乎不会发生的事件,α称为显著性水平。
α
=0.05,算出临界值t 1-α(n -1) 。
V ={t >t 1-α(n -1)},这里V 是拒绝域,它是使得这一小概率事件发生的样本空间的点的全体。
第四步,得出结论
方法1:根据计算出来的t 值,看样本是否落在V 内,若落在V 内,则拒绝H 0,否则, 不能拒绝H 0。
如果t ˆ>t 1-α(n -1) ,则称能以α的显著性水平拒绝零假设;否则,不能拒绝零假设;
方法2:比较p 值和α。
p 值定义为不能拒绝零假设的最大的显著性水平;
P {t >t ˆ},也就是在t-分布中大于统计量t ˆ的概率。
比较p 值和预先设定的显著性水平。
如果p 值
例3.2:(双侧检验)
H 0:μ=μ0
,
H 1:μ≠μ0
与例3.2不同的地方在于第三步和第四步。 第三步,令α=0.05,算出临界值t 1-α/2(n -1) 。
V ={|t |>t 1-α/2(n -1)},这里V 是拒绝域,它是使得这一小概率事件发生的样本空间的点的全体。
ˆ落在拒绝域,则能拒绝零假设;否则,不能拒绝零假设; 第四步,如果t
思考:若用方法2,那么p 值是多少?
由于统计量是随机变量,假设检验可能犯两种类型的错误。
● 当H 0成立,而检验的结果表明H 0不成立,即拒绝了H 0,这时称该检验犯了第一类错误(type
I error)或“弃真”的错误;第一类错误的概率就是在H 0成立的条件下V 的概率P (V |H 0) ; 检验的显著性(size of test)=α
● 当H 0不成立,H 1成立,而检验的结果表明H
成立,即接受了H 0,这时称该检验犯了第
。
二类错误(type II error),或称“取伪”的错误。犯第二类错误的概率是
β=P {X-V |H 1}。定义一个检验的势(power of test)=1-β
给定多元线性回归方程:
y i =β0+x i 1β1+... +x ik βk +εi ,(i =1, 2,..., n )
OLS 估计量的样本分布
在有限样本下进行假设检验,除了假定1到假定4,一般还需要加上假设5: 假定5 扰动项服从正态分布
那么,得到,b |X ~N (β, σ(X X ) )
其中,b j |X ~N (βj , σ(X X ) jj )
单个线性约束的假设检验:t 检验
原理:t 统计量=N (0, 1) /χ2~t 分布;
『证明:因为(b j -βj ) /(σ(X X ) jj ) |X ~N (0,1)
2
'
-1
2' -1
-
e e
'
σ
2
|X ~χ(n -k -1)
2
所以(b j -βj ) /se (b j ) |X ~t (n -k -1) 』
单个参数的线性假设检验
t =b j /se (b j ) ~t (n -k -1)
上述的t 检验又称系数的显著性检验,是回归分析最常见的检验之一。 t 检验的步骤:
1)根据样本数据计算t 统计量;
2)确定显著性水平α,一般可选择取1%,5%,10%。 3)确定备择假设,由此确定是单侧检验还是双侧检验。
4) 根据自由度为n -k -1的t 分布计算临界值,单侧检验计算t α,双侧检验计算t α/2。或者计算p 值:双侧检验的p d =Pr(|T |>|t |);单侧检验的p 值p s =p d /2。 5)最后比较临界值与t 统计量,或者比较p 值和显著性水平α。
例子:房产价格与空气污染
首先估计方程,得到系数OLS 估计值及其标准差:
然后进行系数显著性检验。
H 0:β1=0 ;H 1:β1≠0
t =
b i -βi 0se (b ~t (n -k -1)
i )
例子(续)
:
H 1:β1
单个线性约束的假设检验
t =
(b +b -1) ~t (n -k -1)
t =
(b -b ) ~t (n -k -1)
H 1:β1>1
多个线性约束的假设检验:F 检验
F 检验
F 统计量服从F (J , n -k -1) 。
『证明:Step1,由假定5推出R (b -β) |X ~N [0, σR (X X ) 在原假设H0下,Rb -r |X ~N [0, σR (X X ) 令w =(Rb -r ) [σR (X X ) Step2,因为
e e
'
2' -1
R ];
'
2' -1
R ];
2
'
' 2' -1
R ](Rb -r ) ,那么有w |X ~χ(J ) 。
ε
) ,
' -1
σ
2
=
εM εσ
2
'
=(
εσ
) M (
'
εσ
σ
|X ~N (0, I n ) 推出
e e
'
σ
2
|X ~χ(n -k -1) 。
2
e e
Step3,由Cov (b , e ) =0推出w |X 和所以
(Rb -r ) [R (X X ) R ](Rb -r ) /J
e e /(n -k -1)
'
'
'
-1
' -1
'
σ
2
|X 独立。
~F (J , n -k -1) 。』
F 统计量的两种更简便的计算方法:
F =
(e *e *-e e ) /J e e /(n -k -1)
'
' '
=
(R U -R R ) /J
2
(1-R U ) /(n -k -1)
22
其中SSR R 、R R 2是约束回归的残差平方和以及决定系数;SSR U 、R U 2是无约束回归的残差平方和以及决定系数。
讨论几种常见的约束:
(v ) H 0:β1=β2=... =βk =0
F =
ESS /k RSS /(n -k -1)
=
R /k (1-R ) /(n -k -1)
2
2
~F (k , n -k -1)
上述检验称为联合显著性检验,也是回归分析的常见检验。对于F 检验,备择假设通常描述为
ˆ>F (k , n -k -1) ,则拒绝H0。“H 1:H 0不是真的”。根据样本数据计算F 统计量,如果F
1-α
其中β2是k 2维向量
F 检验和T 检验
当J =1时,F 统计量可以转换为t 统计量:F (1,n -k -1) =t (n -k -1) ,即单个约束条件可以用t 检验。
考虑原假设:H 0:β2=0, β3=0
方法一:用F 检验。
方法二:对各个系数分别采用t 检验。
这两个检验不是等价的。因此,可能出现的两种矛盾情形: 1) t 检验显著,F 联合检验不显著。此模型是病态模型。在计量中甚少出现。 2) t 检验不显著,F 联合检验显著。此模型有多重共线性。在计量中会出现。 例子(MLB1.raw ):
2
问题:多个t 检验和联合检验的结果是否相同,并分析造成此结果的可能原因。
总的来说,多个假设检验要用F 检验,它优于进行多个t 检验。
讲义3 多元线性回归模型:推断
主要内容:
1、推断的数学知识复习 2、Size ,power 的含义 3、OLS 估计量的样本分布 4、单约束检验-t 检验 5、多约束检验—F 检验 对应教材内容:chapter2.5
自由度的概念
“自由度”是指当以样本的统计量来估计总体的参数时,样本中独立或能自由变化的数据的个数。
例:假设n 个独立变量Xi ~N(0,1),那么(X 1+X 2+... +X n ) ~χ(n ) ;
随机向量的分布与数字特征 ● 协方差矩阵
设Y 是一个由多个随机变量组成的向量,即Y =(Y 1, Y 2,..., Y n ) ,那么 Y 的期望为
⎡E (Y 1) ⎤⎡μ1⎤⎢⎥⎢⎥
μ=E (Y ) =... =...
⎢⎥⎢⎥, ⎢⎣E (Y n ) ⎥⎦⎢⎣μn ⎥⎦
'
2
2
2
2
Y 的协方差矩阵为
∑=E [(Y -μ)(Y -μ) ]
2
⎡E [(Y 1-μ1) ]⎢=⎢...
⎢E [(Y -μ)(Y -μ)]
n n 11⎣
'
... ... ...
'
E [(Y 1-μ1)(Y n -μn )]⎤
⎥
... ⎥
2⎥E [(Y n -μn ) ]⎦
对于n 个随机变量的线性组合αY ,有
E (α1Y 1+... +αn Y n ) =E (αY ) =αμ
Var (αY ) =α∑α
'
'
' '
● 多变量的正态分布X ~N(μ, ∑) ,其中X 为n 维列向量,常被称为正态向量;μ为期望向量,∑为协方差矩阵。X 的密度函数为f (X ) =
● 正态向量的线性函数 若X ~N (μ, ∑) ,那么
1(2π)
n /2
|∑|
1/2
exp[-
12
(x -μ) ∑(x -μ)].
' -1
AX +b ~N (A μ+b , A ∑A )
● 标准正态向量的二次型
若X ~N (0,I n ) ,A 是幂矩阵,那么X AX ~χ(rank (A )) 。
n
'
' 2
特别地,X M X =
' 0
∑
i =1
(X i -X ) ~χ(n -1) 。
22
● 幂矩阵二次型的独立性
设X ~N (0,I n ) ,A 和B 都是幂矩阵,那么如果AB =0就有X AX 和X BX 就独立。
'
'
● 满秩二次型的分布 设
X ~N (μ, ∑) ,那么
-1/2
∑
(X -μ) ~N (0, I ) ,(X -μ) ∑
' -1
(X -μ) ~χ(n ) 。
2
● 线性函数与二次型的独立性
设X ~N (0,I n ) ,LX 是X 的线性函数,X AX 是X 的二次型,那么如有LA=0必有LX 和
X AX 独立。
'
'
临界值的概念
设X 的分布函数为F ,x α满足F (x α) =P {X ≤x α}=α, 0
例1:对称分布U ~N (0,1)的临界值
例2:非对称分布χ
2
~χ(n -1) 的临界值
2
区间估计
对于参数θ,如果有两个统计量θˆ1=θˆ1(X 1, X 2, , X n ) , θˆ2=θˆ2(X 1, X 2, , X n ) ,满足对给定的α∈(0, 1) ,有
P {θˆ1≤θ≤θˆ2}=1-α
1-α则称区间[θˆ1,θˆ2]是θ的一个区间估计或置信区间,θˆ1、θˆ2分别称作置信下限、置信上限,
称为置信水平。
置信水平为1-α,在实际上可以这样理解:如取1-α=95%,就是说若对某一参数θ取100个容量为n 的样本,用相同方法做100个置信区间。[θˆ1(k ) ,θˆ2(k ) ],k =1,2,…,100,那么其中有95个区间包含了真参数θ.因此, 当实际上只做一次区间估计时,我们有理由认为它包含了真参数。这样判断当然也可能犯错误,但犯错误的概率只有5%。
寻找置信区间的通常方法是从已知抽样分布的统计量,如上文提到的U ,X 和T 入手,由于分布和概率已知,只要确定临界值就可以了。
假设检验原理的复习
第一步,建立假设
H 0称为原假设,H 1称为备择假设。
注意:在假设检验中,原假设H 0与备选假设H 1的地位是不对等的。一般来说α是较小的,因而检验推断是“偏向”原假设,而“歧视”备选假设的。既然H 0是受保护的,则对于H 0的肯定相对来说是较缺乏说服力的,充其量不过是原假设与试验结果没有明显矛盾;反之,对于H 0的否定则是有力的,且α越小,小概率事件越难于发生,一旦发生了,这种否定就越有力,也就越能说明问题。在应用中,如果要用假设检验说明某个结论成立,那么最好设H 0为该结论不成立。
例3.1(单侧检验):
H 0:μ=μ0,H 1:μ>μ0
第二步,构造统计量,求出统计量的样本分布以及由样本观察值算出其具体值。
统计量t =
X -μ0S
n -1
在H 0成立的条件下,t
~t (n -1) ; 对应的具体值记为t ˆ。
第三步,根据备择假设构造出对H 0不利的小概率事件——在给定显著性水平α下,确定临界值,构造出拒绝域。
在一个问题中,通常指定一个正数α(0中几乎不会发生的事件,α称为显著性水平。
α
=0.05,算出临界值t 1-α(n -1) 。
V ={t >t 1-α(n -1)},这里V 是拒绝域,它是使得这一小概率事件发生的样本空间的点的全体。
第四步,得出结论
方法1:根据计算出来的t 值,看样本是否落在V 内,若落在V 内,则拒绝H 0,否则, 不能拒绝H 0。
如果t ˆ>t 1-α(n -1) ,则称能以α的显著性水平拒绝零假设;否则,不能拒绝零假设;
方法2:比较p 值和α。
p 值定义为不能拒绝零假设的最大的显著性水平;
P {t >t ˆ},也就是在t-分布中大于统计量t ˆ的概率。
比较p 值和预先设定的显著性水平。
如果p 值
例3.2:(双侧检验)
H 0:μ=μ0
,
H 1:μ≠μ0
与例3.2不同的地方在于第三步和第四步。 第三步,令α=0.05,算出临界值t 1-α/2(n -1) 。
V ={|t |>t 1-α/2(n -1)},这里V 是拒绝域,它是使得这一小概率事件发生的样本空间的点的全体。
ˆ落在拒绝域,则能拒绝零假设;否则,不能拒绝零假设; 第四步,如果t
思考:若用方法2,那么p 值是多少?
由于统计量是随机变量,假设检验可能犯两种类型的错误。
● 当H 0成立,而检验的结果表明H 0不成立,即拒绝了H 0,这时称该检验犯了第一类错误(type
I error)或“弃真”的错误;第一类错误的概率就是在H 0成立的条件下V 的概率P (V |H 0) ; 检验的显著性(size of test)=α
● 当H 0不成立,H 1成立,而检验的结果表明H
成立,即接受了H 0,这时称该检验犯了第
。
二类错误(type II error),或称“取伪”的错误。犯第二类错误的概率是
β=P {X-V |H 1}。定义一个检验的势(power of test)=1-β
给定多元线性回归方程:
y i =β0+x i 1β1+... +x ik βk +εi ,(i =1, 2,..., n )
OLS 估计量的样本分布
在有限样本下进行假设检验,除了假定1到假定4,一般还需要加上假设5: 假定5 扰动项服从正态分布
那么,得到,b |X ~N (β, σ(X X ) )
其中,b j |X ~N (βj , σ(X X ) jj )
单个线性约束的假设检验:t 检验
原理:t 统计量=N (0, 1) /χ2~t 分布;
『证明:因为(b j -βj ) /(σ(X X ) jj ) |X ~N (0,1)
2
'
-1
2' -1
-
e e
'
σ
2
|X ~χ(n -k -1)
2
所以(b j -βj ) /se (b j ) |X ~t (n -k -1) 』
单个参数的线性假设检验
t =b j /se (b j ) ~t (n -k -1)
上述的t 检验又称系数的显著性检验,是回归分析最常见的检验之一。 t 检验的步骤:
1)根据样本数据计算t 统计量;
2)确定显著性水平α,一般可选择取1%,5%,10%。 3)确定备择假设,由此确定是单侧检验还是双侧检验。
4) 根据自由度为n -k -1的t 分布计算临界值,单侧检验计算t α,双侧检验计算t α/2。或者计算p 值:双侧检验的p d =Pr(|T |>|t |);单侧检验的p 值p s =p d /2。 5)最后比较临界值与t 统计量,或者比较p 值和显著性水平α。
例子:房产价格与空气污染
首先估计方程,得到系数OLS 估计值及其标准差:
然后进行系数显著性检验。
H 0:β1=0 ;H 1:β1≠0
t =
b i -βi 0se (b ~t (n -k -1)
i )
例子(续)
:
H 1:β1
单个线性约束的假设检验
t =
(b +b -1) ~t (n -k -1)
t =
(b -b ) ~t (n -k -1)
H 1:β1>1
多个线性约束的假设检验:F 检验
F 检验
F 统计量服从F (J , n -k -1) 。
『证明:Step1,由假定5推出R (b -β) |X ~N [0, σR (X X ) 在原假设H0下,Rb -r |X ~N [0, σR (X X ) 令w =(Rb -r ) [σR (X X ) Step2,因为
e e
'
2' -1
R ];
'
2' -1
R ];
2
'
' 2' -1
R ](Rb -r ) ,那么有w |X ~χ(J ) 。
ε
) ,
' -1
σ
2
=
εM εσ
2
'
=(
εσ
) M (
'
εσ
σ
|X ~N (0, I n ) 推出
e e
'
σ
2
|X ~χ(n -k -1) 。
2
e e
Step3,由Cov (b , e ) =0推出w |X 和所以
(Rb -r ) [R (X X ) R ](Rb -r ) /J
e e /(n -k -1)
'
'
'
-1
' -1
'
σ
2
|X 独立。
~F (J , n -k -1) 。』
F 统计量的两种更简便的计算方法:
F =
(e *e *-e e ) /J e e /(n -k -1)
'
' '
=
(R U -R R ) /J
2
(1-R U ) /(n -k -1)
22
其中SSR R 、R R 2是约束回归的残差平方和以及决定系数;SSR U 、R U 2是无约束回归的残差平方和以及决定系数。
讨论几种常见的约束:
(v ) H 0:β1=β2=... =βk =0
F =
ESS /k RSS /(n -k -1)
=
R /k (1-R ) /(n -k -1)
2
2
~F (k , n -k -1)
上述检验称为联合显著性检验,也是回归分析的常见检验。对于F 检验,备择假设通常描述为
ˆ>F (k , n -k -1) ,则拒绝H0。“H 1:H 0不是真的”。根据样本数据计算F 统计量,如果F
1-α
其中β2是k 2维向量
F 检验和T 检验
当J =1时,F 统计量可以转换为t 统计量:F (1,n -k -1) =t (n -k -1) ,即单个约束条件可以用t 检验。
考虑原假设:H 0:β2=0, β3=0
方法一:用F 检验。
方法二:对各个系数分别采用t 检验。
这两个检验不是等价的。因此,可能出现的两种矛盾情形: 1) t 检验显著,F 联合检验不显著。此模型是病态模型。在计量中甚少出现。 2) t 检验不显著,F 联合检验显著。此模型有多重共线性。在计量中会出现。 例子(MLB1.raw ):
2
问题:多个t 检验和联合检验的结果是否相同,并分析造成此结果的可能原因。
总的来说,多个假设检验要用F 检验,它优于进行多个t 检验。