讲义3 多元线性回归模型：推断
主要内容：
1、推断的数学知识复习 2、Size ，power 的含义 3、OLS 估计量的样本分布 4、单约束检验－t 检验 5、多约束检验—F 检验 对应教材内容：chapter2.5
自由度的概念
“自由度”是指当以样本的统计量来估计总体的参数时，样本中独立或能自由变化的数据的个数。
例：假设n 个独立变量Xi ~N(0,1)，那么(X 1+X 2+... +X n ) ~χ(n ) ；
随机向量的分布与数字特征 ● 协方差矩阵
设Y 是一个由多个随机变量组成的向量，即Y =(Y 1, Y 2,..., Y n ) ，那么 Y 的期望为
⎡E (Y 1) ⎤⎡μ1⎤⎢⎥⎢⎥
μ=E (Y ) =... =...
⎢⎥⎢⎥， ⎢⎣E (Y n ) ⎥⎦⎢⎣μn ⎥⎦
'
2
2
2
2
Y 的协方差矩阵为
∑=E [(Y -μ)(Y -μ) ]
2
⎡E [(Y 1-μ1) ]⎢=⎢...
⎢E [(Y -μ)(Y -μ)]
n n 11⎣
'
... ... ...
'
E [(Y 1-μ1)(Y n -μn )]⎤
⎥
... ⎥
2⎥E [(Y n -μn ) ]⎦
对于n 个随机变量的线性组合αY ，有
E (α1Y 1+... +αn Y n ) =E (αY ) =αμ
Var (αY ) =α∑α
'
'
' '
● 多变量的正态分布X ~N(μ, ∑) ，其中X 为n 维列向量，常被称为正态向量；μ为期望向量，∑为协方差矩阵。X 的密度函数为f (X ) =
● 正态向量的线性函数 若X ~N (μ, ∑) ，那么
1(2π)
n /2
|∑|
1/2
exp[-
12
(x -μ) ∑(x -μ)].
' -1
AX +b ~N (A μ+b , A ∑A )
● 标准正态向量的二次型
若X ~N (0,I n ) ，A 是幂矩阵，那么X AX ~χ(rank (A )) 。
n
'
' 2
特别地，X M X =
' 0
∑
i =1
(X i -X ) ~χ(n -1) 。
22
● 幂矩阵二次型的独立性
设X ~N (0,I n ) ，A 和B 都是幂矩阵，那么如果AB =0就有X AX 和X BX 就独立。
'
'
● 满秩二次型的分布 设
X ~N (μ, ∑) ，那么
-1/2
∑
(X -μ) ~N (0, I ) ，(X -μ) ∑
' -1
(X -μ) ~χ(n ) 。
2
● 线性函数与二次型的独立性
设X ~N (0,I n ) ，LX 是X 的线性函数，X AX 是X 的二次型，那么如有LA=0必有LX 和
X AX 独立。
'
'
临界值的概念
设X 的分布函数为F ，x α满足F (x α) =P {X ≤x α}=α, 0
例1：对称分布U ~N (0,1)的临界值
例2：非对称分布χ
2
~χ(n -1) 的临界值
2
区间估计
对于参数θ，如果有两个统计量θˆ1=θˆ1(X 1, X 2, , X n ) , θˆ2=θˆ2(X 1, X 2, , X n ) ，满足对给定的α∈(0, 1) ，有
P {θˆ1≤θ≤θˆ2}=1-α
1-α则称区间[θˆ1，θˆ2]是θ的一个区间估计或置信区间，θˆ1、θˆ2分别称作置信下限、置信上限，
称为置信水平。
置信水平为1-α，在实际上可以这样理解:如取1-α=95%，就是说若对某一参数θ取100个容量为n 的样本，用相同方法做100个置信区间。[θˆ1(k ) ，θˆ2(k ) ]，k =1,2,…,100,那么其中有95个区间包含了真参数θ．因此, 当实际上只做一次区间估计时，我们有理由认为它包含了真参数。这样判断当然也可能犯错误，但犯错误的概率只有5%。
寻找置信区间的通常方法是从已知抽样分布的统计量，如上文提到的U ，X 和T 入手，由于分布和概率已知，只要确定临界值就可以了。
假设检验原理的复习
第一步，建立假设
H 0称为原假设，H 1称为备择假设。
注意：在假设检验中，原假设H 0与备选假设H 1的地位是不对等的。一般来说α是较小的，因而检验推断是“偏向”原假设，而“歧视”备选假设的。既然H 0是受保护的，则对于H 0的肯定相对来说是较缺乏说服力的，充其量不过是原假设与试验结果没有明显矛盾；反之，对于H 0的否定则是有力的，且α越小，小概率事件越难于发生，一旦发生了，这种否定就越有力，也就越能说明问题。在应用中，如果要用假设检验说明某个结论成立，那么最好设H 0为该结论不成立。
例3.1（单侧检验）：
H 0:μ=μ0，H 1:μ>μ0
第二步，构造统计量，求出统计量的样本分布以及由样本观察值算出其具体值。
统计量t =
X -μ0S
n -1
在H 0成立的条件下，t
~t (n -1) ； 对应的具体值记为t ˆ。
第三步，根据备择假设构造出对H 0不利的小概率事件——在给定显著性水平α下，确定临界值，构造出拒绝域。
在一个问题中，通常指定一个正数α（0中几乎不会发生的事件，α称为显著性水平。
α
=0.05，算出临界值t 1-α(n -1) 。
V ={t >t 1-α(n -1)}，这里V 是拒绝域，它是使得这一小概率事件发生的样本空间的点的全体。
第四步，得出结论
方法1：根据计算出来的t 值，看样本是否落在V 内，若落在V 内，则拒绝H 0，否则, 不能拒绝H 0。
如果t ˆ>t 1-α(n -1) ，则称能以α的显著性水平拒绝零假设；否则，不能拒绝零假设；
方法2：比较p 值和α。
p 值定义为不能拒绝零假设的最大的显著性水平；
P {t >t ˆ}，也就是在t-分布中大于统计量t ˆ的概率。
比较p 值和预先设定的显著性水平。
如果p 值
例3.2：（双侧检验）
H 0:μ=μ0
，
H 1:μ≠μ0
与例3.2不同的地方在于第三步和第四步。 第三步，令α=0.05，算出临界值t 1-α/2(n -1) 。
V ={|t |>t 1-α/2(n -1)}，这里V 是拒绝域，它是使得这一小概率事件发生的样本空间的点的全体。
ˆ落在拒绝域，则能拒绝零假设；否则，不能拒绝零假设； 第四步，如果t
思考：若用方法2，那么p 值是多少？
由于统计量是随机变量，假设检验可能犯两种类型的错误。
● 当H 0成立，而检验的结果表明H 0不成立，即拒绝了H 0，这时称该检验犯了第一类错误(type
I error)或“弃真”的错误；第一类错误的概率就是在H 0成立的条件下V 的概率P (V |H 0) ； 检验的显著性（size of test）=α
● 当H 0不成立，H 1成立，而检验的结果表明H
成立，即接受了H 0，这时称该检验犯了第
。
二类错误(type II error)，或称“取伪”的错误。犯第二类错误的概率是
β=P {X-V |H 1}。定义一个检验的势（power of test）＝1－β
给定多元线性回归方程：
y i =β0+x i 1β1+... +x ik βk +εi ，(i =1, 2,..., n )
OLS 估计量的样本分布
在有限样本下进行假设检验，除了假定1到假定4，一般还需要加上假设5： 假定5 扰动项服从正态分布
那么，得到，b |X ~N (β, σ(X X ) )
其中，b j |X ~N (βj , σ(X X ) jj )
单个线性约束的假设检验：t 检验
原理：t 统计量=N (0, 1) /χ2~t 分布;
『证明：因为(b j -βj ) /(σ(X X ) jj ) |X ~N (0,1)
2
'
-1
2' -1
-
e e
'
σ
2
|X ~χ(n -k -1)
2
所以(b j -βj ) /se (b j ) |X ~t (n -k -1) 』
单个参数的线性假设检验
t =b j /se (b j ) ~t (n -k -1)
上述的t 检验又称系数的显著性检验，是回归分析最常见的检验之一。 t 检验的步骤：
1）根据样本数据计算t 统计量；
2）确定显著性水平α，一般可选择取1%，5%，10%。 3）确定备择假设，由此确定是单侧检验还是双侧检验。
4） 根据自由度为n -k -1的t 分布计算临界值，单侧检验计算t α，双侧检验计算t α/2。或者计算p 值：双侧检验的p d =Pr(|T |>|t |)；单侧检验的p 值p s =p d /2。 5）最后比较临界值与t 统计量，或者比较p 值和显著性水平α。
例子：房产价格与空气污染
首先估计方程，得到系数OLS 估计值及其标准差：
然后进行系数显著性检验。
H 0:β1=0 ；H 1:β1≠0
t =
b i -βi 0se (b ~t (n -k -1)
i )
例子（续）
：
H 1:β1
单个线性约束的假设检验
t =
(b +b -1) ~t (n -k -1)
t =
(b -b ) ~t (n -k -1)
H 1:β1>1
多个线性约束的假设检验：F 检验
F 检验
F 统计量服从F (J , n -k -1) 。
『证明：Step1，由假定5推出R (b -β) |X ~N [0, σR (X X ) 在原假设H0下，Rb -r |X ~N [0, σR (X X ) 令w =(Rb -r ) [σR (X X ) Step2，因为
e e
'
2' -1
R ]；
'
2' -1
R ]；
2
'
' 2' -1
R ](Rb -r ) ，那么有w |X ~χ(J ) 。
ε
) ，
' -1
σ
2
=
εM εσ
2
'
=(
εσ
) M (
'
εσ
σ
|X ~N (0, I n ) 推出
e e
'
σ
2
|X ~χ(n -k -1) 。
2
e e
Step3，由Cov (b , e ) =0推出w |X 和所以
(Rb -r ) [R (X X ) R ](Rb -r ) /J
e e /(n -k -1)
'
'
'
-1
' -1
'
σ
2
|X 独立。
~F (J , n -k -1) 。』
F 统计量的两种更简便的计算方法：
F =
(e *e *-e e ) /J e e /(n -k -1)
'
' '
=
(R U -R R ) /J
2
(1-R U ) /(n -k -1)
22
其中SSR R 、R R 2是约束回归的残差平方和以及决定系数；SSR U 、R U 2是无约束回归的残差平方和以及决定系数。
讨论几种常见的约束：
(v ) H 0:β1=β2=... =βk =0
F =
ESS /k RSS /(n -k -1)
=
R /k (1-R ) /(n -k -1)
2
2
~F (k , n -k -1)
上述检验称为联合显著性检验，也是回归分析的常见检验。对于F 检验，备择假设通常描述为
ˆ>F (k , n -k -1) ，则拒绝H0。“H 1:H 0不是真的”。根据样本数据计算F 统计量，如果F
1-α
其中β2是k 2维向量
F 检验和T 检验
当J ＝1时，F 统计量可以转换为t 统计量：F (1,n -k -1) =t (n -k -1) ，即单个约束条件可以用t 检验。
考虑原假设：H 0:β2=0, β3=0
方法一：用F 检验。
方法二：对各个系数分别采用t 检验。
这两个检验不是等价的。因此，可能出现的两种矛盾情形： 1） t 检验显著，F 联合检验不显著。此模型是病态模型。在计量中甚少出现。 2） t 检验不显著，F 联合检验显著。此模型有多重共线性。在计量中会出现。 例子（MLB1.raw ）：
2
问题：多个t 检验和联合检验的结果是否相同，并分析造成此结果的可能原因。
总的来说，多个假设检验要用F 检验，它优于进行多个t 检验。
讲义3 多元线性回归模型：推断
主要内容：
1、推断的数学知识复习 2、Size ，power 的含义 3、OLS 估计量的样本分布 4、单约束检验－t 检验 5、多约束检验—F 检验 对应教材内容：chapter2.5
自由度的概念
“自由度”是指当以样本的统计量来估计总体的参数时，样本中独立或能自由变化的数据的个数。
例：假设n 个独立变量Xi ~N(0,1)，那么(X 1+X 2+... +X n ) ~χ(n ) ；
随机向量的分布与数字特征 ● 协方差矩阵
设Y 是一个由多个随机变量组成的向量，即Y =(Y 1, Y 2,..., Y n ) ，那么 Y 的期望为
⎡E (Y 1) ⎤⎡μ1⎤⎢⎥⎢⎥
μ=E (Y ) =... =...
⎢⎥⎢⎥， ⎢⎣E (Y n ) ⎥⎦⎢⎣μn ⎥⎦
'
2
2
2
2
Y 的协方差矩阵为
∑=E [(Y -μ)(Y -μ) ]
2
⎡E [(Y 1-μ1) ]⎢=⎢...
⎢E [(Y -μ)(Y -μ)]
n n 11⎣
'
... ... ...
'
E [(Y 1-μ1)(Y n -μn )]⎤
⎥
... ⎥
2⎥E [(Y n -μn ) ]⎦
对于n 个随机变量的线性组合αY ，有
E (α1Y 1+... +αn Y n ) =E (αY ) =αμ
Var (αY ) =α∑α
'
'
' '
● 多变量的正态分布X ~N(μ, ∑) ，其中X 为n 维列向量，常被称为正态向量；μ为期望向量，∑为协方差矩阵。X 的密度函数为f (X ) =
● 正态向量的线性函数 若X ~N (μ, ∑) ，那么
1(2π)
n /2
|∑|
1/2
exp[-
12
(x -μ) ∑(x -μ)].
' -1
AX +b ~N (A μ+b , A ∑A )
● 标准正态向量的二次型
若X ~N (0,I n ) ，A 是幂矩阵，那么X AX ~χ(rank (A )) 。
n
'
' 2
特别地，X M X =
' 0
∑
i =1
(X i -X ) ~χ(n -1) 。
22
● 幂矩阵二次型的独立性
设X ~N (0,I n ) ，A 和B 都是幂矩阵，那么如果AB =0就有X AX 和X BX 就独立。
'
'
● 满秩二次型的分布 设
X ~N (μ, ∑) ，那么
-1/2
∑
(X -μ) ~N (0, I ) ，(X -μ) ∑
' -1
(X -μ) ~χ(n ) 。
2
● 线性函数与二次型的独立性
设X ~N (0,I n ) ，LX 是X 的线性函数，X AX 是X 的二次型，那么如有LA=0必有LX 和
X AX 独立。
'
'
临界值的概念
设X 的分布函数为F ，x α满足F (x α) =P {X ≤x α}=α, 0
例1：对称分布U ~N (0,1)的临界值
例2：非对称分布χ
2
~χ(n -1) 的临界值
2
区间估计
对于参数θ，如果有两个统计量θˆ1=θˆ1(X 1, X 2, , X n ) , θˆ2=θˆ2(X 1, X 2, , X n ) ，满足对给定的α∈(0, 1) ，有
P {θˆ1≤θ≤θˆ2}=1-α
1-α则称区间[θˆ1，θˆ2]是θ的一个区间估计或置信区间，θˆ1、θˆ2分别称作置信下限、置信上限，
称为置信水平。
置信水平为1-α，在实际上可以这样理解:如取1-α=95%，就是说若对某一参数θ取100个容量为n 的样本，用相同方法做100个置信区间。[θˆ1(k ) ，θˆ2(k ) ]，k =1,2,…,100,那么其中有95个区间包含了真参数θ．因此, 当实际上只做一次区间估计时，我们有理由认为它包含了真参数。这样判断当然也可能犯错误，但犯错误的概率只有5%。
寻找置信区间的通常方法是从已知抽样分布的统计量，如上文提到的U ，X 和T 入手，由于分布和概率已知，只要确定临界值就可以了。
假设检验原理的复习
第一步，建立假设
H 0称为原假设，H 1称为备择假设。
注意：在假设检验中，原假设H 0与备选假设H 1的地位是不对等的。一般来说α是较小的，因而检验推断是“偏向”原假设，而“歧视”备选假设的。既然H 0是受保护的，则对于H 0的肯定相对来说是较缺乏说服力的，充其量不过是原假设与试验结果没有明显矛盾；反之，对于H 0的否定则是有力的，且α越小，小概率事件越难于发生，一旦发生了，这种否定就越有力，也就越能说明问题。在应用中，如果要用假设检验说明某个结论成立，那么最好设H 0为该结论不成立。
例3.1（单侧检验）：
H 0:μ=μ0，H 1:μ>μ0
第二步，构造统计量，求出统计量的样本分布以及由样本观察值算出其具体值。
统计量t =
X -μ0S
n -1
在H 0成立的条件下，t
~t (n -1) ； 对应的具体值记为t ˆ。
第三步，根据备择假设构造出对H 0不利的小概率事件——在给定显著性水平α下，确定临界值，构造出拒绝域。
在一个问题中，通常指定一个正数α（0中几乎不会发生的事件，α称为显著性水平。
α
=0.05，算出临界值t 1-α(n -1) 。
V ={t >t 1-α(n -1)}，这里V 是拒绝域，它是使得这一小概率事件发生的样本空间的点的全体。
第四步，得出结论
方法1：根据计算出来的t 值，看样本是否落在V 内，若落在V 内，则拒绝H 0，否则, 不能拒绝H 0。
如果t ˆ>t 1-α(n -1) ，则称能以α的显著性水平拒绝零假设；否则，不能拒绝零假设；
方法2：比较p 值和α。
p 值定义为不能拒绝零假设的最大的显著性水平；
P {t >t ˆ}，也就是在t-分布中大于统计量t ˆ的概率。
比较p 值和预先设定的显著性水平。
如果p 值
例3.2：（双侧检验）
H 0:μ=μ0
，
H 1:μ≠μ0
与例3.2不同的地方在于第三步和第四步。 第三步，令α=0.05，算出临界值t 1-α/2(n -1) 。
V ={|t |>t 1-α/2(n -1)}，这里V 是拒绝域，它是使得这一小概率事件发生的样本空间的点的全体。
ˆ落在拒绝域，则能拒绝零假设；否则，不能拒绝零假设； 第四步，如果t
思考：若用方法2，那么p 值是多少？
由于统计量是随机变量，假设检验可能犯两种类型的错误。
● 当H 0成立，而检验的结果表明H 0不成立，即拒绝了H 0，这时称该检验犯了第一类错误(type
I error)或“弃真”的错误；第一类错误的概率就是在H 0成立的条件下V 的概率P (V |H 0) ； 检验的显著性（size of test）=α
● 当H 0不成立，H 1成立，而检验的结果表明H
成立，即接受了H 0，这时称该检验犯了第
。
二类错误(type II error)，或称“取伪”的错误。犯第二类错误的概率是
β=P {X-V |H 1}。定义一个检验的势（power of test）＝1－β
给定多元线性回归方程：
y i =β0+x i 1β1+... +x ik βk +εi ，(i =1, 2,..., n )
OLS 估计量的样本分布
在有限样本下进行假设检验，除了假定1到假定4，一般还需要加上假设5： 假定5 扰动项服从正态分布
那么，得到，b |X ~N (β, σ(X X ) )
其中，b j |X ~N (βj , σ(X X ) jj )
单个线性约束的假设检验：t 检验
原理：t 统计量=N (0, 1) /χ2~t 分布;
『证明：因为(b j -βj ) /(σ(X X ) jj ) |X ~N (0,1)
2
'
-1
2' -1
-
e e
'
σ
2
|X ~χ(n -k -1)
2
所以(b j -βj ) /se (b j ) |X ~t (n -k -1) 』
单个参数的线性假设检验
t =b j /se (b j ) ~t (n -k -1)
上述的t 检验又称系数的显著性检验，是回归分析最常见的检验之一。 t 检验的步骤：
1）根据样本数据计算t 统计量；
2）确定显著性水平α，一般可选择取1%，5%，10%。 3）确定备择假设，由此确定是单侧检验还是双侧检验。
4） 根据自由度为n -k -1的t 分布计算临界值，单侧检验计算t α，双侧检验计算t α/2。或者计算p 值：双侧检验的p d =Pr(|T |>|t |)；单侧检验的p 值p s =p d /2。 5）最后比较临界值与t 统计量，或者比较p 值和显著性水平α。
例子：房产价格与空气污染
首先估计方程，得到系数OLS 估计值及其标准差：
然后进行系数显著性检验。
H 0:β1=0 ；H 1:β1≠0
t =
b i -βi 0se (b ~t (n -k -1)
i )
例子（续）
：
H 1:β1
单个线性约束的假设检验
t =
(b +b -1) ~t (n -k -1)
t =
(b -b ) ~t (n -k -1)
H 1:β1>1
多个线性约束的假设检验：F 检验
F 检验
F 统计量服从F (J , n -k -1) 。
『证明：Step1，由假定5推出R (b -β) |X ~N [0, σR (X X ) 在原假设H0下，Rb -r |X ~N [0, σR (X X ) 令w =(Rb -r ) [σR (X X ) Step2，因为
e e
'
2' -1
R ]；
'
2' -1
R ]；
2
'
' 2' -1
R ](Rb -r ) ，那么有w |X ~χ(J ) 。
ε
) ，
' -1
σ
2
=
εM εσ
2
'
=(
εσ
) M (
'
εσ
σ
|X ~N (0, I n ) 推出
e e
'
σ
2
|X ~χ(n -k -1) 。
2
e e
Step3，由Cov (b , e ) =0推出w |X 和所以
(Rb -r ) [R (X X ) R ](Rb -r ) /J
e e /(n -k -1)
'
'
'
-1
' -1
'
σ
2
|X 独立。
~F (J , n -k -1) 。』
F 统计量的两种更简便的计算方法：
F =
(e *e *-e e ) /J e e /(n -k -1)
'
' '
=
(R U -R R ) /J
2
(1-R U ) /(n -k -1)
22
其中SSR R 、R R 2是约束回归的残差平方和以及决定系数；SSR U 、R U 2是无约束回归的残差平方和以及决定系数。
讨论几种常见的约束：
(v ) H 0:β1=β2=... =βk =0
F =
ESS /k RSS /(n -k -1)
=
R /k (1-R ) /(n -k -1)
2
2
~F (k , n -k -1)
上述检验称为联合显著性检验，也是回归分析的常见检验。对于F 检验，备择假设通常描述为
ˆ>F (k , n -k -1) ，则拒绝H0。“H 1:H 0不是真的”。根据样本数据计算F 统计量，如果F
1-α
其中β2是k 2维向量
F 检验和T 检验
当J ＝1时，F 统计量可以转换为t 统计量：F (1,n -k -1) =t (n -k -1) ，即单个约束条件可以用t 检验。
考虑原假设：H 0:β2=0, β3=0
方法一：用F 检验。
方法二：对各个系数分别采用t 检验。
这两个检验不是等价的。因此，可能出现的两种矛盾情形： 1） t 检验显著，F 联合检验不显著。此模型是病态模型。在计量中甚少出现。 2） t 检验不显著，F 联合检验显著。此模型有多重共线性。在计量中会出现。 例子（MLB1.raw ）：
2
问题：多个t 检验和联合检验的结果是否相同，并分析造成此结果的可能原因。
总的来说，多个假设检验要用F 检验，它优于进行多个t 检验。