应用回归分析证明题及答案

应用回归分析证明题及答案

一. 证明残差满足的约束条件：ei0，xiei0。

i1

i1

n

n

证明：由偏导方程即得该结论：

n

Qˆˆx)02(yi01iˆ00

i1

Q2n(yˆˆx)x0

i01iiˆ111

i1

证毕.

二. 证明平方和分解式：SSTSSRSSE。 证明：

ˆiyˆi)2SST(yi)(yiy

2

i1n

i1n

nn

ˆi)2(yiyˆi)22(yiyˆi)(yˆi)(y

i1

i1

i1

n

nn

nˆˆx)0ˆiei2ei(上式第三项2eiy01i

i1i1i1

nn

ˆˆ2exe)0i1ii0

i1i1

ˆi)(yiyˆi)2即SST(y

2

i1

i1

nn

SSRSSE

证毕.

三. 证明三种检验的关系：

ˆ2LSSR/1（1

） =12xx= t2 ；(2) F=

ˆSSE/(n2)证明：由于

r

L2

ei





2ˆr2SST, SSR ˆ2

n2



SSTSSR

n2

所以

t ;ˆ2LSSR/1

F 12xx.

ˆSSE/(n2)

证毕.

1(xi)22

 。 四．证明：Var(ei)12

n(xi)

证明：由于

ˆˆx)ˆiyi(eiyiy01i

ˆ(x)y

i

1

i

1n(xi)yi(x)

yiyii

ni1Lxx

于是

1n(xi)yi(x)

Var(ei)Varyiyii

nLi1xx

(xi)yi1n

Varyi2VaryiVar(xi)

nLi1xx

(xi)yi1n

2Covyi,yi2Covyi,(xi)

Lxxni1

1n(xi)yi(x)2Covyi,i

nLxxi1

(xi)2212(xi)22122

22

nLxxnLxx

1(xi)22

1Lxxn

证毕.

ˆ,ˆ)2。 五．证明：在一元回归中，Cov(01

Lxx

证明：

1n(xi)yi(xi)yiˆˆCov(0,1)Covy,inLLxxxxi1

nn1(xi)(xi)Covy,yiiLxxi1Lxx

i1nnn1(xi)(xi)Covy,yiiLxxi1Lxx

i1n

1(x)(xi)2

i

LxxLxxi1n

2

Lxx

n

证毕.

ˆ2六．证明：

1

SSE 是误差项方差2的无偏估计。

np1

1(xi)22

 证明：由于 D(ei)12n(x)i

2

而 E(ei)D(ie)

E(ie)

2

Di( e)

所以

n

11

ˆ)EE(SSE E(ei2)

np1np1i1

nn

11D(ei)(1hii)2 np1i1np1i1

1(np1)22np1

2

证毕.

ˆ)β；D(βˆ)2(XX)1。 七．证明：E(β证明：

ˆ)E(XX)1Xy(XX)1XEyE(β

(XX)1XEXβε(XX)XXβ

β

1

ˆ)Covβˆ,βˆCov(XX)1Xy,(XX)1XyD(β

(XX)1XCovy,yX(XX)1(XX)1X2IX(XX)12(XX)1



证毕.

八．证明：在多元线性回归中，假设εN(0,2In)，则随机向量yN(Xβ,2In)。九．证明：当yN(Xβ,2In)时，则：

ˆN(β,2(XX)1)；（1）β（2）SSE/2(np1)。 证明：

ˆ(XX)1Xy，X是固定的设计矩阵，因此，βˆ是y的线性变换。 （1）因为β

ˆ服从正态分布，且 又当εN(0,2In)时，有随机向量yN(Xβ,2In)，所以β

ˆ)β,D(βˆ)2(XX)1，即有βˆN(β,2(XX)1)。 E(β（2）：由于

ˆ)(y-yˆ)SSEee(y-y

(I-H)y(I-H)y

y(I-H)yyNy

(Xβε)N(Xβε)

NX0

εNε

借助于定理：设XN(0,In) ，A为nn 对称阵，秩为r，则当A满足：A2A ，二次型XA2X2r，只需证明：rk(N)np1即可。 因为N是幂等阵，所以有rk(N)tr(N)，故

rk(N)trInX(XX)1X

ntrX(XX)1Xntr(XX)XXnp1

1

证毕.

ˆ与残差向量e不相关，即十．证明：在多元线性回归中，最小二乘估计βˆ,e)0。 Cov(β证明：

ˆ,e)Cov(XX)1Xy,(IH)yCov(β

(XX)1XCovy,y(IH)(XX)1X2I(IH)(XX)1X2I(IX(XX)1X)0

证毕.

ˆ)，其中ˆ十一．证明：DW2(1



ee

n

tt1。

证明：由于

DW

(ee

t

t2

n

t1

)

2

e

t2

n



ee

2tt2

t2

nn

2t1

2etet1

t22t

n

2t

e

t2

n

ˆ如果认为ee，则有

2

t

2t1

t2

t2

nn

ee

t2n

n

tt1

，所以

e

t2

2t

n



eett1

ˆ). 2(1DW21t2n

et2t2

证毕.

十二. 试证明：在二元线性回归模型yi01xi12xi2i 中，当x1和x2 相互独立时，对回归系数1 和2的OLS估计值，等于yi分别对

x1和x2做简单线性回归时回归系数的OLS估计值。

应用回归分析证明题及答案

一. 证明残差满足的约束条件：ei0，xiei0。

i1

i1

n

n

证明：由偏导方程即得该结论：

n

Qˆˆx)02(yi01iˆ00

i1

Q2n(yˆˆx)x0

i01iiˆ111

i1

证毕.

二. 证明平方和分解式：SSTSSRSSE。 证明：

ˆiyˆi)2SST(yi)(yiy

2

i1n

i1n

nn

ˆi)2(yiyˆi)22(yiyˆi)(yˆi)(y

i1

i1

i1

n

nn

nˆˆx)0ˆiei2ei(上式第三项2eiy01i

i1i1i1

nn

ˆˆ2exe)0i1ii0

i1i1

ˆi)(yiyˆi)2即SST(y

2

i1

i1

nn

SSRSSE

证毕.

三. 证明三种检验的关系：

ˆ2LSSR/1（1

） =12xx= t2 ；(2) F=

ˆSSE/(n2)证明：由于

r

L2

ei





2ˆr2SST, SSR ˆ2

n2



SSTSSR

n2

所以

t ;ˆ2LSSR/1

F 12xx.

ˆSSE/(n2)

证毕.

1(xi)22

 。 四．证明：Var(ei)12

n(xi)

证明：由于

ˆˆx)ˆiyi(eiyiy01i

ˆ(x)y

i

1

i

1n(xi)yi(x)

yiyii

ni1Lxx

于是

1n(xi)yi(x)

Var(ei)Varyiyii

nLi1xx

(xi)yi1n

Varyi2VaryiVar(xi)

nLi1xx

(xi)yi1n

2Covyi,yi2Covyi,(xi)

Lxxni1

1n(xi)yi(x)2Covyi,i

nLxxi1

(xi)2212(xi)22122

22

nLxxnLxx

1(xi)22

1Lxxn

证毕.

ˆ,ˆ)2。 五．证明：在一元回归中，Cov(01

Lxx

证明：

1n(xi)yi(xi)yiˆˆCov(0,1)Covy,inLLxxxxi1

nn1(xi)(xi)Covy,yiiLxxi1Lxx

i1nnn1(xi)(xi)Covy,yiiLxxi1Lxx

i1n

1(x)(xi)2

i

LxxLxxi1n

2

Lxx

n

证毕.

ˆ2六．证明：

1

SSE 是误差项方差2的无偏估计。

np1

1(xi)22

 证明：由于 D(ei)12n(x)i

2

而 E(ei)D(ie)

E(ie)

2

Di( e)

所以

n

11

ˆ)EE(SSE E(ei2)

np1np1i1

nn

11D(ei)(1hii)2 np1i1np1i1

1(np1)22np1

2

证毕.

ˆ)β；D(βˆ)2(XX)1。 七．证明：E(β证明：

ˆ)E(XX)1Xy(XX)1XEyE(β

(XX)1XEXβε(XX)XXβ

β

1

ˆ)Covβˆ,βˆCov(XX)1Xy,(XX)1XyD(β

(XX)1XCovy,yX(XX)1(XX)1X2IX(XX)12(XX)1



证毕.

八．证明：在多元线性回归中，假设εN(0,2In)，则随机向量yN(Xβ,2In)。九．证明：当yN(Xβ,2In)时，则：

ˆN(β,2(XX)1)；（1）β（2）SSE/2(np1)。 证明：

ˆ(XX)1Xy，X是固定的设计矩阵，因此，βˆ是y的线性变换。 （1）因为β

ˆ服从正态分布，且 又当εN(0,2In)时，有随机向量yN(Xβ,2In)，所以β

ˆ)β,D(βˆ)2(XX)1，即有βˆN(β,2(XX)1)。 E(β（2）：由于

ˆ)(y-yˆ)SSEee(y-y

(I-H)y(I-H)y

y(I-H)yyNy

(Xβε)N(Xβε)

NX0

εNε

借助于定理：设XN(0,In) ，A为nn 对称阵，秩为r，则当A满足：A2A ，二次型XA2X2r，只需证明：rk(N)np1即可。 因为N是幂等阵，所以有rk(N)tr(N)，故

rk(N)trInX(XX)1X

ntrX(XX)1Xntr(XX)XXnp1

1

证毕.

ˆ与残差向量e不相关，即十．证明：在多元线性回归中，最小二乘估计βˆ,e)0。 Cov(β证明：

ˆ,e)Cov(XX)1Xy,(IH)yCov(β

(XX)1XCovy,y(IH)(XX)1X2I(IH)(XX)1X2I(IX(XX)1X)0

证毕.

ˆ)，其中ˆ十一．证明：DW2(1



ee

n

tt1。

证明：由于

DW

(ee

t

t2

n

t1

)

2

e

t2

n



ee

2tt2

t2

nn

2t1

2etet1

t22t

n

2t

e

t2

n

ˆ如果认为ee，则有

2

t

2t1

t2

t2

nn

ee

t2n

n

tt1

，所以

e

t2

2t

n



eett1

ˆ). 2(1DW21t2n

et2t2

证毕.

十二. 试证明：在二元线性回归模型yi01xi12xi2i 中，当x1和x2 相互独立时，对回归系数1 和2的OLS估计值，等于yi分别对

x1和x2做简单线性回归时回归系数的OLS估计值。