1.4 方差分析原理与最小二乘法及极大似然方法
方差分析模型与线性回归模型从数学原理上可以统一到一个一般的模型, 即线性模型中去. 所谓线性模型, 是假定: 1) 响应变量(因变量)可以表示为”均值”+”误差”的形式; 2) 均值为未知参数的线性函数; 3)误差为零均值的正态分布(方差相同). 当得到n个独立的观测后, 其数学形式表示如下:
y=Xß+e(1.4.1)
其中y和e为n维列向量, 分别表示响应变量的观测值和误差; ß为k维参数向量(可能需要满足一定的线性约束条件); X为n×k维系数矩阵. e的各分量间相互独立, 各服从N(0,σ2)分布.
不难验证简单线性回归模型是线性模型, 其中参数向量ß=(β0,β1)T(无约束条件); 系数矩阵X有两列, 第一列全部为1, 第二列为自变量(条件变量)在试验点的值. 单因子方差分析模型也可以表示为线性模型(1.4.1). 可以有两种表示方法, 分别对应模型(1.1.1)和(1.1.5). 在模型(1.1.1)下, 观测值向量y可分为I个子向量,第i个子向量yi=(yi1,L,yini)T, 参数向量ß=(µ1,L,µI)T(无约束条件); 系数矩阵X有I列, 第i列中对应yi的行上的元素为1, 其余元素为0. 如果是模型(1.1.5), 则参数向量ß=(µ,α1L,αI)T(约束条件为∑i=1αi=0); 系数矩阵X有I+1列, 第1列上的元素都是1, 第i+1列中对应yi的行上的元素为1, 其余元素为0.对一般的线性模型(1.4.1), 基本的参数估计方法是最小二乘法. 定义
Q(ß)=(y−Xß)T(y−Xß)I
对Q(ß)关于ß求最小(当有线性约束时在约束下求最小), 就得到ß的最小二乘估计. 在简单线性回归模型中, 我们直接用最小二乘法得到参数估计. 不难验证,在单因子方差分析模型中的参数估计也是最小二乘估计. 简单的方法是在模型(1.1.1)下求(µ1,L,µI)T的最小二乘估计, 然后转化为(µ,α1L,αI)T的最小二乘估计. 如果直接从模型(1.1.5)求最小二乘估计, 由于参数有约束条件, 则算法要复杂一些(结果当然是一致的).
在线性模型中用最小二乘法求参数估计, 就等价于用极大似然法求参数估计.由误差的正态分布假定, 可以得到y的分布为Nn(Xß,σ2In). 似然函数(y的密度函数)为
L(ß)=f(y;ß)=11Texp{−(y−Xß)(y−Xß)}2n/22(2πσ)2σ
最大化L(ß)就等价于最小化(y−Xß)T(y−Xß). 这就证明了最小二乘法与极大似然法的等价性.
1.4 方差分析原理与最小二乘法及极大似然方法
方差分析模型与线性回归模型从数学原理上可以统一到一个一般的模型, 即线性模型中去. 所谓线性模型, 是假定: 1) 响应变量(因变量)可以表示为”均值”+”误差”的形式; 2) 均值为未知参数的线性函数; 3)误差为零均值的正态分布(方差相同). 当得到n个独立的观测后, 其数学形式表示如下:
y=Xß+e(1.4.1)
其中y和e为n维列向量, 分别表示响应变量的观测值和误差; ß为k维参数向量(可能需要满足一定的线性约束条件); X为n×k维系数矩阵. e的各分量间相互独立, 各服从N(0,σ2)分布.
不难验证简单线性回归模型是线性模型, 其中参数向量ß=(β0,β1)T(无约束条件); 系数矩阵X有两列, 第一列全部为1, 第二列为自变量(条件变量)在试验点的值. 单因子方差分析模型也可以表示为线性模型(1.4.1). 可以有两种表示方法, 分别对应模型(1.1.1)和(1.1.5). 在模型(1.1.1)下, 观测值向量y可分为I个子向量,第i个子向量yi=(yi1,L,yini)T, 参数向量ß=(µ1,L,µI)T(无约束条件); 系数矩阵X有I列, 第i列中对应yi的行上的元素为1, 其余元素为0. 如果是模型(1.1.5), 则参数向量ß=(µ,α1L,αI)T(约束条件为∑i=1αi=0); 系数矩阵X有I+1列, 第1列上的元素都是1, 第i+1列中对应yi的行上的元素为1, 其余元素为0.对一般的线性模型(1.4.1), 基本的参数估计方法是最小二乘法. 定义
Q(ß)=(y−Xß)T(y−Xß)I
对Q(ß)关于ß求最小(当有线性约束时在约束下求最小), 就得到ß的最小二乘估计. 在简单线性回归模型中, 我们直接用最小二乘法得到参数估计. 不难验证,在单因子方差分析模型中的参数估计也是最小二乘估计. 简单的方法是在模型(1.1.1)下求(µ1,L,µI)T的最小二乘估计, 然后转化为(µ,α1L,αI)T的最小二乘估计. 如果直接从模型(1.1.5)求最小二乘估计, 由于参数有约束条件, 则算法要复杂一些(结果当然是一致的).
在线性模型中用最小二乘法求参数估计, 就等价于用极大似然法求参数估计.由误差的正态分布假定, 可以得到y的分布为Nn(Xß,σ2In). 似然函数(y的密度函数)为
L(ß)=f(y;ß)=11Texp{−(y−Xß)(y−Xß)}2n/22(2πσ)2σ
最大化L(ß)就等价于最小化(y−Xß)T(y−Xß). 这就证明了最小二乘法与极大似然法的等价性.