《概率论与数理统计》典型教案
教学内容:极大似然估计法
教学目的:
通过本节内容的教学,使学生:
1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法;
2、理解极大似然思想;
3、掌握求极大似然估计值的一般步骤,会求常见分布参数的极大似然估计值.
教学重点:
1、对极大似然思想阐述;
2、极大似然估计值的求解.
教学难点:
对不能通过求导方法获得极大似然估计的值的确定.
教学时数:2学时.
教学过程:
引例:某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只听一声枪响,野兔应声到下,如果要你推测,这一发命中的子弹是谁打的?你就会想,只发一枪便打中,由于猎人命中的概率一般大于这位同学命中的概率,看来这一枪是猎人射中的.
这个例子所作的推断就体现了极大似然法的基本思想.
一、极大似然思想
θ取值不同,一般地说,事件A 与参数θ∈Θ有关,则P (A ) 也不同.若
A 发生了,则认为此时的θ值就是θ的估计值.这就是极大似然思想.看一例子:例1、设袋中装有许多黑、白球,不同颜色球的数量比为3:1,试设计一种方法,估计任取一球为黑球的概率P .
分析:易知P 的值无非是1/4或3/4.为估计P 的值,现从袋中有放回地任取3只球,用X 表示其中的黑球数,则X ~b (3, P ) .按极大似然估计思想,对P 的取值进行估计.
解:对P 的不同取值,X 取k =0, 1, 2, 3的概率可列表如下:
X 0 1 2 3
P = P = , k =0, 1⎧⎪ˆ=⎨故根据极大似然思想即知:P . , k =2, 3⎪⎩在上面的例子中,P 是分布中的参数,它只能取两个值:1/4或3/4,需要通过抽样来决定分布中参数究竟是1/4还是3/4.在给定了样本观测值后去计算该样本出现的概率,这一概率依赖于P 的值,为此需要用1/4、3/4分别去计算此概率,在相对比较之下,哪个概率大,则P 就最象那个.
二、似然函数与极大似然估计
1、离散分布场合:
设总体X 是离散型随机变量,其概率函数为p (x ; θ) ,其中θ是未知参数.设X 1, X 2, , X n 为取自总体X 的样本.X 1, X 2, , X n 的联合概率函数为∏p (X i ; θ) ,这里,θ是常量,X 1, X 2, , X n 是变量.
i =1n
若我们已知样本取的值是x 1, x 2, , x n ,则事件
{X 1=x 1, X 2=x 2, , X n =x n }发生的概率为∏p (x i ; θ) .这一概率随θ的
i =1n
值而变化.从直观上来看,既然样本值x 1, x 2, , x n 出现了,它们出现的概率相对来说应比较大,应使∏p (x i ; θ) 取比较大的值.换句话说,θ应
i =1n
使样本值x 1, x 2, , x n 的出现具有最大的概率.将上式看作θ的函数,并用L (θ) 表示,就有:
L (θ) =L (x 1, x 2, , x n ; θ) =∏p (x i ; θ) (1)
i =1n
称L (θ) 为似然函数.极大似然估计法就是在参数θ的可能取值范围Θ内,选取使L (θ) 达到最大的参数值θˆ,作为参数θ的估计值.即取θ,使
ˆ) =max L (x , x , , x ; θ) (2) L (θ) =L (x 1, x 2, , x n ; θ12n θ∈Θ
因此,求总体参数θ的极大似然估计值的问题就是求似然函数L (θ)
dL (θ) =0 (3) d θ
来解决.因为ln L 是L 的增函数,所以ln L 与L 在θ的同一值处取得最大的最大值问题.这可通过解下面的方程值.我们称l (θ) =ln L (θ) 为对数似然函数.因此,常将方程(3)写成: d ln L (θ) =0 (4) d θ
方程(4)称为似然方程.解方程(3)或(4)得到的θˆ就是参数θ的极大似然估计值.
如果方程(4)有唯一解,又能验证它是一个极大值点,则它必是所求的极大似然估计值.有时,直接用(4)式行不通,这时必须回到原始定义(2)进行求解.
2、连续分布场合:
设总体X 是连续离散型随机变量,其概率密度函数为f (x ; θ) ,若取得样本观察值为x 1, x 2, , x n ,则因为随机点(X 1, X 2, , X n ) 取值为(x 1, x 2, , x n ) 时联合密度函数值为∏f (x i ; θ) .所以,按极大似然法,应
i =1n
选择θ的值使此概率达到最大.我们取似然函数为
L (θ) =∏f (x i ; θ) ,再按前述方法求参数θ的极大似然估计值.
i =1n
三、求极大似然估计的方法
1、可通过求导获得极大似然估计:
当函数关于参数可导时,常可通过求导方法来获得似然函数极大值对应的参数值.
例2、设某工序生产的产品的不合格率为p ,抽n 个产品作检验,发现有T 个不合格,试求p 的极大似然估计.
分析:设X 是抽查一个产品时的不合格品个数,则X 服从参数为p 的二点分布b (1, p ) .抽查n 个产品,则得样本X 1, X 2, , X n ,其观察值为x 1, x 2, , x n ,假如样本有T 个不合格,即表示x 1, x 2, , x n 中有T 个取值为1,n -T 个取值为0.按离散分布场合方法,求p 的极大似然估计.
解:(1)写出似然函数:L (p ) =∏p x i (1-P ) 1-x i
i =1n
(2)对L (p ) 取对数,得对数似然函数l (p ) :
l (p ) =∑[x i ln p +(1-x i ) ln(1-p )]=n ln(1-p ) +∑x i [lnp -ln(1-p )]
i =1i =1n n
(3)由于l (p ) 对p 的导数存在,故将l (p ) 对p 求导,令其为0,n n dl (p ) n 11n 1得似然方程:=-+∑x i (+) =-+x i =0 ∑dp 1-p i =1p 1-p 1-p p (1-p ) i =1
1n ˆ=∑x i =x (4)解似然方程得:p n i =1
d 2l (p ) ˆ=x 时,ˆ=x 可使似然函数(5)经验证,在p
达到最大
(6)上述过程对任一样本观测值都成立,故用样本代替观察值便
ˆ=X 得p 的极大似然估计为:p
ˆ=x =将观察值代入,可得p 的极大似然估计值为:p T ,其中n
T =∑x i .
i =1n
若总体X 的分布中含有多个未知参数θ1, θ2, , θk 时,似然函数L 是这些参数的多元函数L (θ1, , θk ) .代替方程(3),我们有方程组∂(lnL ) ˆ, θˆ, , θˆ分别是参数=0(i =1, 2, , k ) ,由这个方程组解得θ12k ∂θi
θ1, θ2, , θk 的极大似然估计值.
例3、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从N (μ, σ2) ,其中μ, σ2未知.为估计μ, σ2,从中随机抽取n =100根轴,测得其偏差为x 1, x 2, , x 100.试求μ, σ2的极大似然估计.
分析:显然,该问题是求解含有多个(两个)未知参数的极大似然估计问题.通过建立关于未知参数μ, σ2的似然方程组,从而进行求解.
解:(1)写出似然函数:
n
L (μ, σ) =∏2
i =11e 2πσ-(x i -μ) 22σ=(2πσ) e 2-n
2-i =1∑(x i -μ) 2
2σn
(2)写出对数似然函数:
n 1n 2l (μ, σ) =-ln(2πσ) -2∑(x i -μ) 22σi =122
(3)将l (μ, σ2) 分别对μ、σ2求偏导,并令它们都为0,得似然方
⎧∂l (μ, σ2) 1n 2=(x -μ) =0∑i ⎪2⎪∂μσi =1程组为:⎨ 2n ⎪∂l (μ, σ) =-n +1∑(x i -μ) 2=02⎪2σ22σ4i =1⎩∂σ
(4)解似然方程组得:
1n ˆ=∑(x i -x ) 2 ˆ=x ,σμn i =12
ˆ, σˆ2使l (μ, σ2) 达到极大, (5)经验证μ
(6)上述过程对一切样本观察值成立,故用样本代替观察值,便得μ, σ2的极大似然估计分别为:
1n 2ˆ=∑(X i -X ) 2=S n ˆ=X ,σ. μn i =12
2、不可通过求导方法获得极大似然估计:
当似然函数的非零区域与未知参数有关时,通常无法通过解似然方程来获得参数的极大似然估计,这时可从定义(2)出发直接求L (θ) 的极大值点.
例4、设总体X 服从均匀分布U (0, θ) ,从中获得容量为n 的样本X 1, X 2, , X n ,其观测值为x 1, x 2, , x n ,试求θ的极大似然估计.
分析:当写出其似然函数L (θ) 时,我们会发现L (θ) 的非零区域与θ有关,因而无法用求导方法来获得θ的极大似然估计,从而转向定义(2)直接求L (θ) 的极大值.
解:写出似然函数:
⎧θ-n , 0≤x (1) ≤x (n ) ≤θ L (θ) =⎨0, 其它场合⎩
为使L (θ) 达到极大,就必须使θ尽可能小,但是θ不能小于x (n ) ,因
而θ取x (n ) 时使L (θ) 达到极大,故θ的极大似然估计为:
ˆ=X . θ(n )
进一步,可讨论估计θˆ的无偏性:
由于总体X ~U (0, θ) ,其密度函数与分布函数分别为:
⎧0, x ≤0⎧1⎪x ⎪, 0
为:p θˆ=n [F (y )]
ˆ) =E (X E (θn -1p (y ) =ny n -1θn , 0
ˆ=X 不是θ的无偏估计,但对θˆ作一修正可这说明θ的极大似然估计θ(n )
ˆ=n +1X . 得θ的无偏估计为:θ1(n ) n
通过修正获得未知参数的无偏估计,这是一种常用的方法.在二次世界大战中,从战场上缴获的纳粹德国的枪支上都有一个编号,对最大编号作一修正便获得了德国生产能力的无偏估计.
综上,可得求极大似然估计值的一般步骤.
四、求极大似然估计的一般步骤
1、由总体分布导出样本的联合概率函数(或联合密度);
2、把样本联合概率函数(或联合密度)中自变量看成已知常数,而把参数θ看作自变量,得到似然函数L (θ) ;
3、求似然函数L (θ) 的最大值点(常转化为求对数似然函数l (θ) 的最大值点);
4、在最大值点的表达式中,用样本值代入就得参数的极大似然估计值.
五、极大似然估计的不变性
求未知参数θ的某种函数g (θ) 的极大似然估计可用极大似然估计的不变原则,证明从略.
定理(不变原则)设θˆ是θ的极大似然估计,g (θ) 是θ的连续函数,
ˆ) . 则g (θ) 的极大似然估计为g (θ
例5、设某元件失效时间服从参数为λ的指数分布,其密度函数为f (x ; λ) =λe -λx , x ≥0,λ未知.现从中抽取了n 个元件测得其失效时间为x 1, x 2, , x n ,试求λ及平均寿命的极大似然估计.
分析:可先求λ的极大似然估计,由于元件的平均寿命即为X 的期1望值,在指数分布场合,有E (X ) =,它是λ的函数,故可用极大似然λ
估计的不变原则,求其极大似然估计.
解:(1)写出似然函数:L (λ) =∏λe
i =1n -λx i =λe n -λ∑x i i =1n
(2)取对数得对数似然函数:l (λ) =n ln λ-λ∑x i
i =1n
dl (λ) n n
(3)将l (λ) 对λ求导得似然方程为:=-∑x i =0 d λλi =1
ˆ=(4)解似然方程得:λn =
i ∑x
i =1n 1 x
ˆ能使l (λ) 达到最大,由于上述过程对一切样本观察值成经验证,λ
ˆ=1; 立,故λ的极大似然估计为:λX
根据极大似然估计的不变原则,元件的平均寿命的极大似然估计为:
E (X ) =1
λ=X .
五、小结
1、极大似然估计的思想;
2、求解未知参数极大似然估计的一般步骤;
3、极大似然估计的不变原则.
五、作业
见参考文献1的第278页第4,5,6页.
参考文献:
1、苏均和主编:概率论与数理统计,上海财经大学出版社.1999年1版.
2、茆诗松等编著:概率论与数理统计,中国统计出版社.1999年1版.
3、魏振军编:概率论与数理统计三十三讲,中国统计出版社.2000年1版.
4、唐生强主编:概率论与数理统计复习指导,科学出版社.1999年1版.
《概率论与数理统计》典型教案
教学内容:极大似然估计法
教学目的:
通过本节内容的教学,使学生:
1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法;
2、理解极大似然思想;
3、掌握求极大似然估计值的一般步骤,会求常见分布参数的极大似然估计值.
教学重点:
1、对极大似然思想阐述;
2、极大似然估计值的求解.
教学难点:
对不能通过求导方法获得极大似然估计的值的确定.
教学时数:2学时.
教学过程:
引例:某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只听一声枪响,野兔应声到下,如果要你推测,这一发命中的子弹是谁打的?你就会想,只发一枪便打中,由于猎人命中的概率一般大于这位同学命中的概率,看来这一枪是猎人射中的.
这个例子所作的推断就体现了极大似然法的基本思想.
一、极大似然思想
θ取值不同,一般地说,事件A 与参数θ∈Θ有关,则P (A ) 也不同.若
A 发生了,则认为此时的θ值就是θ的估计值.这就是极大似然思想.看一例子:例1、设袋中装有许多黑、白球,不同颜色球的数量比为3:1,试设计一种方法,估计任取一球为黑球的概率P .
分析:易知P 的值无非是1/4或3/4.为估计P 的值,现从袋中有放回地任取3只球,用X 表示其中的黑球数,则X ~b (3, P ) .按极大似然估计思想,对P 的取值进行估计.
解:对P 的不同取值,X 取k =0, 1, 2, 3的概率可列表如下:
X 0 1 2 3
P = P = , k =0, 1⎧⎪ˆ=⎨故根据极大似然思想即知:P . , k =2, 3⎪⎩在上面的例子中,P 是分布中的参数,它只能取两个值:1/4或3/4,需要通过抽样来决定分布中参数究竟是1/4还是3/4.在给定了样本观测值后去计算该样本出现的概率,这一概率依赖于P 的值,为此需要用1/4、3/4分别去计算此概率,在相对比较之下,哪个概率大,则P 就最象那个.
二、似然函数与极大似然估计
1、离散分布场合:
设总体X 是离散型随机变量,其概率函数为p (x ; θ) ,其中θ是未知参数.设X 1, X 2, , X n 为取自总体X 的样本.X 1, X 2, , X n 的联合概率函数为∏p (X i ; θ) ,这里,θ是常量,X 1, X 2, , X n 是变量.
i =1n
若我们已知样本取的值是x 1, x 2, , x n ,则事件
{X 1=x 1, X 2=x 2, , X n =x n }发生的概率为∏p (x i ; θ) .这一概率随θ的
i =1n
值而变化.从直观上来看,既然样本值x 1, x 2, , x n 出现了,它们出现的概率相对来说应比较大,应使∏p (x i ; θ) 取比较大的值.换句话说,θ应
i =1n
使样本值x 1, x 2, , x n 的出现具有最大的概率.将上式看作θ的函数,并用L (θ) 表示,就有:
L (θ) =L (x 1, x 2, , x n ; θ) =∏p (x i ; θ) (1)
i =1n
称L (θ) 为似然函数.极大似然估计法就是在参数θ的可能取值范围Θ内,选取使L (θ) 达到最大的参数值θˆ,作为参数θ的估计值.即取θ,使
ˆ) =max L (x , x , , x ; θ) (2) L (θ) =L (x 1, x 2, , x n ; θ12n θ∈Θ
因此,求总体参数θ的极大似然估计值的问题就是求似然函数L (θ)
dL (θ) =0 (3) d θ
来解决.因为ln L 是L 的增函数,所以ln L 与L 在θ的同一值处取得最大的最大值问题.这可通过解下面的方程值.我们称l (θ) =ln L (θ) 为对数似然函数.因此,常将方程(3)写成: d ln L (θ) =0 (4) d θ
方程(4)称为似然方程.解方程(3)或(4)得到的θˆ就是参数θ的极大似然估计值.
如果方程(4)有唯一解,又能验证它是一个极大值点,则它必是所求的极大似然估计值.有时,直接用(4)式行不通,这时必须回到原始定义(2)进行求解.
2、连续分布场合:
设总体X 是连续离散型随机变量,其概率密度函数为f (x ; θ) ,若取得样本观察值为x 1, x 2, , x n ,则因为随机点(X 1, X 2, , X n ) 取值为(x 1, x 2, , x n ) 时联合密度函数值为∏f (x i ; θ) .所以,按极大似然法,应
i =1n
选择θ的值使此概率达到最大.我们取似然函数为
L (θ) =∏f (x i ; θ) ,再按前述方法求参数θ的极大似然估计值.
i =1n
三、求极大似然估计的方法
1、可通过求导获得极大似然估计:
当函数关于参数可导时,常可通过求导方法来获得似然函数极大值对应的参数值.
例2、设某工序生产的产品的不合格率为p ,抽n 个产品作检验,发现有T 个不合格,试求p 的极大似然估计.
分析:设X 是抽查一个产品时的不合格品个数,则X 服从参数为p 的二点分布b (1, p ) .抽查n 个产品,则得样本X 1, X 2, , X n ,其观察值为x 1, x 2, , x n ,假如样本有T 个不合格,即表示x 1, x 2, , x n 中有T 个取值为1,n -T 个取值为0.按离散分布场合方法,求p 的极大似然估计.
解:(1)写出似然函数:L (p ) =∏p x i (1-P ) 1-x i
i =1n
(2)对L (p ) 取对数,得对数似然函数l (p ) :
l (p ) =∑[x i ln p +(1-x i ) ln(1-p )]=n ln(1-p ) +∑x i [lnp -ln(1-p )]
i =1i =1n n
(3)由于l (p ) 对p 的导数存在,故将l (p ) 对p 求导,令其为0,n n dl (p ) n 11n 1得似然方程:=-+∑x i (+) =-+x i =0 ∑dp 1-p i =1p 1-p 1-p p (1-p ) i =1
1n ˆ=∑x i =x (4)解似然方程得:p n i =1
d 2l (p ) ˆ=x 时,ˆ=x 可使似然函数(5)经验证,在p
达到最大
(6)上述过程对任一样本观测值都成立,故用样本代替观察值便
ˆ=X 得p 的极大似然估计为:p
ˆ=x =将观察值代入,可得p 的极大似然估计值为:p T ,其中n
T =∑x i .
i =1n
若总体X 的分布中含有多个未知参数θ1, θ2, , θk 时,似然函数L 是这些参数的多元函数L (θ1, , θk ) .代替方程(3),我们有方程组∂(lnL ) ˆ, θˆ, , θˆ分别是参数=0(i =1, 2, , k ) ,由这个方程组解得θ12k ∂θi
θ1, θ2, , θk 的极大似然估计值.
例3、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从N (μ, σ2) ,其中μ, σ2未知.为估计μ, σ2,从中随机抽取n =100根轴,测得其偏差为x 1, x 2, , x 100.试求μ, σ2的极大似然估计.
分析:显然,该问题是求解含有多个(两个)未知参数的极大似然估计问题.通过建立关于未知参数μ, σ2的似然方程组,从而进行求解.
解:(1)写出似然函数:
n
L (μ, σ) =∏2
i =11e 2πσ-(x i -μ) 22σ=(2πσ) e 2-n
2-i =1∑(x i -μ) 2
2σn
(2)写出对数似然函数:
n 1n 2l (μ, σ) =-ln(2πσ) -2∑(x i -μ) 22σi =122
(3)将l (μ, σ2) 分别对μ、σ2求偏导,并令它们都为0,得似然方
⎧∂l (μ, σ2) 1n 2=(x -μ) =0∑i ⎪2⎪∂μσi =1程组为:⎨ 2n ⎪∂l (μ, σ) =-n +1∑(x i -μ) 2=02⎪2σ22σ4i =1⎩∂σ
(4)解似然方程组得:
1n ˆ=∑(x i -x ) 2 ˆ=x ,σμn i =12
ˆ, σˆ2使l (μ, σ2) 达到极大, (5)经验证μ
(6)上述过程对一切样本观察值成立,故用样本代替观察值,便得μ, σ2的极大似然估计分别为:
1n 2ˆ=∑(X i -X ) 2=S n ˆ=X ,σ. μn i =12
2、不可通过求导方法获得极大似然估计:
当似然函数的非零区域与未知参数有关时,通常无法通过解似然方程来获得参数的极大似然估计,这时可从定义(2)出发直接求L (θ) 的极大值点.
例4、设总体X 服从均匀分布U (0, θ) ,从中获得容量为n 的样本X 1, X 2, , X n ,其观测值为x 1, x 2, , x n ,试求θ的极大似然估计.
分析:当写出其似然函数L (θ) 时,我们会发现L (θ) 的非零区域与θ有关,因而无法用求导方法来获得θ的极大似然估计,从而转向定义(2)直接求L (θ) 的极大值.
解:写出似然函数:
⎧θ-n , 0≤x (1) ≤x (n ) ≤θ L (θ) =⎨0, 其它场合⎩
为使L (θ) 达到极大,就必须使θ尽可能小,但是θ不能小于x (n ) ,因
而θ取x (n ) 时使L (θ) 达到极大,故θ的极大似然估计为:
ˆ=X . θ(n )
进一步,可讨论估计θˆ的无偏性:
由于总体X ~U (0, θ) ,其密度函数与分布函数分别为:
⎧0, x ≤0⎧1⎪x ⎪, 0
为:p θˆ=n [F (y )]
ˆ) =E (X E (θn -1p (y ) =ny n -1θn , 0
ˆ=X 不是θ的无偏估计,但对θˆ作一修正可这说明θ的极大似然估计θ(n )
ˆ=n +1X . 得θ的无偏估计为:θ1(n ) n
通过修正获得未知参数的无偏估计,这是一种常用的方法.在二次世界大战中,从战场上缴获的纳粹德国的枪支上都有一个编号,对最大编号作一修正便获得了德国生产能力的无偏估计.
综上,可得求极大似然估计值的一般步骤.
四、求极大似然估计的一般步骤
1、由总体分布导出样本的联合概率函数(或联合密度);
2、把样本联合概率函数(或联合密度)中自变量看成已知常数,而把参数θ看作自变量,得到似然函数L (θ) ;
3、求似然函数L (θ) 的最大值点(常转化为求对数似然函数l (θ) 的最大值点);
4、在最大值点的表达式中,用样本值代入就得参数的极大似然估计值.
五、极大似然估计的不变性
求未知参数θ的某种函数g (θ) 的极大似然估计可用极大似然估计的不变原则,证明从略.
定理(不变原则)设θˆ是θ的极大似然估计,g (θ) 是θ的连续函数,
ˆ) . 则g (θ) 的极大似然估计为g (θ
例5、设某元件失效时间服从参数为λ的指数分布,其密度函数为f (x ; λ) =λe -λx , x ≥0,λ未知.现从中抽取了n 个元件测得其失效时间为x 1, x 2, , x n ,试求λ及平均寿命的极大似然估计.
分析:可先求λ的极大似然估计,由于元件的平均寿命即为X 的期1望值,在指数分布场合,有E (X ) =,它是λ的函数,故可用极大似然λ
估计的不变原则,求其极大似然估计.
解:(1)写出似然函数:L (λ) =∏λe
i =1n -λx i =λe n -λ∑x i i =1n
(2)取对数得对数似然函数:l (λ) =n ln λ-λ∑x i
i =1n
dl (λ) n n
(3)将l (λ) 对λ求导得似然方程为:=-∑x i =0 d λλi =1
ˆ=(4)解似然方程得:λn =
i ∑x
i =1n 1 x
ˆ能使l (λ) 达到最大,由于上述过程对一切样本观察值成经验证,λ
ˆ=1; 立,故λ的极大似然估计为:λX
根据极大似然估计的不变原则,元件的平均寿命的极大似然估计为:
E (X ) =1
λ=X .
五、小结
1、极大似然估计的思想;
2、求解未知参数极大似然估计的一般步骤;
3、极大似然估计的不变原则.
五、作业
见参考文献1的第278页第4,5,6页.
参考文献:
1、苏均和主编:概率论与数理统计,上海财经大学出版社.1999年1版.
2、茆诗松等编著:概率论与数理统计,中国统计出版社.1999年1版.
3、魏振军编:概率论与数理统计三十三讲,中国统计出版社.2000年1版.
4、唐生强主编:概率论与数理统计复习指导,科学出版社.1999年1版.