统计学中的几种统计推断方法

结 课 论 文

报告课程名称 统计学前沿专题

年 级 2011级

专 业 统计111

学生姓名 赵应国

学 号 1107010270

指导老师 戴 老 师

理 学 院

统计学中的几种统计推断方法

数理统计的基本问题是根据样本所提供的信息，对总体的分布以及分布的数字特征作出统计推断。统计推断的主要内容分为两大类：一是参数估计问题，另一类是假设检验问题。

本篇文章主要讨论总体参数的点估计、区间估计和假设检验。 一、点估计

１、矩估计

首先讲“矩”的概念，

定义：设X是随机变量，k是一正整数，若EXk存在，则称EXk为随机变量X的k阶原点矩，记为ak；若存在，则称它为X的k阶中心矩，记为bk。 显然，数学期望EX就是１阶原点矩，方差DX就是２阶中心矩。

简单的说就是用样本矩去估计相应的总体矩，用样本矩的连续函数去估计相应的总体矩的连续函数。矩估计法的理论基础是大数定理。因为大数定理告诉我们样本矩依概率收敛于总体的相应矩，样本矩的连续函数依概率收敛于相应总体矩的连续函数。

我们通常样本的均值X去估计总体的均值EX：即总体为X时，我们从中取出n个样本X1,X2,

1n

（当然这只是对总体均值的一Xn，我们认为总体的均值就是XXi，

ni1

种估计，当然会有误差）

1n

当EX存在的时候，我们通常用Xi2作为总体X的EX2的估计

ni1

2

1n1nkk

一般地，我们用Xi作为总体X的EX的估计，用(XiX)k作为总体的

ni1ni1

E(XEX)k的估计。

例：设总体X在[a,b]上服从均匀分布，参数a,b未知，X1,X2,求a,b的矩估计量。

Xn是一个样本，

解：由矩估计法知道：EX

2

2

ab

2

2

2

(ba)2(ab)2

 由于DXEX(EX)，因此EXDX(EX) 124

1n1n

用矩估计法，也即用XXi作为EX的估计，用Xi2作为EX2的估计，

ni1ni11n1n

为了计算方便，我们记A1Xi，记A2Xi2，

ni1ni1ab(ba)2(ab)22

A1，EXA2

即有2124

ab2A1

解得，ba再联立解关于a,b的方程组得a,b的矩估计量分别为

aA1X

bA1X 2、极大似然估计

⑴ 对于连续型总体X，设它的密度函数为f(x;1,2,m)，其中1,2,m是需要估计的未知参数。

设X1,X2,

Xn是来自总体X的一个样本，则X1,X2,Xn的联合密度函数为：

f(x;,,

i

1

2

i1

n

m)

xn，记联合密度

n

对于给定的一组样本值x1,x2, LL(x1,x2,

xn;1,2,m)f(xi;1,2,m)

i1

则称L为样本的似然函数

⑵ 若X为离散型总体，它的概率分布为： P{Xx}p(x;1,2,m)

对于给定的一组样本观测值x1,x2,

n

xn，记联合密度

LL(x1,x2,

xn;1,2,m)p(xi;1,2,m)

i1

则称L为样本的似然函数 ⑶ 具体求法

对于已经给定的样本观测值x1,x2,

xn来说，似然函数L是关于待估计的参数

1,2,m的函数，因此我们应该想办法通过似然函数L求出参数1,2,m值。

这里我们求法的思想来源于多元函数求极大值： 也即，我们把LL(x1,x2,

xn;1,2,m)看作关于1,2,m的多元函数，我们要

xn;1,2,m)取最大值。

Xn取得样本值xn)已经发生，

求得适当的1,2,m的值，使得LL(x1,x2,

解释：实际上LL(x1,x2,

xn;1,2,m)表示随机变量X1,X2,

Xn)(x1,x2,

x1,x2,我们在一次试验中事件(X1,X2,xn时的联合概率，

我们就有理由认为，参数必须保证此时的概率最大，也即：参数(1,2,m)的值应该是使得LL(x1,x2,

xn;1,2,m)最大的点。

这样我们的方法就是多元函数求极大值的方法。 极大似然估计的具体步骤为： ① 求出似然函数LL(x1,x2,

xn;1,2,m)；

xn;1,2,m)的极大值点，

② 计算关于(1,2,m)的函数LL(x1,x2,

我们由微积分的知识知道，实际问题中的极大值点就是函数的驻点，也就是每个偏导数都为0的点，即

L

01L

0 （一般称该方程组为似然方程组） 2L0n

但是在实际计算中，由于LL(x1,x2,xn;1,2,m)都是乘积，因此以上方程组求

xn;1,2,m)和它的

解不太容易，这时候我们由微积分的知识知道到函数LL(x1,x2,对数函数lnLlnL(x1,x2,

xn;1,2,m)有相同的极大值点，因此我把问题转化为求

lnLlnL(x1,x2,xn;1,2,m)的极大值点，这样把乘积问题转化为了和差问题，在某

些复杂问题中可以大大减轻计算！

lnL

01lnL

0（一般称该方程组为对数似然方程组） 2

lnL0m

求解这个方程组即得到

③ 上个步骤求出的(1,2,m)就是参数(1,2,m)的估计值。 二、区间估计

由于总体的未知参数的估计量(X1,X2,质有多好，通过一个样本值(x1,x2,

Xn)是随机变量，无论这个估计量的性

xn)所得到的估计值，只能是未知参数的近似值，

而不是的真值。并且样本值不同所得到的估计值也不同。那么的真值在什么范围内呢？能不能通过样本，寻找一个区间，以一定的把握包含总体未知参数呢？这就是总体未知参数的区间估计问题。

区间估计严格的定义为：

定义：设总体X的分布函数F(x,)含有一个未知参数，对于给定值(01)，若由样本(X1,X2,

Xn)确定的两个的两个统计量1(X1,X2,

Xn)2(X1,X2,

Xn)和(X1,X2,Xn)满足

P{1(X1,X2,Xn)}1

则称随机区间(1,2)是参数的置信度为1的置信区间，1和2分别趁称为置信度为

1的双侧置信区间的置信下限和置信上限，1称为置信度。

单个正态总体的的数学期望和方差的区间估计是我们重点要求掌握的知识点，大家

可以好好阅读教材第189—198面，实际上课本把这种区间估计分各种情形的结论总结成了第209面的表格。大家在理解这些区间估计的实质后，应该把表格的结论和公式记住，往往在实际解题的时候我们只需要套用这些结论就可以了！ 三、假设检验

所谓假设检验，顾名思义就是先假设再检验，实际上有点类似于反证法，在实际问题中我们往往需要对未知总体提出某中假设或推断，但是我们的假设可能是错的，也可能是正确的，这时候我们就需要利用一个抽样的样本(x1,x2,

xn)，通过一定的方法，检

验这个假设是否合理，从而作出接受或者拒绝这个假设的结论。

假设检验的基本原理是——小概率事件原理，也即：我们认为小概率事件在一次试验中几乎不可能发生，如果我们在抽取的样本观测值(x1,x2,件发生了，我们就有理由否定原假设。

在明确一个假设检验问题的性质与基本前提（包括分布类型是否已知，如果类型已知，分布中包含哪些未知参数等等）之后，假设检验的一般步骤如下：

⑴ 充分考虑和利用已知的背景知识提出原假设H0以及对立假设H1；

⑵ 给定样本，确定合适的检验统计量，并在H0为真下导出统计量的分布（要求此分布不依赖与任何未知参数）；

⑶ 确定拒绝域：即依直观分析先确定拒绝域的形式，然后根据给定的显著性水平和以上统计量的分布由条件概率P{拒绝H0|H0为真}确定拒绝域的临界值，从而确定拒绝域；

⑷ 作出判断：由一次具体抽样的样本值计算统计量的值，若统计量的值落入以上拒绝域，则拒绝H0；否则接受H0。

我们重点研究单个正态总体数学期望和方差的假设，两个正态总体均值差和方差比的假设检验，教材分别给出了每种不同类型所用的统计量以及基本步骤（见教材第221—250面）。对不同类型的问题，大家现在应该模仿教材的解法套出一些题目。

在实际解题的时候我们需要注意以下问题： ① 不同类型所用的统计量；

② 用到的统计量中的自由度，以便于查表。

居然使得小概率事xn)下，

结 课 论 文

报告课程名称 统计学前沿专题

年 级 2011级

专 业 统计111

学生姓名 赵应国

学 号 1107010270

指导老师 戴 老 师

理 学 院

统计学中的几种统计推断方法

数理统计的基本问题是根据样本所提供的信息，对总体的分布以及分布的数字特征作出统计推断。统计推断的主要内容分为两大类：一是参数估计问题，另一类是假设检验问题。

本篇文章主要讨论总体参数的点估计、区间估计和假设检验。 一、点估计

１、矩估计

首先讲“矩”的概念，

定义：设X是随机变量，k是一正整数，若EXk存在，则称EXk为随机变量X的k阶原点矩，记为ak；若存在，则称它为X的k阶中心矩，记为bk。 显然，数学期望EX就是１阶原点矩，方差DX就是２阶中心矩。

简单的说就是用样本矩去估计相应的总体矩，用样本矩的连续函数去估计相应的总体矩的连续函数。矩估计法的理论基础是大数定理。因为大数定理告诉我们样本矩依概率收敛于总体的相应矩，样本矩的连续函数依概率收敛于相应总体矩的连续函数。

我们通常样本的均值X去估计总体的均值EX：即总体为X时，我们从中取出n个样本X1,X2,

1n

（当然这只是对总体均值的一Xn，我们认为总体的均值就是XXi，

ni1

种估计，当然会有误差）

1n

当EX存在的时候，我们通常用Xi2作为总体X的EX2的估计

ni1

2

1n1nkk

一般地，我们用Xi作为总体X的EX的估计，用(XiX)k作为总体的

ni1ni1

E(XEX)k的估计。

例：设总体X在[a,b]上服从均匀分布，参数a,b未知，X1,X2,求a,b的矩估计量。

Xn是一个样本，

解：由矩估计法知道：EX

2

2

ab

2

2

2

(ba)2(ab)2

 由于DXEX(EX)，因此EXDX(EX) 124

1n1n

用矩估计法，也即用XXi作为EX的估计，用Xi2作为EX2的估计，

ni1ni11n1n

为了计算方便，我们记A1Xi，记A2Xi2，

ni1ni1ab(ba)2(ab)22

A1，EXA2

即有2124

ab2A1

解得，ba再联立解关于a,b的方程组得a,b的矩估计量分别为

aA1X

bA1X 2、极大似然估计

⑴ 对于连续型总体X，设它的密度函数为f(x;1,2,m)，其中1,2,m是需要估计的未知参数。

设X1,X2,

Xn是来自总体X的一个样本，则X1,X2,Xn的联合密度函数为：

f(x;,,

i

1

2

i1

n

m)

xn，记联合密度

n

对于给定的一组样本值x1,x2, LL(x1,x2,

xn;1,2,m)f(xi;1,2,m)

i1

则称L为样本的似然函数

⑵ 若X为离散型总体，它的概率分布为： P{Xx}p(x;1,2,m)

对于给定的一组样本观测值x1,x2,

n

xn，记联合密度

LL(x1,x2,

xn;1,2,m)p(xi;1,2,m)

i1

则称L为样本的似然函数 ⑶ 具体求法

对于已经给定的样本观测值x1,x2,

xn来说，似然函数L是关于待估计的参数

1,2,m的函数，因此我们应该想办法通过似然函数L求出参数1,2,m值。

这里我们求法的思想来源于多元函数求极大值： 也即，我们把LL(x1,x2,

xn;1,2,m)看作关于1,2,m的多元函数，我们要

xn;1,2,m)取最大值。

Xn取得样本值xn)已经发生，

求得适当的1,2,m的值，使得LL(x1,x2,

解释：实际上LL(x1,x2,

xn;1,2,m)表示随机变量X1,X2,

Xn)(x1,x2,

x1,x2,我们在一次试验中事件(X1,X2,xn时的联合概率，

我们就有理由认为，参数必须保证此时的概率最大，也即：参数(1,2,m)的值应该是使得LL(x1,x2,

xn;1,2,m)最大的点。

这样我们的方法就是多元函数求极大值的方法。 极大似然估计的具体步骤为： ① 求出似然函数LL(x1,x2,

xn;1,2,m)；

xn;1,2,m)的极大值点，

② 计算关于(1,2,m)的函数LL(x1,x2,

我们由微积分的知识知道，实际问题中的极大值点就是函数的驻点，也就是每个偏导数都为0的点，即

L

01L

0 （一般称该方程组为似然方程组） 2L0n

但是在实际计算中，由于LL(x1,x2,xn;1,2,m)都是乘积，因此以上方程组求

xn;1,2,m)和它的

解不太容易，这时候我们由微积分的知识知道到函数LL(x1,x2,对数函数lnLlnL(x1,x2,

xn;1,2,m)有相同的极大值点，因此我把问题转化为求

lnLlnL(x1,x2,xn;1,2,m)的极大值点，这样把乘积问题转化为了和差问题，在某

些复杂问题中可以大大减轻计算！

lnL

01lnL

0（一般称该方程组为对数似然方程组） 2

lnL0m

求解这个方程组即得到

③ 上个步骤求出的(1,2,m)就是参数(1,2,m)的估计值。 二、区间估计

由于总体的未知参数的估计量(X1,X2,质有多好，通过一个样本值(x1,x2,

Xn)是随机变量，无论这个估计量的性

xn)所得到的估计值，只能是未知参数的近似值，

而不是的真值。并且样本值不同所得到的估计值也不同。那么的真值在什么范围内呢？能不能通过样本，寻找一个区间，以一定的把握包含总体未知参数呢？这就是总体未知参数的区间估计问题。

区间估计严格的定义为：

定义：设总体X的分布函数F(x,)含有一个未知参数，对于给定值(01)，若由样本(X1,X2,

Xn)确定的两个的两个统计量1(X1,X2,

Xn)2(X1,X2,

Xn)和(X1,X2,Xn)满足

P{1(X1,X2,Xn)}1

则称随机区间(1,2)是参数的置信度为1的置信区间，1和2分别趁称为置信度为

1的双侧置信区间的置信下限和置信上限，1称为置信度。

单个正态总体的的数学期望和方差的区间估计是我们重点要求掌握的知识点，大家

可以好好阅读教材第189—198面，实际上课本把这种区间估计分各种情形的结论总结成了第209面的表格。大家在理解这些区间估计的实质后，应该把表格的结论和公式记住，往往在实际解题的时候我们只需要套用这些结论就可以了！ 三、假设检验

所谓假设检验，顾名思义就是先假设再检验，实际上有点类似于反证法，在实际问题中我们往往需要对未知总体提出某中假设或推断，但是我们的假设可能是错的，也可能是正确的，这时候我们就需要利用一个抽样的样本(x1,x2,

xn)，通过一定的方法，检

验这个假设是否合理，从而作出接受或者拒绝这个假设的结论。

假设检验的基本原理是——小概率事件原理，也即：我们认为小概率事件在一次试验中几乎不可能发生，如果我们在抽取的样本观测值(x1,x2,件发生了，我们就有理由否定原假设。

在明确一个假设检验问题的性质与基本前提（包括分布类型是否已知，如果类型已知，分布中包含哪些未知参数等等）之后，假设检验的一般步骤如下：

⑴ 充分考虑和利用已知的背景知识提出原假设H0以及对立假设H1；

⑵ 给定样本，确定合适的检验统计量，并在H0为真下导出统计量的分布（要求此分布不依赖与任何未知参数）；

⑶ 确定拒绝域：即依直观分析先确定拒绝域的形式，然后根据给定的显著性水平和以上统计量的分布由条件概率P{拒绝H0|H0为真}确定拒绝域的临界值，从而确定拒绝域；

⑷ 作出判断：由一次具体抽样的样本值计算统计量的值，若统计量的值落入以上拒绝域，则拒绝H0；否则接受H0。

我们重点研究单个正态总体数学期望和方差的假设，两个正态总体均值差和方差比的假设检验，教材分别给出了每种不同类型所用的统计量以及基本步骤（见教材第221—250面）。对不同类型的问题，大家现在应该模仿教材的解法套出一些题目。

在实际解题的时候我们需要注意以下问题： ① 不同类型所用的统计量；

② 用到的统计量中的自由度，以便于查表。

居然使得小概率事xn)下，