概率论与数理统计笔记

第一章概率论的基本概念

1 随机试验

1. 对随机现象的观察、记录、试验统称为随机试验.

2. 随机试验E 的所有结果构成的集合称为E 的样本空间，记为

S ={e }，称S 中的元素e 为基本事件或样本点.

3. 可以在相同的条件下进行相同的实验；每次实验的可能结果不止一个，并且能事先明确试验的所有可能结果；进行一次试验之前不能确定哪一个结果会实现.

2. 样本空间、随机事件

1. 对于随机试验，尽管在每次试验之前不能预知试验结果，但试验的所有可能结果组成的集合是已知的. 我们将随机试验E 的所有可能结果组成的集合称为E 的样本空间，记为S 样本空间的元素，即E 的每个结果称为样本点.

2. 一般我们称S 的子集A 为E 的随机事件A ，当且仅当A 所包含的一个样本点发生称事件A 发生. 如果将S 亦视作事件，则每次试验S 总是发生，故又称S 为必然事件。为方便起见，记φ为不可能事件，φ不包含任何样本点.

3. 若A ⊂B ，则称事件B 包含事件A ，这指的是事件A 发生必导致事件的发生。若A ⊂B 且B ⊂A ，即A =B ，则称事件A 与事件B 相等.

4. 和事件A B ={x x ∈A 或x ∈A }：A 与B 至少有一发生.

5. 当AB =φ时，称事件A 与B 不相容的，或互斥的. 这指事件A 与事件B 不能同时发生. 基本事件是两两互不相容的.

A =S A =S A 的逆事件记为,{, 若{, 则称A , B 互逆，互斥. =∅AB =∅

6. 当且仅当A , B 同时发生时，事件A B 发生. A B 也记作AB .

当且仅当A , B 同时发生时，事件A B 发生, A B 也记作AB .

7. 事件 A 的对立事件：设 A 表示事件 “A 出现”, 则“事件 A 不出现”称为事件 A 的对立事件或逆事件.

事件间的运算规律：设A , B , C 为事件, 则有

（１）交换律：A B =B A , AB =BA

（２）结合律：(A B ) C =A (B C ), (AB ) C =A (BC )

（３）分配律：(A B ) C =(A C ) (B C ) =AC BC

（４）de Morgan 律：A B =A B , A B =A B

3. 频率和概率

1. 记f n (A )=n n

其中n A -A 发生的次数（频数）；n -总试验次数. 称f n (A ) 为A 在这n 次试验中发生的频率.

(A ) 反映了事件A 发生的频繁程度. 频率 f n

2. 频率的性质：

。 1 0≤f n (A ) ≤1

2。 f n (S ) =1

k k

3. 当重复试验次数n 逐渐增大时，频率逐渐稳定f n (A ) 呈现出稳定性，

于某个常数. 这种“频率稳定性”即通常所说的统计规律性. 我们让试

f n (A ) 以它来表征事件A 发生可能性的大验重复大量次数，计算频率

f n (A ) 随n 的增大渐趋稳定，记稳定值为p . 小是合适的. f n (A ) 的稳定

值p 定义为A 的概率，记为P (A ) =p .

4. 概率定义：设E 是随机试验，S 是它的样本空间. 对于E 的每一个事件A 赋予一个实数，记为P (A ) ，称为事件A 的概率.

满足下列条件:

(1) 非负性：对于每一个事件A , 有P (A ) ≥0;

(2) 规范性：对于必然事件S , 有P (S ) =1;

(3) 可列可加性：设A 1, A 2, 是两两相互不相容的事件，即对于

i ≠j ，A i A j =φ，i , j =1,2 ，则有

P (A )=P (A 1)+P (A 2)+ ； 1 A 2

5. 概率定义推得的重要性质.

（1）P (φ) =0

（2）有限可加性若A 1A 2A 3A n 是两两互不相容的事件则有

P (A 1 A 2 A n )=P (A 1) +P (A 2)+ P (A n )

（3）对于任一事件P (A ) ≤1

（4）对于任一事件A 有 P (A ) =1-P (A )

(5) P (A B ) =P (A ) +P (B ) -P (AB )

4．等可能概型（古典概型）

1. 当试验的样本空间只含有有限个元素，并且试验中每个基本事件发生的可能性相同，具有这样特点的试验是大量存在的，则称这种试验为等可能概型. 它在概率论发展初期曾是主要的研究对象，所以也称为等可能概型.

2. P (A )=∑P e i j j =1k ({})k A 包含的基本事件数==即是等可能概型中n S 中基本事件的总数

事件A 的概率的计算公式.

5. 条件概率

P (AB ) 1. 条件概率定义：设A , B 是两个事件, 且P (A ) >0，称P (B A ) = P (A )

为在A 事件发生条件下B 事件发生的条件概率.

2. 符合条件概率的三个条件，即：

（1）非负性对于每一事件B , 有 P (B A )≥0

（2）规范性对于必然事件S ，有 P (S A )=1

（3）可列可加性设B 1B 2 是两两互不相容的事件，则有⎛∞⎫∞

P B i A ⎪=∑P (B i A ) ⎝i =1⎭i =1

3. 乘法定理：设P (A )>0，则有 P (AB )=P (B A )P (A )

n ≥2，推广: 一般设 A 1A 2 A n 为n 个事件，且P (A A A 12 1n -)>0有

P (A 1A 2 A n ) =P (A n A 1A 2 A n -1) P (A n -1A 1A 2 A n -2) ⨯P (A 2A 1) P (A 1) .

4. 全概率公式：设试验E 的样本空间为S

，A 为E 的事件,

B 1, B 2,...., B n 为S 的一个划分，且P (B i ) >0(i =1,2,..., n ) ，则

P (A )=P (A B 1)P (B 1)+P (A B 2)P (B 2)+ +P (A B n )P (B n )

5. 贝叶斯公式：设试验E 的样本空间为S ，A 为E 的事件, B 1, B 2,...., B n 为S 的一个划分，且P (B i ) >0(i =1,2,..., n ) ，则

P (B i A )=P (A B i )P (B i )

∑P (A B )P (B )j j

j =1n

6. 独立性

1. 定义：设A , B 是两事件，如果满足等式P (AB ) =P (A ) P (B ) ，则称事件A , B 相互独立，简称A , B 独立.

若P (A ) >0, P (B ) >0, 则A , B 相互独立与A , B 互不相容不能同时成立.

2. 定理一：设A , B 是两事件，且P (A )>0，若A , B 相互独立，则P (B A )=P (B ). 反之亦然.

3. 定理二：若事件A 与B 相互独立则A 与B ，A 与B ，A 与B 也相互独立.

4. 推广定义：设A , B , C 是三个事件，如果满足等式P (AB ) =P (A ) P (B ) , P (BC ) =P (B ) P (C ) ，P (AC ) =P (A ) P (C ) , P (ABC ) =P (A ) P (B ) P (C ) 则称事件A , B , C 相互独立.

5. A , B 相互独立⇔, B 相互独立⇔A , ⇔, 当P (AB )=P (A )⋅P (B )时 P ()=P (A -AB )=P (A )-P (AB )=P (A )⎡⎣1-P (B )⎤⎦=P (A )P ()

第二章随机变量及其分布

1. 随机变量

1. 定义：设随机试验的样本空间S ={e }, X =X {e }是定义在样本空间S 上的实值单值函数，称X =X {e }为随机变量.

常见的两类随机变量{离散型

连续型.

2. 本书中一般以大写字母如X , Y , Z , W ,... 表示随机变量，而以小写字母x , y , z , w ,... 表示实数.

2. 离散型随机变量及其分布律

1. 定义：有些随机变量，它全部可能取到的不相同的值是有限个或可列无限多个，这种随机变量称为离散型随机变量.

2. 定义：取值可数的随机变量为离散量.

一般地，设离散型随机变量X 所有可能取的值为x (k =1,2, ⋅⋅⋅⋅) k

x 取各个可能值的概率论，即事件的概率为P {X =x k }=p k , k =1,2, ⋅⋅⋅称为离散型随机变量X 的分布律。p k 满足如下两个条件：

（1）p k ≥0 （2）∑p k =1

k =1∞

3. （0－1）分布

设随机变量X 只可能取0与1两个值, 它的分布律是

P {X =k }=p k q 1-k , k =0, 1(0

（0－1）分布的分布律也可写成

4. 设试验只有两个可能结果：A 及, 则称E 为伯努利试验．设P (A ) =p (0

k k n -k P {X =k }=C n p q ，k =0，1，2，，n

k k n -k C n p q 刚好是二项式(p +q ) n 的展开式中出现P k 的那一项，故称随机变量X 服从参数n , p 的二项分布，记为X ~B (n , p ) . 特别，当n =1时二项分布化为P {X =k }=p k q 1-k , k =0,1，这就是（0-1）分布.

5. 泊松分布

设随机变量X 所有可能取值为0,1,2„..而取各个值的概率为

P {X = k } = k = 0， 1， 2 ，，其中λ>0是常数， λk e -λ

k ！

X 服从参数为 λ 的泊松分布，记为 X ~ P ( λ ) . 则称

3. 随机变量的分布函数

1. 分布函数的定义

设X 是一个连续随机变量，称F (x ) =p (X ≤x )(-∞

由定义，对任意实数 x 1

2. 分布函数性质

(1)0≤F (x ) ≤1, x ∈(-∞, ∞)

(2)F (x 1) ≤F (x 2),(x 1

(3)F (-∞) =lim F (x ) =0, F (∞) =lim F (x ) =1x →-∞x →∞ (4)lim +=F (x 0),(-∞

即任一分布函数处处右连续.

3. 公式

(1)P {a

(2) P {X >a }=1-F (a ).

4. 连续型随机变量及其概率密度

1. 如果对于随机变量X 的分布函数F (x )，存在非负函数f (x ) ，使对任意实数x 有F (x )=⎰f (t )dt ，则称X 为连续型随机变量，其中-∞x

函数f (x ) 称为X 的概率密度函数简称概率密度。在实际应用中遇到的基本上是离散型或连续型随机变量.

2. 概率密度f (x ) 性质：

（1）f (x ) ≥0

（2）⎰f (x )dx =1 -∞∞

（3）对于任意实数x 1, x 2，(x 1≤x 2)，

P {x 1

（4）若f (x ) 在点x 处连续则有 F '(x )=f (x )

3. 均匀分布：设连续型随机变量X 具有概率密度

⎧1, a

⎪⎩0, 其他

. X U (a , b ). 易知f (x ) ≥0, 且⎰f (x ) dx =1-∞∞

4指数分布：设连续型随机变量X 具有概率密度

⎧1-x /θ⎪e , x >0f (x )=⎨θ，其中θ>0为常数，则称X 服从参数为θ的指⎪⎩0, 其他

数分布. 易知f (x ) ≥0, 且⎰f (x ) dx =1. -∞∞

5 正态分布：设连续型随机变量X 具有概率密度f (

x )=2x -μ)(-2σ2, -∞

5. 随机变量的函数分布

定理：设随机变量X 具有概率密度f X (x )，-∞0(或恒有g ' (x )

0α

第三章多维随机变量及其分布

1. 二维随机变量

1. 设随机试验E 的样本空间为：S ={e }, X (e )、Y (e ) 为定义在S 上的随机变量，由它们构成一个随机向量 (X 、Y ) , 叫二维随机向量或二维随机变量.

2. 定义：设二维随机变量(X 、Y ) ，对任意实数x 、y , 二元函数

, 称为(X 、Y ) 的(联合) 概率分布函数. F (X , Y ) =P , Y ≤}y {X ≤x

二维随机变量分布函数的性质：

（1）即对任意固定的y ，当x 2>x 1F (x , y )是变量x 和y 的不减函数，时F (x 2, y )≥F (x 1, y ); 对于任意固定的x ，当y 2>y 1时F (x , y 2)≥F (x , y 1).

（2）0≤F (x , y )≤1，且对于任意固定的y ，F (-∞, y )=0，对于任意固定的x , F (x , -∞)=0, F (-∞, -∞)=0, F (∞, ∞)=1.

(3) F (x , y )=F (x +0, y )，即Fxy F (x , y )=F (x , y +0)，(, )关于x 右连续，关于y 也右连续.

(4) 对于任意(x 1, y 1)，(x 2, y 2)，x 2>x 1，y 2>y 1，下述不等式成立: F (x 2, y 2)-F (x 2, y 1)+F (x 1, y 1)-F (x 1, y 2)≥0. 如果二维随机变量(X , Y ) 全部可能取到的不相同的值是有限对或可列无限多对，则称(X , Y ) 是离散型的随机变量.

3. 对于二维随机变量(X , Y )的分布函数F (x , y ). 如果存在非负的函数f (x , y )使对于任意(X 、Y ) 有F (x , y )=⎰y

-∞-∞⎰x f (μ, υ)d μd υ,

则称(X , Y )是连续型的二维随机变量，函数f (x , y )称为二维随机变量(X , Y )的概率密度，或称为随机变量X 和Y 的联合概率密度. 概率密度f (x , y )具有以下性质：

（1）f (x , y ) ≥0

（2） ⎰∞

-∞-∞⎰∞f (x , y ) dxdy =F (∞, ∞) =1

(3) 设G 是xOy 平面上的区域，点(X 、Y ) 落在G 内的概率为

P {(X , Y ) ∈G }=⎰⎰f (x , y ) dxdy

∂2F (x , y )

=f (x , y ) (4) 若f (x , y )在点(X 、Y ) 连续则有

∂x ∂y

4. 两个常用的分布

（1）均匀分布：定义设D 为闭区域面积为A ，若随机变量(X 、Y ) 的(联合) 密度为： f (x

, y ) =⎨

⎧1/A

⎩0

(x , y ) ∈D 其它

则称: (X 、Y ) 服从D 上的均匀分布.

(2)二维正态分布：若二维随机变量 (X 、Y ) 的概率密度为： f (x , y ) =

⎪ exp ⎧

-∞

-1⎡(x -μ1) 2(x -μ1)(y -μ2) (y -μ2) 2⎤⎫⎪

-2ρ+⎨⎥⎬2⎢22

2(1-ρ) σσσσ⎪⎣1122⎦⎪⎩⎭

则称: (X 、Y ) 服从参数为μ1、μ2、σ1、σ2、ρ的二维正态分布. 其中σ1>0，σ2>0，|ρ|≤1是常数. 记为：(X 、Y ) ~N (μ1、μ2、σ12、σ22、ρ) .

2. 边缘分布

1. 二维随机变量(X , Y )作为一个整体，具有分布函数F (x , y )，而X 和Y 都是随机变量，也有也有分布函数，将他们分别记为F X (x )，

F Y (y )，依次称为二维随机变量(X , Y )关于X 和Y 的边缘分布函数。边缘分布函数可以由(X , Y )的分布函数F (x , y )所确定，事实上F X (x )=F (∞, x ) .

2. X 是一个连续型随机变量，则其概率密度f X (x )=⎰-∞f (x , y )dy 和

f Y (y )=⎰f (x , y )dx 分别称f X (x )，f Y (y )为(X , Y )关于X 和关于Y 的边

-∞∞

∞

缘概率密度函数.

3. 离散型随机变量的边缘概率分布： ⎰-∞[⎰-∞f (x , y ) dy ]dx

x +∞

3. 条件分布

1. 定义:设(X , Y )使二维离散型随机变量，对于固定的j ，若有

P {Y =y j }>0，则称

P X =x i =y j =

{}

P {X =x i , Y =y j }P Y =y j =

p ij p ·j

, i =1,2, ，为在Y =y j 条件

下随机变量X 的条件分布律。同样，对于固定的i ，若P {X =x 则称P {Y =y j X =x i }=

}>0

P {X =x i , Y =y j }P X =x i =

p ij p i

, j =1,2, ，为在X =x i

条件下随机变量Y 的条件分布律.

2. 定义：设二维随机变量(X , Y )的概率密度为f (x , y )，(X , Y )关于

f (x , y )

Y 的边缘概率密度为f Y (y ). 对于固定的y ，f Y (y )>0, 则称

f Y y 为在Y =y 的条件下X 的条件概率密度，记为f X (x y )=称⎰f X (x y )dx =⎰

-∞x

f (x , y )

. f Y y -∞

f (x , y )

dx 为在Y =y 的条件下，X 的条件分布f Y y 函数，记为P {X ≤x Y =y }或F X (x y )即

F X (x y )=P {X ≤x Y =y }=⎰

x -∞

f (x , y )

， f Y y y f (x , y )f (x , y )

. 类似的，可以定义f Y X (y x )=和F Y X (y x )=⎰-∞f X x f X x 3. 离散型随机变量的条件分布

设（X,Y ）是二维离散型随机变量，对于固定的j ，若P {Y =j }>0, 则称P {X =x i Y =y j }=

P {X =x i , Y =y j }P Y =y j =p ij p j

, i =1,2,... 为在Y =y j 条件下随机

变量X 的条件分布律.

4. 连续型随机变量的条件分布

给定y , 设对于任意固定的正数ε, P {y -ε0, 且

若对于任意实数x , 极限

lim +P {X ≤x y -ε

ε→0

P {X ≤x , y -ε

写成P {X ≤x Y =y }或记为F X (X Y ) 。

f (x , y )

f Y X (y x ) =.

f X (x )

4. 相互独立的随机变量

1. 定义:设F (x , y ) , F x (x ) , F y (y ) 分别为二维随机变量(X , Y ) 的(联合) 分布函数和边缘分布函数，若对于所有x , y 有： F (x , y ) ＝即：P {X ≤x , Y ≤y }=P {X ≤x } P {Y ≤y }，则称X 与Y F x (x ) ·F y (y ) ，相互独立.

2. 定理 a. X , Y 相互独立 ⇔ f (x , y ) =f x (x ) f y (y )

b. 离散型随机变量X , Y 相互独立充要条件是对于任意x , y 有：

P {X =x , Y =y }=P {X =x } P {Y =y }.

5. 两个随机变量函数的分布

1. Z =X +Y 的分布

设(X , Y )的概率密度为f (x , y )，则Z =X +Y 分布函数为

F z (z )=P {Z ≤z }=

x +y ≤z

⎰⎰f (x , y )dxdy , 由概率密度的定义，即得到Z 的

∞-∞

概率密度为f z (z )=⎰写成f z (z )=⎰

∞

f (z -y , y )dy , 由(X , Y )的对称性，f z (z )又可

∞

-∞

. 特别，当X 和Y 相互独立是，设边缘概f (x , z -x )dx

率密度为f X (x )，f Y (y )，则上面两个公式可以化为

f z (z )=⎰f X (z -y )f Y (y )dy ，f z (z )=⎰f X (x )f Y (z -x )dx , 这两个公

-∞

∞

式称为卷积公式，记为f X *f Y 即

f X *f Y =⎰f X (z -y )f Y (y )dy =⎰f X (x )f Y (z -x )dx

-∞

∞∞

更一般地，有限个相互独立得正态随机变量的线性组合仍然服从正态分布.

2. M =max (X , Y )及N =min (X , Y )的分布

设(X , Y )是两个相互独立的随机变量，他们的分布函数分别为

F x (x ) , F y (y ) ，现在来求M =max (X , Y )及N =min (X , Y )的分布函

数。P {M ≤z z 又由于X 和Y 相互独立，得到}=P {X ≤, z Y ≤}

M =max (X , Y ) 的分布函数为

F max (z )=P {M ≤z }=P {X ≤z , Y ≤z }=P {X ≤z }P {Y ≤z }

即有F max (z )=F X (z )F Y (z ) 类似的，可得到N =min (X , Y )的分布函数为

F min (z )=P {N ≤z }=1-P {N >z }=1-P {X >z , Y >z }=1-P {X >z }⋅P {Y >z } 即F min (z )=1-⎡⎣1-F X (z )⎤⎦⎡⎣1-F Y (z )⎤⎦.

第四章随机变量的数字特征

1. 数学期望

k =1,2 1. 定义：设离散型随机变量X 的分布律为P {X =x k }=p k ，若级数∑x k p k 绝对收敛，则称级数∑x k p k 的和为随机变量X 的数

k =1

∞

学期望，记为E (X ) =∑x k p k .

k =1

∞

2. 设连续型随机变量X 的概率密度为f (x ) , 若积分⎰xf (x ) dx 的

-∞

∞

值为随机变量X 的数学期望, 即E (X ) =⎰xf (x ) dx .

-∞

∞

数学期望简称期望，又称均值.

3. 定理：设Y 是随机变量X 的函数: Y =g (X ) （g 是连续函数）.

k =1,2 1) 若X 是离散型随机变量，它的分布律为P {X =x k }=p k ，若级数∑g (x k ) p k 绝对收敛，则有E (Y ) =E [g (X ) ]=∑g (x k ) p k .

k =1

∞

2) 若X 是连续型随机变量，它的概率密度为f (x ) 若

⎰

∞

-∞

g (x ) f (x ) dx 绝对收敛则有E (Y ) =E [g (X ) ]= ⎰g (x ) f (x ) dx .

-∞

∞

4. 数学期望的重要性质：

（1）设C 是常数，则有 E (C )=C

（2）设X 是一个随机变量，C 是常数，则有 E (CX )=CE (X ) （3）设X , Y 是两个随机变量，则有 E (X +Y )=E (X )+E (Y ). 这一性质可以推广到任意有限个随机变量之和的情况.

（4）设X , Y 是相互独立的随机变量，则有E (XY )=E (X )E (Y )；

这一性质可以推广到任意有限个相互独立的随机变量之积的情况.

5. 几个重要随机变量的期望（1）0-1分布的数学期望：E (X ) =p （2）二项分布b =(n , p ) ：E (X ) =np

X ~P {X =k }=

(3) 泊松分布:

λk

k !

e -λ, k =0,1,2,...

∞

E (X ) =∑k

k =0

∞

k !

e -λ=λe -λ∑

k =1

k -1

(k -1)!

=λ

⎧1⎪

(4) 均匀分布X ~U (a , b ) . X ~f (x ) =⎨b -a ，a

⎪⎩0，其他

E (X )=⎰xf (x ) dx =⎰

-∞

∞

x a +b =

a b -a 2

∞

(5) 指数分布：E (X )=⎰xf (x ) dx =⎰x dx =-θe

-∞

∞

=θ 0

(6)正态分布N (μ, σ2) : E (X ) =μ

2. 方差

1. 定义:设X 是一个随机变量，若E ⎡⎣X -E (X )⎤⎦

E ⎡⎣X -E (X )⎤⎦

{

}存在，则称

{

}

为X 的方差，记为D (X )或Var (X )即

D (X )=Var (X )=E ⎡⎣X -E (X )⎤⎦ .在应用上引入

，记为

{

}

σ(X ) 称为标准差或均方差.

2. 离散型随机变量：D (X ) =∑[x k -E (X ) ]p k , 其中

k =1∞

P {X =x k }=p k , k =1 , . 2

连续型随机变量：D (X ) =⎰的概率密度.

∞

-∞

[x k -E (X ) ]f (x ) dx 其中f (x ) 是X

随机变量X 的方差可按D (X )=E (X 2)-⎡⎣E (X )⎤⎦计算. 3. 方差的重要性质

（1）设C 是常数，则有D (X )=0

（2）设X 是一个随机变量，C 是常数，则有D (CX )=C 2D (X ) (3) 设X , Y 是两个随机变量，则有

D (X +Y )=D (X )+D (Y )+2E

{(X -E (X ))(Y -E (Y ))}

若X , Y 相互独立，则有 D (X +Y )=D (X )+D (Y )这一性质可以推广到任意有限个相互独立的随机变量之和的情况

(4) D (X )=0的充要条件是X 以概率1取常数C ，P {X =C }=1 4. 几个重要随机变量的方差

(1)X ~b (n , p ):D (X ) =np (1-p ) (2) 泊松分布: D (X ) =λ

(b -a ) 2(3) 均匀分布U (a , b ) : D (X ) =

(4) 指数分布: D (X ) =θ2 (5) 正态分布N (μ, σ2) : D (X ) =σ2

3. 协方差及相关系数

1 定义:E ⎡⎣X -E (X )⎤⎦⎡⎣Y -E (Y )⎤⎦称为随机变量X 与Y 的协方差，记为C o (v , )X , Y 即Cov (X , Y )=E ⎡⎣X -E (X )⎤⎦⎡⎣Y -E (Y )⎤⎦

{}

，

ρXY =

Cov X , Y 称为随机变量X 与Y 的相关系数.

2. 协方差性质

1) Cov (X , Y ) =Cov (Y , X ) 2) Cov (X , Y ) =D (X ), Cov (X , c ) =0 3) Cov (aX , bY ) =abCov (X , Y ), a , b 是常数 4) Cov (X +Y , Z ) =Cov (X , Z ) +Cov (Y , Z ) 5) 若X , Y 相互独立，则Cov (X , Y ) =0 6) D (X ±Y , Z ) =D (X ) +D (Y ) +2Cov (X , Y ) 3. 定理：（1）ρXY ≤1

（2）ρXY =1的充要条件是，存在常数a , b 使P {Y =a +bX }=1 （3）当ρXY =0时，称X 和Y 不相关

（4）当X 和Y 相互独立时由Cov (X , Y )=0，知ρXY =0即X,Y 不相关，反之，若X , Y 不相关，X , Y 却不一定相互独立.

4. 矩、协方差矩阵

1．定义：设X 和Y 是随机变量，若E (X k ) ，k =1,2 存在，称它为

⎤X 的k 阶矩。若E ⎡X -E (X ) 存在，称它为X 的k 阶⎣⎦, k =2,3

{}

中心矩。若 E (X k Y l ), k , l =1,2 存在，称它为X 和Y 的k +1阶混合

k , l =1,2 存在，矩. 若 E [X -E (X ) ][Y -E (Y ) ]，称它为X 和Y 的

k +1阶混合中心矩.

{

}

2. 设n 维随机变量(X 1, X 2,... X n ) 的二阶混合中心距

⎤c ij =Cov (X i , X j ) =E ⎡⎣X i -E (X i )⎤⎦⎡⎣X j -E (X j )⎦, i , j =1,2,..., n 都存⎛a 11 a 1n ⎫

⎪为维随机变量在，则称矩阵 (X 1, X 2,... X n ) 的协方差矩 ⎪n

a a ⎪

nn ⎭⎝n 1阵.

3. n 维正态变量的性质：

1) n 维随机变量(X 1, X 2, , X n ) 的每一个分量X i , i =1, 2, , n 都是正态变量; 反之, 若X 1, X 2, , X n 都是正态变量, 且相互独立, 则(X 1, X 2, , X n ) 是n 维正态变量. 2) n 维随机变量(X 1, X 2, , X n ) 服从n 维正态分布的充要条件是X 1, X 2, , X n 的任意的线性组合l 1X 1+l 2X 2+ +l n X n 服从一维正态分布(其中l 1, l 2, , l n 不全为零).

{}

3) 若(X 1, X 2, , X n ) 服从n 维正态分布, 设Y 1, , Y k 是X j (j =1,2, , n ) 的线性函数, 则(Y 1, Y 2, , Y k ) 也服从多维正态分布.

4)设(X 1, , X n ) 服从n 维正态分布, 则“ X 1, X 2, , X n 相互独立” 与“ X 1, X 2, , X n 两两不相关” 是等价的.

第五章大数定律和中心极限定理

1. 大数定律

1. 定理（契比雪夫不等式）：设随机变量X 具有数学期望E(X)=μ, 方差D(X)=σ2.

σ2

则对于任意ε>0, 都有：P {X -E (X ) ≥ε}≤2

σ2

定理的等价形式为：P {X -E (X )

2. 定义：设随机变量序列X 1, X 2, X 3, , 若存在某常数μ，使得∀ε>0,

均有：lim P {X n -μ≥ε}=0, 则称随机变量序列{X n }依概率收敛于常数μ，

3. 定理(契比雪夫不等式的特殊情形)：设随机变量序列X 1, X 2, , X n ,

相互独立，且具有相同的数学期望μ和相同的方差σ，作前n 个随机

X 则∀ε>0，变量的算术平均：Y =n k n ∑k =1

⎧n ⎫ 有：lim P {Y n -μ

⎩k =1⎭

4. 定理(贝努里大数定理)

设事件A 在每次试验中发生的概率为p ，记n A 为n 次独立重复试验

⎧n A ⎫

中A 发生的次数, 则∀ε>0, 有：lim P ⎨-p

n →+∞ ⎩⎭

2. 中心极限定理

1. 定理 (独立同分布的中心极限定理)

设随机变量X 1, X 2, , X n , 相互独立同分布，E (X i )=μ, D (

X i )=σ2, i =1,2,

则前n 个变量的和的标准化变量为：Y n =

∑X

-n μ

x ∈R , 有：

⎛n ⎫

X -n μ2∑i ⎪x - lim P (

Y ≤x )=lim P ≤x ⎪=⎰dt . n n →+∞n →+∞

⎪⎪

概率论与数理统计读书笔记

此定理表明，当n 充分大时，Y n 近似服从N (

0,1).

i ＝12即：X （近似）～N (n μ, n σ), ∑i

从而，P (a

2. 定理 (德莫佛--拉普拉斯定理) 设n A 为n 次贝努里试验中A 发生的次数，P (A )=p (0

⎛⎫b -t 2 则对任何区间[

a , b ]，有：lim P a

第一章概率论的基本概念

1 随机试验

1. 对随机现象的观察、记录、试验统称为随机试验.

2. 随机试验E 的所有结果构成的集合称为E 的样本空间，记为

S ={e }，称S 中的元素e 为基本事件或样本点.

2. 样本空间、随机事件

3. 若A ⊂B ，则称事件B 包含事件A ，这指的是事件A 发生必导致事件的发生。若A ⊂B 且B ⊂A ，即A =B ，则称事件A 与事件B 相等.

4. 和事件A B ={x x ∈A 或x ∈A }：A 与B 至少有一发生.

5. 当AB =φ时，称事件A 与B 不相容的，或互斥的. 这指事件A 与事件B 不能同时发生. 基本事件是两两互不相容的.

A =S A =S A 的逆事件记为,{, 若{, 则称A , B 互逆，互斥. =∅AB =∅

6. 当且仅当A , B 同时发生时，事件A B 发生. A B 也记作AB .

当且仅当A , B 同时发生时，事件A B 发生, A B 也记作AB .

7. 事件 A 的对立事件：设 A 表示事件 “A 出现”, 则“事件 A 不出现”称为事件 A 的对立事件或逆事件.

事件间的运算规律：设A , B , C 为事件, 则有

（１）交换律：A B =B A , AB =BA

（２）结合律：(A B ) C =A (B C ), (AB ) C =A (BC )

（３）分配律：(A B ) C =(A C ) (B C ) =AC BC

（４）de Morgan 律：A B =A B , A B =A B

3. 频率和概率

1. 记f n (A )=n n

其中n A -A 发生的次数（频数）；n -总试验次数. 称f n (A ) 为A 在这n 次试验中发生的频率.

(A ) 反映了事件A 发生的频繁程度. 频率 f n

2. 频率的性质：

。 1 0≤f n (A ) ≤1

2。 f n (S ) =1

k k

3. 当重复试验次数n 逐渐增大时，频率逐渐稳定f n (A ) 呈现出稳定性，

于某个常数. 这种“频率稳定性”即通常所说的统计规律性. 我们让试

f n (A ) 以它来表征事件A 发生可能性的大验重复大量次数，计算频率

f n (A ) 随n 的增大渐趋稳定，记稳定值为p . 小是合适的. f n (A ) 的稳定

值p 定义为A 的概率，记为P (A ) =p .

4. 概率定义：设E 是随机试验，S 是它的样本空间. 对于E 的每一个事件A 赋予一个实数，记为P (A ) ，称为事件A 的概率.

满足下列条件:

(1) 非负性：对于每一个事件A , 有P (A ) ≥0;

(2) 规范性：对于必然事件S , 有P (S ) =1;

(3) 可列可加性：设A 1, A 2, 是两两相互不相容的事件，即对于

i ≠j ，A i A j =φ，i , j =1,2 ，则有

P (A )=P (A 1)+P (A 2)+ ； 1 A 2

5. 概率定义推得的重要性质.

（1）P (φ) =0

（2）有限可加性若A 1A 2A 3A n 是两两互不相容的事件则有

P (A 1 A 2 A n )=P (A 1) +P (A 2)+ P (A n )

（3）对于任一事件P (A ) ≤1

（4）对于任一事件A 有 P (A ) =1-P (A )

(5) P (A B ) =P (A ) +P (B ) -P (AB )

4．等可能概型（古典概型）

2. P (A )=∑P e i j j =1k ({})k A 包含的基本事件数==即是等可能概型中n S 中基本事件的总数

事件A 的概率的计算公式.

5. 条件概率

P (AB ) 1. 条件概率定义：设A , B 是两个事件, 且P (A ) >0，称P (B A ) = P (A )

为在A 事件发生条件下B 事件发生的条件概率.

2. 符合条件概率的三个条件，即：

（1）非负性对于每一事件B , 有 P (B A )≥0

（2）规范性对于必然事件S ，有 P (S A )=1

（3）可列可加性设B 1B 2 是两两互不相容的事件，则有⎛∞⎫∞

P B i A ⎪=∑P (B i A ) ⎝i =1⎭i =1

3. 乘法定理：设P (A )>0，则有 P (AB )=P (B A )P (A )

n ≥2，推广: 一般设 A 1A 2 A n 为n 个事件，且P (A A A 12 1n -)>0有

P (A 1A 2 A n ) =P (A n A 1A 2 A n -1) P (A n -1A 1A 2 A n -2) ⨯P (A 2A 1) P (A 1) .

4. 全概率公式：设试验E 的样本空间为S

，A 为E 的事件,

B 1, B 2,...., B n 为S 的一个划分，且P (B i ) >0(i =1,2,..., n ) ，则

P (A )=P (A B 1)P (B 1)+P (A B 2)P (B 2)+ +P (A B n )P (B n )

5. 贝叶斯公式：设试验E 的样本空间为S ，A 为E 的事件, B 1, B 2,...., B n 为S 的一个划分，且P (B i ) >0(i =1,2,..., n ) ，则

P (B i A )=P (A B i )P (B i )

∑P (A B )P (B )j j

j =1n

6. 独立性

1. 定义：设A , B 是两事件，如果满足等式P (AB ) =P (A ) P (B ) ，则称事件A , B 相互独立，简称A , B 独立.

若P (A ) >0, P (B ) >0, 则A , B 相互独立与A , B 互不相容不能同时成立.

2. 定理一：设A , B 是两事件，且P (A )>0，若A , B 相互独立，则P (B A )=P (B ). 反之亦然.

3. 定理二：若事件A 与B 相互独立则A 与B ，A 与B ，A 与B 也相互独立.

5. A , B 相互独立⇔, B 相互独立⇔A , ⇔, 当P (AB )=P (A )⋅P (B )时 P ()=P (A -AB )=P (A )-P (AB )=P (A )⎡⎣1-P (B )⎤⎦=P (A )P ()

第二章随机变量及其分布

1. 随机变量

1. 定义：设随机试验的样本空间S ={e }, X =X {e }是定义在样本空间S 上的实值单值函数，称X =X {e }为随机变量.

常见的两类随机变量{离散型

连续型.

2. 本书中一般以大写字母如X , Y , Z , W ,... 表示随机变量，而以小写字母x , y , z , w ,... 表示实数.

2. 离散型随机变量及其分布律

1. 定义：有些随机变量，它全部可能取到的不相同的值是有限个或可列无限多个，这种随机变量称为离散型随机变量.

2. 定义：取值可数的随机变量为离散量.

一般地，设离散型随机变量X 所有可能取的值为x (k =1,2, ⋅⋅⋅⋅) k

x 取各个可能值的概率论，即事件的概率为P {X =x k }=p k , k =1,2, ⋅⋅⋅称为离散型随机变量X 的分布律。p k 满足如下两个条件：

（1）p k ≥0 （2）∑p k =1

k =1∞

3. （0－1）分布

设随机变量X 只可能取0与1两个值, 它的分布律是

P {X =k }=p k q 1-k , k =0, 1(0

（0－1）分布的分布律也可写成

4. 设试验只有两个可能结果：A 及, 则称E 为伯努利试验．设P (A ) =p (0

k k n -k P {X =k }=C n p q ，k =0，1，2，，n

5. 泊松分布

设随机变量X 所有可能取值为0,1,2„..而取各个值的概率为

P {X = k } = k = 0， 1， 2 ，，其中λ>0是常数， λk e -λ

k ！

X 服从参数为 λ 的泊松分布，记为 X ~ P ( λ ) . 则称

3. 随机变量的分布函数

1. 分布函数的定义

设X 是一个连续随机变量，称F (x ) =p (X ≤x )(-∞

由定义，对任意实数 x 1

2. 分布函数性质

(1)0≤F (x ) ≤1, x ∈(-∞, ∞)

(2)F (x 1) ≤F (x 2),(x 1

(3)F (-∞) =lim F (x ) =0, F (∞) =lim F (x ) =1x →-∞x →∞ (4)lim +=F (x 0),(-∞

即任一分布函数处处右连续.

3. 公式

(1)P {a

(2) P {X >a }=1-F (a ).

4. 连续型随机变量及其概率密度

1. 如果对于随机变量X 的分布函数F (x )，存在非负函数f (x ) ，使对任意实数x 有F (x )=⎰f (t )dt ，则称X 为连续型随机变量，其中-∞x

函数f (x ) 称为X 的概率密度函数简称概率密度。在实际应用中遇到的基本上是离散型或连续型随机变量.

2. 概率密度f (x ) 性质：

（1）f (x ) ≥0

（2）⎰f (x )dx =1 -∞∞

（3）对于任意实数x 1, x 2，(x 1≤x 2)，

P {x 1

（4）若f (x ) 在点x 处连续则有 F '(x )=f (x )

3. 均匀分布：设连续型随机变量X 具有概率密度

⎧1, a

⎪⎩0, 其他

. X U (a , b ). 易知f (x ) ≥0, 且⎰f (x ) dx =1-∞∞

4指数分布：设连续型随机变量X 具有概率密度

⎧1-x /θ⎪e , x >0f (x )=⎨θ，其中θ>0为常数，则称X 服从参数为θ的指⎪⎩0, 其他

数分布. 易知f (x ) ≥0, 且⎰f (x ) dx =1. -∞∞

5 正态分布：设连续型随机变量X 具有概率密度f (

x )=2x -μ)(-2σ2, -∞

5. 随机变量的函数分布

定理：设随机变量X 具有概率密度f X (x )，-∞0(或恒有g ' (x )

0α

第三章多维随机变量及其分布

1. 二维随机变量

1. 设随机试验E 的样本空间为：S ={e }, X (e )、Y (e ) 为定义在S 上的随机变量，由它们构成一个随机向量 (X 、Y ) , 叫二维随机向量或二维随机变量.

2. 定义：设二维随机变量(X 、Y ) ，对任意实数x 、y , 二元函数

, 称为(X 、Y ) 的(联合) 概率分布函数. F (X , Y ) =P , Y ≤}y {X ≤x

二维随机变量分布函数的性质：

（1）即对任意固定的y ，当x 2>x 1F (x , y )是变量x 和y 的不减函数，时F (x 2, y )≥F (x 1, y ); 对于任意固定的x ，当y 2>y 1时F (x , y 2)≥F (x , y 1).

（2）0≤F (x , y )≤1，且对于任意固定的y ，F (-∞, y )=0，对于任意固定的x , F (x , -∞)=0, F (-∞, -∞)=0, F (∞, ∞)=1.

(3) F (x , y )=F (x +0, y )，即Fxy F (x , y )=F (x , y +0)，(, )关于x 右连续，关于y 也右连续.

3. 对于二维随机变量(X , Y )的分布函数F (x , y ). 如果存在非负的函数f (x , y )使对于任意(X 、Y ) 有F (x , y )=⎰y

-∞-∞⎰x f (μ, υ)d μd υ,

（1）f (x , y ) ≥0

（2） ⎰∞

-∞-∞⎰∞f (x , y ) dxdy =F (∞, ∞) =1

(3) 设G 是xOy 平面上的区域，点(X 、Y ) 落在G 内的概率为

P {(X , Y ) ∈G }=⎰⎰f (x , y ) dxdy

∂2F (x , y )

=f (x , y ) (4) 若f (x , y )在点(X 、Y ) 连续则有

∂x ∂y

4. 两个常用的分布

（1）均匀分布：定义设D 为闭区域面积为A ，若随机变量(X 、Y ) 的(联合) 密度为： f (x

, y ) =⎨

⎧1/A

⎩0

(x , y ) ∈D 其它

则称: (X 、Y ) 服从D 上的均匀分布.

(2)二维正态分布：若二维随机变量 (X 、Y ) 的概率密度为： f (x , y ) =

⎪ exp ⎧

-∞

-1⎡(x -μ1) 2(x -μ1)(y -μ2) (y -μ2) 2⎤⎫⎪

-2ρ+⎨⎥⎬2⎢22

2(1-ρ) σσσσ⎪⎣1122⎦⎪⎩⎭

则称: (X 、Y ) 服从参数为μ1、μ2、σ1、σ2、ρ的二维正态分布. 其中σ1>0，σ2>0，|ρ|≤1是常数. 记为：(X 、Y ) ~N (μ1、μ2、σ12、σ22、ρ) .

2. 边缘分布

1. 二维随机变量(X , Y )作为一个整体，具有分布函数F (x , y )，而X 和Y 都是随机变量，也有也有分布函数，将他们分别记为F X (x )，

F Y (y )，依次称为二维随机变量(X , Y )关于X 和Y 的边缘分布函数。边缘分布函数可以由(X , Y )的分布函数F (x , y )所确定，事实上F X (x )=F (∞, x ) .

2. X 是一个连续型随机变量，则其概率密度f X (x )=⎰-∞f (x , y )dy 和

f Y (y )=⎰f (x , y )dx 分别称f X (x )，f Y (y )为(X , Y )关于X 和关于Y 的边

-∞∞

∞

缘概率密度函数.

3. 离散型随机变量的边缘概率分布： ⎰-∞[⎰-∞f (x , y ) dy ]dx

x +∞

3. 条件分布

1. 定义:设(X , Y )使二维离散型随机变量，对于固定的j ，若有

P {Y =y j }>0，则称

P X =x i =y j =

{}

P {X =x i , Y =y j }P Y =y j =

p ij p ·j

, i =1,2, ，为在Y =y j 条件

下随机变量X 的条件分布律。同样，对于固定的i ，若P {X =x 则称P {Y =y j X =x i }=

}>0

P {X =x i , Y =y j }P X =x i =

p ij p i

, j =1,2, ，为在X =x i

条件下随机变量Y 的条件分布律.

2. 定义：设二维随机变量(X , Y )的概率密度为f (x , y )，(X , Y )关于

f (x , y )

Y 的边缘概率密度为f Y (y ). 对于固定的y ，f Y (y )>0, 则称

f Y y 为在Y =y 的条件下X 的条件概率密度，记为f X (x y )=称⎰f X (x y )dx =⎰

-∞x

f (x , y )

. f Y y -∞

f (x , y )

dx 为在Y =y 的条件下，X 的条件分布f Y y 函数，记为P {X ≤x Y =y }或F X (x y )即

F X (x y )=P {X ≤x Y =y }=⎰

x -∞

f (x , y )

， f Y y y f (x , y )f (x , y )

. 类似的，可以定义f Y X (y x )=和F Y X (y x )=⎰-∞f X x f X x 3. 离散型随机变量的条件分布

设（X,Y ）是二维离散型随机变量，对于固定的j ，若P {Y =j }>0, 则称P {X =x i Y =y j }=

P {X =x i , Y =y j }P Y =y j =p ij p j

, i =1,2,... 为在Y =y j 条件下随机

变量X 的条件分布律.

4. 连续型随机变量的条件分布

给定y , 设对于任意固定的正数ε, P {y -ε0, 且

若对于任意实数x , 极限

lim +P {X ≤x y -ε

ε→0

P {X ≤x , y -ε

写成P {X ≤x Y =y }或记为F X (X Y ) 。

f (x , y )

f Y X (y x ) =.

f X (x )

4. 相互独立的随机变量

2. 定理 a. X , Y 相互独立 ⇔ f (x , y ) =f x (x ) f y (y )

b. 离散型随机变量X , Y 相互独立充要条件是对于任意x , y 有：

P {X =x , Y =y }=P {X =x } P {Y =y }.

5. 两个随机变量函数的分布

1. Z =X +Y 的分布

设(X , Y )的概率密度为f (x , y )，则Z =X +Y 分布函数为

F z (z )=P {Z ≤z }=

x +y ≤z

⎰⎰f (x , y )dxdy , 由概率密度的定义，即得到Z 的

∞-∞

概率密度为f z (z )=⎰写成f z (z )=⎰

∞

f (z -y , y )dy , 由(X , Y )的对称性，f z (z )又可

∞

-∞

. 特别，当X 和Y 相互独立是，设边缘概f (x , z -x )dx

率密度为f X (x )，f Y (y )，则上面两个公式可以化为

f z (z )=⎰f X (z -y )f Y (y )dy ，f z (z )=⎰f X (x )f Y (z -x )dx , 这两个公

-∞

∞

式称为卷积公式，记为f X *f Y 即

f X *f Y =⎰f X (z -y )f Y (y )dy =⎰f X (x )f Y (z -x )dx

-∞

∞∞

更一般地，有限个相互独立得正态随机变量的线性组合仍然服从正态分布.

2. M =max (X , Y )及N =min (X , Y )的分布

设(X , Y )是两个相互独立的随机变量，他们的分布函数分别为

F x (x ) , F y (y ) ，现在来求M =max (X , Y )及N =min (X , Y )的分布函

数。P {M ≤z z 又由于X 和Y 相互独立，得到}=P {X ≤, z Y ≤}

M =max (X , Y ) 的分布函数为

F max (z )=P {M ≤z }=P {X ≤z , Y ≤z }=P {X ≤z }P {Y ≤z }

即有F max (z )=F X (z )F Y (z ) 类似的，可得到N =min (X , Y )的分布函数为

F min (z )=P {N ≤z }=1-P {N >z }=1-P {X >z , Y >z }=1-P {X >z }⋅P {Y >z } 即F min (z )=1-⎡⎣1-F X (z )⎤⎦⎡⎣1-F Y (z )⎤⎦.

第四章随机变量的数字特征

1. 数学期望

k =1,2 1. 定义：设离散型随机变量X 的分布律为P {X =x k }=p k ，若级数∑x k p k 绝对收敛，则称级数∑x k p k 的和为随机变量X 的数

k =1

∞

学期望，记为E (X ) =∑x k p k .

k =1

∞

2. 设连续型随机变量X 的概率密度为f (x ) , 若积分⎰xf (x ) dx 的

-∞

∞

值为随机变量X 的数学期望, 即E (X ) =⎰xf (x ) dx .

-∞

∞

数学期望简称期望，又称均值.

3. 定理：设Y 是随机变量X 的函数: Y =g (X ) （g 是连续函数）.

k =1,2 1) 若X 是离散型随机变量，它的分布律为P {X =x k }=p k ，若级数∑g (x k ) p k 绝对收敛，则有E (Y ) =E [g (X ) ]=∑g (x k ) p k .

k =1

∞

2) 若X 是连续型随机变量，它的概率密度为f (x ) 若

⎰

∞

-∞

g (x ) f (x ) dx 绝对收敛则有E (Y ) =E [g (X ) ]= ⎰g (x ) f (x ) dx .

-∞

∞

4. 数学期望的重要性质：

（1）设C 是常数，则有 E (C )=C

（4）设X , Y 是相互独立的随机变量，则有E (XY )=E (X )E (Y )；

这一性质可以推广到任意有限个相互独立的随机变量之积的情况.

5. 几个重要随机变量的期望（1）0-1分布的数学期望：E (X ) =p （2）二项分布b =(n , p ) ：E (X ) =np

X ~P {X =k }=

(3) 泊松分布:

λk

k !

e -λ, k =0,1,2,...

∞

E (X ) =∑k

k =0

∞

k !

e -λ=λe -λ∑

k =1

k -1

(k -1)!

=λ

⎧1⎪

(4) 均匀分布X ~U (a , b ) . X ~f (x ) =⎨b -a ，a

⎪⎩0，其他

E (X )=⎰xf (x ) dx =⎰

-∞

∞

x a +b =

a b -a 2

∞

(5) 指数分布：E (X )=⎰xf (x ) dx =⎰x dx =-θe

-∞

∞

=θ 0

(6)正态分布N (μ, σ2) : E (X ) =μ

2. 方差

1. 定义:设X 是一个随机变量，若E ⎡⎣X -E (X )⎤⎦

E ⎡⎣X -E (X )⎤⎦

{

}存在，则称

{

}

为X 的方差，记为D (X )或Var (X )即

D (X )=Var (X )=E ⎡⎣X -E (X )⎤⎦ .在应用上引入

，记为

{

}

σ(X ) 称为标准差或均方差.

2. 离散型随机变量：D (X ) =∑[x k -E (X ) ]p k , 其中

k =1∞

P {X =x k }=p k , k =1 , . 2

连续型随机变量：D (X ) =⎰的概率密度.

∞

-∞

[x k -E (X ) ]f (x ) dx 其中f (x ) 是X

随机变量X 的方差可按D (X )=E (X 2)-⎡⎣E (X )⎤⎦计算. 3. 方差的重要性质

（1）设C 是常数，则有D (X )=0

（2）设X 是一个随机变量，C 是常数，则有D (CX )=C 2D (X ) (3) 设X , Y 是两个随机变量，则有

D (X +Y )=D (X )+D (Y )+2E

{(X -E (X ))(Y -E (Y ))}

若X , Y 相互独立，则有 D (X +Y )=D (X )+D (Y )这一性质可以推广到任意有限个相互独立的随机变量之和的情况

(4) D (X )=0的充要条件是X 以概率1取常数C ，P {X =C }=1 4. 几个重要随机变量的方差

(1)X ~b (n , p ):D (X ) =np (1-p ) (2) 泊松分布: D (X ) =λ

(b -a ) 2(3) 均匀分布U (a , b ) : D (X ) =

(4) 指数分布: D (X ) =θ2 (5) 正态分布N (μ, σ2) : D (X ) =σ2

3. 协方差及相关系数

1 定义:E ⎡⎣X -E (X )⎤⎦⎡⎣Y -E (Y )⎤⎦称为随机变量X 与Y 的协方差，记为C o (v , )X , Y 即Cov (X , Y )=E ⎡⎣X -E (X )⎤⎦⎡⎣Y -E (Y )⎤⎦

{}

，

ρXY =

Cov X , Y 称为随机变量X 与Y 的相关系数.

2. 协方差性质

（2）ρXY =1的充要条件是，存在常数a , b 使P {Y =a +bX }=1 （3）当ρXY =0时，称X 和Y 不相关

（4）当X 和Y 相互独立时由Cov (X , Y )=0，知ρXY =0即X,Y 不相关，反之，若X , Y 不相关，X , Y 却不一定相互独立.

4. 矩、协方差矩阵

1．定义：设X 和Y 是随机变量，若E (X k ) ，k =1,2 存在，称它为

⎤X 的k 阶矩。若E ⎡X -E (X ) 存在，称它为X 的k 阶⎣⎦, k =2,3

{}

中心矩。若 E (X k Y l ), k , l =1,2 存在，称它为X 和Y 的k +1阶混合

k , l =1,2 存在，矩. 若 E [X -E (X ) ][Y -E (Y ) ]，称它为X 和Y 的

k +1阶混合中心矩.

{

}

2. 设n 维随机变量(X 1, X 2,... X n ) 的二阶混合中心距

⎤c ij =Cov (X i , X j ) =E ⎡⎣X i -E (X i )⎤⎦⎡⎣X j -E (X j )⎦, i , j =1,2,..., n 都存⎛a 11 a 1n ⎫

⎪为维随机变量在，则称矩阵 (X 1, X 2,... X n ) 的协方差矩 ⎪n

a a ⎪

nn ⎭⎝n 1阵.

3. n 维正态变量的性质：

{}

3) 若(X 1, X 2, , X n ) 服从n 维正态分布, 设Y 1, , Y k 是X j (j =1,2, , n ) 的线性函数, 则(Y 1, Y 2, , Y k ) 也服从多维正态分布.

4)设(X 1, , X n ) 服从n 维正态分布, 则“ X 1, X 2, , X n 相互独立” 与“ X 1, X 2, , X n 两两不相关” 是等价的.

第五章大数定律和中心极限定理

1. 大数定律

1. 定理（契比雪夫不等式）：设随机变量X 具有数学期望E(X)=μ, 方差D(X)=σ2.

σ2

则对于任意ε>0, 都有：P {X -E (X ) ≥ε}≤2

σ2

定理的等价形式为：P {X -E (X )

2. 定义：设随机变量序列X 1, X 2, X 3, , 若存在某常数μ，使得∀ε>0,

均有：lim P {X n -μ≥ε}=0, 则称随机变量序列{X n }依概率收敛于常数μ，

3. 定理(契比雪夫不等式的特殊情形)：设随机变量序列X 1, X 2, , X n ,

相互独立，且具有相同的数学期望μ和相同的方差σ，作前n 个随机

X 则∀ε>0，变量的算术平均：Y =n k n ∑k =1

⎧n ⎫ 有：lim P {Y n -μ

⎩k =1⎭

4. 定理(贝努里大数定理)

设事件A 在每次试验中发生的概率为p ，记n A 为n 次独立重复试验

⎧n A ⎫

中A 发生的次数, 则∀ε>0, 有：lim P ⎨-p

n →+∞ ⎩⎭

2. 中心极限定理

1. 定理 (独立同分布的中心极限定理)

设随机变量X 1, X 2, , X n , 相互独立同分布，E (X i )=μ, D (

X i )=σ2, i =1,2,

则前n 个变量的和的标准化变量为：Y n =

∑X

-n μ

x ∈R , 有：

⎛n ⎫

X -n μ2∑i ⎪x - lim P (

Y ≤x )=lim P ≤x ⎪=⎰dt . n n →+∞n →+∞

⎪⎪

概率论与数理统计读书笔记

此定理表明，当n 充分大时，Y n 近似服从N (

0,1).

i ＝12即：X （近似）～N (n μ, n σ), ∑i

从而，P (a

2. 定理 (德莫佛--拉普拉斯定理) 设n A 为n 次贝努里试验中A 发生的次数，P (A )=p (0

⎛⎫b -t 2 则对任何区间[

a , b ]，有：lim P a

概率论与数理统计笔记

相关文章