第3章 离散信道和信道容量
一、例题：
【例3.1】 二元对称信道，简记为BSC （Binary Symmetric Channel）。如图3.1所示。
X
a 1=
Y =b 1
a 2=1
=b 2
图3.1 二元对称信道
这是很重要的一种特殊信道，其输入输出符号集均取值于{0,1}。此时r =s =2，而且
a 1=b 1=0, a 2=b 2=1。又有转移概率
P (b 1|a 1) =P (0|0) =1-p =P (b 2|a 2) =P (1|1)=1-p =P (b 1|a 2) =P (0|1)=p P (b 2|a 1) =P (1|0) =p
于是，可得BSC 的信道转移概率矩阵P 为
p ⎤⎡1-p
P =⎢⎥
⎣p 1-p ⎦
它满足
【例3.2】 二元删除信道，简记为BEC （Binary Erasure Channel）。这时r =2, s =3。输入符号X 取值于{0,1}，输出符号Y 取值于{0,2,1}。其信道转移矩阵为
∑P (b
j =1
2
j
|a 1) =∑P (b j |a 2) =1
j =1
2
021
0⎡p 1-p 0⎤
P =⎢
1⎣01-q q ⎥⎦
【例3.3】 设二元对称信道的输入概率空间⎢图3.1所示，求平均互信息。
解：根据平均互信息的定义可得
1⎤⎡X ⎤⎡0
=⎢⎥，而信道特性如⎥
⎣P (x ) ⎦⎣ω=1-ω⎦
I (X ; Y ) =H (Y ) -H (Y |X )
=H (Y ) -∑∑P (a i b j )log
i =1j =1r
s
1P (b j |a i )
1P (y |x )
=H (Y ) -∑P (x ) ∑P (y |x )log
X
Y
⎡11⎤
=H (Y ) -∑P (x ) ⎢p log +log ⎥
p ⎦X ⎣
⎡11⎤
=H (Y ) -⎢p log +log ⎥
p ⎦⎣=H (Y ) -H (p )
其中，H (p ) 是[0,1]区间上的熵函数。 可得
P (y =0) =ω+(1-ω) p =ω+p
P (y =1) =ωp +(1-ω) =ωp +所以
I (X ; Y ) =H (Y ) -H (p )
11
+(ωp +)log -H (p )
ω+p ωp +=H (ω+p ) -H (p ) =(ω+p )log
其中H (ω+p ) 也是[0,1]区间上的熵函数。可见，当信道固定即固定p 时，可得I (X ; Y ) 是ω的 型凸函数，其曲线如图3.2所示。从图中可知，当二元对称信道的信道矩阵固定后，输入变量X 的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输入变量X 是等概分布时，即P (x =0) =P (x =1) =1/2时，在信道接收端平均每个符号才获得最大的信息量。
图3.2 二元对称信道的平均互信息（固定信道转移概率p ）
当固定信源的概率分布ω时，即得I (X ; Y ) 是p 的 型凸函数，如图3.3所示。
图3.3 固定二元信源的平均互信息（固定信源概率分布ω）
从图中可知，当二元信源固定后，存在一种二元对称信道（其p =1/2），使信道输出获得的信息量最小，即等于零。也就是说，信源的信息全部损失在信道中。这是一种最差的信道（其噪声为最大）。
【例3.4】 设某对称离散信道的信道矩阵为
⎡1
⎢3P =⎢
⎢1⎢⎣6
求其信道容量。
解：由对称信道的信道容量公式，得
1
31616131⎤6⎥⎥ 1⎥3⎥⎦
C =log s -H (P 的行矢量)
[1**********]1
=log 4-H (, , , ) =2+log +log +log +log
[1**********]6=0.0817 比特/符号
在这个信道中，每个符号平均能够传输的最大信息为0.0817比特，而且只有当信道输入是等概分布时才能达到这个最大值。
【例3.5】 强对称信道（均匀信道）的信道矩阵是r ⨯r 阶矩阵，强对称离散信道的信道容量为
p p p ⎫⎛
C =log r -H , , , , ⎪
r -1⎭⎝r -1r -1
p p p p
=log r +log +log + +log
r -1r -1 r -1r -1
共（r -1) 项
=log r +log +p log
p
r -1
=log r -p log(r -1) -H (p )
式中p 是总的错误传递概率，是正确传递概率。
【例3.6】 设某信道的转移矩阵为：
p ⎤⎡1-p -q q
P =⎢⎥q 1-p -q ⎦⎣p
求其信道容量。
解：分析该转移矩阵，可知这是一个准对称信道。
N 1=1-p -q +p =1-q , M 1=1-p -q +p =1-q ,
根据准对称离散信道的信道容量公式得
N 2=q M 2=2q
', p 2', , p s ') -∑N k log M k C =log r -H (p 1
k =12
n
=log 2-H (1-p -q , q , p ) -∑N k log M k
k =1
=log 2-H (1-p -q , q , p ) -(1-q )log(1-q ) -q log 2q =p log p +(1-p -q )log(1-p -q ) +(1-q )log
当p =0时，可得信道转移矩阵为
2
1-q
0⎤⎡1-q q
P =⎢⎥q 1-q ⎦⎣0
这时可得该信道（二元纯对称删除信道）的信道容量为
C =p log p +(1-p -q )log(1-p -q ) +(1-q )log =1-q
21-q
比特/符号
【例3.7】 求图3.5所示的二元无记忆对称信道的二次扩展信道。
Y
1
1
图3.5 二元无记忆对称信道的转移概率图
因为二元对称信道的输入和输出变量X 和Y 的取值都是0和1，因此，二次扩展信道的输入符号集为X ={00,01,10,11}，共有2=4个符号。输出符号集为
2
Y ={00,01,10,11}，也共4个符号。根据无记忆信道的特性，求得二次扩展信道的转移概
率为
P (β11) =P (0000) =P (00) P (00) =2 P (β21) =P (0100) =P (00) P (10) = P (β3α1) =P (1000) =P (10) P (00) = P (β41) =P (1100) =P (10) P (10) =p 2
同理，可求得其他传递概率P (βh
αk ) ，最后得二次扩展信道的信道矩阵
β1
β2
2p 2β3β4
p 22p 2⎤⎥⎥ ⎥⎥2⎦
α1⎡2α2⎢P =⎢
α3⎢⎢α4⎣p 2
上述二次扩展信道可用图3.6表示。
X =X 2Y =Y 2
α1=00
p 2
2
β1=00
α2=01β2=01
α3=10β3=10
α4=11β4=11
图3.6 二元对称信道的二次扩展信道
此例告诉我们，离散无记忆信道的信道矩阵以及扩展的次数N 是构建离散无记忆信道的N 次扩展信道的数学模型的基本要素。
⎡11⎢33
【例3.8】 有二个信道的信道矩阵分别为⎢
⎢01⎢⎣2
⎡
1⎤⎢10
⎢
23⎥⎢
⎥和01⎥⎢3
12⎥⎦⎢⎢03⎣⎤
0⎥⎥1⎥
，它们的串联信3⎥2⎥⎥3⎦
道如图3.7所示。求证I (X ; Z ) =I (X ; Y )
a 1
c 1c 2c 3
a 2
图3.7 例3.9中的串联信道
证明：对于一般满足X 、Y 、Z 为马氏链的串联信道，它们总的信道矩阵应等于两个串
联信道矩阵的乘积。即
P (z x ) =P (y x ) ⋅P (z y )
而总的信道矩阵中每个元素应满足
P (c k a i ) =∑P (b j a i ) P (c k b j )
j
为此，我们可求出串联信道的总的信道矩阵
⎡11⎢33
P (z x ) =⎢
⎢01⎢⎣2
⎡
1⎤⎢10
⎢
23⎥⎢⎥⋅01⎥⎢3
⎢12⎥⎦⎢0
3⎣⎤
0⎥⎡11⎥
1⎥⎢33=⎢
13⎥⎢02⎥⎢2⎥⎣3⎦
1⎤3⎥ ⎥1⎥2⎥⎦
可见，该串联信道满足
P (y x ) =P (z x ) （对所有x , y , z ）
于是可得
I (X ; Z ) =I (X ; Y )
此例说明，不论输入信源X 的符号如何分布，该串联噪声信道不会使信道中信息损失增加。
【例3.9】 设有两个离散二元对称信道，其组成的串联信道如图3.8所示，求该串联信道的信道容量。
X 0
Y 0
Z 0
1
1
1
图3.8 例3.10二元对称信道的串联信道
解：两个二元对称信道的信道矩阵均为
p ⎤⎡1-p
P 1=P 2=⎢⎥
p 1-p ⎣⎦
由于X 、Y 、Z 组成马尔可夫链，则串联信道的总信道矩阵为
p ⎤⎡1-p p ⎤⎡1-p
P =PP =12⎢p 1-p ⎥⎢p 1-p ⎥
⎣⎦⎣⎦
22
⎡(1-p ) +p 2p (1-p ) ⎤=⎢22⎥2p (1-p ) (1-p ) +p ⎣⎦
因此，该串联信道仍然是一个二元对称信道。
C 串=1-H [2p (1-p )]
二、讨论题：
1、什么是先验概率和后验概率？ 2、什么是前向概率和后向概率？
3、已知联合概率，如何计算前向概率和后向概率？
三、思考题：
1、信道有哪些分类？
2、信道矩阵是如何构成的？有哪些性质？ 3、平均互信息与各类熵有什么关系？ 4、平均互信息有哪些性质？ 5、信道容量的物理意义是什么？
6、如何计算一般离散信道的信道容量？
7、离散无记忆扩展信道的信道容量如何计算？ 8、数据处理定理的含义是什么？ 9、“信源与信道的匹配”和“信源编码和信道编码”之间是否存在一定的联系？
第3章 离散信道和信道容量
一、例题：
【例3.1】 二元对称信道，简记为BSC （Binary Symmetric Channel）。如图3.1所示。
X
a 1=
Y =b 1
a 2=1
=b 2
图3.1 二元对称信道
这是很重要的一种特殊信道，其输入输出符号集均取值于{0,1}。此时r =s =2，而且
a 1=b 1=0, a 2=b 2=1。又有转移概率
P (b 1|a 1) =P (0|0) =1-p =P (b 2|a 2) =P (1|1)=1-p =P (b 1|a 2) =P (0|1)=p P (b 2|a 1) =P (1|0) =p
于是，可得BSC 的信道转移概率矩阵P 为
p ⎤⎡1-p
P =⎢⎥
⎣p 1-p ⎦
它满足
【例3.2】 二元删除信道，简记为BEC （Binary Erasure Channel）。这时r =2, s =3。输入符号X 取值于{0,1}，输出符号Y 取值于{0,2,1}。其信道转移矩阵为
∑P (b
j =1
2
j
|a 1) =∑P (b j |a 2) =1
j =1
2
021
0⎡p 1-p 0⎤
P =⎢
1⎣01-q q ⎥⎦
【例3.3】 设二元对称信道的输入概率空间⎢图3.1所示，求平均互信息。
解：根据平均互信息的定义可得
1⎤⎡X ⎤⎡0
=⎢⎥，而信道特性如⎥
⎣P (x ) ⎦⎣ω=1-ω⎦
I (X ; Y ) =H (Y ) -H (Y |X )
=H (Y ) -∑∑P (a i b j )log
i =1j =1r
s
1P (b j |a i )
1P (y |x )
=H (Y ) -∑P (x ) ∑P (y |x )log
X
Y
⎡11⎤
=H (Y ) -∑P (x ) ⎢p log +log ⎥
p ⎦X ⎣
⎡11⎤
=H (Y ) -⎢p log +log ⎥
p ⎦⎣=H (Y ) -H (p )
其中，H (p ) 是[0,1]区间上的熵函数。 可得
P (y =0) =ω+(1-ω) p =ω+p
P (y =1) =ωp +(1-ω) =ωp +所以
I (X ; Y ) =H (Y ) -H (p )
11
+(ωp +)log -H (p )
ω+p ωp +=H (ω+p ) -H (p ) =(ω+p )log
其中H (ω+p ) 也是[0,1]区间上的熵函数。可见，当信道固定即固定p 时，可得I (X ; Y ) 是ω的 型凸函数，其曲线如图3.2所示。从图中可知，当二元对称信道的信道矩阵固定后，输入变量X 的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输入变量X 是等概分布时，即P (x =0) =P (x =1) =1/2时，在信道接收端平均每个符号才获得最大的信息量。
图3.2 二元对称信道的平均互信息（固定信道转移概率p ）
当固定信源的概率分布ω时，即得I (X ; Y ) 是p 的 型凸函数，如图3.3所示。
图3.3 固定二元信源的平均互信息（固定信源概率分布ω）
从图中可知，当二元信源固定后，存在一种二元对称信道（其p =1/2），使信道输出获得的信息量最小，即等于零。也就是说，信源的信息全部损失在信道中。这是一种最差的信道（其噪声为最大）。
【例3.4】 设某对称离散信道的信道矩阵为
⎡1
⎢3P =⎢
⎢1⎢⎣6
求其信道容量。
解：由对称信道的信道容量公式，得
1
31616131⎤6⎥⎥ 1⎥3⎥⎦
C =log s -H (P 的行矢量)
[1**********]1
=log 4-H (, , , ) =2+log +log +log +log
[1**********]6=0.0817 比特/符号
在这个信道中，每个符号平均能够传输的最大信息为0.0817比特，而且只有当信道输入是等概分布时才能达到这个最大值。
【例3.5】 强对称信道（均匀信道）的信道矩阵是r ⨯r 阶矩阵，强对称离散信道的信道容量为
p p p ⎫⎛
C =log r -H , , , , ⎪
r -1⎭⎝r -1r -1
p p p p
=log r +log +log + +log
r -1r -1 r -1r -1
共（r -1) 项
=log r +log +p log
p
r -1
=log r -p log(r -1) -H (p )
式中p 是总的错误传递概率，是正确传递概率。
【例3.6】 设某信道的转移矩阵为：
p ⎤⎡1-p -q q
P =⎢⎥q 1-p -q ⎦⎣p
求其信道容量。
解：分析该转移矩阵，可知这是一个准对称信道。
N 1=1-p -q +p =1-q , M 1=1-p -q +p =1-q ,
根据准对称离散信道的信道容量公式得
N 2=q M 2=2q
', p 2', , p s ') -∑N k log M k C =log r -H (p 1
k =12
n
=log 2-H (1-p -q , q , p ) -∑N k log M k
k =1
=log 2-H (1-p -q , q , p ) -(1-q )log(1-q ) -q log 2q =p log p +(1-p -q )log(1-p -q ) +(1-q )log
当p =0时，可得信道转移矩阵为
2
1-q
0⎤⎡1-q q
P =⎢⎥q 1-q ⎦⎣0
这时可得该信道（二元纯对称删除信道）的信道容量为
C =p log p +(1-p -q )log(1-p -q ) +(1-q )log =1-q
21-q
比特/符号
【例3.7】 求图3.5所示的二元无记忆对称信道的二次扩展信道。
Y
1
1
图3.5 二元无记忆对称信道的转移概率图
因为二元对称信道的输入和输出变量X 和Y 的取值都是0和1，因此，二次扩展信道的输入符号集为X ={00,01,10,11}，共有2=4个符号。输出符号集为
2
Y ={00,01,10,11}，也共4个符号。根据无记忆信道的特性，求得二次扩展信道的转移概
率为
P (β11) =P (0000) =P (00) P (00) =2 P (β21) =P (0100) =P (00) P (10) = P (β3α1) =P (1000) =P (10) P (00) = P (β41) =P (1100) =P (10) P (10) =p 2
同理，可求得其他传递概率P (βh
αk ) ，最后得二次扩展信道的信道矩阵
β1
β2
2p 2β3β4
p 22p 2⎤⎥⎥ ⎥⎥2⎦
α1⎡2α2⎢P =⎢
α3⎢⎢α4⎣p 2
上述二次扩展信道可用图3.6表示。
X =X 2Y =Y 2
α1=00
p 2
2
β1=00
α2=01β2=01
α3=10β3=10
α4=11β4=11
图3.6 二元对称信道的二次扩展信道
此例告诉我们，离散无记忆信道的信道矩阵以及扩展的次数N 是构建离散无记忆信道的N 次扩展信道的数学模型的基本要素。
⎡11⎢33
【例3.8】 有二个信道的信道矩阵分别为⎢
⎢01⎢⎣2
⎡
1⎤⎢10
⎢
23⎥⎢
⎥和01⎥⎢3
12⎥⎦⎢⎢03⎣⎤
0⎥⎥1⎥
，它们的串联信3⎥2⎥⎥3⎦
道如图3.7所示。求证I (X ; Z ) =I (X ; Y )
a 1
c 1c 2c 3
a 2
图3.7 例3.9中的串联信道
证明：对于一般满足X 、Y 、Z 为马氏链的串联信道，它们总的信道矩阵应等于两个串
联信道矩阵的乘积。即
P (z x ) =P (y x ) ⋅P (z y )
而总的信道矩阵中每个元素应满足
P (c k a i ) =∑P (b j a i ) P (c k b j )
j
为此，我们可求出串联信道的总的信道矩阵
⎡11⎢33
P (z x ) =⎢
⎢01⎢⎣2
⎡
1⎤⎢10
⎢
23⎥⎢⎥⋅01⎥⎢3
⎢12⎥⎦⎢0
3⎣⎤
0⎥⎡11⎥
1⎥⎢33=⎢
13⎥⎢02⎥⎢2⎥⎣3⎦
1⎤3⎥ ⎥1⎥2⎥⎦
可见，该串联信道满足
P (y x ) =P (z x ) （对所有x , y , z ）
于是可得
I (X ; Z ) =I (X ; Y )
此例说明，不论输入信源X 的符号如何分布，该串联噪声信道不会使信道中信息损失增加。
【例3.9】 设有两个离散二元对称信道，其组成的串联信道如图3.8所示，求该串联信道的信道容量。
X 0
Y 0
Z 0
1
1
1
图3.8 例3.10二元对称信道的串联信道
解：两个二元对称信道的信道矩阵均为
p ⎤⎡1-p
P 1=P 2=⎢⎥
p 1-p ⎣⎦
由于X 、Y 、Z 组成马尔可夫链，则串联信道的总信道矩阵为
p ⎤⎡1-p p ⎤⎡1-p
P =PP =12⎢p 1-p ⎥⎢p 1-p ⎥
⎣⎦⎣⎦
22
⎡(1-p ) +p 2p (1-p ) ⎤=⎢22⎥2p (1-p ) (1-p ) +p ⎣⎦
因此，该串联信道仍然是一个二元对称信道。
C 串=1-H [2p (1-p )]
二、讨论题：
1、什么是先验概率和后验概率？ 2、什么是前向概率和后向概率？
3、已知联合概率，如何计算前向概率和后向概率？
三、思考题：
1、信道有哪些分类？
2、信道矩阵是如何构成的？有哪些性质？ 3、平均互信息与各类熵有什么关系？ 4、平均互信息有哪些性质？ 5、信道容量的物理意义是什么？
6、如何计算一般离散信道的信道容量？
7、离散无记忆扩展信道的信道容量如何计算？ 8、数据处理定理的含义是什么？ 9、“信源与信道的匹配”和“信源编码和信道编码”之间是否存在一定的联系？