《信息论与编码》复习提纲
第1章 绪论
1、信息的概念，通俗、广义、狭义的概念 2、信息、消息、信号 3、通信系统模型
4、通信系统的技术指标，有效性、可靠性
第2章 信源与信息熵
1、信源的分类
2、信源的数学模型 3、马尔克夫信源
4、离散信源的自信息、信息熵 5、条件熵和联合熵
6、互信息及其性质
7、条件熵之间的关系，维拉图 8、信息熵的性质
9、信息熵的计算，各种概率的计算、各种熵的计算（例2-9, p.21） 10、连续信源的熵，绝对熵和相对熵
11、最大熵定理，峰值功率受限、平均功率受限
12、离散序列信源的熵，平均符号熵、条件熵、极限熵 13、信源冗余度及产生的原因
第3章 信道与信道容量
1、信道模型，转移矩阵、
2、信道种类：BSC 、DMC 、离散时间无记忆信道、波形信道 3、信道容量的定义
4、几种特殊信道的信道容量、BSC 信道C~ε曲线 5、离散序列信道及其容量（BSC 二次扩展信道） 6、连续信道及其容量，Shannon 公式 7、信源与信道的匹配，信道冗余度
第4章 信息率失真函数
1、失真函数、失真矩阵、平均失真
2、信息率失真函数，定义、物理意义，保真度准则
3、信息率失真函数的性质，信息率失真函数曲线 4、信息率失真函数与信道容量的比较 5、某些特殊情况下 R (D ) 的表示式
第5章 信源编码
1、信源编码的基本概念（主要任务、基本途径） 2、码的基本概念、分类
3、唯一可译码的含义，充要条件 4、码树图及即时码的判别
5、定长编码定理，编码信息率，编码效率
6、变长编码定理（Shannon 第一定理），编码剩余度，紧致码 7、Shannon 编码，自信息与码长的联系
8、Fano 编码，与码树图的联系、是否是紧致码
9、Huffman 编码，计算平均码长、信息传输率、编码效率（例5-7, p.96） 10、Shannon 第三定理（限失真编码定理）及逆定理 11、游程编码，基本原理、特性、主要应用 12、算术编码，基本思想
第6章 信道编码
1、差错，差错符号，差错比特，差错图样类型 2、纠错码分类，差错控制系统分类
3、随机编码，Shannon 第二定理（信道编码定理），差错概率、译码规则、平均差错概率 4、可靠性函数曲线
5、差错控制途径、措施，噪声均化、交错（交织） 6、码距与纠、检错能力
7、最优译码、最大似然译码、最小汉明距离译码 8、线性分组码，基本概念，码重
9、生成矩阵和校验矩阵，系统形式（例6-2, p.137） 10、伴随式与标准阵列译码
11、循环码及其特征，几种常用循环码
12、卷积码，基本概念、编码原理、编码器结构、卷积码描述方法、Viterbi 译码
第7章 加密编码
1、加密编码中的基本概念
2、安全性，保密性，真实性
3、对称（单密钥）体制与非对称（双密钥）体制
1. 信息论研究的目的是提高信息系统的___可靠性___，____有效性____，____安全性___，以便达到系统的最优化。
2. 信宿收到yj 后推测信源发出xi 的概率p(xi / yj )被称为___后验概率___。
3. 信源所发符号序列的概率分布与时间的起点无关，这种信源称为____离散平稳信源____. 4. 从信源的统计特性看，如X 的取值各时刻相互独立，称为___无记忆_____信源。离散无记忆信源输出n 个不同的信息符号当且仅当各个符号出现___概率相等______时熵最大。
5. 编码分为信源编码和信道编码两种，信源编码以提高__有效性____性能为目的，信道编码以提高__可靠性_____性能为目的。 6. 对于某个含有7个消息的信源，其熵的最大值为___log27____，对应为___均匀 ____分布。
7. 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，则“3和5同时出现“这事件的自信息量为___4.17bit___，“ 两个1同时出现”这事件的自信息量为__5.17bit____, 两个点数的各种组合（无序对）的熵和平均信息量为____4.337bit__, 两个点数之和的熵为____3.274bit__, 两个点数中至少有一个是1的自信息量为____1.7105bit__.
8. 有一个可旋转的圆盘，盘面上被均匀地分成38份，用1,2, „,38数字标示，期中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。若仅对颜色感兴趣则，平均不确定度为___1.24bit__，若对颜色和数字都感兴趣，则不确定度为__5.25bit__。如果颜色已知，则条件熵为__4.01bit__. 9. 在一个袋中放有5个黑球，10个白球，以摸一个球为一次实验，摸出的球不再放进去，则一次实验包含的不确定度__0.92bit__,第一次实验X 摸出的球是黑球，第二次实验Y 给出的不确定度为___0.86bit__,第一次实验X 摸出的是白球，第二次实验Y 给出的不确定度为__0.94bit__。
10. 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，则获得的信息量是___1.415bit____
11. 打字机可以输出M 个等可能的字母，由此该打字机可能产生长度为N 的序列M N 个，且均等可能出现。因此H （X1，X2, „„,XN ）=___logMN _______________,每个字符熵率为H ∞=___logM_______.
12. 采样定理指出，如信号的有效带宽为B ，采样频率为fs ，则当__fs>=2B时，样值序列能够保留原连续信号全部信息量。
13. 有一类信源，输出的符号序列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关，这种信源被称为_____马尔可夫信源_______.
14. 当对信号进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号变成更有用的形式，但是绝不会创造出新的信息。这就是_____信息不增原理___。
15. 信源X 和信宿Y 的信息熵分别是H(X)和H(Y)，则H(X,Y)是他们的____联合熵___,H(X|Y)是__噪声熵__,I(X,Y)是_____互信息量___,其中I(X,Y)可以用H(X|Y)与H(X)或H(Y)表示成____ I(X,Y)=H(X)-H(X,Y)______。
16. 当信道给定时，平均互信息量I(X;Y)是信源概率分布q(x)的___上凸函数____型函数。
17. 最大熵定理说明，当信源中各事件的出现概率趋于均匀时，信源的_平均不确定度___最大，只要信源中某一事件的发生占有较大的确定性时，必然引起整个信源的平均不确定性的__下降_ 18. 信道传输信息的速率：与_____物理信道本身的特性_____、_____载荷信息的信号形式_______和_______信源输出信号的统计特性________有关。
19. 香农信道公式为___C=Blog(1+S/N)__，从香农公式中可以得出结论，信道有效带宽越宽, 信道容量__越大___，信噪比越__大__,信道容量越大，在保持信道容量不变的情况下，可以用__增加信号带宽_____，____增大发射功率___的办法进行通信。
20. 香农公式说明：当信道容量一定时，_____增大___信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过_____提高信噪功率比_______来补偿。
21. 在通信系统中可以采用___增大信道容量___ , ___减小码率___ , 和增大信道容量来减少差错概率，其中我们可以采用______增大
功率________ ，___降低噪声______ ，___扩展带宽_____来增大信道容量。
22.______信源___编码正是通过减少或消除信源的冗余度来提高通信效率。
23. 对于定长编码，若平均码长 __小于___信源的熵值，则唯一可译码不存在，在译码时必然要引起失真。
24. 每接收一个完整的码字的码符号序列，就能立即把它译成相应的信源符号，而无需借助后续的码进行判断，这种码称为___即时码__
25. 假设信源有q 个符号，它的N 次扩张共用qN 个符号。基本的传输符号集有r 个符号，平均码长L ，若要求编码器编得的定长码是唯一可译码，则必须满足____L=Q/N*logr______
26. 差错控制的方式分为三类有___重传反馈方式__，___前向纠错方式__，混合纠错方式__.某二元（n ，k ）线性分组码的全部许用码字为：00000 ， 01011， 10110， 11101 则该码的码长n=___5____， 信息位长度k=___2_____。
27. （n ，k ）线性分组码，要检测e 个错误，则码的最小距离d>=__e+1_______，要纠正t 个错误，码的最小距离d>=_2t+1________.
28. 某一（n,k ）线性分组码，若最小距离是4，则当它做检错码是它能检查出__3___位错误，作纠错码时能纠正___1___位错误，既做纠错码也做检错码时能检查出___2____位错误，纠正__1__位错误。 29. (n , k ) 线性码能纠 t 个错误的充要条件是码的最小距离为___
d min =2t +1
或
-1⎥⎢d
t =⎢min
⎥2⎣⎦________.
30.(7,3)线性码，G= 1001100 ,接收矢量Y=0011101,已知该码期
中一位码元出错，则正确的译码值是________________.
1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ）
3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
（×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码C i 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）
1. 必然事件和不可能事件的自信息量都是0 。错 2. 自信息量是p (x i ) 的单调递减函数。对
3. 单符号离散信源的自信息和信源熵都具有非负性。对 4. 单符号离散信源的自信息和信源熵都是一个确定值。错
5. 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。
对
6. 自信息量、条件自信息量和联合自信息量之间有如下关系：
I (x i y j ) =I (x i ) +I (y j /x i ) =I (y j ) +I (x i /y j )
对
7. 自信息量、条件自信息量和互信息量之间有如下关系：
I (x i ; y j ) =I (x i ) -I (x i /y j ) =I (y j ) -I (y j /x i )
对
8. 当随即变量X 和Y 相互独立时，条件熵等于信源熵。对
9. 当随即变量X 和Y 相互独立时，I （X ；Y ）=H（X ） 。错 10. 信源熵具有严格的下凸性。错 11. 平均互信息量I （X ；Y ）对于信源概率分布p （xi ）和条件概率分布p （yj/xi）
都具有凸函数性。 对
12. m 阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系相
同。 错
13. 利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。
对
14. N 维统计独立均匀分布连续信源的熵是N 维区域体积的对数。 对 15. 一维高斯分布的连续信源，其信源熵只与其均值和方差有关。 错 16. 连续信源和离散信源的熵都具有非负性。 错 17. 连续信源和离散信源都具有可加性。 对
18. 连续信源和离散信源的平均互信息都具有非负性。 对 19. 定长编码的效率一般小于不定长编码的效率。 对 20. 若对一离散信源（熵为H （X ））进行二进制无失真编码，设定长码子长度为
K ，变长码子平均长度为K ，一般K >K。 错
21. 信道容量C 是I （X ；Y ）关于p （xi ）的条件极大值。 对
22. 离散无噪信道的信道容量等于log2n ，其中n 是信源X 的消息个数。 错
23. 对于准对称信道，当
p (y j )
1m
时，可达到信道容量C 。错
24. 多用户信道的信道容量不能用一个数来代表。 对
25. 多用户信道的信道容量不能用一个数来代表，但信道的信息率可以用一个数
来表示。错
26. 高斯加性信道的信道容量只与信道的信噪有关。 对 27. 信道无失真传递信息的条件是信息率小于信道容量。对
28. 最大信息传输速率，即：选择某一信源的概率分布（p （xi ）），使信道所能
传送的信息率的最大值。 错
29. 对于具有归并性能的无燥信道，当信源等概率分布时（p （xi ）=1/n），达到
信道容量。 错
30. 求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。
对
31. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在
的不确定性就越小，获得的信息量就越小。 错 32. 当p （xi ）、p （yj/xi）和d （xi ，yj ）给定后，平均失真度是一个随即变量。
错
33. 率失真函数对允许的平均失真度具有上凸性。对 34. 率失真函数没有最大值。 错 35. 率失真函数的最小值是0 。对
36. 率失真函数的值与信源的输入概率无关。错 37. 信源编码是提高通信有效性为目的的编码。 对
38. 信源编码通常是通过压缩信源的冗余度来实现的。 对
39. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错 40. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 对
41、在编m （m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。 对 42、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大于等于原二元序列的熵。 错
43、在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。 错
44、L-D 编码适合于冗余位较多和较少的情况，否则，不但不能压缩码率，反而使其扩张。 对
41. 狭义的信道编码既是指：信道的检、纠错编码。 对
42. 对于BSC 信道，信道编码应当是一对一的编码，因此，消息m 的长度等于码
字c 的长度。 错
43. 等重码和奇（偶）校验码都可以检出全部的奇数位错。 对 44. 汉明码是一种线性分组码。对 45. 循环码也是一种线性分组码。 对
46. 卷积码是一种特殊的线性分组码。 错
1. 消息、信号、信息的含义、定义及区别。
2. 信息的特征与分类。
3. 信息论的起源、历史与发展。 4. 通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。 5. 通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途
径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？
6. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系 7. 信源熵的基本性质与定理及其理解？ 信源熵H(X)的三种物理含义：
表示信源输出后，每个离散消息所提供的平均信息量。 表示信源输出前，信源的平均不确定度。
反映了变量X 的随机性。
8. 平均互信息量的定义及物理意义？疑义度及噪声熵？ 9. 平均互信息量的性质及理解？
10. 最大离散熵定理及理解。
11. 信源的种类（详细分类）？各举出几个例子。 按时间和幅度分类：
离散信源 单符号离散信源 离散序列信源 连续信源
连续幅度信源
随机波形信源
文字，数字，数据等 话音，图像，图形等
按符号之间的关系：
无记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 12. 马尔可夫信源的定义，含义及其极限熵？
１．简述信息的特征。
答：信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。
接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容。
信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。
信息可以产生，也可以消失，同时信息可以被携带、贮存及处理。信息是可以量度的，信息量有多少的差别。
２．什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为r s ，则它们的
分别信道容量为多少？ 答：将H （X|Y）称为信道道，信道容量为logr 。 将H （Y|X）称为信道
{X , P Y |X , Y }
{X , P Y |X , Y }
的疑义度或损失熵，损失熵为零的信道就是无损信
的噪声熵，噪声熵为零的信道就是确定信道，信道容量
为logs 。
３．信源编码的和信道编码的目的是什么？
答：信源编码的作用：
（1）符号变换：使信源的输出符号与信道的输入符号相匹配；
（2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。 信道编码的作用：降低平均差错率。
４．什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？
C (P S ) =B log 2(1+
P S N 0B
)
答：香农信道容量公式：输入X （t ）的平均功率受限于
P S
，B 为白噪声的频带限制，
N 0
为常数，
。
由此，为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
1. 设有一离散无记忆信源，其概率空间为
（1）求每个符号的自信息量：（8分）
（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量。（6分） 解：
同理可以求得
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：
平均每个符号携带的信息量为 2. 已知
bit/符号
(X , Y )的联合概率p (x , y )如表所示，求X,Y 各自的分布概率以及H (X )，H (Y )，)，I (X ; Y )。
（16分）
X 0101/30
11/31/3
H (X , Y
解: p (x =0) =2/3 p (x =1) =1/ 3
p (y =0) =1/3
H (X
p (y =1) =
2/3
)=H (Y )=H (1/3, 2/3) =
0.918 bit/symbol
H (X , Y )=H (1/3,1/3,1/3)
=1.585 bit/symbol
0.251 bit/symbol
I (X ; Y )=H (X ) +H (Y ) -H (X , Y ) =
3. 设输入符号与输出符号为X ＝Y ∈{0,1,2,3}，且输入符号等概率分布。设失真函数为汉
明失真。求D max 和D min 及R (D max ) 和R (D min )
p (x 0)=p (x 1)=p (x 2)=p (x 3)=
14
解：
1⎤⎥
011
⎥
101⎥
⎥
110⎦
失真矩阵的每一行都有0，因此D min =0
R (D m in )=R (0)=H
3
⎡0⎢1⎢D =⎢1⎢⎣1
11
(X )=log 24=2bit /符号
11⎧1⎫3
D m ax =m in ∑p (x i ) d (x i , y j ) =⎨⋅(1+1+1), ⋅(1+1+1), ⋅(1+1+1)⎬=
j 44⎩4⎭4i =0
4. 在图片传输中，每帧约有2 106个像素，为了能很好地重现图像，每像素能分256个
亮度电平，并假设亮度电平等概分布。试计算每分钟传送两帧图片所需信道的带宽（信噪功率比为30dB ）。 解：
每个像素点对应的熵H =log
2n =log 2256=8
R (D m ax )=0
bit/点
67
2帧图片的信息量I =2*N *H =2*2*10*8=3. 2*10bit
单位时间需要的信道容量由香农信道容量公式
C t =
I t
=
3. 2*10
60
7
5
=5. 3*10bit /s
C t =W log 2(1+SNR ) ⇒W =
C t log 2(1+SNR )
=
5. 3*10
5
log 2(1+1000)
≈5. 35*10
4
Hz
《信息论与编码》复习提纲
第1章 绪论
1、信息的概念，通俗、广义、狭义的概念 2、信息、消息、信号 3、通信系统模型
4、通信系统的技术指标，有效性、可靠性
第2章 信源与信息熵
1、信源的分类
2、信源的数学模型 3、马尔克夫信源
4、离散信源的自信息、信息熵 5、条件熵和联合熵
6、互信息及其性质
7、条件熵之间的关系，维拉图 8、信息熵的性质
9、信息熵的计算，各种概率的计算、各种熵的计算（例2-9, p.21） 10、连续信源的熵，绝对熵和相对熵
11、最大熵定理，峰值功率受限、平均功率受限
12、离散序列信源的熵，平均符号熵、条件熵、极限熵 13、信源冗余度及产生的原因
第3章 信道与信道容量
1、信道模型，转移矩阵、
2、信道种类：BSC 、DMC 、离散时间无记忆信道、波形信道 3、信道容量的定义
4、几种特殊信道的信道容量、BSC 信道C~ε曲线 5、离散序列信道及其容量（BSC 二次扩展信道） 6、连续信道及其容量，Shannon 公式 7、信源与信道的匹配，信道冗余度
第4章 信息率失真函数
1、失真函数、失真矩阵、平均失真
2、信息率失真函数，定义、物理意义，保真度准则
3、信息率失真函数的性质，信息率失真函数曲线 4、信息率失真函数与信道容量的比较 5、某些特殊情况下 R (D ) 的表示式
第5章 信源编码
1、信源编码的基本概念（主要任务、基本途径） 2、码的基本概念、分类
3、唯一可译码的含义，充要条件 4、码树图及即时码的判别
5、定长编码定理，编码信息率，编码效率
6、变长编码定理（Shannon 第一定理），编码剩余度，紧致码 7、Shannon 编码，自信息与码长的联系
8、Fano 编码，与码树图的联系、是否是紧致码
9、Huffman 编码，计算平均码长、信息传输率、编码效率（例5-7, p.96） 10、Shannon 第三定理（限失真编码定理）及逆定理 11、游程编码，基本原理、特性、主要应用 12、算术编码，基本思想
第6章 信道编码
1、差错，差错符号，差错比特，差错图样类型 2、纠错码分类，差错控制系统分类
3、随机编码，Shannon 第二定理（信道编码定理），差错概率、译码规则、平均差错概率 4、可靠性函数曲线
5、差错控制途径、措施，噪声均化、交错（交织） 6、码距与纠、检错能力
7、最优译码、最大似然译码、最小汉明距离译码 8、线性分组码，基本概念，码重
9、生成矩阵和校验矩阵，系统形式（例6-2, p.137） 10、伴随式与标准阵列译码
11、循环码及其特征，几种常用循环码
12、卷积码，基本概念、编码原理、编码器结构、卷积码描述方法、Viterbi 译码
第7章 加密编码
1、加密编码中的基本概念
2、安全性，保密性，真实性
3、对称（单密钥）体制与非对称（双密钥）体制
1. 信息论研究的目的是提高信息系统的___可靠性___，____有效性____，____安全性___，以便达到系统的最优化。
2. 信宿收到yj 后推测信源发出xi 的概率p(xi / yj )被称为___后验概率___。
3. 信源所发符号序列的概率分布与时间的起点无关，这种信源称为____离散平稳信源____. 4. 从信源的统计特性看，如X 的取值各时刻相互独立，称为___无记忆_____信源。离散无记忆信源输出n 个不同的信息符号当且仅当各个符号出现___概率相等______时熵最大。
5. 编码分为信源编码和信道编码两种，信源编码以提高__有效性____性能为目的，信道编码以提高__可靠性_____性能为目的。 6. 对于某个含有7个消息的信源，其熵的最大值为___log27____，对应为___均匀 ____分布。
7. 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，则“3和5同时出现“这事件的自信息量为___4.17bit___，“ 两个1同时出现”这事件的自信息量为__5.17bit____, 两个点数的各种组合（无序对）的熵和平均信息量为____4.337bit__, 两个点数之和的熵为____3.274bit__, 两个点数中至少有一个是1的自信息量为____1.7105bit__.
8. 有一个可旋转的圆盘，盘面上被均匀地分成38份，用1,2, „,38数字标示，期中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。若仅对颜色感兴趣则，平均不确定度为___1.24bit__，若对颜色和数字都感兴趣，则不确定度为__5.25bit__。如果颜色已知，则条件熵为__4.01bit__. 9. 在一个袋中放有5个黑球，10个白球，以摸一个球为一次实验，摸出的球不再放进去，则一次实验包含的不确定度__0.92bit__,第一次实验X 摸出的球是黑球，第二次实验Y 给出的不确定度为___0.86bit__,第一次实验X 摸出的是白球，第二次实验Y 给出的不确定度为__0.94bit__。
10. 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，则获得的信息量是___1.415bit____
11. 打字机可以输出M 个等可能的字母，由此该打字机可能产生长度为N 的序列M N 个，且均等可能出现。因此H （X1，X2, „„,XN ）=___logMN _______________,每个字符熵率为H ∞=___logM_______.
12. 采样定理指出，如信号的有效带宽为B ，采样频率为fs ，则当__fs>=2B时，样值序列能够保留原连续信号全部信息量。
13. 有一类信源，输出的符号序列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关，这种信源被称为_____马尔可夫信源_______.
14. 当对信号进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号变成更有用的形式，但是绝不会创造出新的信息。这就是_____信息不增原理___。
15. 信源X 和信宿Y 的信息熵分别是H(X)和H(Y)，则H(X,Y)是他们的____联合熵___,H(X|Y)是__噪声熵__,I(X,Y)是_____互信息量___,其中I(X,Y)可以用H(X|Y)与H(X)或H(Y)表示成____ I(X,Y)=H(X)-H(X,Y)______。
16. 当信道给定时，平均互信息量I(X;Y)是信源概率分布q(x)的___上凸函数____型函数。
17. 最大熵定理说明，当信源中各事件的出现概率趋于均匀时，信源的_平均不确定度___最大，只要信源中某一事件的发生占有较大的确定性时，必然引起整个信源的平均不确定性的__下降_ 18. 信道传输信息的速率：与_____物理信道本身的特性_____、_____载荷信息的信号形式_______和_______信源输出信号的统计特性________有关。
19. 香农信道公式为___C=Blog(1+S/N)__，从香农公式中可以得出结论，信道有效带宽越宽, 信道容量__越大___，信噪比越__大__,信道容量越大，在保持信道容量不变的情况下，可以用__增加信号带宽_____，____增大发射功率___的办法进行通信。
20. 香农公式说明：当信道容量一定时，_____增大___信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过_____提高信噪功率比_______来补偿。
21. 在通信系统中可以采用___增大信道容量___ , ___减小码率___ , 和增大信道容量来减少差错概率，其中我们可以采用______增大
功率________ ，___降低噪声______ ，___扩展带宽_____来增大信道容量。
22.______信源___编码正是通过减少或消除信源的冗余度来提高通信效率。
23. 对于定长编码，若平均码长 __小于___信源的熵值，则唯一可译码不存在，在译码时必然要引起失真。
24. 每接收一个完整的码字的码符号序列，就能立即把它译成相应的信源符号，而无需借助后续的码进行判断，这种码称为___即时码__
25. 假设信源有q 个符号，它的N 次扩张共用qN 个符号。基本的传输符号集有r 个符号，平均码长L ，若要求编码器编得的定长码是唯一可译码，则必须满足____L=Q/N*logr______
26. 差错控制的方式分为三类有___重传反馈方式__，___前向纠错方式__，混合纠错方式__.某二元（n ，k ）线性分组码的全部许用码字为：00000 ， 01011， 10110， 11101 则该码的码长n=___5____， 信息位长度k=___2_____。
27. （n ，k ）线性分组码，要检测e 个错误，则码的最小距离d>=__e+1_______，要纠正t 个错误，码的最小距离d>=_2t+1________.
28. 某一（n,k ）线性分组码，若最小距离是4，则当它做检错码是它能检查出__3___位错误，作纠错码时能纠正___1___位错误，既做纠错码也做检错码时能检查出___2____位错误，纠正__1__位错误。 29. (n , k ) 线性码能纠 t 个错误的充要条件是码的最小距离为___
d min =2t +1
或
-1⎥⎢d
t =⎢min
⎥2⎣⎦________.
30.(7,3)线性码，G= 1001100 ,接收矢量Y=0011101,已知该码期
中一位码元出错，则正确的译码值是________________.
1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ）
3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
（×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码C i 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）
1. 必然事件和不可能事件的自信息量都是0 。错 2. 自信息量是p (x i ) 的单调递减函数。对
3. 单符号离散信源的自信息和信源熵都具有非负性。对 4. 单符号离散信源的自信息和信源熵都是一个确定值。错
5. 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。
对
6. 自信息量、条件自信息量和联合自信息量之间有如下关系：
I (x i y j ) =I (x i ) +I (y j /x i ) =I (y j ) +I (x i /y j )
对
7. 自信息量、条件自信息量和互信息量之间有如下关系：
I (x i ; y j ) =I (x i ) -I (x i /y j ) =I (y j ) -I (y j /x i )
对
8. 当随即变量X 和Y 相互独立时，条件熵等于信源熵。对
9. 当随即变量X 和Y 相互独立时，I （X ；Y ）=H（X ） 。错 10. 信源熵具有严格的下凸性。错 11. 平均互信息量I （X ；Y ）对于信源概率分布p （xi ）和条件概率分布p （yj/xi）
都具有凸函数性。 对
12. m 阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系相
同。 错
13. 利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。
对
14. N 维统计独立均匀分布连续信源的熵是N 维区域体积的对数。 对 15. 一维高斯分布的连续信源，其信源熵只与其均值和方差有关。 错 16. 连续信源和离散信源的熵都具有非负性。 错 17. 连续信源和离散信源都具有可加性。 对
18. 连续信源和离散信源的平均互信息都具有非负性。 对 19. 定长编码的效率一般小于不定长编码的效率。 对 20. 若对一离散信源（熵为H （X ））进行二进制无失真编码，设定长码子长度为
K ，变长码子平均长度为K ，一般K >K。 错
21. 信道容量C 是I （X ；Y ）关于p （xi ）的条件极大值。 对
22. 离散无噪信道的信道容量等于log2n ，其中n 是信源X 的消息个数。 错
23. 对于准对称信道，当
p (y j )
1m
时，可达到信道容量C 。错
24. 多用户信道的信道容量不能用一个数来代表。 对
25. 多用户信道的信道容量不能用一个数来代表，但信道的信息率可以用一个数
来表示。错
26. 高斯加性信道的信道容量只与信道的信噪有关。 对 27. 信道无失真传递信息的条件是信息率小于信道容量。对
28. 最大信息传输速率，即：选择某一信源的概率分布（p （xi ）），使信道所能
传送的信息率的最大值。 错
29. 对于具有归并性能的无燥信道，当信源等概率分布时（p （xi ）=1/n），达到
信道容量。 错
30. 求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。
对
31. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在
的不确定性就越小，获得的信息量就越小。 错 32. 当p （xi ）、p （yj/xi）和d （xi ，yj ）给定后，平均失真度是一个随即变量。
错
33. 率失真函数对允许的平均失真度具有上凸性。对 34. 率失真函数没有最大值。 错 35. 率失真函数的最小值是0 。对
36. 率失真函数的值与信源的输入概率无关。错 37. 信源编码是提高通信有效性为目的的编码。 对
38. 信源编码通常是通过压缩信源的冗余度来实现的。 对
39. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错 40. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 对
41、在编m （m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。 对 42、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大于等于原二元序列的熵。 错
43、在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。 错
44、L-D 编码适合于冗余位较多和较少的情况，否则，不但不能压缩码率，反而使其扩张。 对
41. 狭义的信道编码既是指：信道的检、纠错编码。 对
42. 对于BSC 信道，信道编码应当是一对一的编码，因此，消息m 的长度等于码
字c 的长度。 错
43. 等重码和奇（偶）校验码都可以检出全部的奇数位错。 对 44. 汉明码是一种线性分组码。对 45. 循环码也是一种线性分组码。 对
46. 卷积码是一种特殊的线性分组码。 错
1. 消息、信号、信息的含义、定义及区别。
2. 信息的特征与分类。
3. 信息论的起源、历史与发展。 4. 通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。 5. 通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途
径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？
6. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系 7. 信源熵的基本性质与定理及其理解？ 信源熵H(X)的三种物理含义：
表示信源输出后，每个离散消息所提供的平均信息量。 表示信源输出前，信源的平均不确定度。
反映了变量X 的随机性。
8. 平均互信息量的定义及物理意义？疑义度及噪声熵？ 9. 平均互信息量的性质及理解？
10. 最大离散熵定理及理解。
11. 信源的种类（详细分类）？各举出几个例子。 按时间和幅度分类：
离散信源 单符号离散信源 离散序列信源 连续信源
连续幅度信源
随机波形信源
文字，数字，数据等 话音，图像，图形等
按符号之间的关系：
无记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 12. 马尔可夫信源的定义，含义及其极限熵？
１．简述信息的特征。
答：信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。
接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容。
信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。
信息可以产生，也可以消失，同时信息可以被携带、贮存及处理。信息是可以量度的，信息量有多少的差别。
２．什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为r s ，则它们的
分别信道容量为多少？ 答：将H （X|Y）称为信道道，信道容量为logr 。 将H （Y|X）称为信道
{X , P Y |X , Y }
{X , P Y |X , Y }
的疑义度或损失熵，损失熵为零的信道就是无损信
的噪声熵，噪声熵为零的信道就是确定信道，信道容量
为logs 。
３．信源编码的和信道编码的目的是什么？
答：信源编码的作用：
（1）符号变换：使信源的输出符号与信道的输入符号相匹配；
（2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。 信道编码的作用：降低平均差错率。
４．什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？
C (P S ) =B log 2(1+
P S N 0B
)
答：香农信道容量公式：输入X （t ）的平均功率受限于
P S
，B 为白噪声的频带限制，
N 0
为常数，
。
由此，为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
1. 设有一离散无记忆信源，其概率空间为
（1）求每个符号的自信息量：（8分）
（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量。（6分） 解：
同理可以求得
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：
平均每个符号携带的信息量为 2. 已知
bit/符号
(X , Y )的联合概率p (x , y )如表所示，求X,Y 各自的分布概率以及H (X )，H (Y )，)，I (X ; Y )。
（16分）
X 0101/30
11/31/3
H (X , Y
解: p (x =0) =2/3 p (x =1) =1/ 3
p (y =0) =1/3
H (X
p (y =1) =
2/3
)=H (Y )=H (1/3, 2/3) =
0.918 bit/symbol
H (X , Y )=H (1/3,1/3,1/3)
=1.585 bit/symbol
0.251 bit/symbol
I (X ; Y )=H (X ) +H (Y ) -H (X , Y ) =
3. 设输入符号与输出符号为X ＝Y ∈{0,1,2,3}，且输入符号等概率分布。设失真函数为汉
明失真。求D max 和D min 及R (D max ) 和R (D min )
p (x 0)=p (x 1)=p (x 2)=p (x 3)=
14
解：
1⎤⎥
011
⎥
101⎥
⎥
110⎦
失真矩阵的每一行都有0，因此D min =0
R (D m in )=R (0)=H
3
⎡0⎢1⎢D =⎢1⎢⎣1
11
(X )=log 24=2bit /符号
11⎧1⎫3
D m ax =m in ∑p (x i ) d (x i , y j ) =⎨⋅(1+1+1), ⋅(1+1+1), ⋅(1+1+1)⎬=
j 44⎩4⎭4i =0
4. 在图片传输中，每帧约有2 106个像素，为了能很好地重现图像，每像素能分256个
亮度电平，并假设亮度电平等概分布。试计算每分钟传送两帧图片所需信道的带宽（信噪功率比为30dB ）。 解：
每个像素点对应的熵H =log
2n =log 2256=8
R (D m ax )=0
bit/点
67
2帧图片的信息量I =2*N *H =2*2*10*8=3. 2*10bit
单位时间需要的信道容量由香农信道容量公式
C t =
I t
=
3. 2*10
60
7
5
=5. 3*10bit /s
C t =W log 2(1+SNR ) ⇒W =
C t log 2(1+SNR )
=
5. 3*10
5
log 2(1+1000)
≈5. 35*10
4
Hz