信息论课后题答案

2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中号。 身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：

设随机变量X代表女孩子学历 X x1（是大学生） x2（不是大学

）

P(X)

设随机变量Y代表女孩子身高

Y y1（身高>160cm）y 2（身高

已知：在女大学生中有75%是身高160厘米以上的 即：

0.5

0.5

0.25

0.75

(3) 试计算H(X)并写出X信源中可能有的所有符解： (1)

44

这个信源是平稳无记忆信源。因为有这些词语：“它

在任意时间而且不论以前发生过什么符号……” ．．．．．．．．．．．．．．．

(2)

H(X2)2H(X)2(0.4log0.40.6log0.6)1.942 bit/symbol

H(X3/X1X2)H(X3)p(xi)logp(xi)(0.4log0.40.6log0.6)0.971 bit/symbol

i

HlimH(XN/X1X2...XN1)H(XN)0.971 bit/symbol

N

(3)

H(X4)4H(X)4(0.4log0.40.6log0.6)3.884 bit/symbolX4的所有符号：

[***********][1**********]111

[***********][1**********]111

p(y1/x1)0.75 bit

2.10 一阶马尔可夫信源的状态图如下图所示。信

求：身高160厘米以上的某女孩是大学生的信息量

源X的符号集为{0, 1, 2}。

即：

(1) 求平稳后信源的概率分布；

p(x1)p(y1/x1)0.250.75

I(x1/y1)logp(x1/y1)loglog1.415 bi(2) 求信源的熵H∞。

p(y)0.5

1

t

2.4 设离散无记忆信源

Xx10x21x32x43，其发出

P(X)3/81/41/41/8

的信息为

( [***********][***********]11223210)，求

(1) 此消息的自信息量是多少？

(2) 此消息中平均每符号携带的信息量是多少？ 解：

(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：

311 p

848

14

25

6

解： (1)

p(e1)p(e1)p(e1/e1)p(e2)p(e1/e2)

p(e2)p(e2)p(e2/e2)p(e3)p(e2/e3)p(e)p(e)p(e/e)p(e)p(e/e)

3331313

p(e1)pp(e1)pp(e2)



p(e2)pp(e2)pp(e3)p(e3)pp(e3)pp(e1)p(e1)p(e2)p(e3)

p(e1)p(e2)p(e3)1p(e1)1/3

p(e2)1/3p(e)1/33

此消息的信息量是：Ilogp87.811 bit

(2) 此消息中平均每符号携带的信息量是：

I/n87.811/451.951 bit

2.9 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X), H(X3/X1X2)及H∞；

2

p(x1)p(e1)p(x1/e1)p(e2)p(x1/e2)pp(e1)pp(e2)(pp)/31/3



p(x2)p(e2)p(x2/e2)p(e3)p(x2/e3)pp(e2)pp(e3)(pp)/31/3p(x3)p(e3)p(x3/e3)p(e1)p(x3/e1)p(e3)pp(e1)(p)/31/3

12X0

P(X)1/31/31/3

(2)

Hp(ei)p(ej/ei)logp(ej/ei)

i

j3

3

(4)

参考上面的两个点数的排列，可以得出两个点数求

和的概率分布如下：

[1**********]112X[1**********]P(X)

[***********]6H(X)p(xi)logp(xi)

i

111

p(e p(e2/e1)logp(e2/e1)p(e3/e1)logp(e3/e1)1/e1)logp(e1/e1)

333

112.12 同时掷出两个正常的骰子，也就是各面呈现1

p(e1/e2)logp(e1/e2)p(e2/e2)logp(e2/e2)p(e3/e2)logp(e3/e2)

333的概率都为1/6，求： (5) 1p1110H((x)logp(x).6log0.60.40.4)0.971 bit/symbol p(e1/e)logp(e/e)p(e/e)logp(e/e)p(e/e)logp(e/e)233i1i323233333(1) 3311i“3和5同时出现”这事件的自信息；

[1**********]1

2log2log2log2log2loglog

[***********]36

3.274 bit/symbol

1p1111011((y)0.6.0.j logjplogpplog0plog2plogp/log(2) 1333333j

11

1.710 bit

plogpp两个点数的各种组合（无序）对的熵和平均信logp bit/symbol36

I(xi)logp(xi)log

11

p(xi)11

6636

息 量；

(4) 两个点数之和（即2, 3, „ , 12构成的子集） 的熵；

(5) 两个点数中至少有一个是1的自信息量。 解： (1)

11111

p(xi)

666618

3.1 设信源Xx1

x2通过一干扰信道，接P0.60.4(X)

收符号为Y = { y1, y2 }，信道转移矩阵为，求：

5614

1634 

1

I(xi)logp(xi)log4.170 bit

18量；

(1) 信源X中事件x1和事件x2分别包含的自信息(2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)

(2)

111

p(xi)

6636I(xi)logp(xi)log

的信息量；

1

5.170 bit36

(3) 信源X和信宿Y的信息熵；

(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。 解： 1)

I(x)logp(x)log0.60.737 bit1212

I(x)logp(x)log0.41.322 bi2222

(3)

两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

共有21种组合：

2)

51

0.40.664 13

p(y2)p(x1)p(y2/x1)p(x2)p(y2/x2)0.60.40.4

64

p(y1/x1)5/6

I(x1;y1)log2log20.474 bit

p(y1)0.6p(y1)p(x1)p(y1/x1)p(x2)p(y1/x2)0.6I(x1;y2)log2I(x2;y1)log2I(x2;y2)log2

p(y2/x1)1/6

log21.263 bit

p(y2)0.4p(y1/x2)1/4

log21.263 bit

p(y1)0.6p(y2/x2)3/4

log20.907 bit

p(y2)0.4

111

其中11，22，33，44，55，66的概率是

6636111

其他15个组合的概率是2

6618

11114) 

H(X)p(xi)logp(xi)6log15log4.337 bit/symbol

361818 36i

5)

Hlog2nlog2164 bit/symbolINH2.2510649106 bit 10

I9106

Ct1.5105 bit/s

t60

PX CtWlog1P

N

5

C1.510t

W15049 Hz

11000)Plog2(X

log1P

N

5.1 设信源

(1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1)

H(X)(xi1)log22p(xi)p

I(X;Y)H(X)H(X/Y)0.9710.7150.256 bit/sym 3.2 设二元对称信道的传递矩阵为2

3

13

1323 

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y),

H(Y/X)和I(X;Y)； pH(Y/X)p(x(yj/x(yj/xi)pi)logi)

(0.60.60.40.4)log210

66 664444输入概率分布；

0.715 bit/symbol

解： H(X)H(Y/X)H(Y)H(X/Y)

H(X/Y)H(X)H(Y/X)H(Y)1) 0.9710.7150.9710.715 bit/symbol

3311

H(X)p(xi)(log2log2)0.811 bit/symbol

4444iH(Y/X)p(xi)p(yj/xi)logp(yj/xi)

i

j

(2) 求该信道的信道容量及其达到信道容量时的55111133

ij

(0.2log20.20.19log20.190.18log20.180.17log20.170.15log20.150.1log20.10.01log20.01)2.609bit/symbol

xx3x4x5x6x7X7x

P(X)i1

0.20.190.180.170.150.10.01

(2)

[1**********]2

(lglglglglog210

[1**********]3

0.918 bit/symbol

3211

0.[1**********]2

p(y2)p(x1y2)p(x2y2)p(x1)p(y2/x1)p(x2)p(y2/x2)0.4167

4343

H(Y)p(yj)(0.5833log20.58330.4167log20.4167)0.980 bit/symbolp(y1)p(x1y1)p(x2y1)p(x1)p(y1/x1)p(x2)p(y1/x2)

j

(3)

I(X;Y)H(X)H(X/Y)H(Y)H(Y/X)

H(X/Y)H(X)H(Y)H(Y/X)0.8110.9800.9180.749 bit/symbolI(X;Y)H(X)H(X/Y)0.8110.7490.062 bit/symbol

2)

1122K/kip(xi)30.230.1930.1830.1730.1540.170.01 CmaxI(X;Y)logmH2)log100.082 bitsymbol2mi22i3333

3.141

p(x)i

H(X)H(X)2.6092

83.1%

R3.14K

5.2 对信源

3.19 在图片传输编二进制费诺码，计算编码效率。中，每帧约有

2.2510个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。

解：

6

x3x4x5x6x7

Xx1x2

P(X)0.20.190.180.170.150.10.01

解：

i

kip(xi)20.230.1930.1820.1730.1540.140.01i

2.74

H(X)H(X)2.609

95.2%

R2.74K

kip(xi)10.22(0.190.180.170.150.10.01)

5.3 对信源

x3x4x5x6x7编二Xx1x2

P(X)0.20.190.180.170.150.10.01

1.8

H(X)H(X)2.60991.4%

R1.8log23log2mL

进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解：

二进制哈夫曼码：

k

i

i

p(xi)20.220.1930.1830.1730.1540.140.01

2.72

H(X)H(X)2.609

95.9%

R2.72

三进制哈夫曼码：

2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中号。 身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：

设随机变量X代表女孩子学历 X x1（是大学生） x2（不是大学

）

P(X)

设随机变量Y代表女孩子身高

Y y1（身高>160cm）y 2（身高

已知：在女大学生中有75%是身高160厘米以上的 即：

0.5

0.5

0.25

0.75

(3) 试计算H(X)并写出X信源中可能有的所有符解： (1)

44

这个信源是平稳无记忆信源。因为有这些词语：“它

在任意时间而且不论以前发生过什么符号……” ．．．．．．．．．．．．．．．

(2)

H(X2)2H(X)2(0.4log0.40.6log0.6)1.942 bit/symbol

H(X3/X1X2)H(X3)p(xi)logp(xi)(0.4log0.40.6log0.6)0.971 bit/symbol

i

HlimH(XN/X1X2...XN1)H(XN)0.971 bit/symbol

N

(3)

H(X4)4H(X)4(0.4log0.40.6log0.6)3.884 bit/symbolX4的所有符号：

[***********][1**********]111

[***********][1**********]111

p(y1/x1)0.75 bit

2.10 一阶马尔可夫信源的状态图如下图所示。信

求：身高160厘米以上的某女孩是大学生的信息量

源X的符号集为{0, 1, 2}。

即：

(1) 求平稳后信源的概率分布；

p(x1)p(y1/x1)0.250.75

I(x1/y1)logp(x1/y1)loglog1.415 bi(2) 求信源的熵H∞。

p(y)0.5

1

t

2.4 设离散无记忆信源

Xx10x21x32x43，其发出

P(X)3/81/41/41/8

的信息为

( [***********][***********]11223210)，求

(1) 此消息的自信息量是多少？

(2) 此消息中平均每符号携带的信息量是多少？ 解：

(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：

311 p

848

14

25

6

解： (1)

p(e1)p(e1)p(e1/e1)p(e2)p(e1/e2)

p(e2)p(e2)p(e2/e2)p(e3)p(e2/e3)p(e)p(e)p(e/e)p(e)p(e/e)

3331313

p(e1)pp(e1)pp(e2)



p(e2)pp(e2)pp(e3)p(e3)pp(e3)pp(e1)p(e1)p(e2)p(e3)

p(e1)p(e2)p(e3)1p(e1)1/3

p(e2)1/3p(e)1/33

此消息的信息量是：Ilogp87.811 bit

(2) 此消息中平均每符号携带的信息量是：

I/n87.811/451.951 bit

2.9 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X), H(X3/X1X2)及H∞；

2

p(x1)p(e1)p(x1/e1)p(e2)p(x1/e2)pp(e1)pp(e2)(pp)/31/3



p(x2)p(e2)p(x2/e2)p(e3)p(x2/e3)pp(e2)pp(e3)(pp)/31/3p(x3)p(e3)p(x3/e3)p(e1)p(x3/e1)p(e3)pp(e1)(p)/31/3

12X0

P(X)1/31/31/3

(2)

Hp(ei)p(ej/ei)logp(ej/ei)

i

j3

3

(4)

参考上面的两个点数的排列，可以得出两个点数求

和的概率分布如下：

[1**********]112X[1**********]P(X)

[***********]6H(X)p(xi)logp(xi)

i

111

p(e p(e2/e1)logp(e2/e1)p(e3/e1)logp(e3/e1)1/e1)logp(e1/e1)

333

112.12 同时掷出两个正常的骰子，也就是各面呈现1

p(e1/e2)logp(e1/e2)p(e2/e2)logp(e2/e2)p(e3/e2)logp(e3/e2)

333的概率都为1/6，求： (5) 1p1110H((x)logp(x).6log0.60.40.4)0.971 bit/symbol p(e1/e)logp(e/e)p(e/e)logp(e/e)p(e/e)logp(e/e)233i1i323233333(1) 3311i“3和5同时出现”这事件的自信息；

[1**********]1

2log2log2log2log2loglog

[***********]36

3.274 bit/symbol

1p1111011((y)0.6.0.j logjplogpplog0plog2plogp/log(2) 1333333j

11

1.710 bit

plogpp两个点数的各种组合（无序）对的熵和平均信logp bit/symbol36

I(xi)logp(xi)log

11

p(xi)11

6636

息 量；

(4) 两个点数之和（即2, 3, „ , 12构成的子集） 的熵；

(5) 两个点数中至少有一个是1的自信息量。 解： (1)

11111

p(xi)

666618

3.1 设信源Xx1

x2通过一干扰信道，接P0.60.4(X)

收符号为Y = { y1, y2 }，信道转移矩阵为，求：

5614

1634 

1

I(xi)logp(xi)log4.170 bit

18量；

(1) 信源X中事件x1和事件x2分别包含的自信息(2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)

(2)

111

p(xi)

6636I(xi)logp(xi)log

的信息量；

1

5.170 bit36

(3) 信源X和信宿Y的信息熵；

(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。 解： 1)

I(x)logp(x)log0.60.737 bit1212

I(x)logp(x)log0.41.322 bi2222

(3)

两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

共有21种组合：

2)

51

0.40.664 13

p(y2)p(x1)p(y2/x1)p(x2)p(y2/x2)0.60.40.4

64

p(y1/x1)5/6

I(x1;y1)log2log20.474 bit

p(y1)0.6p(y1)p(x1)p(y1/x1)p(x2)p(y1/x2)0.6I(x1;y2)log2I(x2;y1)log2I(x2;y2)log2

p(y2/x1)1/6

log21.263 bit

p(y2)0.4p(y1/x2)1/4

log21.263 bit

p(y1)0.6p(y2/x2)3/4

log20.907 bit

p(y2)0.4

111

其中11，22，33，44，55，66的概率是

6636111

其他15个组合的概率是2

6618

11114) 

H(X)p(xi)logp(xi)6log15log4.337 bit/symbol

361818 36i

5)

Hlog2nlog2164 bit/symbolINH2.2510649106 bit 10

I9106

Ct1.5105 bit/s

t60

PX CtWlog1P

N

5

C1.510t

W15049 Hz

11000)Plog2(X

log1P

N

5.1 设信源

(1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1)

H(X)(xi1)log22p(xi)p

I(X;Y)H(X)H(X/Y)0.9710.7150.256 bit/sym 3.2 设二元对称信道的传递矩阵为2

3

13

1323 

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y),

H(Y/X)和I(X;Y)； pH(Y/X)p(x(yj/x(yj/xi)pi)logi)

(0.60.60.40.4)log210

66 664444输入概率分布；

0.715 bit/symbol

解： H(X)H(Y/X)H(Y)H(X/Y)

H(X/Y)H(X)H(Y/X)H(Y)1) 0.9710.7150.9710.715 bit/symbol

3311

H(X)p(xi)(log2log2)0.811 bit/symbol

4444iH(Y/X)p(xi)p(yj/xi)logp(yj/xi)

i

j

(2) 求该信道的信道容量及其达到信道容量时的55111133

ij

(0.2log20.20.19log20.190.18log20.180.17log20.170.15log20.150.1log20.10.01log20.01)2.609bit/symbol

xx3x4x5x6x7X7x

P(X)i1

0.20.190.180.170.150.10.01

(2)

[1**********]2

(lglglglglog210

[1**********]3

0.918 bit/symbol

3211

0.[1**********]2

p(y2)p(x1y2)p(x2y2)p(x1)p(y2/x1)p(x2)p(y2/x2)0.4167

4343

H(Y)p(yj)(0.5833log20.58330.4167log20.4167)0.980 bit/symbolp(y1)p(x1y1)p(x2y1)p(x1)p(y1/x1)p(x2)p(y1/x2)

j

(3)

I(X;Y)H(X)H(X/Y)H(Y)H(Y/X)

H(X/Y)H(X)H(Y)H(Y/X)0.8110.9800.9180.749 bit/symbolI(X;Y)H(X)H(X/Y)0.8110.7490.062 bit/symbol

2)

1122K/kip(xi)30.230.1930.1830.1730.1540.170.01 CmaxI(X;Y)logmH2)log100.082 bitsymbol2mi22i3333

3.141

p(x)i

H(X)H(X)2.6092

83.1%

R3.14K

5.2 对信源

3.19 在图片传输编二进制费诺码，计算编码效率。中，每帧约有

2.2510个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。

解：

6

x3x4x5x6x7

Xx1x2

P(X)0.20.190.180.170.150.10.01

解：

i

kip(xi)20.230.1930.1820.1730.1540.140.01i

2.74

H(X)H(X)2.609

95.2%

R2.74K

kip(xi)10.22(0.190.180.170.150.10.01)

5.3 对信源

x3x4x5x6x7编二Xx1x2

P(X)0.20.190.180.170.150.10.01

1.8

H(X)H(X)2.60991.4%

R1.8log23log2mL

进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解：

二进制哈夫曼码：

k

i

i

p(xi)20.220.1930.1830.1730.1540.140.01

2.72

H(X)H(X)2.609

95.9%

R2.72

三进制哈夫曼码：


相关文章

  • 大学几乎所有学科的课本答案[2]

    • 大学几乎所有学科的课本答案! 来源: 任明嘉的日志 经济金融 [PDF格式]<会计学原理>同步练习题答案 [Word格式]<成本会计>习题及答案(自学推荐,23页) [Word格式]<成本会计>配套习题集 ...查看


  • 沟通的基本原理课后测试

    • 课后测试 如果您对课程内容还没有完全掌握,可以点击这里再次观看. 观看课程 测试成绩:100.0分. 恭喜您顺利通过考试! 单选题 1. 下列关于人际沟通.工作沟通.商务沟通三者关系的说法,正确的是: √ A B C D人际沟通的范围一定包 ...查看


  • 如何向上司汇报 课后测试

    • 如何向上司汇报 课后测试 如果您对课程内容还没有完全掌握,可以点击这里再次观看. 测试成绩:80.0分. 恭喜您顺利通过考试! 单选题 1. 以下哪项是部门经理,而不是高层管理者应该掌握的信息: √ A 公司的重大人事调整事项 B 公司发展 ...查看


  • 福建省应急管理培训平台 课后练习(上)

    • 福建省应急管理培训平台 课后练习(上) 一.<总体国家安全观>课后测验 单选题: 1. ()是应急预案体系的总纲,是政府组织应对突发事件的总体制度安排,由县级以上各级人民政府制定. A 总体应急预案 B 部门应急预案 C 地方应 ...查看


  • 金融消费者权益保护工作课后测试

    • 金融消费者权益保护工作 课后测试测试成绩:100.0 分.恭喜您顺利通过考试! 单选题 1. 金融机构在向消费者推荐产品时, 片面夸大产品收益. 隐瞒或模糊产品风险, 这属于侵害消费者的( ) √ A B C D 财产安全权 知情权 自主选 ...查看


  • 时代光华[双赢管理模式]课后试题答案

    • 双赢管理模式 课后测试 测试成绩:100.0分.恭喜您顺利通过考试! 单选题 1. ()是战略适应产生的原因之一. √ A 保护性文化 B 技术的迅猛发展 C 严格的界限 D 缓冲区域 正确答案: B 2. 战略适应产生的推动力有(). √ ...查看


  • 有效沟通技巧课后测试题答案

    • 课前测试 说明:课前测试是测试您对课程内容的初期掌握情况,带着问题参与学习,测试结果不计入考试成绩. 单选题 1. FAB原则的含义不包括 √ A B C D 属性 利益 作用 互补 正确答案: D 2. 沟通中不看中结果的是 √ A B ...查看


  • 正确认识市场管理流程课后测试

    • 课后测试如果您对课程内容还没有完全掌握,可以点击这里再次观看. 观看课程 测试成绩:100.0 分.恭喜您顺利通过考试! 单选题 1. 如何解决很多公司在市场管理方面存在的一些主要问题.√ A B C D 在公司里面形成一套比较完善的管理制 ...查看


  • C11016证券投资顾问业务的合规管理及其典型案例课后测试答案

    • C11016证券投资顾问业务的合规管理及其典型案例课后测试答案 试 题 一.单项选择题 1. 按照<证券投资顾问业务暂行规定>的要求,证券投资顾问业务档案的保存期限自协议终止之日起不得少于( )年. A. 3 B. 5 C. 7 ...查看


  • 大学课后题答案

    • 不用买参考书了!大学课本答案大全!--爱死你了!( 为什么大四才发现啊) 2008-12-18 16:50 | (分类:) 注册可用 公共课程 http://www.10xiao.com/forum-6-1.html 新视野大学英语读写教程 ...查看


热门内容