当前位置:首页 >> 理学 >>

信息论与编码期末考试题----学生复习用1


(一)
一、判断题.
1. 当随机变量 X 和 Y 相互独立时,条件熵 H ( X | Y ) 等于信源熵 H (X ) . ( )



2. 由 于 构 成 同 一 空 间 的 基 底 不 是 唯 一 的 , 所 以 不 同 的 基 底 或 生 成 矩 阵 有 可 能 生 成 同 一 码 集 . ) 3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( ) 4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信 . ( ) 5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ( ) 6. 连续信源和离散信源的熵都具有非负性. ( ) 7. 信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确 定性就越小,获得的信息量就越小. 8. 汉明码是一种线性分组码. 9. 率失真函数的最小值是 0 . 10.必然事件和不可能事件的自信息量都是 0 . ( ) ( ) ( )

二、填空题
1、码的检、纠错能力取决于 2、信源编码的目的是

.
;信道编码的目的是

. .

3、把信息组原封不动地搬到码字前 k 位的 (n, k ) 码就叫做 4、香农信息论中的三大极限定理是


N N



.

5、设信道的输入与输出随机序列分别为 X 和 Y ,则 I ( X , Y ) ? NI ( X , Y ) 成立的

条件

.. . .
?0 a ? 1 ? ? X ? ? 0 ? ? ?1 / 2 1 / 2 ? ,其失真矩阵 D ? ? a 0 ? ,则该信源的 Dmax = ? ? ? P( X ) ? ? ?

6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是 7、某二元信源 ?

三、计算题.
1 、 某 信 源 发 送 端 有 2 种 符 号 xi (i ? 1,2) , p( x1 ) ? a ; 接 收 端 有 3 种 符 号 yi ( j ? 1,2,3) , 转 移 概 率 矩 阵 为

?1/ 2 1/ 2 0 ? P?? ?. ?1/ 2 1/ 4 1/ 4 ?
(1) 计算接收端的平均不确定度 H (Y ) ; (2) 计算由于噪声产生的不确定度 H (Y | X ) ; (3) 计算信道容量以及最佳入口分布.

1-p p/2

1-p

0
p/2

1

p/2 p/2

p/2 p/2

2、一阶马尔可夫信源的状态转移图如右图所示,
2

信源 X 的符号集为 {0,1,2} .

(1)求信源平稳后的概率分布; (2)求此信源的熵; (3)近似地认为此信源为无记忆时,符号的概率分布为平 稳分布.求近似信源的熵 H (X ) 并与 H ? 进行比较.

1-p 图2-13

3、设码符号为 X ? {0,1,2},信源空间为 ?

s6 s7 s8 ? ? s1 s2 s3 s4 s5 ? 试构造一种三元紧致码. ?0.4 0.2 0.1 0.1 0.05 0.05 0.05 0.05?

?1 ?0 4、设二元 (7,4) 线性分组码的生成矩阵为 G ? ? ?1 ? ?1

1 0 1 0 0 0? 1 1 0 1 0 0? ?. 1 1 0 0 1 0? ? 0 1 0 0 0 1?

(1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式; (2)若接收矢量 v ? (0001011 ) ,试计算出其对应的伴随式 S 并按照最小距离译码准则 试着对其译码.

(二)
一、填空题
1、信源编码的主要目的是 ,信道编码的主要目的是 2、信源的剩余度主要来自两个方面,一是 ,二是 3、三进制信源的最小熵为 ,最大熵为 。 4、无失真信源编码的平均码长最小理论极限制为 5、当 时,信源与信道达到匹配。 6、根据信道特性是否随时间变化,信道可以分为 和 7、根据是否允许失真,信源编码可分为 和
2

。 。 。 。 。 时,信源具有最大熵,其值为

8、若连续信源输出信号的平均功率为 ? ,则输出信号幅度的概率密度是 值 。 9、在下面空格中选择填入数学符号“ ?, ?, ?, ? ”或“ ? ” (1)当 X 和 Y 相互独立时,H(XY) (2) H 2 ? X ? ?
H ? X1 X 2 ? H3 ? X ? ? 2 3 (3)假设信道输入用 X 表示,信道输出用 Y 表示。在无噪有损信道中,H(X/Y) H(Y/X) 0,I(X;Y) H(X)。

H(X)+H(X/Y) H ? X1 X 2 X 3 ?

H(Y)+H(X)。

0,

二、若连续信源输出的幅度被限定在【2,6】区域内,当输出信号的概率密度是均匀分布时,计算该信源的相对熵,并说明
该信源的绝对熵为多少。

三、已知信源
? S ? ? s1 s2 s3 s4 s5 s6 ? ? P ? ? ?0.2 0.2 0.2 0.2 0.1 0.1? ? ? ? ?
(1)用霍夫曼编码法编成二进制变长码; 分) (6 (2)计算平均码长 L ;(4 分) (3)计算编码信息率 R? ;(2 分) (4)计算编码后信息传输率 R ;(2 分) (5)计算编码效率 ? 。 分) (2 四、某信源输出 A、B、C、D、E 五种符号,每一个符号独立出现,出现概率分别为 1/8、1/8、1/8、1/2、1/8。如果符号的

码元宽度为 0.5 ? s 。计算: (1)信息传输速率 Rt 。 分) (5 (2)将这些数据通过一个带宽为 B=2000kHz 的加性白高斯噪声信道传输,噪声的单边功率谱密度为 n0 ? 10?6 W 正确传输这些数据最少需要的发送功率 P。 分) (5 五、一个一阶马尔可夫信源,转移概率为 P ? S1 | S1 ? ? (1) 画出状态转移图。(4 分) (2) 计算稳态概率。(4 分) (3) 计算马尔可夫信源的极限熵。(4 分) (4) 计算稳态下 H1 , H 2 及其对应的剩余度。(4 分) 六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。
X
12 12 12 12 12 12 12

Hz

。试计算

2 1 , P ? S2 | S1 ? ? , P ? S1 | S2 ? ? 1, P ? S2 | S2 ? ? 0 。 3 3

Y

12

七、设 X、Y 是两个相互独立的二元随机变量,其取 0 或 1 的概率相等。定义另一个二元随机变量 Z=XY(一般乘积)。试计算 (1) H ? X ? , H ? Z ? ; (2) H ? XY ? , H ? XZ ? ; (3) H ? X | Y ? , H ? Z | X ? ; (4) I ? X ; Y ? , I ? X ; Z ? ; 八、设离散无记忆信源的概率空间为 ? 输概率如下图所示。
56
x1
16

? X ? ? x1 x2 ? ??? ? ,通过干扰信道,信道输出端的接收符号集为 Y ? ? y1 , y2 ? ,信道传 ? P ? ? 0.8 0.2 ?

y1

34
x2
14

y2

(1) 计算信源 X 中事件 x1 包含的自信息量; (2) 计算信源 X 的信息熵;

(3) 计算信道疑义度 H ? X | Y ? ; (4) 计算噪声熵 H ?Y | X ? ; (5) 计算收到消息 Y 后获得的平均互信息量。

《信息论基础》参考答案
一、填空题 1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。 3、三进制信源的最小熵为 0,最大熵为 log 23 bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵(或 H(S)/logr= Hr(S)) 。 5、当 R=C 或(信道剩余度为 0)时,信源与信道达到匹配。 6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。 7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为 ? ,则输出信号幅度的概率密度是高斯分布或正态分布或 f ? x ? ?
2

1 2??

?

x2 2? 2

e

时,信源

1 具有最大熵,其值为值 log 2? e? 2 。 2

9、在下面空格中选择填入数学符号“ ?, ?, ?, ? ”或“ ? ” (1)当 X 和 Y 相互独立时,H(XY)=H(X)+H(X/Y)=H(Y)+H(X)。 H ? X1 X 2 X 3 ? H ? X1 X 2 ? (2) H 2 ? X ? ? ? H3 ? X ? ? 2 3 (3)假设信道输入用 X 表示,信道输出用 Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。 二、若连续信源输出的幅度被限定在【2,6】区域内,当输出信号的概率密度是均匀分布时,计算该信源的相对熵,并说明该 信源的绝对熵为多少。
?1 ? ,2 ? x ? 6 Q f ? x? ? ? 4 ?0, 其它 ?
? 相对熵h ? x ? ? ? ? f ? x ? log f ? x ? dx
6 2

=2bit/自由度 该信源的绝对熵为无穷大。 三、已知信源

? S ? ? s1 s2 s3 s4 s5 s6 ? ? P ? ? ?0.2 0.2 0.2 0.2 0.1 0.1? ? ? ? ?
(1)用霍夫曼编码法编成二进制变长码; 分) (6 (2)计算平均码长 L ;(4 分) (3)计算编码信息率 R? ;(2 分) (4)计算编码后信息传输率 R ;(2 分) (5)计算编码效率 ? 。 分) (2 (1)

S1 S2 S3 S4 S5 S6

0.2 0.2 0.2 0.2 0.1 0.1

0 1 0 0 1 0 1 1

0 1.0 1

编码结果为:

S1 ? 00 S 2 ? 01 S3 ? 100 S 4 ? 101 S5 ? 110 S 6 ? 111
(2) L ? ? Pi ?i ? 0.4 ? 2 ? 0.6 ? 3 ? 2.6 码元
i ?1 6

符号

(3) R ? ? L log r=2.6 bit (4) R ? (5) ? ?
H ?S ? L
H ?S ? L log r

符号

?
?

2.53 其中, H ? S ? ? H ? 0.2,0.2,0.2,0.2,0.1,0.1 ? ?2.53 bit ? 0.973 bit 符号 码元 2.6
H ?S ? L ? 0.973

四、某信源输出 A、B、C、D、E 五种符号,每一个符号独立出现,出现概率分别为 1/8、1/8、1/8、1/2、1/8。如果符号的 码元宽度为 0.5 ? s 。计算: (1)信息传输速率 Rt 。 (2)将这些数据通过一个带宽为 B=2000kHz 的加性白高斯噪声信道传输,噪声的单边功率谱密度为 n0 ? 10?6 W Hz 。试计算 正确传输这些数据最少需要的发送功率 P。 解:
1 (1) Rt ? ? H ? X ? ? H X ? Y ? t?
H ?X ? ? ? 1 1 1 1 log ? 4 ? log 8 8 2 2 1 1 ? log 8 ? log 2 2 2 3 1 ? log 2 ? log 2 2 2 ? 2 log 2 ? 2bit 2bit Rt ? ? 4 ? 106 bps 0.5? s

? ?

P ? ? 4 ? 106 ? 2 ? 106 log ?1 ? ?6 6 ? ? 10 ? 2 ? 10 ? P (2) 1 ? ? 22 2 P ? 6W

五、一个一阶马尔可夫信源,转移概率为

2 1 P ? S1 | S1 ? ? , P ? S2 | S1 ? ? , P ? S1 | S2 ? ? 1, P ? S2 | S2 ? ? 0 。 3 3
(1) 画出状态转移图。 (2) 计算稳态概率。 (3) 计算马尔可夫信源的极限熵。 (4) 计算稳态下 H1 , H 2 及其对应的剩余度。 解:(1)

1 3

S1
1
(2)由公式 P ? Si ? ?

S2

? P?S
2 j ?1

i

| S j ?P ? S j ?

2 2 ? P ? S1 ? ? ? P ? S1 | Si ? P ? Si ? ? P ? S1 ? ? P ? S 2 ? ? 3 i ?1 ? 2 ? 1 P ? S 2 ? ? ? P ? S 2 | Si ? P ? Si ? ? P ? S1 ? 有? 3 i ?1 ? ? P ? S1 ? ? P ? S 2 ? ? 1 ? ?

3 ? ? P ? S1 ? ? 4 ? 得? ?P ? S ? ? 1 2 ? ? 4
(3)该马尔可夫信源的极限熵为:

H ? ? ??? P ? Si ? P ? S j | Si ? log P ? S j | Si ?
2 2 i ?1 j ?1

3 2 2 3 1 1 ? ? ? ? log ? ? ? log 4 3 3 4 3 3 1 1 ? ? 0.578 ? ? 1.599 2 4 ? 0.681bit 符号 ? 0.472 nat 符号 ? 0.205 hart 符号
(4)在稳态下:
2 3 1 1? ?3 ? ?? P ? xi ? log P ? xi ? ? ? ? ? log ? ? log ? ? 0.811bit 符号 4 4 4? ?4 i ?1

H 2 ? H ? ? 0.205 hart 符号 ? 0.472 nat 符号 ? 0.681bit 符号
对应的剩余度为

?1 ? 1 ?

H1 0.811 ? 1? ? 0.189 H0 ? 1 ? 1 ? 1 ? 1 ?? ? ? log ? ? ? log ? ? ? ? 2 ? 2 ? 2 ? 2 ?? H2 0.681 ? 1? ? 0.319 H0 ? 1 ? 1 ? 1 ? 1 ?? ? ? log ? ? ? log ? ? ? ? 2 ? 2 ? 2 ? 2 ??
12 12 12 12 12 12 12

?2 ? 1 ?

六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。
X

Y

12

解:信道传输矩阵如下

PY | X

?1 ?2 ? ?0 ? ?? ?0 ? ?1 ? ?2

1 2 1 2 0 0

0 1 2 1 2 0

? 0? ? 0? ? 1? ? 2? 1? ? 2?

可以看出这是一个对称信道,L=4,那么信道容量为

?1 1 ? C ? log 4 ? H ? , , 0, 0 ? ?2 2 ? ? log L ? ? p ? y j | xi ? log p ? y j | xi ?
L j ?1

1 1 ? log 4 ? 2 ? log 2 2 ? 1bit
七、设 X、Y 是两个相互独立的二元随机变量,其取 0 或 1 的概率相等。定义另一个二元随机变量 Z=XY(一般乘积)。试计算 (1) H ? X ? , H ? Z ? ; (2) H ? XY ? , H ? XZ ? ; (3) H ? X | Y ? , H ? Z | X ? ; (4) I ? X ; Y ? , I ? X ; Z ? ; 解:(1) Z P(Z) 0 3/4 1 1/4

?1 1? H ? X ? ? H ? , ? ? 1bit ?2 2?
?3 1? H (2) ? H ? , ? ? 0.8113bit ?4 4?
(2) H ? XY ? ? H ? X ? ? H ?Y ? ? 1 ? 1 ? 2 bit 对

1 1 ?1 1? H ? XZ ? ? H ? X ? ? H ? Z | X ? ? 1 ? H ?1,0 ? ? H ? , ? ? 1.5 bit 对 2 2 ?2 2?
(3) H ? X | Y ? ? H ? X ? ? 1bit

H ?Z | X ? ?

1 1 ?1 1? H ?1, 0 ? ? H ? , ? ? 0.5bit 2 2 ?2 2?

(4) I ? X , Y ? ? H ?Y ? ? H ?Y | X ? ? H ?Y ? ? H ?Y ? ? 0

I ? X , Z ? ? H ? Z ? ? H ? Z | X ? ? 0.8113 ? 0.5 ? 0.3113bit
八、设离散无记忆信源的概率空间为 ? 输概率如下图所示。
56
x1
16

? X ? ? x1 x2 ? ??? ? ,通过干扰信道,信道输出端的接收符号集为 Y ? ? y1 , y2 ? ,信道传 ? P ? ? 0.8 0.2 ?

y1

34
x2
14

y2

(6) 计算信源 X 中事件 x1 包含的自信息量; (7) 计算信源 X 的信息熵; (8) 计算信道疑义度 H ? X | Y ? ; (9) 计算噪声熵 H ?Y | X ? ; (10) 计算收到消息 Y 后获得的平均互信息量。 解: (1) I ? x1 ? ? ? log 0.8 ? 0.322bit ? 0.0969hart ? 0.223nat (2) H ? X ? ? H ? 0.8,0.2 ? ? 0.722 bit 符号 ? 0.5 nat 符号 ? 0.217 hart 符号 (3)转移概率: x x1 x2 y y1 5/6 3/4 y2 1/6 1/4

联合分布: x x1 x1 y y1 2/3 3/20 49/60 y2 12/15 1/20 11/60 4/5 1/5 1/5

?2 2 3 1 ? H ? XY ? ? H ? , , , ? ? 3 15 20 20 ? ? 1.404 bit 符号 ? 0.973 nat 符号 ? 0.423 hart 符号
H ?Y ? ? H ? 49 / 60,11/ 60 ? ? 0.687 bit 符号 ? 0.476 nat 符号 ? 0.207 hart 符号 H ? X | Y ? ? H ? XY ? ? H ?Y ? ? 0.717 bit 符号 ? 0.497 nat 符号 ? 0.216 hart 符号
(4)

H ?Y | X ? ? H ? XY ? ? H ? X ? ? 0.682 bit 符号 ? 0.473 nat 符号 ? 0.205 hart 符号
(5)

I ? X ;Y ? ? H ? X ? ? H ? X | Y ? ? 0.00504 bit 符号 ? 0.00349 nat 符号 ? 0.00152 hart 符号

(三)
一、 选择题
x2 x3 x4 ? ?X ? ? x 1、有一离散无记忆信源 X,其概率空间为 ? ? ? ? 1 ? ,则其无记忆二次扩展信源的熵 ? P ? ?0.5 0.25 0.125 0.125 ?

H(X2)=( ) A、1.75 比特/符号; C、9 比特/符号;

B、3.5 比特/符号; D、18 比特/符号。

0 0 0 0 ? ? P( y1 / x1 ) P( y2 / x1 ) ? 0 0 P( y3 / x2 ) P( y4 / x2 ) 0 0 ? ,其中 P( y j / xi ) 两两不相等,则 2、信道转移矩阵为 ? ? ? 0 0 0 0 P( y5 / x3 ) P( y6 / x3 ) ? ? ?

该信道为 A、一一对应的无噪信道 B、具有并归性能的无噪信道 C、对称信道 D、具有扩展性能的无噪信道 3、设信道容量为 C,下列说法正确的是: ( A、互信息量一定不大于 C B、交互熵一定不小于 C C、有效信息量一定不大于 C D、条件熵一定不大于 C 4、在串联系统中,有效信息量的值( ) A、趋于变大 B、趋于变小 C、不变 D、不确定



5、若 BSC 信道的差错率为 P,则其信道容量为: ( A、
H ? p?



p ? ? 1? p log 2 ??1 ? p ? p ? ? ? ? ? B、

C、

1? H ? p?

D、 ? P log( P) 二、填空题 1、(7,4)线性分组码中,接受端收到分组 R 的位数为____ ,伴随式 S 可能的值有____ 种,差错图案 e 的长度为 ,系统生成矩阵 Gs 为____ 行的矩阵,系统校验矩阵 Hs 为____ 行的矩 阵,Gs 和 Hs 满足的关系式是 。 2、一张 1024×512 像素的 16 位彩色 BMP 图像能包含的最大信息量为 。 3、香 农 编 码 中 , 概 率 为 式
? 0.25 0.5 0.25 ? 3、设有一个信道,其信道矩阵为 ? 0.25 0.25 0.5 ? ,则它是 ? ? ? 0.5 0.25 0.25 ? ? ?
P( xi )

的 信 源 符 号 xi 对 应 的 码 字 Ci 的 长 度 Ki 应 满 足 不 等 。 信道(填对称,准对称) ,其信

道容量是

比特/信道符号。
?1 ?4 y2 ? ,信道转移矩阵为 ? ?3 ?4 ? 3? 4? ? 1? 4? ?

? X ? ? x1 x2 ? Y ? ? y1 三、 ? ? ? ?0.5 0.5? ,通过一个干扰信道,接受符号集为 ? P( X ) ? ? ?

试求(1)H(X),H(Y),H(XY); (2) H(Y|X),H(X|Y); (3) I(Y;X)。 (4)该信道的容量 C (5)当平均互信息量达到信道容量时,接收端 Y 的熵 H(Y) 。 计算结果保留小数点后 2 位,单位为比特/符号。 四、简述平均互信息量的物理意义,并写出对应公式。 五、 假设英文字母表(n=26),密钥 k=abc, 当明文 m=familycome 时, 使用 Vigenere 密码算法后得到的密文 c=? 请写出具体的步骤。 六、设有离散无记忆信源,其概率分布如下:
?x ? X ? ? 1 ? ? ? ?1 ? P( X ) ? ? ?2 x2 1 4 x3 1 8 x4 1 16 x5 1 32 x6 1 64 x7 ? ? 1? 64 ? ?

对其进行费诺编码,写出编码过程,求出信源熵、平均码长和编码效率。

七、信道编码
?1 ?0 Gs ? ? 现有生成矩阵 ?0 ? ?0 0 0 0 1 1 1? 1 0 0 1 1 0? ? 0 1 0 0 1 1? ? 0 0 1 1 0 1?

1.

求对应的系统校验矩阵 Hs。

2 求该码字集合的最小码字距离 d、最大检错能力 lmax 、最大纠错能力 t max 。 2. 填写下面的 es 表 e 0000000 0000001 0000010 0000100 0001000 0010000 0100000 1000000 s

? 4. 现有接收序列为 r ? (1100100) ,求纠错译码输出 c 。 5. 5. 画出该码的编码电路

(四)
四、简答题 1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。 2. 简单介绍哈夫曼编码的步骤 五、计算题

?4 2 1? ? ? 1. 某信源含有三个消息,概率分别为 p(0)=0.2,p(1)=0.3,p(2)=0.5,失真矩阵为 D ? 0 3 2 。 ? ? ?2 0 1? ? ?
求 Dmax、Dmin 和 R (Dmax)。

?1 ?3 2. 设对称离散信道矩阵为 P ? ? ?1 ?6 ?

1 3 1 6

1 6 1 3

1? 6? ? ,求信道容量 C。 1? 3? ?

3. 有一稳态马尔可夫信源,已知转移概率为 p(S1/ S1)= 2/3,p(S1/ S2)= 1。求: (1) 画出状态转移图和状态转移概率矩阵。 (2) 求出各状态的稳态概率。 (3) 求出信源的极限熵。

(五)
一、填空题
(1) 1948 年,美国数学家 (2) 必然事件的自信息是 。 。 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。

(3) 离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的

(4) 对于离散无记忆信源,当信源熵有最大值时,满足条件为__ _。 (5) 对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是 。

(6) 已知某线性分组码的最小汉明距离为 3,那么这组码最多能检测出______个码元错误,最多能纠正___个码元错误。 (7) 设有一离散无记忆平稳信道,其信道容量为 C,只要待传送的信息传输率 R__ __C(大于、小于或者等于) , 则存在一种编码,当输入序列长度 n 足够大,使译码错误概率任意小。 (8) 平均错误概率不仅与信道本身的统计特性有关,还与___ __________和___ ___有关

二、判断题
(1) 信息就是一种消息。 ( ) (2) 信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。 ( ) (3) 概率大的事件自信息量大。 (4) 互信息量可正、可负亦可为零。 ( ( ) )

(5) 信 源 剩 余 度 用 来 衡 量 信 源 的 相 关 性 程 度 , 信 源 剩 余 度 大 说 明 信 源 符 号 间 的 依 赖 关 系 较 小 。 ( ) ) )

(6) 对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。 ( (7) 非奇异码一定是唯一可译码,唯一可译码不一定是非奇异码。 (

(8) 信 源 变 长 编 码 的 核 心 问 题 是 寻 找 紧 致 码 ( 或 最 佳 码 ), 霍 夫 曼 编 码 方 法 构 造 的 是 最 佳 码 。 ( ) ( )

(9)信息率失真函数 R(D)是关于平均失真度 D 的上凸函数.

三、居住在某地区的女孩中有 25%是大学生,在女大学生中有 75%是身高 1.6 米以上的,而女孩中身高 1.6 米以上的占总数
的一半。 假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 I(A|B)=-log0.375=1.42bit P(A)=0.25 p(B)=0.5 p(B|A)=0.75

五、.黑白气象传真图的消息只有黑色和白色两种,求:
1) 黑色出现的概率为 0.3,白色出现的概率为 0.7。给出这个只有两个符号的信源 X 的数学模型。假设图上黑白消息出现前 后没有关联,求熵 H ? X ? ; 2) 假设黑白消息出现前后有关联,其依赖关系为 求其熵 H ? ? X ? 。 3)分别求上述两种信源的冗余度,比较它们的大小并说明其物理意义。 , , , ,

六、.信源空间为
x2 x3 x4 x5 x6 x7 ? X ? ? x1 ? P( X ) ? ? ?0.2 0.19 0.18 0.17 0.15 0.1 0.01 ? ? ?
编码效率(要求有编码过程) 。

? ? ,试分别构造二元香农码和二元霍夫曼码,计算其平均码长和 ?

L ? ? p(ai )li ? 3.14
i ?1

7

R?

H ( X ) 2.61 ? ? 0.831 3.14 L

? ? p ( x1 ) ? ?1 / 2 1 / 3 1 / 6 ? ? 七.设有一离散信道,其信道传递矩阵为 ?1 / 6 1 / 2 1 / 3? ,并设 ? p( x2 ) ? ? ? ? ? ?1 / 3 1 / 6 1 / 2? ? ? ? p( x ) ? 3 ? ?

1 4 1 ,试分别按最大后验概率准则与最大似然译码 2 1 4

准则确定译码规则,并计算相应的平均错误概率。1)最小似然译码准则下,有,

2) (最大后验概率准则下,有,

八.二元对称信道如图。

1)若 p?0? ?

1 3 , p?1? ? ,求 H ? X ? 、 H ? X | Y ? 和 I ? X ; Y ? ; 4 4
2)求该信道的信道容量。

解:1)共6分

H ? X | Y ? ? 0.749 bit / 符号

2) ,

,此时输入概率分布为等概率分布。

?0 0 0 1 1 1? 九、设一线性分组码具有一致监督矩阵 H ? ?0 1 1 0 0 1? ? ? ?1 0 1 0 1 1? ? ?
1)求此分组码 n=?,k=?共有多少码字? 2)求此分组码的生成矩阵 G。 3)写出此分组码的所有码字。 4)若接收到码字(101001) ,求出伴随式并给出翻译结果。 解:1)n=6,k=3,共有8个码字。 (3分) 2)设码字

? C ? ?C5C4C3C2C1C0 ?

由 HC ? 0 得
T T

? C2 ? C1 ? C0 ? 0 ? ? C4 ? C3 ? C0 ? 0 ?C ? C ? C ? C ? 0 3 1 0 ? 5
令监督位为

(3分)

?C2C1C0 ? ,则有
?C2 ? C5 ? C3 ? ?C1 ? C5 ? C4 ?C ? C ? C 4 3 ? 0

(3分)

生成矩阵为

?1 0 0 1 1 0? ?0 1 0 0 1 1 ? ? ? ?0 0 1 1 0 1 ? ? ?

(2分)

3)所有码字为000000,001101,010011,011110,100110,101011,110101,111000。 (4分) 4)由 S ? HR 得
T T

S ? ?101? , (2分)该码字在第5位发生错误, (101001)纠正为(101011) ,即译码为(101001) (1分)

(六)
一、概念简答题 1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同?

一、 1.答:平均自信息为

表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。

平均互信息

表示从 Y 获得的关于每个 X 的平均信息量,也表示发 X 前后 Y 的平均不确定性减少的量,还表示通信前后整 个系统不确定性减少的量。
2.简述最大离散熵定理。对于一个有 m 个符号的离散信源,其最大熵是多少?
2.答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。

最大熵值为



3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关 系?
3.答:信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所 对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数,是信道传递概率的 U 型凸函数。
4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。
4.答:通信系统模型如下:

数据处理定理为:串联信道的输入输出 X、Y、Z 组成一个马尔可夫链,且有 一般只会增加信息的损失。



。说明经数据处理后,

5.写出香农公式,并说明其物理意义。当信道带宽为 5000Hz,信噪比为 30dB 时求信道容量。

5.答:香农公式为

,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。





,则

6.解释无失真变长信源编码定理。

6.答:只要

,当 N 足够长时,一定存在一种无失真编码。

7.解释有噪信道编码定理。

7.答:当 R<C 时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小

8.什么是保真度准则?对二元信源
8.答:1)保真度准则为:平均失真度不大于允许的失真度。

,其失真矩阵

,求 a>0 时率失真函数的





2)因为失真矩阵中每行都有一个 0,所以有

,而



二、综合题 1.黑白气象传真图的消息只有黑色和白色两种,求: 1) 黑色出现的概率为 0.3,白色出现的概率为 0.7。给出这个只有两个符号的信源 X 的数学模型。假设图上黑白消息出现前 后没有关联,求熵 ;

2) 假设黑白消息出现前后有关联, 其依赖关系为:







, 求其熵



2.二元对称信道如图。



1)若



,求





2)求该信道的信道容量和最佳输入分布。

3.信源空间为

, 试分别构造二元和三元霍夫曼码, 计算其平均码长和编码效率。

4.设有一离散信道,其信道传递矩阵为 规则,并计算相应的平均错误概率。

,并设

,试分别按最小错误概率准则与最大似然译码准则确定译码

5.5.已知一(8,5)线性分组码的生成矩阵为



求:1)输入为全 00011 和 10100 时该码的码字;2)最小码距。 6.设某一信号的信息传输率为 5.6kbit/s,在带宽为 4kHz 的高斯信道中传输,噪声功率谱 NO=5×10-6mw/Hz。试求: (1)无差错传输需要的最小输入功率是多少? (2)此时输入信号的最大连续熵是多少?写出对应的输入概率密度函数的形式。

答案
二、综合题

1.答:1)信源模型为

2)由





2.答:1)

2)

,最佳输入概率分布为等概率分布。

3.答:1)二元码的码字依序为:10,11,010,011,1010,1011,1000,1001。

平均码长

,编码效率

2)三元码的码字依序为:1,00,02,20,21,22,010,011。

平均码长

,编码效率

4.答:1)最小似然译码准则下,有



2)最大错误概率准则下,有



5.答:1)输入为 00011 时,码字为 00011110;输入为 10100 时,码字为 10100101。

2)

6.答:1)无错传输时,有





2)在

时,最大熵

对应的输入概率密度函数为 (七) 一、名词解释(25 道) 1、 “本体论”的信息(P3) 2、 “认识论”信息(P3) 3、离散信源(11) 4、自信息量(12) 5、离散平稳无记忆信源(49) 6、马尔可夫信源(58) 7、信源冗余度 (66) 8、连续信源 (68) 9、信道容量 (95) 10、强对称信道 (99) 11、对称信道 (101-102)12、多符号离散信道(109) 13、连续信道 (124) 14、平均失真度 (136) 15、实验信道 (138) 16、率失真函数 (139) 17、信息价值率 (163) 18、游程序列 (181) 19、游程变换 (181) 20、L-D 编码(184) 21、冗余变换 (184) 、 22、BSC 信道 (189) 23、码的最小距离 (193)24、线性分组码 (195) 25、循环码 (213) 二、填空(100 道) 1、 在认识论层次上研究信息的时候,必须同时考虑到 形式、含义和效用 三个方面的因素。 2、 1948 年,美国数学家 香农 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。

3、 按照信息的性质,可以把信息分成 语法信息、语义信息和语用信息 。 4、 按照信息的地位,可以把信息分成 客观信息和主观信息 。 5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 6、 信息的 可度量性 是建立信息论的基础。 7、 统计度量 是信息度量最常用的方法。 8、 熵 是香农信息论最基本最重要的概念。 9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 17、离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵, H ? ? N ?? 。 19、对于 n 元 m 阶马尔可夫信源,其状态空间共有 nm 个不同的状态。 20、一维连续随即变量 X 在[a,b]区间内均匀分布时,其信源熵为 log2(b-a) 。

趋于变小



lim H ( X N / X 1 X 2 ? X N ?1 )

1 log 2 2?eP 21、平均功率为 P 的高斯分布的连续信源,其信源熵,Hc(X)= 2 。
22、对于限峰值功率的 N 维连续信源,当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源,当概率密度 高斯分布 时,信源熵有最大值。 24、对于均值为 0,平均功率受限的连续信源,信源的冗余度决定于平均功率的限定值 P 和信源的熵功率 P 之比 。 25、若一离散无记忆信源的信源熵 H(X)等于 2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。

26、m 元长度为 ki,i=1,2,· 的异前置码存在的充要条件是: i ?1 ··n 。 27、若把掷骰子的结果作为一离散信源,则其信源熵为 log26 。 28、同时掷两个正常的骰子,各面呈现的概率都为 1/6,则“3 和 5 同时出现”这件事的自信息量是 log218(1+2 log23) 。

?m

n

? ki

?1

p( x) ?
29、若一维随即变量 X 的取值区间是[0,∞],其概率密度函数为

1 ?m e m ,其中: x ? 0 ,m

x

是 X 的数学期望,则 X 的信源熵

H C (X ) ? log 2 me 。
30、一副充分洗乱的扑克牌(52 张) ,从中任意抽取 1 张,然后放回,若把这一过程看作离散无记忆信源,则其信源熵为 31、根据输入输出信号的特点,可将信道分成离散信道、连续信道、半离散或半连续 信道。 32、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为 无记忆 信道。 33、具有一一对应关系的无噪信道的信道容量 C= log2n 。 34、强对称信道的信道容量 C= log2n-Hni 。 35、对称信道的信道容量 C= log2m-Hmi 。 36、对于离散无记忆信道和信源的 N 次扩展,其信道容量 CN= NC 。

log 2 52



37、对于 N 个对立并联信道,其信道容量 CN = k ?1 。 38、多用户信道的信道容量用 多维空间的一个区域的界限 来表示。 39、多用户信道可以分成几种最基本的类型: 多址接入信道、广播信道 和相关信源信道。 40、广播信道是只有 一个输入端和多个输出端 的信道。 41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时,此信道称为 加性连续信道 。

?C

N

k

P 1 log 2 (1 ? X ) PN 。 42、高斯加性信道的信道容量 C= 2
43、信道编码定理是一个理想编码的存在性定理,即:信道无失真传递信息的条件是 信息率小于信道容量 。

?1 / 2 1 / 2 0? ? 0 1? 代表的信道的信道容量 C= 1 ? 44、信道矩阵 ? 0



?1 0 ? ?1 0 ? ? ? ?0 1 ? ? 代表的信道的信道容量 C= 1 45、信道矩阵 ?

。 46、高斯加性噪声信道中,信道带宽 3kHz,信噪比为 7,则该信道的最大信息传输速率 Ct=

9 kHz



47、对于具有归并性能的无燥信道,达到信道容量的条件是

p(yj)=1/m)



?1 0 ? ? ? 48、信道矩阵 ? 0 1 ? 代表的信道,若每分钟可以传递 6*105 个符号,则该信道的最大信息传输速率 Ct= 10kHz

。 49、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。 50、求解率失真函数的问题,即:在给定失真度的情况下,求信息率的 极小值 。 51、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就 越大 ,获得的信息量就越小。 52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 。 53、单符号的失真度或失真函数 d(xi,yj)表示信源发出一个符号 xi,信宿再现 yj 所引起的 误差或失真 。

54、汉明失真函数 。 i j 55、平方误差失真函数 d(xi,yj)=(yj- xi)2。 56、平均失真度定义为失真函数的数学期望,即 d(xi,yj)在 X 和 Y 的 联合概率空间 P(XY)中 的统计平均值。 57、如果信源和失真度一定,则平均失真度是 信道统计特性 的函数。 58、如果规定平均失真度 D 不能超过某一限定的值 D,即: D ? D 。我们把 D ? D 称为 保真度准则 。 59、离散无记忆 N 次扩展信源通过离散无记忆 N 次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N
j i 60、试验信道的集合用 PD 来表示,则 PD= 61、信息率失真函数,简称为率失真函数,即:试验信道中的平均互信息量的 最小值 。 62、平均失真度的下限取 0 的条件是失真矩阵的 每一行至少有一个零元素 。 63、平均失真度的上限 Dmax 取{Dj:j=1,2,·,m}中的 最小值 。 ·· 64、率失真函数对允许的平均失真度是 单调递减和连续的 。 65、对于离散无记忆信源的率失真函数的最大值是 log2n 。 66、当失真度大于平均失真度的上限时 Dmax 时,率失真函数 R(D)= 0 。

?0 i ? j ? d(x ,y )= ?1 i ? j

?p( y

/ x ) : D ? D; i ? 1,2,?, n, j ? 1,2,?, m

?

倍。



Inf
67、连续信源 X 的率失真函数 R(D)=

p( y / x) ? PD

I ( X ;Y )


68、当 D ? ? 时,高斯信源在均方差失真度下的信息率失真函数为 69、保真度准则下的信源编码定理的条件是 信源的信息率 R 大于率失真函数 R(D) 。
2

1 ?2 log 2 R(D) ? 2 D



1 ? ?0 ? X ? ? 0 ? ? P( X )? ? ?1 / 2 1 / 2? ? ? ? 其失真矩阵 D= ? a 70、某二元信源 ? 1 ? ?0 ? X ? ? 0 ? ? P( X )? ? ?1 / 2 1 / 2? ? ? ? 其失真矩阵 D= ? a 71、某二元信源 ? 1 ? ?0 ? X ? ? 0 ? ? P( X )? ? ?1 / 2 1 / 2? ? ? ? 其失真矩阵 D= ? a 72、某二元信源 ?

a? 0 ? ,则该信源的 D = a/2 ? max a? 0 ? ,则该信源的 D = 0 ? min a? 0 ? ,则该信源的 R(D)= ?





1-H(D/a)



73、按照不同的编码目的,编码可以分为三类:分别是 信源编码、信道编码和安全编码 。 74、信源编码的目的是: 提高通信的有效性 。 75、一般情况下,信源编码可以分为 离散信源编码、连续信源编码和相关信源编码 。 76、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 。 77、在香农编码中,第 i 个码字的长度 ki 和 p(xi)之间有

? log 2 p( xi ) ? k i ? 1 ? log 2 p( xi )

关系。

x2 x3 x4 x5 x6 x7 x8 ? ? X ? ? x1 ? P( X) ? ?1 / 4 1 / 4 1 / 8 1 / 8 1 / 16 1 / 16 1 / 16 1 / 16 ? ? ? ? ? 进行二进制费诺编码,其编码效率为 78、对信源 ?
79、对具有 8 个消息的单符号离散无记忆信源进行 4 进制哈夫曼编码时,为使平均码长最短,应增加 2 80、对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是 香农编码 。 81、对于二元序列 0011100000011111001111000001111111,其相应的游程序列是 23652457 。

1 。 个概率为 0 的消息。

0 1 82、设无记忆二元序列中, “0”和“1”的概率分别是 p0 和 p1,则“0”游程长度 L(0)的概率为 。 83、游程序列的熵 等于 原二元序列的熵。 84、若“0”游程的哈夫吗编码效率为η 0, “1”游程的哈夫吗编码效率为η 1,且η 0>η 1 对应的二元序列的编码效率为η ,则三者的关系是 η 0> η >η 1 。 85、在实际的游程编码过程中,对长码一般采取 截断 处理的方法。 86、 “0”游程和“1”游程可以分别进行哈夫曼编码,两个码表中的码字可以重复,但 C 码 必须不同。 87、在多符号的消息序列中,大量的重复出现的,只起占时作用的符号称为 冗余位 。 88、 “冗余变换”即:将一个冗余序列转换成一个二元序列和一个 缩短了的多元序列 。 89、L-D 编码是一种 分帧传送冗余位序列 的方法。

p[ L(0)] ? p

L ( 0 ) ?1

p

90、L-D 编码适合于冗余位 较多或较少 的情况。 91、信道编码的最终目的是 提高信号传输的可靠性 。 92、狭义的信道编码即:检、纠错编码 。 93、BSC 信道即:无记忆二进制对称信道 。 94、n 位重复码的编码效率是 1/n 。 95、等重码可以检验 全部的奇数位错和部分的偶数位错 。 96、任意两个码字之间的最小汉明距离有称为码的最小距 dmin,则 dmin=

min d (c, c' )
c? c '



97、若纠错码的最小距离为 dmin,则可以纠正任意小于等于 t= 98、若检错码的最小距离为 dmin,则可以检测出任意小于等于 l= dmin-1 个差错。 99、线性分组码是同时具有 分组特性和线性特性 的纠错码。 100、循环码即是采用 循环移位特性界定 的一类线性分组码。 三、判断(50 道) 1、 必然事件和不可能事件的自信息量都是 0 。错 2、 3、 4、 5、 6、

? d min ? 1? ? 2 ? ? ? 个差错。

自信息量是 p ( xi ) 的单调递减函数。对 单符号离散信源的自信息和信源熵都具有非负性。对 单符号离散信源的自信息和信源熵都是一个确定值。错 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对 自信息量、条件自信息量和联合自信息量之间有如下关系:

I ( xi y j ) ? I ( xi ) ? I ( y j / xi ) ? I ( y j ) ? I ( xi / y j )
7、 自信息量、条件自信息量和互信息量之间有如下关系:



对 8、 当随即变量 X 和 Y 相互独立时,条件熵等于信源熵。对 9、 当随即变量 X 和 Y 相互独立时,I(X;Y)=H(X) 。错 10、信源熵具有严格的下凸性。错 11、平均互信息量 I(X;Y)对于信源概率分布 p(xi)和条件概率分布 p(yj/xi)都具有凸函数性。 12、m 阶马尔可夫信源和消息长度为 m 的有记忆信源,其所含符号的依赖关系相同。 错 13、利用状态极限概率和状态一步转移概率来求 m 阶马尔可夫信源的极限熵。 对 14、N 维统计独立均匀分布连续信源的熵是 N 维区域体积的对数。 对 15、一维高斯分布的连续信源,其信源熵只与其均值和方差有关。 错 16、连续信源和离散信源的熵都具有非负性。 错 17、连续信源和离散信源都具有可加性。 对 18、连续信源和离散信源的平均互信息都具有非负性。 对 19、定长编码的效率一般小于不定长编码的效率。 对

I ( xi ; y j ) ? I ( xi ) ? I ( xi / y j ) ? I ( y j ) ? I ( y j / xi )



20、若对一离散信源(熵为 H(X) )进行二进制无失真编码,设定长码子长度为 K,变长码子平均长度为 K ,一般 K >K。 错 21、信道容量 C 是 I(X;Y)关于 p(xi)的条件极大值。 对 22、离散无噪信道的信道容量等于 log2n,其中 n 是信源 X 的消息个数。 错

23、对于准对称信道,当 24、多用户信道的信道容量不能用一个数来代表。 对 25、多用户信道的信道容量不能用一个数来代表,但信道的信息率可以用一个数来表示。错 26、高斯加性信道的信道容量只与信道的信噪有关。 对 27、信道无失真传递信息的条件是信息率小于信道容量。对 28、最大信息传输速率,即:选择某一信源的概率分布(p(xi),使信道所能传送的信息率的最大值。 错 ) 29、对于具有归并性能的无燥信道,当信源等概率分布时(p(xi)=1/n) ,达到信道容量。 错 30、求解率失真函数的问题,即:在给定失真度的情况下,求信息率的极小值。对 31、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小。 错 32、当 p(xi) 、p(yj/xi)和 d(xi,yj)给定后,平均失真度是一个随即变量。 错 33、率失真函数对允许的平均失真度具有上凸性。对 34、率失真函数没有最大值。 错 35、率失真函数的最小值是 0 。对 36、率失真函数的值与信源的输入概率无关。错 37、信源编码是提高通信有效性为目的的编码。 对 38、信源编码通常是通过压缩信源的冗余度来实现的。 对 39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错 40、一般情况下,哈夫曼编码的效率大于香农编码和费诺编码。 对 41、在编 m(m>2)进制的哈夫曼码时,要考虑是否需要增加概率为 0 的码字,以使平均码长最短。 对 42、游程序列的熵( “0”游程序列的熵与“1”游程序列的熵的和)大于等于原二元序列的熵。 错 43、在游程编码过程中, “0”游程和“1”游程应分别编码,因此,它们的码字不能重复。 错

p( y j ) ?

1 m 时,可达到信道容量 C。错

44、L-D 编码适合于冗余位较多和较少的情况,否则,不但不能压缩码率,反而使其扩张。 对 45、狭义的信道编码既是指:信道的检、纠错编码。 对 46、对于 BSC 信道,信道编码应当是一对一的编码,因此,消息 m 的长度等于码字 c 的长度。 错 47、等重码和奇(偶)校验码都可以检出全部的奇数位错。 对 48、汉明码是一种线性分组码。对 49、循环码也是一种线性分组码。 对 50、卷积码是一种特殊的线性分组码。 错 四、简答(20 道) 1、 信息的主要特征有哪些?(4) 2、 信息的重要性质有哪些?(4) 3、 简述几种信息分类的准则和方法。 (5) 4、 信息论研究的内容主要有哪些?(8) 5、 简述自信息的性质。 (13) 6、 简述信源熵的基本性质。 (23) 7、 简述信源熵、条件熵、联合熵和交互熵之间的关系。 (48) 8、 信道的分类方法有哪些?(93-94) 9、 简述一般离散信道容量的计算步骤。 (107) 10、简述多用户信道的分类。 (115-116) 11、简述信道编码定理。 (128) 12、简述率失真函数的性质。 (140-145) 13、简述求解一般离散信源率失真函数的步骤。 (146-149) 14、试比较信道容量与信息率失真函数。 (164) 15、简述编码的分累及各种编码的目的。 (168) 16、简述费诺编码的编码步骤。 (170) 17、简述二元哈夫曼编码的编码步骤。 (173) 18、简述广义的信道编码的分类及各类编码的作用。 (188) 19、简述线性分组码的性质。 (196) 20、简述循环码的系统码构造过程。 (221)


相关文章:
信息论与编码期末考试题(全套)
信息论与编码期末考试题(全套)_教育学_高等教育_教育专区。编码答案 ()、判断题共 10 小题,满分 20 分. 1. 当随机变量 X 和 Y 相互独立时,条件熵 ...
信息论与编码期末考试题
信息论与编码期末考试题_工学_高等教育_教育专区。(一) . 一、填空题 1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 2、信源的剩余度...
信息论与编码[第一章绪论]山东大学期末考试知识点复习
信息论与编码[第一章绪论]山东大学期末考试知识点复习_理学_高等教育_教育专区...山东大学期末考试知识点复习章绪论 1.1.1 信息的概念及常用术语 1.情报...
信息论与编码期末考试题1
(二)、填空题 1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源...
信息论与编码[第八章网络信息论]山东大学期末考试知识...
信息论与编码:山东大学期末考试知识点复习信息论与编码:山东大学期末考试知识点复习隐藏>> 山东大学期末考试知识点复习 第八章网络信息论 8.1.1 通信网信道的分类...
信息论与编码复习课
信息论与编码复习课_教育学_高等教育_教育专区。期末总复习信息论与编码复习题库信息论与编码复习 1.消息、信号、信息的含义、定义及区别。 信息是指各个...
信息论与编码试卷09-10-1-A-答案
信息论与编码试卷09-10-1-A-答案_理学_高等教育_教育专区。杭州电子科技大学信息论与编码期末试卷及答案多少信息量。 杭州电子科技大学学生考试卷 (A) 卷考试课程...
信息论与编码期末考察报告
信息论与编码复习期末考试... 56页 1财富值喜欢此文档的还喜欢 信息论与编码...学校名字 《信息论与编码》期末考察报告 题 目 浅谈信息论与编码 学生姓名 学院...
信息论与编码复习题,德州学院
信息论与编码复习题,德州学院_理学_高等教育_教育专区。期末考试全部题库一、填空 1. 信息论基础主要研究信息的测度、 信道容量 、 信源和信道编码理论 等问题。...
信息论与编码复习-新【学生】
信息论与编码复习-新【学生】_工学_高等教育_教育专区。信息论与编码理论复习章 绪论 知识点: 1. 信息、消息、信号的定义、区别 2. 信系统模型(五大部件...
更多相关标签: