当前位置:首页 >> 工学 >>

信息论与编码试卷及答案


(11’)填空题 一、 ( )

(1) 1948 年,美国数学家 香农 立了信息论。 (2) 必然事件的自信息是 0 。

发表了题为“通信的数学理论”的长篇论文,从而创

(3) 离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍 (4) 对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。 (5) 若一离散无记忆信 源的信源熵 H(X) 等于 2.5, 对信源进 行等长的无失真二 进制编码,则编码 长 度 至 少 为 3 。



(6) 对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是 香农编码



(7) 已知某线性分组码的最小汉明距离为 3,那么这组码最多能检测出_2_______个码元错误, 最多能纠正___1__个码元错误。 (8) 设有一离散无记忆平稳信道,其信道容量为 C,只要待传送的信息传输率 R__小于___C(大 于、小于或者等于) , 则存在一种编码,当输入序列长度 n 足够大,使译码错误概率任意小。 (9) 平均错误概率不仅与信道本身的统计特性有关, 还与___译码规则____________和___编码方 法___有关

(9′ 二、 ′)判断题 (
(1) 信息就是一种消息。 ( × )

(2) 信息论研究的主要问题是在通信系统设计中如何实现信息传输、 存储和处理的有效性和可靠 性。 ( √ ) ( × ( √ ( × ) )

(3) 概率大的事件自信息量大。 (4) 互信息量可正、可负亦可为零。

(5) 信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。 )

(6) 对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。 ( √ (7) 非奇异码一定是唯一可译码,唯一可译码不一定是非奇异码。 ( × ( √ (9)信息率失真函数 R(D)是关于平均失真度 D 的上凸函数.

) )

(8) 信源变长编码的核心问题是寻找紧致码(或最佳码) ,霍夫曼编码方法构造的是最佳码。 ) ( × )

三、(5′)居住在某地区的女孩中有 25%是大学生,在女大学生中有 75%是身高 1.6 米以上的, ( ′
而女孩中身高 1.6 米以上的占总数的一半。 假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则 P(A)=0.25 故 p(B)=0.5 p(B|A)=0.75 (2分) (2分)

p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 I(A|B)=-log0.375=1.42bit (1分)

(5′ 证明: 四、 ′)证明:平均互信息量同信息熵之间满足 ( I(X;Y)=H(X)+H(Y)-H(XY) 证明: 证明:
I ( X ; Y ) = ∑∑ p (xi y j )log
X Y

p xi y j p ( xi )

(

) ( )
(2分)

? ? = ?∑ ∑ p (xi y j )log p( xi ) ? ?? ∑∑ p (xi y j )log p xi y j ? X Y ? X Y ? = H ( X ) ? H (X Y )
同理

I ( X ; Y ) = H (Y ) ? H (Y X )


(1分)

H (Y X ) = H (Y ) ? I ( X ; Y )
因为

H ( XY ) = H ( X ) + H (Y X )


(1分)

H ( XY ) = H ( X ) + H (Y ) ? I ( X ; Y )


I ( X ; Y ) = H ( X ) + H (Y ) ? H ( XY )

(1分)

(18’).黑白气象传真图的消息只有黑色和白色两种,求: 五、 ( )
1) 黑色出现的概率为 0.3,白色出现的概率为 0.7。给出这个只有两个符号的信源 X 的数学模型。 假设图上黑白消息出现前后没有关联,求熵 H ( X ) ; 2) 假设黑白消息出现前后有关联,其依赖关系为 , ,求其熵 H ∞ ( X ) 。 , ,

3)分别求上述两种信源的冗余度,比较它们的大小并说明其物理意义。 解:1)信源模型为 (1分)

(2分)

2)由题意可知该信源为一阶马尔科夫信源。 由

(2分)

(4分)

得极限状态概率

(2分)

(3分)

3)

γ1 = 1 ? γ2 = 1?

H(X ) = 0.119 log 2 2 H∞ ( X ) = 0.447 log 2 2

(1分)

(1分)

γ 2 > γ 1 。说明:当信源的符号之间有依赖时,信源输出消息的不确定性减弱。而信源冗余度正是反
映信源符号依赖关系的强弱,冗余度越大,依赖关系就越大。 (2分)

(18’).信源空间为 六、 ( )
x2 x3 x4 x5 x6 x7 ? X ? ? x1 ? P( X ) ? = ?0.2 0.19 0.18 0.17 0.15 0.1 0.01 ? ? ?
曼码,计算其平均码长和编码效率(要求有编码过程) 。

? ? ,试分别构造二元香农码和二元霍夫 ?

L = ∑ p (ai )li = 3.14
i =1

7

R=

H ( X ) 2.61 = = 0.831 3.14 L

? ? p ( x1 ) = ?1 / 2 1 / 3 1 / 6? ? 七(6’).设有一离散信道,其信道传递矩阵为 ?1 / 6 1 / 2 1 / 3? ,并设 ? p( x2 ) = ) ? ? ? ? ?1 / 3 1 / 6 1 / 2? ? ? ? p( x ) = 3 ? ?
最大后验概率准则与最大似然译码准则确定译码规则, 并计算相应的平均错误概率。 1) (3分)最小似然译码准则下,有,

1 4 1 ,试分别按 2 1 4

2) (3分)最大后验概率准则下,有,

八(10′).二元对称信道如图。 ′
1)若 p(0 ) =

3 1 , p (1) = ,求 H ( X ) 、 H ( X | Y ) 和 I ( X ; Y ) ; 4 4
2)求该信道的信道容量。

解:1)共6分

H ( X | Y ) = 0.749bit / 符号

2) ,

(3分)此时输入概率分布为等概率分布。 (1分)

?0 0 0 1 1 1? 九、 18′)设一线性分组码具有一致监督矩阵 H = ?0 1 1 0 0 1? ( ′ ? ? ?1 0 1 0 1 1? ? ?
1)求此分组码 n=?,k=?共有多少码字? 2)求此分组码的生成矩阵 G。 3)写出此分组码的所有码字。 4)若接收到码字(101001) ,求出伴随式并给出翻译结果。 解:1)n=6,k=3,共有8个码字。 (3分)

r C = (C5C4C3C2C1C0 ) 由 HC T = 0T 得 2)设码字
? C2 ⊕ C1 ⊕ C0 = 0 ? ? C4 ⊕ C3 ⊕ C0 = 0 ?C ⊕ C ⊕ C ⊕ C = 0 3 1 0 ? 5
令监督位为

(3分)

(C2C1C0 ) ,则有
?C2 = C5 ⊕ C3 ? ?C1 = C5 ⊕ C4 ?C = C ⊕ C 4 3 ? 0

(3分)

?1 0 0 1 1 0? ?0 1 0 0 1 1 ? ? ? ?0 0 1 1 0 1 ? ? 生成矩阵为 ?

(2分)

3)所有码字为000000,001101,010011,011110,100110,101011,110101,111000。 (4分) 4)由 S = HR 得
T T

S = (101) , (2分)该码字在第5位发生错误, (101001)纠正为(101011) ,即译码为(101001)
(1分)


相关文章:
信息论与编码试题集与答案(新)
信息论与编码试题集与答案(新)_工学_高等教育_教育专区。一填空题(本题 20 分,每小题 2 分) 1、平均自信息为 表示信源的平均不确定度,也表示平均每个信源...
信息论与编码试卷及答案(多篇)
信息论与编码试卷及答案(多篇)_理学_高等教育_教育专区。信息论与编码试卷及答案,内蒙古工业大学一、概念简答题(每题 5 分,共 40 分) 1.什么是平均自信息量...
信息论与编码试卷及答案
信息论与编码试卷及答案_理学_高等教育_教育专区。信息论与编码试卷与答案一、 (11’)填空题 (1) 1948 年,美国数学家 香农 立了信息论。 (2) 必然事件的自...
《信息论与编码》习题答案(高等教育出版社)仇佩亮编
信息论与编码》习题答案(高等教育出版社)仇佩亮编_工学_高等教育_教育专区。――― 课外习题 1. 设某信道,其信道矩阵为 若信道的输入符号 a1,a2,a3 先验等...
信息论与编码试卷及答案
信息论与编码试卷及答案_院校资料_高等教育_教育专区。一、 (11’)填空题 (1) 1948 年,美国数学家 香农 立了信息论。 (2) 必然事件的自信息是 0 。 发表...
信息论与编码试卷C(参考答案)
信息论与编码试卷1及答案... 8页 1下载券 《信息论与编码》课程考... 4页...1/16 s7 1/16 s8 1/16 进行费诺编码并计算信源熵、平均码长以及编码效率...
信息论与编码考试题(附答案版)
数字图像处理试题及答案 8页 1下载券信​息​论​与​编​码​考​...对于分组码(n,k) ,编码效率定义为信息位在码字中所 占的比重,按下式计算:...
信息论与编码期末考试题
信息论与编码期末考试题_工学_高等教育_教育专区。(一) . 一、填空题 1、信...信息论与编码试卷及答案 7页 免费 信息论与编码期末考试题... 22页 免费 信...
信息论与编码习题参考答案(全)
信息论与编码习题参考答案(全)_工学_高等教育_教育...解: 由题意用 16个亮度电平来表示一个 像素则...春季养生及疾病预防知识 240份文档 2015小学生寒假...
信息论与编码试卷及答案
信息论与编码试卷及答案_理学_高等教育_教育专区。一、概念简答题(每题 5 分,共 40 分) 1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同? ...
更多相关标签: