当前位置:首页 >> 工学 >>

信息论与编码复习提纲


信息论与编码
复习提纲 2010使用

试卷构成
? ? ? ? ? ? ? ? 选择题 填空题 信源熵计算题 马尔可夫信源计算题 信道计算题 信源编码 失真 信道编码

无条件概率、条件概率、 无条件概率、条件概率、联合概 率满足下面一些性质和关系: 率满足下面一些性质和关系: 1 0 ≤ p(ai )、p(bj )、p(bj ai )、p(ai bj )、p(aibj ) ≤1 2
, ∑p(a ) =1 ∑p(b ) =1, ∑p(b
i=1 i j =1 j j =1 n m m j

ai ) =1,

∑p(a
i=1

n

i

bj ) =1 ∑∑ p(aibj ) =1 ,
j =1 i=1

m

n

3

∑p(a b ) =p(b ), ∑p(a b ) =p(a )
i=1 i j j j =1 i j i

n

m

4 5

p(aibj ) = p(bj ) p(ai bj ) = p(ai ) p(bj ai )

当 与相 独 时 X Y 互 立
p(aibj ) = p(ai ) p(bj ) p(bj ai )=p(bj ),p(ai bj )=p(ai )

6

p(ai bj )= n

p(aibj )
i j

∑p(a b )
i=1

,p(bj ai ) =

p(aibj )

∑p(a b )
j=1 i j

m

信源熵
– 自信息量、联合自信息量、条件自信息量:定义、性质 – 互信息量、条件互信息量:定义、性质 – 信源熵、条件熵,联合熵,交互熵(平均互信息量): 定义、性质。 – 各种熵之间的关系 – 离散无记忆信源X的N次扩展信源熵 – 极限熵 – 一阶时齐马尔可夫信源的熵和极限熵 – 信源冗余度及其物理意义
– 信源编码定理

信道容量
? 单符号信道容量的定义与性质 ? 几种特殊离散信道的容量 ? 高斯连续信道的信道容量:先农公式 C=W*log2(1+Px/PN) W为带宽,Px/PN为信噪比 ? 信道编码定理

信息率失真函数
? 失真函数与汉明失真 函数
?0 ?1 ? ?L ? ?1 1 0 L 1 L L L L 1? 1? ? ? L ? 0?

? 平均失真度

D = E[d(ai , bj )] = ∑∑ p(ai ) p(bj / ai )d(ai , bj )
i=1 j =1

n

m

信息率失真函数
? 信息率失真函数定义

R(D) = m in

p(bj / ai )∈P D

I ( X;Y)

? 信息率失真函数的定义域
Dmin = ∑ p ( xi ) mind ( xi , y j ) D max = min j
i =1 n

p( y j )

∑ p( y ) D
j =1 j
i j j

n

j

∑ p(a )d(a , b ) = D
i=1 i

n

信息率失真函数
? 信息率失真函数的值域 当D=Dmin时 R(D)=Rmax Dmin=0时 Rmax=H(X)(离散情况) 当D>=Dmax时 R(D)=Rmin=0 ? 信息率失真函数是连续非负单调递减函数 ? 保真度准则下的信源编码定理

信息率失真函数图形
R(D) H(X)

D′

D′′

Dmax

D

信源编码
? 费诺编码 ? Huffman和最优Huffman编码 ? 信源熵、平均码长、编码效率

信道编码
? 检错、纠错能力的计算 ? 线性分组码
– 性质 – 编码法与译码法 – 最小码间距离的计算 – 汉明码(r=3、4的情况)

? 循环码的多项式编码法与译码法(n=7) ? 循环码的系统码及电路构成


相关文章:
信息论与编码复习题目(2016)
信息论与编码复习题目(2016)_研究生入学考试_高等教育_教育专区。广工信息论编码论考试大纲 信息论复习提纲 第一章 绪论 1. 通信系统模型; 2. 香浓信息的概念;...
信息论与编码复习提纲(叶涵辰整理)
第七章:线性分组码的编码(P267 例题 7.4、7.5、7.8) 记忆中考试原题(类似题) : 1、信息、信号、消息三者的含义及联系(具体可百度加以补充) (1)信息:是...
信息论与编码复习总结
信息论与编码复习总结_工学_高等教育_教育专区。信息论与编码复习总结,总结了各类知识点,以及考试常考点。信息论与编码复习总结题型:填空、解答、计算 1、 编码:...
信息论与编码复习
信息论与编码复习_工学_高等教育_教育专区。信息论与编码考试复习资料1、通信系统模型的组成,及各部分的功能。 答:信源,产生消息的源,消息可以是文字,语言,图像...
《信息论与编码技术》复习提纲
信息论与编码技术》复习提纲 信息论与编码技术》复习提纲 一、考试题型 1.填空题(共 5 题 20%) 填空题( 2.判断题(共 5 题 10%) 判断题( 3.选择题(...
信息论与编码考试复习大纲
信息论与编码考试复习大纲_工学_高等教育_教育专区。信息论与编码 复习材料 RT 信息论与编码考试复习大纲第一章 1. 通信系统的物理模型。 2. 根据信息论的各种...
信息论与编码复习资料(新)
信息论与编码复习 1.消息、信号、信息的含义、定义及区别。 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言,文字和图像等。 信号是...
《信息论与编码技术》复习提纲复习题
信息论与编码技术》复习提纲复习题_理学_高等教育_教育专区。《信息论与编码技术》复习提纲 复习题纲第 0 章 绪论题纲: I. 什么是信息? II. 什么是信息论?...
《信息论与编码技术》复习提纲
信息论与编码技术》复习提纲 信息论与编码技术》复习提纲 一、考试题型 1.名词解释(10%) 2.填空题(20%) 3.判断题(10%) 4.简答题(20%) 5.证明题(10...
信息论与编码
信息论与编码复习提纲第 1 章 绪论 1、信息的概念,通俗、广义、狭义的概念 2、信息、消息、信号 3、通信系统模型 4、通信系统的技术指标,有效性、可靠性 ...
更多相关标签: