当前位置:首页 >> 工学 >>

信息论与编码复习提纲


信息论与编码
复习提纲 2010使用

试卷构成
? ? ? ? ? ? ? ? 选择题 填空题 信源熵计算题 马尔可夫信源计算题 信道计算题 信源编码 失真 信道编码

无条件概率、条件概率、 无条件概率、条件概率、联合概 率满足下面一些性质和关系: 率满足下面一些性质和关系: 1 0 ≤ p(ai )、p(bj )、p(bj ai )、p(ai bj )、p(aibj ) ≤1 2
, ∑p(a ) =1 ∑p(b ) =1, ∑p(b
i=1 i j =1 j j =1 n m m j

ai ) =1,

∑p(a
i=1

n

i

bj ) =1 ∑∑ p(aibj ) =1 ,
j =1 i=1

m

n

3

∑p(a b ) =p(b ), ∑p(a b ) =p(a )
i=1 i j j j =1 i j i

n

m

4 5

p(aibj ) = p(bj ) p(ai bj ) = p(ai ) p(bj ai )

当 与相 独 时 X Y 互 立
p(aibj ) = p(ai ) p(bj ) p(bj ai )=p(bj ),p(ai bj )=p(ai )

6

p(ai bj )= n

p(aibj )
i j

∑p(a b )
i=1

,p(bj ai ) =

p(aibj )

∑p(a b )
j=1 i j

m

信源熵
– 自信息量、联合自信息量、条件自信息量:定义、性质 – 互信息量、条件互信息量:定义、性质 – 信源熵、条件熵,联合熵,交互熵(平均互信息量): 定义、性质。 – 各种熵之间的关系 – 离散无记忆信源X的N次扩展信源熵 – 极限熵 – 一阶时齐马尔可夫信源的熵和极限熵 – 信源冗余度及其物理意义
– 信源编码定理

信道容量
? 单符号信道容量的定义与性质 ? 几种特殊离散信道的容量 ? 高斯连续信道的信道容量:先农公式 C=W*log2(1+Px/PN) W为带宽,Px/PN为信噪比 ? 信道编码定理

信息率失真函数
? 失真函数与汉明失真 函数
?0 ?1 ? ?L ? ?1 1 0 L 1 L L L L 1? 1? ? ? L ? 0?

? 平均失真度

D = E[d(ai , bj )] = ∑∑ p(ai ) p(bj / ai )d(ai , bj )
i=1 j =1

n

m

信息率失真函数
? 信息率失真函数定义

R(D) = m in

p(bj / ai )∈P D

I ( X;Y)

? 信息率失真函数的定义域
Dmin = ∑ p ( xi ) mind ( xi , y j ) D max = min j
i =1 n

p( y j )

∑ p( y ) D
j =1 j
i j j

n

j

∑ p(a )d(a , b ) = D
i=1 i

n

信息率失真函数
? 信息率失真函数的值域 当D=Dmin时 R(D)=Rmax Dmin=0时 Rmax=H(X)(离散情况) 当D>=Dmax时 R(D)=Rmin=0 ? 信息率失真函数是连续非负单调递减函数 ? 保真度准则下的信源编码定理

信息率失真函数图形
R(D) H(X)

D′

D′′

Dmax

D

信源编码
? 费诺编码 ? Huffman和最优Huffman编码 ? 信源熵、平均码长、编码效率

信道编码
? 检错、纠错能力的计算 ? 线性分组码
– 性质 – 编码法与译码法 – 最小码间距离的计算 – 汉明码(r=3、4的情况)

? 循环码的多项式编码法与译码法(n=7) ? 循环码的系统码及电路构成


相关文章:
更多相关标签: