当前位置:首页 >> 工学 >>

2011年《信息论与编码》


RT 信息论与编码的学习要点
自信息
自信息表示随机事件 xi 发生前的不确定性或发生后所包含的信息量,其定义为:

互信息
互信息表示已知事件 yj 后所消除的关于事件 xi 的不确定性,等于事件 xi 本身的不确定性 I(xi)—已知事件 yj 后对 xi 仍然存在的不确定性 I(xi/yj),其定义为:

平均自信息
平均自信息表示整个信源(用随机变量 X 表示)的平均不确定性,它等于随机变量 X 的每 一个可能取值的自信息 I(xi)的统计平均值,其定义为:

离散信源的最大熵
离散信源中各消息等概率出现时熵最大,也称最大离散熵定理:

联合熵
联合熵表示二维随机变量 XY 的平均不确定性, 它等于联合自信息的统计平均值, 其定义为:

条件熵
条件熵表示已知随机变量 X 后,对随机变量 Y 仍然存在的平均不确定性,其定义为:

各类熵之间的关系为: H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)≤H(X)+H(Y) X,Y 统计独立时,H(XY)=H(X)+H(Y)

平均互信息
平均互信息表示收到一个符号集(用随机变量 Y 表示)后消除的关于另一个符号集(X)的 不确定性,也就是从 Y 所获得的关于 X 的平均信息量,其定义为:

平均互信息和各类熵之间的关系: I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY) 当 X 和 Y 统计独立时,I(X;Y)=0

数据处理定理
如果随机变量 X,Y,Z 构成一个马尔可夫链,则有: I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z) 等号成立的条件是对于任意的 x,y,z,有 p(x/yz)=p(x/z)和 p(z/xy)=p(z/x) 数据处理定理中不等式 I(X;Z)≤I(X;Y)表明从 Z 所获得的关于 X 的信息量小于等于从 Y 所获 得的关于 X 的信息量。如果将 Y→Z 看成数据处理系统,则通过数据处理后,虽然可以满 足我们的某种具体要求,但是从信息量来看,处理后会损失一部分信息,最多保持原来获得 的信息,即对收到的数据 Y 进行处理后,决不会减少关于 X 的不确定性。

(极限熵)熵率 极限熵)
极限熵表示离散多符号信源的平均不确定性, 它是信源输出的符号序列中平均每个符号所携 带的信息量。 N→∞时极限 存在,则称之为熵率,或极限熵,其定义为:

称为平均符号熵,表示随机变量序列中,对前 N 个随机变量的联合熵的平均:

离散平稳无记忆信源的极限熵
多符号信源中最简单的是离散平稳无记忆信源,其极限熵 H∞=H(X)

M 阶马尔可夫信源的极限熵
如果信源在某时刻发出的符号仅与此前发出的 m 个符号有关,即 m 阶马尔可夫信源,其极 限熵为: 离散平稳马尔可夫信源, 可将上述符号的不确定性问题转化为齐次、 遍历的马尔可夫链的状 态转移问题:

信源的冗余度

冗余度的定义为:

连续信源的微分熵

连续信源的最大熵
对于输出信号幅度受限的连续信源, 当满足均匀分布时达到最大熵; 对于平均功率受限的连 续随机变量,当服从高斯分布时具有最大熵。

码的分类
非分组码 分组码:奇异码和非奇异码(非唯一可译码、唯一可译码(即时码、非即时码))

无失真定长信源编码定理
离散无记忆信源的熵 H(X),若对长为 N 的信源序列进行定长编码,码符号集中有 r 个码符

号,码长为 L,则对于任意小的正数 ε,只要满足

,则当 N 足够大时,可

实现几乎无失真编码,即译码错误概率为任意小。反之,如果 实现几乎无失真编码,当 N 足够大时,译码错误概率为 1。

,则不可能

克劳夫特不等式 克劳夫特不等式

无失真变长信源编码定理(香农第一定理) 无失真变长信源编码定理(香农第一定理) 失真函数

,单个符号的失真函数或失真度,表示信源发出一个符号 xi,而在接收端再 现为 yj 所引起的误差或失真的大小。

平均失真
信源的平均失真度表示某个信源通过某个信道传输后失真的大小,其定义为:

保真度准则
如果要求信源的平均失真度<所允许的失真 D,成为保真度准则。

D 失真许可的试验信道

信息率失真函数
对于给定的信源,总存在一种信道使 I(X;Y)达到最小。

R(D)是关于 D 的下凸函数,且在定义域内是严格递减函数。

限失真信源编码定理(香农第三定理) 限失真信源编码定理(香农第三定理)

设 任意的 个数为:

为一离散平稳无记忆信源的信息率失真函数,并且有有限的失真测度。对于 以及任意足够长的码长 n,则一定存在一种信源编码 C,其码字 ,而编码后的平均失真度 取比特为单位,则上式 M 可写成 ,只要码长足够长,总可以找到一种编码 C,使编码后 。

如果用二元编码, 该定理说明:对于任何失真度

每个信源符号的信息传输率 真度 。



,即

,而码的平均失

信道容量
对于给定的信道,I(X;Y)是 p(xi)的上凸函数,即总存在一种信源具有某种概率分布,使信道 平均传输一个符号接收端获得的信息量最大, 也就是说对于每个固定信道都有一个最大的信 息传输率,这个最大的信息传输率即信道容量,而相应的输入概率分布称为最佳输入分布。 C 的定义为:

对称信道的 C

准对称信道的 C

离散平稳无记忆信道的 N 次扩展信道的 C

独立并联信道的 C
C=NC

级联信道的 C
级联信道的总容量矩阵=级联信道的信道矩阵乘积

波形信道的信道容量 C

译码规则
设信道的输入符号集 X={xi,i=1,2,….,r},输出符号集 Y={yj,j=1,2,…,s},若对每个输出符 号 yj 都有一个确定的函数 F(yj),使 yj 对应于惟一一个输入符号 xi,则称这样的函数为译码 规则,记为:F(yj)=xi 译码规则共有 rs 种。

错误概率
在规定译码规则后,若信道输出端接收到符号 yj,则一定译成 xi,如果发送端发出的的确是 xi,就是正确译码;否则,若发送端发出的不是 xi,即为错误译码。则在收到符号 yj 的条件 下,译码正确概率为:p[F(yj)/yj]=p(xi/yj) 译码错误概率为:p(e/yj)=1-p(xi/yj)=1-p[F(yj)/yj]

平均错误概率
译码后的平均错误概率 PE 是 p(e/yj)对 Y 的统计平均值,即

表示平均每收到一个符号后的译码错误概率。

最大后验概率译码规则
选择译码函数 F(yj)=x*,使之满足条件:P(x*/yj)≥p(xi/ yj) x*∈X,称为最大后验概率译码 准则,又称最小错误概率准则。

极大似然译码规则
选择译码函数 F(yj)=x*,使之满足条件:P(yj /x*)≥p( yj /xi) x*∈X,称为极大似然译码规 则。当输入符号等概时,最大后验概率译码规则=极大似然译码规则。

费诺不等式
信道疑义度 H(X/Y)与平均错误概率 PE 满足以下关系: 表明:接收到 Y 后,关于 X 的平均不确定性可以分为两部分,第一部分是指收到 Y 后是否 产生错误的不确定性;第二部分是已知错误 发生后,判断是哪个输入符号造成错误的最 的乘积。

大不确定性,是(r-1)个符号的最大可能不确定性与

汉明距离
长度相同的两个符号序列 xi 与 yj 之间的距离,是两序列对应位置上码元符号不同的位置的

个数,称为汉明距离

码的最小距离
码 C 中,任意两个码字的汉明距离的最小值称为该码的最小距离。编码选择码字时,码间 的最小距离越大越好。

有噪信道编码定理(香农第二定理) 有噪信道编码定理(香农第二定理)
设有一离散无记忆平稳信道,其信道容量为 C。当待传输的信息率 R<C 时,只要码长 L 足 够长,则总存在一种编码,可以使译码错误概率任意小;若 R>C,则无论码长 L 取多大, 也找不到一种编码,使译码错误概率任意小。


相关文章:
2011年《信息论与编码》_复习要点.doc
2011年《信息论与编码》_复习要点 - RT 信息论与编码的学习要点 自信息
2011年《信息论与编码》 复习要点.doc
2011年《信息论与编码》 复习要点 - 信息论与编码的学习要点 自信息 自信息
信息论与编码复习题目(2011).pdf
信息论与编码复习题目(2011) - 信息论复习提纲 第一章 绪论 第二章 离散
信息论与编码课件2011Chapter1_图文.pdf
信息论与编码课件2011Chapter1_教育学_高等教育_教育专区。信息论与编码 信息论...信息论与编码 1-1 信息的概念 ? 我国的《辞海》对信息作了如下解释: 我国...
信息论与编码理论1(A卷答案).doc
信息论与编码理论1(A卷答案) - 2011-2012 信息论与编码理论 1 一
《信息论与编码》课后答案.doc
《信息论与编码》课后答案 - 第二章课后习题 【2.1】设有 12 枚同值硬币,
“信息论与编码”试题_2011.doc
信息论与编码”试题姓名:___ 2010 级硕士研究生 2011 年 6 月
信息论与编码复习2011.doc
信息论与编码复习2011 - “信息论与编码”复习 信息论与编码” 1、 信息的
“信息论与编码”试题_2011_参考答案_解题要点.doc
信息论与编码”试题姓名:___ 2010 级硕士研究生 2011 年 6 月
2010-2011信息论与编码技术试卷ok(研究生).doc
2010-2011信息论与编码技术试卷ok(研究生) - 中国矿业大学 2010 级硕士研究生课程考试试卷 考试科目 信息论与编码技术 考试时间 学生姓名 学生学号 所在院系 任...
信息论与编码(曹雪红).pdf
信息论与编码(曹雪红) - ...... 信息论与编码(曹雪红)_工学_高等教育_教育专区。信息论与编码(曹雪红) 文档贡献者 n20220 贡献于2011-06-20 ...
2010-2011信息论与编码技术试卷ok(研究生).doc
2010-2011信息论与编码技术试卷ok(研究生) - 中国矿业大学 2010 级硕士研究生课程考试试卷 考试科目 信息论与编码技术 考试时间 学生姓名 学生学号 所在院系 任...
“信息论与编码”试题_2011_参考答案_解题.doc
信息论与编码”试题 信息论与编码”姓名: 姓名:___ 2010 级硕士研究生 2011 年 6 月 23 日 学号: 学号:___ 得分: 得分:___ 闭卷部分, 小时内完成...
2010-2011信息论与编码技术试卷ok(研究生).doc
2010-2011信息论与编码技术试卷ok(研究生) - 中国矿业大学 2010 级硕士研究生课程考试试卷 考试科目 信息论与编码技术 考试时间 学生姓名 所在院系 任课教师 信...
《信息论与编码》试卷B参考答案.doc
《信息论与编码》试卷B参考答案_工学_高等教育_教育专区。信息论与编码课程考试试卷及答案 湖南涉外经济学院 2011 20 12 学年度第 1 学期期末课程 《...
《信息论与编码》习题解答-第二章(新).doc
《信息论与编码》习题解答第二章 信源熵-习题答案 2-1 解:转移概率矩阵为:P
《信息论与编码(第二版)》第5章_图文.ppt
《信息论与编码(第二版)》第5章 - 第5章 信源编码 内容 5.1 编码的定义
《信息论与编码》(第2版)复习提纲.doc
《信息论与编码》(第2版)复习提纲 - 《信息论与编码》复习提纲 信息论与编码》
信息论与编码.doc
信息论与编码 - 信息论基础论文 论文题目: 学年专姓学院: 级: 业: 名:
信息论与编码论文-学号:20092334915 姓名:宁向前.doc
我的《信息论与编码》论文,方向为:数据压缩 南京信息工程大学 [滨江学院] 通...[通信工程] 2011 年 12 月 19 日 目录简介......