当前位置:首页 >> 理学 >>

信息论与编码复习


“信息论与编码”复习
1.消息、信号、信息的含义、定义及区别。 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言,文字和图像等。 信号是消息的物理体现。 消息是信息的数学载体、信号是信息的物理载体 信号:具体的、物理的 消息:具体的、非物理的 信息:非具体的、非物理的 同一信息,可以采用不同形式的物理量来载荷,也可以采用不同的数学描述方式。同 样,同一类型信号或消息也可以代表不同内容的信息 2.信息的特征与分类。 1 接收者在收到信息之前,对其内容是未知的,所以信息是新知识,新内容; 2 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识; 3 信息可以产生,也可以消失,同时信息可以被携带,被存储及处理; 4 信息是可以量度的,信息量有多少的差别。 3.狭义信息论、广义信息论、一般信息论研究的领域。 狭义信息论:信息论是在信息可以量度的基础上,对如何有效,可靠地传递信息进行 研究的科学。它涉及信息量度,信息特性,信息传输速率,信道容量,干扰对信息传输的 影响等方面的知识。 广义信息论:信息是物质的普遍属性,所谓物质系统的信息是指它所属的物理系统在 同一切其他物质系统全面相互作用(或联系)过程中,以质、能和波动的形式所呈现的结 构、状态和历史。包含通信的全部统计问题的研究,除了香农信息论之外,还包括信号设 计,噪声理论,信号的检测与估值等。 概率信息:信息表征信源的不定度,但它不等同于不定度,而是为了消除一定的不定 度必须获得与此不定度相等的信息量 4.信息论的起源、历史与发展。 ? 1924 年,Nyquist 提出信息传输理论; ? 1928 年,Hartly 提出信息量关系; ? 1932 年,Morse 发明电报编码; ? 1946 年,柯切尼柯夫提出信号检测理论; ? 1948 年,Shannon 提出信息论, “通信中的数学理论”—现代信息论的开创性的权 威论文,为信息论的创立作出了独特的贡献。

5.通信系统的物理模型(主要框图) ,各单元(方框)的主要功能及要解决的主要问题。

信源的核心问题是它包含的信息到底有多少,怎样将信息定量地表示出来,即如何确 定信息量。 信宿需要研究的问题是能收到或提取多少信息。 信道的问题主要是它能够传送多少信息,即信道容量的多少。

6. 通信的目的?要解决的最基本问题?通信有效性的概念。 提高通信有效性的最根本途径? 通信可靠性的概念。 提高通信可靠性的最根本途径?通信安全性的概念, 提高通信安全性的 最根本途径? 通信系统的性能指标主要是有效性,可靠性,安全性和经济性。通信系统优化就是使 这些指标达到最佳。 从提高通信系统的有效性意义上说,信源编码器的主要指标是它的编码效率,即理论 上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗 余。 提高可靠性:信道编码。增加冗余。 提高安全性:加密编码。

7.随机事件的不确定度和它的自信息量之间的关系及区别?单符号离散信源的数学模型, 自信息量、条件自信息量、联合自信息量的含义?

信源符号不确定度:具有某种概率的信源符号在发出之前,存在不确定度,不确定度 表征该符号的特性。符号的不确定度在数量上等于它的自信息量,两者的单位相同,但含 义不同: ?不确定度是信源符号固有的,不管符号是否发出; ?自信息量是信源符号发出后给予收信者的; ?为了消除该符号的不确定度,接受者需要获得信息量。

自信息量

条件自信息量:

联合自信息量:

8.信息量的性质?含义?分别从输入端、输出端和系统总体来理解互信息量的含义。 自信息量指的是该符号出现后,提供给收信者的信息量。

9. 各种熵(信源熵,条件熵,联合熵(共熵) ,等)的含义及其关系。 信源熵:

条件熵: 疑义度:

噪声熵:

联合熵:

10. 信源熵的基本性质与定理及其理解? ?熵的性质 对称性 非负性 确定性 香农辅助定理 最大熵定理 条件熵小于无条件熵

信源熵和平均自信息量两者在数值上是相等的,但含义并不同。信源熵表征信源的平 均不确定度,平均自信息量是消除信源不确定度所需要的信息的量度。 信源熵是在平均意义上来表征信源的总体特性,它是信源 X 的函数,而 X 是指随机变 量的整体(包括概率空间) 。信源给定,概率空间就给定,信源熵就是一个确定值。

小结:信源熵 H(X)的三种物理含义: 表示信源输出后,每个离散消息所提供的平均信息量。 表示信源输出前,信源的平均不确定度。 反映了变量 X 的随机性。

11. 平均互信息量的定义及物理意义?疑义度及噪声熵?

12. 平均互信息量的性质及理解?

13. 平均互信息量关于信源概率和信道转移概率的凸性定理。

14. 最大离散熵定理及理解。

16. 数据处理定理及其含义。

17. 信源的种类(详细分类)?各举出几个例子。 按时间和幅度分类: 离散信源 单符号离散信源 文字,数字,数据等 离散序列信源 连续信源 连续幅度信源 话音,图像,图形等 随机波形信源 按符号之间的关系: 无记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源

18. 离散平稳信源的定义,平均符号熵,极限熵的定义,含义与理解。 信源所发符号序列的概率分布与时间的起点无关,这种信源我们称之为多符号离散平 稳信源。

马尔可夫信源的定义,含义及其极限熵? 当信源的记忆长度为 m+1 时,该时该发出的符号与前 m 个符号有关联性,而与更前面 的符号无关。 19.

马尔可夫链极限熵:

为了使马尔可夫链最后达到稳定,成功之路遍历的马尔可夫链,还必须满足两个条件:

平稳信源的概率分布特性具有时间推移不变性,而齐次马氏链只要求转移概率具有推 移不变性,因此一般情况下平稳包含齐次,但齐次不包含平稳。

20. 信源的冗余度的定义和含义?为什么有些信源有冗余度?冗余度的计算。 冗余度,表示给定信源在实际发出消息时所包含的多余信息。 它来自两个方面,一是信源符号间的相关性;二是信源符号分布的不均匀性.

21. 连续信源的熵的定义? 连续信源的不确定度应为无穷大,是相对熵,或叫差熵。在取两熵之间的差时才具有 信息的所有特性。 22. 几种特殊连续信源的熵。 幅度连续的单个符号信源熵 波形信源熵 24. 信源输出值受限的最大连续熵定理。 限峰功率最大熵定理:对于定义域为有限的随机变量 X,当它是均匀分布时,具 有最大熵。 25. 信源输出的平均功率受限的最大连续熵定理。 限平均功率最大熵定理:对于相关矩阵一定随机变量 X,当它是正态分布时具有最大 熵。Hc(X) = 1/2 ln( )

28. Shannon 第一定理—离散无失真信源编码定理(定长和变长)及含义?

克劳夫特不等式只是用来说明唯一可译码是否存在, 并不能作为唯一可译码 的判据。

29. 信道的数学模型和分类?

30. 信息传输速率 R 的定义?信道转移概率、信道矩阵和信道容量 C 的定义?几种离散无 噪信道的 C?

31. 强对称,对称,准对称信道的含义及其 C?

式中,m 为信道输出符号集中符号的数目。

强对称信道:

或:

32. 离散信道容量的一般计算方法及其步骤?

33.

连续信道,连续信道的 C 的定义。

连续单符号加性信道:

多维无记忆加性连续信道:

34. 香农公式的含义?

由香农公式得到的值是其信道的下限值。
35 Shannon 第二定理(信道编码定理)及其含义?

35. 对信源编码器有些什么基本要求?编码效率的定义?如何提高编码效率?

36. 什么是最佳编码?说出 Shannon、 Fano 和 Huffman 编码的基本方法和主要特点。

37. 理解 Huffman 编码是最佳编码?

38. 游程编码相关定义与步骤?

39. 算术编码(非分组码)相关定义与步骤?

40.简要说明下面几种译码准则: (1)最优译码准则; (2)最大似然译码准则

BSC 信道的最大似然译码可以简化为信道的最大似然译码可以简化为最最小汉明距离 译码小汉明距离译码。 41.信源与信道达到匹配的含义以及如何实现?信道剩余度的概念及计算?

42.失真函数、平均失真度的定义及其含义?

失真函数定义:

推广-〉L 长序列:

平均失真度:

43.信息率失真函数 R(D)的定义、性质及其含义?R(D)与 C 的比较?

对于给定信源,在平均失真不超过失真限度 D 的条件下,信息率容许压缩的最小值为 R(D) 。 如果选取对压缩更为有利的编码方案,则压缩的效果可能更好。但是一旦超过最小互 信息这个极限值,就是 R(D)的数值,那么失真就要超过失真限度。 如果需要压缩的信息率更大,则可容忍的平均失真就要大。

信息率失真函数 R(D)性质:

44.Shannon 第三定理及其含义?

45.常用哪些差错控制的方法?主要特点?

46.纠错编码的分类(从不同的角度)?

47.分组码和卷积码的定义?区别?码率?卷积码的约束长度?

48.分组码具有纠、检错能力的物理本质(许用码组和禁用码组)? 49.二进制分组码纠、检错能力与汉明距离的关系? 50.汉明距离和汉明重量的定义?错误图样的定义?随机错误和突发错误的定义?

52.线性分组码的定义、构造、性质?

53.线性分组码的伴随式、标准阵的定义及性质? 54.循环码的定义及其性质?系统循环码的编码方法?

55.循环码的生成矩阵和一致校验矩阵的构造?

56.循环码的伴随式及其性质?

57.卷积码的编码规则及其性质、特点? 58 卷积码的基本概念和描述方法、编码器构造?

59 加密编码的基本概念?

60 加密编码中熵的概念、疑义度及其含义? 熵代表了消息的不确定性,其值表示如果消息被噪声通道改变或隐藏在密文中,那么 必须知道多少位才能算出正确消息。


相关文章:
《信息论与编码》复习试题
信息论与编码复习试题_工学_高等教育_教育专区。填空 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 人们研究信息论的目的...
信息论与编码复习总结
信息论与编码复习总结_工学_高等教育_教育专区。信息论与编码复习总结,总结了各类知识点,以及考试常考点。信息论与编码复习总结题型:填空、解答、计算 1、 编码:...
信息论与编码期末复习(基本上涵盖了所有考点,有了这份...
信息论与编码期末复习(基本上涵盖了所有考点,有了这份资料,期末绝不会挂科)_工学_高等教育_教育专区。信息论与编码期末复习(基本上涵盖了所有考点,有了这份资料,...
信息论与编码复习题目(2016)
信息论与编码复习题目(2016)_研究生入学考试_高等教育_教育专区。广工信息论编码论考试大纲 信息论复习提纲 第一章 绪论 1. 通信系统模型; 2. 香浓信息的概念;...
信息论与编码复习资料(新)
信息论与编码复习 1.消息、信号、信息的含义、定义及区别。 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言,文字和图像等。 信号是...
信息论与编码复习
信息论与编码复习_教育学_高等教育_教育专区。信息论与编码复习一、考试题型: 1.判断题(15 分) ,2.填空题(10 分) 3.选择题(10 分) 4,。简答题(10 分...
信息论与编码复习题
信息论与编码复习题_工学_高等教育_教育专区。第二章 复习题 一、填空题 1、信息的 可度量性 是建立信息论的基础。2、 统计度量 是信息度量最常用的方法。3...
信息论与编码复习-新【学生】
信息论与编码复习-新【学生】_工学_高等教育_教育专区。信息论与编码理论复习第一章 绪论 知识点: 1. 信息、消息、信号的定义、区别 2. 信系统模型(五大部件...
信息论与编码复习_图文
信息论与编码复习_信息与通信_工程科技_专业资料 暂无评价|0人阅读|0次下载|举报文档信息论与编码复习_信息与通信_工程科技_专业资料。期末复习重点 ...
信息论与编码期末考试题---学生复习用1
2页 免费 信息论与编码复习题1(1) 6页 5财富值如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 ...
更多相关标签: