当前位置:首页 >> 物理 >>

第一章绪论


彭蕾 peng_lei@tom.com

? ?

?

自觉遵守课堂纪律 复习《概率论》 准备两个作业本

第1章 绪论 Chapter one Introduction
?

?
? ?

信息 通信系统的模型 离散与连续 信息论的形成与发展

2

?

人们在自然和社会活动中,获取信息并对 其进行传输、交换、处理、检测、识别、 存储、显示等操作,对这方面科学的研究 就是信息科学(information science),以扩展 人类的信息处理能力为主要研究目标。

3

?

?

信息论(information theory)是信息科学的 主要理论基础之一,是在长期的信息与通 信工程实践中,与概率论、随机过程和数 理统计等近代数学学科相结合而建立并发 展起来的。。主要研究可能性和存在性问 题,为具体实现提供理论依据。 与信息论对应的是信息技术(information technology),技术主要研究怎样实现的问 题。

1.1 信息 信号、消息、信息
?

运用概率论和随机过程的理论来研究信 息,是香农信息论的基本点。 例1-1 张三给李四发送一条短信,报告 一条新闻“某沿海地区发生了海啸”, 李四看过之后非常吃惊。

?

1.1 信息
?

信息
广义定义:信息是物质的普遍属性,所谓物质 系统的信息是指它所属的物理系统在同一切其 他物质系统全面相互作用(或联系)过程中, 以质、能和波动的形式所呈现的结构、状态和 历史。 ? 狭义定义:各个事物运动的状态以及状态变化 的方式。 ? 概率信息,也称香农信息:信息表征信源的不 定度,但它不等同于不定度,而是为了消除一 定的不定度必须获得与此不定度相等的信息量 。
?

?

概率信息:用概率来定义信息。

?

事件发生的概率越大,发生后提供的信息 量越小;事件发生的概率越小,提供的信 息量越大。

1.1 信息
?

消息
消息是指包含信息的语言、文字和图像等。 在通信中,消息是指担负着传送信息任务的 单个符号或符号序列。这些符号包括字母、 文字、数字和语言等。消息是具体的,它载 荷信息,但它不是物理性的。

8

1.1 信息
?

信号
信号是消息的物理体现,为了在信道上传输 消息,就必须把消息加载(调制)到具有某 种物理特征的信号上去。信号是信息的载荷 子或载体,是物理性的。

?

数据
载有信息的可观测、可传输、可存储及可处 理的信号,称为数据。

9

1.1 信息
?

信号最具体,它是一物理量,可测量、可显示、 可描述,同时它又是载荷信息的实体 信息的物理层表达

消息是具体的、非物理的,可描述为语言文字、 符号、数据、图片,能够被感觉到,同时它也是 信息的载荷体。是信息论中主要描述形式 信息的数学层表达 ? 信息是抽象的、非物理的,是哲学层表达。
?

10

1.1 信息
?

信息是具体信号与消息的内涵,是信号载荷的内 容,是消息描述的对象。反过来,信号则是信息 在物理表达上的外延,消息则是信息在数学表达 上的外延。同一信息,可以采用不同形式的物理 量来载荷,也可以采用不同的数学描述方式。同 样,同一类型信号或消息也可以代表不同内容的 信息

11

1.1 信息
?

信息、消息、信号
信号:具体的、物理的

消息:具体的、非物理的 信息:非具体的、非物理的

12

1.1 信息
信息的性质
1.信息是无形的 2.可共享性 3.可扩展性 4.可度量性

1.2 通信系统的模型
?

通信系统模型方框图:
信源 编码 信道 编码

信源

加密

干扰
信道 信宿 信源 译码 解密 信道 译码 噪声

14

1.2 通信系统的模型
?

信源
信源是向通信系统提供消息u的人和机器。信 源输出的是以符号形式出现的具体消息,它载 荷信息。

信源输出:

离散消息 连续消息 信源的核心问题:如何确定信息量。

15

1.2 通信系统的模型
信宿 信宿是消息传递的对象,即接收消息的人或机器。 信宿的问题:能够收到或提取多少信息量。 ? 信道 信道是传递消息的通道,又是传送物理信号的设施。 信道的主要问题是信道容量的大小。 ? 干扰源 干扰源是整个通信系统中各个干扰的集中反映。对 于任何通信系统,干扰的性质和大小是影响系统性 能的重要因素。
?
16

1.2 通信系统的模型
通信系统的性能指标主要是有效性、可靠性、安全 性和经济性。其中有效性、可靠性、安全性正是信 息论研究的对象。
?

信源编码和信源解码
? ?

有效性,去除冗余 信源编码器的作用:可以压缩信源的冗余度,以 提高通信系统传输消息的效率。信源译码器的作 用相当于信源编码器的逆过程。

17

1.2 通信系统的模型
?

信道编码和信道解码
?
?

可靠性,添加冗余
信道编码器的作用是在信源编码器输出的 代码组上有目的地增加一些监督码元,使 之具有检错或纠错的能力,即消除信道上 噪声的影响。信道译码器具有检错或纠错 的功能,能提高传输消息的可靠性。

18

1.2 通信系统的模型
?

保密编码(加密/解密) ? 安全性,密钥
?

加密编码是研究如何隐蔽消息中的信 息内容,以便在传输过程中不被窃听, 提高通信系统的安全性。

?

调制编码是把信源发出的消息变换成由二 进制码元组成的代码组,这种代码组就是 基带信号。

19

1.3 离散与连续
? ?

消息有两种形式:离散和连续。
离散消息和连续消息主要的差别是值域。 离散消息的值域取自集合{x1,x2,?,xn} ,该集合是可数的。 连续消息的值域取自区间[a,b],区间是 不可数的。 还有一种消息,在时间上是离散的,在幅 度上是连续的,这种称为离散时间消息。

?

1.4 信息论的形成与发展
?
? ?

信息论的发展过程
1924年,奈奎斯特(H Nyquist), 信息率与带宽 联系 1928年,哈特利(L.V.R. Hartley)最早研究了通信 系统传输信息的能力,引入非统计信息量,给出 了信息度量方法 1936年,阿姆斯壮(EH Armstrong)提出增大带宽 可以使抗干扰能力增强

?

21

?

?

?

香农( Shannon )用概率论的方法研究通信系统, 揭示了通信系统传递的对象就是信息,并对信息 给以科学的定量描述,提出了信息熵的概念,还 指出通信系统的中心问题是在噪声下如何有效而 可靠地传送信息,而实现这一目标的主要方法是 编码等,这一成果于1948年以 “A mathematical theory of communications”(通信 的数学理论)为题公开发表。这是信息时代的里 程碑,香农因此成为信息论的奠基人。 1951年美国IRE成立了信息论组,并于1955年正式 出版了信息论汇刊。

22

?

?

?

20世纪60年代信道编码技术有较大进展,使它成 为信息论的又一重要分支。它把代数方法引入到 纠错码的研究,使分组码技术发展到了高峰,找 到了大量可纠正多个错误的码,而且提出了可实 现的译码方法。 20世纪70年代卷积码和概率译码有了重大突破, 提出了序列译码和Viterbi译码方法,这使得香农 理论成为真正具有实用意义的科学理论。 1982年Ungerboeck G. 提出了将信道编码和调制结 合在一起的网格编码调制方法,无需增大带宽和 功率,以增加设备的复杂度换取编码增益。

普通高等教育“十五”国家级规划教材《信息论与编码》

曹雪虹等编著

23

1.4 信息论的形成与发展
?
?

信息论的形成与发展
1959年,Shannon, 信源压缩编码理论,《 Coding theorems for a discrete source with a fidelity criterion》系统地提出了信息率失真理 论和限失真信源编码定理 1961年,Shannon, “双路通信信道”,多用户 理论 1972年,Cover, 广播信道
24

?

?

1.4 信息论的形成与发展
?

?

信息论研究对象是广义通信系统。任何系统,只 要能够抽象成通信系统模型,都可以用信息论研 究。 图1-6 通信技术的发展

25

1.4 信息论的形成与发展
关于信息论的研究内容,一般有以下三种解释: 1.狭义信息论 亦称香农信息论。主要研究在噪声环境下, 可靠地、安全地、有效地传送信息理论,即信息 的测度、信道容量、信息率失真函数,与之对应 的是香农三定理以及信源和信道编码 。
?

1.4 信息论的形成和发展
三大定理
无失真信源编码定理(第一极限定理) ? 信道编码定理(第二极限定理) ? 限失真信源编定理(第三极限定理)
?

27

?

一般信息论 主要研究信息传输和处理问题。除了香农基 本理论外还包括噪声理论、信号滤波和预测、统 计监测与估计理论、调制理论。
广义信息论 所有研究信息的识别、控制、提取、变换、 传输、处理、存储、显示、价值、作用和信息量 的大小的一般规律以及实现这些原理的技术手段 的工程学科,也都属于广义信息论的范畴。

?

28

作业:
?

?

说明信息、消息及信号的定义,三者之间 的联系与区别。 香农信息论的主要研究内容是什么?


相关文章:
第一章 绪论_图文.ppt
第一章 绪论 - 丸、散、膏、丹,神仙难辨 中药制剂分析 Analysis of
第一章 绪论_图文.ppt
第一章 绪论 - 绪 论(1) ---人口老龄化 主讲人:李志月 人口老龄化 你
第一章绪论_图文.ppt
第一章绪论 - 第一章 绪论 引言 第一节 第二节 统计学的含义和重要性 统计学的基本概念 第一章 绪论...
第一章 绪论_图文.ppt
第一章 绪论 - 中国饮食文化 主讲人:张欣 长江大学生命科学学院 ? ? ?
第一章 绪论_图文.ppt
第一章 绪论 - 第一章 绪论 本章提要 ? 1、了解细胞生物学研究的内容 ?
第一章绪论_图文.ppt
第一章绪论 - 经济法 教师:陈昌 Mobile: 13666082683 E-mail: 1023211736@qq.com 2014/7/24 目 录 ...
第一章 绪论.doc
第一章 绪论 - 第一章绪论 1. 判断改错题 1-1-1 铸铁结构由于没有屈服
第一章 绪论(1)_图文.ppt
第一章 绪论(1) - 基础写作 主讲教师 徐玉英 2014-10-24 电话:
1.绪论及第一章_图文.ppt
1.绪论第一章 - 燃气输配及 燃气工程施工 参考书目 ? ? ? ? 《燃气
生理学第一章-绪论练习题.doc
生理学第一章-绪论练习题 - 《人体生理学》第一章绪论练习题 一、名词解释 1.
第一章绪论_图文.ppt
第一章绪论 - 图像与视频通信 课程进度安排 ? 讲课(30学时) ?第一章 绪论 ?第二章 图像技术基础 ?第三章 图像压缩编码 ?第四章 静止图像编码 ?第五章 ...
第一章绪论.doc
法律逻辑学 第一章 绪论 学习目的:绪论是本课的导言,学习目的在于对逻辑学这门课
第一章 绪论_图文.ppt
第一章 绪论 - 《康复医学基础》 第一章 绪论 第一章 康复医学概述 教学目标
第一章 绪论.ppt
第一章 绪论_工学_高等教育_教育专区。电子与信息工程学院 数字图像处理 第一章
第一章 劳动力绪论_图文.ppt
第一章 劳动力绪论 - 第一章 绪论 主讲人:刘梅 重点与难点 ? 1、劳动力市
第一章 绪论.ppt
3 课时安排(32课时) 第一章 绪论(1课时) 第二章 化工废水处理技术(6课
第一章 绪论.ppt
第一章 绪论_教育学_高等教育_教育专区。第一章 绪论 万能养育机 (Unive
第一章 绪论.ppt
第一章 绪论_交通运输_工程科技_专业资料。铁道机车车辆专业,车辆工程专业,城市
第一章绪论_图文.ppt
第一章绪论_医学_高等教育_教育专区。口腔正畸学第一章 绪论陈一 3486151
第一章 绪论_图文.ppt
第一章 绪论 - 天然药物提取分离技术 第一章 绪论 一、定义: 天然药物提取分