当前位置:首页 >> 高中教育 >>

信息率失真理论及其应用 11.1


“信息论与编码”课件

4.3信息率失真函数与信息价值
? 信息率失真理论不仅被应用于信息传输来解决信源的压 缩编码问题,也被应用于质量检测和科学管理中。 ? 例4.6某印刷电路板(PCB)加工厂的产品合格率约为 98%。一块好的PCB板出厂价约为100元,但如果客户 发现一块不合格的板子可向厂方索赔10 000元。已知厂 方检验员检验的正确率约为9

5%,试用信息率失真理论 来分析检验的作用并作比较。假设合格品出厂、废品报 废都不造成损失。 解 根据题意,可将PCB产品作为一信源,且有 信源空间: 好(合格) 废(废品) P(好)=0.98 P(废)=0.02
东南大学移动通信国家重点实验室
1

“信息论与编码”课件

信息率失真函数与信息价值
? 选择失真函数为 d(好,好)=0 d(废,废)=0 d(好,废)=100 d(废,好)=10 000 ? 将产品检验分成4种情况:全部产品都当合格品,全部 产品都当废品,完美的检验和允许出错的检验。 ? 情况1 全部产品不经检验而出厂——都当合格品 ? 把这一过程看作是一个“信道”,其“传递概率”为 P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0 信道矩阵为 好 废

??

好 ?1 0? 废 ?1 0?
2

?

?

东南大学移动通信国家重点实验室

“信息论与编码”课件

信息率失真函数与信息价值
? 这种情况的平均损失,即平均失真度,为
D?

?? P(ai )P(b j /ai )d(ai ,b j )
i j

=P(好)?P(好/好) ?d(好,好)+ P(好)?P(废/好) ?d(好,废) +P(废)?P(好/废话) ?d(废,好)+ P(废)?P(废/废) ?d(废, 废) =0.02?1?10 000=200元/块

? 即这种情况每销售出去一块PCB板,加工厂将要另外承担 可能损失200元的风险。考虑到每块销售100元,实际上是 每卖出一块可能要实际净损失100元。 ? 情况2 全部产品不经检验全部报废——都当废品 信道传输概率为P(好/好)=0 P(废/好)=1 P (好/废)=0 P (废/废)=1 好 废 信道矩阵为
??
好 ?0 1? 废 ?0 1?
3

?

?

东南大学移动通信国家重点实验室

“信息论与编码”课件

信息率失真函数与信息价值
? 平均失真度为
D?

?? P(ai )P(b j /ai )d(ai ,b j )
i j

=P(好)?P(好/好) ?d(好,好)+ P(好)?P(废/好) ?d(好,废) +P(废)?P(好/废) ?d(废,好)+ P(废)?P(废/废) ?d(废, 废) =0.98?1?10 0=98元/块

? 即每生产一块PCB板,加工厂将有损失98元的风险。因 为把98%本来可以卖100元一块的板子也报废了。 ? 比较情况1、2可知,做出全部报废决定造成的损失,要 小于做出全部出厂决定所造成的损失。不做任何检验, 在全部出厂和全部报废两者之间抉择,选择后者的损失 反而小。因此,有 Dmax ? 98 ;R( Dmax ) ? 0 ? 产品未进行质量管理,相当于信源没有输出任何信息量。
东南大学移动通信国家重点实验室
4

“信息论与编码”课件

信息率失真函数与信息价值
? 情况3 正确无误地判断合格品和废品——完美的检验 ? 相当于无噪信道情况,信道矩阵 好 废 好 ?1 0?

??

? ?

?
?

平均失真度为 D ? 0 即这种情况不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵, 有:H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142 比特/块 该式说明,如果从每块PCB板上获取0.142比特的信息 量,就可以避免一切细小的损失。 可能造成的最大损失为 98元/块,所以0.142比特信息量 的最大价值为98元,则每一比特信息的最大价值为
98 ? 690.14 元/比特 0.142

废 ?0 1 ?

?

?

东南大学移动通信国家重点实验室

5

“信息论与编码”课件

信息率失真函数与信息价值
? 情况4 检测时允许有一定的错误——非完美的检验 ? 依题意检验的正确率约为95%,则信道的传输概率为
P(好/好)=0.95 P(废/好)=0.05 P(好/废)=0.05 P(废/废)=0.95 好 废 ? 信道矩阵为 好 ?0.95 0.05?

??

? 平均失真度D ? ?? P(ai )P(b j /ai )d(ai ,b j )
i j

废 ?0.05 0.95?

?

?

=P(好)?P(废/好) ?d(好, 废)+P(废)?P(好/废) ?d(废,好) =0.98?0.05?10 0+0.02?0.05?10 000 = 14.9元/块

? 即这种情况每销售出去一块PCB板,加工厂将要另外承 担可能损失14.9元的风险。考虑到每块销售100元,实际 上是每卖出一块实际收益至少是85.1元。
东南大学移动通信国家重点实验室
6

“信息论与编码”课件

信息率失真函数与信息价值
? 从可能带来的另外损失角度考虑,这种情况和最大损 失(98元)相比,其减少量为98 – 14.9 = 83.1 (元) ? 减少的原因是由于从检验的过程中获取了信息量,如 前所述,检验的过程好比“信道”,获取的信息量也 就是平均互信息量I(X;Y),可用I(X;Y)=H(X) – H(Y|X) 求得。现在来求H(Y/X),为此先求H(Y)。 ? 设出厂产品为信宿Y,则有
PY(好)=P(好) P(好/好)+ P(废) P(好/废) =0.98?0.95+0.02?0.05=0.932 PY(废)=0.068

? 则信宿熵为 H(Y)=H[0.932, 0.068]=0.358 比特/每一出厂产品
东南大学移动通信国家重点实验室
7

“信息论与编码”课件

信息率失真函数与信息价值
? 每生产一个产品,对应于是废品还是合格品的平均不确 定度为 H (Y | X) ? ??? P(ai )P(bj | ai )lbP(bj | ai )
i j

=0.287 比特/每一出厂产品

I(X;Y)=0.358 – 0.287=0.071比特/每一出厂产品 ? 通过允许有错的检验,平均而言从对每块PCB板的检验 中只获取了0.071比特的信息量,但是其损失比不检验时 减少了83.1元,也就是说 0.071比特信息量价值为83.1元, 故每比特价值为 83.1 ? 1170.4 元/比特

0.071

而情况3每比特信息量的价值为690.14元。比较而言,第 4种情况的信息价格最高,是最合算的检验准则。
东南大学移动通信国家重点实验室
8

“信息论与编码”课件

信息率失真函数与信息价值
把上述概念一般化,有: (1)信息率R的价值 ? 在保真度准则下,信息速率R是设计时允许失真D的函数, R(D)与D的一般关系如图8.8所示。但也可以求出R(D)的 反函数D =D(R),同样,给出一个R值,就有一个D与之 对应。 ? 定义8.6 信息率R的价值用V表示,定义为 V = Dmax – D(R) (8.164) 它的含义是当获取关于信源X某一信息率R(D)时,平均 损失从Dmax降低到D所具有的差值。 ? 例如,图8.8中对应于R1,V1=Dmax–D1;对应于R2, V2=Dmax–D2。
东南大学移动通信国家重点实验室
9

“信息论与编码”课件
R( D )

H ( x)

R1

R

R2
D1
D

D2

Dmax

D

图8.8信息率失真函数图
东南大学移动通信国家重点实验室
10

“信息论与编码”课件

信息率失真函数与信息价值
(2)信息率R的价值率 ? 定义8.7 信息率R的价值率用v表示,定义为每比特信息 量的价值,即信息率R的价值率为 Dmax ? D( R) V (8.165)
v? R( D) ? R( D)

? 例8.7 设某地区的天气状况可简单地用好天气和坏天气 来表示,据长期统计,它们的概率分别为P(好) = 4/5和 P(坏) = 1/5。假如对某种生产,把次日是好天气当坏天 气来准备和把坏天气当好天气来准备都会损失a元,否 则无损失。(1)试求完全正确预报的信息率价值V及信 息价值率v;(2)若气象台的误报概率为10%,再求V 及 v。
东南大学移动通信国家重点实验室
11

“信息论与编码”课件

信息率失真函数与信息价值
解 ( 1)
Dmax

V=Dmax – 0 = a /5 元 R(D1) = -0.8 lb0.8 – 0.2 lb0.2 ? 0.722
v? V a/5 ? ? 0.1444 a 元/比特 R( D1 ) 0.722
好 坏

? 2 ? ? 4a a ? a ? min ?? p (ai )dij ? ? min ? , ? ? j ? 5 5? 5 ? i ?1 ?

(2)
??

D2 ?

?? P(ai )P(b j /ai )d(ai ,b j )
i j
12

? 坏? 0.2 0.8 ? ?

好 ?0.8 0.2?

=P(好)?P(坏/好) ?d(好, 坏)+P(坏)?P(好/坏) ?d(坏,好) =0.8?0.05?a+0.2?0.05?a = a /20

东南大学移动通信国家重点实验室

“信息论与编码”课件

信息率失真函数与信息价值
(续) V = Dmax – D2 = a /10 – a /20 = a /20 P2 (好)=P(好)?P(好/好) +P(坏)?P(坏) =0.8?0.95+0.2?0.05=0.77 P2 (坏)=0.23 H(Y) = 0.77lb0.77+0.23lb0.23 ? 0.778

H (Y | X) ? ??? P(ai )P(bj | ai )lbP(bj | ai ) ? 0.286
i j

I(X;Y) = 0.778 – 0.286 = 0.492
v? V a / 20 ? ? 0.102a 元/比特 R( D2 ) 0.492
13

东南大学移动通信国家重点实验室

“信息论与编码”课件

本章小结
? 本章讨论了离散消息的失真函数和信息率失真函数,同 时对连续消息也做了相应的讨论。限失真信源编码定理 是本章的重点,由此引出了信息价值这一具有实际意义 的概念。但该定理只是一个存在性定理。在实际应用中, 该理论主要存在着两大类问题。第一类问题是符合实际 信源的R(D)函数的计算相当困难。首先,需要对实际信 源的统计特性有确切的数学描述;其次,需要对符合主、 客观实际的失真给予正确的度量,否则不能求得符合主、 客观实际的R(D)函数。 ? 第2类问题是即便求得了符合实际的信息率失真函数, 还需要研究采取何种最佳编码方法才能达到极限值。尽 管如此,限失真信源编码定理仍为信源的压缩编码指明 了方向,是各种信源压缩编码的理论基础。
东南大学移动通信国家重点实验室
14


相关文章:
ERP原理与运用复习题及答案
共 72 分) 此类型试题考查学生对基本理论和应用性...从管理信息系统的角度看待 ERP, ERP 系统是一种...(对) 11. 定量库存控制模型要确定的量是订货点和...
第11章达朗 贝尔原理及其应用习题解
文档信息举报文档 1254025434贡献于2011-04-26 0.0...关键词:理论力学清华范十一章 同系列文档 中国名人老...达朗贝尔原理及其应用 11-1 均质圆盘作定轴转动,...
网络创业理论与实践11.1-11.5
网络创业理论与实践11.1-11.5_金融/投资_经管营销...? A、提升流量 B、提升转化率 C、提升点击率 D...库存宝贝、出售中宝贝、线上仓 库中宝贝的商品信息...
试卷-综合(11春1)
2011秋理论考题 18页 免费 计算机一级考试试题汇总(...下列关于计算机合成图像(计算机图形)的应用中,错误的...也可以对写入的信息进行擦除和改 写,这种光盘的...
信息论习题集
必须同时考虑到 形式、含义效用 三个方面的因 素...11个随机事件发生某结果后所带来的信息量称...44、信息率失真理论是量化、数模转换、频带压缩和 ...
常州大学 10-11-1单片机原理及应用期中试卷
常州大学考试命题用纸 考试科目 单片机原理及应用 共 2 页, 第 1 页 信息科学与工程学院 2010~2011 学年第 1 学期 单片机原理及应用姓名 9、单片机 8031 的 ...
信息论与编码期中试卷及答案
发表了题为“通信的数学理论”的长篇论文,从而创 (...( ? (9)信息率失真函数 R(D)是关于平均失真度 ...1/8 1/8 码A 00 01 10 11 码 B2 0 01 ...
管理学作业二答案(11.12)
A. 组织现有的规模岗位 B. 管理人员的流动率 ...控制是一种动态的、适时的信息(D )过程。 A. ...年度标准 11. 赫茨伯格提出的双因素理论认为(A )不...
误差理论与数据处理--课后答案
误差理论与数据处理--课后答案_理学_高等教育_教育专区。《误差理论与数据处理》...标准差为 2-16 重力加速度的 20 次测量具有平均值为 9.811 0.0 1 4 m...
信息论期末复习资料
35.信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。 36....11.无记忆编码信道的每一个二元符号输出可以用多个比特表示,理想情况下为实 数...
更多相关标签:
率失真理论 | nx11.0导出dwg失真 | ie11图片失真 | 控制理论与应用 | 理论与应用力学 | 模糊数学理论及其应用 | ct理论与应用研究 | 模态分析理论与应用 |