当前位置:首页 >> 高中教育 >>

信息率失真理论及其应用 11.1


“信息论与编码”课件

4.3信息率失真函数与信息价值
? 信息率失真理论不仅被应用于信息传输来解决信源的压 缩编码问题,也被应用于质量检测和科学管理中。 ? 例4.6某印刷电路板(PCB)加工厂的产品合格率约为 98%。一块好的PCB板出厂价约为100元,但如果客户 发现一块不合格的板子可向厂方索赔10 000元。已知厂 方检验员检验的正确率约为9

5%,试用信息率失真理论 来分析检验的作用并作比较。假设合格品出厂、废品报 废都不造成损失。 解 根据题意,可将PCB产品作为一信源,且有 信源空间: 好(合格) 废(废品) P(好)=0.98 P(废)=0.02
东南大学移动通信国家重点实验室
1

“信息论与编码”课件

信息率失真函数与信息价值
? 选择失真函数为 d(好,好)=0 d(废,废)=0 d(好,废)=100 d(废,好)=10 000 ? 将产品检验分成4种情况:全部产品都当合格品,全部 产品都当废品,完美的检验和允许出错的检验。 ? 情况1 全部产品不经检验而出厂——都当合格品 ? 把这一过程看作是一个“信道”,其“传递概率”为 P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0 信道矩阵为 好 废

??

好 ?1 0? 废 ?1 0?
2

?

?

东南大学移动通信国家重点实验室

“信息论与编码”课件

信息率失真函数与信息价值
? 这种情况的平均损失,即平均失真度,为
D?

?? P(ai )P(b j /ai )d(ai ,b j )
i j

=P(好)?P(好/好) ?d(好,好)+ P(好)?P(废/好) ?d(好,废) +P(废)?P(好/废话) ?d(废,好)+ P(废)?P(废/废) ?d(废, 废) =0.02?1?10 000=200元/块

? 即这种情况每销售出去一块PCB板,加工厂将要另外承担 可能损失200元的风险。考虑到每块销售100元,实际上是 每卖出一块可能要实际净损失100元。 ? 情况2 全部产品不经检验全部报废——都当废品 信道传输概率为P(好/好)=0 P(废/好)=1 P (好/废)=0 P (废/废)=1 好 废 信道矩阵为
??
好 ?0 1? 废 ?0 1?
3

?

?

东南大学移动通信国家重点实验室

“信息论与编码”课件

信息率失真函数与信息价值
? 平均失真度为
D?

?? P(ai )P(b j /ai )d(ai ,b j )
i j

=P(好)?P(好/好) ?d(好,好)+ P(好)?P(废/好) ?d(好,废) +P(废)?P(好/废) ?d(废,好)+ P(废)?P(废/废) ?d(废, 废) =0.98?1?10 0=98元/块

? 即每生产一块PCB板,加工厂将有损失98元的风险。因 为把98%本来可以卖100元一块的板子也报废了。 ? 比较情况1、2可知,做出全部报废决定造成的损失,要 小于做出全部出厂决定所造成的损失。不做任何检验, 在全部出厂和全部报废两者之间抉择,选择后者的损失 反而小。因此,有 Dmax ? 98 ;R( Dmax ) ? 0 ? 产品未进行质量管理,相当于信源没有输出任何信息量。
东南大学移动通信国家重点实验室
4

“信息论与编码”课件

信息率失真函数与信息价值
? 情况3 正确无误地判断合格品和废品——完美的检验 ? 相当于无噪信道情况,信道矩阵 好 废 好 ?1 0?

??

? ?

?
?

平均失真度为 D ? 0 即这种情况不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵, 有:H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142 比特/块 该式说明,如果从每块PCB板上获取0.142比特的信息 量,就可以避免一切细小的损失。 可能造成的最大损失为 98元/块,所以0.142比特信息量 的最大价值为98元,则每一比特信息的最大价值为
98 ? 690.14 元/比特 0.142

废 ?0 1 ?

?

?

东南大学移动通信国家重点实验室

5

“信息论与编码”课件

信息率失真函数与信息价值
? 情况4 检测时允许有一定的错误——非完美的检验 ? 依题意检验的正确率约为95%,则信道的传输概率为
P(好/好)=0.95 P(废/好)=0.05 P(好/废)=0.05 P(废/废)=0.95 好 废 ? 信道矩阵为 好 ?0.95 0.05?

??

? 平均失真度D ? ?? P(ai )P(b j /ai )d(ai ,b j )
i j

废 ?0.05 0.95?

?

?

=P(好)?P(废/好) ?d(好, 废)+P(废)?P(好/废) ?d(废,好) =0.98?0.05?10 0+0.02?0.05?10 000 = 14.9元/块

? 即这种情况每销售出去一块PCB板,加工厂将要另外承 担可能损失14.9元的风险。考虑到每块销售100元,实际 上是每卖出一块实际收益至少是85.1元。
东南大学移动通信国家重点实验室
6

“信息论与编码”课件

信息率失真函数与信息价值
? 从可能带来的另外损失角度考虑,这种情况和最大损 失(98元)相比,其减少量为98 – 14.9 = 83.1 (元) ? 减少的原因是由于从检验的过程中获取了信息量,如 前所述,检验的过程好比“信道”,获取的信息量也 就是平均互信息量I(X;Y),可用I(X;Y)=H(X) – H(Y|X) 求得。现在来求H(Y/X),为此先求H(Y)。 ? 设出厂产品为信宿Y,则有
PY(好)=P(好) P(好/好)+ P(废) P(好/废) =0.98?0.95+0.02?0.05=0.932 PY(废)=0.068

? 则信宿熵为 H(Y)=H[0.932, 0.068]=0.358 比特/每一出厂产品
东南大学移动通信国家重点实验室
7

“信息论与编码”课件

信息率失真函数与信息价值
? 每生产一个产品,对应于是废品还是合格品的平均不确 定度为 H (Y | X) ? ??? P(ai )P(bj | ai )lbP(bj | ai )
i j

=0.287 比特/每一出厂产品

I(X;Y)=0.358 – 0.287=0.071比特/每一出厂产品 ? 通过允许有错的检验,平均而言从对每块PCB板的检验 中只获取了0.071比特的信息量,但是其损失比不检验时 减少了83.1元,也就是说 0.071比特信息量价值为83.1元, 故每比特价值为 83.1 ? 1170.4 元/比特

0.071

而情况3每比特信息量的价值为690.14元。比较而言,第 4种情况的信息价格最高,是最合算的检验准则。
东南大学移动通信国家重点实验室
8

“信息论与编码”课件

信息率失真函数与信息价值
把上述概念一般化,有: (1)信息率R的价值 ? 在保真度准则下,信息速率R是设计时允许失真D的函数, R(D)与D的一般关系如图8.8所示。但也可以求出R(D)的 反函数D =D(R),同样,给出一个R值,就有一个D与之 对应。 ? 定义8.6 信息率R的价值用V表示,定义为 V = Dmax – D(R) (8.164) 它的含义是当获取关于信源X某一信息率R(D)时,平均 损失从Dmax降低到D所具有的差值。 ? 例如,图8.8中对应于R1,V1=Dmax–D1;对应于R2, V2=Dmax–D2。
东南大学移动通信国家重点实验室
9

“信息论与编码”课件
R( D )

H ( x)

R1

R

R2
D1
D

D2

Dmax

D

图8.8信息率失真函数图
东南大学移动通信国家重点实验室
10

“信息论与编码”课件

信息率失真函数与信息价值
(2)信息率R的价值率 ? 定义8.7 信息率R的价值率用v表示,定义为每比特信息 量的价值,即信息率R的价值率为 Dmax ? D( R) V (8.165)
v? R( D) ? R( D)

? 例8.7 设某地区的天气状况可简单地用好天气和坏天气 来表示,据长期统计,它们的概率分别为P(好) = 4/5和 P(坏) = 1/5。假如对某种生产,把次日是好天气当坏天 气来准备和把坏天气当好天气来准备都会损失a元,否 则无损失。(1)试求完全正确预报的信息率价值V及信 息价值率v;(2)若气象台的误报概率为10%,再求V 及 v。
东南大学移动通信国家重点实验室
11

“信息论与编码”课件

信息率失真函数与信息价值
解 ( 1)
Dmax

V=Dmax – 0 = a /5 元 R(D1) = -0.8 lb0.8 – 0.2 lb0.2 ? 0.722
v? V a/5 ? ? 0.1444 a 元/比特 R( D1 ) 0.722
好 坏

? 2 ? ? 4a a ? a ? min ?? p (ai )dij ? ? min ? , ? ? j ? 5 5? 5 ? i ?1 ?

(2)
??

D2 ?

?? P(ai )P(b j /ai )d(ai ,b j )
i j
12

? 坏? 0.2 0.8 ? ?

好 ?0.8 0.2?

=P(好)?P(坏/好) ?d(好, 坏)+P(坏)?P(好/坏) ?d(坏,好) =0.8?0.05?a+0.2?0.05?a = a /20

东南大学移动通信国家重点实验室

“信息论与编码”课件

信息率失真函数与信息价值
(续) V = Dmax – D2 = a /10 – a /20 = a /20 P2 (好)=P(好)?P(好/好) +P(坏)?P(坏) =0.8?0.95+0.2?0.05=0.77 P2 (坏)=0.23 H(Y) = 0.77lb0.77+0.23lb0.23 ? 0.778

H (Y | X) ? ??? P(ai )P(bj | ai )lbP(bj | ai ) ? 0.286
i j

I(X;Y) = 0.778 – 0.286 = 0.492
v? V a / 20 ? ? 0.102a 元/比特 R( D2 ) 0.492
13

东南大学移动通信国家重点实验室

“信息论与编码”课件

本章小结
? 本章讨论了离散消息的失真函数和信息率失真函数,同 时对连续消息也做了相应的讨论。限失真信源编码定理 是本章的重点,由此引出了信息价值这一具有实际意义 的概念。但该定理只是一个存在性定理。在实际应用中, 该理论主要存在着两大类问题。第一类问题是符合实际 信源的R(D)函数的计算相当困难。首先,需要对实际信 源的统计特性有确切的数学描述;其次,需要对符合主、 客观实际的失真给予正确的度量,否则不能求得符合主、 客观实际的R(D)函数。 ? 第2类问题是即便求得了符合实际的信息率失真函数, 还需要研究采取何种最佳编码方法才能达到极限值。尽 管如此,限失真信源编码定理仍为信源的压缩编码指明 了方向,是各种信源压缩编码的理论基础。
东南大学移动通信国家重点实验室
14


相关文章:
2012年计算机操作员高级理论知识试卷(含答案11)1
2012年计算机操作员高级理论知识试卷(含答案11)1_IT...A、使信息的表达方式不再单调,而是有声有色生动...文字准确率高 C、需要用户将声音、鼠标或键盘结合...
第四章 信息率失真函数-习题答案
第四章 信息率失真函数-习题答案_计算机硬件及网络_IT/计算机_专业资料。1 2 3 ? ? X ? ? 0 4.1 一个四元对称信源 ? ?? ? ,接收符号 Y = {0, 1...
(10-11-1)数据库原理试卷B(答案)
并将正确答案序号填在答题卡上。每小题 1 分,...数据库设计人员用户之间沟通信息的桥梁是( A )。...√ 3. 规范化主要的理论依据是关系代数理论。 ╳ ...
信息理论试卷
朝鲜的近代史1/2 相关文档推荐 信息理论与编码试卷...10. 设离散无记忆平稳信源的信息率失真函数为 R ...11. 在加性高斯噪声信道中传输信息, 在加性高斯...
创新案例专题讲座 考试2012.11.1
创新案例专题讲座 考试2012.11.1_其它考试_资格考试/认证_教育专区。81分的...(A) 新方法的应用 (B) 新材料的发现 (C) 新理论的创设 (D) 新观点的...
数据库系统课后习题答案(1-11)
数据库系统课后习题答案(1-11)_工学_高等教育_...数据库管理系统(及其开发工具) 、应用系统、数据库...几乎所有企业或部门的信息系统都以数据库系统 为基础...
信息论 复11习
朝鲜的近代史1/2 相关文档推荐 信息论11 43页 免费...保真度准则是指:实际应用的失真度小于等于 小于等于...25、信息率失真理论是量化、数模转换、频带压缩 ...
数据库在线测试1—11章简答题部分及个别简答题
数据库在线测试111章简答题部分个别简答题_工学...工具, 是数据库中用于提供信息表示和操作手段 的...可以提高数据的利用率和一致性,又有利于应用程序...
2016年11月1日超星军事理论(张国清)期末考试答案
2016年111日超星军事理论(张国清)期末考试答案_...传递遗传信息的基本因子,基因就是()上的一个小片 ...军事强国已越来越不重视太空武器在战争当中的运用。...
更多相关标签:
率失真理论 | 控制理论与应用 | 复杂网络理论及其应用 | 振动理论及应用 | 分形理论及其应用 | 理论与应用力学 | ct理论与应用研究 | triz理论应用实例 |