当前位置:首页 >> 高中教育 >>

信息率失真理论及其应用 11.1


“信息论与编码”课件

4.3信息率失真函数与信息价值
? 信息率失真理论不仅被应用于信息传输来解决信源的压 缩编码问题,也被应用于质量检测和科学管理中。 ? 例4.6某印刷电路板(PCB)加工厂的产品合格率约为 98%。一块好的PCB板出厂价约为100元,但如果客户 发现一块不合格的板子可向厂方索赔10 000元。已知厂 方检验员检验的正确率约为95%,试用信息率失真理论 来分析检验的作用并作比较。假设合格品出厂、废品报 废都不造成损失。 解 根据题意,可将PCB产品作为一信源,且有 信源空间: 好(合格) 废(废品) P(好)=0.98 P(废)=0.02
东南大学移动通信国家重点实验室
1

“信息论与编码”课件

信息率失真函数与信息价值
? 选择失真函数为 d(好,好)=0 d(废,废)=0 d(好,废)=100 d(废,好)=10 000 ? 将产品检验分成4种情况:全部产品都当合格品,全部 产品都当废品,完美的检验和允许出错的检验。 ? 情况1 全部产品不经检验而出厂——都当合格品 ? 把这一过程看作是一个“信道”,其“传递概率”为 P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0 信道矩阵为 好 废

??

好 ?1 0? 废 ?1 0?
2

?

?

东南大学移动通信国家重点实验室

“信息论与编码”课件

信息率失真函数与信息价值
? 这种情况的平均损失,即平均失真度,为
D?

?? P(ai )P(b j /ai )d(ai ,b j )
i j

=P(好)?P(好/好) ?d(好,好)+ P(好)?P(废/好) ?d(好,废) +P(废)?P(好/废话) ?d(废,好)+ P(废)?P(废/废) ?d(废, 废) =0.02?1?10 000=200元/块

? 即这种情况每销售出去一块PCB板,加工厂将要另外承担 可能损失200元的风险。考虑到每块销售100元,实际上是 每卖出一块可能要实际净损失100元。 ? 情况2 全部产品不经检验全部报废——都当废品 信道传输概率为P(好/好)=0 P(废/好)=1 P (好/废)=0 P (废/废)=1 好 废 信道矩阵为
??
好 ?0 1? 废 ?0 1?
3

?

?

东南大学移动通信国家重点实验室

“信息论与编码”课件

信息率失真函数与信息价值
? 平均失真度为
D?

?? P(ai )P(b j /ai )d(ai ,b j )
i j

=P(好)?P(好/好) ?d(好,好)+ P(好)?P(废/好) ?d(好,废) +P(废)?P(好/废) ?d(废,好)+ P(废)?P(废/废) ?d(废, 废) =0.98?1?10 0=98元/块

? 即每生产一块PCB板,加工厂将有损失98元的风险。因 为把98%本来可以卖100元一块的板子也报废了。 ? 比较情况1、2可知,做出全部报废决定造成的损失,要 小于做出全部出厂决定所造成的损失。不做任何检验, 在全部出厂和全部报废两者之间抉择,选择后者的损失 反而小。因此,有 Dmax ? 98 ;R( Dmax ) ? 0 ? 产品未进行质量管理,相当于信源没有输出任何信息量。
东南大学移动通信国家重点实验室
4

“信息论与编码”课件

信息率失真函数与信息价值
? 情况3 正确无误地判断合格品和废品——完美的检验 ? 相当于无噪信道情况,信道矩阵 好 废 好 ?1 0?

??

? ?

?
?

平均失真度为 D ? 0 即这种情况不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵, 有:H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142 比特/块 该式说明,如果从每块PCB板上获取0.142比特的信息 量,就可以避免一切细小的损失。 可能造成的最大损失为 98元/块,所以0.142比特信息量 的最大价值为98元,则每一比特信息的最大价值为
98 ? 690.14 元/比特 0.142

废 ?0 1 ?

?

?

东南大学移动通信国家重点实验室

5

“信息论与编码”课件

信息率失真函数与信息价值
? 情况4 检测时允许有一定的错误——非完美的检验 ? 依题意检验的正确率约为95%,则信道的传输概率为
P(好/好)=0.95 P(废/好)=0.05 P(好/废)=0.05 P(废/废)=0.95 好 废 ? 信道矩阵为 好 ?0.95 0.05?

??

? 平均失真度D ? ?? P(ai )P(b j /ai )d(ai ,b j )
i j

废 ?0.05 0.95?

?

?

=P(好)?P(废/好) ?d(好, 废)+P(废)?P(好/废) ?d(废,好) =0.98?0.05?10 0+0.02?0.05?10 000 = 14.9元/块

? 即这种情况每销售出去一块PCB板,加工厂将要另外承 担可能损失14.9元的风险。考虑到每块销售100元,实际 上是每卖出一块实际收益至少是85.1元。
东南大学移动通信国家重点实验室
6

“信息论与编码”课件

信息率失真函数与信息价值
? 从可能带来的另外损失角度考虑,这种情况和最大损 失(98元)相比,其减少量为98 – 14.9 = 83.1 (元) ? 减少的原因是由于从检验的过程中获取了信息量,如 前所述,检验的过程好比“信道”,获取的信息量也 就是平均互信息量I(X;Y),可用I(X;Y)=H(X) – H(Y|X) 求得。现在来求H(Y/X),为此先求H(Y)。 ? 设出厂产品为信宿Y,则有
PY(好)=P(好) P(好/好)+ P(废) P(好/废) =0.98?0.95+0.02?0.05=0.932 PY(废)=0.068

? 则信宿熵为 H(Y)=H[0.932, 0.068]=0.358 比特/每一出厂产品
东南大学移动通信国家重点实验室
7

“信息论与编码”课件

信息率失真函数与信息价值
? 每生产一个产品,对应于是废品还是合格品的平均不确 定度为 H (Y | X) ? ??? P(ai )P(bj | ai )lbP(bj | ai )
i j

=0.287 比特/每一出厂产品

I(X;Y)=0.358 – 0.287=0.071比特/每一出厂产品 ? 通过允许有错的检验,平均而言从对每块PCB板的检验 中只获取了0.071比特的信息量,但是其损失比不检验时 减少了83.1元,也就是说 0.071比特信息量价值为83.1元, 故每比特价值为 83.1 ? 1170.4 元/比特

0.071

而情况3每比特信息量的价值为690.14元。比较而言,第 4种情况的信息价格最高,是最合算的检验准则。
东南大学移动通信国家重点实验室
8

“信息论与编码”课件

信息率失真函数与信息价值
把上述概念一般化,有: (1)信息率R的价值 ? 在保真度准则下,信息速率R是设计时允许失真D的函数, R(D)与D的一般关系如图8.8所示。但也可以求出R(D)的 反函数D =D(R),同样,给出一个R值,就有一个D与之 对应。 ? 定义8.6 信息率R的价值用V表示,定义为 V = Dmax – D(R) (8.164) 它的含义是当获取关于信源X某一信息率R(D)时,平均 损失从Dmax降低到D所具有的差值。 ? 例如,图8.8中对应于R1,V1=Dmax–D1;对应于R2, V2=Dmax–D2。
东南大学移动通信国家重点实验室
9

“信息论与编码”课件
R( D )

H ( x)

R1

R

R2
D1
D

D2

Dmax

D

图8.8信息率失真函数图
东南大学移动通信国家重点实验室
10

“信息论与编码”课件

信息率失真函数与信息价值
(2)信息率R的价值率 ? 定义8.7 信息率R的价值率用v表示,定义为每比特信息 量的价值,即信息率R的价值率为 Dmax ? D( R) V (8.165)
v? R( D) ? R( D)

? 例8.7 设某地区的天气状况可简单地用好天气和坏天气 来表示,据长期统计,它们的概率分别为P(好) = 4/5和 P(坏) = 1/5。假如对某种生产,把次日是好天气当坏天 气来准备和把坏天气当好天气来准备都会损失a元,否 则无损失。(1)试求完全正确预报的信息率价值V及信 息价值率v;(2)若气象台的误报概率为10%,再求V 及 v。
东南大学移动通信国家重点实验室
11

“信息论与编码”课件

信息率失真函数与信息价值
解 ( 1)
Dmax

V=Dmax – 0 = a /5 元 R(D1) = -0.8 lb0.8 – 0.2 lb0.2 ? 0.722
v? V a/5 ? ? 0.1444 a 元/比特 R( D1 ) 0.722
好 坏

? 2 ? ? 4a a ? a ? min ?? p (ai )dij ? ? min ? , ? ? j ? 5 5? 5 ? i ?1 ?

(2)
??

D2 ?

?? P(ai )P(b j /ai )d(ai ,b j )
i j
12

? 坏? 0.2 0.8 ? ?

好 ?0.8 0.2?

=P(好)?P(坏/好) ?d(好, 坏)+P(坏)?P(好/坏) ?d(坏,好) =0.8?0.05?a+0.2?0.05?a = a /20

东南大学移动通信国家重点实验室

“信息论与编码”课件

信息率失真函数与信息价值
(续) V = Dmax – D2 = a /10 – a /20 = a /20 P2 (好)=P(好)?P(好/好) +P(坏)?P(坏) =0.8?0.95+0.2?0.05=0.77 P2 (坏)=0.23 H(Y) = 0.77lb0.77+0.23lb0.23 ? 0.778

H (Y | X) ? ??? P(ai )P(bj | ai )lbP(bj | ai ) ? 0.286
i j

I(X;Y) = 0.778 – 0.286 = 0.492
v? V a / 20 ? ? 0.102a 元/比特 R( D2 ) 0.492
13

东南大学移动通信国家重点实验室

“信息论与编码”课件

本章小结
? 本章讨论了离散消息的失真函数和信息率失真函数,同 时对连续消息也做了相应的讨论。限失真信源编码定理 是本章的重点,由此引出了信息价值这一具有实际意义 的概念。但该定理只是一个存在性定理。在实际应用中, 该理论主要存在着两大类问题。第一类问题是符合实际 信源的R(D)函数的计算相当困难。首先,需要对实际信 源的统计特性有确切的数学描述;其次,需要对符合主、 客观实际的失真给予正确的度量,否则不能求得符合主、 客观实际的R(D)函数。 ? 第2类问题是即便求得了符合实际的信息率失真函数, 还需要研究采取何种最佳编码方法才能达到极限值。尽 管如此,限失真信源编码定理仍为信源的压缩编码指明 了方向,是各种信源压缩编码的理论基础。
东南大学移动通信国家重点实验室
14


相关文章:
信息技术学业水平考试理论题(含答案)
11 】 将几幅相互无关联的图像通过图像处理软件(如 Photoshop)的加工后,形成一...学籍管理应用系统 【19】 我们鉴别信息可以从信息的来源、信息的时效性和( C)...
信息率失真函数的绘制
设计目的 1、理解信息率失真函数的定义与物理意义; 2、分析离散信源在误码失真下的信息率失真函数表达式; 3、提高综合运用所学理论知识独立分析和解决问题的能力;...
信息率失真函数及信源编码定理的应用
i ?1 n 1.2.2 二元等概率离散信源的信息率失真函数 二元离散信源,当...2 信源编码理论在雷达目标识别中的应用 2.1 目标识别的必要性 雷达是军事信息...
信息论期末复习资料
35.信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。 36....11.无记忆编码信道的每一个二元符号输出可以用多个比特表示,理想情况下为实 数...
信息论
56页 1下载券 信息论的应用 4页 1下载券喜欢...具体来说, 第一部分讲解了香农信息论编码理论的...i, j 信息率失真函数 R(δ)问题产生: 对于信息...
信道容量和信息率失真函数的比较
1/2 相关文档推荐 信道容量与信息率失真函... 4...信道率失真函数 62页 免费 应用信息论-第10讲-率...是信息传输的理论基础,通过信道编 码增加信息的冗余...
通信原理第1~5章习题
( ) 4、消息出现的概率越大,所含信息量越小( )...() 15、SSB 与 VSB 的频带利用率相等 () 16、...11、简述 3 种消除码间干扰的方法。 1,多载波 ...
信息论与编码理论习题(二)
百度文库 专业资料 IT/计算机 计算机软件及应用...信息论与编码理论-第2章信... 11页 2财富值 信息...信道容量是一个信道所能达到的最大信息 传输率。...
信息论习题集
理论基础是 5、必然事件的自信息是 0 两个自信息...() 10、 利用状态极限概率和状态一步转移概率来求...( 对 ))) 11、 冗余度是表征信源信息率多余程度...
信息论
11、平均互信息量 I(X;Y)对于信源概率分布 ...用一个数来代表, 但信道的信息率可以用一个数来...对 39、离散信源或数字信号的信源编码的理论基础是...
更多相关标签: