当前位置:首页 >> 工学 >>

贝叶斯分类器及概率密度函数估计方法实验


《模式识别》课程实验 模式识别》
贝叶斯分类器及概率密度函数估计方法实验

一、实验目的: 实验目的:
1、掌握密度函数监督参数估计和非参数估计方法; 2、掌握贝叶斯最小错误概率分类器设计方法;

二、实验内容: 实验内容: 内容
对于一个两类分类问题,设两类的先验概率相同( P (ω1 ) = P (ω2 ) ) ,两类的类条件概 率密度函数服从二维正态分布,即

P(x | ω1 ) ~ N (?1 , Σ1 )
其中, ?1 = [3, 6] , Σ1 = ?
T

P(x | ω2 ) ~ N (? 2 , Σ 2 )

?0.5 0 ? ?2 0? T ? , ?1 = [3, ?2] , Σ1 = ? 0 2 ? 。 ? 0 2? ? ?

1)随机产生两类样本; 2)设计最大似然估计算法对两类类条件概率密度函数进行估计; 3)设计非参数估计算法对两类的类条件概率密度进行估计(任选 Parzen 窗法或 kn-近邻法 之一) ,并分析样本数量、窗宽、k 等因素对概率密度函数估计的影响; 4)分别用 2) 、3)中估计的类条件概率密度函数设计最小错误概率贝叶斯分类器,实现对 两类样本的分类。

三、设计思路: 设计思路:
(1)用 mvnrnd()函 数 随 机 产 生 两 类 样 本 ( 2) 由 已 知 可 知 道

? ML =

1 N

∑x
i =1

N

i

Σ=



1 N

∑ ( xi ? ?
N i =1



ML

)( xi ? ?



ML

)T

将 第 一 问 产 生 的 样 本 代 入 上 面 两 个 式 子 ,得 到 样 本 的 均 值 向 量 和 协 方 差 矩 阵 。 将均值向量和协方差矩阵画出来。 ( 3) 本 实 验 应 用 P arz en 窗 法 选择方窗函数:

当 |u|≤ 0.5 时 , 当 |u|> 0.5 时 ,

φ (u ) = 1 φ (u ) = 0
N

构 造 出 X, Y 坐 标 , 制 作 网 格 , 用 坐 标 与 样 本 点 做 差 , 比 上 超 立 方 体 边 长 , 再 将 结 果 与 0.5 作 比 较 , 根 据 结 果 确 定 窗 的 值 。 将窗值代入公式

pN

1 = N

∑V
i =1

1
N

φ (u ) , 再 用

X、 Y、 P 作 图 。

(4)在上题基础上给定几个新样本值,用设计的最小错误概率贝叶斯分类器判别,输出结 果。

四、实验结果: 实验结果:
(1)两类样本: A.样本一:

B.样本二:

(2)最大似然估计

(3)非参数估计 A.第一类类条件概率密度

B.第二类类条件概率密度

(4)最小错误概率贝叶斯分类器

(5)程序界面

五、部分程序源码: 部分程序源码:
(1)产生两个样本
u1=[3,6]'; u2=[3,-2]'; E1=[0.5,0;0,2]; E2=[2,0;0,2]; n=100; x1=mvnrnd(u1,E1,n);

x2=mvnrnd(u2,E2,n); axes(handles.axes1); plot(x1(:,1),x1(:,2),'r*'); title('第一类'); axes(handles.axes2); plot(x2(:,1),x2(:,2),'c.'); title('第二类');

(2)最大似然估计估计
n1=length(x1); uml1=sum(x1)/n1; Eml01=zeros(2,2); for m=1:n Eml01=Eml01+(x1(m,:)-uml1)*(x1(m,:)-uml1)'; end Eml1=Eml01/n1; str1=sprintf('[%2.2f,%2.2f]',uml1(1,1),uml1(1,2)); set(handles.edit4,'string',str1); str2=sprintf('[%2.2f,%2.2f;%2.2f,%2.2f]',Eml1(1,1),Eml1(1,2),Eml1(2,1 ),Eml1(2,2)); set(handles.edit5,'string',str2); n2=length(x2); uml2=sum(x2)/n2; Eml02=zeros(2,2); for m=1:n Eml02=Eml02+(x2(m,:)-uml2)*(x2(m,:)-uml2)'; end Eml2=Eml02/n2; str3=sprintf('[%2.2f,%2.2f]',uml2(1,1),uml2(1,2)); set(handles.edit6,'string',str3); str4=sprintf('[%2.2f,%2.2f;%2.2f,%2.2f]',Eml2(1,1),Eml2(1,2),Eml2(2,1 ),Eml2(2,2)); set(handles.edit7,'string',str4);

(3)非参数估计类条件概率密度
x=linspace(-4,4,n); y=linspace(-4,4,n); [X,Y]=meshgrid(x,y); l=0.25; vn=l/log(n); hn=sqrt(vn); pn1=0;

for p=1:length(x) for q=1:length(y) for m=1:n if (abs((x(:,p)-x1(m,1))/hn))<=0.5 if(abs((y(:,q)-x1(m,2))/hn))<=0.5 pn1=pn1+1/(vn*n); end end end end pn11(p)=pn1; end pn_1=pn11'*pn11; axes(handles.axes3); mesh(X,Y,pn_1); title('第一类'); pn2=0; for p=1:length(x) for q=1:length(y) for m=1:n if (abs((x(:,p)-x2(m,1))/hn))<=0.5 if(abs((y(:,q)-x2(m,2))/hn))<=0.5 pn2=pn2+1/(vn*n); end end end end pn22(p)=pn2; end pn_2=pn22'*pn22; axes(handles.axes4); mesh(X,Y,pn_2); title('第二类');

(4)贝叶斯分类器
a=str2num(get(handles.edit1,'String')); b=str2num(get(handles.edit2,'String')); h=[a b]; f1=0; z1=0; for k=1:n if (abs((h(1,1)-x1(k,1))/hn))<=0.5 if (abs((h(1,2)-x1(k,2))/hn))<=0.5

f1=f1+1; end end end z1= f1/(vn*n);

f2=0; z2=0; for k=1:n if (abs((h(1,1)-x2(k,1))/hn))<=0.5 if (abs((h(1,2)-x2(k,2))/hn))<=0.5 f2=f2+1; end end end z2=f2/(vn*n); if z1>z2 str5=sprintf('样本属于第一类!'); set(handles.edit3,'string',str5); elseif z1<z2 str6=sprintf('样本属于第二类!'); set(handles.edit3,'string',str6); else str7=sprintf('无法分类!'); set(handles.edit3,'string',str7); end

六、实验总结: 实验总结:
( 1)通 过 本 次 实 验 ,对 所 学 知 识 理 解 有 所 加 深 ,强 化 了 理 论 知 识 的 理 解 , 在实践中得到了升华。 ( 2)对 MATLAB 工 具 的 运 用 得 到 了 锻 炼 ,学 会 了 一 些 以 前 不 知 道 的 用 法 , 进 一 步 加 深 了 对 MA TLA B 的 应 用 。 ( 3)基 本 掌 握 了 2 维 空 间 中 的 算 法 和 3 维 空 间 的 画 图 ,用 图 形 直 观 地 理 解了模式识别的各类概念和算法。


相关文章:
贝叶斯分类器及概率密度函数估计方法实验_图文.doc
贝叶斯分类器及概率密度函数估计方法实验_工学_高等教育_教育专区。模式识别贝叶斯分类器及概率密度函数估计方法实验 《模式识别》课程实验 模式识别》贝叶斯分类器及...
贝叶斯分类器.doc
实验报告实验内容 姓名 学号 实验时间 贝叶斯分类器及概率密度函数估计方法实验单位 实验环境 MATLAB 一. 实验目的 1、 掌握密度函数监督参数估计方法; 2、 掌握...
第3章 概率密度函数的估计_参数估计_图文.ppt
贝叶斯决策理论设计分类器步骤 概率密度函数估计中的...? 监督学习 在已知类别样本指导下的学习和训练,参数...根据观测数据 估计新的实验中出现正面还是背面。 ...
第3章 概率密度函数估计_图文.ppt
计算机与通信工程学院 第三章 概率密度函数估计 课...频率:试验在相同的条件下重复N次,其中 M次事件A...设计贝叶斯分类器方法:训练样本集 样本分布的 统计...
模式识别-第4讲-概率密度函数的估计_图文.ppt
贝叶斯估计和贝叶斯学习示例 引言设计贝叶斯分类器方法:即已知先验概率 P(?i ) 和类条件概率密度 p(x|?i ) 的情况下,按一定的决策规则确定判别函数和决策面...
机器学习与模式识别-第3章_概率密度函数的估计_图文.pdf
机器学习与模式识别-第3章_概率密度函数估计_互联...设计贝叶斯分类器第一步, 利用样本集估计 p( x ?...模式识别与机器学习 实验... 29页 3下载券 模式...
第3章 概率密度函数的估计.pdf
第3 章概率密度函数估计 3.1 引言在第 2 章中,我们讨论了设计贝叶斯分类器方法,即在先验概率 P(?i ) 和类条件概率密度 p( x | ?i ) 已 知的情况...
概率密度函数的参数估计.ppt
模式识别 概率密度函数的参数估计 第三章 概率密度函数的 参数估计 模式识别 概率密度函数的参数估计 3.0 引言 ? 贝叶斯分类器的学习:类条件概率密度函数的...
贝叶斯最小错误概率分类器设计.doc
贝叶斯最小错误概率分类器设计 - 一、 实验目的 1. 掌握密度函数监督参数估计方法; 2. 掌握贝叶斯最小错误概率分类器设计方法。 二、 实验原理 贝叶斯分类器是...
概率密度函数估计_图文.ppt
概率密度函数估计_数学_自然科学_专业资料。第三章 概率密度函数的估计 本章...( x | ?i ) P i ? 然后用估计的概率密度设计贝叶斯分类器。 (...
模式识别-第4讲-概率密度函数的估计_图文.ppt
贝叶斯估计和贝叶斯学习示例 引言设计贝叶斯分类器方法:即已知先验概率 P(?i )和类条件概率密度 p(x/?i )的情况下,按一定的决策规则确定判别函数和决策面。 ...
概率密度函数估计._图文.ppt
概率密度函数估计._职业技术培训_职业教育_教育专区。第三章 概率密度函数的估计...( x | ?i ) P i ? 然后用估计的概率密度设计贝叶斯分类器。 (...
2_线性分类器实验.doc
试验直接设计线性分类器的方法,与基于概率密度估计贝叶斯分类器进行 比较。 ? ...法估计概率密度函数,得出贝叶斯分类器,对测试样本进行测试,比 较与参数估计基础...
第4章 概率分类法.ppt
1 第4章 基于统计决策的概率分类法 4.1 研究对象及相关概率 4.2 贝叶斯决策 4.3 贝叶斯分类器的错误率 4.4 聂曼-皮尔逊决策 4.5 概率密度函数的参数估计 4.6 ...
模式识别 实验二.doc
实验目的和要求(一)加深对非参数估计的认识,和对它与参数估计在适用情况、估计...0.5 的一组 1.用 Parzen 窗法来求概率密度函数,再用贝叶斯分类器进行分类。...
概率密度函数的估计_图文.ppt
概率密度函数估计 - 2.5 概率密度函数估计 前面讨论的设计贝叶斯分类器方法, 是在先验概率P(ωi)和类条件概率密度 p(x|ωi)已知的情况下,按一定的决策...
贝叶斯分类.doc
通过本次实验初步了解贝叶斯公式和最小错误率贝叶斯判别准则, 并深入掌握正态分布 模式的贝叶斯分类器及其判别函数的计算方法,观察各种因素及参数对分类错误概率的影 ...
3概率密度函数的估计_图文.ppt
3概率密度函数估计 - 第三章 概率密度函数估计 请各位思考的问题 + 1、我们可以构造一个比贝叶斯规则更好的 分类器吗? + 2、利用贝叶斯法则构造分类器的...
第6讲贝叶斯分类器_图文.pdf
第6讲:贝叶斯分类器余正涛 郭剑毅 李玉惠 李勇 ...分布的贝叶斯分类 未知概率密度函数估计 贝叶斯网络...Bayes 规则和实验数据进行后验概率密度函数的计算和...
Bayes分类器设计.doc
实验Bayes 分类器设计一、实验目的 通过实验,加深对统计判决与概率密度估计基本思想、方法的认识,了解影 响 Bayes 分类器性能的因素, 掌握基于 Bayes 决策理论...
更多相关标签: