当前位置:首页 >> 工学 >>

贝叶斯分类器及概率密度函数估计方法实验


《模式识别》课程实验 模式识别》
贝叶斯分类器及概率密度函数估计方法实验

一、实验目的: 实验目的:
1、掌握密度函数监督参数估计和非参数估计方法; 2、掌握贝叶斯最小错误概率分类器设计方法;

二、实验内容: 实验内容: 内容
对于一个两类分类问题,设两类的先验概率相同( P (ω1 ) = P (ω2 ) ) ,两类的类条件概 率密度函数服从二维正态分布,即

P(x | ω1 ) ~ N (?1 , Σ1 )
其中, ?1 = [3, 6] , Σ1 = ?
T

P(x | ω2 ) ~ N (? 2 , Σ 2 )

?0.5 0 ? ?2 0? T ? , ?1 = [3, ?2] , Σ1 = ? 0 2 ? 。 ? 0 2? ? ?

1)随机产生两类样本; 2)设计最大似然估计算法对两类类条件概率密度函数进行估计; 3)设计非参数估计算法对两类的类条件概率密度进行估计(任选 Parzen 窗法或 kn-近邻法 之一) ,并分析样本数量、窗宽、k 等因素对概率密度函数估计的影响; 4)分别用 2) 、3)中估计的类条件概率密度函数设计最小错误概率贝叶斯分类器,实现对 两类样本的分类。

三、设计思路: 设计思路:
(1)用 mvnrnd()函 数 随 机 产 生 两 类 样 本 ( 2) 由 已 知 可 知 道

? ML =

1 N

∑x
i =1

N

i

Σ=



1 N

∑ ( xi ? ?
N i =1



ML

)( xi ? ?



ML

)T

将 第 一 问 产 生 的 样 本 代 入 上 面 两 个 式 子 ,得 到 样 本 的 均 值 向 量 和 协 方 差 矩 阵 。 将均值向量和协方差矩阵画出来。 ( 3) 本 实 验 应 用 P arz en 窗 法 选择方窗函数:

当 |u|≤ 0.5 时 , 当 |u|> 0.5 时 ,

φ (u ) = 1 φ (u ) = 0
N

构 造 出 X, Y 坐 标 , 制 作 网 格 , 用 坐 标 与 样 本 点 做 差 , 比 上 超 立 方 体 边 长 , 再 将 结 果 与 0.5 作 比 较 , 根 据 结 果 确 定 窗 的 值 。 将窗值代入公式

pN

1 = N

∑V
i =1

1
N

φ (u ) , 再 用

X、 Y、 P 作 图 。

(4)在上题基础上给定几个新样本值,用设计的最小错误概率贝叶斯分类器判别,输出结 果。

四、实验结果: 实验结果:
(1)两类样本: A.样本一:

B.样本二:

(2)最大似然估计

(3)非参数估计 A.第一类类条件概率密度

B.第二类类条件概率密度

(4)最小错误概率贝叶斯分类器

(5)程序界面

五、部分程序源码: 部分程序源码:
(1)产生两个样本
u1=[3,6]'; u2=[3,-2]'; E1=[0.5,0;0,2]; E2=[2,0;0,2]; n=100; x1=mvnrnd(u1,E1,n);

x2=mvnrnd(u2,E2,n); axes(handles.axes1); plot(x1(:,1),x1(:,2),'r*'); title('第一类'); axes(handles.axes2); plot(x2(:,1),x2(:,2),'c.'); title('第二类');

(2)最大似然估计估计
n1=length(x1); uml1=sum(x1)/n1; Eml01=zeros(2,2); for m=1:n Eml01=Eml01+(x1(m,:)-uml1)*(x1(m,:)-uml1)'; end Eml1=Eml01/n1; str1=sprintf('[%2.2f,%2.2f]',uml1(1,1),uml1(1,2)); set(handles.edit4,'string',str1); str2=sprintf('[%2.2f,%2.2f;%2.2f,%2.2f]',Eml1(1,1),Eml1(1,2),Eml1(2,1 ),Eml1(2,2)); set(handles.edit5,'string',str2); n2=length(x2); uml2=sum(x2)/n2; Eml02=zeros(2,2); for m=1:n Eml02=Eml02+(x2(m,:)-uml2)*(x2(m,:)-uml2)'; end Eml2=Eml02/n2; str3=sprintf('[%2.2f,%2.2f]',uml2(1,1),uml2(1,2)); set(handles.edit6,'string',str3); str4=sprintf('[%2.2f,%2.2f;%2.2f,%2.2f]',Eml2(1,1),Eml2(1,2),Eml2(2,1 ),Eml2(2,2)); set(handles.edit7,'string',str4);

(3)非参数估计类条件概率密度
x=linspace(-4,4,n); y=linspace(-4,4,n); [X,Y]=meshgrid(x,y); l=0.25; vn=l/log(n); hn=sqrt(vn); pn1=0;

for p=1:length(x) for q=1:length(y) for m=1:n if (abs((x(:,p)-x1(m,1))/hn))<=0.5 if(abs((y(:,q)-x1(m,2))/hn))<=0.5 pn1=pn1+1/(vn*n); end end end end pn11(p)=pn1; end pn_1=pn11'*pn11; axes(handles.axes3); mesh(X,Y,pn_1); title('第一类'); pn2=0; for p=1:length(x) for q=1:length(y) for m=1:n if (abs((x(:,p)-x2(m,1))/hn))<=0.5 if(abs((y(:,q)-x2(m,2))/hn))<=0.5 pn2=pn2+1/(vn*n); end end end end pn22(p)=pn2; end pn_2=pn22'*pn22; axes(handles.axes4); mesh(X,Y,pn_2); title('第二类');

(4)贝叶斯分类器
a=str2num(get(handles.edit1,'String')); b=str2num(get(handles.edit2,'String')); h=[a b]; f1=0; z1=0; for k=1:n if (abs((h(1,1)-x1(k,1))/hn))<=0.5 if (abs((h(1,2)-x1(k,2))/hn))<=0.5

f1=f1+1; end end end z1= f1/(vn*n);

f2=0; z2=0; for k=1:n if (abs((h(1,1)-x2(k,1))/hn))<=0.5 if (abs((h(1,2)-x2(k,2))/hn))<=0.5 f2=f2+1; end end end z2=f2/(vn*n); if z1>z2 str5=sprintf('样本属于第一类!'); set(handles.edit3,'string',str5); elseif z1<z2 str6=sprintf('样本属于第二类!'); set(handles.edit3,'string',str6); else str7=sprintf('无法分类!'); set(handles.edit3,'string',str7); end

六、实验总结: 实验总结:
( 1)通 过 本 次 实 验 ,对 所 学 知 识 理 解 有 所 加 深 ,强 化 了 理 论 知 识 的 理 解 , 在实践中得到了升华。 ( 2)对 MATLAB 工 具 的 运 用 得 到 了 锻 炼 ,学 会 了 一 些 以 前 不 知 道 的 用 法 , 进 一 步 加 深 了 对 MA TLA B 的 应 用 。 ( 3)基 本 掌 握 了 2 维 空 间 中 的 算 法 和 3 维 空 间 的 画 图 ,用 图 形 直 观 地 理 解了模式识别的各类概念和算法。


相关文章:
用身高体重数据进行性别分类的实验(二)
挑选上次实验中的一种情况(特征,先验概率等) ,改用 Parzen 窗法或者 kn 近邻法估计概率密度函数,得出贝叶斯分类器,对测试样本进行测试,比 较与参数估计基础上...
学习贝叶斯分析
贝叶斯分析的课堂作业,简单分类器及其改进算法的matlab...(θ |x),已知总体 Z 的概率密度函数 g(z|θ ...如何对接下来的 k 次相互独立的该实验进行预测呢?...
两类正态分布模式的贝叶斯判别
贝叶斯分类判别函数; 3.通过实验,统计贝叶斯判别的...种模式类别的多变量正态分布的概率密度函数为: P(...数来进行参数估计,从而得到三组数据各自的条件概率。...
模式识别 实验二
实验目的和要求(一)加深对非参数估计的认识,和对它与参数估计在适用情况、估计...0.5 的一组 1.用 Parzen 窗法来求概率密度函数,再用贝叶斯分类器进行分类。...
Bayes分类器设计
实验Bayes 分类器设计一、实验目的 通过实验,加深对统计判决与概率密度估计基本思想、方法的认识,了解影 响 Bayes 分类器性能的因素, 掌握基于 Bayes 决策理论...
用身高和体重数据进行性别分类的实验报告
(二)一、 基本要求 1、试验非参数估计,体会与参数估计在适用情况、估计结果...女生 0.5 的一组用 Parzen 窗法来求概率密度函数,再用贝叶斯分类器进行分类...
模式识别作业--两类贝叶斯分类
如果类条件概率密度函数未知,则可以从可用的训练数据中估计出来。 1.2 贝叶斯...分量作为分类特征 5 深圳大学研究生课程“模式识别理论与方法实验指导书(2nd...
基于贝叶斯分类器的图像分类技术
《模式识别》课程实验 线性... 9页 2财富值 基于...最后通过对分类器的探讨,总结了贝叶斯估计分类的不足...的先验概率P(ωi ) 和类条件概率密度函数 P(x|...
贝叶斯分类 实验报告
:20101000639 一、实验目的和要求设计简单的线性分类器,了解模式识别的基本方法。...(2) 根据贝叶斯公式,给出在类条件概率密度为正态分布时具体的判别函数表达式,...
基于概率统计的贝叶斯分类器设计
概率统计的贝叶斯分类器设计摘要:贝叶斯决策理论是统计模式识别中的一个基本方法。...绘制分类结果(包含决策边界)的图像 1、实验原理 多元正太分布的概率密度函数由下...
更多相关标签: