当前位置:首页 >> 工学 >>

贝叶斯分类器及概率密度函数估计方法实验


《模式识别》课程实验 模式识别》
贝叶斯分类器及概率密度函数估计方法实验

一、实验目的: 实验目的:
1、掌握密度函数监督参数估计和非参数估计方法; 2、掌握贝叶斯最小错误概率分类器设计方法;

二、实验内容: 实验内容: 内容
对于一个两类分类问题,设两类的先验概率相同( P (ω1 ) = P (ω2 ) ) ,两类的类条件概 率密度函数服从二维正态分布,即

P(x | ω1 ) ~ N (?1 , Σ1 )
其中, ?1 = [3, 6] , Σ1 = ?
T

P(x | ω2 ) ~ N (? 2 , Σ 2 )

?0.5 0 ? ?2 0? T ? , ?1 = [3, ?2] , Σ1 = ? 0 2 ? 。 ? 0 2? ? ?

1)随机产生两类样本; 2)设计最大似然估计算法对两类类条件概率密度函数进行估计; 3)设计非参数估计算法对两类的类条件概率密度进行估计(任选 Parzen 窗法或 kn-近邻法 之一) ,并分析样本数量、窗宽、k 等因素对概率密度函数估计的影响; 4)分别用 2) 、3)中估计的类条件概率密度函数设计最小错误概率贝叶斯分类器,实现对 两类样本的分类。

三、设计思路: 设计思路:
(1)用 mvnrnd()函 数 随 机 产 生 两 类 样 本 ( 2) 由 已 知 可 知 道

? ML =

1 N

∑x
i =1

N

i

Σ=



1 N

∑ ( xi ? ?
N i =1



ML

)( xi ? ?



ML

)T

将 第 一 问 产 生 的 样 本 代 入 上 面 两 个 式 子 ,得 到 样 本 的 均 值 向 量 和 协 方 差 矩 阵 。 将均值向量和协方差矩阵画出来。 ( 3) 本 实 验 应 用 P arz en 窗 法 选择方窗函数:

当 |u|≤ 0.5 时 , 当 |u|> 0.5 时 ,

φ (u ) = 1 φ (u ) = 0
N

构 造 出 X, Y 坐 标 , 制 作 网 格 , 用 坐 标 与 样 本 点 做 差 , 比 上 超 立 方 体 边 长 , 再 将 结 果 与 0.5 作 比 较 , 根 据 结 果 确 定 窗 的 值 。 将窗值代入公式

pN

1 = N

∑V
i =1

1
N

φ (u ) , 再 用

X、 Y、 P 作 图 。

(4)在上题基础上给定几个新样本值,用设计的最小错误概率贝叶斯分类器判别,输出结 果。

四、实验结果: 实验结果:
(1)两类样本: A.样本一:

B.样本二:

(2)最大似然估计

(3)非参数估计 A.第一类类条件概率密度

B.第二类类条件概率密度

(4)最小错误概率贝叶斯分类器

(5)程序界面

五、部分程序源码: 部分程序源码:
(1)产生两个样本
u1=[3,6]'; u2=[3,-2]'; E1=[0.5,0;0,2]; E2=[2,0;0,2]; n=100; x1=mvnrnd(u1,E1,n);

x2=mvnrnd(u2,E2,n); axes(handles.axes1); plot(x1(:,1),x1(:,2),'r*'); title('第一类'); axes(handles.axes2); plot(x2(:,1),x2(:,2),'c.'); title('第二类');

(2)最大似然估计估计
n1=length(x1); uml1=sum(x1)/n1; Eml01=zeros(2,2); for m=1:n Eml01=Eml01+(x1(m,:)-uml1)*(x1(m,:)-uml1)'; end Eml1=Eml01/n1; str1=sprintf('[%2.2f,%2.2f]',uml1(1,1),uml1(1,2)); set(handles.edit4,'string',str1); str2=sprintf('[%2.2f,%2.2f;%2.2f,%2.2f]',Eml1(1,1),Eml1(1,2),Eml1(2,1 ),Eml1(2,2)); set(handles.edit5,'string',str2); n2=length(x2); uml2=sum(x2)/n2; Eml02=zeros(2,2); for m=1:n Eml02=Eml02+(x2(m,:)-uml2)*(x2(m,:)-uml2)'; end Eml2=Eml02/n2; str3=sprintf('[%2.2f,%2.2f]',uml2(1,1),uml2(1,2)); set(handles.edit6,'string',str3); str4=sprintf('[%2.2f,%2.2f;%2.2f,%2.2f]',Eml2(1,1),Eml2(1,2),Eml2(2,1 ),Eml2(2,2)); set(handles.edit7,'string',str4);

(3)非参数估计类条件概率密度
x=linspace(-4,4,n); y=linspace(-4,4,n); [X,Y]=meshgrid(x,y); l=0.25; vn=l/log(n); hn=sqrt(vn); pn1=0;

for p=1:length(x) for q=1:length(y) for m=1:n if (abs((x(:,p)-x1(m,1))/hn))<=0.5 if(abs((y(:,q)-x1(m,2))/hn))<=0.5 pn1=pn1+1/(vn*n); end end end end pn11(p)=pn1; end pn_1=pn11'*pn11; axes(handles.axes3); mesh(X,Y,pn_1); title('第一类'); pn2=0; for p=1:length(x) for q=1:length(y) for m=1:n if (abs((x(:,p)-x2(m,1))/hn))<=0.5 if(abs((y(:,q)-x2(m,2))/hn))<=0.5 pn2=pn2+1/(vn*n); end end end end pn22(p)=pn2; end pn_2=pn22'*pn22; axes(handles.axes4); mesh(X,Y,pn_2); title('第二类');

(4)贝叶斯分类器
a=str2num(get(handles.edit1,'String')); b=str2num(get(handles.edit2,'String')); h=[a b]; f1=0; z1=0; for k=1:n if (abs((h(1,1)-x1(k,1))/hn))<=0.5 if (abs((h(1,2)-x1(k,2))/hn))<=0.5

f1=f1+1; end end end z1= f1/(vn*n);

f2=0; z2=0; for k=1:n if (abs((h(1,1)-x2(k,1))/hn))<=0.5 if (abs((h(1,2)-x2(k,2))/hn))<=0.5 f2=f2+1; end end end z2=f2/(vn*n); if z1>z2 str5=sprintf('样本属于第一类!'); set(handles.edit3,'string',str5); elseif z1<z2 str6=sprintf('样本属于第二类!'); set(handles.edit3,'string',str6); else str7=sprintf('无法分类!'); set(handles.edit3,'string',str7); end

六、实验总结: 实验总结:
( 1)通 过 本 次 实 验 ,对 所 学 知 识 理 解 有 所 加 深 ,强 化 了 理 论 知 识 的 理 解 , 在实践中得到了升华。 ( 2)对 MATLAB 工 具 的 运 用 得 到 了 锻 炼 ,学 会 了 一 些 以 前 不 知 道 的 用 法 , 进 一 步 加 深 了 对 MA TLA B 的 应 用 。 ( 3)基 本 掌 握 了 2 维 空 间 中 的 算 法 和 3 维 空 间 的 画 图 ,用 图 形 直 观 地 理 解了模式识别的各类概念和算法。


相关文章:
贝叶斯估计与贝叶斯学习
贝叶斯估计贝叶斯学习 - 贝叶斯估计贝叶斯学习 贝叶斯估计概率密度估计的一种参数估计, 它将参数估计看成 随机变量,它需要根据观测数据及参数鲜艳概率对其进行...
贝叶斯定理
相似率(Likelihood ratio)则定义为: 贝叶斯定理与概率密度 贝叶斯定理亦可用于连续机率分布。 由于概率密度函数严格上并非机 率,由机率密度函数导出贝叶斯定理观念上较...
...指数分布)+生存分析+贝叶斯概率公式+全概率公式
指数分布)+生存分析+贝叶斯概率公式+全概率公式_数学...下图为概率密度函数图(F(x)应为 f(x),表示概率...试验(n 个相同试验,每次试验两种结果,每种结果概率...
模式识别 期末复习 笔记_计算机软件及应用_IT/计算机_专业资料
最小总风险贝叶斯分类器 1. ii. g1 = ? 1 |...类条件概率密度为正态分布时的判别函数 均匀先验 有...贝叶斯估计 a) b) 将未知参数看做随机变量,根据...
粒子滤波理论一看就懂
1 ) ,贝叶斯滤波的具体过程如下: (1) 预测过程,...概率分布的随机变量是实现蒙特卡洛方法模拟 试验的关键...容易采样的重要 性概率密度函数 q( xk | Yk ) ...
模式识别习题解答第四章
题1:设以下模式类别具有正态概率密度函数: :设以下...(4 6)T} : 求这两类模式之间的贝叶斯判别界面的...由题意, w1 和 w2 的均值向量和协方差矩阵估计...
中科院学习课件 模式识别 第四章 贝叶斯学习一般概念
? 一般概念 设{x1, x2,…, xN}为 N 个用于估计一未知参数θ 的密度函数...当读 入第一个样本 x1 时, 经过贝叶斯定理计算, 可得到后验概率密度 p(θ ...
更多相关标签: