当前位置:首页 >> 数学 >>

正态分布中的Bayes决策PPT课件_图文

2.3 正态分布时的统计决策 ? Bayes决策的三个前提: ?类别数确定 ?各类的先验概率P(ωi)已知 ?各类的条件概率密度函数p(x|ωi)已知 ? Bayes决策中,类条件概率密度的选择要求: ?模型合理性 ?计算可行性 ?最常用概率密度模型:正态分布 ?观测值通常是很多种因素共同作用的结果,根据 中心极限定理,它们(近似)服从正态分布。 ?计算、分析最为简单的模型。 ?§2-3.1 正态分布决策理论 ? 一、正态分布判别函数 1、为什么采用正态分布: a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单,N(μ, σ?) 只有均值和 方差两个参数。 2、单变量正态分布: P(x) ? 1 2? ? exp ? ?? ?? 1 2 ? ?? x?? ? 2 ? ? ?? ? ?? ? N(?,? 2) ? 其中: ? ? E(x) ? ? xP(x)dx, (均值或数学期望) ?? ? ? 2 ? E ??? x ? ? ?2 ? ? ? ? ? x ? ? 2 ? P(x)dx,(方差) ?? 概率密度函数应满足下列关系: ??P(x) ? 0, (?? ? x ? ?) ?? ??? ?? P(x)dx ? 1 若服从正态分布的总体中随 P( x) 1 0.95 机抽取从样p(x本)的x,图约形有上9可5%以的样 本的落分在散看参全(程出数确??度?,定2和?可只其,??以要曲2?,就2用有线?可?)两。中来以个。表完样示本, ? 越大分散程度越大。 ? ? 2? ? X ? ? 2? 正态分布是指一个随机实数度量值在整个实数域上 的分布规律。 因此它属于概率密度函数类,不是我们所讨论的先 验概率P(ωi),也不是后验概率P(ωi|X),而是p(x|ωi)。 3、(多变量)多维正态分布 (1)函数形式: ? ?(x) ? 1 exp[ ? 1 (x ? ?)T d 1 (2? ) 2 | ? | 2 2 ?1(x ? ?)] x=(x1,x2,…,xd)T 为d维随机向量 为d维均值向量也就是: ? ? [?1, ?2 , ......, ?d ]T S是d×d维协方差矩阵, S-1是S的逆矩阵,|S|为S的 行列式。 协方差矩阵S是对称的, 其中有d×(d+1)/2个独立 元素。 由于??x?可由?和S完全确定,所以实际上??x? 可由d×(d+1)/2+d个独立元素来确定。 ?、S分别是向量x和矩阵(x-?)(x-?)T的期望。 多元正态分布与单态量正态分布在形式上尽管 不同,但有很多相似之处,实际上单变量正态分布只 是维数为1的多元分布。 当d=1时,Σ只是一个1×1的矩阵,也就是只有1个 元素的矩阵,退化成一个数,|Σ|1/2也就是标准差?,??1 也就是σ-2,而(X-μ)T(X-μ)也变成(X-μ)2, 多元正态分布的概率密度函数中的元就是我们 前面说得特征向量的分量数,也就是维数。 具体说:若xi是x的第i个分量,?i是?的第i个分量, ?ij2是S的第i、j个元素。 ? ? ? ?i ? E[xi ] ? xi ?(x)dx ? ?? xi ?(xi )dxi 其中??xi?为边缘分布, ? ? ? ? ? (xi ) ? ?? ?? ?(x)dx1dx2 dxi?1dxi?1 dxd ? 2 ij ? E[(xi ? ?i )(xj ? ? j )] ?? ? ? ? ?? ?? (xi ? ?i )(xj ? ? j ) ? ?(xi , x j )dxidx j 协方差矩阵: ?????112221 ?2 12 ?2 22 ? ? ? ? ? ? 2 1d 2 2d ? ? ? ??? ? ?? ? ? ? ? ? ? 是一个对称矩阵,??只?12考d 虑?S22为d ? 2 dd ?? 正定矩阵的情况,也就是: |S|所有的子式都大于0 同单变量正态分布一样,多元 正态分布??x?可以由?和S完全确定, 常记为N(?,S)。 (2) 多元正态分布的性质 参数μ 和Σ 完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性 ①.参数?和S对分布的决定性 对于d维随机向量x,它的均值向量?也是d维的,协 方差矩阵是对称的,其中有d×(d+1)/2个独立元素。 ??x?可由?和S完全确定,实际上??x?可由 d×(d+1)/2+d个独立元素决定。常记为: ??x?~N(?,S) ②.等密度点的轨迹为一超椭球面 由??x?的定义公式可知,右边指数项为常数时,密 度??x?的值不变,所以等密度点满足: (x ? ?)T ??1(x ? ?) ? 常数 二维情况下,上式的解是一个椭圆轨迹,其长短 轴方向由Σ协方差矩阵的特征向量决定, 三维时是一个椭球面,超过三维则是超椭球面, 主轴方向由协方差矩阵S的特征向量决定,各主轴的长 度则与相应的特征值成正比。 从下图可以看出,从正态分布总体中抽取的样 本大部分落在由? 和S所确定的一个区域里,这个区 域的中心由均值向量?决定,区域的大小由协方差矩 阵决定。 在数理统计中,令: ? 2 ? (x ? ?)T ??1(x ? ?) 式中?称为x到?的马氏距离(Mahalanobis)距离。 所以等密度点轨迹是x到?的马氏距离?为常 数的超椭球面。 ③.不相关性等价于独立性 概率论中,一般来说,两个随机变量xi和xj之间不 相关,并不意味着它们一定独立。 如果xi和xj之间不相关,则xixj的数学期望有: E(xi x j ) ? E(xi ) ? E(x j ) 如果xi和xj相互独立,则有: P(xi , x j ) ? P(xi ) ?