当前位置:首页 >> 其它课程 >>

神经网络讲义-part3-感知机与Adline


人工神经网络及其应用
第 3讲 感知机及BP网络
何建华 电信系,华中科技大学
2003年2月25日

内容安排
一、内容回顾 二、感知机 三、自适应线性元件 四、内容小结
2 2014-1-26

一、内容回顾
? 生物神经元

? 人工神经网络结构

/>? 神经网络基本学习算法

3 2014-1-26

一、内容回顾
? 生物神经元 – 生物神经元模型 – 突触信息处理 – 信息传递功能与特点 ? 人工神经网络结构 ? 神经网络基本学习算法
4 2014-1-26

一、内容回顾
? 生物神经元模型

5 2014-1-26

一、内容回顾
? 生物神经元 ? 人工神经网络结构 – 人工神经网络 – 人工神经元模型 – 常见响应函数 – 人工神经网络典型结构

? 神经网络基本学习算法
6 2014-1-26

一、内容回顾
? 生物神经元 ? 人工神经网络结构 ? 神经网络基本学习算法 –权值确定 –Hebb学习规则 –误差校正学习规则 –相近(无教师)学习规则
7 2014-1-26

Hebb学习规则
? Donall Hebb根据生理学中条件反射机理,于

1949年提出的神经元连接强度变化的规则
–如果两个神经元同时兴奋(即同时被激活),则它们 之间的突触连接加强

–a为学习速率,Vi, Vj为神经元i和j的输出

? Hebb学习规则是人工神经网络学习的基本规则,
8 2014-1-26

几乎所有神经网络的学习规则都可以看作Hebb 学习规则的变形

误差校正规则
? 用已知样本作为教师对网络进行学习

? 学习规则可由二次误差函数的梯度法导出
? 误差校正学习规则实际上是一种梯度方法 – 不能保证得到全局最优解 – 要求大量训练样本,收敛速度慢 – 对样本地表示次序变化比较敏感
9 2014-1-26

无教师学习规则

? 这类学习不在于寻找一个特殊映射的表示,而

10 2014-1-26

是将事件空间分类为输入活动区域,并有选择 地对这些区域响应,从而调整参数一反映观察 事件的分部 ? 输入可以为连续值,对噪声有较强抗干扰能力 ? 对较少输入样本,结果可能要依赖于输入序列 ? 在ART、Kohonen等自组织竞争型网络中采用

二、感知机
2.1 2.2 2.3 2.4 2.5 2.6
11 2014-1-26

感知机简介 神经元模型 网络结构 功能解释 学习和训练 局限性

2.1 感知机简介
? 感知器由美国计算机科学家罗森布拉特

(F.Roseblatt)于1957年提出 ? 收敛定理
–F.Roseblatt证明,如果两类模式是线性可分的(指 存在一个超平面将它们分开),则算法一定收敛

? 感知器特别适用于简单的模式分类问题,也可

用于基于模式分类的学习控制中 ? 本讲中感知器特指单层感知器
12 2014-1-26

2.2 神经元模型

13 2014-1-26

2.3 网络结构

? ni 第i个神经元加权输入和
? ai第i个神经元输出,i=1,2,…,s

14 2014-1-26

2.4 功能解释
? 感知器的基本功能是将输入矢量转化成0或1的

输出 ? 根据输出值通过测试加权输入和值落在阈值函 数的左右对输入数据进行分类

15 2014-1-26

2.4 功能解释
? 这一功能可以通过在输人矢量空间里的作图来

加以解释
–以输入矢量r=2为例 –对选定的权值w1、w2和b,可以在以p1和p2分别作为 横、纵坐标的输入平面内画出W*P+b=w1 p1十w2 p2 十b=0的轨迹 –它是一条直线,此直线上及其线以上部分的所有p1、 p2值均使w1 p1十w2 p2十b>0,这些点通过由w1、w2 和b构成的感知器的输出为1;该直线以下部分的点 通过感知器的输出为0

16 2014-1-26

2.4 功能解释

17 2014-1-26

2.5 网络学习与训练
? 当采用感知器对不同的输入矢量进行期望输出

为0或1的分类时,其问题可转化为对已知输入 矢量在输入空间形成的不同点的位置,设计感 知器的权值W和b ? 感知器权值参数设计目的,就是根据学习法则 设计一条W*P+b=0的轨迹,使其对输入矢量能 够达到所期望的划分
18 2014-1-26

2.5 网络学习与训练
? 学习规则

?用来计算新的权值矩阵W及新的偏差B的

算法
? 权值的变化量等于输入矢量 ? 假定输入矢量P,输出矢量A,目标矢量为T的

感知器网络
19 2014-1-26

2.5 网络学习与训练
? 如果第i个神经元的输出是正确的,即ai=ti,

20 2014-1-26

那么与第i个神经元联接的权值wij和偏差值bi保 持不变 ? 如果第i个神经元的输出是0,但期望输出为1, 即有ai=0,而ti=1,此时权值修正算法为:新 的权值wij为旧的权值wij加上输人矢量pj;新的 偏差bi为旧偏差bi加上1 ? 如果第i个神经元的输出为1,但期望输出为0, 即有ai=1,而ti=0,此时权值修正算法,新的 权值wij等于旧的权值wij减去输入矢量pj;新的 偏差bi为旧偏差bi减去1

2.5 网络学习与训练
? 上述用来修正感知器权值的学习算法在MATLAB

神经网络工具箱中已编成了子程序,成为一个 名为1earnp.m的函数。 ? 只要直接调用此函数,即可立即获得权值的修 正量。此函数所需要的输人变量为:输入、输 出矢量和目标矢量(P、A和T) ? 调用命令为: [dW,dB]=learnp(P,A,T)
21 2014-1-26

2.5 网络学习与训练
? 训练思想

? 在输入矢量P的作用下,计算网络的实际输出

22 2014-1-26

A,并与相应的目标矢量T进行比较,检查A是 否等于T,然后用比较后的误差量,根据学习 规则进行权值和偏差的调整 ? 重新计算网络在新权值作用下的输入,重复 权值调整过程,直到网络的输出A等于目标矢 量T或训练次数达到事先设置的最大值时训练 结束

2.5 网络学习与训练

23 2014-1-26

? 训练算法 ? 对于所要解决的问题,确定输入矢量P,目标矢量T, 并确定各矢量的维数及神经元数目:r,s和q; ? (1)参数初始化 a)赋给权矢量w在(—l,1)的随机非零初始值; b)给出最大训练循环次数max_epoch; ? ( 2 )初始化网络表达式。根据输人矢量 P 以及最新 权矢量W,计算网络输出矢量A; ? (3)检查过程。检查输出矢量A与目标矢量T是否相 同。如果是,或已达最大循环次数,训练结束,否 则转入(4) ? (4)学习过程。根据感知器的学习规则调整权矢量, 并返回(3)

2.6 局限性
? 由于感知器的激活函数采用的是阀值函数,输

出矢量只能取0或1,所以只能用它来解决简单 的分类问题 ? 感知器仅能够线性地将输入矢量进行分类 ? 当输入矢量中有一个数比其他数都大或小得很 多时,可能导致较慢的收敛速度

24 2014-1-26

三、自适应线性元件
3.1 3.2 3.3 3.4 3.5 3.6
25 2014-1-26

Adline简介 网络结构 网络学习 网络训练 应用举例 局限性

3.1 Adline简介
? 自适应线性元件(Adaptive Linear Element

简称Adaline) ? 由威德罗(Widrow)和霍夫(Hoff)首先提出 ? 自适应线性元件的主要用途是线性逼近一个函 数式而进行模式联想。 ? 它与感知器的主要不同之处
–在于其神经元有一个线性激活函数,这允许输出可 以是任意值,而不仅仅只是像感知器中那样只能取 0或1 –它采用的是W-H学习法则,也称最小均方差(LMS)规 则对权值进行训练

26 2014-1-26

3.2 网络结构

27 2014-1-26

神经元(a)与网络(b)

3.3 学习规则
? W-H学习规则是由威德罗和霍夫提出的用来修正权矢量

的学习规则 ? 采用W-H学习规则可以用来训练一定网络的权值和偏差 使之线性地逼近一个函数式而进行模式联想(Pattern Association) ? 定义一个线性网络的输出误差函数

? 目的是通过调节权矢量,使E(W,B)达到最小值所以在
28 2014-1-26

给定E(W,B)后,利用W-H学习规则修正权矢量和偏差 矢量,使E(W,B)从误差空间的某一点开始,沿着E(W, B)的斜面向下滑行

3.3 学习规则
? 根据梯度下降法,权矢量的修正值正比于当前

位置上E(W,B)的梯度,对于第i个输出节点有:

? 或表示为

29 2014-1-26

3.3 学习规则
? η为学习速率。在一般的实际运用中,实践表明,η

通常取一接近1的数,或取值为:

? 自适应线性网络还有另一个潜在的困难,当学习速率

30 2014-1-26

取得较大时,可导致训练过程的不稳定 ? 采用W-H规则训练自适应线性元件使其能够得以收敛的 必要条件是被训练的输入矢量必须是线性独立的,且 应适当地选择学习速率以防止产生振荡现象

3.4 网络训练
? 自适应线性元件的网络训练过程可归纳

为以下四个步骤
–初始化。权值W,B和T –表达。计算训练的输出矢量A=W*P+B,以及 与期望输出之间的误差E=T-A –检查。将网络输出误差的平方和与期望误差 相比较,如果其值小于期望误差,或训练已 达到事先设定的最大训练次数,则停止训练; 否则继续 –学习。采用W-H学习规则计算新的权值和偏 差,并返回到“表达”过程

31 2014-1-26

3.5 应用举例
? 考虑一个较大的多神经元网络的模式联

想的设计问题 ? 输入矢量P和目标矢量T

32 2014-1-26

3.5 应用举例
? 求解-精确解
–这个问题的求解同样可以采用线性方程组求出,即 对每一个输出节点写出输入和输出之间的关系等式

33 2014-1-26

3.5 应用举例
? 求解-神经网络
–训练误差记录

–训练后权值
34 2014-1-26

3.5 应用举例
? 求解-神经网络 –由输入矢量和目标输出矢量可得:r=3,s =4,q=4。网络的结构如下图示

35 2014-1-26

3.5 应用举例
? 分析-Adline与方程求解
–求解前述16个方程不太容易,需要一定时间 –对一些实际问题,如果不需要求出其完美的零误差 时的解,也即允许存在一定的误差时,采用自适应 线性网络求解可以很快地训练出满足一定要求的网 络权值 –如果输入矢量具有奇异性,用函数solvelin.m求解 精确解时将产生问题。而神经网络则能得到较好的 性能
36 2014-1-26

3.6 Adline与感知机
? 网络模型结构上
– 感知器和自适应线性网络而言,结构上的主要区别在于激活 函数,分别为二值型和线性

? 学习算法
– 感知器的算法是最早提出的可收敛的算法 – 它的自适应思想被威德罗和霍夫发展成使其误差最小的梯度 下降法 – 在BP算法中得到进一步的推广,它们属于同一类算法

? 适用性与局限性
37 2014-1-26

– 感知器仅能够进行简单的分类。感知器可以将输入分成两类 或四类等,但仅能对线性可分的输入进行分类。 – 自适应线性网络除了像感知器一样可以进行线性分类外,还 可以实现线性逼近,因为其激活函数可以连续取值而不同于 感知器的仅能取0或1的缘故

四、内容小结
? 内容回顾
? 感知机 ? 自适应线性元件

? 下次讲课内容

38 2014-1-26

四、内容小结
? 内容回顾 –生物神经元 –人工神经网络结构 –神经网络基本学习算法 ? 感知机 ? 自适应线性元件 ? 下次讲课内容
39 2014-1-26

四、内容小结
? 内容回顾 ? 感知机 –感知机简介 –神经元模型 –网络结构 –功能解释 –学习和训练 –局限性 ? 自适应线性元件 ? 下次讲课内容

40 2014-1-26

四、内容小结
? 内容回顾

? 感知机
? 自适应线性元件 –Adline简介 –网络结构 –网络学习 –网络训练 –应用举例 –局限性 ? 下次讲课内容

41 2014-1-26

四、内容小结
? 内容回顾

? 感知机
? 自适应线性元件

? 下次讲课内容 –BP神经网络

42 2014-1-26

The End
Questions & Suggestions Thanks!
43 2014-1-26


相关文章:
神经网络作业(袁晓艺)
百度文库 专业资料 工程科技 信息与通信专题推荐 北...(一)感知机学习规则 1943 年,Warren McCulloch 和 ...当 3 个以上输入神经网络的判定边界无法用图形...
神经网络单层感知器程序
神经网络单层感知器程序 单层感知器程序单层感知器程序隐藏>> function Perceptron...(2:3);T=WEx(1); disp(['The final Error is: ',num2str(Err_sum) ...
第01讲 神经网络
神经网络神经网络隐藏>> 神经网络讲义 第0讲 1. ...感知机(Perceptron) 第五课:线性神经网络(Adaline) ...B.Widraw 在稍后于感知机一些时候提出了 Adline ...
神经网络MATLAB程序
MATLAB程序_计算机软件及应用_IT/计算机_专业资料。...的前向神经网络 net=newff(minmax(P),[3,1],{...Wn xn y ? 线性限幅单元 感知机 感知机(...
BP算法实现字母识别
BP算法实现字母识别_计算机软件及应用_IT/计算机_专业资料神经网络实验基于BP 网络多层感知机的字母识别 摘要:本次实验主要使用了 BP 神经网络方法对给定的英文字母...
更多相关标签:
多层感知器神经网络 | 感知器神经网络 | 多层感知神经网络 | 感知机 神经网络 | 感知器 神经元 | 多层感知器和神经网络 | 感知神经功能重构 | 感知器与神经元的区别 |