当前位置:首页 >> 计算机软件及应用 >>

MATLAB神经网络工具箱_图文

MATLAB神经网络工 具箱中的神经网络 模型

神经网络工具箱简介
MATLAB 7对应的神经网络工具箱的版本为 Version 4.0.3,它以神经网络理论为基础,利用 MATLAB脚本语言构造出典型神经网络的激活函 数,如线性、竞争性和饱和线性等激活函数,使设 计者对所选定网络输出的计算变成对激活函数的 调用。 还可根据各种典型的修正网络权值规则,加上网 络的训练过程,利用MATLAB编写出各种网络设 计和训练的子程序,用户根据自己的需要去调用。

神经网络工具箱的主要应用
函数逼近和模型拟合 信息处理和预测 神经网络控制 故障诊断

应用神经网络工具箱求解问题的一般过程
确定信息表达方式
数据样本已知 数据样本之间相互关系不确定 输入/输出模式为连续的或者离散的 输入数据按照模式进行分类,模式可能会具有平移、旋转或伸缩等变 化形式 数据样本的预处理 将数据样本分为训练样本和测试样本

确定网络模型
选择模型的类型和结构,也可对原网络进行变形和扩充

网络参数的选择
确定输入输出神经元数目

训练模型的确定
选择合理的训练算法,确定合适的训练步数,指定适当的训练目标误 差

网络测试
选择合适的测试样本

人工神经元的一般模型
神经元模型及其简化模型如图所示,输入向
T p = [ p , p , Λ p ] 量 1 2 R 、权值矩阵 w = [ w1,1 , w1, 2 , Λ ,, w1, R ]

与阈值的加权和(内积运算)送入累加器,形成 净输入,即:

人工神经元模型
图中,xi(i=1,2,…,n)为加于输入端(突触)上的 输入信号;ωi为相应的突触连接权系数,它是模拟 突触传递强度的—个比例系数, ∑表示突触后信号的 空间累加;θ表示神经元的阈值,σ表示神经元的响 应函数。该模型的数学表达式为:

s = ∑ ωi xi ? θ
i =1

n

y = σ ( s)

与生物神经元的区别:
(1)生物神经元传递的信息是脉冲,而上述 模型传递的信息是模拟电压。 (2)由于在上述模型中用一个等效的模拟电 压来模拟生物神经元的脉冲密度,所以在 模型中只有空间累加而没有时间累加(可以 认为时间累加已隐含在等效的模拟电压之 中)。 (3)上述模型未考虑时延、不应期和疲劳等。

响应函数 y = σ ( s) 的基本作用:
1、控制输入对输出的激活作用; 2、对输入、输出进行函数转换; 3、将可能无限域的输入变换成指定的有限范 围内的输出。

根据响应函数的不同,人工神经元 有以下几种类型:

阈值单元
响应函数如图a所示,

线性单元
其响应函数如图b所示

非线性单元
常用响应函数为S型(Sigmoid)函数,如图c、 d所示

Hardlim x>=0 y=1;x<0 y=0 Hardlims:x>=0 y=1; x<0 y=-1 Purelin :y=x Satlin:x<0 y=0;x>1 y=1;x>=0&&x<=1 y=x; 1 Logsig:y=

1+ e

?x

人工神经网络的构成
单个神经元的功能是很有限的,人工神经 网络只有用许多神经元按一定规则连接构 成的神经网络才具有强大的功能。 神经元的模型确定之后,一个神经网络的 特性及能力主要取决于网络的拓扑结构及 学习方法。

人工神经网络连接的基本形式:
1.前向网络 网络的结构如图所示。网 络中的神经元是分层排列 的,每个神经元只与前一 层的神经元相连接。最右 一层为输出层,隐含层的 层数可以是一层或多层。 前向网络在神经网络中应 用很广泛,例如,感知器 就属于这种类型。

2. 反馈前向网络
网络的本身是前向型 的,与前一种不同的 是从输出到输入有反 馈回路。

内层互连前馈网络
通过层内神经元之间的相 互连接,可以实现同一层 神经元之间横向抑制或兴 奋的机制,从而限制层内 能同时动作的神经数,或 者把层内神经元分为若干 组,让每组作为一个整体 来动作。一些自组织竞争 型神经网络就属于这种类 型。

互连网络
互连网络有局部互连和全 互连两种。全互连网络中 的每个神经元都与其他神 经元相连。局部互连是指 互连只是局部的,有些神 经元之间没有连接关系。 Hopfield网络和Boltzmann 机属于互连网络的类型。

神经网络的学习方式
有教师学习(监督学习)

误差信号的不同定义: (1)均方误差mse(mean squared error)

mse = E[e] ≈

∑ (t
k =1

n

k

? ak ) n

2

(2)平均绝对误差mae (mean absolute error)
n

mae =

∑| t
k =1

k

? ak |

n

(3)误差平方和sse(sum squared error)
n

sse = ∑ (t k ? ak )
k =1

2

无教师学习(无监督学习)

MATLAB工具箱中的神经网络结构
1.人工神经元的一般模型 在 s=
n

∑ ωi xi ? θ 中,令 b = ?θ
i =1
R i =1



p i = xi

,则

a = f (∑ wi pi + b)

人工神经元的一般模型
由此构成人工神经元的一般模型,如下图所示。

上式可写成矩阵向量形式: 上式可写成矩阵向量形式:a=f(Wp+b)

由S个神经元组成的单层网络
输入 S个神经元的层

p1 p2 p3

w1,1 b1 1

n1

f

a1

n2 b2 1 ns wS,R bs 1

f

a2

pR

f

as

输入

S个神经元的层

MATLAB工具箱中的神经网络结构

多层网络的简化表示:

MATLAB神经网络工具箱中的神经 网络模型
基本概念: 标量:小写字母,如a,b,c等; 列向量:小写黑体字母,如a,b,c等,意为一列 数; 矩阵向量:大写黑体字母,如A,B,C等

权值矩阵向量W(t)
标量元素 wi , j (t ) ,i为行,j为列,t为时间或迭代 函数 列向量 w j (t ) 行向量 wi (t )

阈值向量b(t)
标量元素bi (t ) ,i为行,t为时间或迭代函数

网络层符号
加权和: n ,m为第m个网络层, s m 为第 个神经元,n为加权和 网络层输出: a 个神经元,a为输出
m , m为第m个网络层, m s
m sm

s

m为第

s

m

输入层权值矩阵 IW k ,l ,网络层权值矩阵 LW k ,l,其 中,上标k,l表示第l个网络层到第k个网络层的连 接权值矩阵向量

例: iw 表示输入向量的第R个输入 1 元素到输入层的第 s 个神经元的连 接权.
lw 表示……
2,1 s 2 ,s1

1,1 s1 , R

b 表示…
第i个网络层的第

i si

s

i

个神经元的阈值

例:

输入

S个神经元的层

p1 p2 p3

w1,1 b1 1

n1

f

a1

n2 b2 1 ns wS,R bs 1

f

a2

pR

f

as

输入

S个神经元的层

n1为第一层神经元的中间运算结果,即连接权向量 与阈值向量的加权和,大小为 S 1 × 1 ,即

n = IW P + b
1 1
,

1

a1为第一层神经元的输出向量,大小为

S ×1
1

a = f ( IW P + b )
1 1 1 1

神经网络的层数为神经元网络层的数目加1, 即隐层数目加1.

多层神经网络结构

a 2 = f 2 ( LW 2 a 1 + b 2 ) = f 2 [ LW 2 f 1 ( IW 1 p + b1 ) + b 2 ]

多层网络简化形式

图中:

P =

[p

1

, p 2 ,... p R

]

1 1 1 b1 = [b1 , b2 ,...bs 1]

1,1 1,1 1,1 ? iw1 ? ... iw iw ,1 1, 2 1, R ? 1,1 1,1 1,1 ? iw iw iw 2,1 2, 2 2,R ? 1,1 ? IW = ? ? ? 1,1 1,1 1,1 ? iws1 ,R ? ? ?iws1 ,1 iws1 , 2 ?

说明:
输入层神经元的个数决定IW的行数,输入向 量元素的个数决定IW的列数,即S1行R列.

4.公式和图形中的变量符号在编程 代码中的表示方法
,

,

细胞矩阵:将多个矩阵 向量作为细胞矩阵的” 向量作为细胞矩阵的” 细胞” 细胞”(Cell),细胞矩阵 的各个元素值为对应 细胞的大小和数值类 型

?1 2? ? ? c = ?3 4? ? 5 6? ?1 2 3? ? ? b=? ?
? 4 5 6?

?1 2? a=? ? 3 4 ? ?

?[2 × 2double]? m = {a, b} = ? ? ?[2 × 3double]?

[] ?a []? ?[2 × 2double] ? n=? ?=? ? ?b c ? ?[2 × 3double] [3 × 2double]?
?1 2? 访问元素:m{1}=n{1,1}= a = ? ? 3 4 ? ?

?1 2 3? m{2}=n{2,1}= b = ? 4 5 6? ? ?
n{2,1}(4)=5

变量符号在MATLAB中的表示
(1)上标变量以细胞矩阵(Cell array)即大括 号表示p1={1} (2)下标变量以圆括号表示 , , p1=p(1),

p = p{1}(2)
1 2

2 p2 , 2 = p{2}(2,2)

例:

iw

1,1 2,3

=

iw{1,1}(2,3)

p
p

1,( k ?1)

= p{1, k ? 1}

2 ,( k ?1) 2

= p{2, k ? 1}(2)

神经网络工具箱常用函数列表
重要的感知器神经网络函数: 重要的感知器神经网络函数:

初始化: 初始化: initp 训练: trainp 训练: 仿真: 仿真: simup 学习规则: 学习规则: learnp

线性神经网络函数
初始化: 设计: 仿真: 离线训练: 在线自适应训练: 学习规则: initlin solvelin simulin trainwh adaptwh learnwh

BP网络函数: 网络函数:
initff: 初始化不超过3层的前向网络; simuff:仿真不超过3层的前向网络; trainbp,trainbpx,trainlm:训练BP
trainbp:最慢; trainbpx:次之; trainlm:速度最快,但需要更多的存储空间。

learnbp:

学习规则

自组织网络
初始化:initsm 仿真: simuc 训练: trainc:利用竞争规则训练 trainsm:利用Kohonen规则训练

反馈网络( 反馈网络(Hopfield网络) 网络)
仿真: 设计: solvehop solvelin rands learnbp learnh learnp learnwh initlin initp initsm plotsm trainbp trainp trainwh trainsm simuhop solvehop 设计Hopfield网络 设计线性网络 产生对称随机数 反向传播学习规则 Hebb学习规则 感知层学习规则 Widrow-Hoff学习规则 线性层初始化 感知层初始化 自组织映射初始化 绘制自组织映射图 利用反向传播训练前向网络 利用感知规则训练感知层 利用Widrow-Hoff规则训练线性层 利用Kohonen规则训练自组织映射

神经网络例子

创建线性神经网络层
net = newlin([1 3;1 3],1); net.IW{1,1} = [1 2]; net.b{1} = 0; 设有数据集由4个向量组成 p1=[1 2]’ p2= [2 1]’ p3=[2 3]’ p4=[3 1]’ P=[1 2 2 3;2 1 3 1] A = sim(net,P) A= 5485

例2:See P14 in textbook 例3:See P39 例4: See P40


相关文章:
MATLAB 神经网络工具箱_图文.ppt
MATLAB 神经网络工具箱 - MATLAB神经网络工具箱 神经元模型 Neu
MATLAB神经网络工具箱的详细使用步奏_图文.doc
神经网络| 工具箱| MATLAB神经网络工具箱的详细使用步奏_计算机软件及应用_IT/计算机_专业资料。详细介绍使用MATLAB神经网络工具箱的方法 在...
Matlab神经网络工具箱_图文.ppt
Matlab神经网络工具箱 - MATLAB神经网络工具箱 人工神经网络的特点
MATLAB神经网络工具箱_图文.ppt
MATLAB神经网络工具箱 - MATLAB神经网络工具箱 介绍及实验要求 神经
MATLAB神经网络工具箱及实验要求_图文.ppt
MATLAB神经网络工具箱及实验要求 - MATLAB神经网络工具箱 介绍及实验
Matlab神经网络工具箱使用教程_图文.pdf
Matlab神经网络工具箱使用教程_专业资料。Matlab神经网络工具箱使用教程 您的评论 发布评论 用户评价 Matlab神经网络工具箱使用教程,如何下载 2018-06-25 16:23:06...
Matlab神经网络工具箱(经典教程)_图文.pdf
Matlab神经网络工具箱(经典教程) - Matlab神经网络工具箱应用简介
Matlab-神经网络工具箱_图文.ppt
Matlab-神经网络工具箱 - 神经网络工具箱介绍 2016/12/11 1 MATLAB 2009b的神经网络工具箱neural network toolbox提供了图形用户界面(g...
matlab神经网络工具箱创建神经网络_图文.doc
matlab 神经网络工具箱创建神经网络为了看懂师兄的文章中使用的方法,研究了一
MATLAB 神经网络工具箱 神经网络模型_图文.ppt
MATLAB神经网络神经网络工 具箱中的神经网络 模型 神经网络工具箱简介 MATLAB 7对应的神经网络工具箱的版本为 Version 4.0.3,它以神经网络理论为基础,利用 ...
MATLAB神经网络工具箱1_图文.ppt
MATLAB神经网络工具箱1 - BP网络的初始化 newff 函数在建立网络对
MATLAB神经网络工具箱-精选文档_图文.ppt
MATLAB神经网络工具箱-精选文档 - MATLAB神经网络工具箱 介绍及实验
第2章MATLAB神经网络工具箱函数_图文.ppt
第2章MATLAB神经网络工具箱函数 - 第2章 MATLAB神经网络 工具箱函数 2.1 MATLAB神经网络工具箱函数 2.2 MATLAB神经网络工具箱的图形用户界面 1 利用神经网...
MATLAB神经网络工具箱中的神经网络模型_图文.ppt
MATLAB神经网络工具箱中的神经网络模型 - MATLAB神经网络工 具箱中的
MATLAB神经网络工具箱(函数拟合)_图文.ppt
MATLAB神经网络工具箱(函数拟合)_互联网_IT/计算机_专业资料。MATLAB神经网络工具箱 介绍及实验要求 神经元模型 Neuron Model: 多输入,单输出,带偏置 ?输入:R维列...
Matlab_神经网络工具箱(GUI界面的使用方法)(看完)_图文.ppt
本部分介绍了MATLAB 神经网络工具箱的 图形用户界面,为尚不熟悉以MATLA
Matlab神经网络工具箱资料_图文.ppt
Matlab神经网络工具箱资料 - MATLAB神经网络工具箱 人工神经网络的特
MATLAB神经网络工具箱_图文.ppt
MATLAB神经网络工具箱 - MATLAB神经网络工具箱 介绍 主讲人:朱均岭
MATLAB 神经网络工具箱 神经网络模型_图文.ppt
MATLAB 神经网络工具箱 神经网络模型_计算机软件及应用_IT/计算机_专业资料。MATLAB MATLAB神经网络工 具箱中的神经网络 模型 神经网络工具箱简介 ? ? MATLAB 7...
人工神经网络_matlab工具箱概要_图文.ppt
人工神经网络_matlab工具箱概要 - 模式识别讲义 第5章 人工神经网络 matlab神经网络工具箱 黄可坤 嘉应学院 主要内容 ?0 引例:神经网络函数拟合(预测) ?1 ...