,。
第一隐层和第二隐层神经元均采用s型对数激活函数,输出层神经元采用线性激活函数。网络中各层神经元的输出为:
(7)
为了方便讨论.将神经元的阈值θ视为连接权来处理,即令,
,
,
,于是,式(7)可改写为:
(8)
3.5 bp网络权值的调整
以图3所示的多层前馈网络为例,进行bp算法的推导。设输入的学习样本有a个:x1,x2,…,xa,对应的教师信号(输出的期望值)为:t1,t2,…,ta。在此用这a个样本对(xp,tp),p=l,2,…,a对网络进行训练。当第p个样本对输入到网络后,可得正向传播阶段经各层运算后,网络的实际输出值ypl,l=1,2,…,m。将其与期望值相比较,可得第p个输入摸式之后输出方差为:
(9)
若输入所有a个样本对经正向传递运算后,则网络的总误差为:
(10)
应用最速下降法,反向调整各层连接权值.使误差达到最小。设wuv为网络任意两个神经元之间的连接权,沿负梯度方向调整连接权wuv的修正量为:
(11)
设n为迭代次数,应用梯度法可得网络各层连接权的迭代关系式为:
(12)
下面从输出层开始讨论逐层反向传播的调整规律。
(1) 第二隐层至输出层的连接权修正量为:
(13)
式中,η为学习速度,其值通常在0.01~1.0之间。
(2) 第一隐层至第二隐层的连接权修正量为:
(14)
式中, (15)为在第p个输入样本对下,分摊给第二隐层神经元k的等效误差,其值为:
(15)
(3) 第一隐层至输入层的连接权修正量为:
(16)
式中 为在第p个输入样本对作用下,“分摊”给第一隐层神经元j的等效误差,其值为:
(17)
反传学习算法的实现
初始化。设置网络各连接权。置所有可调参数为均匀分布的较小的随机数,使每个神经元的净输入值较小,以保证工作在激活函数变化较灵敏的区域。
信息正向传递过程的计算。输入学习样本对(xp,tp),p=1,2,…,a。对每个输入样本按下式顺序计算各层神经元的输出值,即