檩条机轻量化研究35: BP算法的不足与改进
发布时间:2020-05-25
  |  
点击数:
 BP算法的不足与改进
BP算法遵照误差梯度下降原则调整权值,权值按照局部最优值进行调整,导致神 经网络在训练时发生振荡和突变,使其容易陷入局部极小值点而无法求解出目标值〔451。 在图4-5中,皿、淅2、皿三个局部极小值点在单权值误差曲线中,如果神经网络目标 误差是当在a、c两点附近训练时,则会导致模型陷入“谷底”而没有办法脱离,
 
图4-5单权值误差曲线
故可通过对算法进行改进来弥补上述问题:
(1) 启发式算法:可通过附加RPROP法、附加动量法、自适应学习速率法等措 施来防止单权值误差曲线出现突变,这种办法简单易用,但是针对不同的问题需要找 岀它们各自的启发式规则,并且这些规则不具有通用性,对于有些问题,它的启发式 规则并不容易创建[46】。
(2) 数值优化算法:利用共貌梯度法、牛顿法、Levenberg-Marquardt法、拟牛顿 法等算法改善神经网络模型,这些算法让模型收敛性能得到提高的同时,也让计算过 程变得更加复杂。