多层前向型人工神经网络的设计及算法研究+MATLAB程序
毕业论文关键词 神经网路 误差反向传播算法 函数拟合
Title Design of Multilayer Forward Artificial Neural Network andIts Algorithm
Abstract As a cross discipline, artificial neural network contains knowledge ofmathematics, computer science, neuroscience as well as control information scienceand it is extensively used in many fields. At present, forward neural network ismost widely used among various neural network models and the research of artificialneural network mostly focus on it. Network based on error back propagationalgorithm becomes a research hot issue. However, single hidden layer structureis heavily used while multilayer hidden network structure rarely in theseresearches. This paper will study multi-layer forward neural network based on errorback propagation algorithm, deduce weight iteration formula of three layer forwardneural network and prove its effectiveness with nonlinear curve fittingexperiment. At the same time this paper will analyze the performance of three layerforward neural network and compare it with the curve fitting experiment of doublelayer forward network to prove that three layer forward neural network has anadvantage over function fitting especially over periodic function fitting.
Keywords Neural network error back propagation algorithm function fitting
目次
1绪论1
1.1研究背景及意义.1
1.2研究现状.1
1.3研究内容.3
2理论基础4
2.1人工神经网络概述.4
2.2多层前向型神经网络.6
2.3误差反向传播算法简介.8
3三层前向型人工神经网络.9
3.1权值迭代公式的推导10
3.2学习算法流程和步骤.13
3.3有效性分析.14
4性能分析16
4.1优点与问题16
4.2网络优化和算法改进18
4.3与双层前向型神经网络的比较20
结论24
致谢25
参考文献26
附录A三层前向网MATLAB实现程序.28
1 绪论1.1 研究背景及意义人类对大脑的探索由来已久。从古希腊哲学家柏拉图（Plato）和亚里士多德（Asidtole）对大脑记忆和思维的思考到现代科学家对人脑神经的解剖和分析，人类对大脑的认识由表及里，日趋成熟。尽管如此，人类并不甘心对脑的探索只停留在认识的阶段。上世纪 50 年代，第一代计算机出现之后，研究学者们一直致力于对人工智能实现化的追求。而计算智能是人工智能其中的一个领域，相应地也成为研究的热门课题。从解决一维的线性问题到解决多维的非线性问题，科学家一直引入了许多启发式特征的计算智能算法，这其中就包括模仿人类思维、语言和记忆特性而建造的的人工神经网络。我们都知道人脑是人体最重要的部分，它能同时支配人的视、听、说以及行动。因此，它对信息的惊人处理能力使得现代科学家想要寻求一种模拟人类大脑的算法。大脑信息处理有三个重要的特点[17]：1）大规模并行处理。源Z自-优尔+文/论^文]网[www.youerw.com人脑的神经冲动的传递速度虽然不及普通的电子计算机，但由于能进行大规模并行计算，所以人脑能在复杂的环境下用极短的时间作出判断，一般计算机难以做到； 2） 具有很强的容错性。 计算机中元件的局部损毁可能引起严重的后果，但是人脑中个别神经元的衰老和死亡不会影响大脑的功能；3）具有很强的适应性。人不是生来就会做很多事，但是人的大脑能通过后天的学习开发出新的功能。这说明大脑能够自发地适应环境变化并作出调节，具有自适应性。人工神经网络就是以数学方法分析生物大脑的这三种特性而建造的。神经网络发展到如今已经经历了70 多年，目前针对神经网络的研究也基本上分为两类，一是算法的改进和优化，二是网络的实际应用。理论模型的建立从神经网络的伊始就开始了，它主要包括了网络层次构架以及训练过程的算法。而由于电子科技的发展，应用的领域也从计算机领域拓展到经济领域、工程领域、自动化领域等方面。尽管已经有许多理论模型被提出来了，但是目前没有一种模型是完美的，研究学者仍然在努力攻克这些存在的问题。此外，现代心理学、神经科学等新型学科的出现也给神经网络的研究开辟了新的前景。因此，在智能化已成为科技领域研究热点的今天，人工神经网络的进一步研究仍具有重要的意义。1.2 研究现状人工神经网络开始于20 世纪中期，发展至今其历史可以分为 3 个阶段[31]：启蒙时期、低潮时期和复兴时期。 神经生物学家 MeCulloch 和数理逻辑学家 Pitts 在 1943 年一起提出了第