基于神经网络的改进共轭梯度
毕业论文关键词：先验知识；共轭梯度法；神经网络
Research on the Improved Conjugate Gradient Method Based on
the Neural Network
Abstract: The paper studies an improved algorithm combined the neural network with conjugate gradient algorithm. Firstly, the related concepts and knowledge about the conjugate gradient algorithm and neural network are introduced. Secondly, a new improved method is proposed. That is the neural network with a prior knowledge is leaded up to the conjugate gradient method. Finally, through the analysis of two examples and comparison with the common conjugate gradient method, the proposed algorithm has good stability, fast convergence and the advantages which the conjugate gradient method possesses by itself.
Key words: A prior knowledge; Conjugate gradient method; Neural network
目 录
摘 要 1
引言 2
1. 基本知识 3
1.1 共轭梯度的基本介绍 3
1.2神经网络的基本概念 5
2. 基于神经网络的改进共轭梯度法 7
2.1 改进的共轭梯度算法的基本理论 8
2.2 改进的共轭梯度算法的步骤 9
3. 实例分析 11
4．结束语 12
参考文献 13
致谢 14
基于神经网络的改进共轭梯度法的研究 引言
在实际生活之中，我们会遇到很多很多求解最优值的问题，对于遇到这一类问题，解决的方法途径有很多种，这些方法有自身的优势，但是同时也可能有很大的不足，这就需要我们去针对这一不足去改进。我们可以在某一个方法中引入另外一种方法，让两者相互结合，得到一种新的算法。得到的这一种新的算法同时具备了这两个不同算法的优点，能够让我们更好的求解到我们所需要的结果。这也是一种改进新算法的基本思想。
共轭梯度法一直为人们所研究，从浅到深，从简单到复杂。从优尔十多年前开始，共轭梯度法的研究便陆陆续续地浮出水面。最早研究共轭梯度法的时间是优尔十多年前，也就是1952年的时候，正式提出了共轭梯度法的相关概念，提出这一基本概念的两位数学家分别是：Stiefle和Hestenese。这两位数学家所著写的一些相关著作也受到了以后很多数学家的好评，他们被后人称之为共轭梯度法研究的奠基人。十二年以后，他们又对共轭梯度法做了进一步的深入研究，将其推广到了非线性的优化问题之中了。
神经网络理论也一直被人们所不断研究学习，八十多年前开始，神经网络理论开始被人们所认识，并且开始不断深入研究。一九四三年，MP模型首先被提出来，被世人所认识了解，从那个时候开始，人们对于神经网络的研究不再只是表面上的功夫，而是开始不断深入去研究。赫布在1949提出了一个关于神经网络的假定，这一个假设里面有一些关于神经网络算法的学习法则。这也成为以后人们研究学习神经网络算法的基础。《Perceotron》是明斯基与帕尔特在1963年的时候所写的，里面对于感知机的种种描述十分详细，并且他们还指出关于人工神经网络里的一些不足之处[2]。在上个世纪八十年代，对于神经网络的研究已经非常的深入了。
上一篇：函数凸性在经济学中的应用