导读:本文包含了梯度神经网络论文开题报告文献综述及选题提纲参考文献，主要关键词:径向基神经网络,扭矩预测,共轭梯度下降,变步长
梯度神经网络论文文献综述
王欣,靳鸿,杨冀豫[1]（2019）在《基于共轭梯度下降法的RBF神经网络预测算法》一文中研究指出针对当前神经网络预测算法在解决训练样本较多的复杂非线性系统问题时易陷入局部最优、训练时间较长、准确度不高的问题,提出了基于共轭梯度下降法的RBF神经网络预测算法。该算法在传统径向基神经网络的基础上,引入平滑因子对共轭梯度下降法进行优化,并且能够自适应改变叁个重要参数的学习率步长。将改进的预测算法应用于已知轮毂应力预测轮扭矩的多输入单输出非线性系统,通过仿真实验得到测试样本预测值与真实值的曲线对比、改进的算法与标准RBF神经网络算法的误差性能曲线对比。仿真实验结果表明,该算法比传统RBF神经网络算法迭代次数更少,收敛速度更快,预测准确度更高。(本文来源于《探测与控制学报》期刊2019年05期）
吴燎,程小恩[2]（2019）在《基于共轭梯度下降算法的BP神经网络的中医糖尿病诊断模型研究》一文中研究指出目的:采用BP神经网络构建中医糖尿病诊断模型,利用真实的糖尿病中医病案,实现糖尿病的诊断预测。方法:利用1288个糖尿病临床电子病历,通过数据清洗后得到质量较高的电子病历数据805个、对病案数据整理、编码后,在MATLAB7.0环境下,利用BP神经网络算法,通过症状输入,预测糖尿病疾病诊断。结果:通过数据分析临床验证正确率达到95%以上,利用人工神经网络算法可以辅助糖尿病的诊断。结论:疾病的诊断准确性是中医临床用药的关键,利用神经网络诊断糖尿病为疾病诊断提供一种方法,有利于提高疾病诊断的准确性。(本文来源于《电脑知识与技术》期刊2019年23期）
李文钰[3]（2018）在《用于神经网络的带L_(1/2)正则项的共轭梯度学习方法》一文中研究指出人工神经网络由于其超强的非线性映射能力,卓越的学习能力以及其广泛的用途,成为许多领域的研究热点.为了提高网络泛化能力,产生更经济的稀疏网络,克服梯度型神经网络学习算法收敛速度慢,容易过快陷入局部极小点,且易产生振荡现象的缺陷.为此本文主要研究带光滑L1/2正则项的批处理共轭梯度型学习方法.首先提出基于修正割线方程的共轭梯度法,并验证了该方法求解标准优化测试问题的有效性.其次提出双自适应参数的共轭梯度法,并对XOR问题搭建神经网络进行测试来验证算法的有效性.然后将双自适应参数的混合共轭梯度法引入BP前馈神经网络训练,提出带光滑L1/2正则项的共轭梯度学习方法.最后针对零阶Takagi—Sugeno模糊推理系统,提出带光滑L1/2正则项的常值学习率共轭梯度学习方法.本文对于这些方法均进行了收敛性分析,它们在数值结果上也展示出了不俗表现.本文的主要内容概括如下:1.第一章绪论部分回顾了神经网络的相关背景知识,介绍了本文的研究目的和研究意义,提出了本文的研究内容.2.第二章针对Dai-Yuan(DY)共轭梯度方法具有优良的收敛性质但数值表现一般的特点,结合修正的割线方程,改进某类参数DY型共轭梯度法,提出了双参数DY型共轭梯度算法.结合Wolfe线搜索,算法总能产生下降的搜索方向.由于算法充分的利用修正割线方程中包含的梯度信息和函数值的信息,提高了目标函数二阶曲率的近似精度,在参数选择为恰当常数的条件下,算法表现出优异的数值性能.在合理的假设下,证明了该方法的全局收敛性.3.第叁章主要分析双参数共轭梯度方法中参数的自适应问题.基于在最优解附近选择共轭梯度方向为拟牛顿方向这一假定,充分利用已经计算得到的梯度、搜索方向和学习率等信息来设计自适应的参数,并利用强Wolfe线搜索来计算学习率,算法产生新的搜索方向既为下降方向又具有拟牛顿性质.对于XOR问题搭建神经网络进行数值实验,结果显示双自适应参数共轭梯度法明显改善了 DY框架下的其他叁个参数共轭梯度法,并且与经典的梯度算法和共轭梯度算法相比较,同样显示了良好的性能.4.第四章主要研究将双自适应参数共轭梯度方法用于前馈神经网络训练,并用于分类任务.我们依据DY框架下的共轭梯度混合策略,提出了光滑L1/2正则化双自适应参数的混合共轭梯度学习方法,进一步改善学习算法的性能.该方法利用强Wolfe条件来计算学习率,使得该混合算法产生的搜索方向依然具有拟牛顿性和充分下降性质.如在UCI数据集中五个基准分类问题的数值实验所示,与其他经典的共轭梯度训练算法相比,新的学习算法具有与其他算法大致相同或更好的学习能力,但同时又具有更好的泛化性、网络稀疏性和更高的稳健性.在合理的假设下,证明了该方法的全局收敛性.5.第五章针对零阶Takagi-Sugeno模糊推理系统,提出一种具有光滑L1/2正则项的共轭梯度方法来训练模糊神经网络,得到了较为经济的稀疏网络结构.该方法中,采用了常值学习率,以此来降低计算成本,并提高学习效率.数值实验表明,该算法具有较强的稀疏性和较快的学习效率.此外,在合理的假设下,得到该方法的全局收敛性结果.(本文来源于《大连理工大学》期刊2018-09-18）
肖秀春,彭银桥,梅其祥,闫敬文[4]（2018）在《基于梯度下降法的Chebyshev前向神经网络》一文中研究指出传统人工神经网络模型中,同一隐层各神经元的激励函数是相同的,这与人类神经元的实际情况不一致。为此,构造一种隐层各神经元激励函数互不相同的前向神经网络模型,采用一簇Chebyshev正交多项式序列作为其隐层各神经元的激励函数(简称Chebyshev前向神经网络),并为Chebyshev前向神经网络推导基于梯度下降法的网络参数训练算法。仿真实验表明,基于梯度下降法的Chebyshev前向神经网络算法能够有效调整网络参数,使之以较高的精度逼近具有复杂模式的样本数据集。(本文来源于《安徽工业大学学报(自然科学版)》期刊2018年02期）
张迅[5]（2018）在《Sigma-Pi-Sigma神经网络的带动量项梯度算法的收敛性》一文中研究指出对Sigma-Pi-Sigma神经网络(简称SPSNN)的固定学习率梯度算法,引入动量项更新,以期待改善其收敛性.在可变动量项因子的情形,对带动量项的梯度算法进行了确定型收敛性的研究,给出了误差函数的单调性结果,并得到了该算法的弱收敛性定理.(本文来源于《温州大学学报(自然科学版)》期刊2018年02期）
沈凡琦[6]（2018）在《基于梯度下降的脉冲神经网络在线监督学习研究》一文中研究指出大脑如何以可靠、有效的方式来实现学习功能,这是神经科学的一个根本问题。目前普遍认为,大脑的学习是通过突触可塑性机制来实现的,这种机制通过突触前和突触后神经元的电位变化改变突触的效能。脉冲神经网络是一类更接近生物神经系统的计算模型,通过神经元发放精确定时的脉冲来传递神经信息,具有处理时空数据的能力。它克服了人工神经网络对计算能力的限制,为开发具有记忆能力和快速适应能力的模型开辟了新的道路。根据神经科学研究成果,大脑中的神经元可以对单个脉冲做出迅速反应,神经元之间突触连接的强度在发放脉冲时立刻会发生加强或减弱的变化,即生物神经系统中在多数情况下利用的是在线方式来改变突触权值。为了更加贴近真实神经元以及处理不断产生的大量数据,采用更具生物可解释性的在线学习方法受到研究者更多的关注。首先,本文分析比较了脉冲神经网络的不同学习规则,简单阐述了其主要思想及训练特点,并介绍了梯度下降方法在人工神经网络中的应用,以及推广至脉冲神经网络的不同监督学习算法。然后,结合梯度下降方法和在线学习方式的特点,提出了一种基于梯度下降的脉冲神经网络在线监督学习算法,其适用于脉冲神经网络的多脉冲训练模式。通过最小化期望和实际输出脉冲之间的误差函数来实现网络模型的在线训练以及突触权值的实时调整,以脉冲为处理对象实现在线监督学习。脉冲神经网络的在线学习过程不同于离线方式,样本在网络中训练,一旦输出层神经元有脉冲激发,便会引发网络参数的实时调整,即一个样本在网络的训练过程中,网络的连接权值会根据输出层神经元的脉冲发放进行多次调整。最后,将所提出的脉冲神经网络在线监督学习算法应用于脉冲序列的学习任务,在不同的神经网络学习参数下,对在线方式和离线方式进行了对比实验。结果表明,在线方式无论在学习周期还是学习精度上都优于离线方式。进一步将脉冲神经网络的在线监督学习算法应用于非线性模式分类问题,采用样本数据仅需一次迭代的One-Pass方式进行学习。在Iris数据集和Wisconsin乳腺癌数据集上的实验结果表明,脉冲神经网络的在线监督学习算法在一次迭代学习过程中,表现出较高的训练集和测试集的分类准确率,提高了模式分类问题的学习效率。(本文来源于《西北师范大学》期刊2018-05-01）
张晋晶[7]（2018）在《基于随机梯度下降的神经网络权重优化算法》一文中研究指出近几年,深度学习引爆科技革命,创造了多个领域的跨越式发展。作为一项核心的信息技术,深度学习体现了在不同领域,包括图像识别,语音识别和语言处理应用程序等领域的优势,带来了技术和视觉的发展,同时促进了生物学和医学的发展,如药物发现和基因等,并取得了重要成果。作为新一代信息科学的主流研究方法,深度学习将逐渐演变为一项基本的科学技术。同时,神经网络的性能在很大程度上取决于它的模型结构和相应的学习优化算法,神经网络单元之间的连接强度分布包含着神经网络的所有信息,影响神经网络的收敛速度和损失函数值等性能,学习算法作为神经网络权值校正和结构优化的关键,决定着神经网络的性能。因此,神经网络的优化问题是深度学习与智能计算领域一个非常重要的课题,尤其是神经网络权值的学习和修正问题。目前,深度学习领域大多学习算法是基于迭代的更新方法,最终目标是找到一组相对每个权重的参数来优化辅助目标函数。基于梯度的优化算法在许多科学和工程领域都具有相当重要的实践意义,智能计算领域的许多问题都可以转换为优化一组参数来优化目标函数,如随机梯度下降算法(SGD)等。这类算法在每次迭代过程中处理小批量数据计算梯度近似所有数据计算的真实梯度来更新参数。选择一个适当的学习率对基于随机梯度的算法是很困难的。学习率太小会阻碍收敛,导致收敛速度缓慢;学习率太大则影响收敛速度,造成损失函数值在最优点附近振荡,甚至引发发散。目前基于梯度的算法的基本思想是:在子集上计算的梯度近似在整个数据集上的真实梯度,算法只使用小批量数据计算梯度会导致梯度噪声和方差,但如果使用所有的数据计算梯度,算法的计算密集度很大,并需要大量内存存储梯度。因此,已有的优化算法主要致力于学习率和梯度方差缩减两方面,目的是提高神经网络收敛速度、减少损失函数值等性能。针对学习率方面的改进算法中,许多基于梯度的优化算法包含了更为敏感的、需要无尽配置的超参数,学习稳定性取决于超参数的选择,更多的超参数将导致配置的方法层出不穷。同时,目前很多关于梯度方差缩减的算法需要存储所有的梯度或双变量梯度,并且计算密度比较大。针对基于梯度算法的学习率的选择所存在的不足,近年来很多研究学者针对随机优化算法的这些不足进行了改进,其中主要是改进学习率使其自适应的针对不同参数分配不同学习率。针对学习率,本文在已有的研究基础上所做的工作主要有两个方面:(一)提出自适应机制,并将自适应机制应用到Adadelta和Adam算法中;(二)用此算法优化LSTM和LeNet网络的权重分布,从文本和图片两个方面进行对比实验来证明本文所提的自适应机制在优化神经网络方面的有效性,并从训练准确率、测试准确率、训练误差和测试误差这几个衡量指标进行评价分析。实验结果证明,无论是在文本数据集还是图片数据集上,此算法在分类和损失值方面均达到了满意的效果。在梯度噪音和方差方面,本文在已有的研究基础上提出了一种新的梯度方差缩减算法SMVRG。因随机梯度下降算法随机采样引起的方差,算法总需要一个比较小的学习率,本文提出一种将梯度移动平均值作为平均梯度的方差缩减技术,。在每个时间,模拟一个版本的权重使其接近最优的权重,本文用经过n次迭代后的当前权重近似最优权重,此外,使用移动平均梯度作为平均梯度,只需保留当前梯度和当前平均梯度。实验结果表明,相较于对比算法而言,本文提出的算法能够使用较少的梯度存储空间,在学习率很大的情况下,取得较好效果,同时不论是在测试集还是训练集上,算法在分类准确率和损失值等方面都具有更好的效果。(本文来源于《西南大学》期刊2018-04-08）
孙峰,龚晓玲,张炳杰,柳毓松,王延江[8]（2018）在《一种基于共轭梯度法的广义单隐层神经网络》一文中研究指出单隐层前馈神经网络是一种高效且结构简单的神经网络,它的一种典型的学习算法就是误差反向传播(error back propagation,BP)算法.这种算法基于最速下降法原理,主要缺点是学习速度过慢.超限学习机(extreme learning machine,ELM)极大地优化了单隐层神经网络的学习速度,却需要更多的隐层单元来达到与BP网络相当的效率,这不可避免地使网络结构冗余、测试时间变长.受到一种结合了ELM和最速下降法思想的USA(upper-layer-solution-aware)算法的启发,提出一种基于共轭梯度法的单隐层神经网络快速算法,并把它应用于不同数据库中.试验结果表明,在相同网络结构情况下,本算法的效率要优于ELM和USA算法.(本文来源于《郑州大学学报(工学版)》期刊2018年02期）
张筱彤[9]（2018）在《基于双通道卷积神经网络和梯度特征的人脸识别》一文中研究指出人脸识别被广泛应用于医学,安全验证系统,公共安全系统,人机交互等各个领域。可见光条件下,人脸识别易受环境光变化的影响,而近红外光主动照射下的人脸识别不易受环境光变化的影响。同时,目前大多数人脸识别方法都是在人脸图像像素域中进行特征提取,而忽略图像梯度域特征,图像的梯度域特征蕴含人脸图像的相邻像素点之间的关系。此外,在现今一些公开的人脸数据库中,存在采集样本量不足的问题,因此,针对小样本训练一个有效的人脸识别算法也变得急需。针对上述问题,本文提出了一种基于梯度信息的双通道卷积神经网络(Dual-Channel Convolutional Neural Network,DCCNN)来进行近红外2D及3D人脸识别。整个DCCNN网络被分为两个通道,一个通道输入整张人脸图像,另一个通道输入对应的整张人脸的梯度图像。接着,利用卷积神经网络对这两个通道分别提取像素域或梯度域特征。最后,在全连接层采用级联(Concatenation)融合得到两个通道融合后的人脸几何特征并分类。本文采用近红外2D人脸数据库(PolyU-NIRFD)和3D人脸数据库(CASIA-HFB-3D)对算法进行测试。实验结果显示,在2D及3D人脸库上的识别率相比传统算法的识别率有3%-10%的提升。(本文来源于《西南大学》期刊2018-03-29）
汪晓,葛军[10]（2018）在《基于局部梯度的神经网络非均匀性校正算法》一文中研究指出为了解决传统神经网络算法在用于红外焦平面阵列(Infrared Focal Plane Array,IRFPA)非均匀性校正(Non-Uniformity Correction,NUC)时所面临的边缘模糊、收敛速度慢等问题,通过引入图像局部梯度特性对该算法进行了改进。通过用局部梯度相似度信息构造权值函数来对区域进行加权滤波,可以保留图像边缘信息。在迭代运算中,将梯度幅值加权的自适应参数规整因子加入了误差损失函数,并引入梯度幅值相关的自适应步长用以代替传统的固定步长,从而进一步提升了算法的校正效果和收敛速度。然后对算法的性能曲线和校正结果进行了分析。结果表明,与传统算法相比,改进的神经网络校正算法取得了更好的校正效果,其校正误差稳定低于前者,实现了有效抑制边缘模糊和提升收敛速度的目标。(本文来源于《红外》期刊2018年03期）
梯度神经网络论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
目的:采用BP神经网络构建中医糖尿病诊断模型,利用真实的糖尿病中医病案,实现糖尿病的诊断预测。方法:利用1288个糖尿病临床电子病历,通过数据清洗后得到质量较高的电子病历数据805个、对病案数据整理、编码后,在MATLAB7.0环境下,利用BP神经网络算法,通过症状输入,预测糖尿病疾病诊断。结果:通过数据分析临床验证正确率达到95%以上,利用人工神经网络算法可以辅助糖尿病的诊断。结论:疾病的诊断准确性是中医临床用药的关键,利用神经网络诊断糖尿病为疾病诊断提供一种方法,有利于提高疾病诊断的准确性。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
梯度神经网络论文参考文献
[1].王欣,靳鸿,杨冀豫.基于共轭梯度下降法的RBF神经网络预测算法[J].探测与控制学报.2019
[2].吴燎,程小恩.基于共轭梯度下降算法的BP神经网络的中医糖尿病诊断模型研究[J].电脑知识与技术.2019
[3].李文钰.用于神经网络的带L_(1/2)正则项的共轭梯度学习方法[D].大连理工大学.2018
[4].肖秀春,彭银桥,梅其祥,闫敬文.基于梯度下降法的Chebyshev前向神经网络[J].安徽工业大学学报(自然科学版).2018
[5].张迅.Sigma-Pi-Sigma神经网络的带动量项梯度算法的收敛性[J].温州大学学报(自然科学版).2018
[6].沈凡琦.基于梯度下降的脉冲神经网络在线监督学习研究[D].西北师范大学.2018
[7].张晋晶.基于随机梯度下降的神经网络权重优化算法[D].西南大学.2018
[8].孙峰,龚晓玲,张炳杰,柳毓松,王延江.一种基于共轭梯度法的广义单隐层神经网络[J].郑州大学学报(工学版).2018
[9].张筱彤.基于双通道卷积神经网络和梯度特征的人脸识别[D].西南大学.2018
[10].汪晓,葛军.基于局部梯度的神经网络非均匀性校正算法[J].红外.2018