导读:本文包含了单坐标下降算法论文开题报告文献综述及选题提纲参考文献，主要关键词:平滑削边绝对偏离,回归问题,随机坐标下降方法
单坐标下降算法论文文献综述
赵磊,陈玎,朱道立[1]（2019）在《求解大规模SCAD回归问题的随机坐标下降算法研究》一文中研究指出回归方法是重要的数据分析工具。带平滑削边绝对偏离(smoothly clipped absolute deviation,SCAD)正则项的回归问题,以其在处理高维数据中的近似无偏性(见Fan和Li,2001),在大数据分析中得到广泛应用。但在大数据背景下,待求解的SCAD回归问题的数据量往往很大,而且分布在不同地理位置,这使得在SCAD回归问题的求解算法设计中,需要重新考虑计算的内存使用量。常规用于求解SCAD回归问题的优化算法(LQA、LLA、ADMM等)往往需要在每一次迭代中更新全部变量,从而造成计算的内存需求很大,难以适应大数据的求解要求。随机坐标下降方法(stochastic coordinate descent,SCD)以其子问题运算内存需求小(见Nesterov,2012)的优势,在大规模分布式最优化问题中得到了广泛的应用。但目前理论上SCD算法仅能处理带凸惩罚项的回归问题,由于SCAD回归问题中惩罚项的非凸非光滑性,现有的随机坐标下降方法难以处理这一问题。首先对SCAD回归问题模型进行分析,得出SCAD回归模型的损失函数是导数Lipschitz、惩罚函数是semi-convex的,此外根据已有结论,得到SCAD回归问题的稳定点即可保证良好的统计性质。基于这些性质的分析,介绍了一种新的随机坐标下降方法(variable bregman stochastic coordinate descent,VBSCD),这一方法能很好求解带SCAD惩罚项的回归问题,算法的收敛点是SCAD回归模型的稳定点。最后,通过计算实验进一步说明本算法在求解SCAD回归问题的有效性。对不同的变量分组数,算法迭代到稳定点所需的迭代回合数相对稳定。随着变量分块数的增加,单次迭代中计算的内存需求减少。该研究方法可广泛应用于大数据背景下SCAD回归问题的求解当中。(本文来源于《上海管理科学》期刊2019年05期）
宋恩彬,史清江,朱允民[2]（2016）在《分块强凸函数的加速块坐标下降算法的O(1/k~2)收敛率》一文中研究指出有很长发展历史的块坐标下降(block coordinate descent,BCD)算法是一种经典的优化方法,因其有诸多优点,如简单、速度快和稳定等而被广泛应用.本文在一种相对较弱的假设下,即当目标函数是分块强凸时,分析对于凸优化问题的块坐标下降算法的非渐近收敛率.本文证明,若k是迭代次数,则块坐标下降(BCD)算法可以由O(1/k)的收敛率被加速到O(1/k~2)的收敛率.(本文来源于《中国科学:数学》期刊2016年10期）
邓卫钊[3]（2016）在《随机梯度下降和对偶坐标下降算法的研究与应用》一文中研究指出随着大数据时代的到来,模式识别中涌现出了大量高维大样本数据。对现阶段分类算法的处理速度和识别正确率均提出了挑战。本文主要研究了凸优化算法中对高维大样本数据处理相对较快的算法模型,并进行了应用实验,取得了良好效果。首先,本文分析了梯度下降法的原理及优缺点,在此基础之上,引入了随机梯度下降法,并详细分析了其求解步骤和收敛性。随后与多类SVM结合,进行了仿真实验和日常活动识别实验,均取得了良好效果。其中,日常活动识别的分类正确率达到了95.18%。其次,针对梯度下降法迭代计算量大,不适合高维数据和随机梯度下降法连续随机梯度变化较大,有可能指向相反方向的缺点,又引出了半随机梯度下降法。本文详细推导了半随机梯度下降法的算法步骤,并分析了其收敛性和最优参数选取。将其与Logistic回归模型结合进行了仿真实验,并应用于精神分裂症的分类诊断问题中。实验结果表明,本文方法对精神分裂症的诊断取得了较好效果,分类正确率达到91.41%,高于随机梯度下降法,且计算速度较快。最后,本文分析了坐标下降法的基本原理,并延伸出了对偶坐标下降法。随后分析了对偶坐标下降法的主要计算步骤和收敛性,并与二值Logistic回归和最大熵模型结合,分别从它们的对偶问题进行求解。然后在基准数据集和自然语言处理数据集上进行了实验,并将收敛性和正确率与其它相关算法进行对比,取得了良好效果。(本文来源于《燕山大学》期刊2016-05-01）
魏浩,王东明,尤肖虎[4]（2016）在《分布式大规模MIMO系统中迭代坐标下降互易性校准算法》一文中研究指出分布式大规模多输入多输出(MIMO)系统中,利用时分双工模式的信道互易特性,发送端的接入节点可以根据估计得到的上行信道状态信息来进行下行发送预编码的设计.然而,完整的通信信道还包含收发两端的射频电路.而射频增益的失配,破坏了通信信道的互易性,降低了系统的性能.本文研究分布式大规模MIMO系统中的互易性校准问题,接入节点和用户均配置多根天线,系统采用块对角化预编码.分析了在射频增益失配时系统的可达速率,推导了总体最小二乘算法的优化目标函数表达式.同时为了避免总体最小二乘算法需要特征值分解所带来的较高复杂度,提出了迭代坐标下降校准算法.理论分析和仿真结果表明,本文所提迭代坐标下降校准算法基本达到了总体最小二乘算法的性能,收敛速度快,大大降低了实现的复杂度.(本文来源于《中国科学:信息科学》期刊2016年01期）
薛芳[5]（2015）在《组Lasso模型及坐标下降算法研究》一文中研究指出随着对数据挖掘问题的深入探索,其研究对象的特征维数急剧增加,从而涌现出了大量的高维数据。而这些高维数据之间大都是存在冗余的,影响模型分类准确性的同时还降低了计算速度。为了从大量高维数据中挖掘出有用信息,特征选择已成为众多专家学者的首选。本文介绍了一种使模型具有稀疏性的特征选择方法——Lasso,并对其进行了简单阐述。针对其局限性,重点介绍了组Lasso和稀疏组Lasso方法,并在已有的研究基础上做了如下工作。首先,介绍了线性模型下的组Lasso基本原理,并基于坐标下降算法给出了适合组Lasso参数求解的块坐标下降算法;通过分析岭回归,Lasso和组Lasso叁种方法罚函数的几何性质以及对其进行的仿真实验,说明组Lasso方法能够保证组间稀疏的特性。其次,将组Lasso方法由线性模型推广到logistic模型进行识别分类,并将其应用于对红斑鳞状皮肤病的疾病诊断。皮肤病数据是名词性数据,这里给出了虚拟编码的定义,并对已编码的变量进行不同分组实验。实验结果表明,该方法有效的解决了红斑鳞状皮肤病的分类诊断问题。最后,本文结合Lasso方法的单变量稀疏性和组Lasso方法的组变量稀疏性给出了稀疏组Lasso方法的基本原理,通过仿真实验验证了稀疏组Lasso方法较Lasso和组Lasso方法的优越性。随后采用BCI竞赛IV的脑电数据进行实验,结果证明,该方法可以获得较低的错误率并实现同时通道选择和特征选择。(本文来源于《燕山大学》期刊2015-05-01）
王玉军,高乾坤,章显,陶卿[6]（2014）在《一种求解截断L1正则化项问题的坐标下降算法》一文中研究指出L1正则化在稀疏学习的研究中起关键作用,使用截断L1正则化项往往可以获得更好的准确率,但却导致了非凸优化问题.目前,主要采用多阶段凸松弛(multi-stage convex relaxation,MSCR)算法进行求解,由于每一阶段都需要求解一个凸优化问题,计算代价较大.为了弥补上述不足,提出了一种求解截断L1正则化项非凸学习问题的坐标下降算法(Non-convex CD).该算法只需在多阶段凸松弛算法的每一阶段执行单步的坐标下降算法,有效降低了计算复杂性.理论分析表明所提出的算法是收敛的.针对Lasso问题,在大规模真实数据库作了实验,实验结果表明,Non-convex CD在取得和MSCR几乎相同准确率的基础上,求解的CPU时间甚至优于求解凸问题的坐标下降方法.为了进一步说明所提算法的性能,进一步研究了Non-convex CD在图像去模糊化中的应用问题.(本文来源于《计算机研究与发展》期刊2014年06期）
王智勇[7]（2014）在《一种基于加速坐标下降的大规模图像分类算法研究》一文中研究指出随着大规模图像分类数据集的出现,设计一种可扩展的、高效的多类分类算法成为目前一个重要的挑战。基于迹范数正则惩罚函数,提出一种新的大规模多类图像分类的可扩展学习算法。把具有挑战性的非光滑优化问题重构为一个带l1正则惩罚的无穷维优化问题,进而设计一个简单而有效的加速坐标下降算法。此外,展示了如何在量化的密集视觉特征的压缩域中进行高效的矩阵计算,该压缩域有100 000个例子,1 000多维特征和100多类图片。最后在图像网的子集"Fungeus"、"Ungulate"和"Vehicles"上的实验结果表明,所提出方法的性能明显优于目前最先进的16高斯Fisher向量方法。(本文来源于《计算机应用与软件》期刊2014年04期）
朱烨雷,王玉军,罗强,陶卿[8]（2013）在《一种求解截断Hinge损失的软阈值坐标下降算法》一文中研究指出有效地减少支持向量数目能够提高分类器的鲁棒性和精确性,缩短支持向量机(support vector machine,SVM)的训练和测试时间.在众多稀疏算法中,截断Hinge损失方法可以显着降低支持向量的数目,但却导致了非凸优化问题.一些研究者使用CCCP(concave-convex procedure)方法将非凸问题转化为多阶段凸问题求解,不仅增加了额外计算量,而且只能得到局部最优解.为了弥补上述不足,提出了一种基于CCCP的软阈值坐标下降算法.用坐标下降方法求解CCCP子阶段凸问题,提高计算效率;对偶SVM中引入软阈值投影技巧,能够减少更多的支持向量数目,同时选择合适的正则化参数可消除局部最优解的不良影响,提高分类器的分类精度.仿真数据库、UCI数据库和大规模真实数据库的实验证实了所提算法正确性和有效性.(本文来源于《计算机研究与发展》期刊2013年11期）
王玉军[9]（2013）在《一种相关快速软阈值坐标下降算法》一文中研究指出软阈值缩减迭代算法(ISTA)以其简单的操作流程成为了机器学习流行的优化算法,但是收敛速度比较慢,仅为o(1k)。快速软阈值缩减迭代算法(FISTA)通过加速技巧将收敛速度提高了一个数量级,达到了o(1k2)。然而,FISTA将特征向量每一维看成是独立同分布的,丢失了各维之间的相关性,会导致准确率下降和额外的时间开销。为了弥补上述的不足,文中提出了一种相关快速软阈值坐标下降算法(RFTCD)。通过大规模数据库实验证实了RFTCD的正确性和有效性。(本文来源于《计算机技术与发展》期刊2013年12期）
刘建伟,付捷,汪韶雷,罗雄麟[10]（2013）在《坐标下降l_2范数LS-SVM分类算法》一文中研究指出研究l2范数正则化最小二乘支持向量机的坐标下降算法实现.在图像处理、人类基因组分析、信息检索、数据管理和数据挖掘中经常会遇到机器学习目标函数要处理的数据无法在内存中处理的场景.最近研究表明大规模线性支持向量机使用坐标下降方法具有较好的分类性能,在此工作基础上,文中扩展坐标下降方法到最小二乘支持向量机上,提出坐标下降l2范数LS-SVM分类算法.该算法把LS-SVM目标函数中模型向量的优化问题简化为特征分量的单目标逐次优化问题.在高维小样本数据集、中等规模数据集和大样本数据集上的实验验证了该算法的有效性,与LS-SVM分类算法相比,在数据内存中无法处理的情况下可作为备用方法.(本文来源于《模式识别与人工智能》期刊2013年05期）
单坐标下降算法论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
有很长发展历史的块坐标下降(block coordinate descent,BCD)算法是一种经典的优化方法,因其有诸多优点,如简单、速度快和稳定等而被广泛应用.本文在一种相对较弱的假设下,即当目标函数是分块强凸时,分析对于凸优化问题的块坐标下降算法的非渐近收敛率.本文证明,若k是迭代次数,则块坐标下降(BCD)算法可以由O(1/k)的收敛率被加速到O(1/k~2)的收敛率.
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
单坐标下降算法论文参考文献
[1].赵磊,陈玎,朱道立.求解大规模SCAD回归问题的随机坐标下降算法研究[J].上海管理科学.2019
[2].宋恩彬,史清江,朱允民.分块强凸函数的加速块坐标下降算法的O(1/k~2)收敛率[J].中国科学:数学.2016
[3].邓卫钊.随机梯度下降和对偶坐标下降算法的研究与应用[D].燕山大学.2016
[4].魏浩,王东明,尤肖虎.分布式大规模MIMO系统中迭代坐标下降互易性校准算法[J].中国科学:信息科学.2016
[5].薛芳.组Lasso模型及坐标下降算法研究[D].燕山大学.2015
[6].王玉军,高乾坤,章显,陶卿.一种求解截断L1正则化项问题的坐标下降算法[J].计算机研究与发展.2014
[7].王智勇.一种基于加速坐标下降的大规模图像分类算法研究[J].计算机应用与软件.2014
[8].朱烨雷,王玉军,罗强,陶卿.一种求解截断Hinge损失的软阈值坐标下降算法[J].计算机研究与发展.2013
[9].王玉军.一种相关快速软阈值坐标下降算法[J].计算机技术与发展.2013
[10].刘建伟,付捷,汪韶雷,罗雄麟.坐标下降l_2范数LS-SVM分类算法[J].模式识别与人工智能.2013