导读:本文包含了超参数选择论文开题报告文献综述及选题提纲参考文献，主要关键词:超参数,高斯过程回归(GPR),粒子群优化(PSO),自适应变异
超参数选择论文文献综述
曹文梁,康岚兰[1]（2019）在《高斯过程回归超参数自适应选择粒子群优化算法》一文中研究指出超参数优化是减少高斯过程回归(Gaussian process regression,GPR)学习方法计算量,提高高斯模型性能的一个重要问题。为解决超参数优化问题中先验知识匮乏,对初始值过分依赖且易陷入局部最优等问题,文章引入粒子群优化(particle swarm optimization,PSO)算法,并结合差分速度更新公式及自适应变异策略,提出了一种自适应差分粒子群-高斯过程回归优化(adaptive differential particle swarm optimization-Gaussian process regression,ADPSO-GPR)算法对GPR中超参数进行自适应优化。该算法在线性与非线性两类时序回归序列上与多种主流超参数优化算法进行对比,实验结果表明,采用该文算法优化超参数后的GPR具有较高的拟合精度及泛化能力。(本文来源于《合肥工业大学学报(自然科学版)》期刊2019年11期）
梁青青[2]（2019）在《基于关键超参数选择的监督式AutoML性能优化》一文中研究指出近年来,关于机器学习的研究与应用在各个领域都取得了丰硕的成果,这些成果主要依赖于机器学习专家对机器学习各环节的大量人工干预,尤其是在算法选择和超参数调优阶段。自动机器学习(AutoML)的出现减轻了专家的负担,使其将工作重心从繁琐、重复的选型和调参任务转移到数据分析上来。众所周知,人们通常通过调整超参数的设置来提升模型的性能,这个过程称为超参数调优,它是AutoML中最耗时的阶段,在此过程中因为不同超参数对模型性能的影响差异较大,所以选择关键超参数对提高AutoML性能具有十分重要的应用价值和研究意义。本文面向传统监督式机器学习中的算法选择和超参数优化的组合优化问题(简称CASH问题),重点分析超参数与模型性能之间的内在关系,并对AutoML配置器在运行过程中的搜索策略进行了深入研究。针对其性能瓶颈,设计并实现了基于关键超参数选择技术的性能优化组件。主要研究内容包括:(1)分析监督式AutoML配置器SMAC的性能瓶颈,发现在配置生成阶段,配置器中的采集函数因低性能配置具有高不确定性而产生额外不必要的评估开销;(2)分析超参数与模型性能之间的内在关系,利用平均不纯度下降法(MDI)量化超参数对模型性能的贡献量,提出了一种基于关键超参数选择的剪枝策略,并构建剪枝组件;(3)在SMAC配置器的基础之上,设计并实现了新配置器Pruning-SMAC,该配置器具有可动态调整的搜索空间,并通过利用本文提出的剪枝组件在迭代运行过程中收集历史性能数据来修剪超参数取值范围,从而逐步得到核心搜索空间,避免在已知性能较差的区间内选择配置,减少不必要的开销,以此提升AutoML的性能。(本文来源于《贵州大学》期刊2019-06-01）
郭一楠,程健,杨梅[3]（2010）在《支持向量回归超参数的混沌文化优化选择方法》一文中研究指出支持向量回归超参数的选择会影响模型性能,常用的梯度下降选择方法要求核函数或估计函数近似可微,且对迭代初值具有较强依赖性.对此,给出一种两阶段参数优化选择方法.第1阶段根据问题实际需求,确定超参数的变化区域;第2阶段在确定的参数变化范围内,采用自适应混沌文化算法,寻找具有最优性能的超参数组合.面向Mackey-Glass时间序列预测的仿真结果表明,该参数选择方法对函数结构不具有依赖性,所得超参数对应的SVR模型具有较好的泛化性能.(本文来源于《控制与决策》期刊2010年04期）
万智,董辉,刘宝琛[4]（2010）在《基于正交设计下SVM滑坡变形时序回归预测的超参数选择》一文中研究指出超参数的选择直接影响着支持向量机(SVM)的泛化性能和回归效验,是确保SVM优秀性能的关键。针对超参数穷举搜索方法的难点,从试验设计的角度,提出了正交设计超参选择方法,并分析了基于混合核函数(比单一核函数具有更好的收敛性和模型适应性)SVM各个超参数的取值范围,选定了每个参数的试验水平。通过考虑参数间的正交性和交互性,选取最优超参数组合下的SVM模型。应用该方法,对两种典型滑坡位移时序的SVM建模进行了超参数组合正交优化设计,获得了精度高且泛化性能良好的滑坡预测模型,其试验结果验证了方法的可靠性。正交设计超参选择方法较之其他超参选择法简单实用,其高时效的特点更有助于SVM在实践工程中的良好应用。(本文来源于《岩土力学》期刊2010年02期）
肖建,于龙,白裔峰[5]（2008）在《支持向量回归中核函数和超参数选择方法综述》一文中研究指出支持向量回归(SVR)模型结构对降低经验风险和减小置信范围十分重要.为了系统深入地分析SVR模型选择方法,将现有的典型的模型选择方法分为核的选择和超参数确定,并从不同的方面对其进行了综述和评价.SVR的精确性和推广能力很大程度上依赖于核函数及超参数.提出了今后研究的方向.(本文来源于《西南交通大学学报》期刊2008年03期）
李洁,高峰,管晓宏,周佃民[6]（2005）在《支持向量回归学习方法中基于稳定型GA的超参数选择》一文中研究指出作为一种具有很好应用前景的学习机器,支持向量机(SVM)的超参数选择在实际应用中一直是一个十分重要的问题。文中提出了一种基于稳定型遗传算法的支持向量回归模型(SVR)超参数选择方法。该方法吸收了标准的世代型遗传算法在全局搜索方面的优势,又具有更好的效率和更少的代价,对于像SVR超参数这样计算量大的应用问题非常适合。算法仿真将本文提出的方法与标准的世代型遗传算法和传统格搜索方法同时应用于Boston Housing标准数据集及实际的电力负荷预测,验证了本文方法的有效性和较高的整体性能。(本文来源于《第二十四届中国控制会议论文集（下册）》期刊2005-07-01）
超参数选择论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
近年来,关于机器学习的研究与应用在各个领域都取得了丰硕的成果,这些成果主要依赖于机器学习专家对机器学习各环节的大量人工干预,尤其是在算法选择和超参数调优阶段。自动机器学习(AutoML)的出现减轻了专家的负担,使其将工作重心从繁琐、重复的选型和调参任务转移到数据分析上来。众所周知,人们通常通过调整超参数的设置来提升模型的性能,这个过程称为超参数调优,它是AutoML中最耗时的阶段,在此过程中因为不同超参数对模型性能的影响差异较大,所以选择关键超参数对提高AutoML性能具有十分重要的应用价值和研究意义。本文面向传统监督式机器学习中的算法选择和超参数优化的组合优化问题(简称CASH问题),重点分析超参数与模型性能之间的内在关系,并对AutoML配置器在运行过程中的搜索策略进行了深入研究。针对其性能瓶颈,设计并实现了基于关键超参数选择技术的性能优化组件。主要研究内容包括:(1)分析监督式AutoML配置器SMAC的性能瓶颈,发现在配置生成阶段,配置器中的采集函数因低性能配置具有高不确定性而产生额外不必要的评估开销;(2)分析超参数与模型性能之间的内在关系,利用平均不纯度下降法(MDI)量化超参数对模型性能的贡献量,提出了一种基于关键超参数选择的剪枝策略,并构建剪枝组件;(3)在SMAC配置器的基础之上,设计并实现了新配置器Pruning-SMAC,该配置器具有可动态调整的搜索空间,并通过利用本文提出的剪枝组件在迭代运行过程中收集历史性能数据来修剪超参数取值范围,从而逐步得到核心搜索空间,避免在已知性能较差的区间内选择配置,减少不必要的开销,以此提升AutoML的性能。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
超参数选择论文参考文献
[1].曹文梁,康岚兰.高斯过程回归超参数自适应选择粒子群优化算法[J].合肥工业大学学报(自然科学版).2019
[2].梁青青.基于关键超参数选择的监督式AutoML性能优化[D].贵州大学.2019
[3].郭一楠,程健,杨梅.支持向量回归超参数的混沌文化优化选择方法[J].控制与决策.2010
[4].万智,董辉,刘宝琛.基于正交设计下SVM滑坡变形时序回归预测的超参数选择[J].岩土力学.2010
[5].肖建,于龙,白裔峰.支持向量回归中核函数和超参数选择方法综述[J].西南交通大学学报.2008
[6].李洁,高峰,管晓宏,周佃民.支持向量回归学习方法中基于稳定型GA的超参数选择[C].第二十四届中国控制会议论文集（下册）.2005
标签：超参数; 高斯过程回归(GPR); 粒子群优化(PSO); 自适应变异;