导读:本文包含了负载倾斜论文开题报告文献综述及选题提纲参考文献，主要关键词:MapReduce,数据倾斜,动态分区,负载均衡
负载倾斜论文文献综述
刘光宗[1]（2018）在《基于MapReduce数据倾斜的负载均衡算法研究》一文中研究指出MapReduce作为一种分布式编程模型,被广泛应用于大规模和高维度数据集的处理,在海量数据处理中显示出较好的并行性以及扩展性。其采用简单通用的Hash函数对数据进行划分,当数据分布不均匀时,常会出现数据倾斜的问题。现有的解决数据倾斜方法多是增添一轮采样操作,确定key值频率再重新执行数据分区。但是增加的采样作业会延迟原作业的运行,例如基于MapReduce实现的并行聚类算法需要进行多次迭代运算,且对于各轮计算,reducer的数据分布情况不尽相同,现有的方法将增加多轮采样作业。针对该问题,本文提出一种动态分区策略,当发生数据倾斜时,更改剩余数据分区函数以解决数据划分的不均衡。首先,在Map运行过程中增加计数器,统计经Hash法分到各reducer的数据量或记录数,并将这些消息通过心跳机制发送到Job Trackcr;然后,Job Trackcr根据全局的分区信息建立数据倾斜模型,得出各reducer负载情况用以判断存在数据倾斜的reducer;最后,Job Trackcr计算倾斜reducer与负载较轻reducer的hash差值,即分区偏移值,并将它发送到Partitioner用来在分区过程中动态修改原分区函数。该函数中剩余分区的hash结果将加上其对应的偏移值,倾斜数据就会发送到负载较轻的reducer上处理,使各节点的负载达到均衡。此外,本文考虑集群中节点的软硬件异构性,在数据倾斜模型中加入各reducer性能参数,使本文方法在异构的集群环境中也能较好地均衡集群负载。将本文动态分区策略和Hash方法以及现有的动态采样方法对比,通过在符合词频分布规律的数据集上运行Word Count程序,验证本文方法的有效性;在真实数据集上运行改进的k-means++算法,比较叁种方法平衡数据分区后MapReduce的执行效率。实验结果证明本文策略解决了MapReduce作业中的数据倾斜问题,且在稳定性与执行时间上优于Hash和基于采样的动态分区法。(本文来源于《安徽理工大学》期刊2018-05-27）
郭晓峰,王旭永,徐川辉,周开波[2]（2013）在《倾斜轴负载模拟器干扰力矩的抑制》一文中研究指出某小车转向轮的转向轴与竖直方向夹一定角度,为测试转向轮在有阻力转向时的性能,设计了一种倾斜轴电动负载模拟器。分析了电动负载模拟器的基本工作原理、主要技术问题和系统构成。根据倾斜轴负载模拟器的特点,得到了主要干扰力矩的产生机制。通过对干扰力矩的数学模型的解析,提出了基于结构不变性原理的前馈补偿控制方法。Matlab仿真结果表明,该方法对于干扰力矩的抑制有显着效果。(本文来源于《机电一体化》期刊2013年04期）
陈佛生,李红霞,区兆琪[3]（2009）在《倾斜式多功能清污机负载限制问题的解决方法》一文中研究指出简要介绍了广东河源东源县蓝口水电站2×70kN清污机的相关概况,及其在清污和提栅两种不同工况间的转换装置和转换方法。以该清污机为例,论述了清污机一组负载限制装置同时能在多种工况下作用的难点,通过分析荷重传感器的工作原理来说明如何运用机械和电气等知识,从整体上解决这一难题。(本文来源于《广东水利水电》期刊2009年12期）
负载倾斜论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
某小车转向轮的转向轴与竖直方向夹一定角度,为测试转向轮在有阻力转向时的性能,设计了一种倾斜轴电动负载模拟器。分析了电动负载模拟器的基本工作原理、主要技术问题和系统构成。根据倾斜轴负载模拟器的特点,得到了主要干扰力矩的产生机制。通过对干扰力矩的数学模型的解析,提出了基于结构不变性原理的前馈补偿控制方法。Matlab仿真结果表明,该方法对于干扰力矩的抑制有显着效果。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
负载倾斜论文参考文献
[1].刘光宗.基于MapReduce数据倾斜的负载均衡算法研究[D].安徽理工大学.2018
[2].郭晓峰,王旭永,徐川辉,周开波.倾斜轴负载模拟器干扰力矩的抑制[J].机电一体化.2013
[3].陈佛生,李红霞,区兆琪.倾斜式多功能清污机负载限制问题的解决方法[J].广东水利水电.2009