导读:本文包含了数据并行交换论文开题报告文献综述及选题提纲参考文献,主要关键词:交换级SSD,缓存,Hadoop,数据并行
数据并行交换论文文献综述
周昌龙[1](2015)在《交换级SSD缓存支持的数据并行优化策略的研究与实现》一文中研究指出随着社会的飞速发展,各个领域的研究针对不同的需求,需要对各种数据类型的大量数据进行分析,这就要求灵活并且高效的大数据处理平台。Hadoop作为开源的大数据并行处理平台,广泛应用于各个领域。但是由于Hadoop自身的工作模式和元数据存储方式,影响着数据并行处理效率。Hadoop并行计算导致网络中数据流量阶段性爆发一定程度上造成网络阻塞;Hadoop工作对主节点的依赖,在高频率工作的情况下,对主节点造成不小的负担;处理小文件时效率低下并且内存占用率高等问题都会影响Hadoop数据并行处理效率。在本研究中,通过交换节点缓存的方式来优化Hadoop数据并行处理的效率。为了实现交换节点缓存,提出并实现了交换级SSD的概念。交换级SSD作为交换设备的同时具有智能数据缓存的功能,通过扩展固态硬盘SSD作为OpenFlow交换机的缓存空间,并通过OpenFlow控制器来指示交换机进行数据转发和数据缓存。Hadoop能够灵活高效的处理大量数据得益于MapReduce并行计算框架和HDFS分布式文件系统,为了优化Hadoop平台并行数据处理效率,提出交换级SSD缓存支持的数据并行优化策略。优化策略通过缓存的方式对MapReduce和HDFS进行优化来提高Hadoop并行处理的效率。对于MapReduce框架,交换级SSD缓存支持的优化策略采用缓存MapReduce计算结果的方式,减少Hadoop集群MapReduce任务,缩短请求响应时间和缓解频繁的计算请求给主节点带来的负担;对于HDFS文件系统主要解决小文件问题,交换级SSD缓存支持的优化策略将HDFS文件系统中所有的小文件进行缓存,提高文件系统对小文件读取的效率和解决小文件对主节点内存占用。实验表明,交换级SSD缓存确实降低了Hadoop主节点的内存占用率、优化MapReduce并行计算框架和HDFS文件系统,从这叁方面提升了Hadoop数据并行处理的效率;同时交换级SSD的数据转发功能与传统交换机没有差别,不会影响到Hadoop集群中的并行数据处理;(本文来源于《武汉纺织大学》期刊2015-05-01)
王张彦,黎英,杨彦鑫[2](2013)在《基于以太网的并行计算系统中数据交换研究》一文中研究指出首先介绍了几种时钟同步的方法,分析了这几种时钟同步的差别,用IEEE1588协议的两种方法对系统进行时钟同步,并测量时钟同步产生的误差,对测量误差数据进行分析。在系统时钟同步基础上,对系统进行动态时间槽的划分,最后测量整个系统的效率和实时性。(本文来源于《微处理机》期刊2013年01期)
王张彦[3](2012)在《基于以太网的嵌入式并行计算系统中数据交换的研究与应用分析》一文中研究指出目前随着科学技术的不断发展,很多产业与部门都会有大量的数据进行处理,只单单的依靠一台处理器进行处理,不但浪费时间还会降低工作效率,这时并行计算系统便应运而生。并行计算系统能否全面发挥它的性能,并行计算系统内部的通信是一个关键,他们内部通信包括主机和从机的控制命令数据信息的传输,从机之间的数据信息传输,怎么处理好这些通信的协调问题,是系统高效运行的关键所在,所以研究这些问题具有深远的意义和非常重要的应用价值。本文详细分析了以太网协议的功能和缺点,对后面的并行计算系统的通信协议提供了理论依据,并对以太网的实时性问题进行了着重的分析与探讨。对目前的网络结构的优点和缺点进行了分析,组建并行计算系统时采用了星型结构。对以太网底层驱动进行详细的编写,最大的缩短了通信时间。采用IEEE1588协议对整个系统进行时钟同步,并测量时钟同步误差。对交换机的功能进行改进,使这种交换机能更好的适应我们的并行计算系统,提高数据通信时的运行效率。最后通过划分动态时间槽,来解决以太网中数据传输的不确定性、实时性。最后对系统的各个方面的性能进行测试。首先在时钟同步时的大量测量结果表明,我们的系统时钟同步精度已经达到非常高的精度。分别用大量的数据帧测量实时性能,测量结果表明整个系统的实时性能已经达到并行计算的要求。在最后对系统的丢帧率、数据的正确率、实际通信效率的测量结果表明,我们组建的并行计算系统已经能够达到希望的要求。(本文来源于《云南大学》期刊2012-05-01)
梁玲玲[4](2011)在《数据并行交换的长事务分配与调度模型》一文中研究指出在数据库操作过程中,长事务越来越多,结构也越来越复杂,传统事务处理模型无法高效的应用于长事务执行过程中,而且目前对长事务模型的研究与实现过于困难,所以研究一种能够应用于现实生活且能够解决系统中长事务的高级事务模型尤为重要。本论文详细介绍了事务相关的概念知识、事务的ACID属性、几种传统事务模型、长事务特点以及长事务模型的发展。通过对多种事务模型的研究,找出更有效的长事务处理技术和恢复技术。在此基础上,借鉴与传统事务模型中关键任务的思想,进而提出一种基于关键任务的长事务分配与调度模型。该模型建立在数据并行交换的长事务处理环境和事务DAG图的基础之上,并行处理长事务,使得长事务执行效率提高。论文给出了模型的模拟实验实现方法、长事务分解过程、长事务分配调度过程和长事务恢复机制。本文把关键任务、调度长度及补偿一致点等概念融合到长事务分配与调度模型中,在多处理器并行处理过程中通过关键任务的复制来缩短长事务的调度长度,从而提高数据并行交换中长事务的处理速率。且通过补偿一致点的设置来减小长事务某一子事务执行失败时的回滚代价。(本文来源于《长春理工大学》期刊2011-03-01)
赖生建,王秉中[5](2009)在《共享内存系统中不交换数据的并行FDTD计算》一文中研究指出基于共享内存系统的多核计算机广泛地应用于各工程领域,本文提出一种基于共享内存系统的高效并行FDTD计算方案,此方案利用共享内存系统中程序各线程能直接访问内存的特点,直接读取并行边界数据,没有并行边界上的数据交换操作,提高并行FDTD计算效率,并采用多线程编程技术控制各并行区域的FDTD计算。最后进行数值仿真测试,提出共享内存系统中不交换数据的并行FDTD计算方案具有很高的加速比。(本文来源于《2009年全国天线年会论文集(上)》期刊2009-10-13)
王汇,陈化,邹建华[6](2008)在《500kV玉贤变电站两套并行监控系统数据交换及其应用》一文中研究指出变电站自动化系统应安全可靠、技术先进,应采用开放性,可扩充性,抗干扰性强的设备,同时应满足变电站监控数据的同一性、稳定性、统一性要求。提出了超高压变电站两套自动化系统并行运行期间监控数据交换、数据共享的问题,着重介绍了监控数据交换的硬件链路、通信规约,在监控数据正确稳定交换后的存储、转发的方法,以及在此基础上的远动方案、五防逻辑。两套监控系统数据交换及其应用的方法已经在500 kV玉贤变电站四、五期扩建工程中应用,效果良好。(本文来源于《湖北电力》期刊2008年S1期)
曾伟[7](2004)在《飞行器并行工程中的产品数据交换机制》一文中研究指出本文主要研究飞行器并行工程中的产品数据表达与交换标准——STEP,以及在网络环境下基于STEP的异构系统的集成技术。 文章介绍了国内外并行工程的研究现状,回顾了产品数据交换标准的发展史。 详细介绍了STEP的结构、组成、一致性测试和实现方法。介绍了Internet环境中的STEP数据访问方式,研究了STEP与XML集成的实现方式。 论述了STEP的关键技术——具有面向对象特性的EXPRESS语言,分析了EXPRESS语言的数据类型和信息模型构成;初步研究了SDAI技术以及早联编和晚联编技术。 重点讨论了STEP标准在飞行器设计过程中的应用——基于STEP标准的异构系统的集成技术,采用基于中性文件交换的系统集成方式对系统进行集成。通过对飞行器信息模型的分析和对中性文件实施过程的分析,建立了符合STEP标准的应用协议及产品模型的数据字典。根据中性文件的语法和规则,编写了中性文件。运用C++语言与EXPRESS语言进行联编,开发了异构系统的前置处理器和后置处理器。为了实现网络环境下异构系统的集成,开发了网络环境下异构系统的数据交换平台。(本文来源于《国防科学技术大学》期刊2004-11-01)
王德玺,周健,王世杰[8](2001)在《多条件并行控制数据交换模型》一文中研究指出实现公共平台上多条件并行控制数据交换一直是广义 CAD软件设计的共同需求,基于黑板模型编制了能够满足这一需求的接口程序,全面解决了在多站点实现无界面切换的数据直接交换问题 .详细介绍了有关数据交换的算法和控制形式 .(本文来源于《沈阳工业大学学报》期刊2001年02期)
李康举,徐明,李艳娟,谢翀,吕艳辉[9](1999)在《多条件并行控制数据交换在CIMS中的应用》一文中研究指出本文详细介绍了C语言与DBF文件的信息交换技术,利用专家系统和并行工程原理解决了数据资源在CAD、CAPP、CAM之间及其内部中的共享问题,为智能化设计进行了一点尝试。(本文来源于《沈阳航空工业学院学报》期刊1999年04期)
赵春风,邵世煌[10](1997)在《新型电脑横机控制器中数据交换并行接口的设计与应用》一文中研究指出针对新型电脑横机控制器中PC机与单片机之间并行数据交换问题,提出一种具有握手信号和纠错功能的通用接口,并采用并行流水线作业法提高交换速度。该接口在新型电脑横机控制器中的应用表明其可靠性高,交换速度快,易于实现,适用于工业计算机控制系统。(本文来源于《中国纺织大学学报》期刊1997年03期)
数据并行交换论文开题报告
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
首先介绍了几种时钟同步的方法,分析了这几种时钟同步的差别,用IEEE1588协议的两种方法对系统进行时钟同步,并测量时钟同步产生的误差,对测量误差数据进行分析。在系统时钟同步基础上,对系统进行动态时间槽的划分,最后测量整个系统的效率和实时性。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
数据并行交换论文参考文献
[1].周昌龙.交换级SSD缓存支持的数据并行优化策略的研究与实现[D].武汉纺织大学.2015
[2].王张彦,黎英,杨彦鑫.基于以太网的并行计算系统中数据交换研究[J].微处理机.2013
[3].王张彦.基于以太网的嵌入式并行计算系统中数据交换的研究与应用分析[D].云南大学.2012
[4].梁玲玲.数据并行交换的长事务分配与调度模型[D].长春理工大学.2011
[5].赖生建,王秉中.共享内存系统中不交换数据的并行FDTD计算[C].2009年全国天线年会论文集(上).2009
[6].王汇,陈化,邹建华.500kV玉贤变电站两套并行监控系统数据交换及其应用[J].湖北电力.2008
[7].曾伟.飞行器并行工程中的产品数据交换机制[D].国防科学技术大学.2004
[8].王德玺,周健,王世杰.多条件并行控制数据交换模型[J].沈阳工业大学学报.2001
[9].李康举,徐明,李艳娟,谢翀,吕艳辉.多条件并行控制数据交换在CIMS中的应用[J].沈阳航空工业学院学报.1999
[10].赵春风,邵世煌.新型电脑横机控制器中数据交换并行接口的设计与应用[J].中国纺织大学学报.1997