导读:本文包含了核外计算论文开题报告文献综述及选题提纲参考文献，主要关键词:大数据,核外图计算,编程模型
核外计算论文文献综述
吕辉明[1]（2017）在《核外环境下高效图计算方法与编程模型研究》一文中研究指出大规模图计算是大数据处理领域中的一个重要分支。核外环境下的大规模图计算系统为用户提供了一个方便的图计算环境,然而现有的图计算系统提供的编程接口受限于底层的处理模型,不能满足用户的需求。有的处理模型提供的编程接口只能实现有限的图计算应用,有的处理模型执行性能较差。同时,现有的图计算编程接口大多都是面向点或边的细粒度接口,无法描述需要使用多个算法的复杂图计算应用的流程。核外环境下的高效图计算方法与编程模型在底层的图计算引擎中同时使用了以点为中心的处理模型和Scatter-Gather处理模型,这两种处理模型一起支撑了细粒度的混合算法实现接口。高效的图计算方法与编程模型还包括粗粒度的任务封装接口,将图算法和待计算的图数据封装成任务,通过一个个任务组织复杂图计算应用的流程。细粒度的算法实现接口和粗粒度的任务封装接口为用户提供了易用的图计算应用编程接口。此外,为了优化需要多轮迭代才能收敛的图计算应用,高效的图计算方法使用了数据精简机制,为未收敛的点和边新建图数据,减少后续计算的数据量,从而实现后续计算过程中的访存优化。在核外环境下实现的高效图计算方法与编程模型相比于使用单一处理模型的核外图计算系统能够实现更多的图计算应用,并且性能优于使用相同处理模型的核外图计算系统。在处理特定的图计算应用时,交替使用两种处理模型相比于只使用单一处理模型,能够实现更好的性能。使用粗粒度的任务封装接口和数据精简机制实现的复杂图计算应用在性能上优于现有核外图计算系统中实现的复杂图计算应用。(本文来源于《华中科技大学》期刊2017-05-01）
吴君辉,梁昌洪,袁浩波,曹祥玉[2]（2014）在《自适应交叉近似算法的核外计算方法》一文中研究指出为解决矩量法在计算电大目标电磁特性时受计算机物理内存限制的问题,设计了一种核外自适应交叉近似算法.使用自适应交叉近似算法有效地压缩了阻抗矩阵,降低了所需存储空间和计算量;并结合核外技术,进一步节省了内存空间,提升了单台计算机的计算能力.通过算例检验了文中方法的准确性和有效性,结果表明:该方法有效地降低了求解电大目标雷达散射截面所需的内存和计算量,并且自适应交叉近似算法及核外计算不损失矩量法的计算精度.(本文来源于《西安电子科技大学学报》期刊2014年05期）
王童[3]（2013）在《DGA-一种支持核外计算并行程序编程模型的设计与实现》一文中研究指出当今微处理器性能的提高已经不再依赖频率的提升,而是依靠处理器核数的增加来提高处理器的计算能力。例如,Intel公司的至强系列微处理器。但是,通过比较处理器核数和内存容量增加速度的关系,可以发现微处理器核数的增加速度远高于内存容量的增加速度。因此,对于今后的多核微处理器,平均每处理器核可用的内存容量逐渐降低。核外计算技术通过把数据保存到辅存上,降低了内存的占用开销,可以缓解将来平均每处理器核可用的主存容量逐渐降低的问题。但是传统的核外计算技术需要程序员手动的改写并行程序,限制了核外计算技术的使用。针对上述问题,本文提出了一种支持核外计算的并行程序编程模型,Diskextended Global Array(简称DGA)。DGA编程模型基于传统的Global Array编程模型(简称GA,是PGAS编程模型的一种)设计与实现,DGA利用了GA模型的编程接口,修改其运行时系统,使得DGA在运行过程中内存不足的情况下,可以把数据分配到本地辅助存储器上,从而避免因主存不足而导致程序无法执行。本文的贡献包括如下叁个方面:首先,本文提出了DGA并行程序编程模型。基于传统的GA编程模型的编程接口,本文在语义上扩展了其可用存储的使用范围,其全局数组的分配不再限制于计算节点的主存中。其次,本文设计并实现了DGA编程模型的运行时系统,该运行时系统能够在运行时自动感知内存资源不足的情况,把数据动态的分配到本地辅助存储或者内存中。为了提高系统的整体性能,本文采用了不同的页面调度算法,设计了优化的存储管理机制,并且为程序员提供了指导全局数组存储位置和在主存替换策略的接口,更加容易地支撑了程序员编写高性能核外计算程序。再次,为了验证DGA编程接口的有效性,本文选取了叁个典型测试用例:向量置换、矩阵乘法和大规模图宽度优先生成树算法,来测试DGA编程模型的有效性。实验结果表明:基于DGA的并行程序在引入较小开销的情况下,支持并行程序在内存不足的情况下正确运行。本文的未来工作将围绕更加高效性能的优化算法,设计更多的基于DGA的测试程序。(本文来源于《国防科学技术大学》期刊2013-11-01）
周峥,许先斌,Mehmet,Devec[4]（2013）在《基于集群计算环境的核外计算调度方法研究》一文中研究指出为了提高在集群环境中进行大规模线性核外计算时的系统外存访问效率,在使用数据流中间件的编程模式中,提出了逆向调度策略和基于数据感知的调度策略.逆向调度策略可以在迭代交替时通过逆转任务序列,减少系统对外存的访问次数;基于数据感知的调度策略可以通过对当前节点内存中已有数据的实时感知,对任务序列进行动态调整,最大限度触发满足数据条件的任务,降低系统的外存访问频率.通过典型的稀疏矩阵与矢量的乘法计算(SpMV)实验,与消息传递接口(MPI)传统调度策略进行了对比,论证了逆向调度策略和基于数据感知的调度策略均可有效减少外存访问次数,基于数据感知的调度策略使系统运行速度得到了最大值约为2倍的提升.(本文来源于《华中科技大学学报(自然科学版)》期刊2013年08期）
周峥[5]（2013）在《基于集群计算环境的核外计算中间件关键技术研究》一文中研究指出随着计算机科学的不断进步,使用集群计算来进行科学研究已成为一种发展趋势。这种大规模科学计算往往需要同时调用上千个节点进行运算,以确保用于计算的海量数据可以完全存放在计算机内存中。但是,对于一些大规模非结构计算,例如稀疏线性求解器,运行在上千个节点时,编程困难,高效性也难以保证,直接导致计算资源的浪费。核外计算技术可以通过将数据保存在外存的方式,对计算数据进行运行时的访问、调度和管理。中间件技术的发展也为大规模集群计算带来了更便捷、高效的途径。本文研究了针对集群计算中大规模线性求解问题的核外计算和中间件方面的相关技术,提出了一个支持核外计算技术的中间件,并且使用此中间件相对容易地建立了功能不同的、并行度高的、使用成本相对较低的大规模线性计算求解器。通过相关论证,有效证明了该中间件的通用性、易用性、高效性和进行绿色计算的能力等。本文的研究主要包括：分布式核外计算中间件的数据流与任务流体系架构；数据流处理中的任务调度策略研究；核外计算技术在大规模集群计算中的成本控制；分布式数据流处理系统的中间件构建方法等。本文的具体研究内容和创新工作主要包括以下几个方面：(1)分布式核外计算中间件针对大规模线性计算,本文在一个已有的分布式流处理中间件DataCutter的基础上,设计了一种新的分布式核外计算中间件。该中间件实现了多个节点之间的实时相互通信与协作；并通过全局地址管理模式,对于全部数据,包括远远大于计算平台内存容量的超大规模数组,实现了以数据块为单位的分布式数据核外技术管理；本文对数据流与任务流的管理进行了研究,设计了分布式核外数据管理系统与分布式任务分割、调度模式,实现了数据流与任务流的分离；本文研究的中间件,通过对任务的分割与派遣,达到了节点之间子任务序列的进程级并行,和节点内子任务之间的线程级并行。相对原有的DataCutter中间件,此中间件具有更先进的架构方式,更高效的管理策略,增加了对核外计算的支持,可以更为容易的构建分布式核外计算数据流处理系统。通过外存访问能力测试、核内计算性能测试,论证了中间件的外存访问能力与核内计算能力均达到了硬件条件允许范围内的最大值。(2)基于数据感知的任务调度策略针对中间件中的任务管理,本文设计了一种基于数据感知的任务调度策略。使用有向无环图建立任务之间的数据依赖关系,对任务进行划分并通过其相互之间的数据依赖建立任务序列。在任务总管模块中,根据任务依赖划分出多个子任务,分配至多个计算节点。计算节点接收到代表部分任务的有向无环图子图时,将子图中的每一个任务打散,重新排列形成任务链,并根据系统对于本地节点内存中已有数据的动态感知,实时调整任务链中的任务顺序。基于动态感知的任务调度策略可以优先触发当前满足数据依赖条件的任务,尽可能多的触发当前满足数据条件的任务,同时尽可能多的减少外存访问次数,以此提高系统整体运行效率。通过对比论证,基于数据感知的任务调度策略显着优于现有的MPI传统调度策略。针对基于数据感知的任务调度策略,本文还进行了一系列的提高算法执行效率的研究工作。其中,数据预读取机制,可以通过对任务序列的扫描,在计算当前任务的同时,提前装载下一个任务所需的数据,达到任务派遣与数据调度的联动,用计算时间掩盖数据迁移耗时；针对特定算法提出了同步迭加策略,可以同步触发有数据依赖关系的多个任务,达到执行时间的相互掩盖。这些研究工作均有效提高了中间件的任务调度和执行的效率。(3)中间件的绿色计算论文首先针对中间件的核内、核外计算混合计算能力和资源消耗情况进行了测试,根据总的资源耗费量=CPU占用数量*CPU占用时长的成本计算方式,论证了该中间件在绿色计算领域具备节省计算资源的能力。进而,论文将该中间件运用于一个具体的量子力学计算项目中,将具体的计算系统在搭载固态硬盘的高性能计算平台上进行了测试,系统以核外计算方式实现了MFDn系统的计算过程,相比现有的MFDn计算系统的核内计算模式而言,虽然延长了计算时间,但显着地减少了计算节点和CPU处理器的占用数量。从实验结果可知,中间件架构及相关策略较大程度地节约了计算成本,得到了明显的优于现有系统的结果。通过对比论证,证明了在核外计算模式下,该中间件可以有效地减少资源的消耗,能够达到绿色计算的目的。(4)线性代数编程框架分布式的大规模线性计算往往编程结构复杂,涉及到核外计算时,编程任务更是困难重重。本文基于分布式数据流系统中间件的架构模式,研究出了一种新的线性代数编程框架。该框架提供了多个编程接口,通过调用这些编程接口,程序员可以使用C或C++语言,以集中式、串行的编程方式,完成在集群环境对于大型线性核外计算的分布式、并行计算系统的构建。编程接口支持大量常用的线性代数的计算原语,通过这些原语的调用,中间件可以以相对容易的方式,实现规模庞大、逻辑复杂的多种算法。线性代数编程框架提供了新的分布式核外计算系统架构方式,很大程度上减少了在架构此类系统时的工作量,为大规模线性求解问题提供了一种通用的、易用的、高效的解决途径。本文以特征值求解过程为例,在该编程框架中通过原语的调用实现了相关算法,以非常简单的方式构建了分布式核外计算特征值求解器。并在搭载固态硬盘的高性能计算平台上进行了测试。实验中通过系统执行总时间、系统的外存访问时间、系统的计算时间叁者对比,论证了中间件可以有效的达到计算耗时与数据迁移耗时的相互掩盖,同时对比任务的建立与调度所消耗的时间,论证了中间件在任务创立、分配、调度时的高效性。(本文来源于《武汉大学》期刊2013-05-01）
徐晓飞,曹祥玉,高军,吴君辉,郑秋容[6]（2011）在《基于矩量法的电大目标RCS核外并行计算》一文中研究指出核外求解计算可以解决计算机内存不足的问题,但由于硬盘读写速度的限制,使得问题的求解速度过慢。针对上述问题,该文采用了核外并行求解方法;为充分利用各计算节点的内存和减少读写数据的时间,将矩阵按分块依次并行消元,加快了问题求解速度。计算了金属立方体、金属组合体和飞机模型的双站雷达散射截面,并与常规核外并行方法、核内并行方法进行了比较。结果表明,该文方法可快速、有效地求解电大目标的电磁散射问题,而且不损失计算精度。(本文来源于《电子与信息学报》期刊2011年03期）
徐晓飞,曹祥玉,高军,王盼盼,郑秋容[7]（2010）在《核外分块求解方法计算电大平台天线辐射特性》一文中研究指出载体平台对天线辐射特性的影响不容忽视,但由于计算机物理内存的限制,使得某些电大平台天线辐射问题无法计算。针对上述问题,采用了利用硬盘代替内存的核外求解方法;为加快求解速度,提出了一种核外分块高斯消元方法。将数据按块集中读写,从而极大地缩短了对硬盘操作的时间。分别计算了金属圆柱平台天线和车载平台天线的辐射方向图。结果表明,本方法可快速求解电大平台天线辐射问题,求解时间与核内方法只相差5.9%,而且不损失计算精度。(本文来源于《微波学报》期刊2010年06期）
徐晓飞,曹祥玉,高军,杨群[8]（2010）在《基于核外求解方法的电大目标散射特性计算》一文中研究指出电大尺寸目标的散射特性计算一直是研究的热点。但由于计算机物理内存的限制,使得某些多未知量问题无法解决。基于矩量法,分析了物体散射的计算方法,采用硬盘存储器代替内存储器的核外求解方法很好地解决了上述问题。将矩阵按块依次进行消元,缩短了数据读写时间,加快了求解速度。分别计算了金属立方体与金属导弹模型的双站雷达散射截面。结果表明:该方法可以有效求解电大目标散射问题,不损失计算精度。(本文来源于《电波科学学报》期刊2010年04期）
胡长军,张纪林,王珏,李建江[9]（2008）在《非规则、核外并行计算研究综述》一文中研究指出非规则、核外计算既是大规模并行应用普遍存在的问题,也是影响大规模并行应用效率的关键问题.本文从并行处理模型、运行支持库实现和并行优化叁个方面对非规则、核外计算技术进行了全面综述,并对典型研究成果的特点和不足进行了分析.如何充分利用系统结构的特点和应用数据本身的特点,寻求非规则、核外计算处理的优化是现有技术发展的共同思想.在此基础上,指出了处理两类问题的技术相关性以及在SM P集群系统结构和网络存储环境下,解决非规则、核外计算的新思路:一是从问题描述、编译优化、运行支持等多层次协同研究充分利用系统结构特点的优化技术,二是从应用问题出发,在并行粒度确定、并行范例选择等方面统一非规则、核外计算的处理,叁是研究新的支持非规则通信的优化技术和动态负载均衡方法.(本文来源于《小型微型计算机系统》期刊2008年11期）
李淼,张建,张红艳,许桂艳,徐大庆[10]（2007）在《应用编译技术优化核外计算程序》一文中研究指出阐述了一种适用于核外计算程序的变换技术,它通过联合使用循环变换和数据变换这两种编译优化技术来增强程序的局部性,提高数据存取效率。该方法不仅能优化单独一个嵌套循环,还能同时处理多个嵌套循环。实验结果表明了该方法能显着提高核外计算的性能。(本文来源于《计算机应用》期刊2007年05期）
核外计算论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
为解决矩量法在计算电大目标电磁特性时受计算机物理内存限制的问题,设计了一种核外自适应交叉近似算法.使用自适应交叉近似算法有效地压缩了阻抗矩阵,降低了所需存储空间和计算量;并结合核外技术,进一步节省了内存空间,提升了单台计算机的计算能力.通过算例检验了文中方法的准确性和有效性,结果表明:该方法有效地降低了求解电大目标雷达散射截面所需的内存和计算量,并且自适应交叉近似算法及核外计算不损失矩量法的计算精度.
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
核外计算论文参考文献
[1].吕辉明.核外环境下高效图计算方法与编程模型研究[D].华中科技大学.2017
[2].吴君辉,梁昌洪,袁浩波,曹祥玉.自适应交叉近似算法的核外计算方法[J].西安电子科技大学学报.2014
[3].王童.DGA-一种支持核外计算并行程序编程模型的设计与实现[D].国防科学技术大学.2013
[4].周峥,许先斌,Mehmet,Devec.基于集群计算环境的核外计算调度方法研究[J].华中科技大学学报(自然科学版).2013
[5].周峥.基于集群计算环境的核外计算中间件关键技术研究[D].武汉大学.2013
[6].徐晓飞,曹祥玉,高军,吴君辉,郑秋容.基于矩量法的电大目标RCS核外并行计算[J].电子与信息学报.2011
[7].徐晓飞,曹祥玉,高军,王盼盼,郑秋容.核外分块求解方法计算电大平台天线辐射特性[J].微波学报.2010
[8].徐晓飞,曹祥玉,高军,杨群.基于核外求解方法的电大目标散射特性计算[J].电波科学学报.2010
[9].胡长军,张纪林,王珏,李建江.非规则、核外并行计算研究综述[J].小型微型计算机系统.2008
[10].李淼,张建,张红艳,许桂艳,徐大庆.应用编译技术优化核外计算程序[J].计算机应用.2007