导读:本文包含了大规模数据处理论文开题报告文献综述及选题提纲参考文献，主要关键词:全波形激电,电磁噪声干扰,抗干扰处理,多参数提取
大规模数据处理论文文献综述
刘卫强,吕庆田,林品荣,陈儒军[1]（2019）在《多周期全波形激电抗干扰数据处理方法及在大规模探测中的应用分析》一文中研究指出激电法是金属矿产勘查中一种十分重要的电法勘探分支方法,但是各种电磁干扰的存在限制了激电法在大规模探测中的应用.近年来,国内外先后实现了叁维分布式全波形激电探测仪器系统的研发和推广,全波形数据记录为激电信号的抗干扰处理提供了新的空间.本文针对多周期全波形采样的激电数据提出了一套基于统计分析的时间序列抗干扰数据处理方法,主要包括:经验模态分解用于分离低频趋势项干扰;相关分析用于消除突发性强噪声干扰;稳健统计用于多周期时间序列迭加;分段稳健平均和低频相对相位谱用于时/频域激电参数提取.将上述数据处理方法应用于由国产分布式电法系统实测的叁维全波形激电数据,并与线性拟合、均值迭加等常处理方法进行对比,发现新方法可以有效识别和压制激电数据中的强噪声干扰,提高大供电极距和低频点探测时的激电数据质量,从而进一步推动激电法在深部矿产资源勘查中的应用.(本文来源于《地球物理学报》期刊2019年10期）
李丽娜[2]（2019）在《面向大规模流数据处理的弹性资源调度研究》一文中研究指出大规模流处理系统作为大规模流数据处理的重要工具,推动了大数据流式计算技术的发展和应用,为应对大数据时代的挑战提供了重要帮助。基于云的弹性资源调度作为大规模流处理系统的重要组成部分,影响着系统的性能和制约着系统的应用。因此,研究弹性资源调度对于从本质上理解流处理系统,提高系统的资源利用率、降低系统的能量消耗具有至关重要的意义。本文主要研究面向大规模流处理的弹性资源调度,即根据应用输入负载的变化,动态地进行资源的扩展调整或收缩调整。资源调度的关键是确定资源调整的时机和数量,从而实时地提供与负载变化相匹配的资源。资源调度涉及资源分配和资源放置两个方面。其中,资源分配是指确定虚拟机资源调整的时机和增加或减少的数量,资源放置则是实现分配或释放的虚拟机资源到物理机的映射。具体地,我们将协作式负载预测模型、反馈式协作机制等与弹性资源调度相结合,针对不同的应用性能目标,单独地考虑资源分配或从系统化的角度统一地考虑资源分配和资源放置,进行以下叁个方面的研究:·面向大规模流数据突发性的弹性资源调度。基于应用上、下游操作的输入负载之间的关联性,构建数据负载预测模型,设计操作间的协作机制,设计有效的弹性资源分配方法,以最低的系统开销满足应用的数据质量性能需求。构建的负载预测模型可以用于其他的主动调度策略,并为类似应用和相关工作的数据预测提供参考,同时,调度策略为不同领域面临突发状况时采取有效的调控措施提供指导。·大规模流处理中协作式的主动弹性资源调度。面向计算密集型和通信密集型应用,考虑带宽因素,构建延迟模型和通信代价模型,同时,改进负载预测模型,并从系统化的角度将资源分配和资源放置统一考虑,设计满足延迟性能且具有最低能耗目标的弹性资源调度策略。该研究可以通过参数调整适用于具有不同的性能和代价需求的若干问题,并为不同领域解决类似问题提供解决思路和调控策略上的参考和指导。·大规模流处理中低重配置代价的主动弹性资源调度。面向非严格数据同步的资源配置,以资源预留为核心思想,从最优化和智能化的角度设计调度策略,考虑概率性满足应用的延迟性能,同时,保证资源的有效性和系统的稳定性,并减少系统的重配置开销。该研究为类似问题的解决提供了新的研究视角和思路,同时,将与负载预测相结合的智能化方法引入弹性资源调度中。围绕上述叁个方面,本文的具体工作和主要贡献包括:1.大规模流数据处理中负载突发感知的弹性资源分配。基于流水线式数据处理方式和时间窗口机制,设计了数据负载关联模型和双向的反馈控制机制,并提出了负载感知的最优弹性资源分配方法,预先地分配与突发负载相匹配的资源,保证了应用的数据质量,同时,具有高的资源利用率和低的重配置代价。在不同的负载类型下,通过与反应式和其他主动式策略进行性能对比,评估主动弹性资源分配策略的敏感性,确认了其应对突发负载的可能性。2.大规模流数据处理中协作式的主动弹性资源调度。从联合优化的角度出发,以最小化能量消耗为目标,基于延迟模型、能耗模型等系统模型,提出了满足应用延迟需求的协作式主动弹性资源调度策略。该策略包括流水线处理模式下最优的资源预先分配方法和通信感知的启发式资源放置方法,两种方法交替地协作执行,组成近似最优的资源调度方案。通过对比测试,分别独立和综合地评估调度方案的效果,验证了算法和策略的良好性能。3.大规模流数据处理中低重配置代价的主动弹性资源分配。以最小化重配置代价和最大化资源利用率为目标,概率性满足应用的延迟需求为约束,结合负载预测模型,提出了两种主动弹性资源分配策略:结合本地阈值法和资源预留思想,设计了启发式的资源分配策略;借鉴非流式弹性系统中的策略思想,基于强化学习技术,结合启发式算法中的调整规则,设计了自适应的半模型化资源分配策略。通过比较不同策略下的性能和代价,验证了启发式和智能化方法的优势。(本文来源于《吉林大学》期刊2019-06-01）
吴春毅[3]（2019）在《云计算下针对大数据的大规模任务处理关键问题研究》一文中研究指出随着当前数据规模与种类的日益增长,大数据分析处理问题已经成为研究热点。在当今信息化与数字化社会中,互联网、物联网与云计算技术的迅猛发展使得数据充斥于各领域并成为一种全新的自然资源。人们需要对这些数据进行合理高效地利用来发掘其中具有一定价值的信息,从而提高生活工作效益。如今各领域数据量急剧增加同时数据结构趋于复杂化,使得大数据分析处理问题面临诸多挑战。大数据对数据处理的大规模性、实时性以及有效性提出了更高要求,这就需要根据大数据所具备诸多特性对传统数据分析处理的方法与模式进行变革,从而实现高效的大数据收集、存储、管理、分析以及处理等重要环节。近年来云计算技术的兴起与卓越发展为大数据分析处理提供了重要支持与保障。云计算弹性可扩展等特性有利于多用户共享、大数据存储以及大数据处理。大数据处理一般处理过程中的数据采集、数据预处理、数据分析与挖掘在当前云计算基础之上能够顺利实现。来自用户的源源不断且种类繁多的数据处理任务使得云计算下针对大数据的大规模任务处理问题逐渐成为大数据分析处理中的重要问题之一。云计算下针对大数据的大规模任务处理问题研究包含基础层面任务划分、部署与调度,以及应用层面与任务相关的数据分析处理等关键环节。为实现大规模任务请求的高效处理,基础层面的任务划分、任务部署以及任务调度等环节在整个任务处理过程中起到了整个大数据分析处理任务请求的前提保障作用。本文重点关注并研究了云计算下针对大数据的大规模任务处理关键问题。首先研究了多域环境下针对大数据的大规模处理方法;然后研究了针对系统长期收益的大规模任务处理方法;最后研究了针对大规模任务处理中模型在实际应用过程中对任务请求无法识别处理以及模型易过拟合的问题。本文主要贡献如下:(1)进行了针对大数据的大规模任务处理方法的归纳与总结,阐述了当前研究工作的背景意义与重点。本文介绍并分析了大规模任务处理中所面临的若干相关重要问题,并对任务处理过程中重点问题的解决方法进行了详细介绍与分析,其中包括应用大规模图像处理方法及大规模无线数据处理等相关方面方法研究任务处理的工作。(2)针对多域环境下大规模任务处理进行了研究。许多传统的基于云计算的单域任务处理方法法在一定程度上受到底层资源的类型、价格和存储位置等因素的限制,针对此问题,本文提出了一种基于多目标优化的多域环境下大规模任务处理方法,简称LTBM。该方法通过实现多域内负载均衡,有效地提高了资源利用率,促进了各工作节点进行协调,提高了系统整体性能。同时,通过优化通信资源,有效地降低了域间数据传输所消耗的带宽资源和数据延迟。为了实现系统整体负载均衡和通信带宽资源成本最小化的多目标优化,本文提出了一种基于多目标粒子群的多域虚拟网络映射算法。基于帕累托支配理论,提出一种快速有效的非支配选择方法,用于快速获取最优虚拟网络映射方案集。我们设计并利用拥挤度比较法来获得最终的唯一解。柯西变异操作被用来避免局部最优。实验结果表明,LTBM能够有效地减少计算资源和带宽资源的额外消耗,同时大大减少任务处理时间。(3)研究了针对系统长期收益的大规模任务处理方法。许多研究工作通常利用处理一般规模任务所用的常规方法及体系结构去实现大规模任务处理,这会受到计算能力、数据传输等因素的限制。针对此问题,本文提出了一种基于胖树结构并结合深度神经网络模型和强化学习的大规模任务处理方法,简称LTDR。它从长远利益出发,通过虚拟网络映射实现大规模任务部署。针对当前物理节点和任务请求,通过特征提取来描述节点和任务的状态及其内部关联,从而构造模型输入,同时降低原始数据维度。我们设计并训练一个基于历史数据和卷积神经网络的深度网络模型用于最优节点映射决策。同时,基于与环境的不断交互和试探,我们所利用的Q-learning通过评估来自环境的反馈,实现对虚拟链路映射决策的优化。我们采用多Agent强化学习方法实现这一过程。整个网络可被看作一个多Agent系统。因此,每个节点可被看作一个具有自主学习能力去探索其下一跳节点的Agent。马尔可夫决策过程可用来描述整个数学模型。我们引入分布值函数来探索最优虚拟链路映射决策,最终实现最优虚拟网络映射。针对大数据的大规模任务被部署到最优物理节点进行处理,避免了节点和链路过载,提高了系统整体资源利用率。实验结果表明,LTDR方法在满足大规模任务请求的同时,能够显着提高系统物理资源利用率以及云数据中心的长期收益。(4)针对大规模任务处理中模型在实际应用过程中对任务请求无法识别处理以及模型易过拟合的问题进行了研究。由于一些基于深度神经网络的大规模任务处理方法往往是基于历史数据的,这就使得在实际应用过程中存在着许多依靠以往知识和经验无法识别处理的任务。同时在利用深度学习进行复杂结构学习过程中又极易导致模型过拟合的产生。针对此问题,本文提出了一种改进的基于自适应深度学习与强化学习的大规模任务处理方法,简称为Tard。首先,我们设计一种基于自适应Dropout深度计算模型的虚拟网络映射方法以实现大规模任务部署。它采用模型融合的方式有效提升模型效果,通过对多个子模型的输出进行平均,避免了模型训练出现偏差,达到防止模型过拟合的目的,使得模型能够做出正确的虚拟节点映射决策。接着,针对训练集中某些数据(任务请求)没有相应标签的问题,基于强化学习思想,我们利用策略梯度方法以及反向传播算法来进行模型训练。在训练阶段,一种探索性方法被设计用来探寻最优解,同时一种贪婪机制被引入来对强化学习Agent的效用进行评价,使得虚拟节点映射方案能够不断向着系统收益更高的方向自我进化,最终实现了最佳虚拟网络映射决策,从而在大数据环境下将大规模任务部署到适当的底层网络中的任务处理节点中实现任务的高效执行。实验结果表明,Tard方法能够在满足大规模任务请求的前提下有效避免模型过拟合并提高实际应用过程中的任务识别处理能力。(本文来源于《吉林大学》期刊2019-06-01）
王鑫,徐强,柴乐乐,杨雅君,柴云鹏[4]（2019）在《大规模RDF图数据上高效率分布式查询处理》一文中研究指出知识图谱是智能数据的主要表现形式,随着知识图谱领域的不断发展,大量的智能图数据以资源描述框架(resourcedescriptionframework,简称RDF)形式发布出来.RDF图上的SPARQL查询语义对应于图同态,是一个NP-完全问题.因此,如何使用分布式方法在大规模RDF图上有效回答SPARQL查询是一个富有挑战性的问题.目前已有研究使用MapReduce计算模型处理大规模RDF数据,但其将SPARQL查询拆分成单个的查询子句,没有考虑RDF数据的丰富语义和自身的图特性,导致Map Reduce迭代次数过多.首先,利用RDF数据内嵌的语义和结构信息作为启发式信息,将查询图分解为星形的集合,可以在更少次迭代内得到查询结果.同时,分解算法给出中间结果较少的星形匹配顺序,基于此顺序,每轮Map Reduce操作通过连接操作匹配一个新的星形,直至产生最终的答案.最后,在标准合成数据集WatDiv和真实数据集DBpedia上进行大量的实验评估.实验结果表明:所提基于星形分解的分布式SPARQLBGP匹配算法能够高效回答查询,查询时间比SHARD和S2X算法的查询时间平均提高一个数量级,且优化算法的查询时间与基本算法相比缩短了49.63%～78.71%.(本文来源于《软件学报》期刊2019年03期）
黄春秋[5]（2019）在《大规模数据并行处理应用中的弹性任务调度问题研究》一文中研究指出Hadoop分布式计算框架有效解决了大规模数据并行处理中数据的存储与计算问题,集群资源分配及调度方式对于提高系统的整体性能具有重大的现实意义。目前,相关学者在提高数据本地化,作业完成时间,系统吞吐量等方面提出了各种启发式算法来改善系统的整体性能。然而大部分启发式算法在调度过程中采用贪心策略去调度任务,对于任务缺乏整体性规划,而且由于数据分布式存放在集群中,Shuffle阶段仍会产生网络拥塞造成作业完成时间的延迟。随着数据量的急剧增长,合理的分配及利用资源、释放顶层带宽并加快作业的完成速度是目前面临的新挑战。另外,现实生活中部分用户对于作业有截止时间的要求,现有算法没有考虑到作业不同完成时间产生的不同收益问题,即作业对于截止时间的敏感程度不同。本文针对以上两方面问题,分别设计了调度算法去解决。研究的重点:1.资源分配策略;2.作业调度方法。以上两方面的好坏直接影响平台的整体性能和系统资源的利用率。在现实生活中存在许多重复性的工作具有可预测的属性特征,通过建立相应的模型可以对作业的执行时间进行预测。另外,在研究过程中发现作业调度与矩形条装箱问题有许多相似之处,不同点是任务矩形条的形状会随着分配资源的不同而改变,我们称之为弹性作业。本文首次将集群资源调度问题转化为可变的任务矩形条装箱问题,设计了弹性作业装箱算法(Flexible Job Bin Packing algorithm,简称FJBP)。同时本文结合遗传算法,进一步优化解集。针对作业的截止时间不同敏感性问题,本文首先将作业根据敏感程度进行了分类,设计了既考虑作业紧急程度又考虑作业预执行收益的一种作业弹性与截止时间感知的调度算法(elasticity and Deadline Aware job scheduling algorithm,简称DA)。在Matlab仿真的环境下验证了本文算法的优势。FJBP算法缩短了作业的整体完成时间,提高了系统资源利用率,释放了顶层带宽且一定程度上减少了网络拥塞。DA算法在作业执行前会去衡量作业执行的综合收益,优先选择收益大的去执行。实验表明整体收益平均提高了2.37倍。(本文来源于《天津工业大学》期刊2019-01-11）
李林阳,张学东,黄娴,李崇辉,吕志平[6]（2018）在《大规模GNSS网发展及数据处理现状》一文中研究指出大规模GNSS网是实现高精度位置服务的重要基础设施。本文从空间段、地面段和数据规模3个方面梳理了大规模GNSS网的发展现状;空间段可用的卫星和频率资源显着增加,地面段GNSS网的规模越来越大,GNSS的数据规模呈指数级趋势倍增。详细总结了海量GNSS数据的存储与管理方法,集中式存储方法已不能满足大规模GNSS网数据存储应用的需要,云存储是一种有效的解决方案。系统归纳了GNSS大网的解算策略,当前主要通过改进模型算法和采用并行计算技术两个途径解决GNSS大网数据解算面临的瓶颈。(本文来源于《测绘通报》期刊2018年10期）
王一舒,袁野,刘萌,王国仁[7]（2018）在《大规模时序图数据的查询处理与挖掘技术综述》一文中研究指出时序图作为一种带有时间维度的图结构,在图数据的查询处理与挖掘工作中扮演着越来越重要的角色.与传统的静态图不同,时序图的结构会随时间序列发生改变,即时序图的边由时间激活.而且由于时序图上每条边都有记录时间的标签,所以时序图包含的信息量相较于静态图也更为庞大,这使得现有的数据查询处理方法不能很好地应用于时序图中.因此如何解决时序图上的数据查询处理与挖掘问题得到研究者们的关注.对现有的时序图上的查询处理与挖掘方法进行了综述,详细介绍了时序图的应用背景和基本定义,梳理了现有的时序图模型,并从图查询处理方法、图挖掘方法和时序图管理系统3个方面对时序图上现有的工作进行了详细的介绍和分析.最后对时序图上可能的研究方向进行了展望,为相关研究提供参考.(本文来源于《计算机研究与发展》期刊2018年09期）
李海峰,刘建波,王晓玲,李鹏飞[8]（2018）在《数值模拟大规模数据轻晕可视化分析处理技术研究》一文中研究指出随着超级计算机、并行计算、应用软件的发展和实际工程设计深入应用,模型所面临的结构越来越复杂,建模越来越精细,在数值模拟中产生了大规模的、复杂的数值模拟计算数据,数值计算结果呈几何级数增长,对这些数据进行可视化分析将大大加快研究的进程。利用TeraVAP可视化软件,对千万量级炸药爆炸冲击波传播过程数值计算结果进行了轻量可视化处理,获得了直观的结果,方便观察和分析数据信息。同时通过技术开发,对获得的数据与虚拟场景进行了融合展示,清楚表现了炸药爆炸对周围环境及建筑的影响。(本文来源于《第十四届中国CAE工程分析技术年会论文集》期刊2018-08-09）
范雷,韩奕[9]（2018）在《基于MPI的大规模并发数据处理架构设计》一文中研究指出人类社会已进入信息大爆炸时代,数据规模不断快速增长。随着数据量的飙升,数据处理系统对数据进行快速处理的难度日渐加大,小规模计算集群的处理能力已经无法支撑大数据处理的业务需要。本文分析和研究了并行计算实现结构和MPI并发编程框架,提出了对等式和主从式两种分布式集群大规模并发处理架构设计方案,并对两种设计架构进行了分析比较。两种架构设计方案可根据业务需要应用于大数据清洗、检索和统计分析等并发数据处理操作。(本文来源于《中国新通信》期刊2018年15期）
傅焜[10]（2018）在《基于云计算的大规模无人机遥感数据处理的优化研究》一文中研究指出无人机遥感技术已大量应用于资源调查、环境监测等领域,在具体应用中涉及到大量遥感图像的分析和处理。目前,对这些数据的存储、使用均存在一定困难,将云计算技术和GIS技术应用于遥感图像处理,为遥感图像的存储与管理提供了新的思路。本文结合Hadoop云计算架构和GIS技术,以无人机遥感图像作为数据源,设计了从瓦片数据的生成到瓦片数据存入HBase再到数据查询的过程。首先,本文详细分析了云计算在GIS方面的应用,包括二者的特点分析、两种技术结合后的优势以及技术难点。其次,本文介绍了相关理论与技术,包括Hadoop架构原理、瓦片数据定义、云计算技术和瓦片技术结合的优势以及瓦片金字塔的概念和原理,为具体研究和实现做了技术准备。然后,本文基于Hadoop云计算架构,设计了瓦片数据的产生、存储以及查询的过程。该过程分为数据处理阶段、存储阶段和查询阶段。数据处理阶段使用MapReduce并行计算模型以并行的方式生成瓦片,该阶段本文根据集群计算能力和需要生成的瓦片数据总量提出了改进的任务分配方式,充分利用集群资源提高了瓦片生成效率;存储阶段在HBase中以Hilbert编码作为索引方式构建了瓦片金字塔存储模型,利用Hilbert曲线的特性提高了存储与索引的效率;查询阶段,本文针对Hilbert空间填充曲线在查询区域的分段特性,提出了基于多线程的改进查询算法,相较于传统的查询方式,提高了查询效率。最后,本文搭建了 Hadoop集群,在集群上进行了一系列的实验,实验表明本文提出的基于改进的任务分配策略的并行瓦片生成方法、基于Hilbert曲线和瓦片金字塔模型的瓦片存储方法以及改进的查询方法相较于其他方法具有更高的效率。(本文来源于《山东大学》期刊2018-05-19）
大规模数据处理论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
大规模流处理系统作为大规模流数据处理的重要工具,推动了大数据流式计算技术的发展和应用,为应对大数据时代的挑战提供了重要帮助。基于云的弹性资源调度作为大规模流处理系统的重要组成部分,影响着系统的性能和制约着系统的应用。因此,研究弹性资源调度对于从本质上理解流处理系统,提高系统的资源利用率、降低系统的能量消耗具有至关重要的意义。本文主要研究面向大规模流处理的弹性资源调度,即根据应用输入负载的变化,动态地进行资源的扩展调整或收缩调整。资源调度的关键是确定资源调整的时机和数量,从而实时地提供与负载变化相匹配的资源。资源调度涉及资源分配和资源放置两个方面。其中,资源分配是指确定虚拟机资源调整的时机和增加或减少的数量,资源放置则是实现分配或释放的虚拟机资源到物理机的映射。具体地,我们将协作式负载预测模型、反馈式协作机制等与弹性资源调度相结合,针对不同的应用性能目标,单独地考虑资源分配或从系统化的角度统一地考虑资源分配和资源放置,进行以下叁个方面的研究:·面向大规模流数据突发性的弹性资源调度。基于应用上、下游操作的输入负载之间的关联性,构建数据负载预测模型,设计操作间的协作机制,设计有效的弹性资源分配方法,以最低的系统开销满足应用的数据质量性能需求。构建的负载预测模型可以用于其他的主动调度策略,并为类似应用和相关工作的数据预测提供参考,同时,调度策略为不同领域面临突发状况时采取有效的调控措施提供指导。·大规模流处理中协作式的主动弹性资源调度。面向计算密集型和通信密集型应用,考虑带宽因素,构建延迟模型和通信代价模型,同时,改进负载预测模型,并从系统化的角度将资源分配和资源放置统一考虑,设计满足延迟性能且具有最低能耗目标的弹性资源调度策略。该研究可以通过参数调整适用于具有不同的性能和代价需求的若干问题,并为不同领域解决类似问题提供解决思路和调控策略上的参考和指导。·大规模流处理中低重配置代价的主动弹性资源调度。面向非严格数据同步的资源配置,以资源预留为核心思想,从最优化和智能化的角度设计调度策略,考虑概率性满足应用的延迟性能,同时,保证资源的有效性和系统的稳定性,并减少系统的重配置开销。该研究为类似问题的解决提供了新的研究视角和思路,同时,将与负载预测相结合的智能化方法引入弹性资源调度中。围绕上述叁个方面,本文的具体工作和主要贡献包括:1.大规模流数据处理中负载突发感知的弹性资源分配。基于流水线式数据处理方式和时间窗口机制,设计了数据负载关联模型和双向的反馈控制机制,并提出了负载感知的最优弹性资源分配方法,预先地分配与突发负载相匹配的资源,保证了应用的数据质量,同时,具有高的资源利用率和低的重配置代价。在不同的负载类型下,通过与反应式和其他主动式策略进行性能对比,评估主动弹性资源分配策略的敏感性,确认了其应对突发负载的可能性。2.大规模流数据处理中协作式的主动弹性资源调度。从联合优化的角度出发,以最小化能量消耗为目标,基于延迟模型、能耗模型等系统模型,提出了满足应用延迟需求的协作式主动弹性资源调度策略。该策略包括流水线处理模式下最优的资源预先分配方法和通信感知的启发式资源放置方法,两种方法交替地协作执行,组成近似最优的资源调度方案。通过对比测试,分别独立和综合地评估调度方案的效果,验证了算法和策略的良好性能。3.大规模流数据处理中低重配置代价的主动弹性资源分配。以最小化重配置代价和最大化资源利用率为目标,概率性满足应用的延迟需求为约束,结合负载预测模型,提出了两种主动弹性资源分配策略:结合本地阈值法和资源预留思想,设计了启发式的资源分配策略;借鉴非流式弹性系统中的策略思想,基于强化学习技术,结合启发式算法中的调整规则,设计了自适应的半模型化资源分配策略。通过比较不同策略下的性能和代价,验证了启发式和智能化方法的优势。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
大规模数据处理论文参考文献
[1].刘卫强,吕庆田,林品荣,陈儒军.多周期全波形激电抗干扰数据处理方法及在大规模探测中的应用分析[J].地球物理学报.2019
[2].李丽娜.面向大规模流数据处理的弹性资源调度研究[D].吉林大学.2019
[3].吴春毅.云计算下针对大数据的大规模任务处理关键问题研究[D].吉林大学.2019
[4].王鑫,徐强,柴乐乐,杨雅君,柴云鹏.大规模RDF图数据上高效率分布式查询处理[J].软件学报.2019
[5].黄春秋.大规模数据并行处理应用中的弹性任务调度问题研究[D].天津工业大学.2019
[6].李林阳,张学东,黄娴,李崇辉,吕志平.大规模GNSS网发展及数据处理现状[J].测绘通报.2018
[7].王一舒,袁野,刘萌,王国仁.大规模时序图数据的查询处理与挖掘技术综述[J].计算机研究与发展.2018
[8].李海峰,刘建波,王晓玲,李鹏飞.数值模拟大规模数据轻晕可视化分析处理技术研究[C].第十四届中国CAE工程分析技术年会论文集.2018
[9].范雷,韩奕.基于MPI的大规模并发数据处理架构设计[J].中国新通信.2018
[10].傅焜.基于云计算的大规模无人机遥感数据处理的优化研究[D].山东大学.2018