分布式存储结构论文-乐鹏,吴昭炎,上官博屹

分布式存储结构论文-乐鹏,吴昭炎,上官博屹

导读:本文包含了分布式存储结构论文开题报告文献综述及选题提纲参考文献,主要关键词:Spark,云GIS,分布式空间数据组织,分布式GIS内核

分布式存储结构论文文献综述

乐鹏,吴昭炎,上官博屹[1](2018)在《基于Spark的分布式空间数据存储结构设计与实现》一文中研究指出Apache Spark分布式计算框架可用于空间大数据的管理与计算,为实现云GIS提供基础平台。针对Apache Spark的数据组织与计算模型,结合Apache HBase分布式数据库,从分布式GIS内核的理念出发,设计并实现了分布式空间数据存储结构与对象接口,并基于某国产GIS平台软件内核进行了实现。针对点、线、面数据的存储与查询,与传统空间数据库系统PostGIS进行了一系列对比实验,验证了提出的分布式空间数据存储架构的可行性与高效性。(本文来源于《武汉大学学报(信息科学版)》期刊2018年12期)

柴志成,霍立文,秦晓波[2](2018)在《分布式系统下大数据存储结构优化策略初探》一文中研究指出本文主要针对大数据存储结构进行针对性的优化分析,从分布式系统之下的大数据存储结构现状着手,提出针对性优化策略,希望可以为相关工作者提供理论性帮助。(本文来源于《电脑迷》期刊2018年08期)

蒋林,崔朋飞,山蕊,武鑫,田汝佳[3](2018)在《视频阵列处理器多层次分布式存储结构设计》一文中研究指出随着视频编解码标准的不断演进,算法处理的数据量也随之剧增。多核结构并行化处理技术在提升算法计算速度的同时,使得存储结构成为了整个编解码系统性能的瓶颈。针对视频编解码算法访存的局部性、各算法之间数据交互频繁性、算法内部大量临时数据不交互性的特点,设计并实现了由私有存储层和共享存储层构成的多层次分布式存储结构。通过Xilinx公司的Virtex-6系列xc6vlx550T开发板对设计进行测试,实验结果表明,该结构在保持简洁性和可扩展性的同时,最高可提供9.73 GB/s的访存带宽,能够满足视频编解码算法数据访存的需求。(本文来源于《计算机工程与应用》期刊2018年12期)

方胜吉[4](2017)在《“分布式”存储结构研究》一文中研究指出"分布式"存储就其本质来讲是一种资源分配策略,就是利用一定规模的计算机形成网络群,然后共同调配群中的资源,包括软硬件、信息等。它融合了传统的计算机和网络技术,如分布式计算、网格计算、并行计算、虚拟化等。只要通过浏览器或其他WEB服务就可以直接访问的一种新的IT服务模式,它通过互联网来提供资源,而这种资源是动态且易扩展的。(本文来源于《科技创新导报》期刊2017年30期)

冯汉超,周凯东[5](2014)在《分布式系统下大数据存储结构优化研究》一文中研究指出在分布式系统中,数据的存储结构直接影响了大数据的存储效率和处理性能。在行式存储结构下,数据从本地读取,加载速度快,但压缩效率低且存在数据冗余;在列式存储结构下,数据压缩效率高,但数据的跨节点访问增加了网络传输消耗。针对行式存储结构和列式存储结构的缺点,提出一种以行列结合的存储方式,对数据存储结构进行改进。实验结果表明,改进的数据存储结构在加载速度上略低于行式存储;在数据压缩上,比行式存储和列式存储的效率都高。行列结合的存储结构不仅避免行式存储的额外磁盘I/O开销,同时也减少了列式存储不必要的网络传输,极大地提高分布式系统对大数据存储效率及处理性能。(本文来源于《河北工程大学学报(自然科学版)》期刊2014年04期)

刘小春[6](2014)在《分布式海量空间数据存储结构研究》一文中研究指出目前在分布式海量存储中越来越多的使用键/值存储模型,为此比较了Google Earth键/值存储模型和对象关系数据库存储模型。对象关系数据库以其使用简单,容易共享等特性,在许多实际应用中还有其独特的优势,由于键/值存储模型在可伸缩性等方面的优势,在分布式海量数据存储中应用越来越广泛。(本文来源于《地矿测绘》期刊2014年01期)

郑权[7](2013)在《EDGE处理器中分布式存储结构研究》一文中研究指出广泛存在的传统集总式结构已经严重限制乱序超标量处理器的性能提升。特别是针对EDGE(Explicit Data Graph Execution)体系结构的微处理器,尽管取指单元、执行单元、寄存器单元都采用了分布式结构,但是,存储指令单元——Load-Store-Queue,仍然是一种集总式的设计结构。这种集总式结构拥有很差的可扩展性特点,限制了相关性检查的处理效率,阻碍了处理器性能的提高。本文主要通过运用M5-EDGE模拟器,针对集总式Load-Store-Queue的特征进行实现并加以研究分析,评估集总式Load-Store-Queue所面临的诸多问题和缺陷。评估得出,集总式Load-Store-Queue处理效率很低,一次检索项数较多,延时和功耗也相应较高,并且,可扩展性差,不能一味地与指令窗口数保持对等的项数增加。同时,研究现代应用程序的存储指令相关性特点,发现加速相关指令的执行效率将大大提高处理器性能。在M5-EDGE模拟器上设计实现分布式Load-Store-Queue结构。使得每个执行单元都包含一个独立的Load-Store-Queue单元。针对甚块动态Deep映射算法,每个甚块独立进行甚块内相关性检查操作,并在流水线递交级进行甚块间的相关性检查.将递交延时和相关性检查延时重迭以减少总延时,并且设计重取指机制以处理甚块间违例的恢复工作。进行分布式Load-Store-Queue性能评估。相对于集总式结构设计,分布式结构面积并无明显增加,同时,增加相关性检查带宽和减少检查延时,平均效率提高64至256倍,而且也相应的降低了相关性检查的功耗。在综合评估之后,分布式Load-Store-Queue的优势是显而易见的,彻底摒弃了集总式Load-Store-Queue结构的缺点。虽然运行测试程序后发现性能有所降低,这主要是由于重取指的机制带来的性能损害,可以通过其他机制进行优化,而且可优化的策略很多,在充分选择优化策略之后,会对EDGE体系结构微处理器性能产生很好的影响。(本文来源于《哈尔滨工业大学》期刊2013-07-01)

廖彬,于炯,孙华,年梅[8](2013)在《基于存储结构重配置的分布式存储系统节能算法》一文中研究指出作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.(本文来源于《计算机研究与发展》期刊2013年01期)

孟庆洋[9](2010)在《分布式存储结构下时延动态负载平衡系统的稳定性分析》一文中研究指出负载平衡是并行计算中的一个重点研究领域,节点间负载的不平衡会严重影响并行计算的效率。负载平衡算法按照调度时可用资源信息和任务运行状态的即时性可划分为静态和动态两种,其中动态负载平衡算法由于其灵活性和处理非规则问题时所具有的优势逐渐成为研究的热点。时延现象在并行计算环境中是普遍存在的,尤其在分布式存储结构情况下,在动态负载平衡的过程中,并行系统为了保持信息的准确性及实现过量负载的迁移不可避免地要进行大量的通信和传输,在这类过程中均会产生不同程度的时延。时延给准确地收集和管理负载信息带来了困难,很容易引起动态负载平衡算法的一些不稳定的振荡现象,从而严重地影响并行计算的效率。因此,如何有效地分析及减少时延所带来的影响成为动态负载平衡中亟待解决的重要问题之一。针对此情况,本文采用了控制论中的线性时延系统理论对分布式存储结构下的时延动态负载平衡(DDLB:Delay Dynamic Load balancing)系统进行建模和稳定性分析,并以此为依据,通过使用适当的反馈增益来减少时延所带来的影响。首先,针对并行环境下的DDLB系统,本文在前人工作的基础上,提出了一个更贴近实际的频域模型,并在其基础上给出了一个与之等价的异构时域模型。两类模型充分地考虑了实际并行环境下任务的不可划分性和负载队列的非负性,描述了现实环境中影响DDLB系统稳定性的外界干扰因素。同时,负载平衡阈值的引入增加了模型的灵活性,使其能够在负载平衡质量与负载平衡速度之间做出一个符合实际要求的折中。最后,根据控制论中的稳定性理论,本文提出了一些符合实际环境的假设和定义,并在其基础上将所提出的时域模型转换为便于时域分析的标准形式,为后续的理论分析工作奠定基础。其次,针对所提出的频域模型,本文提出了DDLB系统稳定性的充分必要条件。采用了频域分析方法对DDLB系统的同构模型进行稳定性分析,通过laplace变换及一系列矩阵变换推导出系统的传递函数矩阵,并根据Routh-Hurwitz判据,通过分析时DDLB系统的闭环极点得出了系统渐近稳定的充分必要条件,从而找到了时延、系统规模及负载平衡增益之间较为直观的近似关系。同时,在所得出DDLB系统稳定性的充分必要条件的基础上,提出了一种基于局部优化的自适应控制策略,与原有局部优化方法相比,本文所提出的方法在对实际控制增益进行优化调节的同时,还保证了DDLB系统的稳定性,在一定程度上弥补了传统局部优化自适应控制方法的不足,使得本文所提出方法更加接近实际应用。再次,为了清晰地揭示各类时延对动态负载平衡稳定性的影响,本文提出了常数时延条件下DDLB系统稳定性的充分条件。在常数时延情况下采用了时域分析方法对DDLB系统的异构模型进行了稳定性分析。通过选取适当的Lyapunov-Krasovskii泛函,使用Newton-Leibniz公式、Moon不等式及矩阵的Schur补性质得出了系统渐进稳定的充分条件,拓展了分析结果的理论适用范围,并通过引入指数稳定的概念提高系统的收敛速度,所得出结论适用于时延变化较小的动态负载平衡系统。同时,针对时延变化较大的异构动态负载平衡系统,本文提出了时变时延条件下DDLB系统稳定性的充分条件。通过选取适当的Lyapunov-Krasovskii泛函,使用积分的基本性质、Jenssen不等式及矩阵的Schur补性质得出了时变时延情况下系统指数稳定的充分条件,该条件适用于时延在一定区间内变化且其变化率有界的动态负载平衡系统。另外,在上述稳定性分析工作的基础上,本文将几类稳定性条件转换为标准的LMI优化问题,并通过使用Matlab中的LMI工具箱对动态负载平衡系统的理论增益值进行求解。最后,针对实际DDLB系统,本文给出了一种基于多线程的离散事件模拟方法,并其基础上对理论分析中的各类情况进行了模拟验证。实验结果表明,DDLB系统的最优负载平衡增益与传输及通信时延成反比,与系统规模及负载平衡时延成正比,通信、传输时延、系统规模及信息确定化程度对动态负载平衡系统的稳定性均有较大的影响,通过选择适当的划分策略及负载平衡增益可以有效地减少这一类影响。本文所提出的理论与方法对寻找到DDLB系统的最优控制规律、设计时延环境下实用的动态负载平衡算法有指导性意义。(本文来源于《东北大学》期刊2010-11-01)

程俊,杨卓宁,费江涛[10](2010)在《分布式海量数据管理系统Hypertable底层存储结构分析》一文中研究指出通过分析Hypertable的源代码,描述了CellStore存储结构,介绍其读写流程,总结了该结构存在的缺陷,并提出了优化思路。优化步骤主要包括:将关键字数据进行合并,建立关键字到数据值的索引结构;并设置一个关键字快表,用于存储访问频率较高的关键字数据。结果表明:该优化结构可减少冗余数据,提高数据的读写效率。(本文来源于《兵工自动化》期刊2010年07期)

分布式存储结构论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文主要针对大数据存储结构进行针对性的优化分析,从分布式系统之下的大数据存储结构现状着手,提出针对性优化策略,希望可以为相关工作者提供理论性帮助。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

分布式存储结构论文参考文献

[1].乐鹏,吴昭炎,上官博屹.基于Spark的分布式空间数据存储结构设计与实现[J].武汉大学学报(信息科学版).2018

[2].柴志成,霍立文,秦晓波.分布式系统下大数据存储结构优化策略初探[J].电脑迷.2018

[3].蒋林,崔朋飞,山蕊,武鑫,田汝佳.视频阵列处理器多层次分布式存储结构设计[J].计算机工程与应用.2018

[4].方胜吉.“分布式”存储结构研究[J].科技创新导报.2017

[5].冯汉超,周凯东.分布式系统下大数据存储结构优化研究[J].河北工程大学学报(自然科学版).2014

[6].刘小春.分布式海量空间数据存储结构研究[J].地矿测绘.2014

[7].郑权.EDGE处理器中分布式存储结构研究[D].哈尔滨工业大学.2013

[8].廖彬,于炯,孙华,年梅.基于存储结构重配置的分布式存储系统节能算法[J].计算机研究与发展.2013

[9].孟庆洋.分布式存储结构下时延动态负载平衡系统的稳定性分析[D].东北大学.2010

[10].程俊,杨卓宁,费江涛.分布式海量数据管理系统Hypertable底层存储结构分析[J].兵工自动化.2010

标签:;  ;  ;  ;  

分布式存储结构论文-乐鹏,吴昭炎,上官博屹
下载Doc文档

猜你喜欢