导读:本文包含了海量信息存储论文开题报告文献综述及选题提纲参考文献,主要关键词:海量传感数据,HBase,集群扩展,任务调度
海量信息存储论文文献综述
郭会云[1](2017)在《基于云计算的海量传感器信息存储的扩展研究和实现》一文中研究指出随着"智慧城市"和"互联网+"的快速发展,"智能交通"和"智能电网"的发展已趋于成熟。最近频发的电梯安全事故,又推动了"智能电梯"的发展。智能电梯系统部署的庞大规模的传感器将采集到更大级别的传感数据,如何高效存储采集的海量传感数据仍为物联网、云计算和大数据领域的难题之一。上述数据多以时序数据为主,通常具有数据量大、持续到达、多来源等特点,是一种典型的流数据。现有的基于HBase的交通流数据实时存储系统,采用了分布式存储架构,将交通流数据并行存储到HBase集群服务器中。但由于上述系统的数据代理服务器是单一服务器节点,当数据写入并发量大时,仍然存在存储效率低下和系统不可用的问题。针对以上问题,本文研究了一种基于云计算的海量传感信息存储系统的扩展方法。主要研究工作如下:(1)针对系统不可用问题,对单点数据代理进行集群扩展。主要通过将单点扩展为集群架构,实现系统的高可用性。(2)针对系统存储性能低下问题,增设了任务调度层,主要包括心跳检测器和任务管理器。前者负责检测集群中各个数据代理服务器的健康状态;后者根据任务的资源需求与在线的数据代理服务器的当前资源,进行有效映射。(3)为实现集群的负载均衡,设计并实现了一种基于负载均衡的任务调度算法。该算法以服务器集群当前的平均处理能力为阈值,将待处理任务组合并按资源需求从大到小排列,同时对在线的数据代理服务器按照当前的处理能力也进行从大到小排列,最后根据阈值,将任务与数据代理服务器按序匹配,实现了集群中各个数据代理服务器之间的负载均衡,提高了系统稳定性和存储性能。最后,通过一系列的实验结果及对比分析表明,本文设计并实现的扩展系统架构及调度算法,具有较好的存储性能、高可用性和良好的均衡性,既提高了系统的存储性能,也保证了系统的可用性。(本文来源于《北方工业大学》期刊2017-06-03)
类兴邦,房俊[2](2016)在《基于融合数据库的海量传感器信息存储架构》一文中研究指出在物联网、工业监控等系统中,庞大规模的传感器每时每刻都在产生大量的数据。实时数据库在处理高时效性数据方面具有较强的优势,但是在处理大规模传感器数据方面存在着存储量低、不便于扩展的弊端。而HBase在处理海量数据方面具有高读写性能、高扩展性、高可靠性和高存储量的优势。通过将实时数据库与HBase相结合,设计并实现了基于融合数据库的传感器信息存储架构。该架构采用多租户机制,对HBase写入进行了优化,将原来分散的传感器数据集中式存储,并把传感器元数据与历史数据分离存储,同时维持了实时数据库原有的查询、数据组织结构的特点。经过实验验证,该架构具有较高的读写性能以及良好的可扩展性,有效避免了Region写入热点,实现了集群负载均衡。(本文来源于《计算机科学》期刊2016年06期)
李可风,李晚照[3](2015)在《数字图书馆的海量信息存储策略》一文中研究指出针对数字图书馆在海量信息存储方面存在数据来源各异、数据存储方式多样化、数据非结构化问题,文章设计了在数据中心架构下的数字图书馆海量信息存储模型,讨论利用叁层存储模型解决数字图书资源存储问题。(本文来源于《图书馆论坛》期刊2015年12期)
周亮[4](2015)在《军事训练场海量信息存储系统》一文中研究指出为了更加真实的刻画训练场景,军事训练评估系统产生了大量的结构化和非结构化的数据。高效的军事训练场场信息数据存储系统已经成为当前军队信息化建设面临的迫切需求。针对现有军事训练信息数据存储方式单一、使用效率低的问题,提出了一种Hadoop和MySQL相结合的高效混合存储架构以及针对不同数据采集方式的分类存储方法,对不同来源的军事训练场数据信息进行分类存储,提高了军事训练场内各类信息的存储效率。在所提出的混合存储架构中,综合考虑两种不同类型的数据存储方法优势,实现了对结构化数据与非结构化数据的混合存储和使用,提高军事训练场信息数据的使用效率。基于以上技术,设计和实现了基于Hadoop和MySQL相结合的高效混合存储系统,达到了对军事训练场数据信息数字化分类存储,高效使用的目的。(本文来源于《西安电子科技大学》期刊2015-05-01)
王鹏,杨华民,田爱雪[5](2014)在《高校数字图书馆海量信息存储系统架构研究》一文中研究指出高校数字图书馆改变了传统图书馆的存在和服务方式,结合校园网络平台,实现用户对图书馆文献检索和数据共享网络化和图书馆办公自动化。本文结合主流的海量信息存储技术DAS(直接附加存储)、NAS(网络附加存储)、SAN(存储区域网络)和云存储,设计数据资源分级分布存储的高校数字图书馆网络信息存储系统架构。满足了数字图书馆存储系统的高容量、易扩容和数据资源安全可靠性等方面需求。(本文来源于《长春理工大学学报(自然科学版)》期刊2014年03期)
阳小珊,罗洪元[6](2013)在《海量信息存储测评技术研究与服务平台建设》一文中研究指出信息技术飞速发展,作为国家战略型新兴产业的云计算、物联网、叁网融合等新一代信息技术已得到广泛应用,海量信息和用户出现爆炸式增长。信息量和用户量的剧增导致信息存储技术面临多种难题,如性能低、扩展性差、可靠性不高、数据可用性差、功耗巨大、兼容性差、海量信息管理困难、产品和系统评估困难等。为此,在国家863计划重大专项课题的支持下,建立了海量信息存储测评公共服务平台,制定了全面的测评指标体系和测评方案,满足从多个维度对海量信息存储系统进行综合测评,为用户解决海量信息存储问题提供了解决方案。(本文来源于《计算机工程与应用》期刊2013年17期)
黄楠[7](2013)在《海量信息存储中数据库性能优化方法》一文中研究指出研究海量信息存储过程中的数据库性能优化问题。假设数据库中存在海量信息,则数据库信息查询需要耗费大量的时间,无法满足当今社会的信息需求。因此,需要对数据库性能进行优化处理,提高数据库查询的效率。为此,提出了一种基于云计算的数据库性能优化方法。建立云计算数据关系模型,描述数据库中相关数据之间的联系,从而为数据查询提供依据。计算数据节点的负载状态,从而实现数据库中信息的快速查询。实验结果表明,这种算法能够有效提高数据库查询效率,取得了令人满意的效果。(本文来源于《科技通报》期刊2013年03期)
邝应群[8](2013)在《探讨基于信息技术的海量信息存储方案》一文中研究指出数字图书馆是基于计算机和网络设备而建立起来的联网存储,具有信息量大、方便快捷等特点,图书馆利用这种信息存储实现对读者的个性化服务,并以此实现了不同设备、不同部门之间的信息共享。(本文来源于《电子制作》期刊2013年06期)
谢华成,范黎林[9](2012)在《云环境下海量非结构化信息存储技术探究》一文中研究指出云环境下,互联网用户既是信息浏览者又是信息生产者,在不断膨胀的互联网数据中,非结构化数据增幅尤为显着。如何突破传统技术,实现海量信息高效存储和管理成为亟待解决的问题。脱离关系型数据库存储思想,选用分布式非关系型数据库MongoDB作为存储底层。组建存储资源网,将非结构化数据存储于MongoDB结点中,而无需考虑数据结构及类型限制。实践表明,存储系统的灵活度及可扩展性良好,为云存储研究提供了一种思路。(本文来源于《制造业自动化》期刊2012年16期)
孙红莺[10](2012)在《基于排队论的海量信息存储配置优化》一文中研究指出本文为了探讨海量信息存储的配置问题,首先对几种主要的网络存储构架进行比较,利用排队理论对iSCSI-SAN存储中的排队过程进行分析和数学建模,用带宽比例求解方法,即系统负载所需的带宽与阵列所能提供的带宽的比例,来确定该存储配置是否能满足用户的需求,据此可以组成优化配置。(本文来源于《电子世界》期刊2012年07期)
海量信息存储论文开题报告
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
在物联网、工业监控等系统中,庞大规模的传感器每时每刻都在产生大量的数据。实时数据库在处理高时效性数据方面具有较强的优势,但是在处理大规模传感器数据方面存在着存储量低、不便于扩展的弊端。而HBase在处理海量数据方面具有高读写性能、高扩展性、高可靠性和高存储量的优势。通过将实时数据库与HBase相结合,设计并实现了基于融合数据库的传感器信息存储架构。该架构采用多租户机制,对HBase写入进行了优化,将原来分散的传感器数据集中式存储,并把传感器元数据与历史数据分离存储,同时维持了实时数据库原有的查询、数据组织结构的特点。经过实验验证,该架构具有较高的读写性能以及良好的可扩展性,有效避免了Region写入热点,实现了集群负载均衡。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
海量信息存储论文参考文献
[1].郭会云.基于云计算的海量传感器信息存储的扩展研究和实现[D].北方工业大学.2017
[2].类兴邦,房俊.基于融合数据库的海量传感器信息存储架构[J].计算机科学.2016
[3].李可风,李晚照.数字图书馆的海量信息存储策略[J].图书馆论坛.2015
[4].周亮.军事训练场海量信息存储系统[D].西安电子科技大学.2015
[5].王鹏,杨华民,田爱雪.高校数字图书馆海量信息存储系统架构研究[J].长春理工大学学报(自然科学版).2014
[6].阳小珊,罗洪元.海量信息存储测评技术研究与服务平台建设[J].计算机工程与应用.2013
[7].黄楠.海量信息存储中数据库性能优化方法[J].科技通报.2013
[8].邝应群.探讨基于信息技术的海量信息存储方案[J].电子制作.2013
[9].谢华成,范黎林.云环境下海量非结构化信息存储技术探究[J].制造业自动化.2012
[10].孙红莺.基于排队论的海量信息存储配置优化[J].电子世界.2012