导读:本文包含了海量数据加载论文开题报告文献综述及选题提纲参考文献，主要关键词:PGIS,MongoDB,抽稀算法
海量数据加载论文文献综述
于晓昀[1]（2018）在《PGIS海量空间数据加载方法研究》一文中研究指出随着空间数据的不断膨胀,在PGIS中进行空间分析与图形展示会出现数据读取慢和客户端图形加载时延长的问题。为解决以上两个问题,该文从数据读取的角度提出了使用分布式文件存储数据库Mongo DB快速读取数据的方案;从服务器端分析和客户端加载的角度研究了地图-像素映射快速抽稀算法。实验结果表明,在亿级数据量下,数据读取速度较传统关系型数据库可提升10-20倍,抽稀算法在保持数据特征的同时能够加快客户端图形的加载速度,可显着优化PGIS的图形加载性能。(本文来源于《电脑知识与技术》期刊2018年23期）
姜丽娟,孟令霞[2]（2016）在《集群环境下海量地震数据加载方式的创新模式》一文中研究指出21世纪可以称为"大数据"(Big data)时代,随之而来的是数据仓库、数据安全、数据分析、数据挖掘等技术。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的"加工能力",通过"加工"实现数据的"增值"。(本文来源于《中国管理信息化》期刊2016年07期）
操秀英[3]（2015）在《加载海量数据 呈现叁维实景》一文中研究指出电视塔、广电中心大楼……通过河北省地理信息局的大屏幕里展示的唐山市实景叁维图，我们仿佛置身唐山市的大街小巷，路上的车辆、路边的树木都真实且清晰可见。这要归功于先进的倾斜摄影及实景叁维模型制作技术。 人类了解世界最直观的方式就是通过双眼看(本文来源于《科技日报》期刊2015-10-27）
李永峰[4]（2015）在《面向海量金融数据并行加载技术研究与实现》一文中研究指出随着互联网技术的快速发展,金融、通信、教育等行业对信息化的需求不断地增加。在国内,信息化发展已经有几十年,金融行业更是成为信息化程度最高的行业。随着用户的增长和业务的更新,金融行业数据库的数据量也不断地增长,其数据量高达几百TB甚至PB级。通常,金融企业需要大型数据库系统来存储和管理海量金融数据。同时由于业务需求,不同金融系统间需要大量的数据共享,因此不同系统间需要大量的数据迁移和加载。海量金融数据的存储和加载,给金融系统提出了严峻的挑战。本文主要针对海量金融数据的数据加载问题展开研究,并以一个实际金融系统作为研究对象,结合其底层数据存储架构及数据加载特点,设计和实现适用于该系统的海量数据加载方法。主要贡献如下：1.基于交通银行历史库系统,我们分析了历史库系统的海量数据存储和加载实现,其底层数据存储采用分布式数据库Ocean Base来解决海量数据存储的问题。通过分析历史库的数据加载特点,我们发现新存储架构下的历史库系统面临海量数据加载问题。为此,我们提出了两种解决思路。2.针对OceanBase数据加载的实现,我们设计和实现了两种加载方法：基于SQL INSERT的数据加载和直接更新内存表的数据加载。前者是一种常见的数据导入技术,主要通过并发执行插入SQL来实现数据导入。后者则根据OceanBase特有的存储架构,将数据加载问题转化为B+树的并发插入问题。这种加载方法只适用于OceanBase。相比于前者,该方法可以减少网络传输和事务处理量,从而提高加载效率。实验表明该加载方法较好地解决OceanBase数据加载问题。3.根据历史库系统的数据加载特点,为了提高整体的数据加载效率,我们提出一种多任务并行加载的方法。该方法将所有加载任务切分到多个加载服务器上,充分利用加载服务器和数据库系统的资源,使得加载任务并行运行于不同加载服务器上。4.为了获取更好的并行加载效率,我们提出了两种任务调度策略：基于表级任务调度和基于细粒度的两阶段任务调度。这两种调度策略分别基于不同的划分粒度,被应用于多任务并行加载过程中,使尽可能多的加载任务并行执行。实验表明,两阶段调度策略可以更充分地利用加载服务器资源,获取更好的加载效率。(本文来源于《华东师范大学》期刊2015-05-05）
韩伟红,贾焰,杨树强[5]（2009）在《TB级海量数据实时加载技术的研究与实现》一文中研究指出随着网络和通信技术的不断发展,在大规模科学计算中间结果的保存和处理、基于Internet信息的分析和研究、实时监控系统信息的存储和处理等诸多应用领域,都产生了TB级的海量数据.数据规模的不断增加以及实时的海量数据加载要求对传统的数据库技术提出了新的挑战.设计并实现了一个面向实时Internet监控信息的海量数据实时加载系统IMIL(Internet monitoring informationloader),包括可扩展、高度容错的硬件体系结构,使用SQL*Loader以及交换分区机制的高效批量加载算法以及优化的并行调度机制.性能测试显示,这些海量数据加载及优化技术使得数据加载速度由每天2.2亿条提高到12亿条,10个Cluster同时工作时峰值数据加载速度达到每天6TB.IMIL系统对需要实时加载TB级海量数据的大规模复杂数据库系统具有重要的参考和借鉴价值.(本文来源于《第八届全国信息隐藏与多媒体安全学术大会湖南省计算机学会第十一届学术年会论文集》期刊2009-03-28）
陈光强[6]（2008）在《面向海量文本数据的多任务并行调度加载技术研究与实现》一文中研究指出随着网络的发展,网络信息安全管理迫切需要存储和管理海量的文本数据,需要高性能的海量文本数据加载和组织管理,因此,研究高性能的海量文本数据加载技术具有重要的理论意义和应用价值!网络信息安全管理中的海量文本数据具有如下特点:数据产生速度高、密度大、规模大且每天24小时不间断,其应用要求支持高效的全文检索。针对以上数据特点和应用需求,本文在以下几个方面对海量文本数据的加载技术进行了研究:1.研究了多流水线并行加载技术。首先,将需要加载的海量文本数据均衡划分为多个独立的数据集合,实现多个数据集合的并行加载。其次,对于每一个数据集合,充分挖掘其流水并行,将加载过程划分为多个可以流水并行执行的加载阶段,从而实现了高性能的多流水线并行加载。2.在流水线内部,利用Oracle10g提供的分区交换技术,在每一个分区的加载上进一步挖掘并行性,将加载划分为多个可以并行执行的子任务。针对这些子任务之间存在的约束关系以及多个分区可以并行加载的特点,提出了带约束关系的多任务并行调度算法,从而保障了细粒度并行化后的并行效果。3.针对计算资源、I/O资源分布不均衡以及服务器节点存在异构性的特点,提出了一种虚拟资源池技术,将每一个服务器按照其处理能力计算资源数量,并将计算出的资源加入资源池中,进行统一的分配与调度,从而实现异构环境下混合负载的均衡分布,达到资源的最大利用率。基于以上技术,研制了海量文本数据的多任务并行加载系统,第叁方测试表明,该系统达到了极高的加载性能(加载峰值达200亿条记录/24小时,每条记录0.5KB)。目前该系统已经上线稳定运行了3个多月。(本文来源于《国防科学技术大学》期刊2008-11-01）
陈光强,杨树强,张晓辉,李润恒,贾焰[7]（2008）在《面向海量文本数据的多任务并行调度加载技术研究与实现》一文中研究指出随着文本数据量的急剧增长,对传统的数据库技术在数据存储、实时数据加载等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量文本数据的存储及管理需求而研制的.根据文本数据的特点,通过对大数据按照其内容和时间等属性进行划分,使得对一批海量数据的加载过程被分解为若干不相关的加载子任务,从而利用合理的并行调度算法使各个加载子任务高度并行执行.MDMP中基于多任务并行调度加载技术提供了高性能的加载.主要研究了多任务并行调度加载技术.(本文来源于《第15届全国信息存储技术学术会议论文集》期刊2008-09-26）
张寿文,娄燕飞,邹鹏,田李[8]（2008）在《海量数据并行加载策略同步方法的设计与实现》一文中研究指出为使得海量数据并行加载系统具有更加灵活的加载能力,设计并实现了一个加载策略配置管理系统,支持用户对加载机的加载策略进行动态配置.针对加载策略的不同步导致系统可用性下降问题,基于CORBA的订阅/分发模式,引入异步回调机制,提出了一种有效的加载策略同步解决方案.实验结果验证了该方案的有效性。(本文来源于《空军雷达学院学报》期刊2008年01期）
张丽,杨树强,李爱平,贾焰,邹鹏[9]（2007）在《海量数据管理平台MDMP中并行加载与查询技术研究》一文中研究指出海量数据的产生对传统的数据库技术在数据存储、实时数据加载、实时数据查询等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量数据的存储及管理需求而研制的.MDMP中基于流水的多路并行加载技术提供了高性能的加载,并实现了在加载的同时进行实时查询;基于语义缓存的并行查询技术对于MDMP中频繁的聚集查询进行了优化,提高了查询速度.主要研究了这两个关键技术.(本文来源于《第二十四届中国数据库学术会议论文集（研究报告篇）》期刊2007-10-20）
房友园,杨树强,贾焰,王怀民[10]（2006）在《基于CORBA的海量数据加载并行任务调度技术研究与实现》一文中研究指出基于多集群的并行任务调度技术,简要描述在使用Oracle10g进行海量数据加载中的并行任务调度问题,设计实现了一个基于CORBA的海量信息加载服务中的并行任务调度算法。通过测试结果表明,在适当的任务并行度的前提下,采取并行任务调度算法的加载服务的数据加载能力要优于传统的加载服务。(本文来源于《计算机应用与软件》期刊2006年10期）
海量数据加载论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
21世纪可以称为"大数据"(Big data)时代,随之而来的是数据仓库、数据安全、数据分析、数据挖掘等技术。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的"加工能力",通过"加工"实现数据的"增值"。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
海量数据加载论文参考文献
[1].于晓昀.PGIS海量空间数据加载方法研究[J].电脑知识与技术.2018
[2].姜丽娟,孟令霞.集群环境下海量地震数据加载方式的创新模式[J].中国管理信息化.2016
[3].操秀英.加载海量数据呈现叁维实景[N].科技日报.2015
[4].李永峰.面向海量金融数据并行加载技术研究与实现[D].华东师范大学.2015
[5].韩伟红,贾焰,杨树强.TB级海量数据实时加载技术的研究与实现[C].第八届全国信息隐藏与多媒体安全学术大会湖南省计算机学会第十一届学术年会论文集.2009
[6].陈光强.面向海量文本数据的多任务并行调度加载技术研究与实现[D].国防科学技术大学.2008
[7].陈光强,杨树强,张晓辉,李润恒,贾焰.面向海量文本数据的多任务并行调度加载技术研究与实现[C].第15届全国信息存储技术学术会议论文集.2008
[8].张寿文,娄燕飞,邹鹏,田李.海量数据并行加载策略同步方法的设计与实现[J].空军雷达学院学报.2008
[9].张丽,杨树强,李爱平,贾焰,邹鹏.海量数据管理平台MDMP中并行加载与查询技术研究[C].第二十四届中国数据库学术会议论文集（研究报告篇）.2007
[10].房友园,杨树强,贾焰,王怀民.基于CORBA的海量数据加载并行任务调度技术研究与实现[J].计算机应用与软件.2006