导读:本文包含了海量数据组织论文开题报告文献综述及选题提纲参考文献，主要关键词:四叉树数据结构,块内无冗余,多分辨率模型,视锥投影
海量数据组织论文文献综述
袁松鹤,靳海亮,耿文轩[1]（2018）在《海量地形数据组织与调度策略研究》一文中研究指出针对海量地形数据与有限的计算机内存之间的矛盾问题,需对数据的组织与调度过程进行优化。对海量的地形数据基于分块的方法以四叉树的数据结构进行组织。以块内无冗余的数据存储方式构建多分辨率层次模型,同时生成层次索引和坐标序号索引。在预处理阶段进行自上而下的参数计算,以此种方式可以快速读取到需求数据。其次根据视点位置与视线的方向两个因素,利用视锥体投影的方式对数据进行预取,实施两次数据裁剪策略,并结合多线程策略实现数据的加载与卸载。实验结果表明该策略具有较高的实时性,能够满足大规模地形数据的高效绘制要求。(本文来源于《测绘工程》期刊2018年08期）
孔昭煜,齐钒宇,贾丽琼[2]（2017）在《海量地质资料数据存储组织结构研究》一文中研究指出在信息技术高速发展的今天,地质调查工作也向信息化方向转型。随着大数据、云计算等新兴技术的不断发展与完善,地质资料数据已实现了"以纸为主"向更加便捷、安全、绿色、节能的电子数据的载体转型。本文对全国地质资料馆海量地质资料数据存储组织结构的建设工作进行了研究,分析介绍地质资料数据特点,以现有的地质资料存储组织结构策略和原则为依据,对地质资料数据的文件组织结构进行标准化、规范化的探索与实现,推进地质资料数据实现科学、高效的数据存储管理,进一步助力地质资料数据的深度开发利用,切实有效提升地质资料数据的社会化效益。(本文来源于《中国矿业》期刊2017年S2期）
杨帆[3]（2017）在《海量点云数据的内外存组织调度方法研究》一文中研究指出叁维激光扫描(LIDAR)作为目前快速发展的一种新兴大规模数据采集测量技术,在日常的工程应用中,发挥着越来越积极的作用。由于其本身具有快速大规模获取叁维空间信息的特性,叁维激光扫描所生成的点云数据往往包含了丰富的信息资源,数据量十分的庞大。如果不能有效的对海量点云数据进行组织,管理,调度,将严重制约其在实际工程当中的应用,扼制其的发展。为了解决海量数据纷繁复杂,可用率不高的问题,将原始的点云数据,根据一定的规则进行管理组织,并按照一定的判别方法对其进行选择性应用,成为目前为止,最为有效提高点云数据利用效率的关键。因此,海量点云的组织管理调度成为激光扫描领域亟待解决的问题,许多专家学者也对此问题进行了研究。针对此问题,本文在充分借鉴了前人在海量点云管理,组织,调度等领域的研究成果的基础上,提出了一种结合数据库技术,构建存储点云的空间组织索引和LOD结构模型,并结合可见性判断来进行内外存有序调度的的海量点云管理组织方法,以此来实现点云的有效调度和高效可视化,本文的主要工作涉及到以下几个方面:1.海量点云的数据组织与存储:通过对前人研究成果的总结,在数据存储方式上决定采用一种开源的第叁代数据库Postgresql来对数据进行存储管理;在点云组织索引构建中,首先通过比较分析不同的空间索引方式,最终选择空间八叉树的索引方式对点云数据进行组织,其次决定采用一种始终逼近数据模型真实几何外形最小外包围盒OBB来建立树的根节点,并由此构建八叉树索引结构;最终根据本文工作的实际要求,在数据库中设置了合适的表结构,实现了对点云数据和索引结构的有效存储和管理。2.海量点云的数据LOD模型建立:提出了一种基于八叉树空间索引结构分层次采样来构建LOD层次模型结构的方法。其中,通过比较分析,最终决定采用随机采样法来对不同层级节点内的点云数据进行精度采样,并以此使整个树结构充满点云。同时根据不同的节点层级,进行LOD模型层级的划分。最后对其实现了数据库存储管理。经过对点云数据的分块分层再组织,点云分成了不同的深度层次,再结合一定的判别调度方法,来减少一次性的点云绘制数量,从而可以达到提高点云显示速度的目的。3.海量点云的内外存调度:使用了一种基于视点远近选择LOD层级与根据遮挡剔除的可见性判断来显示节点两种调度策略相结合的方法。首先通过前一种方法判别此时该选取的的LOD层级,在此基础上再根据可见性判断,选择性的读入一部分节点内的数据进入内存。这样减少了从数据库读入内存的数据量,提高了数据进出内外存的效率,减少了数据内存的占用率,最终实现了提高海量点云数据内外存调度效率的目标。4.点云管理调度试验系统建立:对一种叁维激光点云建模平台进行数据库模块的二次开发,设计了系统原型并进行了实验,最终论证了本文方法的可行性。(本文来源于《北京建筑大学》期刊2017-06-01）
熊环宇[4]（2017）在《海量极区空间物理数据组织与服务关键技术》一文中研究指出极区空间物理主要研究南北两极的大气层、电离层和磁层中的物理现象,随着数字化科学仪器的发展,极区空间物理研究已成为数据密集型的科学研究。目前使用的观测仪器大致可以分为电离层、地磁和极光观测叁类。不同观测仪器采集的数据的类型、结构各不相同,是典型的多维结构的科学数据,数据规模已经累积达到了 TB甚至PB级别。如何对这些海量的多维科学数据进行有效组织,并提供快速查询等数据服务以支持极区空间物理的研究,成为亟待解决的问题。针对关系数据库和NoSQL数据库的数据模型在表达多维科学数据上存在的先天缺陷和管理科学数据的高昂代价,本文基于Array数据模型设计并实现了海量极区空间物理数据的组织与服务框架。Array数据模型专为多维结构的数据设计,可以容易地表达多维科学数据,对多维科学数据的运算支持良好。本文对Array数据模型进行了扩展,增加了对元数据的支持,设计了 ArrayPlus数据模型用以表达极区空间物理数据,通过元数据管理器的设计,基于Array数据库Rasdaman提供了对ArrayPlus数据模型的支持。考虑到极光图像数据载入数据库的代价过高,本文设计了 Aurora Vault来实现极光图像的原位处理功能。同时,针对Rasdaman在数据分发功能上的不足,本文设计了分布式调度器,支持对Aurora Vault的分布式调度。在此基础上,面向极区空间物理数据的管理需求,设计了数据服务,提供了数据导入、可视化、基本统计、下载、极光图像处理等功能,使用Java语言实现了海量极区空间物理数据的组织与服务原型系统。最后,本文比较分析了基于关系数据库、基于NoSQL数据库和基于本文扩展的Rasdaman的数据访问代价,通过地磁、极光、宇宙噪声叁类极区空间物理数据的8个典型查询案例,选取MySQL、Mongodb、HBase与本文的研究进行了比较实验。实验过程表明,基于本文扩展的Rasdaman实现查询需求的代价明显小于其余叁者;实验结果表明,基于本文扩展的Rasdaman的查询性能明显优于其余叁者,也进一步说明了本文设计的海量极区空间物理数据的组织与服务框架的有效性。(本文来源于《华东师范大学》期刊2017-04-01）
邢春晓,张勇,李超,张桂刚,梁野[5]（2016）在《海量数据组织与资源共享的方法研究》一文中研究指出2013年研究主要集中在海量非结构化数据的处理编程模型及海量数据的挖掘分析与计算方法等方面的关键技术研究。经过今年的研究,取得了一些成果。进一步完善了海量结构化数据处理平台华鼎-C,进一步完善了海量非结构化数据存储管理平台华鼎-U,并在华鼎-K平台上进行了部分大数据分析应用研究,开发设计了移动健康服务平台。(本文来源于《科技资讯》期刊2016年08期）
王雷[6]（2016）在《海量叁维激光点云数据的组织与可视化研究》一文中研究指出20世纪90年代中期,地面激光扫描技术开始普遍应用于各种复杂场景和空间实体的建模。通过该技术采集得到的海量点云数据,是叁维空间坐标系中重要的信息来源,在海洋勘测、地理信息系统、数字城市建设中发挥着举足轻重的作用。为此,如何利用现有的计算机处理能力,对海量的点云数据进行高效地组织索引,更加快速精确地完成点云数据的叁维空间可视化建模成为一个重要的研究课题。目前国内外在对于点云数据组织管理方面,有很多相关研究,一些研究者提出了相应的组织方案。最常见有规则网格、传统四叉树结构、R树、KD树与八叉树结构相结合等方案,不同的组织方案都有各自的优缺点。因此,最重要的是找到适合点云数据特点的组织结构,更好地提高组织效率。本文的主要工作:(1)分析了国内外对于点云数据组织方案中的不足,针对车载激光扫描系统获取的点云数据具有的海量性随机性等特点,提出了改进的四叉树结构。(2)提出“Hilbert-改进四叉树”结构组织点云数据。该结构通过对改进后四叉树节点顺序的调换,使得中序遍历该四叉树得到的节点顺序完全符合Hilbert曲线的特征。按照该顺序重新组织点云数据,可以有效地减少计算机在读取海量点云数据时进行的I/O交互次数,提高点云数据空间索引效率;同时采用Hilbert曲线重新组织四叉树,将单一分辨率的数据转化为多分辨率的数据,(3)借鉴DME技术以及“分而治之”的思想,本文提出了“金字塔-PC”这种分块分层的数据模型,利用“Hilbert-改进四叉树”结构处理每块中海量点云数据,实现基于视点的海量车载激光点云数据的LOD高效可视化。(4)最后,本文设计了验证实验,实验结果表明改进后的组织索引方案具有合理性和有效性。同时利用Geo Magic Studio进行相关可视化实验,验证了LOD可视化方案的有效性。本文最后对如何利用现有的计算机资源,更加高效地处理海量的点云数据进行了展望。(本文来源于《北京工业大学》期刊2016-06-01）
曾文,李颖,韩红旗,张运良,徐红姣[7]（2016）在《海量数据的组织与管理方法研究》一文中研究指出随着信息技术的发展,需要存储和传播的信息数据量越来越大,数据的种类和形式越来越丰富,数据资源呈现规模大、多源性、多语言等特点,使得海量数据资源的组织和管理面临极大的挑战。本文分析和阐述海量数据资源在组织与管理等方面的问题和方法,并介绍在相关领域的研究工作和体会。(本文来源于《情报工程》期刊2016年01期）
杨文彬[8]（2015）在《基于文档型NoSQL数据库的海量DEM数据组织与调度方法》一文中研究指出数字高程模型(Digital Elevation Model, DEM),是一个用数值矩阵表示地面高程的实体地面模型,是重要的地形数据之一。现有DEM数据组织方法大多是建立DEM金字塔,将DEM金字塔分层分块,基于文件或者关系表以块为单位按层存储。金字塔每增加一层,数据块数量急剧增加,数据访问效率急剧降低。金字塔层级较高时难以满足大规模地形实时漫游的要求。较高的数据调度效率可以提高大规模地形实时漫游的速度。在地形漫游过程中,每次需求的数据在空间中都是邻近的。如果空间中邻近的数据块在数据库中的存储位置也是邻近的,就可以大大提高数据的访问效率。因此,数据块在数据库中的存储位置要保持空间中的邻近关系。面对大规模地形场景漫游,数据预取也是提高漫游速度的有效手段之一。现有针对DEM数据的预取方法主要是根据视点移动的速度和方向预测下一时刻视点的位置。视点没有速度和方向时,不能进行数据预取,因此难以满足用户自由操作时的数据预取要求。本文针对DEM金字塔存储模型、DEM金字塔编码方法和DEM数据预取方法展开了研究。本文主要的研究内容和研究成果如下：(1)提出了一种基于嵌套文档结构的金字塔整体存储模型。本文将金字塔模型分解为多个小金字塔,利用文档型NoSQL数据库的嵌套文档结构,将小金字塔存储在一个数据库文档中。能够映射金字塔的层级结构,保存小金字塔内部的嵌套关系。各个小金字塔内部数据块在数据库中相互邻近,提高数据访问效率,有利于实现大规模地形场景的实时漫游。(2)提出了一种兼顾金字塔层级结构和同层数据块之间邻近关系的DEM金字塔编码方法。本文利用Hilbert曲线对金字塔的每一层进行编码,将Hilbert编码与数据块的层级编码组合成为数据块编码。该编码能够保存金字塔层级关系和金字塔同层数据块之间的空间邻近关系,提高数据访问效率,有利于提高地形场景实时漫游时的数据调度速度。(3)提出了一种基于移动方向转移矩阵的数据预取方法。本文首先将漫游场景的移动映射为数据块集合的移动,将数据块集合的移动记录为一个叁维向量。再用一个六阶矩阵记录相邻两次移动方向之间的转换情况,将该矩阵作为移动方向的预测矩阵。基于前一次DEM数据块的移动向量,结合六阶预测矩阵,预测下一次移动的方向和距离。然后,根据当前数据块集合的范围预取DEM数据。可以实现用户自由漫游时的数据预取,有利于提高地形场景实时漫游系统的响应速度。(4)原型系统设计与实验。本文建立了原型系统,验证本文提出的DEM金字塔存储模型、DEM金字塔编码方法和DEM数据预取方法的可行性和效率性。实验结果表明,本文的小金字塔整体存储模型可以有效提高数据访问效率。本文的DEM金字塔编码方法可以在没有编码的基础上提高50%的数据访问速度。本文的数据预取方法可以应对用户的自由操作,能够有效提高系统响应速度。(本文来源于《南京师范大学》期刊2015-06-25）
王锋,潘德吉,王俊[9]（2015）在《城市叁维模型海量数据动态组织调度方法》一文中研究指出城市叁维模型的海量特性和当前计算机硬件瓶颈给模型的实时渲染提出了较大的挑战.改进叁维地理信息系统(GIS)中数据的组织与管理方式是提高叁维场景可视化效率的有效途径,本文提出基于四叉树空间索引对数据进行组织,基于视点的层次模型技术(LOD)对数据进行动态调度,同时提出一种将纹理作为渲染单元重构网格数据的方法,对粗糙模型的渲染进行批处理,有效降低了耗时的渲染次数.实验证明,该方法是高效可行的,渲染帧率稳定在30帧左右,能够满足海量城市叁维模型的可视化和实时交互需求.(本文来源于《中国科学院大学学报》期刊2015年03期）
洪镇填[10]（2014）在《海量数据组织与管理研究的现状与展望》一文中研究指出介绍了当今海量数据存储、组织、管理的主要方法,对现有的海量数据组织与管理方法进行讨论,并对海量数据组织管理方法的发展进行展望。(本文来源于《地理空间信息》期刊2014年05期）
海量数据组织论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
在信息技术高速发展的今天,地质调查工作也向信息化方向转型。随着大数据、云计算等新兴技术的不断发展与完善,地质资料数据已实现了"以纸为主"向更加便捷、安全、绿色、节能的电子数据的载体转型。本文对全国地质资料馆海量地质资料数据存储组织结构的建设工作进行了研究,分析介绍地质资料数据特点,以现有的地质资料存储组织结构策略和原则为依据,对地质资料数据的文件组织结构进行标准化、规范化的探索与实现,推进地质资料数据实现科学、高效的数据存储管理,进一步助力地质资料数据的深度开发利用,切实有效提升地质资料数据的社会化效益。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
海量数据组织论文参考文献
[1].袁松鹤,靳海亮,耿文轩.海量地形数据组织与调度策略研究[J].测绘工程.2018
[2].孔昭煜,齐钒宇,贾丽琼.海量地质资料数据存储组织结构研究[J].中国矿业.2017
[3].杨帆.海量点云数据的内外存组织调度方法研究[D].北京建筑大学.2017
[4].熊环宇.海量极区空间物理数据组织与服务关键技术[D].华东师范大学.2017
[5].邢春晓,张勇,李超,张桂刚,梁野.海量数据组织与资源共享的方法研究[J].科技资讯.2016
[6].王雷.海量叁维激光点云数据的组织与可视化研究[D].北京工业大学.2016
[7].曾文,李颖,韩红旗,张运良,徐红姣.海量数据的组织与管理方法研究[J].情报工程.2016
[8].杨文彬.基于文档型NoSQL数据库的海量DEM数据组织与调度方法[D].南京师范大学.2015
[9].王锋,潘德吉,王俊.城市叁维模型海量数据动态组织调度方法[J].中国科学院大学学报.2015
[10].洪镇填.海量数据组织与管理研究的现状与展望[J].地理空间信息.2014