处理存储论文-贾旖旎,周新民,曹芳

处理存储论文-贾旖旎,周新民,曹芳

导读:本文包含了处理存储论文开题报告文献综述及选题提纲参考文献,主要关键词:时空大数据,集群计算,存储处理,数据挖掘

处理存储论文文献综述

贾旖旎,周新民,曹芳[1](2019)在《基于HDFS+Spark的时空大数据存储与处理——以智慧无锡时空大数据为例》一文中研究指出海量时空数据的高效存储、读写、处理与分析是当前地理信息科学领域的研究热点。本文对目前主流大数据技术产品进行了选取和融合,开展了基于HDFS+Spark的时空大数据存储、处理分析等方面的研究和探讨,以智慧无锡时空信息云平台为应用对象,搭建了一套时空大数据存储处理的集群平台,并通过具体应用实验,得到了时空数据存储、处理、挖掘的响应时间及可视化展示结果,证实了HDFS+Spark集群计算平台在解决时空大数据存储、处理、挖掘方面的有效性。(本文来源于《软件》期刊2019年11期)

孙华利,王国平,路学刚,叶华[2](2019)在《基于网格技术的电力交易数据的存储处理方法》一文中研究指出为满足电力交易系统中计算资源有效调度、多元信息及时处理的需求,文中基于网格技术,研究了电力交易系统中的数据高存储与处理方法,设计了一款以服务为中心的交易系统。该系统使用的网格技术可面向大规模复杂计算、网络资源共享的技术服务,较好地契合了多区域电力交易系统的使用场景。使用Java语言,基于Globus工具完成了系统的开发,为后续多区域、多级别电力系统联网的分布式计算、资源共享、系统设计提供了参考。(本文来源于《信息技术》期刊2019年09期)

李宏[3](2019)在《常温存储全压力式液化烃球罐切水密闭处理》一文中研究指出本文就实际项目针对常压存储全压力式液化烃球罐切水提出了一种密闭处理的方案,方案主要通过管道声音和压力表读数变化判定切水结束。(本文来源于《石化技术》期刊2019年08期)

于盛[4](2019)在《地震资料处理中的并行存储技术研究与应用》一文中研究指出随着并行计算机、高性能集群技术以及GPU等硬件的快速发展,逆时偏移的研究得到了快速发展,在石油勘探领域,普遍以逆时偏移技术为基础,通过GPU和集群技术来增强整个平台的计算能力;如何构建一个高性能、高可用的存储平台来满足逆时偏移计算平台变得非常重要,因此,我们需要根据逆时偏移技术算法特点,开展逆时偏移高性能集群并行存储技术研究,对目前的存储系统进行定制开发,使存储系统能够更高效地满足石油勘探计算平台需求,使文件系统可以做到在保证数据安全的前提下在线扩容以及在线更换(本文来源于《电脑知识与技术》期刊2019年21期)

陈昌硕[5](2019)在《高分辨率太阳射电接收数据处理与存储方法研究与实现》一文中研究指出太阳对地球的物质和能量的输入,直接决定了地球及其周围空间环境的维持和变迁。太阳耀斑和日冕物质抛射等爆发现象是太阳系最猛烈的爆发过程,所释放的能量和高能粒子将对整个行星际空间环境产生剧烈扰动,从而影响空间天气和近地空间的安全。太阳射电暴的观测对于研究太阳物理以及空间天气环境监测起到了至关重要的作用,具有重要的空间物理科学研究价值。随着射电信号观测技术的不断发展,高精度的太阳射电观测系统成为世界各地太阳射电观测站追求的目标。高时间分辨率和高频率分辨率的太阳射电数据,有利于精细和准确地测量太阳射电爆发驱动激波、高能电子能量、激波和电子到达时间,也能更好为太阳物理研究和空间天气监测提供更可靠依据。随着高精度的天文观测设备的使用,天文观测数据正在以TB级的速度不断增长,这给天文观测数据的存储和分析处理带来巨大的挑战。本文对山东荣成的槎山太阳射电观测站现有观测系统进行分析,观测系统利用高速AD采集卡和FPGA处理实现太阳射电的观测系统,系统可实现高分辨率数据采集和处理,时间分辨率最高可达到1ms,日采集数据量达到4.5 TB。而在日常观测过程中,想要观测到的太阳爆发事件少之又少,绝大部分数据为太阳宁静数据,没有太大的变化,不需要高分辨率观测,因此,数据采集的效率变得非常低。而海量的数据使得数据存储以及如何从中判断是否含有有效信息成为难题。传统的硬盘无法满足TB级的数据量,而数据保存是长期观测的需要,迫切需要更为有效的处理方法来解决现有问题。本文从项目面临的实际问题出发,细致分析系统设计需求,结合观测站的基础设施提出一种新的系统方案,并进行设计实现。在上述采集系统后增加数据处理系统,采集的高分辨率数据上传至计算机后,再读取数据文件进行实时爆发判断处理,若此数据文件中含有爆发事件,则直接保存该文件,若不含爆发事件,则对文件中的数据帧进行累加求平均的方式降低数据帧数,从而降低数据时间分辨率,减少太阳宁静数据存储量。系统中的爆发判断处理既要避免信号干扰对准确度的影响,又要满足系统实时处理的需求。本文对爆发判断方案做了多次优化,既能够满足精细观测太阳射电爆发的需求,又有效减少宁静太阳射电信号的数据量。在爆发判断处理过程后再对数据文件进行无损压缩处理,进一步减少所有数据存储量。本文通过对常用无损压缩算法测试,最终选择处理速度最快的LZ4算法,并通过调整算法,在满足系统实时处理速度的基础上,提高压缩比,使算法与系统更加匹配。本文对数据处理系统进行软件的界面设计,方便观测人员操作并实现自动化运行,软件提供部分数据分析与处理功能。最后通过详细测试,验证了系统的稳定性与可行性,有效解决了项目面临的问题。(本文来源于《山东大学》期刊2019-05-12)

赵树平,禹小弦[6](2019)在《海洋3S数据存储处理系统研究》一文中研究指出针对大量海洋3S数据的存储处理复杂和低效率的问题,提出了一种海洋3S数据存储处理的设计方案。该系统通过海洋遥感ORS连续影像处理和GPS立体测量,建立叁维形状模型,然后提取目标特征更新海洋地理系统MGIS的数据,并将收集到的海洋3S数据通过Hadoop架构的HDFS进行存储、MapReduce进行处理。该系统运用Hadoop技术进行海洋3S数据存储与处理并提供了可行性的方案。(本文来源于《电脑知识与技术》期刊2019年13期)

程孝孝[7](2019)在《基于Hadoop的海量图片存储处理系统研究》一文中研究指出随着计算机视觉与人工智能技术的发展,网络中的图片及视频资源越来越多,海量图片的检索及存储就成为一个重要的现实问题。Hadoop提供的HDFS可以提供可靠的高并发访问,MapReduce计算框架能够并行进行图片的处理,因此对于海量图片的快速存储和处理有巨大帮助。(本文来源于《电脑知识与技术》期刊2019年10期)

刘忠轩,宁新宇,程石[8](2019)在《生物酶处理对煤炭存储热值及堆煤温度影响的试验研究》一文中研究指出电厂煤场储煤量巨大,储存期较长,减少煤炭在存储过程中的热值损失和自燃现象,能够提高电厂的经济效益。通过在某煤场煤堆喷洒生物酶,获得了生物酶在大规模煤堆上使用时对煤堆热值及温度的影响数据。结果表明,生物酶处理技术对于降低煤炭储存过程中的热值损失有一定效果,经处理的煤堆储存期温度升高,不利于减少煤堆的自燃。(本文来源于《华电技术》期刊2019年03期)

杨国仁,石洪成,赵军,李林,赵长久[9](2019)在《中国核医学影像后处理及存储技术基本指导标准》一文中研究指出核医学科信息管理系统是医院信息系统的重要组成部分。本文就系统数据标准及集成、系统软件构成、硬件系统、配置分类选择等四个方面对核医学信息管理系统进行系统介绍,旨在为其他引进该系统的单位提供参考,提高医学信息管理及图像后处理质量,规范和完善核医学科质量管理体系。(本文来源于《中国医疗设备》期刊2019年02期)

刘丽明,姚啸,商乐[10](2019)在《PDW数据高速处理与存储方法研究》一文中研究指出PDW数据是对雷达脉冲的数字化描述,在复杂电磁环境仿真中,基于PDW数据构建雷达信号环境的应用越来越普遍。针对构建雷达信号环境的可变性需求,采用PDW数据多通道编批及同时到达信号处理,相同辐射源多参数比对与筛选,基于实际空间关系的雷达信号入射角度和幅度修正,以及PDW数据高速存储的方法,对PDW数据进行二次处理和实时存储。能够根据用户需求,任意定义PDW数据输出的频率范围,以高效率和低消耗的方式,实现雷达信号环境在空间和功率分布上的灵活变化,体现电磁环境在空域和能量域上复杂多变的特征。提出了使雷达信号环境具有可变性,并提出了PDW数据高速存储的实现方法。(本文来源于《电子设计工程》期刊2019年02期)

处理存储论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

为满足电力交易系统中计算资源有效调度、多元信息及时处理的需求,文中基于网格技术,研究了电力交易系统中的数据高存储与处理方法,设计了一款以服务为中心的交易系统。该系统使用的网格技术可面向大规模复杂计算、网络资源共享的技术服务,较好地契合了多区域电力交易系统的使用场景。使用Java语言,基于Globus工具完成了系统的开发,为后续多区域、多级别电力系统联网的分布式计算、资源共享、系统设计提供了参考。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

处理存储论文参考文献

[1].贾旖旎,周新民,曹芳.基于HDFS+Spark的时空大数据存储与处理——以智慧无锡时空大数据为例[J].软件.2019

[2].孙华利,王国平,路学刚,叶华.基于网格技术的电力交易数据的存储处理方法[J].信息技术.2019

[3].李宏.常温存储全压力式液化烃球罐切水密闭处理[J].石化技术.2019

[4].于盛.地震资料处理中的并行存储技术研究与应用[J].电脑知识与技术.2019

[5].陈昌硕.高分辨率太阳射电接收数据处理与存储方法研究与实现[D].山东大学.2019

[6].赵树平,禹小弦.海洋3S数据存储处理系统研究[J].电脑知识与技术.2019

[7].程孝孝.基于Hadoop的海量图片存储处理系统研究[J].电脑知识与技术.2019

[8].刘忠轩,宁新宇,程石.生物酶处理对煤炭存储热值及堆煤温度影响的试验研究[J].华电技术.2019

[9].杨国仁,石洪成,赵军,李林,赵长久.中国核医学影像后处理及存储技术基本指导标准[J].中国医疗设备.2019

[10].刘丽明,姚啸,商乐.PDW数据高速处理与存储方法研究[J].电子设计工程.2019

标签:;  ;  ;  ;  

处理存储论文-贾旖旎,周新民,曹芳
下载Doc文档

猜你喜欢