导读:本文包含了数据并行存储系统论文开题报告文献综述及选题提纲参考文献，主要关键词:MAPREDUCE并行化处理,用户地址数据,规范化存储,管理系统设计
数据并行存储系统论文文献综述
陈孝文,陈宁,李蕊,张应斌,董卫魏[1]（2019）在《基于MAPREDUCE并行化处理的用户地址数据规范化存储与管理系统设计》一文中研究指出电网用户规模庞大,由于历史原因,对其地址数据进行存储和管理难度较大,目前用户地址数据规范化程度较低。针对这一问题,本次研究将基于MAPREDUCE并行处理机制,探讨用户地质数据规范化存储方法,解决其中的关键技术问题,并给出用户地质数据规范化存储管理系统的设计方案。(本文来源于《电子测试》期刊2019年02期）
付印金,胡谷雨,倪桂强,陈卫卫,卢继荣[2]（2015）在《面向大数据备份的应用感知并行重删存储系统》一文中研究指出随着社会数字网络信息化进程的不断推进,全球IT企业需要管理的数据量急剧增长.当前大规模数据中心对海量复杂数据管理在扩展性、性能和成本等方面要求的不断提升.为了减缓企业存储容量的增长速度,传统的重复数据删除存储管理技术和方法已无法满足大数据备份应用的服务质量需求,新的软硬件技术进步为大数据管理能力的提升带来机遇.提出了一种面向大数据备份的应用感知并行重删存储系统,它利用新型非易失性存储来提升块索引的并发查询能力,并通过应用层丰富的文件语义信息设计应用感知的数据路由机制.通过实验论证,该并行重删存储系统不仅能实现单个节点内高性能的并行数据重删处理,还能通过横向扩展提升集群数据重删的吞吐量.(本文来源于《计算机研究与发展》期刊2015年S2期）
孙伟东,王意洁,裴晓强[3]（2013）在《基于纠删码的分布式存储系统中针对多数据失效的树型并行修复技术(英文)》一文中研究指出To reduce the time required to complete the regeneration process of erasure codes, we propose a Tree-structured Parallel Regeneration (TPR) scheme for multiple data losses in distributed storage systems. Under the scheme, two algorithms are proposed for the construction of multiple regeneration trees, namely the edge-disjoint algorithm and edge-sharing algorithm. The edge-disjoint algorithm constructs multiple independent trees, and is simple and appropriate for environments where newcomers and their providers are distributed over a large area and have few intersections. The edge-sharing algorithm constructs multiple trees that compete to utilize the bandwidth, and make a better utilization of the bandwidth, although it needs to measure the available band-width and deal with the bandwidth changes; it is therefore difficult to implement in practical systems. The parallel regeneration for multiple data losses of TPR primarily includes two optimizations: firstly, transferring the data through the bandwidth optimized-paths in a pipe-line manner; secondly, executing data regeneration over multiple trees in parallel. To evaluate the proposal, we implement an event-based simulator and make a detailed comparison with some popular regeneration methods. The quantitative comparison results show that the use of TPR employing either the edge-disjoint algorithm or edge-sharing algorithm reduces the regeneration time significantly.(本文来源于《中国通信》期刊2013年04期）
汪芳[4]（2009）在《分片式流处理器数据并行存储系统的设计与实现》一文中研究指出半导体技术的飞速发展使微处理器的运算能力迅速提升,但访存速度的增长却相对缓慢,“存储墙”问题日益明显。存储系统有限的片外带宽已经成为阻碍程序整体性能提升的瓶颈。分片式流处理器主要面向数据并行应用,这类应用的访存时间通常占据程序整体运行时间的很大比例,同时传统的存储系统结构设计也并不适应这类应用的访存特点,因此这个问题更加严峻。改进访存系统从而减少访存开销对提升分片式流处理器系统的性能非常重要。在片外数据传输峰值带宽固定的情况下,提高片外存储访问带宽的使用效率,减少计算代码的等待时间是提升存储系统性能的关键途径之一。论文的研究工作着眼于分片式流处理器的数据并行存储系统的分析、设计和实现。主要研究内容和成果包括以下几方面。(1)基于流处理器的数据并行存储系统访存模型、结构特征以及数据并行应用的访存特点,定性地分析了其多级存储层次和计算/访存重迭对隐藏延迟、改善带宽的效果。(2)在模拟实验平台上定量地测试和分析了在不同负载特征下,存储系统的主要设计参数对访存性能的影响。实验表明,对于访存模式敏感的部分参数,需要根据不同应用的并行性和局部性特点来配置它们以改善性能。(3)从提高片外带宽使用率的角度出发,设计和实现了分片式流处理器的数据并行存储系统。该存储系统通过多级调度能有效地减少片外访存的次数,降低片外带宽需求。软件模拟和仿真验证的结果表明,在不同工作负载特征下,通过设计参数的优化选择,该设计能够充分挖掘存储访问的行局部性和体间并行性,提高带宽的使用效率,从而促进整个分片式流处理器系统的性能提升。(本文来源于《中国科学技术大学》期刊2009-05-06）
詹艳艳[5]（2009）在《数据采集系统并行存储的实现》一文中研究指出本文讨论了基于IDE硬盘的高速数据存储技术,该数据采集系统能够同时对12路模拟信号进行采集,并能够以较高的速率进行并行存储,具有存储量大、存储速率快、数据格式便于后续处理等优点。(本文来源于《科技资讯》期刊2009年04期）
朱正[6]（2008）在《数据采集系统并行存储的实现》一文中研究指出在现代工业生产、控制和科学研究中,对各种现场数据进行采集、传输、处理已是必不可少的组成部分。通常,在数据采集的应用开发中,为了便于进行事后的数据处理和分析,以及为了存档,需要实时地把采集到的数据存储到介质中。IDE硬盘具有存储容量大、接口智能化程度高、控制方便等优点,比较适合作为数据采集系统的存储介质。当采样率不太高、路数较少时,要做到这一点是没有问题的;但是当采样率较高、路数较多时,进行高速数据存储就变得比较困难。本论文讨论了基于IDE硬盘的高速数据存储技术:介绍了硬盘的结构、影响硬盘存储速率的因素、硬盘的IDE接口以及FAT32文件格式;介绍了数据采集系统的硬件结构,包括电源部分、数据采集部分、数据缓存部分和数据存储部分;还给出了实现数据以FAT32格式存储进硬盘的汇编语言程序设计。该数据采集系统能够同时对12路模拟信号进行采集,并能够以较高的速率进行并行存储,具有存储量大、存储速率快、数据格式便于后续处理等优点,具有较好的应用前景。(本文来源于《哈尔滨工程大学》期刊2008-02-01）
张虎,伍卫国,董小社,钱德沛,戴罗庚[7]（2007）在《按序选取的并行存储系统数据分布方式研究》一文中研究指出针对采用轮转方式的并行存储系统在增加新存储节点后的重均衡操作中移动数据量大、资源消耗高的问题,提出了按序选取的数据分布方式.它通过多次模拟数据重均衡操作来完成并行存储系统的数据分布,从而使得系统更易于节点扩展.基于此,又提出了优化按序选取方式,这样可以通过改变数据抽取规则来提高按序选取方式的访问并行度.理论分析和模拟实验表明,采用所提方式的并行存储系统,数据重均衡操作均可达到零无效移动率,从而最大程度地减少数据的移动量,降低系统的资源耗费.(本文来源于《西安交通大学学报》期刊2007年08期）
李潇潇[8]（2005）在《数据并行协处理器存储系统的研究与实现》一文中研究指出随着集成电路制造工艺的进步,微处理器的处理能力与存储系统之间的差距越来越大,存储系统已经成为影响微处理器整体性能的瓶颈。本文旨在针对数据并行协处理器DPC体系结构的特点,采用硬件/软件协同设计的方法,兼顾体系结构与编译技术,使得在设计存储系统体系结构的同时就考虑应用领域的特征和编译优化的需要,同时也充分考虑存储硬件结构的特点,从而最终设计实现能够适应多媒体领域数据密集型应用需要的高性能存储系统。本文采用了多层次的存储体系结构,包括分体寄存器文件、分离的指令、数据Cache以及片上存储器Scratch-Pad SRAM。本文首先介绍了DPC各个存储器的设计和实现,详细讨论了寄存器文件分体结构的选择并提出了寄存器文件参数配置的四条规律,介绍了数据Cache容量及策略的权衡与选择,阐述了Scratch-Pad SRAM与Cache并存的优势。然后,面对分体寄存器文件可能产生端口冲突的新问题,提出了改进的基于图着色的寄存器分配法。讨论了常用的提高数据时空局部性的程序变换方法以降低Cache失效率,并针对多媒体领域应用程序的特点,总结了叁种多媒体常见存储访问模式,为进一步研究并向DPC存储系统加入流Cache的预取技术奠定了基础。本文给出了设置Scratch-Pad SRAM之后的数据分配方法,并测试证实了Scratch-Pad SRAM对性能的提高影响明显。最后,本文使用常见的多媒体核心程序对采用多层次存储系统的DPC以及TI的C64 DSP进行了比较测试,结果表明DPC系统性能优于C64 DSP,从另一个侧面证实了DPC存储系统的性能。(本文来源于《国防科学技术大学》期刊2005-11-01）
孙丽丽[9]（2005）在《共享对象存储并行文件系统的元数据管理研究》一文中研究指出当前的高性能计算已经由传统的主机方式逐渐向机群方式演变。机群体系结构的采用一方面使得系统的计算能力大大加强,另一方面也对当前的存储系统提出了更高的要求:在保证数据共享和易管理性的前提下,要求存储系统在存储容量和I/O性能方面具有很好的可扩展性。传统的基于主机的存储架构已经远远不能满足这些要求,研究新的存储体系结构和相应的文件系统具有十分积极的意义。本文基于对象存储系统,提出一种新的共享对象存储设备的并行文件系统(命名为SOPFS)设计,其目标是为高性能计算机群提供高性能、可扩展、高可用的机群存储系统。在文中给出了SOPFS的总体描述,内容包括分布元数据管理、并行数据访问等关键技术;结合SOPFS中动态散列分区的元数据组织方法,设计实现了元数据的访问管理;针对高性能并行计算中经常出现的对同一文件/目录的高并发访问情形,提出了一种动态的元数据复制策略,通过多个存放元数据副本的MDS同时响应对同一文件元数据的并发访问请求,提高了高并发访问情形下的元数据访问效率;利用SOPFS的结构优势,即文件系统的数据通路与控制通路分离,提出了懒惰的元数据更新策略,使得文件元数据的更新独立于文件数据读写过程,进一步保证了高的I/O吞吐率;在SOPFS中设计实现了元数据的事务日志机制,以提高系统的可用性和提供系统的快速失败恢复能力。(本文来源于《中国科学院研究生院（计算技术研究所）》期刊2005-04-01）
刘敏林,宋智勇,罗远哲[10]（2003）在《一个基于并行端口的数据采集、存储及控制系统》一文中研究指出提出了基于计算机并行端口的数据采集、数据存储及I O控制系统,该系统采用了串行A D转换芯片TLC2543,E2PROM芯片X25045。给出了具体的应用电路。(本文来源于《测控技术》期刊2003年09期）
数据并行存储系统论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
随着社会数字网络信息化进程的不断推进,全球IT企业需要管理的数据量急剧增长.当前大规模数据中心对海量复杂数据管理在扩展性、性能和成本等方面要求的不断提升.为了减缓企业存储容量的增长速度,传统的重复数据删除存储管理技术和方法已无法满足大数据备份应用的服务质量需求,新的软硬件技术进步为大数据管理能力的提升带来机遇.提出了一种面向大数据备份的应用感知并行重删存储系统,它利用新型非易失性存储来提升块索引的并发查询能力,并通过应用层丰富的文件语义信息设计应用感知的数据路由机制.通过实验论证,该并行重删存储系统不仅能实现单个节点内高性能的并行数据重删处理,还能通过横向扩展提升集群数据重删的吞吐量.
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
数据并行存储系统论文参考文献
[1].陈孝文,陈宁,李蕊,张应斌,董卫魏.基于MAPREDUCE并行化处理的用户地址数据规范化存储与管理系统设计[J].电子测试.2019
[2].付印金,胡谷雨,倪桂强,陈卫卫,卢继荣.面向大数据备份的应用感知并行重删存储系统[J].计算机研究与发展.2015
[3].孙伟东,王意洁,裴晓强.基于纠删码的分布式存储系统中针对多数据失效的树型并行修复技术(英文)[J].中国通信.2013
[4].汪芳.分片式流处理器数据并行存储系统的设计与实现[D].中国科学技术大学.2009
[5].詹艳艳.数据采集系统并行存储的实现[J].科技资讯.2009
[6].朱正.数据采集系统并行存储的实现[D].哈尔滨工程大学.2008
[7].张虎,伍卫国,董小社,钱德沛,戴罗庚.按序选取的并行存储系统数据分布方式研究[J].西安交通大学学报.2007
[8].李潇潇.数据并行协处理器存储系统的研究与实现[D].国防科学技术大学.2005
[9].孙丽丽.共享对象存储并行文件系统的元数据管理研究[D].中国科学院研究生院（计算技术研究所）.2005
[10].刘敏林,宋智勇,罗远哲.一个基于并行端口的数据采集、存储及控制系统[J].测控技术.2003
标签：MAPREDUCE并行化处理; 用户地址数据; 规范化存储; 管理系统设计;