导读:本文包含了并行存储论文开题报告文献综述及选题提纲参考文献,主要关键词:大数据特征集,并行存储,MMSE算法,Hash索引
并行存储论文文献综述
李蓉蓉[1](2019)在《加密环境下大数据特征集并行存储方法研究》一文中研究指出针对传统方法存在数据存储速度慢,容量小的问题,提出一种加密环境下大数据特征集并行存储方法。采用MMSE算法对大数据特征集进行优化处理,以获得并行的大数据特征集。在加密环境下,当内存中保留数据记录达到一定数量时,在并行处理后的数据中插入批量Hash索引。以此为基础,基于Map函数对数据进行映射处理,进而完成对大数据特征集的并行存储。实验结果表明,利用所提方法的存储过程中数据分布通道具有较好的一致性,且存储速度约为传统方法的3倍,存储容量大。(本文来源于《现代电子技术》期刊2019年18期)
陈章,安君帅,王本庆[2](2019)在《一种基于共用存储空间的FPGA的QC-LDPC码并行译码架构》一文中研究指出针对QC-LDPC码并行译码FPGA实现结构复杂、资源消耗大等不足,文章提出一种中间计算变量的共用FPGA存储资源的QC-LDPC码并行译码架构,此架构通过两个交织单元,使得变量更新节点和校验更新节点的结构使用同一个存储资源,该架构具有控制简单、效率高和存储需求量低等优点,适用于高速卫星、地面等通信系统接收机中。(本文来源于《无线互联科技》期刊2019年17期)
于盛[3](2019)在《地震资料处理中的并行存储技术研究与应用》一文中研究指出随着并行计算机、高性能集群技术以及GPU等硬件的快速发展,逆时偏移的研究得到了快速发展,在石油勘探领域,普遍以逆时偏移技术为基础,通过GPU和集群技术来增强整个平台的计算能力;如何构建一个高性能、高可用的存储平台来满足逆时偏移计算平台变得非常重要,因此,我们需要根据逆时偏移技术算法特点,开展逆时偏移高性能集群并行存储技术研究,对目前的存储系统进行定制开发,使存储系统能够更高效地满足石油勘探计算平台需求,使文件系统可以做到在保证数据安全的前提下在线扩容以及在线更换(本文来源于《电脑知识与技术》期刊2019年21期)
李壮[4](2019)在《基于分布式存储的大规模场景并行光路追踪方法》一文中研究指出数字创意产业是现代信息技术与文化创意、设计服务逐渐融合后的新兴经济形态,被国家列为重点培育的五大战略性新兴产业之一。图像渲染是数字创意产业的关键支撑技术之一,也是最耗时的环节。真实感渲染由于需要处理复杂的光照模型,渲染一幅图片需要数小时的时间,而完成一部动漫作品的时间将达到千万小时。随着产业的发展,用于渲染的场景的复杂度越来越高,渲染结果要求的精细度也在提高。如何充分利用现有的数字仿真成果和计算机的计算能力,更好更快地得到渲染结果,已经成为高度真实感渲染领域的迫切需求。超级计算机是具有远超个人电脑计算能力的一种计算机,超级计算机已经广泛应用于需要大量计算的科研、国防和商业领域。利用超级计算机对渲染应用进行并行加速,是一个研究方向,由于渲染计算兼具计算量高数据量大的特点,在超级计算机上进行渲染研究也具有很大的挑战。本文的研究和开发就是在神威·太湖之光超级计算机上进行的。高真实感的渲染结果和宏大的视觉效果,对场景建模精度和场景规模的要求也在提高。光路追踪算法需要将场景数据全部加载到内存才能进行光线和场景中物体的求交检测,日益增长的模型复杂度对实现高效可扩展的光路追踪算法带来挑战。为解决这一问题,基于内外存调度的光路追踪和基于分布式内存的光路追踪方法被提出。其中,内外存调度通过将绘制要用到的局部数据从外存加载到内存,通过内外存数据交换来实现复杂模型的渲染,存在数据局部性和存储层次传输带宽的瓶颈,扩展性不足;分布式内存光路追踪方法通过将场景数据分布式存储到不同节点的内存,从而实现大规模场景的绘制。这两类方法目标均是在提高计算资源的利用率的同时,提升数据的局部化,从而提高并行效率。目前,如何在减少数据获取开销的同时,保证光线计算任务的负载均衡,依然是一个具有挑战的问题。本文基于神威·太湖之光高性能计算机,提出基于分布式内存系统的大规模场景并行光路追踪方法,通过高效的场景划分方式,将场景的几何数据分散到多个节点进行存储,并基于分布式存储场景实现并行光照计算。本文提出四种场景划分和分布式存储发方法,包括场景随机化划分和存储方法、基于场景几何对象大小的均衡场景划分的存储方法、基于莫顿码的场景分散划分和存储方法、基于莫顿码的场景集中划分和存储方法,并比较了四种分布式存储场景的光路追踪并行效率。此外,本文利用非阻塞通信和双缓冲策略对各个节点间的通信进行了优化,从而在保证光路追踪算法强扩展性的同时,提升算法弱扩展性。实验结果表明,本文方法可以有效渲染100GB以上的超大规模场景,在30万核下,相对于5万核,程序整体的并行效率可达50%以上。四种划分存储方法中,基于莫顿码的场景集中划分和存储方法光路追踪用时最少,基于文件大小的划分存储方法读取文件和建树所用时间最少。本文的方法在场景数据规模和光线计算任务并行两方面,都具有良好的扩展性。本文的创新主要是将莫顿编码与几何模型划分相结合,提出基于莫顿码的场景几何集中划分方法,提升了构建的KD的质量,减少了光路追踪求交计算的时间。(本文来源于《山东大学》期刊2019-05-20)
陈璟锟,杜云飞[5](2019)在《地球科学大规模并行应用的重迭存储优化》一文中研究指出存储是地球科学类软件的重要组成部分,周期性输出中间态和检查点会带来大量的访存操作,不恰当的访存设计会严重影响软件在大规模计算时的性能表现.针对地球科学类软件的存储问题,从软件层面提出一个重迭存储优化方法,通过设置额外的I/O进程隐藏输出过程.该重迭存储优化主要有3个优势:1)将输出和计算操作重迭在一起,实现了输出的重迭化和隐藏化;2)抑制了收集通信的开销,突破了收集操作的通信带宽瓶颈和内存限制;3)能容易地使用各种高级并行输出库函数.利用重迭存储优化了天河二号上的WRF,ROMS_AGRIF,GRAPES,并完成了性能测试.结果表明:经过存储优化后,程序的峰值性能都获得了显着的提升.还讨论了在固定总进程数下,计算进程和I/O进程数的最佳比例是多少.优化后的程序与原版相比,模式专家只需要在配置文件额外设置2个新变量即可使用,十分易于学习.(本文来源于《计算机研究与发展》期刊2019年04期)
李宗凌,汪路元,禹霁阳,程博文,郝梁[6](2019)在《基于多并行计算和存储的CNN加速器》一文中研究指出根据深度卷积神经网络(CNN)前向推理结构特点,设计了基于多并行计算和存储的深度卷积神经网络加速器,从运算效率与数据重用两个角度分析了卷积运算的并行特征,并研究了全连接层的全并行流水实现方式。该加速器采用并行流水结构提升计算效率,在卷积层运算中,充分利用多种卷积运算并行架构平衡运算效率与参数及数据载入带宽的需求,通过叁种加速方式实现卷积层内全流水加速;在全连接层运算中,将乘累加运算设计成全流水处理架构,流水延时不超过20个处理时钟,并通过并行计算实现16倍加速。在基于ImageNet公开数据集验证实验中,该加速器每周期最多运行2 304次乘累加运算,在150 MHz的工作频率下,峰值运算速率达到691.2 Gops,能效比为i7-6700-CPU的2 700倍以上,为GTX-1050-GPU的290倍以上。该加速器在硬件资源、计算精度、速度以及功耗等多方面达到良好平衡,便于在星载嵌入式环境应用。(本文来源于《计算机技术与发展》期刊2019年07期)
张俊,马迅飞,张进铎,李华松,向光阳[7](2019)在《海量数据的分布式并行集群存储技术研究与应用》一文中研究指出大数据带来的海量存储压力在不同场景下催生了不同的分布式存储技术,而现代存储技术正在向分布式、大规模集群化的方向发展。论文介绍了传统的DAS、NAS和SAN存储架构,并指出各种架构的技术优势与不足。论文提出了一种新的分布式并行集群存储架构,详细论述了新的分布式存储架构的技术优势;该项技术已用于实际生产中,并取得了令人满意的效果。(本文来源于《信息系统工程》期刊2019年02期)
陈孝文,陈宁,李蕊,张应斌,董卫魏[8](2019)在《基于MAPREDUCE并行化处理的用户地址数据规范化存储与管理系统设计》一文中研究指出电网用户规模庞大,由于历史原因,对其地址数据进行存储和管理难度较大,目前用户地址数据规范化程度较低。针对这一问题,本次研究将基于MAPREDUCE并行处理机制,探讨用户地质数据规范化存储方法,解决其中的关键技术问题,并给出用户地质数据规范化存储管理系统的设计方案。(本文来源于《电子测试》期刊2019年02期)
袁亚鹏,倪伟,郑强强,张多利,宋宇鲲[9](2018)在《基于RAM存储阵列的并行多通道FIFO设计》一文中研究指出FPGA中Block RAM的块状特性决定了具有读写位宽转换功能的异步FIFO容易存在存储资源浪费.针对这个现象,本文提出一种基于存储阵列的新型并行FIFO结构——多通道FIFO共享多RAM(Multi-channelFIFO sharing Multiple RAM,MFMR).与通用FIFO IP相比,MFMR以仅增加少量通用Slice资源为代价,大幅度降低专有Block RAM(BRAM)存储资源消耗,成倍提升存储资源空间有效利用率,最大可达通用FIFO IP资源利用率的N倍,其中N=max(α,1/α),α是FIFO读位宽与写位宽的比值。(本文来源于《微电子学与计算机》期刊2018年12期)
金宇,江平[10](2018)在《非关系型数据库激光点云数据并行存储模型》一文中研究指出为了解决大量激光点云数据的存储问题,需要对激光点云数据存储模型进行研究,针对当前存储模型存在的扩展性差、存储效率慢和抗干扰性差的问题。提出一种非关系型数据库激光点云数据并行存储模型,将非关系型数据库中的激光点云数据分为特征信息丰富的区域和平坦区域,对划分好特征类型的激光点云数据做并行去噪处理,采用中值滤波去噪算法去除激光点云数据特征较少的平坦区域,采用双边滤波方法去除激光点云数据特征丰富的区域。基于马尔可夫决策以各路径的大小为依据,选择出多条激光点云数据的传输路径,将并行处理后的激光点云数据传输到数据库中,完成激光点云数据的并行存储。实验结果表明,所提模型的平均扩展系数可达到4. 95,验证所提模型扩展性好、存储效率快、抗干扰性能强。(本文来源于《激光杂志》期刊2018年11期)
并行存储论文开题报告
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
针对QC-LDPC码并行译码FPGA实现结构复杂、资源消耗大等不足,文章提出一种中间计算变量的共用FPGA存储资源的QC-LDPC码并行译码架构,此架构通过两个交织单元,使得变量更新节点和校验更新节点的结构使用同一个存储资源,该架构具有控制简单、效率高和存储需求量低等优点,适用于高速卫星、地面等通信系统接收机中。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
并行存储论文参考文献
[1].李蓉蓉.加密环境下大数据特征集并行存储方法研究[J].现代电子技术.2019
[2].陈章,安君帅,王本庆.一种基于共用存储空间的FPGA的QC-LDPC码并行译码架构[J].无线互联科技.2019
[3].于盛.地震资料处理中的并行存储技术研究与应用[J].电脑知识与技术.2019
[4].李壮.基于分布式存储的大规模场景并行光路追踪方法[D].山东大学.2019
[5].陈璟锟,杜云飞.地球科学大规模并行应用的重迭存储优化[J].计算机研究与发展.2019
[6].李宗凌,汪路元,禹霁阳,程博文,郝梁.基于多并行计算和存储的CNN加速器[J].计算机技术与发展.2019
[7].张俊,马迅飞,张进铎,李华松,向光阳.海量数据的分布式并行集群存储技术研究与应用[J].信息系统工程.2019
[8].陈孝文,陈宁,李蕊,张应斌,董卫魏.基于MAPREDUCE并行化处理的用户地址数据规范化存储与管理系统设计[J].电子测试.2019
[9].袁亚鹏,倪伟,郑强强,张多利,宋宇鲲.基于RAM存储阵列的并行多通道FIFO设计[J].微电子学与计算机.2018
[10].金宇,江平.非关系型数据库激光点云数据并行存储模型[J].激光杂志.2018