导读:本文包含了海量图片存储论文开题报告文献综述及选题提纲参考文献，主要关键词:Hadoop,海量图片,存储优化,分布式处理
海量图片存储论文文献综述
程孝孝[1]（2019）在《基于Hadoop的海量图片存储处理系统研究》一文中研究指出随着计算机视觉与人工智能技术的发展,网络中的图片及视频资源越来越多,海量图片的检索及存储就成为一个重要的现实问题。Hadoop提供的HDFS可以提供可靠的高并发访问,MapReduce计算框架能够并行进行图片的处理,因此对于海量图片的快速存储和处理有巨大帮助。(本文来源于《电脑知识与技术》期刊2019年10期）
蒋园,阳许军[2]（2019）在《基于人脸识别的海量图片的存储和索引优化》一文中研究指出人脸识别是一种根据人类的面部特征来鉴别个体的技术。其中需要通过摄像机获取人脸图像,但在产生大量的小文件过程中,过去的分布式文件系统很难为其提供高性能读写和快速检索。结合FastDFS,Redis以及Mysql来优化图片的存储和索引,将同一摄像机目录下的小图片文件合并成大文件,并在其中建立内部小文件索引,然后将合成的大文件写到FastDFS中生成大文件索引,最后客户端结合小文件索引和大文件索引生成全文索引,并且利用Mysql的持久性存储特点来进行所有文件名和对应全文索引的存储以及利用Redis内存数据库来暂存近一年的文件和读取文件,同时采取提前读的机制来提前预取相邻时间的文件存放到客户端缓存来减少IO的操作。最后通过实验证明写性能平均提高了7.5%,读性能平均提高了5.0%。(本文来源于《计算机技术与发展》期刊2019年03期）
周晓庆,周智勇,高江锦,肖建琼,罗兴贤[3]（2018）在《基于Hadoop的海量图片存储平台的设计与开发》一文中研究指出随着Internet的飞速发展与深入应用,海量图片数据的存取问题显得越发突出,传统存储架构已突显管理效率不高、存储能力不足及成本太高等问题,Hadoop为我们提供了一种新的解决问题的思路,Hadoop可以充分利用集群的威力进行高速运算和存储,但是小文件过多时Hadoop的Name Node将导致内存出现瓶颈问题,使得系统效率变得极为低下。该文提出了一种基于Hadoop的、可对海量图片文件进行高效处理的存储架构,通过预处理模块的归类算法,并引入扩展一级索引机制,能较好地解决海量图片的处理问题,并避免内存瓶颈问题。实验表明,该系统易维护、具有良好的可扩展性,其稳定性、安全性、并发性均有较大改善。(本文来源于《电脑知识与技术》期刊2018年17期）
刘松[4]（2016）在《基于分布式的海量图片数据存储系统的研究与设计》一文中研究指出随着互联网的迅速发展以及信息资源的丰富拓展,各行各业每天都会产生海量的原始数据。其中以图片等形式出现的资源迅速增长,因此怎样来管理和存储这些信息资源变得越来越困难。在信息呈现爆炸式增长的互联网时代下,传统的文件存储方式已不能够满足处理时间和储存空间的要求。高性能的分布式文件系统则成为相关领域研究的热点。本文在分析比较了国内外的分布式文件存储系统之后,选定了FastDFS作为存储系统。FastDFS是一个开源的轻量级分布式文件系统,它解决了大量数据存储和负载均衡等问题。FastDFS的分组方式和文件命名方式的机制使得自身具有轻量级、高扩展性和易用性等优点。FastDFS是基于开源的分布式文件系统,本文针对企业需求量身定制了一款基于分布式的图片数据处理系统。主要做了如下工作:本文的第一个工作是改进了FastDFS分布式文件系统中存储服务器同步机制,由原来的根据binlog定时同步更新优化为上传文件的同时进行文件的同步更新。本文的第二个工作是改进了FastDFS分布式文件系统的负载均衡算法,将考虑因子由总存储空间变成存储空间利用率、连接数和性能叁个因子。实验在叁种情况下进行,一种是仅考虑存储空间利用率的情况,第二种是考虑存储空间利用率和连接数的情况,第叁种是考虑存储空间利用率、连接数和性能的情况。通过实验结果对比叁种情况的负载不均衡度,发现改进后的负载均衡算法比原算法负载均衡效果更佳。本文的第叁个工作是将FastDFS应用于图片数据处理系统中,使得系统对海量文件管理更加高效、有效的检测和消除系统中的重复数据。文章从系统架构的设计与实现等方面介绍了该图片数据系统。通过模拟实际环境测试,该系统能够很好地满足图片数据系统对接受能力、并发处理能力和实时响应能力、高扩展能力等方面的要求。本文改进了FastDFS的同步机制以及改进了FastDFS的负载均衡算法,并将该分布式文件系统应用于图片数据处理系统中。实验结果表明,相比于传统单一的FastDFS文件系统,本文设计的一系列机制能更好的满足企业在多需求、高应用、易扩展等方面的需求。(本文来源于《深圳大学》期刊2016-06-30）
李军[5]（2015）在《面向云平台的海量图片存储系统设计与实现》一文中研究指出随着信息技术的高速发展,具有视频监控、超速抓拍、事故报警、车流量计算和数据存储等功能的公路信息管理系统日趋成熟。视频监控作为公路交通管理的重要组成部分,大量分布在高速公路各个角落。大量视频监控的图片数据,产生的海量高存储问题。因此,提出使用云平台进行海量高速图片进行存储。云平台可以按照功能划分为叁类,以数据存储为中心的云存储平台,以数据计算为中心的云平台和以数据、计算兼顾的云计算平台。本文使用以数据存储和管理为核心的云存储平台解决公路海量图片数据的存储问题。本文针对公路海量图片存储问题,设计并实现一种基于云平台的海量图片储存系统。该系统使用JAVA语言,在Hadoop云计算框架下,采用HDFS作为分布式存文件系统,使用MapReduce和Hbase分别进行分布式计算和图片数据存储,Hive在本系统中作为数据仓储工具,方便Hbase的管理和使用。首先,在绪论中,对本课题的研究背景和意义进行详细论述和说明,总结和分析了当前国内外海量图片存储的最新研究进展,提出本文主要研究内容和组织结构。其次,对本文所使用到的相关技术进行详细介绍和具体分析,方便系统开发和实现。针对海量图片存储问题,使用基于云存储的分块图片分割方法,并对该方法在本系统中的应用从可靠性,传输性能等方面进行了详细说明。而后,针对本课题的具体研究背景和意义,分析系统开发需求,根据需求分析对系统进行了各功能模块的详细设计。最后,根据需求分析和设计,实现了面向云平台的海量图片存储系统。通过使用针对本系统设计的测试用例进行系统功能测试,使用上传和下载图片的方法对系统进行性能测试。测试结果表明,本文设计和实现的系统功能完整,性能良好,可以解决海量图片存储问题。为海量多并发图片存储问题提出一个新的解决思路。(本文来源于《大连海事大学》期刊2015-10-15）
张卫东[6]（2014）在《基于Hadoop的海量图片云存储系统研究与设计》一文中研究指出进入二十一世纪以后，随着互联网的不断发展和互联网技术的深入应用，一些大型的门户网站和电子商务网站迅速发展起来，如淘宝网、京东、亚马逊、新浪等。这些网站图片所占用的资源相当大，且其数量呈爆炸式增长，并且具有高并发访问性。面对海量的图片资源，如何高效的存储以及如何在满足高并发访问的前提下构建高效廉价的存储系统成为软件架构师需要迫切解决的问题。云计算的出现给我们提供了一条思路，通过分析我们可以采用分布式存储系统来解决上述难题。本文通过分析海量图片的存储需求，以及对现有分布式系统的研究，提出了一种基于云计算的海量图片存储模型。该模型部署在Linux机器集群上，以Hadoop中的HDFS为基础，并且通过优化实现了高容错性，并且能够提供可靠的高并发访问。采用新型的数据组织结构，把文件名和物理地址相映射，从而提供了良好读写性。同时采用HA架构，保证系统的可用性。本文的研究内容主要包含以下叁个方面：第一，通过对海量图片存储的需求分析以及对现有分布式系统的研究，提出了基于Hadoop的存储模型。通过采用Master/Slave架构，实现了在廉价的计算机集群上部署系统，并且具有高容错性和扩展性。第二，通过设计缓存系统保证了存储系统的稳定性。通过设计均衡负载，实现了对各个存储节点的优化。第叁，在对图片元数据的存储中采用的是Hadoop的HBase。通过对图片文件名的重新设计，使得同一类型的图片所存储的物理地址尽可能的靠近，从而提高了查询的效率。本文研究的存储系统在Linux服务器上进行了系统的搭建，通过一系列的测试所得的数据分析了系统的合理性和可行性，并且验证了文中所提方法的有效性和实用性。(本文来源于《中国海洋大学》期刊2014-05-22）
孙有军,张大兴[7]（2014）在《海量图片文件存储去重技术研究》一文中研究指出提出一种基于分布式数据库与分布式文件系统相结合的海量图片文件存储去重技术。该技术通过提取图片文件二进制流的特征段计算文件MD5码签名,依据签名对图片文件进行存储去重。结合实验数据分析验证该技术不仅能够准确地去重图片,有较高的删除率,且经对比得到该技术在计算签名时间、上传速度等方面均优于文件级去重和块级去重技术,是对海量图片数据存储的一种优化。同时针对该技术的不足提出了改进方案。(本文来源于《计算机应用与软件》期刊2014年04期）
朱晓丽,赵志刚[8]（2013）在《一种基于HBase的海量图片存储技术》一文中研究指出针对海量图片存储,已有若干个基于Hadoop的方案被设计出来。这些方案在系统层小文件合并、全局名字空间以及通用性方面存在不足。本文基于HBase提出了一种海量图片存储技术,成功解决了上述问题。本文将介绍基于HBase海量图片存储技术方案,分析其原理及优势,该方案在城市交通监控中得到应用验证。(本文来源于《信息系统工程》期刊2013年08期）
姚书科,张韧志[9]（2012）在《基于云计算的海量图片存储管理系统研究》一文中研究指出随着网络信息容量的膨胀,如何高效地存储和管理海量图片数据,传统的数据管理技术难以满足这些应用所提出的对数据管理的需求。针对云计算应用的特点和需求,借鉴传统数据管理技术的理念,提出了一种基于CouchDB的高可扩展、高可靠的海量图片存储管理系统。系统采用分布式文件系统、分布式数据库等技术,支持海量数据存储、资源目录和交换体系以及并行程序处理,可提供从数据到处理功能的一体化服务。实验证明,本系统具有可行性,能满足空间信息服务的多种需求。(本文来源于《电子设计工程》期刊2012年11期）
张路[10]（2012）在《基于云计算平台的海量图片存储系统设计与实现》一文中研究指出全球数据信息量快速增长,海量数据时代正在来临。类似Facebook、淘宝等社交类和在线商城类互联网企业,随着用户量和业务的发展,企业存储系统中的图片数量呈指数级增长,如何有效的存储和管理这些海量数据成为企业面临的巨大挑战。在海量数据信息时代,传统的存储架构存在扩展性较差的缺点,在用户数量及服务性能需求提高时,就只能依靠添加高端存储设备来暂时的解决问题,这样下去,存储环境会变得越来越复杂,不但没有从根本上解决海量数据存储带来的挑战,反而提高了企业管理和运营的成本。本文以个人和企业的图片数据快速增长为背景,介绍了个人和国内外企业面对的海量数据存储挑战。在此基础上设计和实现了基于云计算平台的海量图片存储系统。该系统需要解决的若干关键问题包括：架构的高可扩展性和高可靠性、图片元数据存储和管理、图片文件存储算法和图片缓存设计等。本系统由五个主要模块构成,即：图片元数据模块、图片存储模块、图片缓存模块、负载均衡模块和Web Services模块。最后对系统的上传、更新、查询和删除模块进行了功能测试同时对系统的上传图片和读取图片模块进行了性能测试。(本文来源于《北京邮电大学》期刊2012-01-04）
海量图片存储论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
人脸识别是一种根据人类的面部特征来鉴别个体的技术。其中需要通过摄像机获取人脸图像,但在产生大量的小文件过程中,过去的分布式文件系统很难为其提供高性能读写和快速检索。结合FastDFS,Redis以及Mysql来优化图片的存储和索引,将同一摄像机目录下的小图片文件合并成大文件,并在其中建立内部小文件索引,然后将合成的大文件写到FastDFS中生成大文件索引,最后客户端结合小文件索引和大文件索引生成全文索引,并且利用Mysql的持久性存储特点来进行所有文件名和对应全文索引的存储以及利用Redis内存数据库来暂存近一年的文件和读取文件,同时采取提前读的机制来提前预取相邻时间的文件存放到客户端缓存来减少IO的操作。最后通过实验证明写性能平均提高了7.5%,读性能平均提高了5.0%。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
海量图片存储论文参考文献
[1].程孝孝.基于Hadoop的海量图片存储处理系统研究[J].电脑知识与技术.2019
[2].蒋园,阳许军.基于人脸识别的海量图片的存储和索引优化[J].计算机技术与发展.2019
[3].周晓庆,周智勇,高江锦,肖建琼,罗兴贤.基于Hadoop的海量图片存储平台的设计与开发[J].电脑知识与技术.2018
[4].刘松.基于分布式的海量图片数据存储系统的研究与设计[D].深圳大学.2016
[5].李军.面向云平台的海量图片存储系统设计与实现[D].大连海事大学.2015
[6].张卫东.基于Hadoop的海量图片云存储系统研究与设计[D].中国海洋大学.2014
[7].孙有军,张大兴.海量图片文件存储去重技术研究[J].计算机应用与软件.2014
[8].朱晓丽,赵志刚.一种基于HBase的海量图片存储技术[J].信息系统工程.2013
[9].姚书科,张韧志.基于云计算的海量图片存储管理系统研究[J].电子设计工程.2012
[10].张路.基于云计算平台的海量图片存储系统设计与实现[D].北京邮电大学.2012