基于对象存储系统论文-陈淡

基于对象存储系统论文-陈淡

导读:本文包含了基于对象存储系统论文开题报告文献综述及选题提纲参考文献,主要关键词:智能合约,区块链,可信存证,数据访问控制

基于对象存储系统论文文献综述

陈淡[1](2019)在《一种基于区块链的对象存储系统可信存证与访问控制机制》一文中研究指出近年来,随着加密货币的兴起,作为加密货币底层关键技术的区块链也得到了广泛的关注,区块链去中心化、过程透明、数据不可篡改的特性为许多传统技术架构下难以解决的问题提供了新的技术思路。另一方面,对象存储在企业级系统中得到了广泛的使用,然而,虽然它解决了复杂对象的存储问题,但其所存储的数据依然存在潜在的伪造、被篡改等安全风险,难以形成可信的存证;同时,现有的数据授权往往采用集中化管理的方式,信息不透明且容易遭受黑客攻击,导致数据信息泄露,并且在现实业务环境中,不同组织之间进行文件存取的流程繁琐且耗时,极大地阻碍了业务系统流程自动化的发展。本文将区块链技术与对象存储系统相结合,对于需要存储与共享的数据,可以借助区块链来防止数据篡改,同时也能为系统之间的业务流程自动化开辟新的方式,不需要建立昂贵的集中式IT基础设施即可在数据访问权限公开透明基础上让各方系统安全、方便地进行取数操作。本文在研究智能合约以及对象存储系统的基础上,主要进行了以下叁个方面的工作:1)将存储对象的摘要信息通过智能合约存储到链上,形成可信的存储凭证,原始对象内容存储到对象存储系统中,实现非可信环境下对象存储的可信数据存证;2)通过智能合约来维护存储对象的访问权限控制信息,在提升权限管理安全性的同时简化了现实环境中不同组织机构之间进行数据存取的流程;3)基于Hyperledger Fabric联盟链实现了本文所提出方案的原型系统并对其进行了测试,验证了本文方案可应用于实际的商业系统中。最后,本文使用亚马逊S3的标准化对象存储API,借助Java的切面编程技术,在避免修改S3 SDK的基础上实现文件对象上传与下载过程中将摘要、访问权限控制信息自动上链的操作。实验结果表明,本文提供的机制能够在非可信环境下实现可信的数据存证以及数据访问控制。(本文来源于《华南理工大学》期刊2019-04-15)

王春琦[2](2019)在《一个对象存储系统的设计与实现》一文中研究指出大数据时代,数据的产生呈现指数增长,而且多数是非结构化的数据。相较于文件存储,对象存储克服了其读写速度慢的劣势,相较于块存储弥补了其不利于共享的缺点,将两者的优点结合起来对象存储应运而生。可以说,对象存储是下一代存储技术的标杆。在对象存储系统内,没有“目录”的概念。所有对象都在一个平面内统一管理。每个对象都有唯一的标识符,应用可以依据此检索到对象的完整或局部数据,亦或是操作此对象。数据流与控制流相分离,分别由对象存储设备和元数据服务器负责。在编程接口方面,一般不采用基于POSIX的文件系统接口,而是采用基于RESTful语义的专用API接口。在本论文中,主要是在深入分析现有对象存储API的基础上,为分布式文件系统提供对象存储支持,来扩大文件系统的适应性。使对象存储API与现有API相互兼容,减少运维开销。首先,构建了对象存储系统的基本框架,划分了叁个基本模块:核心模块、RESTful模块和公共组件模块,确立了每个模块的具体分工,通过合理的模块划分降低各个模块之间的耦合程度,为后期性能调优做好必要的准备工作;其次,设计了对象存储服务文件的寻址机制,与API层面的扁平组织对象方式不同,采用了结合哈希的物理文件寻址机制,使系统具有了优良的可扩展性;然后,设计了元数据的存储模式,本文中采用关系型数据库集中存储元数据,当然,以后可以设置在一个集群服务器中,来解决单点故障带来的可靠性和安全性问题;最后,实现了访问Bucket和Object所需要的基本的API函数,并进行了功能测试与分析评价。(本文来源于《兰州大学》期刊2019-03-01)

冷迪[3](2018)在《一种基于哈希散列技术进行文件对象存储和检索的方法——---海量文件系统数据访问和检索性能加速研究》一文中研究指出本文基于哈希散列技术提出了一种用于在文件系统内生成子目录散列槽,且通过唯一标识符标志每个子目录散列槽并在文件系统内快速接收文件,文件名散列以生成散列值,以提升主流文件系统的单个子目录所能支持的文件数量级,并且加快海量文件条件下的文件检索和读写。(本文来源于《中国新通信》期刊2018年23期)

王强,覃遵颖,崔靖茹,折波,李国栋[4](2018)在《基于分布式对象存储的超融合常态录播系统》一文中研究指出随着在线教育热度的持续上升,常态化录播系统获得越来越多的关注。在大规模视频场景下,传统常态录播系统面临着可扩展性差、容错性差、视频检索以及分享困难的问题。设计实现了一套超融合架构常态录播系统,利用分布式对象存储的高可扩展性和高可靠性的特点,实现视频的稳定采集、可靠存储以及安全便捷的访问。实验结果表明,3台通用x86服务器组成的超融合集群,在满足读写时延需求的情况下,可以支撑600路2 Mbit/s码流视频并发写和4000路2 Mbit/s码流并发读。所设计的超融合架构录播系统目前已经应用在西安交通大学智能教室建设项目中,实现394间智能教室的常态化录播。(本文来源于《通信学报》期刊2018年S1期)

张亮[5](2018)在《分布式对象存储/文件系统的数据同步》一文中研究指出提出了分布式对象存储/文件系统跨数据中心的数据同步以及跨数据中心数据访问的解决方案,包括解析访问请求、获取请求路由、基于路由信息选择底层存储域、基于路由处理对象读取操作。(本文来源于《数字中国 能源互联——2018电力行业信息化年会论文集》期刊2018-09-15)

公丕金,吕从民,宫永生[6](2019)在《面向空间应用的数据对象存储与检索系统研究》一文中研究指出针对当前标准对象存储系统的数据对象属性存储和检索方面的不足,结合空间应用数据对象特点,进行了对象属性设计,提出了一种基于HBase数据库的属性管理方法。该方法利用HBase数据库对数据对象及其属性进行集中管理,同时采用分段散列索引实现利用对象属性快速检索对象数据。测试结果表明,基于HBase数据库对象管理方法性能优于现有的属性管理方法,具有较高的对象属性检索效率。(本文来源于《计算机应用研究》期刊2019年03期)

吴林[7](2018)在《基于异构存储设备的分布式对象存储系统优化研究》一文中研究指出随着电子图书、电商、医疗大数据、基因工程、高性能计算、虚拟/增强现实、流媒体等应用的发展和普及,数字资源近年来出现大规模增长,这些信息的存储和处理对底层存储系统的容量、性能、可靠性和可扩展性要求越来越高。传统基于磁盘的中心化存储系统不能有效解决大数据应用的可扩展性问题。因为磁盘的容量、体积和功耗都会成为制约系统扩展的瓶颈。近年来快速发展的新型存储介质,比如非易失性内存、闪存和归档硬盘,具有高密度、低时延和低功耗的诸多优点,构建基于混合介质的异构分布式对象存储系统成为降低数据中心成本的有效方法。这些新介质的引入会对传统的存储结构带来新的挑战,主要表现为传统的系统软件和应用程序的设计思想需要及时调整,以适应新介质的特征。为此,本文首先分析了基于非易失性存储器的混合介质对象存储系统的基本架构和研究热点,基于这些研究背景,本文从分布式对象存储系统中非易失性内存的管理策略、分布式对象存储系统的数据分配算法和对象存储系统中基于MapReduce计算框架的数据放置策略出发,研究基于混合介质的对象存储系统的优化方法。本文的主要研究内容如下:(1)混合介质的对象存储系统中非易失性内存的管理策略。在部署了非易失性内存的单节点上,本文设计了新的内存管理方案,用于提高基于非易失性内存的文件系统的磨损均衡效果,从而提升非易失性内存设备的使用寿命。该方法的基本思想是在每次分配内存页面的时候都优先选取写次数较少的内存页,并通过DRAM与非易失性内存结合的方法建立索引结构,加速查找操作。(2)基于混合介质的对象存储系统数据分布算法研究。传统基于哈希(Hash)的数据分配策略可以保证数据均匀分布到不同类型的存储设备,但是这些算法的缺点是都没有考虑存储设备的异构特性。例如,闪存和非易失性内存的擦写次数有限,使用寿命比普通的磁盘短,因此不适合存储写密集型的数据对象。为此,本文设计了新的数据分布算法,旨在充分考虑存储设备的异构特征以及系统的可靠性、稳定性、可扩展性的前提下保证读写性能和减少对非易失性存储器的写操作。该算法的核心思想是利用偏向哈希(Biased Hashing),根据数据对象的特点,动态选择合适的存储设备,解决传统均匀哈希算法在异构存储系统的问题。(3)基于异构环境的MapReduce框架数据分配策略的研究。在基于混合介质的对象存储系统中MapReduce数据分配策略方面,本文发现由于异构设备而使得Map/Reduce任务执行时间不同,本文基于Ceph架构,设计了新的数据放置算法,考虑集群间的负载均衡和异构特征,使得工作负载的执行时间最短。本文还通过实验验证了所提出的叁种优化方法的有效性。实验结果表明,这些优化工作能显着提升非易失性存储器的使用寿命,并能在保证系统负载均衡的前提下达到最小化应用执行时间的目的。(本文来源于《重庆大学》期刊2018-04-01)

付波文[8](2018)在《IStore:一种多策略的去中心化对象存储系统》一文中研究指出数据存储是各种应用的基础。随着数据量的增长和用户对存储的扩展性、安全性、可用性、可持续性等需求的提高,传统的存储技术已无法满足这些要求。近年来分布式存储技术将数据分布在整个网络上,可以消除单节点故障,提高了数据访问的带宽,受到了越来越多的重视,GFS、TFS、Swift、Ceph等分布式系统也在实践中被广泛应用。分布式存储系统主要的难点在于如何在不可靠的分布式网络中保持元数据、数据的一致性。如Ceph使用元数据服务器和存储服务器分离的方案,应用Paxos算法来实现一致性,这些方案对存储服务器的状态监测、维持提出了较高的要求。针对此问题,本文提出一种多策略的去中心化对象存储系统,其主要思想是应用分布式哈希表(DHT)技术构造一个基本的内容寻址的对象存储系统,该基本存储系统实现对授权用户的数据(对象)的存储、提取和删除等基本服务。在此基础上,用户可根据不同需要,选择多种存储策略来实现不同服务质量要求(QoS)的存储,如为了可靠性和高性能,可采用多副本存储策略,如为了安全性,可采用分块存储策略。这种方法的好处在于存储节点简单,只需要实现P2P网络和对象存储的基本功能,而可靠性、安全性以及数据的同步由使用者维护。本文的主要内容包括:(1)本文提出了一种基于P2P网络的分布式对象存储系统模型,系统的实现原理是分布式哈希表chord,节点与节点互联成P2P网络,提供路由查找的功能,节点提供对象存储,在节点里存放着一个个对象。(2)提出基于P2P网络的多种存储策略,在客户端页面设置存储策略选项,用户上传文件时,根据需要进行选择。存储策略有不分块无副本、叁副本存储策略、二等分存储策略、二等分二副本策略、纠删码存储策略,用户选择相应的选项,系统选择对应的策略存储文件。这种设计不仅提高文件的可靠性和安全性,而且降低系统的复杂度。在不分块无副本基础之上,其他策略都应用了并行传输,多副本同时传输和文件块同时传输,有效提升了系统的性能。(3)最后设计了系统的原型,原型具有文件管理模块,用户管理模块,网络管理模块,节点管理模块。系统具有文件上传,文件下载,文件删除功能。对系统进行测试,测试系统性能,测算出不同策略的上传下载的时间,文件分块的传输速度比不分块快,文件副本的传输速度比无副本速度慢。系统可靠性测试,测算出不同策略的文件查找成功率,文件分块的成功率比不分块低,文件副本比无副本成功率高。(本文来源于《浙江工商大学》期刊2018-01-01)

胡豆豆,罗飞,张园[9](2017)在《对象存储系统的自动化管理技术》一文中研究指出物联网视频监控领域中的对象存储系统不仅轻松突破了传统存储系统SAN的性能瓶颈,而且可以实现性能与容量的线性扩展;然而,对象存储系统资源的远程管理成为困扰管理者的一个问题。针对该问题,研究能够实现对象存储集群的自动化管理的方法和相关技术,提高存储集群的使用效率。该自动化管理系统功能主要包括:集群组件的远程启动、停止、重启;运行状态监测;集群扩张和日志查看及存储等功能。基于Ceph对象存储集群,实现了面向Web应用服务平台的存储集群自动化管理系统,最终有效地对对象存储系统进行监视和管理,并能够自动化扩展集群的节点和存储容量。(本文来源于《电信科学》期刊2017年11期)

陈曦,朱建涛,何晓斌[10](2017)在《一种面向高性能计算的分布式对象存储系统》一文中研究指出现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题,严重限制了系统性能。为此,借鉴对象存储思想,设计面向高性能计算的分布式对象存储系统。分离数据访问和数据管理,实现更精简高效的访问语义,同时采用分布式全局对象数据组织方式,运用基于内存的元数据管理方法提升系统性能。实验结果表明,在大规模并发访问时,该系统的读/写聚合带宽相比Lustre系统分别提升22.5%和50.4%,文件创建、删除性能分别达到Lustre系统的2.15倍和5.13倍。此外,该系统还具有拟线性的数据读/写和元数据管理功能,可扩展性较好。(本文来源于《计算机工程》期刊2017年08期)

基于对象存储系统论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

大数据时代,数据的产生呈现指数增长,而且多数是非结构化的数据。相较于文件存储,对象存储克服了其读写速度慢的劣势,相较于块存储弥补了其不利于共享的缺点,将两者的优点结合起来对象存储应运而生。可以说,对象存储是下一代存储技术的标杆。在对象存储系统内,没有“目录”的概念。所有对象都在一个平面内统一管理。每个对象都有唯一的标识符,应用可以依据此检索到对象的完整或局部数据,亦或是操作此对象。数据流与控制流相分离,分别由对象存储设备和元数据服务器负责。在编程接口方面,一般不采用基于POSIX的文件系统接口,而是采用基于RESTful语义的专用API接口。在本论文中,主要是在深入分析现有对象存储API的基础上,为分布式文件系统提供对象存储支持,来扩大文件系统的适应性。使对象存储API与现有API相互兼容,减少运维开销。首先,构建了对象存储系统的基本框架,划分了叁个基本模块:核心模块、RESTful模块和公共组件模块,确立了每个模块的具体分工,通过合理的模块划分降低各个模块之间的耦合程度,为后期性能调优做好必要的准备工作;其次,设计了对象存储服务文件的寻址机制,与API层面的扁平组织对象方式不同,采用了结合哈希的物理文件寻址机制,使系统具有了优良的可扩展性;然后,设计了元数据的存储模式,本文中采用关系型数据库集中存储元数据,当然,以后可以设置在一个集群服务器中,来解决单点故障带来的可靠性和安全性问题;最后,实现了访问Bucket和Object所需要的基本的API函数,并进行了功能测试与分析评价。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

基于对象存储系统论文参考文献

[1].陈淡.一种基于区块链的对象存储系统可信存证与访问控制机制[D].华南理工大学.2019

[2].王春琦.一个对象存储系统的设计与实现[D].兰州大学.2019

[3].冷迪.一种基于哈希散列技术进行文件对象存储和检索的方法——---海量文件系统数据访问和检索性能加速研究[J].中国新通信.2018

[4].王强,覃遵颖,崔靖茹,折波,李国栋.基于分布式对象存储的超融合常态录播系统[J].通信学报.2018

[5].张亮.分布式对象存储/文件系统的数据同步[C].数字中国能源互联——2018电力行业信息化年会论文集.2018

[6].公丕金,吕从民,宫永生.面向空间应用的数据对象存储与检索系统研究[J].计算机应用研究.2019

[7].吴林.基于异构存储设备的分布式对象存储系统优化研究[D].重庆大学.2018

[8].付波文.IStore:一种多策略的去中心化对象存储系统[D].浙江工商大学.2018

[9].胡豆豆,罗飞,张园.对象存储系统的自动化管理技术[J].电信科学.2017

[10].陈曦,朱建涛,何晓斌.一种面向高性能计算的分布式对象存储系统[J].计算机工程.2017

标签:;  ;  ;  ;  

基于对象存储系统论文-陈淡
下载Doc文档

猜你喜欢