导读:本文包含了混合文件系统论文开题报告文献综述及选题提纲参考文献，主要关键词:Ceph,云存储,文件系统,层次分析法
混合文件系统论文文献综述
刘辉勇,王勇,俸皓[1]（2018）在《Ceph云存储中基于混合文件系统的读写性能优化方法》一文中研究指出针对Ceph云存储底层OSD节点使用不同单一文件系统会造成集群在读、写不同大小文件性能上的较大差异这一问题,本文提出一种在Ceph集群中混合使用文件系统方法来优化集群读、写性能.通过采用层次分析法综合考虑不同文件系统在读、写不同大小文件时候各自的优势,构造层次结构模型,给出每个层次的判断矩阵并进行一致性检验,通过求解判断矩阵最大特征值对应的归一化特征向量,最后确定了底层OSD节点使用不同文件系统的比例.在真实环境中对所提出的方法进行实验测试,结果表明所提出的方法能够较好的改善当前Ceph集群使用单一文件系统带来的不足,优化了集群读、写不同大小文件速度性能.(本文来源于《微电子学与计算机》期刊2018年05期）
刘宁倩[2]（2018）在《NVM文件系统混合日志机制研究》一文中研究指出随着非易失性内存技术(Non-Volatile Memory,NVM)快速发展,基于非易失性内存的文件系统成为当前的研究热点,其中如何保证文件系统的一致性是非常重要的研究内容。现有的NVM文件系统都有其各自的一致性保障机制,但也存在某些不足之处,对系统性能造成了一定的影响。除此之外,大部分NVM文件系统都只提供了文件系统级别的一致性保护,没有提供应用程序级别的数据一致性保护,从而导致应用程序必须设计自己的一致性保障机制,冗余的一致性保障机制对上层应用的性能有很大的影响。针对上述问题,提出了基于NVM文件系统的混合日志机制(Hybrid Logging Mechanism,HLM),为文件系统元数据和数据均提供了一致性保证。首先,HLM根据元数据和数据的不同更新特性以及undo日志和redo日志的主要开销,解耦了元数据和数据,对元数据和数据分别采取不同的日志机制,平衡了undo日志的数据拷贝开销和redo日志的日志索引开销;其次,设计了由B树和链表构成的二级日志索引结构,降低了读数据时的日志查询开销;此外,设计了最优并行checkpoint过程,充分利用系统空闲时间并行进行多个数据块的checkpoint,对每个数据块的checkpoint过程采取优化策略最小化数据刷新量;最后,把事务功能模块抽象成了编程接口,以系统调用的形式提供给上层应用程序使用,提供了应用程序级别的数据一致性保护,消除了应用程序中冗余的一致性保障机制。实验测试结果表明,混合日志机制在同时保证文件系统的元数据和数据一致性的基础上,能够提高文件系统的事务吞吐率,相对于PMFS和NOVA分别提高了63.4%和76.3%。(本文来源于《华中科技大学》期刊2018-05-01）
焦冰[3]（2018）在《面向节能与可靠性的混合文件系统的研究与设计》一文中研究指出目前,数据中心存储容量逐年增加,能耗消耗也在逐年提高。虽然对于节能存储研究也一直在继续,但是节能存储技术仍然面临着许多问题。首先,能量节省与可靠性的对立面难以打破;其次,在节能的同时保证系统的可靠性也是一个研究难点。本文通过对现有技术的分析,以及开源系统的利用,提出了一个面向节能与可靠性的混合存储方案,并实现了相应的原型系统。主要工作如下:第一,本文设计并提出了一个面向节能与可靠性的混合存储方案。本方案将基于固态硬盘的文件系统以及基于机械磁盘的文件系统无缝整合在一起,并通过一个统一的中间层系统,为上层应用提供数据访问支持。因为两个文件系统之间相互独立,所以对于系统可靠性影响并不大。本方案可以根据数据的访问频率,将数据分发到不同的文件系统中,以达到加速文件读取的目的。此外,通过调整基于机械磁盘的文件系统所在节点的功率,可以达到节点级的节能效果。第二,本文实现了一个面向节能与可靠性的混合存储方案的原型系统。此系统的核心是一个用户态文件系统,对上通过FUSE挂载在操作系统上,可以为用户提供POSIX的标准接口,对下通过调用并行文件系统接口,将数据存储在物理设备上。此系统配置了两个底层的并行文件系统,一个是基于固态硬盘的并行文件系统,它可以存储访问频率较高的数据,另外一个是基于机械磁盘的并行文件系统,它用来存储访问频率较低的数据。当系统整体工作负载处于较低的水平时,可以通过调整基于机械磁盘的文件系统所在节点功率,来达到节能的效果。通过对于试验结果的分析,系统性能基本达到了设计预期。实验的I/O性能曲线显示,与对照组系统模型相比,此系统的带宽提高了 60%左右。在能耗方面,两个底层文件系统同时提供数据访问支持时,可以节省大约30%-40%的能量消耗,如果只对访问频率较高的数据提供支持,则可以节省70%以上的能量消耗。由于采用了调整功率的节能措施,此系统在可靠性方面付出了大约15%的代价。(本文来源于《湖南大学》期刊2018-04-23）
刘欣[4]（2018）在《基于层次式混合存储技术的并行文件系统关键技术研究》一文中研究指出超级计算机规模、数据密集型应用和大数据应用规模的多重快速增长的迭加作用,对当前超级计算机中广泛采用的基于磁盘的并行文件系统带来巨大技术挑战。在超级计算机中,计算分系统与存储分系统分离,增大了I/O延迟。计算结点不配置磁盘~([1,2]),难以在所有计算结点中配置固态盘(SSD),使得数量巨大的本地I/O汇聚到共享并行文件系统,并产生巨大I/O压力。超级计算机中CPU核数已经达到千万量级~([2,3]),它将聚合产生数量巨大的I/O请求。研究和实际应用表明,当前基于磁盘构建的单一存储层次的并行文件系统在提供超大存储容量的同时,难以同时满足Exascale超级计算机提出的高并行、高带宽和低延迟的要求。本文以天河一号超级计算机、高性能计算应用和大数据应用为基础,面向Exascale超级计算机对并行文件系统的要求,研究新的并行文件系统结构和关键实现技术,主要研究工作和创新点如下:1)提出了基于层次式混合存储技术的并行文件系统结构ONFS当前在超级计算机中广泛使用基于磁盘的并行文件系统,它只有单一存储层次,由于存储服务器远离计算结点,并受限于磁盘固有的性能不足,使得它们难以满足高速低延迟的要求。基于SDD的Burst Buffer Node和ION仅用于构建局部文件系统,没有与底层基于磁盘的存储系统融为一体。本文根据Exascale超级计算应用的I/O需求特性,提出了基于DRAM、SSD和磁盘构建的具有叁个存储层次的并行文件系统ONFS,以靠近计算结点的基于DRAM和SSD的存储层次为用户程序提供高速低延迟的并行文件读/写服务,利用基于磁盘的存储层次实现超大存储容量,文件可以在叁个存储层次之间动态高效迁移,实现单一名空间,支持POSIX协议。经过与典型并行文件系统比较,ONFS是首个可综合实现超大存储容量、高并行、高速度和低延迟文件服务的并行文件系统,可满足Exascale超级计算机对并行文件系统的综合高要求。2)提出了基于用户组子目录的元数据划分、分布存储和处理的方法元数据的高效管理是实现高性能并行文件系统的重要基础,它包括元数据的划分、分布、存储和服务。划分方法主要有静态子树、动态子树和哈希分布叁大类。静态子树粒度大,难以支持负载和规模的有效动态调整;动态子树粒度小,子树关系复杂,管理的开销大;哈希分布丢弃元数据之间的相互关系,在目录名和文件名修改时将产生元数据迁移。本文基于用户目录构建过程,提出以根目录之下的用户组子目录(UGSD)为元数据划分粒度,它保持了目录固有的树状结构,简化了元数据划分的描述和管理;提出了在UGSD上增加自然整数后缀,实现UGSD在映射函数输入变量空间的均匀分布;采用简单的MOD函数和查找表,实现UGSD到MDS、MDS到MDSS之间的映射;采用同步更新和调峰机制,实现元数据负载动态调整和MDS规模动态增减,等。由实验和比较分析可知:UGSD的元数据划分粒度合理,易于描述和管理;文件路径名到MDS之间的映射算法简单,分布均匀;可动态实现元数据负载和MDS规模的调整;综合解决了元数据划分、存储和处理上存在的主要技术问题。3)提出了DS-m的内存借用和归还策略、并行存储控制和综合性能优化方法在超级计算机中,计算结点内存是专供用户程序使用的。基于结点内存构建高速低延迟存储层次最关键的问题是如何获得可以使用的内存。迄今为止,所有基于HPC计算结点内存构建存储系统的研究工作都回避该问题。本文基于计算密集型和数据密集型程序使用内存的不同情况,将所有计算结点划分为小内存分区和全内存分区,采用静态方式先从小内存分区的结点中借用确定数量的内存;根据用户程序使用内存的动态变化情况,采用最大值方法,动态窃用小内存分区结点中的剩余内存;采用静态与动态结合的方法,及时归还程序需要的内存,确保程序正确执行。本方法首次解决了基于结点内存构建存储系统的内存来源和管理的关键问题。现有的存储空间分配方法是面向磁盘的,不适合DS-m。DS-m的可用内存容量小,读/写带宽受限于互连接口带宽,这影响了大文件存储和多进程并行读/写带宽。DRAM为易失性存储器件,通常采用双副本方法解决存储可靠性问题,现行的串行更新主辅副本的方法,延迟大。VFS的页缓存控制策略是面向磁盘小数据块的,在大文件读/写时性能低;FUSE分拆大数据块的读/写请求,引入较大的读/写请求发送延迟。为了解决上述问题,本文提出由多个DS-m/DS-s并行工作,提高DS-m组的可用存储容量和多进程的聚合带宽;采用主辅副本并行更新方法,消除串行更新方法引入的写延迟;提出了关闭VFS页缓存,增大FUSE的MAX_size参数,构建和管理客户端缓存的方法,大幅提升了大数据块的读/写性能。实验和分析表明,由4个DS-m构成的分组并行存储,提高存储容量4倍,平均提高读/写带宽3.4倍;并行副本更新时间仅为串行方式的48.8%;客户端缓存的读和写速度分别是使用VFS页缓存的6.7倍和1.78倍。4)提出了基于内存容量阀值控制的文件向下迁移和基于应用特性的文件向上预迁移的控制策略文件数据迁移是层次式存储系统获得高性能的关键技术。当前,向下迁移主要以可用存储容量作为迁移条件,向上迁移主要以文件访问特性,如读/写、访问请求大小等,为迁移条件。现有的方法或是基于低速磁盘的,或是没有考虑高性能计算应用程序访问文件的特性。使用文件访问的动态特性计算热度,开销大;仅仅使用可用存储容量控制向下迁移,不考虑文件所处的open/close状态,易于使处于open状态的文件产生迁移乒乓效应。本文按照文件所处的open和close状态,使用双LRU表,实现文件冷度计算;在DS-m中设立叁个可用内存容量阀值,并与文件冷度结合触发向下迁移;基于数据密集型应用程序读/写和处理文件数据的特性,提出了全文件和部分文件结合的混合迁移粒度方法,以及向上主动预迁移和被动预迁移结合的控制策略。实验和分析结果表明,冷度计算方法的计算开销小;向下迁移可在迁出文件数据量和写入数据量两个方面取得性能均衡;全文件和部分文件数据向上迁移、主动向上预迁移可减少无效迁移操作,在DS-m与DS-d之间可提高读带宽16倍以上。ONFS支持POSIX协议,我们在天河一号超级计算机上实现了ONFS原型系统,用户程序不需要修改便可在ONFS上运行。IOR benchmark测试表明,ONFS的文件读/写带宽是Lustre的7.7倍或以上;典型数据密集型应用程序测试结果表明,ONFS文件读和写带宽分别是Lustre的5.44倍和4.67倍,实际应用效果良好。(本文来源于《国防科技大学》期刊2018-04-01）
Xin,LIU,Yu-tong,LU,Jie,YU,Peng-fei,WANG,Jie-ting,WU[5]（2017）在《ONFS:面向高性能计算的基于内存、固态硬盘和磁盘的层次式混合文件系统（英文）》一文中研究指出随着超级计算机向Eflops规模快速发展和计算核数急剧增加,更大规模和更复杂的应用成为可能。大规模科学计算、新的工作流应用以及检查点操作均需要存储系统具有非常高的带宽和低延迟,这使得高性能存储系统面临严峻的技术挑战。当前基于磁盘的底层存储系统难以满足新一代Eflops超级计算机和应用的要求。为此,本文提出了基于计算结点内存、固态硬盘和磁盘的层次式混合存储系统ONFS(on-line and near-line file system)。它具有叁个存储层次和统一的命名空间,支持可移植操作系统接口(portable operating system interface,POSIX)协议,可提供高带宽、低延迟和超大存储容量。本文详细分析了分布式元数据管理、内存借用和归还策略、数据一致性、并行访问控制,以及向下迁移和向上主动预迁移机制。在天河一号超级计算机上实现了ONFS原型系统,测试了I/O(input/output)性能和可扩展性。测试结果表明,单线程和多线程读/写性能比基于磁盘的Lustre分别高出6倍和5倍。与Lustre相比,运行在ONFS上的典型数据密集型应用可获得6.35倍的I/O加速。(本文来源于《Frontiers of Information Technology & Electronic Engineering》期刊2017年12期）
陈骏[6]（2017）在《面向非易失性内存和块设备混合介质的文件系统设计与实现》一文中研究指出文件系统是计算机系统存放数据的基础模块,文件访问的速度对计算机系统的性能至关重要。面向块存储设备的传统文件系统的性能受限于慢速I/O流程。近年出现的新型非易失性内存具有可字节寻址、纳秒级别的读写延迟、掉电不丢失数据等优点,是一种高性能的持久化存储设备。当系统中同时存在非易失性内存和块存储设备时,如何管理多种存储介质并且在不同的介质中存放文件数据,以发挥非易失性内存读写速度快和块存储设备存储容量大的特点是具有思考价值的问题。本文设计一种面向非易失性内存和块存储设备的混合介质文件系统。该文件系统可以实现对非易失性内存的数据进行高速访问,用块存储设备扩充文件系统存储容量,同时允许单个文件数据分散存储在不同的存储设备中。为此,本文进行了如下的研究:1)高速的文件访问流程。本文提出的混合介质文件系统采用页表结构组织文件数据,通过连续的虚拟地址对文件进行访问。文件系统利用现有硬件,内存控制单元实现文件数据存储位置的判断与转换。中央处理器可以通过虚拟地址直接对非易失性内存进行读写操作,通过缺页异常的方式,对块存储设备上的数据进行处理。2)高效的物理空间管理机制。混合介质文件系统用不同的方式管理非易失性内存和块存储设备的空闲空间,其中针对块设备空间管理提出名为资源池的全新管理方式。3)非易失性内存和块存储设备直接的数据交换的机制。本文从文件和数据块两个层级上考虑对换出数据页的选择,并提出缓存非易失性内存页与块存储设备逻辑块的映射关系,加速数据交换。4)针对非一致性内存访问架构的优化。提出根据文件对程序进程所使用的中央处理器进行限制的优化方式。最后,针对文件系统设计目标,设计实验对文章提出的混合文件系统进行性能测试。实验结果显示:本文提出的混合介质文件系统在访问非易失性内存上的文件时,最高能够达到50G/s的读带宽和30G/s的写带宽;对块存储设备上的数据访问能够达到3G/s的读写带宽;在测试给定的数据混合存储条件下,能够具有20G/s的读带宽。(本文来源于《重庆大学》期刊2017-04-01）
何耀,蔡涛,彭长生[7]（2016）在《面向NVM的混合粒度文件系统》一文中研究指出设计面向NVM的混合粒度文件系统UFS,首先给出混合粒度文件系统的结构;设计空间管理策略,将两类NVM存储设备的空间划分为字节区和块区;然后基于多级索引表的元数据和数据管理策略,提高元数据和数据的查找性能;设计了混合式文件数据管理策略,在两类NVM存储设备之间合理分布数据,提高数据的访问效率,解决单一NVM存储设备存储空间不足的问题;最后在fuse的基础上实现了UFS原型系统,使用postmark和fio工具进行了测试与分析。结果表明UFS相比Ext3在I/O性能上提高了28%~166%,接近于ramfs,在保证I/O性能的同时,解决了DIMM接口NVM存储设备空间不足问题。(本文来源于《软件导刊》期刊2016年07期）
郑家阳[8]（2013）在《基于混合存储设备的文件系统TrinityFS的设计与实现》一文中研究指出随着互联网和计算机存储技术的发展，人们对信息存储系统的要求越来越高，比如高速的读写性能、低功耗、强数据容错纠错及恢复的能力等等。而目前现有的基于磁盘的存储系统无法满足上述需求，因此人们寄希望于新出现的新型非易失存储介质，比如闪存（Flash Memory）、相变存储器（PCRAM）等。每一种新介质的出现，虽然提升了存储系统某些属性上的性能，但由于每种介质自身的特性或制造工艺的限制，新介质的引入也会给系统带来一些制约。综合考虑传统磁盘、闪存以及相变存储器在性能、容量、可靠性、能耗和性价比的特点，提出一种结合PCRAM-Flash-HDD叁种存储介质特性的文件系统TrinityFS。TrinityFS的主要思想是让每种介质都“趋利避害”，主要实现了叁个模块：首先，PCRAM介质具有接近内存级别的读写性能和可靠性、字节级的读写粒度的优点，但由于生产工艺的限制，目前相变存储器普遍价格高而容量小。因此将系统中最频繁被读写和更新但又占容量很小的元数据存放在性能最好的PCRAM中，以期对元数据的访问可以达到RAM级速度；其次，由于磁盘设备容量大，顺序写性能好，且与闪存介质相比有更长的使用寿命，则需尽量把对数据的写操作以log的方式定向到磁盘上，以减少对闪存不利的更新和擦除操作；再次，闪存存储器具有低能耗、高可靠性及抗震等优点，且与磁盘相比，闪存存储器具有更好的读性能，因此定期对磁盘中的数据扫描，发现读操作的热点数据，将其迁移到闪存介质中，以提高系统的整体性能。基于Linux的文件系统LogFS，实现了一个混合存储系统TrinityFS，并对其进行了相关的测试工作，结果表明TrinityFS在不同的负载下对系统的整体性能都有较好的提升。(本文来源于《华中科技大学》期刊2013-01-01）
周清杰,黄晋英,马航,崔晓静[9]（2011）在《混合文件系统在嵌入式智能车辆控制器中的应用》一文中研究指出文件系统是嵌入式智能车辆控制器软件层的重要组成部分。从控制器的存储设备特性和功能出发,提出了一种cramfs+jffs2+yaffs2+tmpfs的混合文件系统设计方案。此方案以几种主流的嵌入式文件系统为基础,对选取的cramfs、jffs2、yaffs2和tmpfs几种文件系统的特点进行了较为详细地介绍,最终构建了一个以cramfs为根文件系统的混合文件系统。此文件系统能够在不同的存储介质上实现不同数据的存贮,使系统的存储资源得到了有效利用,使用户配置文件掉电保存的需要得以满足,提高了系统的性能。(本文来源于《机械管理开发》期刊2011年01期）
刘庆敏,田岚,何国圆,于元明[10]（2009）在《智能化GPRS DTU的嵌入式混合文件系统》一文中研究指出针对GPRS数据终端单元(DTU)的智能化需求,提出一种Cramfs+JFFS2+Initramfs的嵌入式混合文件系统设计方案。采用自顶向下和自底向上相结合的设计方法,以dropbear为例介绍组件的选择和实现。在系统集成设计中,给出一种软链接技术替代复制的设计方法,并对脚本设计进行说明。该嵌入式文件系统已成为智能化GPRS DTU的核心模块,运行稳定。(本文来源于《计算机工程》期刊2009年12期）
混合文件系统论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
随着非易失性内存技术(Non-Volatile Memory,NVM)快速发展,基于非易失性内存的文件系统成为当前的研究热点,其中如何保证文件系统的一致性是非常重要的研究内容。现有的NVM文件系统都有其各自的一致性保障机制,但也存在某些不足之处,对系统性能造成了一定的影响。除此之外,大部分NVM文件系统都只提供了文件系统级别的一致性保护,没有提供应用程序级别的数据一致性保护,从而导致应用程序必须设计自己的一致性保障机制,冗余的一致性保障机制对上层应用的性能有很大的影响。针对上述问题,提出了基于NVM文件系统的混合日志机制(Hybrid Logging Mechanism,HLM),为文件系统元数据和数据均提供了一致性保证。首先,HLM根据元数据和数据的不同更新特性以及undo日志和redo日志的主要开销,解耦了元数据和数据,对元数据和数据分别采取不同的日志机制,平衡了undo日志的数据拷贝开销和redo日志的日志索引开销;其次,设计了由B树和链表构成的二级日志索引结构,降低了读数据时的日志查询开销;此外,设计了最优并行checkpoint过程,充分利用系统空闲时间并行进行多个数据块的checkpoint,对每个数据块的checkpoint过程采取优化策略最小化数据刷新量;最后,把事务功能模块抽象成了编程接口,以系统调用的形式提供给上层应用程序使用,提供了应用程序级别的数据一致性保护,消除了应用程序中冗余的一致性保障机制。实验测试结果表明,混合日志机制在同时保证文件系统的元数据和数据一致性的基础上,能够提高文件系统的事务吞吐率,相对于PMFS和NOVA分别提高了63.4%和76.3%。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
混合文件系统论文参考文献
[1].刘辉勇,王勇,俸皓.Ceph云存储中基于混合文件系统的读写性能优化方法[J].微电子学与计算机.2018
[2].刘宁倩.NVM文件系统混合日志机制研究[D].华中科技大学.2018
[3].焦冰.面向节能与可靠性的混合文件系统的研究与设计[D].湖南大学.2018
[4].刘欣.基于层次式混合存储技术的并行文件系统关键技术研究[D].国防科技大学.2018
[5].Xin,LIU,Yu-tong,LU,Jie,YU,Peng-fei,WANG,Jie-ting,WU.ONFS:面向高性能计算的基于内存、固态硬盘和磁盘的层次式混合文件系统（英文）[J].FrontiersofInformationTechnology&ElectronicEngineering.2017
[6].陈骏.面向非易失性内存和块设备混合介质的文件系统设计与实现[D].重庆大学.2017
[7].何耀,蔡涛,彭长生.面向NVM的混合粒度文件系统[J].软件导刊.2016
[8].郑家阳.基于混合存储设备的文件系统TrinityFS的设计与实现[D].华中科技大学.2013
[9].周清杰,黄晋英,马航,崔晓静.混合文件系统在嵌入式智能车辆控制器中的应用[J].机械管理开发.2011
[10].刘庆敏,田岚,何国圆,于元明.智能化GPRSDTU的嵌入式混合文件系统[J].计算机工程.2009