导读:本文包含了缓存框架论文开题报告文献综述及选题提纲参考文献,主要关键词:缓存策略,Spark,弹性分布式数据集,内存计算
缓存框架论文文献综述
陈天宇,张龙信,李肯立,周立前[1](2019)在《Spark框架中RDD缓存替换策略优化》一文中研究指出Spark作为分布式计算引擎,其基于内存的抽象概念弹性分布式数据集(RDD)产生了高效的数据处理能力.实际的生产环境中,任务在执行的过程中经常由于内存空间不足需要替换掉部分RDD. Spark默认的最近最少使用替换算法(LRU)仅考虑最近是否使用RDD分片而忽略其它因素.基于RDD权重值改进后的WR缓存替换策略侧重于RDD的权值替换,在此研究基础上,本文提出了缓存权重替换(CWS)策略,优化选择策略,并在替换阶段考虑了历史访问次数与计算成本.本文的实验使用斯坦福大学提供的公开网络分析项目进行测试,实验结果表明CWS策略在充足内存条件下处理较小数据的平均执行时间高于WR算法2. 4%,内存占用率相比降低36%.(本文来源于《小型微型计算机系统》期刊2019年06期)
蒯硕[2](2019)在《基于Hibernate ORM框架缓存关键技术研究》一文中研究指出数据库技术作为以计算机为中心的信息系统与应用系统的核心技术和重要基础,在当今以信息技术为代表的第叁次工业革命、大数据统治世界的基础下,成功的解决了海量数据信息的管理。相应地,数据库作为当前计算机软件开发中必不可少的一环,即各类应用软件根据用户需求需要与数据库进行交互,从而获取用户所需数据,各类计算机应用软件以何种方式与数据库交互成为了一个新的挑战。因为面向对象开发技术和底层关系型数据库对数据的描述方式之间的不同,业界称之为对象和关系模型之间的“阻抗不匹配”问题,并且为了解决这种不匹配的现象,对象关系映射技术(Object Relational/Mapping,ORM)由此产生。而随着ORM技术的规范,ORM框架发展的也越来越成熟成熟。ORM框架提供了基于OID和sql条件查询的两类检索方式,通常来说,缓存的应用对于软件系统性能的优化是至关重要的,ORM框架也为两者配置了相应的缓存机制以提升系统性能。本课题研究是基于Hibernate ORM框架的Query Cache机制本身的弊端进行的系统性能优化,并根据实际的业务需求进行相应的实验,并封装AQC数据持久化框架供开发者使用。本篇论文中,我们提出了“reference column(s)”的概念,其来源于“reference data”概念。“reference column(s)”是建立在数据库表某一 column(或某些columns)级别上的概念,指不被修改或者很少修改的非主键的唯一索引。在实际的业务中,存在很多基于“referencecolumn(s)”进行检索的业务,如人员管理系统中的基于人员编号进行的检索需求。Hibernate ORM框架的Query接口对上述业务提供了完美的支持。但是Hibernate ORM框架的Query Cache机制却存在着弊端,即用户对“referencecolumn(s)”进行条件查询时,Hibernate ORM框架将检索的数据存储在Query Cache中,但是当更新Query Cache中的任意一个数据后,Cache中与被更新数据属于同一个数据库表的数据将会失效。故,对其余被缓存的数据进行查询时,Hibernate ORM框架只能从数据库重新获取数据,尽管Cache中的数据并未发生更新。由于ORM框架Query Cache机制对基于“referencecolumn(s)”的条件查询的不足之处,本论文通过分析研究Query Cache的内部机制,提出了在数据库端构建辅助表的方案。通过将从原始表格中提取出来的“reference column(s)”进行某种计算得到唯一的值作为主键进而创建辅助表。这种方案将“reference column(s)”条件查询转换成了两次OID的查询,从而避免了 Query Cache对于“reference column(s)”条件查询的弊端。本文使用电子商务平台的商品数据集对辅助表的检索方式进行了多方面的相关性实验,并将实验结果使用多种方式进行展示。实验最终得出的实验结果证明了该方案的可行性,其可以有效的提升软件系统的性能。本文中我们基于业界当前主流的ORM框架构建了一个非侵入式的Java持久化框架AQC。该框架对ORM框架的数据持久化接口进行了相应的封装,并完成了基于辅助表的查询方案策略的实现。开发人员仅仅需要配置某些基础信息,而无需关注Java事务,及具体的数据访问过程,便可以透明的方式完成数据的持久化。(本文来源于《山东大学》期刊2019-05-20)
陈正勇,杨崇旭,姚振,杨坚[3](2019)在《深度学习框架下的移动感知预缓存策略》一文中研究指出为了在移动流量需求不断增长的条件下提高用户体验,本文针对小基站网络提出了一种基于深度学习的移动感知预缓存策略.该策略采用条件变分自动编码器根据大量历史数据建立用户移动模型,然后预测用户将来可能经过的基站,并且在这些基站上预缓存用户正在下载的文件的一部分.本文定义了缓存效用用以评估缓存策略的性能.通过在真实GPS轨迹数据上的仿真实验,验证了所提出的缓存策略与典型对比策略相比能够为用户提供更高的平均下载速度,具有更大的缓存命中率,产生更大的缓存效用.(本文来源于《小型微型计算机系统》期刊2019年05期)
刘恒,谭良[4](2018)在《并行计算框架Spark中一种新的RDD分区权重缓存替换算法》一文中研究指出并行计算框架Spark的缓存替换机制是提高其计算性能和效率的重要手段.目前,针对Spark采用的缓存替换算法LRU会使高重用但最近未使用的Block容易被换出缓存的缺点,提出了基于权重的缓存替换算法,但已有的基于权重的缓存替换算法存在权重值计算不准确,考虑因素不全面,度量方法不够细致,影响了缓存的命中率和作业执行的效率.提出一种新的RDD分区的权重缓存替换算法——WCSRP.为了使RDD分区权重值的计算更加准确,WCSRP不仅综合考虑RDD的计算代价、使用次数、分区的大小和生命周期四大因素对权重的影响,而且还增加考虑了Task执行时Locality Level这个因素,并对以上五个因素进行了量化计算.实验结果表明WCSRP算法让RDD分区权重值的计算更准确,提高了内存资源利用率和作业执行效率.(本文来源于《小型微型计算机系统》期刊2018年10期)
高胜罡[5](2016)在《Android自适应图片缓存框架的研究》一文中研究指出随着移动互联网的快速发展,各种各样的移动应用(APP)涌现出来,大部分APP涉及到图片的加载与显示。然而现有的图片缓存框架采用定参的形式,使得软件应用加载图片时常出现黑屏、加载速度缓慢和内存溢出等异常问题。本文基于Android手机的运行环境参数分为可变部分和不可变部分两类这个特点,构想并实现了一个叁层的自适应图片缓存框架。框架设计理念是通过叁层缓存模式来缓存图片,提高从缓存中获取图片的命中率从而提高图片的加载速度;采用异步方式从网络加载图片,缓解一次加载过多图片带来的巨大压力;通过自适应算法计算提供合适的缓存设置,减少缓存设置不合理带来的异常情况。框架的实现模型主要包括四个功能模块,一个是用来存放手机运行环境参数的模块,一个是用来检测手机运行环境的后台程序模块,一个是用来缓存图片的叁层图片缓存模块,另外一个是自适应算法模块。经过对比测试发现采用自适应图片缓存框架的手机应用软件图片显示效果清晰、流畅,相对于现有图片缓存框架图片加载速度平均提升4.46%。测试结果表明自适应图片缓存框架能很好地解决手机应用软件图片加载与显示中出现的异常问题。(本文来源于《杭州电子科技大学》期刊2016-03-01)
连文波,汪美玲,陶秋铭,赵琛[6](2015)在《使用内存缓存的迭代应用编程框架》一文中研究指出迭代式计算是一类重要的大数据分析应用.在分布式计算框架MapReduce上实现迭代计算时,计算会被分解成多个作业并按作业依存关系顺序运行,这使得程序与分布式文件系统(DFS)有多次交互而影响程序执行时间.对这些交互相关数据的缓存会降低与DFS的交互时间,进而提升程序总体的性能.考虑到集群中的大量内存在多数情况下会处于空闲状态,提出了一种使用内存缓存的迭代式应用编程框架MemLoop.该系统从作业提交API、调度算法、缓存管理模块实现缓存管理以充分利用内存缓存迭代间可驻留数据与迭代内依存数据.我们将此框架与已有相关框架进行了比较,实验结果表明该框架能够提升迭代程序的性能.(本文来源于《计算机系统应用》期刊2015年03期)
马冰,姜学军,史海洋[7](2014)在《基于REIDS缓存框架的分析与实践》一文中研究指出Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型,Key-Value数据库,并提供多种语言API。针对WEB应用中,经常被查询的数据,做redis缓存,使得第一次之后的每次相同查询都通过缓存中获取,极大的提高WEB应用的性能和健壮性。本文将重点研究和分析基于redis的数据缓存与MySQL存储性能的比较。(本文来源于《科技视界》期刊2014年26期)
方晖[8](2014)在《基于能效控制的DctAF框架式云缓存技术》一文中研究指出传统的海量资源存储技术采用单机存储的方法,无法保证数据存储的高速度和大容量,并且一般采用固定频率工作,无法保证系统的高能效。为此提出一种基于能效控制的DctAF框架云缓存技术,以分布式缓存的系统能效作为研究对象,以DctAF缓存框架为模板建立了云平台的分布式缓存系统框架,采用T_PCA算法对缓存数据进行有效压缩,大大减小存储到云中的数据量。实验表明,T_PCA算法能够稳定的对数据实现压缩,系统数据压缩率大约为60.2%,分布式缓存技术的读写速度远远高于传统存储技术,且自适应频率模式具有更高的能效。(本文来源于《科技通报》期刊2014年02期)
宁君,张蓉,梁正安[9](2014)在《基于WebSocket的缓存式Web应用框架设计》一文中研究指出【目的】研究WebSocket的特性,设计缓存式的Web应用框架。【方法】分析划出框架各层次的职责,采用Javascript及memcached实现实时的缓存读写机制,对框架开发的系统进行指标测试。【结果】在系统测试中检测缓存的命中率,当用户的操作浏览数据达到一定的比例之后,缓存命中率能够维持在一个较高的水平上。在这种情况下,服务器的响应速度、网络吞吐量等都得到极大的改善。【结论】基于框架开发的系统实时性高、负载低、伸缩性好,降低系统的开发成本与难度。(本文来源于《广西科学院学报》期刊2014年01期)
宁君,张蓉,梁正安[10](2013)在《基于WebSocket的缓存式Web应用框架设计》一文中研究指出利用WebSocket的特性,提出一种缓存式的Web应用框架设计,将框架内各层职责进行划分,根据该框架开发的系统实时性高、负载低、伸缩性好,降低系统的开发成本与难度。(本文来源于《广西计算机学会2013年学术年会论文集》期刊2013-09-25)
缓存框架论文开题报告
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
数据库技术作为以计算机为中心的信息系统与应用系统的核心技术和重要基础,在当今以信息技术为代表的第叁次工业革命、大数据统治世界的基础下,成功的解决了海量数据信息的管理。相应地,数据库作为当前计算机软件开发中必不可少的一环,即各类应用软件根据用户需求需要与数据库进行交互,从而获取用户所需数据,各类计算机应用软件以何种方式与数据库交互成为了一个新的挑战。因为面向对象开发技术和底层关系型数据库对数据的描述方式之间的不同,业界称之为对象和关系模型之间的“阻抗不匹配”问题,并且为了解决这种不匹配的现象,对象关系映射技术(Object Relational/Mapping,ORM)由此产生。而随着ORM技术的规范,ORM框架发展的也越来越成熟成熟。ORM框架提供了基于OID和sql条件查询的两类检索方式,通常来说,缓存的应用对于软件系统性能的优化是至关重要的,ORM框架也为两者配置了相应的缓存机制以提升系统性能。本课题研究是基于Hibernate ORM框架的Query Cache机制本身的弊端进行的系统性能优化,并根据实际的业务需求进行相应的实验,并封装AQC数据持久化框架供开发者使用。本篇论文中,我们提出了“reference column(s)”的概念,其来源于“reference data”概念。“reference column(s)”是建立在数据库表某一 column(或某些columns)级别上的概念,指不被修改或者很少修改的非主键的唯一索引。在实际的业务中,存在很多基于“referencecolumn(s)”进行检索的业务,如人员管理系统中的基于人员编号进行的检索需求。Hibernate ORM框架的Query接口对上述业务提供了完美的支持。但是Hibernate ORM框架的Query Cache机制却存在着弊端,即用户对“referencecolumn(s)”进行条件查询时,Hibernate ORM框架将检索的数据存储在Query Cache中,但是当更新Query Cache中的任意一个数据后,Cache中与被更新数据属于同一个数据库表的数据将会失效。故,对其余被缓存的数据进行查询时,Hibernate ORM框架只能从数据库重新获取数据,尽管Cache中的数据并未发生更新。由于ORM框架Query Cache机制对基于“referencecolumn(s)”的条件查询的不足之处,本论文通过分析研究Query Cache的内部机制,提出了在数据库端构建辅助表的方案。通过将从原始表格中提取出来的“reference column(s)”进行某种计算得到唯一的值作为主键进而创建辅助表。这种方案将“reference column(s)”条件查询转换成了两次OID的查询,从而避免了 Query Cache对于“reference column(s)”条件查询的弊端。本文使用电子商务平台的商品数据集对辅助表的检索方式进行了多方面的相关性实验,并将实验结果使用多种方式进行展示。实验最终得出的实验结果证明了该方案的可行性,其可以有效的提升软件系统的性能。本文中我们基于业界当前主流的ORM框架构建了一个非侵入式的Java持久化框架AQC。该框架对ORM框架的数据持久化接口进行了相应的封装,并完成了基于辅助表的查询方案策略的实现。开发人员仅仅需要配置某些基础信息,而无需关注Java事务,及具体的数据访问过程,便可以透明的方式完成数据的持久化。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
缓存框架论文参考文献
[1].陈天宇,张龙信,李肯立,周立前.Spark框架中RDD缓存替换策略优化[J].小型微型计算机系统.2019
[2].蒯硕.基于HibernateORM框架缓存关键技术研究[D].山东大学.2019
[3].陈正勇,杨崇旭,姚振,杨坚.深度学习框架下的移动感知预缓存策略[J].小型微型计算机系统.2019
[4].刘恒,谭良.并行计算框架Spark中一种新的RDD分区权重缓存替换算法[J].小型微型计算机系统.2018
[5].高胜罡.Android自适应图片缓存框架的研究[D].杭州电子科技大学.2016
[6].连文波,汪美玲,陶秋铭,赵琛.使用内存缓存的迭代应用编程框架[J].计算机系统应用.2015
[7].马冰,姜学军,史海洋.基于REIDS缓存框架的分析与实践[J].科技视界.2014
[8].方晖.基于能效控制的DctAF框架式云缓存技术[J].科技通报.2014
[9].宁君,张蓉,梁正安.基于WebSocket的缓存式Web应用框架设计[J].广西科学院学报.2014
[10].宁君,张蓉,梁正安.基于WebSocket的缓存式Web应用框架设计[C].广西计算机学会2013年学术年会论文集.2013