可扩展框架论文-胡聪,姚振,由媛媛,张靖,徐道磊

可扩展框架论文-胡聪,姚振,由媛媛,张靖,徐道磊

导读:本文包含了可扩展框架论文开题报告文献综述及选题提纲参考文献,主要关键词:电能质量,事件记录,数据模型

可扩展框架论文文献综述

胡聪,姚振,由媛媛,张靖,徐道磊[1](2019)在《解决电网数据质量扰动的可扩展开放框架》一文中研究指出对输配电系统中所发生的电能质量(PQ)干扰事件的分析有利于对电力监控和调度,因此需要采用针对性的解决方案对这些数据集进行处理。为此,文中提出了一个简单而有效的元数据数据库模型来分析电力系统中大量的电能质量干扰事件。使用该模型构建的数据库可用于存储数据,从而对干扰事件进行描述和分析。文中提出的模型定义了五个类来存储与PQ干扰事件相关的数据:事件、时间序列、描述、软件分析和IEEE干扰分类。最后,通过对该模型的使用演示表明,该数据模型能够作为唯一标识准确记录PQ干扰事件的主要特征。(本文来源于《信息技术》期刊2019年08期)

唐爽,张灵箫,赵俊峰,谢冰,邹艳珍[2](2019)在《面向多源数据的可扩展主题建模分析框架》一文中研究指出随着信息技术的不断发展和应用,大量信息系统积累了海量多源异构数据,这些数据中有很大一部分都是结构化数据,具有高维度、低质量、无标注等特点,难以进行特征提取与进一步的知识提炼。主题建模是文本处理和数据挖掘中的一个非常重要的方法,它是一种无监督学习算法,最初用于对无结构的自然语言文本进行建模,可以有效地从文本语义中提取主题信息,以进行特征提取和降维分析,然而主题建模技术尚不能很好应用在关系复杂的多源数据,尤其是结构化数据的处理中。提出了一个基于可扩展主题建模技术的针对结构化与非结构化多源数据分析框架,通过数据导入、数据分析、数据可视化叁个步骤对多源数据进行基于主题建模技术的数据分析,并在此基础上实现了一个多源数据分析工具,最后通过两个数据集的实验证明了所提的多源数据分析框架的有效性。(本文来源于《计算机科学与探索》期刊2019年05期)

陆良伟,黄晓芳[3](2018)在《安全可扩展的SaaS服务开放平台框架设计》一文中研究指出基于SaaS服务对开放平台的需求,结合SaaS服务的特点,提出了一种适用于SaaS服务的安全可扩展的开放平台解决方案,解决了SaaS服务在开放过程中的安全性、稳定性及性能等方面的问题;首先,通过对Oauth2.0协议两种授权模式的改进,提高了授权的安全性,保障了合法用户对资源的访问权限;其次,设计了基于令牌桶算法的限流策略和服务熔断机制,提高开放平台的稳定性,同时,制定可组合的负载策略为开放平台自身提供了负载均衡的能力,通过二级软负载的方式提升了开放平台的性能;最后,采用松耦合,多模块自由聚合的基础功能模块设计和动态可扩展的注册表机制,极大地提高的平台的扩展性。(本文来源于《计算机测量与控制》期刊2018年12期)

赛影辉,黄浩[4](2018)在《可扩展的流数据Join处理框架》一文中研究指出在流数据查询过程中,join操作非常重要。单个输入流对上常有多流查询,导致了并发的数据join任务。这造成了更久的join有效时间(join window)和更大的数据流输入率,使得join操作的工作量增加。我们迫切需要一个通用(用途无关)且能高效处理多并发join任务的流数据处理机制。为此提出一个可扩展的流数据join处理框架S2J,此框架采用了数据流导向的处理模型,并将整个join操作分解为适当个数的串联的join处理单元,同时采用基于元组块的信息传输协议减少信息传输中的过载现象。该框架能有效处理θ-join,并保证join操作的实时性和结果完整性。大量实验证明了该框架的高效性和有效性。(本文来源于《计算机应用与软件》期刊2018年04期)

于述春,赵嫦花,何佳[5](2017)在《富视频类Web应用系统的一种可扩展框架》一文中研究指出针对一类有少量Web业务处理需求,同时又有大量视频访问的Web系统,我们提出一种基于用Nginx处理视频访问,而传统的Web服务器处理少量业务需求的Web应用系统框架.在这种框架下,除分别部署Web服务器和nginx流媒体服务器外,还有另外两个系统组件,一个是视频发送程序,居于Web服务器端,将上传到Web服务器的视频在系统不忙时传送到Nginx流媒体服务器,并接收对方回传的视频截图;另一个是视频接收程序,居于Nginx服务器端,接收上传的视频文件,并经可能的转码后保存到Nginx流媒体服务器的流媒体保存目录下,并自动抓取视频截图,将截图返回给Web服务器端.测试结果证明:这种架构对富视频类Web系统具有很好的可扩展性,同时具有功能和位置的透明性.(本文来源于《怀化学院学报》期刊2017年11期)

邵佳翼[6](2017)在《基于Mapreduce框架可扩展数据索引的研究与实现》一文中研究指出随着信息时代的到来,生活生产中会产生海量的数据,其中移动互联网、物联网和科学研究等领域会产生结构更为复杂、体量更为庞大的数据。虽然传统的数据库技术日益成熟,但在解决数据量大、数据结构复杂等问题时稍显不足,其扩展性和容错性也面临着挑战。而云计算技术在易扩展性和高可用性等方面的优势正好可以弥补传统数据库的不足,因此Google提出的Mapreduce等技术得到了广泛的使用。随着研究和实践的深入,Mapreduce框架的一些问题逐渐显现出来,例如Mapreduce框架不支持数据索引,导致复杂查询类型相关计算的效率低就是问题之一,也是近年来研究的热点。一些研究工作在特定领域取得了不错的效果,但是它们都局限于解决特定的数据查询问题,导致数据索引方法不具备可扩展性;并且依赖于Hadoop技术而不是Mapreduce框架本身,因此不具有平台独立性。本文对Mapreduce框架的分布式数据索引进行深入的研究,为研究目标建立了模型,总结现阶段相关研究的不足,分析本次工作的难点,设计实现了一种基于通用搜索树和Raft算法的可扩展数据索引方法即MRIndexer。使得MRIndexer具备索引结构可扩展性、高效的查询效率、高可用性和平台独立性。本文主要工作如下:首先,将MRIndexer设计为非侵入式的索引服务,将Mapreduce框架与通用搜索树相结合,设计实现了在分布式文件系统和内存中建立、使用和更新维护索引的算法,通过向用户暴露接口的方式,实现底层索引结构的可扩展,使得用户可以根据查询计算的特点实现例如B+树、R树等不同的底层索引结构,同时建立了多个索引结构配合工作的机制,使得MRIndexer可以完成诸如多维查询等复杂的查询计算任务。其次,通过对Raft算法的研究,设计实现了MRIndexer各模块间的消息传递机制,保证数据索引服务的一致性和高可用性。在此基础上结合Mapreduce框架的特点,借鉴传统数据库和分布式计算研究的相关经验,对MRIndexer提供索引服务的方法进行优化,设计实现了一种高效的内存管理及查询优化方法,保证MRIndexer可以长时间连续提供高效稳定的索引服务。最后,在Hadoop和MPI+Phoenix两个Mapreduce环境中测试MRIndexer原型,使用R树和B+树索引结构,设计多种实验,进行多组横向和纵向测试。实验结果表明MRIndexer在查询效率、索引可扩展性、高可用性和平台独立性四个方面上具有良好的表现,证明本文设计实现的数据索引方法具有良好效果。(本文来源于《西安电子科技大学》期刊2017-06-01)

刘伯艳[7](2017)在《数据可视化系统框架可扩展方法的设计与实现》一文中研究指出随着信息科学技术的快速发展,人们每天都在制造和分享各种各样的数据,不知不觉已经生活在大数据的包围之中。然而,对人们真正有意义的往往不是数据本身,而是隐藏在数据背后的知识,即将数据变成可用的知识。数据可视化就是一种让数据说话的技术,它是利用计算机图形学和图像处理技术,将数据转换成图形或图像的形式在屏幕上显示出来,通过图形图像把信息传达给观众。计算机技术的不断发展,各类数据可视化工具随之也层出不穷。按照提供功能的不同,这些可视化工具可分为叁类,第一类是简单通用型,例如Tableau等;第二类为面向特定领域,例如金融领域的可视化工具Dygraphs、地图数据的工具Polymaps等。这两类可视化工具都是已经开发好的、具有一套完整的数据可视化功能流程,用户可直接使用它们得到可视化解决方案,其虽能快速的得到可视化效果,但所适用的数据格式和提供的可视化图表均比较固定单一,缺乏相应的可扩展性;最后一类是各种可视化函数图形库,如D3、processing等库。这类可视化工具居多,且具有丰富的图形和图表,但需要开发者在这些库的基础上进行定制开发,用户并不能直接使用函数库进行可视化,对用户缺乏方便易用性。针对以上几类可视化工具的不足,本文设计并实现一个可扩展的数据可视化系统框架,该系统框架可实现通用可视化流程,包括数据导入、算法选择、维度映射和可视化展示。主要工作有以下几点:一是设计并实现多种格式数据文件的导入方法及点可视数据、层次可视数据和网络可视数据的转换模型;二是设计并实现可视化算法接口标准和代码编辑平台,用户可根据接口标准编辑可视化代码并保存入图表库;叁是设计并实现高维数据、层次数据和网络数据常用的可视化,丰富可视化图表库;四是设计并实现实现可视化图表交互与导出功能。通过以上几点工作,为普通用户提供了一个操作简单且具有可扩展性的数据可视化解决方案,使用户可以根据不同需求定制不同的可视化解决方案,使数据可视化变得更加简单高效。(本文来源于《北京交通大学》期刊2017-05-03)

周严[8](2017)在《基于污点分析的静态漏洞检测可扩展框架》一文中研究指出软件漏洞是威胁计算机系统安全的重要因素。有一类漏洞是由外部输入的处理不当引发的,特别是在C/C++程序中,程序员可能会忽略程序中部分与外部输入相关的安全关键操作(如除法、数组访问、内存访问等)的合法性检查,从而导致了潜在的安全漏洞(如除零错误、数组越界、内存访问越界等)。静态分析技术能够在源代码中查找各种漏洞,且相比动态分析,无需执行待测程序,而且不需要准备待测程序的测试用例,节省了很多工作,执行效率也更高。而且,静态分析可以扫描待测程序的全部代码,而不像动态分析每次只能检测执行起来的部分代码。但现有的静态分析工具只能检测预先设定的漏洞,出现新的漏洞时,需要开发新的漏洞检测工具,代价高、周期长。本文聚焦于外部输入未经合法性检查导致的C/C++程序漏洞,提出了一个基于污点分析的静态漏洞检测可扩展工具框架。论文的主要工作包括:1.提出了 C/C++程序的静态污点分析方法。基于C/C++语言的简化模型,定义了污点类型推导规则,提出了静态污点分析方法和流程,包括过程内分析和过程间分析。2.提出了基于污点分析的可扩展漏洞检测框架。框架定义了基于外部输入攻击安全关键操作防护不足的代码漏洞统一检测方法:程序结构分析与安全关键操作定位、污点数据分析、防范攻击的合法性检查缺失检测。该框架提供了两方面的可扩展功能:1)提供了基于定制规则的污点分析方法;2)提供了可扩展的安全关键操作合法性检查缺失的检测方法。用户只需配置安全关键操作的相关信息,就能自动检测该类操作是否存在安全检查缺失的漏洞。3.基于上述工作,实现了可扩展漏洞检测框架的原型工具,并进行了实例研究。在Clang平台上实现了程序结构分析、污点分析和合法性检查缺失检测等模块,基于该框架实现了3类漏洞的自动检测:数组下标越界检测、除零检测和内存操作API越界检测,并应对大规模程序实现了针对污点信息的存储和AST存储的优化策略;我们选取了若干程序进行了实验,从污点分析的准确性、性能、优化效果等方面进行了评估。(本文来源于《南京大学》期刊2017-05-01)

董乾豪[9](2016)在《通用可扩展的分布式文件系统性能测试框架研究与实现》一文中研究指出分布式文件系统(DFS, Distributed File System)构成了分布式计算的基础,是如今日益发展的大数据应用的重要核心之一。经过数十年的发展,目前存在种类繁多的分布式文件系统,它们具有不同的设计目标和特点。针对不同的特点,在运行大数据应用时需要不同的集群环境和配置,因此,充分了解分布式文件系统的性能和特性就显得极其重要。一方面,用户需要根据性能测试结果为目标应用选择最合适的分布式文件系统:另一方面,开发者需要一个性能测试框架以进行分布式文件系统的调优工作;进一步地,性能测试能够很好地反映出现有分布式文件系统的瓶颈,为新系统的研究和开发提供指导。现有的分布式文件系统性能测试工具提供的覆盖面有限,并且大都侧重于特定功能的测试,缺乏一个统一的性能测试框架,而实现一个理想的分布式文件系统性能测试框架面临着诸多困难和挑战。首先,该框架必须是通用可扩展的,能够方便地对不同的分布式文件系统进行性能测试;其次,它需要提供灵活的、可定制的测试用例,以满足不同的用户需求和应用特性;最后,测试框架要能够适应不同的分布式环境,并且不能明显地影响分布式文件系统本身的性能,以得到准确可靠的测试结果。本文设计并实现了一个通用可扩展的分布式文件系统性能测试框架,DFS-Perf,以实现对现有的和新的目标分布式文件系统进行性能比较。DFS-Perf支持多种并行测试模式,能够在不同的分布式文件系统上运行一系列典型的测试用例。本文的主要贡献点有:(1)设计并实现了DFS-Perf,一个通用的、高度可扩展的、易使用的分布式文件系统测试框架。DFS-Perf能够以多节点、多进程和多线程的并行方式对不同的分布式文件系统进行性能测试,并且支持添加新的目标系统和测试用例。(2)通过分析现有大数据应用的文件访问模式,设计并实现了一系列典型的测试用例。同时, DFS-Perf支持自动地从运行在分布式文件系统之上的应用中获取文件操作记录,分析其文件访问模式,并生成能够模拟这些应用特性的测试用例。(3)在一个具有40个物理节点,共960个核的集群环境上使用DFS-Perf对四个具有代表性的分布式文件系统,Alluxio、CephFS、GlusterFS以及HDFS进行了性能和可扩展性测试实验。进一步地,通过对比实验验证了DFS-Perf最多只引入了5.7%的额外开销。(4)根据性能测试结果,对比了不同分布式文件系统的设计决策,分析了产生性能瓶颈的具体原因,总结出不同特性对性能造成的影响。同时,也利用DFS-Perf发现和解决了常用分布式文件系统中的性能问题。(本文来源于《南京大学》期刊2016-05-20)

闾亚,雷建坤,杨丽琴,张亮[10](2016)在《BPDetector:一种可扩展的业务模式识别框架》一文中研究指出为了有效地发现业务模式,提出一种基于复杂事件处理技术的可扩展业务模式识别框架,该框架不仅可以从日志中发现业务模式以及相应的配置参数,还具可伸缩特征,即框架与待发现的业务模式及其个数不存在紧密关系。以中国移动公司办公系统内部的业务流程执行日志为例,基于Esper复杂事件处理开源工具开发了业务模式识别系统,验证了该方法的可行性和有效性。(本文来源于《计算机集成制造系统》期刊2016年02期)

可扩展框架论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着信息技术的不断发展和应用,大量信息系统积累了海量多源异构数据,这些数据中有很大一部分都是结构化数据,具有高维度、低质量、无标注等特点,难以进行特征提取与进一步的知识提炼。主题建模是文本处理和数据挖掘中的一个非常重要的方法,它是一种无监督学习算法,最初用于对无结构的自然语言文本进行建模,可以有效地从文本语义中提取主题信息,以进行特征提取和降维分析,然而主题建模技术尚不能很好应用在关系复杂的多源数据,尤其是结构化数据的处理中。提出了一个基于可扩展主题建模技术的针对结构化与非结构化多源数据分析框架,通过数据导入、数据分析、数据可视化叁个步骤对多源数据进行基于主题建模技术的数据分析,并在此基础上实现了一个多源数据分析工具,最后通过两个数据集的实验证明了所提的多源数据分析框架的有效性。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

可扩展框架论文参考文献

[1].胡聪,姚振,由媛媛,张靖,徐道磊.解决电网数据质量扰动的可扩展开放框架[J].信息技术.2019

[2].唐爽,张灵箫,赵俊峰,谢冰,邹艳珍.面向多源数据的可扩展主题建模分析框架[J].计算机科学与探索.2019

[3].陆良伟,黄晓芳.安全可扩展的SaaS服务开放平台框架设计[J].计算机测量与控制.2018

[4].赛影辉,黄浩.可扩展的流数据Join处理框架[J].计算机应用与软件.2018

[5].于述春,赵嫦花,何佳.富视频类Web应用系统的一种可扩展框架[J].怀化学院学报.2017

[6].邵佳翼.基于Mapreduce框架可扩展数据索引的研究与实现[D].西安电子科技大学.2017

[7].刘伯艳.数据可视化系统框架可扩展方法的设计与实现[D].北京交通大学.2017

[8].周严.基于污点分析的静态漏洞检测可扩展框架[D].南京大学.2017

[9].董乾豪.通用可扩展的分布式文件系统性能测试框架研究与实现[D].南京大学.2016

[10].闾亚,雷建坤,杨丽琴,张亮.BPDetector:一种可扩展的业务模式识别框架[J].计算机集成制造系统.2016

标签:;  ;  ;  

可扩展框架论文-胡聪,姚振,由媛媛,张靖,徐道磊
下载Doc文档

猜你喜欢