数据流突变论文-宋巧红

数据流突变论文-宋巧红

导读:本文包含了数据流突变论文开题报告文献综述及选题提纲参考文献,主要关键词:突变点检测,多级Harr小波变换,KS统计理论,滑动窗口

数据流突变论文文献综述

宋巧红[1](2018)在《一种数据流突变点快速探测算法的研究与实现》一文中研究指出数据已经成为与自然资源、人力资源一样重要的战略资源,数据中隐藏着巨大的价值。大数据具有体量浩大、模态繁多、生成快速和价值巨大等特点。数据流中的时序数据分析是大数据研究的重要分支。数据流分析技术就是从各种类型繁多的数据中快速获得有价值的信息。数据流及其应用的迅速发展不仅促进基础科学的发展,更是许多行业技术进步、国家创新和产业发展的重要机遇和挑战。数据流的突变指的是当前时刻数据流的值相比于之前的数据流的值或者是数据流的平均值差值比较大。目前的数据流中突变点检测的分析方法大多很耗时,且对两端的突变点检测不准确等问题。本文引入了HWKS算法,该方法能够快速的检测到数据中的突变点,并做了对比验证。在该算法的基础上,引入了滑动窗口,以实现数据的在线检测,并通过模拟的数据验证了该方法的有效性。此外,通过实际火灾发生时的温度、烟雾浓度、CO和CO_2数据验证了该方法能够及时的检测到火灾的发生。HWKS算法是在Haar小波变换理论和改进的KS统计检验理论的基础上提出的。HWKS算法主要针对的是数据流中的时序模型数据,该算法的主要步骤是先应用多级Haar小波变换分解待检测的数据流,同时构建均值二叉树和差值二叉树。然后,在改进的KS统计的基础上,构建两种突变点检测的两个搜索规则,规则一是基于差值二叉搜索树,规则二是基于均值二叉搜索树,当规则一搜索不到突变点时,则采用规则二进行搜索,所以这两种规则是相互补充。最后,根据此规则进行突变点的检测。该算法采用自顶向下的搜索策略,并且以折半的思想进行查找,大大提高了检测的效率。本文通过仿真数据,将HWKS算法与KS检验、Haar小波和t检验叁种方法从耗时、命中率、误差以及准确度四个方面进行了比较,验证了HWKS算法在算法效率、准确性和敏感性方面有明显的优势。为了应对数据流实时的特性,本文在HWKS算法的基础上,引入滑动窗口模型。通过仿真分析,探讨数据流的大小不变,滑动窗口尺寸的改变的情况下对数据流上突变点检测的影响。实验结果表明,滑动窗口越大检测到的突变点的位置越准确,但是滑动窗口也不是越大越好,还应考虑数据流的流速问题和数据流中有多个突变点的情况,为了验证HWKS算法对数据流中两端突变点的敏感性,本次仿真将突变点设置在数据流的起始位置和结束位置。实验结果表明,引入滑动窗口模型后,HWKS算法不仅对于数据边缘的突变点的检测仍然有很好的效果,同时也能够准确的探测出数据流中的所有的突变的。最后,本文通过模拟真实的火灾发生时的温度数据、烟雾浓度数据、CO浓度数据和CO_2浓度数据,运用带滑动窗口的HWKS算法和不带滑动窗口的HWKS算法进行了对比试验。实验结果表明引入滑动窗口后的HWKS算法不仅能够检测到火灾发生时的特征变化,同时也能检测出火灾后,这些特征的变化。此外,对于加入滑动窗口模型的HWKS算法比没有引入滑动窗口的HWKS算法要准确,所以该算法对火灾的探测有很好实际意义。(本文来源于《东华大学》期刊2018-01-06)

吕晓,刘霞,汪厚祥[2](2009)在《基于嵌入二维数组的迁移聚集树的数据流突变检测算法》一文中研究指出数据流突变检测技术由于在金融、医疗服务、电信等重要领域有广泛应用而受到国内外科研学者更多关注。为了能够检测正数据流、负数据流以及正负交错数据流的突变,提出了嵌入二维数组的迁移聚集树的数据流突变检测算法。该算法能够检测单调聚集函数和非单调聚集函数的突变,能够在较少时间内完成数据流突变检测的任务。实验证明本算法有良好的性能和效率,更适合检测突变的数据流。(本文来源于《计算机与数字工程》期刊2009年10期)

王伟[3](2009)在《基于突变理论与数据流的状态转移容忍入侵模型分析》一文中研究指出为了定量描述网络状态,本文基于突变理论结合容忍入侵的状态转移模型,建立了容忍入侵系统的容忍势函数,建立影响容忍入侵系统容忍能力的突变模型,给出容忍度定义。结合实例可知,此方法可分析系统的容忍能力,为容忍入侵模型的定量分析及容忍机制的建立提供了一种思路。(本文来源于《合作经济与科技》期刊2009年20期)

吕晓[4](2009)在《一种改进的数据流突变检测算法的研究》一文中研究指出数据流突变检测是数据流研究领域中的一个重要分支,受到越来越多的科研学者的高度重视。数据流突变检测的应用非常广泛,可以应用在金融、灾害预警、网络流量监控等重要领域。目前存在的数据流突变检测算法多数集中在检测单调聚集函数的突变,且都是利用固定滑动窗口来检测数据流的突变,而用于突变检测的数据结构不能适应数据流实时更新的特点,缺乏灵活性和适用性。为提高大规模、连续数据流的突变检测效率,需要研究新的实时性和伸缩性强的数据结构和精确度高的数据流突变检测算法。本文在分析和研究国内外数据流突变检测技术的基础上,对现有数据流突变检测算法进行改进,优化数据流的输入,提高数据流突变检测的效率。针对现有的数据流突变检测算法存在的不足,本文给出一种改进的数据流突变检测算法。该算法与现有的算法相比具有如下优势:第一,对输入的数据流进行优化,能够将负数据流、以及正负交错数据流都转变成非负的数据流,从而放宽输入数据流的限制条件,并且可以处理非单调聚集函数的突变;第二,构建了一个弹性的数据结构,能够高效的检测潜在突变的数据流;第叁,该算法能够用较少的时间检测潜在突变的数据流,从而提高数据流突变检测的效率,降低了数据流突变检测的时间复杂度。为验证本文给出的数据流突变检测算法的可行性和有效性,利用网络真实访问量和人造数据集进行仿真实验,实验结果表明与同类突变检测算法相比,所给出算法在正负交错数据流突变检测中具有较小的检测时间开销和较高的检测精度。(本文来源于《哈尔滨工程大学》期刊2009-03-02)

陈飞波[5](2008)在《基于最窄平行四边形的数据流突变检测算法》一文中研究指出数据流上的突变检测在网络流量监测,金融风险分析,传感器网络等领域都有着十分广泛的应用。传统的突变检测算法只能对流上的聚集函数值进行检测,而在现实应用中,还有相当一部分的突变检测要求能针对非聚集函数进行检测。本文提出了一种新颖的数据流上的突变检测算法,即最窄平行四边形法。该方法用一系列扁平的平行四边形来模拟数据流上具有相同趋势的点,并保证每个点的误差不超过平行四边形宽度的一半。于是,等距到达的数据,便可根据得到的平行四边形还原其中的每一个点,从而实现基于任意类型函数的突变检测。在提出最窄平行四边形基本算法之后,本文又对该算法进行了一系列改进,使其时间复杂度从O(nh)降到了O(h),其中n为平行四边形内包含的点的个数,h为覆盖这些点的凸包的边数。通过对真实数据流上的数据进行实验分析,以及与现有突变检测算法的比较,验证了最窄平行四边形算法在时间和空间上的高效性。针对现有各种基于直方图的突变检测方法在构造数据流模型时存在的空间低效性,本文又对最窄平行四边形法进行了扩展,使其在针对聚集函数的突变检测中能更加节省存储空间,从而在相同的内存容量限制下能检测更大的滑动窗口。最后通过实验验证了该方法对现有基于直方图的突变检测方法的优越性。本文的主要贡献可总结为如下叁方面:·基于大部分数据流上数据变化的规律,提出了最窄平行四边形法。通过对流上原始数据进行压缩,支持基于任意函数的突变检测。据我们所知,这是第一次把凸包算法应用到数据流的突变检测上来。·对基本的最窄平行四边形算法进行了改进,使其时间复杂度从O(nh)降到了O(h),从而更加适用于高速的数据流环境。·扩展了最窄平行四边形法,令其作用在原始数据的后缀和上。从而使得在针对基于聚集函数的突变检测上,该算法具有更为经济的时空复杂度,弥补了现有基于直方图算法的缺陷。本文提出的突变检测算法是建立在大量的理论分析之上,并通过对真实数据的实验测试的。该算法能普遍适应多种数据流检测环境,满足用户对功能与效率的需求。(本文来源于《复旦大学》期刊2008-04-25)

陈飞波,钱卫宁,周傲英[6](2007)在《基于最窄平行四边形的数据流突变检测算法》一文中研究指出数据流上的突变检测在网络流量监测、金融风险分析、传感器网络等领域都有着十分广泛的应用.传统的突变检测算法只能对流上的聚集函数值进行检测,这在实际应用中往往不能满足用户的需求.提出了一种新颖的数据流上的突变检测算法,即最窄平行四边形法.该方法用一系列很窄的平行四边形来表示流上具有相同趋势的点,并保证每个点的误差不超过平行四边形宽度的一半.于是,对等距到达的数据,便可根据所得的平行四边形还原其中的每一个点,从而实现基于任意类型函数的突变检测.此外,对最窄平行四边形算法作了改进,使其时间复杂度降为O(h),其中h为平行四边形内凸包的顶点个数.最后,通过在两个真实数据集上的实验,以及与现有突变检测算法的比较,验证了最窄平行四边形算法在时间和空间上的高效性.(本文来源于《第二十四届中国数据库学术会议论文集(研究报告篇)》期刊2007-10-20)

秦首科,钱卫宁,周傲英[7](2006)在《基于分形技术的数据流突变检测算法》一文中研究指出数据流上的突变检测技术由于其在风险分析、网络监测、趋势分析等领域广阔的应用前景而受到学术界和工业界越来越多的关注.为了在数据流上检测多个滑动窗口上的单调聚集函数值和非单调聚集函数值的突变,提出了基于分形技术的构建单调搜索空间的突变检测算法.首先给出了数据流上的分段分形模型,进而基于该模型设计了突变检测算法.该算法能够将突变检测处理时间复杂度从O(m)降为O(logm)(m为需要被检测的滑动窗口数目).提出的两种新颖的分段分形模型能够准确地对数据流的自相似性进行建模并压缩数据流.理论分析和实验结果表明,与已有研究成果相比,算法具有较高的精度和较低的时间/空间复杂度,更加适用于进行数据流的突变检测.(本文来源于《软件学报》期刊2006年09期)

秦首科,常建龙,谷姗姗,周傲英[8](2005)在《数据流上的综合性突变检测算法》一文中研究指出1引言在基于统计的网络异常监测方法中,一个非常重要的组成部分就是突变检测(Burst Detection)。Sasha在文[1]中明确提出对已有的攻击进行穷举的不可行性,重点应检测正常使用与异常使用(mis-(本文来源于《第二十二届中国数据库学术会议论文集(技术报告篇)》期刊2005-08-19)

数据流突变论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

数据流突变检测技术由于在金融、医疗服务、电信等重要领域有广泛应用而受到国内外科研学者更多关注。为了能够检测正数据流、负数据流以及正负交错数据流的突变,提出了嵌入二维数组的迁移聚集树的数据流突变检测算法。该算法能够检测单调聚集函数和非单调聚集函数的突变,能够在较少时间内完成数据流突变检测的任务。实验证明本算法有良好的性能和效率,更适合检测突变的数据流。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

数据流突变论文参考文献

[1].宋巧红.一种数据流突变点快速探测算法的研究与实现[D].东华大学.2018

[2].吕晓,刘霞,汪厚祥.基于嵌入二维数组的迁移聚集树的数据流突变检测算法[J].计算机与数字工程.2009

[3].王伟.基于突变理论与数据流的状态转移容忍入侵模型分析[J].合作经济与科技.2009

[4].吕晓.一种改进的数据流突变检测算法的研究[D].哈尔滨工程大学.2009

[5].陈飞波.基于最窄平行四边形的数据流突变检测算法[D].复旦大学.2008

[6].陈飞波,钱卫宁,周傲英.基于最窄平行四边形的数据流突变检测算法[C].第二十四届中国数据库学术会议论文集(研究报告篇).2007

[7].秦首科,钱卫宁,周傲英.基于分形技术的数据流突变检测算法[J].软件学报.2006

[8].秦首科,常建龙,谷姗姗,周傲英.数据流上的综合性突变检测算法[C].第二十二届中国数据库学术会议论文集(技术报告篇).2005

标签:;  ;  ;  ;  

数据流突变论文-宋巧红
下载Doc文档

猜你喜欢