导读:本文包含了非监督异常检测论文开题报告文献综述及选题提纲参考文献，主要关键词:异常检测,统计学习,决策树算法,决策树加速算法
非监督异常检测论文文献综述
刘鑫[1]（2018）在《无监督异常检测方法研究及其应用》一文中研究指出根据Hawkins对于异常的定义:“异常是远离其他观测数据,并且产生机制与正常数据不同的样本数据”,可以得出异常检测是对数据中不同于正常行为的异常数据模式的检测和发现。在网络环境、复杂机器系统、气象信息系统等系统中,数据模式往往可以归纳成两种形式,一种是正常,一种是异常。在这些系统中,异常模式往往包含了重要的信息,及早发现异常模式可以规避已知或者未知的风险,同时提高工作效率。目前异常检测技术已经大量应用到各个领域,例如网络入侵检测,信用卡欺诈检测、复杂系统中的故障检测与修复和气象异常检测等。识别,理解和预测数据中的异常已经成为现代数据挖掘的关键支柱之一。在大数据环境下,人们比以往更加关注能够快速从全体数据中获得有价值信息的方法。因此无监督异常检测算法更加需要关注异常的发现效率和在各类型数据情况下算法的可适应性问题。本课题旨在通过对以往无监督异常检测算法优缺点的研究与分析,提出一种基于无监督决策树的异常检测算法。本文的主要研究内容包括以下叁个部分:1、国内外异常检测算法比较研究。此部分是本课题研究的逻辑起点。通过该部分对异常检测算法的背景研究与分析可以找出现有算法的优点与不足,从而总结归纳出新的算法。2、无监督异常检测算法的提出与实验。此部分基于第一部分的调研,提出一种结合统计学知识和决策树构建方法的新的无监督决策树算法。该方法利用数据在特征上的分布信息找出决策树分支节点的最优分割点。实验结果表明,该方法可以获得比现有通用方法更好的检测效果。同时该方法相较于现有方法,对数据具有更强的适应性。3、决策树加速算法的提出与实验。为了使得决策树算法在大样本下依然有较高的执行效率,提出一种基于梯度的决策树找最优分割点的方法。该方法利用可分性的梯度信息来指导跳过不重要分割点处的可分性计算,减少了大量的计算量。实验表明该方法在减少大量计算量的同时,并不会降低算法精度。(本文来源于《电子科技大学》期刊2018-03-23）
Alexis,Huet,胡曼恬,石路路,代心灵,周鹏[2]（2017）在《基于非监督模型的无线网络异常检测》一文中研究指出非监督学习方法可自发地描述数据结构并且推导出网络模式,这对于确认非预期的异常行为并及时地检测出新的异常现象的类型是有效的。本文使用不同的非监督模型来分析无线网络中的流量数据,着重于分析流量数据结合时间轴信息的模型。本文介绍了一个基于高斯概率的潜在语义分析模型——GPLSA,并将该模型与其他方法进行比较,试验结果表明:在一个完全自动化,以数据为驱动的解决方案中,GPLSA可以提供一个稳健的,超前的异常现象检测。(本文来源于《江苏通信》期刊2017年06期）
杨东升[3]（2016）在《数据流下多维序列的无监督异常检测技术研究》一文中研究指出序列异常检测旨在发现偏离正常模式的序列数据,在某些场景下对异常数据的发现能带给人们更多有价值的信息。近年来随着计算机技术的高速发展,对异常的检测方式也有了巨大的转变,开始从传统的面向离线场景的单维序列异常检测逐渐转变为面向实时性更强,信息更加丰富的数据流场景下的多维序列异常检测。在金融行业的信用卡欺诈检测,计算机系统内部入侵检测等领域中,数据流下的多维序列异常检测技术具有极广的实际应用价值,因此也逐渐成为当前的研究热点。然而,目前关于序列异常检测的工作主要聚集在单维序列数据的异常检测,并且主要面向离线数据的场景。数据流下多维序列异常检测相比离线的单维序列异常检测更具有挑战性,主要的挑战点有如下叁个:(1)多维序列的空间复杂度会随着维度的增加而指数型增长,导致数据处理复杂性高,从而影响异常检测的效率和准确率;(2)数据流中的多维序列数据会持续到达,因此需要提高检测效率;(3)数据流中存在概念漂移,为了能提高对真正异常的识别率,需要动态调整检测模型。本文针对多维序列数据的降维技术、序列异常的高效检测技术以及数据流下模型的动态调整技术做了深入的研究。多维序列的降维技术旨在降低序列数据的空间复杂性,从而提高建模能力。然而,为了保证异常识别率,在降低空间复杂度的同时需要保存尽可能多的特征信息。本文提出了基于互信息和最小生成树聚类的特征选择方法MIMS。该方法通过互信息来分析维度之间的关联关系,聚类方法可以保证各个簇之间的关联性低,簇内特征之间的关联性高,通过在各个簇内选择代表特征来进行特征选择。该方法能有效的选择具有代表性的特征,在降低空间复杂度的同时充分保留了多维序列的有效信息,从而保证了异常识别率。实验结果表明,经过基于互信息和最小生成树聚类的特征选择方法MIMS选择得到的特征数据相比经过FCBF,CFS处理得到的特征数据在经典分类器如朴素贝叶斯和决策树C4.5处理下,分类的准确率平均提高了3.2%。序列异常的高效检测技术旨在快速处理持续到达的序列数据。传统的序列异常检测大多面向离线数据,具有建模和检测时间耗时长的缺点,而目前面向数据流环境的序列异常检测方法主要是基于频繁项挖掘技术,该项技术只能针对固定模式的序列数据,且难以充分挖掘序列的顺序关系,因此检测率较低。本文提出了基于随机抽样和子序列划分的概率后缀树检测方法RSOD,RSOD通过随机抽样和子序列划分方式来降低训练数据的复杂性,同时利用索引结构加快模型的构建速度。通过上述方法可以有效的降低模型的复杂性,并且缩短建模时间。在检测阶段由于模型的复杂度较低,因此能实现高效的异常检测。实验结果表明,基于随机抽样和子序列划分的概率后缀树检测方法RSOD相比传统的PST算法在模型构建和检测时延上降低了50%和34%以上,并且异常识别率能保持在91%以上与传统PST相近。模型的动态调整技术旨在通过检测概念漂移来降低异常误判率,并通过模型动态调整来保证异常检测效率。本文提出了基于异常缓冲的模型动态调整方法OBDMA,该方法首先利用基于统计量和检测率的混合式概念漂移检测方法对数据流中的概念漂移进行检测。在检测到概念漂移发生后会对该类型的数据分布重新构建模型。同时,通过时间衰减函数来动态调整模型的权重,保证异常检测效率。实验结果表明,基于异常缓冲的模型动态调整方法OBDMA相比基于统计量的概念漂移检测方法在对概念漂移检测准确率上提高了26%。为了进一步验证本文的研究成果,本文在流式处理平台Storm上设计并实现了基于数据流的多维序列异常检测系统ODSMS。该系统首先利用基于互信息和最小生成树聚类的特征选择方法MIMS对多维日志审计数据进行特征选择,在选取若干具有代表性特征后采用基于随机抽样和子序列划分的概率后缀树检测方法RSOD构建序列模型并检测异常数据。在异常检测的同时,采用基于异常缓冲的模型动态调整方法OBDMA主动检测概念漂移并动态调整模型。基于数据流的多维序列异常检测系统ODSMS采用模块化的设计方法,将数据的特征选择,序列建模,异常检测等模块化实现,降低了接口复杂性,提高了系统的健壮性。实验结果表明,系统可以平稳有效的处理Unix的日志审计数据(BSM结构),对异常的识别率保持在88%以上,误判率保持在7%以下。(本文来源于《国防科学技术大学》期刊2016-11-01）
马金秀[4]（2016）在《基于视频的无监督异常事件检测》一文中研究指出随着物质生活的日益丰富,安全问题成了每个民众关心的话题,异常事件检测作为安防系统的重要组成部分吸引着越来越多的科研工作者投入到该项研究中。目前的异常事件检测分为有监督和无监督异常事件检测。有监督异常事件检测需要人工标记正常事件和异常事件,标签库获取困难,并且只能检测训练数据库中已存在或类似的异常事件,对于其他未经训练的异常事件检测效果差,为此出现了无监督异常事件检测。无监督异常事件检测无需人工标记,可以检测多种异常事件,但目前的方法主要针对特定场景进行检测,换一种场景效果会大大减弱,并且计算复杂度过高,难以适应监控视频的实时性要求。本论文就无监督异常事件检测方面展开研究,不依赖于特定视频场景,对视频段提取特征,建立基本事件表征模型,进行实时的异常事件检测与更新,同时给出了视频中异常事件检测系统的设计方法与具体实现。本文的具体研究内容如下:一、针对静态视频固有特点,结合当前主流的运动对象轨迹提取方法,提出基于边缘特征匹配的帧间差运动对象提取算法,该算法能够完整地提取出运动对象,并对运动对象跟踪,加入边缘和方向信息,使得轨迹提取更为准确。二、通过对运动对象进行跟踪,结合运动对象及其轨迹分布,分析运动轨迹规律,提取轨迹特征,将高斯混合模型运用到异常事件检测中,通过概率来表征异常事件出现的可能性,使得事件不再是简单的正常与异常。叁、针对群体运动特征难以描述的问题,提出从视频整体性出发,以视频段的群体作为基本单位,对运动的剧烈程度和混乱程度进行描述,将运动强度和运动方向熵引入到异常事件检测中,分析运动强度和运动方向熵的分布曲线,建立异常事件概率表示方法,使得异常事件检测在相对拥挤视频场景中具备良好效果。四、对视频中群体关联关系进行表征,采用运动对象间相识度的概念,从同步性和交流性对相识度进行度量,并根据相识度进行异常事件的预判,使得异常事件不再是发生后进行检测,为异常事件检测提供了一种可能的研究方向。实验证明了本论文提出的特征能够较好地描述事件,建立的事件模型能够适应于多种视频场景,异常事件检测具备一定的性能,能够实时地完成异常事件检测任务。(本文来源于《电子科技大学》期刊2016-03-30）
易囯晗,周义成,杨凤云[5]（2014）在《视频监控中无监督异常事件检测》一文中研究指出介绍了一种视频监控中无监督异常事件检测方法,其核心是通过均值法将训练视频对视频的背景进行提取,用帧差法将背景提出并测算面积并划分正常面积值域。用同样的方法对测试视频进行检测,若超过阈值范围,则标记异常目标。(本文来源于《工业控制计算机》期刊2014年01期）
陈剑,蔡龙征[6]（2013）在《一种无监督异常入侵检测的簇异常度量方法》一文中研究指出文中主要研究用Pearson相关系数计算记录与簇、簇与簇间符号属性距离的方法;在这个方法中,提出了一种新的簇异常度量—近似平均距离AAD,AAD综合了一个簇的局部异常度,即簇的内部点密度,和该簇在整个簇结构中的全局异常度,即该簇与其它簇的距离;提出了依据AAD对聚类后的簇分类,并以已分类簇结构作为检测模型进行无监督异常检测的方法,通过异常检测能及时地对每个记录分类,从而能及时发现入侵行为,减小由入侵造成的损失;最后用KDD 99评估数据集所作的实验表明,用AAD作为簇的分类度量的方法比其它相关研究具有更高的检测率和更低的误警率。(本文来源于《计算机技术与发展》期刊2013年04期）
王晓辉,陈昌爱[7]（2012）在《基于混合属性处理的无监督异常检测》一文中研究指出针对目前入侵检测系统应用时处理类别型数据能力欠缺、误报率高的问题,提出一种改进的无监督异常检测算法。该算法基于k-原型聚类思想对包含混合属性数据聚类,在此基础上运用ID3算法进行分类,有效地解决了k-原型算法的局部最优问题以及对初始聚类数的选取有较强依赖性的问题。实验表明,该算法与现有方法相比具有较好的检测性能并能有效检测出未知入侵行为。(本文来源于《福建电脑》期刊2012年05期）
李青华,马春波[8]（2012）在《基于并行聚类算法的无监督异常检测研究》一文中研究指出为满足高效聚类大规模数据集的要求,该文提出一种基于k均值算法的并行聚类算法,该并行算法能使聚类时间随节点主机数目的增多,呈近似线性递减。为了更好地平衡检测率与误报率,文章又提出了基于平方误差最小的重定位算法,相比于李娜等人提出的算法,该重定位算法使检测率提升了5%,误报率降低了1.1%。实验结果表明,该文算法不但能够提高聚类效率,而且能够更加有效地检测出已知和未知攻击。(本文来源于《舰船电子工程》期刊2012年01期）
刘卫国,张志良[9]（2010）在《一种全部属性聚类和特征属性聚类相结合的无监督异常检测模型》一文中研究指出为提高无监督异常检测系统的检测率、误报率和检测效率,将数据集划分为不同的服务集,然后对每个服务集数据包进行全部属性聚类和部分相关属性聚类(即特征属性聚类)并比较训练结果,取其中训练性能较优的方法建立对该服务的检测模型。检测实验表明,本文模型的检测率达到99.21%,误报率降低到2.2%。与不加服务划分的模型相比,本文模型的训练时间和检测时间分别降低为相应模型的21.17%和21.98%。与其他检测算法的比较结果也表明,本文模型在检测率和误报率方面具有更优的性能。(本文来源于《铁道学报》期刊2010年05期）
李洁颖,孙英[10]（2010）在《增量式健壮主成分分类器的无监督异常检测方法研究》一文中研究指出传统的入侵检测算法对数据集的研究都是针对静态训练数据的,对于动态数据却显得无能为力。但在实际应用中,入侵行为层出不穷,入侵检测系统应能对新的入侵行为进行增量学习。为了解决该问题,在前期工作的基础上,提出一种基于增量式分类器的无监督异常检测方法;实验表明:该方法在训练数据为动态情况下,能够有效检测未知入侵,在检测率、误警率方面都达到较满意的结果,并在效率上有较大提高。(本文来源于《计算机工程与应用》期刊2010年22期）
非监督异常检测论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
非监督学习方法可自发地描述数据结构并且推导出网络模式,这对于确认非预期的异常行为并及时地检测出新的异常现象的类型是有效的。本文使用不同的非监督模型来分析无线网络中的流量数据,着重于分析流量数据结合时间轴信息的模型。本文介绍了一个基于高斯概率的潜在语义分析模型——GPLSA,并将该模型与其他方法进行比较,试验结果表明:在一个完全自动化,以数据为驱动的解决方案中,GPLSA可以提供一个稳健的,超前的异常现象检测。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
非监督异常检测论文参考文献
[1].刘鑫.无监督异常检测方法研究及其应用[D].电子科技大学.2018
[2].Alexis,Huet,胡曼恬,石路路,代心灵,周鹏.基于非监督模型的无线网络异常检测[J].江苏通信.2017
[3].杨东升.数据流下多维序列的无监督异常检测技术研究[D].国防科学技术大学.2016
[4].马金秀.基于视频的无监督异常事件检测[D].电子科技大学.2016
[5].易囯晗,周义成,杨凤云.视频监控中无监督异常事件检测[J].工业控制计算机.2014
[6].陈剑,蔡龙征.一种无监督异常入侵检测的簇异常度量方法[J].计算机技术与发展.2013
[7].王晓辉,陈昌爱.基于混合属性处理的无监督异常检测[J].福建电脑.2012
[8].李青华,马春波.基于并行聚类算法的无监督异常检测研究[J].舰船电子工程.2012
[9].刘卫国,张志良.一种全部属性聚类和特征属性聚类相结合的无监督异常检测模型[J].铁道学报.2010
[10].李洁颖,孙英.增量式健壮主成分分类器的无监督异常检测方法研究[J].计算机工程与应用.2010