空间离群点论文-刘金艳

空间离群点论文-刘金艳

导读:本文包含了空间离群点论文开题报告文献综述及选题提纲参考文献,主要关键词:局部线性嵌入,离群点,维数约简,拉普拉斯映射

空间离群点论文文献综述

刘金艳[1](2016)在《高维空间离群点检测的局部线性嵌入方法研究》一文中研究指出随着计算机的普及和广泛应用,各行各业产生的数据越来越多,数据的维数也越来越高。挖掘隐藏在高维数据中有价值的信息已经成为各界关注的热点。离群点检测是数据挖掘的重要组成部分,旨在发现数据集中与大多数数据表现和行为不一致的数据,已经应用到信用卡欺诈、网络入侵、医疗处理、公共安全监测等诸多领域。挖掘高维数据中的离群点具有极其重要的理论与实践意义。由于高维数据分布的稀疏性,利用传统的离群点检测方法确定高维空间中离群点的效果并不理想。本文将维数约简思想融入到离群点检测中,研究了基于维数约简的离群点检测方法。由于高维数据大都具有非线性结构,本文将非线性局部线性嵌入降维方法引入到离群点检测问题中,提出了保持局部近邻关系的局部线性嵌入方法和高维空间局部线性嵌入的离群点检测方法,本文的主要研究工作如下。首先,本文介绍了数据挖掘、离群点检测以及维数约简的研究现状,详细评述了几种经典的离群点检测与维数约简方法,着重分析了局部线性嵌入方法的优点与存在的问题,并阐述了传统的离群点检测方法不能准确检测高维空间中的离群点的原因,以及论证了将高维空间中的数据映射到低维空间进行离群点检测的必要性与可行性。其次,针对局部线性嵌入对噪声敏感的问题,本文将拉普拉斯映射融入到局部线性嵌入中,提出了一种保持局部近邻关系的局部线性嵌入的非线性降维方法。利用提出的方法对模拟数据集进行实验,验证了该方法的有效性以及在保持线性结构的基础上进一步保持局部近邻关系的特性。在真实数据集的模拟实验中,我们将本文提出的方法与叁种经典的降维方法进行了比较分析,验证了该方法的有效性。最后,由于离群分布在密度较低的区域,本文利用粗糙集模型刻画离群点,提出了一种基于局部线性嵌入的高维空间离群点检测方法。根据所构造的粗糙集模型,将数据集分为稠密区域与稀疏区域。在构造数据集的局部近邻图的同时构造数据集正域的局部线性近邻图。为了更有效地区分离群点,在局部近邻图中增加一个权值,尽量将稠密区域的点与稀疏区域中的点分离开来。在低维空间中采用基于最小生成树的k-近邻启发式方法来检测离群点。将本文提出的方法与四种经典的离群点检测方法在八个数据集上进行对比实验,实验结果验证了新方法的有效性。(本文来源于《哈尔滨工程大学》期刊2016-12-01)

杨昊,陈雷霆,邱航[2](2016)在《基于加权空间离群点度量的随机脉冲噪声降噪算法》一文中研究指出针对排序统计类降噪算法在随机脉冲噪声(RVIN)图像降噪过程中,对图像边缘和细节部分噪声识别不够准确以及恢复比较模糊的问题,提出了基于加权空间离群点度量(SLOM)的脉冲噪声降噪算法WSLOM-EPR。该算法以优化的空间距离差为基础,引入图像邻域均值和标准差,建立反映局部边缘细节特征的噪声检测方法,提高边缘细节处噪声的识别精度;然后以精确检测结果为基础,优化保边正则(EPR)函数,提高算法的执行效率,并增强算法保留边缘细节的能力。仿真结果显示,WSLOM-EPR算法在40%到60%噪声密度下对噪声点的误检和漏检综合表现优于对比算法,且能在两者之间保持一个较好的平衡;降噪后的峰值信噪比(PSNR)好于对比算法中的大多数情况,且边缘细节在视觉上更加清晰连续。结果表明WSLOM-EPR算法提高了噪声检测精度,有效地保持了恢复图像的边缘细节信息。(本文来源于《计算机应用》期刊2016年10期)

葛清龙,薛安荣,贾小艳[3](2015)在《关联子空间离群点挖掘》一文中研究指出针对高维数据,已有的子空间离群点挖掘方法未能有效反映子空间的关联程度,对所有数据点采用统一的子空间,不能有效凸显不同离群点存在的特有子空间,导致挖掘精度不高和挖掘结果难以解释等问题.且都平等的对待数据点在多个子空间中的离群得分,使离群点与非离群点之间的对比度低.为此,提出一个新的关联子空间离群点挖掘算法.算法根据数据点及其局部邻域在一维投影上的分布特性,把一维投影上具有最大非均匀分布程度的维作为关联度子空间的基准维,用类Apriori算法将关联度大的子空间快速构造成不同数据点特有的关联子空间集合,并基于关联子空间进行离群点挖掘.算法给偏离度大的赋予较大的权值,加大了离群点与非离群点之间的对比度.实验表明,算法取得较高准确度,并优于现有方法.(本文来源于《小型微型计算机系统》期刊2015年05期)

薛安荣,何峰,闻丹丹[4](2014)在《基于全息熵的空间离群点挖掘算法研究》一文中研究指出基于距离和基于密度的离群点检测算法受到维度和数据量伸缩性的挑战,而空间数据的自相关性和异质性决定了以属性相互独立和分类属性的基于信息理论的离群点检测算法也难以适应空间离群点检测,因此提出了基于全息熵的混合属性空间离群点检测算法。算法利用区域标志属性进行区域划分,在区域内利用空间关系确定空间邻域,并用R*-树进行检索。在此基础上提出了基于全息熵的空间离群度的度量方法和空间离群点挖掘算法,有效解决了混合属性的离群度的度量和离群点的挖掘问题。由于实现区域划分有利于并行计算,从而可适应大数据量的计算。理论和实验证明,所提算法在计算效率和实验结果的可解释性方面均具有优势。(本文来源于《计算机应用研究》期刊2014年02期)

何峰[5](2013)在《基于信息理论的空间离群点挖掘技术研究》一文中研究指出离群点挖掘已成为数据挖掘研究领域最活跃的分支之一。在数据库、数据挖掘、机器学习和统计学等领域受到广泛关注,在欺诈检测、入侵检测、故障检测、生态系统失调、公共卫生中的异常疾病的爆发、公共安全中的突发事件的发生、异常自然气候的发现等应用中有着广阔的应用前景。随着传感器设备技术的发展,数据采集设备的数量越来越多,精度越来越高,空间数据的数量越来越大,维数也越来越高。现有的针对空间数据的离群点挖掘方法主要是基于距离和基于密度的,这些方法受到“维度灾难”和数据量伸缩性的挑战。基于信息理论的离群点检测算法一般研究的是分类属性并假设属性之间相互独立,由于空间数据的自相关性和异质性,决定了现有的基于信息理论的离群点检测方法也难以适应数据挖掘,故基于信息理论的空间离群点挖掘算法还未见报道。因此,本文将根据空间数据自身的特点,基于综合考虑信息熵和属性之间关联性的全息熵概念,研究基于全息熵的能同时适应离散属性和连续属性的空间离群点检测算法。论文主要工作如下:(1)对现有的与空间离群点检测相关的典型的离群点检测算法进行分析和实验比较,指出各自的优势及存在的局限。(2)针对现有的空间邻居(域)的确定仅仅依靠空间关系,造成复杂度高的局限,提出利用空间标识属性实现空间区域划分,并利用空间标识属性的层次特性建立层次树,直到特定层次,即在一定区域内才通过空间关系确立空间邻居,并用R*-树进行检索,从而降低了计算复杂度,并为分布并行计算奠定了基础。(3)针对现有的空间离群点检测算法难以适应高维大数据的问题,提出综合考虑信息熵和属性之间互信息的全息熵的空间离群点挖掘算法。算法提出了针对不同类型属性的相异度度量方法和基于相异度信息熵度量方法,并提出了基于信息熵的属性权重计算方法。在此基础上提出了基于加权的全息熵的离群度度量方法,并设计了基于离群度的空间离群点挖掘算法。理论和实验结果均表明,由于算法综合考虑了空间数据的特性,有效实现了数据划分和权重的自动计算,在计算复杂度、计算精度、用户依赖性和结果的可解释性方面均具有优势。(本文来源于《江苏大学》期刊2013-05-01)

李龙姣,程国达[6](2013)在《基于直方图和FP增长的高维空间离群点挖掘》一文中研究指出高维空间离群点的检测和分析是数据挖掘的研究难点之一,针对现有方法存在的问题,提出基于直方图和FP增长的高维空间离群点的挖掘方法。该方法首先计算每一维上数据点的KNN(K-Nearest Neighbors)距离,形成直方图,利用直方图判定数据每一维上的离群点,然后用FP增长算法挖掘频繁离群维之间的关联规则,用于解释离群点在离群维之间的关系。实验证明所提方法不仅有效,而且具有实际意义。(本文来源于《计算机与现代化》期刊2013年01期)

段超[7](2013)在《基于多属性的空间离群点检测算法研究》一文中研究指出空间离群点检测就是为了从空间异常对象、异常模式中挖掘出潜在的有用信息。空间离群点检测是空间数据挖掘技术的一个重要分支,在交通、生态、气象、公共健康、公共安全等领域有着广阔的应用前景。在当今信息化的时代,各行各业数据积累速度呈指数级快速增长,特别是空间数据呈现出属性多,数据量大的特点。鉴于现有的一些空间离群点检测算法对多属性的空间数据处理效果不佳,本文从提高多属性空间离群点的检测精度和计算速度出发,对基于多属性的空间离群点检测算法进行了深入研究。本文主要研究内容包括:建立了一种基于多属性的空间离群点检测模型MASODM,主要分为数据准备、属性划分、冗余剪枝和离群检测四个步骤;针对空间数据多属性的特点,提出了一种基于属性稀疏度的冗余属性剪枝算法ASD,减小无关属性对离群检测结果的影响;考虑到空间数据的自相关性和异质性的特点,结合ASD冗余属性剪枝算法,提出了一种高效的基于马氏距离的多属性空间离群点检测算法MASOD,使得检测结果更加精确;在MASOD算法的基础了提出了一种改进的基于多属性的空间离群点算法FASTMASOD,通过事先有效排除不可能是离群点的空间对象,从而大大提高空间离群点检测的计算速度;最后通过实验验证了算法的正确性和高效性。(本文来源于《华东理工大学》期刊2013-01-10)

张忠平,徐晓云,王培[8](2011)在《基于KNN图的空间离群点挖掘算法》一文中研究指出空间数据集中离群数据与正常数据之间的非空间属性值相差较大。针对该情况,提出一种基于K-最邻近(KNN)图的空间离群点挖掘算法。该算法通过所有对象的K近邻关系构造KNN图,将相邻对象非空间属性值的差作为2个对象点间的边权值,利用裁边策略去掉权值较高的边,从而识别出空间离群点和离群区域。实验结果表明,该算法的时间性能优于POD算法。(本文来源于《计算机工程》期刊2011年04期)

徐晓云[9](2010)在《空间离群点挖掘算法的研究》一文中研究指出随着卫星、CT成像等传感器的广泛应用,空间数据的数量和复杂性都在飞快地增长,但空间数据的处理技术却相对落后,因此,空间数据挖掘成为了数据挖掘的一个新的研究领域。空间离群点挖掘作为空间数据挖掘的一个重要分支,用来发现空间数据集中与其邻域对象的非空间属性值有明显不同的小部分空间对象。空间离群点挖掘在交通控制、遥感图像分析等应用领域中具有重要意义。本文在对国内外研究现状进行综合分析的基础上,进一步对空间离群点的挖掘算法进行深入研究。首先,针对现有空间离群点挖掘算法中存在的空间对象有可能会被其周围异常邻居对象影响的缺陷,基于KNN图的工作原理,利用裁剪边策略,提出了基于KNN图的空间离群点挖掘算法BKNN。该算法在挖掘空间离群点的同时,还可以挖掘出空间离群区域。其次,考虑到现有空间离群点挖掘算法中存在忽略空间属性对空间对象离群度计算的影响问题,基于WSO思想下,利用将非空间属性加权的方法,确定空间属性对空间离群度计算的影响因子,在传统的Z-value算法的基础上,提出了改进的Z-value算法---IZ-value算法。再次,针对IZ-value算法中存在着某些空间对象之间差异会被隐藏的情况,在研究了IZ-value算法的基础上,基于WSO思想,提出了加权的差值算法---WDA算法。最后,在FMR数据集和WNV数据集上,分别对基于KNN图的空间离群点挖掘算法和基于WSO思想的两个空间离群点挖掘算法进行实验,验证了算法的有效性。(本文来源于《燕山大学》期刊2010-12-01)

胡彩平,秦小麟,任韧[10](2010)在《局部空间离群点算法的改进及其实现》一文中研究指出LOF算法是一个着名的局部离群点查找方法,该方法赋予了表征每一个空间点偏离程度的数值。但LOF算法存在效率低和性能差的问题,为此对该算法进行了以下两个方面的改进:第一,提出了降低该算法时间复杂度的两步改进方法,并对这两步改进方法的时间复杂度也进行详细分析,第二,使得该算法在查找局部离群点时,不仅考虑了空间属性,也考虑了非空间属性。另外还通过实验测试了LOF算法及其改进方法的时间效率,以及在模拟数据和真实数据情况下的查找离群点的效果。实验结果表明,改进方法具有更好的时间效率和性能。(本文来源于《中国图象图形学报》期刊2010年10期)

空间离群点论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

针对排序统计类降噪算法在随机脉冲噪声(RVIN)图像降噪过程中,对图像边缘和细节部分噪声识别不够准确以及恢复比较模糊的问题,提出了基于加权空间离群点度量(SLOM)的脉冲噪声降噪算法WSLOM-EPR。该算法以优化的空间距离差为基础,引入图像邻域均值和标准差,建立反映局部边缘细节特征的噪声检测方法,提高边缘细节处噪声的识别精度;然后以精确检测结果为基础,优化保边正则(EPR)函数,提高算法的执行效率,并增强算法保留边缘细节的能力。仿真结果显示,WSLOM-EPR算法在40%到60%噪声密度下对噪声点的误检和漏检综合表现优于对比算法,且能在两者之间保持一个较好的平衡;降噪后的峰值信噪比(PSNR)好于对比算法中的大多数情况,且边缘细节在视觉上更加清晰连续。结果表明WSLOM-EPR算法提高了噪声检测精度,有效地保持了恢复图像的边缘细节信息。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

空间离群点论文参考文献

[1].刘金艳.高维空间离群点检测的局部线性嵌入方法研究[D].哈尔滨工程大学.2016

[2].杨昊,陈雷霆,邱航.基于加权空间离群点度量的随机脉冲噪声降噪算法[J].计算机应用.2016

[3].葛清龙,薛安荣,贾小艳.关联子空间离群点挖掘[J].小型微型计算机系统.2015

[4].薛安荣,何峰,闻丹丹.基于全息熵的空间离群点挖掘算法研究[J].计算机应用研究.2014

[5].何峰.基于信息理论的空间离群点挖掘技术研究[D].江苏大学.2013

[6].李龙姣,程国达.基于直方图和FP增长的高维空间离群点挖掘[J].计算机与现代化.2013

[7].段超.基于多属性的空间离群点检测算法研究[D].华东理工大学.2013

[8].张忠平,徐晓云,王培.基于KNN图的空间离群点挖掘算法[J].计算机工程.2011

[9].徐晓云.空间离群点挖掘算法的研究[D].燕山大学.2010

[10].胡彩平,秦小麟,任韧.局部空间离群点算法的改进及其实现[J].中国图象图形学报.2010

标签:;  ;  ;  ;  

空间离群点论文-刘金艳
下载Doc文档

猜你喜欢