导读:本文包含了数据流异常检测系统论文开题报告文献综述及选题提纲参考文献，主要关键词:Flink,异常检测,证券,流计算
数据流异常检测系统论文文献综述
饶伊文[1]（2019）在《基于流计算的证券数据流异常检测系统的设计与实现》一文中研究指出我国的证券市场不断的在发展繁荣,不断的有新的企业在国内上市,交易量也不断增长,其规模的扩大也推动着我国实体经济向前发展。然而由于政治、行业、舆情等大幅变化会对造成证券市场的波动,而证券市场具有联动、易发等特点会反作用于实体经济,阻碍着经济的发展。因此,有必要对当前我国证券市场风险的进行评估,实时对证券市场的异常行为进行监管,越早的发现证券市场的异常情况就可以越快的进行应对。而当今证券监管部门所面临的业务痛点:1)数据量大造成高时延,不能满足高速变化的丰富市场需求;2)异常检测规则的阈值依赖业务领域专家长期积累的业务经验,不能随着市场的变化及时修正。而随着分布式系统的成熟稳定,流计算技术的产生和近年来的不断发展,以及各种机器学习相等算法涌现,考虑构建基于流计算的证券数据流异常检测系统,设计了实时数据源接入、实时数据预处理、实时异常检测和实时异常推出四大模块,对证券数据流进行异常检测并达到实时的秒级告警,从而提高监管效率,确保异常发现的实时性。具体地,本文做了以下工作:首先,本文对交易系统产生的实时增长的证券数据进行分析,尝试了使用实时流计算框架对数据进行接入,设计了使用Kafka作为数据总线、流计算作为实现方法的整个系统构架。其次,基于Flink框架进行了实时数据源的接入和对数据进行实时的预处理设计和开发。接着,使用流计算支持依据专家的异常规则进行实时检测,尝试使用自回归移动平均模型和层级实时记忆脑皮质学习算法(HTM)针对证券数据流进行异常检测。最后,将输入源和异常结果实时持久化落地,将产生的异常结果通过订阅的方式进行推送。在测试方面,从功能性和非功能性两方面进行,给出测试用例并分阶段完成,除了对需求中功能上的保证外,还检测了系统的时延和可靠性。本系统实现了对实时证券数据流的实时异常检测,为市场监察部门提供了更快速的监管信息,并可为投资人进行预警。(本文来源于《哈尔滨工业大学》期刊2019-06-01）
牛彪[2]（2017）在《基于神经网络的应用异常数据流检测系统》一文中研究指出异常数据流检测系统用于防止网络内部的用户泄漏企业的机密信息。传统的解决方案大多使用内容识别的方法来检测机密信息的泄漏,但是这种方法不能检测加密后的文件。有研究使用信息流分析的方法来预防机密信息流向用户的外部存储设备或者网络,但是这需要修改应用程序或者需要底层硬件的支持,不适用于当前已有的系统。总的来说,当前已有的检测方法适用性较差,存在数据泄漏的风险。基于神经网络的异常数据流检测系统使用长短期记忆人工神经网络来识别用户网络操作之间的时序关系,探测用户的异常行为模式来预防机密信息的泄漏,达到了较高的检测率和较低的误报率。系统分为两个阶段,学习阶段和探测阶段。在学习阶段,保存用户的应用层数据为历史流量库,并以双向链表的形式组织起来,便于对历史流量的添加和删除。在探测阶段,通过为应用层协议构建应用层代理,并且使用中间人拦截方法处理SSL协议加密后的连接,成功地获取了应用层数据。然后基于历史流量库来提取应用层数据的特征向量,并由长短期记忆人工神经网络对特征向量进行探测,来发现用户的数据泄漏行为。对系统分别从功能和性能两个方面进行了测试。在功能方面,系统能够高效率地拦截应用层协议和SSL协议加密后的应用层协议的数据,并对发生数据泄漏的连接进行正确地阻断。同时,在对CERT数据集中的HTTP流量和SMTP流量的探测上,分别达到了87.27%和84.81%的检测率,以及12.37%和1.87%的误报率。在性能方面,由于多线程下对历史流量库的访问成为一个瓶颈,导致了较大的性能损耗。(本文来源于《华中科技大学》期刊2017-05-01）
李浪,李仁发[3]（2008）在《基于数据流异常挖掘的入侵检测系统设计》一文中研究指出通过对入侵检测和数据流异常挖掘技术的研究,把数据流异常挖掘应用到入侵检测,成为目前入侵检测新的有效方法和研究热点。对基于数据流异常挖掘的入侵检测系统模型进行了设计,并对数据流异常挖掘算法进行了设计和实现,通过实验分析,取得了较好的效果。(本文来源于《科学技术与工程》期刊2008年13期）
李人和[4]（2008）在《数据流异常检测系统若干问题研究》一文中研究指出近年来,随着网络技术的不断发展,数据流作为一种新颖的数据传输方式在日常生活中有着越来越广泛的应用,并推动了传统的数据库管理系统(DataBase Management System)向数据流管理系统(Data Stream Management System)进行转变。与静态数据相比,数据流具有实时性,连续性和无限性的特点,这使得分析数据流的方式与已有的数据处理方式存在着较大区别。而在国民经济的各个领域中,数据流的分析处理技术都有着非常广泛的应用,因此,对于数据流相关问题的研究,已逐渐成为数据库方向研究的重点。上海电信在日常运营管理过程中,需要对不同层次上网络端口的流量数据进行分析,以实现对系统中的异常情况实时进行监测和处理,提高服务质量。为了应对这样的需求,我们提出了一个新颖的系统RealMon,该系统能够实时监测电信线网中的流量异常情况。在设计和实现RealMon系统的过程中,我们发现,不同链路的流量数据存在着相互关联的特性,并且,这些数据存在着较为严重的数据质量问题。针对这些问题,在本文中,我们首先提出了通过分析一组数据流中关联关系的变化来查找数据流异常的方法,并针对数据流质量问题,设计了对数据流进行实时清洗的模型,在此基础上,我们设计和实现了能够对电信网络流量数据进行实时分析和异常检测的系统RealMon,该系统结合了部分成熟的数据流分析算法,具有较高的实用性。我们通过模拟和真实环境中的实验验证了系统的有效性。本文的贡献和创新之处总结如下:1.在网络流量分析系统及证券交易系统中,不同数据流之间的关联性广泛存在,本文提出了通过分析不同数据流之间关联性的变化来查找异常的方法。该方法首先采用分段聚集近似法对数值型的数据流进行转换,然后使用改进的编辑距离来衡量这些数据流相互关联的程度,最后根据编辑距离的变化通过设定相应的阀值来检测多数据流中的异常情况。我们通过实验表明,该算法性能稳定,高效,能够准确地检测数据流中的异常。2.我们概括了数据流中常见的数据质量问题,在此基础上提出了数据流清洗框架,我们在这个框架中定义了数据流清洗的基本步骤。该框架具有较好的可扩展性,我们能够方便地在框架中更新模块,以解决新的数据质量问题。同时我们设计了能够实时处理数据缺失和规整数据时间属性的方法,并且通过一系列实验来验证了这些方法的有效性。3.我们设计并实现了的一个新颖的数据流异常检测系统RealMon,该系统能够准确地检测出电信网络中SNMP流量数据的异常情况。由于SNMP数据存在着较多数据质量问题,我们在设计过程中应用数据流清洗相关技术对流量数据进行实时清洗。该系统同时结合了数据流异常检测模块和数据流清洗模块,在已有的研究工作中尚属首次,具有较强的实际应用价值。如今,该系统已成功地在模拟环境中,对SNMP流量数据中的异常情况进行实时监测。综上所述,我们在本文中研究了数据流中的异常检测问题,提出了数据流清洗模型和通过分析多条数据流关联性来查找多数据流异常的方法,并根据这些工作的研究成果,设计和实现了对电信流量数据进行实时分析和异常检测的系统RealMon。我们的研究成果具有较高的理论价值和实际应用价值。(本文来源于《复旦大学》期刊2008-04-25）
田玥[5]（2005）在《大规模网络数据流异常检测系统的研究与实现》一文中研究指出Internet的迅速发展给人们带来巨大方便的同时,也使我们面临着各种安全事件的威胁。随着各种攻击技术的不断发展,针对网络资源的攻击越来越多,如拒绝服务攻击、蠕虫等。因此如何在大规模网络环境下检测网络异常并为应急响应人员及时提供预警信息是目前亟待解决的问题。 大规模网络数据流的特点是数据持续到达、速度快、规模宏大,但现有的入侵检测系统对这类数据的处理能力有限,而且目前尚没有利用数据流挖掘技术来解决实际网络数据流检测和分析的技术。本文结合入侵检测技术和数据流挖掘技术设计了大规模网络数据流异常检测系统模型和网络数据流频繁模式挖掘和检测算法,实现了原型系统并进行了相关实验,具有理论意义与实际应用价值。 大规模网络数据流异常检测系统由数据采集及预处理模块、频繁模式挖掘模块、异常检测模块、数据分析及响应模块组成。在数据采集及预处理模块中,我们采用滑动时间窗口技术采集网络数据,提取流量排名在前N位的端口及其相关信息,对流量数据进行离散化处理,将得到的数据存入动态更新的概要数据库中;在频繁模式挖掘模块中,我们采用CLOSET算法挖掘网络数据流频繁模式,将得到的模式存入频繁模式数据库中;在异常检测模块中,我们优先匹配近期产生次数较多的模式,采用加权欧几里得距离计算相似度,将异常情况反馈给数据分析及响应模块;在数据分析及响应模块中,管理员根据实际情况对数据进行检验,对于异常数据进行应急处理,对于误报数据向系统反馈信息修改频繁模式。最后通过实验验证该模型的有效性。(本文来源于《东北大学》期刊2005-01-01）
数据流异常检测系统论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
异常数据流检测系统用于防止网络内部的用户泄漏企业的机密信息。传统的解决方案大多使用内容识别的方法来检测机密信息的泄漏,但是这种方法不能检测加密后的文件。有研究使用信息流分析的方法来预防机密信息流向用户的外部存储设备或者网络,但是这需要修改应用程序或者需要底层硬件的支持,不适用于当前已有的系统。总的来说,当前已有的检测方法适用性较差,存在数据泄漏的风险。基于神经网络的异常数据流检测系统使用长短期记忆人工神经网络来识别用户网络操作之间的时序关系,探测用户的异常行为模式来预防机密信息的泄漏,达到了较高的检测率和较低的误报率。系统分为两个阶段,学习阶段和探测阶段。在学习阶段,保存用户的应用层数据为历史流量库,并以双向链表的形式组织起来,便于对历史流量的添加和删除。在探测阶段,通过为应用层协议构建应用层代理,并且使用中间人拦截方法处理SSL协议加密后的连接,成功地获取了应用层数据。然后基于历史流量库来提取应用层数据的特征向量,并由长短期记忆人工神经网络对特征向量进行探测,来发现用户的数据泄漏行为。对系统分别从功能和性能两个方面进行了测试。在功能方面,系统能够高效率地拦截应用层协议和SSL协议加密后的应用层协议的数据,并对发生数据泄漏的连接进行正确地阻断。同时,在对CERT数据集中的HTTP流量和SMTP流量的探测上,分别达到了87.27%和84.81%的检测率,以及12.37%和1.87%的误报率。在性能方面,由于多线程下对历史流量库的访问成为一个瓶颈,导致了较大的性能损耗。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
数据流异常检测系统论文参考文献
[1].饶伊文.基于流计算的证券数据流异常检测系统的设计与实现[D].哈尔滨工业大学.2019
[2].牛彪.基于神经网络的应用异常数据流检测系统[D].华中科技大学.2017
[3].李浪,李仁发.基于数据流异常挖掘的入侵检测系统设计[J].科学技术与工程.2008
[4].李人和.数据流异常检测系统若干问题研究[D].复旦大学.2008
[5].田玥.大规模网络数据流异常检测系统的研究与实现[D].东北大学.2005