导读:本文包含了实时增量论文开题报告文献综述及选题提纲参考文献,主要关键词:实时风控,欺诈侦测,行为档案,流式聚类
实时增量论文文献综述
李旭瑞,邱雪涛,赵金涛,胡奕[1](2018)在《基于流式聚类及增量隐马尔可夫模型的实时反欺诈系统》一文中研究指出针对目前金融支付行业交易中存在的欺诈风险复杂化和高频化的问题,提出一种基于密度分布演化的流式聚类算法(DDE-Stream)。利用CLIQUE算法对账户交易特征进行网格聚类,结合隐马尔可夫算法构建账户交易行为档案模型,根据该模型进行实时的欺诈侦测,并在模型自更新阶段,利用DDE-Stream算法对多维度交易特征进行实时聚类。实验结果表明,该算法能够实时侦测交易欺诈风险,且在验证集上获得的准确率相比传统随机森林分类算法超过50%。(本文来源于《计算机工程》期刊2018年06期)
王浩,葛昂,赵晴[2](2016)在《基于Spark的数据库增量准实时同步》一文中研究指出为了实现将传统关系型数据库中的增量数据快速导入同构或者异构目的库,在使用已有的增量提取方法的基础上,提出了通过增加并行度和流式计算的方法加快同步速度。此方法不仅支持插入、更新和删除的增量数据同步,而且可以抽取出数据库表结构信息动态支持表结构变更。与传统单点抽取方式相比,大大提高了目的库数据的新鲜度。(本文来源于《微型机与应用》期刊2016年19期)
卢志澎[3](2016)在《大型结构化数据库实时增量备份工具平台研发》一文中研究指出随着互联网时代的不断发展,信息化与人类生活愈加变得息息相关。越来越多的企业走向信息化、自动化,而数据存储,作为信息化中最重要的一环,其安全性也随之显得越来越重要。试想如果一个大型结构化数据库没有采取足够好的容灾备份措施,一旦发生灾难或者事故,数据的损毁所导致企业的损失可谓是灾难性的,其严重性可想而知。而目前一些大型结构化数据库的备份工具存在低效、非实时性、适用性低等缺陷。因此,本文设计并研发了一个基于文件系统变化监控且不依赖于任何数据库平台的大型结构化数据库实时增量备份工具平台。本工具平台按分层级、模块化的方式进行设计实现,主要分为两大层级,文件监控层和同步传输层,里面又各细分为不同的功能模块。文件监控层负责对源端结构化数据库中的物理文件进行实时的变化监控,当监控到数据库文件发生变化时将通知同步传输层进行同步操作。同步传输层将源端发生变化的文件以增量同步的方式同步到备份端相同的文件,从而实现从源端到备份端数据库的实时高效的备份。本文以DB2大型数据库为例,对数据库的物理文件目录结构进行了分析研究,之后我们设计了工具平台的整体框架并进行实现。其中文件监控层是利用Linux的Inotify机制完成的,而同步传输层则利用了Linux中较为成熟的文件同步工具Rsync来实现。我们发现并提出了Rsync工具中一些不适用于本工具平台应用场景的地方,所以在本文中我们对Rsync工具的源代码进行了分析和性能的优化,从而提升了工具平台的效率,保证了工具平台的实时性。论文的最后我们对工具平台的功能和性能作出了系统的测试,测试结果说明本文中研发的工具平台能有效地完成对大型结构化数据库的实时增量备份,而且在性能上有很好的表现。(本文来源于《华南理工大学》期刊2016-06-06)
包芳,张炎凯,王士同[4](2016)在《基于在线增量学习的实时人脸跟踪算法》一文中研究指出提出基于在线增量式极端随机森林分类器的实时人脸跟踪算法。算法用在线极端随机森林分类器实现基于检测的跟踪,并结合动态目标框架和P-N学习矫正检测的错误。实验结果表明,该算法能够在不确定背景下对任意人脸实现较长时间段内的稳定快速的实时跟踪,并能有效排除背景等的干扰,效果较好。(本文来源于《计算机应用与软件》期刊2016年05期)
李劲松[5](2015)在《一种基于Storm的分布式实时增量计算框架的研究与实现》一文中研究指出互联网的普及、智能手机的广泛使用,给海量数据分析处理技术带来了新的挑战。传统的单机处理方法需要几天甚至几月的时间来处理海量数据,而分布式计算通过把复杂计算任务的子集分配给多台计算机协作完成,从而提高了计算效率。在批处理场景中广泛应用的是Hadoop平台的MapReduce框架。MapReduce应用广泛的原因之一在于它的易用性,它提供了一个因高度抽象化而变得异常简单的编程模型。Hadoop的设计理念主要针对大批量数据处理场景,它在处理大规模数据集时具有良好的吞吐量,但是不适合实时性要求较高的场景。任务的启动和磁盘读写花费了较多的时间,导致Hadoop的计算需要秒级的延迟。在实时处理场景中Twitter公司开发的Storm框架表现不错,Storm是个实时的、分布式以及具备高容错的计算系统。正在发展的Storm Trident对Storm进行了批处理的封装,但是Storm Trident的编程模型较复杂,不易使用,中间数据的传递存在内存溢出的风险,Trident不能对状态进行Checkpoint方式的容错,而且状态存在分布式不一致的风险。本文研究了分布式并行处理技术,提出了一种基于Storm的分布式增量计算框架,具有编程模型简单、计算时延小、高效容错等优点。主要工作如下:(1)抽象Storm较底层的原语,提出并设计了一种基于Storm的MapReduceMerge增量计算模型。开发者可以轻易的从MapReduce模型过渡到MapReduceMerge模型。(2)设计Map到Reduce批计算模式的数据传递,并处理Reduce的数据溢出。使用Push和自主协调的方式来改善中间数据传递的实时性。采用散列因子来均衡各批次的任务分配,从而提高在数据倾斜情况下的系统吞吐量。(3)采用Checkpoint的容错机制来降低Merge状态容错对计算性能的影响。使用间隔批次的检查点方案,以出错后恢复时间的增加来换取正常计算性能的提升。使用异步的数据存储能在计算资源充足时不干扰正常计算,使用数据的多版本来保证分布式环境的一致性。(4)使用内存Snapshot来保证Merge状态计算的偏序和幂等,并能避免数据的反复计算,从而降低计算失败时的重做花费时间。设计主节点与计算节点的协作来保证Checkpoint的全序。为了验证本文框架的实时和易用等优点,搭建了分布式计算环境,编写了实例,选择并构建MapReduce和Storm进行对比。测试结果证明,本文所提出的框架提高了分布式增量计算的实时性,并且能在不牺牲性能的情况下完成增量结果的容错。(本文来源于《电子科技大学》期刊2015-03-01)
陈丹伟,陈豪,庄俊[6](2014)在《基于增量式学习的海量数据流实时预处理模型》一文中研究指出针对海量数据环境下对数据流预处理实时性和高效性的需求,文中提出了一种大规模数据环境下的数据流实时预处理模型,基于MMHC(Max-Min Hill-Climbing)并运用增量式学习的方式改进贝叶斯网络模型的构建过程,提升预处理模型的有效性,同时也减少了因模型更新所消耗的时间,在一定程度上防止了数据的积压,支持网络结构的动态更新,适用于更复杂的数据环境。(本文来源于《南京邮电大学学报(自然科学版)》期刊2014年04期)
张琴,汪雄海,张艳[7](2014)在《增量模型控制压力恒定的多源供水实时调度》一文中研究指出针对多水源供水管网系统参数多及变量间存在耦合,难以实现合理实时调度而导致水压多变等问题,提出一种基于增量模型控制压力恒定的多源供水管网系统优化调度策略.依据用户流量参数预测建立增量模型,以分界监控点压力参数恒定为目标函数推导多水源调度策略,并调节机泵输出压力,机泵启停状态及变频机泵转速为优化决策变量.鉴于供水系统模型的非线性和混合变量的耦合性,采用蚁群算法进行优化,引进扰动因子并修正搜索转移步长和动态挥发系数来提高全局寻优能力.算例仿真表明,该模型和方法可快速找到优化调度的最优解,跟踪流量变化和保持监测控制节点实时压力恒定的效果好,为多水源的实时协调调度提供了好的基础.(本文来源于《系统工程理论与实践》期刊2014年07期)
张秀彬,陆冬良,黄大坤,邹小金[8](2014)在《导航地图信息实时增量法》一文中研究指出鉴于电子地图数据现势性在导航中的重要性,本文提出一种导航地图实时增量法。该方法能够根据导航仪历经路径所观测到的交通建设变化状况,实时修正、增加或删除地图底层数据库的信息数据;同时,还具备自动记忆与标识驾驶者行驶路线的智能化与优化功能。观测信息的采集由导航仪外接图像传感器及其信号处理器予以实现。(本文来源于《地理信息世界》期刊2014年03期)
申林,薛继龙,曲直,杨智,代亚非[9](2013)在《IncGraph:支持实时计算的大规模增量图处理系统》一文中研究指出随着社交网络的流行,越来越多的相关应用要求能够实时地在大规模社会网络图上进行分析和计算。而目前的图处理系统,如Google的Pregel,是全局、批量处理的图处理系统,并不能实现对图的实时计算。因此,提出了一种新的图增量处理模型,当一个节点发生变化时,只需要以传播的方式更新局部范围内受影响节点。它本质上将传统的批量全局计算模型,转化成一系列的增量的、局部的图计算,保证对图变化的实时处理,并通过避免没有更新节点的重复计算来降低开销。基于这种新的图计算模型,设计了一个低开销、实时的图处理系统——IncGraph,它通过图切分技术将计算局部化,保证了计算的低开销,同时利用主动计算触发和反向链式更新技术,保证了计算的实时性和可靠性。利用真实的社交网络数据证明了IncGraph的低开销、实时性和扩展性。IncGraph的提出会为社交网络应用提供更为灵活的计算框架。(本文来源于《计算机科学与探索》期刊2013年12期)
杨青,汤剑桥,刘畅,刘念[10](2013)在《基于提升小波和递归增量聚类的实时故障诊断方法》一文中研究指出针对复杂时变工业过程实时故障诊断问题,提出了一种基于提升小波(lifting wavelet,LW)与递归增量聚类(recursive incremental clustering,RICLUSTER)相结合的实时故障诊断方法(lifting wavelet-recursiveincremental clustering,LW-RICLUSTER)。该方法首先通过LW变换对数据实时去噪,再通过RICLUSTER实时监控。由于采用LW与RICLUSTER相结合的方法,节省存储空间和运算时间的同时提高了诊断精度。实验结果表明,LW-RICLUSTER集合方法能有效实现时变过程监控,在诊断精度、速度和适应性方面,优于传统单一型CLUSTER方法。(本文来源于《系统工程与电子技术》期刊2013年01期)
实时增量论文开题报告
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
为了实现将传统关系型数据库中的增量数据快速导入同构或者异构目的库,在使用已有的增量提取方法的基础上,提出了通过增加并行度和流式计算的方法加快同步速度。此方法不仅支持插入、更新和删除的增量数据同步,而且可以抽取出数据库表结构信息动态支持表结构变更。与传统单点抽取方式相比,大大提高了目的库数据的新鲜度。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
实时增量论文参考文献
[1].李旭瑞,邱雪涛,赵金涛,胡奕.基于流式聚类及增量隐马尔可夫模型的实时反欺诈系统[J].计算机工程.2018
[2].王浩,葛昂,赵晴.基于Spark的数据库增量准实时同步[J].微型机与应用.2016
[3].卢志澎.大型结构化数据库实时增量备份工具平台研发[D].华南理工大学.2016
[4].包芳,张炎凯,王士同.基于在线增量学习的实时人脸跟踪算法[J].计算机应用与软件.2016
[5].李劲松.一种基于Storm的分布式实时增量计算框架的研究与实现[D].电子科技大学.2015
[6].陈丹伟,陈豪,庄俊.基于增量式学习的海量数据流实时预处理模型[J].南京邮电大学学报(自然科学版).2014
[7].张琴,汪雄海,张艳.增量模型控制压力恒定的多源供水实时调度[J].系统工程理论与实践.2014
[8].张秀彬,陆冬良,黄大坤,邹小金.导航地图信息实时增量法[J].地理信息世界.2014
[9].申林,薛继龙,曲直,杨智,代亚非.IncGraph:支持实时计算的大规模增量图处理系统[J].计算机科学与探索.2013
[10].杨青,汤剑桥,刘畅,刘念.基于提升小波和递归增量聚类的实时故障诊断方法[J].系统工程与电子技术.2013