实时数据捕获论文-王昱

实时数据捕获论文-王昱

导读:本文包含了实时数据捕获论文开题报告文献综述及选题提纲参考文献,主要关键词:流式计算,金融,数据捕获,Storm

实时数据捕获论文文献综述

王昱[1](2018)在《基于流式计算的实时数据捕获分析系统》一文中研究指出由于金融行业与数据的紧密联系,金融行业对数据处理的安全性、稳定性、实时性有着很高的要求。在金融行业的内部网络中存在着巨大的、持续性的数据流,这些流动的数据,在进行延时性或者实时性分析处理后,有着自己独特的价值。区别于批量延时处理时庞大的数据源对于计算速度的几何增长,海量在线流式数据的处理也因为对实时性的严格要求而具有较大的难度。本文主要研究了如何处理金融行业的海量流式数据以及构建基于分布式处理机制的流式数据捕获分析架构。在数据捕获分析的功能基础上,构建了一套由相关服务协作而成的系统,同时兼顾实现了数据API服务和数据推送、网络情况监控的服务。首先,设计了一套基于网络数据捕获的分布式流式数据处理系统,针对实验所要面对的MBPS(MBits Per Second)级别的数据。建立了基于网络的分布式计算系统,基于Pcap网络数据捕获,配合分布式计算系统,通过采用多主机网络协作的方式,完成了对于数据的实时高速解析。同时,对比了两种常见的分布式框架,并进行了分析对比,根据大量的实验情况和架构本身的运行原理对其优缺点进行了总结和选择,建立了支持高速数据的存储框架和流式计算模型。规避了单机能力运算不足和大型计算机成本昂贵而带来的对实时流式计算能力制约的问题。其次,由于数据来自不同的业务系统,所以会面对不同的协议内容,为了解决针对不同协议的解析问题,提出了一种通用型协议解析方式,在方案中定义了一种模板书写规则,针对不同的协议,根据静态和动态的协议语义、语法格式,按照书写规则书写其相应的协议解析模板文件,然后通过使用加载模板文件,构建对应的数据结构,进行迭代式的模板副本模型更新修正过程,来完成对于泛型协议解析过程的实现。最后,在分布式处理框架系统服务的基础上,建立了包括消息队列服务、文件服务、数据库服务、数据服务、警告推送为一体的从数据采集处理到输出的系统服务架构。以支持数据获取、数据传送、数据处理的整体无缝连接为需求,最终完成实时的数据流量分析监控和告警。(本文来源于《吉林大学》期刊2018-04-01)

江勇,段美霞[2](2014)在《AFDX测试中冗余数据帧的多路实时捕获方法》一文中研究指出AFDX总线被客机、运输机选为干线通信总线。AFDX中冗余数据帧实时分析处理是其中重要环节。根据ARINC664标准,研究了冗余帧的处理机制及实现流程,采取分时的方式实现了对多路数据的实时捕获,CPU对内存条的实时读取。结果证明完全能够满足设计需求。(本文来源于《科技风》期刊2014年11期)

侯旭东[3](2011)在《基于运动捕获数据的实时运动重定向技术研究》一文中研究指出利用运动捕获数据创作虚拟角色动画已经成为制作角色动画的主流技术,并越来越多地被应用于视频游戏,影视特技,医学分析,产品设计,教育以及军事仿真等众多领域。运动捕获技术在记录表演者的运动数据的同时也记录了表演者的身材信息,如果虚拟角色的身材比例与表演者不同,或者虚拟角色所处的场景与表演者不同,直接使用表演者的运动数据将出现失真现象。本文所研究的运动重定向技术就是解决如何复用已有的运动捕获数据,同时消除失真现象。本文采用BVH格式文件作为原始运动数据,研究叁维地形条件下的运动重定向和不同骨骼结构模型间的运动重定向问题。本文给出了一种叁维地形约束条件下的实时的人体运动重定向方法。首先采用基于几何缩放算法得到中间骨骼,然后利用改进的地形适配算法动态调整中间骨骼根关节以及脚部末端效应器位置。利用中间骨骼姿态确定目标骨骼的约束条件,最后使用具有关节范围约束的基于四元数的CCD算法,完成逆向运动学求解,得到目标骨骼姿势。实验结果表明,本方法能够改善目标模型在叁维地形上运动时贴近地表的现象。对于不同骨骼结构模型间的运动重定向技术进行了研究,给出了一种由人体模型到双足动物模型的实时运动重定向算法,通过引入仿生机械领域关于双足动物的步态分析的结论,利用特征腿长度设置目标模型运动的约束条件,对于原运动模型与目标模型之间存在无法关联对应的末端效应器的情况,给出一种生成虚拟约束骨骼方法,来间接约束目标模型的末端效应器位置,从而消除了目标模型的运动失真现象,通过实验证明了本方法的有效性。利用FLTK实现了运动重定向的基本试验平台,便于实现运动重定向的操作,为运动重定向技术的进一步研究奠定了基础。(本文来源于《湖南大学》期刊2011-05-16)

江勇,段美霞[4](2009)在《基于FPGA的多路数据实时捕获实现》一文中研究指出文中主要介绍了一种以SDRAM为存储器的,同时实现多路实时捕获模块的设计方法。在本设计中,根据SDRAM的工作原理,采用FIFO对多路前级数据进行实时缓存,然后通过FPGA内部的SDRAM控制器对SDRAM进行分时多路存储的方法,实现了在一片SDRAM中多路数据的同时捕获,并给出了具体实现过程。通过在经过仿真验证和硬件平台的实践验证更进一步证明了方法的可行性。(本文来源于《电子质量》期刊2009年03期)

实时数据捕获论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

AFDX总线被客机、运输机选为干线通信总线。AFDX中冗余数据帧实时分析处理是其中重要环节。根据ARINC664标准,研究了冗余帧的处理机制及实现流程,采取分时的方式实现了对多路数据的实时捕获,CPU对内存条的实时读取。结果证明完全能够满足设计需求。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

实时数据捕获论文参考文献

[1].王昱.基于流式计算的实时数据捕获分析系统[D].吉林大学.2018

[2].江勇,段美霞.AFDX测试中冗余数据帧的多路实时捕获方法[J].科技风.2014

[3].侯旭东.基于运动捕获数据的实时运动重定向技术研究[D].湖南大学.2011

[4].江勇,段美霞.基于FPGA的多路数据实时捕获实现[J].电子质量.2009

标签:;  ;  ;  ;  

实时数据捕获论文-王昱
下载Doc文档

猜你喜欢