数据并发论文-李萌,汪贤浩

数据并发论文-李萌,汪贤浩

导读:本文包含了数据并发论文开题报告文献综述及选题提纲参考文献,主要关键词:Nginx,高并发,负载均衡,配电终端

数据并发论文文献综述

李萌,汪贤浩[1](2019)在《Linux下基于Nginx的配网数据采集高并发处理设计与实现》一文中研究指出本文提出了一种使用互联网行业的前沿技术Nginx服务,运用其反向代理负载均衡功能完美地解决了配电自动化前置的终端高并发接入难题,保证了在大规模C/S架构的配电应用场景下信息采集的时效性和稳定性。(本文来源于《电子技术与软件工程》期刊2019年22期)

黄微,许烨婧,刘熠[2](2019)在《大数据环境下多媒体网络舆情并发获取的数据驱动机理研究》一文中研究指出[目的/意义]网络舆情并发获取的数据驱动机理有助于快速、高效、准确获取舆情数据,把握舆情走向。[方法/过程]在探讨并发获取相关研究的基础上,对大数据环境下多媒体网络舆情并发获取的特征、数据源进行了分析,从数据源形成、线程管控、监视累积、采集存储、数据触发5个方面展开舆情并发获取的数据驱动机理论述,并深度解析机理与数据源、过程、机理间的相互作用关系。[结果/结论]充实了大数据环境下多媒体网络舆情并发获取的相关理论研究,为决策者有效管控舆情态势提供可靠的理论依据。[局限]研究缺少大数据环境下多媒体网络舆情并发获取数据驱动的定量分析。(本文来源于《情报理论与实践》期刊2019年06期)

王颖卓,郭开卫,王亚雄[3](2019)在《面向高并发实时交易数据的分布式快速汇总统计》一文中研究指出本案涉及计算机数据统计领域的一种数据统计方法和装置,具体来说,首先根据预先设定的过滤规则,对原始交易数据进行过滤处理,得到第一交易数据;然后根据第一交易数据中的关键字信息,确定第一交易数据所对应的计算服务器;最后将第一交易数据发送至计算服务器,以使计算服务器将根据预先设定的统计维度对第一交易数据进行统计得到的第二交易数据发送给查询服务器使用,关键字相同的第一交易数据将会发送至同一计算服务器,而计算服务器可将第二交易数据给查询服务器使用。因此,可通过增加计算服务器的数量的方式水平扩展计算统计的能力,从而提高将数据写入数据库的速度,进而提升数据的查询效率。(本文来源于《现代信息科技》期刊2019年12期)

肖思扬[4](2019)在《无数据竞争并发程序的语义等价性研究》一文中研究指出多核处理器已经成为目前主流的处理器,相应的多线程并发编程也成为了目前主流的编程。多线程并发程序在充分利用多核处理器带来的高运行效率的同时,相比于串行程序也带来了更多线程交错的不确定性。线程的交错执行让程序员对并发程序的理解更加困难,使并发程序存在着比串行程序更多的错误和缺陷。因此,并发程序的正确性成为了研究热点,而对并发程序正确性的验证,也成为了当下程序验证领域的热门话题。并发程序正确性的验证工作非常困难,其中一个严重的阻碍在于:并发程序的线程交互具有不确定性,可能的交错执行顺序随着程序长度几乎呈指数级的增长。为了减少对并发程序推理的难度,本文考虑在非抢占语义下研究并发程序的行为。非抢占语义下,只有当线程主动让出执行权,其他线程才能开始执行。这样将线程交互限制在特定程序点,大大降低了需要考虑的执行过程的数量,简化了验证过程。本文对无数据竞争并发程序在非抢占语义和抢占语义下的等价性进行研究,通过对非抢占语义定义的讨论,提出了形式化定义的非抢占语义,并严格证明了对于无数据竞争的并发程序,它进行非抢占执行和抢占执行将得到一样的结果。具体地说,本文的主要贡献有以下几点:·我们提出了一种简单的并发程序语言的操作语义,并采用内存印迹来记录程序每步执行对内存的访问地址。通过内存印迹的冲突关系来反映不同线程对内存冲突的访问,以此为基础形式化地定义了数据竞争,进而为对无数据竞争的并发程序的语义研究打下了基础·我们为无数据竞争的并发程序提出了一种形式化的非抢占式操作语义。除了对内存的操作外,我们的语言还允许特殊的外部可见行为(例如输出操作)。我们提出:对于无数据竞争的并发程序,可以不在原子代码块开始执行前让度执行权,而只需要在原子代码块结束时,或者在产生输出后主动让度执行权,这样定义的非抢占语义和抢占语义仍然是等价的。·我们在抢占语义和非抢占语义下,通过输出序列定义了程序行为,进而定义了抢占语义和非抢占语义的等价性。我们严格证明了对于无数据竞争并发程序非抢占语义和抢占语义的等价性,这样就可以将抢占语义下对程序正确性的验证,转移至非抢占语义下进行。这是本文的主要贡献。·最后,我们在非抢占语义下提出了一种新的无数据竞争性定义,并证明了非抢占语义下的无数据竞争性和抢占语义下的无数据竞争性等价。这样一来,我们就能在非抢占语义下讨论并发程序的正确性,而无需考虑抢占语义。本文提供了非抢占语义和抢占语义等价性的理论基础。本实验室开展的从C语言子集Clight到x86汇编的、对无数据并发程序的、支持分离编译的经形式化验证的编译器CASCompert即是在这一基础上展开的,在对CASCompert的正确性的验证过程中使用了非抢占语义和抢占语义的等价性,并在非抢占语义下进行了大量验证工作。(本文来源于《中国科学技术大学》期刊2019-05-29)

郭丹丹[5](2019)在《高并发多维多源无人机遥感数据展示平台设计》一文中研究指出随着大数据时代的到来,在低空领域具有显着优势的无人机逐渐成为精准遥感数据获取的重要工具之一。由于数据量庞大,对于不同来源、不同时间的遥感数据,现阶段缺少标准化的数据处理流程及合理的存储和可视化模型。为了高效管理和充分利用数量庞大的无人机数据,发挥无人机的优势,本课题设计了一种支持高并发的多维多源无人机遥感数据的展示平台。本文结合分布式集群和NoSQL技术,从数据存储结构、缓存策略两个方面对系统实现进行优化;并以植被监测应用为目标,设计了相应的系统应用功能。主要完成的工作如下:(1)为解决海量无人机数据的存储问题,设计了一种基于HBase的数据存储结构。在完成无人机原始数据预处理的基础上,为了缩短数据I/O操作时间,用Hilbert编码建立索引。针对无人机数据的多维多源特性,分析遥感数据局部性特征,设计了具有可扩展性的HBase存储表结构。另外,数据存储采用低配置、多服务器集群方式,只需增加服务器的数量就可以满足不断增长的数据量对存储空间的需求。(2)为了加快地图浏览的响应速度,提高系统的并发能力,设计了一种基于Redis的缓存策略。系统采用基于内存的Redis作为缓存数据库,能够降低对磁盘的直接访问频率,提高系统响应速度。在分析用户浏览地图行为特征和瓦片金字塔结构的基础上,设计了一种邻域预取的缓存策略。从广度、深度两个方面考虑,提前将与显示区域邻近的热点数据缓存到Redis中,并设置allkeys-lru算法为替换策略。实验证明,与传统的单张瓦片作为缓存粒度相比,邻域预取缓存策略的缓存命中率可以提高约34%。(3)为了更方便地完成平台开发,系统采用模型-视图-控制(Model-View-Control,MVC)模式作为开发框架。利用基于事件机制的异步I/O模型Node.js完成服务器端开发,提高系统并发能力。客户端主要利用开源JavaScript地图库OpenLayers,完成应用程序功能开发。在应用功能上,除了完成基本的可见光图像展示外,平台还支持时间维度的图像展示,以及不同波段多光谱图像的动态组合。另外,平台还为植被监测,提供了基本的测量、统计、shape文件生成和上传等功能。(4)为了测试系统的并发能力,搭建测试环境,设计了多组对比实验。与传统方式对比,从缓存命中率、系统平均响应时间和服务器吞吐量叁项指标对系统并发能力进行评价。测试结果表明,本课题提出的解决方案,具有支持高并发的能力。此外,该系统还具有支持数据动态扩展的优势。(本文来源于《山东大学》期刊2019-05-18)

张晓萱,赵钰玮,李天慧,常琳珂,孙瑞男[6](2019)在《多线程并发程序数据竞争修复方法的研究》一文中研究指出针对多线程并发程序中的数据竞争问题,本文提出了一种基于Java抽象语法树的数据竞争修复办法。首先利用抽象语法树对需要进行插锁的ast节点进行查找,这一过程包括:寻找发生数据竞争的变量所在方法;对发生数据竞争的变量所在的语句进行搜索;对需要加锁的位置进行确定。找到加锁位置后,对需要加锁的位置进行自动加锁操作,从而实现对数据竞争问题的自动修复。(本文来源于《数字技术与应用》期刊2019年03期)

吴亚楠[7](2019)在《基于分层过滤的动态数据竞争并发检测与验证》一文中研究指出当前,随着多核系统的广泛应用,多线程正成为一种必不可少的编程技术,通常用于从操作系统到智能多媒体应用程序,来提高特定程序的性能或响应性。但是,由于并发线程执行的不确定性,编写正确执行的多线程程序要比编写正确执行的顺序程序困难得多。当线程未正确同步时,非确定性线程交织可能对于同一输入会产生非确定性的输出。当这种不确定的线程行为导致系统故障或结果不正确时,它被称为并发错误。数据竞争就是多线程并发程序中最复杂的并发错误之一。并发线程执行调度的随机性和对共享存储空间访问的隐蔽性,造成了数据竞争的检测变得及其困难。动态数据竞争检测需要监视所有执行并分析多线程程序中的每个冲突的内存操作,导致大量的运行时开销。如何在有限的时间内检测和验证数据竞争成为提高软件可靠性和安全性的迫切问题。本文主要针对现有的动态数据竞争检测中产生的大量额外开销,且不能准确地找到有害竞争等问题,提出了一种分层过滤的方法来减少动态监视程序执行行为的高性能开销,并且通过两种并发策略高效地检测多线程程序中的数据竞争和验证有害竞争。首先,该算法利用动态二进制插桩工具Pin分别从Image级别(IML)、Section级别(SEL),Instruction级别(INL)和Code级别(COL)四个方面移除不必要的监视存储器操作,以减少原始踪迹中的冗余数据。其次,将Pin工具提取到的踪迹信息基于HashMap分为多个独立的集合,添加到多进程任务队列中,由进程池动态地调度每个进程,依据lockset算法和happens-before关系相结合的方式,并发地离线分析多线程并发程序中的数据竞争。然后使用加权Round-Robin算法将数据竞争按需划分到多台云服务器上,结合线程调度技术延迟阻塞以尽可能地创造竞争条件,在多台云服务器上并发验证数据竞争,识别出有害的竞争。最后,我们设计并实现了动态数据竞争检测工具,并从数据竞争的检测精度,检测效率和可扩展性等方面进行了测试分析,实验结果表明本文算法可以有效地检测和验证数据竞争,而不会对原始程序的性能产生很大的影响。(本文来源于《哈尔滨理工大学》期刊2019-03-01)

单泽萌,任女尔,蔡建军[8](2019)在《智能网联汽车高并发数据采集平台的研究》一文中研究指出为了满足智能网联汽车数据采集的高实时性与高可靠性,提出一种基于负载均衡和消息队列的数据采集架构,以及基于改进线程池的数据处理架构。该系统架构对原有线程池技术进行改进。经试验证明,改进后的数据采集与处理架构在增加服务器集群系统的吞吐量方面有较为明显的提升,在现实应用中具备较高的使用价值。(本文来源于《计算机产品与流通》期刊2019年01期)

李辉,王建文,叶明雯[9](2018)在《基于Hadoop的海量气象水文数据并发处理模型》一文中研究指出针对关系型数据库以及单节点处理难以满足海量气象水文数据存储与处理的问题,提出了一种基于Hadoop的海量气象水文数据并发处理模型(CPHDH)。该模型结合云计算技术,利用计算机集群以及HDFS文件系统实现海量气象水文数据的分布式存储;同时,基于MapReduce编程框架完成海量气象水文数据的高效并行处理。仿真实验中,CPHDH能够有效利用Hadoop平台的分布式存储和并行处理框架实现海量降雨要素信息的高效存储和处理,相比单机运行基于遗传算法的气象观测数据区间值属性约简算法(MOIvGA)进行降水影响因子属性约简,CPHDH中的属性子集对无雨、小雨和中雨预测效率分别提高了10. 74%、6. 19%、4. 42%。(本文来源于《计算机应用》期刊2018年S2期)

唐颖淳[10](2018)在《利用Kafka实现大话务并发数据流的吞吐系统》一文中研究指出为了解决中国电信股份有限公司上海分公司的统一消息推送平台的数据吞吐量较低,无法满足新的业务需求的问题,采用流式数据处理技术实现了一种基于运营商的大话务业务系统构建模式。首先,在充分研究了业内实时流式处理技术的发展以及运营商本身信令数据源的特点之后,确定以Kafka作为消息队列组件,在业务处理过程中为了提供毫秒级的数据流查询能力,采用了Redis组件提供基于内存的Key-Value引擎。另外,为实现平台的高可靠性及易维护性,采用Kafka+Elasticsearch+Logstash+Kiban实现了日志监控子系统。最后对应用情况进行分析,并对系统的进一步改进提出了建议。(本文来源于《电信科学》期刊2018年S2期)

数据并发论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

[目的/意义]网络舆情并发获取的数据驱动机理有助于快速、高效、准确获取舆情数据,把握舆情走向。[方法/过程]在探讨并发获取相关研究的基础上,对大数据环境下多媒体网络舆情并发获取的特征、数据源进行了分析,从数据源形成、线程管控、监视累积、采集存储、数据触发5个方面展开舆情并发获取的数据驱动机理论述,并深度解析机理与数据源、过程、机理间的相互作用关系。[结果/结论]充实了大数据环境下多媒体网络舆情并发获取的相关理论研究,为决策者有效管控舆情态势提供可靠的理论依据。[局限]研究缺少大数据环境下多媒体网络舆情并发获取数据驱动的定量分析。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

数据并发论文参考文献

[1].李萌,汪贤浩.Linux下基于Nginx的配网数据采集高并发处理设计与实现[J].电子技术与软件工程.2019

[2].黄微,许烨婧,刘熠.大数据环境下多媒体网络舆情并发获取的数据驱动机理研究[J].情报理论与实践.2019

[3].王颖卓,郭开卫,王亚雄.面向高并发实时交易数据的分布式快速汇总统计[J].现代信息科技.2019

[4].肖思扬.无数据竞争并发程序的语义等价性研究[D].中国科学技术大学.2019

[5].郭丹丹.高并发多维多源无人机遥感数据展示平台设计[D].山东大学.2019

[6].张晓萱,赵钰玮,李天慧,常琳珂,孙瑞男.多线程并发程序数据竞争修复方法的研究[J].数字技术与应用.2019

[7].吴亚楠.基于分层过滤的动态数据竞争并发检测与验证[D].哈尔滨理工大学.2019

[8].单泽萌,任女尔,蔡建军.智能网联汽车高并发数据采集平台的研究[J].计算机产品与流通.2019

[9].李辉,王建文,叶明雯.基于Hadoop的海量气象水文数据并发处理模型[J].计算机应用.2018

[10].唐颖淳.利用Kafka实现大话务并发数据流的吞吐系统[J].电信科学.2018

标签:;  ;  ;  ;  

数据并发论文-李萌,汪贤浩
下载Doc文档

猜你喜欢