导读:本文包含了大数据分割论文开题报告文献综述及选题提纲参考文献，主要关键词:大数据,流水线,批处理,流处理
大数据分割论文文献综述
陈天乐,蒲军,朱小杰,崔文娟,冯伟华[1]（2019）在《一种基于层次分割和聚合的大数据流水线任务处理方法》一文中研究指出近年来,互联网各类型的数据不断增长,数据的应用场景也越来越广泛。如何将各种类型数据自动整合后接入不同的场景平台成为了各界关心的问题。业界通常采用流水线工具进行任务调度,然而大多数流水线工具都无法将任务分割为多个子任务并行执行。因此本文提出一种基于层次分割和聚合的大数据流水线任务处理方法:首先在分割模块中将流水线中的任务分割为多个子任务,然后在合并程序中等待各子任务全部完成,合并结果,最终获得整个任务的完成事件。实现了利用流处理框架处理有限数据集,扩展了流处理系统的使用场景,提升了流水线工具的代码重用性。实验表明,本文方法极大减少了数据库I/O次数,使得本文方法处理DBLP [1]数据的速率是Apache NiFi [2]传统处理方法的7倍多。(本文来源于《科研信息化技术与应用》期刊2019年01期）
罗胜,刘建辉,王鑫[2]（2018）在《大数据量机载LiDAR点云的快速区域分割处理》一文中研究指出针对大数据量机载LiDAR点云数据整体处理时效率低下、分块处理时容易破坏地物空间结构特征的问题,提出了一种顾及点云覆盖区域地形地貌特征的快速区域分割方法。首先构建离散点云的虚拟格网,利用格网邻域内的高程突变实现区域边界上的各类障碍物自动检测;其次为提高分割处理效率,在点云覆盖区域矩形初始分割的基础上,利用流水模型及坐标轴向的方向约束对矩形分割边界线进行自动更新;最终实现了大数据量点云的快速区域分割处理。实验证明,该算法能够合理避开各类典型地形及地物障碍,实现区域分割边界线的自动化生成,算法的适应性与处理效率较高,能够较好地应用于大数据量点云数据的快速处理与应用。(本文来源于《测绘科学技术学报》期刊2018年05期）
赵建堂[3]（2019）在《大数据分割式极限学习机算法》一文中研究指出在海量数据输入背景下,为提升极限学习机算法的学习速度,降低计算机内存消耗,提出一种分割式极限学习机算法。将海量数据分割成K等份,分别训练极限学习机并获得单一外权,基于算术平均算子得到分割式极限学习机的综合外权;为避免异常数据对极限学习机输出结果的影响,采用有序加权平均算子融合单一极限学习机的输出信息,使分割式极限学习机的输出结果更为稳定。数值对比仿真显示:分割式极限学习机比传统极限学习机的学习速度、拟合精度和内存消耗都高,验证了该方法的有效性和可行性。(本文来源于《计算机工程与应用》期刊2019年10期）
胡志刚,刘佳[4]（2018）在《面向大数据实体识别的超图分割算法》一文中研究指出当前信息系统中存在海量复杂异构数据,极大地降低了数据可用性.为有效地"清洗"数据、提高数据实体同一性,借助云计算平台Hadoop设计并实现了基于超图模型的实体识别算法.算法共分为数据预处理、构造超图模型和实体识别叁个阶段:在预处理阶段,通过建立属性-值倒排索引表、挖掘频繁项集来对数据进行初步处理;在构造超图模型阶段,改进超边权重的定义,建立超边带权重的超图模型,将所有数据转化为超图模式;在实体识别阶段,改进超图分割算法并基于云平台来完成对同一实体的识别.在Hadoop平台上对真实数据集的实验结果表明该算法在实体识别方面具有良好的准确性和高效性.(本文来源于《小型微型计算机系统》期刊2018年07期）
曲朝阳,熊泽宇,颜佳,辛鹏,曲楠[5]（2016）在《基于空间分割的电力大数据叁维全景可视化场景管理方法》一文中研究指出叁维虚拟场景下的电力大数据全景可视化以场景物体灵活多样的显示状态对深层电力特征信息进行直观呈现,以场景漫游的形式对海量多态、异构数据进行全景实时展现,为电网运行状态的及时有效监控分析提供有力保障。针对其场景管理问题,提出了基于空间分割的电力大数据叁维全景可视化场景管理方法。首先,构建空间分割代价函数并产生分割平面选择因子,优化场景空间分割。然后,根据场景空间分割结果,建立电力大数据场景组织关联模型,一体化组织管理场景物体、环境和实时分析数据,并实现物体显示状态实时控制及场景漫游快速渲染。最后,通过变电站数据叁维全景可视化分析系统的场景管理应用,验证了该方法的有效性。(本文来源于《华北电力大学学报(自然科学版)》期刊2016年02期）
许晓丽[6]（2016）在《基于多代表点近邻传播的大数据图像分割算法》一文中研究指出基于多代表点近邻传播聚类算法,提出一种有效的大数据图像的快速分割算法。该算法首先运用均值漂移算法将彩色图像分割成很多小的同质区域,然后计算每个区域中所有像素的颜色向量平均值,并用区域数目代替原图像像素点数目,选用区域间的距离作为相似度的测度指标,最后应用多代表点近邻传播聚类算法在区域相似度矩阵上进行二次聚类,得到最终的图像分割结果。实验结果证明,提出的算法在大数据图像的分割中取得了较为满意的分割效果,且分割效率较高。(本文来源于《图学学报》期刊2016年01期）
刘晴和,杨云,贺兴亚,徐文春,周媛媛[7]（2014）在《基于业务分割的并行式大数据迁移策略研究》一文中研究指出大数据处理是目前研究的一个热点问题,大数据给数据存储、数据管理、数据检索带来巨大的挑战,它对存储硬件、存储策略、检索方法等研究提出了更高的要求。针对大数据处理问题,提出基于业务分割的、并行式数据迁移策略,并在此基础上开发数据迁移平台。实验结果表明:该平台在数据访问速度、占用系统内存等方面,比传统的数据迁移方法拥有更大的优势。目前该平台已在某银行收支核查系统中取得了很好的使用效果。(本文来源于《计算机与现代化》期刊2014年11期）
谈敦铭,赵罡[8]（2014）在《飞行器大数据量CAD模型分割与剔除算法》一文中研究指出提出了飞行器大数据量CAD模型快速SAH(Surface Area Heuristic)分割算法,并通过层次包围体树BVH(Bonding Volume Hierarchy)加速视锥剔除;利用GPU精确遮挡查询剔除视锥体内被遮挡的几何模型,将遮挡查询与LOD相结合,既提高查询速度,又可根据查询结果调整LOD等级。通过实验测试,SAH分割算法的复杂度降低为O(N),BVH缩短视锥剔除时间近50%,遮挡查询剔除了60%以上不可见的几何模型。绘制包含350万叁角面片的CAD模型,帧刷新率达到40帧以上。(本文来源于《系统仿真学报》期刊2014年09期）
大数据分割论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
针对大数据量机载LiDAR点云数据整体处理时效率低下、分块处理时容易破坏地物空间结构特征的问题,提出了一种顾及点云覆盖区域地形地貌特征的快速区域分割方法。首先构建离散点云的虚拟格网,利用格网邻域内的高程突变实现区域边界上的各类障碍物自动检测;其次为提高分割处理效率,在点云覆盖区域矩形初始分割的基础上,利用流水模型及坐标轴向的方向约束对矩形分割边界线进行自动更新;最终实现了大数据量点云的快速区域分割处理。实验证明,该算法能够合理避开各类典型地形及地物障碍,实现区域分割边界线的自动化生成,算法的适应性与处理效率较高,能够较好地应用于大数据量点云数据的快速处理与应用。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
大数据分割论文参考文献
[1].陈天乐,蒲军,朱小杰,崔文娟,冯伟华.一种基于层次分割和聚合的大数据流水线任务处理方法[J].科研信息化技术与应用.2019
[2].罗胜,刘建辉,王鑫.大数据量机载LiDAR点云的快速区域分割处理[J].测绘科学技术学报.2018
[3].赵建堂.大数据分割式极限学习机算法[J].计算机工程与应用.2019
[4].胡志刚,刘佳.面向大数据实体识别的超图分割算法[J].小型微型计算机系统.2018
[5].曲朝阳,熊泽宇,颜佳,辛鹏,曲楠.基于空间分割的电力大数据叁维全景可视化场景管理方法[J].华北电力大学学报(自然科学版).2016
[6].许晓丽.基于多代表点近邻传播的大数据图像分割算法[J].图学学报.2016
[7].刘晴和,杨云,贺兴亚,徐文春,周媛媛.基于业务分割的并行式大数据迁移策略研究[J].计算机与现代化.2014
[8].谈敦铭,赵罡.飞行器大数据量CAD模型分割与剔除算法[J].系统仿真学报.2014