一、一个通用的OLAP体系结构(论文文献综述)
孙思瑞[1](2021)在《基于Graph OLAM的并行分析挖掘系统的研究与实现》文中研究表明随着社会的快速发展,各行各业的数据规模日益增大,如何对海量数据信息进行高效的提取挖掘成为了近年来的研究热点。而在各种不同的数据类型之中,图因为具有丰富的拓扑结构和维度信息,在复杂关系数据集建模中有着广泛的应用。在大规模网络数据分析这一领域,Graph OLAP技术和图挖掘技术均已成为基于图数据提供决策支持的重要技术。但是二者的发展过程差别很大,现有的研究很难将他们从根本上加以统一。针对目前的研究和发展现状,为了消除或减小这种差别,从而实现图联机分析处理技术(Graph OLAP)和图挖掘技术(Graph Mining)的紧密结合,本课题进行了以下内容的研究:1.Graph OLAM大规模多维网络挖掘框架的研究与设计:完善了Graph OLAM的理论框架与相关概念,一定程度上改善了 Graph OLAP技术和图挖掘技术难以结合的问题。统一并细化Graph OLAM的操作模式,设计元数据管理以及针对时序网络的图数据立方体存储模型,并从逻辑架构和实际操作两方面,搭建完整的Graph OLAM大规模多维网络挖掘框架。2.基于Graph OLAM技术的保险推荐算法及框架:为了解决保险网络的稀疏问题,完善网络的拓扑结构,本文应用Graph OLAM框架中的相关技术,将上卷下钻、聚集、网络表示学习等操作组合起来,将稀疏网络隐含的连接关系通过高层次聚合网络展现出来,设计RU-GOLAM算法,从而有效解决保险稀疏网络这一应用场景的推荐问题,具有较大的现实应用意义。3.基于Graph OLAM的并行分析挖掘系统:为了帮助用户快速使用网络分析挖掘算法进行网络分析,使用户不需要累计海量知识也可以应用本系统解决实际问题,本文结合现有的并行计算框架,搭建了一个基于Graph OLAM的并行分析挖掘系统,为用户提供图形化的大数据云计算应用服务解决方案。
许诗怡[2](2020)在《森林资源数据仓库管理系统研建与数据分析应用技术研究》文中提出本研究首先论述了森林资源异构数据集成以及数据仓库技术在林业上的研究现状。森林资源数据仓库在实际应用中还面临着以下两大问题:一是数据存储存在差异,且数据表中的统计字段名称、类型、代码等的表达形式也存在差异;二是数据存储的差异性造成数据利用率不高,深层次的多维分析、数据挖掘等是基于规范化的数据进行的。针对这些问题,研究以历史上存储的森林资源数据为基础,针对森林生产功能分析、适地适树规则提取、生长收获预测模型拟合等的分析需求,设计建立了两个数据仓库:森林资源小班数据仓库以及标准地/样地数据仓库,并完成对两个数据仓库事实表、维度表字段结构的详细设计。通过对ETL技术的研究,实现对森林资源异构数据源的抽取、清洗和转换,并将处理后的规范化数据存储在目标数据仓库中进行统一管理。在此基础上,研建一个基于B/S体系架构的森林资源数据仓库管理系统。系统的主要功能包括异构数据源获取、森林资源异构数据的清洗转换、森林资源数据多维分析、数据挖掘等。本研究高效的利用已有的森林资源数据可以为林场等经营单位提供生长收获、抚育间伐、规则提取等方面的决策支持。
王位明[3](2020)在《数据挖掘技术在高校教育投入中的应用研究》文中进行了进一步梳理2018年3月2日,教育部在京联合召开了支持和启动关于提升中西部高等教育改革与发展的座谈会,部署和启动了部省高校合建的工作:通过实施部省合建方式支持中西部14所高校。这14所大多处于中西部地区和经济比较欠发达的地区,是党和国家为了促进和支持这些国家和地区的发展和改革而做出的战略性举措。为了更清晰的展现14所高校的发展情况,对后续的改革方向提供参考,通过数据挖掘技术对14所高校的教育投入的情况进行研究。本文主要通过OLAM(联机分析挖掘)技术对14所高校教育投入项目展开了应用研究,OLAM技术是OLAP(联机分析处理)技术和DM(数据挖掘)技术的结合。首先对OLAM技术的内容和关键技术的展开了理论研究,同时为了适应不同的使用场景,探讨了两种模式下(B/S架构和C/S架构)的OLAM模型,并进行了分析比对。为了更好的对数据进行分析处理,创建了本项目的数据资源仓库。与此同时,为了让本项目得到更好的使用,分析设计了 OLAM技术基础上的项目DSS(决策支持系统)架构体系,并对OLAM技术在本项目中的应用实践进行了阐述。通过OLAM技术,本文对14所高校的生均费用进行了挖掘分析,得出一些有价值的信息,可以在一定程度上为14所高校的经费使用情况以及进一步推进高校改革提供支持决策作用。
李梁[4](2020)在《内存数据管理与分析关键技术研究》文中研究指明当今,数据处理的应用飞速增长,数据管理技术尤其是关系型数据库管理系统(DataBase Management Systems)被广泛应用在各个行业,例如大到航天飞行器的数据系统,小到百姓日常的购物消费系统等都和数据库息息相关。随着日益快速发展的互联网技术,尤其是伴随着未来5G市场的爆发以及万物互联的设备持续增多,数据库管理系统必将持续成为当前以及未来的研究热点。最近十多年计算机硬件的性能发生了质的提升,这其中比较有代表性的成果就是内存数据管理技术的大规模普及与应用。本文首先阐述硬件发展以及内存数据库技术发展,以及数据处理行业的几个新技术:(1)在线事务/分析混合处理,高性能OLTP事务型系统基本都是采用内存数据库作为标准实现的,事务和分析同时存在是当下很常见的业务场景,在内存数据库基础上,探索事务分析融合的系统也是当下的一大趋势。(2)数据库和人工智能的关系,数据库可以为人工智能提供很多大数据工程上的经验以及充分压榨硬件性能的经验,人工智能可以给数据库提供很多场景定制的能力。本文针对新技术,对内存数据管理针对性的提出了研究算法。(1)学习型的跳表索引技术:我们发现跳表作为一种基于随机算法的数据库索引技术它的性能是不稳定的。在极端情况下查找复杂度会退化到O(n),这是因为经典跳表结构没有结合数据的特征。为此,作者基于核密度估计的方式估计数据累积分布函数,预测数据在跳表中的位置,进而设计用于判定结点层数的跳表算法。另外,针对历史数据的访问频次,作者设计了一种保证频繁访问的“热”数据尽可能地在跳表的上层,而访问较少的“冷”数据在跳表的下层的跳表算法。最后,基于合成数据和真实数据对标准跳表和5种改进的跳表算法进行了全面的实验评估并开源代码。实验结果表明,优化的跳表最高可以获取60%的性能提升。这为未来的科研工作者和系统开发人员指出了一个很好的方向。(2)内存存储引擎异步快照技术:作者发现尽管学术界已经提出了各种快照算法来权衡吞吐量和延迟的性能,但是像Redis这样的内存数据库坚持使用简单的fork函数生成快照。为了 了解这种现象,作者对主流快照算法进行了全面的性能评估。对主流算法广泛评估表明,fork的性能比学术界具有代表性的快照算法产生了更好的性能,但比Hourglass和Piggyback稍差。除此之外,作者针对更加广泛的事务处理场景,提出了虚拟快照的技术,并且开放了相应的源代码。(3)面向混合负载的存储引擎:作者提出了一种无等待的HTAP(WHTAP)架构,它可以以无等待的形式高效地执行OLTP和OLAP请求。作者开发并评估了一个原型WHTAP系统。实验表明,该系统可以获得与TicToc系统相似的OLTP性能,同时在分析处理上可以获得4~6倍的加速。(4)针对不同计算芯片的极限学习机性能评估:作为一种基于内存计算的机器学习算法,极限学习机(ELM)以其出色的学习速度而闻名。随着ELM在分类和回归领域中的应用范围的扩大,对其实时性能的需求正在增加。尽管使用硬件加速是一个显而易见的解决方案,但是如何为基于ELM的应用选择合适的加速硬件是值得进一步讨论的主题。为此,作者在三种最先进的加速硬件(即多核CPU,图形处理单元(GPU)和现场可编程门阵列(FPGA))上设计和评估了优化的ELM算法,实验结果表明GPU适合加速大型数据集的ELM算法;(2)FPGA用于小型数据集,因为其功耗较低,尤其是对于某些嵌入式应用程序。
于瀚程[5](2019)在《基于Spark和Kylin的搜索广告商业数据OLAP系统的设计与实现》文中研究说明OLAP系统是一种海量数据查询需求场景中的解决方案,被广泛应用在销售、市场、统计等领域,为企业决策提供支持。如今,数据仓库和多维分析等技术已经逐渐成为行业主流的OLAP解决思路。在数据计算方面,Spark是相对成熟,应用广泛的大数据计算引擎,Kylin是一种集成性的OLAP的解决方案,通过预计算生成数据立方体以提供超高速的查询服务。本文在对数据进行定义、分析和整理的基础上,进行清洗、转化和建模,构建数据仓库,设计数据立方体,同时对系统进行了需求分析、概要设计,并详细介绍了系统的实现。使用该系统,用户可以通过选择查询维度创建任务,也可以通过编写SQL语句创建任务,从不同角度观察访问量、点击通过率、收入等业务指标。系统还提供了用户权限配置的功能和任务队列管理的功能。本系统的特点在于多计算引擎下的任务的调度,以及兼具并发性、扩展性和高效率的架构设计。技术方面,系统使用Hive作为数据仓库,使用Spark和Kylin作为计算引擎,并支持引擎的自动切换和扩展。使用Golang和Scala作为主要开发语言。总体架构方面,系统采用三端分离的架构方式,即前端负责用户交互和信息展示;后端负责权限管理和任务管理;数据端负责任务调度和集群资源交互,各个端之间通过API和消息队列进行通信。另外,系统使用Google Protocol Buffer编码任务消息以实现高效率和跨语言一致性,采用Actor模型开发任务调度功能来实现容错性和并发性。在实际的测试和使用中,对于常用的查询任务,系统可在秒速级别提供结果,并具有相当高的可用性。
彭先清[6](2019)在《数据仓库中联机分析系统的研究与实现》文中认为随着医院信息化建设的发展,积累了大量的医疗业务信息,然而由于医院信息化程度不同,业务系统由不同软件厂商开发,且准备标准的程度不一,因此,实现不同系统之间的数据共享是目前医院信息化的关键问题。同时,由于各信息系统的功能和业务对象不同,如联机事务处理(OLTP)与联机分析处理(OLAP)故采用的数据模型、数据规格与数据标准不同。基于以上,本文通过对医院数据中心的主数据管理、数据仓库、数据组织、以及数据模型进行分析与设计,并在医院实践中加以应用。针对医院信息数据的OLAP工作,本文按照医院需求设计建立多维数据模型,对主数据管理以及数据仓库的数据模型设计提出一种比较实用的泛化模型,该泛化数据模型避免了数据变动后导致的数据仓库结构变动。针对医院数据中心的医疗数据特点,采用星形及扩展的雪花模型,建立了面向各种主题的多维数据集市,以满足各业务领域的决策分析人物,进行数据OLAP过程研究与设计。对数据进行统计分析,最后多样化呈现分析结果,具有一定的决策支持功能。通过这些方式构建医院信息分析和处理平台基本上满足了本文作者所在的医院工作需要,实现了医院多种运行常用指标的分析。
李硕[7](2018)在《面向内存计算的存储系统结构关键技术研究》文中指出高效的数据存储和实时分析处理是大数据时代的迫切需求,基于硬盘的传统存储系统由于巨大的访问延迟无法提供及时的响应,内存计算技术将工作数据存储在大容量内存中进行数据处理,减少甚至避免I/O请求,极大提高了大数据处理能力。但是由于“存储墙”和“功耗墙”问题,基于DRAM的内存系统依然难以满足大数据应用日益增长的大容量高性能低能耗存储需求。此外DRAM是易失的,数据的持久存储还需要依赖外存,无法完全避免高延迟的I/O请求,而且DRAM存在能耗高、存储密度低、需要刷新操作等诸多不足。针对传统存储技术的不足,新型非易失内存为内存计算技术提供了重要机遇。新型非易失存储介质普遍具有大容量、低静态功耗和非易失性等优良特性,但是如何高效地保证持久性内存的数据一致性,如何充分利用新型非易失内存的特性等问题,仍然需要深入的研究。本文围绕内存计算技术的诸多挑战,针对存储体系结构方面的关键技术展开研究,主要工作和创新点如下:(1)面向内存数据库索引访问的路径预取机制。针对内存数据库有序索引访问导致大量的缓存失效的问题,基于有序索引中相邻键值查找遵循相似的遍历路径的发现,提出了路径预取机制。通过记录索引键值与遍历路径之间的映射关系,当相同或相邻的索引键值再次被查找时,由记录的映射信息准确地指导预取请求的生成。本工作在缓存控制器中设计了路径预取器,提出了部分命中的概念以支持为相邻键值的查找生成预取,并提出了有效的更新映射信息的机制,以反映索引结构的变化。实验结果表明,对于有序索引查找,路径预取以较小的存储开销,性能提升27.4%,而且路径预取比传统的预取机制具有更好的可扩展性,对于实际的大规模工作负载具有更好的加速效果。(2)持久性内存高效的数据一致性机制。持久性内存支持数据的持久化存储,因此需要保证数据的一致性。内存持久性理论提出了strand持久性模型,将持久化操作的顺序限制大幅降低,但是没有具体的系统实现方案。本工作首先扩展了strand持久性模型,通过保证strand的原子性,进一步消除strand内部持久化操作的顺序限制,并基于该扩展模型提出了具有高效数据一致性保证的持久性内存系统。实验表明相对于此前最优的持久性内存系统有6.6%的性能提升,并且性能超过没有一致性保证的系统。此外,由于strand缓冲区的写合并作用,持久性内存的数据写入量下降了30%。(3)支持行和列访问的非易失内存系统。针对大多数非易失内存支持的具有对称性的交叉阵列结构,本工作设计实现了同时支持行和列访问的非易失内存架构RC-NVM,加速具有行列混合访存模式的应用。本工作设计了RC-NVM的架构和专门的访存请存调度器,并且优化缓存架构以高效地解决缓存数据同义和一致性问题。本工作还重点介绍了内存数据库在RC-NVM系统上的部署方案,并针对宽域和跨域访问问题提出了组缓存优化技术。实验结果表明以10%的面积开销,内存数据库的访存性能最大可以提高14.5倍。对于通用矩阵乘法,RC-NVM可以自然地支持单指令多数据SIMD操作,相对于最优的软件加速方法性能提升了19%。
黄浩[8](2016)在《基于数据仓库的商品流通企业决策分析系统的研究与开发》文中指出本文基于商品流通企业原有的ERP系统,综合应用目前先进的数据仓库技术、OLAP技术、数据挖掘技术、HTML5网页设计技术和企业管理理论及模型,构建一个适用于商品流通企业的决策分析子系统,从而为企业的决策提供帮助。该系统的实施,有助于改变企业原有ERP中的集中式数据管理模式的局限,使得企业能够对企业的经营的状况有更深层次的把握,再在这个基础上提出有效的企业决策,从而提升企业的市场竞争力和实现利润的最大化。本文对数据仓库技术、OLAP技术和数据挖掘技术的最新进展进行了研究,在此基础上,通过综合运用数据仓库技术和供应链管理思想,来建立商品流通企业决策分析系统的系统框架。本文的商品流通企业决策分析系统解决方案所需的数据挖掘和联机分析处理均基于数据仓库技术,并通过对系统数据仓库和模型库的研究而形成。通过综合应用数据仓库技术、OLAP技术和关联规则数据挖掘Aporiori算法,对商品流通企业的商品采购信息、商品存储信息、商品销售信息和客户关系信息等海量营业数据进行数据挖掘,并把数据挖掘的结果通过HTML5进行了呈现。通过商品流通企业的实际应用,本文对应用中发现的问题进行了有针对性的改进,从而更加贴合企业的使用需求,增强了商品流通企业的分析与决策能力。本文在查询性能改进方面,通过采用聚合表、索引视图、界面异步执行等措施,使系统查询性能大幅提升,最高的项目甚至有超过1000%的提升。在体系结构方面,本文充分考虑了商品流通企业具有多个经营场所的情况,除了增加了数据缓冲区来提高数据仓库的性能外,还通过增加通用元数据层、ETL服务器和中间数据库,在各营业场所服务器上执行分布式预处理等措施,大大提升了系统的性能。另外,本文通过精心分析,采用维映射的方式实现了跨主题域的查询,解决了数据仓库应用中跨主题域查询的难题。利用本系统挖掘出的规则应用,商品流通企业可以制定合适的采购、销售和仓储策略。本系统可以对商品流通企业的客户购买行为进行挖掘分析,也可以对商品销售和采购的数据进行综合分析,这对于商品流通企业的客户划分、仓储管理以及促销政策制定,均有实际的指导作用。该系统的实施大大提高了企业的决策效率,例如企业原先需要花费一整天来进行备货决策,而启用该系统后,利用该系统提供的数据分析结果,可将备货决策缩短到一个小时内完成。
宋旭东[9](2010)在《企业集团数据仓库系统关键技术研究》文中提出企业集团信息化运营过程中积累了大量的设计、生产、库存、销售、采购和财务等业务数据,如何将企业集团海量业务数据转化为决策信息已成为目前企业集团信息化难点和热点问题,数据仓库系统被认为是最好的解决方案。企业集团数据仓库系统是一个复杂的系统,涉及众多复杂的概念和技术。本文就企业集团数据仓库系统中的几个关键技术进行了研究,本文的研究成果为企业集团实施数据仓库系统提供了很好的借鉴作用,有着重要的理论和现实意义。本文的主要工作如下:(1)企业集团数据仓库系统的概念及体系结构的研究。给出了企业集团数据仓库系统的定义,提出了统一视图模型的基本概念,提出了一个基于统一视图模型的数据仓库系统体系结构。(2)数据仓库系统ETL技术的研究。给出了一种新的基于统一视图模型的数据仓库ETL体系结构,提出了一种基于统一视图模型的ETL过程建模和实现方法。同时,针对数据仓库ETL任务调度问题,以数据仓库总的ETL执行时间最短为调度目标,建立了ETL任务调度模型,提出基于同层划分的遗传算法进行模型求解的算法流程。(3)企业集团数据仓库技术的研究。给出了企业集团分布式数据仓库分层结构,提出了一种面向企业集团的分布式数据仓库模型,并总结了分布式数据仓库的实施策略及其关键技术,同时将模型驱动的方法应用到数据仓库模型开发中。(4)企业集团OLAP技术的研究。将模型驱动体系架构的软件开发方法应用到OLAP开发中,该方法在数据仓库系统统一建模框架下,将OLAP设计从逻辑层提升到概念层,在概念层实现OLAP的PIM建模,通过PIM模型到PSM模型及PSM模型到SQL代码转换实现OLAP开发。(5)企业集团数据挖掘技术的研究。提出了一种基于抽样的决策树分类改进算法,使得这种算法在大数据集的情况下也能挖掘出正确的分类规则。将该算法应用到企业生产成本关键工序挖掘上,挖掘出工艺路线中的关键工序和影响钢铁企业成本的分类规则。同时,针对大数据集下的关联规则挖掘,提出了有向项集图的三叉链表式存储结构和基于有向项集图的关联规则挖掘改进算法,通过东北特钢钢企业集团的客户数据关联规则挖掘应用,挖掘出的客户的购买行为和潜在需求规律。(6)企业集团决策支持技术的研究。给出了基于分布式数据仓库的企业集团决策支持系统整体框架,通过定义决策方案层和决策任务模型层,采用分层策略,降低了决策支持系统的复杂性,采用面向对象的软构件方法,将数据和决策算法有效集成,增强了系统的重用性和扩展性。
杨斌[10](2010)在《动态OLAP平台机制研究及其应用》文中认为随着数据仓库技术不断的成熟,面向辅助决策分析的联机数据分析(OLAP)技术也取得了长足的进步。在这种形势下,国外很多数据仓库供应商纷纷推出了自己的联机数据分析产品,然而它们多数与数据仓库进行绑定,对数据仓库具有较强的依赖性,缺乏普遍的业务适应性;而国内的联机数据分析软件多以国外的OLAP引擎为基础,在其上开发针对某些业务领域的OLAP系统,缺乏对其他业务领域决策分析的支持。针对这种现状,本文设计了一种融合软件Agent开发理念并结合平台技术优势的动态OLAP平台(Dynamic Platform for Online Analytical Process,DPOLAP)模型。DPOLAP模型由数据层、服务层、管理层以及应用层四个层次构成。数据层以XML组织和管理多维数据模型以关系数据库存储细节数据,并为模型的其他层次提供数据支持;服务层以Agent服务的形式动态组织平台的功能,其中Agent可以分为三种类型:管理调度Agent、OLAP操作Agent、工具Agent,它们分别负责DPOLAP中功能的组织与管理、执行OLAP查询分析、辅助DPOLAP的功能运行;管理层通过模块化的管理方式对DPOLAP整体功能的运作进行统筹安排;应用层负责组建面向不同业务的应用实例。在研究DPOLAP模型设计的同时,本文也对DPOLAP下Agent设计与实现方法以及Agent的注册、通信机制和遗留系统的封装问题进行了研究。最后结合中铁监理的业务需求,在DPOLAP模型指导下开发出了铁路监理OLAP系统,为铁路监理行业面向主题的分析及决策的制定提供强有力的支持。
二、一个通用的OLAP体系结构(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、一个通用的OLAP体系结构(论文提纲范文)
(1)基于Graph OLAM的并行分析挖掘系统的研究与实现(论文提纲范文)
摘要 |
英文摘要 |
第一章 绪论 |
1.1 研究背景 |
1.2 研究意义 |
1.3 研究内容 |
1.3.1 Graph OLAM大规模多维网络挖掘框架的研究与设计 |
1.3.2 基于Graph OLAM技术的RU-GOLAM保险推荐算法及框架 |
1.3.3 基于Graph OLAM的并行分析挖掘系统 |
1.4 论文组织与结构 |
第二章 相关概念及相关工作 |
2.1 框架核心与关键技术 |
2.1.1 传统OLAP技术与Graph OLAP |
2.1.2 图挖掘技术OLAM技术 |
2.1.3 大规模网络分析框架与图概要技术 |
2.1.4 社交网络推荐技术 |
2.2 系统架构相关概念和技术 |
2.2.1 系统架构相关概念 |
2.2.2 分布式计算相关概念 |
2.3 本章小结 |
第三章 Graph OLAM大规模多维网络挖掘框架的研究与设计 |
3.1 Graph OLAM核心功能框架 |
3.2 面向分析应用的逻辑架构搭建 |
3.3 Graph OLAM核心技术 |
3.3.1 操作统一模式的总结与划分 |
3.3.2 T-P&D数据存储模型设计及实验验证 |
3.4 本章小结 |
第四章 基于Graph OLAM技术的保险推荐算法及框架 |
4.1 需求分析 |
4.2 RU(Roll_Up)-GOLAM推荐框架 |
4.3 基于Graph OLAM技术的稀疏网络推荐算法 |
4.4 实验验证 |
4.5 本章小结 |
第五章 基于Graph OLAM的并行分析挖掘系统 |
5.1 系统需求分析 |
5.1.1 系统用户角色分析 |
5.1.2 功能需求 |
5.1.3 非功能需求 |
5.2 系统架构设计 |
5.2.1 UI应用层 |
5.2.2 系统核心功能层 |
5.2.3 数据存储层 |
5.3 系统详细设计与实现 |
5.3.1 用户管理模块 |
5.3.2 数据交互模块 |
5.3.3 Graph OLAM分析&结果展示模块 |
5.3.4 数据库与存储设计 |
5.4 系统测试 |
5.4.1 测试环境 |
5.4.2 功能测试 |
5.4.3 性能测试 |
5.5 应用实例 |
5.6 本章小结 |
第六章 总结与展望 |
6.1 本文总结 |
6.2 展望 |
参考文献 |
致谢 |
攻读硕士学位期间发表的学术论文目录 |
(2)森林资源数据仓库管理系统研建与数据分析应用技术研究(论文提纲范文)
摘要 |
abstract |
1 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 森林资源异构数据集成的研究现状 |
1.2.2 数据仓库在林业上的应用研究 |
1.2.3 ETL技术的研究 |
1.2.4 OLAP技术的研究 |
1.2.5 林业数据挖掘技术的研究 |
1.2.6 小结 |
1.3 研究目标和内容 |
1.3.1 研究目标 |
1.3.2 研究内容 |
1.3.3 研究拟解决的关键问题 |
1.4 研究方法与研究技术路线 |
1.4.1 研究方法 |
1.4.2 研究的技术路线 |
1.5 研究数据 |
1.6 项目来源与经费支持 |
1.7 论文组织结构 |
2 研究的理论与技术基础 |
2.1 数据仓库技术 |
2.1.1 数据仓库的概念 |
2.1.2 数据仓库建模方法 |
2.2 ETL技术 |
2.3 OLAP技术 |
2.3.1 OLAP技术基本概念 |
2.3.2 多维分析的基本操作 |
2.4 数据挖掘技术 |
2.4.1 数据挖掘的概念 |
2.4.2 常用的森林资源数据挖掘算法 |
2.5 本章小结 |
3 森林资源数据仓库设计与构建 |
3.1 森林资源小班数据仓库设计 |
3.1.1 概念模型设计 |
3.1.2 逻辑模型设计 |
3.1.3 物理模型设计 |
3.2 标准地/样地数据仓库设计 |
3.2.1 逻辑模型设计 |
3.2.2 物理模型设计 |
3.3 本章小结 |
4 森林资源异构数据的ETL技术研究 |
4.1 森林资源异构数据ETL需求分析 |
4.2 数据抽取子模型 |
4.3 数据转换子模型 |
4.3.1 数据清洗模块 |
4.3.2 数据转换模块 |
4.4 数据加载子模型 |
4.5 本章小结 |
5 森林资源数据仓库数据分析实例 |
5.1 OLAP与数据挖掘 |
5.2 森林资源数据OLAP技术应用 |
5.2.1 多维数据立方体的建立 |
5.2.2 森林生产功能分析 |
5.2.3 龄组、林种多样性及动态变化分析 |
5.3 森林资源数据挖掘技术应用 |
5.3.1 适地适树规则提取 |
5.3.2 生长收获预测模型拟合 |
5.4 本章小结 |
6 森林资源数据仓库管理系统的研建 |
6.1 系统需求分析 |
6.1.1 用户需求分析 |
6.1.2 功能需求分析 |
6.2 系统结构设计 |
6.2.1 系统体系结构设计 |
6.2.2 系统功能结构设计 |
6.3 森林资源数据仓库管理系统运行实例 |
6.3.1 异构数据源获取 |
6.3.2 数据清洗、转换 |
6.3.3 数据仓库管理 |
6.4 本章小结 |
7 总结与展望 |
7.1 总结 |
7.2 展望 |
参考文献 |
个人简介 |
导师简介 |
致谢 |
(3)数据挖掘技术在高校教育投入中的应用研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 课题背景及研究意义 |
1.2 国内外研究现状 |
1.3 研究课题 |
1.4 论文组织结构 |
第2章 OLAM技术的探讨 |
2.1 决策支持系统DSS |
2.2 数据仓库DW的介绍 |
2.2.1 DW的定义 |
2.2.2 DW的数据环境 |
2.3 联机分析处理技术OLAP |
2.3.1 OLAP的逻辑概念 |
2.3.2 OLAP技术的应用 |
2.4 数据挖掘(Data-Mining) |
2.4.1 DM的定义 |
2.4.2 DM的过程 |
2.5 DW、DM及OLAP之间的关系 |
2.5.1 DW与DM的关系 |
2.5.2 DW与OLAP的关系 |
2.5.3 OLAP与DM的关系 |
2.5.4 DW、OLAP与DM的结合 |
2.6 OLAM技术 |
2.6.1 OLAP和DM的结合 |
2.6.2 OLAM的体系结构 |
2.6.3 OLAM的功能特性 |
2.7 本章小结 |
第3章 OLAM模型的分析和设计 |
3.1 传统OLAM模型的设计方法 |
3.1.1 OLAM的简单模型 |
3.1.2 OLAM的复杂模型 |
3.1.3 OLAM的通用模型 |
3.2 高校教育投入中OLAM模型的分析 |
3.2.1 两种不同性质的挖掘需求 |
3.2.2 OLAM模型的运行方式 |
3.3 高校教育投入中OLAM模型的设计 |
3.3.1 C/S架构的OLAM模型 |
3.3.2 B/S架构下的OLAM模型 |
3.3.3 OLAM模型的功能扩展 |
3.4 本章小结 |
第4章 构建高校教育投入资源数据仓库 |
4.1 多维数据建模 |
4.2 概念模型设计 |
4.3 逻辑模型设计 |
4.4 物理模型设计 |
4.4.1 数据的整理和完善 |
4.4.2 数据的清洗和集成 |
4.5 本章小结 |
第5章 OLAM技术在高校教育投入中的应用 |
5.1 DSS的设计与分析 |
5.2 OLAM技术的应用实践 |
5.2.1 OLAM工具的选取 |
5.2.2 OLAM模型的构建 |
5.2.3 OLAM挖掘算法的实现 |
5.2.4 OLAM定量挖掘与定性分析相结合 |
5.2.5 结论和建议 |
第6章 结语 |
6.1 论文工作总结 |
6.2 进一步工作 |
致谢 |
参考文献 |
(4)内存数据管理与分析关键技术研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景 |
1.1.1 硬件发展及其特性 |
1.1.2 内存数据管理 |
1.2 数据管理新技术 |
1.2.1 OLTP和OLAP融合的数据库市场 |
1.2.2 机器学习赋能数据库(Alfor DB) |
1.2.3 数据库赋能机器学习(DB for AI) |
1.3 预备知识和相关工作 |
1.3.1 内存索引技术 |
1.3.2 事务串并行 |
1.3.3 混合事务/分析处理 |
1.3.4 内存检查点与内存快照 |
1.3.5 学习型数据库技术 |
1.3.6 分布估计 |
1.3.7 极限学习机 |
1.4 研究内容与主要贡献 |
1.5 章节安排 |
第2章 面向数据特征的跳表优化技术 |
2.1 问题背景 |
2.2 预备知识 |
2.2.1 跳表 |
2.3 基于数据分布的跳表 |
2.3.1 cdf-list |
2.3.2 bound-list |
2.3.3 partition-list |
2.4 结合访问热度的跳表 |
2.4.1 hot-list |
2.4.2 mix-list |
2.4.3 总结对比 |
2.5 实验与分析 |
2.5.1 硬件环境 |
2.5.2 测试数据集 |
2.5.3 CDF优化实验结果 |
2.5.4 热度数据实验结果 |
2.6 结论及展望 |
第3章 内存数据库异步快照技术评估与分析 |
3.1 问题背景 |
3.1.1 研究动机 |
3.1.2 研究贡献 |
3.2 问题定义 |
3.2.1 面向内存数据的一致性快照 |
3.2.2 模型和框架 |
3.3 内存一致性快照算法 |
3.3.1 朴素快照(Naive Snapshot) |
3.3.2 写时复制和fork函数 |
3.3.3 之字形算法(Zigzag) |
3.3.4 乒乓算法(Ping-Pong) |
3.3.5 沙漏算法(Hourglass) |
3.3.6 捎带算法(Piggyback) |
3.3.7 算法对比 |
3.4 虚拟快照算法 |
3.4.1 CALC |
3.4.2 vHG and vPB |
3.5 实验评估 |
3.5.1 基础设施 |
3.5.2 物理一致性快照评估 |
3.5.3 虚拟快照评估 |
3.6 本章小结 |
3.7 未来工作 |
第4章 基于双快照的HTAP加速技术 |
4.1 问题背景 |
4.1.1 true HTAP |
4.1.2 looseform HTAP |
4.2 基于双重快照的架构 |
4.3 OLTP组件 |
4.3.1 存储引擎 |
4.3.2 事务并发控制 |
4.3.3 增量快照 |
4.4 OLAP组件 |
4.4.1 合并快照和状态机 |
4.4.2 类LSM查询层 |
4.4.3 运行示例 |
4.5 实验评估 |
4.5.1 实验负载 |
4.5.2 固定OLAP线程数 |
4.5.3 固定OLTP线程数 |
4.6 结论 |
第5章 不同计算设备对ELM性能的影响评估 |
5.1 问题背景 |
5.1.1 研究动机 |
5.1.2 研究贡献 |
5.2 瓶颈分析 |
5.3 不同设备上的实现 |
5.3.1 CPU实现 |
5.3.2 GPU实现 |
5.3.3 FPGA实现 |
5.4 实验评估 |
5.4.1 CPU性能测试 |
5.4.2 GPU性能评估 |
5.4.3 FPGA性能评估 |
5.4.4 总结 |
5.5 结论 |
第6章 结束语 |
6.1 本文工作总结 |
6.2 未来的研究方向 |
参考文献 |
致谢 |
攻读博士学位期间的研究成果 |
参加科研课题情况 |
个人简历 |
(5)基于Spark和Kylin的搜索广告商业数据OLAP系统的设计与实现(论文提纲范文)
致谢 |
摘要 |
ABSTRACT |
1 引言 |
1.1 项目背景及意义 |
1.2 数据仓库与OLAP应用现状 |
1.3 关键技术综述 |
1.3.1 Hadoop平台与Spark引擎 |
1.3.2 Kylin与多维数据立方体 |
1.3.3 Protocol Buffer |
1.3.4 Actor模型 |
1.4 论文研究内容与结构 |
1.5 本章小结 |
2 系统需求分析 |
2.1 搜索广告商业数据概述 |
2.1.1 商业模式概述 |
2.1.2 常用数据指标 |
2.2 系统用例分析 |
2.2.1 权限管理功能 |
2.2.2 查询创建功能 |
2.2.3 任务管理功能 |
2.2.4 任务调度功能 |
2.2.5 任务计算功能 |
2.2.6 数据服务功能 |
2.3 系统数据需求 |
2.3.1 查询维度和度量设计 |
2.3.2 数据建设目标 |
2.4 非功能性需求 |
2.5 本章小结 |
3 数据仓库设计 |
3.1 理论与技术研究 |
3.1.1 维度建模理论 |
3.1.2 分层数据仓库 |
3.2 系统数据仓库建设 |
3.2.1 数据仓库分层设计 |
3.2.2 事实表优化设计 |
3.2.3 数据仓库DW层建模 |
3.3 本章小结 |
4 数据立方体设计 |
4.1 理论与技术研究 |
4.1.1 逐层立方体构建算法 |
4.1.2 快速立方体构建算法 |
4.1.3 立方体生成树优化 |
4.2 系统数据立方体建设 |
4.2.1 维度计算支持 |
4.2.2 数据立方体创建 |
4.3 本章小结 |
5 系统概要设计 |
5.1 系统技术路线 |
5.2 系统总体架构设计 |
5.3 系统后端概要设计 |
5.3.1 架构设计 |
5.3.2 接口设计 |
5.3.3 SQL生成概要设计 |
5.4 系统数据端概要设计 |
5.4.1 架构设计 |
5.4.2 接口设计 |
5.4.3 计算流程设计 |
5.5 系统数据库设计 |
5.6 本章小结 |
6 系统详细设计与实现 |
6.1 权限控制模块设计与实现 |
6.1.1 Casbin权限管理配置 |
6.1.2 类设计与判断逻辑 |
6.2 查询创建模块设计与实现 |
6.2.1 创建查询任务 |
6.2.2 维度查询SQL生成 |
6.2.3 查询引擎选择 |
6.2.4 QueryInfo Protocol Buffer设计 |
6.2.5 类设计与执行逻辑 |
6.3 任务管理模块设计与实现 |
6.3.1 任务队列查看 |
6.3.2 任务队列操作 |
6.3.3 类设计与执行逻辑 |
6.4 任务调度模块设计与实现 |
6.4.1 Actors设计 |
6.4.2 任务调度流程 |
6.4.3 引擎降级流程 |
6.4.4 模块类设计 |
6.5 任务计算模块设计与实现 |
6.5.1 任务计算分析 |
6.5.2 使用Kylin计算 |
6.5.3 使用Spark计算 |
6.5.4 引擎的扩展 |
6.5.5 模块类设计 |
6.6 数据服务模块设计与实现 |
6.6.1 数据仓库元数据获取 |
6.6.2 结果数据获取 |
6.6.3 模块类设计 |
6.7 本章小结 |
7 系统验证 |
7.1 系统功能验证 |
7.2 系统性能验证 |
7.3 本章小结 |
8 结论 |
参考文献 |
作者简历及攻读硕士/博士学位期间取得的研究成果 |
学位论文数据集 |
(6)数据仓库中联机分析系统的研究与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究工作的背景与意义 |
1.2 国内外医疗信息系统现状 |
1.3 课题研究内容 |
1.4 论文结构安排 |
第二章 课题相关技术基础 |
2.1 数据仓库与主数据管理 |
2.1.1 数据仓库建模方法 |
2.1.2 主数据管理 |
2.1.3 数据仓库与主数据的关系 |
2.2 类似数据的递归组织 |
2.2.1 数据组织的层级架构 |
2.2.2 数据组织的聚合架构 |
2.2.3 数据组织的对等关系 |
2.3 数据模型中的数据分类 |
2.3.1 数据分类的定义与标准 |
2.3.2 数据实体的分类模式 |
2.3.3 数据立方体分类模式 |
2.3.4 数据模式的时空分类 |
2.4 联系机制的数据模式 |
2.4.1 联系机制概念 |
2.4.2 递归数据结构的互转 |
2.4.3 地理数据的组织模型 |
2.5 数据仓库、OLAP与数据挖掘 |
2.5.1 OLAP技术简介 |
2.5.2 数据挖掘技术 |
2.5.3 数据仓库、OLAP与数据挖掘的关系 |
2.6 本章小结 |
第三章 数据仓库数据模型设计 |
3.1 数据模型设计 |
3.1.1 泛化数据模型 |
3.1.2 泛化数据静态模型 |
3.2 数据仓库的数据模型 |
3.2.1 星型数据模型案例分析 |
3.2.2 星型数据概念模型设计 |
3.2.3 泛化星型数据模型物理设计 |
3.3 单颗粒属性的主数据模型 |
3.3.1 “人”主数据管理模型 |
3.3.2 “物品”主数据管理模型 |
3.3.3 单颗粒的主数据泛化模型 |
3.4 组合颗粒的主数据管理模型 |
3.4.1 主数据“组织”的自关联数据模型 |
3.4.2 “组织-人”关系型主数据模型 |
3.4.3 “当事人”泛化数据模型设计 |
3.5 OLAP系统与功能设计 |
3.5.1 OLAP信息流设计 |
3.5.2 OLAP操作功能设计 |
3.5.2.1 切片 |
3.5.2.2 切块 |
3.5.2.3 旋转 |
3.6 本章小结 |
第四章 医院数据仓库与OLAP的实现 |
4.1 医院数据中心总体架构 |
4.2 数据仓库主题模型的设计 |
4.2.1 数据仓库主题模型相关设计 |
4.3 多维数据模型及OLAP实现 |
4.3.1 OLAP多维数据模型定义 |
4.3.2 OLAP多维数据模型实例 |
4.3.3 多维数据模型的OLAP操作 |
4.4 数据仓库与OLAP应用展现 |
4.4.1 主数据管理与OLAP案例 |
4.4.2 患者360 视图OLAP展示 |
4.4.3 数据仓库/数据集市OLAP展示 |
4.4.4 OLAP医疗质监数据展示 |
4.4.5 数据立方体等OLAP分析应用展现 |
4.5 本章小结 |
第五章 总结与展望 |
5.1 总结 |
5.2 展望 |
致谢 |
参考文献 |
(7)面向内存计算的存储系统结构关键技术研究(论文提纲范文)
摘要 |
ABSTRACT |
符号使用说明 |
第一章 绪论 |
1.1 课题背景 |
1.1.1 内存计算应对大数据挑战 |
1.1.2 新型非易失内存 |
1.2 相关研究现状及进展 |
1.2.1 内存计算系统 |
1.2.2 非易失内存 |
1.3 研究内容及主要贡献 |
1.4 文章组织结构 |
第二章 面向内存数据库的预取机制 |
2.1 引言 |
2.2 背景介绍 |
2.2.1 内存数据库 |
2.2.2 低效的索引访问 |
2.3 路径预取机制 |
2.3.1 有序索引 |
2.3.2 传统预取机制 |
2.3.3 有序索引的预取 |
2.4 路径预取器的设计 |
2.4.1 识别遍历路径 |
2.4.2 部分命中 |
2.4.3 更新预取表 |
2.4.4 存储开销和能耗分析 |
2.5 实验评估 |
2.5.1 实验方法 |
2.5.2 索引查询性能评估 |
2.5.3 缓存失效评估 |
2.5.4 预取深度等敏感性评估 |
2.5.5 TPC-C性能评估 |
2.6 相关工作 |
2.7 本章小结 |
第三章 非易失内存高效的数据一致性机制 |
3.1 引言 |
3.2 背景介绍 |
3.2.1 内存持久性模型 |
3.2.2 持久性内存事务 |
3.2.3 存储设备对数据一致性的支持 |
3.3 基于strand模型的持久性内存系统设计 |
3.3.1 strand组跟踪 |
3.3.2 strand缓冲区 |
3.3.3 定点更新 |
3.3.4 数据一致性保证 |
3.4 基于strand模型的持久性内存系统实现 |
3.4.1 软件接口和指令扩展 |
3.4.2 strand组跟踪模块 |
3.4.3 strand缓冲区实现 |
3.4.4 溢出的处理方法 |
3.5 实验评估 |
3.5.1 实验方法 |
3.5.2 系统性能评估 |
3.5.3 访存延迟等敏感性评估 |
3.6 相关工作 |
3.7 本章小结 |
第四章 支持行和列访问的非易失内存系统 |
4.1 引言 |
4.2 背景介绍 |
4.2.1 内存数据库的数据布局 |
4.2.2 交叉杆阵列结构 |
4.3 RC-NVM架构设计 |
4.3.1 RC-NVM bank架构 |
4.3.2 共享外围电路 |
4.3.3 RC-NVM模块架构 |
4.3.4 面积和延迟开销分析 |
4.3.5 RC-NVM请求调度器设计 |
4.4 RC-NVM系统设计 |
4.4.1 指令集扩展 |
4.4.2 地址映射机制 |
4.4.3 显式控制数据布局 |
4.4.4 高速混存架构设计 |
4.5 面向内存数据库的RC-NVM系统 |
4.5.1 数据库的数据布局 |
4.5.2 查询示例 |
4.5.3 组缓存技术 |
4.6 实验评估 |
4.6.1 实验方法 |
4.6.2 实验负载 |
4.6.3 微测试程序评估 |
4.6.4 查询操作评估 |
4.6.5 请求调度策略性能 |
4.6.6 组缓存技术性能 |
4.6.7 能耗评估 |
4.6.8 通用矩阵乘法评估 |
4.7 相关工作 |
4.8 本章小结 |
第五章 结论与展望 |
5.1 工作总结 |
5.2 未来研究工作展望 |
致谢 |
参考文献 |
作者在学期间取得的学术成果1 |
作者在学期间取得的学术成果2 |
(8)基于数据仓库的商品流通企业决策分析系统的研究与开发(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 本课题的背景及意义 |
1.1.1 本课题的背景及可行性分析 |
1.1.2 本课题的目的和意义 |
1.2 本课题的主要研究内容 |
1.2.1 数据仓库 |
1.2.2 联机分析技术 |
1.2.3 数据挖掘 |
1.3 本文的组织结构 |
第二章 相关技术研究 |
2.1 数据仓库技术 |
2.1.1 数据仓库概念 |
2.1.2 数据仓库的体系结构 |
2.1.3 数据仓库模型设计 |
2.1.4 数据仓库的抽取、转换和加载 |
2.1.5 数据仓库技术的最新发展 |
2.2 联机分析技术 |
2.2.1 联机分析技术简述 |
2.2.2 Microsoft Analysis Services中两种分析模型的比较 |
2.2.3 联机分析技术的最新发展 |
2.3 数据挖掘技术 |
2.3.1 数据挖掘简述 |
2.3.2 数据挖掘模型和步骤 |
2.3.3 关联规则挖掘和Apriori算法 |
2.3.4 Apriori算法的改进研究 |
2.4 HTML5 网页设计技术 |
2.5 基于数据仓库的的商品流通企业决策分析系统 |
2.6 小结 |
第三章 决策分析系统的需求分析 |
3.1 应用背景 |
3.2 需求分析 |
3.2.1 数据导入功能需求 |
3.2.2 销售策略分析的功能需求 |
3.2.3 商品库存分析的功能需求 |
3.2.4 采购策略分析的功能需求 |
3.2.5 企业客户关系分析的功能需求 |
3.3 系统体系结构 |
3.4 小结 |
第四章 决策分析系统的设计与实现 |
4.1 系统体系结构设计 |
4.2 数据仓库模型设计 |
4.2.1 概念模型设计 |
4.2.2 逻辑模型设计 |
4.2.3 物理模型设计 |
4.3 数据预处理过程模型设计 |
4.4 元数据存储平台设计 |
4.5 决策分析系统的实现 |
4.5.1 实现数据导入模块 |
4.5.2 创建数据仓库 |
4.5.3 创建多维数据集 |
4.5.4 关联规则数据挖掘功能实现 |
4.5.5 数据分析结果展示功能实现 |
4.6 实际应用中的问题以及改进 |
4.6.1 查询性能问题的分析和改进 |
4.6.2 分布式数据来源的数据统一性问题以及改进 |
4.6.3 组合多个主题域的问题 |
4.7 小结 |
第五章 系统测试、运行与评价 |
5.1 系统测试 |
5.2 测试用例设计 |
5.3 系统测试结果 |
5.4 系统评价 |
5.5 小结 |
第六章 总结与展望 |
6.1 结论 |
6.2 下一步工作展望 |
参考文献 |
附录 |
致谢 |
攻读学位期间发表的学术论文 |
(9)企业集团数据仓库系统关键技术研究(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 课题的研究背景及意义 |
1.2 课题的国内外研究现状 |
1.3 目前存在问题 |
1.4 本文主要工作 |
1.5 论文结构 |
2 数据仓库系统基本概念 |
2.1 数据仓库系统定义 |
2.2 数据仓库系统体系结构 |
2.2.1 统一视图模型基本概念 |
2.2.2 基于统一视图模型的数据仓库系统体系结构 |
2.2.3 面向领域工程的统一视图模型的确立 |
2.3 数据仓库系统相关技术概述 |
2.3.1 ETL技术 |
2.3.2 数据仓库技术 |
2.3.3 联机分析处理技术 |
2.3.4 数据挖掘技术 |
2.3.5 决策支持技术 |
2.4 本章小结 |
3 企业集团ETL技术 |
3.1 基于统一视图模型的ETL体系结构 |
3.2 基于统一视图模型的ETL过程建模与实现 |
3.2.1 基于统一视图模型的ETL过程建模方法的提出 |
3.2.2 基于统一视图模型的ETL过程元模型 |
3.2.3 基于统一视图模型的ETL过程建模 |
3.2.4 基于统一视图模型的ETL过程实现 |
3.3 数据仓库系统ETL任务调度模型 |
3.3.1 数据仓库ETL任务调度问题的提出 |
3.3.2 数据仓库ETL任务调度问题描述 |
3.3.3 ETL调度模型建立 |
3.3.4 ETL调度模型求解 |
3.3.5 ETL任务调度实例 |
3.4 本章小结 |
4 企业集团数据仓库技术 |
4.1 企业集团分布式数据仓库体系结构 |
4.1.1 企业集团数据环境特性 |
4.1.2 企业集团数据仓库体系结构 |
4.1.3 东北特钢集团数据仓库应用框架 |
4.2 企业集团分布式数据仓库建模 |
4.3 企业集团数据仓库模型驱动开发方法 |
4.3.1 模型驱动体系架构简介 |
4.3.2 基于MDA的数据仓库模型驱动开发框架 |
4.3.3 基于MDA的数据仓库模型驱动开发过程 |
4.3.4 基于MDA的数据仓库PIM和PSM元模型 |
4.3.5 基于MDA的数据仓库模型转换 |
4.3.6 基于MDA的数据仓库模型驱动实现 |
4.3.7 企业集团数据仓库模型开发实例 |
4.4 企业集团分布式数据仓库实施 |
4.4.1 企业集团数据仓库实施策略 |
4.4.2 企业集团数据仓库实施技术 |
4.5 本章小结 |
5 企业集团联机分析处理技术 |
5.1 基于MDA的OLAP开发方法的提出 |
5.2 基于MDA的OLAP集成开发框架 |
5.3 基于MDA的OLAP开发 |
5.3.1 OLAP模型开发过程 |
5.3.2 OLAP PIM元模型定义 |
5.3.3 OLAP PSM元模型定义 |
5.3.4 PIM模型到PSM模型转换 |
5.3.5 PSM模型到SQL代码的转换 |
5.3.6 基于MDA的OLAP模型实现 |
5.4 OLAP开发应用实例 |
5.5 本章小结 |
6 企业集团数据挖掘技术 |
6.1 基于抽样的决策树分类改进算法及应用 |
6.1.1 基于抽样的决策树分类改进算法的提出 |
6.1.2 基本概念和相关技术 |
6.1.3 基于抽样的决策树分类改进算法 |
6.1.4 决策树数据挖掘应用研究 |
6.2 关联规则挖掘改进算法及应用 |
6.2.1 关联规则改进算法的提出 |
6.2.2 有向项集图的三叉链表式存储结构 |
6.2.3 基于有向项集图的关联规则挖掘算法 |
6.2.4 关联规则数据挖掘应用研究 |
6.3 本章小结 |
7 企业集团决策支持技术 |
7.1 企业集团决策支持信息模型 |
7.2 企业集团决策支持系统结构 |
7.2.1 企业集团决策方案 |
7.2.2 企业集团决策支持系统层次结构 |
7.2.3 企业集团决策支持系统流程 |
7.2.4 企业集团决策方案执行流程 |
7.3 企业集团决策支持系统应用研究 |
7.3.1 企业集团建模体系结构 |
7.3.2 企业集团决策支持系统应用框架 |
7.3.3 东北特钢集团决策支持系统应用实例 |
7.4 本章小结 |
结论 |
参考文献 |
创新点摘要 |
攻读博士学位期间发表学术论文情况 |
致谢 |
作者简介 |
(10)动态OLAP平台机制研究及其应用(论文提纲范文)
摘要 |
ABSTRACT |
创新点摘要 |
第一章 绪论 |
1.1 选题背景及其意义 |
1.2 国内外研究状况及本文的改进工作 |
1.2.1 国内外研究现状 |
1.2.2 国内外OLAP 产品的不足之处及本文改进方案 |
1.3 论文的主要内容及组织结构 |
1.3.1 论文的主要内容 |
1.3.2 论文的组织结构 |
第二章 相关技术综述 |
2.1 数据仓库概述 |
2.1.1 数据仓库定义及特征 |
2.1.2 构建数据仓库的步骤 |
2.2 OLAP 技术概述 |
2.2.1 OLAP 的相关概念 |
2.2.2 OLAP 的特性 |
2.2.3 OLAP 的典型操作 |
2.2.4 OLAP 的分类 |
2.3 元数据及XML 概述 |
2.3.1 元数据定义及作用 |
2.3.2 XML 定义及其作用 |
2.4 Agent 系统理论及Agent 特性 |
2.4.1 Agent 及多Agent 系统的概念 |
2.4.2 Agent 的特性 |
2.5 本章小结 |
第三章 DPOLAP 模型设计 |
3.1 DPOLAP 模型体系结构 |
3.1.1 采用平台进行系统开发的优势 |
3.1.2 概念模型设计 |
3.1.3 逻辑模型设计 |
3.1.4 DPOLAP 模型的层次关系 |
3.1.5 服务层组织结构 |
3.1.6 DPOLAP 模型的动态特性 |
3.2 DPOLAP 模型下的数据组织及管理 |
3.2.1 多维数据模型 |
3.2.2 采用XML 描述多维数据结构 |
3.2.3 DPOLAP 模型底层数据的管理 |
3.2.4 智能ETL 工具设计 |
3.3 OLAP 引擎组织结构及工作方式 |
3.3.1 OLAP 引擎的组织结构 |
3.3.2 DPOLAP 模型中OLAP 运行方式 |
3.3.3 OLAP 查询算法研究 |
3.3.4 OLAP 基本操作的研究与实现 |
3.4 在DPOLAP 中构建OLAP 系统的前台 |
3.5 OLAP 业务逻辑设计管理 |
3.5.1 进行业务逻辑设计的意义 |
3.5.2 业务逻辑设计 |
3.6 DPOLAP 模型的安全性控制 |
3.6.1 基于用户—角色的三级权限管理体系模型 |
3.6.2 用户权限的XML 描述方法 |
3.7 本章小结 |
第四章 DPOLAP 模型实现 |
4.1 DPOLAP 模型下Agent 服务设计 |
4.1.1 Web Service 的技术优势 |
4.1.2 采用Web Service 进行Agent 服务设计 |
4.2 Agent 注册管理 |
4.2.1 定义Agent 的唯一标识名 |
4.2.2 Agent 注册流程 |
4.3 Agent 通信研究 |
4.3.1 Agent 通信语言 |
4.3.2 KQML 的XML 封装 |
4.3.3 Agent 通信方式 |
4.3.4 Agent 通信过程 |
4.4 遗产系统的集成 |
4.5 本章小结 |
第五章 基于DPOLAP 的应用系统实现案例 |
5.1 构建基于DPOLAP 的应用系统的步骤 |
5.2 黑龙江中铁监理OLAP 系统设计方案 |
5.2.1 监理数据仓库的设计与开发 |
5.2.2 铁路监理OLAP 系统设计与管理 |
5.2.3 铁路监理OLAP 系统运行效果展示 |
5.3 本章小结 |
结论 |
参考文献 |
发表文章目录 |
致谢 |
详细摘要 |
四、一个通用的OLAP体系结构(论文参考文献)
- [1]基于Graph OLAM的并行分析挖掘系统的研究与实现[D]. 孙思瑞. 北京邮电大学, 2021(01)
- [2]森林资源数据仓库管理系统研建与数据分析应用技术研究[D]. 许诗怡. 北京林业大学, 2020
- [3]数据挖掘技术在高校教育投入中的应用研究[D]. 王位明. 南昌大学, 2020(01)
- [4]内存数据管理与分析关键技术研究[D]. 李梁. 东北大学, 2020(01)
- [5]基于Spark和Kylin的搜索广告商业数据OLAP系统的设计与实现[D]. 于瀚程. 北京交通大学, 2019(01)
- [6]数据仓库中联机分析系统的研究与实现[D]. 彭先清. 电子科技大学, 2019(01)
- [7]面向内存计算的存储系统结构关键技术研究[D]. 李硕. 国防科技大学, 2018(01)
- [8]基于数据仓库的商品流通企业决策分析系统的研究与开发[D]. 黄浩. 上海交通大学, 2016(03)
- [9]企业集团数据仓库系统关键技术研究[D]. 宋旭东. 大连理工大学, 2010(09)
- [10]动态OLAP平台机制研究及其应用[D]. 杨斌. 大庆石油学院, 2010(03)