日志过滤论文-孙笑笑,张蕾,俞东进,潘建梁,侯文杰

日志过滤论文-孙笑笑,张蕾,俞东进,潘建梁,侯文杰

导读:本文包含了日志过滤论文开题报告文献综述及选题提纲参考文献,主要关键词:流程挖掘,模型质量,噪声日志过滤方法,依赖关联度

日志过滤论文文献综述

孙笑笑,张蕾,俞东进,潘建梁,侯文杰[1](2019)在《基于依赖关联度的业务过程噪声日志过滤方法》一文中研究指出日志中发生的低频次行为与挖掘的流程模型中某些不必要的结构相对应,而这些结构的出现会引起挖掘模型在适应度和精确度等指标上的下降。为解决这些结构对流程挖掘模型质量造成的影响,提出一种基于依赖关联度的噪声日志过滤方法。该方法首先根据日志中事件及其依赖关系的统计频率,定义了依赖关系的局部关联度和整体关联度,并将两者归一化为混合关联度来筛选出噪声日志。然后通过轨迹可达性分析去除日志中的噪声,以便最大程度地保留日志轨迹中记录的其他行为。与传统噪声日志过滤算法过滤掉包含噪声日志的整条日志轨迹不同,所提算法在移除噪声日志的同时最大程度地保留了原始日志中的其他非噪声日志。(本文来源于《计算机集成制造系统》期刊2019年04期)

夏文忠,单长吉[2](2015)在《基于流通日志和协同过滤的个性化资源推荐》一文中研究指出针对昭通学院图书馆2003—2014年的流通借阅数据,进行流通日志和资源相似性分析,提出基于流通日志和协同过滤的个性化资源推荐算法。通过数据分析挖掘,可查找出多个读者之间的兴趣相似度,从而实现图书馆资源的个性化推荐。(本文来源于《重庆科技学院学报(自然科学版)》期刊2015年04期)

王春才,邢晖,吕东方[3](2015)在《一种基于Web日志的Item-Based协同过滤算法改进》一文中研究指出在目前众多的电子商务推荐方法中,协同过滤的研究和应用最为广泛。但由于其自身存在的一些诸如数据稀疏性与缺少个性化等问题,导致推荐的准确度与效率不高。而且User-Based协同过滤算法存在用户规模过大、不易寻找最近邻的问题。因此,引入了Web日志挖掘方法,并利用Item-Based等相关技术,以提高推荐准确度。(本文来源于《软件导刊》期刊2015年03期)

朱宝金[4](2014)在《面向云计算系统的日志过滤系统的设计与实现》一文中研究指出在大规模分布式系统中,事件日志对于故障检测与故障定位是一种不可或缺的数据来源。通过分析应用程序的事件日志,可以找出导致系统降级的原因,帮助开发人员和运维更好地进行调试与运营。然而,随着系统规模与应用数量的不断增长,产生的日志数据量也在以势不可挡的速度增长,给数据存储和数据分析都带来了巨大的负担,同时也会影响系统问题诊断的准确性。因此,过滤事件日志便成为日志预处理过程中不可或缺的一个处理步骤,也是日志分析处理领域研究的热点问题。本文在阅读国内外相关文献基础上,依据对真实云计算系统上事件日志的观察,研究了日志过滤技术的基本特点。针对以往日志过滤技术存在的不足,设计并实现了针对云计算系统的事件日志的日志过滤系统。本文的主要工作总结如下:(1)研究了故障预测与根本原因诊断的相关工作,分析了日志过滤与故障预测及根本原因诊断之间的关系,并且讨论了Log-Filter系统实现过程中碰到的问题与涉及到的相关技术。(2)设计并实现了面向云计算系统的事件日志过滤系统Log-Filter。该系统使用Linux内核提供的inotify机制实时收集目标机器上的各种日志数据,并且在日志收集器中实现了事件过滤机制。同时,在服务端实现了基于异常检测算法与文本相似性判断的过滤方法,将日志数据流依据来源(Node)和时间段(Timeinterval)划分为日志区域,取名为实例(以下称为instance),使用基于信息熵的异常检测算法找出最有可能包含异常事件的instance集合。本文还提出了一种基于消息类型的日志文档相似性度量方法,采用该方法找出与异常instance集合最接近的instance集合,最后保存上述两个集合中的日志,删除其他事件日志。(3)利用真实云计算系统中的事件日志对Log-Filter日志过滤系统进行了实验评测,对其数据缩减率进行实验分析。在叁种不同规模的集群下,分别对比了不同日志划分时间段和滑动窗口取值大小对数据缩减率的影响,并给出了合理的取值。(4)对在研究与开发Log-Filter日志过滤系统上所做的主要工作进行了总结,并提出了对Log-Filter系统未来工作的几点展望。(本文来源于《杭州电子科技大学》期刊2014-03-01)

陈琳[5](2012)在《协作过滤中的多级分布式日志存取研究》一文中研究指出协作过滤作为一种有效的个性化推荐技术受到了广泛的关注.在实际应用中除算法本身效率外,影响算法性能发挥的一个重要的因素就是日志数据的存储与读取速度.针对该问题,文中提出一种多级分布式的日志数据存取方案,采用双哈希表的内存组织与分布式的持久存储相结合的方式来缓解日志I/O的瓶颈问题.实验结果表明,该方法比直接从硬盘读取数据以及串行读取数据的性能有明显提高.(本文来源于《微电子学与计算机》期刊2012年01期)

饶翔,王怀民,蔡华,周琦,孙廷韬[6](2011)在《云计算系统中基于噪声模板跳表的日志过滤方法》一文中研究指出提出了一种基于时间序列相似度的日志特征提取方法,通过将噪声采样信息按照特定类型标识建模为时间序列,使用Haar小波变换提取序列特征,基于跳表构造噪声模板库。目标日志时间序列通过与噪声模板进行相似度比较来确定其是否为噪声日志。基于真实云计算平台的实验表明,提出的方法能够有效提高故障特征的有效性。(本文来源于《通信学报》期刊2011年07期)

李南波[7](2011)在《网络日志挖掘和协同过滤算法的研究》一文中研究指出随着互联网技术出现至今不过短短几十年的时间,但是正是在这并不算太长的时间里经历的不断发展,使得互联网技术对每个人的生活都产生了极其深远的影响。相对于传统意义上的网站而言,在二十世纪末二十一世纪初所兴起的Web 2.0技术不仅带来了最新的技术,也致力于将提升用户使用体验作为目标。在这样的动力之下,也带动了各种提升用户的网站使用体验和优化网站结构以及个性化用户访问等等方面的研究。作为实现对北京语言大学Web服务器日志的挖掘来优化该网站的设计,构建以用户为中心的网站,为用户提供个性化的信息服务目标的第一步,本文在充分考虑了北京语言大学Web服务器日志实际情况下,对日志挖掘的工具做了相对应优化和改进工作。本文还详细介绍了日志挖掘预处理中的各个步骤,分析了其中牵涉到的各种预处理算法,并且实现了一个完整的日志挖掘工具。为将来更细致更详尽的日志挖掘工作打下了一个良好的基础。此外,本文还详尽分析了两种传统的协同过滤算法,对比了基于用户相似度的协同过滤算法和基于项目相似度的协同过滤算法在不同相似度公式之下的表现,并且根据这两种算法各自的优缺点,提出了一种新的基于混合相似度的协同过滤算法。分析了这种新的算法在理论上对两种传统算法的优势所在。本文也实现了以上各种算法,并使用MovieLens的数据集对各种算法进行了测试。结果证明,本文所提出来的新的基于混合相似度的协同过滤算法不仅吸收了两种传统算法的优点,同时也在一定程度上对两种传统算法的缺点有改进,在MAE以及召回率等度量指标上都一定程度的提升。(本文来源于《湘潭大学》期刊2011-05-20)

张校慧,谢倩[8](2011)在《Web日志在协同过滤推荐算法中的应用》一文中研究指出协同过滤算法近年来在电子商务推荐系统中得到了广泛的应用,但该算法也存在数据稀疏性和缺乏个性化等问题,这些问题影响了推荐算法的效率和准确性。主要针对以上问题,提出引入Web日志分析的协同过滤算法,将用户对商品的隐性兴趣转化为显性兴趣,同时利用用户聚类等相关技术,不仅解决数据稀疏的问题也提高推荐的准确性。(本文来源于《现代计算机(专业版)》期刊2011年04期)

张校慧,魏增辉[9](2011)在《基于Web日志和聚类的协同过滤推荐算法》一文中研究指出协同过滤推荐算法是目前应用最为成功的一种电子商务推荐方法,但协同过滤算法也存在数据稀疏性和缺乏个性化等问题,这些问题影响了推荐算法的效率和准确性。针对以上问题,提出了引入Web日志分析的方法,同时利用用户聚类等相关技术,不仅解决了数据稀疏的问题也提高了推荐的准确性。(本文来源于《计算机时代》期刊2011年01期)

汪瑛[10](2009)在《Web日志挖掘中Frame页面过滤的研究与实现》一文中研究指出Web日志挖掘是目前Web挖掘研究的一个热点课题。本文针对其中的Frame页面过滤进行研究和分析,在此基础上对相关算法进行了设计与实现。(本文来源于《常州轻工职业技术学院学报》期刊2009年02期)

日志过滤论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

针对昭通学院图书馆2003—2014年的流通借阅数据,进行流通日志和资源相似性分析,提出基于流通日志和协同过滤的个性化资源推荐算法。通过数据分析挖掘,可查找出多个读者之间的兴趣相似度,从而实现图书馆资源的个性化推荐。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

日志过滤论文参考文献

[1].孙笑笑,张蕾,俞东进,潘建梁,侯文杰.基于依赖关联度的业务过程噪声日志过滤方法[J].计算机集成制造系统.2019

[2].夏文忠,单长吉.基于流通日志和协同过滤的个性化资源推荐[J].重庆科技学院学报(自然科学版).2015

[3].王春才,邢晖,吕东方.一种基于Web日志的Item-Based协同过滤算法改进[J].软件导刊.2015

[4].朱宝金.面向云计算系统的日志过滤系统的设计与实现[D].杭州电子科技大学.2014

[5].陈琳.协作过滤中的多级分布式日志存取研究[J].微电子学与计算机.2012

[6].饶翔,王怀民,蔡华,周琦,孙廷韬.云计算系统中基于噪声模板跳表的日志过滤方法[J].通信学报.2011

[7].李南波.网络日志挖掘和协同过滤算法的研究[D].湘潭大学.2011

[8].张校慧,谢倩.Web日志在协同过滤推荐算法中的应用[J].现代计算机(专业版).2011

[9].张校慧,魏增辉.基于Web日志和聚类的协同过滤推荐算法[J].计算机时代.2011

[10].汪瑛.Web日志挖掘中Frame页面过滤的研究与实现[J].常州轻工职业技术学院学报.2009

标签:;  ;  ;  ;  

日志过滤论文-孙笑笑,张蕾,俞东进,潘建梁,侯文杰
下载Doc文档

猜你喜欢