导读:本文包含了部分观测马尔可夫决策过程论文开题报告文献综述及选题提纲参考文献，主要关键词:水声传感器网络,部分可观测马尔可夫决策过程,介质访问控制,信道
部分观测马尔可夫决策过程论文文献综述
徐明,刘广钟[1]（2015）在《基于部分可观测马尔可夫决策过程的水声传感器网络介质访问控制协议》一文中研究指出针对水声传感器网络低带宽、高延迟特性造成的空时不确定性以及网络状态不能充分观察的问题,提出一种基于部分可观测马尔可夫决策过程(POMDP)的水声传感器网络介质访问控制协议。该协议首先将每个传感器节点的链路质量和剩余能量划分为多个离散等级来表达节点的状态信息。此后,接收节点通过信道状态观测和接入动作的历史信息对信道的占用概率进行预测,从而得出发送节点的信道最优调度策略;发送节点按照该策略中的调度序列在各自所分配的时隙内依次与接收节点进行通信,传输数据包。通信完成后,相关节点根据网络转移概率的统计量估计下一个时隙的状态。仿真实验表明,与传统的水声传感器网络介质访问控制协议相比,基于POMDP的介质访问控制协议可以提高数据包传输成功率和网络吞吐量,并且降低网络的能量消耗。(本文来源于《计算机应用》期刊2015年11期）
夏婷婷[2]（2014）在《基于部分可观测马尔可夫决策过程的机会频谱接入方案设计》一文中研究指出通信技术快速发展，无线业务需求不断增长，通信带宽不断加大，造成频谱资源紧缺，而现有的固定频谱分配政策加剧了频谱紧缺的局面。机会频谱接入技术利用认知无线电技术，采用分层接入频谱填充方式，利用了授权用户的空闲频谱。机会频谱接入技术能够在现有频谱分配政策下，提高频谱利用率，缓解频谱紧张的局面。本文利用部分可观测马尔可夫决策过程（POMDP）理论，对机会频谱接入进行建模。对基于该模型下的机会频谱接入方案进行了分析，提出基于该模型的单个次用户最优接入方案，解决了机会频谱接入中感知信道选择和接入问题，提高了次用户吞吐量。针对该方案复杂度较高的问题，提出了一个次优贪婪方案，大大降低了复杂度。并通过仿真证明了正确性。最后本文对分布式多用户机会频谱接入场景下，由于次用户信道选择同步性造成的网络吞吐量下降的问题，提出了一种基于置信向量的随机化选择方案，使得次用户同步性得到改善。但由于方案过分考虑避免次用户碰撞，使得单用户最优信道选择能力不强，网络性能不理想。因此本文提出一种可变随机域的多用户接入方案，仿真结果显示该方案在最优信道选择与避免同步之间达到了均衡。(本文来源于《南京邮电大学》期刊2014-02-01）
李金龙[3]（2013）在《部分观测马尔可夫决策过程下的深海热液自主探测研究》一文中研究指出深海热液是海洋的一种独特现象,热液喷口是地球板块运动的结果,也是近年海洋科学中最激动人心的发现。其附近不仅有大量易于开采的热液矿产,还是整个地球热循环重要的组成部分,是地质学家了解地球内部活动的重要窗口,其附近的生态圈是海洋生物学研究的前沿。因此寻找深海热液喷口有十分重大的意义。相比传统的探测方式,应用水下智能机器人进行自主探测的优势变得越来越明显。因此本文以深海热液自主探测为背景,研究基于化学传感器的自主探测。该问题可分解为两个子问题,在线构图和实时路径规划。本文基于部分观测马尔可夫决策过程(Partially Observable Markov Decision Process-POMDP),对8个要素进行建模,分别对两个子问题进行了研究,探求一种合理的在线构图和实时路径规划间的耦合关系。对于在线构图,在Shuo Pang, Jay A. Farrell等提出的羽状流模型的基础上,建立转移函数和观测函数,利用信念状态推导了在线构图的更新机制,得到化学源头概率分布地图和烟羽观测概率地图。并将该方法与原来的化学源头概率推断的贝叶斯方法进行比较,通过计算机仿真验证和陆地机器人试验验证,验证了新方法的可行性。对于实时路径规划,引入五种奖励和两种惩罚构建回报函数。采用价值函数迭代的方法求解,在线得到近似最优的价值函数,依据最优价值函数得到最优策略,从而指导机器人的规划。经过计算机仿真验证,验证了该理论指导机器人进行化学羽状流自主追踪和定位的有效性,并与结合Z型搜索的人工势场方法进行比较。本文还论述了陆地机器人试验平台的搭建过程,研究了陆地机器人室内定位。应用单目摄像头图像定位主要分为目标自动识别和建立从图像像素到实际位置的映射两个部分。本文研究第二个问题,基于最小二乘高斯核支持向量机进行黑箱建模,得到映射模型。对于训练参数的选择,本文采用K重交叉验证的方法选取泛化误差最小的训练模型。对于水下机器人化学羽状流自主追踪和定位试验平台的搭建,本文作了相应的论述,包括机器人载体的改装,软件部分的准备。该试验平台的搭建为今后利用水下机器人载体进行化学羽状流自主追踪和定位的试验验证奠定了坚实的基础。通过本文的研究,验证了应用POMDP方法研究基于化学传感器自主追踪的可行性,为在线构图研究提供了新途径,为实时路径规划研究提供了新的系统的方法和思路。(本文来源于《哈尔滨工程大学》期刊2013-01-01）
吴涛,王崇骏,谢俊元[4]（2010）在《基于部分可观测马尔可夫决策过程的网络入侵意图识别研究》一文中研究指出作为一种主动的信息安全保障措施,入侵检测已经成为计算机安全特别是网络安全领域的研究热点,出于对入侵检测的回避,入侵行为也逐渐表现为智能化、分布式的特点.将人工智能技术、机器学习技术引入入侵检测以增强入侵检测系统的能力已经成为工业界和学术界关注的课题.本文将入侵和入侵检测建模为利益对立的2个多Agent系统,认为入侵行为是按照既定的目标制定攻击计划,在此场景下,入侵检测的核心就应该是根据对手的攻击行为预测出其攻击意图,这是个典型的意图识别问题,这意味着应该将对手思维建模技术和计划识别思想引入入侵检测中来.考虑到对手在实际的动作过程中会根据实际情况随时调整自己的战略部署,因此不能将此问题直接建模为传统的KEY-HOLE观察问题.本文从入侵者的角度出发,引入部分可观测马尔可夫决策过程作为在环境状态和行动效果都不确定的条件下,通过一系列决策达到最优目标的数学模型,从而达到入侵意图识别的目的.最后,本文在DARPA测试数据集上的实验结果证明了方法的有效性.(本文来源于《南京大学学报(自然科学)》期刊2010年02期）
桂林,武小悦[5]（2008）在《部分可观测马尔可夫决策过程算法综述》一文中研究指出部分可观测马尔可夫决策过程(POMDP)是马尔可夫决策过程(MDP)的扩展,它允许系统的状态信息部分可知。但POMDP的可能应用大部分没有实现,这主要是因为缺乏有效的算法。POMDP的算法分为近似算法和精确算法,精确算法是构造近似算法的基础。介绍了POMDP模型后,对离散时间、有限状态集的POMDP精确算法和近似算法进行了综述,分析了造成POMDP难以求解的主要原因,提出了进一步的研究方向。(本文来源于《系统工程与电子技术》期刊2008年06期）
部分观测马尔可夫决策过程论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
通信技术快速发展，无线业务需求不断增长，通信带宽不断加大，造成频谱资源紧缺，而现有的固定频谱分配政策加剧了频谱紧缺的局面。机会频谱接入技术利用认知无线电技术，采用分层接入频谱填充方式，利用了授权用户的空闲频谱。机会频谱接入技术能够在现有频谱分配政策下，提高频谱利用率，缓解频谱紧张的局面。本文利用部分可观测马尔可夫决策过程（POMDP）理论，对机会频谱接入进行建模。对基于该模型下的机会频谱接入方案进行了分析，提出基于该模型的单个次用户最优接入方案，解决了机会频谱接入中感知信道选择和接入问题，提高了次用户吞吐量。针对该方案复杂度较高的问题，提出了一个次优贪婪方案，大大降低了复杂度。并通过仿真证明了正确性。最后本文对分布式多用户机会频谱接入场景下，由于次用户信道选择同步性造成的网络吞吐量下降的问题，提出了一种基于置信向量的随机化选择方案，使得次用户同步性得到改善。但由于方案过分考虑避免次用户碰撞，使得单用户最优信道选择能力不强，网络性能不理想。因此本文提出一种可变随机域的多用户接入方案，仿真结果显示该方案在最优信道选择与避免同步之间达到了均衡。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
部分观测马尔可夫决策过程论文参考文献
[1].徐明,刘广钟.基于部分可观测马尔可夫决策过程的水声传感器网络介质访问控制协议[J].计算机应用.2015
[2].夏婷婷.基于部分可观测马尔可夫决策过程的机会频谱接入方案设计[D].南京邮电大学.2014
[3].李金龙.部分观测马尔可夫决策过程下的深海热液自主探测研究[D].哈尔滨工程大学.2013
[4].吴涛,王崇骏,谢俊元.基于部分可观测马尔可夫决策过程的网络入侵意图识别研究[J].南京大学学报(自然科学).2010
[5].桂林,武小悦.部分可观测马尔可夫决策过程算法综述[J].系统工程与电子技术.2008
标签：水声传感器网络; 部分可观测马尔可夫决策过程; 介质访问控制; 信道;