导读:本文包含了虚拟演奏论文开题报告文献综述及选题提纲参考文献，主要关键词:多模态,人机交互,Kinect,Leap,Motion
虚拟演奏论文文献综述
卢思羽[1]（2016）在《基于多模态人机交互的虚拟乐器演奏系统研发》一文中研究指出传统的人机交互方式以键盘鼠标直接操纵图形界面为主,这些交互方式要求用户需要掌握一定程度上的设备操作技能,并且限制了用户必须在计算机身边,在一定程度上不够直接便捷,限制了用户交互的自然性。而伴随着新型交互设备及技术的出现,多模态人机交互成为目前人机交互领域的研究热点。多模态人交互正在被运用于学习和生活中的各个领域。利用多模态交互技术和虚拟现实技术,开发新型的交互应用,使我们能够更加方便自然地进行人机交互活动。本文的主要研究是通过对最新的体感技术、计算机视觉技术等多种交互技术的融合研究,设计开发出基于体感、手势及传统键鼠等交互融合的人机交互模式,并实现基于此种模式的虚拟传统乐器的演奏系统。主要有以下几个方面的研究内容：1)多模态人机交互技术及理论探讨。研究讨论多模态人机交互中的主要概念问题、多模态人机交互中的信息融合关键技术以及计算机视觉、体感等最新的多模态人机交互技术。2)基于体感交互的多模态人机互动方法研究。以Kinect骨骼信息为基础的体感交互研究；以图像处理的物体识别为基础的交互方式研究；上述2种交互方式的互补结合研究；基于Leap Motion手部运动精确识别的人机交互。3)基于体感的虚拟乐器系统分析与设计。对于基于体感的虚拟乐器演奏系统的需求、功能等进行分析,并设计系统的结构和实现方案。4)基于体感的虚拟乐器系统实现。以VS为开发平台,利用EmguCV、KinectSDK等开发工具实现虚拟编钟演奏系统；以Unity为开发平台,借助Leap SDK、 Leap Unity Assets等工具实现虚拟锣钹乐器演奏系统。并对虚拟乐器系统进行了测试与使用效果分析。本研究的创新之处在于提出了一种基于骨骼信息与图像识别结合的交互方式,以及一种基于Leap Motion手部运动信息特征的交互方式,并在此基础上实现了不同的虚拟乐器演奏系统,系统实现了利用自然的人机交互方式来演奏虚拟乐器,具有一定的应用价值和研究前景。(本文来源于《华中师范大学》期刊2016-05-01）
张世程[2]（2015）在《手势识别与民族弓弦乐器虚拟演奏研究》一文中研究指出基于计算机视觉的手势识别被广泛地应用在人机交互领域。它能够利用相关算法对摄像机捕获的图像序列进行分析并识别其中的手势。本文主要通过对手势识别的研究实现了一个虚拟乐器演奏系统,增加了乐器演奏的趣味性,不仅能够吸引更多的人来学习民族乐器的演奏,还可以为民族非物质文化遗产的保护和传承做出贡献。本文首先对虚拟演奏系统中使用到的相关技术进行了简要介绍,包括增强现实、体感交互和手势识别,并对常见的几类手势识别技术进行了详细的分析比较,然后选择了适于本系统的自然交互环境的基于计算机视觉的手势识别方案。然后根据手势识别的一般流程设计并实现相关算法。根据二胡演奏的实际情况,针对左手手势识别,使用基于3D模型的手势建模方法定义了五种手势,利用基于反向动力学的手势拟合算法对二胡演奏中的五种基本手势进行模拟和识别,主要介绍了最佳拟合位置的探索算法;针对右手手势识别,使用基于表观的手势建模方法提取Hu矩特征对定义的两种右手手势进行建模,并使用基于轮廓匹配的手势识别方法进行识别。最后,利用手势识别驱动实现了基于增强现实环境的虚拟二胡演奏系统。采用深度相机Kinect作为输入设备,充分利用Kinect提供的彩色图像、深度图像和骨骼数据信息构建增强现实场景,模拟二胡的虚拟演奏。在场景构建的过程中,对人体手部和乐器模型的遮挡问题进行处理,利用深度信息和肤色模型对手部进行分割,然后将分割出来的手部图像绘制在正确的位置,同时对乐器模型绘制的坐标进行调整,使最终结果为看起来用户手持乐器。论文的最后还讨论了系统实现过程中的其他细节问题。(本文来源于《杭州师范大学》期刊2015-03-01）
章艳[3]（2009）在《乐器演奏提示系统与基于视频的虚拟乐器研究》一文中研究指出随着计算机技术的发展,基于MIDI技术的虚拟乐器不仅能够模拟合成真实乐器如钢琴、风琴、架子鼓等单个乐器的音质,而且通过软件合成器增加复音数、改进MIDI控制等,合成出大型乐队现场演出时所发出的震撼人心的声音效果,从根本上改变了传统乐器的结构和形式。但现有的虚拟乐器输入端基本都采用键盘、鼠标或者专业输入控制设备,本论文着重利用计算机图像技术进一步改善乐器的人机交换方式,为普通大众提供更简洁、更便利的乐器演奏、练习、教学、娱乐工具。论文首先设计了基于LED阵列的演奏提示系统,该系统从MIDI命令中提取乐器按键信息,并通过USB接口点亮相应LED灯,使得无任何音乐知识的人也能根据阵列LED灯的提示演奏出优美的音乐旋律。论文进一步设计了基于视频的无键盘虚拟乐器,它通过普通摄像头,利用VFW技术采集图像,同时对图像分区,每个区域对应一个按键,通过图像统计分析确定哪个区域有手指按下,进一步合成出MIDI指令流,由PC机演奏出相应音符。本论文设计的基于LED阵列的演奏提示系统和基于视频的无键盘虚拟乐器成本低廉,结构简单,便于普及推广,对音乐教学、娱乐具有较大的辅助作用。(本文来源于《华中师范大学》期刊2009-06-01）
吴铮[4]（2008）在《手势驱动的虚拟演奏系统的研究》一文中研究指出基于视觉的手势识别技术是新一代人机交互的重要内容。它使计算机通过摄像头理解人们的手势并做出相应的反应,这将极大地改变人们的生活方式。现在越来越多的人喜欢自己进行音乐演奏,而以计算机手势识别技术为代表的自然人机交互技术逐渐成熟,让人们进行虚拟的音乐演奏成为可能。本论文通过深入研究自然人机交互中的手势识别技术,提出将自然人机交互技术与音乐演奏相结合,利用基于计算机视觉的手势在虚拟环境中演奏音乐,成功地解决了音乐爱好者的烦恼,丰富了人们的精神生活,具有一定的实用性以及可扩展性。文中首先对几种常见的计算机手势识别技术进行分析比较,并选择适合于系统实现的手势驱动技术作为研究重点。然后,针对手势识别过程中会遇到人机距离的问题给出相应的解决方法——利用基于计算机视觉的立体距离测量法筛选出合适的人机间距离,并给出距离测量公式的推导过程。基于计算机视觉的手势识别技术在实现中需要通过手势建模、手势分割以及特征参数提取几个阶段的操作以实现用户手势的实时识别。其中,手势分割是计算机手势识别技术的核心,论文详细论述了手势分割前期的手势定位操作以及依据肤色阈值从图像的HSV色彩空间中划分出人体所在区域的方法,并给出一个利用Freeman链法则进行边缘跟踪优化的算法。最后,基于计算机视觉的手势识别技术,本文实现了一个音乐虚拟演奏系统。使用单目摄像头作为手势输入设备,通过编写的Visual C++控制台程序,进行音乐演奏。论文的最后给出了系统的具体实现。(本文来源于《昆明理工大学》期刊2008-12-29）
梁善林[5]（2007）在《一种基于视觉手势识别的虚拟演奏》一文中研究指出虚拟现实技术是二十世纪90年代最新发展起来的高级人机交互技术。它是一种有效模拟人在现实世界中的活动诸如听说抓取等行为的高级人机交互技术，是人工智能、计算机图形学、人机接口、网络技术等多种技术的集合。计算机视觉同样是一个处于知识前沿的学科领域，在近叁四十年的发展过程当中，被应用到了诸如机器人导航、工业检测、医学图象处理等重要领域学科。而在虚拟现实视觉交互的技术中，利用非接触方式如摄像镜头等观察用户的动作实现人机交互已经成为越来越加广阔前景的叁维交互技术。尽管许多研究人员对视觉图象构建叁维物体作了很多的探索工作，但是仍然存在很多难题。本文主要是在一个仅有数据手套作为输入的虚拟现实系统里加入计算机视觉系统，把采集到的目标图象特征信息传送给虚拟场景里的虚拟手，实现虚拟手对视觉下目标图象的动态跟踪，并且根据数据手套的手势移动和指令动作实现对虚拟钢琴的演奏。其中的图象特征信息包括图象的二维图象坐标信息和距离信息。这项工作对虚拟场景里虚拟对象与视觉下的图象信息进行融合交互有着重要的意义和应用价值，将会在许多领域有着巨大的应用潜力。(本文来源于《北方工业大学》期刊2007-05-28）
虚拟演奏论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
基于计算机视觉的手势识别被广泛地应用在人机交互领域。它能够利用相关算法对摄像机捕获的图像序列进行分析并识别其中的手势。本文主要通过对手势识别的研究实现了一个虚拟乐器演奏系统,增加了乐器演奏的趣味性,不仅能够吸引更多的人来学习民族乐器的演奏,还可以为民族非物质文化遗产的保护和传承做出贡献。本文首先对虚拟演奏系统中使用到的相关技术进行了简要介绍,包括增强现实、体感交互和手势识别,并对常见的几类手势识别技术进行了详细的分析比较,然后选择了适于本系统的自然交互环境的基于计算机视觉的手势识别方案。然后根据手势识别的一般流程设计并实现相关算法。根据二胡演奏的实际情况,针对左手手势识别,使用基于3D模型的手势建模方法定义了五种手势,利用基于反向动力学的手势拟合算法对二胡演奏中的五种基本手势进行模拟和识别,主要介绍了最佳拟合位置的探索算法;针对右手手势识别,使用基于表观的手势建模方法提取Hu矩特征对定义的两种右手手势进行建模,并使用基于轮廓匹配的手势识别方法进行识别。最后,利用手势识别驱动实现了基于增强现实环境的虚拟二胡演奏系统。采用深度相机Kinect作为输入设备,充分利用Kinect提供的彩色图像、深度图像和骨骼数据信息构建增强现实场景,模拟二胡的虚拟演奏。在场景构建的过程中,对人体手部和乐器模型的遮挡问题进行处理,利用深度信息和肤色模型对手部进行分割,然后将分割出来的手部图像绘制在正确的位置,同时对乐器模型绘制的坐标进行调整,使最终结果为看起来用户手持乐器。论文的最后还讨论了系统实现过程中的其他细节问题。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
虚拟演奏论文参考文献
[1].卢思羽.基于多模态人机交互的虚拟乐器演奏系统研发[D].华中师范大学.2016
[2].张世程.手势识别与民族弓弦乐器虚拟演奏研究[D].杭州师范大学.2015
[3].章艳.乐器演奏提示系统与基于视频的虚拟乐器研究[D].华中师范大学.2009
[4].吴铮.手势驱动的虚拟演奏系统的研究[D].昆明理工大学.2008
[5].梁善林.一种基于视觉手势识别的虚拟演奏[D].北方工业大学.2007