导读:本文包含了虚拟视点生成论文开题报告文献综述及选题提纲参考文献，主要关键词:自由立体显示,虚拟视点生成,深度卷积神经网络,图像修复
虚拟视点生成论文文献综述
付傲威,赵敏,罗令,邢妍,邓欢[1]（2019）在《自由立体显示中基于深度卷积神经网络的虚拟视点生成方法》一文中研究指出传统虚拟视点生成采用像素填充法对生成的虚拟视点图像进行空洞填充和伪影修复,其修复效果无法满足自由立体显示需求。为了获取高质量的虚拟视点图像,提出了一种基于深度卷积神经网络的虚拟视点生成方法。该方法采用随机初始化的深度卷积神经网络作为图像先验,经过卷积神经网络结构的不断迭代,对虚拟视点图像的空洞和伪影进行修复,并将得到的高质量虚拟视点图像合成为自由立体图像,用于自由立体显示。修复后的虚拟视点图像的PSNR均值为25.6,相比传统像素填充方法有明显提升。实验结果表明,所提方法能够实现高质量的自由立体显示效果。(本文来源于《液晶与显示》期刊2019年11期）
韩冬雪[2]（2019）在《多视点裸眼3D电视的虚拟视点生成方法研究》一文中研究指出随着人对视觉体验的追求不断升级,传统的平面二维显示图像难以满足人们的工作、生活和娱乐需求,因此3D技术应运而生。近年来,伴随3D技术与标准的发展以及显示终端的普及,3D技术正在为娱乐、医疗、教育等领域开辟一个充满前景的蓝海市场。其中裸眼叁维电视(3DTV)、多视点自由立体显示使观众不必佩戴眼镜就可以获得立体感,适用于家庭、广告等场景,成为研究者关注和不断探索的方向。3DTV系统一般由数据获取,视频编码,压缩和传输,渲染,显示五个部分组成。本文主要关注渲染部分。3D视频渲染是3DTV系统中显示前视频处理系统的最后一个步骤,高质量的虚拟视点绘制也是3D技术的重点和难点之一。此外,在多视点裸眼3D电视中仍存在一个无法避免的技术难题,即首尾视点过渡处的“逆视区”问题。针对以上问题,本文基于深度图像的视点绘制技术(DIBR),提出一种结合自动前景分割的虚拟视点绘制方法,通过视差控制改善观众由逆视区产生的不舒适问题,并合成高质量的虚拟视点图像,从软件技术层面推动3D视频内容的创作。本文的创新性主要体现在以下几个方面:1.将前景物体提取分层应用于视差控制和纹理合成。将传统的RGBD图像分割方法与基于深度学习的目标检测方法相结合实现自动提取前景物体。Faster-RCNN用于检测感兴趣目标如人物,与深度图相结合实现自动选取种子点。将种子点输入传统的Mean-Shift分割算法中,实现人物的精细分割,相比于手动选取种子点提升了效率。2.针对多视点裸眼3D电视的逆视区问题,提出一种场景内容深度调整方法来提升视觉舒适度。首先进行全局视差控制,将背景设为零视差平面;然后根据前景提取结果将参考图像分层,对不同深度层的前景分别调整深度范围,使得中间视点有强3D感,而在首尾视点交界处立体感逐渐减弱,从而产生平滑的过渡效果。3.针对空洞问题,提出改进的Criminisi空洞修复算法。结合前景分层结果,改进优先权计算方法,在扩大的局部搜索窗内寻找匹配像素块。本文在标准数据集上进行测试,实验结果显示,本文算法相比于VSRS和其他对比方法在主观质量和客观评价标准PSNR和SSIM上均有所提升,能够合成纹理自然一致的目标虚拟视点图像。论文首先介绍了虚拟视点生成的课题背景,3D电视的发展及国内外研究现状,然后按照流程顺序具体阐述了研究内容和提出方法,并通过实验论证,最后对所做研究的成果进行了总结,并提出了将来努力的方向。(本文来源于《山东大学》期刊2019-05-25）
曾霞[3]（2018）在《基于计算全光函数的虚拟视点生成技术研究》一文中研究指出人类生活在叁维立体的世界中,人眼和人脑的协同作用使得人能感知到环境和物体的立体性,但是传统的二维图形和显示技术将人的感知范围限制在二维世界中,使得真实世界的信息在传输与显示的过程中造成了损失,在人类对完整叁维世界的感知需求中,立体显示技术,虚拟现实技术成为研究热点。对叁维场景信息的采集受制于现有硬件条件存储技术等的限制,不能完整采集叁维场景中各个视点下的信息,虚拟视点技术应运而生。虚拟视点生成技术可利用一定的采集样本恢复叁维场景中未知视角下的信息,已成为自由立体显示技术,虚拟现实技术等热点研究领域的核心问题。在不同的应用中,如何对场景进行表达,如何在视点数增加时进行实时的场景绘制成为虚拟视点生成研究的难点,传统的虚拟视点生成方法是在基于图像的绘制的基础上,研究如何采用已知参考视图来直接生成虚拟视点下的对应图像,主要围绕立体匹配,深度估计展开,并且在一定程度上得到了广泛应用,但是存在计算复杂,生成的视点数不够密集等问题。本文将基于图像的绘制(Image Based Rendering)和全光函数结合进行研究分析,从全光函数的角度重新解读IBR技术的核心问题即虚拟视点的生成。本文主要研究全光函数的采集、重构和再采样等关键技术。本文首先分析了全光函数的多种维度下的表达模型,并选取了二维情况下的全景图拼接技术和四维情况下的光场技术进行深入研究。本文采用鱼眼镜头图像进行全景图像的采集,使用两种方式对图像畸变进行校正。一种是基于相机参数进行标定的方法;另一种是基于假定成像模型,采用算法对鱼眼图像进行畸变校正。本文使用SIFT特征对图像进行提取,并采用BBF算法实现特征点匹配,使用RANSAC进行特征匹配对的提纯,从而计算出相机的姿态,同时使用Bundle Adjustment实现相机参数调整,使用图像融合算法进行图像拼接,得到全景图像,至此完成了二维全光函数的重建。并且,本文提出并实现了一个基于全景漫游的虚拟现实系统。同时,本文基于四维全光函数,提出了基于像素映射和插值的自由视点生成算法,使用双线性插值算法,利用CUDA和Direct 3D进行并行处理和绘制,实现了基于GPU的方式的实时光场绘制。(本文来源于《北京邮电大学》期刊2018-03-14）
江雷[4]（2018）在《基于深度信息虚拟视点生成》一文中研究指出虚拟视点生成是指通过两个或者多个摄像机,拍摄同一个叁维场景不同角度的图像,根据这些已知图像可以通过某种算法计算出两个摄像机中间虚拟视点处的图像。不管是在计算机图形学领域还是在计算机视觉领域虚拟视点生成都是当前的研究热点之一,并且虚拟视点在很多方面都有较好的应用前景,例如远程医疗、远程会议、立体电影、自由视点电视等。提出一种能够生成虚拟视点的有效算法,能很好生成中间视点的图像。算法包括叁步:深度预处理,基于深度信息的反向投影,重投影。对于实验结果,使用PSNR与SSIM进行检验,证明合成的图像在客观和主观上都比较自然。(本文来源于《现代计算机(专业版)》期刊2018年03期）
赵富荣[5]（2017）在《立体视频虚拟视点生成关键技术研究》一文中研究指出近两年来,计算机多媒体领域发展迅速,从3D电影的流行到虚拟现实(VR)的火爆,无一不表明了人们在蓬勃发展的大娱乐时代对于视觉感官享受的不断追求。立体视频通过同时向人的左右眼输入左右两路不同的视频,模拟人在场景中左右两眼看到的不同景象,给人带来沉浸的3D体验。伴随着3D电影行业和虚拟现实技术的迅猛发展,通过普通的2D视频转制生成可以观看的立体视频,可以提供更多的视频内容源,引起了越来越广泛的关注。立体视频生成是通过给定的平面视频,生成虚拟视点的视频,两路视频迭加从而给人带来视觉冲击效果。在众多的虚拟视点生成算法中,基于深度图像的虚拟视点生成(Depth Image Based Rendering)是目前主流的技术途径。它主要包含两个部分,首先是场景的深度信息估计,然后基于估计得到的深度信息进行虚拟视点的映射重建。根据以上思路,本文提出两种立体视频生成的方法。一种是传统的先通过算法进行图像的深度估计得到深度信息,再通过视点合成算法合成虚拟视点图像,最终生成立体视频;另外一种是基于卷积神经网络深度学习技术,通过设计卷积神经网络结构,端到端的直接从一路图像生成虚拟视点图像,从而合成立体视频。针对传统的虚拟视点合成技术途径中的深度信息估计和视点合成两部分,本文分别提出了不同的解决方法以增强其视点合成图像质量。针对深度信息估计部分,本文提出了基于级联随机森林的深度图像超分辨率模型;针对视差图像优化,分别提出了基于显着性原理的视差非线性变换和基于运动信息的RGBD时域视差图像优化方法;针对视点合成中的图像空洞问题,本文基于一致性哈希算法,提出了基于一致性哈希的多尺度图像修补方法。针对端到端的直接从一路视频生成虚拟视点视频的深度学习框架,本文提出了像素级输出的卷积神经网络模型StereoFCN。最终实验证明,本文提出的两种技术途径都可以获取高质量的立体视频,带来良好的3D体验效果。(本文来源于《华中科技大学》期刊2017-05-01）
孟侨[6]（2017）在《基于压缩光场的虚拟视点生成研究》一文中研究指出虚拟视点生成技术是自由立体显示的关键技术之一。该技术是利用已有的视角图像在新视角下绘制出场景的图像,能够有效地恢复叁维场景在不同视角下的信息,并且用户能够在不同视角间进行切换。本文就虚拟视点生成讨论了匹配的相关理论,为后面研究虚拟视点生成提供了理论支撑。本文提出了两种基于四维光场的虚拟视点生成系统(1)是基于光线空间的自由视点电视系统,(2)是基于液晶面板的四维压缩光场系统。对这两种系统进行了对比分析,基于光线空间的虚拟视点生成系统涉及匹配,插值和压缩,容易产生较大的误差,基于液晶面板的系统提供了简易的系统平台,真实的还原了原始的光场信息,相对具有一定的优势。本文就液晶面板形成的四维压缩光场提出一种基于非负张量分解算法的虚拟视点合成方法。该方法采用实际光场的信息,而不是以往方法中采用的的几何信息。此外,为了更好地使数据具有实际意义,非负张量因子分解(NTF)被我们所使用。首先为多层显示的张量表示,用N阶,秩为M张量表示的稀疏集合表示N层,M帧显示器发射的光场;然后将光场由非负张量因子分解的方式表示;最后,多层液晶的信息合成的压缩光场用于通过多重乘法获得任何虚拟视点。实验结果表明:该方法不仅使得原始光场以高质量恢复图像,其PSNR为36.9dB,而且弥补传统匹配的不足,可以从N个自由视点获得任何虚拟视点。(本文来源于《北京邮电大学》期刊2017-03-01）
朱瑛瑛[7]（2016）在《基于图像的虚拟视点生成技术的研究与实现》一文中研究指出随着社会的发展,普通的2D显示已经逐渐不能满足人们对视觉观看的需求,3D显示正在成为一个新的趋势,而这之中的多视点裸眼3D显示因其观看不需要其他辅助设备较为方便,同时用户可以在多个视点之间随意切换等优点,成为3D显示当前的一个研究热点,有着重要的研究意义。多视点裸眼3D显示的一个关键技术是虚拟视点生成技术,该技术是利用己有视角下的视差图像通过一定的方法合成同一场景在新视角下的多个视点图像。现有的虚拟视点生成技术主要是基于图像的虚拟视点生成(IBR)技术,本文对多种IBR技术进行了调研,并学习其技术理论基础,重点分析了基于深度图的虚拟视点生成技术及其现有的技术难点,即精确深度图难以计算和空洞填补,为避免其技术难点,本文从稀疏特征点和光线空间这两个角度对该技术进行了深入的理论和实验研究,具体完成的研究工作和成果有:(1)针对基于稀疏特征点的虚拟视点生成技术,提出了一种新的实现方案,该方案结合特征点、叁角剖分和图像变形等来实现虚拟视点的生成。在特征点提取中采用的是尺度不变的SIFT特征点;为了提高生成的虚拟视点的图像质量引入了光流法跟踪的角点。这两部分特征点通过匹配建立起图像之间的对应关系,并利用特征点作为叁角形的顶点来建立Delaunay叁角剖分网络,根据图像变形理论通过Direct3D来生成参考图像之间的虚拟视点。实验结果表明该方案能够获得较好的虚拟视点图像质量。(2)针对基于光线空间的虚拟视点生成技术,提出了一种实现方案,该方案实现过程是将采集的多视点图像转换成光线空间中的数据,对形成的稀疏光线空间采用最近邻法进行插值以形成稠密的光线空间;将稠密的光线空间数据逆转换成由生成的虚拟视点图像和实际图像共同组成的图像空间数据。实验结果表明当采集的多视点图像前后帧之间关联比较大时,生成的虚拟视点图像质量较好。(本文来源于《北京邮电大学》期刊2016-01-12）
钟巧[8]（2016）在《基于光流法的3D视频稳定虚拟视点生成研究》一文中研究指出3D技术的蓬勃发展使得3D视频深入人心。与戴眼镜式的3D技术相比,裸眼式3D给人们提供了更为轻松的观看体验。裸眼显示方案通常在已有的双目3D视频下生成多个中间视点,然后将生成的多视点合成最终的3D视频。然而,在生成多个中间视点的过程中,常常会因为立体匹配不稳定等因素,而出现不同程度的抖动现象。如何有效生成稳定中间视点并保证它们的连续性,这无疑是一个很有意义的研究课题。本论文在研究虚拟视点生成技术的基础上,分析了虚拟视点生成不稳定的原因,针对其主要原因,利用光流的跟踪来进行抖动抑制的改进,提出了两种稳定虚拟视点生成的方案,具体研究内容和成果如下:1.提出了一种基于稀疏光流跟踪的稳定虚拟视点生成方案。该方案主要从特征点提取、中间视点生成以及特征点纵向跟踪叁个方面保证稳定性。采用SIFT算法能够得到稳定性较好的特征点集;将Delaunay叁角剖分与Direct3D技术相结合,实现了中间视点的有效、快速生成;为了保证纵向生成视点间的稳定连续性,采用Lucas-Kanade稀疏光流法来跟踪特征点集,将图像金字塔引入到该光流法中,使其更适用于大而不连贯的运动;为保证跟踪过程的稳定可靠性,还进一步引入了跟踪周期,通过实验验证了这种虚拟视点生成方案不仅速度快,生成的中间视点质量较高,且有效改善了中间视点不稳定和不连续的现象。该方案回避了深度图的生成和空洞填补等难题,方便于实际应用。2.提出了一种基于稠密光流跟踪的稳定虚拟视点生成方案。该方案主要包括左右立体图像对间的光流跟踪、中间视点生成以及视频帧间跟踪和水平视差计算。采用TV-L1光流法进行跟踪,将图像金字塔与其结合从而充分优化了该光流法的稳定性。在左右图像对间运用该光流法,得到立体图像对的水平视差,采用视差偏移法生成了多个稳定中间视点。在视频帧间同样采用该光流法进行跟踪,根据前后帧间运动信息计算得出当前帧左右图像对间水平视差。为充分保证帧间跟踪的稳定可靠性,同样引入了跟踪周期。针对稠密跟踪时耗大的问题,对原图先采用降采样,生成中间视点后再插值恢复原图像的大小。实验显示该方案能够生成较良好的中间视点,有效弥补了稀疏法部分区域模糊的现象,并对视频帧间的稳定连续性也有一定保证。以上研究给出的这两种方案各有所长,都能有效生成稳定连续的中间视点,且在一定场景下相互补充,具有一定的现实意义。(本文来源于《北京邮电大学》期刊2016-01-11）
李高洋[9]（2015）在《基于深度图像的虚拟视点生成算法研究》一文中研究指出随着科技的进步,尤其是计算机视觉技术的迅猛发展,大众已可轻松获取远超往昔的视觉体验,然而大众对于更卓越视觉效果的追求并未因此放缓,新的革命性的视觉技术急需被实现并推广。近几年来,诸多基于虚拟视点生成技术的优秀应用横空出世。虚拟视点是指通过一定算法,利用已知视点生成的本不存在的视点。基于虚拟视点生成技术的应用往往都能展现出令人震撼的视觉效果,在此背景下,虚拟视点生成技术开始逐步迈入大众视野之中,在相关研究领域受到的关注也越来越多,可见虚拟视点生成技术具有广阔的应用空间与发展前景。虚拟视点的生成有多种方案,其中基于深度图像的虚拟视点生成算法能够以较低的成本实现良好的效果,同时保证实时性,因此本文选择了基于深度图像的算法来进行虚拟视点的生成工作。在基于深度图像的虚拟视点生成算法中,除了RGB图像外,还需要加入与RGB图像同时获取的深度图像作为参考视点。其中,深度图像是通过对深度数据进行处理得到的,它可以较为直观地反映场景中各个物体表面到摄像头的距离。深度数据的获取有多种方法,出于效率与成本的考虑,本文采用了通过设备直接采集的方法,并选择Kinect 2.0来获取深度数据。Kinect 2.0是微软推出的新一代体感设备,在优质开发工具的支持下,Kinect 2.0能够方便快捷地获取更高质量的深度数据,另外还具有能同时获取RGB数据以及成本较低的优势。深度数据需要转换为深度图像以便存储、传输与进一步处理,目前常用的转换方法为线性化的方法,本文针对这一方法的不足,在此基础上提出了基于累积分布概率的方法与基于熵值的方法这两种改进的方法,并在不同场景中以主观视觉效果与客观指标对原线性化方法及两种改进的方法得到的深度图像进行了对比分析。优化的深度图像需要与同时获取的RGB图像作为输入转换为RGBD点云数据。RGBD点云数据为带有RGB信息的点云数据,它包括位置参数与RGB参数。位置参数通过将深度图像中的像素点从二维的图像坐标空间映射到叁维的世界坐标空间来确定,RGB参数需要通过与深度图像对应的RGB图像来确定。为获得准确的RGB参数,本文提出了基于深度数据的对齐方法,完成深度图像与RGB图像的配准,从而使RGBD点云数据更为精确。在获取RGBD点云数据流后,本文选择Direct3D叁维图形接口,将RGBD点云数据与顶点坐标变换矩阵输入到GPU,依靠GPU的并行能力完成虚拟视点的生成,期间需要对着色器进行编程来定制着色器的操作,从而提高运算速度以保证实时性。实验结果表明本文的虚拟视点生成算法能够在一定角度范围之内实时地实现虚拟视点的生成,达到了研究的预期目的。(本文来源于《山东财经大学》期刊2015-05-01）
黄浩,李坤[10]（2014）在《基于Kinect的虚拟视点生成技术》一文中研究指出传统的多视点生成方法是基于多相机阵列系统的关键技术。现提出了基于Kinect的多视点成像计算方法。首先对Kinect的深度图使用叁边滤波器进行平滑,根据修复好的深度图配合彩色图,利用DIBR技术生成多个存在空缺信息的彩色视点;最后结合彩色图的纹理结构信息和深度图的背景信息对有丢失信息的彩色图进行修复。实验结果表明,文中提出的深度修复方法能够有效地修补Kinect的深度图,生成的虚拟视点图在3DTV上效果明显,立体视觉效果显着。(本文来源于《信息技术》期刊2014年04期）
虚拟视点生成论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
随着人对视觉体验的追求不断升级,传统的平面二维显示图像难以满足人们的工作、生活和娱乐需求,因此3D技术应运而生。近年来,伴随3D技术与标准的发展以及显示终端的普及,3D技术正在为娱乐、医疗、教育等领域开辟一个充满前景的蓝海市场。其中裸眼叁维电视(3DTV)、多视点自由立体显示使观众不必佩戴眼镜就可以获得立体感,适用于家庭、广告等场景,成为研究者关注和不断探索的方向。3DTV系统一般由数据获取,视频编码,压缩和传输,渲染,显示五个部分组成。本文主要关注渲染部分。3D视频渲染是3DTV系统中显示前视频处理系统的最后一个步骤,高质量的虚拟视点绘制也是3D技术的重点和难点之一。此外,在多视点裸眼3D电视中仍存在一个无法避免的技术难题,即首尾视点过渡处的“逆视区”问题。针对以上问题,本文基于深度图像的视点绘制技术(DIBR),提出一种结合自动前景分割的虚拟视点绘制方法,通过视差控制改善观众由逆视区产生的不舒适问题,并合成高质量的虚拟视点图像,从软件技术层面推动3D视频内容的创作。本文的创新性主要体现在以下几个方面:1.将前景物体提取分层应用于视差控制和纹理合成。将传统的RGBD图像分割方法与基于深度学习的目标检测方法相结合实现自动提取前景物体。Faster-RCNN用于检测感兴趣目标如人物,与深度图相结合实现自动选取种子点。将种子点输入传统的Mean-Shift分割算法中,实现人物的精细分割,相比于手动选取种子点提升了效率。2.针对多视点裸眼3D电视的逆视区问题,提出一种场景内容深度调整方法来提升视觉舒适度。首先进行全局视差控制,将背景设为零视差平面;然后根据前景提取结果将参考图像分层,对不同深度层的前景分别调整深度范围,使得中间视点有强3D感,而在首尾视点交界处立体感逐渐减弱,从而产生平滑的过渡效果。3.针对空洞问题,提出改进的Criminisi空洞修复算法。结合前景分层结果,改进优先权计算方法,在扩大的局部搜索窗内寻找匹配像素块。本文在标准数据集上进行测试,实验结果显示,本文算法相比于VSRS和其他对比方法在主观质量和客观评价标准PSNR和SSIM上均有所提升,能够合成纹理自然一致的目标虚拟视点图像。论文首先介绍了虚拟视点生成的课题背景,3D电视的发展及国内外研究现状,然后按照流程顺序具体阐述了研究内容和提出方法,并通过实验论证,最后对所做研究的成果进行了总结,并提出了将来努力的方向。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
虚拟视点生成论文参考文献
[1].付傲威,赵敏,罗令,邢妍,邓欢.自由立体显示中基于深度卷积神经网络的虚拟视点生成方法[J].液晶与显示.2019
[2].韩冬雪.多视点裸眼3D电视的虚拟视点生成方法研究[D].山东大学.2019
[3].曾霞.基于计算全光函数的虚拟视点生成技术研究[D].北京邮电大学.2018
[4].江雷.基于深度信息虚拟视点生成[J].现代计算机(专业版).2018
[5].赵富荣.立体视频虚拟视点生成关键技术研究[D].华中科技大学.2017
[6].孟侨.基于压缩光场的虚拟视点生成研究[D].北京邮电大学.2017
[7].朱瑛瑛.基于图像的虚拟视点生成技术的研究与实现[D].北京邮电大学.2016
[8].钟巧.基于光流法的3D视频稳定虚拟视点生成研究[D].北京邮电大学.2016
[9].李高洋.基于深度图像的虚拟视点生成算法研究[D].山东财经大学.2015
[10].黄浩,李坤.基于Kinect的虚拟视点生成技术[J].信息技术.2014