导读:本文包含了多模态人脸识别论文开题报告文献综述及选题提纲参考文献，主要关键词:素描跨模态,图像合成,人脸识别,数据增强
多模态人脸识别论文文献综述
廖艳冰[1]（2019）在《基于深度学习的跨模态人脸识别》一文中研究指出跨模态人脸识别是人脸识别领域的一个研究热点,而素描人脸跨模态识别对现实世界的安防和娱乐应用有着重要意义。素描跨模态人脸识别问题在早期就有着广泛的研究。通常,素描跨模态人脸识别任务的核心主要是两大部分:合成/映射/提取特征和人脸识别。近几年,深度学习在人脸识别任务上已经有非常优异的表现,且使用深度学习解决图像合成问题的研究日益增多。但是,目前少有研究工作关注深度学习方法在素描跨模态人脸识别中的表现。此外,现有的素描人脸数据集数量较小,使用小数据训练深度模型的方案并不是最优的。为了将深度学习更好的应用于素描跨模态人脸识别任务上,本文探究了现有图像合成和人脸识别深度模型在此任务上的效果,通过组合现有的深度图像合成网络以及人脸识别深度学习方法构成本文的基础解决方案。其次,本文提出在图像合成网络中嵌入人脸识别预训练模型,在合成任务里利用大数据人脸识别经验,来引导合成更具有判别性的图像。此外,为了针对素描人脸图像提取到更优的深度特征用于提升识别率,且考虑到素描数据集数量小的问题,本文提出引入外部大数据集利用已有素描合成模型进行数据增强,学习得到素描人脸识别深度模型,并且使用叁元组的度量学习损失用于适应训练数据集的数据分布。最终,本文所提出的方案在CUHK和CUFSF数据集上分别达到了 100%和98%的识别率。(本文来源于《北京邮电大学》期刊2019-06-01）
邓重英[2]（2019）在《基于深度学习的跨模态人脸识别方法研究》一文中研究指出跨模态人脸识别的主要目标是,从给定的不同模态的人脸图像中确定人的身份,其中,不同模态的人脸图像可以是可见光和近红外光这两种不同成像条件下获取的人脸图像。由于在安防监控以及协助公安部门执法方面有广泛的应用前景,跨模态人脸识别受到了越来越广泛的关注。跨模态人脸识别有两个核心挑战:一是不同模态的两种数据之间的分布差异太大,即模态差异大;二是可用于训练的特定模态的数据少,导致模型容易过拟合。为了减少模态差异,以往的许多方法先利用尺度不变特征变换或者局部二值模式等手工设计的特征描述子来提取手工特征,然后将提取得到的不同模态的人脸特征投影到潜在的共有子空间,从而达到减少模态差异的目的。然而,这些方法受限于手工设计特征描述子的特征表达能力,所取得的识别效果往往难以令人满意,从而使得这类方法的进一步发展陷入了瓶颈。为了描述不同模态数据之间高度非线性的关系,一些工作使用深度卷积神经网络来提取更具有判别性的特征,并取得了比基于手工设计特征更好的性能。但是,深度卷积神经网络往往有大量的参数,这使得其在小规模的跨模态数据集上极易过拟合。此外,传统的卷积神经网络本身并不是为了有效提取模态信息无关的特征而设计的,这限制了其在跨模态人脸识别任务上的表现。本文以深度卷积神经网络为基础,提出了能有效应对跨模态人脸识别中数据规模小,模态差异大这两个挑战的两种方法。本文提出的两种方法可以在测试阶段从单张人脸图像中提取出模态无关的人脸特征,因而可以用于离线的特征提取,这在实际应用中具有较大价值。具体而言,本文提出的两种方法如下:·本文提出了共有成分卷积神经网络(Mutual Component Convolutional Neural Networks),简称MC-CNN。MC-CNN是一种对模态信息鲁棒的深度学习框架,它可以同时应对跨模态人脸识别中两个核心挑战。MC-CNN通过将一个特定的生成模型,即共有成分分析(Mutual Component Analysis,MCA),看成深度卷积神经网络的一个特殊的全连接层,从而将共有成分分析嵌入到了深度卷积神经网络。基于深度卷积特征,这一特殊的全连接层可以提取出模态无关的隐因子特征,并通过最大似然估计得出的分析表达式而非反向传播来更新其参数,这一更新方式可以自然地防止深度卷积神经网络在小规模跨模态数据上过拟合。此外,本文还提出了基于共有成分分析的损失函数(Mutual Component Analysis Loss,MCA loss)来监督网络的训练,从而进一步加强网络对模态无关特征的学习。大量的实验表明,本文提出的MC-CNN性能显着优于几种基于微调的基准方法,并在CASIA NIR-VIS 2.0,CUHK NIR-VIS 和 IIIT-D Sketch 等几个跨模态人脸识别数据集上取得了当时最优的结果。·本文提出了一种新的双分支网络结构,称为残差补偿网络(Residual Com-pensation Networks,RCN),用于分别学习跨模态人脸数据中不同模态的特征。残差补偿网络在传统的卷积神经网络中加入了残差补偿(ResidualCompensation,RC)模块和模态差异损失函数(Modality Discrepancy loss,MD loss)。残差补偿模块通过对其中一种模态进行补偿来减少模态差异,从而使其特征表达更接近另一种模态。由于残差补偿网络只学习这一参数量较少的残差补偿模块而固定了其经过预训练的主干卷积神经网络的卷积参数,其可学习的参数量被极大地减少,因而可以有效减轻网络在小规模的跨模态数据上的过拟合问题。另一方面,模态差异损失函数则通过最小化不同模态特征之间的余弦距离来进一步减少模态差异。此外,我们还探索了残差补偿模块的不同结构和位置,并评估了跨模态人脸识别中的不同迁移学习的策略。本文提出的残差补偿网络的方法在CASIA NIR-VIS 2.0,CUHK NIR-VIS,IIIT-D Viewed Sketch 以及 Forensic Sketch 这几个数据集上的识别准确率显着优于其他方法,并取得了当时最优的结果。(本文来源于《中国科学院大学(中国科学院深圳先进技术研究院)》期刊2019-06-01）
朱韦丹[3]（2019）在《基于多模态图像融合的人脸识别算法研究》一文中研究指出人脸识别技术由于其较大的理论挑战以及丰富的现实应用,在计算机视觉领域受到广泛的关注。随着多模态传感器的发展,在现实生活中,容易捕获到多模态的人脸图像。由于不同模态成像机制的差异,基于单模态人脸识别算法无法处理多模态人脸图像,限制了人脸识别的进一步应用。多模态数据能够提供互补的信息,使得识别性能得到提升,旨在融合多个模态信息的人脸识别方法相较于基于单模态的方案具有更大的现实应用价值。多模态的人脸识别如今备受重视还因为其在经济、社会安全、刑侦、军事等领域有着重要的作用。本研究内容主要围绕近红外与可见光,以及多视角这两种场景下实现多模态的人脸识别任务。由于来自不同模态的数据之间存在较大的差异,通常可以将其看作来自不同域、具有不同分布的数据。因此,不同模态的数据之间不能直接进行比较。相较于单模态的人脸识别方法,多模态面临的挑战便是将多模态的信息联系起来,使得模态间的差异性最小化。本文针对多模态学习存在的挑战设计了适用于多模态的人脸识别算法的整体框架,该框架包含了特征融合和公共子空间学习这两部分。本文首先给出了适用于多模态的改进的特征融合方法。视同探究同类事物模态间存在的相关性,并结合多模态图像特性给出合理假设,提出了基于低秩子空间学习的人脸识别方案。在改进的特征融合算法的基础上,提出了基于低秩的联合稀疏表达算法,给出了算法的优化式以及分析其优化式的合理性,并且使用交替方向乘子法对优化式进行推导,得到算法最终的计算流程。本文通过收敛实验结果观察得到所提的算法识别率能够较快地收敛到平衡点,并且对参数改变带来的识别率影响进行了实验以及分析。最终,本文通过两个数据集,即近红外与可见光人脸数据集和多视角人脸数据集,对本文所提算法以及近年来基于多模态的优秀的识别算法相比较,实验结果显示证明本文提出的算法在对于两种数据集都有较强的优势,并且能够对于叁个和叁个以上的模态也有较好的实验结果。综上所述,本文达到了课题研究目的,有效解决了面向多模态人脸识别的问题。(本文来源于《电子科技大学》期刊2019-03-15）
倪辉[4]（2016）在《多模态及异质人脸识别问题研究》一文中研究指出高效、精准的自动人脸识别技术不仅有着广泛的应用前景,而且推动着人机交互和人工智能领域的发展。大数据时代的到来对于人脸识别领域既是挑战又是机遇,如何有效利用丰富的多元多特征信息应对人脸识别实际应用中的各种难题是本文研究工作的出发点。现有的基于特征点附近像素灰度值变化的纹理特征无法有效应对光照、姿态变化等因素对于特征点定位的影响,需要挖掘纹理特征之外的有效特征提高面部特征点定位的精度。大数据时代可获取的人脸图像形式越来越丰富,可以利用多源人脸图像蕴含的信息互补提升人脸识别系统性能。当面临匹配过程中输入图像与图像库图像属于不同模态这一实际应用问题时,可以通过异质人脸转换的方法将不同模态的人脸图像转换为同一模态,引入合成图像进行后续异质人脸识别。本文从实用性和理论角度出发,分别研究了人脸特征点定位算法,多模态人脸识别算法,异质人脸转换及识别算法。具体来说,本文的工作主要包括以下几个方面:1)提出灰度几何特征提取方法并利用显示回归模型与纹理特征融合应用于人脸特征点定位任务该特征点定位算法基于LTV模型提取人脸灰度几何信息,利用非线性变化增强人脸图像中面部关键器官特征。利用级联回归模型融合灰度几何信息与原始纹理信息,使得模型具备更强的泛化能力,同时对于实际环境下光照、姿态变化等因素更为鲁棒。实验结果表明该算法具有更好的泛化能力和特征点定位精度。本文工作为如何利用信息融合提升人脸特征点定位精度提供了一种新的思路。2)提出基于复数域人脸特征融合的多模态人脸识别本文提出双模态人脸图像在复数域的特征表达形式,基于协同表达方法在特征层面融合可见光与近红外人脸图像的特征。进一步利用分块Gabor特征结合协同表达分类提升双模态人脸识别性能,并从几何性误差分析指出协同表达分类相对于稀疏表达分类的优势。大量实验结果证明了本文方法的高效性,可应用于实际人脸识别系统。3)提出一种基于稀疏多元特征融合的异质人脸转换及识别方法针对匹配过程中输入图像与图像库图像属于不同模态的情况,本文称为异质人脸识别问题,提出一种基于稀疏多元特征融合的异质人脸图像转换方法,在图片块层面基于稀疏表示模型融合多元特征,学习异质人脸特征空间映射关系。首先,对图像滤波处理后的人脸图像提取局部结构信息。然后,利用梯度信息和低频信息补偿合成照片的缺失信息。最后,利用引导滤波方法增强合成图像的细节信息。图像质量评价实验和人脸识别实验表明,本文方法合成的图像对于表情、姿势以及光照的变化具有良好的适应性。合成图像的引入一定程度上解决了异质人脸识别问题并提升了人脸识别率。(本文来源于《上海交通大学》期刊2016-01-01）
李鑫[5]（2015）在《基于Gabor特征的多模态人脸识别技术的实现》一文中研究指出本文运用人脸识别技术,按照某企业员工上下班签到的要求,设计了一款可以人脸自动识别的签到系统。员工的人脸数据信息存储在系统中,内容包括人脸图像、姓名等一些关键性信息。系统可以实现内存中已有员工身份的识别和非法登陆人员的提示功能。实现人脸的正确识别是人脸识别系统的目的,一般分为两个阶段,第一阶段是进行图像的录入和采集,从而搭建出人脸图像基本数据平台部分,第二阶段是训练样本和测试样本的识别部分,是系统的重点测试部分和主要研究部分。本文首先阐述了人脸识别的研究历史和简单介绍了一些常用的人脸识别的基本方法,并且介绍了人脸图像的预处理过程,然后分别详细介绍了Gabor滤波的原理及在人脸识别中的作用和怎样用分区方法选取特征的过程。然后,对本课题中涉及到的主要工具,Gabor特征、多模态分区和SVM做了具体介绍。它具有强大的可操作性结构特点,可以对人脸识别的速度和精度都有很大的提高。本文采用了Gabor特征和多模态分区共同作用人脸进行识别的方式来进行身份验证。(本文来源于《黑龙江大学》期刊2015-11-01）
徐英武[6]（2015）在《多模态人脸识别系统研究》一文中研究指出为了进一步提升多模态人脸识别系统的性能,引入了一种新的数据来源:叁维灰度人脸模态。在多模态人脸识别系统中,不仅包含了被广泛采用的二维灰度人脸模态和叁维深度人脸模态,同时还包括了叁维灰度人脸模态,其来源是通过将二维灰度人脸数据与叁维深度人脸数据按照叁维点云中点对点的对应关系进行的映射。(本文来源于《池州学院学报》期刊2015年03期）
张志芬[7]（2014）在《小注册样本多姿态人脸识别与手势识别双模态人机交互研究》一文中研究指出为实现沉浸式身份识别和运动控制，本文分析了人脸识别和手势识别的研究现状，针对多姿态人脸识别和鲁棒性手势识别中存在的不足，提出小注册样本多姿态人脸识别算法和基于深度图像与骨骼点的手势识别算法，实现双模态人机交互。解决了司法系统等因注册样本贫乏导致身份识别率不稳定的问题，应用前景广阔。主要研究内容如下：（1）提出了一种新的小注册样本环境下，识别多姿态人脸图像的算法。算法首先利用基于Haar特征的随机森林分类器完成对注册样本和待识别人脸图像对姿态变化鲁棒性高的关键点自适应定位，并提取SURF特征并保存。然后以SURF特征的欧氏距离决策得出初匹配关键点对。最后以初匹配关键点对的SURF特征的欧式距离决策得出再匹配关键点对，完成人脸识别。提高了小注册样本多姿态人脸识别的准确性与实时性。（2）提出了一种基于深度图像与骨骼点的手势识别算法。算法首先利用肤色建模与深度图像相投影得到精确手区域，然后对该区域采用3D骨骼点建模，最后在一维指尖距离框架内完成手势识别。（3）设计了小注册样本多姿态人脸识别框架的身份识别系统。实现了基于该算法的身份识别系统，实验证明，该身份识别系统可以克服光照、阴影等不良影响，具有较强的鲁棒性和准确性。（4）设计了手势识别框架的运动控制系统，完成对五自由度移动机械臂的运动控制。验证了系统的有效性与准确性。沉浸式人机交互系统具有重要的学术意义与广阔的应用前景，本文基于当前身份识别与运动控制的实际需求，有针对性地对人脸识别和手势识别算法进行设计，实现了一套智能化水平高的双模态人机交互系统。(本文来源于《武汉科技大学》期刊2014-05-01）
王丙权[8]（2013）在《基于积分机制和特征融合的多模态叁维人脸识别》一文中研究指出近些年来,叁维人脸识别得到了国内外研究人员的广泛关注。叁维人脸数据不仅能够提供人脸的纹理信息,还提供了人脸几何信息,因而能够更全面地反映了人脸特性。我们希望利用叁维数据所包含的两种不同类型信息进行多模态的融合来提升人脸识别的效果,本文采用自动校准后的叁维人脸数据模型经过投影得到的深度图像和灰度图像作为人脸的两种不同模态数据,并利用这两种数据提取出不同特征进行得分水平的融合。人脸的全局特征反映其大致轮廓,局部特征则反映其细节信息,它们在识别中扮演着不同的作用,且各具优势。为了充分利用不同数据和特征所反映的人脸信息,我们采用将深度图像的全局特征和灰度图像的局部特征进行融合。Gabor滤波器具有良好的空间位置和方向选择性,展现出了良好的局部特性,本文选取图像的Gabor特征作为其局部特征,此外利用PCA进行图像全局特征的提取。不同特征在匹配相似度的衡量方式上存在差异,为消除这种差异本文提出一种统一衡量匹配相似度的方式——积分机制,即类似于比赛中采用的积分制,我们利用待识别数据与模板数据的匹配相似度大小对模版数据进行排序,并按照排名给予模板数据以基于排名的积分；此外,每种特征在分类识别中所起的作用不同,其对应积分的权重也不同。最后根据模版在不同数据特征下取得的积分加权总和进行识别结果的确定。本文算法在CISIA叁维人脸数据库上取得了良好的效果。(本文来源于《大连理工大学》期刊2013-05-01）
袁理,陈庆虎[9]（2013）在《基于少量特征点的多模态人脸识别》一文中研究指出针对二维人脸识别对姿态和光照变化较为敏感的问题,提出了一种基于少量特征点的多模态人脸识别方法。在训练阶段,对叁维人脸数据进行二次处理和数据挖掘,为建立完备的特征模板奠定了基础;提出了一种简洁高效的样本聚类方法,克服了特征提取过程中的非线性问题;通过局部特征分析(Local Feature Analysis,LFA)实现了特征点"局部"与"全局"信息的融合。实验证明该方法在具有较高执行效率的同时,对人脸图像的姿态和光照变化具有理想的鲁棒性,在WHU-3D小规模人脸数据库上取得了98.06%的识别率。(本文来源于《计算机工程与应用》期刊2013年03期）
周娟,李勇平,黄跃峰[10]（2012）在《基于强度图和深度图的多模态人脸识别》一文中研究指出提出将全局特征表征方法2DFLD、2DPCA与局部特征表征方法LBP相结合,应用到人脸二维强度图和叁维深度图进行识别;对不同分类方法的识别得分再进行归一化加权融合。对比实验结果表明,LBP对2DFLD和2DPCA的识别结果有改善作用,二维强度图和叁维深度图的得分归一化加权融合对整个识别率也有一定的改善,在CASIA3D人脸数据库上的识别率最高可达94.68%。(本文来源于《计算机工程与应用》期刊2012年25期）
多模态人脸识别论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
跨模态人脸识别的主要目标是,从给定的不同模态的人脸图像中确定人的身份,其中,不同模态的人脸图像可以是可见光和近红外光这两种不同成像条件下获取的人脸图像。由于在安防监控以及协助公安部门执法方面有广泛的应用前景,跨模态人脸识别受到了越来越广泛的关注。跨模态人脸识别有两个核心挑战:一是不同模态的两种数据之间的分布差异太大,即模态差异大;二是可用于训练的特定模态的数据少,导致模型容易过拟合。为了减少模态差异,以往的许多方法先利用尺度不变特征变换或者局部二值模式等手工设计的特征描述子来提取手工特征,然后将提取得到的不同模态的人脸特征投影到潜在的共有子空间,从而达到减少模态差异的目的。然而,这些方法受限于手工设计特征描述子的特征表达能力,所取得的识别效果往往难以令人满意,从而使得这类方法的进一步发展陷入了瓶颈。为了描述不同模态数据之间高度非线性的关系,一些工作使用深度卷积神经网络来提取更具有判别性的特征,并取得了比基于手工设计特征更好的性能。但是,深度卷积神经网络往往有大量的参数,这使得其在小规模的跨模态数据集上极易过拟合。此外,传统的卷积神经网络本身并不是为了有效提取模态信息无关的特征而设计的,这限制了其在跨模态人脸识别任务上的表现。本文以深度卷积神经网络为基础,提出了能有效应对跨模态人脸识别中数据规模小,模态差异大这两个挑战的两种方法。本文提出的两种方法可以在测试阶段从单张人脸图像中提取出模态无关的人脸特征,因而可以用于离线的特征提取,这在实际应用中具有较大价值。具体而言,本文提出的两种方法如下:·本文提出了共有成分卷积神经网络(Mutual Component Convolutional Neural Networks),简称MC-CNN。MC-CNN是一种对模态信息鲁棒的深度学习框架,它可以同时应对跨模态人脸识别中两个核心挑战。MC-CNN通过将一个特定的生成模型,即共有成分分析(Mutual Component Analysis,MCA),看成深度卷积神经网络的一个特殊的全连接层,从而将共有成分分析嵌入到了深度卷积神经网络。基于深度卷积特征,这一特殊的全连接层可以提取出模态无关的隐因子特征,并通过最大似然估计得出的分析表达式而非反向传播来更新其参数,这一更新方式可以自然地防止深度卷积神经网络在小规模跨模态数据上过拟合。此外,本文还提出了基于共有成分分析的损失函数(Mutual Component Analysis Loss,MCA loss)来监督网络的训练,从而进一步加强网络对模态无关特征的学习。大量的实验表明,本文提出的MC-CNN性能显着优于几种基于微调的基准方法,并在CASIA NIR-VIS 2.0,CUHK NIR-VIS 和 IIIT-D Sketch 等几个跨模态人脸识别数据集上取得了当时最优的结果。·本文提出了一种新的双分支网络结构,称为残差补偿网络(Residual Com-pensation Networks,RCN),用于分别学习跨模态人脸数据中不同模态的特征。残差补偿网络在传统的卷积神经网络中加入了残差补偿(ResidualCompensation,RC)模块和模态差异损失函数(Modality Discrepancy loss,MD loss)。残差补偿模块通过对其中一种模态进行补偿来减少模态差异,从而使其特征表达更接近另一种模态。由于残差补偿网络只学习这一参数量较少的残差补偿模块而固定了其经过预训练的主干卷积神经网络的卷积参数,其可学习的参数量被极大地减少,因而可以有效减轻网络在小规模的跨模态数据上的过拟合问题。另一方面,模态差异损失函数则通过最小化不同模态特征之间的余弦距离来进一步减少模态差异。此外,我们还探索了残差补偿模块的不同结构和位置,并评估了跨模态人脸识别中的不同迁移学习的策略。本文提出的残差补偿网络的方法在CASIA NIR-VIS 2.0,CUHK NIR-VIS,IIIT-D Viewed Sketch 以及 Forensic Sketch 这几个数据集上的识别准确率显着优于其他方法,并取得了当时最优的结果。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
多模态人脸识别论文参考文献
[1].廖艳冰.基于深度学习的跨模态人脸识别[D].北京邮电大学.2019
[2].邓重英.基于深度学习的跨模态人脸识别方法研究[D].中国科学院大学(中国科学院深圳先进技术研究院).2019
[3].朱韦丹.基于多模态图像融合的人脸识别算法研究[D].电子科技大学.2019
[4].倪辉.多模态及异质人脸识别问题研究[D].上海交通大学.2016
[5].李鑫.基于Gabor特征的多模态人脸识别技术的实现[D].黑龙江大学.2015
[6].徐英武.多模态人脸识别系统研究[J].池州学院学报.2015
[7].张志芬.小注册样本多姿态人脸识别与手势识别双模态人机交互研究[D].武汉科技大学.2014
[8].王丙权.基于积分机制和特征融合的多模态叁维人脸识别[D].大连理工大学.2013
[9].袁理,陈庆虎.基于少量特征点的多模态人脸识别[J].计算机工程与应用.2013
[10].周娟,李勇平,黄跃峰.基于强度图和深度图的多模态人脸识别[J].计算机工程与应用.2012