本文主要研究内容
作者徐俊杰（2019）在《基于视觉的丘陵山区田间道路场景理解和障碍物检测研究》一文中研究指出：机器视觉系统是智能农业机械携带的主要环境感知装备之一,其主要功能是进行对可行驶区域、障碍物或作物的检测,进而实现智能农机自动导航和避障。在丘陵山区田间场景下,道路宽度不一,形态变化复杂、曲率大,路面起伏颠簸,路内路边杂草泥土等障碍物散布,这些特征给智能农机在田间道路上的自动导航和避障带来很大的困难。本文针对田间非结构化道路迂回多变、无车道线和显著边界的特点,提出基于空洞卷积神经网络和双目立体视觉结合的田间道路及障碍物识别方法,为丘陵山区智能农业机械的基于机器视觉的导航和避障提供实践依据。本文的主要内容和结论如下:(1)视觉系统平台搭建。以前期研制的自动行驶田间道路运输车为试验平台,安装锐尔威视公司量产的RER-1MP2CAM002平行双目立体视觉相机,使用高性能PC机作为图像处理系统,集成各类硬件和软件设备,搭建了本文的图像语义分割和障碍物检测平台。在分析丘陵山区田间道路图像特点的基础上,将田间道路场景对象分为“背景、道路、行人、植被、天空、建筑、牲畜、障碍、水塘、土壤、杆”11种类别并采集图像建立数据集,针对CNN训练中容易产生的过拟合情况,使用数据增强操作增加数据量。(2)空洞卷积神经网络构建。丘陵山区田间道路场景复杂,场景中目标种类较多,道路边缘大多覆盖有杂草和农作物的枝叶,道路上的阴影变化频繁。经典的全卷积神经网络(fully convolutional networks,FCN)是由传统的分类网络改编而来,其语义分割效果不能满足田间道路的像素级语义分割。提出使用空洞卷积神经网络(dilated convolutional neural networks,DCNN)进行丘陵山区田间场景的图像分割。以传统FCN中VGG-16网络为基础,去除分类网络中不利于像素预测的部分,修改局部卷积层后,提出预测精度更高的前端模块,并构建了2种基于空洞卷积的上下文聚合模块与前端模块相结合。(3)丘陵山区田间道路场景理解试验。在CAFFE深度学习框架搭建改进的网络和基于VGG-16的FCN-8s网络,对FCN-8s、front-end、front-end+basic和front-end+large四种网络进行对比试验,以测试构建的前端模块和上下文模块对提升预测精度的有效性。训练中采取了two-stage training方法,改善了深度学习网络训练时间长、收敛速度慢的问题。分割结果表明:改进的DCNN网络模型功能良好,其中front-end+large网络的像素准确率达到88.5%,平均IoU可以达到74.2%,分别比传统的FCN-8s网络高7.6%和8.9%;同时,front-end+large网络对田间道路阴影干扰的情况测试效果良好,说明构建的模型有较好的泛化性和鲁棒性,能完成丘陵山区田间道路图像像素级的预测。(4)基于双目立体视觉的障碍物检测。选择经典的张正友标定方法,在MATLAB的Camera Calibration工具箱内对RER-1MP双目摄像头实现标定。比照8组标定距离下的像素误差,计算并优化了摄像机的内外参数。采用Bouguet算法立体校正图像后,使用OpenCV中的半全局块匹配(semi global block matching,SGBM)算法进行双目立体匹配。使用基于视差图的障碍物检测方法排除行进道路以外的区域、道路上阴影和可通过的障碍物等干扰对象,提取了障碍物的三维信息。经过不同距离下的障碍物检测试验和不同障碍物的检测试验后,确定了最佳的障碍物检测距离。对障碍物距离、宽度和高度的实际测量表明,其平均相对误差分别为-2.68%、-0.98%和-1.34%。(5)提取可行区域中心线。提取语义分割结果中像素准确率最高的道路部分和非道路部分,应用形态学滤波和连通域处理,获得更加完整的道路区域和平滑的道路边界;根据障碍物检测的三维信息,判断当前道路可通过性;采用质心法获取道路可行区域的质心点,使用最小二乘法拟合导航线。在此基础上,测试丘陵山区田间不同道路形状和障碍物情况下的导航线的准确度,其相对误差在0.115~4.808%范围内,满足田间道路运输车自动行驶的导航线误差要求。本文构建的基于DCNN的田间道路场景识别模型能对田间道路进行准确的像素级识别,双目立体视觉系统对障碍物的检测可靠性较高,生成的导航路径较精确,为后续丘陵山区田间道路运输车的自动导航研究提供了基础支持。
Abstract
ji qi shi jiao ji tong shi zhi neng nong ye ji xie xie dai de zhu yao huan jing gan zhi zhuang bei zhi yi ,ji zhu yao gong neng shi jin hang dui ke hang shi ou yu 、zhang ai wu huo zuo wu de jian ce ,jin er shi xian zhi neng nong ji zi dong dao hang he bi zhang 。zai qiu ling shan ou tian jian chang jing xia ,dao lu kuan du bu yi ,xing tai bian hua fu za 、qu lv da ,lu mian qi fu dian bo ,lu nei lu bian za cao ni tu deng zhang ai wu san bu ,zhe xie te zheng gei zhi neng nong ji zai tian jian dao lu shang de zi dong dao hang he bi zhang dai lai hen da de kun nan 。ben wen zhen dui tian jian fei jie gou hua dao lu yu hui duo bian 、mo che dao xian he xian zhe bian jie de te dian ,di chu ji yu kong dong juan ji shen jing wang lao he shuang mu li ti shi jiao jie ge de tian jian dao lu ji zhang ai wu shi bie fang fa ,wei qiu ling shan ou zhi neng nong ye ji xie de ji yu ji qi shi jiao de dao hang he bi zhang di gong shi jian yi ju 。ben wen de zhu yao nei rong he jie lun ru xia :(1)shi jiao ji tong ping tai da jian 。yi qian ji yan zhi de zi dong hang shi tian jian dao lu yun shu che wei shi yan ping tai ,an zhuang rui er wei shi gong si liang chan de RER-1MP2CAM002ping hang shuang mu li ti shi jiao xiang ji ,shi yong gao xing neng PCji zuo wei tu xiang chu li ji tong ,ji cheng ge lei ying jian he ruan jian she bei ,da jian le ben wen de tu xiang yu yi fen ge he zhang ai wu jian ce ping tai 。zai fen xi qiu ling shan ou tian jian dao lu tu xiang te dian de ji chu shang ,jiang tian jian dao lu chang jing dui xiang fen wei “bei jing 、dao lu 、hang ren 、zhi bei 、tian kong 、jian zhu 、sheng chu 、zhang ai 、shui tang 、tu rang 、gan ”11chong lei bie bing cai ji tu xiang jian li shu ju ji ,zhen dui CNNxun lian zhong rong yi chan sheng de guo ni ge qing kuang ,shi yong shu ju zeng jiang cao zuo zeng jia shu ju liang 。(2)kong dong juan ji shen jing wang lao gou jian 。qiu ling shan ou tian jian dao lu chang jing fu za ,chang jing zhong mu biao chong lei jiao duo ,dao lu bian yuan da duo fu gai you za cao he nong zuo wu de zhi xie ,dao lu shang de yin ying bian hua pin fan 。jing dian de quan juan ji shen jing wang lao (fully convolutional networks,FCN)shi you chuan tong de fen lei wang lao gai bian er lai ,ji yu yi fen ge xiao guo bu neng man zu tian jian dao lu de xiang su ji yu yi fen ge 。di chu shi yong kong dong juan ji shen jing wang lao (dilated convolutional neural networks,DCNN)jin hang qiu ling shan ou tian jian chang jing de tu xiang fen ge 。yi chuan tong FCNzhong VGG-16wang lao wei ji chu ,qu chu fen lei wang lao zhong bu li yu xiang su yu ce de bu fen ,xiu gai ju bu juan ji ceng hou ,di chu yu ce jing du geng gao de qian duan mo kuai ,bing gou jian le 2chong ji yu kong dong juan ji de shang xia wen ju ge mo kuai yu qian duan mo kuai xiang jie ge 。(3)qiu ling shan ou tian jian dao lu chang jing li jie shi yan 。zai CAFFEshen du xue xi kuang jia da jian gai jin de wang lao he ji yu VGG-16de FCN-8swang lao ,dui FCN-8s、front-end、front-end+basiche front-end+largesi chong wang lao jin hang dui bi shi yan ,yi ce shi gou jian de qian duan mo kuai he shang xia wen mo kuai dui di sheng yu ce jing du de you xiao xing 。xun lian zhong cai qu le two-stage trainingfang fa ,gai shan le shen du xue xi wang lao xun lian shi jian chang 、shou lian su du man de wen ti 。fen ge jie guo biao ming :gai jin de DCNNwang lao mo xing gong neng liang hao ,ji zhong front-end+largewang lao de xiang su zhun que lv da dao 88.5%,ping jun IoUke yi da dao 74.2%,fen bie bi chuan tong de FCN-8swang lao gao 7.6%he 8.9%;tong shi ,front-end+largewang lao dui tian jian dao lu yin ying gan rao de qing kuang ce shi xiao guo liang hao ,shui ming gou jian de mo xing you jiao hao de fan hua xing he lu bang xing ,neng wan cheng qiu ling shan ou tian jian dao lu tu xiang xiang su ji de yu ce 。(4)ji yu shuang mu li ti shi jiao de zhang ai wu jian ce 。shua ze jing dian de zhang zheng you biao ding fang fa ,zai MATLABde Camera Calibrationgong ju xiang nei dui RER-1MPshuang mu she xiang tou shi xian biao ding 。bi zhao 8zu biao ding ju li xia de xiang su wu cha ,ji suan bing you hua le she xiang ji de nei wai can shu 。cai yong Bouguetsuan fa li ti jiao zheng tu xiang hou ,shi yong OpenCVzhong de ban quan ju kuai pi pei (semi global block matching,SGBM)suan fa jin hang shuang mu li ti pi pei 。shi yong ji yu shi cha tu de zhang ai wu jian ce fang fa pai chu hang jin dao lu yi wai de ou yu 、dao lu shang yin ying he ke tong guo de zhang ai wu deng gan rao dui xiang ,di qu le zhang ai wu de san wei xin xi 。jing guo bu tong ju li xia de zhang ai wu jian ce shi yan he bu tong zhang ai wu de jian ce shi yan hou ,que ding le zui jia de zhang ai wu jian ce ju li 。dui zhang ai wu ju li 、kuan du he gao du de shi ji ce liang biao ming ,ji ping jun xiang dui wu cha fen bie wei -2.68%、-0.98%he -1.34%。(5)di qu ke hang ou yu zhong xin xian 。di qu yu yi fen ge jie guo zhong xiang su zhun que lv zui gao de dao lu bu fen he fei dao lu bu fen ,ying yong xing tai xue lv bo he lian tong yu chu li ,huo de geng jia wan zheng de dao lu ou yu he ping hua de dao lu bian jie ;gen ju zhang ai wu jian ce de san wei xin xi ,pan duan dang qian dao lu ke tong guo xing ;cai yong zhi xin fa huo qu dao lu ke hang ou yu de zhi xin dian ,shi yong zui xiao er cheng fa ni ge dao hang xian 。zai ci ji chu shang ,ce shi qiu ling shan ou tian jian bu tong dao lu xing zhuang he zhang ai wu qing kuang xia de dao hang xian de zhun que du ,ji xiang dui wu cha zai 0.115~4.808%fan wei nei ,man zu tian jian dao lu yun shu che zi dong hang shi de dao hang xian wu cha yao qiu 。ben wen gou jian de ji yu DCNNde tian jian dao lu chang jing shi bie mo xing neng dui tian jian dao lu jin hang zhun que de xiang su ji shi bie ,shuang mu li ti shi jiao ji tong dui zhang ai wu de jian ce ke kao xing jiao gao ,sheng cheng de dao hang lu jing jiao jing que ,wei hou xu qiu ling shan ou tian jian dao lu yun shu che de zi dong dao hang yan jiu di gong le ji chu zhi chi 。
论文参考文献
论文详细介绍
论文作者分别是来自西南大学的徐俊杰，发表于刊物西南大学2019-09-24论文，是一篇关于田间道路论文,场景理解论文,空洞卷积论文,障碍物检测论文,立体视觉论文,西南大学2019-09-24论文的文章。本文可供学术参考使用，各位学者可以免费参考阅读下载，文章观点不代表本站观点，资料来自西南大学2019-09-24论文网站，若本站收录的文献无意侵犯了您的著作版权，请联系我们删除。
标签：田间道路论文; 场景理解论文; 空洞卷积论文; 障碍物检测论文; 立体视觉论文; 西南大学2019-09-24论文;