李方圆1于功志1,2
1,大连海洋大学2,大学生“蔚蓝”科技创新创业基地116023
摘要:机器视觉技术因其具有非接触式性、速度快、精度高等特点,被广泛应用于现代农业生产的各个环节。基于对近几年成果和文献的分析,综述机器视觉技术在质量分级与检测、农作物生长过程信息采集、果实自动采摘系统、机械设备导航等方面研究进展,并对机器视觉技术在农业领域的研究情况进行分析和总结,提出目前存在的问题和未来的研究发展方向。
关键词:机器视觉;质量分级;信息采集;导航
0引言
随着计算机技术的快速发展,计算机图像处理技术不断进步,机器视觉技术广泛应用到农业生产中。在农业生产过程中,在对农产品或农作物进行外观判断和信息采集过程中,如品质检测、成熟度判断、作物生产状况等,运用机器视觉技术代替人工,降低了人的劳动强度,并实现农业生产现代化。对国内外研究进展及应用情况进行综述,总结了应用中存在的问题,并对该技术的发展前景和研究方向进行讨论。
1机器视觉
机器视觉系统是指通过机器视觉设备将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来提取目标的特征,进而根据判别的结果来控制现场的设备运作。机器视觉典型结构包括五大块:照明、镜头、高速相机、图像采集卡和视觉处理器(图1-1)。
2机器视觉在农业上的应用
机器视觉广泛应用于农业生产当中,在农产品质量分级、检测、农产品自动采摘系统、农田检测以及自动化机械的导航等方面均有技术突破。虽然机器视觉技术识别方面比人眼更准确,并具有非接触的特点,但由于农业生产环境的复杂多变,使得机器视觉在农业生产中的应用还不成熟。
图1-1机器视觉系统示意图
1-照明,2-高速相机和镜头,3-光源箱,4-被测物体,5-计算机
2.1机器视觉在农业分级检测上的应用
农产品分级和分类检测是目前机器视觉一个重要的研究方向。传统人工分选耗时耗力,且分选精度不高;特别是一些农产品外观特性对产品质量和经济效益影响较大,人的主观判断很容易改变该产品的分级等级。运用机器视觉对农产品进行分级分选,根据设定好的分级标准自动分级,避免了人为影响,还具有较高的处理效率。
机器视觉在农产品的质量分级、检测中,运用CCD摄像头采集图像信息,经过MATLAB软件处理,采用RGB、HIS等颜色模型变换,对特征分量进行大津展(Ostu)阈值法分割、中值滤波等方式提取图像边缘特性,并去除噪声,得到被测物体的数字图像特征。最后运用相关的图像算法,将数字图像特征转化为分级数字信号完成分级。
刘同海等[1]设计了一种复杂背景下猪体体尺测点坐标提取的算法,解决了机器视觉提取自然站立姿态下猪体体尺测点识别率低的问题。大连理工大学林艾光等[2]利用摄像头捕获扇贝图像,建立扇贝模型并识别大小。解决了采用筛子和分级机筛分,会损伤扇贝边缘,影响生长发育,人工分选效率低下的问题。李聪等、Whitelock等[3-4]通过提取形状和缺陷等特征对成熟苹果进行分级检测,但提取算法单一,不能提取多种缺陷,识别效果欠佳。王海青、方政、邢作常、胡发焕等[5-7]通过对农作物果实外形特点的研究,提取外观综合特征,利用matlab软件的函数变换,可以识别果实的大小和外观缺陷,效果可以满足实时环境下的分级检测。高新浩等[8]对数字图像采用小波分析方法,分析鲜食玉米图像的纹理特征,设计出一种分级方式,降低人工对玉米表皮的破损以及主观因素对产品质量检测的影响。
在农业生产中,机器视觉技术已经比较成熟地应用在农产品分选设备中;然而,在实际应用当中,一部分产品的质量标准是由质量、甜度等其他特征决定。在后续的研究过程中,应将其他特征对产品分级和检测的影响考虑进来。
2.2机器视觉在农产品自动采摘上的应用
农村劳动力匮乏,农业机器人取代人工进行采摘已经成为趋势,机器视觉的应用提高了农业机器人的采集的精度和效率。
刘志刚等[9]采用双目视觉相机、路标识别相机和声纳传感器三者相结合的方式,控制采集机器人进行采摘。张宾、王政、张丽等[10-12]利用相机获取果树周围环境的反射图像,对果实进行精确定位,提高了采摘的效率。郭素娜、何婕等[13-14]利用机器视觉对主要颜色特征提取的灰度直方图来判断果实的成熟度,避免采摘未成熟的果实。薛亮等[15]利用机器视觉系统获得障碍物的信息,运用RBF设计网络算法控制机器手躲避障碍物,解决了采集过程中机器手的蔽障问题。宣峰等[16]设计了以单片机为核心处理器的农业采摘机器人,降低了图像处理时间,同时也缩小了机器人的体积,对采摘机器人的设计具有十分重要的意义。
目前,基于机器视觉的自动采摘机器人,对于颜色信号明显的果实能够很好地进行辨别。但由于果实受光照、生长位置等因素影响,果实定位仍存在一定的困难。对于部分农作物果实与背景颜色接近,采用纹理和性状作为特征进行提取,能够提高自动采摘机器人对果实的辨别度,使之更好的适用复杂多变的农业环境。
2.3机器视觉在农业设备定位导航上的应用
随着农业机械化、自动化、智能化的发展,定位导航系统已经成为农田机械设施的重要组成部分。机器视觉是定位导航系统中的关键部分,通过图像采集、处理为设备定位、导航提供数据。
张微微等[17]利用机器视觉,将采棉机的实时位置通过图像采集并转换为在采棉地块中的实时坐标,然后经过规划路径等方式,对采棉机进行最终,达到采棉机自主导航的目的。朱弘亮等[18]采用双目视差测距法,通过改进的BP神经网络标定下的双目系统、改进的SIFT特征匹配,输出导航参照点转化为机器人的水平距离。周茉等[19]设计了一种基于高速摄像和图像边缘检测得排种器,利用图像处理,采用Hough变换对二维种子得方向信息进行提取,获得了排种器中种子运动的规律并转换为电信号,为排种器定位的PID调节提供反馈依据。袁佐云[20]通过处置投影法对大豆作物进行提取,获取了基于大豆作物行的导航方法。Torri等学者[21]利用作物和沟底的特征差异及最小二乘法拟合出了导航路径。袁池等[22]通过利用Lab色彩模型处理果园图像,并用最小二乘法导出果园导航中线。西北农林科技大学聂森等[23]针对果园环境特点,基于HSV色彩模型和最大类间方差法对果园果树树行特征进行了增强。使用Hough变换进行拟合,最终确定相邻两树行的中线作为导航路径。JinlinXue等人[24]再总结已有成果的基础上提出了基于可变视场的农业机器人导航方案:对于田间环境下采用远视场获取具有清晰对比度的图像,并设定像素数量阈值,调整视场;通过图像处理依据玉米行确定导航路径。
农业机械导航是实现农业产业现代化、自动化的关键,田间环境为导航提供了相关信息的支持。机器视觉通过色彩对比度获取边界点、线,通过图像处理算法可以算出导航线,但是在目前非结构化的农田环境下,无序的杂草和作物形态差异会对导航信息的提取带来一定的干扰。
2.4机器视觉在农作物生长过程监控中的应用
农作物生长信息主要是用来提供生长状况的相关信息,例如水分、温度、营养状况、病虫害信息等,为农业现代化提供信息支持。机器视觉对作物生长信息的监测主要是采集农作物实时图像,通过图像处理得到相关作物信息,为判断生长状况或病虫害信息提供支持,为精细化农田管理提供决策信息。
王伟等[25]将机器视觉应用于农业信息采集机器人,解决了大范围农田中农作物生长状态的实时监控,直接得到数据与图像,为精细化管理农田作业提供了可靠依据。希腊学者NickSigrimis等采用摄像机与滤光片结合的图像采集方式,采集农作物近红外和红光图像,从光谱反射率中提取相关参数得到与叶片含氮量密切相关的指标;应用于黄瓜生长状态的实时监控是可行的。在病虫害防治过程中,利用机器视觉分析常见害虫颜色差异,来预测虫害的爆发具有实际意义。朱莉等[26]采用颜色直方图反向投影的特征提取,在HSV颜色空间中不同的害虫色调H和饱和度S存在明显得差异,通过直方图可以直接反映出差异,采用C4.5算法处理得到的图像数据,得到虫害的种类和程度。
计算机视觉使用的各种图像传感器的视觉分辨能力远远超于人类的视觉,非常适用于农田实时监控,但农作物生长过程是一个复杂的动态过程,对于实时监测的设备要求较高,目前研究集中在颜色和外形特征方向上,且算法通用性不强精度不高。
3存在的问题及展望
结合近几年科研成果,机器视觉技术在农业领域的应用发展迅速,在推进农业机械化进程,提高农业生产效率,降低人力成本,改善农业人员工作环境有着巨大的贡献。但是由于农业生产中的不确定因素,阻碍机器视觉算法的完善,也制约了机器视觉在农业领域市场化的进程。机器视觉在农业研究和应用中还存在下列问题:
1)目前,机器视觉多应用在外观特征的提取与检测,农产品在生长过程中各项特征有很大的随机性,现在的图像处理软件只能处理一些形状和色彩明显的农产品。
2)目前所研究的对象均是静止的,对于农田现场环境中动态的目标,处理效果不高。
3)机器视觉导航相比其他导航方式处在起步阶段,智能化程度还不够高,复杂的算法限制了农田机械的运行速度。
农业生产向着现代化、智能化的方向发展,促进了机器视觉在农业生产中的应用研究。针对目前存在的不足,机器视觉技术在未来的研究方向主要集中在:
1)图像处理是机器视觉的核心技术,改进图像处理的算法可以适应复杂多变的田间环境。
2)降低实时应用中动态性能缺陷的影响,进一步增强机器视觉系统在农业生产环境中的适应能力。
3)多摄像头的三维图像采集技术的开发与应用,增加目标物定位的准确性,使机器视觉技术在农业领域的应用更加广泛。
4)增强机器视觉与其他技术的结合,完善机器视觉在农业生产领域的功能性应用,进一步提升农业生产现代化、自动化、智能化。
参考文献
[1]刘同海,腾光辉等.基于机器视觉的猪体体尺测点提取算法与应用[J].农业工程学报,2013(2)
[2]林艾光,孙宝元,矢田贞美.基于机器视觉的虾夷扇贝分级检测方法研究[J].水产学报,2006(20)
[3]李聪,高海燕,袁超.基于计算机视觉的苹果自动分级方法研究[J].计算机仿真,2012,29(9):293-296
[4]WhitelockDP,BrusewitzGH,StoneML.Appleshapeandrollingorientation[J].AppliedEngineeringinAgriculture,2006,22(1):87-94
[5]方政,胡晓辉,陈永等.基于图像处理的番茄识别方法[J].浙江农业科学,2015.56(12):1941-1946
[6]邢作常,田素博,刘思瑶等.基于机器视觉的种薯自动切块机设计[J].农机化研究,2016,10(10)
[7]胡发焕,董增文,匡以顺.基于机器视觉的脐橙品质在线分级检测系统[J].中国农业大学学报,2016,21(3):112-118
[8]高新浩,刘斌.基于机器视觉的鲜食玉米品质检测分类器设计与试验[J].农业工程学报,2016,32(01):298-303
[9]刘志刚,王凤燕,魏纯.精密草莓采摘机器人优化设计[J].农机化研究,2016,6
[10]张宾,宿敬肖等.基于激光视觉的智能识别苹果采摘机器人设计[J].农机化研究,2016,7
[11]王政,张微微等.基于聚类算法对象提取的快速定位采摘机器人设计[J].农机化研究,2016,7
[12]张丽,郭素娜,汪小志.樱桃采摘机器人设计[J].农机化研究,2016,8
[13]郭素娜,张丽,刘志刚.一种高精度自主导航定位的葡萄采摘机器人设计[J].农机化研究,2016,7
[14]何婕,罗妤.果实成熟度识别机器人设计[J].农机化研究,2016,8
[15]薛亮,樊卫国,汪小志.基于RBF网络的果蔬采摘机器人运动轨迹控制研究[J].农机化研究,2016,9
[16]宣峰,朱清智,张毅.基于MSP430F149智能监控的苹果采摘机器人设计[J].农机化研究,2016,9
[17]张微微,王政等.基于嵌入式云计算平台的采棉机监控系统设计[J].农机化研究,2016,7
[18]朱弘亮,马兆敏等.农业机器人田间导航参照点测距的新方法[J].农机化研究,2016,8
[19]周茉,张学明,刘志刚.基于告诉摄像系统和图像边缘检测的精密排种器设计[J].农机化研究,2016,9
[20]袁佐云,毛志怀,魏青.基于计算机视觉的作物行定位技术[J].中国农业大学学报,2005,10(3):69–72
[21]T.Torii.ResearchinautonomousagriculturevehiclesinJapan[J].ComputersandElectronicsinAgriculture,2000,25(1-2):133-153
[22]袁池,陈军,武涛,等.基于机器视觉的果树行中心线检测算法研究[J].农机化研究,2013,35(3):37一39,45
[23]聂森,王丙龙,郝欢欢,等.基于机器视觉的果园导航中线提取算法研究[J].农机化研究,2016,12
[24]JinlinXue,LeiZhang,TonyE.Drift.Variablefield-of-viewmachinevisionbasedrowguidanceofanagriculturalrobot[J].ComputersandElectronicsinAgriculture,2012,(84):85-91
[25]王伟,张刚,刘九庆,等.农业信息采集机器人设计及试验研究[J].农机化研究,2016,9
[26]朱莉,罗靖,徐胜勇,等.基于颜色特征的油菜害虫机器视觉诊断研究[J].农机化研究,2016,6