目录
摘要及关键词................................................................................................................................. 11引言............................................................................................................................................. 1
1.1视觉的机器人简介................................................................................................................... 1
1.2机器视觉技术的研究现状....................................................................................................... 1
1.3路径规划技术的研究现状....................................................................................................... 2
1.4本课题研究的主要内容........................................................................................................... 22视觉图像的处理与目标定位....................................................................................................... 2
2.1图像预处理................................................................................................................................2
2.2几何定位.................................................................................................................................... 43基于机器视觉的视觉的机器人系统设计................................................................................... 4
3.1视频采集处理模块.................................................................................................................... 5
3.2图像采集模块............................................................................................................................ 6
3.3图像处理模块.......................................................................................................................... 114视觉的机器人的路径规划和运动控制策略............................................................................. 12
4.1基于机器视觉的路径规划策略.............................................................................................. 12
4.1.1无障碍路径规划策略........................................................................................................... 14
4.1.2有障碍路径规划策略........................................................................................................... 14
4.2基于机器视觉的运动控制算法..............................................................................................15
4.2.1无障碍视觉的寻迹控制算法...............................................................................................16
4.2.2有障碍模糊避障控制算法...................................................................................................165结论............................................................................................................................................. 17参考文献....................................................................................................................................... 18谢辞........................................................................................................................................... 19
视觉的机器人路径规划
宋臣法
(德州学院机电系,山东德州253023)
摘要:随着各学科技术的发展,视觉的机器人得到国内外广泛的关注。视觉的机器人的应用潜力巨大,其应用领域包括自动驾驶、未知领域的探索、工农业自动化生产、高危环境无人工作等,视觉的机器人控制技术的发展将对人类生产、生活产生深远影响。视觉的机器人是一个集环境信息采集、图像处理与物件识别、动态决策与规划、运动控制等多项功能于一体的智能系统。视觉的机器人通过本身传感器对外界环境信息的感知、接受和处理,制定出行走路线,并在行进过程中完成躲避障碍物等行为,最终完成指定任务。本文针对机器人路径规划中的几个关键问题,如图像处理、目标定位、路径规划以及决策控制等,进行了研究和讨论。
关键词:机器人视觉;图像处理;路径规划
1引言
1.1视觉的机器人简介
机器人作为人类的新型生产工具,在减轻劳动强度,提高生产率,改变生产模式,把人从危险、恶劣、繁重的工作环境下解放出来等方面,显示出极大的优越性。20世纪60年代以来,机械加工、弧焊、点焊、喷涂、装配、检测等各种类型的机器人相继出现并迅速在工业生产中实用化,这大大提高了各种产品的一致性和质量。然而,随着机器人的不断发展,人们发现,这些固定于某一位置操作的机器人并不能完全满足各方面的需要。因此,自20世纪80年代后期,许多国家有计划地开展了视觉的机器人技术的研究。
视觉的机器人系统主要包括运动控制、传感系统、控制系统等部分。为了实现移动机器人成功的进行路径的规划并躲避障碍物,本系统融合了视觉测距、图像处理、路径规划、自动控制等技术。移动机器人能够实时采集周围环境的图像信息,确定周围障碍物的位置和深度信息,并且根据预先设定的特征识别出跟踪目标,参照障碍物地图实施动态路径规划,实现追踪过程中的自动避障功能。视觉的机器人系统按照系统功能主要可以分为:图像处理、目标定位、路径规划以及决策控制等这4个主要功能模块[1]。
1.2机器视觉技术的研究现状
机器视觉是指用摄像机和计算机代替人眼对目标进行识别、跟踪和测量等。自八十年代以来,机器人视觉的研究已经历了从实险室走向实际应用的发展阶段。从简单的二值图像处理到高分辨率多灰度的图像处理, 从一般的二维信息处理到三维视觉机理以及模型和算法的研究都取得了很大的进展。而计算机工业水平的飞速提高以及人工智能、并行处理和神经元网络等学科的发展, 更促进了机器人视觉系统的实用化和涉足许多复杂视觉过程的研究。机器视觉系统一般采用CCD 摄像机摄取检测图像并转化为数字信号,再采用先
进的计算机硬件与软件技术对图像数字信号进行处理,从而得到所需要的各种目标图像特征值,并由此实现模式识别,坐标计算,灰度分布图等多种功能。然后再根据其结果显示图像,输出数据,发出指令,配合执行机构完成位置调整,好坏筛选,数据统计等自动化流程。与人工视觉相比较,机器视觉的最大优点是精确,快速,可靠,以及数字化。
1.3路径规划技术的研究现状
路径规划问题是机器人学中很重要的一个方面,大多数国内外文献将此问题称为Path Planning, Find-Path Problem, Collision-Free, Obstacle Avoidance, Motion Planning, etc。根据对环境的了解,路径规划可分为全局规划、局部规划和全局与局部相结合[2]。其中,全局规划需要知道作业环境的全部信息,又称静态或离线规划。而局部规划的作业环境信息全部未知或部分未知,即障碍物的尺寸、形状和位置等信息必须通过传感器获得,又称动态或在线规划。下面根据机器人获知环境信息程度的不同,从全局规划和局部规划来归纳和总结国内外学者对路径规划所做的研究工作。
1.4本课题研究的主要内容
课题的主要目的就是以视觉的机器人为研究背景,研究以机器视觉感知导航线和障碍物,能够视觉的导航并避开障碍物的图像处理、目标定位、路径规划、决策控制等相关问题。
课题的主要工作内容如下:
①针对视觉的机器人,研究机器视觉图像的预处理;根据摄像机的投影模型提出了一种几何定位方法,用于对目标进行定位。
②建立履带式视觉的机器人的运动,结合机器视觉,设计相应的路径规划策略和运动控制策略。
2视觉图像的处理与目标定位
在视觉的机器人的相关技术的研究中,视觉信息的检测与提取以及目标定位具有重要的意义和作用。本文以视觉的机器人为研究背景,以机器视觉感知导航线和障碍物,通过图像预处理、边缘检测提取导航线和障碍物的轮廓,并用几何方法对障碍物进行定位。
2.1图像预处理
图像预处理一般包括增强、滤波、细化等部分和图像的分割及二值化处理部分。文中的视觉的机器人仅采集灰度图像,此处只介绍二值化处理。无论采用何种处理方法,图像的获取是基础,为了保证图像处理算法的一致性和适用性,文中将采集到的图像数据还原
为与之对应的灰度图像,在此基础上进行二值化及其它处理,所获得的结果将更可信、可用。视觉的机器人采集的灰度图像的分辨率为25x 81,将图像数据还原为与之对应的灰度图像如图1
所示。
(a)导航线左侧有障碍物(b)导航线中间有障碍物
图1履带式视觉的机器人采集的灰度图像(c)导航线右侧有障碍物
获得了灰度图像之后,需要将图像中的目标和背景分离开来,二值化是最常见的图像分割方法。二值化是取阈值方法来分割灰度图像的一个特例,步骤如下:首先对一幅取值在g min 和g max 之间的图像确定一个阈值T (g min
⎧1g (x , y ) =⎨⎩0f (x , y )
根据上述原理,对灰度图像进行二值化处理,处理的效果如图2
所示:
(a)导航线左侧有障碍物(b)导航线中央有障碍物
图2灰度图像的直方图及二值化效果(c)导航线右侧有障碍物
图2针对视觉的机器人在不同环境下所获取的灰度图像进行二值化处理的结果,由图
(a)、(b)、(c)可看出,三种情况下的灰度直方图均为双峰分布,在0.45~0.7这一灰度范围较亮的像素分布得比较集中, 而较暗的像素则集中分布在0.1~0.3灰度级。采用单阈值的方法进行二值化处理, 由图可以看出,二值化处理的整体效果良好。
2.2几何定位
视觉的机器人根据自身的位姿做出综合决策、规划路径,可见对障碍物进行定位关系重大。
目前单目视觉系统一般采用对应点标定法来获取图像的位姿信息,对应点标定法是指通过不同坐标系中对应点的对应坐标求解坐标系的转换关系[3]。但对应点标定法,在标定过程中,由于受器材限制,仍无法做到十分精确地记录一个点在世界坐标系和图像坐标系中的对应坐标。如果其坐标不够精确,那么得到的转换矩阵的精确度也会受到制约,坐标转换结果的精度也会因此而波动。此外该方法的标定过程复杂,适用性有限。本节中采用几何方法进行目标定位,它是根据摄像机投影模型,如图3所示,通过几何方法来得到路
面坐标系和图像坐标系之间的关系,进而获得机器人当前的位姿。
(a)投影关系
图3摄像机投影模型(b)投影平面
视觉信息的检测与提取以及目标定位是是觉的机器人进行路径规划的基础。为了使图像处理效果更加真实,对机器人所采集的图像数据进行还原,获得与之对应的灰度图像,在此基础上对图像进行二值化处理;根据摄像机的投影模型,提出一种基于等空间间距采样的几何定位方法,利用几何关系对障碍物进行定位。
3基于机器视觉的视觉的机器人系统设计
为了研究路径规划算法,也为了方便研究视觉的机器人的视觉图像处理、几何定位、路径规划及运动控制等问题,本文设计并制作了履带式视觉的机器人平台,本章将介绍履
带式视觉的机器人的设计、制作过程。
一个完整的履带式视觉的机器人系统应包括移动机构、控制系统、传感器系统、通讯系统等部分。履带式视觉的机器人的硬件平台主要包括视频采集处理模块、电机驱动模块,此外电源模块也是必需的。视频采集处理模块由控制器和视频输入处理器构成。控制器是系统的核心部件,它依照行、场同步信号采集视频图像并进行图像处理及路径规划,根据处理结果对机器人两侧履带的直流电动机实施控制,并且能够控制摄像头。本文选用DSP 芯片TMS320F2812作为核心控制单元,它内部含有两个事件管理器,每个事件管理器都有PWM 模块,可用于直流电动机的PWM 控制。TMS320F2812含有18K 的片内SARAM、128K的Flash,完全能够胜任数据量不太大的图像处理操作。
3.1视频采集处理模块
视频采集处理模块包括TMS320F2812和SAA7111,TMS320F2812通过I 2C 对SAA7111的内部寄存器进行读写,以产生行、场同步信号以及YUV 信号,TMS320F2812根据行、场同步信号采集YUV 信号并进行相关的图像处理工作。
TMS320F2812是TI 公司推出的基于TMS320C2xx 内核的定点数字信号处理器。器件上集成了多种先进的外设,为电动机及其他运动控制领域应用的实现提了良好的平台[4]。
SAA7111有四条视频信号输入引脚:AI11、AI12、AI21、AI22。当视频信号从上述一引脚进入之后,首先进行模拟数字转换处理,然后通过缓冲器输出一路到AOUT 端用于监视,另一路经A/D后产生数字色度信号和亮度信号分别对其进行处理。经过处理后的亮度信号一路送到色度信号处理电路经过综合处理后产生Y 、U 、V 信号,再经过格式化后从16位的VPO 输出;另一路进入同步分离电路,并经数字PLL 产生行、场同步信号HS 和VS, 同时PLL 驱动时钟发生电路产生与HS 锁定的时钟信号LLC 和LLC2。
色度信号处理电路的工作过程通常是:从A/D出来的8位数字色度信号被送入平方解码器,在此利用了两个副载波信号,其中副载波信号的相位与解码器成00或900的关系,频率由当前所输入视频信号的色彩制式所决定。从平方解码器出来的色差信号经过一个低通滤波器后便可获得所需带宽的色差信号。Y 信号也被送到色度信号处理器,经过延时补偿与梳妆滤波后的UV 信号一起进入RGB 变换矩阵以产生RGB 信号,然后通过格式选择器由VPO 输出。所有这些功能均是在I 2C 总线控制下完成。(Inter IC Bus )总线是Philips I 2C
公司推出的芯片间串行传输总线。它以总线串行数据(SDA )和串行时钟(SCL )两条线使连接在该总线上的器件进行数据传输,实现了完善的全双工同步数据传送,可以很方便的扩展各种外围器件。每个器件的识别由一个特定的地址确定。除了作为发送器和接收器
外,该器件还可以被设定为主控器和被控器。主控器用于启动总线上的数据发送,并产生数据传输所需的时钟信号,其它被寻址的器件均认为是被控器。由于采用了器件地址的硬件配置方法,通过软件寻址完全避免了器件的片选线寻址方式[5]
。
图4TMS320F2812与SAA7111的接口连接图
SAA7111在典型的基于DSP 作为开发平台的系统中,其所有的可编程功能是通过I 2C 对内部的32个寄存器相应的控制位配置相应的数值来完成的。由于TMS320F2812内部没有I 2C 总线接口,本系统中,通过TMS320F2812的McBSP 来模拟I 2C 总线进而达到控制SAA7111的目的。TMS320F2812作为I 2C 总线的主控器通过它的McBSP 提供SCL 时钟以及向SAA7111(从设备)内部的寄存器写入相应的参数,使得SAA7111按照一定的应用需求正常运行。TMS320F2812与SAA7111的I 2C 接口图如图4所示。
3.2图像采集模块
图像采集是图像处理的基础,采集的数据必须准确、可靠,才能保证履带式视觉的机器人正常行驶。该模块主要实现两个功能:SAA7111的初始化、图像数据采集。
①SAA7111的初始化
SAA7111是摄像头与TMS320F2812之间的桥梁,对SAA7111进行初始化是图像采集的基础,也是系统软件设计的关键一环。SAA7111的初始化涉及两个关键流程:I 2C 总线时序的设计、SAA7111内部寄存器控制字的配置,下面分别介绍设计流程。
1) I 2C 总线时序设计
a. I 2C 总线上数据的有效性
总线备用时SDA 和SCL 都必须保I 2C 总线的时钟线SCL 和数据线SDA 都是双向传输线,
持高电平状态,只有关闭I 2C 总线才使SCL 钳位在低电平,在I 2C 总线上每传输一位数据都有一个时钟脉冲相对应[6]。I 2C 总线数据传输时,在时钟线高电平期间数据线上必须保持有稳定的逻辑电平状态,高电平为数据1,低电平为数据0。只有在时钟线为低电平时,才允许数据线上的电平状态变化。I 2C 总线上的数据位传送图如图5所示。
图5I 2C 总线上的数据位传送图
b . I 2C
总线上的数据传递时序
图6I 2C 总线的数据传送时序
总线上传送的每一帧数据均为一个字节,但启动I 2C 总线后,传送的字节数没有限制只要求每传送一个字节后,对方回应一个应答位。在发送时,首先发送的是数据的最高位,每次传送开始有起始信号,结束时有停止信号。在总线传送完一个字节后,可以通过对时钟线的控制,使传送暂停。I 2C 总线上数据传送时序如图6所示。
c . I 2C
总线上的时序信号
图7I 2C 总线上的信号
I 2C 总线为同步传输总线,总线信号完全与时钟同步。I 2C 总线上与数据传送有关的信号有起始信号(S)、终止信号(P)、应答信号(A)以及位传送信号等,如图7所示。起始信号(S)——在时钟SCL 为高电平时,数据线SDA 出现由高电平向低电平变化时,启动I 2C 总线。终止信号(P)——在时钟SCL 为高电平时,数据线出现由低到高的电平变化时,将停止I 2C 总线数据传送。应答位信号(A)——I 2C 总线上第9个时钟脉冲对应于应
答位,相应数据线上低电平时为“应答”信号(A),高电平时为“非应答”信号(-A)。数据位传送在I 2C 总线启动后或应答信号后的第1~8个时钟脉冲对应于一个字节的8位数据传送。脉冲高电平期间,数据串行转送,低电平期间为数据准备,允许总线上数据电平变换。为了保证I 2C 总线数据的可靠传输,对总线上的信号时序做了严格规定,I 2C 总线传输时,有起始位(S)、终止位(P)、发送“0”及应答位(A)、发送“1”及非应答位(_A)等信号。根据上述I 2C 总线的时序要求,本文用McBSP 模拟I 2C 总线,其起始信号与终止信号的设计流程图如图8
所示。
(a)起始
图8I 2C 总线时序设计流程图(b)终止
2)寄存器的配置
I 2C 总线时序设计完成后紧接着需要对SAA7111内部的寄存器进行配置,SAA7111的工作模式、输入端口选择、色彩控制等图像采集中需要控制的参数都由其内部寄存器决定。SAA7111内部有32个寄存器(Subaddress00~1FH),其中22个是可编程的。00H、1AH~1CH、1FH是只读寄存器,其中00H 描述的是芯片版本信息;1AH~1CH是文本信息检测和解码寄存器,一般很少用到;1FH用来描述芯片的状态;02H~12H是可读写寄存器,02H用于设置模拟视频信号输入方式(共8种),03H~05H用于设置增益控制方式,06H~12H主要用于设置解码方式。通过配置这些寄存器可以设置行同步信号的开始和结束位置,并可确定亮度、色度、饱和度的大小以及输出图像数据信号的格式[7]。
TMS320F2812通过IC 总线对所有的寄存器进行读写控制。当SAA7111工作在写状态时,首先发送SAA7111芯片的从器件写地址,检测到从机应答信号后发送SAA7111芯片的器件内部子地址,检测到从机应答信号后再发送各个子地址的控制命令数据。每发送一个控制命令,从地址会自动加1。对于读工作状态,则是首先发送从器件写地址,检测到从机应答信号后发送从器件内部子地址,检测到从机应答信号后重新初始化I 2C 总线,检测到从
机应答信号后再写入从器件读地址,检测到从机应答信号后读取子地址的数据。
SAA7111的读写流程图见图
9。
(a)写流程
图9SAA7111初始化的流程图(b)读流程
根据上述读写流程,对SAA7111进行写48H 操作(SAA7111的写地址为48H,读地址为49H),其数据传送图如图10所示。由图10可以看出,启动I 2C 总线后,接下来的8个时钟脉冲对应48H 的8个数据位,第9个时钟脉冲对应从机的应答位0,完全符合I 2C 总线的数据传
送时序要求。
图10写48H 的传送图
德州学院机电工程系2011届自动化专业毕业论文(设计)
相应的21个寄存器初始化值如表1所列。
Sub Address
02H 05H 08H 0BH 0EH 11H 15H
Data C0H 00H 88H 47H 01H 1EH 00H
Sub Address
03H 06H 09H 0CH 0FH 12H 16H
Data 23H EBH 01H 40H 00H 01H 00H
Sub Address
04H 07H 0AH 0DH 10H 13H 17H
Data 00H E0H 80H 00H 40H 00H 00H
表1寄存器的初始化值
②图像数据采集
CCD 摄像头提供的模拟视频信号经过SAA7111的前期处理后,输出行、场同步信号以及YUV 数字图像信号,将这两个同步信号分别接入TMS320F2812的两个外围中断NMI、XINT1,利用中断控制数据采集。由于履带式视觉的机器人采集的主要目标是导航线,背景较为单一,所以文中只采集了灰度信号,即Y 信号。视频信号处理的方框图如图11所
示。
图11视频信号处理框图
1)采样时间标定
本文依据等空间间距的原则进行图像采集,在采集之前需对采样时间进行标定。采样时间的标定对摄像头的安装高度有一定的要求,即要保证摄像头的高度和俯角不变,本文进行采样时间标定的条件是:摄像头距地面高度39.5cm;近处距摄像头的支撑轴55.5cm,视野宽度57cm;远处距摄像头的支撑轴151.5cm,视野宽度98cm。在该条件下对25个采样行的采样时间进行标定,标定结果见表2。
表2采样时间分配表
按照表2的采样时间进行采样,能够确保25个采样行平均分布在96cm 的范围内。2)采样规划
摄像头采用隔行扫描的方式,每帧图像包含两场:奇场和偶场,经SAA7111分离出的行、场同步信号个数为每场270个行同步信号。实际没必要对这270行中的每一行视频信号都进行采样,如此会增大DSP 存储和数据处理的负担(TMS320F2812含有18Kx16SARAM),甚至会超出DSP 的处理能力。再者,这样做是没必要的,事实上,几何定位算法只要求在纵向上有一定的分辨能力就足够。因此,只需对这270行视频信号中的某些行进行采样即可。综合以上考虑,在这270行中采样25行,作为数据处理的基础。
由于DSP 内部含有PLL 寄存器,通过配置它可以灵活设置CPU 时钟频率,文中将DSP 的时钟频率设置为60MHz,在该条件下,每个采样行采样81个点,即一幅图像的分辨率为25×81。
3)图像采集时间
每场图像持续时间为20ms,共有270行(每行约64us),相邻两场间隔40ms,每隔10场采集1场,即每400ms 采集一场图像,每场采样其中的25行,所以采样占用的时间约为25×64=1600us,因此,大部分的CPU 时间可用于图像处理、路径规划以及运动控制。
4)数据存储及中断分配
利用一个25×81的二维数组save[25][81]存储对应的25×81个像素点;利用中断分配采样时序。场中断个数达到设定值时进行采样初始化并开启行中断;行中断来时对其计数,计数值到达设定值时开始采样。
3.3图像处理模块
图像处理模块包括图像预处理、边缘检测、水平校正。完整的图像处理流程图如图12所示。
图12图像处理流程图
4视觉的机器人的路径规划和运动控制策略
建立履带式视觉的机器人的运动及转向数学模型是进行路径规划、运动控制等研究的前提。本文所研究的履带式视觉的机器人的控制与轮式机器人的控制有着很大的区别。一般轮式机器人是通过转向轮的角度来实现转向,而履带式视觉的机器人则是通过改变两个驱动轮的电机转速,利用两轮的差速来实现转向[8]。本文建立了履带式视觉的机器人的运动及转向数学模型,依据导航线的识别以及障碍物的定位,提出一种计算碰撞危险系数的新方法,根据碰撞危险系数设计了视觉的寻迹策略和模糊避障策略,并设计了相应的控制算法,通过履带式视觉的机器人平台验证了路径规划和运动控制算法的有效性。
4.1基于机器视觉的路径规划策略
由前文的内容可知,对视觉的机器人采集的视频图像进行二值化、边缘检测、几何定位等图像处理工作后,便可获得导航线以及障碍物的方位信息,视觉的机器人根据这些信息做出综合决策,规划合适的行驶路径。在有关机器人避障的问题上,模糊逻辑法采用的比较多,该方法模拟驾驶员的驾驶思维,将模糊控制本身所具有的鲁棒性与基于生理学上的“感知——动作”行为结合起来,主要是根据目标点的方位以及机器人与障碍物之间的距离来制定控制规则。当目标点位于障碍物的左侧时,机器人向左转;当目标点位于障碍物右侧时,机器人向右转[9][10]。这样的设计仅考虑了两方面的因素,会丢失信息,如图13所示。图13中O 为机器人当前位置,A为目标点,K为障碍物,OV为机器人的速度方向,也即前面提到的机器人坐标系下的y c 轴,OC 为机器人坐标系下的x c 轴,d 为机器人与障碍物间的距离,δ为目标点相对于障碍物的方位角。只要d 在机器人与障碍物的安全间距内就进行避障,如果此时机器人正朝着目标方向前进,而机器人与障碍物间的横向距离在安
全间距以外,那么这种情况下的避障操作被认为是无效的,可以忽略障碍物,机器人仍沿原方向继续前进。由此可以得出要防止机器人避障失误还应该考虑机器人与障碍物间的横
向距离。
图13机器人前进方向与目标位置关系图
本文设计的避障策略在模糊逻辑法的基础上进行了改进,考虑了三方面的因素:履带式视觉的机器人与障碍物间的横向距离X dis 、履带式视觉的机器人与障碍物间的纵向距离
Y dis 、障碍物相对于导航线的方位Dir。履带式视觉的机器人与障碍物间的关系如图14所
示。
图14履带式视觉的机器人与障碍物的相对关系
图中O 为机器人当前位置,Q为导航线,K为障碍物,OV为机器人的速度方向,即前面提到的机器人坐标系下的y c 轴,OC为机器人坐标系下的x c 轴,X dis 为履带式视觉的机器人与障碍物间的横向距离,Y dis 为履带式视觉的机器人与障碍物间的纵向距离,Dir为障碍物相对于导航线的方位,X dis 、Y dis 、Dir由前面的几何定位算法获得。
对图14进行分析,可做出以下推断:①若X dis 小于横向安全间距,Y dis 大于纵向安全间距,履带式视觉的机器人无需避障;②若X dis 大于横向安全间距,Y dis 小于纵向安全间距,履带式视觉的机器人也无需避障;③只有当X dis 与Y dis 均位于各自的安全间距之内时履带式
视觉的机器人才进行避障。可见X dis 与Y dis 并不是两个独立的参数,它们是履带式视觉的机器人准确避障的主要依据,文中用碰撞危险系数来综合描述X dis 与Y dis 对避障的影响。碰撞危险系数D
由下式来表示:
(2)
(3)
(4)
式中:
Y(t):反应纵向距离信息;X(t):反应横向距离信息;
Y dis :履带式视觉的机器人与障碍物间的纵向距离;X dis :履带式视觉的机器人与障碍物间的横向距离;
Y v :履带式视觉的机器人与障碍物间的纵向安全间距;X h :履带式视觉的机器人与障碍物间的横向安全间距;
由式(2)、(3)、(4)可知D 有两种取值:D=0或D=1,此外,规定当履带式视觉的机器人视野里没有障碍物时D=0。根据D 值的不同,履带式视觉的机器人做出不同的决策。4.1.1无障碍路径规划策略
当D=0时,障碍物对履带式视觉的机器人不构成威胁或机器人视野中无障碍物,可以认为机器人的视野中只有导航线,此时沿着导航线行驶是最合适的方案,即视觉的寻迹策略。
4.1.2有障碍路径规划策略
当D=1时,表明履带式视觉的机器人已进入危险区域,需启动避障操作以确保行驶的安全。履带式视觉的机器人根据X dis 的大小进行模糊避障,由于Dir 有三种情况,相应的避障策略也有以下三种情况:
①当Dir=-1时,障碍物位于导航线左侧,机器人右转避障。机器人根据X dis 的大小决定右转的角度:当X 较小时,右转的角度较大;当X dis 较大时,右转的角度较小;当X dis 大
小适中时,右转的角度适中。
②当Dir=1时,障碍物位于导航线右侧,机器人左转避障。机器人根据X dis 的大小决定左转的角度:当X dis 较小时,左转的角度较大;当X dis 较大时,左转的角度较小;当X dis 大小适中时,左转的角度适中。
③当Dir=0时,障碍物位于导航线中央,机器人右转避障。避障策略与Dir=-1时相同。
通过分析,可以得出:在无障碍物的情况下,视觉的寻迹策略占主导地位,履带式视觉的机器人沿着导航线行驶;在有障碍物的情况下,模糊避障策略和视觉的寻迹策略交替存在,视觉的机器人进行避障操作后,当D=0时,机器人停止避障,视觉的寻迹策略占主导地位,机器人沿着导航线行驶,当D=1时,模糊避障策略占主导地位,机器人进行避障操作。在整个避障过程中,机器人在模糊避障策略与视觉的寻迹策略之间反复,最终机器人能够安全避开障碍物,沿着导航线行驶。
下面以导航线左侧有障碍物为例阐述完整的避障过程,如图15
所示。
图15履带式视觉的机器人的避障示意图
图15中的O、Q、K、OC、X dis 代表的意思同图14,Y v 表示机器人与障碍物间的纵向安全间距,X h 表示机器人与障碍物间的横向安全间距,OM为机器人坐标系下的y c 轴,OV为机器人的速度方向。履带式视觉的机器人一个完整的避障过程如下:当机器人与障碍物间的横向和纵向距离均小于各自的安全间距时,碰撞危险系数为1,机器人进行避障操作。机器人根据X dis 的大小确定右转的角度:当X dis 较小时,右转的角度较大;当X dis 较大时,右转的角度较小;当X dis 大小适中时,右转的角度适中。机器人沿着右转的方向行驶,当碰撞危险系数为0时机器人视觉的寻迹,最终沿着导航线行驶。
4.2基于机器视觉的运动控制算法
4.2.1无障碍视觉的寻迹控制算法
视觉的寻迹控制算法可由下式来描述:
(5)
式中:
U O :左右两侧电机的初始控制量;U L :左侧电机的控制输出;U R :右侧电机的控制输出;p k :比例系数;
C m :图像平面中第m 行导航线的横坐标;
A:路况阈值,用于表征路况,该值可通过实验确定;
对上式的直观描述:当C m 在阈值A 附近波动时,可以认为该处导航线为直线,履带式视觉的机器人沿直线行驶,左右两轮的速度不变;当C m 超出阈值A 时,表明导航线有弯曲的趋势,增大其中一侧电机的控制量,另一侧电机的控制量保持不变,保证履带式视觉的机器人能够准确跟踪导航线。4.2.2有障碍模糊避障控制算法
根据Dir 的不同情况,模糊避障控制算法有以下三种情况:
①当Dir=-1时,障碍物位于导航线左侧,机器人右转避障,避障算法可由下式来描
述:
(6)
机器人沿右转的方向运动,当D=0时,履带式视觉的机器人进行视觉的寻迹控制。②当Dir=1时,障碍物位于导航线右侧,机器人左转避障:避障算法可由下式来描述:
(7)
机器人沿左转的方向运动,当D=0时,履带式视觉的机器人进行视觉的寻迹控制。③当Dir=0时,障碍物位于导航线中央,默认机器人右转,控制算法与Dir=-1时相同。
式(6)、(7)中:
U L :左侧电机的控制输出;U R :右侧电机的控制输出;
k s 、k m 、k l :比例系数,三者的关系为:k s 〈k m 〈k l ;
X dis :履带式视觉的机器人与障碍物间的横向距离;
X h :履带式视觉的机器人与障碍物间的横向安全间距;
本文通过依次对履带式视觉的机器人在避障过程中的九个关键位置进行分析,得出结果为履带式视觉的机器人能够安全地避开障碍物,表明本文所研究的路径规划算法是有效的。此外,由定位结果可以看出,本文所提出的基于等空间间距的几何定位方法是有效的,在一定的误差范围内能够较准确地对障碍物进行定位。
5结论
本文以视觉的机器人为研究背景,研究了以机器视觉感知导航线和障碍物,能够视觉的导航并避开障碍物的图像处理、目标定位、路径规划、决策控制等相关问题,所获得的主要结论和成果如下:
①对机器人所采集的图像数据进行预处理,根据摄像机的投影模型,提出一种基于等空间间距采样的几何定位方法,利用几何关系对障碍物进行定位。
②建立了履带式视觉的机器人的运动数学模型,依据导航线的识别以及障碍物的定位,提出一种计算碰撞危险系数的新方法,根据碰撞危险系数设计了视觉的寻迹控制算法和模糊避障控制算法。
参考文献:
[1]李兹.基于立体视觉的月球车定位和路径规划[C].哈尔滨工业大学:李兹,2006,11.
[2]宋振华,战兴群,张炎华.基于多传感器融合的水下机器人导航系统[J].微计算机信息,2008,24(1.2) :240.241.
[3]徐友春, 王荣本, 李克强, 赵玉凡. 一种基于直线模型的道路识别算法研究[J].中国图象图形学报,2004,9(7):858-864.
[4]徐江伟, 岳宏, 赵海文, 杜春红. 基于视觉和超声信息的机器人行为控制[J].仪器仪表学报,2006,27(7):734-738.
[5]张捍东,董保华,岑豫皖,郑睿. 栅格编码新方法在机器人路径规划中的应用[J].华中科技大学学报,2007,35(1):50-53.
[6]郑秀敏, 顾大鹏, 刘相术. 基于栅格法-模拟退火法的机器人路径规划[J].机器人技术,2007,23(2-2):247-249.
[7]李竞驰.果园多作业辅佐机器人系统研究与设计[C].沈阳工业大学:李竞驰,2007,1.[8]石为人,周学益.室内清洁机器人避障路径规划研究[J].计算机应用,2007,27(6):378.379.[9]张宏烈.移动机器人全局路径规划的研究[C].哈尔滨工程大学:张宏烈,2002,1.
[10]张纯刚.基于滚动窗口的移动机器人路径规划[J].系统工程与电子技术,2002,24(6):63.65.
Path Planning Based on Visual Robots
Xiao Xiaolin
(Mechanicaland Electronic Engineering Department of Dezhou University, Dezhou Shandong, 253023) Abstract :With the development of various technologies ,visual robots have been paid close attention to .This is due to the great application potential of mobile robot .Possible applications include automatic freeway driving, exploration of unknown regions ,automatic production of industry and agriculture ,working under high risk environment .The development of it will immensely influence human production and life .Visual robot is an intelligent system ,which combines the technologies of environment information collection ,image processing and objects recognition ,dynamic decision—making,path—planning,and motion contr01.Visual robot percepts the environment with the help of sensors ,designs the routes and accomplish obstacle avoidance during the travel .The paper researches and discusses several key issues of the visual robot path-planning and obstacle avoidance system .The key issues include that image processing, geometrical positioning ,path-planning and obstacle avoidance strategies.
Key Words :Robot Vision, Image Processing, Path-Planning
谢辞
四年的大学生生活临近尾声,也意味着我的学生时代即将结束,回想这段幸福美好的时光,感慨万千、心有不舍,心里面要感谢的人太多。
在这四年中,我的辅导员徐静老师和杨光军老师给予了我精心的指导和悉心的关怀,无论是学业还是人际交往无不渗透着导师的谆谆教诲。我的导师贺廉云副教授在工作和生活上给予了我无私的关爱和支持,她的严谨的治学态度、渊博的知识使我深受启迪。指导我写毕业论文的冉玉梅导师的平易近人、治学严谨、高度认真负责使我没办法不尊敬她,在此我要向我的辅导员和导师致以最衷心的感谢和深深的敬意。
特别要感谢我的父母、亲人对我学业的支持和无私奉献。
另外,感谢学校给予我这样一次机会,能够独立地完成一个课题,并在这个过程当中,给予我们各种方便,使我们在即将离校的最后一段时间里,能够更多学习一些实践应用知识,增强了我们实践操作和动手应用能力,提高了独立思考的能力。再一次所有关心和帮助过我的领导、老师、同学和朋友表示由衷的谢意!衷心地感谢在百忙之中评阅论文和参加答辩的各位老师、同学!
注意事项
一、页边距:上下左右2.0厘米左侧装订装订线0.5厘米
二、⑴页眉页脚从论文正文开始此页结束。其他部分不能有页眉页脚⑵页眉格式:仿宋_GB2312小四两端对齐页眉内容:德州学院机电工程系
计)
⑶页脚从论文正文开始编写页码格式:宋体小四右对齐
三、文中数学公式请用Mathtype 数学公式编辑器。居中,后面序号从1开始按自然数升序标注。例如:
…届…专业毕业论文(设
12……
德州学院机电工程系2011届
1
自动化专业毕业论文(设计)
⎰0x =下载:
(1)校内FTP 上下载
(2)网上下载破解版(天空软件站或者其他网站)。
(1)
四、文中各种通用图表制作请自行寻找相关软件如word;Visio 等
专业图表制作请询问指导教师。
德州学院毕业(论文)设计评语
院(系):汽车工程系学生姓名:题
目:
宋臣法
专业:
交通运输
学号:[1**********]9
视觉的机器人的路径规划
指导教师评语:
评定成绩:年月日
德州学院毕业(论文)设计评语
院(系):汽车工程系学生姓名:题
目:
专业:交通运输学号:
评阅人评语:
评定成绩:评阅人签名:
年
月
日
德州学院毕业(论文)设计评语
院(系):汽车工程系学生姓名:题
目:
专业:交通运输学号:
答辩小组评语:
答辩小组组长签名:
年
指导教师评定成绩(30%)答辩小组评定成绩(40%)综合评定成绩
答辩委员会主任签字:评阅人评定成绩(30%)
月
日
年月日
目录
摘要及关键词................................................................................................................................. 11引言............................................................................................................................................. 1
1.1视觉的机器人简介................................................................................................................... 1
1.2机器视觉技术的研究现状....................................................................................................... 1
1.3路径规划技术的研究现状....................................................................................................... 2
1.4本课题研究的主要内容........................................................................................................... 22视觉图像的处理与目标定位....................................................................................................... 2
2.1图像预处理................................................................................................................................2
2.2几何定位.................................................................................................................................... 43基于机器视觉的视觉的机器人系统设计................................................................................... 4
3.1视频采集处理模块.................................................................................................................... 5
3.2图像采集模块............................................................................................................................ 6
3.3图像处理模块.......................................................................................................................... 114视觉的机器人的路径规划和运动控制策略............................................................................. 12
4.1基于机器视觉的路径规划策略.............................................................................................. 12
4.1.1无障碍路径规划策略........................................................................................................... 14
4.1.2有障碍路径规划策略........................................................................................................... 14
4.2基于机器视觉的运动控制算法..............................................................................................15
4.2.1无障碍视觉的寻迹控制算法...............................................................................................16
4.2.2有障碍模糊避障控制算法...................................................................................................165结论............................................................................................................................................. 17参考文献....................................................................................................................................... 18谢辞........................................................................................................................................... 19
视觉的机器人路径规划
宋臣法
(德州学院机电系,山东德州253023)
摘要:随着各学科技术的发展,视觉的机器人得到国内外广泛的关注。视觉的机器人的应用潜力巨大,其应用领域包括自动驾驶、未知领域的探索、工农业自动化生产、高危环境无人工作等,视觉的机器人控制技术的发展将对人类生产、生活产生深远影响。视觉的机器人是一个集环境信息采集、图像处理与物件识别、动态决策与规划、运动控制等多项功能于一体的智能系统。视觉的机器人通过本身传感器对外界环境信息的感知、接受和处理,制定出行走路线,并在行进过程中完成躲避障碍物等行为,最终完成指定任务。本文针对机器人路径规划中的几个关键问题,如图像处理、目标定位、路径规划以及决策控制等,进行了研究和讨论。
关键词:机器人视觉;图像处理;路径规划
1引言
1.1视觉的机器人简介
机器人作为人类的新型生产工具,在减轻劳动强度,提高生产率,改变生产模式,把人从危险、恶劣、繁重的工作环境下解放出来等方面,显示出极大的优越性。20世纪60年代以来,机械加工、弧焊、点焊、喷涂、装配、检测等各种类型的机器人相继出现并迅速在工业生产中实用化,这大大提高了各种产品的一致性和质量。然而,随着机器人的不断发展,人们发现,这些固定于某一位置操作的机器人并不能完全满足各方面的需要。因此,自20世纪80年代后期,许多国家有计划地开展了视觉的机器人技术的研究。
视觉的机器人系统主要包括运动控制、传感系统、控制系统等部分。为了实现移动机器人成功的进行路径的规划并躲避障碍物,本系统融合了视觉测距、图像处理、路径规划、自动控制等技术。移动机器人能够实时采集周围环境的图像信息,确定周围障碍物的位置和深度信息,并且根据预先设定的特征识别出跟踪目标,参照障碍物地图实施动态路径规划,实现追踪过程中的自动避障功能。视觉的机器人系统按照系统功能主要可以分为:图像处理、目标定位、路径规划以及决策控制等这4个主要功能模块[1]。
1.2机器视觉技术的研究现状
机器视觉是指用摄像机和计算机代替人眼对目标进行识别、跟踪和测量等。自八十年代以来,机器人视觉的研究已经历了从实险室走向实际应用的发展阶段。从简单的二值图像处理到高分辨率多灰度的图像处理, 从一般的二维信息处理到三维视觉机理以及模型和算法的研究都取得了很大的进展。而计算机工业水平的飞速提高以及人工智能、并行处理和神经元网络等学科的发展, 更促进了机器人视觉系统的实用化和涉足许多复杂视觉过程的研究。机器视觉系统一般采用CCD 摄像机摄取检测图像并转化为数字信号,再采用先
进的计算机硬件与软件技术对图像数字信号进行处理,从而得到所需要的各种目标图像特征值,并由此实现模式识别,坐标计算,灰度分布图等多种功能。然后再根据其结果显示图像,输出数据,发出指令,配合执行机构完成位置调整,好坏筛选,数据统计等自动化流程。与人工视觉相比较,机器视觉的最大优点是精确,快速,可靠,以及数字化。
1.3路径规划技术的研究现状
路径规划问题是机器人学中很重要的一个方面,大多数国内外文献将此问题称为Path Planning, Find-Path Problem, Collision-Free, Obstacle Avoidance, Motion Planning, etc。根据对环境的了解,路径规划可分为全局规划、局部规划和全局与局部相结合[2]。其中,全局规划需要知道作业环境的全部信息,又称静态或离线规划。而局部规划的作业环境信息全部未知或部分未知,即障碍物的尺寸、形状和位置等信息必须通过传感器获得,又称动态或在线规划。下面根据机器人获知环境信息程度的不同,从全局规划和局部规划来归纳和总结国内外学者对路径规划所做的研究工作。
1.4本课题研究的主要内容
课题的主要目的就是以视觉的机器人为研究背景,研究以机器视觉感知导航线和障碍物,能够视觉的导航并避开障碍物的图像处理、目标定位、路径规划、决策控制等相关问题。
课题的主要工作内容如下:
①针对视觉的机器人,研究机器视觉图像的预处理;根据摄像机的投影模型提出了一种几何定位方法,用于对目标进行定位。
②建立履带式视觉的机器人的运动,结合机器视觉,设计相应的路径规划策略和运动控制策略。
2视觉图像的处理与目标定位
在视觉的机器人的相关技术的研究中,视觉信息的检测与提取以及目标定位具有重要的意义和作用。本文以视觉的机器人为研究背景,以机器视觉感知导航线和障碍物,通过图像预处理、边缘检测提取导航线和障碍物的轮廓,并用几何方法对障碍物进行定位。
2.1图像预处理
图像预处理一般包括增强、滤波、细化等部分和图像的分割及二值化处理部分。文中的视觉的机器人仅采集灰度图像,此处只介绍二值化处理。无论采用何种处理方法,图像的获取是基础,为了保证图像处理算法的一致性和适用性,文中将采集到的图像数据还原
为与之对应的灰度图像,在此基础上进行二值化及其它处理,所获得的结果将更可信、可用。视觉的机器人采集的灰度图像的分辨率为25x 81,将图像数据还原为与之对应的灰度图像如图1
所示。
(a)导航线左侧有障碍物(b)导航线中间有障碍物
图1履带式视觉的机器人采集的灰度图像(c)导航线右侧有障碍物
获得了灰度图像之后,需要将图像中的目标和背景分离开来,二值化是最常见的图像分割方法。二值化是取阈值方法来分割灰度图像的一个特例,步骤如下:首先对一幅取值在g min 和g max 之间的图像确定一个阈值T (g min
⎧1g (x , y ) =⎨⎩0f (x , y )
根据上述原理,对灰度图像进行二值化处理,处理的效果如图2
所示:
(a)导航线左侧有障碍物(b)导航线中央有障碍物
图2灰度图像的直方图及二值化效果(c)导航线右侧有障碍物
图2针对视觉的机器人在不同环境下所获取的灰度图像进行二值化处理的结果,由图
(a)、(b)、(c)可看出,三种情况下的灰度直方图均为双峰分布,在0.45~0.7这一灰度范围较亮的像素分布得比较集中, 而较暗的像素则集中分布在0.1~0.3灰度级。采用单阈值的方法进行二值化处理, 由图可以看出,二值化处理的整体效果良好。
2.2几何定位
视觉的机器人根据自身的位姿做出综合决策、规划路径,可见对障碍物进行定位关系重大。
目前单目视觉系统一般采用对应点标定法来获取图像的位姿信息,对应点标定法是指通过不同坐标系中对应点的对应坐标求解坐标系的转换关系[3]。但对应点标定法,在标定过程中,由于受器材限制,仍无法做到十分精确地记录一个点在世界坐标系和图像坐标系中的对应坐标。如果其坐标不够精确,那么得到的转换矩阵的精确度也会受到制约,坐标转换结果的精度也会因此而波动。此外该方法的标定过程复杂,适用性有限。本节中采用几何方法进行目标定位,它是根据摄像机投影模型,如图3所示,通过几何方法来得到路
面坐标系和图像坐标系之间的关系,进而获得机器人当前的位姿。
(a)投影关系
图3摄像机投影模型(b)投影平面
视觉信息的检测与提取以及目标定位是是觉的机器人进行路径规划的基础。为了使图像处理效果更加真实,对机器人所采集的图像数据进行还原,获得与之对应的灰度图像,在此基础上对图像进行二值化处理;根据摄像机的投影模型,提出一种基于等空间间距采样的几何定位方法,利用几何关系对障碍物进行定位。
3基于机器视觉的视觉的机器人系统设计
为了研究路径规划算法,也为了方便研究视觉的机器人的视觉图像处理、几何定位、路径规划及运动控制等问题,本文设计并制作了履带式视觉的机器人平台,本章将介绍履
带式视觉的机器人的设计、制作过程。
一个完整的履带式视觉的机器人系统应包括移动机构、控制系统、传感器系统、通讯系统等部分。履带式视觉的机器人的硬件平台主要包括视频采集处理模块、电机驱动模块,此外电源模块也是必需的。视频采集处理模块由控制器和视频输入处理器构成。控制器是系统的核心部件,它依照行、场同步信号采集视频图像并进行图像处理及路径规划,根据处理结果对机器人两侧履带的直流电动机实施控制,并且能够控制摄像头。本文选用DSP 芯片TMS320F2812作为核心控制单元,它内部含有两个事件管理器,每个事件管理器都有PWM 模块,可用于直流电动机的PWM 控制。TMS320F2812含有18K 的片内SARAM、128K的Flash,完全能够胜任数据量不太大的图像处理操作。
3.1视频采集处理模块
视频采集处理模块包括TMS320F2812和SAA7111,TMS320F2812通过I 2C 对SAA7111的内部寄存器进行读写,以产生行、场同步信号以及YUV 信号,TMS320F2812根据行、场同步信号采集YUV 信号并进行相关的图像处理工作。
TMS320F2812是TI 公司推出的基于TMS320C2xx 内核的定点数字信号处理器。器件上集成了多种先进的外设,为电动机及其他运动控制领域应用的实现提了良好的平台[4]。
SAA7111有四条视频信号输入引脚:AI11、AI12、AI21、AI22。当视频信号从上述一引脚进入之后,首先进行模拟数字转换处理,然后通过缓冲器输出一路到AOUT 端用于监视,另一路经A/D后产生数字色度信号和亮度信号分别对其进行处理。经过处理后的亮度信号一路送到色度信号处理电路经过综合处理后产生Y 、U 、V 信号,再经过格式化后从16位的VPO 输出;另一路进入同步分离电路,并经数字PLL 产生行、场同步信号HS 和VS, 同时PLL 驱动时钟发生电路产生与HS 锁定的时钟信号LLC 和LLC2。
色度信号处理电路的工作过程通常是:从A/D出来的8位数字色度信号被送入平方解码器,在此利用了两个副载波信号,其中副载波信号的相位与解码器成00或900的关系,频率由当前所输入视频信号的色彩制式所决定。从平方解码器出来的色差信号经过一个低通滤波器后便可获得所需带宽的色差信号。Y 信号也被送到色度信号处理器,经过延时补偿与梳妆滤波后的UV 信号一起进入RGB 变换矩阵以产生RGB 信号,然后通过格式选择器由VPO 输出。所有这些功能均是在I 2C 总线控制下完成。(Inter IC Bus )总线是Philips I 2C
公司推出的芯片间串行传输总线。它以总线串行数据(SDA )和串行时钟(SCL )两条线使连接在该总线上的器件进行数据传输,实现了完善的全双工同步数据传送,可以很方便的扩展各种外围器件。每个器件的识别由一个特定的地址确定。除了作为发送器和接收器
外,该器件还可以被设定为主控器和被控器。主控器用于启动总线上的数据发送,并产生数据传输所需的时钟信号,其它被寻址的器件均认为是被控器。由于采用了器件地址的硬件配置方法,通过软件寻址完全避免了器件的片选线寻址方式[5]
。
图4TMS320F2812与SAA7111的接口连接图
SAA7111在典型的基于DSP 作为开发平台的系统中,其所有的可编程功能是通过I 2C 对内部的32个寄存器相应的控制位配置相应的数值来完成的。由于TMS320F2812内部没有I 2C 总线接口,本系统中,通过TMS320F2812的McBSP 来模拟I 2C 总线进而达到控制SAA7111的目的。TMS320F2812作为I 2C 总线的主控器通过它的McBSP 提供SCL 时钟以及向SAA7111(从设备)内部的寄存器写入相应的参数,使得SAA7111按照一定的应用需求正常运行。TMS320F2812与SAA7111的I 2C 接口图如图4所示。
3.2图像采集模块
图像采集是图像处理的基础,采集的数据必须准确、可靠,才能保证履带式视觉的机器人正常行驶。该模块主要实现两个功能:SAA7111的初始化、图像数据采集。
①SAA7111的初始化
SAA7111是摄像头与TMS320F2812之间的桥梁,对SAA7111进行初始化是图像采集的基础,也是系统软件设计的关键一环。SAA7111的初始化涉及两个关键流程:I 2C 总线时序的设计、SAA7111内部寄存器控制字的配置,下面分别介绍设计流程。
1) I 2C 总线时序设计
a. I 2C 总线上数据的有效性
总线备用时SDA 和SCL 都必须保I 2C 总线的时钟线SCL 和数据线SDA 都是双向传输线,
持高电平状态,只有关闭I 2C 总线才使SCL 钳位在低电平,在I 2C 总线上每传输一位数据都有一个时钟脉冲相对应[6]。I 2C 总线数据传输时,在时钟线高电平期间数据线上必须保持有稳定的逻辑电平状态,高电平为数据1,低电平为数据0。只有在时钟线为低电平时,才允许数据线上的电平状态变化。I 2C 总线上的数据位传送图如图5所示。
图5I 2C 总线上的数据位传送图
b . I 2C
总线上的数据传递时序
图6I 2C 总线的数据传送时序
总线上传送的每一帧数据均为一个字节,但启动I 2C 总线后,传送的字节数没有限制只要求每传送一个字节后,对方回应一个应答位。在发送时,首先发送的是数据的最高位,每次传送开始有起始信号,结束时有停止信号。在总线传送完一个字节后,可以通过对时钟线的控制,使传送暂停。I 2C 总线上数据传送时序如图6所示。
c . I 2C
总线上的时序信号
图7I 2C 总线上的信号
I 2C 总线为同步传输总线,总线信号完全与时钟同步。I 2C 总线上与数据传送有关的信号有起始信号(S)、终止信号(P)、应答信号(A)以及位传送信号等,如图7所示。起始信号(S)——在时钟SCL 为高电平时,数据线SDA 出现由高电平向低电平变化时,启动I 2C 总线。终止信号(P)——在时钟SCL 为高电平时,数据线出现由低到高的电平变化时,将停止I 2C 总线数据传送。应答位信号(A)——I 2C 总线上第9个时钟脉冲对应于应
答位,相应数据线上低电平时为“应答”信号(A),高电平时为“非应答”信号(-A)。数据位传送在I 2C 总线启动后或应答信号后的第1~8个时钟脉冲对应于一个字节的8位数据传送。脉冲高电平期间,数据串行转送,低电平期间为数据准备,允许总线上数据电平变换。为了保证I 2C 总线数据的可靠传输,对总线上的信号时序做了严格规定,I 2C 总线传输时,有起始位(S)、终止位(P)、发送“0”及应答位(A)、发送“1”及非应答位(_A)等信号。根据上述I 2C 总线的时序要求,本文用McBSP 模拟I 2C 总线,其起始信号与终止信号的设计流程图如图8
所示。
(a)起始
图8I 2C 总线时序设计流程图(b)终止
2)寄存器的配置
I 2C 总线时序设计完成后紧接着需要对SAA7111内部的寄存器进行配置,SAA7111的工作模式、输入端口选择、色彩控制等图像采集中需要控制的参数都由其内部寄存器决定。SAA7111内部有32个寄存器(Subaddress00~1FH),其中22个是可编程的。00H、1AH~1CH、1FH是只读寄存器,其中00H 描述的是芯片版本信息;1AH~1CH是文本信息检测和解码寄存器,一般很少用到;1FH用来描述芯片的状态;02H~12H是可读写寄存器,02H用于设置模拟视频信号输入方式(共8种),03H~05H用于设置增益控制方式,06H~12H主要用于设置解码方式。通过配置这些寄存器可以设置行同步信号的开始和结束位置,并可确定亮度、色度、饱和度的大小以及输出图像数据信号的格式[7]。
TMS320F2812通过IC 总线对所有的寄存器进行读写控制。当SAA7111工作在写状态时,首先发送SAA7111芯片的从器件写地址,检测到从机应答信号后发送SAA7111芯片的器件内部子地址,检测到从机应答信号后再发送各个子地址的控制命令数据。每发送一个控制命令,从地址会自动加1。对于读工作状态,则是首先发送从器件写地址,检测到从机应答信号后发送从器件内部子地址,检测到从机应答信号后重新初始化I 2C 总线,检测到从
机应答信号后再写入从器件读地址,检测到从机应答信号后读取子地址的数据。
SAA7111的读写流程图见图
9。
(a)写流程
图9SAA7111初始化的流程图(b)读流程
根据上述读写流程,对SAA7111进行写48H 操作(SAA7111的写地址为48H,读地址为49H),其数据传送图如图10所示。由图10可以看出,启动I 2C 总线后,接下来的8个时钟脉冲对应48H 的8个数据位,第9个时钟脉冲对应从机的应答位0,完全符合I 2C 总线的数据传
送时序要求。
图10写48H 的传送图
德州学院机电工程系2011届自动化专业毕业论文(设计)
相应的21个寄存器初始化值如表1所列。
Sub Address
02H 05H 08H 0BH 0EH 11H 15H
Data C0H 00H 88H 47H 01H 1EH 00H
Sub Address
03H 06H 09H 0CH 0FH 12H 16H
Data 23H EBH 01H 40H 00H 01H 00H
Sub Address
04H 07H 0AH 0DH 10H 13H 17H
Data 00H E0H 80H 00H 40H 00H 00H
表1寄存器的初始化值
②图像数据采集
CCD 摄像头提供的模拟视频信号经过SAA7111的前期处理后,输出行、场同步信号以及YUV 数字图像信号,将这两个同步信号分别接入TMS320F2812的两个外围中断NMI、XINT1,利用中断控制数据采集。由于履带式视觉的机器人采集的主要目标是导航线,背景较为单一,所以文中只采集了灰度信号,即Y 信号。视频信号处理的方框图如图11所
示。
图11视频信号处理框图
1)采样时间标定
本文依据等空间间距的原则进行图像采集,在采集之前需对采样时间进行标定。采样时间的标定对摄像头的安装高度有一定的要求,即要保证摄像头的高度和俯角不变,本文进行采样时间标定的条件是:摄像头距地面高度39.5cm;近处距摄像头的支撑轴55.5cm,视野宽度57cm;远处距摄像头的支撑轴151.5cm,视野宽度98cm。在该条件下对25个采样行的采样时间进行标定,标定结果见表2。
表2采样时间分配表
按照表2的采样时间进行采样,能够确保25个采样行平均分布在96cm 的范围内。2)采样规划
摄像头采用隔行扫描的方式,每帧图像包含两场:奇场和偶场,经SAA7111分离出的行、场同步信号个数为每场270个行同步信号。实际没必要对这270行中的每一行视频信号都进行采样,如此会增大DSP 存储和数据处理的负担(TMS320F2812含有18Kx16SARAM),甚至会超出DSP 的处理能力。再者,这样做是没必要的,事实上,几何定位算法只要求在纵向上有一定的分辨能力就足够。因此,只需对这270行视频信号中的某些行进行采样即可。综合以上考虑,在这270行中采样25行,作为数据处理的基础。
由于DSP 内部含有PLL 寄存器,通过配置它可以灵活设置CPU 时钟频率,文中将DSP 的时钟频率设置为60MHz,在该条件下,每个采样行采样81个点,即一幅图像的分辨率为25×81。
3)图像采集时间
每场图像持续时间为20ms,共有270行(每行约64us),相邻两场间隔40ms,每隔10场采集1场,即每400ms 采集一场图像,每场采样其中的25行,所以采样占用的时间约为25×64=1600us,因此,大部分的CPU 时间可用于图像处理、路径规划以及运动控制。
4)数据存储及中断分配
利用一个25×81的二维数组save[25][81]存储对应的25×81个像素点;利用中断分配采样时序。场中断个数达到设定值时进行采样初始化并开启行中断;行中断来时对其计数,计数值到达设定值时开始采样。
3.3图像处理模块
图像处理模块包括图像预处理、边缘检测、水平校正。完整的图像处理流程图如图12所示。
图12图像处理流程图
4视觉的机器人的路径规划和运动控制策略
建立履带式视觉的机器人的运动及转向数学模型是进行路径规划、运动控制等研究的前提。本文所研究的履带式视觉的机器人的控制与轮式机器人的控制有着很大的区别。一般轮式机器人是通过转向轮的角度来实现转向,而履带式视觉的机器人则是通过改变两个驱动轮的电机转速,利用两轮的差速来实现转向[8]。本文建立了履带式视觉的机器人的运动及转向数学模型,依据导航线的识别以及障碍物的定位,提出一种计算碰撞危险系数的新方法,根据碰撞危险系数设计了视觉的寻迹策略和模糊避障策略,并设计了相应的控制算法,通过履带式视觉的机器人平台验证了路径规划和运动控制算法的有效性。
4.1基于机器视觉的路径规划策略
由前文的内容可知,对视觉的机器人采集的视频图像进行二值化、边缘检测、几何定位等图像处理工作后,便可获得导航线以及障碍物的方位信息,视觉的机器人根据这些信息做出综合决策,规划合适的行驶路径。在有关机器人避障的问题上,模糊逻辑法采用的比较多,该方法模拟驾驶员的驾驶思维,将模糊控制本身所具有的鲁棒性与基于生理学上的“感知——动作”行为结合起来,主要是根据目标点的方位以及机器人与障碍物之间的距离来制定控制规则。当目标点位于障碍物的左侧时,机器人向左转;当目标点位于障碍物右侧时,机器人向右转[9][10]。这样的设计仅考虑了两方面的因素,会丢失信息,如图13所示。图13中O 为机器人当前位置,A为目标点,K为障碍物,OV为机器人的速度方向,也即前面提到的机器人坐标系下的y c 轴,OC 为机器人坐标系下的x c 轴,d 为机器人与障碍物间的距离,δ为目标点相对于障碍物的方位角。只要d 在机器人与障碍物的安全间距内就进行避障,如果此时机器人正朝着目标方向前进,而机器人与障碍物间的横向距离在安
全间距以外,那么这种情况下的避障操作被认为是无效的,可以忽略障碍物,机器人仍沿原方向继续前进。由此可以得出要防止机器人避障失误还应该考虑机器人与障碍物间的横
向距离。
图13机器人前进方向与目标位置关系图
本文设计的避障策略在模糊逻辑法的基础上进行了改进,考虑了三方面的因素:履带式视觉的机器人与障碍物间的横向距离X dis 、履带式视觉的机器人与障碍物间的纵向距离
Y dis 、障碍物相对于导航线的方位Dir。履带式视觉的机器人与障碍物间的关系如图14所
示。
图14履带式视觉的机器人与障碍物的相对关系
图中O 为机器人当前位置,Q为导航线,K为障碍物,OV为机器人的速度方向,即前面提到的机器人坐标系下的y c 轴,OC为机器人坐标系下的x c 轴,X dis 为履带式视觉的机器人与障碍物间的横向距离,Y dis 为履带式视觉的机器人与障碍物间的纵向距离,Dir为障碍物相对于导航线的方位,X dis 、Y dis 、Dir由前面的几何定位算法获得。
对图14进行分析,可做出以下推断:①若X dis 小于横向安全间距,Y dis 大于纵向安全间距,履带式视觉的机器人无需避障;②若X dis 大于横向安全间距,Y dis 小于纵向安全间距,履带式视觉的机器人也无需避障;③只有当X dis 与Y dis 均位于各自的安全间距之内时履带式
视觉的机器人才进行避障。可见X dis 与Y dis 并不是两个独立的参数,它们是履带式视觉的机器人准确避障的主要依据,文中用碰撞危险系数来综合描述X dis 与Y dis 对避障的影响。碰撞危险系数D
由下式来表示:
(2)
(3)
(4)
式中:
Y(t):反应纵向距离信息;X(t):反应横向距离信息;
Y dis :履带式视觉的机器人与障碍物间的纵向距离;X dis :履带式视觉的机器人与障碍物间的横向距离;
Y v :履带式视觉的机器人与障碍物间的纵向安全间距;X h :履带式视觉的机器人与障碍物间的横向安全间距;
由式(2)、(3)、(4)可知D 有两种取值:D=0或D=1,此外,规定当履带式视觉的机器人视野里没有障碍物时D=0。根据D 值的不同,履带式视觉的机器人做出不同的决策。4.1.1无障碍路径规划策略
当D=0时,障碍物对履带式视觉的机器人不构成威胁或机器人视野中无障碍物,可以认为机器人的视野中只有导航线,此时沿着导航线行驶是最合适的方案,即视觉的寻迹策略。
4.1.2有障碍路径规划策略
当D=1时,表明履带式视觉的机器人已进入危险区域,需启动避障操作以确保行驶的安全。履带式视觉的机器人根据X dis 的大小进行模糊避障,由于Dir 有三种情况,相应的避障策略也有以下三种情况:
①当Dir=-1时,障碍物位于导航线左侧,机器人右转避障。机器人根据X dis 的大小决定右转的角度:当X 较小时,右转的角度较大;当X dis 较大时,右转的角度较小;当X dis 大
小适中时,右转的角度适中。
②当Dir=1时,障碍物位于导航线右侧,机器人左转避障。机器人根据X dis 的大小决定左转的角度:当X dis 较小时,左转的角度较大;当X dis 较大时,左转的角度较小;当X dis 大小适中时,左转的角度适中。
③当Dir=0时,障碍物位于导航线中央,机器人右转避障。避障策略与Dir=-1时相同。
通过分析,可以得出:在无障碍物的情况下,视觉的寻迹策略占主导地位,履带式视觉的机器人沿着导航线行驶;在有障碍物的情况下,模糊避障策略和视觉的寻迹策略交替存在,视觉的机器人进行避障操作后,当D=0时,机器人停止避障,视觉的寻迹策略占主导地位,机器人沿着导航线行驶,当D=1时,模糊避障策略占主导地位,机器人进行避障操作。在整个避障过程中,机器人在模糊避障策略与视觉的寻迹策略之间反复,最终机器人能够安全避开障碍物,沿着导航线行驶。
下面以导航线左侧有障碍物为例阐述完整的避障过程,如图15
所示。
图15履带式视觉的机器人的避障示意图
图15中的O、Q、K、OC、X dis 代表的意思同图14,Y v 表示机器人与障碍物间的纵向安全间距,X h 表示机器人与障碍物间的横向安全间距,OM为机器人坐标系下的y c 轴,OV为机器人的速度方向。履带式视觉的机器人一个完整的避障过程如下:当机器人与障碍物间的横向和纵向距离均小于各自的安全间距时,碰撞危险系数为1,机器人进行避障操作。机器人根据X dis 的大小确定右转的角度:当X dis 较小时,右转的角度较大;当X dis 较大时,右转的角度较小;当X dis 大小适中时,右转的角度适中。机器人沿着右转的方向行驶,当碰撞危险系数为0时机器人视觉的寻迹,最终沿着导航线行驶。
4.2基于机器视觉的运动控制算法
4.2.1无障碍视觉的寻迹控制算法
视觉的寻迹控制算法可由下式来描述:
(5)
式中:
U O :左右两侧电机的初始控制量;U L :左侧电机的控制输出;U R :右侧电机的控制输出;p k :比例系数;
C m :图像平面中第m 行导航线的横坐标;
A:路况阈值,用于表征路况,该值可通过实验确定;
对上式的直观描述:当C m 在阈值A 附近波动时,可以认为该处导航线为直线,履带式视觉的机器人沿直线行驶,左右两轮的速度不变;当C m 超出阈值A 时,表明导航线有弯曲的趋势,增大其中一侧电机的控制量,另一侧电机的控制量保持不变,保证履带式视觉的机器人能够准确跟踪导航线。4.2.2有障碍模糊避障控制算法
根据Dir 的不同情况,模糊避障控制算法有以下三种情况:
①当Dir=-1时,障碍物位于导航线左侧,机器人右转避障,避障算法可由下式来描
述:
(6)
机器人沿右转的方向运动,当D=0时,履带式视觉的机器人进行视觉的寻迹控制。②当Dir=1时,障碍物位于导航线右侧,机器人左转避障:避障算法可由下式来描述:
(7)
机器人沿左转的方向运动,当D=0时,履带式视觉的机器人进行视觉的寻迹控制。③当Dir=0时,障碍物位于导航线中央,默认机器人右转,控制算法与Dir=-1时相同。
式(6)、(7)中:
U L :左侧电机的控制输出;U R :右侧电机的控制输出;
k s 、k m 、k l :比例系数,三者的关系为:k s 〈k m 〈k l ;
X dis :履带式视觉的机器人与障碍物间的横向距离;
X h :履带式视觉的机器人与障碍物间的横向安全间距;
本文通过依次对履带式视觉的机器人在避障过程中的九个关键位置进行分析,得出结果为履带式视觉的机器人能够安全地避开障碍物,表明本文所研究的路径规划算法是有效的。此外,由定位结果可以看出,本文所提出的基于等空间间距的几何定位方法是有效的,在一定的误差范围内能够较准确地对障碍物进行定位。
5结论
本文以视觉的机器人为研究背景,研究了以机器视觉感知导航线和障碍物,能够视觉的导航并避开障碍物的图像处理、目标定位、路径规划、决策控制等相关问题,所获得的主要结论和成果如下:
①对机器人所采集的图像数据进行预处理,根据摄像机的投影模型,提出一种基于等空间间距采样的几何定位方法,利用几何关系对障碍物进行定位。
②建立了履带式视觉的机器人的运动数学模型,依据导航线的识别以及障碍物的定位,提出一种计算碰撞危险系数的新方法,根据碰撞危险系数设计了视觉的寻迹控制算法和模糊避障控制算法。
参考文献:
[1]李兹.基于立体视觉的月球车定位和路径规划[C].哈尔滨工业大学:李兹,2006,11.
[2]宋振华,战兴群,张炎华.基于多传感器融合的水下机器人导航系统[J].微计算机信息,2008,24(1.2) :240.241.
[3]徐友春, 王荣本, 李克强, 赵玉凡. 一种基于直线模型的道路识别算法研究[J].中国图象图形学报,2004,9(7):858-864.
[4]徐江伟, 岳宏, 赵海文, 杜春红. 基于视觉和超声信息的机器人行为控制[J].仪器仪表学报,2006,27(7):734-738.
[5]张捍东,董保华,岑豫皖,郑睿. 栅格编码新方法在机器人路径规划中的应用[J].华中科技大学学报,2007,35(1):50-53.
[6]郑秀敏, 顾大鹏, 刘相术. 基于栅格法-模拟退火法的机器人路径规划[J].机器人技术,2007,23(2-2):247-249.
[7]李竞驰.果园多作业辅佐机器人系统研究与设计[C].沈阳工业大学:李竞驰,2007,1.[8]石为人,周学益.室内清洁机器人避障路径规划研究[J].计算机应用,2007,27(6):378.379.[9]张宏烈.移动机器人全局路径规划的研究[C].哈尔滨工程大学:张宏烈,2002,1.
[10]张纯刚.基于滚动窗口的移动机器人路径规划[J].系统工程与电子技术,2002,24(6):63.65.
Path Planning Based on Visual Robots
Xiao Xiaolin
(Mechanicaland Electronic Engineering Department of Dezhou University, Dezhou Shandong, 253023) Abstract :With the development of various technologies ,visual robots have been paid close attention to .This is due to the great application potential of mobile robot .Possible applications include automatic freeway driving, exploration of unknown regions ,automatic production of industry and agriculture ,working under high risk environment .The development of it will immensely influence human production and life .Visual robot is an intelligent system ,which combines the technologies of environment information collection ,image processing and objects recognition ,dynamic decision—making,path—planning,and motion contr01.Visual robot percepts the environment with the help of sensors ,designs the routes and accomplish obstacle avoidance during the travel .The paper researches and discusses several key issues of the visual robot path-planning and obstacle avoidance system .The key issues include that image processing, geometrical positioning ,path-planning and obstacle avoidance strategies.
Key Words :Robot Vision, Image Processing, Path-Planning
谢辞
四年的大学生生活临近尾声,也意味着我的学生时代即将结束,回想这段幸福美好的时光,感慨万千、心有不舍,心里面要感谢的人太多。
在这四年中,我的辅导员徐静老师和杨光军老师给予了我精心的指导和悉心的关怀,无论是学业还是人际交往无不渗透着导师的谆谆教诲。我的导师贺廉云副教授在工作和生活上给予了我无私的关爱和支持,她的严谨的治学态度、渊博的知识使我深受启迪。指导我写毕业论文的冉玉梅导师的平易近人、治学严谨、高度认真负责使我没办法不尊敬她,在此我要向我的辅导员和导师致以最衷心的感谢和深深的敬意。
特别要感谢我的父母、亲人对我学业的支持和无私奉献。
另外,感谢学校给予我这样一次机会,能够独立地完成一个课题,并在这个过程当中,给予我们各种方便,使我们在即将离校的最后一段时间里,能够更多学习一些实践应用知识,增强了我们实践操作和动手应用能力,提高了独立思考的能力。再一次所有关心和帮助过我的领导、老师、同学和朋友表示由衷的谢意!衷心地感谢在百忙之中评阅论文和参加答辩的各位老师、同学!
注意事项
一、页边距:上下左右2.0厘米左侧装订装订线0.5厘米
二、⑴页眉页脚从论文正文开始此页结束。其他部分不能有页眉页脚⑵页眉格式:仿宋_GB2312小四两端对齐页眉内容:德州学院机电工程系
计)
⑶页脚从论文正文开始编写页码格式:宋体小四右对齐
三、文中数学公式请用Mathtype 数学公式编辑器。居中,后面序号从1开始按自然数升序标注。例如:
…届…专业毕业论文(设
12……
德州学院机电工程系2011届
1
自动化专业毕业论文(设计)
⎰0x =下载:
(1)校内FTP 上下载
(2)网上下载破解版(天空软件站或者其他网站)。
(1)
四、文中各种通用图表制作请自行寻找相关软件如word;Visio 等
专业图表制作请询问指导教师。
德州学院毕业(论文)设计评语
院(系):汽车工程系学生姓名:题
目:
宋臣法
专业:
交通运输
学号:[1**********]9
视觉的机器人的路径规划
指导教师评语:
评定成绩:年月日
德州学院毕业(论文)设计评语
院(系):汽车工程系学生姓名:题
目:
专业:交通运输学号:
评阅人评语:
评定成绩:评阅人签名:
年
月
日
德州学院毕业(论文)设计评语
院(系):汽车工程系学生姓名:题
目:
专业:交通运输学号:
答辩小组评语:
答辩小组组长签名:
年
指导教师评定成绩(30%)答辩小组评定成绩(40%)综合评定成绩
答辩委员会主任签字:评阅人评定成绩(30%)
月
日
年月日