移动机器人检测与跟踪系统的研究与设计

第41卷第10期2007年lO月

浙江大学学报【工学版)

V01.41NoOct.2007

10

JournalofZhejiangUniversity(EngineeringScience

移动机器人检测与跟踪系统的研究与设计

王建平,张涛

(合肥工业大学电气与自动化工程学院,安徽台肥230009)

摘要:从智能控制与模式识别方法和传统控制理论相结合的思想出发,提出了一种自主移动机器人对运动目标检测和自动跟踪的讽别与控制方法.建立了基于连续图像帧差分和二次帧差分的改进的图像HSI差分模型,给出

了运动耳标的特征分析和计算方法通过特征匹配识别所需跟踪目标的区域,采用Kalman预报器对运动目标状态进行一步预测估计和两步增量式跟踪,可咀快速平滑地实现移动机器人对运动目标的跟踪驱动控制.以移动机器人对汽车桩考的全过程进行监控为例,给出了移动机器人视觉检测识别和跟踪控制系统在汽车桩考中的应用.关键词:视觉检测;视觉跟踪;Kalman滤波器{HSI差分模型;移动机器人;汽车桩考中国分类号:TP24

文献标识码:A文章缟号:1008—973X(2007)】O一1710—05

Researchanddesignofdetectingandtracking

systemformobilerobotWANGJian—ping,ZHANG

(School

Tao

ofElectricEngineeringandAutomation,HefeiUniversityofTechnology,Hefei230009.China)

Abstract:Combingmethodsofintelligencecontrolandpatternrecognitionandtraditionalcontroltheories,

an

approachofrecognitionandcontrolwasproposed

on

to

detectandtrackmovingoWects

byrobot.Anim—

provedHSIimagedifferencemodelbased

sequences

imagedifferenceandsecondimagedifferencewas

to

presented.ThefeatureanalysisandfigureofmovingobjectsweredefinedThemovingobjectsused

to

state

recognize

on

the

area

ofobjects.

forecastandtwostepsincrementtrackingalgorithmbased

to

Kalmanfilterwere

drivethemobilerobot

trackmovingobjectsquicklyandsmoothly.Takingthesupervisionofthe

as

an

wholeprocessofautomobilestakeofmohilerobot

xNas

example,applicationofvisionbaseddetectingandtrackingsystem

iliustrated.

Keywords;visiondetect;visiontrack;Kalmanfilter;HSIdifferencemodel;movingrobot;automobilestake

在某些不适合人工参与的特殊工况(如有毒气污染、炸弹排爆等)下,某些控制工程的相关任务只能由智能机器人来完成.无需操作人员来驱动自主机器人实现其目标监控,而且能够在结构化或非结构化条件、熟悉或不熟悉的环境中,自主地执行监控任务,是移动机器人视觉检测识别运动目标和自动跟踪目标的智能控制与识别方法的研究热点,从视频序列图像中有效地提取运动目标和跟踪控制是移动机器人自主运动控制的重要技术之一.

如何有效地模拟人的智能活动机理,将人类的

收撬日期:2007—0fi一12.

视觉认知方式和运动控制方法结合起来去解决移动机器人自主监测和控制运动目标的问题,寻找一种既具有高检测识别性能,又能对移动目标进行快速平滑的自动跟踪的智能控制与识别方法是值得研究的课题”“.

1移动机器人视觉检测识别与跟踪控

制系统的设计

在对运动目标进行检测识别与驱动控制的过程

浙江大学学报【工学版l闷址:….journals司u.edu.cn/eng

ah.cn

作者简介:王建平(t955一),男,_}可北藁城人。教授-从事智能控制技术和数宇图像处理的研究.E-mail:wansww@mail。hL

万方数据 

第10期

王建平,等:移动机器人检测与跟踪系统的研究与设计

中,拟人监控过程是根据运动目标的模式特征信息,通过识别判断,在线确定或变换驱动控制策略,从而对监控的运动目标进行跟踪o].因此,系统设计满足监控系统的实时性和可靠性要求,同时考虑到识别与控制过程的灵活性和适应性,实现目标模式的灵活监测和实时跟踪控制策略,以适应在结构化或非结构化、熟悉或不熟悉的环境中,自主地执行监控任务.1.1移动机器人视觉检测识别和跟踪控制系统

功能结构

系统功能结构包括:①全景视觉和近景视觉摄取;②方位控制和距离控制;③红外防撞测量与控制.移动机器人视觉检测识别和跟踪控制系统的任务分层递阶智能监控系统功能结构如图1所示.

任务分配器

i任务

协凋器I|1协调器2||执渊器I|I协调嚣2lI协嘲{

运动||运动I|视觉||视觉I|其他

!分配级

方位I

控制l

I距离I

I控制l

I垒量l

l图像l

l近景1

I图像1

l红外

l防撞

i撒

图1

任务分层递阶智能监控系统功能结构图

Fig,l

Function

structure

chartoflayeredandhierarchi—

calintelligentsupervisionsystemoftask

1.2目标模式和运动状态特征模型以及控制模式

模态集模型的表示和获取

移动机器人控制系统的控制识别级和任务分配级的特征模型是对系统特征的定性与定量相结合的描述,是依据领域专家知识对被监测目标模式和运动状态的认知,以及按性能指标的要求对系统动态模式特征信息空间的一种划分,各级中划分出的每一个区域分别表示系统的一种特征,各级特征的全体集合即为各级的特征模型.

1.2.1任务分配级特征模型的表示和荻取任务分配级的功能有任务分解、任务分配、任务协调、识别与控制模式决策等.常用的目标模式与运动状态特征有图像中目标模式特征有无、图像中目标跟踪性能好坏及系统监控性能指标是否达到等,可以通过比较判断全景与近景序列图像的目标模式识别和系统任务性能要求来获得.

1.2.2控制识别级特征模型的表示和获取控制识别级的功能有图像处理与识别、运动控制、其他控制等.常用的目标模式与运动状态特征有全景图像的目标模式特征、近景图像的目标模式特征、方位控制状态误差特征、距离控制状态误差特征和防撞控制特征等,可以通过提取判断全景与近景序列图像

万 

方数据的目标模式识别和运动控制状态来获得2

机器人视觉检测识别和跟踪方法在桩考中的应用

传统的汽车桩考检测方法是人工检测法.在桩

考时,监测人员在考场边上目测考车的位置并即时做出判断.然而由于监测人员所处的位置、角度的不同,经常产生误判、漏判、错判,给交通安全留下严重隐患.自动桩考法是近年来发展起来的新技术,即电子桩考.自动桩考系统的优点是可以有效地克服人工监测的主观性,减少工作人员的误判、错判,但是该系统存在着一定的缺陷,维护费用昂贵,针对不同的考试车辆不能灵活地变换场地大小.利用智能机器人不仅可以有效地克服人工监测的主观性,而且可以灵活地对不同大小的车辆进行监控和评判.

引入有限状态机(finite

state

machine,FSM)

对桩考的全过程进行建模,归纳出移动机器人所要经历的状态.通过视觉检测识别和跟踪控制系统对桩考中机器人的各个状态进行控制,达到机器人模仿人进行桩考监控评判的目的.移动机器人在汽车桩考中的状态如下.2.1状态l~等待考试

z.1.1状态说明

移动机器人考试前处于等待状

态,当机器人接收到考试开始信号后,转入状态

2——运动目标检测与识别.

2.1.2任务分配级任务分配规则集如下:

规则1:IF考试开始信号发生,THEN开始考试,进入状态2;

规则2:IF没有考试开始信号发生。THEN仍然处于等待考试状态.

2.1.3控制识别级

当机器人接收到考试开始信

号后,转入状态2.当机器人没有接收到考试开始信号时,机器人仍然处于等待考试状态.

2.2状态2——运动目标检测与识别

2.2.1状态说明

汽车桩考中机器人没有在视觉

图像上发现运动目标,或者考试的过程中考试车辆在图像上丢失,机器人进行运动目标搜索.机器人在搜索过程中如果检测出运动目标,则对运动目标进行识别;如果没有发现运动目标,则继续进行运动目标搜索.在桩考现场干扰的运动物体较多,当图像中检测出多个运动目标时,需对多个运动目标进行特征判别,以分析识别每个运动目标特征.当识别算法的识别结果为考试车辆时,则对运动目标进行跟踪.当识别算法的识别结果为非考试车辆时,则继续进

浙江大学学报(工学版)

第41毒

行目标搜索.

2.2.2任务分配级任务分配规则集如下:

规则l:IF调用近景视觉AND在近景视觉图像上检测出运动目标,THEN运动目标识别;

规刚2:IF调用近景视觉AND在近景视觉图像上不能检测出运动目标,THEN调用远景图像}

规则3:IF调用远景视觉AND在远景视觉图像上检测出运动目标,THEN运动目标识别;

规则4:IF调用远景视觉AND在远景视觉图像上不能检测出运动目标,THEN重新调用近景视觉进行目标搜索;

规则5:IF识别算法的识别结果为考试车辆,THEN对考试车辆进行目标跟踪;

规则6:IF识别算法的识别结果为非考试车辆,THEN重新调用近景视觉进行目标搜索.

2.2.3控制识别级

1)近景远景图像的运动目标检测方法

移动机器人在某一位置采得连续的3帧图像序列^一,(工,y)√j(工,y)√j+-(工,y).由于仿人眼对色度的敏感系数要比亮度低o],通过对图像的色调H、饱和度S和亮度J等属性的敏感系数进行调整”],将所得序列的每一帧图像转换为更能突出移动目标的改进型HSI图像^(z,y),即

五(z,y)=(W。H。(z,了)。’亿s。(T,了),H,ff。(z,,)}=

{H:(工,y)。S:(z,,),f(_r,y));

(1)

i一^一1,k,k+1.

式中:w。、Ⅳs、Ⅳ,分别为设定的色调、饱和度和亮度的敏感系数.将由式(1)转化后的第k与第k一1帧图像及第k+1与第k帧图像分别进行差分.

定义1

帧差分图像计算模型如下:

,d-(z,y)一{l}《<z,∞一H:一,妇,少;,l爱<z,y)一_s:一1(z,y)I,JE(z,y)一疋一1(工,y)J),(2)

矗(z,,)={lH:+1(z,y)一H:(_r,y)},ls:十-(z,y)一

s:(z,y)},l疋+l(卫,y)一f:(z,y)I).(3)

式中;^。(z,Y)√k(z,y)分别为连续3帧图像序列

的帧差分结果.

对3帧序列图像做2次差分后所得非零部分就是物体的部分信息.但无法确定该部分区域属于哪一帧原图像,为此定义了差分图像的运算.

定义2二次帧差分图像运算如下:

Y(x,y)一,d2(z,了)0,dl(z,y)一

{yH(z,y),】,s(上,y),y,(z,,)).

(4)其中运算规则。定义为

yH(z,y)=rain{IH:(工,,)一H:~】(工,,)l,

H0・(z.了)一H:(工,y)I).

(5)

万 

方数据h(上,y)=minfIs:(T,y)-s;一。(z,y)J,

ls:十l(z,y)一s:(z,,)I},

(6)

y,(z。y)一rain{Ij:(z,y)一J:一l(z,y)l,

J:十1(z,y)一f:(z.y)I).

(7)式中:Y(x,,)为相与运算所得结果,相与运算为对,d,(卫,,)、,d2(z。y)2个帧差分图像的色度H、饱和度s和亮度I值取极小的运算.

2)多运动目标识别方法

在图像上提取运动目标的以下特征:

①运动目标的体积特征.根据预期跟踪的运动目标知识(如图像中相同位置汽车所占的厦积大于人、人所占的面积大于小动物等先验知识”1),对特定的场景图像区域可根据跟踪目标在图像中的位置所占的面积大小M。设定一个阔值t。,利用运动目标的面积进行区分.

②运动目标的外形轮廓特征.根据先验知识,汽车在图像中最大长宽比应该大于1,人在图像中最大长宽比虚该小于l,动物在图像中最大长宽比应该太于1.记Ⅳk、Lk分别为找到的第i个运动目标的最大宽度与长度,运动目标的形状特征即最大长宽比为

D。一L;/wk.

(8)

③运动目标的头肩区域特征口].从运动目标的顶部位置向下取1/4图像得到运动目标的头肩部分图像,提取其形状特征进行且标识别.人的头肩区域相对其他运动物体的顶部区域在形状上有很大差异,因此这是一种有效的识别特征.本文利用4个仿射不变矩,计算得到目标区域上部1/4图像的形状特征,具体计算参见文献[7]_记E为计算所得4个仿射不变矩与人头肩部分经验不变矩差的绝对值之和,a为一定的容限值.

通过上述目标特征的提取,可以对运动目标进行如下分类和匹配.

①运动目标的分类.对于人:

{D。<1)n(E。∈(0,文));对于车:

{D。>l}n{M。>to)N(E。∈(O,8I));

对于动物:

{D。>1}N{M。<“)n{E。∈(O,艿-))‘②运动目标的匹配.

当场景中含有多个运动目标时,利用下列规则对当前检测出的运动目标只(i=1,2,…)进行匹配.

规则1:IFD。<1ANDE。∈(0,a),THEN运

动耳标是人;

规则2:IFD.>lAND舰>f。ANDE,岳(0,

第10期

王建平,等;移动机器人检测与跟踪系统的研究与设计

1713

&),THEN运动目标是车;

规则3:IFD。>1

AND

M.<t。ANDE硭(0,

文),THEN运动目标足动物.

通过对检测出的运动目标特征与预期跟踪目标特征逐个进行匹配,确定要跟踪的运动目标的区域.

2.3状态3——考试车辆跟踪与评判

2.3.1状态说明

当运动目标的识别结果为考试

车辆时,机器人对考试车辆进行目标跟踪.移动机器人在跟踪考试车辆的同时,对考试车辆是否出线进行判断.如果在跟踪的过程中,考试车辆从视觉图像上丢失,则跳转到状态2对目标进行搜索检测与识别,识别成功后继续跟踪.如果在跟踪的过程中机器

人判定考试车辆违规,则跳转到状态4——考试结

束.如果在跟踪的整个过程中机器人监控结果为考试车辆没有违规,则跳转到状态4.

2.3.2任务分配级任务分配规则集如下:

规则l:IFk=0,THEN调用远景图像;规则2:IF在远景图像中没有考试车辆运动区域,THEN运动目标丢失,进行运动目标搜索检测;

规则3:IF在远景图像中发现考试车辆运动区域AND

xo—m:l≥岛UfY。一m,f≥最,THEN进

行方位控制,使运动目标区域的重心坐标(m:,/'n,)在图像区域lX。一m。{<f。n{Yo—m,1<玉内;

规则4:IF在远景图像中发现考试车辆运动区Ix。一m:l<r-nlYo—m,I<壶,THEN调

规则5:IF在近景图像中发现考试车辆运动区

IX。一m:1<f-n1Y。一m,I<&AND

(xo—m:)≠0U(Yo—m,)≠o,THEN进行方位控制.使运动目标区域的重心坐标(m。,m,)与图像成规则6:IF(X。一m:)一0U(y。一m,)一0

AND

规则7:IF(Xo一%)=013(yn—m,)一0

AND

规则8:IF在近景图像中发现考试车辆运动区域AND(xo—m:)=0U(Yo—m,)=0AND

k1<

6≠^。,THEN进行距离控制,使运动目

标的成像面积与图像总面积比值为女o;

规则9:IF在跟踪的过程中机器人判定考试车辆违规,THEN跳转到状态4;

规则lO:1F在跟踪的整个过程中机器人的监控结果为考试车辆没有违规,THEN跳转到状态4;

规则ll:IF红外检测机器人与考试车辆的直线

万 

方数据距离小于安全距离L一,THEN进行红外防撞控制.

在上述规则中:fz为图像成像面x轴方向的阈值,曼为图像成像面Y轴方向的阈值,k为运动目标的成像面积与图像总面积的比值,k。、k:为运动目标的成像面积与图像总面积的比值的阈值,‰为运动目标的成像面积与图像总面积的期望的比值.

2.3.3控制识别级

1)方位控制.运用Kalman滤波器预估下一帧运动目标重心点(m,,m,).驱动机器人左右移动AX使运动目标的重心点出现在图像的中心位置y。轴上.物体地面上的点与摄像机的水平距离为Ill:.由单摄像机近似小孔成像原理的测距方法可得

m;(t)=fH/[(m,(f)一弘)d,].

(9)

目标水平移动的实际距离AX(t)计算公式如下:

AX(t)一(m,(f)--3Eo)d,1"n:(f)/f=

(m。(£)一zo)d。H/[(m,(})一弘)d,].(10)

式中:d;为摄像机成像像素的横向物理尺寸,d,为摄像机成像像素的纵向物理尺寸,H为摄像机与地面的高度,_r为摄像机的焦距,m,(£)、m,(})为预估运动目标的重心点.

机器人方位调整方式如下:

①若m,一x。<0,则机器人向右行进△X,使运动目标的重心点出现在图像的中心位置Y。轴上.

②若m:一墨>o,则机器人向左行进AX,使运

动目标的重心点出现在图像的中心位置弘轴上.

2)距离控制.驱动机器人前后移动△z并保持图像大小不变.设保持运动目标的成像面积与图像总面积的比值为常值^。,即保持物体地面上的点与摄像机的水平距离为L实际状态下运动目标在图像中所占的比值为k,在使用小孔成像模型时,运动目标的像面积与物体的表面积之间的比等于焦距,和物距m。之比的平方,由此可以得出运动目标的像面积之比公式:

k/k。一L2/m:.

(11)

通过式(9)计算得到此时物体重心距机器人的近似距离为m;,为了使运动目标成像面积与图像总面积的比值保持为k。,机器人需要移动的距离为

AZ(t)一(厥一1)m:.(12)

将式(9)、(11)代入式(12),可得

AZ(t)一(瓜一1)m:一

(以z脂t一1)丽忑乒了丽2

——

fH

L—m:.

(13)

当kt<^。<^z时,机器人距离调整方式如下:①当k<k,时,若3Z<o,则机器人接近运动目

域AND用近景图像;

域AND像面中心点坐标(Xo,Yo)重合}

k<k。Uk。<矗,THEN进行距离控制,使量满足矗。≤女<&2;

^。<^<女2,THEN调用近景图像;

女<女:AND

浙江大学

标,使成像面积变大,行程距离为△Z.

②当^>岛时,若△z>o,则机器人远离运动目标,使成像面积变小,行程距离为△Z.

③当k。<^<^z时,调用近景图像进行距离调整.3)汽车出线判断.根据桩考实际场景,对于汽车出线的判断首先要判断摄像头范围内考场规定区域边线的位置.而用于检测直线最为经典的算法是Hough变换”].Hough变换利用2个坐标系之间的变换来检测平面内的直线或曲线,这种变换使得在变换空间中所希望的边缘信息凝聚在一起形成峰值,可用来检测规则的直线或二次曲线.因此,运用Hough变换来检测边线.

在得到摄像头范围内边线的位置信息后还必须准确地知道汽车所在的平面与直线的位置关系才能判断出汽车是否出线.通过基于Robert算子的图像分割方法从动态场景中提取运动目标汽车的边缘信息”],并以汽车的边缘做一个封闭的矩形,作为汽车在图像上的位置.

将采用Hough变换所得的边线位置与汽车的封闭矩形的位置进行比较,判断汽车在桩考过程中是否出线.

2.4状态4--考试结束

2.4.1状态说明机器人进行目标跟踪,当有评判结果输出时,移动机器人进入考试结束状态.2.4.2任务分配级

任务分配规则集如下:

规则1:IF在跟踪的过程中机器人判定考试车辆违规,THEN考试车辆桩考失败;

规则2:IF在跟踪的整个桩考过程中机器人的监控结果为考试车辆没有违规,THEN考试车辆桩考通过.

2.4.3控制识别级处于考试结束状态,机器人停止运动,机器人系统进入待机状态.等待下一次考试.

3结语

本文提出了一种自主移动机器人对运动目标检测和自动跟踪的识别与控制方法.建立了基于连续图像帧差分和二次帧差分的改进的图像HSI差分模型,给出了运动目标的特征分析和计算方法.通过特征匹配识别所需跟踪且标的区域,采用Kalman预报器对运动目标进行一步状态预测估计和两步增

万 

方数据学报(工学版)

第41善

量式跟踪,可以快速平滑地实现移动机器人对运动目标跟踪的驱动控制.研究的主要目标是建立与被监测目标模式特征的运动特征模型的定性与定量结合的知识模型.采用产生式数据驱动推理规则,实现运动目标检测与识别.系统结构简单,实时性好,具有工程实用性.

参考文献(References):

[13孙增圻.张再兴,邓志东.智能控制理论与技术[M].北

京:清华大学出版社,1997.

[2]蔡自兴.智能控制[M].2版.北京:电子工业出版社,

2004.

[3]韦巍.智能控制技术[M].北京:机械工业出版幸t,2005.[4]李庆忠,陈显华,王立红.一种视频运动目标的检测与识

别方法[J].模式识别与人工智能,2006,19(2):

238—242.LI

Qing—zhong,CHENXian-hua,WANGLi—hong.A

moving

objectdetectionandrecognitionmethodinvideo

sequences口].Pattern

RecognitionandArtificialIntelli—

gence,2006,19(2):238—242.

[5]王建平,钱渡,姜滔.基于变换域分析的车牌分割研究

口].台肥工业大学学报,2004,27(3):251—255.

WANGJian-ping,Q1ANBo,JIANGTao.Research

on

thesegmentationmethodofvehiclelicenseplatebased

on

space

transform

analysis口].Journal

ofHeFelUnl—

versifyofTechnology,2004,27(3):251—255.

[6]林洪文,涂丹,李国辉.基于统计背景模型的运动目标检

测方法[J].计算机工程,2003.29(16):97—99.

LINHong—wen・TUDan,LIGuo-hui.Movingobjects

detectionmethodbased

on

statisticalbackgroundmodel

口].Computer

Engineering,2003,29(16):97—99.

ET]倪福川,贺贵明.龙磊.基于不变矩的人形“头肩像”识别

技术[J].计算机工程.2005,31(10):174—176.

NIFu-ehuan.HEGuiming,LONGLei.Detectionofhuman’8headandshoulderbased

on

momentinvariants

FJ].ComputerEngineering.2005,31(10):174—176.[83王耀南,李树涛,毛建旭.计算机图像处理与识别技术

[M].北京:高等教育出版社。2001.

[9]洪宇,高广珠,余理富,等,一种基于动态背景的运动车

辆跟踪算法[J].计算机应用研究,2004(6):107—109.

HONGYu,GAGGuangzhu,YULi-iu,eta1.Ady—namic

backgmund--basedmovingvehicletrackingalgo—-

rithm[J].ApplicationResearchofComputers,2004(6):

107—109.

第41卷第10期2007年lO月

浙江大学学报【工学版)

V01.41NoOct.2007

10

JournalofZhejiangUniversity(EngineeringScience

移动机器人检测与跟踪系统的研究与设计

王建平,张涛

(合肥工业大学电气与自动化工程学院,安徽台肥230009)

摘要:从智能控制与模式识别方法和传统控制理论相结合的思想出发,提出了一种自主移动机器人对运动目标检测和自动跟踪的讽别与控制方法.建立了基于连续图像帧差分和二次帧差分的改进的图像HSI差分模型,给出

了运动耳标的特征分析和计算方法通过特征匹配识别所需跟踪目标的区域,采用Kalman预报器对运动目标状态进行一步预测估计和两步增量式跟踪,可咀快速平滑地实现移动机器人对运动目标的跟踪驱动控制.以移动机器人对汽车桩考的全过程进行监控为例,给出了移动机器人视觉检测识别和跟踪控制系统在汽车桩考中的应用.关键词:视觉检测;视觉跟踪;Kalman滤波器{HSI差分模型;移动机器人;汽车桩考中国分类号:TP24

文献标识码:A文章缟号:1008—973X(2007)】O一1710—05

Researchanddesignofdetectingandtracking

systemformobilerobotWANGJian—ping,ZHANG

(School

Tao

ofElectricEngineeringandAutomation,HefeiUniversityofTechnology,Hefei230009.China)

Abstract:Combingmethodsofintelligencecontrolandpatternrecognitionandtraditionalcontroltheories,

an

approachofrecognitionandcontrolwasproposed

on

to

detectandtrackmovingoWects

byrobot.Anim—

provedHSIimagedifferencemodelbased

sequences

imagedifferenceandsecondimagedifferencewas

to

presented.ThefeatureanalysisandfigureofmovingobjectsweredefinedThemovingobjectsused

to

state

recognize

on

the

area

ofobjects.

forecastandtwostepsincrementtrackingalgorithmbased

to

Kalmanfilterwere

drivethemobilerobot

trackmovingobjectsquicklyandsmoothly.Takingthesupervisionofthe

as

an

wholeprocessofautomobilestakeofmohilerobot

xNas

example,applicationofvisionbaseddetectingandtrackingsystem

iliustrated.

Keywords;visiondetect;visiontrack;Kalmanfilter;HSIdifferencemodel;movingrobot;automobilestake

在某些不适合人工参与的特殊工况(如有毒气污染、炸弹排爆等)下,某些控制工程的相关任务只能由智能机器人来完成.无需操作人员来驱动自主机器人实现其目标监控,而且能够在结构化或非结构化条件、熟悉或不熟悉的环境中,自主地执行监控任务,是移动机器人视觉检测识别运动目标和自动跟踪目标的智能控制与识别方法的研究热点,从视频序列图像中有效地提取运动目标和跟踪控制是移动机器人自主运动控制的重要技术之一.

如何有效地模拟人的智能活动机理,将人类的

收撬日期:2007—0fi一12.

视觉认知方式和运动控制方法结合起来去解决移动机器人自主监测和控制运动目标的问题,寻找一种既具有高检测识别性能,又能对移动目标进行快速平滑的自动跟踪的智能控制与识别方法是值得研究的课题”“.

1移动机器人视觉检测识别与跟踪控

制系统的设计

在对运动目标进行检测识别与驱动控制的过程

浙江大学学报【工学版l闷址:….journals司u.edu.cn/eng

ah.cn

作者简介:王建平(t955一),男,_}可北藁城人。教授-从事智能控制技术和数宇图像处理的研究.E-mail:wansww@mail。hL

万方数据 

第10期

王建平,等:移动机器人检测与跟踪系统的研究与设计

中,拟人监控过程是根据运动目标的模式特征信息,通过识别判断,在线确定或变换驱动控制策略,从而对监控的运动目标进行跟踪o].因此,系统设计满足监控系统的实时性和可靠性要求,同时考虑到识别与控制过程的灵活性和适应性,实现目标模式的灵活监测和实时跟踪控制策略,以适应在结构化或非结构化、熟悉或不熟悉的环境中,自主地执行监控任务.1.1移动机器人视觉检测识别和跟踪控制系统

功能结构

系统功能结构包括:①全景视觉和近景视觉摄取;②方位控制和距离控制;③红外防撞测量与控制.移动机器人视觉检测识别和跟踪控制系统的任务分层递阶智能监控系统功能结构如图1所示.

任务分配器

i任务

协凋器I|1协调器2||执渊器I|I协调嚣2lI协嘲{

运动||运动I|视觉||视觉I|其他

!分配级

方位I

控制l

I距离I

I控制l

I垒量l

l图像l

l近景1

I图像1

l红外

l防撞

i撒

图1

任务分层递阶智能监控系统功能结构图

Fig,l

Function

structure

chartoflayeredandhierarchi—

calintelligentsupervisionsystemoftask

1.2目标模式和运动状态特征模型以及控制模式

模态集模型的表示和获取

移动机器人控制系统的控制识别级和任务分配级的特征模型是对系统特征的定性与定量相结合的描述,是依据领域专家知识对被监测目标模式和运动状态的认知,以及按性能指标的要求对系统动态模式特征信息空间的一种划分,各级中划分出的每一个区域分别表示系统的一种特征,各级特征的全体集合即为各级的特征模型.

1.2.1任务分配级特征模型的表示和荻取任务分配级的功能有任务分解、任务分配、任务协调、识别与控制模式决策等.常用的目标模式与运动状态特征有图像中目标模式特征有无、图像中目标跟踪性能好坏及系统监控性能指标是否达到等,可以通过比较判断全景与近景序列图像的目标模式识别和系统任务性能要求来获得.

1.2.2控制识别级特征模型的表示和获取控制识别级的功能有图像处理与识别、运动控制、其他控制等.常用的目标模式与运动状态特征有全景图像的目标模式特征、近景图像的目标模式特征、方位控制状态误差特征、距离控制状态误差特征和防撞控制特征等,可以通过提取判断全景与近景序列图像

万 

方数据的目标模式识别和运动控制状态来获得2

机器人视觉检测识别和跟踪方法在桩考中的应用

传统的汽车桩考检测方法是人工检测法.在桩

考时,监测人员在考场边上目测考车的位置并即时做出判断.然而由于监测人员所处的位置、角度的不同,经常产生误判、漏判、错判,给交通安全留下严重隐患.自动桩考法是近年来发展起来的新技术,即电子桩考.自动桩考系统的优点是可以有效地克服人工监测的主观性,减少工作人员的误判、错判,但是该系统存在着一定的缺陷,维护费用昂贵,针对不同的考试车辆不能灵活地变换场地大小.利用智能机器人不仅可以有效地克服人工监测的主观性,而且可以灵活地对不同大小的车辆进行监控和评判.

引入有限状态机(finite

state

machine,FSM)

对桩考的全过程进行建模,归纳出移动机器人所要经历的状态.通过视觉检测识别和跟踪控制系统对桩考中机器人的各个状态进行控制,达到机器人模仿人进行桩考监控评判的目的.移动机器人在汽车桩考中的状态如下.2.1状态l~等待考试

z.1.1状态说明

移动机器人考试前处于等待状

态,当机器人接收到考试开始信号后,转入状态

2——运动目标检测与识别.

2.1.2任务分配级任务分配规则集如下:

规则1:IF考试开始信号发生,THEN开始考试,进入状态2;

规则2:IF没有考试开始信号发生。THEN仍然处于等待考试状态.

2.1.3控制识别级

当机器人接收到考试开始信

号后,转入状态2.当机器人没有接收到考试开始信号时,机器人仍然处于等待考试状态.

2.2状态2——运动目标检测与识别

2.2.1状态说明

汽车桩考中机器人没有在视觉

图像上发现运动目标,或者考试的过程中考试车辆在图像上丢失,机器人进行运动目标搜索.机器人在搜索过程中如果检测出运动目标,则对运动目标进行识别;如果没有发现运动目标,则继续进行运动目标搜索.在桩考现场干扰的运动物体较多,当图像中检测出多个运动目标时,需对多个运动目标进行特征判别,以分析识别每个运动目标特征.当识别算法的识别结果为考试车辆时,则对运动目标进行跟踪.当识别算法的识别结果为非考试车辆时,则继续进

浙江大学学报(工学版)

第41毒

行目标搜索.

2.2.2任务分配级任务分配规则集如下:

规则l:IF调用近景视觉AND在近景视觉图像上检测出运动目标,THEN运动目标识别;

规刚2:IF调用近景视觉AND在近景视觉图像上不能检测出运动目标,THEN调用远景图像}

规则3:IF调用远景视觉AND在远景视觉图像上检测出运动目标,THEN运动目标识别;

规则4:IF调用远景视觉AND在远景视觉图像上不能检测出运动目标,THEN重新调用近景视觉进行目标搜索;

规则5:IF识别算法的识别结果为考试车辆,THEN对考试车辆进行目标跟踪;

规则6:IF识别算法的识别结果为非考试车辆,THEN重新调用近景视觉进行目标搜索.

2.2.3控制识别级

1)近景远景图像的运动目标检测方法

移动机器人在某一位置采得连续的3帧图像序列^一,(工,y)√j(工,y)√j+-(工,y).由于仿人眼对色度的敏感系数要比亮度低o],通过对图像的色调H、饱和度S和亮度J等属性的敏感系数进行调整”],将所得序列的每一帧图像转换为更能突出移动目标的改进型HSI图像^(z,y),即

五(z,y)=(W。H。(z,了)。’亿s。(T,了),H,ff。(z,,)}=

{H:(工,y)。S:(z,,),f(_r,y));

(1)

i一^一1,k,k+1.

式中:w。、Ⅳs、Ⅳ,分别为设定的色调、饱和度和亮度的敏感系数.将由式(1)转化后的第k与第k一1帧图像及第k+1与第k帧图像分别进行差分.

定义1

帧差分图像计算模型如下:

,d-(z,y)一{l}《<z,∞一H:一,妇,少;,l爱<z,y)一_s:一1(z,y)I,JE(z,y)一疋一1(工,y)J),(2)

矗(z,,)={lH:+1(z,y)一H:(_r,y)},ls:十-(z,y)一

s:(z,y)},l疋+l(卫,y)一f:(z,y)I).(3)

式中;^。(z,Y)√k(z,y)分别为连续3帧图像序列

的帧差分结果.

对3帧序列图像做2次差分后所得非零部分就是物体的部分信息.但无法确定该部分区域属于哪一帧原图像,为此定义了差分图像的运算.

定义2二次帧差分图像运算如下:

Y(x,y)一,d2(z,了)0,dl(z,y)一

{yH(z,y),】,s(上,y),y,(z,,)).

(4)其中运算规则。定义为

yH(z,y)=rain{IH:(工,,)一H:~】(工,,)l,

H0・(z.了)一H:(工,y)I).

(5)

万 

方数据h(上,y)=minfIs:(T,y)-s;一。(z,y)J,

ls:十l(z,y)一s:(z,,)I},

(6)

y,(z。y)一rain{Ij:(z,y)一J:一l(z,y)l,

J:十1(z,y)一f:(z.y)I).

(7)式中:Y(x,,)为相与运算所得结果,相与运算为对,d,(卫,,)、,d2(z。y)2个帧差分图像的色度H、饱和度s和亮度I值取极小的运算.

2)多运动目标识别方法

在图像上提取运动目标的以下特征:

①运动目标的体积特征.根据预期跟踪的运动目标知识(如图像中相同位置汽车所占的厦积大于人、人所占的面积大于小动物等先验知识”1),对特定的场景图像区域可根据跟踪目标在图像中的位置所占的面积大小M。设定一个阔值t。,利用运动目标的面积进行区分.

②运动目标的外形轮廓特征.根据先验知识,汽车在图像中最大长宽比应该大于1,人在图像中最大长宽比虚该小于l,动物在图像中最大长宽比应该太于1.记Ⅳk、Lk分别为找到的第i个运动目标的最大宽度与长度,运动目标的形状特征即最大长宽比为

D。一L;/wk.

(8)

③运动目标的头肩区域特征口].从运动目标的顶部位置向下取1/4图像得到运动目标的头肩部分图像,提取其形状特征进行且标识别.人的头肩区域相对其他运动物体的顶部区域在形状上有很大差异,因此这是一种有效的识别特征.本文利用4个仿射不变矩,计算得到目标区域上部1/4图像的形状特征,具体计算参见文献[7]_记E为计算所得4个仿射不变矩与人头肩部分经验不变矩差的绝对值之和,a为一定的容限值.

通过上述目标特征的提取,可以对运动目标进行如下分类和匹配.

①运动目标的分类.对于人:

{D。<1)n(E。∈(0,文));对于车:

{D。>l}n{M。>to)N(E。∈(O,8I));

对于动物:

{D。>1}N{M。<“)n{E。∈(O,艿-))‘②运动目标的匹配.

当场景中含有多个运动目标时,利用下列规则对当前检测出的运动目标只(i=1,2,…)进行匹配.

规则1:IFD。<1ANDE。∈(0,a),THEN运

动耳标是人;

规则2:IFD.>lAND舰>f。ANDE,岳(0,

第10期

王建平,等;移动机器人检测与跟踪系统的研究与设计

1713

&),THEN运动目标是车;

规则3:IFD。>1

AND

M.<t。ANDE硭(0,

文),THEN运动目标足动物.

通过对检测出的运动目标特征与预期跟踪目标特征逐个进行匹配,确定要跟踪的运动目标的区域.

2.3状态3——考试车辆跟踪与评判

2.3.1状态说明

当运动目标的识别结果为考试

车辆时,机器人对考试车辆进行目标跟踪.移动机器人在跟踪考试车辆的同时,对考试车辆是否出线进行判断.如果在跟踪的过程中,考试车辆从视觉图像上丢失,则跳转到状态2对目标进行搜索检测与识别,识别成功后继续跟踪.如果在跟踪的过程中机器

人判定考试车辆违规,则跳转到状态4——考试结

束.如果在跟踪的整个过程中机器人监控结果为考试车辆没有违规,则跳转到状态4.

2.3.2任务分配级任务分配规则集如下:

规则l:IFk=0,THEN调用远景图像;规则2:IF在远景图像中没有考试车辆运动区域,THEN运动目标丢失,进行运动目标搜索检测;

规则3:IF在远景图像中发现考试车辆运动区域AND

xo—m:l≥岛UfY。一m,f≥最,THEN进

行方位控制,使运动目标区域的重心坐标(m:,/'n,)在图像区域lX。一m。{<f。n{Yo—m,1<玉内;

规则4:IF在远景图像中发现考试车辆运动区Ix。一m:l<r-nlYo—m,I<壶,THEN调

规则5:IF在近景图像中发现考试车辆运动区

IX。一m:1<f-n1Y。一m,I<&AND

(xo—m:)≠0U(Yo—m,)≠o,THEN进行方位控制.使运动目标区域的重心坐标(m。,m,)与图像成规则6:IF(X。一m:)一0U(y。一m,)一0

AND

规则7:IF(Xo一%)=013(yn—m,)一0

AND

规则8:IF在近景图像中发现考试车辆运动区域AND(xo—m:)=0U(Yo—m,)=0AND

k1<

6≠^。,THEN进行距离控制,使运动目

标的成像面积与图像总面积比值为女o;

规则9:IF在跟踪的过程中机器人判定考试车辆违规,THEN跳转到状态4;

规则lO:1F在跟踪的整个过程中机器人的监控结果为考试车辆没有违规,THEN跳转到状态4;

规则ll:IF红外检测机器人与考试车辆的直线

万 

方数据距离小于安全距离L一,THEN进行红外防撞控制.

在上述规则中:fz为图像成像面x轴方向的阈值,曼为图像成像面Y轴方向的阈值,k为运动目标的成像面积与图像总面积的比值,k。、k:为运动目标的成像面积与图像总面积的比值的阈值,‰为运动目标的成像面积与图像总面积的期望的比值.

2.3.3控制识别级

1)方位控制.运用Kalman滤波器预估下一帧运动目标重心点(m,,m,).驱动机器人左右移动AX使运动目标的重心点出现在图像的中心位置y。轴上.物体地面上的点与摄像机的水平距离为Ill:.由单摄像机近似小孔成像原理的测距方法可得

m;(t)=fH/[(m,(f)一弘)d,].

(9)

目标水平移动的实际距离AX(t)计算公式如下:

AX(t)一(m,(f)--3Eo)d,1"n:(f)/f=

(m。(£)一zo)d。H/[(m,(})一弘)d,].(10)

式中:d;为摄像机成像像素的横向物理尺寸,d,为摄像机成像像素的纵向物理尺寸,H为摄像机与地面的高度,_r为摄像机的焦距,m,(£)、m,(})为预估运动目标的重心点.

机器人方位调整方式如下:

①若m,一x。<0,则机器人向右行进△X,使运动目标的重心点出现在图像的中心位置Y。轴上.

②若m:一墨>o,则机器人向左行进AX,使运

动目标的重心点出现在图像的中心位置弘轴上.

2)距离控制.驱动机器人前后移动△z并保持图像大小不变.设保持运动目标的成像面积与图像总面积的比值为常值^。,即保持物体地面上的点与摄像机的水平距离为L实际状态下运动目标在图像中所占的比值为k,在使用小孔成像模型时,运动目标的像面积与物体的表面积之间的比等于焦距,和物距m。之比的平方,由此可以得出运动目标的像面积之比公式:

k/k。一L2/m:.

(11)

通过式(9)计算得到此时物体重心距机器人的近似距离为m;,为了使运动目标成像面积与图像总面积的比值保持为k。,机器人需要移动的距离为

AZ(t)一(厥一1)m:.(12)

将式(9)、(11)代入式(12),可得

AZ(t)一(瓜一1)m:一

(以z脂t一1)丽忑乒了丽2

——

fH

L—m:.

(13)

当kt<^。<^z时,机器人距离调整方式如下:①当k<k,时,若3Z<o,则机器人接近运动目

域AND用近景图像;

域AND像面中心点坐标(Xo,Yo)重合}

k<k。Uk。<矗,THEN进行距离控制,使量满足矗。≤女<&2;

^。<^<女2,THEN调用近景图像;

女<女:AND

浙江大学

标,使成像面积变大,行程距离为△Z.

②当^>岛时,若△z>o,则机器人远离运动目标,使成像面积变小,行程距离为△Z.

③当k。<^<^z时,调用近景图像进行距离调整.3)汽车出线判断.根据桩考实际场景,对于汽车出线的判断首先要判断摄像头范围内考场规定区域边线的位置.而用于检测直线最为经典的算法是Hough变换”].Hough变换利用2个坐标系之间的变换来检测平面内的直线或曲线,这种变换使得在变换空间中所希望的边缘信息凝聚在一起形成峰值,可用来检测规则的直线或二次曲线.因此,运用Hough变换来检测边线.

在得到摄像头范围内边线的位置信息后还必须准确地知道汽车所在的平面与直线的位置关系才能判断出汽车是否出线.通过基于Robert算子的图像分割方法从动态场景中提取运动目标汽车的边缘信息”],并以汽车的边缘做一个封闭的矩形,作为汽车在图像上的位置.

将采用Hough变换所得的边线位置与汽车的封闭矩形的位置进行比较,判断汽车在桩考过程中是否出线.

2.4状态4--考试结束

2.4.1状态说明机器人进行目标跟踪,当有评判结果输出时,移动机器人进入考试结束状态.2.4.2任务分配级

任务分配规则集如下:

规则1:IF在跟踪的过程中机器人判定考试车辆违规,THEN考试车辆桩考失败;

规则2:IF在跟踪的整个桩考过程中机器人的监控结果为考试车辆没有违规,THEN考试车辆桩考通过.

2.4.3控制识别级处于考试结束状态,机器人停止运动,机器人系统进入待机状态.等待下一次考试.

3结语

本文提出了一种自主移动机器人对运动目标检测和自动跟踪的识别与控制方法.建立了基于连续图像帧差分和二次帧差分的改进的图像HSI差分模型,给出了运动目标的特征分析和计算方法.通过特征匹配识别所需跟踪且标的区域,采用Kalman预报器对运动目标进行一步状态预测估计和两步增

万 

方数据学报(工学版)

第41善

量式跟踪,可以快速平滑地实现移动机器人对运动目标跟踪的驱动控制.研究的主要目标是建立与被监测目标模式特征的运动特征模型的定性与定量结合的知识模型.采用产生式数据驱动推理规则,实现运动目标检测与识别.系统结构简单,实时性好,具有工程实用性.

参考文献(References):

[13孙增圻.张再兴,邓志东.智能控制理论与技术[M].北

京:清华大学出版社,1997.

[2]蔡自兴.智能控制[M].2版.北京:电子工业出版社,

2004.

[3]韦巍.智能控制技术[M].北京:机械工业出版幸t,2005.[4]李庆忠,陈显华,王立红.一种视频运动目标的检测与识

别方法[J].模式识别与人工智能,2006,19(2):

238—242.LI

Qing—zhong,CHENXian-hua,WANGLi—hong.A

moving

objectdetectionandrecognitionmethodinvideo

sequences口].Pattern

RecognitionandArtificialIntelli—

gence,2006,19(2):238—242.

[5]王建平,钱渡,姜滔.基于变换域分析的车牌分割研究

口].台肥工业大学学报,2004,27(3):251—255.

WANGJian-ping,Q1ANBo,JIANGTao.Research

on

thesegmentationmethodofvehiclelicenseplatebased

on

space

transform

analysis口].Journal

ofHeFelUnl—

versifyofTechnology,2004,27(3):251—255.

[6]林洪文,涂丹,李国辉.基于统计背景模型的运动目标检

测方法[J].计算机工程,2003.29(16):97—99.

LINHong—wen・TUDan,LIGuo-hui.Movingobjects

detectionmethodbased

on

statisticalbackgroundmodel

口].Computer

Engineering,2003,29(16):97—99.

ET]倪福川,贺贵明.龙磊.基于不变矩的人形“头肩像”识别

技术[J].计算机工程.2005,31(10):174—176.

NIFu-ehuan.HEGuiming,LONGLei.Detectionofhuman’8headandshoulderbased

on

momentinvariants

FJ].ComputerEngineering.2005,31(10):174—176.[83王耀南,李树涛,毛建旭.计算机图像处理与识别技术

[M].北京:高等教育出版社。2001.

[9]洪宇,高广珠,余理富,等,一种基于动态背景的运动车

辆跟踪算法[J].计算机应用研究,2004(6):107—109.

HONGYu,GAGGuangzhu,YULi-iu,eta1.Ady—namic

backgmund--basedmovingvehicletrackingalgo—-

rithm[J].ApplicationResearchofComputers,2004(6):

107—109.


相关文章

  • 机器人视觉传感技术及应用doc
  • 机器人视觉传感技术及应用 摘要:机器人视觉技术是指机器人工作时通过视觉传感器对环境物体获取视觉信息,让机器人识别物体来进行各种工作.本文介绍了机器人技术中所常用的视觉传感器的种类.结构.原理和功能.介绍了弧焊机器人视觉传感技术较为前沿的一些 ...查看


  • 移动机器人期末论文
  • 基于移动机器人的基础性研究 摘要 移动机器人是一种能够通过传感器感知外界环境和自身状态,实现有障碍物的环境中根据要求进行自主运动,从而完成一定作业功能的机器人系统. 本论文主要介绍研究的是基于Basic Stamp 2(BS2)微控制器的移 ...查看


  • 智能割草机器人设计
  • 摘 要 本文首先对国内外市场上现存的智能割草机器人进行了介绍和比较,指出了现在智能割草机器人研制过程中需要注意的关键技术,并结合以往的成功经验和现在的实际需求,选择了结构易于实现的三轮车体结构.根据智能割草机器人控制系统要求,确定了以AT8 ...查看


  • 安防机器人综述
  • 安防机器人综述 学生:江国来 摘要:本文在介绍安防机器人的背景.市场与研究现状的基础上,探讨了安防机器人的关键技术,最后,对安防机器人的发展方向进行了展望. 一.安防机器人的研究背景 1.1 什么是安防机器人 服务机器人是一种半自主或者全自 ...查看


  • 移动机器人
  • 摘 要 本文主要讨论了以凌阳16位单片机SPCE06lA 为控制核心的轮式移动机器人控制系统, 采用了光电编码盘, 用来实现机器人的运动反馈:控制上采用凌阳单片机的语音识别功能,实现语音控制,并且实现键盘控制,完成不同轨迹.文中详细介绍了该 ...查看


  • [机器人产业发展规划(2016-2020年)]全面解读
  • 前段时间,由工信部,国家发改委,财政部联合发布的<机器人产业发展规划(2016-2020年)>为整个机器人产业吹起了东风.小编将本着一贯的数据分析风格,为大家详解这份发展规划提到的,甚至没提到的多项干货. 1.发展现状 法国市场 ...查看


  • 工业机器人综述
  • 工业机器人 一.技术概述 工业机器人由操作机(机械本体).控制器.伺服驱动系统和检测传感装置构成,是一种仿人操作.自动控制.可重复编程.能在三维空间完成各种作业的机电一体化自动化生产设备.特别适合于多品种.变批量的柔性生产.它对稳定.提高产 ...查看


  • 机器视觉技术及其应用概况
  • 本栏目责任编辑:李桂瑾 人工智能及识别技术 机器视觉技术及其应用概况 陈发东,张晓芳,赵寰宇,张涛,于国英 (河北金牛能源股份有限公司玻纤分公司,河北邢台054001) 摘要:介绍了机器视觉的系统组成及工作原理.相对于人类视觉优势所在,阐述 ...查看


  • 数据融合技术探讨
  • 多传感器数据融合技术在移动机器人中的应用 摘 要 机器人多传感器数据融合是当今科学研究的热点问题.综述了多传感器数据融合技术在移动机器人几个工作阶段中的应用.指明了移动机器人领域中多传感器数据融合技术的发展趋势. 关键词 移动机器人 多传感 ...查看


热门内容