ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用
２０１１，４７（２４）
１３９
结合机器视觉的采摘机械手的定位仿真研究
熊俊涛“２，邹湘军１，邹海鑫１，陈荫乐１，卢俊１
ⅪＯＮＧＪｕｎｔａｏ“２，ＺＯＵＸｉａｎｇｊｕｎｌ，ＺＯＵＨａｉｘｉｎｌ，ＣＨＥＮ
２．华南农业大学信息学院信息工程系，广州５１０６４２
１．Ｋｅｙ
Ｌａｂ
ｏｆＫｅｙＴｅｃｈｎｏｌｏｇｙ
ｏｎ
ＹｉＩｌｌｅｌ，ＬＵＪｕｎ‘
１．华南农业大学南方农业机械与装备关键技术省部共建教育部重点实验室，广州５１０６４２
ＡｇｒｉｃｕｌｔｕｒａｌＭａｃｈｉｎｅａｎｄＥｑｕｉｐｍｅｎｔＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ，ＳｏｕｔｈＣｈｉｎａＡｇｒｉｃｕｌｔｕｒａｌＵｎｉ－
ｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｎ
５１０６４２，Ｃｈｉｎａ
２．ＤｅｐａｒｔｍｅｎｔｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｃｓ，ＳｏｕｔｈＣｈｉｎａＡｇｒｉｃｕｌｔｕｒａｌ
Ｕｎｉｖｅｒｓｉｔｙ，劬ｎｇｚｈｏｕ
５１０６４２，Ｃｈｉｎａ
ＸＩＯＮＧＪｕｎｔａｏ，ＺＯＵ
Ｘｉａｎｇｊｕｎ，ＺＯＵＨａｉｘｉｎ，ｅｔａ１．Ｓｔｕｄｙｏｆｐｉｃｋｉｎｇ
ｍａｎｉｐｕｌａｔｏｒｌｏｃａｔｉｏｎｓｉｍｕｌａｔｉｏｎｂａｓｅｄ
ｏｎ
ｍａｃｈｉｎｅ
ｖｉｓｉｏｎ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ．２０１１。４７（２４）：１３９－１４２．
Ａｂｓｔｒａｃｔ：Ｔｈｅ
ｏｐｅｒａｔｉｏｎ
ｍｅｃｈａｎｉｓｍｏｆｆｉ－ｕｉｔｐｉｃｋｉｎｇｍａｎｉｐｕｌａｔｏｒｓｐａｔｉａｌ
ａｎｄ
ａｒｅ
ｌｏｃａｔｉｏｎｉｓ
ｓｔｕｄｉｅｄ，ｉｔ
ａｎａｌｙｓｅｓ
ｔｈｅｌｏｃａｔｉｏｎ
ｅｒｒｏｒ
ｏｆ
ｂｉｎｏｃｕｌａｒ
ａｎｄｔｈｅ
ｓｔｅｒｅｏ
ｖｉｓｉｏｎｓｙｓｔｅｍ
ｅｓｔａｂｌｉｓｈｅｓｕｓｅｄｔｏ
ｔｏ
ｔｈｅｖｉｓｕａｌ
ｅｒｒｏｒ
ｃｏｍｐｅｎｓａｔｉｏｎ
ｍｅｃｈａｎｉｓｍ．Ｖ＇ｎ＇ｔｕａｌｒｏｂｏｔｄｅｖｅｌｏｐｍｅｎｔｓｏｆｔｗａｒｅ
ｓｔｅｒｅｏ
ＣＣＤｖｉｓｕａｌｈａｒｄｗａｒｅ
ｔｏ
ｃｏｎｓｔｉｔｕｔｅ
ｓｉｍｕｌａｔｉｏｎｓｙｓｔｅｍ，ｔｈｅｓｐａｔｉａｌｌｏｃａｔｉｏｎｄａｔａｏｂｔａｉｎｅｄｂｙ
ｓｉｍｕｌａｔｉｏｎｓｙｓｔｅｍ
ｃａｎ
ｕｓｅｓ
ｖｉｓｉｏｎｉｓｋｎｏｗｌ－
ｍａｐｐｅｄ
ｔｈｅｖｉｒｔｕａｌ
ｅｎｖｉｒｏｎｍｅｎｔ
ａｃｈｉｅｖｅｔｈｅｓｐａｔｉａｌｐｒｅｃｉｓｉｏｎｐｏｓｉｔｉｏｎｉｎｇ．Ｔｈｅｐｒｅｃｉｓｅ
ｍｕｌｔｉ－ｆｉｅｌｄ
ｅｄｇｅ
ｆｕｓｉｏｎｔｏ
ｒｅａｌｉｚｅｐｉｃｋｉｎｇ
ｍａｃｈｉｎｅ
ｍｉｚａｔｉｏｎｄｅｓｉｇｎｏｆｐｉｃｋｉｎｇｒｏｂｏｔｐｒｅｃｉｓｅＫｅｙｗｏｒｄｓ：ｂｉｎｏｃｕｌａｒ
ｓｔｅｒｅｏ
ｐｏｓｉｔｉｏｎｉｎｇｓｉｍｕｌａｔｉｏｎａｓｓｏｃｉａｔｅｄ、Ⅳｉｔｈｖｉｓｉｏｎ．ｉｔ
ｐｏｓｉｔｉｏｎｉｎｇｉｎｐｒａｃｔｉｃａｌｏｐｅｒａｔｉｎｇｅｎｖｉｒｏｎｍｅｎｔ．
ｃｏｍｐｅｎｓａｔｉｏｎ；ｐｉｃｋｉｎｇ
ｍａｎｉｐｕｌａｔｏｒ；ｓｉｍｕｌａｔｉｏｎｓｙｓｔｅｍ
ｅｆｆｅｃｔｉｖｅｌｙｇｕｉｄｅｔｈｅｏｐｔｉ－
ｖｉｓｉｏｎ；ｅｒｒｏｒ
摘要：对水果采摘机械手空间定位机理进行了研究，分析了双目立体视觉系统的定位误差并建立视觉误差补偿机制，利用虚拟机械手开发软件和ＣＣＤ视觉硬件构建了仿真系统，通过双目立体视觉获取空间位置数据映射到虚拟环境下引导机械手进行模拟采摘。该系统利用多领域知识融合实现了采摘机构与视觉关联精确定位的仿真，能有效地指导实际作业环境中采摘机械手精
确定位的优化设计．
关键词：双目立体视觉；误差补偿；采摘机械手；仿真系统
ＤＯＩ：１０．３７７８巧．ｉｓｓｎ．１００２—８３３１．２０１１．２４．０３９
文章编号：１００２．８３３１（２０１１）２４－０１３９．０４
文献标识码：Ａ
中图分类号：ＴＰ３９１
在现代农业生产环境中，随着计算机和自动控制技术的
迅速发展，采摘机器人已经逐步深入到农业生产中，机器人的使用标志着农业向自动化和智能化的快速发展［１１。近２０年来日本和欧美等发达国家，一直致力于采摘机器人的研究和开发，同时在我国也存在采摘机器人的相关研究。由于农业作业环境和作业对象的复杂性，目前农业机器人的研究与开发还很少，与工业机器人的技术水平比较相对还比较落后１２１。水果采摘机器人的作业对象是具有多样性和不确定性的有机生物体，实现机器人对果实的采摘，关键在于能否获得果实的精确空间位置嘲。该研究采用虚拟现实技术结合双目立体视觉实验平台，构建了虚拟采摘机械手的定位仿真系统。该系统结合双目立体视觉系统的定位误差补偿机制，实现了虚拟机
械手的空间精确定位。
基金项目：国家自然科学基金（ｔｈｅ
Ｎａｔｉｏｎａｌ
Ｎａｔｕｒａｌ
ｌ机械手视觉定位原理１．１双日立体视觉系统
机器人视觉系统在机器人的研究和应用中占有十分重要的地位，对机器人的自动化和智能化将起决定性作用１４］。当前在危险作业环境下的作业机器人、远程作业机器人、农业生物收获机器人等应用领域中，双目立体视觉成为识别和定位目标的主要手段。双目立体视觉的基本原理是从两个视点观察同一场景，以获取不同视角下的图像，解决两幅图像中像素点之间的对应关系，利用三角测量原理来获得物体的三维信息［５１。
双目立体视觉系统一般由两个相同型号的摄像机组成，在摄像机透视成像过程中，描述光学成像的几何关系需要建立四个坐标系：世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系旧。由图ｌ可见，０。一五ｙｃｚｆ为摄像机坐标系，其原点即为摄像机的光心，忍轴与光轴重合，指向物体。
ＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａｕｎｄｅｒＧ－ＩｍｌｔＮｏ．５０７７５０７９）；国家高技术研究发展计划（８６３）
（Ｎｏ．２００６ＡＡｌ０２２３５）；广东省自然科学基金（Ｎｏ．９２５１０６４２０１００００９，Ｎｏ．０７００６６９２，Ｎｏ．０５００６６６１，Ｎｏ．９１５１０６４２０１００００３０）；教育部博士点基金（Ｎｏ．２００８０５６４０００９）；华南农业大学校长基金资助项目（Ｎｏ．２００９Ｋ０４２）。
作者筒介：熊俊涛（１９８ｌ一），男，博士生，主要从事计算机图像处理应用研究；邹湘军（１９５３一），女，教授，博士生导师。Ｅ－ｍａｉｌ：ｘｉｏｎｇｊｔ＠ｓｃａｕＭｕ．ｏｎ
收稿日期：２０１０－０４－２８；修回日期：２０１０－０６－２３
万方数据
１４０２０１１．４７（２４）
ｃｏｎ华Ⅲ耙ｒ西喀ｌ懈ｒ嘲ｎ耐伽艇讲ｆＤ埘计算机工程与应用
可得：
ｚ．＝竺乒，ｔ，＝＝字，互．＝上’Ｊ…ｊ…、一Ｊｔ
７
ｏ
７ｏ
，Ｄ
（３）
这样利用图像坐标值通过公式（３）能计算出目标点的空间三维坐标值。
１．４视觉误差分析
空间距离信息的获取是机器视觉研究的关键问题，视觉
ｊ
图１摄像机遗视投影坐标系关幕示意图
测量值的精度是必然受到关注的问题之一ｍ。引起视觉误差的原因很多，有来自图像处理算法等软件，也有来自摄像机硬件方面。该研究对图３所示的虚拟机械手视觉实验平台””进
行分析，视觉定位实验误差主要由以下因素造成：
０。一丘Ｌ乙为世界坐标系，ｏ一砂为图像物理坐标系，坐标原
点０在光轴与图像平面的交点上，Ｘ、Ｙ轴分别平行于置、ｙｃ
轴。ｏ—ｗ为图像像素坐标系，（矗，匕，乙）为世界坐标系中
物点Ｐ的三维坐标。（“，ｖ）是图像坐标系中Ｐ点的成像点Ｐ的实际图像坐标，单位为像素（ｐｉｘｅｌ）。图像平面０一ｗ到投影中心的距离为摄像机的焦ｉｌ！ｆｏ由透视成像坐标系之间的比例
关系有如下关系式：
（１）摄像机硬件系统误差。摄像机是机器视觉系统中的—个关键组件，它不仅直接决定所采集到的图像分辨率、图像质量等，同时也与整个系统的运行模式直接相关。双目立体视觉的硬件构成如图３所示。本实验平台的误差包括：支架和导轨的直线度与平行度误差。摄像机、镜头畸变和镜头的制造
和装配误差等。
ｘ＝，毒，，－，芝
其中Ｏ，力为Ｐ点的图像坐标；（五，ｔ．ｚＪ为Ｐ点在摄像机坐
标系下的坐标。
（２）摄像机标定实验误差。摄像机标定实验误差又分为摄像机配准误差和实验操作带来的误差。摄像机配准误差““
主要是摄像机由于位置和姿态未完全配准而产生的误差。摄
１．２摄像机标定
摄像机标定是解决世界坐标、摄像机坐标与实际图像坐
标之间的关系。在该研究中，采用了文ｉｔＲ［７］的标定方法。图２中给出了双目立体视觉中Ｐ点在Ⅺ平面上的投影图，其中左
像机标定实验误差主要是在标定摄像机的过程中存在手工操作，这样会带来实验操作误差。
（３）图像识别与匹配误差。从拍摄的水果图像中识别提取特征像点后，对左右摄像机像平面上的特征像点进行立体
匹配，会存在识别和匹配的误差。图像识别和匹配误差可能
右摄像机中心线的连线是它们共同的ｘ轴，两摄像机的光轴平行，并位于Ⅺ平面上。在这种条件下，摄像机被称为平行对准状态。ｚ轴与两架摄像机的光轴平行，两摄像机的焦距为，’间
距为Ｂ。
会由拍摄图像的质量，识别和匹配算法等产生。
恻３域ｔｔ芷体税蹙系统实验平白
图２双目立体摄蹙髓平面投影图
１．５视觉误差补偿原理
双目立体视觉系统安装好，程序软件调试确定之后，测量精度就已经固定，其误差变化趋势也就固定｛“。在视觉误差可以满足辨识精度要求的前提下，采用最简洁的辨识方法获得视觉的误差值。进行视觉定位的误差补偿。该研究采用模糊匹配的方法进行视觉误差的精度补偿。实验主要是对深度信
在图２所示的坐标系中，空问点烈瓦，ｋ，乙）与它在左右
图像上的图像坐标“，ｙＪ，Ｏ，Ｙ，），有如下关系…：
（２）
该公式利用三角测量原理表示了双耳立体摄像机之间的视差与深度信息乙的关系。通过文献［７】的实验过程。利用公式（２）可实现摄像机的内参数＾口和外参数旋转矩阵丑的确定。
息即乙的值进行模糊匹配的误差补偿，利用补偿后的乙值
来计算空间以、Ｌ的值。该补偿方法的实现过程是：
（１）实验数据获取。主要过程为：采用如图３的标定实验
１．３三维重建
三维重建主要通过图像坐标结合摄像机的标定参数进行目标的世界坐标值的计算。在文献ｍ的实验标定过程中，假设世界坐标系和左摄像机坐标系重合。则世界坐标与摄像机
平台对标定模板上的特征点进行视觉测量，主要利用图像处理获取特征点的图像坐标结合公式（２）计算深度信息；同时在实验平台上利用钢卷尺、三角板、水平测试仪等工具计算出实际深度值。由于所选用的摄像头的焦距参考值（５ｍｍ≤厂≤
１２
坐标的关系也就不存在了．点户空间三维坐标值【邑，Ｌ，乙）
与其在左摄像机坐标系的坐标值（五．，‘，，ｚｃｌ）相同。这样根据
三角测量原理进行空间点的三维测量．由公式（１）和公式（２）
ｍｍ）及视场角（≤３０度），物体离摄像机太近（小于３００∞）
或太远（大于１０００ｍｍ）时，所拍摄的图像模糊不清，以至影响后续的图像处理及三维重建的结果精度，因此该研究在成像
万方数据
熊俊涛，邹湘军，邹海鑫，等：结合机器视觉的采摘机械手的定位仿真研究
时所选择的目标物体与镜头之间的距离为３００ｍｍ到９００
ｍｍ
２０１１，４７（２４）
１４Ｉ
自由度，其机械结构包括关岢型机器人的机座、平移副（关节
之间。将深度３００～９００之问进行细分成１２０等分，平移摄像机２）、转动副（关节１、３、４、５）和末端执行器，如图５所示。机械手运动和控制的第一步，是研究机械手中各个连杆之间以及它
们的控制对象之间的相对运动关系””。
横向导轨，从３００ｍｌｎ开始每隔５ｍｍ测量，得到１２１对深度测
量值，如表ｌ所示。
表ｌ深度｛；｝差模糊丧
小臂
美节
大臂
关节
图５机械手奉体结构图
（２）在ＭＡＴＬＡＢ软件中编写逆运动反解程序，以实现对机
械手运动定位的控制。
（２）生成模糊表格。对实验数据进行分析，得出测量深度、实际深度和误差之间的对应关系，生成一个深度误差模糊表格。该表格通过ＭｉｃｒｏｓｏｆｔＡｃｃｅｓｓ数据库软件建立。
（３）模糊查找。在ＭＡＴＬＡＢ中通过编写程序实现对Ａｃ．
‰＝ｚ伊．）１Ｌ（印２Ｌ（岛）３Ｌ（的４疋（∞５瓦＝
ｒｋｏ，ｑＰ，、
Ｉ～Ｏｙ４，ＰｙＩ
１月：Ｏ：口＃Ｐ：１
００Ｌ０１／
（４、
∞ｓｓ数据库访问进行模糊查找得到深度误差匹配值。其实现
原理如图４Ｎ示，深度误差既可以由测量深度进行模糊查找，又可以由对应的实际深度进行模糊查找。
（４）视觉误差补偿计算。机械手空问定位的误差称为综
公式（４）是机械手位姿运动方程，它描述了末端连杆系相
对基坐标系的位姿的总变换矩阵关系式，‰机械手末端执行
期的期望位置矩阵，‰妒。）．ｔ∽，ｔ（∞，ｔ㈣，ｔ峨），
ｔ分别是机械手的各个连杆的变换矩阵，在公式（４）右边的矩阵中，（Ｐ，ｐ，，Ｐ：）表示机械手运动到空间某个点的三维坐标，也是双目立体视觉测量的空问点的坐标值；加，Ｈ，，ｎＪ，
合误差主要由三部分组成：机构误差、视觉误差、机构视觉关联误差，在本虚拟机械手系统中，对机构影响误差不予考虑，
这样机构与视觉的关联误差也不存在了，则机械手的综合误
差主要就是视觉测量误差㈣。视觉误差补偿计算过程为：双目立体视觉系统测量目标物体空间坐标后，通过模糊查找进行误差匹配，匹配后得到的误差值与测量值进行补偿计算得到
最终结果。
（０，，ｏ，。：），心，。，，ｑ）是三个列矢量，是通过机械手的各个连
杆矩阵进行平移和旋转变换得到的。
机械手的运动反解是上述运动方程的反向求解问题。在
２虚拟机械手的定位仿真２．１虚拟机械手的仿真原理
虚拟采摘机械手的仿真重点在于仿真机械手的各种运动
以及实现对机械手的运动控制。因此，机械手仿真平台设计的主要工作有：
已知末端连杆坐标系似ｎ“ｙ），口（：”相对于基坐标系的位姿，即在已知机械手末端位姿矩阵的各个矩阵元素的情况下，求解由末端手坐标系的笛卡儿空间到关节空间（即所有关节的变化量，包括移动关节的移动量和转动关节的转角）的逆变
换，以求解各个关节的变化量【ｍ。
（３）在ＥＯＮＳｔｕｄｉｏ虚拟仿真软件中建立虚拟程序．为机
（１）利用建模软件建立机械手模型。仿真平台重点在于模拟机械手的运动，机械手的建模并非重点。这里主要利用
ＳｏｌｉｄＷｏｒｋｓ建模软件建立机械手模型，然后再把模型导入
ＥＯＮ
械手添加运动功能以及实现相关节点之间的路由。
（４）最后利用ｖｃ＋十与ＥＯＮＳｔｕｄｉｏ、ＭＡＴＬＡＢ之间连接技
术。在ｖｃ＋＋里实现对ＥＯＮ虚拟程序、ＭＡＴＬＡＢ反解程序的调
用，最终实现虚拟机械手的仿真控制平台。
Ｓｔｕｄｉｏ中进行虚拟程序的设计。本虚拟机械手具有５个
探度误差模糙找数据表
宴际耀度／血Ⅲ
２９５．７３００．８３０５，９
３１５
３１ｌ０３１６．１３２１２３２６３
铡量罐目Ｅ，∞误整ｆｍ
—４３—４２—４１—４０—３９—３８
＂ｌ一
虱雪
查找结果
３０５９ｒａｍ
图４深度误差模期匹配查找图
万方数据
！竺竺！！：！：！丝！呈竺竺竺丝里！：！兰竺：！！丝丝！竺竺竺竺！！三塞皇皇皇
本机械手仿真平台是通过三种软件工具：ｖｃＨ
６．０、ＥＯＮ
误差补偿机制，提高了立体视觉的定位精度；同时进行了机械手结构建模，将获取的空问信息反馈到机械手仿真系统中，对采摘机械手在实际作业中的运动情况进行了仿真。仿真结果表明该系统的有效性和实用性，可用于机器人作业控制和定位误差实时修正，特别是远程作业机器人的精确建模和误差修正。
Ｓｔｕｄｉｏ、ＭＡＴＬＡＢ７．０相结合实现的。在仿真平台设计中，
ｖｃ¨编程工具起着核心的作用，主要通过ｖｃ＋十实现仿真系
统的可视化界面的设计，界面有显示虚拟机械手模型的窗ｕ以及机械手的运动坐标数据的同步显示；其中机械手虚拟模
型的显示用到了ｖｃ＋＋里的ＥＯＮ控件，然后在ｖｃ¨里面调用
ＭＡＴＬＡＢ设计的程序计算机械手运动所需参数，实现机械手空间运动的控制ｎ”。
参考文献：
…ｌ姜丽萍，陈树人果实采摘机器人的研究综述【Ｊ】农业装备技术，
２００６．３２（Ｉ）：８．１０
【２］２邹湘军，罗锡文．卢俊虚拟环境下农业移动机器人行为及其仿真
２．２虚拟机械手定位仿真系统的实现
由视党硬件系统与虚拟机械手构成一个虚拟环境下的机械手定位系统如图６所示。仿真软件系统与视觉硬件系统通
过ＵＳＢ接口连接，用双目立体视觉定位的硬件系统获取真实
目标图像及其三维坐标数据，驱动和引导虚拟环境下的机械
建模【刀系统仿真学报，２００６，１８（８）：５５１—５５４
【３】宋健．孙学岩．张铁中开放武茄子采摘机器人设计与试验【Ｊ］农业
手定位。根据上述原理实现虚拟机械手对水果进行采摘定位
的仿真过程为：首先利用标定好的双目立体视觉系统进行水果图像的采集和特征点信息的提取，然后通过程序把采集到的２Ｄ图像信息进行空间三维重建．从而获得目标的三维坐标数据；当虚拟机械手读入该数据后，程序根据数据进行机械手逆运动学求解．其运算功能模块能够快速求解出各机械臂连杆运动的值，从而指导机械手准确地运动到目标位置进行模
机械学报，２００９．４０（１）：１＃１４７
【４】陈利红机器人视觉系统的研究与开发［Ｄ】．浙江：浙江大学，２００３：
３—１９
【５】５
ＢａｎｍｒｄｓＣｏｍｐｕｔａｔｉｏｎａｌｓｔｅｒｅｏ［Ｊ］ＡＣＭＣｏｍｐｕｔｉｎｇ８ｍｗｅｇｓ，１９８２，１４：５５３－５７２
【６】朱强移动机器人双目视觉系统的研究与应用ｆＤＪ哈尔滨：哈尔滨
工程大学，２００７：１９—３２
［７】郭艾侠，邹湘军，卢俊，等利用双目视差理论的摄像机参数标定方
法【Ｊ］．计算机工程与应用．２００９，４５（１３）：２４０・２４３
［８】８郄瑾基于双目视觉的目标定位与运动分析研究【Ｄ］秦皇岛：燕山
大学，２００６：１０－４８．
拟采摘…Ｊ。
◆
图６虚拟机械手仿真系筑界ｉ
【９】９刘兴荣．用于移动机器人的立体视觉技术【Ｄ】天律：河北工业大学，
２００３：２５－５４
【１０】邹湘军，卢俊采摘机构机械与视觉关联定位实验平台：中国，
２００８１００２７３６９
６１Ｐ］２００８＿０５．
ａｃｃｕｒａｃｙ
【１１】Ｎｅ８９∞Ｍ．ＯｏｇｕＧ．Ｄｉａｃｏｎｅｓｃ＝ｌｌＤ．｝Ｉｉｇｈｄｅｇｒｅｅ
ｃｌｉｎｇａｎｄ
ｕｃＩ
ｍｔｘｌ－
ｃａｌｉｂｍ６０ｎｏｆｓｅｒｉａｌ∞ｂｏｔｓｗｉｔｈｌａｒｇｅｅｒｒｏｒｓ川Ｐｒｏｄ・
Ｅｎｇｉｎｅｅｒｉｎｇ，２００４：３９７－４０８．
【１２】卢俊．基于虚拟设计的采摘机构和视觉的关联定位［Ｄ］广州：华南
农业大学，２００９：６０－６４．【１３】熊有伦机器人技术基础［咽武汉：华中科技大学出版杜，１９９６：
８２—８８．
３结论
该研究将虚拟现实技术与双目立体视觉相结合，构建了
一个虚拟采摘机械手空问定位仿真系统，实现了基于双目立体视觉系统的机械手空问定位过程的模拟。设计了双目立体视觉定位实验并对实验数据进行误差分析，建立了一个视觉
【ｌ４】范柯灵．张铁．蔡蒂．六自由度喷涂机器人位姿误差分析【刀．机电
产品开发与创新，２００８，２１（１）：１８．１９．
［１５】陈荫乐采摘机械手的仿真平台设ｆｆ（ＶＣ语言）【Ｄ】广州：华南农
业大学，２００９：３６－４０
【１６］高宏伟．吴承东．李斌。等基于立体视觉的虚拟机械臂平面定位
研究【刀系统仿真学报，２００７．１９（１４）：３２４５－３２４７
（上接１２０页）
【６】Ｆｅｎｇ
Ｆ。ＪａｎＹ
ｍａｋｉｎｇＣＪ］Ｊｏｕｒｎａｌ
Ｂ，ＺｈａｏＸ．ＳｏＲｓｅｍｉｔｉｎｇｓ［Ｊ］Ｃｏｍｐｕｔｅｔ，ｓ＆Ｍａｔｈｅ－
ｏｆＣｏｍｐｕｔａｔｉｏｎａｌ
ａｎｄ
ＡｐｐｌｉｅｄＭａｔｈｅｍａｔｉｃｓ。
２０１０．２３４（１）：１０．２０
ｍａｔｉｃｓｗｉｔｈＡｐｐｌｉｃａｔ／ｏｎｓ．２００８．５６（１０）：２６２卜２６２ｓｆ１０】Ｘ／ａｏ动ｉ．Ｇｏｎｇ
ｂａｓｅｄ
ｏｎ
Ｋｅ，Ｚｏｕ
ＹａｈＡｃｏｍｂｉｎｅｄｆｏｒｅｃｕｔｉｎｇａｐｐｒｏａｃｈ
Ａｐ－
川Ａｋｔａｓ
【８】Ｍａｊｉ
Ｈ
Ｉ．ＧｒｏａｎＮＳｏｆｔｓｅｔｓａｎｄ
ｓｏｆｔｇｒｏｕｐｓ田．ＩｎｆｏｒｍａｔｉｏｎＳｃｉ－
ｆＩ四∞ｎ
ｓｅｔｓｔｆｌ．ＪｏｕｒａａｌｏｆＣｏｍｐｕｔａｔｉｏｎａｌａｎｄ
ｔｈｅｏｒｙｂａｓｅｄ
ａａｃ．ｅｓ．２００７。１７７（１３）：２７２６１２７３５．
Ｐ
ｐｌｉｅｄＭａｔｈｅｍａｔｉｃｓ．２００９．２２８（１）：３２６－３３３
ｓｅｔｓ
Ｋ．ＲｏｙＡＲ．ＢｉｓｗｓｓＲＡｎａｐｐｌｉｃａｔｉｏｎｏｆｓｏｔｔ
ｉｎ
ａ
…】Ｍａ
２】ａｅｎｎｕｎｇ．ＹａａｇＷｅｉ．Ｓｏｆｔ
ｓｅｔ
０１１
ｉｔｓ删∞川
ｉｄｅａｌｓ［ｆｌ
Ｃｏｍ－
ｄｅｃｉｓｉｏｎ
ｍａｋｉｎｇｐｒｏｂｔｅｍ［Ｊ］．Ｃｏｍｐｕｋ－ｒｓ＆ＭａｔｈｅｍａｔｉｃｓｗｉｔｈＡｐ－
Ｆｕｚｚｙ
ＩｎｆｏｒｍａｔｉｏｎｅｎｄＥｎｇｉｎｅｅｒｉｎｇ．２０１０．１（４）：４２３＿４３２
Ｃ
ｐｌｉｃａｔｉｏｍ．２００２。４４（８／９）：１０７７・１０８３
１１２】Ｙａａｇ
ｓｅｔ
ＥＦｕｚｚｙ３０Ｒｓｅｍｉｇｒｏｕｐｓ
ａｎｄ岫ｓｏｆｔ
【９】Ｆｅｎｇ
ＥＡａ
ａｄｊｕｓｔａｂｌｅａｐｌｍａ∞ｈ
ｔｏ＾唧ｓｏＲ
ｂａｓｅｄｄｅｃｉｓｉｏｎｐｅｔｅｒｓ＆ＭａｔｈｅｍａｔｉｃｓｗｉｔｈＡｐｐｌｉｃａｔｉｏｎｓ．２０１１．６１（２）：２５５－２６１．
万方数据
结合机器视觉的采摘机械手的定位仿真研究
作者：作者单位：
熊俊涛， 邹湘军， 邹海鑫， 陈荫乐， 卢俊， XIONG Juntao， ZOU Xiangjun， ZOU Haixin， CHENYinle， LU Jun
熊俊涛,XIONG Juntao(华南农业大学南方农业机械与装备关键技术省部共建教育部重点实验室,广州510642;华南农业大学信息学院信息工程系,广州510642)， 邹湘军,邹海鑫,陈荫乐,卢俊,ZOU
Xiangjun,ZOU Haixin,CHEN Yinle,LU Jun(华南农业大学南方农业机械与装备关键技术省部共建教育部重点实验室,广州,510642)
计算机工程与应用
Computer Engineering and Applications2011,47(24)2次
刊名：英文刊名：年，卷(期)：被引用次数：
参考文献(16条)
1.姜丽萍,陈树人 果实采摘机器人的研究综述[期刊论文]-农业装备技术 2006(1)
2.邹湘军,罗锡文,卢俊,罗陆锋,李宗樑,莫雪生,范蕾 虚拟环境下农业移动机器人行为及其仿真建模[期刊论文]-系统仿真学报2006(z2)
3.宋健,孙学岩,张铁中,张宾,徐丽明 开放式茄子采摘机器人设计与试验[期刊论文]-农业机械学报 2009(1)4.陈利红 机器人视觉系统的研究与开发[学位论文] 20035.Barnard S Computational stereo 1982
6.朱强 移动机器人双目视觉系统的研究与应用[学位论文] 2007
7.郭艾侠,邹湘军,卢俊,邹海鑫,孙权 利用双目视差理论的摄像机参数标定方法[期刊论文]-计算机工程与应用 2009(13)8.郑瑾 基于双目视觉的目标定位与运动分析研究[学位论文] 20069.刘兴荣 用于移动机器人的立体视觉技术[学位论文] 200310.邹湘军;卢俊 采摘机构机械与视觉关联定位实验平台 2008
11.Neagoe M;Gogu G;Diaconescu D High degree acctracy modeling and calibration of serial robots with large errors2004
12.卢俊 基于虚拟设计的采摘机构和视觉的关联定位 200913.熊有伦 机器人技术基础 1996
14.范柯灵,张铁,蔡蒂 六自由度喷涂机器人位姿误差分析[期刊论文]-机电产品开发与创新 2008(1)15.陈荫乐 采摘机械手的仿真平台设计(VC语言) 2009
16.高宏伟,吴成东,李斌,张国伟 基于立体视觉的虚拟机械臂平面定位研究[期刊论文]-系统仿真学报 2007(14)
引证文献(2条)
1.李秀美,狄敬国 基于视觉的农业机械手抓取研究[期刊论文]-中国农机化学报 2013(01)
2.何霄,李国宁,翟琛 基于双目立体视觉技术的驼峰自动摘钩设备研究[期刊论文]-科学技术与工程 2013(06)
引用本文格式：熊俊涛.邹湘军.邹海鑫.陈荫乐.卢俊.XIONG Juntao.ZOU Xiangjun.ZOU Haixin.CHEN Yinle.LU Jun 结合机器视觉的采摘机械手的定位仿真研究[期刊论文]-计算机工程与应用 2011(24)
ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用
２０１１，４７（２４）
１３９
结合机器视觉的采摘机械手的定位仿真研究
熊俊涛“２，邹湘军１，邹海鑫１，陈荫乐１，卢俊１
ⅪＯＮＧＪｕｎｔａｏ“２，ＺＯＵＸｉａｎｇｊｕｎｌ，ＺＯＵＨａｉｘｉｎｌ，ＣＨＥＮ
２．华南农业大学信息学院信息工程系，广州５１０６４２
１．Ｋｅｙ
Ｌａｂ
ｏｆＫｅｙＴｅｃｈｎｏｌｏｇｙ
ｏｎ
ＹｉＩｌｌｅｌ，ＬＵＪｕｎ‘
１．华南农业大学南方农业机械与装备关键技术省部共建教育部重点实验室，广州５１０６４２
ＡｇｒｉｃｕｌｔｕｒａｌＭａｃｈｉｎｅａｎｄＥｑｕｉｐｍｅｎｔＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ，ＳｏｕｔｈＣｈｉｎａＡｇｒｉｃｕｌｔｕｒａｌＵｎｉ－
ｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｎ
５１０６４２，Ｃｈｉｎａ
２．ＤｅｐａｒｔｍｅｎｔｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｃｓ，ＳｏｕｔｈＣｈｉｎａＡｇｒｉｃｕｌｔｕｒａｌ
Ｕｎｉｖｅｒｓｉｔｙ，劬ｎｇｚｈｏｕ
５１０６４２，Ｃｈｉｎａ
ＸＩＯＮＧＪｕｎｔａｏ，ＺＯＵ
Ｘｉａｎｇｊｕｎ，ＺＯＵＨａｉｘｉｎ，ｅｔａ１．Ｓｔｕｄｙｏｆｐｉｃｋｉｎｇ
ｍａｎｉｐｕｌａｔｏｒｌｏｃａｔｉｏｎｓｉｍｕｌａｔｉｏｎｂａｓｅｄ
ｏｎ
ｍａｃｈｉｎｅ
ｖｉｓｉｏｎ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ．２０１１。４７（２４）：１３９－１４２．
Ａｂｓｔｒａｃｔ：Ｔｈｅ
ｏｐｅｒａｔｉｏｎ
ｍｅｃｈａｎｉｓｍｏｆｆｉ－ｕｉｔｐｉｃｋｉｎｇｍａｎｉｐｕｌａｔｏｒｓｐａｔｉａｌ
ａｎｄ
ａｒｅ
ｌｏｃａｔｉｏｎｉｓ
ｓｔｕｄｉｅｄ，ｉｔ
ａｎａｌｙｓｅｓ
ｔｈｅｌｏｃａｔｉｏｎ
ｅｒｒｏｒ
ｏｆ
ｂｉｎｏｃｕｌａｒ
ａｎｄｔｈｅ
ｓｔｅｒｅｏ
ｖｉｓｉｏｎｓｙｓｔｅｍ
ｅｓｔａｂｌｉｓｈｅｓｕｓｅｄｔｏ
ｔｏ
ｔｈｅｖｉｓｕａｌ
ｅｒｒｏｒ
ｃｏｍｐｅｎｓａｔｉｏｎ
ｍｅｃｈａｎｉｓｍ．Ｖ＇ｎ＇ｔｕａｌｒｏｂｏｔｄｅｖｅｌｏｐｍｅｎｔｓｏｆｔｗａｒｅ
ｓｔｅｒｅｏ
ＣＣＤｖｉｓｕａｌｈａｒｄｗａｒｅ
ｔｏ
ｃｏｎｓｔｉｔｕｔｅ
ｓｉｍｕｌａｔｉｏｎｓｙｓｔｅｍ，ｔｈｅｓｐａｔｉａｌｌｏｃａｔｉｏｎｄａｔａｏｂｔａｉｎｅｄｂｙ
ｓｉｍｕｌａｔｉｏｎｓｙｓｔｅｍ
ｃａｎ
ｕｓｅｓ
ｖｉｓｉｏｎｉｓｋｎｏｗｌ－
ｍａｐｐｅｄ
ｔｈｅｖｉｒｔｕａｌ
ｅｎｖｉｒｏｎｍｅｎｔ
ａｃｈｉｅｖｅｔｈｅｓｐａｔｉａｌｐｒｅｃｉｓｉｏｎｐｏｓｉｔｉｏｎｉｎｇ．Ｔｈｅｐｒｅｃｉｓｅ
ｍｕｌｔｉ－ｆｉｅｌｄ
ｅｄｇｅ
ｆｕｓｉｏｎｔｏ
ｒｅａｌｉｚｅｐｉｃｋｉｎｇ
ｍａｃｈｉｎｅ
ｍｉｚａｔｉｏｎｄｅｓｉｇｎｏｆｐｉｃｋｉｎｇｒｏｂｏｔｐｒｅｃｉｓｅＫｅｙｗｏｒｄｓ：ｂｉｎｏｃｕｌａｒ
ｓｔｅｒｅｏ
ｐｏｓｉｔｉｏｎｉｎｇｓｉｍｕｌａｔｉｏｎａｓｓｏｃｉａｔｅｄ、Ⅳｉｔｈｖｉｓｉｏｎ．ｉｔ
ｐｏｓｉｔｉｏｎｉｎｇｉｎｐｒａｃｔｉｃａｌｏｐｅｒａｔｉｎｇｅｎｖｉｒｏｎｍｅｎｔ．
ｃｏｍｐｅｎｓａｔｉｏｎ；ｐｉｃｋｉｎｇ
ｍａｎｉｐｕｌａｔｏｒ；ｓｉｍｕｌａｔｉｏｎｓｙｓｔｅｍ
ｅｆｆｅｃｔｉｖｅｌｙｇｕｉｄｅｔｈｅｏｐｔｉ－
ｖｉｓｉｏｎ；ｅｒｒｏｒ
摘要：对水果采摘机械手空间定位机理进行了研究，分析了双目立体视觉系统的定位误差并建立视觉误差补偿机制，利用虚拟机械手开发软件和ＣＣＤ视觉硬件构建了仿真系统，通过双目立体视觉获取空间位置数据映射到虚拟环境下引导机械手进行模拟采摘。该系统利用多领域知识融合实现了采摘机构与视觉关联精确定位的仿真，能有效地指导实际作业环境中采摘机械手精
确定位的优化设计．
关键词：双目立体视觉；误差补偿；采摘机械手；仿真系统
ＤＯＩ：１０．３７７８巧．ｉｓｓｎ．１００２—８３３１．２０１１．２４．０３９
文章编号：１００２．８３３１（２０１１）２４－０１３９．０４
文献标识码：Ａ
中图分类号：ＴＰ３９１
在现代农业生产环境中，随着计算机和自动控制技术的
迅速发展，采摘机器人已经逐步深入到农业生产中，机器人的使用标志着农业向自动化和智能化的快速发展［１１。近２０年来日本和欧美等发达国家，一直致力于采摘机器人的研究和开发，同时在我国也存在采摘机器人的相关研究。由于农业作业环境和作业对象的复杂性，目前农业机器人的研究与开发还很少，与工业机器人的技术水平比较相对还比较落后１２１。水果采摘机器人的作业对象是具有多样性和不确定性的有机生物体，实现机器人对果实的采摘，关键在于能否获得果实的精确空间位置嘲。该研究采用虚拟现实技术结合双目立体视觉实验平台，构建了虚拟采摘机械手的定位仿真系统。该系统结合双目立体视觉系统的定位误差补偿机制，实现了虚拟机
械手的空间精确定位。
基金项目：国家自然科学基金（ｔｈｅ
Ｎａｔｉｏｎａｌ
Ｎａｔｕｒａｌ
ｌ机械手视觉定位原理１．１双日立体视觉系统
机器人视觉系统在机器人的研究和应用中占有十分重要的地位，对机器人的自动化和智能化将起决定性作用１４］。当前在危险作业环境下的作业机器人、远程作业机器人、农业生物收获机器人等应用领域中，双目立体视觉成为识别和定位目标的主要手段。双目立体视觉的基本原理是从两个视点观察同一场景，以获取不同视角下的图像，解决两幅图像中像素点之间的对应关系，利用三角测量原理来获得物体的三维信息［５１。
双目立体视觉系统一般由两个相同型号的摄像机组成，在摄像机透视成像过程中，描述光学成像的几何关系需要建立四个坐标系：世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系旧。由图ｌ可见，０。一五ｙｃｚｆ为摄像机坐标系，其原点即为摄像机的光心，忍轴与光轴重合，指向物体。
ＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａｕｎｄｅｒＧ－ＩｍｌｔＮｏ．５０７７５０７９）；国家高技术研究发展计划（８６３）
（Ｎｏ．２００６ＡＡｌ０２２３５）；广东省自然科学基金（Ｎｏ．９２５１０６４２０１００００９，Ｎｏ．０７００６６９２，Ｎｏ．０５００６６６１，Ｎｏ．９１５１０６４２０１００００３０）；教育部博士点基金（Ｎｏ．２００８０５６４０００９）；华南农业大学校长基金资助项目（Ｎｏ．２００９Ｋ０４２）。
作者筒介：熊俊涛（１９８ｌ一），男，博士生，主要从事计算机图像处理应用研究；邹湘军（１９５３一），女，教授，博士生导师。Ｅ－ｍａｉｌ：ｘｉｏｎｇｊｔ＠ｓｃａｕＭｕ．ｏｎ
收稿日期：２０１０－０４－２８；修回日期：２０１０－０６－２３
万方数据
１４０２０１１．４７（２４）
ｃｏｎ华Ⅲ耙ｒ西喀ｌ懈ｒ嘲ｎ耐伽艇讲ｆＤ埘计算机工程与应用
可得：
ｚ．＝竺乒，ｔ，＝＝字，互．＝上’Ｊ…ｊ…、一Ｊｔ
７
ｏ
７ｏ
，Ｄ
（３）
这样利用图像坐标值通过公式（３）能计算出目标点的空间三维坐标值。
１．４视觉误差分析
空间距离信息的获取是机器视觉研究的关键问题，视觉
ｊ
图１摄像机遗视投影坐标系关幕示意图
测量值的精度是必然受到关注的问题之一ｍ。引起视觉误差的原因很多，有来自图像处理算法等软件，也有来自摄像机硬件方面。该研究对图３所示的虚拟机械手视觉实验平台””进
行分析，视觉定位实验误差主要由以下因素造成：
０。一丘Ｌ乙为世界坐标系，ｏ一砂为图像物理坐标系，坐标原
点０在光轴与图像平面的交点上，Ｘ、Ｙ轴分别平行于置、ｙｃ
轴。ｏ—ｗ为图像像素坐标系，（矗，匕，乙）为世界坐标系中
物点Ｐ的三维坐标。（“，ｖ）是图像坐标系中Ｐ点的成像点Ｐ的实际图像坐标，单位为像素（ｐｉｘｅｌ）。图像平面０一ｗ到投影中心的距离为摄像机的焦ｉｌ！ｆｏ由透视成像坐标系之间的比例
关系有如下关系式：
（１）摄像机硬件系统误差。摄像机是机器视觉系统中的—个关键组件，它不仅直接决定所采集到的图像分辨率、图像质量等，同时也与整个系统的运行模式直接相关。双目立体视觉的硬件构成如图３所示。本实验平台的误差包括：支架和导轨的直线度与平行度误差。摄像机、镜头畸变和镜头的制造
和装配误差等。
ｘ＝，毒，，－，芝
其中Ｏ，力为Ｐ点的图像坐标；（五，ｔ．ｚＪ为Ｐ点在摄像机坐
标系下的坐标。
（２）摄像机标定实验误差。摄像机标定实验误差又分为摄像机配准误差和实验操作带来的误差。摄像机配准误差““
主要是摄像机由于位置和姿态未完全配准而产生的误差。摄
１．２摄像机标定
摄像机标定是解决世界坐标、摄像机坐标与实际图像坐
标之间的关系。在该研究中，采用了文ｉｔＲ［７］的标定方法。图２中给出了双目立体视觉中Ｐ点在Ⅺ平面上的投影图，其中左
像机标定实验误差主要是在标定摄像机的过程中存在手工操作，这样会带来实验操作误差。
（３）图像识别与匹配误差。从拍摄的水果图像中识别提取特征像点后，对左右摄像机像平面上的特征像点进行立体
匹配，会存在识别和匹配的误差。图像识别和匹配误差可能
右摄像机中心线的连线是它们共同的ｘ轴，两摄像机的光轴平行，并位于Ⅺ平面上。在这种条件下，摄像机被称为平行对准状态。ｚ轴与两架摄像机的光轴平行，两摄像机的焦距为，’间
距为Ｂ。
会由拍摄图像的质量，识别和匹配算法等产生。
恻３域ｔｔ芷体税蹙系统实验平白
图２双目立体摄蹙髓平面投影图
１．５视觉误差补偿原理
双目立体视觉系统安装好，程序软件调试确定之后，测量精度就已经固定，其误差变化趋势也就固定｛“。在视觉误差可以满足辨识精度要求的前提下，采用最简洁的辨识方法获得视觉的误差值。进行视觉定位的误差补偿。该研究采用模糊匹配的方法进行视觉误差的精度补偿。实验主要是对深度信
在图２所示的坐标系中，空问点烈瓦，ｋ，乙）与它在左右
图像上的图像坐标“，ｙＪ，Ｏ，Ｙ，），有如下关系…：
（２）
该公式利用三角测量原理表示了双耳立体摄像机之间的视差与深度信息乙的关系。通过文献［７】的实验过程。利用公式（２）可实现摄像机的内参数＾口和外参数旋转矩阵丑的确定。
息即乙的值进行模糊匹配的误差补偿，利用补偿后的乙值
来计算空间以、Ｌ的值。该补偿方法的实现过程是：
（１）实验数据获取。主要过程为：采用如图３的标定实验
１．３三维重建
三维重建主要通过图像坐标结合摄像机的标定参数进行目标的世界坐标值的计算。在文献ｍ的实验标定过程中，假设世界坐标系和左摄像机坐标系重合。则世界坐标与摄像机
平台对标定模板上的特征点进行视觉测量，主要利用图像处理获取特征点的图像坐标结合公式（２）计算深度信息；同时在实验平台上利用钢卷尺、三角板、水平测试仪等工具计算出实际深度值。由于所选用的摄像头的焦距参考值（５ｍｍ≤厂≤
１２
坐标的关系也就不存在了．点户空间三维坐标值【邑，Ｌ，乙）
与其在左摄像机坐标系的坐标值（五．，‘，，ｚｃｌ）相同。这样根据
三角测量原理进行空间点的三维测量．由公式（１）和公式（２）
ｍｍ）及视场角（≤３０度），物体离摄像机太近（小于３００∞）
或太远（大于１０００ｍｍ）时，所拍摄的图像模糊不清，以至影响后续的图像处理及三维重建的结果精度，因此该研究在成像
万方数据
熊俊涛，邹湘军，邹海鑫，等：结合机器视觉的采摘机械手的定位仿真研究
时所选择的目标物体与镜头之间的距离为３００ｍｍ到９００
ｍｍ
２０１１，４７（２４）
１４Ｉ
自由度，其机械结构包括关岢型机器人的机座、平移副（关节
之间。将深度３００～９００之问进行细分成１２０等分，平移摄像机２）、转动副（关节１、３、４、５）和末端执行器，如图５所示。机械手运动和控制的第一步，是研究机械手中各个连杆之间以及它
们的控制对象之间的相对运动关系””。
横向导轨，从３００ｍｌｎ开始每隔５ｍｍ测量，得到１２１对深度测
量值，如表ｌ所示。
表ｌ深度｛；｝差模糊丧
小臂
美节
大臂
关节
图５机械手奉体结构图
（２）在ＭＡＴＬＡＢ软件中编写逆运动反解程序，以实现对机
械手运动定位的控制。
（２）生成模糊表格。对实验数据进行分析，得出测量深度、实际深度和误差之间的对应关系，生成一个深度误差模糊表格。该表格通过ＭｉｃｒｏｓｏｆｔＡｃｃｅｓｓ数据库软件建立。
（３）模糊查找。在ＭＡＴＬＡＢ中通过编写程序实现对Ａｃ．
‰＝ｚ伊．）１Ｌ（印２Ｌ（岛）３Ｌ（的４疋（∞５瓦＝
ｒｋｏ，ｑＰ，、
Ｉ～Ｏｙ４，ＰｙＩ
１月：Ｏ：口＃Ｐ：１
００Ｌ０１／
（４、
∞ｓｓ数据库访问进行模糊查找得到深度误差匹配值。其实现
原理如图４Ｎ示，深度误差既可以由测量深度进行模糊查找，又可以由对应的实际深度进行模糊查找。
（４）视觉误差补偿计算。机械手空问定位的误差称为综
公式（４）是机械手位姿运动方程，它描述了末端连杆系相
对基坐标系的位姿的总变换矩阵关系式，‰机械手末端执行
期的期望位置矩阵，‰妒。）．ｔ∽，ｔ（∞，ｔ㈣，ｔ峨），
ｔ分别是机械手的各个连杆的变换矩阵，在公式（４）右边的矩阵中，（Ｐ，ｐ，，Ｐ：）表示机械手运动到空间某个点的三维坐标，也是双目立体视觉测量的空问点的坐标值；加，Ｈ，，ｎＪ，
合误差主要由三部分组成：机构误差、视觉误差、机构视觉关联误差，在本虚拟机械手系统中，对机构影响误差不予考虑，
这样机构与视觉的关联误差也不存在了，则机械手的综合误
差主要就是视觉测量误差㈣。视觉误差补偿计算过程为：双目立体视觉系统测量目标物体空间坐标后，通过模糊查找进行误差匹配，匹配后得到的误差值与测量值进行补偿计算得到
最终结果。
（０，，ｏ，。：），心，。，，ｑ）是三个列矢量，是通过机械手的各个连
杆矩阵进行平移和旋转变换得到的。
机械手的运动反解是上述运动方程的反向求解问题。在
２虚拟机械手的定位仿真２．１虚拟机械手的仿真原理
虚拟采摘机械手的仿真重点在于仿真机械手的各种运动
以及实现对机械手的运动控制。因此，机械手仿真平台设计的主要工作有：
已知末端连杆坐标系似ｎ“ｙ），口（：”相对于基坐标系的位姿，即在已知机械手末端位姿矩阵的各个矩阵元素的情况下，求解由末端手坐标系的笛卡儿空间到关节空间（即所有关节的变化量，包括移动关节的移动量和转动关节的转角）的逆变
换，以求解各个关节的变化量【ｍ。
（３）在ＥＯＮＳｔｕｄｉｏ虚拟仿真软件中建立虚拟程序．为机
（１）利用建模软件建立机械手模型。仿真平台重点在于模拟机械手的运动，机械手的建模并非重点。这里主要利用
ＳｏｌｉｄＷｏｒｋｓ建模软件建立机械手模型，然后再把模型导入
ＥＯＮ
械手添加运动功能以及实现相关节点之间的路由。
（４）最后利用ｖｃ＋十与ＥＯＮＳｔｕｄｉｏ、ＭＡＴＬＡＢ之间连接技
术。在ｖｃ＋＋里实现对ＥＯＮ虚拟程序、ＭＡＴＬＡＢ反解程序的调
用，最终实现虚拟机械手的仿真控制平台。
Ｓｔｕｄｉｏ中进行虚拟程序的设计。本虚拟机械手具有５个
探度误差模糙找数据表
宴际耀度／血Ⅲ
２９５．７３００．８３０５，９
３１５
３１ｌ０３１６．１３２１２３２６３
铡量罐目Ｅ，∞误整ｆｍ
—４３—４２—４１—４０—３９—３８
＂ｌ一
虱雪
查找结果
３０５９ｒａｍ
图４深度误差模期匹配查找图
万方数据
！竺竺！！：！：！丝！呈竺竺竺丝里！：！兰竺：！！丝丝！竺竺竺竺！！三塞皇皇皇
本机械手仿真平台是通过三种软件工具：ｖｃＨ
６．０、ＥＯＮ
误差补偿机制，提高了立体视觉的定位精度；同时进行了机械手结构建模，将获取的空问信息反馈到机械手仿真系统中，对采摘机械手在实际作业中的运动情况进行了仿真。仿真结果表明该系统的有效性和实用性，可用于机器人作业控制和定位误差实时修正，特别是远程作业机器人的精确建模和误差修正。
Ｓｔｕｄｉｏ、ＭＡＴＬＡＢ７．０相结合实现的。在仿真平台设计中，
ｖｃ¨编程工具起着核心的作用，主要通过ｖｃ＋十实现仿真系
统的可视化界面的设计，界面有显示虚拟机械手模型的窗ｕ以及机械手的运动坐标数据的同步显示；其中机械手虚拟模
型的显示用到了ｖｃ＋＋里的ＥＯＮ控件，然后在ｖｃ¨里面调用
ＭＡＴＬＡＢ设计的程序计算机械手运动所需参数，实现机械手空间运动的控制ｎ”。
参考文献：
…ｌ姜丽萍，陈树人果实采摘机器人的研究综述【Ｊ】农业装备技术，
２００６．３２（Ｉ）：８．１０
【２］２邹湘军，罗锡文．卢俊虚拟环境下农业移动机器人行为及其仿真
２．２虚拟机械手定位仿真系统的实现
由视党硬件系统与虚拟机械手构成一个虚拟环境下的机械手定位系统如图６所示。仿真软件系统与视觉硬件系统通
过ＵＳＢ接口连接，用双目立体视觉定位的硬件系统获取真实
目标图像及其三维坐标数据，驱动和引导虚拟环境下的机械
建模【刀系统仿真学报，２００６，１８（８）：５５１—５５４
【３】宋健．孙学岩．张铁中开放武茄子采摘机器人设计与试验【Ｊ］农业
手定位。根据上述原理实现虚拟机械手对水果进行采摘定位
的仿真过程为：首先利用标定好的双目立体视觉系统进行水果图像的采集和特征点信息的提取，然后通过程序把采集到的２Ｄ图像信息进行空间三维重建．从而获得目标的三维坐标数据；当虚拟机械手读入该数据后，程序根据数据进行机械手逆运动学求解．其运算功能模块能够快速求解出各机械臂连杆运动的值，从而指导机械手准确地运动到目标位置进行模
机械学报，２００９．４０（１）：１＃１４７
【４】陈利红机器人视觉系统的研究与开发［Ｄ】．浙江：浙江大学，２００３：
３—１９
【５】５
ＢａｎｍｒｄｓＣｏｍｐｕｔａｔｉｏｎａｌｓｔｅｒｅｏ［Ｊ］ＡＣＭＣｏｍｐｕｔｉｎｇ８ｍｗｅｇｓ，１９８２，１４：５５３－５７２
【６】朱强移动机器人双目视觉系统的研究与应用ｆＤＪ哈尔滨：哈尔滨
工程大学，２００７：１９—３２
［７】郭艾侠，邹湘军，卢俊，等利用双目视差理论的摄像机参数标定方
法【Ｊ］．计算机工程与应用．２００９，４５（１３）：２４０・２４３
［８】８郄瑾基于双目视觉的目标定位与运动分析研究【Ｄ］秦皇岛：燕山
大学，２００６：１０－４８．
拟采摘…Ｊ。
◆
图６虚拟机械手仿真系筑界ｉ
【９】９刘兴荣．用于移动机器人的立体视觉技术【Ｄ】天律：河北工业大学，
２００３：２５－５４
【１０】邹湘军，卢俊采摘机构机械与视觉关联定位实验平台：中国，
２００８１００２７３６９
６１Ｐ］２００８＿０５．
ａｃｃｕｒａｃｙ
【１１】Ｎｅ８９∞Ｍ．ＯｏｇｕＧ．Ｄｉａｃｏｎｅｓｃ＝ｌｌＤ．｝Ｉｉｇｈｄｅｇｒｅｅ
ｃｌｉｎｇａｎｄ
ｕｃＩ
ｍｔｘｌ－
ｃａｌｉｂｍ６０ｎｏｆｓｅｒｉａｌ∞ｂｏｔｓｗｉｔｈｌａｒｇｅｅｒｒｏｒｓ川Ｐｒｏｄ・
Ｅｎｇｉｎｅｅｒｉｎｇ，２００４：３９７－４０８．
【１２】卢俊．基于虚拟设计的采摘机构和视觉的关联定位［Ｄ］广州：华南
农业大学，２００９：６０－６４．【１３】熊有伦机器人技术基础［咽武汉：华中科技大学出版杜，１９９６：
８２—８８．
３结论
该研究将虚拟现实技术与双目立体视觉相结合，构建了
一个虚拟采摘机械手空问定位仿真系统，实现了基于双目立体视觉系统的机械手空问定位过程的模拟。设计了双目立体视觉定位实验并对实验数据进行误差分析，建立了一个视觉
【ｌ４】范柯灵．张铁．蔡蒂．六自由度喷涂机器人位姿误差分析【刀．机电
产品开发与创新，２００８，２１（１）：１８．１９．
［１５】陈荫乐采摘机械手的仿真平台设ｆｆ（ＶＣ语言）【Ｄ】广州：华南农
业大学，２００９：３６－４０
【１６］高宏伟．吴承东．李斌。等基于立体视觉的虚拟机械臂平面定位
研究【刀系统仿真学报，２００７．１９（１４）：３２４５－３２４７
（上接１２０页）
【６】Ｆｅｎｇ
Ｆ。ＪａｎＹ
ｍａｋｉｎｇＣＪ］Ｊｏｕｒｎａｌ
Ｂ，ＺｈａｏＸ．ＳｏＲｓｅｍｉｔｉｎｇｓ［Ｊ］Ｃｏｍｐｕｔｅｔ，ｓ＆Ｍａｔｈｅ－
ｏｆＣｏｍｐｕｔａｔｉｏｎａｌ
ａｎｄ
ＡｐｐｌｉｅｄＭａｔｈｅｍａｔｉｃｓ。
２０１０．２３４（１）：１０．２０
ｍａｔｉｃｓｗｉｔｈＡｐｐｌｉｃａｔ／ｏｎｓ．２００８．５６（１０）：２６２卜２６２ｓｆ１０】Ｘ／ａｏ动ｉ．Ｇｏｎｇ
ｂａｓｅｄ
ｏｎ
Ｋｅ，Ｚｏｕ
ＹａｈＡｃｏｍｂｉｎｅｄｆｏｒｅｃｕｔｉｎｇａｐｐｒｏａｃｈ
Ａｐ－
川Ａｋｔａｓ
【８】Ｍａｊｉ
Ｈ
Ｉ．ＧｒｏａｎＮＳｏｆｔｓｅｔｓａｎｄ
ｓｏｆｔｇｒｏｕｐｓ田．ＩｎｆｏｒｍａｔｉｏｎＳｃｉ－
ｆＩ四∞ｎ
ｓｅｔｓｔｆｌ．ＪｏｕｒａａｌｏｆＣｏｍｐｕｔａｔｉｏｎａｌａｎｄ
ｔｈｅｏｒｙｂａｓｅｄ
ａａｃ．ｅｓ．２００７。１７７（１３）：２７２６１２７３５．
Ｐ
ｐｌｉｅｄＭａｔｈｅｍａｔｉｃｓ．２００９．２２８（１）：３２６－３３３
ｓｅｔｓ
Ｋ．ＲｏｙＡＲ．ＢｉｓｗｓｓＲＡｎａｐｐｌｉｃａｔｉｏｎｏｆｓｏｔｔ
ｉｎ
ａ
…】Ｍａ
２】ａｅｎｎｕｎｇ．ＹａａｇＷｅｉ．Ｓｏｆｔ
ｓｅｔ
０１１
ｉｔｓ删∞川
ｉｄｅａｌｓ［ｆｌ
Ｃｏｍ－
ｄｅｃｉｓｉｏｎ
ｍａｋｉｎｇｐｒｏｂｔｅｍ［Ｊ］．Ｃｏｍｐｕｋ－ｒｓ＆ＭａｔｈｅｍａｔｉｃｓｗｉｔｈＡｐ－
Ｆｕｚｚｙ
ＩｎｆｏｒｍａｔｉｏｎｅｎｄＥｎｇｉｎｅｅｒｉｎｇ．２０１０．１（４）：４２３＿４３２
Ｃ
ｐｌｉｃａｔｉｏｍ．２００２。４４（８／９）：１０７７・１０８３
１１２】Ｙａａｇ
ｓｅｔ
ＥＦｕｚｚｙ３０Ｒｓｅｍｉｇｒｏｕｐｓ
ａｎｄ岫ｓｏｆｔ
【９】Ｆｅｎｇ
ＥＡａ
ａｄｊｕｓｔａｂｌｅａｐｌｍａ∞ｈ
ｔｏ＾唧ｓｏＲ
ｂａｓｅｄｄｅｃｉｓｉｏｎｐｅｔｅｒｓ＆ＭａｔｈｅｍａｔｉｃｓｗｉｔｈＡｐｐｌｉｃａｔｉｏｎｓ．２０１１．６１（２）：２５５－２６１．
万方数据
结合机器视觉的采摘机械手的定位仿真研究
作者：作者单位：
熊俊涛， 邹湘军， 邹海鑫， 陈荫乐， 卢俊， XIONG Juntao， ZOU Xiangjun， ZOU Haixin， CHENYinle， LU Jun
熊俊涛,XIONG Juntao(华南农业大学南方农业机械与装备关键技术省部共建教育部重点实验室,广州510642;华南农业大学信息学院信息工程系,广州510642)， 邹湘军,邹海鑫,陈荫乐,卢俊,ZOU
Xiangjun,ZOU Haixin,CHEN Yinle,LU Jun(华南农业大学南方农业机械与装备关键技术省部共建教育部重点实验室,广州,510642)
计算机工程与应用
Computer Engineering and Applications2011,47(24)2次
刊名：英文刊名：年，卷(期)：被引用次数：
参考文献(16条)
1.姜丽萍,陈树人 果实采摘机器人的研究综述[期刊论文]-农业装备技术 2006(1)
2.邹湘军,罗锡文,卢俊,罗陆锋,李宗樑,莫雪生,范蕾 虚拟环境下农业移动机器人行为及其仿真建模[期刊论文]-系统仿真学报2006(z2)
3.宋健,孙学岩,张铁中,张宾,徐丽明 开放式茄子采摘机器人设计与试验[期刊论文]-农业机械学报 2009(1)4.陈利红 机器人视觉系统的研究与开发[学位论文] 20035.Barnard S Computational stereo 1982
6.朱强 移动机器人双目视觉系统的研究与应用[学位论文] 2007
7.郭艾侠,邹湘军,卢俊,邹海鑫,孙权 利用双目视差理论的摄像机参数标定方法[期刊论文]-计算机工程与应用 2009(13)8.郑瑾 基于双目视觉的目标定位与运动分析研究[学位论文] 20069.刘兴荣 用于移动机器人的立体视觉技术[学位论文] 200310.邹湘军;卢俊 采摘机构机械与视觉关联定位实验平台 2008
11.Neagoe M;Gogu G;Diaconescu D High degree acctracy modeling and calibration of serial robots with large errors2004
12.卢俊 基于虚拟设计的采摘机构和视觉的关联定位 200913.熊有伦 机器人技术基础 1996
14.范柯灵,张铁,蔡蒂 六自由度喷涂机器人位姿误差分析[期刊论文]-机电产品开发与创新 2008(1)15.陈荫乐 采摘机械手的仿真平台设计(VC语言) 2009
16.高宏伟,吴成东,李斌,张国伟 基于立体视觉的虚拟机械臂平面定位研究[期刊论文]-系统仿真学报 2007(14)
引证文献(2条)
1.李秀美,狄敬国 基于视觉的农业机械手抓取研究[期刊论文]-中国农机化学报 2013(01)
2.何霄,李国宁,翟琛 基于双目立体视觉技术的驼峰自动摘钩设备研究[期刊论文]-科学技术与工程 2013(06)
引用本文格式：熊俊涛.邹湘军.邹海鑫.陈荫乐.卢俊.XIONG Juntao.ZOU Xiangjun.ZOU Haixin.CHEN Yinle.LU Jun 结合机器视觉的采摘机械手的定位仿真研究[期刊论文]-计算机工程与应用 2011(24)