2018, Vol. 33
, 
2. 厦门大学 自动化系，福建 厦门 361005
2. Department of Automation, Xiamen University, Xiamen 361005, China
与传统机器人逆/正向运动学控制技术不同, 机器人视觉伺服利用视觉传感器提供的环境信息, 对机器人进行实时反馈控制, 这有利于提高机器人的自主操作能力, 已成为机器人控制的重要研究内容[1].当前视觉伺服控制主要包括基于位置的视觉伺服(PBVS)和基于图像的视觉伺服(IBVS)[2].
PBVS方法的反馈控制信号以笛卡尔坐标形式定义, 依据图像特征, 并结合已知目标3D几何模型及相机标定模型对目标位姿进行估计, 控制系统根据机械手位姿与目标位姿之间的差分信息进行轨迹规划并实施控制[3].与之相反, IBVS控制方法直接利用图像特征进行视觉反馈控制, 将图像误差信息映射到机器人运动空间, 计算控制量驱动机器人向目标运动[4-6]. IBVS方法无需估计目标在笛卡尔空间中的3D位姿, 相比PBVS简化了计算量, 得到了广泛的关注与应用[7-9].
基于IBVS的机器人定位控制的关键是“视觉空间-运动空间”之间非线性映射关系的求解[10-12].经典方法有Broyden估计法[13]、解耦静态Broyden方法[14]、动态Broyden和动态指数加权递归最小二乘法(RLS)[15]、高斯-牛顿法和递推RLS雅可比估计法[16].文献[17]将Broyden-Gauss-Newton、Broyden递归RLS统一到状态空间中, 研究了基于状态空间的视觉伺服方法; 文献[18]研究了深度独立图像雅可比方法的视觉伺服; 与之相似, 文献[19]采用深度独立图像雅可比, 建立了图像误差与机器人关节之间的映射关系; 文献[20]将特征点深度信息联合像素坐标, 研究了MPC的IBVS方法; 文献[21]研究了动态自适应神经网络伪逆图像雅可比实时估计的IBVS.
随着柔型机器人的涌现, 由于现阶段视觉伺服一方面需要求解特征点的深度信息, 另一方面系统性能依赖相机标定模型的精度[22], 当面向未来刚-柔-软体共融机器人时, 其柔型结构造成的标定模型参数的变化与不确定性必然使现有确定模型的研究方法性能下降.为此, 针对无模型机器人的视觉伺服定位问题, 本文研究一种神经网络联合卡尔曼滤波(Kalman filtering, KF)雅可比预测的IBVS视觉伺服方法.真实环境中, 一方面, 伺服系统状态模型是对真实模型的逼近, 必然包括非线性近似误差; 另一方面, KF算法应用中, 其过程噪声和观测噪声统计参数通常是假设或经验拟合, 算法递推积累误差使KF退化为次优状态估计器, 在参数严重不匹配时出现滤波发散.因此, 首先在状态空间中建立机器人“视觉空间-运动空间”雅可比非线性映射的状态方程和观测方程, 提出KF状态估计, 联合神经网络动态补偿系统近似误差与参数估计误差算法.在此基础上, 构建基于雅可比预测的无模型IBVS控制框架, 并以李雅普诺夫稳定性原理证明系统的稳定性.所研究方法在线预测摄像机标定参数、目标深度参数, 直接绕开了相机标定和目标建模问题, 旨在提高伺服系统的鲁棒稳定性.最后进行“眼在手”六自由度工业机器人定位比较实验, 结果表明, 相比于传统KF方法, 本文方法的图像空间特征运动轨迹与笛卡尔空间机器人末端运动轨迹更平稳, 无震荡回退现象, 定位精度更高.
1 无模型视觉伺服问题描述机器人IBVS视觉伺服直接对图像特征实施控制, 进而将图像误差映射到机器人运动空间中.定义图像特征误差为
|
(1) |
其中: S(t)∈Rn、S*(t)∈Rn分别为当前图像特征和期望特征, ε为系数矩阵(包含摄像机标定参数和目标3D深度参数), p(t)、p*(t)分别为当前图像特征和期望特征的笛卡尔坐标值.在控制律作用下, 若es(t)→0, 则机器人实现从当前位姿定位到期望位姿.
对于“眼在手”系统, 机器人末端轻微的局部运动可能导致图像特征复杂的非线性变化, 因此机器人“视觉空间-运动空间”满足非线性映射关系
|
(2) |
其中: Ve(t)∈Rm为机器人末端在基坐标中的运动速度; Js(t)为动态时变矩阵, 称为图像雅可比矩阵, 形式有
|
(3) |
图像雅可比是机器人位形与图像特征的函数, 依赖于摄像机标定参数和目标深度参数.在未知相机标定模型和目标3D几何模型的条件下, 精确雅可比在线计算是无模型视觉伺服的核心问题, 本文将雅可比引入到状态空间, 从而转化为状态预测问题进行研究.
2 网络动态补偿卡尔曼滤波预测算法针对无模型雅可比在线预测问题, 考虑如下一类动态方程:
|
(4) |
|
(5) |
其中: Φ(t, t-1)为状态转移矩阵, 不失一般性, 本文取单位矩阵; H(t)为观测矩阵; W(t)为系统过程噪声; V(t)为传感器观测噪声; X(t)为雅可比矩阵元素构成的系统状态向量, 有
|
(6) |
jnm(t)为图像雅可比矩阵的第n行第m列元素.式(5)中的观测向量Z(t)定义为相邻时刻图像特征的变化量, 即
|
(7) |
假设系统噪声W(t)和观测噪声V(t)为不相关的白噪声序列, 协方差分别为Q(t)和R(t), 则对于动态离散系统(4)和(5)的状态估计问题, 可构建卡尔曼滤波最小方差递推算法, 滤波方程[23]为
|
(8) |
算法流程主要包括状态估计更新和观测更新两个基本过程, 在白噪声不相关的理想条件下, 卡尔曼滤波递推方程满足最优状态估计, 即E{X(t)}=
基于图像视觉伺服的机器人定位, 其性能依赖于雅可比预测的精确性.若雅可比预测不精确, 则图像空间特征轨迹容易偏离相机视场, 导致笛卡尔空间机器人运动震荡回退, 严重时关节受限.为了进一步提高雅可比在线预测的精确性和鲁棒性, 考虑状态估计
|
(9) |
其中:
由卡尔曼滤波方程(8)可知, 滤波器通过滤波增益K(t)修正状态观测值, 得到状态估计值, 为此定义网络输入
|
(10) |
其中: ek(t/t-1)为增益误差, 
网络隐含层节点采用径向基函数, 每个隐含神经元输出为
|
(11) |
|
(12) |
其中: G=(ek
网络输出层为所有隐含节点输出的线性和, 则卡尔曼滤波补偿值为
|
(13) |
其中wi和bi2分别为输出层第i个神经元的链接权重和阈值.
网络采用离线训练, 首先, 独立于网络的KF算法用于机器人定位操作, 在每一个KF迭代周期中, 由式(10)计算滤波增益误差、状态滤波误差以及状态观测误差, 得到网络输入训练样本.网络输出训练样本为雅可比期望补偿值, 即
|
(14) |
其中: 
网络训练参数设置如表 1所示, KF滤波参数ek∈R6, ez∈R8,
|
表 1 网络训练参数 |
|
图 1 网络训练误差 |
|
|
表 2 网络结构参数 |
不考虑相机标定与目标3D几何模型, 本小节给出基于雅可比预测的无模型视觉伺服控制方法, 框架如图 2所示.
|
图 2 无模型IBVS视觉伺服控制框图 |
图 2中, t时刻的图像特征定义为
|
(15) |
其中Sn=(un, vn)为第n个图像特征点的像素坐标值.
假设式(2)机器人末端运动速度为
|
其中线速度v(t)和角速度w(t)分别为
|
结合式(7), 则式(5)的观测矩阵为
|
(16) |
为了构建伺服系统控制律, 首先对误差函数(1)求导, 可得
|
(17) |
对上式求导, 一方面考虑期望特征S*(t)为常量, 另一方面存在非零常数使以下等式成立:
|
(18) |
将式(18)代入(17)可得
|
(19) |
在机器人定位实验中, 一般选取特征维数n大于控制维数m, 则式(19)变形可得伺服控制律
|
(20) |
其中: λ为控制率, J+(t)=Js(t)T(Js(t)Js(t)T)-1为图像雅可比矩阵广义逆.
为了进一步说明控制器的稳定性, 依据图像误差(1)构建李雅普诺夫函数
|
(21) |
对上式求导可得
|
(22) |
将式(17)、(20)代入(22)有
|
(23) |
其中J+(t)∈Rm×n.由于n>m, 矩阵Js(t)J+(t)半正定, 有(es(t))TJs(t)J+(t)es(t)≥0.当控制率λ>0时, 有
Step 1:系统初始化, 即给定初始图像特征S(0)、期望特征S*、控制率λ、初始雅可比Js(0).由式(6)得到系统状态向量初始值Js(0)→X(0).
Step 2:由控制律(20)计算机器人t时刻控制量Ve(t), 机器人运动定位, 视觉系统提取当前图像特征S(t), 由式(1)计算图像误差, 若es(t) < η, 则机器人定位结束, 否则算法向下执行.
Step 3:由式(16)计算当前时刻观测矩阵H(t), 根据状态转移方程(4), 得到t-1时刻状态向量X(t-1)到t时刻状态向量的迭代更新X(t), 再将X(t)代入状态观测方程(5), 得到t时刻系统观测量Z(t).
Step 4:由KF递推算法(8), 得到t时刻状态估计值
Step 5:~KF递推过程中, 由式(10)获取网络输入量, 由网络输出(13)得到状态估计补偿值e
Step 6:算法进入下一个迭代循环, 即t←t+1, 转入Step 2.
4 实验及结果分析CCD相机安装在六自由度机器人末端, 构建“眼在手”视觉反馈定位实验平台, 如图 3所示.机器人选用DENSO公司的VS-6556GM六自由度工业机械臂, 其中包含RC7M-VSG6BA机器人控制器.控制器作为下位机完成机器人运动学运算, 同时驱动机器人各个关节; 上位机选用Intel Corei5 2.67 GHz CPU, 4 GBs RAM计算机, 用于图像处理及执行视觉伺服控制算法.计算机与机器人控制器通过RS232C串口相连接, 构成机器人视觉伺服闭环系统.图像采集使用Basler工业摄像机scA1300-32fm/fc, 相机分辨率设置为640×480.
|
图 3 “眼在手”实验平台 |
机器人定位实验设定控制率λ=0.55, KF滤波模型的系统噪声协方差Q=I48×48, 测量噪声协方差R=I8×8.以A4纸打印4个圆点作为定位特征点, 则雅可比矩阵大小为8×6, 初始化为
|
(24) |
机器人定位实验分为平移运动定位和平移加旋转组合运动定位, 分别如下.
实验1 设置初始特征点像素位置
|
期望特征点像素位置
|
此时机器人的初始位姿相对于期望位姿为单纯的平移运动定位, 实验结果如图 4所示.
|
图 4 实验1的定位结果 |
实验2 设置初始特征点像素位置
|
期望特征点像素位置
|
此时机器人初始位姿相对于期望位姿为旋转组合平移运动定位, 实验结果如图 5所示.
|
图 5 实验2的定位结果 |
在以上两组定位实验中, 机器人视场范围均为640×480像素, 实验设定初始特征点S(0)与期望特征点S*尽量接近图像区域边缘, 这样有利于验证本文方法的特征轨迹动态行为.由图 4(a)和图 5(a)可以看出, 图像空间特征运动轨迹平滑稳定在相机的视场范围内, 没有出现特征点偏离相机视场的现象.另一方面, 由图 4(b)和图 5(b)可以看出, 机器人末端从起始位姿定位到期望位姿过程中, 笛卡尔空间机器人末端接近以直线的方式定位到期望位姿, 运动轨迹保持平稳, 没有震荡回退现象发生, 机器人各关节无冲突.
为了定量地验证本文算法的定位精度, 采用下式计算相对期望特征的图像收敛误差:
|
(25) |
其中: si(t)为t时刻第i个图像特征值, si*为期望图像特征值.以上两种情况的定位实验图像误差分别如图 4(c)和图 5(c)所示, 可以看出特征点误差一致收敛, 最终图像平均误差在10个像素范围内, 说明图像特征点从初始位置定位到期望位置, 定位精度较高.
为了进一步验证本文方法的改善性能, 以传统KF方法作为比较对象, 进行以下机器人定位对比实验.
实验3 设置初始特征点像素位置
|
期望特征点像素位置
|
此时机器人初始位姿相对于期望位姿为旋转组合X、Z轴大范围运动.本文方法结果如图 6所示, 传统KF方法结果如图 7所示.
|
图 6 本文方法的定位结果 |
|
图 7 传统KF方法的定位结果 |
比较图 6(a)与图 7(a)可以看出, 本文方法图像空间特征轨迹平滑稳定, 路径较短, 而KF方法雅可比估计作用下, 特征轨迹扭曲波动很大, 路径较长.比较图 6(b)与图 7(b)还可以看出, 本文方法笛卡尔空间机器人末端运动轨迹平稳, 无震荡回退, 而KF方法机器人运动震荡较大, 在起始段出现回退, 后期路径出现较严重的绕行.最终, KF方法定位存在较大的稳态误差, 而本文方法定位误差小, 精度较KF方法高(见图 6(c)和图 7(c)).
综上可知, 在未知相机标定、未知目标深度信息的条件下, 本文研究的无模型直接图像视觉伺服方法特征点运动轨迹平滑稳定在相机视场范围内, 且机器人末端运动轨迹平稳无震荡回退, 定位精度满意.这说明, 一方面, 采用网络动态补偿系统近似误差与参数估计误差的手段, 大大改善了特征运动与机器人运动的稳定性, 提高了定位精度; 另一方面, 本文方法在线图像雅可比预测简化了系统标定与目标建模, 避免了伺服系统对标定、建模的影响, 这也是改善特征轨迹与机器人末端轨迹性能, 抑制机器人震荡回退的另一种有效手段.
5 结论本文研究了一种基于雅可比精确预测的无模型IBVS视觉伺服控制方案.在未知相机标定模型、目标3D模型环境下, 将雅可比求解问题转化为动态系统的状态估计, 并考虑系统近似误差与参数估计误差, 提出了网络补偿KF雅可比预测算法.算法通过提高雅可比在线预测的鲁棒性和精确性, 改善了图像特征与机器人末端的运动性能.本文无模型视觉伺服控制方法满足李雅普诺夫稳定性准则, 并直接绕开了相机标定和目标建模问题, 有效避免了由于标定、建模误差带来的负影响.“眼在手”六自由度机器人定位比较实验表明, 图像空间特征轨迹与笛卡尔空间机器人末端运动轨迹平稳, 无震荡回退, 定位精度高.若考虑期望特征为时变动态特征, 本文方法可进一步扩展为机器人无模型跟随运动控制, 这是下一步研究的问题.
| [1] |
贾丙西, 刘山, 张凯祥, 等. 机器人视觉伺服研究进展:视觉系统与控制策略[J]. 自动化学报, 2015, 41(5): 861-873. (Jia B X, Liu S, Zhang K X, et al. Survey on robot visual servo control: Vision System and control strategies[J]. Acta Automatica Sinica, 2015, 41(5): 861-873.) |
| [2] |
Chaumette F, Hutchinson S. Visual servo control, Part I: Basic approaches[J]. IEEE Robotics & Automation Magazine, 2006, 4(13): 82-90. |
| [3] |
Do-Hwan P, Jeong-Hoon K, In-Joong H. Novel position-based visual servoing approach to robust global stability under field-of-view constraint[J]. IEEE Trans on Industrial Electronics, 2012, 59(12): 4735-4752. DOI:10.1109/TIE.2011.2179270 |
| [4] |
Garcia-Aracil N, Perez-Vidal C, Sabater J M, et al. Robust and cooperative image-based visual servoing system using a redundant architecture[J]. Sensors, 2011, 11(12): 11885-11900. DOI:10.3390/s111211885 |
| [5] |
杨唐文, 高立宁, 阮秋琦, 等. 移动双臂机械手系统协调操作的视觉伺服技术[J]. 控制理论与应用, 2015, 32(1): 69-74. (Yang T W, Gao L N, Ruan Q Q, et al. Visual servo technology for coordinated manipulation of a mobile dual-arm manipulator system[J]. Control Theory & Applications, 2015, 32(1): 69-74.) |
| [6] |
Redwan D, Nicolas A, Youcef M, et al. Dynamic visual servoing from sequential regions of interest acquisition[J]. The Int J of Robotics Research, 2012, 31(4): 1-19. |
| [7] |
Quentin B, Eric M. Histograms-based visual servoing[J]. IEEE Robotics and Automation Letters, 2017, 2(1): 80-87. DOI:10.1109/LRA.2016.2535961 |
| [8] |
纪鹏, 宋爱国, 吴常铖, 等. 适用于移动机械手无关节状态反馈情况的基人-机-机协作的无标定视觉伺服控制[J]. 机器人, 2017, 39(2): 197-204. (Ji P, Song A G, Wu C C, et al. Human-robot-robotcooperation based uncalibrated visual servoing control for mobile robotic manipulators without joint-state feedback[J]. Robot, 2017, 39(2): 197-204.) |
| [9] |
Wang H S, Guo D J, Xu H, et al. Eye-in-hand tracking control of Free-Floating space manipulator[J]. IEEE Trans on Aerospace and Electronic Systems, 2017, 53(4): 1855-1865. DOI:10.1109/TAES.2017.2674218 |
| [10] |
Josip M, Mirjana B, Mojmil C. Comparison of uncalibrated model-free visual servoing methods for small-amplitude movements: A simulation study[J]. Int J of Advanced Robotic Systems, 2014, 108(11): 1-16. |
| [11] |
Wang H L. Adaptive visual tracking for robotic systems eithout image-space velocity measurement[J]. Automatica, 2015, 55(4): 294-301. |
| [12] |
Ma Z, Su J B. Robust uncalibrated visual servoing control based on disturbance observer[J]. ISA Trans, 2015, 59(8): 193-204. |
| [13] |
Piepmeier J A, Mcmurray G V, Lipkin H. A dynamic quasi-newton method for uncalibrated visual servoing[C]. IEEE Int Conf on Robotics and Automation. Piscataway: IEEE, 1999: 1595-1600.
|
| [14] |
Asada M, Tanaka T, Hosoda K. Visual tracking of unknown moving object by adaptive binocu1ar visual servoing[C]. Proc of IEEE Int Conf on Multisensor Fusion and Integration for Intelligent Systems. Taipei: IEEE, 1999: 249-254.
|
| [15] |
Piepmeier J A, McMurray G V, Lipkin H. Uncalibrated dynamic visual servoing[J]. IEEE Trans on Robotics and Automation, 2004, 20(1): 143-147. DOI:10.1109/TRA.2003.820923 |
| [16] |
Piepmeier J A, Lipkin H. Uncalibrated eye-in-hand visual servoing[J]. Int J of Robotics Research, 2003, 22(10/11): 805-819. |
| [17] |
Hao M, Sun Z. A universal state-space approach to uncalibrated model-free visual servoing[J]. IEEE/ASME Trans on Mechatronics, 2012, 17(5): 833-846. DOI:10.1109/TMECH.2011.2131149 |
| [18] |
Liang X W, Wang H S, Chen W D, et al. Adaptive image-based trajectory tracking control of wheeled mobile robots with an uncalibrated fixed camera[J]. IEEE Trans on Control Systems Technology, 2015, 23(6): 2266-2282. DOI:10.1109/TCST.2015.2411627 |
| [19] |
Wang H S, Jiang M K, Chen W D, et al. Visual servoing of robots with uncalibrated robot and camera parameters[J]. Mechatronics, 2012, 22(7): 661-668. |
| [20] |
王婷婷, 刘国栋. 结合深度信息的视觉伺服准最小最大MPC方法[J]. 控制与决策, 2013, 28(7): 1018-1022. (Wang T T, Liu G D. Quasi-min-max MPC algorithm for visual servoing system with depth information[J]. Control and Decision, 2013, 28(7): 1018-1022.) |
| [21] |
Gao J, Proctor A, Bradley C. Adaptive neural network visual servo control for dynamic positioning of underwater vehicles[J]. Neurocomputing, 2015, 167(4): 604-613. |
| [22] |
苏剑波. ADRC理论和技术在机器人无标定视觉伺服中的应用和发展[J]. 控制与决策, 2015, 30(1): 1-8. (Su J B. Robotic uncalibrated visual serving based. on ADRC[J]. Control and Decision, 2015, 30(1): 1-8.) |
| [23] |
Kalman R E. A new approach to linear filtering and prediction problems[J]. Trans of the ASME-J of Basic Engineering, 1960, 82(1): 34-45. |