崔涛(1998-), 男, 硕士生, 从事机器学习、机器人柔性操作的研究, E-mail:
李凤鸣(1984-), 女, 博士生, 从事机器学习、机器人柔性操作的研究, E-mail:
宋锐(1975-), 男, 教授, 博士生导师, 从事智能机器人控制、机器人柔性作业等研究, E-mail:
李贻斌(1960-), 男, 教授, 博士生导师、从事智能机器人、机器人柔性操作等研究, E-mail:
针对机器人在多类别物体不同任务下的抓取决策问题, 提出基于多约束条件的抓取策略学习方法.该方法以抓取对象特征和抓取任务属性为机器人抓取策略约束, 通过映射人类抓取习惯规划抓取模式, 并采用物体方向包围盒(OBB)建立机器人抓取规则, 建立多约束条件的抓取模型.利用深度径向基(DRBF)网络模型结合减聚类算法(SCM)实现抓取策略的学习, 两种算法的结合旨在提高学习鲁棒性与精确性.搭建以Reflex 1型灵巧手和AUBO六自由度机械臂组成的实验平台, 对多类别物体进行抓取实验.实验结果表明, 所提出方法使机器人有效学习到对多物体不同任务的最优抓取策略, 具有良好的抓取决策能力.
Aiming at the problem of robot grasping decision under different tasks of multiple objects, a learning method of the grasping strategy based on multiple constraints is proposed, in which, the characteristics of grasping objects and the attributes of grasping tasks are taken as the multiple constraints of the a robot grasping strategy. Furthermore, the method uses human grasping habit to map to robot grasp types, and the grasping rules of a robot are established by using the object bounding box(OBB). The fetching model with multiple constraints is established. Then, the radial basis function RBF network model is combined with the de-clustering algorithm SCM to realize the grasping strategy learning. The combination of the two algorithms aims to improve the robustness and accuracy of learning. Using the AUBO six-degree-of-freedom robotic arm with Reflex 1 dexterity hand, experiments are conducted to grasp objects with different shapes and multiple tasks. Experimental results show that the proposed method enables the robot to effectively learn the optimal grasping strategy for different tasks of multiple objects and has good grasping decision-making ability.
近年来, “工业4.0”和“中国制造2025”渐渐成为下一场工业革命中的重要概念, 机器人逐步应用在众多生产生活领域.机器人抓取是机器人与外界交互的重要操作能力[
文献[
与夹持器相比, 灵巧手具有更高的自由度, 可根据结构的不同实现多种抓取模式, 所以利用灵巧手的灵巧特性解决抓取决策问题逐渐成为重要的研究方向.Jarque-Bou等[
上述关于抓取决策的方法研究中, 抓取的约束条件大多为尺寸、重量、摩擦系数、接触力等抓取物体特征与抓取本身.而通常情况下, 抓取是一种有目的的行为[
针对具有任务约束的抓取问题, 本文提出一种多约束条件下机器人抓取策略学习模型, 重点研究抓取物体特征约束和抓取任务属性约束条件下的三指灵巧手抓取策略, 提出以基于OBB的刚性物体抓取任务的三面映射方法, 并按照人类自然抓取习惯, 建立多约束抓取决策的映射关系.采用SCM-RBF网络模型实现抓取策略的学习, 并通过在真实场景的实验验证该网络模型抓取策略学习模型的准确性和实用性.
按照人类抓取习惯, 抓取策略受到抓取物体外观、物体尺寸、完成抓取之后的任务动作等因素的影响, 本文重点考虑抓取对象特征和抓取任务属性的影响结果.
在为抓取对象数据集选择特征时, 着重考虑对抓取决策有显著影响的物理属性, 根据目标特征如尺寸、重量、几何外形等来选择不同抓握方式, 所讨论的抓取模型只包括常见的刚性物体.
目标物体特征集
特征 | 描述 | 值 |
沿正交方向尺寸 | ||
|
物体形状 | 棱柱、方体、球状 |
建立如
抓取物体坐标系
由
其中
人的抓取动作是有目的性的.人对目标物体实施抓握动作时, 会通过关联下一任务需求决策抓取动作.对于常见物体, 不考虑手内运动情况, 人抓取的目的可分为放置、使用、递交等.
为便于模型建立, 本文研究的抓取目标在抓取前处于静置状态.以包围盒为基础, 将目标物体所在静置平面称为放置面(place side,
对于同一目标物体, 根据任务要求会产生相应任务面和抓取面.
一般事物抓取目的
编号 | 物体名称 | 抓取任务 |
水杯 | 将杯中水倒出 | |
鼠标 | 拾起并放置指定位置 | |
乒乓球 | 拾起并放置指定位置 | |
书本 | 翻开书籍 | |
纸盒 | 拾起并放置指定位置 | |
画笔 | 绘制轨迹 | |
羽毛球筒 | 倒出筒内物体 |
事物操作面相关性热力图
观察
定义OBB的法向量
定义
不同于已有相关工作[
根据被抓取目标物的抓取面大小, 通过关联人类抓取的方式习惯, 将三指灵巧手的抓取模式规划采用三指平行抓取、三指包络抓取和二指平行抓取3种典型的抓取方式(GTD).3种抓取方式又分为指端抓取和强力抓取.
1) 三指平行抓取.
对于抓取面较大的目标物体, 采用三指平行抓取模式.灵巧手三指均与目标物体接触, 且三指未旋转进行抓取, 能够稳定抓取较大体积物体, 如
三指平行抓取
2) 三指包络抓取.
当抓取面非方正且物体体积较大时采用三指包络抓取.灵巧手三指均与目标物体接触, 且指1和指2旋转至与指3形成包络状态, 以实现如球状物体的抓取, 如
三指包络抓取
3) 二指平行抓取.
对于抓取面小于手掌宽度
二指平行抓取
综上, 对于抓取模式
其中:
为方便抓取决策模型的计算, 对形状描述的抓取物体属性值进行模糊化处理, 即
对于抓取任务属性, 规定抓取法向量
同样, 对由灵巧手的6种抓取模式组成的抓取决策空间D进行数字化处理, 得到
抓取决策空间
参数 | 参数值 | 参数描述 |
三指平行抓取 | ||
三指包络抓取 | ||
二指平行抓取 | ||
三指平行抓取(指端) | ||
三指包络抓取(指端) | ||
二指平行抓取(指端) |
抓握姿态由手指的关节角度决定.本文使用的Reflex1型灵巧手具有5自由度, 因此, 每个抓握姿态
根据上一节中抓取模式分类结果, 每一种抓取模式
完整抓取约束特征集描述为
抓取约束描述与抓取模式之间的映射关系即为抓取决策模型, 本文抓取模型表示为
其中
抓取模型中决策函数
RBF模型拓扑结构包括输入层、径向基函数层和输出层, 如
RBF网络抓取决策模型拓扑结构
径向基函数使用的是高斯核函数, 其函数表达式为
其中:
设
一般情况下RBF模型径向基函数空间参数的选取采用随机选取、监督学习、自组织学习等策略, 由于隐含层节点数对神经网络性能有较强的影响, 采用自组织学习法选取中心点.一般情况下, 通过
首先计算各点密度, 设
其中
通常情况下,
通过减聚类算法, 得到聚类中心个数为
为验证算法的有效性, 使用装有Reflex1三指灵巧手的AUBO六自由度机械臂为抓取决策实验平台, 在Ubuntu16.04操作系统中Kinetic版ROS环境下, 实现平台的运动控制.进行实验时, 将待抓取物体放置于工作台固定位置, 灵巧手距离待抓取物体的距离不大于200mm, 设置灵巧手手掌轴线总沿物体包围盒一轴, 实验平台如
抓取决策实验平台
网络模型参数设置和训练具体步骤如下.
step1:确定RBF网络模型结构.根据拓扑
step2:数据归一化处理.为避免量纲不同而影响分析的结果, 采用规范化的方式处理抓取属性数据以避免量纲产生的影响.采用Z-score规范化, 其转换函数为
step3:模型函数选取.对于神经网络中的神经元计算过程, 采用Sigmoid激活函数和交叉熵损失函数组合的形式, 并引入正则化项提高模型的泛化能力.本文使用
step4:模型训练.RBF网络模型学习率选取0.015, 训练次数为1500次, 分别利用
由式(9)建立的抓取约束特征集
抓取决策空间
序号 | 输入 | 输出 | ||||||
1 | 13.00 | 12.00 | 8.00 | 0 | 5 | 4 | 3 | 0 |
2 | 5.00 | 5.00 | 5.00 | 1 | 2 | 4 | 1 | 3 |
3 | 9.00 | 9.00 | 5.00 | 0 | 3 | 4 | 1 | 5 |
4 | 11.00 | 11.00 | 11.00 | 0 | 5 | 5 | 1 | 0 |
⋮ | ⋮ | ⋮ | ⋮ | ⋮ | ⋮ | ⋮ | ⋮ | ⋮ |
750 | 19.00 | 19.00 | 19.00 | 2 | 3 | 1 | 4 | 2 |
利用BPNN、Kmean RBFNN和SCM-RBFNN三种不同模型对样本进行训练, 训练集样本600个, 测试集样本150个, 3种网络训练准确率、测试准确率效果对比如
训练准确率
测试准确率
损失值
由训练结果可知, 利用SCM算法优化的RBF网络训练效果较好, 训练准确率达到96.0%, 测试准确率达到92%, 但训练误差值稍高于BP网络.Kmeans RBF网络表现效果较二者较差, 表明SCM优化RBF网络能够进行较为准确的抓取决策, 且成功率较高.
为进一步验证所提出算法的有效性, 设置真实场景下的抓取实验以测试算法准确率.如
抓取物体集合
将待抓取的23种物体单独放置在工作台上进行实验, 考虑到物体姿态问题, 规定物体坐标系与桌面坐标系一致.每个待抓取物体均设置两组任务, 每组任务设置10次实验.任务1为将物体放置到指定位置, 任务2为根据待抓取物体的特性各自设置特定任务, 积木类物体任务2均为指定面放置, 生活类物体任务2描述如
抓取物体任务
物体名称 | 任务2 | 物体名称 | 任务2 | |
水杯 | 杯中水倒出 | 羽毛球筒 | 倒出筒内物体 | |
胶带 | 一端用于粘贴 | 马克笔 | 使用一端绘制 | |
乒乓球 | 放入箱中 | 螺丝刀 | 使用一端拧螺丝 | |
书籍 | 翻阅 | 订书机 | 使用一端订纸 | |
纸盒 | 倒出盒内物体 | 鼠标 | 放入箱中 |
在抓取实验中, 首先利用网络模型进行物体抓取决策, 然后通过灵巧手执行抓取动作, 抓取成功的评判标准为: 机械臂抓取物体垂直离开工作台, 并保持5s以上不掉落.抓取过程手指不与工作台发生接触, 物体被抓取后不与桌面发生碰撞.
任务1:不同物体抓取.以
抓取结果
任务2:同一物体抓取.以积木抓取为例, 在任务1和任务2的抓取中, 根据任务约束的不同, 决策结果如
任务3:多约束条件下不同物体抓取.以生活类物品为例, 在物体特征和任务属性的多约束条件下, 抓取结果如
多约束条件下抓取结果
物体类别 | 成功次数 | 成功率/% |
积木类 | 256 | 98.46 |
生活类 | 189 | 94.50 |
总计 | 445 | 96.74 |
以上抓取结果表明, 本文研究的多约束条件下机器人抓取决策的方法具备以下特性: 1)针对不同任务下不同物体的抓取决策, 学习算法根据抓取习惯, 实现最优抓取模式的决策, 表明该方法具有一定的智能抓取特性.2)对于实验中未学习过的生活物品样本数据, 该算法仍能做出较好决策, 表明该学习模型具有较好的鲁棒性, 在抓取新目标时可实现最优决策.
虽然模型训练中测试率为92%, 但在本文实验中抓取成功率为96.74%, 其原因为存在决策错误但抓取成功的情况, 且该类型抓取不妨碍物体任务面进行后续工作, 因此将在下一步工作中考虑以任务完成情况评估决策结果.
机器人对部分抓取时会遇到抓取失败的情况, 如物体较重、表面光滑、重量分布不均、抓取面法向尺寸过长等情况, 在后续工作中将加入物体抓取力约束、重量预测等研究内容, 进一步提升抓取适应性.
本文针对机器人在抓取具有后续任务属性的物体时的抓取决策问题, 给出了一种基于多约束条件下抓取策略学习方法.利用包围盒方式描述待完成的抓取任务, 将物体特性和任务属性作为约束条件, 通过映射人类的抓取习惯实现抓取模型的建立, 采取SCM优化RBF网络学习抓取决策模型, 实验表明该决策模型具有良好的精确性, 实现了多类型物体不同任务的抓取决策, 验证了模型的实用性.当抓取任务进一步复杂时, 可利用多维凸包对物体进行建模分析, 抓取物体各属性面存在情况将进一步增多, 如何通过深度学习的方法学习任务约束的多维凸包抓取模型, 是机器人抓取领域亟待解决的问题.
责任编委:谢晖.
秦方博, 徐德. 机器人操作技能模型综述[J]. 自动化学报, 2019, 45(8): 1401-1418.
Qin F B, Xu D. Review of robot manipulation skill models[J]. Acta Automatica Sinica, 2019, 45(8): 1401-1418.
刘亚欣, 王斯瑶, 姚玉峰, 等. 机器人抓取检测技术的研究现状[J]. 控制与决策, 2020, 35(12): 2817-2828.
Liu Y X, Wang S Y, Yao Y F, et al. Recent researches on robot autonomous grasp technology[J]. Control and Decision, 2020, 35(12): 2817-2828.
Deng Z, Gao G, Frintrop S, et al. Attention based visual analysis for fast grasp planning with a multi-fingered robotic hand[J]. Frontiers in Neurorobotics, 2019, 13(60): 1-12.
Choi C, Schwarting W, DelPreto J, et al. Learning object grasping for soft robot hands[J]. IEEE Robotics and Automation Letters, 2018, 3(3): 2370-2377.
Hirayama C, Watanabe T, Kawabata S, et al. Acquiring grasp strategies for a multifingered robot hand using evolutionary algorithms[C]. IEEE International Conference on Systems, Man, and Cybernetics. Banff, 2017: 1597-1602.
Spiers A J, Liarokapis M V, Calli B, et al. Single-grasp object classification and feature extraction with simple robot hands and tactile sensors[J]. IEEE Transactions on Haptics, 2016, 9(2): 207-220.
Rao A B, Krishnan K, He H S. Learning robotic grasping strategy based on natural-language object descriptions[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems. Madrid, 2018: 882-887.
Rao A B, Li H, He H S. Object recall from natural-language descriptions for autonomous robotic grasping[C]. IEEE International Conference on Robotics and Biomimetics. Dali, 2019: 1368-1373.
Yun L, Yu S. Robot grasp planning based on demonstrated grasp strategies[J]. The International Journal of Robotics Research, 2015, 34(1): 26-42.
Su J H, Qiao H, Liu C K, et al. Grasping objects: The relationship between the cage and the form-closure grasp[J]. IEEE Robotics & Automation Magazine, 2017, 24(3): 84-96.
郑晶怡, 李恩, 梁自泽. 基于形状先验模型的平面型工件抓取位姿检测[J]. 机器人, 2017, 39(1): 99-110.
Zheng J Y, Li E, Liang Z Z. Grasping posture determination of planar workpieces based on shape prior model[J]. Robot, 2017, 39(1): 99-110.
Song D, Ek C H, Huebner K, et al. Multivariate discretization for Bayesian Network structure learning in robot grasping[C]. IEEE International Conference on Robotics and Automation. Shanghai, 2011: 1944-1950.
Santina C D, Arapi V, Averta G, et al. Learning from humans how to grasp: A data-driven architecture for autonomous grasping with anthropomorphic soft hands[J]. IEEE Robotics and Automation Letters, 2019, 4(2): 1533-1540.
仲训杲, 徐敏, 仲训昱, 等. 基于多模特征深度学习的机器人抓取判别方法[J]. 自动化学报, 2016, 42(7): 1022-1029.
Zhong X G, Xu M, Zhong X Y, et al. Multimodal features deep learning for robotic potential grasp recognition[J]. Acta Automatica Sinica, 2016, 42(7): 1022-1029.
刘乃军, 鲁涛, 蔡莹皓, 等. 机器人操作技能学习方法综述[J]. 自动化学报, 2019, 45(3): 458-470.
Liu N J, Lu T, Cai Y H, et al. A review of robot manipulation skills learning methods[J]. Acta Automatica Sinica, 2019, 45(3): 458-470.
Hogan F R, Bauza M, Canal O, et al. Tactile regrasp: Grasp adjustments via simulated tactile transformations[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems. Madrid, 2018: 2963-2970.
Berscheid L, Meißner P, Kröger T. Robot learning of shifting objects for grasping in cluttered environments[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems. Macao, 2019: 612-618.
Shukla P, Kumar H, Nandi G C. Robotic grasp manipulation using evolutionary computing and deep reinforcement learning[J]. Intelligent Service Robotics, 2021, 14(1): 61-77.
喻群超, 尚伟伟, 张驰. 基于三级卷积神经网络的物体抓取检测[J]. 机器人, 2018, 40(5): 762-768.
Yu Q C, Shang W W, Zhang C. Object grasp detecting based on three-level convolution neural network[J]. Robot, 2018, 40(5): 762-768.
刘正琼, 万鹏, 凌琳, 等. 基于机器视觉的超视场工件识别抓取系统[J]. 机器人, 2018, 40(3): 294-300.
Liu Z Q, Wan P, Ling L, et al. Recognition and grabbing system for workpieces exceeding the visual field based on machine vision[J]. Robot, 2018, 40(3): 294-300.
杜学丹, 蔡莹皓, 鲁涛, 等. 一种基于深度学习的机械臂抓取方法[J]. 机器人, 2017, 39(6): 820-828.
Du X D, Cai Y H, Lu T, et al. A robotic grasping method based on deep learning[J]. Robot, 2017, 39(6): 820-828.
Jarque-Bou N, Gracia-Ibáñez V, Sancho-Bru J L, et al. Using kinematic reduction for studying grasping postures an application to power and precision grasp of cylinders[J]. Applied Ergonomics, 2016, 56: 52-61.
陈小静, 彭培成, 张高峰, 等. 基于BP神经网络的仿人两指末端执行器抓握模式预测[J]. 河南理工大学学报: 自然科学版, 2020, 39(2): 97-102.
Chen X J, Peng P C, Zhang G F, et al. Prediction of humanoid two-finger end-effector grasp type based on BP neural network[J]. Journal of Henan Polytechnic University: Natural Science, 2020, 39(2): 97-102.
周思跃, 龚振邦, 袁俊. 基于模糊逻辑控制的机器人灵巧手的抓取方式[J]. 计算机工程, 2006, 32(23): 183-185.
Zhou S Y, Gong Z B, Yuan J. Grasp modes of robot dexterous hand based on fuzzy logic control[J]. Computer Engineering, 2006, 32(23): 183-185.
苏杰, 张云洲, 房立金, 等. 基于多重几何约束的未知物体抓取位姿估计[J]. 机器人, 2020, 42(2): 129-138.
Su J, Zhang Y Z, Fang L J, et al. Estimation of the grasping pose of unknown objects based on multiple geometric constraints[J]. Robot, 2020, 42(2): 129-138.
Feix T, Romero J, Schmiedmayer H B, et al. The GRASP taxonomy of human grasp types[J]. IEEE Transactions on Human-Machine Systems, 2016, 46(1): 66-77.
Cini F, Ortenzi V, Corke P, et al. On the choice of grasp type and location when handing over an object[J]. Science Robotics, 2019, 4(27): 1-13.
胡晓伟, 安立雄, 王宪伦. 基于GA优化RBF神经网络的机器人轨迹规划[J]. 计算技术与自动化, 2020, 39(1): 18-22.
Hu X W, An L X, Wang X L. Robot trajectory planning based on GA optimized RBF neural network[J]. Computing Technology and Automation, 2020, 39(1): 18-22.
杨超, 郭佳, 张铭钧. 基于RBF神经网络的作业型AUV自适应终端滑模控制方法及实验研究[J]. 机器人, 2018, 40(3): 336-345.
Yang C, Guo J, Zhang M J. Adaptive terminal sliding mode control method based on RBF neural network for operational AUV and its experimental research[J]. Robot, 2018, 40(3): 336-345.
张远绪, 程换新, 宋生建. 基于改进的RBF神经网络的滚动轴承故障诊断[J]. 工业仪表与自动化装置, 2018(6): 31-34.
Zhang Y X, Cheng H X, Song S J. Fault diagnosis of rolling bearing based on improved RBF neural network[J]. Industrial Instrumentation & Automation, 2018(6): 31-34.
Shan Y F, Sun L, Fu H, et al. Gas sensor fault diagnosis based on wavelet packet and RBF neural network identification[J]. Chinese Journal of Sensors and Actuators, 2015, 28(2): 278-283.