您的位置：山东大学 -> 科技期刊社 -> 《山东大学学报（工学版）》

山东大学学报 (工学版) ›› 2018, Vol. 48 ›› Issue (5): 103-108.doi: 10.6040/j.issn.1672-3961.0.2018.228

• 控制科学与工程 • 上一篇    下一篇

基于Kinect的配电作业机器人智能人机交互方法

张冕(),黄颖,梅海艺,郭毓*()   

  1. 南京理工大学自动化学院, 江苏 南京 210094
  • 收稿日期:2018-05-28 出版日期:2018-10-01 发布日期:2018-05-28
  • 通讯作者: 郭毓 E-mail:zhangmian126@163.com;guoyu@njust.edu.cn
  • 作者简介:张冕(1995—)，男，江苏淮安人，硕士研究生，主要研究方向为机器人的人机交互技术. E-mail:zhangmian126@163.com
  • 基金资助:
    江苏省重点研发计划资助项目(BE2017161);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1701049);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1701074);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1601242);江苏高校优势学科建设工程资助项目(AD20540)

Intelligent interaction method for power distribution robot based on Kinect

Mian ZHANG(),Ying HUANG,Haiyi MEI,Yu GUO*()   

  1. School of Automation, Nanjing University of Science and Technology, Nanjing 210094, Jiangsu, China
  • Received:2018-05-28 Online:2018-10-01 Published:2018-05-28
  • Contact: Yu GUO E-mail:zhangmian126@163.com;guoyu@njust.edu.cn
  • Supported by:
    江苏省重点研发计划资助项目(BE2017161);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1701049);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1701074);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1601242);江苏高校优势学科建设工程资助项目(AD20540)

RichHTML

8

PDF (PC)

588

摘要：

为实现操作人员与配电作业机器人的自然交互,提出一种基于Kinect手势识别的配电作业机器人智能人机交互方法。通过Kinect的深度信息及骨骼信息对操作人员的手势进行分割,选取几何不变矩Hu矩作为手势特征,采用支持向量机(support vector machine, SVM)的机器学习方法分类识别操作人员的手势。将手势映射为机器人的运动,通过手势对机器人进行运动控制。试验结果验证了本研究所提的配电作业机器人智能人机交互方法的可行性。

关键词: 配电作业机器人, 智能人机交互, 机器学习, 手势分割, 手势识别, 运动控制

Abstract:

In order to realize natural interaction between the operator and the live-line working robot, an intelligent man-machine interaction method based on the Kinect gesture recognition was proposed. Based on the Kinect's depth information and skeleton information, the operator's gesture was segmented, the geometric moment Hu moment was selected as the gesture feature, and the machine learning method of SVM was used to classify and identify the operator's gesture. The gestures were mapped to the motion of the robot, and the motion control of the robot was realized by the gesture. The experimental results verified the feasibility of the intelligent human-computer interaction method of the power distribution robot.

Key words: live-line working robot, intelligent human-computer interaction, machine learning, gesture segmentation, gesture recognition, motion control

中图分类号: 

  • TP319.56

图1

手势分割图"

表1

基于SVM的手势识别错误率统计结果"

试验编号 手势1错误数 手势2错误数 手势3错误数 手势4错误数 手势5错误数 总错误数 错误率/%
1 2 3 0 3 0 8 1.6
2 2 3 1 4 1 11 2.2
3 1 4 0 3 0 8 1.6
4 0 3 0 3 0 6 1.2
5 1 3 0 3 1 8 1.6
6 1 2 0 3 0 6 1.2
7 2 1 0 2 0 5 1.0
8 1 2 1 1 1 6 1.2
9 0 2 0 2 0 4 0.8
10 1 3 1 1 1 7 1.4

图2

人机交互示意图"

表2

手势与机械臂的映射关系"

手势编号 静态手势 机械臂末端移动方向
1 机械臂末端向X方向运动
2 机械臂末端向-X方向运动
3 机械臂末端向Y方向运动
4 机械臂末端向-Y方向运动
5 停止

图3

机器人人机交互控制试验结果"

1 胡毅. 输配电线路带电作业技术的研究与发展[J]. 高电压技术, 2006, 32 (11): 1- 10.
doi: 10.3969/j.issn.1003-6520.2006.11.001
HU Yi . Research and development of live working technology of transmission and distribution line[J]. High Voltage Technology, 2006, 32 (11): 1- 10.
doi: 10.3969/j.issn.1003-6520.2006.11.001
2 胡毅, 王力农, 邹伟. 送配电带电作业的发展与标准制定[J]. 高电压技术, 2003, 29 (4): 6- 8.
doi: 10.3969/j.issn.1003-6520.2003.04.003
HU Yi , WANG Linong , ZOU Wei . Development and standard formulation of live working for distribution[J]. High Voltage Technology, 2003, 29 (4): 6- 8.
doi: 10.3969/j.issn.1003-6520.2003.04.003
3 高焕兵, 田国会. 面向配电系统的带电抢修作业机器人[J]. 山东大学学报(工学版), 2015, 45 (1): 45- 53.
GAO Huanbing , TIAN Guohui . Live-repair robot for power distribution system[J]. Shandong University Journal(Engineering Edition), 2015, 45 (1): 45- 53.
4 蔡自兴, 郭璠. 中国工业机器人发展的若干问题[J]. 机器人技术与应用, 2013, (3): 9- 12.
doi: 10.3969/j.issn.1004-6437.2013.03.003
CAI Zixing , GUO Fan . Some problems in the development of industrial robots in China[J]. Robot Technology and Applications, 2013, (3): 9- 12.
doi: 10.3969/j.issn.1004-6437.2013.03.003
5 戚晖,赵玉良,李健,等.高压带电作业机器人主从式液压机械臂系统: CN201210096179.6[P]. 2012-08-01.
6 李健,戚晖,李运厂.一种高压带电作业主从控制机器人作业平台: CN201210095860.9[P]. 2012-08-01.
7 刘金存.带电作业机器人主从控制的研究[D].济南:山东建筑大学, 2014.
LIU Jincun. Research on master-slave control of live working Robot[D]. Jinan: Shandong University of Architecture, 2014.
8 高焕兵.带电抢修作业机器人运动分析与控制方法研究[D].济南:山东大学, 2015.
GAO Huanbing. Research on motion analysis and control method of robot for live repair work[D]. Jinan: Shandong University, 2015.
9 周航.基于计算机视觉的手势识别系统研究[D].北京:北京交通大学, 2007.
ZHOU Hang. Research on gesture recognition system based on computer vision[D]. Beijing: Beijing Jiaotong University, 2007.
10 KANG J , SEO D , JUNG D . A Study on the control method of 3-dimensional space application using Kinect system[J]. International Journal of Computer Science and Network Security, 2011, 11 (9): 55- 59.
11 WONGPHATI M , OSAWA H , IMAI M . User-defined gestures for controlling primitive motions of an end effector[J]. Advanced Robotics, 2015, 29 (4): 225- 238.
12 林海波, 梅为林, 张毅, 等. 基于Kinect骨骼信息的机械臂体感交互系统的设计与实现[J]. 计算机应用与软件, 2013, 30 (2): 157- 160.
doi: 10.3969/j.issn.1000-386x.2013.02.040
LIN Haibo , MEI Weilin , ZHANG Yi , et al. Design and implementation of mechanical arm body sense interaction system based on Kinect skeleton information[J]. Computer Applications and Software, 2013, 30 (2): 157- 160.
doi: 10.3969/j.issn.1000-386x.2013.02.040
13 张莹莹, 郭星. 基于Kinect动态手势识别算法的研究与实现[J]. 计算机技术与发展, 2017, 27 (12): 11- 15.
ZHANG Yingying , GUO Xing . Research and implementation of the algorithm based on the Kinect dynamic gesture recognition[J]. Computer Technology and Development, 2017, 27 (11): 11- 15.
14 于泽升, 崔文华, 史添玮. 基于Kinect手势识别的应用与研究[J]. 计算机科学, 2016, (增刊2): 568- 571.
YU Zesheng , CUI Wenhua , SHI Tianwei . Application and research on the Kinect gesture recognition[J]. Computer Science, 2016, (Suppl.2): 568- 571.
15 DING J , CHANG C W . An adaptive hidden Markov model-based gesture recognition approach using Kinect to simplify large-scale video data processing for humanoid robot imitation[J]. Multimedia Tools and Applications, 2016, 75 (23): 15537- 15551.
doi: 10.1007/s11042-015-2505-9
16 余涛, 叶金永, 邵菲杰, 等. Kinect核心技术之骨架追踪技术[J]. 数字技术与应用, 2012, (10): 115.
YU Tao , YE Jinyong , SHAO Feijie , et al. Skeleton tracking technology for the Kinect core technology[J]. Digital Technology and Applications, 2012, (10): 115.
17 江冬梅.基于视觉的手势识别及其在人机交互中的应用[D].济南:山东大学, 2005.
JIANG Dongmei. Vision-based gesture recognition and its application in human-computer interaction[D]. Jinan: Shandong University, 2005.
18 王松林.基于Kinect的手势识别与机器人控制技术研究[D].北京:北京交通大学, 2014.
WANG Songlin. Research on gesture recognition and robot control technology based on Kinect[D]. Beijing: Beijing Jiaotong University, 2014.
19 罗元, 谢彧, 张毅. 基于Kinect传感器的智能轮椅控制系统的设计与实现[J]. 机器人, 2012, 34 (1): 110- 113, 119.
LUO Yuan , XIE Yu , ZHANG Yi . Design and implementation of intelligent wheelchair control system based on Kinect sensor[J]. Robot, 2012, 34 (1): 110- 113, 119.
20 王耀明. 几何矩及其几何矩不变量(英文)[J]. 上海电机学院学报, 2006, (2): 7- 10.
doi: 10.3969/j.issn.2095-0020.2006.02.003
WANG Yaoming . Geometric moment and its geometric moment invariants (English)[J]. Journal of Shanghai Institute of Electrical Engineering, 2006, (2): 7- 10.
doi: 10.3969/j.issn.2095-0020.2006.02.003
[1] 刘洋,刘博,王峰. 基于Parameter Server框架的大数据挖掘优化算法[J]. 山东大学学报(工学版), 2017, 47(4): 1-6.
[2] 魏波,张文生,李元香,夏学文,吕敬钦. 一种选择特征的稀疏在线学习算法[J]. 山东大学学报(工学版), 2017, 47(1): 22-27.
[3] 周旺,张晨麟,吴建鑫. 一种基于Hartigan-Wong和Lloyd的定性平衡聚类算法[J]. 山东大学学报(工学版), 2016, 46(5): 37-44.
[4] 孟令恒,丁世飞. 基于单静态图像的深度感知模型[J]. 山东大学学报(工学版), 2016, 46(3): 37-43.
[5] 刘杰, 杨鹏, 吕文生, 刘阿古达木, 刘俊秀. 基于气象因素的PM2.5质量浓度预测模型[J]. 山东大学学报(工学版), 2015, 45(6): 76-83.
[6] 郑毅, 朱成璋. 基于深度信念网络的PM2.5预测[J]. 山东大学学报(工学版), 2014, 44(6): 19-25.
[7] 姬帅, 张承瑞, 孙书仁, 胡天亮. 基于实时以太网的开放式运动控制系统[J]. 山东大学学报(工学版), 2014, 44(5): 7-13.
[8] 于静1,田国会1*,尹建芹2. 基于深度信息的动态手势识别算法[J]. 山东大学学报(工学版), 2014, 44(3): 52-56.
[9] 谢琳1,殷熙尧2,李凡长3,吴佳3. 一种逆归结学习表示[J]. 山东大学学报(工学版), 2013, 43(4): 46-50.
[10] 何雪英1,2, 秦伟1, 尹义龙1*, 赵联征1,乔昊3. 基于机器学习的视频指纹识别[J]. 山东大学学报(工学版), 2011, 41(4): 29-33.
[11] 梁春林1,彭凌西2*. 基于免疫网络的无监督式分类算法[J]. 山东大学学报(工学版), 2010, 40(5): 82-86.
[12] 郭茂祖 邹权 李文滨 韩英鹏. 生物信息学中的学习问题[J]. 山东大学学报(工学版), 2009, 39(3): 1-6.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
[1] 何东之, 张吉沣, 赵鹏飞. 不确定性传播算法的MapReduce并行化实现[J]. 山东大学学报(工学版), 0, (): 22 -28 .
[2] 黄劲潮. 基于快速区域建议网络的图像多目标分割算法[J]. 山东大学学报(工学版), 2018, 48(4): 20 -26 .
[3] 唐庆顺,金璐,李国栋,吴春富. 基于自适应终端滑模控制器的机械手跟踪控制[J]. 山东大学学报(工学版), 2016, 46(5): 45 -53 .
[4] 张建明, 刘泉声, 唐志成, 占婷, 蒋亚龙. 考虑剪切变形历史影响的节理峰值剪切强度准则[J]. 山东大学学报(工学版), 0, (): 77 -81 .
[5] 王换,周忠眉. 一种基于聚类的过抽样算法[J]. 山东大学学报(工学版), 2018, 48(3): 134 -139 .
[6] 阳爱民1,周咏梅1,邓河2,周剑峰3. 一种网络流量分类特征的产生及选择方法[J]. 山东大学学报(工学版), 2010, 40(5): 1 -7 .
[7] 尤鸣宇,陈燕,李国正. 不均衡问题中的特征选择新算法:Im-IG[J]. 山东大学学报(工学版), 2010, 40(5): 123 -128 .
[8] 吴国瑶,马立勇. 基于B样条FFD模型配准的虹膜图像融合方法[J]. 山东大学学报(工学版), 2010, 40(5): 24 -27 .
[9] 肖乔, 裴继红, 王荔霞, 龚志成. 基于多通道Gabor滤波模糊融合的遥感图像舰船检测[J]. 山东大学学报(工学版), 0, (): 29 -35 .
[10] 马相明, 孙霞, 张强. 轮式装载机典型作业工况构建与分析[J]. 山东大学学报(工学版), 0, (): 82 -87 .
版权所有 © 2018 《山东大学学报(工学版)》编辑部　
地址: 济南市山大南路27号（250100）　 电话: 0531-88366735　 E-mail: xbgxb@sdu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发