您的位置：山东大学 -> 科技期刊社 -> 《山东大学学报（工学版）》

山东大学学报 (工学版) ›› 2018, Vol. 48 ›› Issue (5): 103-108.doi: 10.6040/j.issn.1672-3961.0.2018.228

• 控制科学与工程 • 上一篇    下一篇

基于Kinect的配电作业机器人智能人机交互方法

张冕(),黄颖,梅海艺,郭毓*()   

  1. 南京理工大学自动化学院, 江苏 南京 210094
  • 收稿日期:2018-05-28 出版日期:2018-10-01 发布日期:2018-05-28
  • 通讯作者: 郭毓 E-mail:zhangmian126@163.com;guoyu@njust.edu.cn
  • 作者简介:张冕(1995—)，男，江苏淮安人，硕士研究生，主要研究方向为机器人的人机交互技术. E-mail:zhangmian126@163.com
  • 基金资助:
    江苏省重点研发计划资助项目(BE2017161);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1701049);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1701074);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1601242);江苏高校优势学科建设工程资助项目(AD20540)

Intelligent interaction method for power distribution robot based on Kinect

Mian ZHANG(),Ying HUANG,Haiyi MEI,Yu GUO*()   

  1. School of Automation, Nanjing University of Science and Technology, Nanjing 210094, Jiangsu, China
  • Received:2018-05-28 Online:2018-10-01 Published:2018-05-28
  • Contact: Yu GUO E-mail:zhangmian126@163.com;guoyu@njust.edu.cn
  • Supported by:
    江苏省重点研发计划资助项目(BE2017161);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1701049);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1701074);国家电网公司科技项目资助资助项目(SGJSCZ00FZJS1601242);江苏高校优势学科建设工程资助项目(AD20540)

RichHTML

9

PDF (PC)

769

摘要：

为实现操作人员与配电作业机器人的自然交互,提出一种基于Kinect手势识别的配电作业机器人智能人机交互方法。通过Kinect的深度信息及骨骼信息对操作人员的手势进行分割,选取几何不变矩Hu矩作为手势特征,采用支持向量机(support vector machine, SVM)的机器学习方法分类识别操作人员的手势。将手势映射为机器人的运动,通过手势对机器人进行运动控制。试验结果验证了本研究所提的配电作业机器人智能人机交互方法的可行性。

关键词: 配电作业机器人, 智能人机交互, 机器学习, 手势分割, 手势识别, 运动控制

Abstract:

In order to realize natural interaction between the operator and the live-line working robot, an intelligent man-machine interaction method based on the Kinect gesture recognition was proposed. Based on the Kinect's depth information and skeleton information, the operator's gesture was segmented, the geometric moment Hu moment was selected as the gesture feature, and the machine learning method of SVM was used to classify and identify the operator's gesture. The gestures were mapped to the motion of the robot, and the motion control of the robot was realized by the gesture. The experimental results verified the feasibility of the intelligent human-computer interaction method of the power distribution robot.

Key words: live-line working robot, intelligent human-computer interaction, machine learning, gesture segmentation, gesture recognition, motion control

中图分类号: 

  • TP319.56

图1

手势分割图"

表1

基于SVM的手势识别错误率统计结果"

试验编号 手势1错误数 手势2错误数 手势3错误数 手势4错误数 手势5错误数 总错误数 错误率/%
1 2 3 0 3 0 8 1.6
2 2 3 1 4 1 11 2.2
3 1 4 0 3 0 8 1.6
4 0 3 0 3 0 6 1.2
5 1 3 0 3 1 8 1.6
6 1 2 0 3 0 6 1.2
7 2 1 0 2 0 5 1.0
8 1 2 1 1 1 6 1.2
9 0 2 0 2 0 4 0.8
10 1 3 1 1 1 7 1.4

图2

人机交互示意图"

表2

手势与机械臂的映射关系"

手势编号 静态手势 机械臂末端移动方向
1 机械臂末端向X方向运动
2 机械臂末端向-X方向运动
3 机械臂末端向Y方向运动
4 机械臂末端向-Y方向运动
5 停止

图3

机器人人机交互控制试验结果"

1 胡毅. 输配电线路带电作业技术的研究与发展[J]. 高电压技术, 2006, 32 (11): 1- 10.
doi: 10.3969/j.issn.1003-6520.2006.11.001
HU Yi . Research and development of live working technology of transmission and distribution line[J]. High Voltage Technology, 2006, 32 (11): 1- 10.
doi: 10.3969/j.issn.1003-6520.2006.11.001
2 胡毅, 王力农, 邹伟. 送配电带电作业的发展与标准制定[J]. 高电压技术, 2003, 29 (4): 6- 8.
doi: 10.3969/j.issn.1003-6520.2003.04.003
HU Yi , WANG Linong , ZOU Wei . Development and standard formulation of live working for distribution[J]. High Voltage Technology, 2003, 29 (4): 6- 8.
doi: 10.3969/j.issn.1003-6520.2003.04.003
3 高焕兵, 田国会. 面向配电系统的带电抢修作业机器人[J]. 山东大学学报(工学版), 2015, 45 (1): 45- 53.
GAO Huanbing , TIAN Guohui . Live-repair robot for power distribution system[J]. Shandong University Journal(Engineering Edition), 2015, 45 (1): 45- 53.
4 蔡自兴, 郭璠. 中国工业机器人发展的若干问题[J]. 机器人技术与应用, 2013, (3): 9- 12.
doi: 10.3969/j.issn.1004-6437.2013.03.003
CAI Zixing , GUO Fan . Some problems in the development of industrial robots in China[J]. Robot Technology and Applications, 2013, (3): 9- 12.
doi: 10.3969/j.issn.1004-6437.2013.03.003
5 戚晖,赵玉良,李健,等.高压带电作业机器人主从式液压机械臂系统: CN201210096179.6[P]. 2012-08-01.
6 李健,戚晖,李运厂.一种高压带电作业主从控制机器人作业平台: CN201210095860.9[P]. 2012-08-01.
7 刘金存.带电作业机器人主从控制的研究[D].济南:山东建筑大学, 2014.
LIU Jincun. Research on master-slave control of live working Robot[D]. Jinan: Shandong University of Architecture, 2014.
8 高焕兵.带电抢修作业机器人运动分析与控制方法研究[D].济南:山东大学, 2015.
GAO Huanbing. Research on motion analysis and control method of robot for live repair work[D]. Jinan: Shandong University, 2015.
9 周航.基于计算机视觉的手势识别系统研究[D].北京:北京交通大学, 2007.
ZHOU Hang. Research on gesture recognition system based on computer vision[D]. Beijing: Beijing Jiaotong University, 2007.
10 KANG J , SEO D , JUNG D . A Study on the control method of 3-dimensional space application using Kinect system[J]. International Journal of Computer Science and Network Security, 2011, 11 (9): 55- 59.
11 WONGPHATI M , OSAWA H , IMAI M . User-defined gestures for controlling primitive motions of an end effector[J]. Advanced Robotics, 2015, 29 (4): 225- 238.
12 林海波, 梅为林, 张毅, 等. 基于Kinect骨骼信息的机械臂体感交互系统的设计与实现[J]. 计算机应用与软件, 2013, 30 (2): 157- 160.
doi: 10.3969/j.issn.1000-386x.2013.02.040
LIN Haibo , MEI Weilin , ZHANG Yi , et al. Design and implementation of mechanical arm body sense interaction system based on Kinect skeleton information[J]. Computer Applications and Software, 2013, 30 (2): 157- 160.
doi: 10.3969/j.issn.1000-386x.2013.02.040
13 张莹莹, 郭星. 基于Kinect动态手势识别算法的研究与实现[J]. 计算机技术与发展, 2017, 27 (12): 11- 15.
ZHANG Yingying , GUO Xing . Research and implementation of the algorithm based on the Kinect dynamic gesture recognition[J]. Computer Technology and Development, 2017, 27 (11): 11- 15.
14 于泽升, 崔文华, 史添玮. 基于Kinect手势识别的应用与研究[J]. 计算机科学, 2016, (增刊2): 568- 571.
YU Zesheng , CUI Wenhua , SHI Tianwei . Application and research on the Kinect gesture recognition[J]. Computer Science, 2016, (Suppl.2): 568- 571.
15 DING J , CHANG C W . An adaptive hidden Markov model-based gesture recognition approach using Kinect to simplify large-scale video data processing for humanoid robot imitation[J]. Multimedia Tools and Applications, 2016, 75 (23): 15537- 15551.
doi: 10.1007/s11042-015-2505-9
16 余涛, 叶金永, 邵菲杰, 等. Kinect核心技术之骨架追踪技术[J]. 数字技术与应用, 2012, (10): 115.
YU Tao , YE Jinyong , SHAO Feijie , et al. Skeleton tracking technology for the Kinect core technology[J]. Digital Technology and Applications, 2012, (10): 115.
17 江冬梅.基于视觉的手势识别及其在人机交互中的应用[D].济南:山东大学, 2005.
JIANG Dongmei. Vision-based gesture recognition and its application in human-computer interaction[D]. Jinan: Shandong University, 2005.
18 王松林.基于Kinect的手势识别与机器人控制技术研究[D].北京:北京交通大学, 2014.
WANG Songlin. Research on gesture recognition and robot control technology based on Kinect[D]. Beijing: Beijing Jiaotong University, 2014.
19 罗元, 谢彧, 张毅. 基于Kinect传感器的智能轮椅控制系统的设计与实现[J]. 机器人, 2012, 34 (1): 110- 113, 119.
LUO Yuan , XIE Yu , ZHANG Yi . Design and implementation of intelligent wheelchair control system based on Kinect sensor[J]. Robot, 2012, 34 (1): 110- 113, 119.
20 王耀明. 几何矩及其几何矩不变量(英文)[J]. 上海电机学院学报, 2006, (2): 7- 10.
doi: 10.3969/j.issn.2095-0020.2006.02.003
WANG Yaoming . Geometric moment and its geometric moment invariants (English)[J]. Journal of Shanghai Institute of Electrical Engineering, 2006, (2): 7- 10.
doi: 10.3969/j.issn.2095-0020.2006.02.003
[1] 祝明,石承龙,吕潘,刘现荣,孙驰,陈建城,范宏运. 基于优化长短时记忆网络的深基坑变形预测方法及其工程应用[J]. 山东大学学报 (工学版), 2025, 55(3): 141-148.
[2] 常新功,苏敏惠,周志刚. 基于进化集成的图神经网络解释方法[J]. 山东大学学报 (工学版), 2024, 54(4): 1-12.
[3] 乔慧妍,段学龙,解驰皓,赵冬慧,马玉玲. 基于异常点检测的心理健康辅助诊断方法[J]. 山东大学学报 (工学版), 2024, 54(4): 76-85.
[4] 刘新,刘冬兰,付婷,王勇,常英贤,姚洪磊,罗昕,王睿,张昊. 基于联邦学习的时间序列预测算法[J]. 山东大学学报 (工学版), 2024, 54(3): 55-63.
[5] 岳仁峰,张嘉琦,刘勇,范学忠,李琮琮,孔令鑫. 基于颜色和纹理特征的立体车库锈蚀检测技术[J]. 山东大学学报 (工学版), 2024, 54(3): 64-69.
[6] 陈成,董永权,贾瑞,刘源. 基于交互序列特征相关性的可解释知识追踪[J]. 山东大学学报 (工学版), 2024, 54(1): 100-108.
[7] 卞小曼,王小琴,蓝如师,刘振丙,罗笑南. 基于相似性保持和判别性分析的快速视频哈希算法[J]. 山东大学学报 (工学版), 2023, 53(6): 63-69.
[8] 李鸿钊,张庆松,刘人太,陈新,辛勤,石乐乐. 浅埋地铁车站施工期地表变形风险预警[J]. 山东大学学报 (工学版), 2023, 53(6): 82-91.
[9] 袁高腾,周晓峰,郭宏乐. 基于特征选择算法的ECG信号分类[J]. 山东大学学报 (工学版), 2022, 52(4): 38-44.
[10] 聂秀山,马玉玲,乔慧妍,郭杰,崔超然,于志云,刘兴波,尹义龙. 任务粒度视角下的学生成绩预测研究综述[J]. 山东大学学报 (工学版), 2022, 52(2): 1-14.
[11] 孙鸿昌,周风余,单明珠,翟文文,牛兰强. 基于模式划分的空调能耗混合填补方法[J]. 山东大学学报 (工学版), 2022, 52(1): 9-18.
[12] 袁高腾,刘毅慧,黄伟,胡兵. 基于Gabor特征的乳腺肿瘤MR图像分类识别模型[J]. 山东大学学报 (工学版), 2020, 50(3): 15-23.
[13] 张大鹏,刘雅军,张伟,沈芬,杨建盛. 基于异质集成学习的虚假评论检测[J]. 山东大学学报 (工学版), 2020, 50(2): 1-9.
[14] 高铭壑,张莹,张蓉蓉,黄子豪,黄琳焱,李繁菀,张昕,王彦浩. 基于预测数据特征的空气质量预测方法[J]. 山东大学学报 (工学版), 2020, 50(2): 91-99.
[15] 刘玉田, 孙润稼, 王洪涛, 顾雪平. 人工智能在电力系统恢复中的应用综述[J]. 山东大学学报 (工学版), 2019, 49(5): 1-8.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
[1] 王素玉,艾兴,赵军,李作丽,刘增文 . 高速立铣3Cr2Mo模具钢切削力建模及预测[J]. 山东大学学报(工学版), 2006, 36(1): 1 -5 .
[2] 张永花,王安玲,刘福平 . 低频非均匀电磁波在导电界面的反射相角[J]. 山东大学学报(工学版), 2006, 36(2): 22 -25 .
[3] 李 侃 . 嵌入式相贯线焊接控制系统开发与实现[J]. 山东大学学报(工学版), 2008, 38(4): 37 -41 .
[4] 孔祥臻,刘延俊,王勇,赵秀华 . 气动比例阀的死区补偿与仿真[J]. 山东大学学报(工学版), 2006, 36(1): 99 -102 .
[5] 来翔 . 用胞映射方法讨论一类MKdV方程[J]. 山东大学学报(工学版), 2006, 36(1): 87 -92 .
[6] 余嘉元1 , 田金亭1 , 朱强忠2 . 计算智能在心理学中的应用[J]. 山东大学学报(工学版), 2009, 39(1): 1 -5 .
[7] 陈瑞,李红伟,田靖. 磁极数对径向磁轴承承载力的影响[J]. 山东大学学报(工学版), 2018, 48(2): 81 -85 .
[8] 王波,王宁生 . 机电装配体拆卸序列的自动生成及组合优化[J]. 山东大学学报(工学版), 2006, 36(2): 52 -57 .
[9] 李可,刘常春,李同磊 . 一种改进的最大互信息医学图像配准算法[J]. 山东大学学报(工学版), 2006, 36(2): 107 -110 .
[10] 季涛,高旭,孙同景,薛永端,徐丙垠 . 铁路10 kV自闭/贯通线路故障行波特征分析[J]. 山东大学学报(工学版), 2006, 36(2): 111 -116 .
版权所有 © 2018 《山东大学学报(工学版)》编辑部　
地址: 济南市山大南路27号（250100）　 电话: 0531-88366735　 E-mail: xbgxb@sdu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发