您的位置:山东大学 -> 科技期刊社 -> 《山东大学学报(工学版)》

山东大学学报 (工学版) ›› 2020, Vol. 50 ›› Issue (2): 27-33.doi: 10.6040/j.issn.1672-3961.0.2019.412

• 机器学习与数据挖掘 • 上一篇    下一篇

基于改进YOLOv3的复杂场景车辆分类与跟踪

宋士奇(),朴燕*(),蒋泽新   

  1. 长春理工大学电子信息工程学院, 吉林 长春 130022
  • 收稿日期:2019-07-22 出版日期:2020-04-20 发布日期:2020-04-16
  • 通讯作者: 朴燕 E-mail:songsq_email@163.com;piaoyan@cust.edu.cn
  • 作者简介:宋士奇(1993—),男,黑龙江双鸭山人,硕士研究生,主要研究方向为机器视觉及图像处理. E-mail:songsq_email@163.com
  • 基金资助:
    国家自然科学基金资助项目(60977011);吉林省科技发展项目(20180623039TC)

Vehicle classification and tracking for complex scenes based on improved YOLOv3

Shiqi SONG(),Yan PIAO*(),Zexin JIANG   

  1. College of Electronic and Information Engineering, Changchun University of Science and Technology, Changchun 130022, Jilin, China
  • Received:2019-07-22 Online:2020-04-20 Published:2020-04-16
  • Contact: Yan PIAO E-mail:songsq_email@163.com;piaoyan@cust.edu.cn
  • Supported by:
    国家自然科学基金资助项目(60977011);吉林省科技发展项目(20180623039TC)

摘要:

针对天气条件和车辆间相互遮挡对车辆分类与跟踪准确性和稳定性的影响,提出一种基于改进YOLOv3与匹配跟踪的混合模型。改进的YOLOv3网络参照密集连接卷积网络的设计思想,将网络中的残差层替换为密集卷积块并改变网络的设计结构,利用Softmax分类器将密集卷积块与卷积层中融合的特征进行分类。根据单帧图像的检测结果,设计目标匹配函数解决视频序列中车辆的跟踪问题。在KITTI数据集的测试中,改进算法的平均准确率为93.01%,帧率达到48.98帧/s,在自建的数据集中平均识别率为95.79%。试验结果表明,本研究方法在复杂场景中能够有效的区分车辆种类且准确性更高,车辆跟踪的算法具有较高准确性和鲁棒性。

关键词: 图像处理, 车辆分类, 卷积神经网络, YOLOv3, 匹配跟踪

Abstract:

Aiming at the influence of weather conditions and mutual occlusion of vehicles on vehicle classification and tracking accuracy and stability, a hybrid model based on improved YOLOv3 and matching tracking was proposed. The improved YOLOv3 network refered to DenseNet′s design idea, replaced the residual layer in the network with a dense convolution block and changed the design structure of the network. The fused features of dense convolution blocks and convolution layers were classified by using Softmax classifier. According to the detection result of single frame image, the target matching function was designed to solve the vehicle tracking problem in video sequence. In the KITTI dataset test, the improved algorithm achieved an average precision of 93.01%, the number of frames per second reached 48.98, and the average recognition rate in the self-built dataset was 95.79%. The experimental results showed that the proposed method could effectively distinguish the types of vehicles in complex scenes with higher accuracy. At the same time, the method had higher accuracy and robustness in vehicle tracking.

Key words: image processing, vehicle classification, convolutional neural network, YOLOv3, match tracking

中图分类号: 

  • TP391

图1

改进YOLOv3网络结构"

图2

密集块结构示意图"

图3

密集卷积网络特征提取结构"

表1

不同方法在公共数据集中测试结果"

方法 平均准确率均值/% 传输速率/(帧·s-1)
R-CNN 52.76 0.38
Fast R-CNN 61.53 0.54
SSD 80.01 51.26
YOLO 56.78 67.43
YOLOv3 90.76 48.99
本文 93.01 48.98

图4

不同方法在公共数据集上的PR曲线"

图5

不同场景车辆分类结果"

表2

不同场景分类结果"

方法 场景 目标分类率 误检率 漏检率
Fast R-CNN 白天 77.78 11.56 10.66
YOLO 白天 73.26 19.75 6.99
YOLOv3 白天 92.41 6.46 1.13
本文 白天 97.03 2.91 0.06
Fast R-CNN 夜晚 71.67 13.15 15.18
YOLO 夜晚 68.50 17.28 14.22
YOLOv3 夜晚 87.98 7.63 4.39
文本 夜晚 94.76 4.09 1.15
Fast R-CNN 雨天 77.54 11.98 10.48
YOLO 雨天 72.33 19.47 8.20
YOLOv3 雨天 91.89 6.78 1.33
本文 雨天 96.73 2.03 1.24
Fast R-CNN 雾天 75.02 12.83 12.15
YOLO 雾天 71.32 16.84 11.84
YOLOv3 雾天 89.57 7.55 2.88
本文 雾天 94.71 3.69 1.60
Fast R-CNN 雪天 75.54 11.98 12.48
YOLO 雪天 70.33 18.47 11.20
YOLOv3 雪天 90.89 7.78 1.33
本文 雪天 95.73 3.03 1.24

图6

不同场景车辆跟踪结果"

表3

视频序列跟踪结果"

方法 成功率 精确率
CSK 54.5 39.8
TLD 55.8 43.7
ALSA 53.2 42.4
本文 55.5 45.6
1 赵娜, 袁家斌, 徐晗. 智能交通系统综述[J]. 计算机科学, 2014, 41 (11): 7- 11.
doi: 10.11896/j.issn.1002-137X.2014.11.002
ZHAO Na , YUAN Jiabin , XU Han . Overview of intelligent transportation systems[J]. Computer Science, 2014, 41 (11): 7- 11.
doi: 10.11896/j.issn.1002-137X.2014.11.002
2 DUANMU F , MA Z , WANG Y . Fast mode and partition decision using machine learning for intra-frame coding in HEVC screen content coding extension[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2016, 6 (4): 517- 531.
doi: 10.1109/JETCAS.2016.2597698
3 SARIPAN K, NUTHONG C. Tree-based vehicle classification system[C]//2017 14th International Conference on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI-CON). Phuket, Thailand: IEEE, 2017: 439-442.
4 PUROHIT N, ISRANI D.Vehicle classification and surveillance using machine learning technique[C]//2017 2nd IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology (RTEICT). Bengaluru, India: IEEE, 2017: 910-914.
5 KAFAI M , BHANU B . Dynamic Bayesian networks for vehicle classification in video[J]. IEEE Transactions on Industrial Informatics, 2012, 8 (1): 100- 109.
doi: 10.1109/TII.2011.2173203
6 GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Columbus, USA: IEEE, 2014: 580-587.
7 REN S, HE K, Girshick R, et al. Faster R-cnn: towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems. Quebec, Canada: Curran Associates Inc., 2015: 91-99.
8 REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Las Vegas, USA: IEEE, 2016: 779-788.
9 LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector[C]//European Conference on Computer Vision. Amsterdam, Netherlands: Springer, 2016: 21-37.
10 REDMON J, FARHADI A. Yolov3: an incremental improvement[EB/OL].(2018-04-01) [2019-07-22]. https://www.bibsonomy.org/bibtex/bbdec3df168e9809-d9e61423d4b4e062.arXiv:1804.02767v1, 2018.
11 HUANG G, LIU Z, VAN Der Maaten L, et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Hawaii, USA: IEEE, 2017: 4700-4708.
12 LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Hawaii, USA: IEEE, 2017: 2117-2125.
13 GEIGER A, LENZ P, URTASUN R. Are we ready for autonomous driving? the kitti vision benchmark suite[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Rhode Island, USA: IEEE, 2012: 3354-3361.
14 KALAL Z, MATAS J, MIKOLAJCZYK K. Pn learning: Bootstrapping binary classifiers by structural constraints[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR). California, USA: IEEE, 2010: 49-56.
15 WANG N, YEUNG D Y. Learning a deep compact image representation for visual tracking[C]//Advances in Neural Information Processing Systems. Lake Tahoe, USA: Curran Associates Inc, 2013: 809-817.
16 ZHONG W, LU H, YANG M H. Robust object tracking via sparsity-based collaborative model[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Rhode Island, USA: IEEE, 2012: 1838-1845.
[1] 李春阳,李楠,冯涛,王朱贺,马靖凯. 基于深度学习的洗衣机异常音检测[J]. 山东大学学报 (工学版), 2020, 50(2): 108-117.
[2] 蔡国永,林强,任凯琪. 基于域对抗网络和BERT的跨领域文本情感分析[J]. 山东大学学报 (工学版), 2020, 50(1): 1-7,20.
[3] 赵越男,陈桂友,孙琛,卢宁,廖立伟. 基于空间隐患分布与运动意图解析的危险评估方法[J]. 山东大学学报 (工学版), 2020, 50(1): 28-34.
[4] 侯霄雄,许新征,朱炯,郭燕燕. 基于AlexNet和集成分类器的乳腺癌计算机辅助诊断方法[J]. 山东大学学报 (工学版), 2019, 49(2): 74-79.
[5] 权稳稳,林明星. CNN特征与BOF相融合的水下目标识别算法[J]. 山东大学学报 (工学版), 2019, 49(1): 107-113.
[6] 梁蒙蒙,周涛,夏勇,张飞飞,杨健. 基于PSO-ConvK卷积神经网络的肺部肿瘤图像识别[J]. 山东大学学报 (工学版), 2018, 48(5): 77-84.
[7] 张璞,刘畅,王永. 基于特征融合和集成学习的建议语句分类模型[J]. 山东大学学报 (工学版), 2018, 48(5): 47-54.
[8] 张宪红,张春蕊. 基于六维前馈神经网络模型的图像增强算法[J]. 山东大学学报(工学版), 2018, 48(4): 10-19.
[9] 何正义,曾宪华,郭姜. 一种集成卷积神经网络和深信网的步态识别与模拟方法[J]. 山东大学学报(工学版), 2018, 48(3): 88-95.
[10] 谢志峰,吴佳萍,马利庄. 基于卷积神经网络的中文财经新闻分类方法[J]. 山东大学学报(工学版), 2018, 48(3): 34-39.
[11] 赵彦霞, 王熙照. 基于SVD和DCNN的彩色图像多功能零水印算法[J]. 山东大学学报(工学版), 2018, 48(3): 25-33.
[12] 孟令恒,丁世飞. 基于单静态图像的深度感知模型[J]. 山东大学学报(工学版), 2016, 46(3): 37-43.
[13] 邱晓欣1,2,张文强1,2*,秦晋贤1,2,杜正阳1,2,张德峰1,2. 恶劣环境下多目标实时跟踪算法研究[J]. 山东大学学报(工学版), 2014, 44(2): 21-27.
[14] 潘晟旻1,2,钟毅1*,王建华2. 基于改进Canny算子的坯料挤压变形边缘提取[J]. 山东大学学报(工学版), 2013, 43(5): 19-23.
[15] 徐姗姗,刘应安*,徐昇. 基于卷积神经网络的木材缺陷识别[J]. 山东大学学报(工学版), 2013, 43(2): 23-28.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 陈瑞,李红伟,田靖. 磁极数对径向磁轴承承载力的影响[J]. 山东大学学报(工学版), 2018, 48(2): 81 -85 .
[2] 王杉,李田泽 . 一种绕线转子感应电机控制的新方法[J]. 山东大学学报(工学版), 2008, 38(3): 86 -89 .
[3] 孙媛媛 徐衍亮 姚之宁. 旁磁制动单相感应电动机制动力的分析与计算[J]. 山东大学学报(工学版), 2009, 39(5): 120 -123 .
[4] 宋青,李晓磊,张承进 . 基于瓶颈分析的邮政速递网络的优化[J]. 山东大学学报(工学版), 2007, 37(5): 29 -33 .
[5] 孙向勇 . 不含四圈,三圈不重点的平面图全染色的一个结论[J]. 山东大学学报(工学版), 2007, 37(3): 118 -121 .
[6] 何东之, 张吉沣, 赵鹏飞. 不确定性传播算法的MapReduce并行化实现[J]. 山东大学学报(工学版), 0, (): 22 -28 .
[7] 贝广霞,楼佩煌,叶文华,王晓梅 . 精密加工中圆柱度在机检测关键技术[J]. 山东大学学报(工学版), 2007, 37(5): 65 -67 .
[8] 胡钢,冯向前,陈欣,曹力 . 带时频区间精度小波神经网络的信号仿真研究[J]. 山东大学学报(工学版), 2008, 38(1): 96 -100 .
[9] 邓修成,沈艳军,方胜乐 . 多输入-多输出线性系统有限时间观测器设计方法[J]. 山东大学学报(工学版), 2008, 38(4): 17 -21 .
[10] 崔新壮,商庆森,姚占勇 . 强夯在威乳高速公路改建工程中的应用研究及一般性推广[J]. 山东大学学报(工学版), 2008, 38(4): 53 -56 .