您的位置：山东大学 -> 科技期刊社 -> 《山东大学学报（工学版）》

山东大学学报 (工学版) ›› 2018, Vol. 48 ›› Issue (5): 16-23.doi: 10.6040/j.issn.1672-3961.0.2017.409

• 机器学习与数据挖掘 • 上一篇    下一篇

基于LDB描述子和局部空间结构匹配的快速场景辨识

张东波1,2(),寇涛1,2,许海霞1,2   

  1. 1. 湘潭大学信息工程学院, 湖南 湘潭 411105
    2. 机器人视觉感知与控制国家工程实验室, 湖南 长沙 410012
  • 收稿日期:2017-08-24 出版日期:2018-10-01 发布日期:2017-08-24
  • 作者简介:张东波(1973—)，男，湖南隆回人，教授,博士，主要研究方向为模式识别与图像处理，集成学习，智能信息处理. E-mail:zhadonbo@163.com
  • 基金资助:
    国家自然科学基金资助项目(61602397);湖南省自然科学基金资助项目(2017JJ2251);湖南省重点学科建设资助项目

Fast scene recognition based on LDB descriptor and local spatial structure matching

Dongbo ZHANG1,2(),Tao KOU1,2,Haixia XU1,2   

  1. 1. College of Information Engineering, Xiangtan University, Xiangtan 411105, Hunan, China
    2. Robot Visual Perception & Control Technology National Engineering Laboratory, Changsha 410012, Hunan, China
  • Received:2017-08-24 Online:2018-10-01 Published:2017-08-24
  • Supported by:
    国家自然科学基金资助项目(61602397);湖南省自然科学基金资助项目(2017JJ2251);湖南省重点学科建设资助项目

RichHTML

38

PDF (PC)

447

摘要：

提出一种新的基于局部差异二值(local difference binary, LDB)描述子和局部空间结构匹配方法实现快速场景辨识,运用多重网格密集采样得到图像区域的灰度和梯度信息,比较网格间的灰度和梯度进行二值描述,继承了二值特征提取的快速和低存储的优点。通过构建特征点的局部空间分布约束,将局域内的多点匹配取代单点匹配,排除了大量错配点,提升了匹配的准确率。试验表明,本研究方法计算效率约是尺度不变特征变换(scale-invariant feature transform, SIFT)的2.7倍,加速稳健特征(speeded up robust features, SURF)的1.9倍,充分验证了本研究方法的有效性和识别性能。

关键词: 局部特征, 二值特征描述, 局部空间结构匹配, 场景辨识, 鲁棒

Abstract:

A new local difference binary (LDB) descriptor and local spatial structure matching method was proposed to implement fast scene recognition. The multi-grid dense sampling method was used to obtain grayscale and gradient information of the image area, and the binary description was performed by comparing the grayscale and gradient size between the grids, which inherited the advantages of fast and low storage of binary feature extraction. The multi-point matching was adopted to replace the original single point of matching technology, which removed a large number of mismatches, thus the match accuracy was improved. The experiment showed that the efficiency of this method was about 2.7 times of SIFT and 1.9 times of SURF. The validity and recognition performance of the method were fully verified.

Key words: local feature, binary feature description, local spatial structure matching, scene identification, robust

中图分类号: 

  • TP391

图1

图像金字塔"

图2

图像块质心示意图"

图3

LDB特征计算"

图4

LDB描述子匹配土木楼和图书馆楼的结果"

图5

LDB描述子匹配工科楼的结果"

图6

空间结构提取图解"

图7

结构匹配判断流程图"

图8

数据集示例图"

图9

几种方法在不同条件下的匹配效果图"

图10

本研究方法匹配土木楼和图书馆"

表1

其它算法和本研究方法匹配不相同场景的结果"

方法 图片 关键点数 错误匹配点数
SIFT 土木楼 1 797 74
图书馆 2 151
SURF 土木楼 2 786 54
图书馆 2 340
ORB 土木楼 2 000 19
图书馆 2 000
LDB 土木楼 1 955 20
图书馆 1 925
本研究方法 土木楼 1 955 1
图书馆 1 925

图11

本研究方法匹配两张工科楼图像结果"

表2

其它算法和本研究方法匹配工科楼的结果统计"

方法 图片 关键点数目 匹配点对 正确匹配数 准确率/%
SIFT 工科楼1 1 243 66 48 72.73
工科楼2 1 466
SURF 工科楼1 2 080 113 34 69.91
工科楼2 1 891
LDB 工科楼1 2 706 87 78 89.66
工科楼2 2 780
ORB 工科楼1 2 820 81 58 71.60
工科楼2 2 926
本研究 工科楼1 2 706 52 52 100
工科楼2 2 780

表3

几种方法的速度对比测试结果"

方法 关键点总数 单张图片时间/s 单点时间/ms
Sift 2 790 2.94 1.08
Surf 3 971 3.05 0.77
ORB 3 949 0.79 0.20
本研究 3 664 1.48 0.40

表4

其它方法和本研究方法场景识别结果比较"

方法 识别图片数量 正确识别数量 准确率/%
LDB 508 369 72.64
ORB 703 368 57.04
SIFT 241 216 86.53
SURF 197 171 86.80
本研究 304 299 98.36

图12

本研究与GMS算法的Precision-Recall对比曲线"

1 LOWE D G . Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60 (2): 91- 110.
doi: 10.1023/B:VISI.0000029664.99615.94
2 BAY H, TUYTELAARS T, GOOL L V. SURF: speeded up robust features[C]//European Conference on Computer Vision. Berlin, Heidelberg: Springer-Verlag, 2006: 404-417.
3 RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2012: 2564-2571.
4 OJALA T , PIETIKÄINEN M , MÄENPÄÄ T . Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24 (7): 971- 987.
5 TAKACS G , CHANDRASEKHAR V , TSAI S S , et al. Fast computation of rotation-invariant image features by an approximate radial gradient transform[J]. IEEE Transactions on Image Processing A:Publication of the IEEE Signal Processing Society, 2013, 22 (8): 2970- 2982.
doi: 10.1109/TIP.2012.2230011
6 WANG Z, FAN B, WU F. Local intensity order pattern for feature description[C]//International Conference on Computer Vision. Barcelona, Spain: IEEE Computer Society, 2011: 603-610.
7 MOREL J M , YU G . ASIFT: a new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2 (2): 438- 469.
doi: 10.1137/080732730
8 HUA G, BROWN M, WINDER S. Discriminant embedding for local image descriptors[C]//IEEE, International Conference on Computer Vision. Rio de Janeiro, Brazil: IEEE, 2007: 1-8.
9 汤伯超, 蔡念, 程昱. 基于颜色量化矩阵的SIFT特征描述方法[J]. 山东大学学报(工学版), 2011, 41 (2): 46- 50.
TANG Bochao , CAI Nian , CHENG Yu . A novel SIFT descriptor based on a color quantization matrix[J]. Journal of Shandong University(Engineering Science), 2011, 41 (2): 46- 50.
10 CALONDER M , LEPETIT V , OZUYSAL M , et al. BRIEF: computing a local binary descriptor very fast[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34 (7): 1281- 1298.
11 LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: binary robust invariant scalable keypoints[C]//IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2012: 2548-2555.
12 FISCHLER M A , BOLLES R C . Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[M]. New York, USA: ACM, 1981.
13 TORR P H S , ZISSERMAN A . MLESAC: a new robust estimator with application to estimating image geometry[J]. Computer Vision & Image Understanding, 2000, 78 (1): 138- 156.
14 CHIN T J , YU J , SUTER D . Accelerated hypothesis generation for multistructure data via preference analysis[M]. Washington D. C., USA: IEEE Computer Society, 2012.
15 RAGURAM R, FRAHM J M, POLLEFEYS M. A Comparative analysis of RANSAC techniques leading to adaptive real-time random sample consensus[M]//Computer Vision: ECCV 2008. Berlin Heidelberg, Germany: Springer, 2008: 500-513.
16 CHUM O, MATAS J, KITTLER J. Locally optimized RANSAC[C]//Joint Pattern Recognition Symposium. Berlin Heidelberg, Germany: Springer-Verlag, 2003: 236-243.
17 SATTLER T, LEIBE B, KOBBELT L. SCRAMSAC: Improving RANSAC's efficiency with a spatial consistency filter[C]//IEEE, International Conference on Computer Vision. Kyoto, Japan: IEEE, 2010: 2090-2097.
18 PIZARRO D , BARTOLI A . Feature-Based deformable surface detection with self-occlusion reasoning[J]. International Journal of Computer Vision, 2012, 97 (1): 54- 70.
doi: 10.1007/s11263-011-0452-0
19 LIN W Y D, CHENG M M, LU J, et al. Bilateral functions for global motion modeling[C]//European Conference on Computer Vision. Cham, Switzerland: Springer, 2014: 341-356.
20 LIN W Y, LIU S, JIANG N, et al. RepMatch: robust feature matching and pose for reconstructing modern cities[C]//European Conference on Computer Vision. Cham, Switzerland: Springer, 2016: 562-579.
21 LIPMAN Y , YAGEV S , PORANNE R , et al. Feature matching with bounded distortion[J]. Acm Transactions on Graphics, 2014, 33 (3): 26.
22 MAIER J, HUMENBERGER M, MURSCHITZ M, et al. Guided matching based on statistical optical flow for fast and robust correspondence analysis[C]//European Conference on Computer Vision. Berlin Heidelberg, Germany: Springer International Publishing, 2016: 101-117.
23 LIN W Y , WANG F , CHENG M M , et al. CODE: coherence based decision boundaries for feature correspondence[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, (99): 34- 47.
24 BIAN J W, LIN W Y, YASUYUKI M. GMS: grid-based motion statistics for fast, ultra-robust feature correspondence[C]//Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE, 2017: 4181-4190.
25 YANG X , CHENG K T . Local difference binary for ultrafast and distinctive feature description[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36 (1): 188.
[1] 褚晓东,唐茂森,高旭,刘伟生,贾善杰,李笋. 基于集中式信息系统的主动配电网鲁棒优化调度[J]. 山东大学学报(工学版), 2017, 47(6): 20-25.
[2] 侯明冬,王印松,田杰. 积分时滞对象的一种内模PID鲁棒控制方法[J]. 山东大学学报(工学版), 2016, 46(5): 64-67.
[3] 周凯,元昌安,覃晓,郑彦,冯文铎. 基于核贝叶斯压缩感知的人脸识别[J]. 山东大学学报(工学版), 2016, 46(3): 74-78.
[4] 李小华, 严慰, 刘洋. 广义扩展大系统的鲁棒分散有限时间关联镇定[J]. 山东大学学报(工学版), 2015, 45(6): 16-28.
[5] 魏伟, 戴明, 李嘉全, 毛大鹏, 李贤涛. 基于频域的光电稳定平台扰动观测器设计[J]. 山东大学学报(工学版), 2015, 45(4): 45-49.
[6] 张慧慧, 夏建伟. 不确定随机多时滞系统鲁棒随机稳定性分析[J]. 山东大学学报(工学版), 2015, 45(1): 54-63.
[7] 葛凯蓉, 常发亮, 董文会. 基于局部敏感直方图的稀疏表达跟踪算法[J]. 山东大学学报(工学版), 2014, 44(5): 14-19.
[8] 解静, 考永贵, 高存臣, 张孟乔. 变时滞不确定广义Markovian跳系统的滑模控制[J]. 山东大学学报(工学版), 2014, 44(4): 31-38.
[9] 谢志华. 一种新的血流建模方法及其在红外人脸识别中的应用[J]. 山东大学学报(工学版), 2013, 43(5): 1-5.
[10] 赵占山1,2, 张静3, 孙连坤1, 丁刚1. 有限时间收敛的滑模自适应控制器设计[J]. 山东大学学报(工学版), 2012, 42(4): 74-78.
[11] 周长辉1, 胡永健2,余绍鹏1. 鲁棒的源扫描仪辨识算法设计[J]. 山东大学学报(工学版), 2011, 41(2): 62-65.
[12] 黄斌. 基于离散趋近律的变结构系统控制[J]. 山东大学学报(工学版), 2011, 41(1): 45-48.
[13] 李岳阳,王士同. 基于鲁棒性神经模糊网络的脉冲噪声滤波算法[J]. 山东大学学报(工学版), 2010, 40(5): 164-170.
[14] 王玉振1，刘玉常2，冯刚3. 非线性哈密顿控制系统输出反馈同时镇定(英文)[J]. 山东大学学报(工学版), 2009, 39(2): 52-63.
[15] 赵永国,贾磊,蔡文剑 . 一种积分过程PID自整定方法[J]. 山东大学学报(工学版), 2008, 38(1): 48-51 .
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
[1] 孟健, 李贻斌, 李彬. 四足机器人跳跃步态控制方法[J]. 山东大学学报(工学版), 2015, 45(3): 28 -34 .
[2] 何东之, 张吉沣, 赵鹏飞. 不确定性传播算法的MapReduce并行化实现[J]. 山东大学学报(工学版), 0, (): 22 -28 .
[3] 王会青,孙宏伟,张建辉. 基于Map/Reduce的时间序列相似性搜索算法[J]. 山东大学学报(工学版), 2016, 46(1): 15 -21 .
[4] 侯燕,杨猛. 高效解决复杂拓扑问题的显式界面追踪算法[J]. 山东大学学报(工学版), 2016, 46(4): 15 -20 .
[5] 黄劲潮. 基于快速区域建议网络的图像多目标分割算法[J]. 山东大学学报(工学版), 2018, 48(4): 20 -26 .
[6] 周绍伟. 随机Markov跳跃系统有限时间稳定性[J]. 山东大学学报(工学版), 2016, 46(2): 78 -84 .
[7] 唐庆顺,金璐,李国栋,吴春富. 基于自适应终端滑模控制器的机械手跟踪控制[J]. 山东大学学报(工学版), 2016, 46(5): 45 -53 .
[8] 戴平,李宁*. 一种基于SVM的快速特征选择方法[J]. 山东大学学报(工学版), 2010, 40(5): 60 -65 .
[9] 张建明, 刘泉声, 唐志成, 占婷, 蒋亚龙. 考虑剪切变形历史影响的节理峰值剪切强度准则[J]. 山东大学学报(工学版), 0, (): 77 -81 .
[10] 王换,周忠眉. 一种基于聚类的过抽样算法[J]. 山东大学学报(工学版), 2018, 48(3): 134 -139 .
版权所有 © 2018 《山东大学学报(工学版)》编辑部　
地址: 济南市山大南路27号（250100）　 电话: 0531-88366735　 E-mail: xbgxb@sdu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发