您的位置：山东大学 -> 科技期刊社 -> 《山东大学学报（工学版）》

山东大学学报 (工学版) ›› 2018, Vol. 48 ›› Issue (5): 16-23.doi: 10.6040/j.issn.1672-3961.0.2017.409

• 机器学习与数据挖掘 • 上一篇    下一篇

基于LDB描述子和局部空间结构匹配的快速场景辨识

张东波1,2(),寇涛1,2,许海霞1,2   

  1. 1. 湘潭大学信息工程学院, 湖南 湘潭 411105
    2. 机器人视觉感知与控制国家工程实验室, 湖南 长沙 410012
  • 收稿日期:2017-08-24 出版日期:2018-10-01 发布日期:2017-08-24
  • 作者简介:张东波(1973—)，男，湖南隆回人，教授,博士，主要研究方向为模式识别与图像处理，集成学习，智能信息处理. E-mail:zhadonbo@163.com
  • 基金资助:
    国家自然科学基金资助项目(61602397);湖南省自然科学基金资助项目(2017JJ2251);湖南省重点学科建设资助项目

Fast scene recognition based on LDB descriptor and local spatial structure matching

Dongbo ZHANG1,2(),Tao KOU1,2,Haixia XU1,2   

  1. 1. College of Information Engineering, Xiangtan University, Xiangtan 411105, Hunan, China
    2. Robot Visual Perception & Control Technology National Engineering Laboratory, Changsha 410012, Hunan, China
  • Received:2017-08-24 Online:2018-10-01 Published:2017-08-24
  • Supported by:
    国家自然科学基金资助项目(61602397);湖南省自然科学基金资助项目(2017JJ2251);湖南省重点学科建设资助项目

RichHTML

42

PDF (PC)

628

摘要：

提出一种新的基于局部差异二值(local difference binary, LDB)描述子和局部空间结构匹配方法实现快速场景辨识,运用多重网格密集采样得到图像区域的灰度和梯度信息,比较网格间的灰度和梯度进行二值描述,继承了二值特征提取的快速和低存储的优点。通过构建特征点的局部空间分布约束,将局域内的多点匹配取代单点匹配,排除了大量错配点,提升了匹配的准确率。试验表明,本研究方法计算效率约是尺度不变特征变换(scale-invariant feature transform, SIFT)的2.7倍,加速稳健特征(speeded up robust features, SURF)的1.9倍,充分验证了本研究方法的有效性和识别性能。

关键词: 局部特征, 二值特征描述, 局部空间结构匹配, 场景辨识, 鲁棒

Abstract:

A new local difference binary (LDB) descriptor and local spatial structure matching method was proposed to implement fast scene recognition. The multi-grid dense sampling method was used to obtain grayscale and gradient information of the image area, and the binary description was performed by comparing the grayscale and gradient size between the grids, which inherited the advantages of fast and low storage of binary feature extraction. The multi-point matching was adopted to replace the original single point of matching technology, which removed a large number of mismatches, thus the match accuracy was improved. The experiment showed that the efficiency of this method was about 2.7 times of SIFT and 1.9 times of SURF. The validity and recognition performance of the method were fully verified.

Key words: local feature, binary feature description, local spatial structure matching, scene identification, robust

中图分类号: 

  • TP391

图1

图像金字塔"

图2

图像块质心示意图"

图3

LDB特征计算"

图4

LDB描述子匹配土木楼和图书馆楼的结果"

图5

LDB描述子匹配工科楼的结果"

图6

空间结构提取图解"

图7

结构匹配判断流程图"

图8

数据集示例图"

图9

几种方法在不同条件下的匹配效果图"

图10

本研究方法匹配土木楼和图书馆"

表1

其它算法和本研究方法匹配不相同场景的结果"

方法 图片 关键点数 错误匹配点数
SIFT 土木楼 1 797 74
图书馆 2 151
SURF 土木楼 2 786 54
图书馆 2 340
ORB 土木楼 2 000 19
图书馆 2 000
LDB 土木楼 1 955 20
图书馆 1 925
本研究方法 土木楼 1 955 1
图书馆 1 925

图11

本研究方法匹配两张工科楼图像结果"

表2

其它算法和本研究方法匹配工科楼的结果统计"

方法 图片 关键点数目 匹配点对 正确匹配数 准确率/%
SIFT 工科楼1 1 243 66 48 72.73
工科楼2 1 466
SURF 工科楼1 2 080 113 34 69.91
工科楼2 1 891
LDB 工科楼1 2 706 87 78 89.66
工科楼2 2 780
ORB 工科楼1 2 820 81 58 71.60
工科楼2 2 926
本研究 工科楼1 2 706 52 52 100
工科楼2 2 780

表3

几种方法的速度对比测试结果"

方法 关键点总数 单张图片时间/s 单点时间/ms
Sift 2 790 2.94 1.08
Surf 3 971 3.05 0.77
ORB 3 949 0.79 0.20
本研究 3 664 1.48 0.40

表4

其它方法和本研究方法场景识别结果比较"

方法 识别图片数量 正确识别数量 准确率/%
LDB 508 369 72.64
ORB 703 368 57.04
SIFT 241 216 86.53
SURF 197 171 86.80
本研究 304 299 98.36

图12

本研究与GMS算法的Precision-Recall对比曲线"

1 LOWE D G . Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60 (2): 91- 110.
doi: 10.1023/B:VISI.0000029664.99615.94
2 BAY H, TUYTELAARS T, GOOL L V. SURF: speeded up robust features[C]//European Conference on Computer Vision. Berlin, Heidelberg: Springer-Verlag, 2006: 404-417.
3 RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2012: 2564-2571.
4 OJALA T , PIETIKÄINEN M , MÄENPÄÄ T . Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24 (7): 971- 987.
5 TAKACS G , CHANDRASEKHAR V , TSAI S S , et al. Fast computation of rotation-invariant image features by an approximate radial gradient transform[J]. IEEE Transactions on Image Processing A:Publication of the IEEE Signal Processing Society, 2013, 22 (8): 2970- 2982.
doi: 10.1109/TIP.2012.2230011
6 WANG Z, FAN B, WU F. Local intensity order pattern for feature description[C]//International Conference on Computer Vision. Barcelona, Spain: IEEE Computer Society, 2011: 603-610.
7 MOREL J M , YU G . ASIFT: a new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2 (2): 438- 469.
doi: 10.1137/080732730
8 HUA G, BROWN M, WINDER S. Discriminant embedding for local image descriptors[C]//IEEE, International Conference on Computer Vision. Rio de Janeiro, Brazil: IEEE, 2007: 1-8.
9 汤伯超, 蔡念, 程昱. 基于颜色量化矩阵的SIFT特征描述方法[J]. 山东大学学报(工学版), 2011, 41 (2): 46- 50.
TANG Bochao , CAI Nian , CHENG Yu . A novel SIFT descriptor based on a color quantization matrix[J]. Journal of Shandong University(Engineering Science), 2011, 41 (2): 46- 50.
10 CALONDER M , LEPETIT V , OZUYSAL M , et al. BRIEF: computing a local binary descriptor very fast[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34 (7): 1281- 1298.
11 LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: binary robust invariant scalable keypoints[C]//IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2012: 2548-2555.
12 FISCHLER M A , BOLLES R C . Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[M]. New York, USA: ACM, 1981.
13 TORR P H S , ZISSERMAN A . MLESAC: a new robust estimator with application to estimating image geometry[J]. Computer Vision & Image Understanding, 2000, 78 (1): 138- 156.
14 CHIN T J , YU J , SUTER D . Accelerated hypothesis generation for multistructure data via preference analysis[M]. Washington D. C., USA: IEEE Computer Society, 2012.
15 RAGURAM R, FRAHM J M, POLLEFEYS M. A Comparative analysis of RANSAC techniques leading to adaptive real-time random sample consensus[M]//Computer Vision: ECCV 2008. Berlin Heidelberg, Germany: Springer, 2008: 500-513.
16 CHUM O, MATAS J, KITTLER J. Locally optimized RANSAC[C]//Joint Pattern Recognition Symposium. Berlin Heidelberg, Germany: Springer-Verlag, 2003: 236-243.
17 SATTLER T, LEIBE B, KOBBELT L. SCRAMSAC: Improving RANSAC's efficiency with a spatial consistency filter[C]//IEEE, International Conference on Computer Vision. Kyoto, Japan: IEEE, 2010: 2090-2097.
18 PIZARRO D , BARTOLI A . Feature-Based deformable surface detection with self-occlusion reasoning[J]. International Journal of Computer Vision, 2012, 97 (1): 54- 70.
doi: 10.1007/s11263-011-0452-0
19 LIN W Y D, CHENG M M, LU J, et al. Bilateral functions for global motion modeling[C]//European Conference on Computer Vision. Cham, Switzerland: Springer, 2014: 341-356.
20 LIN W Y, LIU S, JIANG N, et al. RepMatch: robust feature matching and pose for reconstructing modern cities[C]//European Conference on Computer Vision. Cham, Switzerland: Springer, 2016: 562-579.
21 LIPMAN Y , YAGEV S , PORANNE R , et al. Feature matching with bounded distortion[J]. Acm Transactions on Graphics, 2014, 33 (3): 26.
22 MAIER J, HUMENBERGER M, MURSCHITZ M, et al. Guided matching based on statistical optical flow for fast and robust correspondence analysis[C]//European Conference on Computer Vision. Berlin Heidelberg, Germany: Springer International Publishing, 2016: 101-117.
23 LIN W Y , WANG F , CHENG M M , et al. CODE: coherence based decision boundaries for feature correspondence[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, (99): 34- 47.
24 BIAN J W, LIN W Y, YASUYUKI M. GMS: grid-based motion statistics for fast, ultra-robust feature correspondence[C]//Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE, 2017: 4181-4190.
25 YANG X , CHENG K T . Local difference binary for ultrafast and distinctive feature description[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36 (1): 188.
[1] 杨思,王艳,赵斌成,韩学山,刘冬,孙东磊. 含分布式电源的配电网三阶段协同优化调度[J]. 山东大学学报 (工学版), 2022, 52(5): 55-69.
[2] 胡军,杨冬梅,刘立,钟福金. 融合节点状态信息的跨社交网络用户对齐[J]. 山东大学学报 (工学版), 2021, 51(6): 49-58.
[3] 王一宾,李田力,程玉胜,钱坤. 基于核极限学习机自编码器的标记分布学习[J]. 山东大学学报 (工学版), 2020, 50(3): 58-65.
[4] 马川,刘彦呈,刘厶源,张勤进. 考虑未知死区非线性的自适应模糊神经UUV航迹跟踪控制[J]. 山东大学学报 (工学版), 2019, 49(3): 47-56.
[5] 褚晓东,唐茂森,高旭,刘伟生,贾善杰,李笋. 基于集中式信息系统的主动配电网鲁棒优化调度[J]. 山东大学学报(工学版), 2017, 47(6): 20-25.
[6] 侯明冬,王印松,田杰. 积分时滞对象的一种内模PID鲁棒控制方法[J]. 山东大学学报(工学版), 2016, 46(5): 64-67.
[7] 周凯,元昌安,覃晓,郑彦,冯文铎. 基于核贝叶斯压缩感知的人脸识别[J]. 山东大学学报(工学版), 2016, 46(3): 74-78.
[8] 李小华, 严慰, 刘洋. 广义扩展大系统的鲁棒分散有限时间关联镇定[J]. 山东大学学报(工学版), 2015, 45(6): 16-28.
[9] 张井岗,马文廷,赵志诚. 串级时滞过程的二自由度Smith预估控制[J]. 山东大学学报 (工学版), 2015, 45(5): 43-50.
[10] 魏伟, 戴明, 李嘉全, 毛大鹏, 李贤涛. 基于频域的光电稳定平台扰动观测器设计[J]. 山东大学学报(工学版), 2015, 45(4): 45-49.
[11] 张慧慧, 夏建伟. 不确定随机多时滞系统鲁棒随机稳定性分析[J]. 山东大学学报(工学版), 2015, 45(1): 54-63.
[12] 葛凯蓉, 常发亮, 董文会. 基于局部敏感直方图的稀疏表达跟踪算法[J]. 山东大学学报(工学版), 2014, 44(5): 14-19.
[13] 解静, 考永贵, 高存臣, 张孟乔. 变时滞不确定广义Markovian跳系统的滑模控制[J]. 山东大学学报(工学版), 2014, 44(4): 31-38.
[14] 谢志华. 一种新的血流建模方法及其在红外人脸识别中的应用[J]. 山东大学学报(工学版), 2013, 43(5): 1-5.
[15] 赵占山1,2, 张静3, 孙连坤1, 丁刚1. 有限时间收敛的滑模自适应控制器设计[J]. 山东大学学报(工学版), 2012, 42(4): 74-78.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
[1] 王素玉,艾兴,赵军,李作丽,刘增文 . 高速立铣3Cr2Mo模具钢切削力建模及预测[J]. 山东大学学报(工学版), 2006, 36(1): 1 -5 .
[2] 李 侃 . 嵌入式相贯线焊接控制系统开发与实现[J]. 山东大学学报(工学版), 2008, 38(4): 37 -41 .
[3] 孔祥臻,刘延俊,王勇,赵秀华 . 气动比例阀的死区补偿与仿真[J]. 山东大学学报(工学版), 2006, 36(1): 99 -102 .
[4] 陈瑞,李红伟,田靖. 磁极数对径向磁轴承承载力的影响[J]. 山东大学学报(工学版), 2018, 48(2): 81 -85 .
[5] 李可,刘常春,李同磊 . 一种改进的最大互信息医学图像配准算法[J]. 山东大学学报(工学版), 2006, 36(2): 107 -110 .
[6] 季涛,高旭,孙同景,薛永端,徐丙垠 . 铁路10 kV自闭/贯通线路故障行波特征分析[J]. 山东大学学报(工学版), 2006, 36(2): 111 -116 .
[7] 浦剑1 ,张军平1 ，黄华2 . 超分辨率算法研究综述[J]. 山东大学学报(工学版), 2009, 39(1): 27 -32 .
[8] 王丽君,黄奇成,王兆旭 . 敏感性问题中的均方误差与模型比较[J]. 山东大学学报(工学版), 2006, 36(6): 51 -56 .
[9] 孙国华,吴耀华,黎伟. 消费税控制策略对供应链系统绩效的影响[J]. 山东大学学报(工学版), 2009, 39(1): 63 -68 .
[10] 孙殿柱,朱昌志,李延瑞 . 散乱点云边界特征快速提取算法[J]. 山东大学学报(工学版), 2009, 39(1): 84 -86 .
版权所有 © 2018 《山东大学学报(工学版)》编辑部　
地址: 济南市山大南路27号（250100）　 电话: 0531-88366735　 E-mail: xbgxb@sdu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发