您的位置:山东大学 -> 科技期刊社 -> 《山东大学学报(工学版)》

山东大学学报 (工学版) ›› 2023, Vol. 53 ›› Issue (6): 35-46.doi: 10.6040/j.issn.1672-3961.0.2022.298

• 机器学习与数据挖掘 • 上一篇    下一篇

基于算法展开的图像盲去模糊深度学习网络

王旭晴,魏伟波,杨光宇,宋金涛,吕婷,潘振宽*   

  1. 青岛大学计算机科学技术学院, 山东 青岛 266071
  • 发布日期:2023-12-19
  • 作者简介:王旭晴(1998— ),女,山东德州人,硕士研究生,主要研究方向为图像去模糊. E-mail:wangxq2106@163.com. *通信作者简介:潘振宽(1966— ),男,山东潍坊人,教授,博士生导师,博士,主要研究方向为计算机视觉、图像处理. E-mail:zkpan@126.com
  • 基金资助:
    国家自然科学基金资助项目(61772294);山东省自然科学基金资助项目(ZR2019LZH002);山东省高等学校青创科技计划创新团队项目(2021RW018)

Blind image deblurring deep learning network based on algorithm unrolling

WANG Xuqing, WEI Weibo, YANG Guangyu, SONG Jintao, LÜ Ting, PAN Zhenkuan*   

  1. College of Computer Science and Technology, Qingdao University, Qingdao 266071, Shandong, China
  • Published:2023-12-19

摘要: 针对图像盲去模糊问题,基于变分模型的迭代优化展开形式设计了相应的变分深度学习网络,有效克服了传统变分方法计算效率低和深度学习方法可解释性差的问题。设计网络包含2部分: 利用算法展开策略实现基于L0正则化估计模糊核的子网络;基于估计的模糊核及图像恢复正则化模型的非盲去卷积子网络,该子网络充分利用了双通道的编解码网络结构。为确保模糊核估计的准确性和图像内容的一致性,损失函数由均方误差损失和结构相似性损失构成。L0正则化的使用有助于快速准确地完成模糊核估计;图像恢复正则化模型的使用有助于边缘和图像细节的保持。在Levin数据集上的试验结果表明,所提算法在峰值信噪比上较目前先进算法至少提高了2.14 dB。

关键词: 图像去模糊, 算法展开, 正则化方法, 模糊核估计, 深度学习

中图分类号: 

  • TP391
[1] CHO S, LEE S. Fast motion deblurring[J]. ACM Transactions on Graphics, 2009, 28(5): 1-8.
[2] PAN J, SU Z. Fast l0-regularized kernel estimation for robust motion deblurring[J]. IEEE Signal Processing Letters, 2013, 20(9): 841-844.
[3] PAN J, HU Z, SU Z, et al. L0-regularized intensity and gradient prior for deblurring text images and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(2): 342-355.
[4] 唐梦, 彭国华, 郑红婵. 基于正则化方法的图像盲去模糊[J]. 计算机应用研究, 2014, 31(2): 596-599. TANG Meng, PENG Guohua, ZHENG Hongchan. Blind image deblurring based on regularization method[J]. Application Research of Computers, 2014, 31(2): 596-599.
[5] PAN J, SUN D, PFISTER H, et al. Deblurring images via dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(10): 2315-2328.
[6] CHAKRABARTI A. A neural approach to blind motion deblurring[C] //Proceedings of Computer Vision — ECCV 2016. Amsterdam, Netherlands: Springer, 2016: 221-235.
[7] XU X, PAN J, ZHANG Y J, et al. Motion blur kernel estimation via deep learning[J]. IEEE Transactions on Image Processing, 2018, 27(1): 194-205.
[8] SCHULER C J, HIRSCH M, HARMELING S, et al. Learning to deblur[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(7): 1439-1451.
[9] LIU K H, YEH C H, CHUNG J W, et al. A motion deblur method based on multi-scale high frequency residual image learning[J]. IEEE, 2020, 8: 66025-66036.
[10] NAN Y, JI H. Deep learning for handling kernel/model uncertainty in image deconvolution[C] //Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). Seattle, USA: IEEE, 2020: 2385-2394.
[11] TAO X, GAO H, SHEN X, et al. Scale-recurrent network for deep image deblurring[C] //Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). Salt Lake City, USA: IEEE, 2018: 8174-8182.
[12] KUPYN O, BUDZAN V, MYKHAILYCH M, et al. DeblurGAN: blind motion deblurring using conditional adversarial networks[C] //Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). Salt Lake City, USA: IEEE, 2018: 8183-8192.
[13] MONGA V, LI Y, ELDAR Y C. Algorithm unrolling: interpretable, efficient deep learning for signal and image processing[J]. IEEE Signal Processing Magazine, 2021, 38(2): 18-44.
[14] ZHANG J, GHANEM B. ISTA-Net: interpretable optimization-inspired deep network for image compressive sensing[C] //Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). Salt Lake City, USA: IEEE, 2018: 1828-1837.
[15] LI Y, TOFIGHI M, GENG J, et al. Efficient and interpretable deep blind image deblurring via algorithm unrolling[J]. IEEE Transactions on Computational Imaging, 2020, 6: 666-681.
[16] WANG Y, YANG J, YIN W, et al. A new alternating minimization algorithm for total variation image reconstruction[J]. SIAM Journal on Imaging Sciences, 2008, 1(3): 248-272.
[17] XIN B, WANG Y, GAO W, et al. Maximal sparsity with deep networks[C] //Proceedings of the 30th International Conference on Neural Information Processing Systems(NIPS16). Red Hook, USA: Curran Associates Inc, 2016: 4347-4355.
[18] WANG Z, LING Q, HUANG T S. Learning deep l0 encoders[C] //Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence(AAAI16). Phoenix, USA: AAAI, 2016: 2194-2200.
[19] MARTIN D, FOWLKES C, TAL D, et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C] //Proceedings of Eighth IEEE International Conference on Computer Vision(ICCV 2001). Vancouver, Canada, 2001: 416-423.
[20] LEVIN A, WEISS Y, DURAND F, et al. Understanding and evaluating blind deconvolution algorithms[C] //Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Miami, USA: IEEE, 2009: 1964-1971.
[21] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft coco: common objects in context[C] //Proceedings of Computer Vision — ECCV 2014. Zurich, Switzerland: Springer, 2014: 740-755.
[22] SUN L, CHO S, WANG J, et al. Edge-based blur kernel estimation using patch priors[C] //Proceedings of IEEE International Conference on Computational Photography(ICCP). Cambridge, USA: IEEE, 2013: 1-8.
[23] NAH S, KIM T H, LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring[C] //Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Honolulu, USA: IEEE, 2017: 257-265.
[24] HU Z, YANG M H. Good regions to deblur[C] //Proceedings of Computer Vision—ECCV 2012. Florence, Italy: Springer Berlin Heidelberg, 2012: 59-72.
[1] 李常刚,李宝亮,曹永吉,王佳颖. 人工智能在电力系统潮流计算中的应用综述及展望[J]. 山东大学学报 (工学版), 2025, 55(5): 1-17.
[2] 周群颖,隋家成,张继,王洪元. 基于自监督卷积和无参数注意力机制的工业品表面缺陷检测[J]. 山东大学学报 (工学版), 2025, 55(4): 40-47.
[3] 薛冰冰,王勇,杨维浩,王川,于迪,王旭. 基于ETC收费数据的高速公路交通流数据修复及实时预测[J]. 山东大学学报 (工学版), 2025, 55(3): 58-71.
[4] 董明书,陈俐企,马川义,张珠皓,孙仁娟,管延华,庄培芝. 沥青路面内部裂缝雷达图像智能判识算法研究[J]. 山东大学学报 (工学版), 2025, 55(3): 72-79.
[5] 常新功,苏敏惠,周志刚. 基于进化集成的图神经网络解释方法[J]. 山东大学学报 (工学版), 2024, 54(4): 1-12.
[6] 索大翔,李波. 基于Gromov-Wasserstein最优传输的输电线路小目标检测方法[J]. 山东大学学报 (工学版), 2024, 54(3): 22-29.
[7] 宋辉,张轶哲,张功萱,孟元. 基于类权重和最小化预测熵的测试时集成方法[J]. 山东大学学报 (工学版), 2024, 54(3): 36-43.
[8] 刘新,刘冬兰,付婷,王勇,常英贤,姚洪磊,罗昕,王睿,张昊. 基于联邦学习的时间序列预测算法[J]. 山东大学学报 (工学版), 2024, 54(3): 55-63.
[9] 聂秀山,巩蕊,董飞,郭杰,马玉玲. 短视频场景分类方法综述[J]. 山东大学学报 (工学版), 2024, 54(3): 1-11.
[10] 李璐,张志军,范钰敏,王星,袁卫华. 面向冷启动用户的元学习与图转移学习序列推荐[J]. 山东大学学报 (工学版), 2024, 54(2): 69-79.
[11] 高泽文,王建,魏本征. 基于混合偏移轴向自注意力机制的脑胶质瘤分割算法[J]. 山东大学学报 (工学版), 2024, 54(2): 80-89.
[12] 陈成,董永权,贾瑞,刘源. 基于交互序列特征相关性的可解释知识追踪[J]. 山东大学学报 (工学版), 2024, 54(1): 100-108.
[13] 李家春,李博文,常建波. 一种高效且轻量的RGB单帧人脸反欺诈模型[J]. 山东大学学报 (工学版), 2023, 53(6): 1-7.
[14] 王碧瑶,韩毅,崔航滨,刘毅超,任铭然,高维勇,陈姝廷,刘嘉巍,崔洋. 基于图像的道路语义分割检测方法[J]. 山东大学学报 (工学版), 2023, 53(5): 37-47.
[15] 周晓昕,廖祝华,刘毅志,赵肄江,方艺洁. 融合历史与当前交通流量的信号控制方法[J]. 山东大学学报 (工学版), 2023, 53(4): 48-55.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 王素玉,艾兴,赵军,李作丽,刘增文 . 高速立铣3Cr2Mo模具钢切削力建模及预测[J]. 山东大学学报(工学版), 2006, 36(1): 1 -5 .
[2] 李 侃 . 嵌入式相贯线焊接控制系统开发与实现[J]. 山东大学学报(工学版), 2008, 38(4): 37 -41 .
[3] 孔祥臻,刘延俊,王勇,赵秀华 . 气动比例阀的死区补偿与仿真[J]. 山东大学学报(工学版), 2006, 36(1): 99 -102 .
[4] 陈瑞,李红伟,田靖. 磁极数对径向磁轴承承载力的影响[J]. 山东大学学报(工学版), 2018, 48(2): 81 -85 .
[5] 李可,刘常春,李同磊 . 一种改进的最大互信息医学图像配准算法[J]. 山东大学学报(工学版), 2006, 36(2): 107 -110 .
[6] 季涛,高旭,孙同景,薛永端,徐丙垠 . 铁路10 kV自闭/贯通线路故障行波特征分析[J]. 山东大学学报(工学版), 2006, 36(2): 111 -116 .
[7] 浦剑1 ,张军平1 ,黄华2 . 超分辨率算法研究综述[J]. 山东大学学报(工学版), 2009, 39(1): 27 -32 .
[8] 王丽君,黄奇成,王兆旭 . 敏感性问题中的均方误差与模型比较[J]. 山东大学学报(工学版), 2006, 36(6): 51 -56 .
[9] 孙殿柱,朱昌志,李延瑞 . 散乱点云边界特征快速提取算法[J]. 山东大学学报(工学版), 2009, 39(1): 84 -86 .
[10] 赵然杭,陈守煜 . 水资源数量与质量联合评价理论模型研究[J]. 山东大学学报(工学版), 2006, 36(3): 46 -50 .