控制与决策  2020, Vol. 35 Issue (11): 2797-2802  
0

引用本文 [复制中英文]

南栋, 王志田, 郑少华, 何林远. 一种基于稀疏系数匹配学习的图像去雾算法[J]. 控制与决策, 2020, 35(11): 2797-2802.
[复制中文]
NAN Dong, WANG Zhi-tian, ZHENG Shao-hua, HE Lin-yuan. An image dehazing method based on learning framework with sparse coefficient matching[J]. Control and Decision, 2020, 35(11): 2797-2802. DOI: 10.13195/j.kzyjc.2018.1764.
[复制英文]

基金项目

国家自然科学基金项目(61701524);陆军装甲兵学院蚌埠校区自主立项课题项目(2018XQ21)

作者简介

南栋(1987-), 男, 讲师, 博士, 从事通信指挥与图像处理的研究, E-mail: nd.tian_53@163.com;
王志田(1975-), 男, 副教授, 从事通信指挥等研究, E-mail: zhitianwang@163.com;
郑少华(1971-), 男, 副教授, 从事通信指挥等研究, E-mail: zhengshaohua@163.com;
何林远(1983-), 男, 讲师, 博士, 从事图像处理与计算机视觉的研究, E-mail: hal1983@163.com

通讯作者

南栋, E-mail: nd.tian_53@163.com

文章历史

收稿日期:2018-12-24
修回日期:2019-04-08
一种基于稀疏系数匹配学习的图像去雾算法
南栋 1, 王志田 1, 郑少华 1, 何林远 2     
1. 陆军装甲兵学院 蚌埠校区,安徽 蚌埠 233050;
2. 空军工程大学 航空工程学院,西安 710038
摘要:针对现有基于先验假设的图像去雾算法无法普适性求解问题, 提出一种基于稀疏系数匹配学习的图像去雾算法.该算法从图像复原角度出发, 将雾天退化模型的求解转换为基于数据库的稀疏系数匹配.之后, 从图像增强角度着手, 将图像高亮区域对比度恢复量化为反馈迭代问题, 进而有效提升图像的视觉效果.实验结果表明, 所提出的算法在获得较好去雾结果的同时能够有效提升图像细节和对比度, 并具有较强的适用性.
关键词图像去雾    雾天退化模型    稀疏表示    学习框架    
An image dehazing method based on learning framework with sparse coefficient matching
NAN Dong 1, WANG Zhi-tian 1, ZHENG Shao-hua 1, HE Lin-yuan 2     
1. Bengbu Campus, Academy of Army Armored Forces, Bengbu~233050, China;
2. Institute of Aeronautics, Air Force Engineering University, Xi'an 710038, China
Abstract: Due to the low accuracy of the existing image dehazing methods with prior, an image dehazing method based on a learning framework with sparse coefficient matching is proposed. Firstly, the solution of the hazy degradation model is transformed to sparse coefficient matching with the database from the view of image restoration. Then, to improve the visual effect of the result, a feedback iteration is quantified by the enhancement of the contrast in highlighted areas from the view of image enhancement. Experiments demonstrate that the proposed method can remove effectively haze as well as provide a good local detail, and it has good generality.
Keywords: image dehazing    hazy degradation model    sparse representation    learning framework    
0 引言

图像去雾是通过一定的方法弥补或挽回图像中因降质而被掩盖的信息并提升图像质量的技术[1].近年来, 各大城市接连出现严重雾霾天气, 影响了人们日常出行、部队侦察和训练, 使得各个领域对图像质量提升的需求越发迫切, 成为当前研究热点.

目前, 图像去雾方法分为两类.一类是非雾天退化模型的方法, 其考虑雾天图像呈现的低对比度和高亮度特点, 以常规的图像增强作为基本处理方式, 如基于直方图均衡化、基于小波融合和基于色彩恒常性的Retinex算法等.这类方法起源于美国航空航天局(NASA), 高效、简约、易于实现, 在工程实际领域得到了较好的应用[2-3], 能够取得较好的雾天图像增强效果.但针对性较强, 难以使图像亮度、色彩及对比度等视觉指标同时调整到合理程度[4].另一类是基于雾天退化模型的方法, 以寻求McCartney模型求解为目标[5-6], 能够复原出真实、有效的无雾图像, 是研究的重点方向, 受制于模型求解的非适定性, 形成了诸多基于先验假设的方法.例如: Tan[7]利用“反射光图像应在局域内对比度最大”的假设在马尔科夫随机场中完成对大气光的遍历生成, 但在雾霾较大情况下假设失效; He等[8]利用暗通道先验(DCP)理论将雾天退化模型中反射光图像消除, 但当图像中存在大片高亮区域时先验失效; Nishino等[9]基于高斯白噪声假设和图像色度梯度正态分布先验利用最大后验概率求解模型, 但在雾霾不均匀情况下假设失效; Trung等[10]基于色彩椭球体几何先验估算出粗略大气传递图, 但在大景深下先验失效.总体而言, 基于先验假设的求解方式虽然能够取得较好的效果, 但有一定的局限性, 难以满足模型的普适性求解需要.

为了拓展基于雾天退化模型去雾算法适应范围, 使去雾后图像的对比度和亮度信息能够被较好地恢复, 本文提出一种基于稀疏系数匹配学习的图像去雾算法, 在建立模拟雾天图像数据库的基础上, 利用已知雾天图像子块的稀疏系数匹配出对应的大气传递图, 并将图像增强思想应用于大气传递图的细化之中, 从而取得较好的效果.

1 本文算法基础 1.1 雾天退化模型

McCartney模型揭示了复杂气象条件下雾天图像的产生机理, 是各类算法求解的基础, 在文献[8, 11]不断优化的基础上得到如下所示的雾天退化模型:

(1)

其中: I为雾天退化图像; J为场景的反射光图像, 代表未退化的无雾图像; A为全局大气光强度[8]; T为反映场景衰减程度的大气传递图.

1.2 图像稀疏表示

图像稀疏表示理论认为, 图像中存在丰富的几何纹理及细节特征, 可以利用观测矩阵将其投影到低维空间中, 并能够实现逆重构过程[12].在选择合适字典的前提下, 图像稀疏表示具有较高的鲁棒性, 这使得利用图像稀疏性度量逼近取代原始图像成为可能, 并且能够更加有效地匹配出“相似度”高的图像块[13].图像稀疏表示过程如图 1所示.公式为

(2)
图 1 图像稀疏表示

其中: yin2 × 1的列向量, 是将输入图像的第i个子块(大小为n × n)排列成列向量形式; D为冗余字典(大小为n2 × m, n2m); xiyi对应的稀疏系数; li为列向量xi的非零元素个数(即稀疏度), lin2.可以看出, 式(2)的求解问题是一个NP-hard的非凸优化问题, 有诸多针对此问题的解决方案, 本文将选取适用性好的算法进行雾天图像的稀疏表示.

1.3 本文算法可行性分析

基于学习的模型求解相比基于先验假设的方法, 能有效避免雾天图像本身属性约束, 生成更加精细可靠的大气传递图.而学习的重点在于如何利用抽取的图像特征进行可靠的表示, 常用的学习特征包括梯度直方图、色彩饱和度以及对比度等, 这些特征虽可以进行图像表示, 但单独表示时正确率不高.为提升表示的鲁棒性, 一般需要利用多个角度的特征进行联合表示, 容易造成算法复杂性的增加[14].在人眼视觉神经系统研究中发现, 视觉皮层V1区神经元的感受也能够对视觉感知信息产生一种稀疏表示, 表明了图像稀疏表示与人类视觉感知过程的内在联系[15].考虑到这种联系, 以及图像稀疏表示足够的灵活性和较高的鲁棒性, 可用其替代多角度特征实现基于学习的去雾算法下对图像的表示.

2 本文算法实现

本文算法框架如图 2所示, 包含3个步骤: 1)~建立模拟雾天图像数据库; 2)~在稀疏表示基础上通过最大相关系数匹配生成大气传递图; 3)~利用反馈迭代方法增强输出去雾后图像.

图 2 算法框架
2.1 模拟雾天图像数据库构建

通过算法研究定义如下约束.

约束1  雾天图像的任意不重叠小局域内, 大气传递图取值一致.

在式(1)的基础上, 引入参数ε模拟图像子块的雾天退化过程, 可得

(3)

其中: J'为无雾图像子块; I'为雾天图像子块; A0为大气光子块, 其每一像素点光强均为A; ε为局域内大气传递图数值, 能够反映雾天图像的不同程度退化[16].为使模拟雾天图像数据库更具精准性, 按照文献[16]思路选用50幅自然无雾图像以及50幅去雾后图像组成基础样本, 并对这100幅图像随机抽取不重叠的1 000个n × n子块; 然后对每一子块在0.1 ~ 1之间随机选取10个数值, 作为ε的取值代入式(3)中, 得到对应的10幅模拟雾天图像.这样便构建出10 000幅囊括多样环境的模拟雾天图像子块及对应的大气传递图数值.

2.2 基于最大相关稀疏系数匹配的大气传递图生成

为满足后续处理的自适应性和精确度需求, 在构建冗余DCT字典的基础上将待去雾图像用于K-SVD字典原子的训练.而后, 固定K-SVD字典, 利用正交匹配追踪(OMP)算法对输入图像的V(亮度)分量分块和模拟雾天图像数据库进行稀疏表示[17], 分别得到输入图像的稀疏系数矩阵X1(大小为m × r, r为子块总数)和模拟雾天图像数据库的稀疏系数矩阵X0 (大小为m×10 000).为使输入图像子块在数据库中能够匹配出“相似度”最高的子块, 采用最大相关系数准则进行匹配, 如下所示:

(4)

其中: xi1X1的第i列, i=1, 2, …, r; xj0X0的第j列, j=1, 2, …, 10 000; λ为输入的第i个子块在数据库中匹配出的“相似度”最高的子块编号; tλ0为数据库中第λ个子块对应的大气传递图的取值; ti1为输入图像的第i个子块对应生成的大气传递图取值.将子块对应的大气传递图取值扩展为数值相同、大小为n × n的子块, 能够生成各个子块的大气传递图, 然后进行逆向组合生成输入图像的大气传递图T1.由于生成的大气传递图有明显的块效应, 可利用高效的引导滤波算法对T1进行精细化处理, 如下所示[18]:

(5)

其中: Ts1为细化后的大气传递图; pq为输入窗口内图像的像素点标签, 代表像素点位置; Wpq为引导滤波核函数.

2.3 基于反馈迭代的去雾图像生成

直接使用Ts1对式(1)进行求解, 虽能够取得一定成效, 但在受较厚重雾气影响的高亮度区域, 不能保证较好的去雾效果, 如图 3所示, 究其原因在于高亮区域本身亮度较高, 易受较重雾气影响, 导致雾天图像的局部细节信息被大气光掩盖.

图 3 图像去雾结果

针对上述问题分析不难发现, 高亮区域对大气传递图的取值不敏感, 尤其是受雾气影响严重的情况下, 其大气传递图的取值会更小, 如图 4所示. 图 4中曲线由上至下对应大气传递图取值由0.1至1, 曲线斜率随之变小, 由于高亮区域图像亮度较大, 如对大气传递图估值较小, 去雾变换的斜率也就较小, 容易造成去雾后图像对比度被压缩, 细节信息被掩盖.

图 4 去雾曲线(A = 255)

为解决上述问题, 本文提出图 5(a)所示的反馈迭代方法. 图 5(a)中: γ为大气传递图提升参数, (ti1)'为校正后大气传递图取值.该方法基于图像客观质量评价生成的约束, 具体内容如下.

图 5 反馈迭代图像去雾结果

约束2  至少存在δ个平均亮度值大于α的子块, 并且这些子块的边缘强度水平均低于σ.

在判定得到相应子块编号后, 利用γ将其大气传递图取值进行提升, 并进行反馈迭代, 直到输出符合停止条件的结果, 这样就使得受较重雾气影响的高亮度区域的细节信息能够更加清晰地恢复, 避免了大气光掩盖效应, 如图 5(b)所示. 图 5(c)为反馈迭代前后生成的大气传递图, 其中左图为迭代运算前的大气传递图, 右图为迭代运算后的大气传递图, 可以看出迭代运算后的大气传递图能够显现出更加丰富的轮廓信息.

3 实验结果及分析

为检验算法效能, 分别进行数据库性能验证和雾天图像去雾效能验证.实验参数设置如下: n=8, m=256, li=10, α=0.85 × A, δ=0.002 × r, γ=1.2, σ=0.3.

3.1 数据库性能验证

在数据库中随机选取50 %子块组成训练样本集, 剩余子块作为测试样本集.分别利用DCT字典、K-SVD字典以及文献[8]算法对雾天图像的大气传递图进行计算, 实验结果如图 6所示.

图 6 大气传递的数据库实验结果

从实验结果可以看出:基于K-SVD字典计算的大气传递图具有好的聚合度和一致性(图 6(b)中大多数点紧密分布在45度线的上下), 优于其他两种算法; 而文献[8]算法得到的大气传递图虽然聚合度和一致性也较好, 但容易导致大气传递图取值小于真实数值, 从而造成去雾结果的欠缺(图 6(c)中大多数点的分布均处于45度线的下方); 图 6(d)是对数据库进行100次随机抽取后绘制出的算法测试均方误差分布盒状图, 可以看出, 本算法获取的均方误差具有最小的均值和收敛性, 从客观角度验证了算法效能.

3.2 雾天图像实验

选取4幅受不同程度大气退化现象、光照因素、场景远近以及动态范围较大而导致具有明显降质现象的雾天图像, 并与被公认为最有效去雾的文献[8]算法、基于多尺度卷积神经网络的文献[19]算法、非局部去雾的文献[20]算法以及基于学习框架下的文献[16]算法进行对比实验, 结果如图 7 ~ 图 10所示.

图 7 “人群”去雾结果
图 8 “建筑”去雾结果
图 9 “城市”去雾结果
图 10 “山脉”去雾结果

从实验结果可以看出, 本文算法在图像局部对比度提升、色彩信息恢复以及场景层次感复原等方面均优于其他算法.由图 7可看出, 本文算法避免了传统去雾算法在去雾后将图像的平均亮度降低这一缺陷, 并且在提升亮度的同时, 保证了图像色彩和细节信息的有效恢复; 图 8反映本文算法能够有效恢复大景深雾天图像的细节以及色彩信息, 并且能够保证较好的亮度动态范围; 图 9选用的是远、近景结合的雾天图像, 能够说明本文算法在有效去雾的同时, 保证了远、近景图像层次感; 图 10表明本文算法能够对被大气光掩盖的高亮区域的局部对比度进行有效提升.

除主观评价之外, 本文还选择了方差和NIQE[21]两种图像客观质量评价指标(方差数值越大、NIQE数值越接近0表明图像质量相对理想), 如表 1表 2所示, 客观评价进一步验证了本文算法的主客观一致性.

表 1 方差评价结果
表 2 NIQE评价结果
4 结论

本文提出了一种基于稀疏系数匹配学习的图像去雾算法.该算法在建立模拟雾天图像数据库基础上, 通过图像稀疏系数匹配学习, 形成输入雾天图像与模拟雾天图像数据库的映射关系, 进而通过引导滤波算法驱动精准大气传递图的生成, 并通过局域反馈迭代方法进一步增强了去雾图像的视觉效果, 从而避免了高光、浓雾区域亮度掩盖现象的产生.同时, 通过数据库可靠性实验和自然图像去雾实验验证了本文算法的合理性和有效性.但由于数据库规模的限制, 在一定程度上制约了算法的适用范围.因此, 建立标准、规范和更加全面的模拟雾天图像数据库, 将是下一步研究的重点.

参考文献
[1]
吴迪, 朱青松. 图像去雾的最新研究进展[J]. 自动化学报, 2015, 41(2): 221-239.
(Wu D, Zhu Q S. The last research progress of image dehazing[J]. Acta Automatica Sinica, 2015, 41(2): 221-239.)
[2]
Li Z G, Zheng J H. Edge-preserving decomposition based single image haze removal[J]. IEEE Transactions on Image Processing, 2015, 24(12): 5432-5441.
[3]
Kim K, Kim S, Kim K S. Effective image enhancement techniques for fog-affected indoor and outdoor images[J]. IET Image Processing, 2018, 12(4): 465-471.
[4]
Li Z G, Zheng J H. Single image de-hazing using globally guided image filtering[J]. IEEE Transactions on Image Processing, 2018, 27(1): 1284-1294.
[5]
McCartney E J. Optics of atmosphere: Scattering by molecules and particles[M]. New York: John Wiley and Sons, 1976: 23-32.
[6]
Alajarmeh A, Salam R A, Abdulrahim K, et al. Real-time framework for image dehazing based on linear transmission and constant-time airlight estimation[J]. Information Sciences, 2018, 436(4): 108-130.
[7]
Tan R T. Visibility in bad weather from a single image[C]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Computer Society, 2008: 2347-2354.
[8]
He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[C]. Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami: IEEE Computer Society, 2009: 1956-1963.
[9]
Nishino K, Kratz L, Lombardi S. Bayesian defogging[J]. International Journal of Compute Vision, 2012, 98(3): 263-278.
[10]
Trung M B, Kim W. Single image dehazing using color ellipsoid prior[J]. IEEE Signal Processing Society, 2018, 27(2): 999-1009.
[11]
Narasimhan S G, Nayar S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 713-724.
[12]
焦莉娟, 王文剑, 赵青杉, 等. 近邻局部OMP稀疏表示图像去噪[J]. 中国图象图形学报, 2018, 22(11): 1486-1492.
(Jiao L J, Wang W J, Zhao Q S, et al. Image denoising based on sparse representation of neighbor local OMP[J]. Journal of Image and Graphics, 2018, 22(11): 1486-1492.)
[13]
Yang X, Sun Q, Wang T. No-reference image quality assessment based on sparse representation[J]. Neural Computing and Applications, 2018, 31(9): 1-16.
[14]
Ling Z, Fan G L, Gong J W, et al. Learning deep transmission network for efficient image dehazing[J]. Multimedia Tools and Applications, 2018, 18(11): 1-24.
[15]
Geng L, Sun Q S, Peng F, et al. Multi-scale fractional-order sparse representation for image denoising[J]. IEEE / CAA Journal of Automatica Sinica, 2018, 5(2): 1-10.
[16]
Tang K, Yang J C, Wang J. Investigating haze-relevant features in a learning framework for image dehazing[C]. Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 2995-3002.
[17]
Hou F, Jin C, Dong G. Weak fault feature extraction of rolling bearings based on globally optimized spare coding and approximate SVD[J]. Mechanical Systems and Signal Processing, 2018, 111(10): 234-250.
[18]
He K M, Sun J, Tang X. Guided image filtering[C]. Proceedings of the 2011 European Conference on Computer Vision. Berlin: Springer Heidelberg, 2011: 1-14.
[19]
Ren W, Liu S, Zhang H, et al. Single image dehazing via multi-scale convolutional neural networks[C]. Proceedings of the 2016 European Conference on Computer Vision. Amsterdam: Springer International Publishing, 2016: 154-169.
[20]
Berman D, Treibitz T, Avidan S. Non-local image dehazing[C]. Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 1674-1682.
[21]
Mittal A, Soundararajan R, Bovik A C. Making a "completely blind" image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.