2019, Vol. 34
2. 东北大学 信息科学与工程学院, 沈阳 110004;
3. 辽宁石油化工大学 计算机与通信工程学院，辽宁 抚顺 113001
2. College of Information Science and Engineering, Northeastern University, Shenyang 110004, China;
3. College of Computer and Communication Engineering, Liaoning Shihua University, Fushun 113001, China
图像的空间分辨率是衡量图像质量的重要指标, 分辨率越高图像能够提供的细节信息越多.提高图像的空间分辨率有两个主要途径:一是提高图像采集硬件设备的分辨率水平, 但是成本高, 技术难度大; 二是利用图像的超分辨率(Super resolution, SR)重建技术[1].图像SR重建是利用信号处理的方法, 通过软件算法的方式提升图像的空间分辨率, 能够在现有的硬件条件下提高图像的质量, 在遥感侦查、视频监控、医学图像处理等领域具有广泛的应用.
目前主流的图像SR方法有3种, 分别是基于插值、基于重构和基于学习的方法.具有代表性的插值方法, 一般利用目标函数核[2]或自适应结构核[3]来估计高分辨率(High resolution, HR)网格中的未知像素, 速度快, 适合于实时应用, 但是细节信息丢失严重; 基于重构的方法通常用于同一场景的、具有亚像素位移的多帧图像的重建, 一般需要加入边缘定向先验[4-5]、相似性冗余先验[6-7]等各类先验信息来提高图像的重建效果, 但是随着放大倍数的增加, 重建模型能够提供的有益信息越来越少, 图像的重建质量明显下降; 基于学习的方法, 通过对高、低分辨率(Low resolution, LR)图像块训练样本的学习, 建立一种高、低分辨率图像块的对应关系, 能够在放大倍数增加时, 获得比基于重构算法更好的图像质量.基于学习的算法中比较经典的方法是Freeman等[8]提出的基于马尔可夫网络的方法, 根据邻域图像块之间的约束关系, 建立高、低分辨率图像块间的对应关系, 缺点是样本的训练时间长, 对噪声敏感; Chang等[9]提出了一种基于邻域嵌入的图像SR方法, 假设高、低分辨率图像块具有相似局部几何结构的流形, 对于每个LR测试图像块寻找其在低维流形中的K近邻表示, 再利用这些系数的加权得到其在高维流形中图像块的估计, 算法需要较少的训练样本, 对噪声具备良好的鲁棒性, 但是高、低分辨率图像块间的映射关系是多对一的, 因此流行假设不一定成立; Yang等[10]提出了基于稀疏表达的方法实现图像的SR重建, 从训练集中随机选取高、低分辨率图像块构建具有相同稀疏系数的高、低分辨率过完备字典, 对每个LR测试图像块利用其在LR字典下的稀疏系数重构相应的HR图像块, 提高了重构质量; Zeyle等[11]在Yang方法的基础上进行改进, 利用主成分分析对训练的特征进行降维, 并使用K-SVD的方法进行字典训练, 进一步提高了字典训练的效率; Timofte等[12]提出基于固定邻域回归的图像SR算法, 利用脊回归通过样本邻域来学习LR图像块到HR图像块的映射.这几种方法存在的关键问题是需要人为定义字典尺寸和邻域大小, 这将直接影响重建图像的质量和时间.在此基础上, Schulter等[13]提出基于随机森林的图像SR算法, 通过随机森林对图像块进行聚类, 再建立每类高、低分辨率图像块的映射模型, 但是该算法对HR图像块计算时, 建立的预测模型存在较大误差, 重建结果取的是每棵决策树预测结果的平均值, 极大地影响了图像的重建质量.
针对以上问题, 本文提出一种基于加权随机森林的图像超分辨率(Weighted random forest image super resolution, WRFISR)算法, 并通过实验验证了所提出算法的有效性.
1 理论建模基础 1.1 超分辨率重建的观测模型假设Y是需要重建的目标HR图像, X是观测到的LR图像, 且LR图像由HR图像退化得到, 则有
|
(1) |
其中: B为模糊矩阵, D为降采样矩阵, n为噪声.如果不考虑噪声, 则HR图像Y与相应的LR图像X之间的关系可进一步表示为
|
(2) |
其中P=DB为HR与LR图像之间的投影矩阵.因此, 图像SR重建问题的关键在于准确地获得从LR图像到相应HR图像的映射.
1.2 基于随机森林的图像超分辨率重建随机森林是由多棵分类回归树(Class and regression tree, CART)构成, 对样本进行训练并预测的一种分类器, 可以用于分类和回归.文献[13]提出利用随机森林的方法创建数据的依赖关系.假设随机森林由T棵CART构成, 其中的每棵CART满足如下关系:
|
(3) |
其中: X∈RDL为输入特征空间; Y为输出标签空间, Y的取值取决于目标任务.对于分类问题, Y={1, 2, ..., C}, 其中C为分类数量; 对于本文的SR重建问题, 定义Y=RDH是DH维的多变量回归.
对于N组训练样本集{xLN, xHN} ∈ X× Y, xL表示LR图像块, xH表示HR图像块, 随机森林中的每棵CART都是独立进行训练的, 在训练每棵CART时, 要找到分裂函数将训练数据递归地分裂到不相交的子空间.首先采用自举取样策略有放回地随机抽取t个自助样本集, 再选取其中一个自助样本集作为根节点, 以完全分裂的方式进行训练, 从图像块的m个特征中随机选取k个特征, 根据分裂函数选取最优特征, 最大限度地对节点进行分裂生长, 直到到达树的最大深度为止.
随机森林训练完成后, HR目标图像块xH的预测模型如下：
|
(4) |
其中: T为随机森林中CART的数量, ml(t)为图像块xL在第t棵CART叶子结点中的映射矩阵.
1.3 本文的图像超分辨率重建模型由上文所述, 要提高基于随机森林SR算法的图像重建质量, 需要解决两个关键问题:一是准确建立每个叶子结点中训练样本从LR图像块到HR图像块的映射模型; 二是要考虑测试样本在每个局部回归模型的拟合误差, 对目标HR图像块执行加权预测, 并进行全局约束减小重建误差.综合以上分析, 本文提出的WRFISR算法流程如图 1所示.
|
图 1 算法流程 |
每个LR测试图像块通过随机森林被划分到不同CART中的不同叶子节点, 随机森林中的每个叶子结点可以看作具有相似结构特征的图像块的集合, 叶子结点中的LR图像块可以作为聚类到该叶子结点的LR测试图像块的邻域, 同理, 叶子结点中的HR图像块可以作为目标HR图像块的邻域.
对于每个LR测试图像块xL, 对其HR图像块进行预测的过程如下:首先利用最小二乘回归方法加入表达参数的l2范数惩罚项, 对表达参数进行计算, 该最小化问题可表达如下:
|
(5) |
其中: NL为LR图像块xL在叶子结点中的邻域, αL为表达参数, λ为正则项的平衡参数.表达参数αL可利用岭回归模型求解如下:
|
(6) |
因此, 与xL对应的HR图像块xH可应用相同的表达参数αL进行计算, 有
|
(7) |
其中: NH为与NL相对应的目标HR图像块的邻域.将式(6)与(7)合并, 可得
|
(8) |
其中ml为LR块xL到HR块xH的映射矩阵.
2.2 基于K近邻近似拟合误差的加权预测由于随机森林中存在T棵CART, 每个LR测试图像块会得到T个候选的HR图像块.考虑到LR测试图像块在每个预测模型中会存在不同程度的拟合误差, 因此采取加权预测的方式能够对HR图像块进行更准确的估计.首先利用kd树方法, 快速搜索测试LR图像块xL在每个叶子结点中的K近邻图像块, 邻域数量为NK(xL)={n1, n2, ..., nk}, 并将其K近邻图像块的累积拟合误差作为测试图像块在该局部回归模型中的近似拟合误差, 根据每个回归模型的误差大小进行加权预测.每个LR图像块xL利用式(8)的映射模型可求得它在第t棵CART下的HR预测图像块
|
(9) |
则SR重建的误差为
|
(10) |
那么测试图像块xL在第t棵CART叶子节点中K近邻图像块的累积拟合误差可近似计算为
|
(11) |
其中: 1/k用于调节第k个近邻图像块在计算累积误差时的贡献大小, et, nk为第k个最近邻图像块的重建误差, K为近邻图像块的数量.
根据每棵CART中对应局部回归模型的K近邻累积误差和, 对目标HR图像块进行加权预测, 有
|
(12) |
其中
对LR测试图像中的每个LR图像块进行预测, 即可求得相应的预测HR图像Y0, 为了进一步降低重建误差、提高图像的重建质量, 将图像的非局部自相似性与IBP算法相结合对预测HR图像进行全局约束, 目标函数如下:
|
(13) |
其中: yi和yi(0)分别为Y和Y0中同一位置的图像块, yi(0)m为yi(0)的第m个最相似图像块, bm为加权系数, γ为常量.对于式(13)的优化最小化问题, 首先利用非局部自相似性对Y0优化获得Y1, 再将Y1作为IBP算法的输入, 迭代后求得最终的HR图像Y*.
3 实验分析为了验证本文算法的有效性, 采用的训练数据集为Yang等[10]算法中的自然图像训练集, 测试集为set5和set14标准测试图像集, 图 2为实验中列举的不同类别的LR测试图像.将LR图像划分成大小为3×3的图像块, 为了保证重建图像中每个图像块的兼容性, 相邻图像块间取2个重叠像素, 对输入的LR测试图像进行3倍SR重建, 对应的HR图像块大小为9×9.将HR图像通过Bicubic插值进行3倍下采样获得相应的LR图像, LR样本的特征使用第一、二阶水平和垂直梯度特征.设置随机森林中CART的数量T=10, 树的最大深度Depth=15, K近邻误差加权预测中K=16.因为人类视觉系统对亮度信息比色度信息更敏感, 所以将彩色图像从原RGB空间转换到YCbCr空间, 并且只对亮度分量进行SR重建, 对其他两个色度分量直接进行插值放大.
|
图 2 LR测试图像 |
本文采用峰值信噪比(Peak signal to noise ratio, PSNR)作为衡量算法性能的定量指标, 实验以bicubic插值作为基准算法, 并分别将本文算法在进行后处理前、后的PSNR值与Bicubic插值、Chang等[9]算法、Zeyde等[11]算法、Timofte等[12]算法以及Schulter等[13]算法进行对比.在后续实验结果对比中, 分别将本文算法在进行后处理前、后的名称标记为Pre_ WRFISR和WRFISR, 实验中计算这些算法对LR测试图像进行3倍SR重建的PSNR值, 对比结果如表 1所示.从表 1中可以看出, 本文Pre_WRFISR算法重建图像的PSNR值明显优于其他算法, 加入后处理的WRFISR方法重建图像的PSNR值获得进一步提升.
|
表 1 各种算法的PSNR对比 |
图 3 ~ 图 6列举了测试图像中Butterfly、ppt3、Foreman和Zebra图像应用不同SR算法的重建结果.通过观察图 3 ~ 图 6局部放大图像可以发现, Chang方法、Zeyde方法和Timofte方法的重建结果相比Bicubic插值有较大提高, Schulter方法与前几种方法相比, 重建图像的可视效果相对更好, 而本文Pre_ WRFISR算法获得的SR重建图像在边缘、细节、纹理区域的重建效果都明显优于前5种算法, WRFISR方法重建图像的可视效果得到进一步改善. 图 3中Butterfly图像的翅膀区域, 其他算法重建的蝴蝶白色花点边缘模糊, 本文Pre_WRFISR算法获得的重建图像去除了模糊现象, 加入后处理的WRFISR方法重建的蝴蝶白色花点更清晰; 图 4中ppt图像的文本部分, 本文Pre_WRFISR算法与其他方法相比, 得到的重建图像消除了文本字符间的模糊现象, 加入后处理的WRFISR方法的重建图像增强了文本与其背景区域的对比度、可视效果更好; 图 5中Foreman图像的边缘区域, Chang方法、Zeyde方法有很明显的锯齿效应, Timofte方法和Schulter方法重建图像的边缘不清晰, 本文Pre_WRFISR算法重建图像的边缘效果得到明显改善, 加入后处理的WRFISR方法重建图像的边缘保持效果更好; 图 6中Zebra图像的纹理部分, Chang方法、Zeyde方法和Timofte方法重建图像的白色条纹边缘区域存在不同程度的模糊现象, 本文Pre_WRFISR算法消除了边缘模糊, 加入后处理的WRFISR方法重建的斑马条纹更清晰, 明暗对比更鲜明, 更接近于原始图像.
|
图 3 Butterfly图像的超分辨率对比结果 |
|
图 4 ppt3图像的超分辨率对比结果 |
|
图 5 Foreman图像的超分辨率对比结果 |
|
图 6 Zebra图像的超分辨率对比结果 |
本文提出了一种基于加权随机森林的图像超分辨率重建算法, 引入岭回归模型建立每个叶子节点中高、低分辨率图像块的映射关系, 并结合K近邻算法设计测试LR图像块与每个子类回归之间的近似误差模型, 再根据拟合误差确定每个岭回归的加权系数, 利用加权预测的方式计算目标HR图像块, 有效地提高了图像的PSNR值和可视效果.实验结果表明, 该算法获得的图像重建质量优于其他算法.
| [1] |
杨欣, 费树岷, 周大可. 基于频域、时域相结合的自适应图像超分辨率重建[J]. 控制与决策, 2012, 27(9): 1343-1347. (Yang X, Fei S M, Zhou D K. Self-adapting technology for image super-resolution in frequency domain and time domain[J]. Control and Decision, 2012, 27(9): 1343-1347.) |
| [2] |
Keys R. Cubic convolution interpolation for digital image processing[J]. IEEE Trans on Acoustics Speech & Signal Processing, 2003, 29(6): 1153-1160. |
| [3] |
Takeda H, Farsiu S, Milanfar P. Kernel regression for image processing and reconstruction[J]. IEEE Trans on Image Processing, 2007, 16(2): 349-366. DOI:10.1109/TIP.2006.888330 |
| [4] |
Xu H, Zhai G, Yang X. Single image super-resolution with detail enhancement based on local fractal analysis of gradient[J]. IEEE Trans on Circuits & System for Video Technology, 2013, 23(10): 1740-1754. |
| [5] |
Wang L, Xiang S, Meng G, et al. Edge-directed single image super-resolution via adaptive gradient magnitude self-interpolation[J]. IEEE Trans on Circuits & System for Video Technology, 2013, 23(8): 1289-1299. |
| [6] |
Zhang K B, Gao X B, Tao D C, et al. Image super-resolution via nonlocal steering kernel regression regularization[C]. Proc of the 20th IEEE Conf on Image Processing. Melbourne: IEEE, 2013: 943-946.
|
| [7] |
Protter M, Elad M, Takeda H, et al. Generalizing the nonlocal-means to super-resolution reconstruction[J]. IEEE Trans on Image Processing, 2009, 18(1): 36-51. DOI:10.1109/TIP.2008.2008067 |
| [8] |
Freeman W T, Jones T R, Pasztor E C. Example-based super resolution[J]. IEEE Computer Graphics & Applications, 2002, 22(2): 56-66. |
| [9] |
Chang H, Yeung D Y, Xiong Y. Super-resolution through neighbor embedding[C]. Proc of the 21st IEEE Conf on Computer Vision and Pattern Recognition. Washington: IEEE, 2004: 275-282.
|
| [10] |
Yang J C, Wright J, Huang T, et al. Image super-resolution as sparse representation of raw image patches[C]. Proc of the 25th IEEE Conf on Computer Vision and Pattern Recognition. Anchorage: IEEE, 2008: 1-8.
|
| [11] |
Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representations[C]. Proc of the Int Conf on Curves and Surfaces. Berlin: Springer Heidelberg, 2012: 711-730.
|
| [12] |
Timofte R, De V, Gool L V. Anchored neighborhood regression for fast example-based super-resolution[C]. Proc of the IEEE Int Conf on Computer Vision. Sydney: IEEE, 2013: 1920–1927.
|
| [13] |
Schulter S, Leistner C, Bischof H. Fast and accurate image upscaling with super resolution forest[C]. Proc of the 32nd IEEE Conf on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 3791-3799.
|