控制与决策  2019, Vol. 34 Issue (6): 1151-1159  
0

引用本文 [复制中英文]

房卓群, 于晓升, 贾同, 吴成东, 李永强, 许茗. 基于非稳态随机过程的近红外反射率鲁棒估计算法[J]. 控制与决策, 2019, 34(6): 1151-1159.
[复制中文]
FANG Zhuo-qun, YU Xiao-sheng, JIA Tong, WU Cheng-dong, LI Yong-qiang, XU Ming. Nonstationary stochastic process-based robust estimation algorithm of near-infrared albedo[J]. Control and Decision, 2019, 34(6): 1151-1159. DOI: 10.13195/j.kzyjc.2017.1617.
[复制英文]

基金项目

国家自然科学(61701101, 61603080, U1613214, U1713216);国家机器人重点专项项目(2017YFB1300900);中央高校基本科研业务费项目(N170402008, N172603001, N172604004);沈阳市科研(17-87-0-00)

作者简介

房卓群(1987-), 男, 博士生, 从事计算机视觉的研究, E-mail: fangzhuoqun@163.com;
于晓升(1984-), 男, 博士, 从事图像处理及其应用等研究, E-mail: yuxiaosheng@ise.neu.edu.cn;
贾同(1975-), 男, 教授, 博士, 从事图像处理、计算机视觉和人工智能等研究, E-mail: jiatong@ise.neu.edu.cn;
吴成东(1960-), 男, 教授, 博士, 从事人工智能研究、智能控制和机器人智能导航等研究, E-mail: wuchengdong@ise.neu.edu.cn;
李永强(1994-), 男, 硕士生, 从事计算机视觉的研究, E-mail: 272722020@qq.com;
许茗(1991-), 男, 博士生, 从事计算机视觉的研究, Email: xuming.neu@hotmail.com

通讯作者

吴成东, E-mail: wuchengdong@ise.neu.edu.cn

文章历史

收稿日期:2017-11-30
修回日期:2018-07-06
基于非稳态随机过程的近红外反射率鲁棒估计算法
房卓群 1, 于晓升 2, 贾同 1, 吴成东 2, 李永强 1, 许茗 1     
1. 东北大学 信息科学与工程学院,沈阳 110004;
2. 东北大学 机器人科学与工程学院,沈阳 110004
摘要:反射率估计在计算机视觉、计算机图形学等领域具有重要作用.为了精确获取反射率, 提出一种基于非稳态随机过程的近红外反射率鲁棒估计算法(RENA).该算法以Kinect二代传感器采集结果计算初始反射率, 并建立反射率加性噪声模型, 同时提出光照度鲁棒估计的概念, 简化反射率图像非稳态随机过程模型.实验表明, RENA算法的反射率估计结果优于其他去噪算法, 适用于室内场景的反射率图像高精度估计.
关键词近红外光    反射率    鲁棒估计    随机过程    深度图像    红外图像    
Nonstationary stochastic process-based robust estimation algorithm of near-infrared albedo
FANG Zhuo-qun 1, YU Xiao-sheng 2, JIA Tong 1, WU Cheng-dong 2, LI Yong-qiang 1, XU Ming 1     
1. College of Information Science and Engineering, Northeastern University, Shenyang 110004, China;
2. Faculty of Robot Science and Engineering, Northeastern University, Shenyang 110004, China
Abstract: Albedo estimation plays an important role in many areas such as computer vision, computer graphics etc. A robust estimation algorithm of near-infrared albedo (RENA) based on nonstationary stochastic process is proposed in order to obtain albedo with high quality. This algorithm takes Kinect one as input and establishes an additive noise model of albedo. Simultaneously, the concept of robust shading estimation is proposed to simplify the nonstationary stochastic process model of albedo. Experiments show that estimation results of the proposed algorithm are better than other denoising algorithms, and it is suitable for high precision estimation of albedo images in indoor scenes.
Keywords: near infrared    albedo    robust estimation    stochastic process    depth image    infrared image    
0 引言

自然界中的物质都有其自身的本质特征, 包括外形、材质等诸多方面, 这些本质特征被称为本征.本征不随外界环境的变化而改变, 且影响着物质被观察时的表现.譬如, 材质表面颜色影响着被相机拍摄时成像的色调明暗等.因为本征的这些特点, 获取本征有利于去除外界干扰, 从而更好地辨识被摄物质.

反射率是材质表面的本征之一, 也被称为材质的指纹.物体表面某点的反射率是指光线照射到该点时, 此点的反射光占入射光的比例.因为不同材质或不同颜色的物体表面反射率一般也不相同, 所以反射率可以用于材质辨识, 这种方法广泛应用于地质学和遥感图像分析中.此外, 反射率在计算机视觉和计算机图形学等研究领域也有广泛应用.由于在成像过程中的作用, 反射率可用于去除环境照明与观察视角变化对图像的影响, 从而提升计算机视觉算法的鲁棒性, 例如在人脸识别与图像分类中的应用; 精确的反射率可以提升计算机图形学算法的3D图像真实感, 所以在虚拟现实和增强现实中也有广泛应用.因此, 反射率估计具有重要意义.

然而, 反射率估计却面临很多困难.目前, 反射率是一个不能通过直接测量手段获取的物理量.一般地, 通过假设或测量与反射率相关的其他物理量(如环境光、材质表面法向等), 并依据光照模型计算反射率.但是, 在日常环境中, 环境光和材质表面法向等物理量通常是未知的, 或者即使可以测量, 也会无可避免地引入较大的测量误差.若采取严格控制测量环境的方式(如反射率测定仪), 则只能针对小范围特定形状的材质, 虽然提高了反射率采集精度, 却无法快速地实现对场景中大范围且非特定形状材质的反射率测量.

本文提出一种采用近红外主动视觉传感器, 基于非稳态随机过程的反射率鲁棒估计算法—RENA (Robust estimation of near-infrared albedo).由近红外投影仪与接收器组成的主动视觉传感器可以大幅度减少可见光对测量的影响[1].而近红外反射率与可见光反射率成正比关系[2], 具有实用意义.主动光源的引入使得反射率图像的统计模型更加复杂, 针对近红外传感器特点, 提出同时对光照度图像和反射率图像进行非稳态随机过程建模, 进而解耦复杂的非稳态随机过程, 实现光照度图像和反射率图像的鲁棒估计, 进一步提高反射率估计的精确度.此外, 表面法向平滑、深度图像去噪[3]等预处理方法对提高算法鲁棒性有积极作用, 但降低了图像的细节精度, 而反射率鲁棒估计算法也能很好地克服这些问题, 在保持高鲁棒性的同时亦能避免精度下降.

1 相关工作

不同领域的反射率估计与测量方法不尽相同, 在地质、农业、遥感等领域的反射率测量方法通常要求特殊设备和特定方法, 适用范围有限.因此, 本节仅对图像处理与计算机视觉领域的反射率估计方法进行介绍, 其中主要分为本征分解方法与主动测量方法, 以及结合这两种方法的本征优化方法.

1.1 本征分解方法

本征分解是将一幅图像或视频中的一帧分解得到反射率图像和光照度图像的方法.这种方法只需要普通的图像或视频源即可计算反射率图像. Tian等[4]对单帧彩色图像建立像素级的线性方程组, 依据物理模型求解线性方程组的特解, 获取光照不变向量, 并结合lab色彩空间计算反射率图像. Ye等[5]建立贝叶斯最大后验概率问题对视频进行本征分解, 依赖光流信息, 使视频第1帧图像的反射率聚类值向其后的视频帧传递, 通过循环迭代的优化方法计算反射率图像.但是, 本征分解是一个不适定问题.求解这个问题必须基于一定的假设, 如大部分图像的反射率是分段平滑的、光照度图像像素与其邻域像素具有相似的照度值等, 一旦这些假设不被满足, 反射率估计结果将受到很大影响.而在实际情况中, 并不总能满足这些假设.

1.2 主动测量方法

主动测量方法一般采用主动光源投射或环境光测量的方式, 依据双向反射分布函数(BRDF)的物理原理, 直接计算反射率.这种方法直接, 无需假设条件. Riviere等[6]应用智能手机的闪光灯与摄像头或平板电脑的屏幕与前置摄像头, 通过手持扫描的方式对平面物体的反射率进行测量. Ren等[7]通过录制一段线光源移动时的视频, 估计平面物体的反射率. Chen等[8]应用线光源与相机进行相对移动的连续拍摄, 估计各向异性的双向反射分布函数. Naik等[9]使用一个飞行时间(ToF)摄相机从单一视角拍摄经由物体反射的激光, 从而根据接收到激光的飞行路径长度分离出所摄图像的空间分布, 估计反射率. Lensch等[10]先应用结构光3D重建物体, 然后严格控制多种光照条件、多个视角拍摄物体, 从而估计物体表面反射率. Choe等[11]采用近红外相机和12个近红外光源拍摄被测物体, 从而计算物体表面的双向反射分布函数.

随着消费型深度测量设备的出现, 很多应用Kinect[12]进行反射率估计的算法被提出. Choe等[13]采用Kinect和一个近红外点光源, 拍摄多张近红外图像, 根据深度与表面法向计算局部反射率. Wu等[14]应用Kinect一代和近红外光源获取物体外形与近红外图像, 通过分割算法区分图像中材质, 计算材质的双向反射分布函数. Wu等[15]采用Kinect一代、镜面球和标记板采集环境数据, 估计被摄物体形状和环境光分布, 进而采用双向反射分布函数聚类算法获取物体表面反射率.

主动测量方法虽然可以较为准确地计算反射率, 但需要复杂的测量设备或繁琐的测量步骤, 对测量环境要求较多, 在实际应用中比较难以实现.

1.3 本征优化方法

本征优化方法结合了本征分解和直接测量两种方法, 应用测量设备提供更多可用物理量, 并根据这些数据估计本征图像.通常这种方法需要对多种物理量进行优化, 从而实现反射率的高精度估计. Chatterjee等[16]采用Kinect一代对多反射率材质物体的被摄图像采用奇异值分解算法估计反射率. Barron等[17]应用反射率、光源分布、表面法向和物体外形的关系建立损失函数, 通过初步估计反射率, 再以Kinect的深度图像的不断优化, 计算精确反射率.

这种方法虽然采用了简单方便的主动测量设备, 但并未依赖测量结果直接计算反射率, 而是假设一些前提条件, 应用计算复杂度高的循环迭代优化算法估计反射率图像.

RENA算法属于主动测量方法, 通过使用简单方便的Kinect二代传感器, 可以轻松实现对室内场景的反射率测量[2].同时, 通过对反射率图像的非稳态随机过程建模, 应用鲁棒估计算法提供低计算复杂度的高精度反射率图像估计.

2 光照模型与算法流程 2.1 Lambertian光照模型

Lambertian光照模型是漫反射的理论模型.在此基础上建立Kinect近红外光照模型, 依据Kinect传感器的近红外投影仪内部结构, 将其近似为点光源.又因为投影仪与近红外相机的距离较小, 较之于Kinect的拍摄距离可以忽略不计, 所以近似认为近红外光源与相机在同一位置.基于以上假设, Kinect的Lambertian光照模型如图 1所示.

图 1 Lambertian光照模型

在近红外点光源的照射下, 表面点在近红外相机中成像, 该点形成近红外灰度图像I中一个像素Ii, j.其中: ||d||为深度, ||v||为相机到表面点距离, ns分别为表面法向和入射光反方向, 且都为单位向量, θ为表面法向与光源入射方向夹角.由Lambert余弦定理, 图中各量满足如下公式:

(1)

其中: κ为图像各像素的光强分布估计, 可由实验测得; ρ为反射率;

设光照度为

(2)

则反射率可记为

(3)
2.2 算法流程

根据Lambertian光照模型中的公式关系, 可以计算初始反射率, 并进一步鲁棒估计优化反射率, 具体流程如图 2所示.

图 2 系统流程

首先, 进行深度图像预处理.原始深度图像因为采集设备与实验条件的限制, 往往存在空洞和噪声.因此, 采用以近红外图像为引导的双边滤波算法[18], 对原始深度图像进行空洞填补与噪声去除, 得到优化深度图像.然后, 采用表面重建算法[19], 根据每个k-邻域范围内的点进行奇异值分解, 计算该点法向量, 从而获取表面法向图n.同时, 根据优化深度图像、光强分布κ和近红外图像I计算初始光照度A(0), 应用鲁棒估计算法获取优化光照度A.最后, 根据表面法向图n、优化光照度A和优化深度图像计算初始反射率ρ(0), 鲁棒估计优化反射率ρ.

3 反射率图像鲁棒估计

由于测量误差等原因, 计算的初始反射率也存在误差, 可通过对反射率图像建立非稳态随机过程模型, 应用鲁棒估计方法来计算优化反射率.虽然在只有平行光源提供环境光照的情况下, 可以只通过一次鲁棒估计计算出优化反射率图像[20], 但由于Kinect二代主动近红外点光源的引入, 使光照模型更加复杂, 无法采用原有的鲁棒估计算法完成优化反射率计算.因此, 提出光照度图像鲁棒估计的概念, 解耦并简化原本复杂的非稳态随机过程模型, 通过两次鲁棒估计获取近红外优化反射率图像.

下面首先论述面向光照度图像和反射率图像的非稳态随机过程建模, 以及光照度和反射率的初值测量; 然后, 基于以上分析进行加性噪声建模; 最后, 依据加性噪声模型进行最小均方误差计算, 从而获得优化反射率图像结果.

3.1 非稳态随机过程模型

一张图像可认为是一个非稳态随机过程的样本函数[21], 这个随机过程在每个空间位置(即每个像素处)进行采样.例如, 设图像I为一个非稳态随机过程的样本函数, Ii, j为图像中位于第i行第j列的像素, 该非稳态随机过程在每个像素处都存在期望和方差, 分别为E(Ii, j)和σ2(Ii, j).同理, 光照度图像与反射率图像同样可以被认为是非稳态随机过程, 每个样本点处都存在期望和方差.人们发现, 可以使用原始图像减去其期望图像获得一幅差值图像, 而该差值图像的灰度直方图与高斯分布十分相似, 这为以非稳态随机过程为理论基础的图像去噪模型奠定了基础[20].

根据Lambertian光照模型和Kinect二代传感器采集结果, 可以求取光照度和反射率的初值, 但因为其中包含噪声, 光照度和反射率的初值与其真实值之间存在一定误差.为了减少或去除图像噪声, 可以根据初值图像中各像素处的期望和方差, 应用最小均方误差法获取更接近真实光照度与反射率的估计值, 从而实现光照度鲁棒估计和反射率鲁棒估计.

3.2 光照度与反射率初值测量

为了方便鲁棒估计的讨论, 这里明确定义初始光照度A(0)、初始反射率ρ(0), 以及通过鲁棒估计优化后的优化光照度与优化反射率近红外图像Ii, j处的初始光照度为

(4)

其中: κi, j(0)为光强分布的初值; ||v(0)||i, j为一范数, 表示相机到表面点距离的初值.

初始反射率为

(5)

其中: ni, j(0)si, j(0)分别为表面法向与入射光反方向的单位向量的初值; 为光照度鲁棒估计结果, 即优化光照度.

3.3 加性噪声模型

造成光照度图像与反射率图像中存在噪声的因素很多, 因此假设图像每个像素处噪声为零均值的加性高斯噪声.

初始光照度可以表示为

(6)

其中: ||v||为一范数, 表示相机到表面点的真实距离; κ为真实光强分布; A为真实光照度.则有

(7)

使得

从而式(7)变为

(8)

基于此, 可定义一个标准的图像去噪模型, 其中Ai, j(0)为噪声图像, Ai, j为真实图像.求解优化光照度问题便转化为图像去噪问题.

另一方面, 假设优化光照度等于真实光照度, 初始反射率可以表示为

(9)

其中: ni, j为真实表面法向, si, j为真实入射光反方向, ρ为真实反射率.则有

(10)

使得

从而式(10)变为

(11)

同理, 也可看作一个图像去噪模型, 即采用与式(8)相同的方式进行问题转化.其中光照度加性高斯噪声为η[21], 反射率加性高斯噪声为ω, 且假设噪声亦为非稳态随机过程.

3.4 最小均方误差算法

在加性噪声模型的基础上, 若能最大限度地去除噪声则可得到优化结果.因此, 采用最小均方误差估计求解以上的图像去噪问题, 从而求取最为接近光照度真值的优化光照度.首先讨论光照度的最小均方误差估计.当初始光照度已知时, 光照度的最小均方误差估计可以理解为计算以下条件期望:

(12)

然而, 因为无法获取真值和噪声的全概率分布, 所以这个基于Aη概率密度函数的最小均方误差估计是难以实现的.因此, 在估计算法框架中引入线性约束[20], 则最小均方误差估计可以被重新表示为

(13)

其中: CAA(0)AA(0)的协方差矩阵, E(A(0))和CA(0)分别是A(0)的期望和协方差矩阵.在光照度信号与噪声分布为二阶随机过程的前提下, 假设深度的初值与光强分布的初值是无偏的, 且E(η)和E(η|A)都为零, 可以推知, 各协方差矩阵只有主对角线上为非零元素, 则优化光照度为

(14)

其中

(15)

σi, j2(A)和σi, j2(η)分别是非稳态光照度信号和噪声方差.而噪声方差可以表示为

(16)

σi, j2(||v||2)和σi, j2(κ)分别是深度误差方差和光强分布误差方差.又因为E(A(0))=E(A), 所以

(17)

由式(17)可知, 优化光照度是光照度期望和初始光照度的线性组合.同时, βi, j是这个线性组合的权重系数.当βi, j变化时, 可以调节光照度期望和初始光照度在优化光照度中的占比.而式(15)中βi, j的形式与信噪比十分相似, 且噪声比例与βi, j成反比.因此, 当某像素处的噪声比例较大时, 优化结果中期望占主导地位; 反之, 初值占主导地位.即在测量准确的像素处提高测量值的占比, 在测量误差大的像素处减小测量值的占比.通过这种方式, 所提出的算法实现了对图像噪声的自适应抑制.这种形式恰好符合信号去噪的客观规律.而根据式(16), 信噪比又取决于相机到表面点距离误差的大小, 这也正好印证了初始光照度噪声的真正来源.综上, 本文提出的算法引入测量误差自适应地调整去噪过程, 比其他对比算法更具有针对性, 更加符合图像去噪的客观规律.

另外, 因为推导部分噪声期望为零的假设, 可以直接通过对初始光照度图像进行均值滤波计算光照度期望[20]; 再通过对式(15)和(16)的消元计算, 可以估计光照度标准差.

同理, 优化反射率, 即反射率最小均方误差估计为

(18)

其中

(19)

σi, j2(ρ)和σi, j2(ω)分别是反射率非稳态信号和噪声方差.其中

(20)

σi, j2(n)和σi, j2(s)分别为表面法向误差方差和入射光反方向误差方差.类似于光照度期望和标准差, 可以采用同样的方法计算反射率期望和标准差.综上, 根据式(18)~(20)即可计算出优化反射率, 反射率估计公式也符合去噪的客观规律.

总之, 优化反射率估计算法步骤可以总结如下:

Step 1:使用深度和光强分布的测量值计算初始光照度

Step 2:通过线性组合光照度期望与初始光照度, 估计优化光照度

其中

Step 3:根据优化光照度、表面法向和光源方向计算初始反射率

Step 4:通过线性组合反射率期望与初始反射率, 估计优化反射率

其中

4 实验分析

实验利用Kinect SDK 2.0函数库从Kinect二代中采集室内场景的近红外图像与深度图像, 再利用Matlab计算光照度与反射率的鲁棒估计结果.

4.1 评价标准

本实验采用3种误差评价标准[22], 分别为均方误差(MSE)、局部均方误差(LMSE)和结构差异性(DSSIM).评价标准定义如下:

MSE是图像中反射率估计值与真值的均方误差, 这里采用与尺寸无关的计算方式.具体计算时, 图像绝对亮度的调整适应最小误差.

LMSE是反射率的局部均方误差.取反射率图像大小10 %的窗口沿图像长边有重叠地滑动取样, 计算每个取样窗口的局部MSE.最后加权平均各窗口的局部MSE, 获得LMSE结果.

DSSIM是结构相似性(SSIM)的一种变形, 衡量图像的不相似度, 具体形式为(1-SIMM)/2.这里用于比较反射率估计值与真值的结构差异性, 其值越小越好.

4.2 结果与分析

RENA算法以非稳态随机过程为理论基础建立图像去噪模型, 其实质相当于一个图像去噪算法.因此, 采用双边滤波、中值滤波和维纳滤波3种图像去噪算法作为对比.为了充分验证算法性能, 实验中对人工噪声场景和真实噪声场景两种带有噪声的反射率图像进行反射率估计.

为了方便评价反射率估计结果, 在人工噪声场景情况下, 首先获取反射率真值图像.因为同种颜色单一材质的反射率相同, 所以在实验拍摄场景中, 采用单色单一材质组成的物体为拍摄对象, 这样图像中属于同一个物体的像素点处反射率也相同[23].然后, 根据红外图像和深度图像, 应用图像处理软件和人工操作精确分割场景中的物体, 再根据各物体上反射率初值的分布情况, 为每个物体分配单一的反射率值.最后, 以此作为反射率真值图像.实验则以反射率真值图像为比较标准, 进行评价标准的计算.

在人工噪声场景情况下, 选取一张如图 3(a)所示的反射率真值图像, 相继加入均值为0、标准差为0.04的随机白噪声和噪声占比为0.005的椒盐噪声, 获取引入噪声的反射率图像, 如图 3(b)所示.以引入噪声的反射率图像为初始反射率, 估计优化反射率结果, 各去噪算法结果如图 3(c)~图 3(f)所示.实验结果表明, RENA算法有效去除了人工噪声, 反射率估计结果优于其他去噪算法, 验证了RENA算法去噪理论的正确性.用于求取RENA算法的反射率期望和反射率标准差如图 4所示.

图 3 人工噪声场景实验结果对比
图 4 反射率期望和标准差

人工噪声场景的反射率误差评价标准对比结果如表 1所示.由对比结果可知, RENA算法的计算精度在各方面均优于其他去噪算法.可见, 初始反射率图像的误差主要来源于深度误差和表面法向误差, 而RENA算法针对每个像素处的深度误差和表面法向误差进行图像去噪, 取得了较好的反射率估计结果.

表 1 人工噪声场景的反射率估计结果对比

为了进一步验证反射率估计算法, 本文设计了一个特定的真实噪声场景.类似于人工噪声场景的反射率真值获取方法, 仍然选择单一材质的物体作为拍摄对象, 从而方便手工标注反射率真值.因为噪声分布是未知的, 所以只能大体标注反射率真值, 这个标注的反射率真值结果与实际存在误差, 但却可以为定性分析提供参考.

RENA算法中的多个误差方差都是与设备相关的, 为了采集RENA算法所需的参数, 采用对单个Kinect二代传感器进行事先标定的方法获取误差方差.通过对白色墙面进行多次连拍, 计算σi, j2(s)和σi, j2(κ); 通过对多个简单静态场景的连拍图像, 计算σi, j2(||v||2); 通过对场景表面法向算法[19]的邻域阈值进行调整, 获取σi, j2(n).

初始反射率图像的误差主要来源于深度误差和表面法向误差等.为了对比深度图像误差对反射率估计的影响, 分别采用两种初始反射率作为输入:一种以Kinect二代采用的初始深度图像和近红外图像为输入; 另一种以经引导双边滤波(CBF)处理后的优化深度图像和近红外图像为输入.根据Lambertian光照模型计算初始反射率, 而后估计优化反射率.

在真实噪声场景情况下, 用于计算初始反射率的光强分布κ(0)和相机到表面点距离||v(0)||如图 5所示, 据此计算初始反射率. RENA算法与双边滤波、中值滤波和维纳滤波的优化反射率对比结果如图 6所示.其中第1行为近红外图像输入与反射率真值图像, 其下每行分别为以无CBF深度图像为输入的反射率估计结果及以含CBF深度图像为输入的反射率估计结果.实验表明, CBF预处理减少了反射率图像物体边缘上的噪声.

图 5 用于初始反射率估计的测量值
图 6 特定的真实噪声场景实验结果对比

特定的真实噪声场景的反射率误差评价标准对比结果如表 2所示.通过对比可知, 在引入CBF预处理的反射率估计中, RENA算法也取得了较好的优化结果.同时, 专门针对深度误差和表面法向误差进行优化的RENA算法表现明显优于其他去噪算法, 这也印证了人工噪声场景实验的结果, 并再次证实该算法去噪理论的正确性.另一方面, 由RENA算法的公式推导过程可以看出, 算法的计算时间复杂度为o(n), 是一种计算时间复杂度低的算法.在反射率估计实验中, 该算法的实时运算能力也得以验证.本文采用主频3.41GHz的CPU, 对分辨率为318×382的图像进行算法的运行时间测试.经过多次运行实验, 各算法的平均运行时间对比结果如表 3所示.由表 3所列数据可知, RENA算法基本满足实时运算的需求.

表 2 反射率估计算法运行时间对比
表 3 特定的真实噪声场景反射率估计结果对比

此外, 针对室内普通的真实噪声场景, 所拍摄的物体并不只由单一颜色和单一材质的物体构成, 所以反射率真值图像无法获取, 但仍然可以进行一些对比实验. 图 7图 8是两组室内的真实噪声场景反射率估计算法对比结果.由于外接便携电源等实验条件的限制, 本文并没有进行室外场景的实验, 但因为图像采集设备也支持室外环境拍摄, 所以本文所提出算法的原理和思路通过适当修改也应适用于室外场景, 但需未来进一步实验验证.

图 7 室内的真实噪声场景实验结果对比1
图 8 室内的真实噪声场景实验结果对比2

综上, 本文提出的RENA算法在人工噪声场景、特定的真实噪声场景和室内的真实噪声场景都表现良好, 基本适用于日常室内场景的反射率估计应用.

5 结论

RENA通过使用Kinect二代传感器, 实现对室内场景的初始反射率测量, 应用鲁棒估计算法降低由于表面法向误差和深度测量误差引入的噪声, 从而提供低计算复杂度、高精度反射率图像估计.通过对多个室内场景的反射率测量实验, 表明该算法适用于快速估计室内场景的反射率图像.但是, RENA算法采用的期望和方差数据需要通过标定Kinect设备才能获取, 这些数据又因设备而异, 这给应用多台Kinect设备进行反射率测量带来不便.未来计划探索一种通用于不同Kinect设备的反射率测量优化方法.

参考文献
[1]
陈阳, 张安锋, 茹志兵. 反激光探测红外双波段光学系统设计[J]. 红外与激光工程, 2017, 46(9): 259-266.
(Chen Y, Zhang A F, Ru Z B. Design of infrared dual band optical system based on anti-laser detection[J]. Infrared and Laser Engineering, 2017, 46(9): 259-266.)
[2]
Kerl C, Souiai M, Sturm J, et al. Towards illumination-invariant 3D reconstruction using ToF RGB-D cameras[C]. Int Conf on 3D Vision. Tokyo: IEEE, 2014: 39-46. https://www.researchgate.net/publication/283110611_Towards_Illumination-Invariant_3D_Reconstruction_Using_ToF_RGB-D_Cameras
[3]
刘金平, 桂卫华, 唐朝晖, 等. 基于Curvelet变换的浮选泡沫图像序列时空联合去噪[J]. 控制与决策, 2013, 28(9): 1322-1328.
(Liu J P, Gui W H, Tang Z H, et al. Spatial-temporal joint for froth image sequence denoising based on Curvelet transform[J]. Control and Decision, 2013, 28(9): 1322-1328.)
[4]
Tian J, Qu L, Tang Y, et al. Pixel-wise orthogonal decomposition for color illumination invariant and shadow-free image[J]. Optics Express, 2015, 23(3): 2220-2239. DOI:10.1364/OE.23.002220
[5]
Ye G, Garces E, Liu Y, et al. Intrinsic video and applications[J]. Acm Trans on Graphics, 2014, 33(4): 1-11.
[6]
Riviere J, Peers P, Ghosh A. Mobile surface reflectometry[J]. Computer Graphics Forum, 2016, 35(1): 191-202. DOI:10.1111/cgf.12719
[7]
Ren P, Wang J, Snyder J, et al. Pocket reflectometry[J]. Acm Trans on Graphics, 2011, 30(4): 1-10.
[8]
Chen G, Dong Y, Peers P, et al. Reflectance scanning: Estimating shading frame and BRDF with generalized linear light sources[J]. Acm Trans on Graphics, 2014, 33(4): 1-11.
[9]
Naik N, Zhao S, Velten A, et al. Single view reflectance capture using multiplexed scattering and time-of-flight imaging[C]. SIGGRAPH Asia Conf. Hong Kong: ACM, 2011: 1-10. https://www.researchgate.net/publication/220184649_Single_View_Reflectance_Capture_using_Multiplexed_Scattering_and_Time-of-flight_Imaging
[10]
Lensch H P A, Kautz J, Goesele M, et al. Image-based reconstruction of spatial appearance and geometric detail[J]. Acm Trans on Graphics, 2003, 22(2): 234-257. DOI:10.1145/636886
[11]
Choe G, Narasimhan S G, Kweon I S. Simultaneous estimation of near IR BRDF and fine-scale surface geometry[C]. Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 2452-2460. https://www.researchgate.net/publication/305259082_Simultaneous_Estimation_of_Near_IR_BRDF_and_Fine-Scale_Surface_Geometry
[12]
张满囤, 霍江雷, 单新媛, 等. 基于Kinect与网格几何变形的人脸表情动画[J]. 计算机工程与应用, 2017, 53(14): 172-177.
(Zhang M D, Huo J L, Shan X Y, et al. Facial expression animation based on Kinect and mesh geometry deformation[J]. Computer Engineering and Applications, 2017, 53(14): 172-177. DOI:10.3778/j.issn.1002-8331.1602-0104)
[13]
Choe G, Park J, Tai Y W, et al. Exploiting shading cues in kinect IR images for geometry refinement[C]. Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 3922-3929. https://www.researchgate.net/publication/286594529_Exploiting_Shading_Cues_in_Kinect_IR_Images_for_Geometry_Refinement
[14]
Wu Z, Yeung S K, Tan P. Towards building an RGBD-M scanner[J].(2016-03-12)[2017-11-03]. http://arxiv.org/abs/1603.03875.
[15]
Wu H, Zhou K. AppFusion: Interactive appearance acquisition using a kinect sensor[J]. Computer Graphics Forum, 2015, 34(6): 289-298. DOI:10.1111/cgf.12600
[16]
Chatterjee A, Govindu V M. Photometric refinement of depth maps for multi-albedo objects[C]. Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 933-941. https://www.researchgate.net/publication/283349258_Photometric_Refinement_of_Depth_Maps_for_Multi-Albedo_Objects
[17]
Barron J, Malik J. Intrinsic scene properties from a single RGB-D image[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2016, 38(4): 690-703.
[18]
Paris S, Durand F. A fast approximation of the bilateral filter using a signal processing approach[J]. Int J of Computer Vision, 2009, 81(1): 24-52.
[19]
Hoppe H, Derose T, Duchamp T, et al. Surface reconstruction from unorganized points[C]. Conf on Computer Graphics and Interactive Techniques. New York: ACM, 1992: 71-78. https://www.researchgate.net/publication/2917480_Surface_Reconstruction_from_Unorganized_Points
[20]
Biswas S, Aggarwal G, Chellappa R. Robust estimation of albedo for illumination-invariant matching and shape recovery[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2008, 31(5): 884-899.
[21]
Kuan D T, Sawchuk A A, Strand T C, et al. Adaptive noise smoothing filter for images with signal-dependent noise[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2009, 7(2): 165-177.
[22]
Narihira T, Maire M, Yu S X. Direct intrinsics: Learning albedo-shading decomposition by convolutional regression[C]. IEEE Int Conf on Computer Vision. Santiago: IEEE, 2015: 2992-3000.
[23]
Grosse R, Johnson M K, Adelson E H, et al. Ground truth dataset and baseline evaluations for intrinsic image algorithms[C]. IEEE Int Conf on Computer Vision. Kyoto: IEEE, 2009: 2335-2342. https://www.researchgate.net/publication/224136105_Ground_truth_dataset_and_baseline_evaluations_for_intrinsic_image_algorithms