控制与决策  2020, Vol. 35 Issue (11): 2665-2674  
0

引用本文 [复制中英文]

郭璠, 周聪, 唐琎, 吴志虎, 黄余. 基于图像和高程数据的天际线定位匹配[J]. 控制与决策, 2020, 35(11): 2665-2674.
[复制中文]
GUO Fan, ZHOU Cong, TANG Jin, WU Zhi-hu, HUANG Yu. Skyline position matching based on image and elevation data[J]. Control and Decision, 2020, 35(11): 2665-2674. DOI: 10.13195/j.kzyjc.2019.0155.
[复制英文]

基金项目

国家自然科学基金项目(61502537, 61573380);湖南省自然科学基金项目(2018JJ3681, 2016JJ2150)

作者简介

郭璠(1982-), 女, 副教授, 博士, 从事图像处理、计算机视觉等研究, E-mail: guofancsu@163.com;
周聪(1993-), 男, 硕士生, 从事模式识别的研究, E-mail: 2269896738@qq.com;
唐琎(1966−), 男, 教授, 博士, 从事计算机视觉、模式识别等研究, E-mail: tjin@csu.edu.cn;
吴志虎(1979-), 男, 讲师, 博士, 从事计算机控制等研究, E-mail: wuzhihu@csu.edu.cn;
黄余(1995-), 男, 硕士生, 从事图像处理、计算机视觉的研究, E-mail: 2461592177@qq.com

通讯作者

唐琎, E-mail: tjin@csu.edu.cn

文章历史

收稿日期:2019-02-02
修回日期:2019-04-29
基于图像和高程数据的天际线定位匹配
郭璠 , 周聪 , 唐琎 , 吴志虎 , 黄余     
中南大学 自动化学院,长沙 410083
摘要:基于图像和高程数据可以实现在不依赖GPS的情况下准确定位, 在很多场景中都具有较高的实用价值.定位过程主要分为图像天际线检测、高程数据天际线检测、天际线特征提取和天际线匹配.但由于受自然环境变化和高程数据精度影响, 定位匹配充满困难和挑战.针对这些问题, 提出一种基于滑动窗口的金字塔模糊斜率特征, 该特征主要由平均高度特征、多层斜率特征和段特征组成.在不同精度高程数据上的测试结果表明:该特征可以缓解一定范围内高程数据噪声和畸变带来的不利影响, 准确区分目标高程数据天际线和非目标高程数据天际线, 具有良好的准确性和稳定性.
关键词高程数据    天际线检测    金字塔模糊斜率特征    定位    匹配    
Skyline position matching based on image and elevation data
GUO Fan , ZHOU Cong , TANG Jin , WU Zhi-hu , HUANG Yu     
School of Automation, Central South University, Changsha 410083, China
Abstract: Based on image and elevation data, accurate positioning can be achieved without relying on GPS, which has high practical value in many scenarios. The position process includes image skyline detection, elevation data skyline detection, skyline feature extraction and skyline matching. However, due to the influence of natural environment and the accuracy of elevation data, position matching has many difficulties and challenges. To solve these problems, this paper proposes a pyramid fuzzy slope feature based on sliding window, which consists of average height feature, multi-layer slope feature and segment feature. Experimental results on different precision elevation data show that this feature can mitigate the adverse effects caused by noise and distortion of elevation data in a certain range, accurately distinguish the target elevation data skyline from the non-target elevation data skyline, and has good accuracy and stability as well.
Keywords: elevation data    skyline detection    pyramid fuzzy slope feature    position    matching    
0 引言

定位技术是现代国防、战争必不可少的技术之一.目前人们所掌握的定位手段主要有卫星定位、通信基站定位、WIFI节点定位以及蓝牙定位等.其中:卫星定位[1]通过多颗可视卫星根据时钟差解算用户坐标; 通信基站定位[2]通过移动运营商网络和电子地图平台为移动用户提供定位服务; WIFI节点定位[3]通过扫描附近WIFI热点, 根据热点位置数据库大致计算出移动设备的地理位置; 蓝牙定位[4]采用基于蓝牙的RSSI定位技术, 需要使用集成在移动终端上的蓝牙模块以及部署蓝牙基站.由此可见, 上述方式全都是依赖第三方服务器或者基站进行辅助定位, 不能仅通过自身环境信息进行定位.若在野外信号屏蔽的地区工作或者发生现代战争, 卫星首当其冲会被击落, 基站也会受到炮火击毁, 则该时刻依靠以上方法将不能进行有效的定位, 因此, 需要探索区别于传统定位方法的新的解决方案.

近年来, 已有研究者提出了一些新的定位方法, 利用相应图像中建筑物或天际线特征进行定位的方法便成为目前的研究热点.该类方法主要使用图像中的相关信息和已知的地理位置信息进行匹配, 以此达到有效定位的目的.其中:使用建筑物特征的方式主要应用于城市环境, 但定位精度难以与传统定位方法匹敌; 利用天际线特征进行定位的方式具有广泛的应用价值, 如野外无人飞行器机身姿态平衡、地址勘探、森林防火等重要任务都可以通过天际线的精确匹配实现.但受自然环境变化和高程数据精度的影响, 该研究中还有很多难点需要克服和解决.总体而言, 目前已有相关研究的准确性和稳定性还未达到较为理想的效果, 究其原因主要是天际线特征信息较少、容易受噪声干扰、高程数据匹配度较低、搜索算法计算成本较高.

针对上述这些问题, 本文提出一种基于滑动窗口的金字塔模糊斜率特征.该特征具有较高的稳定性和准确性, 对于不同精度的高程数据也具有较好的适应性, 能够提高定位匹配效果.同时将匹配过程分为粗匹配和精细匹配两个部分, 降低了搜索过程的计算成本.在不同精度高程数据上的测试结果表明:该特征可以缓解一定范围内高程数据噪声和畸变带来的不利影响, 准确区分目标高程数据天际线和非目标高程数据天际线, 具有良好的准确性和稳定性.

1 相关工作

本文的研究工作主要包括图像天际线检测、高程数据天际线检测以及前两者的定位匹配, 下面分别介绍这3部分的国内外研究现状.

1.1 图像天际线

在图像天际线检测方面, 目前已经有很多相关研究.例如, Chiu等[5]通过判断图像像素的梯度变化对每一列中的候选点排序, 然后根据候选点的相似性进行组合, 在水平方向上将相似的候选点连接起来, 避免了不同场景下的参数调整, 达到了一种自适应的效果. Hung等[6]提出使用canny算子对图像进行边缘检测, 然后沿检测到的边缘进行遍历提取多个8× 8的区域, 其中包含天际线的区域为正样本, 不包含天际线的区域为负样本; 使用颜色、方差等信息训练SVM分类器对样本进行分类, 然后使用动态规划将断断续续的边界线连接起来, 以便找到一条从左到右能够串接起来的最长边界作为天际线.不同于上述传统预测方法, 文献[7-8]使用CNN作为分类器, 分类效果有所提升, 且对于不同环境的适应能力均有所增强. Porzi等[9]提出使用语义分割对天际线进行预测, 整个网络由卷积和反卷积两个部分组成, 卷积部分负责提取特征, 反卷积部分实现最终的概率图预测.该网络对输入图像的尺寸没有限制, 实现了端到端的预测, 在得到概率图后又采用动态规划方法连接天际线.

1.2 高程数据天际线

高程数据天际线检测主要有两种不同的策略:一种是基于OpenGL渲染的天际线检测方法[10], 该种方式通过设置虚拟相机的高度、焦距和视场角等参数达到与真实拍摄一样的效果, 并在该窗口内提取对应的天际线, 但需要对数据进行渲染, 计算量大, 耗费时间和计算资源; 另一种是通过计算可视点和转换坐标投影检测天际线, 文献[11]采用射线法寻找可视点, 再对这些可视点进行坐标投影得到天际线.由于靠近观测点的区域单位角度内有效采样点稀疏, 远离观测点的区域单位角度内有效采样点密集, 使用该方法检测天际线会产生分辨率不一致的问题, 会对天际线的归一化、特征提取和匹配产生较大的影响.

1.3 天际线定位匹配

基于图像定位的方法根据使用环境分为两类:城市环境和非城市环境(包括火星等使用环境[12-13]).

对于城市环境, Ramalingam等[14]提出使用在城市中垂直向上拍摄的全景天际线与建筑物三维模型中提取的天际线进行匹配, 以实现在不依赖GPS情况下的定位.对于图像中天际线的检测, 该方法分成两种不同的情况:在晴朗的天气下使用图切的方法检测天际线, 在夜间、有雾霾或有遮挡的情况下使用最短路径法检测天际线.此外, Zhang等[15]提出使用实际拍摄图像与带有定位信息的城市街景数据库进行匹配, 该方法主要通过基于SIFT特征的宽基线匹配技术从数据库中选取匹配度最高的视图.

对于非城市环境, 定位多使用天际线和高程数据的组合进行.已有一些学者在此方面展开研究, Saurer等[10]提出了一种等间隔采样序列化的方法表示天际线特征, 其中每个滑窗内等间隔采样8个点, 然后根据采样点的相对高度进行序列化, 每个点用三位二进制数表示, 8个点组成一个24位的轮廓字代表该滑窗内天际线的特征.此外, 一种基于统计包含关系的计算方法也被提出, 用于计算天际线之间的相似度, 该方法在匹配时还使用轮廓字和相机中轴线相对位置的关系进行投票, 以过滤掉不符合实际情况的天际线. Tzeng等[16]使用天际线的凹凸特征用于匹配, 首先提取天际线的角点, 然后在每个角点的两侧随机初始化两个参考点, 沿着斜率更陡的方向交替变更两个参考点的位置, 经过几轮迭代, 两个参考点之间的部分被认为是能够代表曲线凹凸特征的部分, 最后在两个参考点之间等间隔采样n个点并归一化组成特征向量.该方法的不足在于提取天际线时需要人工描绘出天际线的大概位置, 再使用算法对人工描绘的天际线进行细化和修正, 而人工交互的引入无疑会给实际应用带来不便. Wei等[11]提出了一种使用多元分布表示山峰形状的方法, 为了提高算法的稳定性, 首先在不同尺度上提取山峰的峰值, 并使用Beta分布表示每个峰值附近的曲线, 由此整条曲线多个峰值的Beta分布可以共同组成一个特征向量, 然后通过霍特林t方检验和其他山峰进行匹配, 最后使用贝叶斯网络对定位效果进行评估. Zhu等[17]针对高程数据处理提出了一种自适应渲染方法, 邻近山峰的区域进行密集渲染, 远离山峰的区域进行粗略渲染, 能够提高定位匹配的计算速度.

2 所提出方法

所提出方法的流程主要包括天际线检测和定位匹配.其中:天际线检测又包含图像天际线检测和高程数据天际线检测两部分; 定位匹配主要包含天际线特征提取和天际线匹配两个部分.

2.1 天际线检测

图像中天际线检测受地理环境、季节变化和天气变化影响严重, 高程数据中天际线检测受数据精度和采样点密度影响严重, 能否准确提取出天际线是决定定位成功与否的关键.

2.1.1 图像天际线检测

目前已有很多关于图像天际线检测的研究[18], 其中文献[9]方法对于不同场景下的天际线检测都展现出了较好的效果.该模型主要由编码器和解码器两部分组成, 编码器部分负责提取特征, 解码器部分负责概率图预测.语义分割可以通过多层卷积提取更加丰富的全局信息, 以适应不同样本的特征分布, 具有较强的适应能力和泛化能力.本文也以此为基础, 使用该模型提取图像天际线的概率图, 得到概率图后使用动态规划[19]对概率图进行连接.具体实现过程如下:以连接线上点的概率和作为目标函数, 将相邻两列之间像素点的跨度作为约束条件.从第N步到第N+1步不仅需要寻找下一列中概率最大的点, 还要保证相邻两列的像素纵坐标差值在允许范围内, 尽量对目标函数进行优化.同时, 在每一步搜索时也综合考虑相邻两列像素点之间的颜色信息和梯度变化, 以减少天际线断裂的情况, 从而保证较好的图像天际线检测效果.

2.1.2 高程数据天际线检测

高程数据作为一种描述地理高程信息的数据模型具有不同的精度划分, 精度越高能够描述的细节信息越丰富, 因此本文使用10 m级高程数据进行定位匹配, 所使用的高程数据天际线检测主要分为可视域计算[20]和坐标投影变换两步.

step 1:可视域计算.以观测点为中心, 将高程数据划分为8个象限, 分别在每个象限中根据可视角关系计算可视点, 这里以第1象限为例进行说明, 如图 1(a)所示.首先将O点高度升高1.5 m (模拟人的高度或拍摄设备的高度), P1P2两点的连线可能会对A点产生遮挡, 根据这3点高度关系判断A点是否为可视点, 如果是则保留A点的原始高度, 如果不是则将A点的高度更新为最低可视高度.高度的更新主要为了方便后面采样点的判断, 同时也可以使用可视域最小外接圆上的采样点代替可视域最外层轮廓进行坐标投影.第1象限其他采样点使用同样方法判断是否可视并决定是否更新高度.

图 1 可视域计算

step 2:坐标投影变换.全部采样点组成该观测点的可视域, 但可视域形状通常都是不规则的, 如果使用可视域最外层的点进行坐标投影变换则会产生分辨率不一致的问题, 如图 1(b)ab两点连线之间有效采样点个数少于bc两点连线之间有效采样点个数.本文使用可视域最小外接圆上的点进行投影转换, 因为在计算可视域时, 对不可视点的高度都进行了更新, 使用最小外接圆上的点和可视域轮廓上的点进行投影是等效的.

2.2 定位匹配

由于受高程数据精度[21]的影响, 图像天际线与高程数据天际线并不完全一致, 还存在一定的差异, 噪声干扰和随机性的波动都是影响匹配的因素.为了克服这一问题, 提高匹配的稳定性, 本文提出一种金字塔模糊斜率特征.同时, 为了降低搜索成本, 本文将匹配过程分为粗匹配和细匹配两个模块, 粗匹配使用倒排索引和相似度计算过滤非目标曲线, 细匹配使用迭代最近点算法进行精细匹配.

2.2.1 天际线特征提取

相机的视场角对于天际线的匹配至关重要, 主要是因为图像以像素点为单位, 而高程数据以采样点为单位, 因此需要使用相机的视场角对二者进行归一化处理.同时为了初步过滤部分噪声干扰, 本文分别对两组天际线进行高斯平滑.滑动窗口常被应用于图像特征提取, 密集的滑动窗口可以完整地描述目标特征, 因此本文也在天际线特征提取时引入滑动窗口, 将完整的天际线划分成具有一定重叠的多个子线段, 分别在这些子线段上提取特征, 共同组成完整的特征序列.

曲线匹配目前已有很多研究[22-25], 但大多数匹配方法均使用曲线的角点信息, 且主要应用于轮廓较为简单的闭合曲线中, 并不适用本文所研究的天际线这类随机性强、角点信息不稳定、受噪声干扰严重的对象.因此, 本文提出一种新的特征提取方法, 该特征主要由平均高度特征、多层斜率特征和段特征组成.

首先计算单个滑窗内全部采样点的平均高度作为第1部分特征, 如图 2(a)所示.由于相机在拍摄图像时会存在一定的俯仰角偏差, 根据传感器参数提取高程数据天际线时, 天际线会整体上移或下移, 为了适应小范围俯仰角的偏差, 对平均高度特征作近似处理.例如忽略十位和个位上的精度, 561和583均近似为600.精度上的损失可以通过后面其他部分的组合特征进行弥补, 这里所作的精度忽略是为了在平均高度这个信息上初步过滤掉部分非目标天际线.同时, 根据俯仰角波动范围和地形特点, 可以针对性地使用不同精度近似.

图 2 金字塔模糊斜率特征

然后提取滑窗内多层斜率特征, 如图 2(b)~图 2(d)所示.本文方法将滑窗内的天际线分成多个层次, 第1层使用滑窗内整段天际线提取斜率特征S11, 第2层将天际线等分成两段, 分别提取左边斜率特征S21和右边斜率特征S22, 第3层将天际线等分成3段, 分别提取左边斜率特征S31、中间斜率特征S32和右边斜率特征S33.与之类似, 可以对天际线继续细分, 但要根据天际线的匹配情况决定使用多少层斜率特征.斜率特征Sij计算如下:

(1)
(2)

其中w为整个滑窗的宽度, 由于滑窗的大小固定, 实验中w设为1.由式(1)和(2)可知, 该方法首先由式(1)计算出第i层第j分段内采样点的平均高度, 再由式(2)计算出斜率特征Sij.

滚转角也是影响相机姿态的参数之一, 且存在一定范围内的波动, 为了削弱该参数偏差带来的影响, 同样需要对多层斜率特征进行近似处理.第1层斜率特征代表该滑窗内整段天际线, 具有一定的稳定性, 可以使用较小的单位进行近似, 例如可以忽略个位上的精度, 以10为单位近似.第2层斜率特征对天际线进行二等分, 代表更加精细的特征, 稳定性降低, 需要使用较大的单位进行近似, 例如可以以20或30为近似单位作近似处理.后面更多层的特征对噪声的敏感程度逐渐增加, 所以近似单位也需要逐渐增大.

理论上, 两条相似的天际线提取到的轮廓字特征序列应该是一样的, 所以每个相同轮廓字出现的位置也应该是一样的. 图 3(a)中, 序列1的W1和序列2的W1相等, 并且两者都出现在轮廓字特征序列的第1位.不一样的天际线中也可能提取到一些相同的轮廓字, 但出现的位置可能相差很多.如图 3(b)中序列1的W1和序列2的W9相等, 但W1出现在轮廓字特征序列的第1位, W9出现在轮廓字特征序列的第9位.为了避免图 3(b)中的情况对本文搜索产生干扰, 将轮廓字特征序列均分成3段.出现在特征序列前1/3的特征标记为1, 出现在特征序列中间1/3的特征标记为2, 出现在特征序列后1/3的特征标记为3, 这样图 3(b)中序列1的W1和序列2的W9将是两个不一样的轮廓字.段特征仅保留到倒排索引过滤, 后面的相似度计算部分可以去掉段特征, 仅使用平均高度特征和多层斜率特征.完整的轮廓字特征序列如图 4所示(图中使用了两层斜率特征).

图 3 轮廓字特征序列对比
图 4 完整轮廓字特征序列
2.2.2 天际线匹配

在进行天际线匹配时, 本文根据相机姿态参数截取对应范围的高程数据天际线, 但这些姿态参数通常都会有一定范围的偏差, 如图 5所示. 图 5(a)为根据原始相机参数得到的高程数据天际线, 图 5(b)~图 5(d)依次调整了航向角、俯仰角和滚转角偏差, 最终得到配准后的天际线.本文在提取特征时针对俯仰角和滚转角的偏差分别对特征作近似处理, 可以适应小范围参数波动.目前,偏差的来源主要集中在航向角, 为了削弱该偏差, 在一定范围内对航向角偏差进行补偿.例如原始航向角参数为a, 本文在-t°~ +t°内以2°为间隔对其进行补偿, 分别截取航向角为(a-t), (a-t+2), ..., a, ..., (a+t-2), (a+t)的多组数据共同进行匹配.

图 5 相机姿态参数配准

匹配过程分别对图像天际线和高程数据天际线提取轮廓字特征序列, 以该特征为关键字建立倒排索引系统.遍历图像天际线的轮廓字, 求解出包含这些轮廓字的高程数据天际线的集合.根据图像天际线和高程数据天际线特征序列相同轮廓字特征出现的频次进行初步过滤, 由相同轮廓字特征的相对位置进行再次过滤.相对位置偏差的计算过程如下:如果图像天际线中第i个轮廓字与高程数据天际线中第j个轮廓字相同, 则分别将ij加入到集合IJ中, 根据下面的式(3)计算出集合IJ的平均位移量, 再计算每一位位移量和平均位移量的差值, 对这些差值求平均值即可得出两组特征序列的相对位置偏差.理论上图像天际线和目标高程数据天际线每个相同轮廓字出现的位置一样或整体平移t位, 相对位置偏差应该为0, 如果出现错位的相同轮廓字, 相对位置偏差则会逐渐增大, 且乱序的数量越多偏差也越大, 有

(3)
(4)

细匹配将遍历排名靠前的n条候选高程数据天际线, 分别计算图像天际线和高程数据天际线的相似度, 本文主要使用迭代最近点算法(ICP)[26-27]对相似度进行计算. ICP算法在二维曲线匹配和三维点云数据匹配中得到了广泛应用, 通过不断搜索和迭代找到匹配度最高的区域, 并计算相似度误差, 误差越小证明匹配度越高. 图 6给出了ICP曲线精细匹配的示例结果.

图 6 曲线精细匹配
3 实验结果与分析 3.1 天际线检测实验

本文使用的高程数据天际线检测方法简单高效, 相较于基于OpenGL的检测方法, 优点在于该方法不需要对数据模型渲染, 计算量小, 具有较好的兼容性, 对硬件配置要求较低, 可以实现可视域并行计算, 还可以批量处理数据, 简化了检测过程.同时, 该方法也避免了跨视角天际线拼接时产生的畸变问题, 可以直接提取出360°完整的天际线.高程数据可视域计算作为天际线检测的重要环节, 直接影响着高程数据天际线的检测结果, 本文使用locaspace viewer软件的可视域分析功能对同一组观测数据进行可视域检测, 结果如图 7所示.由图 7可见, 两者的轮廓基本一致, 验证了方法的有效性.

图 7 可视域对比

图像天际线检测和高程数据天际线检测作为定位匹配之前的两个重要环节, 直接影响着定位匹配的准确性, 本文使用多组实际采集数据对两种检测方法进行验证, 结果如图 8所示.由图 8可见, 两种检测方法均能准确提取出对应的天际线.其中高程数据天际线是根据相机姿态参数误差配准后得到的结果, 参数配准是为了验证该观测点是否可以准确提取出高程天际线, 在匹配环节时将不再进行参数配准, 而是直接读取原始相机姿态参数, 通过航向角偏差补偿进行定位匹配.

图 8 天际线检测结果
3.2 定位匹配实验 3.2.1 实验材料

文献[28]提供了多组图像数据和对应的高程数据渲染图, 但此公开数据库所采用的图像采集设备与文中实验所用设备并非完全相同, 所以图像视场角也不完全一样.为了方便统计, 本文截取视场角为24°的天际线, 并在使用公开数据集的基础上实地采集多组实拍数据.公开数据集中的图像和高程数据渲染图均经过参数配准, 忽略了航向角、俯仰角和滚转角的偏差.为了对比图像天际线与高程数据天际线的匹配精度, 同时对实地采集数据进行参数配准.

两类数据库相比而言, 公开数据集的高程数据具有较高的精度, 但全球范围内只有极少部分地区公开了高精度的高程数据, 目前可以得到的高程数据的精度大都为10米级和30米级[29], 本文使用10米级的高程数据. 图 9分别展示了公开数据集的天际线和本文实地采集的天际线, 由图 9可见, 公开数据集的天际线吻合度较高.

图 9 公开数据集和实地采集天际线对比

同时, 本文使用3种定量指标对两个数据集中天际线的匹配度进行对比, 公开数据中随机选取100组数据, 实地采集数据集中随机选取15组数据, 对比结果如表 1所示.由表 1可见, 对于3种评价指标公开数据集的匹配度均高于本文实地采集数据.

表 1 公开数据集和实地采集数据精度对比
3.2.2 天际线特征实验

稳定可靠的天际线特征是匹配成功的关键, 好的天际线特征需要能够保证图像天际线特征在与目标高程数据天际线特征相似的同时, 还能有效区分非目标高程数据天际线特征.下面对本文所提出特征的有效性进行验证.

1) 所提出天际线特征的定性和定量分析.

本文方法所设计的每个轮廓字包含3个部分:平均高度特征、多层斜率特征和段特征.其中:平均高度特征如果以100为单位划分有100、200、...、1 000十种情况, 斜率特征如果以20为单位划分有-80、-60、...、+60、+80十种情况, 段特征有1、2、3三种情况.如果使用3层斜率特征, 则将有30 000 000种不同的轮廓字.如果增加层数, 则轮廓字的种类也将继续增加, 丰富的轮廓字特征能有效区分不同天际线.

实验中, 在公开数据集中随机选取100组正样本和500组负样本.使用大小为10°、步长为0.625°的滑窗进行特征提取测试, 测试结果如图 10所示. 100组目标天际线之间相同轮廓字数量分布如图 10(a)所示, 100组正样本和500组负样本非目标天际线之间相同轮廓字数量分布如图 10(b)所示.非目标天际线测试中, 每组正样本图像天际线分别与500组负样本高程天际线进行对比, 求相同轮廓字数量的平均值, 共进行100组测试.图中3种不同纹理的柱状图代表使用不同层数斜率特征的情况(分别为3层、4层和5层).

图 10 相同轮廓字数量对比

图 10可见, 目标天际线相同轮廓字的数量大都分布在10~ 23区间内, 而非目标天际线相同轮廓字的数量大都分布在0~9区间内.由此可以验证本文所提出天际线特征能够保证图像天际线特征在与目标高程数据天际线特征相似的同时, 能够有效区分非目标高程数据天际线特征.

2) 与已有方法的对比实验.

目前对于天际线匹配的研究相对较少, 相关研究仅局限于少数应用场景, 且高程数据精度不统一, 因此难以找到充足的可对比方法.在为数不多的方法中, Saurer等[10]在天际线匹配时也采用了滑动窗口提取轮廓字特征, 但提取特征的方法与本文方法有较大区别.本文分别在公开数据集和实地采集数据集中随机选取多组数据对两种方法的特征提取情况进行对比.对比过程采用2.5°、5°、7.5°和10°四种滑窗大小.实验中滑动步长和高斯滤波参数均根据滑窗大小进行改变. 24°的天际线对应提取到的轮廓字总数分别为138、61、36和23.不同方法相同轮廓字数量的对比结果如图 11所示.由图 11可见, 在4种不同滑窗大小下, Saurer等的方法提取出的相同轮廓字数量均远低于本文方法, 究其原因, 主要是Saurer等的方法在8个采样点中最高点和最低点范围内等间隔地划分成8个区间, 然后根据采样点落在哪个区间对应赋值为000、001、...、111, 通常该区间的划分范围较小, 因此对于天际线波动和噪声影响较为敏感.当高程数据精度较低时, 很难提取出较多的相同轮廓字.相比之下, 本文方法使用的是整体斜率特征, 并作了近似处理, 因此对于天际线波动和噪声等不利因素具有更好的适应性.

图 11 不同方法相同轮廓字数量对比
3.2.3 天际线匹配实验

1) 公开数据集测试.

公开数据集中并未提供原始高程数据, 而是以渲染图的形式提供, 且都经过了参数配准, 不包含角度偏差, 因此对于该部分实验需要人工加入角度干扰, 用于模拟实际测试.首先, 在100组正样本和500组负样本中进行测试, 每次测试使用正样本中的1条图像天际线在501条高程数据天际线(包含1条目标高程数据天际线和500条非目标高程数据天际线)中进行匹配, 共进行100次测试, 判断目标高程数据天际线包含在top n中的概率.考虑的因素有:不同层数斜率特征对粗匹配结果的影响、位移和旋转的影响以及细匹配的准确率.

对于不同层数斜率特征对粗匹配结果的影响, 相关统计结果如表 2所示.由表 2可见, 随着斜率特征层数的增加, 粗匹配的准确度也在降低, 因此后续匹配主要以3层斜率特征为基准. 表 2是在无位移无旋转理想情况下的对比, 考虑到传感器存在一定的误差, 需要加入位移和旋转的情况. 图 12给出了不同位移和旋转下粗匹配准确率示例.由图 12可见, 该特征对于一定范围内的位移和旋转的偏差具有较好的适应性.对于较大范围航向角偏差仍需要通过偏差补偿处理, 但特征自身的适应能力能够弥补偏差补偿不够精细的影响, 两者可以形成优势互补.

表 2 不同层数斜率特征粗匹配准确率
图 12 不同位移和旋转下粗匹配准确率

在细匹配方面, 所提出方法采用迭代最近点算法(ICP)对粗匹配过滤后top 20的数据进行遍历, 计算测试图像天际线和每条高程数据天际线的匹配度, 并进行排序得到最终结果. 表 3为相关细匹配的准确率统计结果.

表 3 细匹配准确率统计结果

结合图 12表 3可见, 对于位移和旋转在0°~3°的情况下, 粗匹配top 20的准确率在78%~91%之间, 细匹配top 1的准确率在75 %~86 %之间.经过ICP重新排序后, 可以准确找到大多数目标天际线, 且从粗匹配到细匹配的精度损失较小.公开数据集测试验证了整个流程的可行性, 同时也验证了所提出特征对于小范围相机姿态偏差的适应能力.

2) 实地采集数据测试.

首先, 对多组实地采集数据的传感器参数偏差进行统计, 统计结果如表 4所示.从表 4可见, 俯仰角和滚转角的偏差相对较小, 而航向角的偏差波动范围较大, 是影响定位匹配的最主要因素.因此, 实际数据匹配测试时本文在[-14, +14]区间内以2°为间隔对每个采样点进行偏差补偿, 补偿后的所有天际线将共同参与匹配.

表 4 传感器参数偏差

然后, 在10 km跨度的区域内进行实地测试.粗匹配保留top 20的数据, 在进行航向角偏差补偿时数据扩充了15倍, 因此粗匹配将保留300条曲线用于精细匹配.精细匹配将保留top 5的数据, 扩充15倍后将保留45条曲线用于最后定位点的投票.多组测试数据的定位结果如表 5所示. 表 5中分别统计了定位误差和ICP投票数量的最小值、最大值和平均值.由表 5可见, 该方法对于大多数测试样例实现了精度较高的有效定位, 实地采集的高程数据精度较低, 在低精度高程数据上的实验也更具有实际应用价值.

表 5 定位统计结果

最后, 统计定位匹配过程中各个模块的时间消耗情况. 表 6记录了输入数据量为500个采样点的情况.由表 6可见, 特征提取过程耗时较少, 主要与输入的数据量大小有关, 而ICP精细匹配过程耗时较多, 且波动较大, 这主要与粗匹配过滤后剩余的曲线数量有关, 有些测试样例粗匹配后仅剩余数十条曲线, 有些测试样例粗匹配后剩余数百条曲线, 但最多仅保留阈值设定范围内的曲线数量.

表 6 各个模块耗时情况
4 结论

本文针对天际线定位匹配中存在的一些问题, 提出了一种基于滑动窗口的金字塔模糊斜率特征, 该特征由平均高度特征、多层斜率特征和段特征组成, 并分别对高度和斜率作了模糊处理, 降低了高程数据噪声和波动的干扰.通过公开数据集的比较实验可以验证, 该特征能够有效区分目标高程数据天际线和非目标高程数据天际线, 再结合匹配过程可以准确得到匹配结果.通过实地采集数据的实验可以验证, 匹配过程对于低精度的高程数据具有较好的适应性, 实现了精度较高的定位匹配.

参考文献
[1]
Li X X, Ge M R, Dai X L, et al. Accuracy and reliability of multi-GNSS real-time precise positioning: GPS, GLONASS, BeiDou, and Galileo[J]. Journal of Geodesy, 2015, 89(6): 607-635.
[2]
Koivisto M, Hakkarainen A, Costa M, et al. High-efficiency device positioning and location-aware communications in dense 5G networks[J]. IEEE Communications Magazine, 2017, 55(8): 188-195.
[3]
Deng Z A, Wang G F, Qin D Y, et al. Continuous indoor positioning fusing WiFi, smartphone sensors and landmarks[J]. Sensors, 2016, 16(9): 1427.
[4]
Honkanen M J, Kainulainen A P T, Salokannel J J, et al. Facilitating positioning through Bluetooth low energy wireless messaging: USA, 8965284[P]. 2014-4-7.
[5]
Chiu C C, Liu Y J, Chiu S Y, et al. A skyline detection algorithm for use in different weather and environmental conditions[C]. 2016 IEEE International Conference on Electro Information Technology. Grand Forks: IEEE, 2016: 680-685.
[6]
Hung Y L, Su C W, Chang Y H, et al. Skyline localization for mountain images[C]. 2013 IEEE International Conference on Multimedia and Expo (ICME). San Jose: IEEE, 2013: 1-6.
[7]
Ahmad T, Bebis G, Nicolescu M, et al. An Edge-Less approach to horizon line detection[C]. The 14th International Conference on Machine Learning & Applications. Miami: IEEE, 2015: 1095-1102.
[8]
Frajberg D, Fraternali P, Torres R N. Convolutional neural network for Pixel-Wise skyline detection[C]. Artificial Neural Networks and Machine Learning-ICANN. Berlin: Springer-Verlag, 2017: 12-20.
[9]
Porzi L, Bulò S R, Ricci E, et al. A deeply-supervised deconvolutional network for horizon line detection[J]. Proceedings of the 24th ACM International Conference on Multimedia. New York:IEEE, 2016, 137-141.
[10]
Saurer O, Baatz G, Köser K, et al. Image based geo-localization in the Alps[J]. International Journal of Computer Vision, 2016, 116(3): 213-225.
[11]
Wei L, Lee S. 3D peak based long range rover localization[C]. The 7th International Conference on Mechanical and Aerospace Engineering. London: IEEE, 2016: 599-604.
[12]
Chiodini S, Pertile M, Debei S, et al. Mars rovers localization by matching local horizon to surface digital elevation models[C]. 2017 IEEE International Workshop on Metrology for AeroSpace (Metro Aero Space). Padua: IEEE, 2017: 374-379.
[13]
Carle P J F, Furgale P T, Barfoot T D. Long-range rover localization by matching LIDAR scans to orbital elevation maps[J]. Journal of Field Robotics, 2010, 27(3): 344-370.
[14]
Ramalingam S, Bouaziz S, Sturm P, et al. SKYLINE2GPS: Localization in urban canyons using Omni-Skylines[C]. 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. Taipei: IEEE, 2010: 3816-3823.
[15]
Zhang W, Kosecka J. Image based localization in urban environments[C]. The 3rd International Symposium on 3D Data Processing, Uisualization, and Transmission. Chapel Hill: IEEE, 2006: 1-8.
[16]
Tzeng E, Zhai A, Clements M, et al. User-driven geolocation of untagged desert imagery using digital elevation models[C]. 2013 IEEE Coference on Computer Vision & Pattern Recognition Workshops. Portland: IEEE, 2013: 237-244.
[17]
Zhu J, Bansal M, Valk N V, et al. Adaptive rendering for large-scale skyline characterization and matching[C]. Computer Vision-ECCV 2012 Workshops and Demonstrations. Berlin: Springer-Verlag, 2012: 163-174.
[18]
Ahmad T, Campr P, Marti C, et al. Comparison of semantic segmentation approaches for horizon/sky line detection[C]. 2017 International Joint Conference on Neural Networks. Anchorage: IEEE, 2017: 4436-4443.
[19]
Lie W N, Lin C I, Lin T C, et al. A robust dynamic programming algorithm to extract skyline in images for navigation[J]. Pattern Recognition Letters, 2005, 26(2): 221-230.
[20]
Ferreira C R, Andrade M V A, Magalhães S V G, et al. A parallel algorithm for viewshed computation on grid terrains[J]. JIDM, 2014, 5(2): 171-180.
[21]
Thompson J A, Bell J C, Butler C A. Digital elevation model resolution:Effects on terrain attribute calculation and quantitative soil-landscape modeling[J]. Geoderma, 2001, 100(1/2): 67-89.
[22]
Cui M, Femiani J, Hu J, et al. Curve matching for open 2D curves[J]. Pattern Recognition Letters, 2009, 30(1): 1-10.
[23]
Xue Z, Shen D, Teoh E K. An efficient fuzzy algorithm for aligning shapes under affine transformations[J]. Pattern Recognition, 2001, 34(6): 1171-1180.
[24]
Zuliani M, Bhagavathy S, Manjunath B S, et al. Affine-invariant curve matching[C]. 2014 International Conference on Image Processing. Singapore: IEEE, 2004: 3041-3044.
[25]
Zhu Y, Colchester A C F. Plane curve matching under affine transformations[J]. IEE Proceedings-Vision, Image and Signal Processing, 2004, 151(1): 9-19.
[26]
Russell B C, Sivic J, Ponce J, et al. Automatic alignment of paintings and photographs depicting a 3D scene[C]. 2011 IEEE International Conference on Computer Vision Workshops. Barcelona: IEEE, 2012: 545-552.
[27]
Rusinkiewicz S, Levoy M. Efficient variants of the ICP algorithm[C]. Proceedings 3rd International Conference on 3-D Digital Imaging and Modeling. Quebec City: IEEE, 2002: 145-152. 10.1109/IM.2001.924423
[28]
Brejcha J, cadík M. GeoPose3K:Mountain landscape dataset for camera pose estimation in outdoor environments[J]. Image and Vision Computing, 2017, 66: 1-14.
[29]
Chen Y, Qian G, Gunda K, et al. Camera geolocation from mountain images[C]. The 18th International Conference on Information Fusion. Washington: IEEE, 2015: 1587-1596.