传统的纸质地图曾是人们表达、传输和研究地理信息最重要的载体。但随着信息化的加速,网络地图的出现对纸质地图形成了巨大的冲击。网络地图信息容量大、更新效率高、表达形式多样,这是纸质地图所无法比拟的。纸质地图存在一经出版就不可更改、信息滞后、局限于图面的负载量不可扩展、静态的信息呈现方式、缺乏交互和动态效果等缺陷,因此越来越难以满足各方面读者的需求。但纸质地图实质感强、方便阅读、收藏价值高等优点又决定了其存在的长期性,是无法被网络地图所淘汰的,在这种情况下,为增加纸质地图的竞争力,急需一种能在纸质地图上进行信息扩展与交互的多样化表达方式。
增强现实AR(Augmented Reality)技术能实现虚拟物体与真实场景相融合,借以增强人对世界的感知能力。随着移动设备的普及,移动增强现实(Mobile Augmented Reality)成为了人机交互领域备受瞩目的热点。国内外众多学者都对移动增强现实[1-5]进行了相关探索及应用,关键技术研究与不同行业应用主要集中在识别[6-10]、跟踪注册[11-13]和显示交互[14-15]3方面。
移动增强现实技术的出现为纸质地图的多样化表达提供了可能。本文在概述移动增强现实技术的基础上,对增强纸质地图所涉及的关键技术进行深入研究,提出了一种基于移动增强现实的纸质地图表达与交互方案。该方案打破了传统地图静态可视化的表现形式,增强人们对地理信息的多维动态感知和对现实世界的理解描述,设计实现了基于移动增强现实福州市房价信息系统,实现对纸质地图信息的扩展与交互。
1 移动增强现实
增强现实是将计算机产生的虚拟物体或信息与真实环境进行融合加以增强或扩充。对增强现实系统的用户来说,增强现实在虚拟环境和真实环境之间搭起了一个桥梁,两者互相增强或互为补充。因此,增强现实技术可以加强人们对现实世界的感知与交互能力。
随着移动智能设备的快速发展,移动增强现实系统的应用与研究应运而生。移动增强现实系统利用融合显示、多传感器和计算机视觉等技术对真实场景和事物进行扩展和增强,突破了桌面增强现实所带来的各种限制,且在移动性、便携性以及人机交互性等方面具有较强的优势,因而更具实际应用前景。移动增强现实系统主要分成摄像与处理模块、注册定位模块、融合渲染模块和立体显示模块4个关键模块,如图1所示,它们构成了标准AR系统运行所必须包含的基本步骤。
2 纸质地图增强表达与交互
由移动增强现实的关键模块分析可知:纸质地图的计算机识别,增强地图的跟踪注册、显示与交互技术是影响增强纸质地图系统性能的关键所在。
2.1 纸质地图的计算机识别
纸质地图的计算机识别方法分为基于标记的方法和基于自然特征的方法。
2.1.1 基于标记的纸质地图识别方法
基于标记的识别技术需预先在纸质地图中加入特定的人工定义标记,然后对获取的地图图像进行分析,以计算摄像机位置和姿态,从而实现纸质地图的识别。标记物通常是一些颜色对比强烈的简单图案。
过程1:对标记物进行识别,将标记物从纸质地图中抽取出来的过程。采用图像阈值分割,根据像素的灰度特性判别像素是属于背景还是标记物,若判断为标记物,则识别为地图上的兴趣区。
过程2:识别出兴趣区后,根据标记内部的图形或文字与模板库匹配,如果产生匹配,可确认该标记的ID,根据标记的ID将与位置相关的信息注册到该兴趣区中,即确定何种目标或何种虚拟物体应在此兴趣区显示。
2.1.2 基于自然特征的纸质地图识别
基于自然特征的纸质地图识别技术是直接采用对纸质地图的自然特征进行识别的方法,其基本原理与基于标记的跟踪技术类似。区别在于自然特征方法不再设置特定人工标记,而是通过图像分析,计算并检测出纸质地图中兴趣区的自身几何特征(如道路交接点、曲直性、建筑物纹理等)来替代标记,实现纸质地图上的兴趣区的识别。
实验对比发现,在纸质地图上使用标记识别技术,特制的标记物不仅影响使用者的阅读感受,而且导致排版及印刷成本的增加,降低了应用价值。此外,标记在户外易受光照变化影响,导致识别失败或误识别。而自然特征识别方法直接使用纸质地图中的特征,摆脱了放置在纸质地图中的标记物的依赖限制,简化了地图预设过程,提高了交互的自然性。实验中自然特征识别方法在某些特征失效后会自动选取兴趣区中的其他特征代替,能在一定程度上缓解遮挡和光照对识别结果的不利影响。因此,基于自然特征的识别技术更适合增强纸质地图的识别应用。
2.2 增强地图的跟踪注册
增强地图跟踪注册就是实时跟踪设备在纸质地图上的空间位置和姿态,根据该信息计算出虚拟物体在摄像机中的坐标,实现位置相关信息与纸质地图画面精准匹配。跟踪注册技术是纸质地图增强表达与交互中最关键的一步,决定增强地图的空间一致性。增强地图的跟踪注册可分为跟踪器法和视觉法两种。
跟踪器法采用跟踪传感器进行跟踪注册,常采用磁力跟踪、光学跟踪、惯性跟踪、超声跟踪、机械跟踪和GPS等方法进行,不同的方法应用范围不同。
视觉法采用计算机视觉系统(通常是摄像机)来获取纸质地图信息,跟踪注册过程也就是多个坐标之间的转换过程。通过分析摄像机获取的地图图像,结合特定算法来实时计算摄像机姿态与位置信息,即获得摄像机坐标系和真实地图坐标系间的映射关系;注册是指实时获取虚拟物体坐标系和2D成像平面坐标系间的转换关系。增强现实系统要实现的注册即利用坐标转换产生控制信息来调整虚拟摄像机和真实摄像机配准来实现虚拟物体和真实环境“对准”,获得虚拟物体坐标空间到真实地图坐标空间的转换关系,如图2所示。
对比两种方法,跟踪器法价格昂贵且易受外界干扰,以至于单一使用某种传感器进行跟踪注册,在精度和使用范围上难于满足实际应用的需要。相比之下,基于计算机视觉的跟踪注册算法以计算机视觉理论为依据,其优势在于性价比高且应用广泛,能满足一般情况下的增强现实系统跟踪性能和注册精度要求。
2.3 增强地图的显示和交互
增强纸质地图的显示和交互就是将在融合渲染阶段由相关地理信息转化而来的文本标注、三维符号和视频等虚拟物体,通过识别与跟踪注册,将其在真实地图中准确定位并逼真绘制,虚实场景合并呈现在纸质地图上并实现人机互动的过程。移动增强现实显示方式主要有头戴式显示技术、空间显示技术和手持式显示技术,3种方式的对比如表1所示。3种方法中,手持式显示技术以其无法比拟的移动性和便携性优势使其成为移动增强现实中最常用的技术,其交互方式主要有菜单、特制工具、特殊标记和触摸屏技术等。通过直接触摸、旋转、移动纸质地图,可以实现增强地图的移动、缩放甚至分析、计算等多种人机交互功能。
(2)找出该二值图像中所有的兴趣点,根据特定算法求出当前帧图像对应的注册矩阵,将该注册矩阵与系统样本库中的特征图像样本的注册矩阵进行匹配,如果匹配成功,则认为找到了一个兴趣区。
(3)利用该兴趣区的变形来计算摄像机相对于真实纸质地图的位置和姿态进行坐标转换,根据得到的变换矩阵实现虚实之间的注册信息,即位置坐标和朝向。根据注册信息匹配兴趣区和由计算机图形系统生成的虚拟场景或物体。
(4)利用手持显示设备进行实时人机交互和虚实场景融合,把与位置相关的虚拟增强的符号、注记和动画叠加渲染显示,使观察者浸没在增强后的场景中。
3 移动增强现实纸质地图应用实例
3.1 实验准备
设计所要增强的纸质地图并下载高通Vuforia SDK,地图以福州市市区为底图,图上标示出具有代表性房地产的地理位置;裁切出地图上每个代表性房地产所在区域作为兴趣区图像。
3.2 实验过程
本文以福州市房产信息地图为例,结合高通Vuforia增强现实平台设计开发了Android手机上的房产信息增强现实系统。通过对比表达效果,论证能否通过以上提出的基于移动增强现实的纸质地图表达方案改善纸质地图表达与交互上存在的缺陷。主要实验过程如下。
(1)将每个代表性房产所在的兴趣区图像上传到高通官网进行样本训练,返回样本注册矩阵信息,该信息包含了自然而然存在于这些图像本身的特征。
(2)主要使用到Vuforia API中基类Tracker(跟踪器)及其子类,子类deinitTracker负责初始化识别器,子类loadTrackerData负责加载识别数据,对这两个类进行继承即是结合复杂的运算法追踪侦探每一帧图像的自然特征的过程,该过程实现对纸质地图当前帧图像的自然特征识别。
(3)主要利用Renderer(渲染器)类匹配当前帧图像自然特征与样本矩阵信息,若匹配失败则结束当前帧的渲染,若匹配成功后即对当前帧图像进行跟踪渲染,从而实现增强地图的跟踪注册及显示。
3.3 实验分析与结论
纸质地图增强现实效果如图4所示。增强后的纸质地图无缝叠加了虚拟图形且内嵌了可跟踪播放的视频。对比未经增强的纸质地图的显示效果明显发现,通过增强的福州市房产地图为用户提供丰富的房产信息和虚拟影像服务,用户获得的信息量更丰富,达到了增强信息表达的目的,赋予了静态地图丰富的动态属性信息,达到了对纸质地图进行信息扩展的效果。
本文提出的基于移动增强现实的纸质地图表达方法给予了用户以全新的阅读体验,有效地解决了纸质地图在信息表达上单一、缺乏互动的缺陷,使纸质地图重新焕发生机和活力,具有一定的应用和推广价值。
参考文献
[1] BRUCE H, THOMAS A. Survey of visual, mixed and augmented reality gaming [J]. ACM Computers in Entertainment, 2012, 10(3): 1-33.
[2] ANN M. Collaborative use of mobile augmented reality with paper maps[J]. Computers & Graphics, 2011,35(4):789-799.
[3] 李然,隋毅,孙仁诚,等.手持设备增强现实开发平台研究及应用[J].计算机仿真,2010(1):271-274.
[4] 林倞,杨珂,王涌天,等.移动增强现实系统的关键技术研究[J].中国图象图形学报,2009,14(3):560-564.
[5] 洪晓燕,纪昌红.提高LBS手机AR系统精度的新方法[J].微型机与应用,2013(16):49-51.
[6] 查骏元,秦文虎,赵正旭.基于人工标志的增强现实技术研究[J].计算机工程与设计,2008(18):187-189.
[7] 赵新灿,左洪福.基于自然特征的增强现实注册算法[J].华南理工大学学报(自然科学版),2007(5):45-49.
[8] 石刚.增强现实中跟踪注册算法研究[D].苏州:苏州大学,2011.
[9] TOBIAS L. Robust detection and tracking of annotations for outdoor augmented reality browsing[J]. Computers & Graphics, 2011,35(4): 831-840.
[10] FOLKER W, HARALD W, ARJAN K. Composing the feature map retrieval process for robust and ready-to-use monocular tracking[J]. Computers & Graphics, 2011,35(4): 778-788.
[11] 武雪玲,任福,杜清运.仿射变换虚实配准的空间信息增强表达[J].计算机工程与应用,2010(3):20-23,33.
[12] 钟慧娟,刘肖琳,吴晓莉,等.增强现实系统及其关键技术研究[J].计算机仿真,2008,25(1):52-55.
[13] 陈荣军,朱雄泳,谭洪舟,等.一种基于SURF与ARToolkit的增强现实设计[J].电子技术应用,2012(10):124-126,129.
[14] 周见光,石刚,马小虎.增强现实系统中的虚拟交互方法[J].计算机工程,2012(1):257-258.
[15] 黄有群,李志鹏,胡超博.采用视觉注册的户外增强现实技术的研究[J].工程图学学报,2010(1):84-87.