上世纪70年代中,MIT人工智能实验室正式开设“机器视觉”课程,近半个世纪来机器视觉持续是一个非常活跃的研究领域,全球性的研究热潮,使得机器视觉获得了蓬勃发展,机器视觉在工业制造领域已获得了广泛的应用,比如在不适合人类工作的环境中,利用机器视觉代替传统人工测量/试;或用于需要高性能、精密机器视觉组件的专业设备制造领域。但总体来讲,机器视觉不仅依然一个相当新且仍有很多工作要做的研究领域,更是一个深藏无限潜力的金矿。
在此次采访中,大部分的厂商的关注焦点都更贴近大众生活相关,放在了消费电子、可穿戴产品、汽车ADAS以及智能化监控等领域。比如CEVA公司投资者关系与企业传播副总裁Richard Kingston就透露“我们已经将计算机视觉DSP授权许可予八家企业,其中包括三家移动领域的OEM厂商。”加拿大CogniVue公司业务开发副总裁Tom Wilson认为“可穿戴和汽车领域将存在非常强烈的增长机遇。”
视觉处理向3D跨越
随着谷歌正式发布了Project Tango后,3D机器视觉变得愈加热门。“我们认为消费领域3D处理的主要应用会是3D成像、自然用户界面(NUI)和3D视觉应用,比如PC、笔记本电脑、平板电脑、智能手机和其它消费类设备。”Kingston表示。
业界追寻3D视觉的最大原因还是为了解决2D机器视觉的固有局限,若能更好的实现在分割(分离近景和远景)、照明(用于人脸识别时)、相对位置(场景中的物体)等方面的功能,许多应用可以通过采用3D空间信息简化并提高视觉系统的精度和可靠性。
但无论是3D传感器(例如飞行时间法(ToF)相机)、或以2个2D图像传感器实现的立体传感器,他们对处理能力的要求都更高。“立体匹配(使用来自两个图像传感器输入)要求差异映射来生成3D景深图。这是一个非常困难的计算机视觉问题,学术界也积极研究来优化立体识别算法。”CogniVue公司业务开发副总裁Tom Wilson指出。每一种实现3D传感的方法都存在性能上的折衷,CogniVue目前在开发一种算法,能针对低成本3D传感器有效计算其视差图。
处理大量实时数据需要密集的计算能力。若是想实现稳定的3D传感地图是非常困难的,特别是对那些低功耗的设备来说。“CogniVue的APEX图像识别处理(ICP)技术能在电量有限的3D视觉应用中发挥关键作用。”他补充道。
对于系统设计者来说,设计能有效运行不同视觉算法的硬件是非常巨大的挑战。系统厂商选择图像/视频处理解决方案时,可以选择全部集中在CPU完成,也可以选择卸载一部分图像处理工作给GPU,或者专为图像处理增加硬件逻辑。在需要3D处理的应用中,GPU已经将系统的一部分,运行多种计算机视觉算法来协助通用CPU。
“i.MX6拥有强大的GPU运算能力,其3D引擎GC2000内部包含4个shader,可提供高达30GFLOPS的运算能力,支持OpenCL 1.1 EP。”飞思卡尔微控制器事业部亚太区市场营销和业务拓展经理李星宇介绍道,“此外,i.MX6Q还拥有一个专用的2D引擎(1Gpixel/s)和一个矢量图形处理引擎。”
此外,在一个软硬件无缝集成的图形开发环境中设计其3D视觉应用无疑会简化工程师的工作。“NI LabVIEW为3D视觉应用提供了全新双目立体视觉功能,用户可利用丰富的双目立体视觉功能来提取并利用LabVIEW应用的3D信息。”NI中国技术市场工程师崔鹏介绍道。
在图像采集领域,除了飞行时间法(TOF)3D成像(给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的往返飞行时间来得到目标物距离),还有一种是在工业制造检测方面获得比较广泛应用的3D激光传感器,区别就是3D激光传感器是逐点扫描,而TOF相机则是同时得到整幅图像的深度信息。
大恒图像的3D成像采用的是激光成像法,其产品不仅包括专门的3D结构光激光器、还有将激光器集成的一体式3D智能传感器Gocator,该产品还继承标定算法,出厂前标定完毕,开箱即可用于测量。
IP与处理器的完美结合
无论是何种嵌入式视觉处理应用,都是典型的计算密集型需求,这使得它比之前的处理器多了很多挑战。
“在过去的几十年里,处理器结构发展了不同阶段来满足不断变化的应用需求。1980年代的是用于台式电脑和和服务器的CPU;1990年代DSP出现以加速音频编解码和无线/有线语音/数据编解码的要求;2000年GPU达到新层面的性能和并行性从而实现2D和3D图像;现在,嵌入式视觉处理需要的是完全不同的处理器架构:ICP。”
上述这段话是分享在CogniVue公司的英文网站上,该公司业务开发副总裁Tom Wilson在采访中指出,“新一代的应用需要100倍以上的嵌入式视觉性能/功耗,为满足这些应用的性能和功率需求,与传统处理架构相比,我们需要在同样功耗下实现100倍-400倍的性能跃进,CogniVue通过其APEX ICP技术实现了这样的性能提升。”
连同APEX ICP核,还有APEX编程工具以及一个APEX-CV嵌入式视觉功能库,涵盖多种视觉应用。例如特征检测和匹配适用于可穿戴(增强现实)和汽车(光流和运动跟踪)等。“除了这些常见的计算机视觉功能。我们还提供更高级别的产品来特定于具体应用,例如用于人脸识别的FaceVue,用于监控应用中运动监测的MotionVue、用于汽车车道偏离警告的FrontVue、和用于汽车盲点监测的SideVue等。”他补充道。
针对密集型计算需求,CEVA公司的包括CEVA-MM3101在内的CEVA-MM3000系列则使用了非常高效的、功能强大的矢量引擎,从而实现计算机视觉所需的大量并行计算。此外,集成的功率调节单元(PSU)可以在处理器内实现动态电压调节,助力实现“始终在线”应用类型。
除了CogniVue和CEVA,大批的致力于机器视觉的IP厂商还包括有Mobileye、Tensilica,以及Imagination Technology等,后者基于“Raptor”的可合成ISP IP内核于2014年第一季上市,使得IP阵营的竞争愈发激烈。
半导体厂商不少也是通过和专业IP厂商合作/授权,来推出其专用视觉处理器,包括Freescale、TI、以及意法半导体等。意法半导体使用与Mobileye共同开发的EyeQ3图像处理器,实现行人检测技术;飞思卡尔基于CogiVue推出图像识别处理器家族SCP2200;以色列Inuitive公司使用双CEVA-MM3101引擎的3D视觉处理器,实现3D景深图;Xilinx利用MVTec公司的HALCON和Silicon Software公司的VisualApplets开发平台为Zynq-7000 All Programmable SoC打造端对端Smarter Vision开发环境。
机器视觉的接口之争
机器视觉对速度的追求催生了新一代传感器,它们能在极高的速度下拍摄大分辨率影像,但这种数据量远远超出了传统接口的容纳限度。目前较为流行的接口是GigE和USB3.0,这两种接口各有优势与不足。
加拿大Point Grey(灰点)公司是USB3.0 Vision技术委员会的联合创始者,在2011年推出了世界上第一款量产的USB3.0相机,该公司中国区销售代表冯宇认为,“除了更低的成本外,USB3.0行业标准互操作性强(USB3.0 Vision),带有帧缓存器支持的可靠的成像机制,在不牺牲系统性能下,带来更低的整体系统成本。”
冯宇曾在一次演讲中展示了USB3.0与其他多种接口的成本对比,图1为GigE PoE与USB3.0的对比。
图1:GigE PoE与USB3.0的对比。
USB3.0 带宽远高于GigE POE,且能实现更低的CPU使用率。几乎所有的主流计算机系统制造商都提供主板上具有USB3.0接口的系统。“USB3.0一定会是市场主流,因为这个接口比较通用。”长芯盛(武汉)科技有限公司营销总监张昕也支持这种观点。去年底成立的长芯盛已经量产了其USB 3.0有源光缆,并与业界主流USB3.0芯片公司的产品通过了一致性测试,该公司是由武汉长飞光纤光缆与台湾威盛电子合资组建的。
不过,“真正的工业应用肯定是要用以太网的,” 嘉恒图像销售部副经理张小伟认为,“因为工业应用的距离都比较长,而且以太网的抗干扰性非常好。”
对于传输距离来说,UBS3.0的通电缆长度现在推荐为5米,而实际应用中一般只用到3米。“这的确是个问题,但现在很多公司包括长芯盛会提供中继器(Hub),可以将其转接到以太网上。”张昕表示,该公司的Hub如移动硬盘大小。
除此之外,机器视觉领域还有一个接口CoaXPress似乎是以顶级竞争者的身份出现的。该接口于2009年推出,容许设备(如照相机)通过单根同轴电缆以高达6.25Gbps的速度传输数据,若使用四根线缆,速率可达25Gbps/相机。
对于其他接口来说,线缆长度是个限制,全速状态下,最长可达35米,而半速状态下,最长可达100米。
图2:不同接口的带宽与线缆长度。
对于CoaXpress连接方法简单,“这种推拉自锁系统,保证了在工业应用中的可靠性。”比利时Euresys公司CEO Marc Damhaut在一次演讲中展示了自锁方式(图),该公司采用此接口的包括Coaxlink系列全面支持Coaxpress接口。但是,CoaXPress高昂的成本仍是其普及路上的一块绊脚石。
图3:工业机器视觉产业链