因应机器人产业与工业自动化快速发展,结合相机与影像处理以取代或补强人力的机器视觉技术与相关应用持续升温,并在工业检测与制造领域获得了广泛的部署。然而,对于超越传统应用以外的日常生活与其他领域,机器视觉仍然深藏着无限潜力与商机。
过去几年来,这个以知识为导向的产业经历机器视觉系统的元件与模组日益复杂化;另一方面,与机器视觉系统相关的市场应用也持续扩展到超越工业制造以外的新应用领域,特别是如今当硬体尺寸缩减以及嵌入式系统持续展现动能之际,即将来临的奈米技术、先进感测器、机器对机器(M2M)通讯系统以及物联网(IoT) 等新兴技术发展,将进一步推动机器视觉应用扩展至消费性电子、可穿戴式装置、汽车先进驾驶辅助系统(ADAS)以及智能化监控等更贴近大众生活的领域。
根据市场调查机构MarketsandMarkets在去年发布的调查报告指出,2012年机器视觉系统与元件的全球市场规模超过30亿美元,预计在 2013-2018年间将以8.2%的年复合成长率(CAGR)成长,在2018年以前达到50亿美元。全球机器视觉市场带来的新商机已经成为业界厂商关注的焦点。
CEVA公司投资者关系与企业传播副总裁Richard Kingston透露,该公司已经将电脑视觉DSP授权给八家企业,其中包括三家行动领域的OEM厂商。而加拿大CogniVue公司业务开发副总裁 Tom Wilson也看好“可穿戴式装置和汽车领域将存在非常强烈的成长商机。”
全球机器视觉市场可望在2018年以前超越50亿美元大关。
视觉处理向3D跨越
随着Google正式发布Project Tango后,3D机器视觉变得更热门。Kingston表示,“消费领域的3D处理主要瞄准3D成像、自然使用者界面(NUI)和3D视觉应用,如PC、笔记型电脑、平板电脑、智能手机和其它消费性设备。”
业界追寻3D视觉的主要原因在于解决2D机器视觉的固有局限,若能更有效地实现在分割(分离近景和远景)、照明(用于人脸辨识)、相对位置(场景中的物体)等方面的功能,就能让更多应用透过3D空间资讯来简化并提高视觉系统的精密度与可靠性。
但无论是3D感测器(例如TOF相机)或以2个2D影像感测器实现的立体感测器,对于处理能力的要求也更高。Wilson指出,“立体匹配(使用两个影像感测器的输入)要求差异映射来产生3D景深图。这是一个非常困难的电脑视觉问题,学术界也积极研究最佳化立体辨识演算法。”由于实现3D感测的每一种方法都存在性能的折衷, CogniVue目前正开发一种新的演算法,期望针对低成本3D感测器计算其视差图。
处理大量即时资料需要密集的运算能力。若是想实现稳定的3D感测映射是非常困难的,特别是对于低功耗的设备来说。为此,他强调,“CogniVue的APEX影像辨识处理(ICP)技术能在电量有限的3D视觉应用中发挥关键作用。”商关注的焦点。 CEVA公司投资者关系与企业传播副总裁Ri
对于系统设计人员来说,设计一款能有效执行不同视觉演算法的硬体是一项艰巨的挑战。系统厂商选择影像/视讯处理解决方案时,可以选择全部集中在CPU完成,也可以选择卸载一部份影像处理工作给GPU,或者专为影像处理增加硬体逻辑。在需要3D处理的应用中,GPU已经让系统的一部份执行多种电脑视觉演算法,从而有助于为通用CPU分担工作负载。
“i.MX6拥有强大的GPU运算能力,其3D引擎GC2000内含4个渲染核心,可提供高达30GFLOPS的运算能力,支援OpenCL 1.1 EP,”飞思卡尔(Freescale)微控制器事业部亚太区市场行销和业务拓展经理李星宇介绍,“此外,i.MX6Q还拥有一个专用的2D引擎 (1Gpixel/s)和一个向量绘图处理引擎。”
针对影像撷取领域,经常利用2D相机感测器或其他光学感测技术来分析运算3D资料。除了飞行时间法(TOF)3D成像(为目标物连续发送光线脉冲,根据光线脉冲与感测器接收反射光线之间的时间,计算出目标物距离),在工业制造检测方面较广泛应用的是3D雷射三角法,差别在于3D雷射感测器采用逐点扫描,而TOF相机则同时得到整幅影像的深度资讯。
相较于雷射三角的3D成像方式,美商国家仪器(NI)技术行销工程师黄翔鉎介绍,NI LabVIEW可为3D视觉应用提供双目立体视觉功能,工程师可将2部相机安装在物体的不同角度后,使用校准技术调校两部相机之间的画素资讯以及撷取资料,并透过LabVIEW的3D工具库进行数学运算分析。透过一个软硬体无缝整合的绘图开发环境来设计3D视觉应用,更能简化工程师的工作。
IP与处理器的完美结合
为了在日益精巧的机台或装置中整合嵌入式视觉系统,需要更先进的CPU进行密集运算来处理庞大的资料量,黄翔鉎强调,这将持续对于CPU效能、功耗与资源是否足以支援强大的视觉分析运算带来了挑战。
CongmiVue 在官网上提到,“为了满足不断提高的应用需求,过去几十年来,处理器架构持续因应不同阶段而进展。1980年代的用于桌上型电脑和和伺服器的 CPU;1990年代DSP出现加速音讯编解码和无线/有线语音/资料编解码的要求;2000年GPU达到更先进的性能与平行性,从而实现2D和3D影像;如今,嵌入式视觉处理需要的是完全不同的处理器架构:ICP。”
Tom Wilson也指出,“新一代的视觉应用需要100倍以上的嵌入式视觉性能/功耗,为了满足这些应用的性能和功率需求,我们必须在相同功耗下提升较传统处理架构更高100-400倍的性能,”因此,CogniVue强调其APEX ICP技术可实现这一性能要求。
连同APEX ICP核心、APEX程式设计工具以及一个APEX-CV嵌入式视觉功能库,可涵盖多种视觉应用。例如特征检测和搭配适用于可穿戴式(增强实境)和汽车 (光流和运动追踪)等。他补充道:“除了常见的电脑视觉功能,CognVue还为特定应用提供更先进的产品,例如用于人脸辨识的FaceVue、用于监控应用中运动监测的MotionVue、用于汽车车道偏离警示的FrontVue,以及用于汽车盲点监测的SideVue等。”
针对密集型运算需求,CEVA公司包括CEVA-MM3101在内的CEVA-MM3000系列使用非常高效且功能强大的向量引擎,从而实现电脑视觉所需的大量平行运算。此外,整合的功率调节单元(PSU)可在处理器内实现动态电压调节,协助实现‘永不断线’的应用类型。
除了CogniVue和CEVA,致力于机器视觉IP的厂商还包括Mobileye、Tensilica(现隶属于Cadence IP部门)与Imagination Technologies等。Imagination基于‘Raptor’的可合成ISP IP核心已于2014 年第一季上市,使得IP阵营的竞争愈发激烈。
多家半导体厂商则透过与专业IP厂商合作/授权的方式,推出其专用视觉处理器,包括飞思卡尔 (Freescale)、德州仪器(TI)以及意法半导体(ST)等。ST与Mobileye共同开发EyeQ3影像处理器,可实现行人检测;飞思卡尔基于CogiVue核心推出影像辨识处理器家族SCP2200;以色列Inuitive公司开发基于双CEVA-MM3101引擎的3D视觉处理器,实现 3D景深图;赛灵思(Xilinx)利用MVTec公司的HALCON以及Silicon Software公司的VisualApplets开发平台,为Zynq-7000 All Programmable SoC打造端对端的Smarter Vision开发环境。
TI旗下种类繁多的处理器产品中,KeyStone系列多核心处理器具备 5.6GHz的ARM及9.6GHz的DSP处理能力,且具备比多晶片方案低功耗的优势,适合机器视觉领域的摄影机应用;此外该公司的Jacito 6系列车用处理器,亦可用于ADAS中的行人辨识、防碰撞警示等机器视觉功能。
机器视觉的界面之争
机器视觉对于传输速度的追求催生了新一代感测器,它们能在极高的速度下拍摄高解析度影像,但其资料量远远超出传统界面的容纳限制。目前较为流行的界面是GigE和USB 3.0,这两种界面各有优势与不足。
加拿大Point Grey公司是USB 3.0 Vision技术委员会的共同创始厂商,曾经在2011年推出了首款量产的USB 3.0相机。该公司比较USB3.0与其他多种界面表示,USB 3.0 频宽远高于GigE POE,且能实现更低的CPU使用率,几乎所有的主流电脑系统制造商都提供主机板上具有USB 3.0界面的系统,预期USB 3.0可望成为市场通用的主流规格。
表1:GigE PoE与USB 3.0的比较。
不过,“真正的工业应用肯定都得使用以太网络,”嘉?影像销售部副经理张小伟认为,“因为工业应用需要的距离较长,而且以太网络的抗干扰性更佳。”的确,对于传输距离来说,UB S3.0的线缆长度建议使用5m,而实际应用中只用到3m。
表2:不同界面的频宽与线缆长度。
黄翔鉎则认为:“以现阶段的应用需求来看,GigE和USB3.0可望在市场上共存。GigE的好处是可配置多台相机互连的网络架构,而USB虽然频宽较大传输速率更快,但必须透过强大的USB中枢管理与传送,成本较采用切换式的GigE更高。因此,针对远距离、多相机的应用,以及相机数少但要求精确度与传输速率的应用,仍需要分别使用GigE和USB3.0进行配置。”
此外,黄翔鉎建议,针对更高速的影像撷取应用则需使用Camer Link规格。NI针对Camera Link相机提供专为机器视觉与科学成像应用所设计的影像撷取产品,透过软体即可设定相机,只需简易接线即可达到高效能的影像撷取,同时相容于NI Vision Builder AI、LabVIEW、LabWindows/CVI、C/C++与Visual Basic。
除此之外,机器视觉领域还有一个以高阶竞争姿态出现的CoaXPress界面。该界面在2009年即已推出,可让设备(如照相机)以一根同轴电缆实现高达6.25Gbps的速度传输资料,在使用4根线缆时的速率高达25Gbps/相机。
CoaXpress的连接方法简单,“这种推拉自锁系统,确保了在工业应用的可靠性。”比利时Euresys公司CEO Marc Damhaut展示该公司支援该新界面的Coaxlink系列。
图2:不同界面的频宽与线缆长度。
CoaXpress目前和Camera Link一样需要透过一张截取卡,但可实现比Camera Link更快的传输速度。然而,CoaXPress的成本高昂仍是其于普及道路的一大阻碍。
由于CoaXpress界面具有在更远距离以更高速率进行影像撷取的优势,黄翔鉎预期,随着资料量的需求持续进展到超过Gb级,未来在CoaXpress技术发展更成熟后,可望在相机影像撷取领域取代GigE和USB3.0成为市场主流。