“嵌入式视觉”这一名词是指在嵌入式系统中使用计算机视觉技术。换句话说，“嵌入式视觉”是指从视觉输入中提取出其背后含义的嵌入式系统。与过去10年中无线通信技术的流行相类似，嵌入式视觉技术有望在今后10年得到广泛应用。而在实际的应用系统中，嵌入式视觉技术如何才能发挥它的真正潜力呢？

在缺乏共通标准而使嵌入式视觉技术发展受阻之际，需要一种兼容各层面功能的标准，才能真正开启并普及嵌入式视觉应用。例如，如果基于手势的用户介面变得普及，对于用户而言，能够使用一套具有多种不同机制的通用手势功能将会变得十分重要。而如果3D成像成为视觉应用的共同工具，那么不管使用什么样的传感器，我们都将必须为视觉应用找到一个重现3D图形数据的共同方式。

而对于嵌入式视觉系统所用的处理器，视觉演算法与应用大大地延伸了处理器性能要求的范围，就运算能力的这一点而言，处理器的性能至关重要。但当你跨越学术研究到实际系统的鸿沟，采用先进演算法以即时执行视频输入时，却不可避免地会消耗掉许多的处理功率。在许多嵌入式系统中，设计人员面临着尺寸、功耗与成本等严苛的限制条件，因此，能够以低成本与低功耗提供充份的处理能力是至关重要的。

而在其它一些要求大量运算的嵌入式处理领域──如随即浮现于我脑海中的消费性视频设备──在某种程度上而言，演算法是标准化的。这意味着芯片设计人员可以使用功能固定的硬件加速器和协同处理器，以低功耗和低成本提供大量的处理器运算性能。

但在视觉应用方面，不同的应用之间往往采用不同的演算法，甚至是在同一款应用中，所用的演算法也可能因设计不同或时间不同而异。因此，除了极其少数的一些大量应用以外，功能固定的硬件往往无法作为解决方案。在嵌入式视觉系统中，我们需要的处理器必须能够以低成本与低功耗，提供每秒数十亿次即时运算处理性能，并具有弹性化的可编程性能。过去几年来，已经有这样的处理器问世，并可协助嵌入式视觉技术进一步导入主流应用中。

处理器类别的选择

视觉算法通常需要很强的计算能力。当然，所有的嵌入式系统一般都受限于严格的成本和功耗要求。在其他DSP应用领域，例如，数字无线通信等，芯片设计人员使用专用协处理器和加速器来完成应用所要求的苛刻的处理任务，同时满足了高性能、低成本和低功耗需求，从而解决了这一难题。但是，芯片用户一般不能对这些协处理器和加速器进行编程。

无线应用通常能够接受这些优缺点，无线应用标准意味着不同设备设计人员使用的算法之间有很强的共性。然而在视觉应用中，对算法的选择并没有标准约束。相反，一般可以选择很多方法来解决某一特殊的视觉问题。因此，视觉算法是非常多样的，往往随着时间的变化而迅速变化。结果，与数字无线和以压缩技术为主的消费类视频设备等应用相比，视觉应用并不倾向于采用非可编程加速器和协处理器。

但是很难同时实现高性能、低成本和低功耗以及可编程功能。专用硬件通常能够以低成本实现高性能，但是可编程能力较弱。通用CPU具有可编程能力，但是性能较差，性价比不高，能效也较低。要求较高的嵌入式视觉应用通常结合使用多个处理单元，例如，可能会包括：

●通用CPU，用于启发式复杂判决、网络访问、用户接口、存储管理和总体控制等。

●高性能数字信号处理器，用于实时中等速率处理，不太复杂的算法等。

●用于简单算法像素速率处理的一个或者多个高度并行的引擎。

任何处理器在理论上都可以用于嵌入式视觉，目前最有可能的类型是：

●高性能嵌入式CPU

●专用标准产品（ASSP）与CPU相结合

●具有CPU的图形处理单元（GPU）

●具有加速器以及CPU的数字信号处理器

●移动“应用处理器”

●具有CPU的现场可编程门阵列（FPGA）

各类处理器，及其在嵌入式视觉应用上的关键优缺点

高性能嵌入式CPU

在很多情况下，嵌入式CPU不能提供足够的性能实现要求较高的视觉算法——也不能够以可以接受的价格或者功耗来满足性能要求。通常，存储器带宽是关键性能瓶颈，因为视觉算法通常使用大量的数据，不会重复访问相同的数据。嵌入式CPU的存储器系统无法设计适应这类数据流。然而，与大部分处理器相类似，随着时间的推移，嵌入式CPU的性能在逐渐增强，在某些情况下，能够提供足够的性能。

在可能的情况下，有足够的理由在CPU上运行视觉算法。首先，大部分嵌入式系统需要CPU来实现各种功能。如果所需要的视觉功能能够通过这种CPU来实现，那么，相对于多处理器解决方案相比，这降低了系统的复杂度。而且，大部分视觉算法一开始是在PC上开发的，使用了通用CPU及其相关的软件开发工具。PC CPU和嵌入式CPU （及其相关的工具）之间的相似性意味着，与其他类型的嵌入式视觉处理器相比，一般比较容易在嵌入式CPU上通过嵌入方式实现视觉算法。最后，嵌入式CPU 使用起来通常比其他类型的嵌入式视觉处理器更简单，这是因为其相对直观的体系结构、成熟的工具以及其他的应用开发基础支持平台等，例如，操作系统。

结合了CPU的ASSP

ASSP 是专用、集成度很高的芯片，定制用于特殊应用或者专业应用。ASSP可以采用CPU，或者使用单独的CPU芯片。凭借专业化，与其他类型的处理解决方案相比，ASSP通常具有优异的成本和能效。在其他技术中，ASSP通过使用专用协处理器和加速器来提高效率。而且，由于ASSP主要集中在专业应用上，因此，通常需要大量的应用软件。

这种专业化使得ASSP能够实现很高的效率，但是，也带来了很大的局限：缺乏灵活性。设计用于某一应用的 ASSP一般不能用于其他应用，甚至目标应用相关的应用。ASSP使用唯一的体系结构，与其他类型的处理器相比，更难进行编程。实际上，某些ASSP并不支持用户编程。另一方面的考虑是风险问题。ASSP通常由小供应商提供，这可能会增加难以提供芯片的风险，或者无法提供后续产品以帮助系统设计人员更新其设计，设计人员不得不从头开始进行设计。

具有CPU的GPU

GPU主要是用于3D图形，并且越来越多的用于实现其他功能，例如，视觉应用等。目前，个人计算机的GPU倾向于可编程，除了3D图形还能完成其他功能。这类GPU被称为“通用GPU”，或者“GPGPU”。 GPU有很强的并行处理能力。它们在个人计算机上是独一无二的。可以免费使用GPU软件开发工具，从GPGPU开始进行编程并不是很复杂。出于这些原因，在PC上第一次开发其计算机视觉算法的开发人员通常采用GPU作为并行处理引擎，他们出于仿真或者原型开发的目的，需要加速算法的执行。

GPU 紧密集成了通用CPU，有时候是在同一芯片上。然而，GPU芯片的一种局限是目前能够集成的CPU类型有限，而且支持这类集成的CPU操作系统也很有限。目前，可以提供设计用于智能电话和平板电脑等产品的低成本、低功耗GPU。但是，这些GPU一般不是GPGPU，因此，除了3D图形之外，将其用在其他应用中有很大的难度。

具有加速器以及CPU的数字信号处理器

数字信号处理器是专门用于信号处理算法和应用的微处理器。对于视觉应用核心的信号处理等任务，这种专业化使得数字信号处理器的效率要远远高于通用CPU。而且，与其他类型的并行处理器相比，数字信号处理器相对比较成熟，使用起来更方便。

但是，虽然数字信号处理器在视觉算法上的性能和效率要高于通用CPU，但仍然难以提供足够的性能来满足算法要求。出于这一原因，DSP一般需要一个或者多个辅助协处理器。因此，视觉应用中一个典型的DSP芯片包括了CPU、数字信号处理器以及多个协处理器。这种异质结合能够产生很好的性能和很高的效率，但也难以编程。实际上，DSP供应商一般不支持用户对协处理器进行编程；而是让协处理器运行芯片供应商开发的软件函数库。

移动“应用处理器”

移动“应用处理器”是集成度非常高的芯片系统，一般主要设计用于智能电话，而不是其他应用。应用处理器通常包括高性能CPU内核，以及各种特殊的协处理器，例如，数字信号处理器、GPU、视频处理单元（VPU）、2D图形处理器，以及图像采集处理器等。

这些芯片专门针对电池供电应用进行了设计，因此，能效非常高。而且，由于围绕智能电话和平板电脑的应用越来越重要，因此，移动应用处理器一般有很强的软件开发基础支持平台，包括，低成本开发电路板、Linux和Android端口等。然而，正如前面章节对数字信号处理器的讨论，应用处理器中的专用协处理器一般不是用户可编程的，限制了它们在视觉应用中的发展。

具有CPU的FPGA

FPGA是灵活的逻辑芯片，可以在门级和模块级进行重新配置。这一灵活性使得用户能够随时实现定制满足应用需求的计算结构。它还支持选择满足应用需求的I/O接口和片内外设。能够定制计算结构，结合现代FPGA中大量的资源，同时实现了高性能和良好的性价比和能效比。

但是，使用FGPA实际上是硬件设计功能，而不是软件开发工作。一般在寄存器传送级（RTL）使用硬件描述语言（Verilog或者VHLD）来进行 FPGA设计，寄存器传送级是很低的抽象级。与使用本文讨论的其他类型的处理器相比，这使得FPGA设计非常耗时，成本也高。

虽然如此，使用FPGA越来越方便了，这是由多种因素造成的。首先，是所谓的“IP模块”库——可重用FPGA设计组件库，其功能越来越强大了。在某些情况下，这些库能够直接满足视觉算法要求。在其他一些应用中，它们还支持视频I/O端口或者扫描线缓冲等功能。而且，FGPA供应商及其合作伙伴提供了越来越多的参考设计——采用了FPGA的可重用系统设计，面向专业应用。最后，利用高级综合工具，设计人员使用高级语言，在FPGA中实现视觉和其他算法，而且效率越来越高。用户可以在FPGA中实现性能相对低一些的CPU。而且，在少量的应用中，FPGA制造商在器件中集成了高性能CPU。

传感器扮演什么角色？

很明显，图形传感器是嵌入式视觉技术的关键。图形传感器在近年来已变得比较不那么昂贵了，这主要可归功于行动电话普遍且大量且地采用了图形传感器。除了传统的图形传感器以外，许多视觉应用都可以利用各式各样的传感器。例如，3D传感器在微软Kinect的应用即其一例，3D传感器可说是许多应用的一大福音，因为有了3D影像后确实简化了一些视觉任务。

在深入探索嵌入式系统以前，必须先具备哪些电脑视觉知识呢？

大多数的嵌入式系统设计工程师并不了解嵌入式视觉技术具有什么样的能力。这是因为，一直到最近以前，在大多数的嵌入式系统中使用视觉技术仍不切实际；它毕竟还是太昂贵了。而今，为一系列广泛的各种系统进一步纳入视觉性能，在经济上已经变得较为可行了；因此，对于系统设计者而言，熟悉这项技术、并进一步了解这项技术能做些什么是相当重要的。

早期采用视觉技术的工程师们现在已经可以拿出一些令人惊喜的新产品和产品功能了。当然，工程师们不仅需要了解视觉技术能做什么，同时也要学会如何把视觉技术整合于自己的产品中。在这方面，目前虽然已经累积了一些庞大的出版文献可供参考，但其中绝大多数都是学术研究出版品，以及一些通常不适合协助工程师用于构建解决方案的文献。工程师们需要的是更实际的资讯，如指导方针、设计实例、架构图以及样本程式码等。

嵌入式视觉系统开发平台

从头开始打造一款视觉系统或子系统，可说是一项庞大且复杂的工作。你必须从像影像传感器与处理器等这一类的基本元素开始，以及从无到有着手建立一种演算法。这对于资源的利用而言，并不是非常有效率的作法，特别是因为在视觉应用中还存在着不断周而复始出现的共同问题。

工程师们最好不要选择这种卷土重来的做法，他们应该能够针对特定应用的一些共同元素，重新使用业经验证的解决方案，然后再将自己的专才发挥在其设计独特之处。我个人认为，这意味着我们需要专门针对视觉应用的先进开发平台，例如，其中包括开发板以及合适的处理器、记忆体、I/O和图形传感器的视觉开发平台。同时还伴随有建置一个或多个视觉应用案例的应用软件。此外，这一视觉开发平台也提供了源代码，使工程师们能够参考这些范例应用立即开始工作，并对其设计进行修改，或添加所需的独特功能。

这种开发平台还将包括强大的开发工具，让工程师们在定义所需的功能时，能够作业于更高的抽象层，无需牺牲太多性能。同时，完整的开发平台还提供一个最佳化视觉建构功能的丰富工具库。

先进的开发平台将带来莫大助益，以实现并加速视觉功能的普及。

总结

采用嵌入式视觉，业界进入了一种“良性循环”，这是很多其他DSP应用领域的特点。目前虽然很少有专门用于嵌入式视觉应用的芯片，但是，这些应用越来越多的采用了针对其他应用开发的高性能、高性价比处理芯片，包括，数字信号处理器、CPU、FPGA和GPU等。这些芯片单位成本、单位功率的可编程性能越来越高，因此，能够支持实现大批量嵌入式视觉产品。这些大批量应用也相应的引起了硅片提供商更多的关注，他们会提供更好的性能、更高的效率和可编程处理能力。