1 引言
在危险的工业现场等应用领域,实施图像监控的意义十分重大。图像监控技术从模拟图像监控到数字图像监控是监控系统发展的趋势,是数字化技术和计算机技术发展的必然结果。嵌入式图像监控系统属于数字图像监控系统,能够很好满足客观现状对图像监控系统的要求,达到多方位远程监控的目的。数字图像监控系统不仅符合信息产业的未来发展趋势,而且代表了监控行业的未来发展方向,蕴藏着巨大的商机和经济效益,基于小波压缩的嵌入式图像监控系统具有重要的现实意义,面向工业现场、交通、金融、商业等诸多领域的应用。
2 图像监控技术的发展概况
2.1 本地模拟图像监控系统存在的问题
图像监控技术的发展经历了三个主要阶段:模拟图像监控技术,基于pc的数字图像监控技术和基于嵌入式系统的数字图像监控技术。目前国内还较多地使用本地模拟图像监控系统,即采用由摄像机、视频矩阵、监视器和录像机组成的监控系统,使用视频线、控制线等电缆连接。虽然本地模拟图像监控系统能够保证采集得到的图像清晰、不失帧,但在许多方面都存在着明显的局限:
(1) 输距离小,只能实现本地监控,而且图像质量随传输距离的增加而明显下降;
(2) 系统的可扩展性差,由于电视或计算机与摄像头的接口数目是有限的,因此扩展性差,无法形成复杂的监控网络;
(3) 后期处理能力不强,无法利用先进的数字图像处理技术,而且由于存储介质限制,无法实现图像数据的大容量存储;
(4) 无法利用现有的网络,必须重新铺设专用线路,存在重复投资等问题。
2.2 对图像监控系统的要求
随着技术的进步和社会经济的不断发展,客观上对图像监控系统的准确性、有效性和方便性提出了更高的要求,主要体现在以下两个方面:
(1)需要实施图像监控的范围更加广阔,由传统的安防监控向管理监控和生产经营监控发展,而且对同一套系统的覆盖面和实施距离也提出了更高的要求,达到点多面广的监控效果;
(2)要求监控系统与管理信息系统、网络系统结合,实现对大量图像数据的压缩存储、传输和自动处理,从而达到资源共享,为各级管理人员和决策者提供方便、快捷和有效的服务。
数字图像监控系统不仅可以克服模拟图像监控系统的局限性,而且能够很好地满足客观现状对图像监控系统的高要求。第一代数字图像监控系统是以pc机为核心,以大容量硬盘作为存储介质,使用pc机处理图像信号,利用计算机的数据处理能力与显示器的高清晰度,将视频信号通过视频采集卡采集到计算机中、并由显示器显示,大大提高了图像的质量,利用通信接口卡,可以通过通信网络实现信息在一个多个监控中心的共享,很好地体现了数字图像监控系统的优势。但同时也存在缺点:一是无法实现“无人值守”,系统需要专人看护;二是稳定性较差,整个系统的稳定性依赖于pc机的性能,而且功耗相对较大。新一代的数字图像监控系统以嵌入式处理器为核心,开发以太网接口直接实现图像数据经现有网络传输,授权用户在任何地方都可以通过普通的网络浏览器查看监控终端的图像,工程费用大大降低,而且系统可以长时间稳定运行。
数字监控设备的核心技术在于将模拟视频信号数字化并压缩编码在可利用的数字通信线路上传输。目前常用的图像压缩技术有:jpeg标准,mpeg标准、h.26x标准和小波变换等。jpeg标准是由国际图像编码联合专家组于1990年最终确定的静止图像压缩编码技术,该标准包括图像编码和解码以及压缩图像数据的编码表示。该标准的基本编码方式是将图像分成8×8的子块,分别作dct、量化,然后进行哈夫曼(或算术)编码,无需进行帧间编码;mpeg标准是用于运动图像及其伴音压缩与编码的标准,该标准包括:(1)mpeg-1是面向普通家庭电视机分辨率水平的视音压缩标准,旨在达到vcr质量,视频压缩率为26:1;(2)mpeg-2是面向广播电视级分辨率视频的视音压缩标准,适用于计算机显示质量的图像,压缩后的数据率为6mbps,可将视频节目中的视频、音频、数据内容等组成部分复合成单一的比特流,适合于在网上传输;(3)mpeg-4用于每秒10帧低速率和64kbps的低带宽视频信号传输,编码系统开放并可随时加入新的算法;(4)mpeg-7标准是针对基于内容检索需求的“多媒体内容描述接口”,它将多种不同类型的多媒体信息进行标准化的描述,同时为多媒体描述的不同步骤定义了一整套的方法和工具,将描述与所描述的内容相联系,以实现快速有效的搜索;h.26x标准主要是指h.261标准和h.263标准:
(1)h.261是于1989年制定的可视电话和电视会议的视频压缩标准,建议传输速率为p×64kbps(p=1~30),该标准采用具有运动补偿的帧间预测,然后对预预测误差作dct、量化和霍夫曼编码,采用向前预测使编码延迟减小;
(2)h.263标准是itu-t制定的低比特率视频压缩标准,采用的图像格式为qcif(180×144)或subqcif(128×96);小波变换以其良好的空间-频率局部特性和与人眼视觉相符的变换机制,在图像编码领域得到了广泛应用。在小波压缩系统中,有2个至关重要的因素:一是压缩编码算法;二是小波滤波器。压缩编码算法主要有shapiro的零树编码以及said的spiht和xiong的时频量化等。在滤波器的选择上一般选择正交滤波器组,除去图像像素之间的相关性。cohen和daubechies等人的9-7双正交小波基不仅具有良好的数学性质,还具有良好的压缩性能,与小波变换相配套的零树编码算法以其高效性被mpeg-4采纳。在图像监控领域采用小变换算法或集成小波变换功能的芯片,将使图像的质量得到很大幅度的提升,是一种优良的解决方案。
目前国际上很多厂商遵照h.261、mpeg-i、mpeg-ii、wavelet标准研制生产除了单片型的视频传输编解码器,采用硬件方式进行图像的压缩和解压缩,完全脱离pc结构。通常分为编码部分和解码部分,一对编解码器配合使用可以同时对视频音频数据的双向传输。它有效的解决了视频信号在低带宽线路上的传输,使长距离传输实时活动图像变得容易和便宜。
3 嵌入式处理器的发展概况
嵌入式系统(embedded system)被定义为:以应用为中心,以计算机技术为基础,软件硬件可裁剪,适应对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。今天,嵌入式系统已经无处不在,从汽车、pda、电视机,到工控生产现场、通信、仪器、仪表、汽车、船舶、航空、航天、军事装备、消费类产品等方面,都能发现嵌入式系统的踪影。从国内外的嵌入式系统发展状况来说,嵌入式系统的应用正在从传统的单一应用范围、狭窄应用对象、简单实现功能向现在和未来社会需要的应用需要进行转变。工业自动化领域对嵌入式系统的需求正在慢慢扩大,特别是最近几年来随着工业以太网的发展,对嵌入式智能设备的需求越来越明显。嵌入式系统在智能设备里面的应用,是对嵌入式系统概念和应用范围的一个变革,会出现一个由多芯片、多处理器占领工业自动化应用市场领域的局面。
目前,在嵌入式处理器市场上,arm系列处理器以其高性价比,价格低廉广受用户青睐,而且许多国际知名的芯片生产厂家都已经购买了arm芯片设计许可并开始大量生产针对特定应用领域的arm芯片,芯片种类十分丰富。arm公司专注于芯片内核设计,其内核功耗少、成本低、功能强,特有的16位/32位双指令集,存储器比等价32位代码节省近35%,16位的thumb状态和正常的arm状态之间的开销为零。目前arm嵌入式处理器有5个产品系列-arm7、arm9、arm9e、arm10和securcore。
arm7系列是低功耗的32位核,最适合应用于对价位核功耗敏感的产品,可分为应用于实时环境的arm7tdmi、arm7tdmi-s以及适用于开放平台的arm720t核适用于dsp运算及支持java的arm7ej等。arm7采用三级流水线和冯-诺依曼结构,提供0.9mips/mhz的性能。迄今为止,arm7tdmi是世界上应用最广泛的32位嵌入式处理器。
arm9系列采用5级流水线和哈佛结构,提供1.1mips/mhz的性能,是高性能和低功耗的硬宏单元。arm920t和arm922t具有全性能的mmu、指令和数据cache以及高速amba总线接口。
arm10系列硬宏单元,带有dsp扩展、embeddedice-rt、全性能mmu、cache和64位ahb指令和数据接口,采用六级流水线,提供1.25mips/mhz的性能,比同等的arm9器件性能提高50%。
嵌入式操作系统通常分为商用型和免费型两类。商用的嵌入式操作系统有windriver(风河)的vxworks和psos、美国ati的nucleus plus以及microsoft(微软)的windows ce等。免费的嵌入式操作系统有嵌入式ulinux、uc/os等。商用型操作系统功能稳定、可靠,有完善的技术支持和售后服务,但往往价格昂贵。免费型操作系统具有源代码公开和无需版税的优势,但也存在着开发困难的不足。
uclinux是一种优秀的嵌入式linux版本,继承了标准linux的优良特性,并针对嵌入式处理器的特点而设计,内嵌网络协议、支持多种文件系统,开发者可以利用标准linux先验知识等优势。其编译后的文件可控制在几百k量级。uclinux具有对多种文件系统的支持能力,而且内嵌了tcp/ip协议,非常适合于应用在工控领域。uclinux已经成功移植到多种像s3c4510b这样不带mmu的嵌入式微处理器平台上,并在稳定性和其他方面都有上佳表现。更为重要的是uclinux具有完整的tcp/ip协议,可直接在其基础上进行应用层协议开发,大大加快软件开发进程。当然该系统也并非十全十美,它的非实时性就使应用受到一定的限制,不过这点可以通过修改内核来弥补。uclinux的基本架构如图1所示:
boot loader:负责linux内核启动的代码,用于初始化系统资源以建立linux内核运行环境,并从flash存储器中装载初始化ramdisk;内核初始化:内核的入口点是start_kernel()函数。它初始化内核的其他部分,包括捕获,irq通道,调度,设备驱动,标定延迟循环,最重要的是能够fork“init”进程,以启动整个多任务环境;系统调用函数/捕获函数:在执行完“init”程序后,内核对程序流不再有直接的控制权,此后,它的作用仅仅是处理异步事件(例如硬件中断)和为系统调用提供进程;设备驱动:设备驱动占据了uclinux内核很大部分。同其他操作系统一样,设备驱动为它们所控制的硬件设备和操作系统提供接口;文件系统:文件系统使得用户能够查看存储设备上的文件和路径而无须考虑实际物理设备的文件系统类型。uclinux透明的支持许多不同的文件系统,将各种安装的文件和文件系统以一个完整的虚拟文件系统的形式呈现给用户。
4 图像监控系统硬件设计
针对目前图像压缩技术和嵌入式处理器的发展概况,采用基于硬件图像压缩技术、以arm7嵌入式处理器为核心、并选用uclinux为嵌入式操作系统的嵌入式图像压缩系统将具有较高的性价比,而且开发周期相对要短,适合于规模较小的开发团队。
选用硬件压缩方式主要是指采用先进的asic芯片来实现图像的编码,在相应的芯片中往往集成了优良的压缩协议,并采用先进的算法,使图像的压缩比和质量有很大的提高。整个系统的结构如图2所示:
采用小波压缩芯片能够以硬件的方式方便地实现图像数据的编码/解码,而且能够与嵌入式处理器方便地接口。目前能够实现小波压缩编码的芯片种类不是很多,从应用的效果来看,ad公司生产的基于小波变换的实时视频压缩芯片adv611的表现十分优秀,它支持常用的ccir-601数字视频格式的压缩解压,还可以实现以下功能:
(1) 精确的压缩码率控制;
(2) 硬件帧率设置;
(3) 场独立压缩;
(4) 8位视频接口,支持ccir-656;
(5) 支持pal和ntsc制式;
(6) 可编程的高质量框(quality box);
(7) 512个双字fifo主机接口(16/32位);
(8) 压缩率可调-从视觉无损的(4:1)~最大的(7500:1);
(9) ccir-601和视频pal/ntsc的实时压缩或解压,pal(25fps),ntsc(30fps);
(10) 集成dram接口控制器。
adv611的基本工作原理为:在编码模式时,从数字视频接口接受未压缩的数字视频信号,经小波变换和帧抽取后送自适应量化器进行量化,然后送至编码器进行编码输出,即得到压缩数据。解码路径的数据传输过程则相反。adv611小波变换滤波器采用双正交(7,9)小波基,采用该小波基处理数字图像,效果十分理想。经小波分解后,图像并没有得到压缩,而需要经过系数量化。量化是指试图确定什么信息可以安全的消去,而没有明显的视觉保真度损失的一个过程。adv611/adv612利用人眼视觉系统的反应特点,来量化滤波过的图像。通常人眼对于图像中高频部分的敏感度不如低频部分,因此经过滤波后的图像包含的信息通过智能“量化器”,adv611完成了没有损失视觉效果的压缩。该过程可以用来确定压缩比,因此对于图像传输具有很重要的作用。由于internet是一个不确定的系统,数字图像在internet上传输时,其带宽应该根据网络的实时情况动态地改变。当网络拥塞情况比较严重时,应该增大量化器数值,减小数据流量;当网络通信正常时,可适当降低量化器数值,加大数据流量,以获得更清晰的图像质量。量化器的自适应变换可以由主处理器根据网络的拥塞情况和当前场图像的统计数据实时调整。
s3c4510b是三星公司生产的以arm(advanced rsic machines)16/32bits的rsic arm7tdmi微处理器为内核的一种微控制器,同时它又是一款基于以太网系统的高性价比的微控制器,具有高达50mhz的工作频率,除了各种通用接口外,特别提供独立的功能强大的以太网控制器,非常适合于应用在相对复杂的嵌入式以太网应用系统。s3c4510b内嵌的以太网控制器支持媒体独立接口(media independent interface,mii)和带缓冲dma接口(buffered dma interface,bdi),工作速率为10/100mbps,支持全双工/半双工模式。在半双工模式下,控制器支持csma/cd协议,在全双工模式下支持ieee802.3 mac控制层协议。由于s3c4510b内部已包含了以太网mac控制,只需外接一片物理层芯片以提供以太网的接入通道。
5 图像监控系统软件设计
系统软件要完成图像的实时采集,压缩,打包,网络传输功能。完成的后的设备相当于带网卡的计算机和摄像头的集成,设备分配一个ip地址,可像普通pc机一样联入internet网,在全球任何地方都可键入正确的ip地址获取本系统采集的图像数据,对现场进行实时监控。整个系统的结构示意如图3所示:
图像监控设备上配有以太网接口rj45,当用网线把监控设备与internet连接,配置好ip地址并运行网络服务器后,用户在internet上任何一台机器上就可以在浏览器中敲入ip地址,访问存在监控设备中的主页了。另外,主站pc机还可以不断依次发出查询信息,对下层嵌入式设备节点进行查询,下层智能设备也随时监听网络,与上层主站pc机进行数据通信,比如要是读取信息,则把自己测量的数据打包返回,要是写入信息,则把数据段的信息写入相应内存地址。
用户与服务器的交互是通过cgi程序来完成的。cgi(common gateway interface共用通道界面)简单地讲是个运行在web服务器上的程序,由浏览器的输入触发。这个脚本通常是客户端与服务器中其他程序如数据库的桥梁。用户可以通过点击页面,监视下层数据,如温度,开关状态等,具体交互过程如图4所示:
用户在远程浏览器输入智能设备的ip值以后,当得到服务器确认后,进入监控界面。上面有对智能设备重要数据的显示和下传界面。用主页来显示数据监控界面,不仅利用了现有it技术,节省购买和开发监控显示软件的费用,而且使用户不受地域的限制,后一点在工业自动化应用中具有十分重要的意义。这使得智能设备像普通pc机一样联入internet网,在全球任何地方都可键入正确的ip地址获取智能设备采集的数据,对现场进行实时监控。
6 结束语
基于硬件压缩技术的嵌入式图像监控系统采用了目前先进的小波变换技术和嵌入式技术,设计完成的图像监控系统具有传统的图像监控系统无可比拟的优势,能够成功地应用到工业现场。而且由于大多的现场总线设备都提供了以太网接口,因此本系统能够方便地实现与现场总线网络的互联,真正实现网络监控、管控一体化的目的。