如果你翻阅词典,你会发现,对于“多媒体技术”的表述是——通过计算机对文字、数据、图形、图像、视频、音频等多种媒体信息进行综合处理和管理,使用户可通过多种途径与计算机进行实时信息交互的技术。显然,这种说法早已过时。如今的多媒体硬件设备已经从计算机延伸到手机、平板、电视,以及即将到来或者说已经到来的穿戴式设备,我们已经进入了多媒体技术应用的新时代。
而现下,无论在哪一个硬件平台上,多媒体技术中关注度最高的无疑都是图形图像这一部分。移动设备和新一代家庭影像设备市场的火爆,4K2K超高分辨率视频、3D 影像、扩增实境等高端体验需求的出现,使得图形处理技术的重要性与日俱增,并驱动了其在各应用领域的发展。未来,图形处理技术将会如何演进?移动设备对图形处理技术的发展产生了怎样的影响?在日前举办的ARM多媒体应用技术研讨会上,来自ARM公司的技术专家,以及多位ARM的合作伙伴,从不同角度解析了图形处理技术的发展趋势,并分享了他们在多媒体技术应用方面的经验和成果。
图1 2014 ARM多媒体应用技术研讨会
对于图形处理,GPUor CPU?
由于人们对更逼真画质和各种画面特效的不断追求,让图形处理技术开发的热度不减。然而,问题来了,GPU or CPU?哪个更好?影像及视频多媒体软件技术公司 ArcSoft的全球副总裁Frison Xu在研讨会上说,人们需要客观的看待CPU和GPU,因为两者在不同情况下会展现出各自不同的优势。另外,时序也决定了是使用CPU还是GPU。当整个执行过程是一条流水线式的时候,我们采用CPU;而GPU适合于可以分工的情况,如果你可以把运算分解到各个层面,GPU将是一个很好的平台。
Frison Xu还介绍了基于GPU技术的人脸美化、人脸识别、夜景优化等等。市场普遍认为,由于GPU的低功耗、以及实时图像处理的实现,随着智能移动设备应用越来越丰富,GPU的优势会更加明显。而GPU Compute则加大了这一层面的筹码。
对于ARM推出的Mali GPU,其另一个突出的特点是CPU与GPU的协同设计能力。当所有运算能全部放到Mali GPU上去做的时候,你当然不需要考虑这一点;但是,目前移动设备中CPU与GPU之间的协同处理操作越来越多,两者的协同设计就显得尤为重要。在这一点上,ARM做的非常好,Frison Xu称赞道。
图2 ArcSoft图像增强和照片处理采用Mali GPU Compute提高功效,实现低光视频捕捉及复杂的实时静态/动态图像处理。
你可能感受到了ARM推广Mali系列的决心,而目前来看,Mali的状况也十分强势。Mali GPU已经获得全球市场的认可,比如Samsung GALAXY Note 10.1采用了支持OpenGL ES 3.0和Open CL 1.1的Mali-T628 GPU。2013年上半年,Mali GPU出货量达到1.5亿, 20% 以上的安卓智能手机采用了Mali GPU,而在安卓平板上的应用占比居于首位。当然,你也会看到,Mali GPU在具有图像核心的智能电视上的应用占比同样排在第一。 对此,ARM多媒体处理器事业部全球市场营销副总裁Dennis Laudick表示,我们关注移动设备领域,但移动设备之外的市场也非常重要。
用更高端的技术推动产业发展
ARM公司CPU事业部营销总监Ian Smythe表示,ARM的目标是将触角延伸到不同的领域。ARM在2013年末收购了图形处理公司Geomerics,获得了Geomerics的光源引擎技术Enlighten。
参加本次研讨会的游戏开发引擎公司Unity已经与ARM合作,在其Unity 5游戏引擎中内置了Enlighten技术。Unity公司大中华区总裁Allen Foo表示,Enlighten技术能够让Unity 5游戏引擎实现实时全局光效果,这将大大降低开发者的开发成本。可以看出,ARM通过此举加强了在图形计算及游戏领域的实力。
图3 Unity 5内置Enlighten技术
图4 TVplay 4K电视游戏
无论是规模翻番的手游市场,还是手游之外,像Oculus虚拟沉浸式眼镜这样的新兴硬件设备的出现,都显示出游戏市场的火爆。ARM对这一领域的关心也由来已久。在研讨会展示区,我们还看到了多家公司的大屏幕游戏应用,其中TVplay公司的电视游戏已经达到4K级别。就像几年前你无法想象手机能拍摄2000万像素的照片一样,未来,一切都还会有更多的提升。而ARM所做的就是技术上的推动,不管是GPU Mali系列还是移动领域的64位处理器,硬件平台的发展都将为下一步的多媒体应用带来更多的发挥空间。