张虹(Hong Z Tan)现任微软亚洲研究院高级研究员与人机交互组的经理。她目前也是美国普渡大学电子与计算机工程学院教授,机械工程学院客座教授,心理科学系客座教授。她在美国麻省理工学院(MIT)获得硕士和博士学位;在上海交通大学获得学士学位。她曾担任美国麻省理工学院媒体实验室的研究员(Research Scientist at MIT Media Lab);曾获得McDonnell Visiting Fellowship 在英国牛津大学访问;作为 Visiting Associate Professor 在美国斯坦福大学计算机系访问和工作;并曾是上海交通大学生命科学与技术研究所的客座研究员。她在基于触摸的人机界面以及触摸感知技术的研究领域享有盛誉,已经发表一百多篇具有广泛影响的学术论文,并在多个国际学术期刊编委会中担任重要职务。
“我觉得自己漂浮在床上,却又感受不到床的存在,我发现偶尔自己坐了起来,但马上又倒下了——因为我感受不到身体。”
19岁那年,一种罕见的神经系统疾病夺去了Ian Waterman脖颈以下的全部触觉和对肢体空间位置的感觉。Ian知道损坏的神经无法复原,因而只能绕过它们,寻找一种新方式控制自己。他穷尽所能观察、记忆、练习每个动作应当如何触发。普通人下意识就能自然完成的动作,对Ian来说,都离不开双眼观察和头脑思索如何让一系列指令精确执行。一年后,虽然如木偶般踉跄,虽然他总要低着头观察脚步的移动,但Ian终于又能站起来走路了。Ian对抗命运的故事写进了《Pride and a Daily Marathon》这本书和纪录片《The Man Who Lost His Body》中。
而与Ian有着相似不幸遭遇的其他人,终生却只能与轮椅为伴——你是否曾意识到,身处二维互联网世界中的我们,在与机器交互的时候,其实并不比失去触觉的人优越多少。
指尖交互的困境
当你每天用手指在手机、平板的玻璃屏幕点来划去时,当许多人将未来的交互畅想为用手指在这些玻璃屏幕背后显示的界面上、甚至是空中操作时,你可能已经忘却了双手是我们最灵活敏感的身体延伸。
我们的双手既能感受岩石的锋利坚硬,也能体会丝绸的飘逸轻柔,能分辨沙土的松散干燥,也能区别油水的湿润粘稠。
敏感的触觉让我们能清楚知道书是否多翻过了一页,即使在黑暗环境,我们也能只凭触觉系好鞋带,扣好衬衣纽扣,摸到钥匙孔打开门锁;然而在寒冷的冬日,当双手不再自如灵活,你也许体会过纵使有双眼的帮助,仍无法做好这些事。
然而当我们与“玻璃下的图片”进行交互时,其实是以视觉作为反馈的唯一方式,正如同将麻醉剂注入双手,指尖对所有界面的触觉感受都别无二致——在这样的二维加视觉式的交互中,我们浪费了造物主赋予的两平米肌肤、两百个关节与六百块肌肉。而Haptics正是一门研究如何让每个人的触觉都能用于人机交互的前沿学科。
何谓Haptics?
Haptics通过硬件与软件结合的触觉反馈机制,模拟人的真实触觉体验。由于人体感受机制复杂,对Haptics技术做清晰地分类并不容易,不过从感受输入的角度,大致可以分为对表皮,以及对肌肉中感受器刺激两类。
对普通人来说,前者其实并不陌生,手机上的“振动”就是一种表皮Haptics技术,不过许多人的误解也源于此——认为Haptics等同于“振动”。事实上这项技术远非如此简单,只是因为振动技术容易实现,而且商业化产品成熟低价。振动其实只是Haptics领域的很小一部分,在许多场景下(例如按键反馈),以振动作为触觉反馈的效果都不够好。
而与这两类输入对应的技术则五花八门,跨越的技术领域特别广泛。这也要求Haptics研究者需要了解许多领域的知识。以振动反馈为例,不但要从电子工程和机械学角度知道如何最有效地利用电能、设计原件结构,还需从心理学角度了解人体对哪些频率的振动最为敏感。不过,这也是从事Haptics领域研究的乐趣之一——尤其是对兴趣广泛的研究者来说。
生活中的诸多不便都可能藉由Haptics技术的引入得到解决。比如,人们在面对面交谈时,一方看手表的动作往往会引发对方不适,倘若手表镜面应用了Haptics技术,只需手指轻轻一摸,便能知晓准确时间,这类生活中的窘境便迎刃而解。另外一个例子是网购:现实中,我们通过触摸感受材料的质地与纹理,网购则无法实现这一点,随着Haptics技术的发展,如果平板电脑将来能模拟商品的真实纹理与质地,那么网购体验将会有革命性的提升。
虚拟触觉的“RGB三原色”
正如老话说,前景总是光明的,道路总是曲折的。Haptics是一个崭新的领域,难在建立研究的基准。我们类比视觉领域的既有研究成果,尝试将纹理分解成几个独立变量。如同光的三原色一样,我们认为粗糙度、粘滞度、柔软度很可能是触觉的三个基本维度。在理解它们后,怎样用机器模拟,以不同比例混合,是否有可能根据它们定义所有的纹理呢?当前,Haptics的研究重点之一便是理解人们如何感受纹理。
粗糙度是我们研究最深,也是目前掌握最全面的技术,而粘滞度牵涉摩擦力,则相对难以实现。此外,由于三个维度往往分别单独采用不同的技术实现,而在完成最终产品时,还要考虑三者是否能够相互兼容,同时实现。
在微软亚洲研究院,我们对如何在消费产品及可穿戴设备中应用Haptics技术的研究颇感兴趣,并且已开发了多种Haptics设备原型,能实现键盘的触觉反馈、在玻璃触屏上实现类似物理按钮般的效果。以键盘为例,在对照实验中,在拥有精确触摸反馈的键盘上,其输入速度和正确率都要高出单纯利用视觉反馈的键盘许多。而归类来说,这些原型中使用的Haptics技术包含以下两类。
一类是利用压电效应。将压电弯曲元件置于触摸表面之下,当它们受到高压产生振动时,带动表面也同时发生上下位移。
还可通过收缩表面,模拟按键咔嗒的感觉。其原理是将一块大的压电元件粘合在不锈钢片上,因为不锈钢片具有很强的面内刚度(in-plane stiffness),通过向压电元件施加高电压,元件的收缩将引起不锈钢片向一侧凹陷,在指尖产生类似轻触开关般的咔嗒体验。
我们还能以超声波的频率(20-40kHZ)振动触摸表面,令一层薄薄的空气附于其上,这层空气能让指尖与表面的接触部分变得特别顺滑。
另一类是静电效应。在下面的示意图中,玻璃屏幕之上还附着有两层材料。红色的是导电层(例如ITO导电玻璃),其上是绝缘层。当电信号通过导电层,手指皮肤中将产生极性相反的感应电荷,手指与屏幕的摩擦力将受到这些感应电荷相互作用力的影响。这些额外的作用力微小,我们只能体会到摩擦力发生了改变,却并不能单独感受到它们的存在。配合对手指位置的精确感知,以及相应位置电信号强度的变化,将让我们产生接触表面的粗糙程度发生了改变的错觉。
由此也可见,Haptics是一种交互,不仅与“显示”有关,还与动作捕捉及感应紧密关联。在意识到这一点之后,最近有一些技术展示,实现了极高的位置分辨率,进而能显示非常细腻的纹理,实现灯芯绒般的手感。
从鲜为人知的术语,到被寄予希望的未来技术,Haptics正逐渐走向我们的日常工作和生活。Amara法则说,我们常常高估科技的短期影响力,而又低估其长期影响力。在互联网世界逐渐三维化,并越来越和现实世界水乳交融的过程里,人和机器的交互界面将不再受限于玻璃平面之下的二维世界法则,会变得跟现实世界一样细腻丰富。要让梦想更快地实现,还有赖于研究者们更多的关注和科研突破。