导读


用过智能手表的朋友都深有体会:智能手表的触摸屏太小,操作起来非常不便。然而,最近一项创新技术,让你只需要穿戴一个深度摄像头设备,就可以用拇指和食指在手背和其上方,自由操控智能手表,甚至还可操控智能手机、智能电视、以及AR/VR设备等。

关键字

深度传感器、人机交互、AR/VR、智能手表、深度学习

背景

随着技术不断进步,新一代的智能设备例如智能手表、智能手机、智能电视、AR/VR设备等等,在处理器、显示屏、摄像头、传感器等方面的性能更佳,功能更多。


可是,人机交互,主要还是依赖触摸屏。虽然,触摸屏技术一直在进步,出现了包括“3D touch”三维多点触控技术等很多创新进展。但是,由于智能手表的触摸屏面积很小,用户手指和这样的触摸屏交互起来,会非常不便。


为此,John 之前给大家介绍过一些创新的人机交互方式,如下:


  • FingerIO技术,它利用传统的声纳技术,追踪手指在设备周围的运动,从而实现人机交互。

(图片来源:Dennis Wise/华盛顿大学)

  • SkinHaptics 超声波技术,它通过手掌背面的超生波发生器,发送超声波,检测手心产生的人机交互的触觉信号,将人的手掌变成触控屏。

(图片来源于:英国萨塞克斯大学 )


  • SkinInterface 技术,它利用人体作为电波导装置,持续监测皮肤上的手指运动。

(图片来源于:卡耐基梅隆大学)

「Whoosh」向触摸屏吹气


(图片来源于:佐治亚理工学院


「WatchOut」手指在表壳或者表带上点击或者滚动


(图片来源于:佐治亚理工学院


「TapSkin」手指点击皮肤区域


(图片来源于:佐治亚理工学院


创新


除了以上这些人机交互创新方案,我们今天要介绍一项最新的人机交互方面的创新技术:“WatchSense”它主要利用了深度传感器,在手背表面和其上方空间,追踪拇指和食指的运动,作为人机交互的输入方式使用。


这项技术是由马克斯普朗克信息学研究所、哥本哈根大学、阿尔托大学的科研人员联合开发,主要研究人员有马克斯普朗克信息学研究所图形、视觉和视频研究组的 Srinath Sridhar 和 Christian Theobalt,以及哥本哈根大学的 Anders Markussen 和 Sebastian Boring、芬兰阿尔托大学的 Antti Oulasvirta


(图片来源于:Oliver Dietze)


该系统仅仅利用了一个小型深度摄像头,就可以追踪位于手背上方的手指三维位置,还能检测手指与手背的触摸,同时判断出是哪个手指简单点说,它可以实时检测指尖、手指身份和触摸事件(在平板电脑上大于 250 Hz,在智能手机上大于 40 Hz ),支持空中和多点触摸。


(a, b) WatchSense 追踪指尖在空中的位置和手背的触摸。

(c) 它可以区分不同手指,例如拇指和食指。

(d) WatchSense 能够更好的识别半空中的手指位置(上右)、手背上的触摸(下左)、以及这两种方式的结合。

(图片来源于:参考资料【2】)


(a) 用户佩戴一个深度传感器,通过WatchSense技术,能在手背皮肤表面和上方进行交互输入。

(b)这个原型通过在用户前臂佩戴一个小型深度摄像头,模仿智能手表的设置。

(c)它可以在移动消费电子设备上,实时追踪指尖3D位置,用户身份、手背上的触摸,使得用户在进行活动的同时,也能够开展空中和多点触摸交互。

(图片来源于:参考资料【2】)


技术


(图片来源于:参考资料【1】)

  • 硬件


硬件其实很简单,就是一个深度传感器,它比 Xbox 360 视频游戏中的 “Kinect”游戏控制器要小很多。它其实也是一个3D摄像头,穿戴于用户前臂,离智能手表约20厘米处,可捕捉手背表面及上方空间中的拇指和食指运动。


  • 软件


该软件的核心是算法,其中用到了图像处理技术和深度学习技术,通过分析3D图像,识别手指位置和运动。这个软件算法主要解决了手背表面凹凸不平、以及手指在运动时会相互遮挡的问题。


用户可以通过软件,控制智能手机或者其它设备的应用程序。


  • 测试

研究人员成功在几个移动设备(平板电脑、Nexus 9平板、OnePlus 3手机)上模拟不同场景,对于 WatchSense 原型设备的功能进行测试。


(图片来源于:参考资料【1】)

(图片来源于:参考资料【1】)


价值

这种新型的交互技术,带来了前所未有的交互形式,快速而便捷。为了简明阐述这项技术的价值,研究人员也列举出了它的一些应用:


  • 音乐控制器


运行在安卓手机上的 WatchSense 应用程序,自动提供音乐播放器控制功能,它具有三个功能: (1) 调整音量 (2) 改变音轨 (3) 音乐回放,且控制音乐播放功能的效果比安卓手机默认的方式要更好,更快速,更自由。


  • AR/VR 输入设备


研究人员利用了一个 VR/AR游戏,通过不同的手指的组合控制方式,操纵这些纸箱。


(图片来源于:参考资料【2】)


  • 智能手表上的地图应用

利用WatchSense装置,用户可以通过手指控制智能手表上的地图应用,例如通过食指触摸手背移动地图,通过食指和拇指的触摸手背缩放地图,通过拇指触摸手背,食指悬停于手背上方,翻看地图菜单。

(图片来源于:参考资料【2】)

  • 在大屏幕上查看图片

WatchSense 装置可用于在大型外部屏幕上查看图片,下面展示了几种手指动作的配合方式,用于移动图片、缩放图片等等。

(图片来源于:参考资料【2】)

所以说,这项技术不仅可以用于控制智能手表、还可以用于控制智能手机、智能电视、以及AR/VR设备。相对于之前的感知技术,它更灵活,更方便。

未来

目前来说,这个设备还有以下一些缺陷:

  • 第一,有点笨重,需要进一步小型化。

  • 第二,受限于近距离感知,深度传感器必须放在离手腕20厘米左右处。感知的距离和效果还有待于进一步提高。

  • 第二,这个设备只支持拇指和食指,未来需要支持更多手指动作识别。

  • 第三,软件算法有待拓展,以支持任何物体表面的操作。

未来,研究人员会进一步拓展这项技术,带来更丰富的人机交互方式,并且传感器会更加小型化,甚至可以嵌入到智能手表中。


参考资料


【1】http://handtracker.mpi-inf.mpg.de/projects/WatchSense/

【2】http://handtracker.mpi-inf.mpg.de/projects/WatchSense/content/WatchSense_CHI2017.pdf



需要进行深入咨询和交流的朋友,请联系微信:JohnZh1984

不用触摸屏,手指在手背上就可以控制智能设备!
Tagged on: