1. 前言
在虚拟现实中,我们要戴上厚重的VR头显,双眼的注意力只能集中在头显的屏幕上,我们唯一能看到的只有头显的显示器。那我们应该要怎么在VR中进行操控呢?传统的键盘显然是不能用了,对于大多数关了灯就没法打字的玩家来说,戴着头显玩游戏更是天方夜谭了。
那究竟在VR中我们要用什么操控呢?其实VR硬件厂商还在探索最好的解决方案,因此除了目前常见的手柄操作外,还有很多厂商陆陆续续推出了各种各样的操控方案,如手势、手套、万向跑步机、脑控等。
也许最好的解决方案还没有出现,所以硬件厂商们还在继续探索。这篇文章将总结一下目前存在的控制方案。看看有没有你喜欢的?
2. 传统游戏手柄
去年 6 月 12 日,Oculus 发布了消费者版本的 Oculus Rift,并宣布Oculus已与微软达成合作,XboxOne手柄将成为其硬件产品的重要输入方式。消费版的OculusRift将会采用何种输入和交互方式,一直是人们的关注点之一,Oculus给出的答案却出乎我们的意料——Xbox One手柄。Brendan介绍说,手柄依然是玩游戏最好的输入方式,即便是在虚拟世界中,所以Oculus此次选择与微软游戏部门合作,而后者将为OculusRfit提供配套的游戏手柄作为用户的输入工具。微软Xbox部门负责人PhilSpencer也亮相为Oculus站台,并透露即将推出的Windows 10操作系统将原生支持Oculus Rift,用户也可以用Oculus Rift连接Xbox One体验到诸如《光环》、《日落过载》和《极限竞速》这样的Xbox One独占游戏。
虽然传统的键盘操作没能在 VR 中使用,但手柄却侥幸赶上了 VR 的潮流。尽管如此,手柄操作大大限制了 VR 的体验,因此随着 VR 的发展,一些新的操作方式后来居上,手柄操作开始逐渐淘汰。但手柄作为 VR 最开始的操作方案,虽然不是一种最好的方案,但仍然是一种可行的方案。
3. VR手柄
一套 HTC Vive 除了头显以外,还有定位器和一副无线手柄。与定位器配套后,这套手柄可是发挥了大作用,可以满足玩家在 VR 中的大部分操作,还能够帮助定位。HTC Vive 这套手柄的材质非常好,特别是手握的部分,类肤质的手感非常舒服,而且它的外形非常适合射击游戏中的操作。
作为HTC Vive整体中的重要一部分,Vive手柄可以视为身体的延伸,独立参加定位和动作的捕捉,那么在实际游戏中可以起到的作用就相当丰富了,比如射击游戏中的枪支,太空游戏中的飞船,甚至干脆就真的作为手臂在游戏中渲染出来,相比仅仅可以捕捉头部动作的Oculus Rift,HTC Vive多出了一个动作维度。
在安装Vive过程中,手柄定位系统被校准一次后,就无需再次校准,除非是需要转移Lighthouse基站的位置。当然,Vive手柄也有失灵的时候,但这种情况很少,主要还是因为屋内安装了Xbox One,Kinect或是监控摄像头发射的红外线,引起干扰。如果不是特殊情况的话,Vive手柄的稳定性很强,不会打断正沉浸在虚拟世界中的玩家。
人机工程是一个很复杂的综合项目,总体来说,HTC Vive虽然并不会让你觉得不舒服,但是Oculus Touch显然更符合人类的手型,你的手指可以很舒适自然的放在按钮与操作杆上,可以让人很直观的了解到如何使用设备,即使是一个新手。但是Oculus Touch也不是没有缺点,对于那些手比较大的用户来说,Touch比较紧密的控制键会让他们觉得难以操控,但是这只是极端现象。Touch更符合长久以来,人们对于游戏手柄的体验,同时,Touch控制器在按键的控制上更加灵活,可以适应更多的创意体验。
对于VR来说,如何让玩家相信飘在眼前的手就是你自己的手这是一件相当有难度的事情,想要实现这个需要硬件、驱动、游戏三方的联动,当这一切达到完美时,就会产生梦幻般的效果。
在这点上,Touch比较有优势,凭借优秀的人机工程,玩家可以很自然的与虚拟现实场景产生互动,特别是当玩家在虚拟世界中拿起一个对象的时候,由于产生了现实中的肌肉动作与触觉,因此在触感上更加真实。
PS Move是索尼在2010年为PS 3打造的体感设备,手柄上端附带着发光的小球,有些类似于电视机的远程控制棒。尽管这款手柄可应用于多种场景中,但它最初发布的目的是为了媲美任天堂Wii Remote控制器。和其他两大厂商的定位方案相比,索尼VR定位功能显得有些寒酸,或许是意识到了这点,在刚刚结束的E3大会上,索尼发布了Aim,这是一款专门为PSVR射击游戏《Farpoint》设计的游戏外设。
Move的人体工程学设计也是令人担忧的原因之一。Move的外形是一个圆柱体,握住手柄刚好是最佳位置。但你要想换个握法,你的手部肌肉可能会抽筋。而在VR中,常见的就是变换握法。
4. 手势操作
2013年,初创公司Leap发布了面向PC及苹果电脑MAC的体感控制器Leap Motion。但是当时Leap Motion的体验效果并不好,又缺乏使用场景,与二维计算机及终端有着难以调和的矛盾。
而VR的出现,仿佛为Leap Motion新开了一扇天窗,Leap Motion倡导的三维空间交互与VR可谓完美结合,因此Orion应运而生。Orion是原有的Leap Motion软件的一个升级版本,硬件不变。在VR系统中,Orion提供了一种手势的输入方式,它可以将手部的活动信息实时反馈到处理器,最后显示在VR头显中。
简单来说,Leap Motion是基于双目视觉的手势识别设备。那什么是基于双目视觉的手势识别呢?
顾名思义,双目视觉就是有两个摄像头,利用双目立体视觉成像原理,通过两个摄像机来提取包括三维位置在内的信息进行手势的综合分析判断,建立的是手部的立体模型。这种方法对于用户手势的输入限制较小,可以实现更加自然的人机交互,但由于需要进行立体匹配,且由于立体模型的复杂性,需要处理大量的数据,计算相对来说较复杂。
要实现双目手势识别首先需要对双目摄像头做标定,即是计算空间中左右两台摄像机位置的几何关系。首先是对单摄像机的标定,其主要任务是计算摄像机的内部参数(包含摄像机的投影变换矩阵和透镜畸变参数)和外部参数(包含相对于某个世界坐标系的旋转矩阵和平移向量),形象点说,摄像机本身存在畸变,如果不经过标定过程,摄像机所拍摄出的影响是存在畸变的,即可能将原本的矩形显示成不规则的圆角四边形。然后是标定,即计算空两台摄像机在空间中的相对的几何位置关系(包含旋转矩阵和平移向量),通俗讲就是使得两台摄像机所成的影像显示在同一水平线上。
5. 手套
西班牙的科技公司NeuroDigital Technologies设计了Gloveone这一产品。
Gloveone并不是普通手套,而是智能手套;它们有一系列的嵌入式传感器,使用户能够感受到控制虚拟物品的感觉。
Gloveone有四个传感器,分别置于拇指、食指、中指和手掌部位。传感器是互通的,并且可以探测到彼此的信号,使用户有确切地触摸到物体的感受。
Gloveone带有9轴惯性测量组合传感器,用于记录并测量速度和重力。
Manus VR手套承诺要将手持控制器从虚拟现实中淘汰,让用户在沉浸式、数字化的空间里使用自然的手和手指运动。它兼容于HTC Vive,利用该系统Lighthouse位置追踪技术的优势,该手套的首个开发者套件将在今年第二季度开放预售,售价是250美元。
Manus VR是一个荷兰团队,成立于2014年,他们的目标是创造世界上第一款消费者虚拟现实手套。Manus VR将会参加下周的游戏开发者大会GDC,所以敬请期待一些实践的或带在手上的体验手记。
Senso VR虚拟现实手套配备了多个不同的动作捕捉传感器,可实现精准的控制,现在支持主要的虚拟现实头显,如Oculus和HTC Vive。该款手套主要针对游戏、医疗服务和机器人。另外,Senso VR手套还可通过蓝牙进行无线连接。
这个手套还有温度控制,也就是说,你可以感受到冷和热。但是功耗会很大,所以需要一直连线充电。所以Senso VR还需要想办法解决这个问题。
对于续航能力,一般可以连续工作8个小时。其实这并不是我们第一次看到虚拟现实手套,之前也有Glove one和Manus VR。但这款手套看上去仍然很酷,尤其是温度感应。
Vivoxie团队已经在Indiegogo为其触觉手套PowerClaw发起众筹,目标为55,000美元。该手套在指尖处内嵌了制动器,可以让用户感受到温度的变化,震动,以及物体的纹理。Power Claw的应用不仅仅只局限于游戏,这个作为辅助设备的触觉手套还可以用于教育、医学、培训或土木工程等领域中。Vivoxie团队计划在今年12月份开始生产,并于2017年2月份正式发货。
其实,Vivoxie团队早在两年前就已经在研发触觉手套,并在2015年科隆国际电子展上公开展示了PowerClaw的原型产品。不过这个经过1年时间优化的产品,其效果到底如何仍有待观察。不过YiViAn相信随着技术的不断进步,完全沉浸的虚拟世界迟早都会到来。
6. 万向跑步机
Omni是Virtuix公司开发的一款全方位跑步机。我们知道,普通的跑步机主要体现速率和距离这两个维度的数据,但Omni在这基础之上,还加入了方位这一因素,让用户可以自由的在Omni上转向,朝任一一个方向前进。Omni不会采用传统的输送带式跑步机结构,取而代之的,是一个光滑、倾斜的表面,当玩家向前走的时候,就会滑下来。
Omni的底盘被设计成表面是一个凹陷圆形曲面的带有很多细小凹槽的光滑跑道,直径为122cm,上方是一个142cm~195cm的可调节支架,总重量为50公斤。 用户需要穿上特制的鞋子在Omni的跑道上运动。鞋子的底部有一个与凹槽匹配的锥状物,Omni用它来稳定脚步的运动,防止位置偏移等状况的发生。这双鞋子的底部的脚尖部位同样有非常高的摩擦力来保证人们在上面运动时的平衡。Virtuix说,依靠这种设计,Omni既能让用户在上面自然的行走,同时还能精确的记录数据。
值得注意的是,Omni的支架并不是像传统跑步机那样作为手扶、显示和操控使用,而是应当被调整到腰部的位置,通过安全带与人体连接,使其不会滑倒,保证人们在戴上VR眼镜,无法用视觉感知周边环境时的安全。
Omni是基于键盘敲击的转换运作,所以它理论上是兼容任何PC游戏的。对于游戏机的玩家来说,很抱歉,这套设备当前只支持计算机平台。
KAT WALK是全球上市的第三款,也是国内唯一的虚拟现实全向跑步机。此次众筹的目标是10万美元,首批参与众筹的人将能够以599美元的价格,在Kickstarter众筹平台支持获得全球首批发货资格,最终零售价虽还未公布,但众筹价格将低于未来的零售价。这款致力打造“无束缚”的虚拟现实跑步机,预计将在12月进入量产,预计和Oculus Rift消费者版几乎同时发货。
拥有12年虚拟现实仿真技术研究经验的KAT CTO王博回答我们,KAT WALK不仅是简单地去掉支撑柱和外腰环,为了实现好的行走体验和保证安全性,KAT WALK的独特设计可在使用者前进时提供稳定的支撑力,也可以限制身体活动的安全范围且具有回中功能,在保证使用者安全的前提下纠正使用者在虚拟环境中行走带来的位置偏移,进一步提升使用者的安全性和平衡感。
Infinadeck旨在成为最好的跑步机解决方案,让用户可以在虚拟现实产品中走动,将跟同类产品Virtuix Omni、Cyberith Virtualizer以及我国杭州的KAT Walk形成竞争。Infinadeck由两个电机组成,其中一个负责用户所处平台的水平方向移动,另一个负责垂直方向变动。它的尺寸是4.4 5.6英尺,重225kg,离地面16英寸。设备中嵌有传感器阵列,将会在玩家向前走的时候识别玩家的运动,然后跑步机就会启动来适应这些步伐。
该设备的发明者George Burger说:“我创造Infinadeck是因为我知道我可以比任何人更好地解决如何在虚拟现实中行走的问题。Infinadeck是在虚拟现实中行走最好的解决方案。其他设备试图蒙蔽你的感觉,让你觉得自己是在行走。我想要的是让你像在现实中一样正常地在虚拟现实中行走。
Cyberith公司提供的一种解决方法是:虚拟现实跑步机:一个将用户固定、圆形的“传送带”装置,可以与Oculus Rift虚拟显示器搭配,实现游戏中的行走和跑步操作,但实际上是在原地踏步。
装置的正式名称为“ Cyberith Virtualizer”,目前已经成功获得Kickstarter集资(目标25万美元,实际筹得30万美元),配有触觉传感器的版本起售价为999美元(约合人民币6145元),有望于明年3月正式上市。
要想使用Cyberith Virtualizer,首先需要换上一双厚厚的滑雪袜,只有这样你的脚步才能传感器有效识别。然后,还需要在腰部、大腿上佩戴一套传感器设备,这时就可以站在圆形传送带上,并使用金属圆环固定位置就可以了。另外,还拥有一个类似三脚架的设备,与Oculus Rift头戴显示器连接,减少其重量。
由于拥有相当丰富的传感器,所以Cyberith Virtualizer可以识别转身、下蹲、跳跃等动作,也就是说只要游戏软件支持Cyberith Virtualizer的SDK,你不必再通过手柄实现以上操作。“最理想的虚拟游戏形式是全身动起来,人们并不仅仅想佩戴虚拟显示器坐在沙发上用手柄玩游戏,而是希望真实地四处走走,这种体验会让人更加身临其境、更具代入感”,Cyberith的首席执行官Tuncay Cakmak这样说。
7. 脑控
美国加州旧金山的神经科技公司Emotiv Systems则希望通过意念来进行虚拟现实交互,让你彻底抛弃动作控制器。Emotiv公司首次测试了旗下意念控制产品Emotiv Insight与HTC Vive的搭配使用。Emotiv Insight是在2015年推出的产品,售价299美元,可识别佩戴者的意念、情绪和表情,比如开心、激动、放松、紧张、眨眼、皱眉、微笑、咬牙等。
通过Emotiv Insight,可以读取脑部数据和定位数据,并转译为控制输入信息,进而控制角色在游戏中运动,包括升跳、前行、后退等。早在2015年7月,YiViAn曾报道过Emotiv展示用意念控制Oculus Rift DK2的体验。
丹·库克(Dan Cook)在20年前就已经在探索脑波技术的商业潜力,他与一家政府机构合作,致力于开发更好的谎言探测器;也与制药公司合作,希望了解他们药物对神经产生的影响。
随着虚拟现实走向主流,库克认为现在是脑波读取技术证明自己的时候了。他的公司EyeMynd希望创建一个操作系统,允许脑电波在虚拟现实世界中转化为行动。无需手机,无需控制器,只需动动脑子,用户就能畅游虚拟世界。
EyeMynd团队在盐湖城和旧金山都设有办事处,包括库克的兄弟内特(精神心理学研究生)和大卫·特劳勃(The Lawnmower Man的VR顾问),这两人都担任其执行制片人。该公司计划在2017年春天推出一款头显,使用16个脑电图传感器(EEG)来监测脑电波。开发中的脑电波VR头显将兼容HTC Vive(市场主要的VR头显之一),并与EyeMynd的Brainwave OS操作系统配合使用,将头显的EEG读数转换为计算机命令。
头显的第一个版本将会向开发者推出,为他们提供一个工具包去设计可利用脑电波阅读功能的应用程序。库克没有透露设备的具体成本,以及具体的推出时间表等信息,但他声称这会是市场上同类产品中最舒适的设备。
EyeMynd希望利用消费者对VR配件日益增长的兴趣。但从现在起十年之内,库克认为使用大脑传感器的计算机接口将会成为标准,不再需要现在的VR配件种类,例如运动传感器、手部控制器、头戴式加速度计和摄像机平台等等。