近日在旧金山举行的游戏开发者大会(GDC)上,瑞士神经科技初创公司MindMaze发布了全球首款由ideas控制的虚拟现实游戏系统原型MindLeap,并宣布获得了850万美元的天使投资。从医疗到游戏
MindMaze成立于2012年,总部位于瑞士洛桑。其研究领域主要是神经科学、虚拟现实和增强现实。它主要用于医疗,帮助中风、截肢和脊髓损伤患者康复。创始人兼首席执行官是Tej Tadi博士。在创立公司之前,他已经在瑞士联邦理工学院从事虚拟现实研究10年。
众所周知,人的行为是由大脑控制的。例如,在移动手臂的执行过程中,大脑首先希望手臂移动,这个决定在动作执行前几毫秒后由神经网络传递给相关肌肉。MindMaze通过追踪大脑和肌肉活动来倾听相关的神经信号。
MindMaze的应用一开始不是游戏,而是医疗。例如,截肢者有时会出现幻觉性疼痛,即他们觉得断肢还在,疼痛就发生在那里。Tadi介绍了一例女性患者的幻肢疼痛,其左臂被截肢。MindMaze利用技术追踪患者正常右臂的活动和神经信号,然后在屏幕上呈现其左臂做出相应动作的图像,从而“欺骗”她的大脑认为其左臂也可以活动,从而缓解幻肢疼痛。这里的关键点是屏幕上的动作显示必须是实时的——时间延迟不能超过20毫秒(触摸传入大脑需要20毫秒,视觉需要70毫秒,这似乎是区分相关信号的关键)。正是这种不合时宜的努力,让MindMaze认为可以用在游戏中,并开发出了游戏设备MindLeap的原型。
该装置由运动捕捉系统、脑电波读取系统和集成平台组成。HMD的外观有点类似于Oculus Rift DK2和Razer OSVR。更奇特的是,它的头带就像一张网,实际上是一个收集脑电波信号的装置,但MindMaze目前计划将其改进成类似于HMD头带的东西。3D相机运动捕捉系统类似Kinect,可以跟踪3D全身运动,但需要做一些调整以适应医疗用途。目前该样机可提供720p显示和60视野,未来计划升级为1080p和120视角。
VR与AR结合
HMD和运动捕捉系统的结合类似于我们前不久介绍的伊利诺伊大学厄巴纳-香槟分校团队的工作,可以带来虚拟现实(VR)和增强现实(ar)的双重体验。但是MindLeap还结合了脑电波阅读技术。Tadj表示,这是世界上首次将神经科学、虚拟现实、增强现实和3D全身动作捕捉融为一体,将为玩家带来无延迟的游戏体验。
戴上MindLeap后,当你向右转头时,AR模式开始。这时,你头上的摄像头开始跟踪你面前晃动的手指动作。在屏幕上,用户的手和周围环境的运动被呈现出来,不仅如此,火焰也被渲染在手指上(增强现实)。而且,头带会跟踪使用者的精神状态。如果放松,火焰会是蓝色的,而如果用户紧张,火焰会变成红色。
如果用户将头转向左侧,则激活VR模式,用户的手在平面上仍然是现实的,但周围的环境变成了未来主义的空间。用户可以在虚拟世界中触摸、感受、表达和移动,就像在现实世界中一样。
脑力竞赛
不过最有意思的是MindMaze的对抗游戏,只有意念控制。游戏内部,屏幕两端各有一个可伸缩的魔球,中间有一个小球。魔法球由双方的意念控制,双方都戴着植入前额传感器的头带,游戏的目标是利用能量爆发将屏幕中央的球扩大,推开对方的球。球越大,脑力越强。然而,不习惯的玩家首先必须通过缓慢的深呼吸来放松。样机演示还有一些时间延迟,需要校准。不过,看起来整个游戏的效果确实不错。
据MindMa开发者_运维百科ze科学顾问Olaf Blanke介绍,MindLeap利用医疗级技术打造了直观的人机界面,通过识别关键神经特征,实现了无与伦比的响应能力,将开启神经康复和游戏的新时代。
随着最近虚拟现实的蓬勃发展,MindLeap的未来看起来很好。然而,要实现消费化,还有很多工作要做。仅仅靠精神放松和紧张来控制游戏文件是不够的。但是,如果MindMaze掌握了精准的神经信号识别技术,区分面部表情、情绪等高级用法也不是不可能。公司的目标是实现开源、无线和跨平台技术。该系统将支持Xbox、PlayStation、iOS、Android等平台。在获得850万美元的天使融资后,该公司计划在未来几个月内向游戏开发商开放MindLeap引擎SDK,MindLeap设备将于今年晚些时候上市。让我们看看他们能取得什么突破,但我们可以先来看看下面《边缘》的体验视频:
精彩评论