来源:极客公园 作者:biu
埃隆 · 马斯克的 Neuralink 公布「脑后插管」技术还不到半个月,Facebook 也迅速透露了他们在脑机接口(BCI)项目上的新进展。不同的是,Facebook 最终想实现的是一种无需在人脑中植入电极的非侵入式 BCI 解决方案。
当地时间 7 月 30 日,Facebook 和受其资助的加州大学旧金山分校(UCSF)发布共同研究成果:他们已构建出了一个 BCI 系统,能够实时解码志愿者在进行对话时的大脑活动,并将信号转化为屏幕上的文字。相关论文发表在最新一期的《自然》子刊 Nature Communications 上。
UCSF 论文 | Nature Communications 官网截图
虽然距离「动动脑子就能打出字来」的科幻场景还很远,但这个全球首款实时解码大脑信号的问答语音项目,正让 Facebook 两年前在 F8 大会上公布的 BCI 计划逐步成为现实。
为病患设计
在今年 4 月之前,为丧失说话能力的病患设计的基于植入物的通信系统,每分钟只能生成 8 个单词。致力于让这部分患者获得自然交流能力的 UCSF,4 月发布研究称使用深度学习直接从人脑信号里「提取」语音,每分钟单词数提升至 150 个,接近正常人交流水平。而现在他们所做的,就是基于此前研究进一步提高语音识别的精度。
UCSF 首先要求三名病患听一组问题集,要求他们将听到的内容大声说出来。与此同时,研究人员利用病患脑部的植入式电极记录他们大脑活动,并收集这些数据以训练机器学习算法。接着,病患再次被提问,这时,算法开始解码人脑信号,最后输出参与者想说的内容。
系统测试流程 | UCSF
而猜测人们想要说什么的语音解码器(speech decoders)却很容易被读音相近的单词干扰,比如「synthesizer」(合成器)、「fertilizer」(肥料)。为了提高解码的准确性,研究人员为新系统添加了「语境」。比如,给以上两个单词搭配一个特定的问题「你在田野里撒了什么?」有了上下文,新系统解码的准确度达到 61%-76%。相比随机预测 7%-20% 准确率,UCSF 最新的研究成果无疑是项巨大的突破。研究人员表示,未来将扩大系统的词汇量,让它可以适用于更广泛的领域。
全新的交互方式
在 Facebook 看来,这项成果不只是一项神经义肢技术(neuroprosthetics,用电子装置代替受损感觉器官的功能),它还加速了「不用开口,不用动手」的输入方式的到来。「这一进展显示了未来 AR 头戴设备输入和互动能力的新潜力」,Facebook 副总裁 Andrew Bosworth 说道。
Facebook 十年路线图 | Facebook
早在 2017 年的 F8 大会上,Facebook 就将 AR/VR 放在到了那张十年路线图里的显要位置。扎克伯格在台上宣布 Facebook 的目标是虚拟现实,而头显的最终形态会是一台融合 AR/VR 的「太阳眼镜」。同时,Facebook 的实验部门 Building 8 也为这个「下一代人机交互平台」助兴,宣布了一项 BCI 计划:通过非侵入式的可穿戴设备,读取脑电图,最终达到控制输入目的。Facebook 表示,这种完全无创的脑机系统最终可以让人们每分钟输入 100 个单词(是现在人们用手机输入单词速度的 5 倍)。
2017 年 F8 大会上,Regina Dugan 现场讲解 BCI 项目 | 视频截图
Facebook Reality Labs(原 Oculus Labs,以下简称 FRL)一直为这个目标不懈努力,除了自建团队,也积极和学界合作,比如 UCSF。FRL 的 BCI 研究项目主任 Mark Chevillet,对此前的 BCI 计划表达了乐观,「我们确实认为这是可能的。」Chevillet 说,「这一结果有助于设定我们需要打造的可穿戴设备的规范。」
有意思的是,Chevillet 还认为,大部分人虽然都会在手机上使用语音助手,但却不会当着其他人的面使用。和机器「无言」交流,就能缓解这种尴尬。同时,也能推进 AR/VR 头显摆脱元器件的堆砌,尽可能地小型化。Facebook 一直在努力将头显小型化,除了将 Oculus Quest 这款移动 VR 控制在了非常轻量级的 570 克,同时也在研发 AR 眼镜。2018 年 10 月,Facebook AR 负责人 Fius Kirkpatrick 告诉 TechCrunch,公司的确正在打造 AR 眼镜。
「这不是鸡尾酒派对上的玩笑话」
Facebook 同时也在研发非侵入式「读脑」设备。
Facebook 发布博文作了解释,神经元在活跃状态下会消耗氧气,因此如果能够检测大脑内氧水平的变化,人们也就可以间接测量大脑活动。「我们也可以使用类似红外光的,以一种安全、非侵入性的方式来测量大脑中血液的氧含量。这类似于在功能性磁共振成像(fMRI)中测量到的信号——但使用的是由消费级零件制成的便携式可穿戴设备。」
Facebook 设计的原型机 | Facebook
就目前而言,这台原型机体积庞大,速度缓慢,且不可靠。但 Facebook 仍认为这种方案潜力很大。「虽然测量氧含量可能无法解码想象的句子,但是能够识别哪怕只有几个想象的命令,比如『主页』、『选择』和『删除』,都将为我们提供与今天的 VR 系统以及未来的 AR 眼镜交互的全新方式。」博文还提到,这种方案的实现可能需要十年时间。
两年前,时任 Building 8 负责人的 Regina Dugan 告诉 The Verge,Facebook 并不担心竞争对手,树立一个宏大的愿景是一回事,而构建一个能实现这一愿景的流程又是另外一回事。「这不是鸡尾酒派对上的玩笑话,我们是认真的。」Dugan 说道。
而现在,马斯克也发布了 Neuralink 在 BCI 项目上的进展。具体来说,他们设计的「缝纫机」可以将一条极细的线路植入人脑,像微创眼科手术一样安全无痛。而这些线路上的电极和传感器,能从大量细胞中捕获信息并将其无线发送到计算机以供分析,最终实现人机互联。虽然 BCI 技术离商业化还有很长一段时间,但巨头之间的竞争开始了。
Neuralink 的「打孔」方案 | Neuralink
即便 Facebook 的非侵入式方案比 Neuralink 的「打孔」方案更容易让人接受,但这种涉及人脑意识挖掘的技术,还是会让人们保持警惕。更何况为他们提供服务的,还是深陷隐私丑闻泥淖的 Facebook。