来源:DeepTech深科技
钢铁与肉体,虚拟与现实,鲜活的思想和冰冷的机器,诸如此类的人机共生画面与赛博朋克情节,早已在科幻 " 教父 " 詹姆斯卡梅隆的系列大片中得到了淋漓尽致地展示。
幸运的是,这些刷新人类认知的 " 黑科技 " 并没有止步于大荧幕,而是真的被科学家们一步步变成了现实。比如,2009 年上映的《阿凡达》主打的脑机接口技术,就于 2020 年 8 月被 " 硅谷钢铁侠 " 马斯克搬上了新闻发布会,当众宣布他的公司(Neuralink)成功在猪脑中植入了脑机接口芯片。此消息一出,立刻在全球引发了广泛的关注与热议。
当所有人都慨叹马斯克在脑机接口领域已经处于绝对领军地位时,一个华人却站出来说," 我们已完成超过 15000 个小时的人体植入和实验,推进速度远超马斯克。"
图 | 受试者用思想灵活控制假肢
这个人就是杨知,本科就读于浙江大学,后又前往加州大学圣克鲁斯分校攻读电气工程学硕士与博士学位,师从刘文泰(Wentai Liu)教授。现任美国明尼苏达大学双城分校生物医学工程系副教授。
图 | 实验性人体研究受试者(左);杨知(右)
与马斯克 Neuralink 所采用的在大脑中植入微电极阵列并进行皮层解码不同的是,杨知团队研发的新一代生物电神经接口技术平台,是通过外周神经通路在人的思想与机器之间建立新的信息管道,从而让截肢者能真正灵巧而直观地控制假肢。试验结果表明,这一技术能够更加准确地理解人体神经系统中的信号,因而有可能成为未来人机共生的基础。
" 我认为,这一研究成果是脑科学技术领域的一个里程碑式突破,特别是让一个失去手的人与假肢真正融合为一体,做到‘所想即所得’。" 杨知十分自信地表示。
该研究成果于 2020 年 10 月 22 日发表在《神经工程杂志》(Journal of Neural Engineering),标题为《面向截肢者的生物电神经接口,可实现直观的假肢控制》(A bioelectric neural interface towards intuitive prosthetic control for amputees)。
图 | 相关论文(来源:Journal of Neural Engineering)
共同第一作者为明尼苏达大学生物医学工程系的 Anh Tuan Nguyen 和 Jian Xu。通信作者为杨知和 Fasikl 公司的联合创始人 Edward W. Keefer。
如何做到思想灵活控制假肢?
据介绍,该技术平台包括三个组成部分:植入式束内微电极,神经芯片组,和人工智能(AI)解码器。具体来说,就是研究人员首先根据截肢残疾人的情况确定电极数量,目标神经,和手术方案。比如最近的一个病例,该团队使用显微外科束状靶向法技术(FAST)将纵向束状内电极(LIFE Electrodes)植入截肢者的正中神经和尺神经中,形成与单个神经束的接口。
通过超低噪声的神经芯片组来记录极微弱的神经电图。然后由人工智能模型通过循环神经网络(RNN)来解码神经电图,从而掌握受试者的想法。该平台理论上可以将人的的思想和外界机器连接起来,比如让残疾人控制一个假肢,又或是一台电脑。
图 | 新一代生物电神经接口示意图(来源:Journal of Neural Engineering)
其硬件系统包括完全集成的 Neuronix 小型前端记录器。它由两个子单元组成:头部件和辅助部件,通过柔性线路连接;其植入的微电极阵列中,每个阵列由四个袖带触点、一个束内柄和十个间隔为 0.5mm 的纵向束内电极触点组成。该设计旨在记录来自单轴突和神经元群体的神经电图。
图 | 实验范式和硬件组件(来源:Journal of Neural Engineering)
在一个实验中,德州大学西南医学院的神经外科医生 Jonathan Cheng 为一位经桡骨截肢患者植入了四个纵向束状内电极阵列,其中两个位于正中神经,另外两个位于尺神经。这样的设计和手术方案是为了能更好的,有区别性的采集和调控神经电图中的运动控制信号和本体感受信号。
为验证人脑对假肢的控制效果,该团队采用镜像双边训练法,即要求患者用能动的手执行各种手势,同时让患者脑中想象让受伤的手也执行相同的动作。受伤的手的神经电图是从微电极上获取,而健全的手的运动会被数据手套捕获。
基于深度学习的 AI 模型则负责处理这些数据,包括预处理程序和神经电图解码。在这项工作中,解码有离线和在线两种模式,分别用于测量系统带宽和评估实际神经解码结果。
研究发现,该平台能从神经系统中获取大量的信息,且带宽超乎想象,以至于能让残疾人用自由意志来控制假肢。并且,该平台还支持双向交流,除了可以读取人脑的信号以外,还可以通过精密的微电刺激向神经系统写入信号,从而让残疾人对机械手产生接近自然的感觉。目前残疾人能够执行高达 15 自由度(DOF)的动作,包括五个手指的弯曲 / 伸展和外展 / 内收运动,实现灵巧地控制机械手。
这种脑机接口到底强在哪里?
杨知表示,目前市场上的绝大部分脑机接口都是无创的,在皮肤以外或者贴着皮肤。但就像隔着墙壁拍照一样,哪怕用红外照相机也很难拍清楚,通过无创的方法很难拿到高质量的脑信号。
这些无创的脑机接口分两类。一类是基于脑信号,提前设定几个选项,再由脑信号来激活其中的某个选项。所以目前基于脑信号的假肢只能执行有限的动作,达到 3-4 个自由度。
另一类在严格意义上并不是基于脑信号。例如 Facebook 收购的 CTRL-labs 其实是基于体表肌电信号(EMG)。还有其他也声称是脑机接口的产品其实是基于眼球、舌头及身体各部位的移动。
杨知认为,不管是哪一类,只要是基于无创的,获取的信号质量就会受到限制,性能也就必然受到影响,因此都无法做到像他们的技术一样,能让残疾人用自由意志来控制假肢。
当然,还有一大类植入式的脑机接口,比较知名的就是马斯克去年宣布的 Neuralink。这需要在人脑中植入电极和芯片,做一个相当有风险的开颅手术。
" 但马斯克是钢铁侠,他不 Care 这些所谓的风险和可能的感染。我自己也在做这方面的研究,所以我很清楚他们的技术目前还有很多无法解决的问题和挑战。也是因为这一点,他们现在只推进到动物实验阶段,离长期的人体试验和拿到有效的实验数据还有一段路。" 杨知说道。
相比而言,杨知团队所推出的平台能与神经系统做对接,而且其有效性和安全性已被人体试验验证。杨知强调称," 完成人体试验并获取大量有说服力的数据,是我们技术最大的优势之一。"
其次,他们的植入方式风险小很多。他们采用的方式是向手臂植入电极,属于微创手术,所以病人当天或者第二天就可以出院。
未来或将实现 " 用意念隔空打游戏 "
杨知告诉 DeepTech,早在 2004 年,他就开始做神经芯片方面的研究,并在当时参与过人造视网膜的项目,即在盲人眼球里植入芯片电极,让他们恢复部分视力。这一经历让他对植入式系统有了大概的了解。
毕业后,他从 0 开始组建自己的团队与神经电子实验室。最初 5 年在做脑机界面和植入式神经电子学研究,后又耗时 5 年走通各种临床道路。在此期间,杨知于 2019 年 7 月 8 日在美国得克萨斯州成立了初创公司 Fasikl Inc.,致力于开发神经 AI 技术,推动先进的脑机通信技术的商业化落地。
" 从开始到现在,我们耗费了大概 10 余年时间,才从科研走到应用以及创新创业。" 杨知感慨道。
回顾这一路求学和科研之路,他坦言,自己非常幸运能遇到一位知识广博且要求近乎苛刻的导师。一直以来,其导师秉持着 " 不应该以文章为导向做研究,而且一定要选择自己真正感兴趣的有意义的课题 " 的信条,这让他真正学会了如何做科研,并开始重新审视个人价值观。
受到恩师的影响,杨知开始慢慢从青年时代看重基础性研究,转到后来的 " 更看重研究的影响力 ", 最关心的问题也变成了这项研究究竟能否为社会带来好处,否则就没有现实意义。
因此,他们的团队十分注重病患对其设计的假肢的使用感受。一位常年佩戴商业假肢的患者曾对他说:" 有了你们的技术,我可以回归自然的手部动作,这太棒了。" 这对团队来说就是前行道路上最大的鼓励。
视频 | 受试者与团队交流使用新一代脑机接口的感受
为了让每一个研究进展都有的放矢,真正贴合病患们的实际需求,他们曾询问大家," 你觉得我们研发的脑机接口技术未来最大的应用前景是什么?"
其中一位病患的回答给他们留下了深刻印象:
" 我觉得会是电脑游戏,这种接口也许不止能让残疾人,还能让健全的人实现‘用意念打游戏’,完全不需要动手就能隔空玩转《孤岛惊魂》"。
" 真的会有健全的人愿意为了打游戏而去做一个微创手术,往身体里植入电极吗?"
" 当然,你不知道用意念就能控制游戏中的角色,这对玩家来说有多酷!如果你们能够把这个技术做得更好,结果如何,who knows?"
病患的话让人惊诧,同时也让杨知得以从全新的视角审视这一研究的意义与应用前景。
因此,未来他将分两步继续推进这项研究工作,第一是继续做研究,把现有框架进一步开发成在线范例,做到实时解码神经数据,更加灵活地控制假肢。并努力优化平台的各部分组件,使其无缝地协同工作,让处理延迟最小化。第二则是大力推动产业化与实际应用,并进行大规模的临床实验,让这项技术得到充分利用,最大程度普惠大众。