不接触就能准确无误地打开台灯、关闭空调11月9日的科大讯飞年度发布会十分“科幻”。脑机接口成为热议话题。
省去“意念到肢体、肢体领会、实施控制”等中间步骤,直接用意念和机器“对话”,实现“人机交互”,是如何做到的呢?
“科学家很早就已经在生物神经通道上开始了研究,其中包括脑机接口的研究,”东南大学仪器科学与工程学院院长宋爱国说,首先要明确神经电脉冲与行动的对应关系,其次要消除噪音、提高系统辨识的精确度。
人机交互,如何直连神经
传统的人机交互路径是,信息从传感器到处理中心,转变成人能获取的信号,再由器官感知,然后传递到大脑,分析接受这个信息。“这个过程中,交互转换了多个场景,科学家开始尝试直接研究体内的电信号,期望达到电影《阿凡达》里描述的场景。”宋爱国说。
“人的感觉,例如热量、力度、刺痛,都是通过神经电信号,沿着手部感知神经传到脊髓、再到大脑。在感知神经上加上与抓取感知同样的电脉冲,大脑就会马上感觉手里抓到东西了,尽管这个东西并不存在。”
为此,科学家要了解,不同的动作、情感等对应的神经电脉冲是什么样的。
宋爱国团队用购置的脑电分析仪与视觉系统构建了一个平台,以不同场景带来的不同情绪和脑电波的对应变化关系建立了一个数据库,用来分析各种情绪对应的脑电波具有怎样的特征。了解了脑电波对应的动作、情感,就可以逆向将这些电波设置为特定的指令,教给机器识别,实现用意念控制机器。
但这只是理想状态,原因是大脑非常复杂,对神经信号的辨别是个瓶颈问题。宋爱国说,与肢体运动相关的脑电识别虽然相对发展较快,但由于脑电信号存在大量干扰,目前仍然难以识别手部精细的动作。
“我们也尝试了直接进行肌电信号的获取和传递,举个例子,你不挥手的情况下,只要有一个挥手的神经信号传递到手臂肌肉,当我们捕捉到这个肌电信号,就能感知到你要挥手。”宋爱国说,他们正在尝试与手机直接交互互联,以期更快落地应用。
握个手,就需要极复杂的重构
除了将意念直接传递给机器,科学家还在研究将人类的行为以及背后意图传递给机器,以期通过人类之间自然的沟通方式,与机器互动。
宋爱国说,人机接触是一个复杂的组合信息,需要传递力觉、触觉、热量等,这些信息的载体五花八门,“单就握手来讲,如何让机器感觉到力量的大小、方向、扭转,温度的传递,触摸到物体的形状呢?”
传感器的精度是信息准确捕捉的基础。宋爱国说,“要解读传感器获得的信息,下一步需要物理重构,将信息转化为能量刺激作用于人手。摸到石头和摸到布料的触感不同,要做到精准的区别。”在信息获取的精准度上,宋爱国团队曾经受住了航天级别的考验——2016年,其研制的“在轨操作力测量设备”成功保障了天宫二号的航天员在轨训练任务,将失重状态下各种操作力的信息准确传递出来。
“目前力触觉交互设备相对来说体积较大、笨重,为了更实用,要向可穿戴的方向发展。”宋爱国说,在国家重点研发计划“云端融合的自然交互设备和工具”项目的支持下,项目团队已经完成了人机交互的小型化可穿戴力触觉反馈装置的研制。
“戴上这只基于微纳光纤的数据手套,手部运动数据误差小于1毫米,弯曲感应位置不少于5个,数据精度不低于16位,”宋爱国说,拥有了这套“手部的皮肤”,虚拟环境准确抓取不成问题。
和其他的人工智能输入设备一样,精度越高的设备意味着“理解力”越好,越“聪明”。宋爱国介绍,这只“手套”之所以精度高,基于捕获方法和算法的创新。“此外,我们项目团队还利用神经电信号进行手势的识别,创新性地把肌电信号转化为肌电图像,大大提高了处理速度,同时提出了基于深度学习的高准确率手势识别算法,在公开的数据集上的测试表明,手势识别率超过了99%。”数据显示,截至2017年5月,基于国际上公开的三个肌电手势数据集的评估,这一核心识别算法在三个数据集上均是识别率最高的算法。
让机器理解人的意图,无论是截获脑电波、肌电信号还是行为识别,最大的挑战在于准确度,识别简单、明确的指令距离习得“读心术”还有很长一段路要走。