科技日报北京6月16日电 (记者常丽君)语言由人的大脑皮层产生,与讲话过程相关的脑波可以直接用脑电图电极记录下来。最近,德国卡尔斯鲁厄技术研究所(KIT)和美国沃德沃斯中心(Wadsworth)等多家机构研究人员第一次证明,根据这些脑波能重新构建持续讲话中的基本单位——单词和完整的句子,还能生成相应的文本。他们在最近的《神经科学前沿》杂志上介绍了这种“脑—文本”(Brain-to-text)系统。
“长期以来人们一直在思考,能否只通过脑活动来与机器沟通,我们的成果是这一方向上的重要一步。”指导该研究的KIT认知系统实验室的塔尼娅·舒尔茨说,“我们的研究表明无论是语音中的单个单位,还是连续说出的句子,都可以通过脑活动识别出来。”
据每日科学网站15日报道,这一成果由信息学、神经科学和医学方面的研究人员共同合作取得。KIT开发并使用了信号处理和自动语音识别方法。KIT认知系统实验室的克里斯汀·赫夫和多米尼克·海杰说:“除了解码来自脑活动的讲话,我们的模型还能详细分析与讲话过程有关的脑区和它们之间的互动。”他们在博士论文中开发了这一系统。
研究人员指出,这是第一次能根据脑活动模式解码持续的语音,并将其转换为文本形式。要做到这一点,必须把脑皮层信息和语言知识、机器学习算法结合在一起,以选出最可能的单词顺序。虽然目前的“脑—文本”系统还是基于语音,但这是识别出人们思想语言重要的第一步。
研究人员记录的脑活动来自7名癫痫病患者,他们的大脑皮层表面因治疗需要放有电极阵列(ECoG)。当患者朗读例文时,研究人员以高分辨率记录下ECoG信号。随后,卡尔斯鲁厄的研究人员对数据进行分析并开发出了“脑—文本”系统。
这一成果除对基础科学方面有所贡献,帮人们更好地理解大脑中复杂的讲话过程外,还有助于将来开发新的语言通讯工具,固定在病人身上帮助他们交流。