首页 > 应用 > 智能硬件
[导读]近日,来自加州大学旧金山分校的研究者开发出了一种能将大脑信号转换为语音的虚拟假体语音系统,可帮助癫痫和其他神经性疾病患者还原语音能力。

 这项研究成果于 4 月 24 日发表在《自然》杂志上,并得到了多家媒体的报道,其中就包括《纽约时报》。AI 科技评论将《纽约时报》的这篇报道编译如下。

「我在脑海中将每一个句子都过十遍,或删掉一个单词,或再添加一个形容词,并通过背诵来逐段地琢磨我的文字。」Jean-Dominique Bauby 在他的回忆录《潜水钟和蝴蝶》中这样写道。作为一位记者兼编辑,Bauby 在这本书里回忆了那次让他的全身都几乎无法动弹的瘫痪性中风之前和之后的生活。他眨着眼皮,逐字将书中的内容读出来。

成千上万的人由于在事故或争斗中受伤,或患上中风或肌萎缩侧索硬化(ALS)等神经退行性疾病而丧失说话能力,都同样地遭遇着沟通困境。

而现在,科学家们在报告中提出,他们已经开发了一种虚拟的假体语音系统,该系统能够解码大脑的说话意图,并将它们转化为基本可以理解的言语,而不需要移动任何肌肉,甚至是口腔内的肌肉。(物理学家兼作家斯蒂芬 · 霍金,曾经就使用他脸颊上的肌肉在键盘上打出字符,然后计算机再将这些字符合成为语音。)

佛罗里达州杰克逊维尔市梅奥医学中心(Mayo clinic)的神经科医生兼神经科学家 Anthony Ritaccio 博士并非该研究组的成员,他表示:「这(AI 科技评论注:解码大脑信号)是一项艰巨的工作,它推动我们进入了语音还原的另一个层次」。

实际上,此前研究人员就已经开发出了其他的虚拟语音辅助工具。它们都通过解码负责识别字母和单词以及口头表示的大脑信号来实现语音辅助,但是这些方法在自然语言表达的速度和流动性上尚显不足。

这个新系统的相关工作于周三发表在《自然》杂志上,它译解了大脑在说话期间用来指导声带运动(如舌头与口腔的碰撞、嘴唇缩窄等)的控制命令,产生的句子在可理解的同时,也接近于说话者自然的说话节奏。

专家们认为,这项新的工作成果代表了一次「原理论证」,它预示着某些事情经过进一步的实验和提升后可能实现的目标。研究者在能正常说话的人身上测试了该系统,不过还尚未将其放在那些身患造成解码难度或无法实现的神经性疾病或重伤(例如常见的中风)的患者身上进行测试。

针对新的试验,加州大学旧金山分校和加州大学伯克利分校的科学家们招募了五名在医院接受癫痫手术评估的患者。

5cc27ffe1ede5-thumb.png

ECoG 电极矩阵由能够记录大脑活动的颅内电极组成(图源:加州大学旧金山分校)

5cc27ffe0e2b6-thumb.png

Gopala Anumanchipalli 是加州大学旧金山分校的神经学家,他正拿着一个跟在当前研究中所使用的电极矩阵非常相似的电极矩阵(图源:加州大学旧金山分校)

许多癫痫患者都由于药物治疗效果不佳而选择接受脑部手术。在手术前,医生必须首先找到癫痫在每个人的大脑中发作的「热点」,这通过在大脑中或大脑表面上放置电极,并听取明显的电风暴 (electrical storms) 来完成。

对此位置进行精确定位可能需要耗费数周时间。在此期间,患者通过在涉及到运动和听觉信号的大脑区域里面或附近植入电极来度日。这些患者往往会同意在这些植入物体上搭载其他额外的实验。

加州大学旧金山分校的这五名此类患者就接受在他们身上测试虚拟语音生成器。研究者在他们每个人的大脑中都植入了一个或两个电极矩阵:邮票大小的衬垫包裹了数百个被放置在大脑表层的微小电极。

当每个志愿者在背诵数百个句子时,电极就会记录下运动皮层中神经元的发射模式。研究人员将这些模式与患者在自然说话期间所发生的嘴唇、舌头、喉部以及下颌的微妙运动联系起来。之后,研究团队再将这些运动转译为成口头表达的句子。

另外在实验中,研究者还让以英语为母语的人听取句子来测试虚拟语音生成器的流畅度,最终发现虚拟系统说出的 70% 的内容都是可理解的。

5cc27ffe0c247-thumb.png

 

Edward Chang 博士致力于研究大脑如何产生和分析语音,他开发了一个为癫痫和其他神经性疾病患者还原语音能力的假体。(图源:加州大学旧金山分校)

这项新研究工作的论文作者、加州大学旧金山分校神经外科教授 Edward Chang 博士表示,「实验显示,我们通过解码指导发音的大脑活动模拟出来的语音,比根据从大脑中提取出来的声音表示而合成的语音更准确,也更自然。」Edward Chang 博士的同事是同在加州大学旧金山分校的 Gopala K. Anumanchipalli 以及同时在加州大学旧金山分校和加州大学伯克利分校任教的 Josh Chartier。

以前基于植入物的通信系统,每分钟可生成大约 8 个单词。而这项新成果每分钟能以自然的说话节奏生成约 150 个单词。

研究人员还发现,其他人可以使用和调整基于某个人的大脑活动的合成语音系统——这就暗示着现有的虚拟系统在未来某一天都能够对外开放。

该团队正计划展开临床试验以进一步测试该系统。而临床试验面临的最大挑战,可能是寻找合适的患者:让人类丧失说活能力的中风,往往也会损害或影响到支持语音发音的大脑区域。

尽管如此,众所周知,脑机接口技术(相关技术可查看雷锋网 AI 科技评论此前的一篇相关报道)领域正在迅速发展,世界各地的研究团队也正在改进这项技术,未来有可能实现对特定伤患进行脑器接口技术的量身定制。

埃默里大学、佐治亚理工学院的生物医学工程师 Chethan Pandarinath 和 Yahia H. Ali 在一篇附随评论中写道:「随着这项新技术的持续进步,我们能够期待有言语障碍的人能够(凭借这项技术)重新获得自由表达个人想法的能力,并与其周围的世界重新建立联系。」

论文:《Speech synthesis from neural decoding of spoken sentences》

下载地址:https://www.nature.com/articles/s41586-019-1119-1

摘要:将神经活动转换成语音的技术对于因神经系统损伤而无法正常交流的人来说,是革命性的。从神经活动中解码语音极具挑战性,因为说话者需要对声道发声进行非常精准、快速的多维度控制。这项新研究设计了一个神经解码器,以显式地利用人类大脑皮层活动中进行了编码的运动表示和声音表示来合成语音。首先,用循环神经网络直接将记录的大脑皮层活动解码为发音运动的表示,然后将这些表示转换为语音。在封闭的词汇测试中,听众可以识别和转录出利用大脑皮层活动合成的语音。中间的发音动态即使在数据有限的情况下也能帮助提升性能。讲话者可以较大程度地保存经过解码的发音运动表示,从而使得解码器的组件可在不同参与者之间迁移。此外,该解码器还可以在参与者默念句子时合成语音。这些发现都提升了使用神经假体技术还原语音交流能力的临床可行性。

 

换一批

延伸阅读

[智能硬件] 脑机接口技术又有重大突破,居然可以将脑电波信号转换成语音系统

脑机接口技术又有重大突破,居然可以将脑电波信号转换成语音系统

近日,来自加州大学旧金山分校的研究者开发出了一种能将大脑信号转换为语音的虚拟假体语音系统,可帮助癫痫和其他神经性疾病患者还原语音能力。......

关键字:脑机接口 脑电波信号 加州大学 ECoG 电极矩阵

[医疗电子] 脑机接口技术:人类能与人工智能相连?

脑机接口技术:人类能与人工智能相连?

就像古希腊人梦想在天空翱翔一样,今天的人们总是梦想着将大脑与机器融合来解决令人讨厌的死亡问题。人类心灵能够与人工智能、机器人和其它心灵通过脑机接口技术(BCI)直接相连,从而超越人类寿命的限制吗?......

关键字:人工智能 脑机接口技术 智能化

[大数据] 南加州大学的新研究中心设想将物联网运用于教育领域

南加州大学的新研究中心设想将物联网运用于教育领域

南加州大学的一个新中心将试图让技术能够提供更多信息,以支持进行个性化学习和教学。......

关键字:南加州大学 新研究中心 物联网 教育领域

[汽车电子] 南加州大学:水性有机电池有望替代锂电池

南加州大学:水性有机电池有望替代锂电池

锂离子电池有着相当不错的便携性,但是它们也有一些比较明显的缺点——比如散热和有毒元素—— 这限制了其应用的发展。不过,美国南加州大学的科学家......

关键字:南加州大学 水性 有机电池 锂电池

[智能硬件] 布朗研发全球首款无线远程控制的脑机接口

布朗研发全球首款无线远程控制的脑机接口

据外媒报道,近日,来自布朗大学的研究人员研发出了全球首个通过无线方式连接的脑机接口。虽然早前也曾经出现过多种脑机接口,但它们全都无法通过无线连接,所以常常导致穿戴者的行动受限。而现在由布朗大学研发的脑......

关键字:无线 脑机接口 远程控制

[医疗电子] 这是要解决人口短缺危机?日本科学家用血细胞造出卵原细胞

这是要解决人口短缺危机?日本科学家用血细胞造出卵原细胞

近日,日本科学家在解决人类不孕不育问题上取得了重要进展。他们利用一位女性的血细胞——人类诱导干细胞(hPGCLCs)——在实验室培养皿中造出了人类卵原细胞。这项研究具有重要的意义,意味着未来或许可以在实验室中诞生出人类婴儿,从而改变人类生殖......

关键字:干细胞 血细胞 卵原细胞

[单片机应用] 单片机系统中的晶振工作原理

单片机系统中的晶振工作原理

每个单片机系统里都有晶振,全程是叫晶体震荡器,在单片机系统里晶振的作用非常大,他结合单片机内部的电路,产生单片机所必须的时钟频率,单片机的一切指令的执行都是建立在这个基础上的,晶振的提供的......

关键字:单片机 工作原理 晶振 系统

我 要 评 论

网友评论

技术子站

更多

项目外包

更多

推荐博客

曰本高清一本道无码av