科学家研发出“读心术”，直接将脑电波翻译成文本，错误率低至 3% |
|
作者:佚名
时间:2020-04-02 03:00:00
浏览:4794
|
|
|
<p>加州大学旧分校的科学家，已经训练出一种算法，可以直接将受试者的脑电波实时翻译成句子，错误率仅为 3% 。</p><p>这项研究发表在《自然神经科学》（Nature Neuroscience）杂志上，他们招募了 4 位志愿者，这些志愿者被要求多次朗读 30-50 个固定句子，而电极记录下他们的大脑活动。[1]</p><p><img alt="科学家研发出“读心术”，直接将脑电波翻译成文本，错误率低至 3%" src="static.leiphone.com/uploads/new/images/20200401/5e840df001bc9.jpg?imageView2/2/w/740"/></p><p>【 雷锋网(公众号：雷锋网)注：人类对大脑所知甚少。来源：Pixabay 所有者：Gerd Altmann 】</p><p>这些数据随后被输入到机器学习算法，它将每个句子的大脑活动数据转换成一串数字和字符串。</p><p>系统从这些大脑活动数据再推导出声音，并和实际记录的音频进行比较。数字和字符串则被再次输入到系统，转换成一个单词序列。</p><p>起初，系统会吐出毫无意义的句子。但是当系统将每个单词序列与实际朗读的句子进行比较时，它得到了改进，学会了数字字符串与单词的关系，以及哪些单词是有上下文关系的。</p><p>算法不断的训练，直到从说话时的大脑活动中产生书面文本，类似机器翻译。</p><p>新系统的准确性远远高于以前的方法。虽然准确性因人而异，但对于其中一位志愿者来说，平均每个句子只有 3% 需要纠正，高于速记员 5% 的单词错误率。 </p><p>当然，目前这个系统还是有很大局限，算法还只能处理少量的句子。系统也不能用于严重残疾失去语言能力的患者，因为它依赖于记录大声说出句子的人的大脑活动。</p><p>然而，每个志愿者只用了不到 40 分钟来训练，在有限的小数据集情况下，达到了迄今为止最大的精确度。</p><p><strong>脑机接口</strong></p><p>从人类大脑信号到外部设备之间建立连接通路并不是新鲜事，脑机接口的研究已持续了 30 年。 </p><p><img alt="科学家研发出“读心术”，直接将脑电波翻译成文本，错误率低至 3%" src="static.leiphone.com/uploads/new/images/20200401/5e840bcce7573.jpg?imageView2/2/w/740"/></p><p>【 雷锋网注：脑机接口近30年来一直是研究热点。来源：Pixabay 所有者：aytuguluturk 】</p><p>在过去的十年，我们已经能够解码语音信号，但是局限于孤立音素或者单音节词，在一段 100 个单词的连续语音的情况下，解码正确的单词少于 40% 。</p><p>科学家们此次找到的是一个更直接的方法，就是采取机器翻译类似的算法。机器翻译就是将文本从一种语言到另一种语言的算法翻译，只不过这次输入的文本变成了脑电波信号。此次发表的论文《使用编码器-解码器框架：大脑皮层活动到文本的机器翻译》，正是详细描述了这一过程。</p><p>在系统对一个志愿者进行训练之后，再对另外一个志愿者训练时，解码结果得到了改善，这表明该技术可以在人和人之间进行迁移。</p><p>在 GitHub 上，放置了论文对应的代码。</p><p>ecog2txt 模块，用于从神经数据中将语音解码为文本。它用 Python 代码实现了跨主题的迁移学习的高级功能。[2]</p><p><img alt="科学家研发出“读心术”，直接将脑电波翻译成文本，错误率低至 3%" src="static.leiphone.com/uploads/new/images/20200401/5e840f2d9c304.png?imageView2/2/w/740"/></p><p>【雷锋网注：ecog2txt是论文对应的开源实现模块】</p><p>而训练本身则是通过另一个 machine_learning 软件包，它在 TensorFlow 里实现了一个序列到序列的网络。[3]</p><p>这些软件包的作者，也是论文的联合作者之一约瑟夫·马金（Joseph n）博士，他目前是加州大学旧分校整合神经科学中心的研究科学家。他的专业是电机工程和计算机科学，专门研究控制理论，包括脑机接口的算法。[4]</p><p><img alt="科学家研发出“读心术”，直接将脑电波翻译成文本，错误率低至 3%" src="static.leiphone.com/uploads/new/images/20200401/5e840c1cc6ee7.png?imageView2/2/w/740"/></p><p>【雷锋网注：上图为张爱德博士】</p><p>论文的另外一个联合作者是张爱德（Edward Chang）博士，他是医学博士和神经外科医生，擅长为患有癫痫病，脑瘤，三叉神经痛，面肌痉挛和运动障碍的成年人提供治疗。他目前是加州大学旧分校威尔神经科学研究所的神经外科教授，还领导了一个神经工程与假肢中心，以恢复瘫痪和言语障碍等神经疾病患者的功能。[5]</p><p><strong>网友评论</strong> </p><p>科学家们曾经认为将大脑信号转换为可理解的语音可能需要数十年，而现在这个间隔可以用几年来衡量。在 reddit 的科学板块，该引发了 3 万多次点赞和上千条评论。[6]</p><p>网友 derlumpend 评论说，这并不表示思想阅读机发明出来了。它主要依赖于解码口舌运动时对应的大脑皮层活动，需要收集给定主题的数据，并且提前进行训练，并不会直接解码你的思想活动。话虽这么说，这一进展也很了不起。</p><p>网友 boointhehouse 则说，如果这项技术早点用于·霍金，在他的一生中还能完成更多的工作。</p><p> </p><p>引用来源：</p><p>[1] nature.com/articles/s41593-020-0608-8.epdf </p><p>[2] github.com/jgmakin/ecog2txt </p><p>[3] github.com/jgmakin/machine_learning </p><p>[4] profiles.ucsf.edu/joseph.makin </p><p>[5] profiles.ucsf.edu/edward.chang </p><p>[6] reddit.com/r/science/comments/fry305/scientists_dlop_ai_that_can_turn_brain/ <br/></p><p><br/></p>
|
|
|
|
|
|
|
|
|
 |
一周最热 _ 一周热点的美文文章 |
|
