靠脑电波输出想法，瘫痪男子拼出1100个单词

时任法国时尚杂志《ELLE》总编辑的Jean-DominiqueBauby ，在一次偶然的中风苏醒后，除了左眼还能够眨动外全身瘫痪。然而，这种名为闭锁综合征的疾病没能将他清醒的意识禁锢在僵死的肉体中，他依靠眨眼选择别人念出的字母，来完成单词的拼写。单词串成语句，语句连成段落，他花费了两年的时间，完成了生命中唯一的著作《潜水钟与蝴蝶》。 “潜水钟”象征沉重的命运，而蹁跹飞舞的“蝴蝶”则象征着不甘束缚的思绪，正是作者自身状况的最好写照。
这名被称作Bravo1的瘫痪男子则比Bauby幸运一些。他在20岁时因为脑桥中风，被神经科医生和语言病理学家诊断为严重的痉挛性四肢瘫痪和构音不全。认知能力虽然完整，也保留了发出咕噜声和呻吟声的能力，但他无法发出清晰的语言。他的头颈还能转动，所以能够通过加装在帽子上的指针点触屏幕上的字母来进行交流，速度约为每分钟5个单词或18个字符。

文章图片
图1Bravo1通过控制帽子上的指针点触屏幕（图源：[1]）
但交流还可以变得更简单。到了2019年，作为BCI手臂和声音恢复（BCIRestorationofArmandVoice ， BRAVO）临床试验的第一位参与者，研究人员通过手术在他大脑的语言运动皮层区域植入一个高密度电极。 BCI即BrainComputerInterface ，意为脑机接口。通过这个电极， Bravo1的大脑信号传输到计算机中进行实时分析。
Bravo1可以从预先定义的50个极常用单词中挑选他想说的那个，然后作出大声念出该单词的尝试（overt-speechattempts）。对于某些构音不全患者，在尝试说话时能够产生有限的口腔运动和无差别的发声。计算机识别出Bravo1在尝试说话期间的神经活动，并通过深度学习模型评估Bravo1说出某个单词的概率。结合神经活动给出的线索，以及在一般语句表达中某个单词出现的合理性，计算机最终会给出Bravo1最可能想要表达的完整句子。

文章图片
图2由神经活动直接解码词汇的示意图（图源：[2]）
这个系统最终达到了每分钟15.2个单词的中位速率，以及74.4%的中位单词正确率。相关研究成果以“NeuroprosthesisforDecodingSpeechinaParalyzedPersonwithAnarthria”为题于2021年7月发表在TheNewEnglandJournalofMedicine（图2）[2] 。

文章图片
图3研究成果（图源：[2]）
在此基础上，研究人员还想要再进一步。首先是词汇量的扩充，必须要让Bravo1有办法拼写出更多的较常用单词，但这对于计算机将神经活动准确解码为特定单词，难度将大幅提升。其次Bravo1并不喜欢通过尝试大声说话的方式来控制拼写系统，因为那样异常费力，如果改为仅仅在心中尝试默念（silent-speechattempts），对他来说会更为舒适，但尚不清楚仅靠默念时的神经活动能否正确解码出Bravo1想要表达的内容，尤其Bravo1已经十多年不能说话了，语言控制背后的神经信号是否仍然完整需要存疑。
为此，研究人员设计了如下的实时拼写流程：
1·Bravo1尝试默念单词激活拼写系统；
2·屏幕上呈现倒计时提示，倒计时结束， Bravo1按照北约音标字母表默念单词，比如他想说字母c就默念Chalie ，字母t就默念Tango；
3·拼写系统根据接下来2.5s内的神经活动判定Bravo1最可能想要表达的字母是什么；
4·拼写系统根据一般语句表达的合理预期调整当前字句，比如“我吃……”后面跟着的更可能是“过了”而不是“过去”；