Nature：脑机接口可将脑活动实时转换成文字！

科学家们正在探索一些让残疾人与他们的思想交流的方法。最新和最快的方法是回到一种古老的表达方式：手写。

PIXABAY

脑机接口（BCI）可使失去移动或说话能力的人恢复交流。到目前为止，BCI研究的主要重点是恢复粗大的运动技能，如伸手和抓握或用电脑光标点选打字。然而，高度灵巧行为的快速序列，如手写或触摸打字，可能会使交流的速度加快。

近日，美国斯坦福大学研究人员首次将人工智能（AI）软件与脑机接口（BCI）设备结合，成功开发了一种皮质内BCI，通过运动皮层中的神经活动解码尝试手写动作，并使用循环神经网络解码方法将其实时转换为文本。通过该BCI，研究对象实现了每分钟90个字符的打字速度，在线原始准确率为94.1%，离线通用自动更正的准确率大于99%。该研究发表在《自然》杂志上。

研究团队与一名参加名为BrainGate2的临床试验的参与者合作，在实验中，参与者左侧大脑植入了两个脑机接口芯片，每一个芯片都有 100 个电极，负责接收运动皮层（大脑最外层的一个区域）神经元发出的信号，运动皮层是控制手部运动的区域，这些神经信号通过电线发送到计算机，由人工智能算法解码信号并推测参与者的手和手指的预期运动。

研究人员发现，由于神经活动的高峰和低谷因时间有所不同，可能由于书写速度的波动，神经活动似乎是强烈和可重复的。为了直观地观察笔迹尝试过程中记录的神经活动，他们使用时间比对技术来消除时间变异性，这揭示了每个字符特有的显著一致的神经活动模式。

为了确定神经活动是否编码绘制了每个形状所需的笔尖运动，研究人员通过从试验平均神经活动中线性解码笔尖速度来重建每个字符，容易辨认的字母形状证实了笔尖速度是可靠编码的，代表笔尖速度的神经维度占总神经方差的 30%。

笔迹的神经表征

其次，研究人员采用非线性降维方法（t-SNE），对每个试验的神经活动进行二维（2D）可视化，在对受试者给出 “go” 的提示后记录相关信息。

t-SNE 方法显示了每个字符的神经活动紧密簇和一种主导运动编码，在这种编码中，书写相似的字符更接近，将近邻分类器离线应用到神经活动中，可以对字符进行分类，准确率为 94.1%。

于是，研究人员得出结论，即使在瘫痪多年后，运动皮层中笔迹的神经表征可能仍足够强大，可以通过脑机接口技术表达出来。

该研究作者Willett表示，这种所谓的 "大脑到文本 "BCI之所以如此快速，是因为每个字母都会产生一种非常独特的活动模式，这使得算法相对容易区分一个字母和另一个字母。

研究报告的共同作者、斯坦福大学霍华德-休斯医学研究所研究员Krishna Shenoy表示，，随着进一步的发展，这项创新可以让瘫痪的人不用手就能快速打字。

该团队下一步打算与不能说话的参与者合作，例如患有肌萎缩性脊髓侧索硬化症的人，这是一种退行性神经疾病，导致运动和语言的丧失。

加州大学伯克利分校的神经工程师何塞-卡梅纳（Jose Carmena）说，“这项技术和其他类似技术有可能帮助各种残疾人士，尽管研究结果是初步的，但 "这是该领域的一大进步"。

原始出处：

Francis R. Willett, Donald T. Avansino, Leigh R. Hochberg, Jaimie M. Henderson, Krishna V. Shenoy. High-performance brain-to-text communication via handwriting. Nature, 2021; 593 (7858): 249 DOI: 10.1038/s41586-021-03506-2