非侵入性大脑记录解码：读心术真的来临了吗？
文章主题：人之智慧, 大脑, 非侵入性语言脑机接口, 语义解码器
本文来自微信公众号：生物世界 （ID：ibioworld），作者：刘如谦，编辑：王多鱼，原文标题：《读心术来了：使用ChatGPT背后的技术读取人类大脑中的思想，我们现在需要担心吗？》，题图来自：视觉中国
人之智慧，根植于大脑之中。无可置疑，大脑作为人体内最为复杂的器官，掌管着我们的记忆、语言以及情绪等众多功能。然而，即便至今，我们对自身的认知仍然相对有限。尽管我们都清楚大脑无时无刻不在进行着神经活动，但我們却无法深入理解这些活动所代表的真正含义。
而近日，Nature Neuroscience和Nature接连发表了两项重磅研究成果，前者使用脑部扫描和人工智能实现了对人类想法的解析，后者使用人工智能重现了小鼠看过的电影画面。
在这些令人振奋的研究成果面前，我们禁不住惊叹：读心术真的降临了？面对这项能够“洞悉他人内心世界”的科技，我们是否需要感到担忧？又该如何确保这一技术不会被滥用呢？
在2023年的5月1日，来自美国德克萨斯大学奥斯汀分校的研究团队在Nature Neuroscience期刊上发表了一篇名为“非侵入性脑记录中连续语言的语义重建”的研究论文。
该研究开发了一种名为语义解码器的新型人工智能系统，可以通过功能性磁共振（fMRI）数据，将一个人在听故事或默默想象讲述故事时的大脑活动翻译成连续的文本流。这一系统可能会帮助那些有精神意识但无法说话的人（例如中风患者、聋哑人）进行清晰的交流。
有意思的是，这项研究工作部分依赖于大语言模型（Large Language Models，LLM），而大语言模型正是最近爆火的人工智能聊天软件ChatGPT的基础。
与其他正在开发的语言解码系统不同，该系统不需要参与者进行手术植入任何设备，整个过程是无创的。在解码之前，参与者需要经过一段时间的训练，然后再使用功能磁共振成像扫描仪测量。之后，如果参与者同意让自己的思想被解码，在他们听到一个新故事或想象讲述一个故事时，语义解码器就能从大脑活动中产生相应的文本。
Alexander Huth教授，这项研究的通讯作者，表示这是一个真正的突破。相较于以往的方法，它们仅能解码单一词汇或简短语句，然而语义解码器能够长时间地解析那些包含复杂思想的连续性语言。
使用功能性磁共振成像（fMRI）来解码人类大脑中的想法
研究团队记录了3名参与者倾听16小时叙事故事的功能性磁共振（fMRI）数据，以训练模型在大脑活动和语义特征之间进行映射，捕捉特定词组含义和相关的大脑响应。这一解码器模型随后测试了参与者听新故事的脑响应，这些故事没有用在初始训练数据集中。
语义解码器的训练流程图
在初始训练之后，语义解码器可以根据参与者的大脑活动生成词汇序列，捕捉到新故事的含义，以及生成一些精确的故事词汇和短语。研究人员发现，语义解码器可以从大多数已知处理语言的脑区和网络的活动中推断连续语言。
值得注意的是，语义解码器获得的结果并不是一字不差的文字记录，相反，研究人员设计它是为了捕捉参与者所思所想的要点。大约有一半的时间，语义解码器产生的文本与原始单词的意思非常接近，有时甚至相当精确。例如，在实验中，一个参与者听到说话者说“我还没有驾照”，他的想法被翻译成“她甚至还没有开始学开车”。
语义解码器可以捕捉参与者所思所想的要点
此外，研究小组成员还观察到，语义解码器能够借助fMRI数据分析预测特定参与者所想象故事的内涵，或者推断他们正在观看的无声影片的内容。在这种情况下，当一名参与者积极倾听一个故事并忽视其他同时播放的故事时，解码器能够辨别出那个被主动倾听的故事的具体含义。
当然，该语义解码器目前还无法在实验室以外使用，因为它依赖于fMRI这一大型设备。但Alexander Huth教授表示，这项工作可以转移到其他更便携的大脑成像系统中，例如功能性近红外光谱（fNIRS），从而达到便携、易用的目的。
解码过程跨越大脑皮层的多个区域
那么，语义解码器的应用范围究竟有哪些呢？在医疗领域，这个系统有着极为重要的价值。它能够帮助解决一系列语言能力受限的问题，包括但不限于中风患者、渐冻症患者以及聋哑人群等。通过语义解码器，这些人群将能够与他人进行更加顺畅、理解的沟通，从而改善他们的生活质量，甚至恢复原本的社会功能。而在社会层面上，语义解码器也有着广泛的应用前景。它可以帮助执法部门在审讯过程中更好地理解嫌疑人的意思和需求，提高审讯效率和效果。同时，它也可以用于处理间谍活动，帮助机构更准确地解读敌人的行动意图，从而制定出更为有效的应对策略。总的来说，语义解码器在医疗和社会两个领域都发挥着至关重要的作用，它的应用前景广阔，值得我们进一步的研究和探索。
语义解码器应用程序和隐私的影响
在《三体》中，由于三体人派出的智子无法监视人类的思维，地球人因此开展了“面壁计划”，将应对三体人的作战计划只藏在大脑中。而如果有了这种准确读取大脑中思想的技术，面壁计划在三体人面前将不再是不可知的秘密。
因此，这项研究也带来了一个全新的隐私问题——一些不怀好意的人是否可以通过语义解码器窃取他人大脑中的想法呢？
通讯作者Alexander Huth教授表示，语义解码器是量身定做的，在使用前需要经过十几个小时的训练，参与者需要保持完全静止，并将精神集中注意在他们正在听的故事，该系统才能真正发挥作用。此外，研究团队也在没有接受过培训的人身上测试了该系统，其解码结果与实际相差甚远。
语义解码器不能在不同参与者中相互套用
总而言之，这项研究开发了一种类似于ChatGPT的人工智能系统——语义解码器，该系统可以在训练后读取参与者的所思所想，并将其解码翻译为连续语言，由此证明了非侵入性语言脑机接口的可行性。
值得一提的是，2023年5月3日，Nature期刊发表了一篇题为：Learnable latent embeddings for joint behavioural and neural analysis 的研究论文。
该研究通过一种名为“CEBRA”的人工智能算法来构建神经网络模型，从而解析小鼠的大脑活动信号，从中重构出小鼠观看到的电影片段，几乎与电影原作一致。
论文链接
1. https://www.nature.com/articles/s41593-023-01304-9
2. https://www.nature.com/articles/s41586-023-06031-6
本文来自微信公众号：生物世界 （ID：ibioworld），作者：刘如谦，编辑：王多鱼
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
