IEEE trans:经颅脑刺激对言语理解的影响

2021-05-22 MedSci原创 MedSci原创

语音处理需要大脑实时处理音素、音节和单词级别的信息。大脑皮层活动跟踪语音信号的宽带包络,这有助于将语音分割成不同的功能单元。特别是,脑磁图和皮层跟踪的脑电图测量表明,相对于音频信号,跟踪以两种不同的延

语音处理需要大脑实时处理音素、音节和单词级别的信息。大脑皮层活动跟踪语音信号的宽带包络,这有助于将语音分割成不同的功能单元。特别是,脑磁图和皮层跟踪的脑电图测量表明,相对于音频信号,跟踪以两种不同的延迟出现。因此,约100ms的早期延迟似乎与处理较低水平的声学特征(如声音幅度和音素)有关,而约250ms的较长延迟可能反映了对更复杂的语言结构(如语法和语义信息)的神经处理。

本文的目的是研究经颅脑刺激电流对言语理解的影响。如果短潜伏期和长潜伏期语音包络的神经跟踪在语音处理中发挥不同的作用,例如分别用于较低水平的声学处理和较高水平的语言处理,则可以预期这种差异。当用模拟语音包络的电流刺激大脑时,短潜伏期和长潜伏期成分的不同作用应该显现出来,相对于音频信号,短潜伏期和长潜伏期成分都被相应的神经成分的潜伏期延迟,并且被不同的相移。特别地,人们期望语音包络和音频信号之间的某个相移产生语音理解的增强,而另一个相移产生语音理解的减弱。同时,这可能会导致一个周期性的调制语音理解根据阶段的刺激。如果短潜伏期和长潜伏期对语音包络的神经跟踪在语音处理中起着不同的作用,那么这两个潜伏期对语音理解的周期性调制可能不同。

17名受试者(8名女性,9名男性)参与了本研究。受试者被呈现由四个男性说话者组成的背景杂音中的目标女性声音所说的句子(图1)。参与者同时接受经颅电刺激。听完一个句子后,参与者重复他们听到的内容,他们的答案被记录下来,并通过自动语音到文本转换进行评分。通过自适应程序改变句子的信噪比(SNR),以评估与句子接收阈值(SRT)相对应的SNR(阈值为50%)。

每个参与者的SRT经历为16种不同形式的经颅脑刺激。作为对照条件, 应用假刺激,包括一个短暂的初始电流,仅持续500毫秒。采用直流阳极和直流阴极刺激作为额外的刺激方式。实验分为两个部分,每个部分评估受试者在八种不同形式的电流刺激下的SRT。对于每个参与者,16种不同形式的经颅电流在两个疗程中被随机分配,并且他们在每个疗程中的呈现顺序也被随机分配(每个疗程中评估8种情况)。这导致了一个双盲实验,参与者和实验者都不知道施加电流形式的顺序,直到实验的两部分都结束。

Fig. 1. - The experimental design. Participants listened to a female target voice that was presented in four-talker babble noise. The subjects were presented with the audio signal and simultaneously stimulated through a transcranial current that was based on the envelope of the target speech signal. The sentence reception threshold (SRT) at which the volunteers understood 50% of the target speech was determined behaviourally.

实验设计

志愿者们坐在光线昏暗的消声室里舒适的椅子上,电极放在头上,阻抗小于10kΩ . 为每个参与者分别选择用于刺激的最大电流强度。为此,提出了持续5秒的3赫兹正弦振荡。振幅由100逐渐增大μ最大值为1500μ以100步为单位μ一个。17名参与者的最大电流范围为0.2 mA–1.5 mA(平均0.9 mA,标准差0.42 mA)。动物和模型研究表明,通过表面积为35 cm2的电极施加的最大电流为1.5 mA,低于触发单个神经元动作电位所需的阈值。因此,外加电流可引起皮层活动,但不会引起皮层活动。在每个实验环节之前的一个简短的练习环节中,以便熟悉目标语音和背景噪声的形式。目标声音的声级固定在75分贝声压级。

声音和电刺激都是在电脑(Windows7操作系统)上以数字方式产生的。这两个信号都通过USB-6212 BNC设备转换成模拟波形。然后声音刺激通过声卡并最终插入耳机,耳机被放置在受试者的耳道中。电刺激装置将电压信号转换成所需的电流。通过神经刺激装置监测电流信号。两个神经刺激装置分别连接到两个橡胶头皮电极上,一个用于刺激,另一个用于返回电流。为了降低头皮阻抗并获得良好的接触,将橡胶电极周围的海绵垫放在头上之前用0.9%的盐水湿润。两个刺激电极被放置在国际10-10系统的T7和T8位置的听觉皮层上。将获得的信号相对于音频信号移动了这两个延迟。因此,电流刺激滞后于语音信号100ms或250ms。

首先验证了使用的语音信号的包络具有广谱,并且它们不受单一频率的支配。发现光谱在1-12Hz的频率范围内显示出显著的贡献。因为光谱在大约2赫兹处显示出一个峰值,对应于500毫秒的周期。自相关在0ms时出现单峰,但在30ms时无显著相关−500毫秒、500毫秒或其他时间差。因此,语音信号是非周期的。进一步量化了语音包络的相位偏移和时间偏移之间的关系。对于正弦变化的信号,相位偏移实际上相当于时间上的某个偏移,并且这在计算由不同相位和不同延迟偏移的此类信号之间的相关性时变得明显。

Fig. 3. - Relationship between envelope shifts in time and in phase. (A), The correlation of a sinusoidal oscillation at 4 Hz shifted by different delays and phases shows that the two shifts are dependent. In particular, a temporal lag can be compensated by a certain phase shift and vice versa. (B). When the speech envelope is shifted by different lags and phases, the obtained signals are only significantly correlated for latency shifts between −100 ms and 100 ms. In contrast, shifts by smaller or larger temporal delays lead to independent signals.

包络线在时间和相位上移动的关系

为了进一步验证某个相位偏移的语音包络与被某个延迟延迟的包络是独立的,计算了不同相位变化和不同时间偏移的包络的相关性。只有在潜伏期差异不超过100毫秒的情况下,这些信号才会显著相关。尤其是延迟小于−100ms或大于100ms与没有时间延迟但被任何相位移动的包络不相关。因为250ms的延迟和100ms的延迟相距超过100ms,所以100ms延迟时的相移包络与250ms延迟时的相移包络是独立的。短潜伏期100ms和长潜伏期250ms之间,通过刺激阶段对言语理解的调节是不同的。特别是,每个潜伏期增加/减少言语理解的刺激阶段是不同的。

在两个不同的潜伏期对言语理解的不同调节可能反映了两个潜伏期在言语加工中所起的不同作用。对语音处理的神经机制的进一步理解可能导致用于语音增强的更好类型的电流刺激,并且电流刺激反过来可能提供探索语音理解的神经机制的工具,当我们将每个受试者的阶段与给予该受试者最佳言语理解的阶段对齐时,言语理解的调制变得更加嘈杂且不那么显著。这表明神经刺激改善和降低言语理解的阶段在被试之间是相对一致的。事实上,在潜伏期为250毫秒时,我们观察到每个受试者的首选相分布不均匀,聚集在60毫秒左右。

关于刺激阶段对言语理解的调节, 采用了两种不同的统计显著性检验,得出了一些不同的结果。只有250毫秒的延迟和120毫秒的周期才有显著变化.在早期和晚期潜伏期的经颅电流刺激都以非线性方式调节言语理解。这一发现基于SRT相位依赖性的多周期模型。通过电流刺激对皮层夹带的调制可能是非线性的,通过语音包络的神经跟踪对语音理解的调制也是非线性的。对这种显著非线性性质的进一步研究可采用神经网络动力学的计算模型,例如通过最近提出的用于语音编码的尖峰神经网络,并可揭示如何优化电流刺激以调制噪声理解中的语音。

本文结果除了在噪声理解中辅助言语的潜在应用外,声电联合刺激为神经系统疾病的非侵入性治疗开辟了可能性.

S. Kadir, C. Kaza, H. Weissbart and T. Reichenbach, "Modulation of Speech-in-Noise Comprehension Through Transcranial Current Stimulation With the Phase-Shifted Speech Envelope," in IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 28, no. 1, pp. 23-31, Jan. 2020, doi: 10.1109/TNSRE.2019.2939671.

版权声明:
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章,或“梅斯号”自媒体发布的文章,仅系出于传递更多信息之目的,本站仅负责审核内容合规,其内容不代表本站立场,本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (4)
#插入话题
  1. [GetPortalCommentsPageByObjectIdResponse(id=1673174, encodeId=789e16e3174cd, content=<a href='/topic/show?id=24c9910e9a2' target=_blank style='color:#2F92EE;'>#言语理解#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=43, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=91079, encryptionId=24c9910e9a2, topicName=言语理解)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=cda126920857, createdName=tomyang95, createdTime=Thu Nov 11 15:12:09 CST 2021, time=2021-11-11, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1657471, encodeId=b6c1165e4714e, content=<a href='/topic/show?id=3ca31e71903' target=_blank style='color:#2F92EE;'>#TRA#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=40, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=17719, encryptionId=3ca31e71903, topicName=TRA)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=757b24868428, createdName=bsmagic9140, createdTime=Fri May 06 04:12:09 CST 2022, time=2022-05-06, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1457675, encodeId=0460145e67529, content=<a href='/topic/show?id=f9f684e27d6' target=_blank style='color:#2F92EE;'>#脑刺激#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=44, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=84727, encryptionId=f9f684e27d6, topicName=脑刺激)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=bd4c5968615, createdName=amyloid, createdTime=Mon May 24 14:12:09 CST 2021, time=2021-05-24, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=968013, encodeId=549096801344, content=学到了, beContent=null, objectType=article, channel=null, level=null, likeNumber=0, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=776c5501887, createdName=ms2000001306507573, createdTime=Sun May 23 21:20:09 CST 2021, time=2021-05-23, status=1, ipAttribution=)]
  2. [GetPortalCommentsPageByObjectIdResponse(id=1673174, encodeId=789e16e3174cd, content=<a href='/topic/show?id=24c9910e9a2' target=_blank style='color:#2F92EE;'>#言语理解#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=43, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=91079, encryptionId=24c9910e9a2, topicName=言语理解)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=cda126920857, createdName=tomyang95, createdTime=Thu Nov 11 15:12:09 CST 2021, time=2021-11-11, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1657471, encodeId=b6c1165e4714e, content=<a href='/topic/show?id=3ca31e71903' target=_blank style='color:#2F92EE;'>#TRA#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=40, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=17719, encryptionId=3ca31e71903, topicName=TRA)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=757b24868428, createdName=bsmagic9140, createdTime=Fri May 06 04:12:09 CST 2022, time=2022-05-06, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1457675, encodeId=0460145e67529, content=<a href='/topic/show?id=f9f684e27d6' target=_blank style='color:#2F92EE;'>#脑刺激#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=44, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=84727, encryptionId=f9f684e27d6, topicName=脑刺激)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=bd4c5968615, createdName=amyloid, createdTime=Mon May 24 14:12:09 CST 2021, time=2021-05-24, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=968013, encodeId=549096801344, content=学到了, beContent=null, objectType=article, channel=null, level=null, likeNumber=0, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=776c5501887, createdName=ms2000001306507573, createdTime=Sun May 23 21:20:09 CST 2021, time=2021-05-23, status=1, ipAttribution=)]
    2022-05-06 bsmagic9140
  3. [GetPortalCommentsPageByObjectIdResponse(id=1673174, encodeId=789e16e3174cd, content=<a href='/topic/show?id=24c9910e9a2' target=_blank style='color:#2F92EE;'>#言语理解#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=43, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=91079, encryptionId=24c9910e9a2, topicName=言语理解)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=cda126920857, createdName=tomyang95, createdTime=Thu Nov 11 15:12:09 CST 2021, time=2021-11-11, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1657471, encodeId=b6c1165e4714e, content=<a href='/topic/show?id=3ca31e71903' target=_blank style='color:#2F92EE;'>#TRA#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=40, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=17719, encryptionId=3ca31e71903, topicName=TRA)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=757b24868428, createdName=bsmagic9140, createdTime=Fri May 06 04:12:09 CST 2022, time=2022-05-06, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1457675, encodeId=0460145e67529, content=<a href='/topic/show?id=f9f684e27d6' target=_blank style='color:#2F92EE;'>#脑刺激#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=44, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=84727, encryptionId=f9f684e27d6, topicName=脑刺激)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=bd4c5968615, createdName=amyloid, createdTime=Mon May 24 14:12:09 CST 2021, time=2021-05-24, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=968013, encodeId=549096801344, content=学到了, beContent=null, objectType=article, channel=null, level=null, likeNumber=0, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=776c5501887, createdName=ms2000001306507573, createdTime=Sun May 23 21:20:09 CST 2021, time=2021-05-23, status=1, ipAttribution=)]
    2021-05-24 amyloid
  4. [GetPortalCommentsPageByObjectIdResponse(id=1673174, encodeId=789e16e3174cd, content=<a href='/topic/show?id=24c9910e9a2' target=_blank style='color:#2F92EE;'>#言语理解#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=43, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=91079, encryptionId=24c9910e9a2, topicName=言语理解)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=cda126920857, createdName=tomyang95, createdTime=Thu Nov 11 15:12:09 CST 2021, time=2021-11-11, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1657471, encodeId=b6c1165e4714e, content=<a href='/topic/show?id=3ca31e71903' target=_blank style='color:#2F92EE;'>#TRA#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=40, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=17719, encryptionId=3ca31e71903, topicName=TRA)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=757b24868428, createdName=bsmagic9140, createdTime=Fri May 06 04:12:09 CST 2022, time=2022-05-06, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1457675, encodeId=0460145e67529, content=<a href='/topic/show?id=f9f684e27d6' target=_blank style='color:#2F92EE;'>#脑刺激#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=44, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=84727, encryptionId=f9f684e27d6, topicName=脑刺激)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=bd4c5968615, createdName=amyloid, createdTime=Mon May 24 14:12:09 CST 2021, time=2021-05-24, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=968013, encodeId=549096801344, content=学到了, beContent=null, objectType=article, channel=null, level=null, likeNumber=0, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=776c5501887, createdName=ms2000001306507573, createdTime=Sun May 23 21:20:09 CST 2021, time=2021-05-23, status=1, ipAttribution=)]
    2021-05-23 ms2000001306507573

    学到了

    0

相关资讯

语音识别技术使电子病历系统实现快速录入

 上世纪九十年代末期,联合委员会指出旧金山圣玛利医疗中心存在字迹潦草的问题。临床信息医学主任、医学博士John Umekubo说,目前该机构仍在努力根除这个问题。“问题是,‘现在准备怎么做?’我们没有任何答案,”他说,“那时我们除了口述病情记录的方法之外别 无它法,而这个方法的成本很高。”   这家机构最初的方案是确定字迹最潦草的人,要求他们用英文正楷打印记录。但是这比胡写乱画要慢得多,所

狗理解语音的方式和人类一样

最近一项研究发现,犬类大脑在进行语音分析时,也是从语调和词汇两方面分别处理,然后整合得到最终的信息。第一个有关犬类大脑如何处理语音信息的研究告诉我们:动物圈内我们最好的小伙伴不仅关心我们说了什么,还会在意我们是怎样说的。犬类就像人类一样,用大脑左半球处理词汇信息,右半球大脑处理语调信息,只有当词汇和语调信息都反应它受到了表扬,它的大脑奖励中枢才会被激活。这项研究发表于 Science(论文相关信息

医学语音识别系统,助力医生快速记病历

医生工作里最费时、最烦人的部分是什么?可能很多医生都会说是写病历。根据美国医学会(AMA)的统计,医生职业生涯大约15%-20%的时间用在了病历书写及与之相关的文案工作上。接受训练的医生(如住院医)花在上面的时间更是高达30%。虽然病历书写是行医工作中必不可少的部分,但巨大的工作量 让很多医生苦不堪言,对医院来说也是改善运营效率的重要环节。 在美国等发达国家,由于医疗成本的高昂,提高医生的