研究組和神經外科合作,借助病人手術切除腦部病灶前進行臨床神經電生理監測的機會,直接獲取清醒狀態下大腦皮層表面高時空分辨率的神經電活動,結合磁共振等影像方法,揭示了聽覺、語言和運動腦區如何通過精細的時空協作,實現語言聲調類別化處理的機制;在傳統的聽覺處理通路之外,發現了運動相關腦區在語言聲調處理中的作用。聲調是語音表意的重要形式,該發現為大腦語言處理機制研究打開新的思路,也為開發語音腦機接口、神經外科手術中保護語言功能等提供了生理基礎。
聲調是人類語言進化產生的提高語言信息容量的獨特方式。世界語言中有一半以上是聲調語言,漢語是其中的典型代表。我國著名語言學家趙元任、劉半農等開辟了漢語聲調定量研究的先河,揭示了漢語四聲的物理本質是語音的基頻F0動態變化模式。之后的語言學研究發現,和人類通過視覺區分物體類別的規律一樣,漢語聲調的感知也是類別化的:跨類別聲調的感知距離被放大,而同類別聲調的感知距離被壓縮。這是一種典型的認知處理模式,但其背后的大腦處理機制一直不清楚。近年來磁共振、腦電等腦成像技術的發展,為這方面的研究提供了可能,但因為無法同時獲得高時空分辨率的腦活動記錄方法,該領域的研究進展緩慢。
清華大學醫學院生物醫學工程系洪波研究組經過長期探索和攻關,與清華玉泉醫院癲癇中心等開展合作,融合手術前的磁共振成像、手術中的大腦皮層腦電記錄、手術后的CT成像三種數據,通過信號處理和信息建模方法,得到了人腦不同腦區的精細活動圖譜,解決了時空分辨率的問題。
在這項研究中,病人在臨床神經電生理監測期間,進行漢語聲調感知的測試,一方面為醫生手術時保護語言功能提供精準依據,另一方面為揭示語言聲調處理神經機制提供了寶貴的機會。研究組發現,大腦皮層的顳葉語言區、感覺運動區的腦電響應非線性地放大了不同聲調之間的神經表征距離,揭示了語言聲調類別感知的神經機制。
除了傳統的聽覺和語言處理腦區之外,該研究發現運動相關腦區也參與了聲調的類別化處理,而且運動相關腦區和聽覺語言腦區之間存在精細的響應時序關系和因果性的信息傳遞。這一發現提示大腦語音處理可能需要聽覺和運動模態的協同,為神經語言學中久有爭議的“語言感知的運動理論”提供了新的證據。在此工作基礎上,研究組計劃進一步研究語義和句法層次的大腦處理機制,開發能夠通過腦電信號解讀語音和語言的腦機接口系統,并為語言康復和人工智能語音語言處理提供生理模型。研究組已經和解放軍總醫院、清華長庚醫院、宣武醫院、天壇醫院等建立了臨床研究合作。
|