讓失聲群體重獲“新聲”,腦機接口領域現重大突破

韓璐 6年前 (2019-04-25)

研究團隊研發出一款解碼器,能夠利用人工智能基于大腦數據合成語音。

日前,學術期刊《自然》在線發表了一篇文章,其中涉及一種解碼器,能夠將大腦神經信號轉化為語音,幫助無法說話的患者實現發聲交流。

讓失聲群體重獲“新聲”,腦機接口領域現重大突破

據了解,該解碼器由加州大學舊金山分校的神經外科學家Edward Chang教授與其同事一同開發。他們采用了一種叫做“高密度腦皮層電圖”的技術,能夠基于癲癇患者腦中被植入的電極(醫療監測需要)所傳出的數據,直接記錄下受試者大腦皮層的神經活動。

過程中,受試者會被要求大聲讀出幾百條句子,研究人員則會同步記錄他們大腦腹側感覺運動皮層區的神經活動,這里是大腦的語音產生中心。

隨后,研究人員將利用循環神經網絡破譯采集到的神經信號,其中涉及兩個步驟:第一步,他們將神經信號轉換為表征發音器動作的信號,包括下巴、喉、嘴唇和舌頭動作相關的腦信號;第二步,他們則根據解碼出來的發音器官動作,把信號轉換為說出的語句。

讓失聲群體重獲“新聲”,腦機接口領域現重大突破

為了驗證自己的成果,研究人員已經在亞馬遜的眾包任務平臺Mechanical Turk上招募了聽眾,來辨認解碼器合成的語音,測試內容包括325個單詞和101局整句。結果顯示,聽眾能夠成功的識別出單詞,和對自然語音的感知模式一樣。

對于這一測試結果,第一作者Gopala Anumanchipalli博士表示,該結果意味著這種神經合成語音對于現實世界的應用來說已經達到即刻聽懂的實用程度。

此外,研究人員還進行了另一項測試,讓受試者用默讀的方式讀出同一個句子。結果顯示,無聲言語的合成效果不如有聲言語。但Edward Chang表示,雖然語音解碼的準確性大大降低,但受試者在沒有聲音的情況下模仿發聲仍然可以進行語音合成。至于那些已經喪失語音相關動作能力的群體,該系統的適用性還需要進一步研究。

針對這一項研究成果,生物工程學教授Chethan Pandarinath等人在文章評論中表示,這一系統要成為一個臨床可行的語音合成腦機接口,還存在許多挑戰。但可以肯定的是,腦機接口技術的持續進步可以讓存在發聲障礙問題的群體重新獲得“說話”的能力。

最后,記得關注微信公眾號:鎂客網(im2maker),更多干貨在等你!

鎂客網


科技 | 人文 | 行業

微信ID:im2maker
長按識別二維碼關注

硬科技產業媒體

關注技術驅動創新

分享到