IBM首個人造神經元幕后，神經形態計算系統向人造大腦突破

日前，IBM蘇黎世研究院研究人員利用相變存儲材料，制造出首例隨機興奮人工神經元。

【編者按】本文由新智元編譯，來源：IBM Research、The Economist 等，譯者：聞菲、張冬君

日前，IBM蘇黎世研究院研究人員利用相變存儲材料，制造出首例隨機興奮人工神經元?！督洕鷮W人》評論，這是在人造大腦方面的又一突破。模仿大腦的概念簡單，但實際把它做出來卻相當難。有了IBM 的這項突破，今后再將隨機相變神經元集群與其他納米計算材料結合在一起，能夠成為下一代超密神經形態計算系統的關鍵。

沒有人知道人腦是如何工作的，因此研究人腦的研究員才想出了“模擬”的方法。常見的方法是用神經形態元件制作出一個人造大腦。計算機科學家早就從生物學中汲取靈感，最近被稱為“深度學習”的人工智能技術，就是模仿人腦的生理行為。

神經形態（Neuromorphic）一詞最早是在 20 世紀 80 年代，由加州理工大學的計算機科學家 Carver Mead 提出。神經形態工程學（Neuromorphic engineering）希望利用具有模擬電路特征的超大規模集成電路（VLSI），模仿人腦神經系統，最終目標是制造一個仿真人腦的芯片或集成電路。神經形態工程學需要跨領域的合作，也吸引了生物學、物理學、數學及信息科學等各方面人才的投入。

日前，IBM 蘇黎世研究院的研究人員利用相變存儲材料獲得了突破。IBM 研究員 Evangelos Eleftheriou 表示，過去十年來，IBM 一直從事相變存儲材料的研究。“現在，我們又展示了這些使用相變材料制作的人工神經元的能力，它們能夠以非常低的能耗進行高效無監督學習和數據相關的檢測等多種簡單的計算。” Eleftheriou 說。

論文的第一作者 Tomas Tuma 表示，隨機相變神經元集群與其他納米計算材料結合在一起，能夠成為下一代超密神經形態計算系統的關鍵。相關論文日前被《自然·納米技術》作為封面論文發表。

相變存儲材料動態演示圖

世界首例隨機興奮人工神經元

科學家幾十年前便提出，能夠制作出具有類似人腦功能的神經形態集成電路。但一直以來，能耗的問題都沒有得到解決。

現在，IBM 蘇黎世研究院的研究人員利用相變存儲材料獲得了突破。IBM 研究員 Evangelos Eleftheriou 表示，過去十年來，IBM 一直從事相變存儲材料的研究。“我們展示了這些使用相變材料制作的人工神經元的能力，它們能夠以非常低的能耗進行高效無監督學習和數據相關的檢測等多種簡單的計算。” Eleftheriou 說。

論文的第一作者 Tomas Tuma 表示，隨機相變神經元集群與其他納米計算材料結合在一起，能夠成為下一代超密神經形態計算系統的關鍵。

藝術家創作：相變合金液鍺銻碲（GeSbTe）覆蓋的人造神經元。來源：IBM 研究院

IBM 蘇黎世研究院研究人員制造的這款人工神經元，由相變合金鍺銻碲（GeSbTe）組成，GeSbTe 也是制作藍光光碟的一種基礎材料，在不同的條件下會處于無定形和晶體兩種不同的狀態。

相變存儲器由于具有讀寫速度快、能耗低、非揮發性、數據保持時間長以及與硅加工工藝兼容等特點，被認為是最有可能取代目前的 SRAM、DRAM、FLASH等產品成為未來主流的存儲器產品。GeSbTe硫系三元化合物已經被成功應用于光盤系列相變存儲器，也是在PCRAM應用中最具競爭力的相變材料。

生物神經細胞在傳導神經興奮信號時，會經過神經遞質，也即一層液態的神經薄膜，這層神經薄膜在接收到信號時，不會立即釋放，而是當能量積蓄到一定程度后，才會向外發射信號。這個信號沿軸突傳導，被其他神經元接收。

IBM 研究人員用一小滴鍺銻碲合金液作為神經薄膜的替代品。實驗中，研究人員將人工神經元接通后，輸入一系列電脈沖信號，從而使材料發生一系列相變，最終使人工神經元發射信號。

具體看，一小滴鍺銻碲合金液兩邊分別接通電極。隨著電流的通過，合金液的導電性會發生改變。最開始，這一滴鍺銻碲合金液不含有任何晶體結構，因此導電性很差。但當低壓電流通過時，一部分合金溫度升高并開始形成結晶，導電性也隨之增強。繼續通電，整滴合金液的導電性都會增強，直到最后電流完全能夠通過，就好像生物神經薄膜能量積蓄滿之后發射神經脈沖信號一樣。之后，再加上高壓電流，讓整個合金液熔化，就能回到初始狀態。

在神經科學中，這種現象被稱為神經元的 integrate-and-fire（IF）性質，也是基于事件計算的基礎。

生物神經元是不可預測的，細胞里的震動表明特定的輸入不一定會得到同樣的輸出。自然正是利用這種隨機性，讓神經元完成了不可思議的工作，比如從復雜的數學題目中得出局部最小準則（local minimum criterion，LMC），這是依靠算法的數字計算機無法做到的。由于每次結晶的具體細節都不同，因此可以認為，這些人工神經元的動作是相對比較隨機的。

IBM 研究員 Evangelos Eleftheriou 表示，由于有了 IF屬性，單一的人造神經元也能被用于處理實時信息流，并從中找出規律、發現關聯。例如，在物聯網中，傳感器能采集并分析網絡邊緣收集到的數據，預測天氣。此外，人工神經元也能被用于檢測金融數據的規律，或者分析社交網絡數據，實時發現文化潮流。

神經形態計算：模擬人腦神經元行為

神經形態（Neuromorphic）一詞最早是在 20 世紀 80 年代，由加州理工大學的計算機科學家 Carver Mead 提出。神經形態工程學（Neuromorphic engineering）希望利用具有模擬電路特征的超大規模集成電路（VLSI），模仿人腦神經系統，最終目標是制造一個仿真人腦的芯片或集成電路。神經形態工程學需要跨領域的合作，也吸引了生物學、物理學、數學及信息科學等各方面人才的投入。

Carver Mead 在上世紀 70 年代為摩爾定律命名，他開創了半導體行業的許多個第一，其中包括設計復雜硅芯片（超大規模集成電路）的方法，直到今天，這種方法仍然具有影響力。

1971年，Mead（左）在加州理工教授 VLSI 技術的第一堂課。來源：caltech.edu

上世紀 80 年代，對標準計算機的局限性感到沮喪的 Mead 開始制造模擬哺乳動物大腦的芯片，也由此創立了名為神經形態計算的領域。Mead 使用亞閾值（sub-threshold）硅模仿大腦的低功耗處理過程。在十分微小的電壓下，正常芯片無法將比特從“0”改變為“1”，但亞閾值硅仍然有微小的、不規則的電子流通過，這種自發電流的漲落，其大小和可變性，與神經回路中流動的離子所形成電子流非常相似。

20 世紀 90 年代，Mead 和同事發現，構建硅神經元網絡是有可能實現的。該裝置通過結點（junction）接收外部電流輸入信號，結點的作用類似于真實神經系統中的突觸——神經脈沖通過突觸，從一個神經元傳到另一個神經元。和真正的神經元相似，硅神經元允許傳入的信號在電路的內部積蓄電壓。當電壓達到一個特定的閾值，硅神經元就會“放電”，產生一系列“電壓尖脈沖”（voltage spike，即瞬間出現的電壓峰值），這些“電壓尖脈沖”會沿著一條導線傳播，這條導線的作用類似神經元的軸突。盡管這些尖脈沖是“數字化”的，只能處于開或關這兩種狀態，但硅神經元卻像真正的神經元一樣，是以非數字化的形式運行的，因此硅神經元的電流和電壓并不限于幾個不連續的數值，這與傳統芯片完全不同。

硅神經元的表現，反映了大腦節能的一個關鍵因素：與真正的大腦一樣，硅神經元在“放電”之前，只是簡單地整合輸入信號，這只需要很少的能量。而在傳統計算機中，無論芯片是否進行運算，都需要持續輸入能量，維持內部時鐘運行。

無論現今的智能型產品多么智能、電路多么復雜，但與人腦相比都還只是玩具，尤其是功率。人腦包含上千種神經細胞及神經元組成的一個極為復雜的網絡。光是"模擬"一個神經元的行為，就需要消耗大量計算資源。

神經形態工程學所追求的未來芯片，就是將大量的邏輯電路整合進一個芯片中，透過個芯片的控制，讓各種高科技產品能夠順利運作。

IBM 蘇黎世研究院的研究人員利用相變存儲材料，制作的隨機興奮神經元。兩邊微小的方形是電極的導電板，很尖的探針觸碰到導電板，讓相變材料回應神經信號輸入。每組探針都能接觸到100個細胞組成的一個集群。來源：IBM研究院

現在，IBM 研究人員已經將好幾百個這樣的人造神經元構成集群，并用這些集群代表快速復雜的信號。不僅如此，每個人造神經元都表現出了很高的耐受性，能夠在 100 Hz 的頻率下運行好幾年。每個神經元的能耗都少于 5 皮焦，平均能耗少于 120 微瓦。相比之下，60瓦的電燈泡需要消耗 6000萬微瓦。

研究人員專訪

參與這項研究的IBM蘇黎世研究員（從左到右）：Abu Sebastian，Evangelos Eleftheriou，Tomas Tuma，Angeliki Pantai 和 Manuel Le Gallo。來源：IBM研究院

IBM 蘇黎世的暑期實習生 Millian Gehrer 采訪了參與上述研究的研究員 Manuel Le Gallo。

人工神經元的功能是什么？

Manuel Le Gallo：神經元具有一定的功能，我們稱之為“整合和觸發（integrate and fire）”。神經元就像一個蓄電池，如果你不停地向神經元輸入電流，它就會整合所有的輸入電流。膜電位取決于輸入電流的量和強度，它在達到一定的閾值時，會“fire”或者“spike。這種蓄電池可用于執行極其復雜的計算任務。

人工神經元的發展帶來怎樣的靈感？

ML：人工神經元旨在模仿生物神經元的活動。人工神經元的功能不可能和生物神經元完全相同，但是非常相近，足夠用來執行人腦里的計算。人工神經元通常是用基于CMOS的電路制造的，這是我們在計算機中使用的標準晶體管技術。我們的研究使用的是非CMOS裝置，比如相變裝置，以再現降低能耗和增加磁錄密度的相同功能。

你對論文的貢獻是什么？

ML：過去三年我一直從事相變存儲材料的相關工作。這項研究加深了我們對相變存儲材料特性和模擬的了解，這對于使用相變材料制作存儲器是至關重要的。此外，我們還獲得了實驗數據，對結論的分析和闡釋也有所貢獻。

人造神經元在什么情景下使用？

ML：論文中，我們展示了如何從多次事件輸入流中檢測到關聯性。假設有很多二元事件流，想要找出哪兩條暫時相關，比如在1秒鐘內同時發生。我們展示了如何從多個事件流當中檢測關聯性。

“事件”是什么意思？

ML：事件可以指Twitter的數據，或者物聯網收集到的天氣數據或者傳感器數據。假設你現在有多條二元事件流，你想找出其中哪些是暫時相關的。論文中我們展示了，只用一個神經元就可以做出這樣的區分，這個神經元與多個接收這些事件的突觸相連。

神經形態計算比傳統計算更加高效的原因是什么？

ML：傳統計算，存儲單元和邏輯單元是分開的。每次計算時，你需要先訪問存儲器，得到數據，再將其轉移到邏輯單元，邏輯單元計算得出結果后，再將這一結果發送給存儲單元，如此往返。因此，如果要處理的數據有很多，那么就會很麻煩。

在神經網絡中，計算和存儲是一體的。不需要在存儲單元和邏輯單元之間建立聯系；只需要在不同的神經元之間建立起合適的連接即可。這也是我們的研究能效更高的原因，尤其是處理大規模數據時。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！