周志華：與一般軟件產業相比，AI產業更凸顯“個人英雄主義” | 中新人工智能高峰論壇

周志華表示，我們在構建深度學習模型的時候，并不是只有“深度神經網絡”這一條路。

6月1日，以“深度視野，對話未來”為主題的首屆“中新人工智能高峰論壇”在新加坡·南京生態科技島召開。

本次論壇，大咖云集，匯聚了李德毅、周志華、凌曉峰等多位中、新方院士，以及科大訊飛、小i機器人、云知聲等企業代表。其中，南京大學計算機科學與技術系主任、人工智能學院院長、歐洲科學院外籍院士周志華發表了《關于機器學習的一點思考》的主題演講。

圖 | 周志華

周志華認為“機器學習無所不在，很多AI應用背后關鍵支撐就是機器學習技術。”

他的第一點思考是機器學習的發展路徑，深度神經網絡是由多層的、可參數化以及可微分的非線性模塊所構建，它需要用BP算法來訓練，但是在一些圖像、視頻處理任務上，深度神經網絡并不是最佳的選擇。“當我們重新審視神經網絡模型的時候，是不是可以基于不可微構件進行深度學習？”

基于對深度學習的反思，周志華院提出了他們自己的“深度森林”模型，“這是第一個‘非神經網絡’、不使用BP算法訓練的深度學習模型”。目前，該套模型已經應用在螞蟻金服的反套現檢測上，并且被證明是目前性能最好的模型。

第二點思考是機器學習解決的任務，以圍棋對弈為例，它其實屬于封閉靜態環境的任務，而以往的機器學習也非常擅長解決這種封閉靜態環境任務，但是我們今天的任務是如何在開放環境下做更好的機器學習，周志華強調最關鍵的就是魯棒性：要求人工智能必須很好的應對未知環境，是通往魯棒人工智能的核心環節。

第三點思考是AI人才，他指出和傳統軟件產業不同的是：AI領域內個別人的聰明才智如果能帶來算法上的突破，可能就真的帶來生產力。所以，他認為“與一般軟件產業相比，AI產業更凸顯‘個人英雄主義’。”

以下，是周志華的演講實錄：

我今天跟大家匯報的題目是“關于機器學習前沿的一點思考”，因為我本人主要是從事機器學習方面的研究。

現在處于一個大數據時代，但這個“大數據”并不意味著真正大的價值，要得到數據里面的價值，我們就必須進行有效的數據分析?，F在，我們通過計算機來進行數據分析，而這個離不開機器學習。

可以看到，機器學習已經無所不在。很多人工智能應用背后最關鍵的支撐就是機器學習。所以，我想從三個方面來談一談我對于機器學習發展的思考。

首先，從學術研究出發，我們先談一談技術。

人工智能熱潮也好，人工智能產業也好，其實很大程度上就是因為機器學習技術，尤其是里面的深度學習技術取得了巨大的進展。所以我們可以看到各種各樣的應用中，特別是在圖像、視頻、語音，包括我們現在用的訊飛實時翻譯器，其背后都有很多深度學習技術在支撐。

但是，如果我們今天問這么一個問題：深度學習是什么？我想絕大部分人的回答是：深度學習就是深度神經網絡。

舉一個例子，有一個很著名的學會叫SIAM（國際工業應用數據協會），它有一個旗艦報紙叫《SIAM News》，去年6月的頭版里面有這么一篇文章，它的第一句話就說“深度學習是什么呢？是機器學習中使用深度神經網絡的一個子領域”。

所以，當我們要談深度學習，必然要談到深度神經網絡。我們接下來就從神經網絡開始說起。

實際上，“神經網絡”并不是一個新東西，我們學術界已經研究了幾十年。

以往我們用神經網絡的時候，通常用里面的一層或者兩層的引節點，這是什么東西？從生理學上講——就是一個細胞接收到很多信號之后，如果這個信號的強度超過了一個固定的電位，這個細胞就會被激活。

這個簡單的現象在1943年就被兩位學者總結成了一個簡單的數學公式——激活函數，我們一直到今天還在使用這個公式。

再看如今這么復雜的深度學習系統，它的奧秘是什么？其實最基本的單元就是激活函數。神經網絡也好，深度神經網絡也好，它本質上就是一個由簡單數學函數歷經迭代嵌套之后所得到的數學系統。

都說深度神經網絡很深，大概有多深？給大家看幾個數據：

在著名的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比賽中，2012年的冠軍用了8層深度神經網絡，2016年的冠軍則用到了1207層。

深度神經網絡是一個非常龐大的系統，該怎樣讓這些系統工作起來呢？這里面用到了很多技巧。但是，其中非常重要的一點就是，整個系統里面最基本的單元，就是我們剛才說到的激活函數，是連續可微的。

這個基本單元的連續可微會帶來一個什么樣的結果？它將使得我們能夠很容易的計算梯度，能夠用BP算法來進行訓練。所以說今天深度神經網絡的成功以及它最后使用的基礎構件，關鍵都在于可微構件，這是密不可分的。

不過，神經網絡雖然取得了很多勝利，但也還有很多缺陷。比如神經網絡有太多超參數，以致于大量的時間都花費在調參數上，大家甚至覺得這已經是一個體力活……還有很多很多的問題。

另外，或許有些做應用的人不關心學術成就，只要能提高性能就好。就算從這個非學術角度來看，我們也可以看一看，如今深度神經網絡取得好效果的應用主要涉及到圖像、視頻、語音，然而，還有大量的應用任務并沒有涉及這些，比如說電商網店做的用戶推薦。

所以如果用非常學術化的語言來說，今天的深度神經網絡是多層的、可參數化的、可微分的、非線性模塊構建的、需要用BP算法來訓練的一種模型。

但是，現實世界里面并不是所有的規律都是可微的，或者用可微構件來最優建模的。

以往機器學習界做了大量的、非可微的構建，我們能不能使用這些構建取得更好的結果呢？能不能基于不可微構建來進行深度學習？

這個問題相當本質，如果研究出成果，它可以幫助我們理解一系列問題，比如說深度學習是不是就等于深度神經網絡？我們有沒有可能使用新的深度學習模型，在圖像、視頻、語音之外更多的任務中得到更好的性能？

在這方面的研究中，我們提出了一個新的模型，叫做“深度森林”。這不是一個基于深度神經網絡的模型，但是它在很多任務上已經取得了與深度神經網絡接近的性能。這是第一個基于非神經網絡、不使用BP算法來訓練的深度學習模型。

最近，我們已經和螞蟻金服公司合作，把這個技術用于“反套現”欺詐的檢測，取得的成效應該是現有技術中最好的。但這還只是一個開頭，它是一個非常初生的技術，未來再發展下去應該有更多的機會。

國際上，在我們提出“深度森林”之后，有很多學者也開始反思“深度學習”領域。比如說Keras的創始人，他就說可微層是當前深度學習模型的根本弱點；又比如深度學習的創始人之一杰夫·辛頓，他希望放棄BP，從頭開始。比起我們已經做出的工作，他們的這些論斷已經晚了半年左右。

對于這件事情，我想更重要的意義是，以往我們都知道深度學習很有效，但在深度學習這個屋子里面只知道一種叫“深度神經網絡”的模型，而忽視了其他的模型。如今，我們可以看到深度學習的效用在大多數領域里面已經應用的相當充分了，當我們有了新的技術模型之后，有沒有可能在更多的領域重新得到一些新的技術價值呢？這是一個值得探討的方向。

第二個部分，我想簡單談一談機器學習技術新的任務。

前年AlphaGo下棋獲勝在世界上引起很大的反響，這可以說是機器學習取得的巨大成功。但事實上，人工智能界很早就知道，對這種規則明確的棋類游戲，機器學習一定會超過人類。

圍棋并不是最難的任務，我們說圍棋難，是因為它的狀態很多，棋盤有361個點，每個點上有三種可能，所以它的可能性有3的361次方。這個數據有多大呢？是10的172次方。再形象一點，以原子為例，我們宇宙中現在所有知道的原子個數是10的80次方，也就是說，再構造出一個宇宙，它所有原子數目還沒有圍棋的狀態數多。

這告訴我們，如果靠強力計算，一個狀態一個狀態去評估，哪怕量子計算機，或者更強大的計算機做出來了，圍棋問題也是解決不了的。所以這不是一個單靠強力計算就能解決的事情，必須要有聰明的算法，而聰明的算法現在已經有了。

從另外一個角度來看，其實比圍棋更困難的問題有很多。圍棋有一個很基本假設或者說共性條件，就是精確感知、完備信息、共識目標。我們下圍棋的時候，棋盤上所有的棋子大家都能看到，而且大家對獲勝標準這一點也有共識。

我們有很多問題不是這樣的，比如打麻將，這就是不完備信息，你只能看到桌上的和自己的牌，其他幾家牌看不到。另外，麻將的牌張數只有136張，張數比較少。如果張數達到361張，和圍棋棋盤數一樣，我們就可以嚴格從理論上證明它比圍棋復雜得多。

事實上，還有很多非共識目標的問題，比如說很多管理層面的問題，領導的目標是不一樣的，這時候的判斷就會很難。

總的來說，我們以往的機器學習主要是解決封閉環境、靜態環境下的任務，我們假定很多東西都是不變的，比如說數據分布恒定，樣本類別恒定，樣本屬性恒定，甚至是評價目標恒定。

但是現在的任務變了，由封閉靜態環境變為開放動態環境，一切東西都可能發生變化。比如說我們把一條破冰船開到兩極去，它看到的海濱是在變的，未知險情可能出現，目標也會多樣化等等。所以我們今天的任務是如何在開放環境下更好的做機器學習。

國際人工智能大會有一個主席報告，由學會主席為未來做一個判斷。他有一個題目是“通往魯棒的AI”。在這個報告里面，他提到說，隨著人工智能技術取得巨大發展，現在的我們越來越多地面臨高風險應用，例如自動駕駛汽車、自主武器、遠程外科手術等等。所有這些應用有一個共性，就是一旦你犯錯誤，它的損失是巨大的，因此我們必須要用魯棒的人工智能。

魯棒的人工智能技術要求我們的系統必須要能夠很好地應對未知環境，也就是開放環境，所以開放環境下的機器學習是我們特別要關注的事情，它是通往魯棒人工智能的一個核心環節。

第三部分，我想簡單地談一談人工智能產業發展。

如今，人工智能技術在很多產業被廣泛應用，如果大家問到底什么產業是具備代表性的？我想主要就是互聯網行業。

原因是什么？很基本的一個原因是他們積累了大量的數據，機器學習技術也好，人工智能技術也好，只是提供了利用數據的方法。

事實上，人工智能技術可以進入所有領域，因為后者經過十多年的發展都能夠產生很多的數據。所以我們現在應該問的，不是人工智能技術可能在哪些領域用得好，而是應該問，人工智能技術接下來會在哪些領域取得更大的提高？

我覺得，現在已經將人工智能技術用得很好的領域已經不太容易取得更大的提高，用得比較少的領域可能進展會更大。未來，人工智能技術就像電力一樣，它遲早會進入所有的行業。

人工智能產業發展到底需要什么呢？需要設備？不是的，因為我們基本不需要什么特殊精密設備；需要數據？現在數據遍地都是。

真正需要的是什么呢？是人才。

一定程度上，人工智能行業可以說是“有多好的智能人工，才有多好的人工智能”。和一般的軟件產業比，人工智能產業應該是一個非常凸顯“個人英雄主義”的行業。

前些日子，就在我們組里，一個還沒有畢業的博士生被曠視聘請去做他們研究院的院長，就是說，他還沒有畢業就已經要去指導別人做事情了。這種事情在傳統軟件業是不可能的，高校畢業出來的人才一定要在企業里面經過兩三年的打磨才能做這個事。

為什么？在軟件行業，一個軟件要有很多人一起來做，這樣的培養在大學里面是做不到的，所以必須要到企業里面去做。

人工智能行業的代表性就是，它是軟件行業里面的一個明珠，只要個別人的聰明才智取得算法上的突破，就真的帶來生產力。這個行業特點，決定了“人工智能的人才培養”是特別重要的，所以現在可以說進入了一個全球爭搶人工智能人才的年代。

對于高水平人工智能人才培養的造血能力，我們認為它真的會導致產業核心競爭力的差別，而人工智能人才培養基地也能直接促進人工智能產業人才的急劇形成。

最近，我們南京大學成立了一個人工智能學院，我們也希望從源頭做起，為國家、社會、產業來培養高水平的人才。南京市對此也非常重視，南京市委張敬華書記和我們的校長呂建院士一起為這個學院來進行揭牌，所以我也歡迎各位以各種方式來支持我們南京大學人工智能學院。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！