目前深度學習存在哪些無法克服的障礙？

關于目前深度學習所面臨的障礙，鎂客君為大家找來了斯坦福大學在讀博士Bharath Ramsundar列出的15個深度學習現在有的問題~

1．眾所周知，深度學習方法很難學習到輸入樣本的微小變化。當樣本的顏色交換時，所構建的目標識別系統可能會完全崩潰。

2．基于梯度的網絡訓練過程相當緩慢。一般按照固定模式來實現多種梯度下降方法，但是這種方法很難用于高維數據的預測。

3．深度學習方法在處理條件約束方面的效果也不佳，不能像線性規劃方法那樣，能快速找到滿足約束的解決方案。

4．在訓練復雜模型時，網絡相當不穩定。通常不能很好地訓練神經圖靈機和GAN網絡，嚴重依賴網絡的初始化方式。

5．深層網絡能較好地應用于圖像處理和自然語言分析中，但是不適合現實世界的實際問題，如提取因果結構等等。

6．在實際應用中，要考慮關鍵影響者檢測的問題。在參議員參議員投票的數據集中，應該如何檢測出關鍵影響者，深度神經網絡DNN還不能應用于此方面。

7．強化學習（Reinforcement learning）方法對輸入數據非常挑剔，實際性能主要取決于調參技巧，雖然這個特殊問題僅存在于這個方面。

8．深度學習方法不容易理解未知實體，比如說當棒球擊球手在視頻中，深度學習不知道如何推斷出屏幕外還有個投手。

9．實時訓練深層網絡幾乎不可能，因此很難進行動態調整，上文已經提到網絡訓練緩慢的問題。

10．一般來說，網絡需通過離線訓練后才能進行智能辨識。

11．人們經常提出一些對深層網絡的理論解釋。但這可能不是一個大問題，人們才是一個真正的大問題。

12．目前很難確定深層網絡學習到了什么。作為工程師的我們，怎樣才能確保在網絡訓練過程中不存在偏見和種族歧視？

13．深度神經網絡很難用來解決邏輯問題。3SAT求解器具有很強的能力，但是很難應用到深層網絡。

14．深度神經網絡在處理大維度的特征數據方面效果不佳。這種方法與強大的隨機森林方法不同，在訓練前需要大量的特征調整。

15．深度網絡的超參數優化研究仍然處于起步階段。研究者需要完成大量的計算或是手動調整許多網絡結構。

總結起來是以下幾個主要問題：

1. 深度網絡壓縮：目的是將權值參數進行量化或者壓縮存儲，進而減少參數規模。

2. 模型加速：現在出現了更深的網絡，但帶來的問題是計算效率的下降。這個方向主要從網絡架構和實現的角度對模型的計算效率進行提升。

3. 優化： 現在在ICML上邊關于DL優化的文章很多，如何避免overfiting? 如何加速訓練？產生初始參數？這些都是比較熱門的研究點。

4. 應用：包括檢測、分割、人臉、NLP等，一個好的工作會綜合考慮各種各樣的因素。

5. 遷移：在CV領域work的模型是否可以應用到其他領域？在一個新領域中基本想法有了，但具體做起來需要解決各種各樣的實際問題。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！