QQ在線
企業微信
資訊
387
自2012年以來，隨著欣頓（Hinton）、樂昆 （LeCun）和吳恩達（Andrew Ng）對深度學習的研究，使其在機器學習方面的應用取得了顯著成就，深度學習成為計算機科學的一個新興領域。谷歌、臉譜、百度、騰訊等互聯網公司紛紛投入巨資研究深度學習，并興起了基于深度學習的創業大潮。然而，對深度學習原理的困惑。對其應用的質疑也一直存在。在ImageNet目標檢測中，人臉識別率已達99.5%，甚至超越人眼的識別準確率，在此情況下，深度學習何以為繼？又該如何提升？深度學習是處于熱潮的初始？還是強弩之末？是一直所向披靡？還是很快走向終點？作為沉寂了20余年的神經網絡領域，深度學習到底還能走多遠？
神經網絡與人腦的區別：
目前，深度學習在幾個主要領域都獲得了突破：在語音識別領域，深度學習用深層模型替換聲學模型中的混合高斯模型，錯誤率降低了30%；在圖像識別領域，通過構造深度卷積神經網絡，將Top5錯誤率由26%降低至15%，又通過加大加深網絡結構，進一步降低到11%；在自然語言處理領域，深度學習與其他方法水平相當，但免去了繁瑣的特征提取步驟。深度學習是最接近人類大腦的智能學習方法。
然而，與人腦相比，深度學習目前在處理問題的能力上還有不小的差距。當前的深層網絡在結構、功能、機制上都與人腦有較大差距。從結構上看，人腦有1000億左右的神經元，這些神經元形成了1000到1萬層的連接。而目前的深層網絡通常只有幾百萬個神經元，層數不超過10，因此深層網絡的規模遠小于人腦。另外，人腦是高度結構化的，每一個部分執行一個特定的功能，而且不同部分之間會協作，但深層網絡在高度結構化方面目前還沒有太多考慮。從功能上看，人腦善于處理各種問題，能夠完成復雜任務。而當前深層網絡的功能單一，基本是用處理識別與分類問題，沒有綜合處理問題的能力。從機制上看，人腦的數據存儲與處理機制更為復雜。人腦中的數據以知識的形式組織起來，存儲與應用密切相聯，而當前計算機的數據存儲方式遠遠沒有做到這一點。人的感知器官并非感知器，而是依靠大量的反饋搜尋有用的信息。另外人腦具有知識反饋機制，在深層網絡中并未得到體現。而研究者的研究對象從一個函數變成了一個過程，難度驟然增大。
人腦的學習能力是通過先天進化和后天學習得到的。先天進化可以理解為物種在長時間學習大量知識后演變得到的結果，后天學習包括對新接觸知識的總結與演繹。而深度學習的網絡結構是由人來設計的，網絡參數是從訓練數據集中學習得到的。就數據量而言，人腦在先天進化與后天學習中所接觸的數據量遠大于深層網絡。
深度學習的局限性：
隨著大數據的出現和大規模計算能力的提升，深度學習已然成為非常活躍的計算機研究領域。然而，在不斷的研究中，深度學習的局限性也日益突顯。
缺乏理論支持，對于深度學習架構，存在一系列的疑問：卷積神經網絡為什么是一個好的架構？深度學習的結構需要多少隱層？在一個大的卷積網絡中到底需要多少有效的參數？雖然深度學習在很多實際應用中取得了突出的成效，但這些問題一直困擾著深度學習的研究人員。深度學習方法常常被視為黑盒，大多數的結論都由經驗而非理論來確認。不論是為了構建更好的深度學習系統，還是為了提供更好的解釋，深度學習都需要更完善的理論支撐。
缺乏短時記憶能力，人類大腦有驚人的記憶功能，不僅能夠識別個體案例，也能分析輸入信息之間的整體邏輯序列。這些信息序列包含有大量的內容，信息彼此間有著復雜的時間關聯性。例如在自然語言理解的許多任務（如問答系統）中需要一種方法來臨時存儲分隔的片段，正確解釋視頻中的事件，并能夠回答有關問題，需要記住視頻中發生事件的抽象表示。而包括遞歸神經網絡在內的深度學習系統，卻不能很好地存儲多個時間序列上的記憶。近年來，研究人員提出了在神經網絡中增加獨立的記憶模塊，如長短時記憶（Long Short-Term Memory，LSTM）、記憶網絡（memory networks）、神經圖靈機（neural Turing machines）和Stack增強遞歸神經網絡（stack-augmented recurrent neural network），雖然有一定的成果，但仍需擴展更多新思路。
缺乏執行無監督學習的能力，無監督學習在人類和動物的學習中占據主導地位，我們通過觀察能夠發現世界的內在結構，而不是被告知每一個客觀事物的名稱。雖然無監督學習可以幫助特定的深度網絡進行“預訓練”，但最終能夠應用于實踐的絕大部分深度學習方法都是純粹的有監督學習。因為無標記數據遠遠多于標記數據，因此無監督學習具有巨大的研究潛力。找到合適的無監督學習算法，對深度學習的發展至關重要。
深度學習未來的發展方向：
深度學習在人臉識別、目標檢測等領域都取得了很大進展，識別準確率甚至超過人類，但這并不代表深度學習的發展已走到盡頭。以下幾個方面的研究對深度學習的繼續發展具有重大意義。
1. 開發深度學習的演繹能力：人類在學習的過程中，除了對已有知識的歸納總結，還伴隨對知識的演繹推理，如對定理進行推論等。當前的深度學習還停留在對數據的歸納上。如果深層網絡對數據的歸納能力達到飽和，提升其演繹推理能力將是深度學習繼續發展的突破口。
2. 提升綜合處理問題的能力：當前的深度學習主要用于處理單一問題，但一套模型往往不能通用于多個問題，如人臉識別、語音識別等。但人腦可以實現這一功能，比如視覺皮層可以輔助聽覺等。因此，提升深層網絡綜合處理問題的能力對于人工智能的實現具有重要意義。
3. 減少對硬件的依賴：隨著GPU及高性能并行計算的發展，硬件設備的數據處理能力得到巨大提升。但過度依賴硬件會造成深度學習偏離人的思維，而陷入計算機思維。與計算機相比，人腦的計算速度極慢，但功耗極低，且能夠完成復雜的任務。學習人腦，使用相對弱的硬件來實現強大的功能，是使深度學習向人工智能發展的關鍵。
綜上所述，深度學習通過建立類似于人腦的分層模型結構，對輸入數據逐層提取從底層到高層的特征，從而建立從底層信號到高層語義的映射關系。但在規模、功能、機制、設計等方面，當前深度學習所采用的深層網絡與人腦存在很大差異。雖然深度學習在很多方面取得了巨大成功，但仍存在一些缺陷。當前的深度學習框架缺乏理論支撐，不能很好地存儲時間序列上的記憶，缺少對無標記數據的學習能力。這些缺陷限制了深度學習的進一步發展。深度學習作為計算機科學的新興領域，還有很長的路要走。深度學習掀起了機器學習的新浪潮，在語音圖像的智能識別與理解等方面取得了很大進展。但深度學習還面臨著一系列難題，在對知識的演繹能力、對問題的綜合處理能力等方面還有很大的提升空間，在深層網絡的設計規則上也需要進一步探索。
