Return to site

深度學習(Deep Learning) 十大術語

你所不知道的人機大戰背後

你是否關注圍棋界的人機大戰?對Master在棋壇橫掃人類感到憂心忡忡抑或激動不已?人工智能究竟是如何一步一步實現的呢?Master每與一位頂尖高手過招,就會得到迅速成長,這就是深度學習的力量 ——它的武林秘籍。

簡介

深度學習(Deep Learning)是機器學習(Machine Learning)研究中的新興領域,因其在人工智能(Artificial Intelligence)應用方向上所起的至關重要的作用,例如圖像識別(Image Recognition),無人駕駛汽車,以及最近的阿爾法狗(AlphaGo)與李世石(Lee Sedol)的人機大戰,而深得媒體關注。近來,深度學習(Deep Learning)技術已被廣泛運用在解決自然語言處理(Natural Language Processing)的問題上,包括情感分析(Sentiment Analysis)。

本文列舉並解釋了10大常用術語和概念,希望能讓對深度學習(Deep Learning)很陌生的讀者,對這個概念多一點熟悉。

感知機(Perceptron)

在人類大腦中,一個神經元(Neuron)是一個處理和傳遞訊息的細胞。一個感知機(Perceptron)可以被看作一版極簡化的生物神經元。

一個感知機(Perceptron)需要衡量幾項輸入(inputs),然後得出一項輸出(outputs)。每項輸入(inputs)根據它對輸出決定的重要性被衡量。

人工神經網絡(Artificial Neural Networks

人工神經網絡(Artificial Neural Networks)是一個基於生物神經網絡構建的模型。許多生物的中央神經系統都是生物神經網絡,這其中最特別的就是大腦。

人工神經網絡(Artificial Neural Networks)是一種用於處理信息的設備,同算法(algorithms)和物理硬件有相似功能,小部分模仿哺乳類動物的大腦皮層。

可以說,這是一個人類大腦簡化版的計算模型。

反向傳播(Backpropagation

一個神經網絡在訓練中學習,用到的算法就叫反向傳播(Backpropagation)。訓練一個神經網絡,首先要輸入一個有既定輸出的輸入。這一步意味著教會一個神經網絡什麼是「正確」的,或者說理想的,所以輸出值必須已經定好。人工神經網絡(ANN)能從這個理想輸出中學習到如何調整衡量的權重,在下一次遇到類似的輸入時,(根據它們對整體預測的影響)得到一個強化的,更精準的輸出。

這個過程被多次重複,直到輸入與輸出之間的誤差範圍被認為是可以的接受的。

卷積神經網絡(Convolutional Neural Networks

卷積神經網絡(Convolutional Neural Networks)可以被看作是一個利用了大量完全相同神經元的神經網絡。這樣做的益處是一個神經網絡只需要讓一個神經元學習,就能將其用於大量不同的地方,簡化了建模過程,因而減少了誤差。這使得卷積神經網絡(CNN)在物體識別(Object Recognition)和圖像標記(Image Tagging)上特別有用。

卷積神經網絡(CNN)在每次卷積中學習越來越多輸入的抽象表現。舉個物體識別的例子,一個卷積神經網絡(CNN)可能從像素數據中開始,然後逐漸學習到高度差異的特征,像邊緣、基本圖形、複雜圖形、圖案和紋理。

(圖片來源:http://stats.stackexchange.com/questions/146413

時間遞歸神經網絡(Recurrent Neural Network)

時間遞歸神經網絡(RNN)使用時序性信息。不像傳統的神經網絡,將所有輸入和輸出都獨立處理,時間遞歸神經網絡(RNN)依靠之前已經計算過的計算式。時間RNN在理論上是隨著時間展開的神經網絡。

常規的神經網絡中有不同層面,但在時間遞歸神經網絡中所有同一時間點的輸入都在同一層面,並且會將之前時間點的輸出當作下一次的輸入。時間RNN中的各種值之間的聯繫形成一個有向循環(directed cycle),創造某種內部記憶,使整個模型利用長鏈式的從屬關係。

結構遞歸神經網絡(Recursive Neural Network

結構遞歸神經網絡(也是RNN,*兩種遞歸神經網絡統稱RNN)比時間遞歸神經網絡更加寬泛,即重複地,或者循環地,在一個結構中,使用固定而連貫的權重。

時間遞歸神經網絡是鏈式的,但結構遞歸神經網絡是樹狀的。結構遞歸神經網絡已經被運用在自然語言處理(Natural Language Processing)中,例如情感分析(Sentiment Analysis)的方面。

圖片來源:http://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf

監督式神經網絡(Supervised Neural Network)

一個監督式神經網絡(Supervised Neural Network)要生成一個理想的輸出,必須先學習一些輸入和預期輸出,然後再得出合理的推論。這種神經網絡是基於預設的數據集被訓練,精確的輸出只有在確保先前輸入和預設輸出中,才能進一步得到。因此可以說,這次學習被監督了,問題和理想答案都已先被給出。

監督式神經網絡(Unsupervised Neural Network

這牽涉到提供一個無標籤的數據集給一個程序或者機器,該數據集沒有被預先訓練過,機器將通過歸類,自動發現模式/規律/趨勢。

梯度下降(Gradient Descent)

梯度下降算法常用於發現函數的局部最小值。使用函數上當前點梯度的反方向為搜索方向,規定步長求解,重複這個過程,直到算法中梯度向量為0,該值為局部最小值。這是一個用遞歸性來逼近最小偏差的模型。

詞向量(word Embedding

將單詞向量化就是詞向量的核心,更簡單地說,是將單詞以更豐富的數字表達出來。詞向量是可以「訓練」的,常被用於求得某個詞語的近義詞和相關詞。換句話說,詞向量是將語言這種高維度信息轉化成計算機更容易理解的低維度信息,詞向量中包括一個詞的語義和語法信息。

這個詞組的計算過程非常有趣。例如,如果我們將King的詞組減去Men的詞組,其結果幾乎等同於Queen減去Woman。更神奇的是,Running減去Run也幾乎等於Seeing減去See。這些例子證明了詞向量模型不僅是通過詞義被訓練的,而且一定程度上還考慮了語法和詞性。

以上就是十個熱門深度學習術語。希望下次看見它們的時候,你我都不至於感到一頭霧水。

(本文參考博客http://blog.aylien.com/)

人工智能也離不開大數據的支撐,如果你對數據分析有興趣,請發送郵件至info@bigdatarchitect.com 或關注我們的Facebook:/bigdataism 及Instagram:@bdanews

All Posts
×

Almost done…

We just sent you an email. Please click the link in the email to confirm your subscription!

OKSubscriptions powered by Strikingly