正文

深度神經(jīng)網(wǎng)絡(luò)DNN簡介和原理（cnn深度神經(jīng)網(wǎng)絡(luò)）

發(fā)布時(shí)間：2023-04-18 17:21:48 稿源：創(chuàng)意嶺閱讀： 107

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于深度神經(jīng)網(wǎng)絡(luò)DNN簡介和原理的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、圖像識(shí)別實(shí)戰(zhàn)(三)----DNN講解及代碼實(shí)現(xiàn)
2、CNN網(wǎng)絡(luò)簡介
3、卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的區(qū)別是什么
4、人工神經(jīng)網(wǎng)絡(luò)（ANN）簡述

深度神經(jīng)網(wǎng)絡(luò)DNN簡介和原理（cnn深度神經(jīng)網(wǎng)絡(luò)）

一、圖像識(shí)別實(shí)戰(zhàn)(三)----DNN講解及代碼實(shí)現(xiàn)

DNN-----Deep Neural Networks------深度神經(jīng)網(wǎng)絡(luò)

init()方法中定義了四個(gè)hidden層，正如其中文索要表達(dá)的意思一樣，這代表四個(gè)“隱藏層”

最初級的神經(jīng)網(wǎng)絡(luò)是感知機(jī)----若干個(gè)出入和一個(gè)輸出

[圖片上傳失敗...(image-3f5a36-1590027284808)]

隨著處理事務(wù)的逐漸復(fù)雜和計(jì)算能力的增大，神經(jīng)網(wǎng)絡(luò)逐漸發(fā)展為如下模型

圖二

最左側(cè)位輸入層，最右側(cè)位輸出層，而夾在輸入層和輸出層的所有層次結(jié)構(gòu)被稱為------隱藏層

上述圖二神經(jīng)網(wǎng)絡(luò)有幾層？

兩層，輸入層不計(jì)算在內(nèi)

接上述“隱藏層”之后，我們繼續(xù)講述 “ Linear(100,65,act='relu') ” 中的參數(shù)問題

100代表輸入到本隱藏層的節(jié)點(diǎn)數(shù)，------------上一層的輸出應(yīng)該是100

65代表本層輸出的節(jié)點(diǎn)數(shù)------------------------下一層的輸入應(yīng)該是65

act代表激活函數(shù)

在神經(jīng)元中，經(jīng)過input(或上一層隱藏層)加權(quán)、求和后被應(yīng)用于的一個(gè)函數(shù)，

如果不使用激活函數(shù)，每一層的輸出知識(shí)承接了上一層輸入函數(shù)的線性變換，

So，無論神經(jīng)網(wǎng)絡(luò)有多少層，輸出都是輸入的線性組合，但是這不是我們想要的結(jié)果，如果只是線性組合，那么便失去了神經(jīng)網(wǎng)絡(luò)的優(yōu)勢

So， 使用激活函數(shù)，可以給神經(jīng)元以非線性的因素，使得神經(jīng)網(wǎng)絡(luò)可以逼近任何非線性的函數(shù) ，

這樣神經(jīng)網(wǎng)絡(luò)便可以 應(yīng)用到非線性模型中

sigmoid函數(shù)

softmax函數(shù)

def relu(x):

return x if x >0 else 0

其他函數(shù)，請點(diǎn)擊查看

最后我們使用forward()方法將四層結(jié)構(gòu)連接起來(input是輸入層)，

最后我們可以看見，第四層的輸入是3x100x100，但是第三層的輸出是100，不能對應(yīng)上，

所以在forward()中便定義了，改變形狀的函數(shù)。

最后，如果有什么不懂得可以隨時(shí)私信，詢問我，共同努力，共同進(jìn)步，老子愛你們！

了，改變形狀的函數(shù)。

如果想了解圖像識(shí)別實(shí)戰(zhàn)的全過程，請務(wù)必點(diǎn)擊博主名字，進(jìn)入主頁查看全部。

別忘了留下，你的點(diǎn)贊、評論和關(guān)注偶~

最后，如果有什么不懂得可以隨時(shí)私信，詢問我，共同努力，共同進(jìn)步，老子愛你們！

二、CNN網(wǎng)絡(luò)簡介

卷積神經(jīng)網(wǎng)絡(luò)簡介（Convolutional Neural Networks，簡稱CNN）

卷積神經(jīng)網(wǎng)絡(luò)是近年發(fā)展起來，并引起廣泛重視的一種高效識(shí)別方法。20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)發(fā)現(xiàn)其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional

Neural

Networks-簡稱CNN）?，F(xiàn)在，CNN已經(jīng)成為眾多科學(xué)領(lǐng)域的研究熱點(diǎn)之一，特別是在模式分類領(lǐng)域，由于該網(wǎng)絡(luò)避免了對圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，因而得到了更為廣泛的應(yīng)用。

K.Fukushima在1980年提出的新識(shí)別機(jī)是卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)。隨后，更多的科研工作者對該網(wǎng)絡(luò)進(jìn)行了改進(jìn)。其中，具有代表性的研究成果是Alexander和Taylor提出的“改進(jìn)認(rèn)知機(jī)”，該方法綜合了各種改進(jìn)方法的優(yōu)點(diǎn)并避免了耗時(shí)的誤差反向傳播。

一般地，CNN的基本結(jié)構(gòu)包括兩層，其一為特征提取層，每個(gè)神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來；其二是特征映射層，網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射是一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。此外，由于一個(gè)映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)卷積層都緊跟著一個(gè)用來求局部平均與二次提取的計(jì)算層，這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。

CNN主要用來識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形。由于CNN的特征檢測層通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN時(shí)，避免了顯示的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語音識(shí)別和圖像處理方面有著獨(dú)特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。

1. 神經(jīng)網(wǎng)絡(luò)

首先介紹神經(jīng)網(wǎng)絡(luò)，這一步的詳細(xì)可以參考資源1。簡要介紹下。神經(jīng)網(wǎng)絡(luò)的每個(gè)單元如下：

其對應(yīng)的公式如下：

其中，該單元也可以被稱作是Logistic回歸模型。當(dāng)將多個(gè)單元組合起來并具有分層結(jié)構(gòu)時(shí)，就形成了神經(jīng)網(wǎng)絡(luò)模型。下圖展示了一個(gè)具有一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)。

其對應(yīng)的公式如下：

比較類似的，可以拓展到有2,3,4,5，…個(gè)隱含層。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法也同Logistic類似，不過由于其多層性，還需要利用鏈?zhǔn)角髮?dǎo)法則對隱含層的節(jié)點(diǎn)進(jìn)行求導(dǎo)，即梯度下降+鏈?zhǔn)角髮?dǎo)法則，專業(yè)名稱為反向傳播。關(guān)于訓(xùn)練算法，本文暫不涉及。

2 卷積神經(jīng)網(wǎng)絡(luò)

在圖像處理中，往往把圖像表示為像素的向量，比如一個(gè)1000×1000的圖像，可以表示為一個(gè)1000000的向量。在上一節(jié)中提到的神經(jīng)網(wǎng)絡(luò)中，如果隱含層數(shù)目與輸入層一樣，即也是1000000時(shí)，那么輸入層到隱含層的參數(shù)數(shù)據(jù)為1000000×1000000=10^12，這樣就太多了，基本沒法訓(xùn)練。所以圖像處理要想練成神經(jīng)網(wǎng)絡(luò)大法，必先減少參數(shù)加快速度。就跟辟邪劍譜似的，普通人練得很挫，一旦自宮后內(nèi)力變強(qiáng)劍法變快，就變的很牛了。

2.1 局部感知

卷積神經(jīng)網(wǎng)絡(luò)有兩種神器可以降低參數(shù)數(shù)目，第一種神器叫做局部感知野。一般認(rèn)為人對外界的認(rèn)知是從局部到全局的，而圖像的空間聯(lián)系也是局部的像素聯(lián)系較為緊密，而距離較遠(yuǎn)的像素相關(guān)性則較弱。因而，每個(gè)神經(jīng)元其實(shí)沒有必要對全局圖像進(jìn)行感知，只需要對局部進(jìn)行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息。網(wǎng)絡(luò)部分連通的思想，也是受啟發(fā)于生物學(xué)里面的視覺系統(tǒng)結(jié)構(gòu)。視覺皮層的神經(jīng)元就是局部接受信息的（即這些神經(jīng)元只響應(yīng)某些特定區(qū)域的刺激）。如下圖所示：左圖為全連接，右圖為局部連接。

在上右圖中，假如每個(gè)神經(jīng)元只和10×10個(gè)像素值相連，那么權(quán)值數(shù)據(jù)為1000000×100個(gè)參數(shù)，減少為原來的千分之一。而那10×10個(gè)像素值對應(yīng)的10×10個(gè)參數(shù)，其實(shí)就相當(dāng)于卷積操作。

2.2 參數(shù)共享

但其實(shí)這樣的話參數(shù)仍然過多，那么就啟動(dòng)第二級神器，即權(quán)值共享。在上面的局部連接中，每個(gè)神經(jīng)元都對應(yīng)100個(gè)參數(shù)，一共1000000個(gè)神經(jīng)元，如果這1000000個(gè)神經(jīng)元的100個(gè)參數(shù)都是相等的，那么參數(shù)數(shù)目就變?yōu)?00了。

怎么理解權(quán)值共享呢？我們可以這100個(gè)參數(shù)（也就是卷積操作）看成是提取特征的方式，該方式與位置無關(guān)。這其中隱含的原理則是：圖像的一部分的統(tǒng)計(jì)特性與其他部分是一樣的。這也意味著我們在這一部分學(xué)習(xí)的特征也能用在另一部分上，所以對于這個(gè)圖像上的所有位置，我們都能使用同樣的學(xué)習(xí)特征。

更直觀一些，當(dāng)從一個(gè)大尺寸圖像中隨機(jī)選取一小塊，比如說 8×8 作為樣本，并且從這個(gè)小塊樣本中學(xué)習(xí)到了一些特征，這時(shí)我們可以把從這個(gè)

8×8 樣本中學(xué)習(xí)到的特征作為探測器，應(yīng)用到這個(gè)圖像的任意地方中去。特別是，我們可以用從 8×8

樣本中所學(xué)習(xí)到的特征跟原本的大尺寸圖像作卷積，從而對這個(gè)大尺寸圖像上的任一位置獲得一個(gè)不同特征的激活值。

如下圖所示，展示了一個(gè)33的卷積核在55的圖像上做卷積的過程。每個(gè)卷積都是一種特征提取方式，就像一個(gè)篩子，將圖像中符合條件（激活值越大越符合條件）的部分篩選出來。

2.3 多卷積核

上面所述只有100個(gè)參數(shù)時(shí)，表明只有1個(gè)100*100的卷積核，顯然，特征提取是不充分的，我們可以添加多個(gè)卷積核，比如32個(gè)卷積核，可以學(xué)習(xí)32種特征。在有多個(gè)卷積核時(shí)，如下圖所示：

上圖右，不同顏色表明不同的卷積核。每個(gè)卷積核都會(huì)將圖像生成為另一幅圖像。比如兩個(gè)卷積核就可以將生成兩幅圖像，這兩幅圖像可以看做是一張圖像的不同的通道。如下圖所示，下圖有個(gè)小錯(cuò)誤，即將w1改為w0，w2改為w1即可。下文中仍以w1和w2稱呼它們。

下圖展示了在四個(gè)通道上的卷積操作，有兩個(gè)卷積核，生成兩個(gè)通道。其中需要注意的是，四個(gè)通道上每個(gè)通道對應(yīng)一個(gè)卷積核，先將w2忽略，只看w1，那么在w1的某位置（i,j）處的值，是由四個(gè)通道上（i,j）處的卷積結(jié)果相加然后再取激活函數(shù)值得到的。

所以，在上圖由4個(gè)通道卷積得到2個(gè)通道的過程中，參數(shù)的數(shù)目為4×2×2×2個(gè)，其中4表示4個(gè)通道，第一個(gè)2表示生成2個(gè)通道，最后的2×2表示卷積核大小。

2.4 Down-pooling

在通過卷積獲得了特征 (features)

之后，下一步我們希望利用這些特征去做分類。理論上講，人們可以用所有提取得到的特征去訓(xùn)練分類器，例如 softmax

分類器，但這樣做面臨計(jì)算量的挑戰(zhàn)。例如：對于一個(gè) 96X96

像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個(gè)定義在8X8輸入上的特征，每一個(gè)特征和圖像卷積都會(huì)得到一個(gè) (96 − 8 + 1) × (96 − 8+ 1) = 7921 維的卷積特征，由于有 400 個(gè)特征，所以每個(gè)樣例 (example) 都會(huì)得到一個(gè) 892 × 400 =3,168,400 維的卷積特征向量。學(xué)習(xí)一個(gè)擁有超過 3 百萬特征輸入的分類器十分不便，并且容易出現(xiàn)過擬合 (over-fitting)。

為了解決這個(gè)問題，首先回憶一下，我們之所以決定使用卷積后的特征是因?yàn)閳D像具有一種“靜態(tài)性”的屬性，這也就意味著在一個(gè)圖像區(qū)域有用的特征極有可能在另一個(gè)區(qū)域同樣適用。因此，為了描述大的圖像，一個(gè)很自然的想法就是對不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，例如，人們可以計(jì)算圖像一個(gè)區(qū)域上的某個(gè)特定特征的平均值(或最大值)。這些概要統(tǒng)計(jì)特征不僅具有低得多的維度 (相比使用所有提取得到的特征)，同時(shí)還會(huì)改善結(jié)果(不容易過擬合)。這種聚合的操作就叫做池(pooling)，有時(shí)也稱為平均池化或者最大池化 (取決于計(jì)算池化的方法)。

至此，卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和原理已經(jīng)闡述完畢。

2.5 多層卷積

在實(shí)際應(yīng)用中，往往使用多層卷積，然后再使用全連接層進(jìn)行訓(xùn)練，多層卷積的目的是一層卷積學(xué)到的特征往往是局部的，層數(shù)越高，學(xué)到的特征就越全局化。

3 ImageNet-2010網(wǎng)絡(luò)結(jié)構(gòu)

ImageNetLSVRC是一個(gè)圖片分類的比賽，其訓(xùn)練集包括127W+張圖片，驗(yàn)證集有5W張圖片，測試集有15W張圖片。本文截取2010年AlexKrizhevsky的CNN結(jié)構(gòu)進(jìn)行說明，該結(jié)構(gòu)在2010年取得冠軍，top-5錯(cuò)誤率為15.3%。值得一提的是，在今年的ImageNetLSVRC比賽中，取得冠軍的GoogNet已經(jīng)達(dá)到了top-5錯(cuò)誤率6.67%?？梢?，深度學(xué)習(xí)的提升空間還很巨大。

下圖即為Alex的CNN結(jié)構(gòu)圖。需要注意的是，該模型采用了2-GPU并行結(jié)構(gòu)，即第1、2、4、5卷積層都是將模型參數(shù)分為2部分進(jìn)行訓(xùn)練的。在這里，更進(jìn)一步，并行結(jié)構(gòu)分為數(shù)據(jù)并行與模型并行。數(shù)據(jù)并行是指在不同的GPU上，模型結(jié)構(gòu)相同，但將訓(xùn)練數(shù)據(jù)進(jìn)行切分，分別訓(xùn)練得到不同的模型，然后再將模型進(jìn)行融合。而模型并行則是，將若干層的模型參數(shù)進(jìn)行切分，不同的GPU上使用相同的數(shù)據(jù)進(jìn)行訓(xùn)練，得到的結(jié)果直接連接作為下一層的輸入。

上圖模型的基本參數(shù)為：

輸入：224×224大小的圖片，3通道

第一層卷積：5×5大小的卷積核96個(gè)，每個(gè)GPU上48個(gè)。

第一層max-pooling：2×2的核。

第二層卷積：3×3卷積核256個(gè)，每個(gè)GPU上128個(gè)。

第二層max-pooling：2×2的核。

第三層卷積：與上一層是全連接，3*3的卷積核384個(gè)。分到兩個(gè)GPU上個(gè)192個(gè)。

第四層卷積：3×3的卷積核384個(gè)，兩個(gè)GPU各192個(gè)。該層與上一層連接沒有經(jīng)過pooling層。

第五層卷積：3×3的卷積核256個(gè)，兩個(gè)GPU上個(gè)128個(gè)。

第五層max-pooling：2×2的核。

第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個(gè)一維向量，作為該層的輸入。

第二層全連接：4096維

Softmax層：輸出為1000，輸出的每一維都是圖片屬于該類別的概率。

4 DeepID網(wǎng)絡(luò)結(jié)構(gòu)

DeepID網(wǎng)絡(luò)結(jié)構(gòu)是香港中文大學(xué)的Sun

Yi開發(fā)出來用來學(xué)習(xí)人臉特征的卷積神經(jīng)網(wǎng)絡(luò)。每張輸入的人臉被表示為160維的向量，學(xué)習(xí)到的向量經(jīng)過其他模型進(jìn)行分類，在人臉驗(yàn)證試驗(yàn)上得到了97.45%的正確率，更進(jìn)一步的，原作者改進(jìn)了CNN，又得到了99.15%的正確率。

如下圖所示，該結(jié)構(gòu)與ImageNet的具體參數(shù)類似，所以只解釋一下不同的部分吧。

上圖中的結(jié)構(gòu)，在最后只有一層全連接層，然后就是softmax層了。論文中就是以該全連接層作為圖像的表示。在全連接層，以第四層卷積和第三層max-pooling的輸出作為全連接層的輸入，這樣可以學(xué)習(xí)到局部的和全局的特征。

三、卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的區(qū)別是什么

沒有卷積神經(jīng)網(wǎng)絡(luò)的說法，只有卷積核的說法。

電腦圖像處理的真正價(jià)值在于：一旦圖像存儲(chǔ)在電腦上，就可以對圖像進(jìn)行各種有效的處理。如減小像素的顏色值，可以解決曝光過度的問題，模糊的圖像也可以進(jìn)行銳化處理，清晰的圖像可以使用模糊處理模擬攝像機(jī)濾色鏡產(chǎn)生的柔和效果。

用Photoshop等圖像處理軟件，施展的魔法幾乎是無止境的。四種基本圖像處理效果是模糊、銳化、浮雕和水彩。ß這些效果是不難實(shí)現(xiàn)的，它們的奧妙部分是一個(gè)稱為卷積核的小矩陣。這個(gè)3*3的核含有九個(gè)系數(shù)。為了變換圖像中的一個(gè)像素，首先用卷積核中心的系數(shù)乘以這個(gè)像素值，再用卷積核中其它八個(gè)系數(shù)分別乘以像素周圍的八個(gè)像素，最后把這九個(gè)乘積相加，結(jié)果作為這個(gè)像素的值。對圖像中的每個(gè)像素都重復(fù)這一過程，對圖像進(jìn)行了過濾。采用不同的卷積核，就可以得到不同的處理效果。ß用PhotoshopCS6，可以很方便地對圖像進(jìn)行處理。

模糊處理——模糊的卷積核由一組系數(shù)構(gòu)成，每個(gè)系數(shù)都小于1，但它們的和恰好等于1，每個(gè)像素都吸收了周圍像素的顏色，每個(gè)像素的顏色分散給了它周圍的像素，最后得到的圖像中，一些刺目的邊緣變得柔和。

銳化卷積核中心的系數(shù)大于1，周圍八個(gè)系數(shù)和的絕對值比中間系數(shù)小1，這將擴(kuò)大一個(gè)像素與之周圍像素顏色之間的差異，最后得到的圖像比原來的圖像更清晰。

浮雕卷積核中的系數(shù)累加和等于零，背景像素的值為零，非背景像素的值為非零值。照片上的圖案好像金屬表面的浮雕一樣，輪廓似乎凸出于其表面。

要進(jìn)行水彩處理，首先要對圖像中的色彩進(jìn)行平滑處理，把每個(gè)像素的顏色值和它周圍的二十四個(gè)相鄰的像素顏色值放在一個(gè)表中，然后由小到大排序，把表中間的一個(gè)顏色值作為這個(gè)像素的顏色值。然后用銳化卷積核對圖像中的每個(gè)像素進(jìn)行處理，以使得輪廓更加突出，最后得到的圖像很像一幅水彩畫。

我們把一些圖像處理技術(shù)結(jié)合起來使用，就能產(chǎn)生一些不常見的光學(xué)效果，例如光暈等等。

希望我能幫助你解疑釋惑。

四、人工神經(jīng)網(wǎng)絡(luò)（ANN）簡述

我們從下面四點(diǎn)認(rèn)識(shí)人工神經(jīng)網(wǎng)絡(luò)（ANN: Artificial Neutral Network）：神經(jīng)元結(jié)構(gòu)、神經(jīng)元的激活函數(shù)、神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、神經(jīng)網(wǎng)絡(luò)選擇權(quán)值和學(xué)習(xí)算法。

1. 神經(jīng)元：

我們先來看一組對比圖就能了解是怎樣從生物神經(jīng)元建模為人工神經(jīng)元。

下面分別講述:

生物神經(jīng)元的組成包括細(xì)胞體、樹突、軸突、突觸。樹突可以看作輸入端，接收從其他細(xì)胞傳遞過來的電信號；軸突可以看作輸出端，傳遞電荷給其他細(xì)胞；突觸可以看作I/O接口，連接神經(jīng)元，單個(gè)神經(jīng)元可以和上千個(gè)神經(jīng)元連接。細(xì)胞體內(nèi)有膜電位，從外界傳遞過來的電流使膜電位發(fā)生變化，并且不斷累加，當(dāng)膜電位升高到超過一個(gè)閾值時(shí)，神經(jīng)元被激活，產(chǎn)生一個(gè)脈沖，傳遞到下一個(gè)神經(jīng)元。

為了更形象理解神經(jīng)元傳遞信號過程，把一個(gè)神經(jīng)元比作一個(gè)水桶。水桶下側(cè)連著多根水管（樹突），水管既可以把桶里的水排出去（抑制性），又可以將其他水桶的水輸進(jìn)來（興奮性），水管的粗細(xì)不同，對桶中水的影響程度不同（權(quán)重），水管對水桶水位（膜電位）的改變就是水桶內(nèi)水位的改變，當(dāng)桶中水達(dá)到一定高度時(shí)，就能通過另一條管道（軸突）排出去。

按照這個(gè)原理，科學(xué)家提出了M-P模型（取自兩個(gè)提出者的姓名首字母），M-P模型是對生物神經(jīng)元的建模，作為人工神經(jīng)網(wǎng)絡(luò)中的一個(gè)神經(jīng)元。

由MP模型的示意圖，我們可以看到與生物神經(jīng)元的相似之處，x_i表示多個(gè)輸入，W_ij表示每個(gè)輸入的權(quán)值，其正負(fù)模擬了生物神經(jīng)元中突出的興奮和抑制；sigma表示將全部輸入信號進(jìn)行累加整合，f為激活函數(shù)，O為輸出。下圖可以看到生物神經(jīng)元和MP模型的類比：

往后誕生的各種神經(jīng)元模型都是由MP模型演變過來。

2. 激活函數(shù)

激活函數(shù)可以看作濾波器，接收外界各種各樣的信號，通過調(diào)整函數(shù)，輸出期望值。ANN通常采用三類激活函數(shù):閾值函數(shù)、分段函數(shù)、雙極性連續(xù)函數(shù)（sigmoid，tanh）：

3. 學(xué)習(xí)算法

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也稱為訓(xùn)練，通過神經(jīng)網(wǎng)絡(luò)所在環(huán)境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的自由參數(shù)（如連接權(quán)值），使神經(jīng)網(wǎng)絡(luò)以一種新的方式對外部環(huán)境做出反應(yīng)的一個(gè)過程。每個(gè)神經(jīng)網(wǎng)絡(luò)都有一個(gè)激活函數(shù)y=f(x)，訓(xùn)練過程就是通過給定的海量x數(shù)據(jù)和y數(shù)據(jù)，擬合出激活函數(shù)f。學(xué)習(xí)過程分為有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)，有導(dǎo)師學(xué)習(xí)是給定期望輸出，通過對權(quán)值的調(diào)整使實(shí)際輸出逼近期望輸出；無導(dǎo)師學(xué)習(xí)給定表示方法質(zhì)量的測量尺度，根據(jù)該尺度來優(yōu)化參數(shù)。常見的有Hebb學(xué)習(xí)、糾錯(cuò)學(xué)習(xí)、基于記憶學(xué)習(xí)、隨機(jī)學(xué)習(xí)、競爭學(xué)習(xí)。

4. 神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

常見的拓?fù)浣Y(jié)構(gòu)有單層前向網(wǎng)絡(luò)、多層前向網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)，隨機(jī)神經(jīng)網(wǎng)絡(luò)、競爭神經(jīng)網(wǎng)絡(luò)。

5. 神經(jīng)網(wǎng)絡(luò)的發(fā)展

（不能貼公式不好解釋啊 -_-!）sigma是誤差信號，yita是學(xué)習(xí)率，net是輸入之和，V是輸入層到隱含層的權(quán)重矩陣，W是隱含層到輸出層的權(quán)重矩陣。

之后還有幾種

隨著計(jì)算機(jī)硬件計(jì)算能力越來越強(qiáng)，用來訓(xùn)練的數(shù)據(jù)越來越多，神經(jīng)網(wǎng)絡(luò)變得越來越復(fù)雜。在人工智能領(lǐng)域常聽到DNN（深度神經(jīng)網(wǎng)絡(luò)）、CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（遞歸神經(jīng)網(wǎng)絡(luò)）。其中，DNN是總稱，指層數(shù)非常多的網(wǎng)絡(luò)，通常有二十幾層，具體可以是CNN或RNN等網(wǎng)絡(luò)結(jié)構(gòu)。

參考資料 ：

以上就是關(guān)于深度神經(jīng)網(wǎng)絡(luò)DNN簡介和原理相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。