-
當(dāng)前位置:首頁 > 創(chuàng)意學(xué)院 > 技術(shù) > 專題列表 > 正文
人工智能模型訓(xùn)練(人工智能模型訓(xùn)練平臺)
大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于人工智能模型訓(xùn)練的問題,以下是小編對此問題的歸納整理,讓我們一起來看看吧。
ChatGPT國內(nèi)免費在線使用,能給你生成想要的原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等
你只需要給出你的關(guān)鍵詞,它就能返回你想要的內(nèi)容,越精準(zhǔn),寫出的就越詳細,有微信小程序端、在線網(wǎng)頁版、PC客戶端,官網(wǎng):https://ai.de1919.com
本文目錄:
一、AI人工智能-CNN概念輕松入門
假設(shè)給定一張圖(可能是字母X或者字母O),通過CNN即可識別出是X還是O,如下圖所示,那怎么做到的呢
如果采用經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型,則需要讀取整幅圖像作為神經(jīng)網(wǎng)絡(luò)模型的輸入(即全連接的方式),當(dāng)圖像的尺寸越大時,其連接的參數(shù)將變得很多,從而導(dǎo)致計算量非常大。
而我們?nèi)祟悓ν饨绲恼J知一般是從局部到全局,先對局部有感知的認識,再逐步對全體有認知,這是人類的認識模式。在圖像中的空間聯(lián)系也是類似,局部范圍內(nèi)的像素之間聯(lián)系較為緊密,而距離較遠的像素則相關(guān)性較弱。因而,每個神經(jīng)元其實沒有必要對全局圖像進行感知,只需要對局部進行感知,然后在更高層將局部的信息綜合起來就得到了全局的信息。這種模式就是卷積神經(jīng)網(wǎng)絡(luò)中降低參數(shù)數(shù)目的重要神器:局部感受野。
如果字母X、字母O是固定不變的,那么最簡單的方式就是圖像之間的像素一一比對就行,但在現(xiàn)實生活中,字體都有著各個形態(tài)上的變化(例如手寫文字識別),例如平移、縮放、旋轉(zhuǎn)、微變形等等,如下圖所示:
我們的目標(biāo)是對于各種形態(tài)變化的X和O,都能通過CNN準(zhǔn)確地識別出來,這就涉及到應(yīng)該如何有效地提取特征,作為識別的關(guān)鍵因子。
回想前面講到的“局部感受野”模式,對于CNN來說,它是一小塊一小塊地來進行比對,在兩幅圖像中大致相同的位置找到一些粗糙的特征(小塊圖像)進行匹配,相比起傳統(tǒng)的整幅圖逐一比對的方式,CNN的這種小塊匹配方式能夠更好的比較兩幅圖像之間的相似性。如下圖:
以字母X為例,可以提取出三個重要特征(兩個交叉線、一個對角線),如下圖所示:
假如以像素值"1"代表白色,像素值"-1"代表黑色,則字母X的三個重要特征如下:
那么這些特征又是怎么進行匹配計算呢?(不要跟我說是像素進行一一匹配的,汗!)
這時就要請出今天的重要嘉賓:卷積。那什么是卷積呢,不急,下面慢慢道來。
當(dāng)給定一張新圖時,CNN并不能準(zhǔn)確地知道這些特征到底要匹配原圖的哪些部分,所以它會在原圖中把每一個可能的位置都進行嘗試,相當(dāng)于把這個feature(特征)變成了一個過濾器。這個用來匹配的過程就被稱為卷積操作,這也是卷積神經(jīng)網(wǎng)絡(luò)名字的由來。
卷積的操作如下圖所示:
是不是很像把毛巾沿著對角卷起來,下圖形象地說明了為什么叫「卷」積
在本案例中,要計算一個feature(特征)和其在原圖上對應(yīng)的某一小塊的結(jié)果,只需將兩個小塊內(nèi)對應(yīng)位置的像素值進行乘法運算,然后將整個小塊內(nèi)乘法運算的結(jié)果累加起來,最后再除以小塊內(nèi)像素點總個數(shù)即可(注:也可不除以總個數(shù)的)。
如果兩個像素點都是白色(值均為1),那么1 1 = 1,如果均為黑色,那么(-1) (-1) = 1,也就是說,每一對能夠匹配上的像素,其相乘結(jié)果為1。類似地,任何不匹配的像素相乘結(jié)果為-1。具體過程如下(第一個、第二個……、最后一個像素的匹配結(jié)果):
根據(jù)卷積的計算方式,第一塊特征匹配后的卷積計算如下,結(jié)果為1
對于其它位置的匹配,也是類似(例如中間部分的匹配)
計算之后的卷積如下
以此類推,對三個特征圖像不斷地重復(fù)著上述過程,通過每一個feature(特征)的卷積操作,會得到一個新的二維數(shù)組,稱之為feature map。其中的值,越接近1表示對應(yīng)位置和feature的匹配越完整,越是接近-1,表示對應(yīng)位置和feature的反面匹配越完整,而值接近0的表示對應(yīng)位置沒有任何匹配或者說沒有什么關(guān)聯(lián)。如下圖所示:
可以看出,當(dāng)圖像尺寸增大時,其內(nèi)部的加法、乘法和除法操作的次數(shù)會增加得很快,每一個filter的大小和filter的數(shù)目呈線性增長。由于有這么多因素的影響,很容易使得計算量變得相當(dāng)龐大。
為了有效地減少計算量,CNN使用的另一個有效的工具被稱為“池化(Pooling)”。池化就是將輸入圖像進行縮小,減少像素信息,只保留重要信息。
池化的操作也很簡單,通常情況下,池化區(qū)域是2 2大小,然后按一定規(guī)則轉(zhuǎn)換成相應(yīng)的值,例如取這個池化區(qū)域內(nèi)的最大值(max-pooling)、平均值(mean-pooling)等,以這個值作為結(jié)果的像素值。
下圖顯示了左上角2 2池化區(qū)域的max-pooling結(jié)果,取該區(qū)域的最大值max(0.77,-0.11,-0.11,1.00),作為池化后的結(jié)果,如下圖:
池化區(qū)域往左,第二小塊取大值max(0.11,0.33,-0.11,0.33),作為池化后的結(jié)果,如下圖:
其它區(qū)域也是類似,取區(qū)域內(nèi)的最大值作為池化后的結(jié)果,最后經(jīng)過池化后,結(jié)果如下:
對所有的feature map執(zhí)行同樣的操作,結(jié)果如下:
最大池化(max-pooling)保留了每一小塊內(nèi)的最大值,也就是相當(dāng)于保留了這一塊最佳的匹配結(jié)果(因為值越接近1表示匹配越好)。也就是說,它不會具體關(guān)注窗口內(nèi)到底是哪一個地方匹配了,而只關(guān)注是不是有某個地方匹配上了。
通過加入池化層,圖像縮小了,能很大程度上減少計算量,降低機器負載。
常用的激活函數(shù)有sigmoid、tanh、relu等等,前兩者sigmoid/tanh比較常見于全連接層,后者ReLU常見于卷積層。
回顧一下前面講的感知機,感知機在接收到各個輸入,然后進行求和,再經(jīng)過激活函數(shù)后輸出。激活函數(shù)的作用是用來加入非線性因素,把卷積層輸出結(jié)果做非線性映射。
在卷積神經(jīng)網(wǎng)絡(luò)中,激活函數(shù)一般使用ReLU(The Rectified Linear Unit,修正線性單元),它的特點是收斂快,求梯度簡單。計算公式也很簡單,max(0,T),即對于輸入的負值,輸出全為0,對于正值,則原樣輸出。
下面看一下本案例的ReLU激活函數(shù)操作過程:
第一個值,取max(0,0.77),結(jié)果為0.77,如下圖
第二個值,取max(0,-0.11),結(jié)果為0,如下圖
以此類推,經(jīng)過ReLU激活函數(shù)后,結(jié)果如下:
對所有的feature map執(zhí)行ReLU激活函數(shù)操作,結(jié)果如下:
通過將上面所提到的卷積、激活函數(shù)、池化組合在一起,就變成下圖:
通過加大網(wǎng)絡(luò)的深度,增加更多的層,就得到了深度神經(jīng)網(wǎng)絡(luò),如下圖:
全連接層在整個卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用,即通過卷積、激活函數(shù)、池化等深度網(wǎng)絡(luò)后,再經(jīng)過全連接層對結(jié)果進行識別分類。
首先將經(jīng)過卷積、激活函數(shù)、池化的深度網(wǎng)絡(luò)后的結(jié)果串起來,如下圖所示:
由于神經(jīng)網(wǎng)絡(luò)是屬于監(jiān)督學(xué)習(xí),在模型訓(xùn)練時,根據(jù)訓(xùn)練樣本對模型進行訓(xùn)練,從而得到全連接層的權(quán)重(如預(yù)測字母X的所有連接的權(quán)重)
在利用該模型進行結(jié)果識別時,根據(jù)剛才提到的模型訓(xùn)練得出來的權(quán)重,以及經(jīng)過前面的卷積、激活函數(shù)、池化等深度網(wǎng)絡(luò)計算出來的結(jié)果,進行加權(quán)求和,得到各個結(jié)果的預(yù)測值,然后取值最大的作為識別的結(jié)果(如下圖,最后計算出來字母X的識別值為0.92,字母O的識別值為0.51,則結(jié)果判定為X)
上述這個過程定義的操作為”全連接層“(Fully connected layers),全連接層也可以有多個,如下圖:
將以上所有結(jié)果串起來后,就形成了一個“卷積神經(jīng)網(wǎng)絡(luò)”(CNN)結(jié)構(gòu),如下圖所示:
綜述:卷積神經(jīng)網(wǎng)絡(luò)主要由兩部分組成,一部分是特征提?。ň矸e、激活函數(shù)、池化),另一部分是分類識別(全連接層),著名的手寫文字識別卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖:
CNN進化歷史:
卷積神經(jīng)網(wǎng)絡(luò)(CNN)近年來取得了長足的發(fā)展,是深度學(xué)習(xí)中的一顆耀眼明珠。CNN不僅能用來對圖像進行分類,還在圖像分割(目標(biāo)檢測)任務(wù)中有著廣泛的應(yīng)用。CNN已經(jīng)成為了圖像分類的黃金標(biāo)準(zhǔn),一直在不斷的發(fā)展和改進。
CNN的起點是神經(jīng)認知機模型,此時已經(jīng)出現(xiàn)了卷積結(jié)構(gòu),經(jīng)典的LeNet誕生于1998年。然而之后CNN的鋒芒開始被SVM等模型蓋過。隨著ReLU、dropout的提出,以及GPU和大數(shù)據(jù)帶來的歷史機遇,CNN在2012年迎來了歷史突破:AlexNet。隨后幾年,CNN呈現(xiàn)爆發(fā)式發(fā)展,各種CNN模型涌現(xiàn)出來。
CNN的主要演進方向如下:
1、網(wǎng)絡(luò)結(jié)構(gòu)加深
2、加強卷積功能
3、從分類到檢測
4、新增功能模塊
下圖是CNN幾個經(jīng)典模型(AlexNet、VGG、NIN、GoogLeNet、ResNet)的對比圖,可見網(wǎng)絡(luò)層次越來越深、結(jié)構(gòu)越來越復(fù)雜,當(dāng)然模型效果也是越來越好:
二、人工智能教育有什么好處?
人工智能教育有什么好處?
隨著近幾年的科技方面在人工智能的的飛速發(fā)展,人工智能不僅給我們的日常生活帶來了一些新鮮的亮點。在對現(xiàn)在教育培訓(xùn)方面也在慢慢發(fā)揮著它的作用。
以前老師們備課主要靠自己經(jīng)驗和一些相關(guān)教材進行備課。而現(xiàn)在呢,老師可以利用人工智能設(shè)備,可以根據(jù)以往學(xué)生們的學(xué)習(xí)中的一些主要困惑點,通過AI對大數(shù)據(jù)分析得到適合學(xué)生的教學(xué)方案。一方面會減輕老師的一些備課的負擔(dān),一方面也提高了他的教學(xué)效率,并能更有針對性進行教學(xué)指導(dǎo)了??赡茉诓痪玫膶?,我們就會實現(xiàn)人機共教,這種模式會代替老師在教學(xué)中一些機械的需要重復(fù)的知識點。使得老師能夠有更多的時間去給學(xué)生們解決一些學(xué)習(xí)上方法的指導(dǎo)還有一些在精神上的指導(dǎo)。讓老師有更多的時間給學(xué)生們?nèi)贤▽W(xué)生們有待解決的其他的問題。
而對于現(xiàn)在的學(xué)生來說,也是一件好事,通過人工智能的數(shù)據(jù)分析來檢查自己對學(xué)習(xí)的知識點的總結(jié)和預(yù)習(xí),也提高了學(xué)生們的學(xué)習(xí)效率。讓學(xué)生們在更短的時間內(nèi)輕松掌握更多的知識。這是一個非常好的學(xué)習(xí)工具。并且學(xué)生們也會更愿意接受。大家會看到現(xiàn)在市面有許多學(xué)習(xí)類的人工智能機器人,家長們給孩子購買后,一些小朋友自己就能簡單的進行人機溝通,并在與這種人工智能機器人溝通時學(xué)到知識。
人工智能在創(chuàng)造原理上,首先會考慮模擬人類使用矛盾對立,互為參照的模式為思想基礎(chǔ)來認識世界,感知事物,醞釀愛恨情仇.如果這樣,他們會依據(jù)自己對世界的理解,經(jīng)驗形成的人生觀來改造世界, 人工智能的發(fā)展將會影響未來的軍事作戰(zhàn)方式,比如對無人作戰(zhàn)平臺的影響。有了人工智能技術(shù),無人作戰(zhàn)平臺系統(tǒng)的智能化水平更高,平臺上的無人作戰(zhàn)飛機、無人反潛戰(zhàn)或反雷戰(zhàn)潛水器和無人戰(zhàn)車等武器既可以被作戰(zhàn)人員遠程遙控操作,也可以讓武器按預(yù)編程序自主運作,并能要求武器系統(tǒng)在短時間內(nèi)對威脅情況、打擊手段、打擊效果進行分析和判斷,進而全面提升無人作戰(zhàn)平臺系統(tǒng)的智能化水平。 無人作戰(zhàn)平臺的人工智能技術(shù)在復(fù)雜局面下的應(yīng)變和決策能力還有待提升“比如,在一個軍事威脅出現(xiàn)后,突然又出現(xiàn)了一個民用目標(biāo),在這種情況下,該如何判斷威脅和決策打擊?這個時候就需要人運用道德、情感和紀(jì)律等各種手段進行綜合判斷和決策,而在這方面人工智能技術(shù)與人類的智慧還有一定的距離。 軍事領(lǐng)域的人工智能技術(shù)既有優(yōu)勢,也有不足。以無人作戰(zhàn)平臺為例,其最佳作戰(zhàn)方式就是將人工智能與人的判斷與決策相結(jié)合,這要求在各種軍事指揮系統(tǒng)中,人類要有對人工智能技術(shù)的否決權(quán),并擁有最終的軍事決策權(quán),而不是完全交由人工智能技術(shù)來決定。
三、人工智能計算中心有什么用途?
當(dāng)前,各行各業(yè)對適配AI模型的訓(xùn)練需求呈爆發(fā)式增長,而一個高質(zhì)量的AI模型是通過訓(xùn)練和持續(xù)迭代優(yōu)化而來的。當(dāng)大模型、多模態(tài)算法模型訓(xùn)練逐漸成為主流,人工智能算力需求每3.5個月就翻一番,企業(yè)在AI研發(fā)中進行模型訓(xùn)練的算力成本居高不下。因此,能否為企業(yè)和科研機構(gòu)提供可持續(xù)、高適配、高彈性的訓(xùn)練算力成為衡量各地人工智能計算中心“含金量”的核心指標(biāo)。如果沒有技術(shù)足夠成熟的訓(xùn)練芯片來提供訓(xùn)練算力保障,就難以保障平臺產(chǎn)出算法模型的效率,那么以億為成本而建設(shè)的人工智能計算中心也就成了“雷聲大雨點小”的空殼工程。
訓(xùn)練芯片和推理芯片之別
在實際的人工智能計算中心硬件布局中,芯片主要適配于推理和訓(xùn)練兩大場景。訓(xùn)練芯片和推理芯片之間的邏輯差別可以理解為:訓(xùn)練芯片像老師,一遍一遍教一個完全不認字的小孩從零開始識字,一遍不會就再教一遍,直到教會為止;而推理芯片則是已經(jīng)學(xué)會識字的小孩,閱讀不同的書本時,可以識別出書本中的字。
換句話說,訓(xùn)練是從現(xiàn)有的數(shù)據(jù)中學(xué)習(xí)新的能力,而推理則是將已經(jīng)訓(xùn)練好的能力運用到實際場景中。離開了訓(xùn)練的推理,就相當(dāng)于空中樓閣。所以,相較于推理芯片,訓(xùn)練芯片是人工智能不斷進化的基礎(chǔ),也是眾多AI芯片廠商需要著力攻克的研發(fā)高地。
訓(xùn)練芯片有哪些特點
那么,與推理芯片相比,訓(xùn)練芯片在技術(shù)上具有哪些特點?
首先,訓(xùn)練芯片具備浮點運算能力。復(fù)雜模型的訓(xùn)練過程中,需通過精細的浮點表達能力對上千億個浮點參數(shù)進行微調(diào)數(shù)十萬步。無浮點運算能力的芯片如用于訓(xùn)練將增加約40%的額外操作,以及至少4倍的內(nèi)存讀寫次數(shù)。
其次,訓(xùn)練芯片具有專用AI加速單元,并具有高能效比的特點。當(dāng)前有個別廠商采用2016年國外品牌GPU架構(gòu),缺少AI加速單元,導(dǎo)致其AI訓(xùn)練能效比差,且能耗劇增。與之相比,配置矩陣加速單元的訓(xùn)練芯片可使AI訓(xùn)練效率提升10倍。
為AI產(chǎn)業(yè)提供充沛算力,需要在AI處理器硬件上有扎實的技術(shù)積累。據(jù)了解,目前許多人工智能計算中心使用的由升騰910AI訓(xùn)練處理器,原生具備訓(xùn)練能力,集群性能業(yè)界領(lǐng)先。目前,該集群可以在28秒完成基于Resnet-50模型訓(xùn)練(持續(xù)保持業(yè)界第一),并且性能還將持續(xù)提升。同樣,基于升騰AI基礎(chǔ)軟硬件平臺的“鵬城云腦II”榮獲AIPerf(世界人工智能算力)第一名,并再次刷新IO500(高性能計算存儲系統(tǒng)性能排行榜-全系統(tǒng)輸入輸出和10節(jié)點系統(tǒng))兩項世界冠軍。
訓(xùn)練芯片市場前景廣闊
隨著自動駕駛、生物信息識別、機器人、自動巡檢等人工智能終端產(chǎn)品和應(yīng)用越來越普遍化,人工智能產(chǎn)業(yè)集群的價值不可估量。在從理論走向應(yīng)用的產(chǎn)業(yè)化過程中,訓(xùn)練芯片作為算力平臺的“心臟”,其市場也持續(xù)蓬勃發(fā)展。
研究機構(gòu)賽迪顧問發(fā)布的報告顯示,從2019年到2021年,中國云端訓(xùn)練AI芯片市場累計增長了約127%。2021年,云端訓(xùn)練芯片市場規(guī)模將達到139.3億元。據(jù)預(yù)測,從2019年到2024年,云端訓(xùn)練芯片的年復(fù)合增長率或達到32%。
以全國第一個人工智能計算中心——武漢人工智能計算中心為例,其一期建設(shè)規(guī)模為100P FLOPS AI算力,今年5月31投運當(dāng)天算力負載便達到了90%,投運之后持續(xù)滿負荷運行。如今,武漢人工智能計算中心仍在持續(xù)擴容中。9月初正式上線的西安未來人工智能計算中心一期規(guī)劃300PFLOPSFP16(每秒30億億次半精度浮點計算)計算能力。作為西北地區(qū)首個大規(guī)模人工智能算力集群,其算力平臺承載力達到了當(dāng)下我國同類平臺中的領(lǐng)先的水平。
市場的高速增長預(yù)示著,當(dāng)人工智能發(fā)展到深水區(qū)階段,各行各業(yè)對AI訓(xùn)練算力的需求將長期保持幾何級增長。而訓(xùn)練芯片作為訓(xùn)練算力的引擎,也是人工智能模型訓(xùn)練的“基礎(chǔ)中的基礎(chǔ)”,也將作為人工智能計算中心的靈魂得到更廣泛的重視。相信,在我國極為豐富的AI應(yīng)用生態(tài)優(yōu)勢引領(lǐng)下,無論是訓(xùn)練芯片還是推理芯片,都將得到更為長足的快速發(fā)展。
人工智能計算中心是智慧城市建設(shè)、企業(yè)智能化升級、人工智能企業(yè)集約集聚的核心,我們這邊就是處于智慧城市的建設(shè)中,用的是華為這邊提供的解決方案,他們的人工智能計算中心要更加穩(wěn)定靠譜,提供的服務(wù)也要好很多。
四、人工智能建模的5種類型
分析型AI、功能型AI、交互型AI、文本型AI、視覺型AI。
人工智能建模:通過模擬人認識客觀事物和解決實際問題的方法對實際系統(tǒng)或系統(tǒng)的某一部分進行描述和表達的過程。也可以簡述為利用人工智能方法對實際系統(tǒng)或系統(tǒng)的某一部分進行描述和表達的過程。
以上就是關(guān)于人工智能模型訓(xùn)練相關(guān)問題的回答。希望能幫到你,如有更多相關(guān)問題,您也可以聯(lián)系我們的客服進行咨詢,客服也會為您講解更多精彩的知識和內(nèi)容。
推薦閱讀:
人工智能應(yīng)用技術(shù)就業(yè)方向(人工智能應(yīng)用技術(shù)就業(yè)方向女生)
logo在線設(shè)計生成器免費無水?。╱鈣網(wǎng)logo設(shè)計免費)