正文

gpt算法原理（gpit技術(shù)）

發(fā)布時間：2023-03-12 19:25:26 稿源：創(chuàng)意嶺閱讀： 79 問大家

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于gpt算法原理的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

ChatGPT國內(nèi)免費在線使用，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com

本文目錄:

1、基于UEFI-GPT的引導過程有沒有可能感染病毒，說明原因和可能的病毒原理
2、什么時候用gpt和mbr
3、論文筆記之GPT-GNN: Generative Pre-Training of Graph Neural Networks
4、什么是chatgpt

gpt算法原理（gpit技術(shù)）

一、基于UEFI-GPT的引導過程有沒有可能感染病毒，說明原因和可能的病毒原理

MBR不是使用UEFI，而是使用BIOS吧分區(qū)數(shù)量上，gpt好像可以支持無限個分區(qū)，不過window上只認128個，而且gpt分區(qū)不分主分區(qū)，邏輯分區(qū)，可以理解為全部都是主分區(qū)，就相當于可以允許你一個分區(qū)一個系統(tǒng)，128個系統(tǒng)了。而這是mbr做不到的，mbr最多只能有四個系統(tǒng)，如果你想要多于四個的分區(qū)，那還得犧牲掉可以裝一個系統(tǒng)的主分區(qū)，即把它裝換為邏輯分區(qū)。安全性上，gpt會更安全，因為分區(qū)表會備份，且加入校驗算法，一旦被病毒感染或誤操作可以及時發(fā)現(xiàn)，使用安全的備份的分區(qū)表補救。分區(qū)容量上，gpt可以識別出大于2T的硬盤，而mbr最大就2t容量這是我所記得的大概區(qū)別。對于uefi和BIOS來說，uefi支持模塊化開發(fā)，這方便了廠商對固件的開發(fā)。安全性上，由于多了個專門的efi分區(qū)，且在系統(tǒng)中不會顯示該分區(qū)，一定程度上提高安全性。速度上，由于BIOS在啟動的時候有硬件自檢，而這個功能交到了efi分區(qū)中實現(xiàn)，所以相對來說，uefi的啟動速度更快。

二、什么時候用gpt和mbr

gpt主要用于mac（蘋果），

MBR分區(qū)表與GPT分區(qū)表的關(guān)系

與支持最大卷為2 TB（Terabytes）并且每個磁盤最多有4個主分區(qū)（或3個主分區(qū)，1個擴展分區(qū)和無限制的邏輯驅(qū)動器）的MBR磁盤分區(qū)的樣式相比，GPT磁盤分區(qū)樣式支持最大卷為18 EB（Exabytes）并且每磁盤的分區(qū)數(shù)沒有上限

三、論文筆記之GPT-GNN: Generative Pre-Training of Graph Neural Networks

文中指出訓練GNN需要大量和任務對應的標注數(shù)據(jù)，這在很多時候是難以獲取的。一種有效的方式是，在無標簽數(shù)據(jù)上通過自監(jiān)督的方式預訓練一個GNN，然后在下游任務上只需要少量的標注數(shù)據(jù)進行fine-tuning。

本文提出了GPT-GNN通過生成式預訓練的方式來初始化GNN。GPT-GNN引入了一個自監(jiān)督的屬性圖生成任務，來pre-training一個GNN，使其能夠捕捉圖上的結(jié)構(gòu)信息和節(jié)點屬性信息。

圖生成任務被分成了兩部分：①屬性生成。②邊生成。

pre-training的GNN要能夠捕捉input graph的結(jié)構(gòu)信息和節(jié)點屬性信息，使其能夠在相似領(lǐng)域的下游任務上通過少量label的fine-tuning就能達到很好的泛化效果。本文采用的方式是重構(gòu)輸入的屬性圖來對圖分布建模。

第一步，如上左圖所示，通過自監(jiān)督學習任務（節(jié)點屬性生成和邊生成）來預訓練GNN。第二步，如上右圖所示，pre-training好的模型以及參數(shù)用于對下游任務的初始化，只需要在少部分標注數(shù)據(jù)上做fine-tuning。

輸入G=(V,E,X)，其中V表示頂點集，E表示邊集，X表示頂點屬性矩陣。

目標：pre-training一個GNN模型，使其能夠：1)捕捉圖中的結(jié)構(gòu)特征和屬性特征。2)能夠?qū)D的下游任務有幫助。

也就是對圖G=(V,E,X)不使用label學習一個可以泛化的GNN模型fθ。

GPT-GNN通過重構(gòu)/生成輸入圖的結(jié)構(gòu)信息和節(jié)點屬性信息來pre-training GNN。given 輸入圖G=(V,E,X)和GNN模型fθ，圖和GNN的likelihood定義為p(G,θ)，通過最大化likelihood來預訓練GNN，也就是

如何對p(G,θ)建模？

通過自回歸的方法分解目標概率分布。

首先說明什么是自回歸

如上式所示，c為常數(shù)項，є為隨機誤差，概括來說就是X的當期值等于一個或數(shù)個前期值的線性組合加常數(shù)項加隨機誤差。

對于graph來說，自回歸方法概括為：nodes in the graph come in an order, and the edges are generated by connecting each new arriving node to existing nodes.

對于一個給定的order，通過自回歸的方式分解log likelihood，每次生成一個節(jié)點。

在step i，given 所有在前面步驟生成的節(jié)點，包括節(jié)點屬性X<i和節(jié)點之間的邊E<i來生成新的節(jié)點i，包括節(jié)點屬性Xi和與現(xiàn)有節(jié)點的連接邊Ei.

如何對pθ(Xi,Ei|X<i,E<i)建模？

一種簡單的方式是假設Xi和Ei是獨立的，也就是

然而，這種分解方式完全忽略了節(jié)點屬性和節(jié)點之間聯(lián)系（邊）之間的依賴關(guān)系。然而這種依賴關(guān)系是屬性圖和基于聚合鄰居節(jié)點信息的GNN的核心屬性。

因此，文中提出了一種分解方式，當生成一個新的節(jié)點屬性時，給出結(jié)構(gòu)信息，反之亦然。

從而整個生成過程可以分為兩部分：

1)given 觀測邊，生成節(jié)點屬性。

2)given 觀測邊和1)中生成的節(jié)點屬性，生成剩下的邊。

通過這種方式，模型能夠捕捉每個節(jié)點屬性和結(jié)構(gòu)之間的依賴關(guān)系。

定義變量o來表示Ei中觀測邊的index vector，即Ei,o表示已經(jīng)觀測到的邊。¬o表示masked邊（要生成邊）的index。

通過引入o，可以把前面的分布重寫為所有可能觀測邊的期望likelihood.

這里的理解非常重要，第一個等式中，把Ei拆成了Ei,¬o和Ei,o，也就是說指定了哪些邊是觀測邊，哪些邊是masked邊。需要注意的是，當o確定下來以后，¬o也是確定的。因此等式外面加上了對o的累加，這里可以理解為類似于全概率公式去對所有可能的o求和。

此外，這里需要注意Ei，E<i，Ei,o，Ei,¬o四個符號分別表示的是什么?，F(xiàn)在位于step i，E<i是指在step i之前已經(jīng)生成的邊，Ei是指在step i將會生成的邊（與節(jié)點i相連，有好多條），之后再將Ei中的邊生成過程拆分成已經(jīng)生成和將要生成兩部分，即Ei,o和Ei,¬o。

下一個等式中，把第二個p看作概率分布，寫作對于o期望的形式。最后把Xi和Ei,¬o看作獨立的過程，拆成兩個概率分布。

這種分解的優(yōu)勢在于，沒有忽略Xi和Ei,o的聯(lián)系。第一項表示given觀測邊，聚合目標節(jié)點i的鄰居信息來生成其屬性Xi.第二項表示given觀測邊和剛生成的屬性Xi，預測Ei,¬o中的邊是否存在。

如上圖所示，給出了一個例子。對于一個academic graph，我們要去生成一個paper node，它的屬性為title，并且其和author，publish venue，reference相連。上圖中的實線部分為已經(jīng)觀測到的邊，首先生成節(jié)點的屬性，即title。然后基于author1，author2，author3和剛生成的節(jié)點屬性title，預測剩下的邊，即虛線部分。

出于效率的考慮，希望：

1)對于輸入圖只跑一次GNN就能計算節(jié)點屬性生成和邊生成過程的loss。

2)希望節(jié)點屬性生成和邊生成能同時進行。

然而，邊生成需要用到節(jié)點屬性信息，如果兩個生成過程同時進行，會導致信息泄漏。

為了避免這個問題，將節(jié)點分為兩種類型：

•屬性生成節(jié)點。mask住這些節(jié)點的屬性，用一個共用的dummy token Xinit來代替，Xinit和Xi的維度是相同的，并且在pre-training的過程中學習到。

•邊生成節(jié)點。保持它們原有的屬性。

需要注意的是，同一個節(jié)點在不同階段扮演不同的角色，可能是屬性生成節(jié)點也可能是邊生成節(jié)點。只是在某一階段，一個節(jié)點有一個確定的角色。

在graph上訓練GNN來生成各節(jié)點的embedding，用hAttr和hEdge來分別表示屬性生成節(jié)點和邊生成節(jié)點的embedding。由于屬性生成節(jié)點的屬性被mask住了，因此hAttr中包含的信息通常會少于hEdge。因此，在GNN的message passing過程中，只使用hEdge作為向其他節(jié)點發(fā)送的信息。也就是說，對于每個節(jié)點，其聚合鄰居hEdge的信息和自身的信息來生成新的embedding。之后，對于節(jié)點的embedding，使用不同的decoder來生成節(jié)點屬性和邊。（注意，節(jié)點的embedding和節(jié)點屬性不是一回事。通俗理解，在GNN中節(jié)點的屬性是input，節(jié)點的embedding是hidden layer。）

對于屬性生成，用DecAttr來表示decoder，輸入hAttr來生成節(jié)點屬性。decoder的選擇依賴于節(jié)點屬性的類型，如果是text類型的節(jié)點屬性，可以使用LSTM等；如果節(jié)點屬性是vector，可以使用MLP。定義一個距離函數(shù)來度量生成屬性和真實屬性之間的差異，對于text類型屬性，可以使用perplexity，對于vector屬性，可以使用L2距離。由此，可以計算屬性生成過程中的loss

最小化生成屬性和真實屬性之間的差異，等價于對generate attributes做MLE，也就是最大化下式

從而捕捉了圖中的節(jié)點屬性信息。

對于邊生成過程，假設每條邊的生成過程和其他邊是獨立的，由此對likelihood進行分解

得到hEdge后，如果節(jié)點i和節(jié)點j相連，則使用

進行建模，DecEdge是一個pairwise score function。

loss定義為

Si-指的是沒有和節(jié)點i相連的節(jié)點。

最小化loss等價于對generate edges做MLE，從而捕捉了圖中的結(jié)構(gòu)信息。

上圖給出了屬性圖生成過程的一個具體例子。

a)對于input graph確定permutation order π。

b)隨機挑選一部分與節(jié)點i相連的邊作為observed edges Ei,o，剩下的邊作為masked edges Ei,¬o，并且刪除masked edges。

c)把節(jié)點分為屬性生成節(jié)點和邊生成節(jié)點。

d)計算節(jié)點3,4,5的embedding，包括它們的屬性生成節(jié)點和邊生成節(jié)點。

(d)-(e)通過對于每個節(jié)點并行進行節(jié)點屬性預測和masked邊預測來訓練一個GNN模型。

完整的算法流程如下所示。

對于上圖的算法流程進行詳細的說明。

輸入一個屬性圖，每次采樣一個子圖G~作為訓練的實例進行訓練。首先決定permutation order π。同時，我們希望能夠并行化訓練，只做一次前向傳播，就能得到整個圖的embedding，由此可以同時計算所有節(jié)點的loss。因此，根據(jù)permutation order π來移除邊，也就是使每個節(jié)點只能從跟低order的節(jié)點處獲得信息。

之后，需要決定哪些邊被mask。對于每個節(jié)點，獲得其所有的出邊，隨機挑選一部分邊被mask住，這一過程對應上述line4。

之后，對節(jié)點進行劃分，得到整個圖中節(jié)點的embedding，用于之后loss的計算，對應line5。

lone 7-9進行l(wèi)oss的計算。

line 8中，通過整合采樣圖中未連接的節(jié)點和Q中以前計算的節(jié)點embedding來選擇負樣本，這種方式能夠減輕對于采樣圖優(yōu)化和對于整個圖優(yōu)化的差距。

在line11-12中，優(yōu)化模型并更新Q。

對于異構(gòu)圖，即包含不同類型的點和邊的圖，唯一的不同在于不同類型的點和邊采用不同的decoder。

對于大規(guī)模的圖，可以采樣子圖來進行訓練，即上述算法流程中Sampler的作用。為了計算Ledge這一loss，需要遍歷輸入圖的所有節(jié)點。然而，我們只能在采樣的子圖上計算這個loss。為了緩解這一差異，提出了adaptive queue，其中存儲了之前采樣的子圖的節(jié)點embedding作為負樣本。每次采樣一個新的子圖時，逐步更新這個隊列，增加新的節(jié)點embedding，移除舊的節(jié)點embedding。通過引入adaptive queue，不同采樣子圖中的節(jié)點也能為全局的結(jié)構(gòu)提供信息。

四、什么是chatgpt

ChatGPT是OpenAI開發(fā)的大型預訓練語言模型。這是GPT-3模型的一個變體，經(jīng)過訓練可以在對話中生成類似人類的文本響應。

gpt算法原理（gpit技術(shù)）