正文

資源｜OpenAI 文本生成器-gpt-2

發(fā)布時間：2023-03-06 13:46:05 稿源：互聯(lián)網(wǎng) 閱讀： 989 問大家

Github項目地址：

https://github.com/openai/gpt-2

視頻：《OpenAI Text Generator - YouTube》by Siraj Raval

地址： https://www.youtube.com/watch?v=0n95f-eqZdw

（或者打開：https://weibo.com/tv/v/Hiyyk0mKE ）

本項目是《 Language Models are Unsupervised Multitask Learners（語言模型是無人監(jiān)督的多任務(wù)學(xué)習(xí)者）》一文的代碼實現(xiàn)

目前，我們只發(fā)布了一個較小的（117M參數(shù)）版本的GPT-2。

若想查看更多詳情，請訪問我們的博客。

安裝

用Git克隆此項目倉庫，然后用 cd 進入目錄以獲取其余命令

git clone https://github.com/openai/gpt-2.git && cd gpt-2

本機安裝

下載模型數(shù)據(jù)：

sh download_model.sh 117M

其余步驟可以選擇使用virtualenv或conda之類的工具在虛擬環(huán)境中完成。

安裝tensorflow 1.12（支持gpu，如果你有GPU并希望它們運行得更快的話）

pip3 install tensorflow==1.12.0

或者

pip3 install tensorflow-gpu==1.12.0

安裝其他的python包：

pip3 install -r requirements.txt

Docker容器內(nèi)安裝

構(gòu)建Dockerfile并將創(chuàng)建的圖像標記為gpt-2：

docker build --tag gpt-2 -f Dockerfile.gpu . # or Dockerfile.cpu

從gpt-2 docker鏡像啟動交互式bash會話。

如果你可以訪問nvidia GPU并且能成功安裝 nvidia-docker 2.0，則可以選擇使用 --runtime=nvidia 標志。

docker run --runtime=nvidia -it gpt-2 bash

用法

警告：樣品未經(jīng)過濾，可能含有令人反感的內(nèi)容。

下面的一些示例可能包括Unicode文本字符。請設(shè)置環(huán)境變量：

export PYTHONIOENCODING=UTF-8

以UTF-8模式覆蓋標準流設(shè)置。

無條件樣本生成

要從小模型生成無條件樣本：

python3 src/generate_unconditional_samples.py | tee /tmp/samples

控制樣本有不同的標志：

python3 src/generate_unconditional_samples.py --top_k 40 --temperature 0.7 | tee /tmp/samples

要查看標志的說明，請使用：

python3 src/generate_unconditional_samples.py -- --help

條件樣本生成

要提供模型自定義提示，你可以使用以下命令：

python3 src/interactive_conditional_samples.py --top_k 40

要查看標志的說明，請使用：

python3 src/interactive_conditional_samples.py -- --help

GPT-2 樣本

警告：樣品未經(jīng)過濾，可能含有令人反感的內(nèi)容。

雖然我們還沒有正式發(fā)布GPT-2，但你可以在 gpt-2-samples 文件夾中看到它的一些樣本。我們使用默認設(shè)置（溫度1和無截斷）顯示無條件樣本，溫度為0.7，并使用top_k 40進行截斷。我們又使用默認設(shè)置（溫度1和無截斷）顯示帶有從WebText測試集中提取的上下文的條件樣本，溫度為0.7，截斷時為top_k 40。

未來的工作

我們可能會發(fā)布用于在各種基準測試中評估模型的代碼。

我們?nèi)栽诳紤]發(fā)布規(guī)模更大的模型。

點擊閱讀原文，查看一個續(xù)寫故事達到人類水平的AI，OpenAI大規(guī)模無監(jiān)督語言模型GPT-2