一個文字-影象對資料都不用

，也能讓AI學會看文作圖？

來自

位元組

的最新text2image模型，就做到了。

實驗資料顯示，它的效果比VQGAN-CLIP要真實，尤其是

泛化能力

還比不少用

大量

文字-影象資料對訓練出來的模型要好很多。

嗯？不給文字註釋AI怎麼知道每一張圖片代表什麼？

這個模型到底咋訓練出來的？

不用文字訓練也能根據文字生成影象

首先，之所以選擇這樣一種方式，作者表示，是因為收集大量帶文字的影象資料集的

成本太高

了。

而一旦擺脫對文字-影象對資料的需求，我們就可以直接用

大型無文字影象資料集

（比如ImageNet）

來訓練強大且通用的text2image生成器。

位元組實現的這個模型叫做

CLIP-GEN

，它具體是怎麼操作的？

一共分三大步。

首先，對於一幅沒有文字標籤的影象，使用

CLIP

的影象編碼器，在語言-視覺

（language-vision）

聯合嵌入空間

（embedding space）

中提取影象的embedding。

接著，將影象轉換為

VQGAN

碼本空間

（codebook space）

中的一系列離散標記

（token）

。

也就是將影象以與自然語言相同的方式進行表示，方便後續使用Transformer進行處理。

其中，充當image tokenizer角色的VQGAN模型，可以使用手裡的無標記影象資料集進行訓練。

最後，再訓練一個

自迴歸Transformer

，用它來將影象標記從Transformer的語言-視覺統一表示中映射出對應影象。

經過這樣的訓練後，面對一串文字描述，Transformer就可以根據從CLIP的文字編碼器中提取的文字嵌入

（text embedding）

生成對應的影象標記

（image tokens）

了。

那這樣全程沒有文字資料參與訓練的文字-影象生成器，

效果到底行不行？

效能與清華CogView相當

作者分別在ImageNe和MSCOCO資料集上對CLIP-GEN進行訓練和評估。

首先，用MS-COCO驗證集中的六個文字描述生成樣本。

CLIP-GEN和其他透過大量文字-影象對訓練的text2image生成模型的效果對比如下：

其中，

VQGAN-CLIP

的結果比較不真實，並且伴隨嚴重的形狀

扭曲

。

來自清華的

CogView

號稱比DALL-E更優秀，在這裡的實驗中，它確實可以生成良好的影象結構，但在

紋理細節

上差點兒事兒。

DF-GAN

可以生成具有豐富細節的合理影象，但也容易產生區域性

偽影

。

作者認為，與這些對比模型相比，

CLIP-GEN的影象細節更豐富，質量更高一些

，比如它就很好地詮釋了第二組文字中要求的“水中倒影”

（不過不太能理解“三隻毛絨熊“中的數字概念）

。

定量實驗結果基本證明了這一結論：

CLIP-GEN拿到了最高的FID-0、FID-1分數；CapS得分

（衡量輸入文字和生成影象之間的語義相似性）

除了比CogView低4%，比其他模型都高很多。

此外，作者還發現，CLIP-GEN的

泛化能力

似乎也不錯。

在下面這組非常規的文字描述中，比如生成“一隻會飛的企鵝”，“叼雪茄的狗”、“有臉和頭髮的檸檬”……CLIP-GEN基本都可以實現，別的模型卻不太能理解。

作者介紹

本模型的五位作者全部來自位元組。

一作

Wang Zihao

本科畢業於北京理工大學，博士畢業於UC伯克利，曾在谷歌擔任3年軟體開發工程師，現就職於TikTok。

通訊作者名叫

易子立

，本科畢業於南京大學，博士畢業於加拿大紐芬蘭紀念大學，目前在位元組擔任人工智慧專家

（主要研究多模態、超解析度、人臉特效）

，在此之前，他曾在華為工作。

論文地址：

https：//arxiv。org/abs/2203。00386

— 完 —

量子位 QbitAI · 頭條號簽約