楊淨 衡宇 發自 凹非寺

量子位 | 公眾號 QbitAI

一段話整出一首歌，甚至是男女唱

（跳）

rap的那種。

谷歌最新模型

MusicLM

一經推出就驚豔四座，不少網友驚呼：這是迄今聽到最好的譜曲。

它可以根據文字生成任何型別的音樂，不管是根據時間、地點、年代等各種因素來調節，還是給故事情節、世界名畫配樂、生成人聲rap口哨，通通不在話下。

比如這幅《吶喊》

（Scream）

在一段摘自百科的說明提示下，它就能生成一段高契合度的音樂。

（蒙克在一次幻覺經歷中感受到並聽到了整個自然界的尖叫聲，它的靈感來源於此，描繪了一個驚慌失措的生物，既像屍體又讓人聯想到精子或胎兒，其輪廓與血紅色天空的旋渦線條相呼應。）

ViT

（Vision Transformer）

作者在聽過一段關鍵詞含“平靜舒緩”“長笛和吉他”的生成音樂後，表示自己真的平靜下來。

也不免有同行表示，這對我來說比ChatGPT更值得關注，谷歌幾乎解決了音樂生成的問題。

畢竟MusicLM背靠280000小時音樂的訓練資料庫，事實上從現釋出的Demo來看，MusicLM的能力還不止如此。

還可以5分鐘即興創作

可以看到，MusicLM最大的亮點莫過於就是根據豐富的文字描述來生成音樂，包括樂器、音樂風格、適用場景、節奏音調、是否包括人聲（哼唱、口哨、合唱）等元素，以此來生成一段30秒的音樂。

即便說的只是那種說不清道不明的氛圍，“迷失在太空”、“輕鬆而悠閒”；又或者是直接用在一些實用場景上，比如“街機遊戲配樂”、給繪畫配樂等。

除此之外，MusicLM具備長段音樂創作、故事模式、調節旋律等方面的能力。

在長段音樂方面， 它能完成

5分鐘

即興創作，即便提示只有一個詞。

比如僅在Swing

（搖擺）

的提示下，聽著真就有種想馬上下班去跳舞的衝動。（bushi）

而在故事模式中，不同的情標記甚至可以精確到秒的生成，哪怕情境之間完全沒有任何聯絡……

遊戲中播放的歌曲（0到15秒）——河邊播放的冥想曲（15到20秒）——火（0：30-0：45）——煙花（0：45-0：60 ）

更讓人驚豔到的是，它還有很強的實用性功能。

一方面，它可以將旋律的提示結合進文字提示當中去，這樣一來可以更精細地來調整音樂。有點改甲方爸爸需求那味了。

另一方面，它還能根據具體的樂器、地點、流派、年代、甚至是音樂家演奏水平等文字來生成。

背後生成模型MusicLM

但有一說一，AI生成音樂模型不在少數，谷歌自己此前也推出有類似的模型AudioLM。

此番MusicLM究竟有何不同？

據研究團隊介紹，貢獻主要有三個方面：

生成模型MusicLM。

把方法擴充套件到其他條件訊號，如根據文字提示合成的旋律，並生成5分鐘的demo。

釋出了首個專門為文字-音樂生成任務評估資料集MusicCaps。

首先，MusicLM正是基於谷歌三個月前提出

AudioLM

模型的拓展。

AudioLM不需要轉錄或標記，只需收聽音訊，AudioLM就能生成和提示風格相符的連貫音樂，包括鋼琴音或人聲對話等複雜聲音。

而最新的MusicLM，就是利用了AudioLM的多階段自迴歸建模作為生成條件，且以此為基礎進行拓展，使其可以透過文字提示來生成和修改音樂。

它是一個分層的序列到序列

（Sequence-to-Sequence）

模型，可以透過文字描述，以24kHz的頻率生成音樂，並在幾分鐘內保持這個頻率。

具體而言，研究團隊使用了三個模型來用來預訓練，包括自監督音訊表徵模型

SoundStream

，它可以以低位元率壓縮一般音訊，同時保持高重建質量。

還有

語義標記模型w2vBERT

，促進連貫生成；

音訊文字嵌入模型Mulan

，它可以將音樂及其對應的文字描述投射到嵌入空間

（以消除在訓練時對文字的不同需求）

，並允許純音訊語料庫上進行訓練，以此來應對訓練資料有限的難題。

訓練過程中，他們從純音訊訓練集中提取MuLan音訊標記、語義標記和聲學標記。

在語義建模階段，他們用MuLan音訊標記作為條件來預測語義標記。隨後在聲學建模階段，又基於MuLan音訊標記和語義標記來預測聲學標記。

每個階段都被建模為一個序列-序列任務，均使用單獨解碼器Transformer。

在推理過程中，他們使用從文字提示中計算出的MuLan文字標記作為調節訊號，並使用SoundStream解碼器將生成的音訊標記轉換成波形。

在280000個小時的訓練後，MusicLM最終學會了保持24kHz的頻率生成音樂，哪怕用來生成音樂的文字非常繞口。

類似“迷人的爵士歌曲與令人難忘的薩克斯獨奏和獨奏歌手”或“柏林90年代低音和強烈的電子樂”之類的。

研究團隊還引入了一個高質量音樂資料集MusicCaps來解決任務缺乏評估資料的問題。

MusicCaps由專業人士共建，涵蓋5500個音樂-文字對。研究團隊公佈了這個資料集，方便大夥進一步的研究。

這麼一套操作下來，透過定量指標和人工評估，MusicLM在音訊質量和文字契合度等方面都優於此前的音樂生成AI。

不過，谷歌研究團隊說了：

目前沒有對外發布MusicLM的計劃。

原因很簡單，除了訓練過程中難免出現的樣本質量失真，最最關鍵的還有2點。

一來，儘管MusicLM在技術上可以生成合唱和聲等人聲，但是仔細聽來，生成音樂的歌詞，有的還勉勉強強聽得出是音樂，有的根本就是無人能聽懂的外星方言。

再者，研究團隊發現系統生成的音樂中，

約有1%直接從訓練集的歌曲中複製

——這已經足以阻止對外發布MusicLM了。

此外，還有批評者質疑，在受版權保護的音樂素材上訓練AI模型到底合不合理。

不過團隊在論文中介紹了下一步動向，主要關注

歌詞生成

、

改善提示文字準確性

以及

提高生成質量

。

複雜音樂結構的建模

也將成為團隊的重點關注方向之一。

音訊生成AI

這個研究的背後團隊，是谷歌研究院。

共同一作Timo I。 Denk，是谷歌瑞士的軟體工程師，每天的工作就是利用ML進行音樂理解。

在這裡多說兩句，MusicLM的論文中，研究團隊提到，MusicLM在質量和提示依從性方面都優於以前的系統。

“以前的系統”包括哪些？

一個是

Mubert

，已在Github開源API，是一個text-to-music的AI，系列產品有根據既有標籤生成音樂的Mubert Render、聽歌軟體Mubert Play等。

還有

Riffusion

，它建立在AI繪圖的基礎上，但將其應用於聲音。

換句話說，Riffusion的工作原理是首先構建一個索引的頻譜圖集合，上面標記代表頻譜圖中捕獲的音樂風格的關鍵字。

在頻譜圖主體上訓練時，Riffusion就用Stable Diffusion的同一個方法——干預噪音，來獲得與文字提示匹配的聲波影象。

還有針對音樂製作人和音樂家的 AI 音訊生成工具

Dance Diffusion

，OpenAI推出的可自動生成音樂的ML框架

Jukebox

……

要咱說，別成天盯著ChatGPT了，AIGC下一個風口萬一是音樂生成呢？

參考連結：

［1］https：//google-research。github。io/seanet/musiclm/examples/

［2］https：//arxiv。org/pdf/2301。11325。pdf

［3］https：//techcrunch。com/2023/01/27/google-created-an-ai-that-can-generate-music-from-text-descriptions-but-wont-release-it/

— 完 —

量子位 QbitAI · 頭條號簽約