3秒復制任何人的嗓音，微軟音頻版DALL?E細思極恐，連環境背景音也能模

只需要3秒鐘，一個從未聽說過你的AI就能完美模仿你的聲音。

你害怕仔細思考嗎。

這是微軟最新的AI成果——語音合成模型VALL E，它可以在短短3秒內隨意復制任何人的聲音。

脫胎于DALL E，卻專攻音頻領域，語音合成的效果在網上發布后走紅:

有網友表示，如果把VALL E和ChatGPT結合起來，效果簡直爆炸:

看來和GPT—4在Zoom聊天的日子不遠了。

還有網友調侃，下一個是配音演員。

那么VALL到底是如何模仿從未聽過的聲音長達三秒鐘的呢。

用語言模型分析音頻

基于AI聞所未聞語音的語音合成，即零樣本學習。

語音合成趨于成熟，但之前的零樣本語音合成效果并不好。

主流的語音合成方案基本都是預訓練加微調的模式如果用于零樣本場景，會導致生成的語音相似度和自然度較差

基于此，VALL誕生了，它提出了一種不同于主流語音模型的思想。

與傳統的利用梅爾譜提取特征的模型相比，VALL直接將語音合成視為語言模型的任務，前者是連續的，后者是離散的。

具體來說，傳統的語音合成過程往往是音素梅爾譜波形的方式。

但是VALL把這個過程變成了音素離散音頻編碼波形:

在模型設計方面，VALL E類似于VQVAE，將音頻量化為一系列離散的令牌，其中第一個量化器負責捕捉音頻內容和說話人身份特征，后面的量化器負責細化信號，使其聽起來更自然:

然后，在文本和3秒聲音提示的情況下，自回歸輸出離散音頻碼:

那么VALL E在實際測試中的效果如何呢。

甚至可以還原環境背景聲音。

根據合成的語音效果，VALL E可以還原的不僅僅是說話者的音色。

不僅聲調模仿到位，還支持多種不同語速的選擇。例如，VALL E在說同一句話兩次時給出兩種不同的語速，但音色相似度仍然很高:

同時，連說話人的環境背景音也能準確還原。

此外，VALL還能模仿說話者的各種情緒，包括憤怒，困倦，中立，愉快和惡心。

值得一提的是，用于VALL E訓練的數據集并不是特別大。

相比OpenAI的Whisper，花了68萬小時的音頻訓練只有7000多個說話者和60000個小時的訓練，VALL E在語音合成相似度上超過了預訓練的語音合成模型YourTTS

此外，YourTTS在訓練期間已經提前聽到了108個揚聲器中97個的聲音，但在實際測試中仍然不如VALL。

一些網友已經在想象它可以應用在哪里了:

不僅可以用來模仿自己的聲音，比如幫助殘障人士完成與他人的對話，還可以在不想說話的時候用來代替自己發出聲音。

當然也可以用來錄有聲書。

可是，VALL E還沒有開放源代碼，所以它可能要等待一個審判。

一個是南開大學和微軟研究院聯合培養的博士生王成意他的研究方向是語音識別，語音翻譯和語音預訓練模型

陳三元，哈爾濱工業大學和微軟研究院共同培養博士生他的研究興趣包括自我監督學習，自然語言處理和語音處理

合著者吳語，微軟亞洲研究院NLP組研究員，北京航空航天大學博士他的研究興趣是語音處理，聊天機器人系統和機器翻譯

紙張地址:

音頻試聽地址:

參考鏈接: