建立在堅(jiān)實(shí)技術(shù)基礎(chǔ)上的創(chuàng)意娛樂公司

索尼，始終以“人”為本，在前沿技術(shù)領(lǐng)域不斷探索進(jìn)取。后疫情時(shí)代，索尼黑科技正式確立了3R戰(zhàn)略（真實(shí)（Reality）、實(shí)時(shí)（Real-time）和遠(yuǎn)程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開創(chuàng)前所未有的娛樂表達(dá)方式。

“索尼黑科技”專欄將定期為您介紹最具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動(dòng)世界”。本期將為您帶來(lái)的是——AI聲音分離技術(shù)。

從混合音源中分離出單個(gè)聲音

聲音分離技術(shù)憑借AI實(shí)現(xiàn)巨大飛躍

聲音分離是一種技術(shù)，它可以從混合的音源中提取出單個(gè)的聲音。這原本被認(rèn)為是一件非常困難的事，但在2013年，我們引入了索尼的AI技術(shù)，在這一領(lǐng)域更進(jìn)一步。例如，在復(fù)原經(jīng)典電影、消除智能手機(jī)的噪音、實(shí)現(xiàn)音樂流媒體服務(wù)的實(shí)時(shí)卡拉OK功能等方面已經(jīng)取得了成果，我們期待未來(lái)它能應(yīng)用到更多領(lǐng)域。

受訪人資料：

機(jī)器對(duì)人類能力的再現(xiàn)

Q AI聲音分離是一種什么樣的技術(shù)？

光藤祐基：AI聲音分離是一種技術(shù)，它可以從音頻數(shù)據(jù)中去除不必要的噪音，只提取人聲或其他特定樂器的聲音。當(dāng)人類在聆聽一場(chǎng)多種聲音混合在一起的表演時(shí)，可以分辨出各個(gè)樂器，或者在進(jìn)行對(duì)話時(shí)，即使被一大群人包圍，我們也能自然而然地專注于一個(gè)聲音。這些都是人類獨(dú)有的能力，而直到近來(lái)，計(jì)算機(jī)要做到這一點(diǎn)都還是極其困難的。有人將這項(xiàng)任務(wù)描述為混合兩種果汁，之后提取其中一種。但是在過(guò)去的幾年里，由于AI新方法的引入，這項(xiàng)技術(shù)有了極大的提升。

尤里奇：以前，人們?cè)噲D在分離中加入大量的專業(yè)知識(shí)，例如關(guān)于混合過(guò)程的知識(shí)。此外，人們更喜歡簡(jiǎn)單的模型，因?yàn)樗鼈兛梢詮睦碚撋涎芯克鼈儭，F(xiàn)在這種情況已經(jīng)改變了，因?yàn)槭褂肁I從數(shù)據(jù)中學(xué)習(xí)分離體系要好得多。聲音分離應(yīng)用于《阿拉伯的勞倫斯》的三個(gè)例子，展示了我們?nèi)绾翁崛?duì)話以及各種模擬聲音的方法。

Q 在這個(gè)技術(shù)上，AI如何被使用？

光藤祐基：我們的聲音分離是由AI來(lái)進(jìn)行的，可以由人來(lái)教計(jì)算機(jī)完成這個(gè)任務(wù)。例如，一把吉他有一個(gè)特定的聲音或頻率，這一點(diǎn)可被神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到。無(wú)論混合了多少種聲音，我們的AI系統(tǒng)都能夠識(shí)別這些特征。這就像我們可以發(fā)現(xiàn)一個(gè)蘋果，因?yàn)槲覀冎耙娺^(guò)很多蘋果。AI在聲音分離的應(yīng)用方式而言，無(wú)論是機(jī)械上還是概念上都大同小異。

尤里奇：神經(jīng)網(wǎng)絡(luò)在所謂的訓(xùn)練中學(xué)習(xí)識(shí)別音頻特征。在這個(gè)訓(xùn)練中，神經(jīng)網(wǎng)絡(luò)會(huì)看到很多音樂--比我們一生中聽到的音樂還要多--以及我們應(yīng)該提取的目標(biāo)聲音。這些信息足以讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)聲音分離。

讓時(shí)間倒流并重新混音錄制

Q AI聲音分離技術(shù)有什么特別之處？
光藤祐基：我們認(rèn)為這是為數(shù)不多的可以讓時(shí)間倒流的技術(shù)。例如，你可以把過(guò)去必須要將各部分錄在一起的一段錄音，拿來(lái)專門提取人聲來(lái)重新混音，或者把所有的樂器的聲音分開來(lái)重新組合成一個(gè)新的格式。

Q 我們聽說(shuō)這項(xiàng)技術(shù)也同樣應(yīng)用在電影中。

尤里奇：為了給看電影的人提供一個(gè)身臨其境的聲場(chǎng)，需要從多個(gè)不同的角度傳遞聲音，重現(xiàn)一個(gè)3D音頻空間。然而，經(jīng)典電影的對(duì)白和音效都在同一個(gè)音軌上，所以我們能提取的聲音和聲場(chǎng)的沉浸感都是有限的。于是我們開始思考是否可以將這項(xiàng)技術(shù)延伸到電影中，在學(xué)習(xí)了音效（擬聲）庫(kù)之后，我們的AI系統(tǒng)能夠成功地從母版中提取出單個(gè)音效。在上面的視頻中也可以看到，在美國(guó)上映的《阿拉伯的勞倫斯》和《甘地》的4K超高清版本中，索尼影視娛樂公司的調(diào)音師用這項(xiàng)技術(shù)提取出聲音，用杜比全景聲進(jìn)行重制，創(chuàng)造了一個(gè)沉浸式的聲場(chǎng)。

上圖說(shuō)明了擬聲聲音分離過(guò)程及其在電影混音中的應(yīng)用

4K超高清版的《阿拉伯的勞倫斯》和《甘地》錄制在哥倫比亞經(jīng)典系列第一卷中

將聲音分離的價(jià)值帶給更多的人

Q 這項(xiàng)技術(shù)似乎也可以用在其他各種領(lǐng)域。
光藤祐基：這項(xiàng)技術(shù)也有望應(yīng)用于電影以外的場(chǎng)景，比如清理通過(guò)麥克風(fēng)記錄的人類聲音。例如，索尼的自主型娛樂機(jī)器人 "小狗 "aibo可以對(duì)人類的聲音做出回應(yīng)并進(jìn)行交流，但如果aibo只是簡(jiǎn)單地收集周圍的聲音，其自身的機(jī)械聲或風(fēng)噪等噪音也會(huì)被接收到。通過(guò)使用AI聲音分離技術(shù)，可以只提取人類的聲音，去除其他所有的背景音，以提高其語(yǔ)音識(shí)別能力。同樣，通過(guò)在Xperia智能手機(jī)上打電話時(shí)僅清理人聲，我們就不用再擔(dān)心聊天時(shí)的風(fēng)噪。最近的另一個(gè)例子是，它被用于一款音樂流媒體應(yīng)用程序的 "卡拉OK模式"。通過(guò)使用聲音分離技術(shù)，可以將原唱的聲音從流媒體音樂中實(shí)時(shí)移除（成為伴奏），并將用戶的演唱與音源混合，從而實(shí)現(xiàn)類似卡拉OK的體驗(yàn)。

Q 該技術(shù)未來(lái)的可能性和前景如何？
光藤祐基：我們希望我們的技術(shù)能夠像一臺(tái)時(shí)光機(jī)一樣，讓過(guò)去和現(xiàn)在的藝術(shù)家能夠跨時(shí)空合作。索尼PCL和索尼音樂解決方案剛剛開始使用我們的技術(shù)對(duì)外提供服務(wù)，所以肯定會(huì)有更多的應(yīng)用。我非常期待未來(lái)的前景。

尤里奇：從技術(shù)角度來(lái)看，我們將看到向廣泛音源分離的過(guò)渡，在這種情況下，不僅音源的數(shù)量是未知的，而且音源的類型也是不明確的。人們認(rèn)識(shí)到這是一個(gè)具有挑戰(zhàn)性但有趣的情景，它將促成更多的商業(yè)應(yīng)用案例。