【智快網】11月21日消息,DeepMind最近發布了一款名為Lyria的音頻模型,該模型被設計用于生成帶有樂器和人聲的高品質音樂。與此同時,DeepMind還與YouTube合作,推出了一款名為Dream Track的音樂創作工具,旨在使視頻創作者更有效率地將創意轉化為作品。
研究人員介紹了通過AI模型生成音樂所面臨的挑戰。音樂本身具有極高的信息密度,每秒可能包含多個節拍、音符和和聲,因此相較于生成語言(文字轉語音),生成音樂更為復雜。維持長音樂序列中的連續性對AI模型而言也更為困難,因為模型需要在不同的樂句、詩節和長段落中保持音樂的流暢性和一致性。
Lyria模型針對這些挑戰進行了嘗試,最大的特點是能夠生成包含樂器和人聲的高品質音樂。此外,Lyria模型還擅長進行音樂變換和延續的任務,使其能夠基于現有音樂片段生成出風格新穎或統一的后續片段。研究人員表示,Lyria模型具有細致的微調選項,可以滿足專業音樂創作的需求,同時也適合業余用戶使用。
目前,Lyria模型已經應用在YouTube的短視頻功能"Shorts"中,并集成在YouTube的實驗音樂創作工具Dream Track中。用戶可以使用Dream Track生成多樣化的配樂,并選擇藝術家的音樂風格,如Charlie Puth、Charli XCX、Sia等,以創造全新演繹的作品。
據悉,在Dream Track中,用戶只需簡單輸入主題,然后選擇藝術家,即可生成30秒的配樂、歌詞、伴奏等內容。
DeepMind表示,他們正在廣泛探索AI在音樂創作領域的應用。未來,用戶將能夠通過哼唱讓AI生成完整歌曲,將古老的MIDI音樂轉換為Remix版本,或為音軌添加各種樂器伴奏。
Lyria模型生成的所有內容都會加上SynthID水印標記,這是一種辨識歌曲是否由AI生成的機制。研究人員表示,帶有“聲音水印”的音頻即便經過噪音添加、MP3壓縮,甚至調整音調速度,也能維持可檢測性。Lyria模型可以通過檢測歌曲中的SynthID來確認由Lyria模型生成的部分,從而更容易辨別音樂主題內容,方便生成后續音樂片段。