【易科】當(dāng)電子音樂與AI相撞,看沉浸聲如何編織出交響的火花
來源:易科 編輯:VI菲 2023-06-05 11:39:03 加入收藏
人工智能時(shí)代來了
藝術(shù)會消亡嗎?
當(dāng)電子音樂進(jìn)入人工智能的時(shí)代
你準(zhǔn)備好了嗎?
5月29日,中央音樂學(xué)院的《面向未來:電子音樂與AI的交響》音樂會在歌劇音樂廳順利開演,音樂會由俞峰校長擔(dān)任藝術(shù)總監(jiān),管曉宏院士擔(dān)任AI技術(shù)總監(jiān),音樂人工智能與音樂信息科技系主任李小兵教授擔(dān)任執(zhí)行總監(jiān)并主持音樂會,是國內(nèi)首場深度融合AIGC、3D音頻、腦科學(xué)等前沿科技的音樂會。
易科為本次音樂會提供了全套的沉浸式擴(kuò)聲系統(tǒng)、多媒體服務(wù)器及總控系統(tǒng)服務(wù)。這是一場青春無悔的實(shí)驗(yàn),也是一個(gè)驚心動(dòng)魄的奇點(diǎn),人類未來的藝術(shù)將站在AI巨人肩上前行!
《面向未來:電子音樂與AI的交響》音樂會的作品以基于“央音華為”實(shí)驗(yàn)室制定的3D音樂標(biāo)準(zhǔn)制式進(jìn)行制作,但現(xiàn)場的揚(yáng)聲器布局不能滿足標(biāo)準(zhǔn)的回放要求,聽感會大打折扣。另外9.1.4及立體聲等其他回放制式也會穿插在演出中,這就需要新的音頻技術(shù),在非標(biāo)準(zhǔn)回放場地實(shí)現(xiàn)基于聲道的標(biāo)準(zhǔn)制式回放效果,借助獨(dú)有的自適應(yīng)波場合成算法,來自荷蘭的Astro Spatial Audio沉浸式系統(tǒng)可以完全解決上述問題。
在視頻的需求中,除了常規(guī)的4K視頻播放外,還需要對現(xiàn)場的人機(jī)交互和其他視頻源進(jìn)行采集,以畫中畫的方式播放,這就需要多媒體服務(wù)器對采集和回放的視頻進(jìn)行相應(yīng)的結(jié)合,并且對音視頻同步播放也有相對較高的要求。
來自法國的Modulo Pi具有視頻播放、采集、拼接融合、演藝總控及追蹤互動(dòng)等多種功能于一身。通過視頻采集卡,對實(shí)時(shí)播放的互動(dòng)系統(tǒng)畫面進(jìn)行采集,同時(shí)利用NDI網(wǎng)絡(luò)采集的形式,對導(dǎo)賞PPT和自動(dòng)AI作曲軟件等畫面進(jìn)行采集。利用雙圖層加分辨率坐標(biāo)移動(dòng)的原理,將兩個(gè)視頻源進(jìn)行疊加,實(shí)現(xiàn)雙視頻輸入畫中畫的播放。
在網(wǎng)絡(luò)規(guī)劃方面,借助Modulo Pi多媒體服務(wù)器雙網(wǎng)卡的特性,讓視頻網(wǎng)絡(luò)與音頻網(wǎng)絡(luò)及總控網(wǎng)絡(luò)徹底隔絕。避免了由于視頻流占用了多數(shù)帶寬導(dǎo)致其他網(wǎng)絡(luò)帶寬不夠而產(chǎn)生卡頓的情況。
總控方面,視頻多服務(wù)器的控制網(wǎng)絡(luò)與Dante和音頻控制網(wǎng)絡(luò)相結(jié)合,通過OSC控制協(xié)議,對Qlab播放器發(fā)送指令,保證了音視頻同步播放。
主擴(kuò)系統(tǒng)方面,此次采用了LCR的系統(tǒng)配置,使用了3組EAW ANNA自適應(yīng)揚(yáng)聲器。其中左右聲道為各6只ANNA落地堆疊擺放,中置聲道使用一組4只ANNA吊掛在臺口上方的中央。3組ANNA自適應(yīng)揚(yáng)聲器采用先進(jìn)的電子控向技術(shù),可根據(jù)使用需求靈活調(diào)整覆蓋范圍,最終在音樂廳內(nèi)實(shí)現(xiàn)一層觀眾區(qū)均勻的聲場覆蓋,完美滿足沉浸聲系統(tǒng)的覆蓋需求。超低系統(tǒng)則使用EAW SBX218 雙18寸超低音揚(yáng)聲器,擴(kuò)展系統(tǒng)的低頻下限,適當(dāng)補(bǔ)充音樂的低頻能量。
除此之外,易科專為沉浸式系統(tǒng)研發(fā)的ezacoustics IMC8同軸點(diǎn)聲源揚(yáng)聲器作為沉浸聲的左、右、后環(huán)繞各4只揚(yáng)聲器,分別采用支架安裝。頂部4只的前方兩只與中置主擴(kuò)揚(yáng)聲器一同吊掛在臺口上方,后方頂部兩只揚(yáng)聲器則以一定角度固定在劇場二樓觀眾席前側(cè)。
沉浸式系統(tǒng)的左、右、后、頂部揚(yáng)聲器均使用Powersoft X8+Dante進(jìn)行驅(qū)動(dòng),每一只揚(yáng)聲器都對應(yīng)X8功放的單獨(dú)通道,真正做到在演出現(xiàn)場讓更多的觀眾享受7.1.4聲道重現(xiàn)監(jiān)聽室內(nèi)沉浸式的體驗(yàn)。
調(diào)音臺則采用Allen&Heath旗艦dLive系列S7000+DM64的組合,現(xiàn)場使用Qlab軟件播放節(jié)目音源,并通過S7000后面板的Dante擴(kuò)展卡將多軌音頻傳輸?shù)秸{(diào)音臺系統(tǒng),此外我們還在S7000臺面上加裝了一張Super MADI擴(kuò)展卡,該擴(kuò)展卡和Dante擴(kuò)展卡都支持128X128路的音頻信號傳輸,通過Super MADI擴(kuò)展卡可以將調(diào)音臺內(nèi)部的Direct out以及Group信號直接送到沉浸式引擎進(jìn)行處理。
演出中的鋼琴使用了Audix話筒SCX25A進(jìn)行拾音,古箏則使用了SCX1。其中SCX25A可用于各類立體聲現(xiàn)場錄音,話筒外觀優(yōu)雅,能顯著減少聲學(xué)反射和衍射,呈現(xiàn)充滿細(xì)節(jié)感和真實(shí)感的純凈聲音。SCX1靈敏度高、精確性強(qiáng),軸向聲能和偏軸向聲能表現(xiàn)一致,并具有出色的相位一致性和極弱的近講效應(yīng)。是鼓、樂器、管弦樂、弦樂器、鋼琴、手風(fēng)琴等擴(kuò)聲和錄制的理想選擇。
本場音樂會現(xiàn)場座無虛席,掌聲、喝彩聲不絕于耳。音樂會以時(shí)代賦予藝術(shù)工作者的責(zé)任感和使命感,探索了電子音樂在AI時(shí)代的發(fā)展路徑,體現(xiàn)出中央音樂學(xué)院“5•23”藝術(shù)節(jié)高度的政治性、深刻的思想性、鮮明的時(shí)代性和精湛的藝術(shù)性。
系統(tǒng)評價(jià)
李小兵
著名作曲家、中央音樂學(xué)院教授、博士生導(dǎo)師
音樂人工智能與音樂科技系系主任
“本場沉浸式交互音樂會的視聽,實(shí)現(xiàn)了多層次相融合的完美效果。不論是清澈且潤的獨(dú)奏,自然平順的點(diǎn)聲源軌跡移動(dòng)效果,還是全沉浸時(shí)聲場均勻的表現(xiàn)力與動(dòng)態(tài)效果,都使人身臨其境。易科團(tuán)隊(duì)專業(yè)、認(rèn)真,現(xiàn)場的音響充分展示了3D音樂的藝術(shù)魅力,震撼!”
評論comment