諾瓦XR解決方案

　　一、項目背景

　　XR，即Extended Reality, 擴展現(xiàn)實技術(shù)。它允許用戶在實時生產(chǎn)環(huán)境中使用AR(增強現(xiàn)實)和MR(混合現(xiàn)實)將虛擬和物理世界混合在一起，以創(chuàng)建完全沉浸式的體驗。

　　目前該技術(shù)已在電影制作、廣告拍攝、大型活動中呈井噴之勢。典型如好萊塢熱劇《曼達洛人》、《西部世界》，“美國偶像”綜藝節(jié)目中Katty Perry的表演，國內(nèi)雙十一晚會李榮浩現(xiàn)場演唱的《耳朵》，2021春晚周杰倫的《Mojito》表演等，其中均運用了大量xR元素。

　　該解決方案前端需要對應(yīng)的動作捕捉設(shè)備去配合相機完成拍攝，輔以特殊的媒體服務(wù)器配合游戲引擎完成內(nèi)容實時渲染及節(jié)目編輯，后端通過顯示屏控制系統(tǒng)完成節(jié)目傳送，實現(xiàn)屏體內(nèi)容的顯示。

　　這是XR拍攝時的整個系統(tǒng)構(gòu)成圖：

　　整個XR系統(tǒng)看起來組成復(fù)雜，用的設(shè)備很多;但LED顯示屏是其中不可或缺的重要設(shè)備;因為所有的虛擬畫面都要通過LED屏顯示出來，再通過攝像機拍攝，才能最終完成XR場景。

　　總體上可以說：是XR發(fā)現(xiàn)了LED顯示屏新的方向和價值。

　　二、項目優(yōu)勢

　　以往傳統(tǒng)的影片是以綠幕的方式進行拍攝的。步驟是這樣的：

　　1. 先用綠幕進行拍攝;

　　2. 進行大量的后期制作，最終完成影片;

　　這種綠幕影片拍攝的劣勢非常明顯：

　　1. 演員演戲全靠想象，導(dǎo)致拍攝難度極大;

　　2. 導(dǎo)演無法在現(xiàn)場看到效果，導(dǎo)致如果后期制作遇到難題時，只能重新拍攝，比較麻煩;

　　3. 要花費大量的人力和時間在后期制作上，相信大家都有聽說過好萊塢的百萬調(diào)色師的傳說;

　　而XR能有效解決上述痛點，提升整個影視制作效率與水準(zhǔn)。基于XR的影片拍攝越來越火爆;其拍攝步驟是這樣的：

　　1. 將制作好的場景在LED屏上播放;

　　2. 演員直接在一個由LED屏組成的虛擬拍攝場地進行表演;

　　3. 使用攝像機直接進行拍攝，導(dǎo)演可以同步在監(jiān)視器上看到拍攝效果。

　　這種拍攝方式的優(yōu)勢非常明顯：

　　1. 演員不用憑空想象著完成表演;

　　2. 拍攝過程中導(dǎo)演就可以看到拍攝效果，如果有問題，當(dāng)場就可以重拍，節(jié)約拍攝時間，減少后期的重復(fù)投入;

　　3. 后期制作簡單，時間短，出片周期大大縮短;

　　XR還具有廣泛的應(yīng)用場景和前景：

　　1. 影視制作：一般電影約有 10%-15%的內(nèi)容，需要在攝影棚制作。XR 營造了逼真的攝制空間，演員、導(dǎo)演可以實時看到拍攝和表演效果。這對于影視行業(yè)有著極大的吸引力?，F(xiàn)在，國內(nèi)很多地方都重視文娛、文化、文旅產(chǎn)業(yè)，爭相落地電影制造基地、影棚等。

　　2. 產(chǎn)品發(fā)布會：疫情的影響，讓更多的廠商把發(fā)布會轉(zhuǎn)移到線上。線上發(fā)布會，成本急劇下降，受眾極大擴充。加上 XR 的加持，發(fā)布會的播出效果將會超出人們的想象。發(fā)布會是實時播出，效果對 XR 的依賴很重。

　　3. 廣電類節(jié)目制作：各種錄播節(jié)目，可以依靠 XR 影棚，低成本達到更好的效果。

　　4. 科教：教育將是 XR 的一個典型應(yīng)用場景。無論是大型現(xiàn)場還是線上教育，抑或是博物館等科普場所，XR 將提供直觀的、身臨其境、逼真的實時效果。

　　5. 演唱會、電視節(jié)目。比如以后請嘉賓，請到的可能是虛擬的，或者是異地表演的。一方面是檔期，如果嘉賓檔期有限，來錄制要幾天，可能就請不到了。一方面是，一個嘉賓背后有著一堆經(jīng)紀(jì)人、后勤等人員，吃喝拉撒費用極高。如果是虛擬的，可以解決很多問題。

　　6. 游戲及相關(guān)活動：游戲本身就是虛擬的，無論是游戲本身，還是游戲競賽和游戲

　　活動相關(guān)，最適合虛擬和現(xiàn)實結(jié)合。

　　對于LED顯示來說，XR應(yīng)用場景是一塊待挖掘的新市場。

　　新思界產(chǎn)業(yè)研究中心出具的《2020年全球及中國擴展現(xiàn)實(XR)產(chǎn)業(yè)深度研究報告》顯示，2019年全球擴展現(xiàn)實市場規(guī)模為186億美元，在預(yù)測期(2020- 2030年)以48.3%的復(fù)合年增長率增長。

　　三、項目問題

　　當(dāng)前，國內(nèi)大多的XR應(yīng)用均是以租賃或者固裝來做的，所用的LED屏也只是常規(guī)屏。這表明，大家對XR的認(rèn)知不足。

　　LED顯示在XR應(yīng)用中的亂象：

　　1. 用三塊租賃P3.9的屏，放墻角一搭，跟配套的其他租用視頻媒體服務(wù)器設(shè)備接在一起，然后就成了XR;

　　2. 用固裝P2.5屏，搭上幾塊，再搞些媒體服務(wù)器，成了XR ;

　　由于RGB排列導(dǎo)致不同視角時接收到的RGB光強度不一樣，從而出現(xiàn)不同角度看到的顏色不一致，出現(xiàn)細節(jié)丟失，出現(xiàn)輪廓線和色帶的問題;顯示的顏色不精準(zhǔn)，存在偏色，如顯示的人臉偏紅等，導(dǎo)致后期制作投入大;顯示畫面的對比度不足，導(dǎo)致拍攝景深不足等問題。

　　那XR應(yīng)用需要什么樣的LED屏?

　　在現(xiàn)在，要有效地提升畫質(zhì)，拍攝的內(nèi)容的質(zhì)量也是很關(guān)鍵的。不得不聊聊HDR了。因為HDR就是為了還原真實世界而存在的。

　　Nova是行業(yè)內(nèi)第一家支持HDR顯示的公司，并且我們不僅支持了HDR10，還支持了廣泛應(yīng)用于廣電領(lǐng)域的HLG，得到許多歐美客戶的青睞。像歐洲的LONG公司就是使用的我們的HDR解決方案。

　　XR對LED屏的基礎(chǔ)要求：

　　1. 拍攝無掃描線;

　　保證屏體的視覺刷新率要高，以保證攝像機拍不到掃描線;

　　屏體設(shè)計：低掃數(shù)，靜態(tài)顯示最佳，諾瓦建議不要超過8S;

　　控制系統(tǒng)：配合IC保證低灰刷新率夠高;支持genlock，能使顯示屏與視頻源和攝像機保持同步;

　　2. 保證屏體灰度級數(shù)要夠高，色彩控制更精準(zhǔn);

　　屏體設(shè)計：選用的RGB燈珠能覆蓋客戶使用的色域范圍;設(shè)計的屏體沒有耦合(屏體設(shè)計和IC選用)，白對黑的耦合，黑對白的耦合以及跨板耦合等。

　　控制系統(tǒng)：配合IC保證提升屏體的灰度級數(shù); 能對屏體進行標(biāo)定：校準(zhǔn)屏體0~255的亮度符合EOTF曲線;校準(zhǔn)屏體的色彩準(zhǔn)確度，保證δE<4 。

　　3. 任意視角顯示色彩一致

　　保證RGB芯片間距足小。屏體設(shè)計：選用更小尺寸的LED芯片;面罩進行特殊設(shè)計.

　　控制系統(tǒng)： 在出現(xiàn)問題時，能快速調(diào)節(jié)RGB的配比保證，一些機位顯示色彩正常。

　　XR對LED屏更高的需求：

　　8K、HDR、HFR 120Hz/144Hz/240Hz、精準(zhǔn)色彩、10bit/12bit、超低延遲

　　三、解決方案

　　在控制系統(tǒng)端，諾瓦可提供如下解決方案：

　　1.方案架構(gòu)

　　VMP+MX40 Pro+A10s Pro

　　諾瓦科技xR沉浸式解決方案

　　xR沉浸式解決方案，聚焦xR顯示應(yīng)用場景，精準(zhǔn)還原畫面真實色彩、保留圖像細節(jié)，搭載高幀頻、相位調(diào)節(jié)，倍頻等處理技術(shù)，解決xR拍攝動態(tài)過程中，由于顯示屏刷新不足，由之而來的掃描線、黑場問題。同時搭載畫質(zhì)引擎技術(shù)，進一步增強顯示畫質(zhì)，讓LED顯示屏重獲新生，打造至臻xR解決方案。

　　2.方案特點

　　小間距技術(shù)發(fā)展的突飛猛進，LED顯示畫質(zhì)被寄予了越來越高的期待，尤其在影視拍攝、xR等高端顯示應(yīng)用領(lǐng)域。

 畫質(zhì)引擎&動態(tài)引擎

　　全新MX系列控制系統(tǒng)搭載諾瓦全新一代畫質(zhì)引擎和動態(tài)引擎，全方位提升LED屏顯示畫質(zhì)，打造身臨其境的沉浸式觀感，為xR場景拍攝提供充分保障。

 VMP

　　Vision、Management,、Platform ——諾瓦全新LED顯示操控平臺，集設(shè)計，調(diào)試，監(jiān)控，管理于一身。全流程工作平臺，工作質(zhì)量和效率兼顧，解放想象力限制，每個人都可以是顯示屏的設(shè)計師。

 多視角實時顏色調(diào)節(jié)

　　為了徹底解決由于攝像視角變化，產(chǎn)生的偏色問題。在VMP + MX40 Pro + A10s Pro的基礎(chǔ)上，給出了實時顏色調(diào)節(jié)的解決方案。

　　VMP操作平臺，先將攝像機固定視角的屏體顏色信息進行調(diào)節(jié)預(yù)存，Genlock 信號連接攝像機或 Genlock信號發(fā)生器;當(dāng)攝像機運動到此固定視角后，實時調(diào)取預(yù)存的信息，數(shù)據(jù)實時下發(fā)，保證從該視角捕捉到的畫面顏色信息準(zhǔn)確。另外，實時顏色調(diào)節(jié)可以滿足多機位同一時間，同時拍攝，解決多機位不同角度畫面顏色偏色問題。

 倍頻 + 插幀

　　倍頻，可讓LED顯示屏適配更多的攝像機快門角度，使得顯示屏刷新時間與攝像機快門時間保持一致，去除黑場，掃描線，從而為攝像機拍攝顯示屏提供更靈活地選擇。

　　插幀，原理和倍頻一致。只不過倍入的幀頻為不同視頻源畫面。可使得多臺攝像機，和控制器通過Genlock連接后，與其分別對應(yīng)要拍攝的視頻素材幀頻率，進行相位偏移后同步。以保證每個攝像機可以完美捕捉到各自對應(yīng)的視頻素材 背景，從而在同一時間線上，同一場景，對不同內(nèi)容的素材進行輸出。成本節(jié)省，一勞永逸。

 相位調(diào)節(jié)

　　當(dāng)攝像機曝光時間和LED刷新時間通過倍頻功能調(diào)節(jié)一致后，開啟相位調(diào)節(jié)，調(diào)整使攝像機

　　拍攝頻率和顯示屏刷新頻率保持同步，從而有效解決丟灰、增色，掃描線、黑線的問題。

 Shutter sync

　　MX40 Pro 可通過Shutter Sync同步攝像機快門速度，使顯示屏自動調(diào)節(jié)適配攝像機曝光時間和頻率，再結(jié)合相位偏移，有效解決掃描線，黑場問題。

 支持高幀頻輸入

　　控制器最高支持達144HZ輸入幀頻，保證拍攝高速運動物體時，能減少畫面殘影、拖影等問題;

 HDR高動態(tài)范圍顯示

　　支持HDR高動態(tài)顯示，屏體顏色、亮暗部細節(jié)得到精確還原，為拍攝現(xiàn)場創(chuàng)建生動場景;

 超低延遲

　　系統(tǒng)延遲最低可達1幀，現(xiàn)場拍攝銜接更流暢。

　　五、 項目案例

　　加拿大影視技術(shù)制作公司JOEL LAW MEDIA與Promosa聯(lián)合打造，使用NovaStar專業(yè)XR顯示控制解決方案。