【洞見】- 屬于我們每個人的虛擬制作-Dante

    屬于我們每個人的虛擬制作

    by Kirsten Nelson

    大約一年半前 – 按照現(xiàn)在的科技發(fā)展變化速度相當于十來年時間 – 我站在一個被 LED 墻和浮動 LED 天花板包圍的舞臺上。我正在與兩位創(chuàng)意機構(gòu)的老板談論 “虛擬制作” 這個相對較新的想法。事實上，它是如此新，以至于我們站在紐約市第一個獨立運營的虛擬制作舞臺上。該空間由布魯克林內(nèi)容工作室 The Family 的多才多藝的創(chuàng)意和技術(shù)創(chuàng)新者于 2021 年推出，打開了通向未來的大門。

    我們四處移動相機，觀察光線和陰影在不斷變化的虛擬背景中如何變化。我們對現(xiàn)場視頻在房間內(nèi)實時折射光亮表面的方式感到驚嘆，從而消除了過多的后期制作工作的必要性。一切無生命或有生命的事物都會看到場景的變化，就像在現(xiàn)實生活中一樣。這比要求表演者想象在綠幕前或動作捕捉工作室中拍攝要好得多，在那里他們可能還需要與虛擬龍的替身演員互動。

    有人討論我們?nèi)绾卧谝惶靸?nèi)創(chuàng)造出一年的廣告和社交內(nèi)容。那真是一見鐘情的感覺。但那感覺已經(jīng)是很久以前的事了。從那以后，人工智能開始占據(jù)了更多的創(chuàng)意領(lǐng)域，無數(shù)其他潛在的虛擬制作工作室涌現(xiàn)，編劇和演員紛紛罷工，而最好的新工作前景可能是 “AI 對話工程師”。

    現(xiàn)在，當創(chuàng)意世界真正討論人類和機器如何協(xié)同工作時，我們其他人，那些仍在嘗試使用這些閃亮的新工具讓事物發(fā)揮作用的人，需要了解什么呢？

    為了找到答案，我回到了這一切的開始，并再次與我的朋友 Steve Dabal(The Family 的聯(lián)合創(chuàng)始人兼創(chuàng)意總監(jiān))進行了交談。根據(jù)從廣告公司的各種客戶項目、各種創(chuàng)意客戶和獨立科幻浪漫喜劇制作中獲得的經(jīng)驗教訓，Dabal 分享了一些見解，以及客戶在預訂這些面向未來、 AI 驅(qū)動的 LED 立方體創(chuàng)意之前應該提出的問題。

    Kirsten Nelson：首先說明一下。我們管這個東西叫什么，是虛擬制作嗎？它是像 “The Mandalorian”《曼達洛人秀》中人們使用的 “畫卷” 那樣嗎？

    圖片摘自:techchurch.com文章：How ‘The Mandalorian’ and ILM invisibly reinvented film and TV production

    Steve Dabal：對我來說，虛擬制作是使用虛擬工具執(zhí)行電影制作的過程。當提到在 LED 屏幕上拍攝時，很多人都會使用“虛擬制作”這一流行名稱，盡管這里的革命性技術(shù)是您現(xiàn)在可以使用實時動畫在虛擬場景中進行拍攝。我喜歡說的是 “相機內(nèi)視覺效果” 這個詞。這就是您使用 LED 畫卷來產(chǎn)生視覺效果的時候。它總是與綠屏進行比較，因為綠幕/藍幕是類似的視覺效果過程。它只是不是在相機內(nèi)生成的。

    憑借真正的相機內(nèi)視覺效果 – 閃電和背景是被鎖定在實際的鏡頭腳本文件中的。

    Kirsten Nelson：是的，因為綠屏是后期加上的。

    Steve Dabal：是的，是后期添加的。但我的意思是，從技術(shù)上講，現(xiàn)在這個概念還有點模糊，因為在廣播制作中他們也添加了現(xiàn)場后期制作。 這也屬于是相機內(nèi)視覺效果的一種形式。因為當演員在布景中走動時，眼睛看到的都是綠色，而在視頻搭建中，圍繞他的是一個完整的虛擬場景。所以這幾乎是數(shù)字與物理的混合現(xiàn)實概念，我們只是將它們添加在一起。

    Kirsten Nelson：啊，混合現(xiàn)實。 所以這確實是世界上發(fā)生的所有事情的融合 – 每個人都對 AR 感到興奮。

    Steve Dabal：哦，是的。但很少有人知道如何談論它。很多客戶會說他們想要 “AR 電影制作”。我們必須問他們這是什么意思。AR 在廣播制作領(lǐng)域的應用非常廣泛。比如說前景是 3D 圖形。例如，天氣頻道會添加很多這些有趣的 3D 小動態(tài)，比如龍卷風出現(xiàn)并在主持人面前移動并在演播室周圍旋轉(zhuǎn)。這本質(zhì)上是一種 AR 效果，它使用 3D 跟蹤。

    但在廣播制作中情況會變得更加復雜。因為有一個前板，它往往是圖形或動畫。然后是背板，即實景背后的 3D 環(huán)境，可以是 LED 屏幕，也可以是色度幕。所以它被分成三個平面層。

    這確實是 AR 與實時圖形與直播的融合。組件就這么多。這太瘋狂了，因為你會想，“哇，天氣頻道的小短劇多有趣啊。” 而其背后實際上是大量的融合。它本質(zhì)上是一個在被跟蹤的人面前實時運行的視頻動態(tài)。然后你真的想知道，哇，我們是怎么做到的

    Kirsten Nelson：客戶對這些技術(shù)使用需求的解有很多層次和解釋需要弄清楚。現(xiàn)在似乎每個人都在構(gòu)建 “畫卷” 或 “智能舞臺”，并聲稱他們可以為客戶提供這些新的工作流程。人們應該問什么問題來確保這些工作室和機構(gòu)真正知道如何使用這些東西呢？

    Steve Dabal：房間里的 LED 屏幕可以做任何你能想象到的事情，這有點誘人。但沒有一個版本的舞臺適合每種類型的制作。不同行業(yè)有非常具體的用例。您必須根據(jù)制作類型更改許多元素。

    有些舞臺是為廣播制作而建的，整個系統(tǒng)是圍繞每秒 30 幀的拍攝并使用廣播攝像機構(gòu)建的。但如果您是一名電影制作人，并且希望使用電影攝影機實現(xiàn)每秒 24 幀的速度，那么這實際上可能是一個非常重大的變化。

    有些舞臺是為電影而構(gòu)建的，它們具有跟蹤攝像機和制作圖形的特定能力。但如果您想運行多機位并執(zhí)行復雜的 3D 環(huán)境，他們的系統(tǒng)可能還沒有做好準備。

圖片摘自:https://thefamily.tv/On-L-E-D

    Kirsten Nelson：你們有一個很大的優(yōu)勢，因為你們是一個獨立工作室，能夠嘗試和制作很多不同類型的作品。現(xiàn)在您基本上已經(jīng)處于研發(fā)實驗和制作的混合模式，您學到了什么？

    Steve Dabal：作為一個較小的工作室，我們很幸運，因為我們確實可以做很多研發(fā)實驗工作。一開始，我們花了將近一年的時間來解決所有問題，將所有內(nèi)容放在一起，做適當?shù)墓ぷ髋c調(diào)試，然后嘗各種不同的問題。

    這是潛在客戶在聯(lián)系工作室時需要注意的另一件事。一定要問它會如何解決發(fā)現(xiàn)的問題。他們可能不想回答，但你實際上需要弄清楚他們是否知道他們的技術(shù)是如何出現(xiàn)故障的，以及當技術(shù)出現(xiàn)故障時如何修復它。

    我們了解到的一件事是，如果我們戴上變形鏡頭，它就會破壞校準。很高興知道這一點，因為現(xiàn)在我們只需戴上匹配的球面鏡頭，對其進行校準，然后戴上變形鏡頭即可。我們知道如何在不影響質(zhì)量的情況下解決這些問題。

    去年夏天我們還了解到，如果我們在夏季最熱的一天消耗過多電力，電網(wǎng)可能會出現(xiàn)問題，導致停電。類似這樣的事情，了解它何時何地會崩潰，這只能來自殘酷的研發(fā)實驗過程。在您投入任何形式的制作或花錢購買此類技術(shù)應用之前，您可能也應該這樣做。

    Kirsten Nelson：這是很重要的一點。這種程度的理解只能來自經(jīng)驗。

    Steve Dabal：但許多新工具的積極之處在于，人們在投入使用之前可以先體驗一下它們。我在制作界沒看到太多這樣的例子。通常在電影制作中會有更多的把關(guān)情況，因為你需要全套布景和演員以及很多東西才能開始。

    但你可以先進入小規(guī)模研發(fā)階段。您可以使用小型顯示器、投影儀甚至綠屏來完成此類工作。并且您可以測試整個流程。然后你可能會成為一名顧問，因為你已經(jīng)學會了所有的工作方式。你不會大規(guī)模地做到這一點，但老實說，當你擴大規(guī)模時，只是硬件和人員的擴充，然后你有更大的預算，所以事情會變得更容易。

    Kirsten Nelson：顧問咨詢的想法很有趣。也許在創(chuàng)意方面，因為在虛擬制作中可以提前完成很多工作。您認為這如何運作？

    Steve Dabal：你幾乎需要一整個咨詢準備日來解決問題。目前，電影行業(yè)本身還沒有太多顧問咨詢的先例。但如果人們在準備時間內(nèi)弄清楚執(zhí)行情況，這對我來說是有意義的。這甚至可能必須在通常的預制作之前進行 – 特別是如果你必須搭建資產(chǎn)的話。

    本質(zhì)上，我們建議召開咨詢會議，因為這是一種非常先進的工作方式。我的意思是，這一天，一切都如此順利和快速。但你需要提前做這項工作來進行咨詢并確保你得到你想要的東西。因為通過虛擬制作，您花費的資金比通常用于視頻制作的資金要多。

圖片摘自:https://thefamily.tv/On-L-E-D

    Kirsten Nelson：但是你可以在后期省錢。

    Steve Dabal：沒錯。而且你節(jié)省了大量的時間。

    Kirsten Nelson：我記得您說過 AI 對話工程師現(xiàn)在是創(chuàng)意工作流程的一部分。特別是在虛擬制作中，在花時間實際捕捉內(nèi)容之前，您實際上可以完全準備好大量的創(chuàng)意。這對您的生產(chǎn)方面有幫助嗎？

    Steve Dabal：理想情況下，有人會帶來一份創(chuàng)意簡報，并且他們還會分享他們已經(jīng)創(chuàng)作的所有藝術(shù)作品。因為這樣我們就離理解他們的想象又近了一大步。即使發(fā)生這種情況，我們工作的很大一部分就是翻譯別人頭腦中的想法。當我們必須從頭開始時，我們會做很多修改。但如果我們能夠通過盡早提供一些人工智能生成的參考點來消除其中一些步驟和一些限制，那將是傳統(tǒng)工作流程的一次很酷的演變。通常是兩個人一起工作，一個人提出一堆想法，然后另一個人做出回應和迭代。然后他們最終開始合作。有了這些人工智能工具，感覺有些人將能夠真正加快他們的流程。

    這正是虛擬制作的關(guān)鍵點。它更像是，“這就是想法。你喜歡它?因為到了那天，它看起來就會像這樣。” 電影很少有這種選擇，除非它是一部大型制作，你有完美的布景渲染，而且它可能看起來和那一模一樣，因為你花了很多錢來制作它。但在其他任何事情上，你永遠無法進行一對一的翻譯。這確實是，“這是布景，它看起來像這樣。你喜歡燈光嗎?你喜歡這些桌子嗎?你喜歡這個和那個嗎?然后你實際上可以用這種方式迭代。然后當你那天出現(xiàn)時，每個人都會發(fā)現(xiàn)這正是我們在預制作中談論的內(nèi)容。

    這些都是節(jié)省時間并通過構(gòu)思過程進行構(gòu)建的方法。但如果客戶開始認為他們可以用人工智能在內(nèi)部處理這個問題，那就會變得有趣。尤其是從版權(quán)的角度來看。我的大問題是，現(xiàn)在誰在進行策劃?那么那些整個職業(yè)生涯都知道如何策劃的人呢?公司會讓所有東西看起來都和其他東西一樣嗎?讓故事引起觀眾共鳴的人情味的價值是什么

    關(guān)于敖聯(lián)（Audinate）集團:

    敖聯(lián)(Audinate)集團有限公司(ASX：AD8)的愿景是開創(chuàng)視聽領(lǐng)域的新未來。敖聯(lián)集團屢獲殊榮的 Dante網(wǎng)絡解決方案是全球領(lǐng)先的解決方案，廣泛應用于專業(yè)領(lǐng)域的現(xiàn)場擴聲、商業(yè)安裝、廣播電視、公共廣播和錄音等應用場所。Dante 摒棄了傳統(tǒng)的模擬電纜，僅用一條以太網(wǎng)線就得以將同步的音頻和視頻信號進行遠距離完美傳輸，且一次可傳輸?shù)蕉鄠€位置。Dante 技術(shù)平臺為全球數(shù)百家領(lǐng)先的影音行業(yè)制造商的產(chǎn)品提供服務支持。敖聯(lián)集團總部位于澳大利亞，并在美國、英國和中國香港設有分公司。該公司的普通股在澳大利亞證券交易所(ASX)交易，股票代碼為 AD8。

    其中Dante 和 Audinate 是敖聯(lián)集團有限公司的注冊商標。