《猿族崛起》動作捕捉技術及制作流程詳解(
2011-11-02
  《猩球興起》將于10月28日在中國海洋上映,這部電影的最大看點之一就是殊效。此文則以殊效制造動手,偏重舉措捕捉技術的制造流程詳解。文章的作者是一位影視技術、電影特技、電影原聲的骨灰級喜好者,是人人網“電影特技”公共主頁治理員。

  影視產業網轉載經過原文作者贊同,原文地址http://page.renren.com/600038952/note/766652710

  

  作者的話: 偶爾在火星時期上看到Weta公布的殊效制造花絮,說是《猿族興起》啟用了《阿凡達》原班制造人馬,“動捕第一人”Andy Serkis再次回歸Weta,并且將舉措捕捉放在日光下停止,登時覺得這大約又是Weta的一次嚴峻技術打破。回想起之前可以做戶外捕捉的只要ILM殊效總監John Knoll為制造《加勒比海盜》里的Davy Jones開拓的iMoCap技術,心想閱歷過《阿凡達》鍛煉的Weta這次會做出怎樣的技術創新呢? 國際不斷沒有比擬深化解說《猿族興起》殊效制造的文章,大多還是以劇情和扮演為主題,真正分析技術的形式較少,于是決議本人寫一篇從技術層面動手的《猿族興起》殊效解析。查閱了artofvfx、awn、cgsociety、vfxjunction等專業網站,以及Andy Serkis的官網,少量的好萊塢資訊類網站,終極整分解本文形式,如有注釋過失的中央,還望自己批判指正。另外由于我的精神無限,學問積聚的范疇也無限,本文僅議論捕捉技術,而毛發、燈光、肌肉零碎等改良不在本文范疇內。

  影片簡介: 《猿族興起》是上世紀60年代末、70年代初典范科幻系列片《人猿星球》的前傳,講述一場因人類基因實驗而引發的大災變,配角Caesar是一只智力超群的猩猩,他在生長進程中逐步發覺了這一點,并認清了人類的嚴酷無情,于是應用聰明和勇氣,率領著眾多猩猩展開了獨立和平。本片由新西蘭出名殊效公-司Weta Digital擔任制造,他們是世界上做生物殊效最有閱歷也最具實力的公-司,之前曾經為《指環王》、《金剛》、《阿凡達》等多部大片制造過出色的生物殊效。這次,Weta Digital啟用《阿凡達》團隊原班人馬,改良了之前的流程,并請來老冤家Andy Serkis輔佐,完成了《猿族興起》的出色殊效。Weta Digital采用了實景捕捉的方式來制造《猿族興起》,本文將探求其來龍去脈和技術原理,從技術層面揭開《猿族興起》的奧秘面紗,為國際殊效喜好者提供有價值的參考資料。 實景捕捉的由來 首先,關于流程的選定,我們需求弄清三個題目:為什么要捕捉,為什么要實景捕捉,實景捕捉從何而來。 我們先來看看CG殊效史上出名的CG生物角色:

  《侏羅紀公園》里的恐龍,又ILM的手工動畫和Stan Winston Studio的物理模型分離而成,事先的《哥斯拉》也是如此;

  

  《哈利·波特》里的各種生物包括野生小精靈多比和克利切,均是由各家公-司經過手工動畫制造;

  

  《加勒比海盜》中的章魚船長Davy Jones,是ILM運用最新的iMoCap技術停止舉措捕捉而制造的;

  

  《指環王》里的Gollum、《金剛》里的大猩猩,《阿凡達》里的納威人,均是Weta公-司運用舉措捕捉技術制造的。

  

  關于為什么要挑選實景捕捉,可以聽聽ILM殊效總監John Knoll現在開拓iMoCap時的想法。在《加勒比海盜1》中,杰克船長和巴博薩船長都有變成骷髏的鏡頭,由于需求在真人與骷髏之間往返變換,所以需求少量的婚配義務,這樣的話間接在真實演員身上做修正會比擬輕易。ILM對本人的手工動畫才能十分有決心,實踐上《加勒比海盜1》中的骷髏都是手工婚配完成的。

  

  真實在《加勒比海盜1》拍攝進程中,殊效總監John Knoll和動畫總監Hal Hickle指導過一小段舉措捕捉義務,但是成效十分不好,一來是大型的動捕裝備無法搬到濕潤的拍攝現場,帶來的裝備可捕捉范疇十分無限,二來是數據處置流程不完美,出來的后果簡直無法運用,所以當《加勒比海盜2》的義務下去時,John Knoll認識到為制造Davy Jones,必需要開拓新的捕捉零碎。Davy Jones之所以沒有完整運用手工動畫,是由于手工動畫很耗時,而且劇情中有少量生物角色同時呈現,義務量更大;另外,與第一部不同的是,這些生物角色沒有變身的進程,不具有與真人婚配的題目,這也為舉措捕捉提供了便當。但是,事先的舉措捕捉無法在室外完成。 Weta在拍攝《指環王》時,先在實景中拍一遍作為地位參考和空鏡素材(不穿捕捉服),然后Andy Serkis在特地的捕捉車間再扮演一次實景里的舉措(穿上捕捉服),ILM可沒有Andy Serkis這樣了不起的演員,沒有人情愿扮演兩次,自己都期望在實景中與其他演員互動的同時,完成舉措捕捉義務,而且這關于CG角色的打光具有主要的參考價值,很多人更情愿在實景而不是藍幕或室內拍攝,然后運用roto,就是為了婚配實景中的光線環境。這一系列的狀況都請求ILM的研發部分必需開拓出新的捕捉零碎,既要粗笨,又要精準,最主要的是要能帶到片場去。

  

  于是在John Knoll的率領下,ILM開拓出了iMoCap零碎,它運用中灰色的半緊身體料,既穿著舒服又可提供光線參考,衣服上自身帶有反光球,還可以運用特地的標志帶來恣意擴大捕捉精度。ILM改良了辨認和處置軟件,使得這樣看似隨便的標志可以被準確辨認;而且,該零碎可以運用恣意型號的兩臺高清攝像機,辨別放置于主攝影機兩邊,拍攝舉措參考,然后送回ILM停止分析,因此在片場無需照顧其他繁雜的公用捕捉裝備。iMoCap的呈現處理了實景捕捉的瓶頸,但ILM并沒無為iMoCap提供表情捕捉的功用。按John Knoll的話來講,表情捕捉的確是ILM正在研發的技術,但是還沒有幼稚到可以用在《加勒比海盜》里,另外由于“翱翔的荷蘭人”下面的水手頭部與人類相差較大,而ILM又具有豐厚的手工動畫閱歷,所以iMoCap只提供肢體活動數據,角色面部仍由手工動畫制造。

  

  而Weta公-司從成立之初,仿佛就必定要以舉措捕捉技術和生物角色制造為中心,他們所制造的出名角色,以至包括《奇異四俠2》外面的銀影俠,無一不是運用舉措捕捉技術完成,Andy Serkis也因此成為了當之無愧的“動捕第一人”。在《猿族興起》之前,Weta運用的捕捉技術均是光學反射式,即在捕捉演員的衣服上和臉上打上可以反光的標志點,然后在特地的車間里,五湖四海安排多臺公用的捕捉攝像機,這些攝像機經過特別設想和調理,只能攝取到標志點的反射光,而衣服、面部、道具和環境的反光均無法攝取,這樣也就過濾了不用要的攪擾。多臺攝像機由于成平面空間散布,因此捕捉的數據經過整合處置之后,就能失掉每一個標志點在空間中的挪動軌跡,并可以實時地綁定到虛擬角色的骨骼上。這樣的零碎,其精度和范疇很大水平上取決于攝像機的數目,《阿凡達》在拍攝時樹立了世界上最大的捕捉車間(也就是Weta的人常說的Volume),運用了120臺捕捉攝像機和8臺高清參考攝像機。這種保守的捕捉零碎固然精度高,成效好,但是裝備多、本錢高,捕捉服裝較為粗笨,對演員的請求很高,而且最大的缺陷在于捕捉必需在特地的車間內停止,活動范疇無限,缺少實景環境的參考和互動。

  

  在制造《阿凡達》的進程中,Weta處理了精度題目,面對《猿族興起》,他們需求處理廣度題目。由于導演Rupert Wyatt以為這不是一部科幻片,而是理想層面的故事,因此對猩猩的真實水平請求很高,而且劇情中有少量猩猩與人類、實景環境互動的場景,這一切都請求Weta在制造時必需選用實景捕捉。為了完成在片場實景拍攝的同時停止捕捉,他們對原有的零碎做了改良。 實景捕捉零碎詳解 舉措捕捉技術,從其根本原理來說,就是要將人或植物的舉措、空間位移記載下去,并以此數據驅動虛擬角色活動,到達比手工動畫更流利、更準確的成效。 光學式舉措捕捉零碎是一種基于相對空間地位丈量的捕捉零碎,我們曉得,定義空間中恣意一點的地位,只需求三個參數即可,因此,應用多臺攝像機組成空間陣列,只需可以記載下標志點在三個方向上的挪動,便可以經過計算機處置復原出它的空間位移。由于經常會呈現標志點被遮擋的狀況,所以為了進步捕捉精度,就需求更多的攝像機。保守的光學舉措捕捉運用主動式(反光式)標志點,即由捕捉攝像機上的LED燈收回紅外光,映照到標志點后反射回攝影機,這樣比擬便于標志點的更改、擴大。但是這種反射式零碎簡直無法用于實景環境中,一個緣由是實景中有各種道具反光的攪擾(主動式捕捉的光路不能被截斷或改動),另一個緣由是如此宏大繁雜的攝像機矩陣難以在各種實景環境中搭建。

  

  為制造《猿族興起》,Weta Digital改良了《阿凡達》里的主動式捕捉零碎,而換成主動式光學捕捉。他們將反光標志點換成主動發射紅外光的LED燈,再用紅外攝像機來停止數據捕捉。由于光線沒有經過反射進程的能量衰減,所以主動式捕捉可以取得更大的無效范疇。不過,主動式LED體積較大,無法用于面部捕捉,而且標志點數目多了之后,輕易互相攪擾。因此,在面部捕捉方面,由于人類和猩猩面部構造較為接近,所以Weta繼續運用《阿凡達》中的頭戴式表情捕捉零碎(主動式LED反射零碎),在演員臉上畫上標志點,然后用高清攝像頭錄制下去,保證了舉措捕捉與表情捕捉同時停止。另外,為了保證少量捕捉點之間互不攪擾,Weta Digital對LED做出改良,使LED停止頻閃發光而不是繼續發光,不同的標志點之間閃爍頻次不一樣,運用無線電同步到高速攝像機之后,就能很快區分出捕捉到的是哪個點。

  

  為完成日光下捕捉,必需要精簡裝備的分量。Weta也模擬iMoCap,選用了粗笨的中灰色半緊身布料,在下面附上LED標志點,同時運用特定頻次的紅外光作為捕捉信號,從而防止了陽光和燈光的攪擾。 在拍攝金門大橋這場的時分,由于真實的金門大橋不答應被用來拍攝,因此制片方在溫哥華搭建了1:1比例的橋頭場景,而這場中,橋上有上百輛汽車和上百只猩猩,它們在汽車間穿越匍匐,因此難以在室內捕捉車間完z成。由于搭建的場景很大,演員眾多,因此Weta Digital必需要擴大捕捉零碎的掩蓋范疇。他們沿著片場的邊沿搭建 了一排又一排的架子,沿線安頓了上百臺捕捉攝像機,并用小盒子維護以防風吹雨淋。 軟件方面,Weta Digital 以Autodesk Maya為根底平臺,分離了Gaint Studio的活動分析軟件,以及少量Weta Digital 自主開拓的公有軟件。 經過這一系列的改良之后,《猿族興起》究竟打破了舉措捕捉和實景扮演之間的界線,新的實景捕捉零碎可以應對各種繁雜的環境和燈光。也正如Andy Serkis所說:“捕捉技術只是一個工具,可以擴大演員的扮演才能,使他們可以扮演以前演不了的角色,但究竟電影還是要靠演出來的。” 從捕捉到成片 我們曉得,保守的光學捕捉零碎,攝像機是只能“看到”標志點的,也只記載下標志點的挪動,多臺攝像機錄制的數據經過計算機整合處置后,每個標志點的空間挪動軌跡便被計算出來。而標志點的地位不是恣意的,普通是在演員的關節處,以及身體構造的關鍵點上,這樣可以使演員的舉措準確映照到虛擬角色的骨骼上。而面部捕捉則不同,由于表情更多的是由肌肉而不是骨骼來掌握,所以狀況會愈加繁雜,也需求重復定義和優化演員面部肌肉零碎和角色面部肌肉零碎之間的映照聯系,因此面部捕捉需求更多的標志點,以記載下巨大的肌肉變化。 經過舉措捕捉之后,CG角色可以說是“活了”,有了本人的舉措、表情,但是,要把CG角色放到場景中,還需求做一網上宣傳,就是讓CG角色具有準確的比例、角度、挪動。舉例來說,舉措捕捉為CG角色賦予了“走”這個舉措,但是我們并不曉得它是朝哪個方向走,不曉得它是面朝攝影機還是背對攝影機,由于三維角色是可以恣意擺放的,我們不曉得該當把它放在場景的哪個地位,而且一旦實拍的背景挪動或縮放了,那么這個CG角色也要隨著挪動或縮放,假如沒能完整婚配好,看下去就會顯得CG角色沒有融入背景中,有騰躍感,以至比例平衡、穿幫。所以我們必需要做的一網上宣傳就是對實拍鏡頭停止跟蹤。 跟蹤技術分為三種:攝影機軌跡反求、畫面追蹤交換、畫面波動,這里要用的是第一種,也就是從二維的實拍影像序列中計算出攝影機的三維空間活動,以至是變焦。在這一步中,攝影機自身的參數是十分主要的,假如在跟蹤之前不曉得攝影機鏡頭的焦距、感光元件的尺寸、幀率等等關鍵參數,計算出的軌跡是不可以準確的。在做跟蹤之前,需求先校正鏡頭畸變,這也是必不可少的。跟蹤計算的原理是逐幀調查背景中多個“相對運動”點的挪動,點越多,越輕易得出攝影機的三維軌跡,運用的也是三角丈量原理,我們可以設想在平面上放置一個三角形,從不同的角度和間隔拍攝這個三角形,失掉的外形是不一樣的,將這個進程反過去,就是攝影機軌跡反求的原理。

  

  曉得這個原理之后,我們就很輕易了解,這些參考點自身該當是相對運動的,比方場景中的墻角、桌角等等,而任何在場景中有挪動的物體,包括人,都不能用來做跟蹤計算,在跟蹤之前使用遮罩將其屏蔽。遮罩相似于roto,但不需求那么精密,以PFTrack為例,我們在序列的首尾幀畫遮罩把人物框起來,軟件會主動計算遮罩在兩頭幀的地位,然后拖動工夫線,假如發覺兩頭哪幀遮罩沒有蓋住人物,則停在該幀,調整遮罩把人物蓋起來,直到整個序列里人物都被屏蔽。 求得攝影機活動軌跡之后,將數據給到三維軟件的攝影機,普通我們也會把序列幀導入三維軟件,并使首幀的地平面與三維軟件的地平面重合,這樣,由于虛擬攝像機與實拍攝像機的挪動曾經分歧,所以只需CG角色不斷走在虛擬地平面上,分解之后就會不斷走在實拍背景的空中上,而不會飄到空中。有時分我們以至會在跟蹤軟件中運用復雜的幾何體重新搭建場景,假如這些幾何體自始至終都跟場景重合,那么闡明跟蹤后果十分準確,另外,這些幾何體也可以導入三維軟件作進一步的細化。由于CG角色經常需求與實拍場景有互動,在三維軟件中重建場景將更有助于CG角色的準肯定位。

  

  請參考實例教程: http://page.renren.com/600038952/note/765623526 該教程中沒有用到舉措捕捉,CG角色是經過手工婚配的方式來設想舉措的。 依照分解的原理,背景里當然不該有多余的東西,這樣我們間接把賦予了舉措又婚配好角度的CG角色分解出來就行了,但是電影的制造需求更為精密的畫面和愈加準確的鏡頭,所以經常在拍攝背景素材時,運用替人演員來替代CG角色,與其他真人演員停止互動,這至多有三個益處,一是真人演員可以有更好的互動參照(特別是眼光的角度),二是可以運用替人演員在現場的光影作為參考來為CG角色打光,三是為分解師提供更準確的地位和舉措參考。 固然有這么多不可替換的益處,但是在分解階段,我們還是需求把替人演員抹掉,這普通是在把CG角色準確分解到場景中之后。我們經常會發覺,CG角色和替人演員的外形不是完整重合的,替人演員會有少局部露出來,我們需求把這些局部去除掉,我們有三個計劃可供挑選。

  

  第一種計劃,我們可以拍攝一條不含替人演員的“空背景”(clean plate),把空背景放在下層,把包括替人演員的實拍素材放在下層,這樣擦掉替人演員時,下層的空背景就會露出來補上空缺。但是這個計劃請求空背景與實拍素材完整重合,否則下層的圖像透過擦除的空泛不可以與下層圖像無縫連接。目前來講,拍攝這樣的空背景,假如攝影機是不動的,那么還好辦,在同一地位拍兩遍,一遍有替人一遍沒有即可;假如攝影機是活動的,那么普通需求用到Motion Control,即運用計算機準確掌握攝影機活動,使兩次拍攝的軌跡完整分歧。 我們當然無法在各種狀況下都有條件運用高貴而繁雜的Motion Control,所以更多時分我們運用第二種計劃,后期階段制造這樣的clean plate。The Foundry Nuke的插件f_align可以校正小幅度的攝影機晃動(挪動軌、三角架等等),假如不是手持拍攝,這個插件可以無效地處理兩次拍攝無法完整婚配的題目。現實上,電影里很多小幅度的攝影機顫動都是在后期增加的,后期能波動盡量波動。 但假如很倒霉我們運用的是steadycam以至handycam,晃動很嚴峻,那么兩次拍攝是不可以做到軌跡分歧的,任何的軟件也無法校正,此時曾經沒有必要用拍攝的方式制造空背景,我們該當換個方式,本人做空背景,而目前最常用的就是CameraProjection技術,特別是在Nuke弱小的三維環境支撐下。我們可以較為自在地拍攝空背景,或許無需二次拍攝,間接從原素材的各個幀中裁取不包括替人演員的局部,運用投影技術投射到面片上(面片在Nuke中架成跟實景環境一樣的構造),然后將原素材的攝影機跟蹤數據給到各個投影攝影機上,然后再運用一次跟蹤數據,給到輸入攝影機,輸入一個與原素材

  同步的空背景。詳細方法請參考: http://page.renren.com/600038952/note/765623526

  

  第三種計劃最費事,也是分解師比擬厭惡的狀況,那就是用rotopaint。可以過去后幀中提取需求的成分來填補,逐幀地把替人演員擦除掉。這種計劃在擦除小件物品例如跟蹤標志點或許鋼絲繩的時分比擬無效,由于總是可以從臨近的局部找到用于修補的像素,但是像面對替人演員這樣的“龐然大物”,特別是有頭發、活動含糊等繁雜狀況的時分,rotopaint必定沒有前兩種計劃好用。 以上詳細解說了如何從實拍場景中擦掉替人演員,真實clean plate不止用于擦掉替人演員,在分解中,它經常起到主要的作用,上述的幾種計劃也是制造clean plate和去除任何不需求的元素的常用計劃。 在實景捕捉技術呈現之前,替人演員經常需求拍攝一遍背景素材,再停止一遍舉措捕捉,不只很累人,也難以做到兩次的舉措完整分歧,所以有的時分間接只拍攝一遍不含替人演員的空背景。人們急迫地期望舉措捕捉可以和實景拍攝同時停止。直到iMoCap技術呈現之后,題目才得以處理。iMoCap的兩次典型使用是《加勒比海盜2、3》和《第九區》,其中前者運用實拍clean plate和roto的方式處置替人演員(同時也是動捕演員、表情演員),然后者運用Nuke的投影技術制造空背景來去除替人演員。兩者的CG角色面部表

  情均運用手工動畫。 根本上了解了這些學問之后,就很輕易了解《猿族興起》是怎么拍的了。動捕演員們衣著捕捉服,戴下面部捕捉公用頭盔,和真人演員一同進入到實踐場景中,像普通的拍戲一樣扮演,同時Weta Digital團隊的成員把他們的身體舉措和面部表情錄制下去,并實時地給到CG角色身上,現場有多臺液晶顯現器實時顯現舉措捕捉數據映照到CG角色之后的后果,因此演員們可以實時看到本人的扮演有什么題目。 當導演對舉措捕捉數據滿足之后,攝影師需求拍攝一遍clean plate,有時分不包括任何演員,有時分包括真人演員,這要依據拍攝狀況來決議。但是普通拍攝clean plate時,演員們的表示總是沒有之前實拍的時分好,所以成片少量保存了第一遍實拍的真人演員,而clean plate根本只用于去除猩猩跟替人不重合的中央。 兩遍拍攝都完成后,舉措捕捉數據給到CG角色,同時Weta Digital為此鼎力改良了毛發和肌肉零碎,還特地開拓了眼睛零碎(包括瞳孔變化、眼部肌肉變化),使得CG制造的猩猩十分逼真。與此同時跟蹤部分對實拍素材停止跟蹤,重建場景,然后分解部分依據這些素材將猩猩分解到實景中。《猿族興起》分析運用了上述三種去除替人演員的方式,整部影片也是在Nuke中停止分解。

  

  這就是整個《猿族興起》制造進程中從舉措捕捉到CG猩猩的全流程。

  作者后記: 本來本文是計劃把《猿族興起》各項技術,包括毛發、肌肉、渲染、跟蹤全都講分明,事先發覺篇幅太長,而且這方面的技術我也了解得缺乏,怕又寫出過失的觀念。所以終極決議只寫近來不斷研討的舉措捕捉技術。 文章絕不是復雜的拼湊和翻譯,可以說是二次創作,這些東西都是我了解分明之后,再以粗淺的言語解說給自己的,手段就是向國際年老的特技喜好者們傳達最新的技術學問,同時也積聚本人的專業修養。但是寫這樣一篇文章真的很累很累,乃至我曾經沒有精神把珍藏夾里一切的英文形式都包括出去。假如讀者們有愛好,我在此提供一些英文文章的鏈接,都是很不錯的技術進修資料,也是本文的參考資料。
分類:動作遊戲