Face動作捕捉，有時也稱為“捕捉面部表情”。它是動作捕捉technology的一部分，指的是通過機械裝置、攝像機等設備記錄人的面部表情和動作，并轉(zhuǎn)換成一系列參數(shù)數(shù)據(jù)的過程。

　　面部表情比關(guān)節(jié)點組成的表情更加微妙復雜，所以對數(shù)據(jù)精度的要求更高。

　　在CG預算允許的情況下，電影和大游戲傾向于選擇捕捉真實人臉來完成角色的表演。通過捕捉真人面部動作產(chǎn)生的人物，比人工動畫表現(xiàn)出來的人物更真實。

　　如何實現(xiàn)？

　　1.機械傳動

　　最早的人臉動作捕捉主要依靠機械設備來追蹤和測量面部動作。

　　與人體動作捕捉設備類似，這些人臉動作捕捉設備通常由多個關(guān)節(jié)和剛性連桿組成，配有角度傳感器，固定在人的嘴巴、眼睛等位置。當運動發(fā)生時，角度傳感器可以測量角度的變化，根據(jù)連桿的長度計算出空間中固定點的位置和運動軌跡。

　　該機械設備具有低成本、高精度、實時測量的優(yōu)點。缺點是使用不方便，很大程度上限制了表演者的表現(xiàn)力。

　　隨著技術(shù)的發(fā)展，機械臉動作捕捉裝備退出了歷史舞臺。

　　2.基于光學

　　目前幾乎所有的face動作捕捉設備都是基于光學的，可以分為:

　　(1)基于二維數(shù)據(jù)

　　光學鏡頭是捕捉面部2D數(shù)據(jù)及其變化的基本設備。通過對捕捉到的數(shù)據(jù)進行標記和處理，算法可以理解人的面部表情和動作，完成虛擬圖像的合成。

　　除了數(shù)碼相機之外，該設備還可以是移動設備上的相機，例如計算機相機和移動電話的前置相機。其優(yōu)點是成本低，容易獲取，使用方便，缺點是捕獲精度低于其他方法。

　　(2)基于三維數(shù)據(jù)

　　三維數(shù)據(jù)是通過一個光學鏡頭獲得二維數(shù)據(jù)，同時通過一定的手段或設備獲得一個畫面的深度。

　　一、攝像機陣列法

　　即攝像頭以一定的間隔，有規(guī)律的放置在陣列中，為人臉動作捕捉設計的攝像頭陣列通常是環(huán)形的。演員需要在中心拍攝，以便通過不同視角獲得的不同人像，獲得面部表情和動作的三維數(shù)據(jù)。

　　攝像機陣列的優(yōu)點是精度高，效果好，缺點是拍攝難度大，設備成本高，演員不能邊動邊用。

　　b、結(jié)構(gòu)光法

　　結(jié)構(gòu)光是獲得圖像深度最常用的方法。紅外鏡頭會配合光學鏡頭，有時還需要泛光燈、泛光傳感元件、點陣投影儀等輔助設備來獲取人臉的深度信息。

　　點陣投影儀可以把看不見的光點投射到人的臉上。運動捕捉不平的面會改變晶格的形狀。紅外鏡頭可以讀取點陣圖案，然后將算法與前置攝像頭拍攝的人臉相結(jié)合，得到帶有深度信息的人臉信息。

　　在人臉拍攝的情況下，可以分為標記點和未標記點:

　　(1)有標記點

　　基于標志點的face動作捕捉系統(tǒng)比較常見，標志點數(shù)量不確定，由配套設備和系統(tǒng)決定。最大數(shù)量的面部標志350需要與高分辨率相機和其他設備一起使用。

　　這些設備通常是頭戴式的。這些設備可以配合手勢捕捉系統(tǒng)一起使用，演員的表演過程連貫，不受影響。根據(jù)拍攝場景和實施方式的不同，有時會有其他人協(xié)助拍攝。

　　(2)無標記點

　　無標記點法通常依靠鼻孔、眼角、嘴唇、酒窩等標志性位置來確定面部表情和動作。這種方法是最早由CMU、IBM、曼徹斯特大學等機構(gòu)使用主觀績效模型(AAM)和主成分分析(PCA)來實現(xiàn)的模型和技術(shù)。

　　無標記人臉動作捕捉系統(tǒng)還可以追蹤人的瞳孔、眼瞼、牙齒咬合等細節(jié)。，并幫助完成動畫合成。有時候需要對拍攝的圖像進行手動處理，比如面部線條的極端表達。

　　需要注意的是，使用哪種設備通常取決于使用場景，是否有標記點與使用哪種設備沒有必然聯(lián)系。主要目的是虛擬圖像合成。這些設備雖然可以交互，但是沒有主流的應用。

　　Face動作捕捉device可以根據(jù)不同的場景進行:

　　非實時應用場景

　　電影、電視劇和游戲中的虛擬陰影，電視劇和游戲中的虛擬渲染和合成，可以捕捉演員的面部動作，以達到更好的表演效果。麗塔:戰(zhàn)斗天使是目前face動作捕捉技術(shù)的前沿案例。

　　2.實時應用場景

　　實時應用通常是可顯示的，虛擬偶像會使用相關(guān)設備與用戶在線或離線實時互動。