Face動(dòng)作捕捉，有時(shí)也稱(chēng)為“捕捉面部表情”。它是動(dòng)作捕捉軟件technology的一部分，指的是通過(guò)機(jī)械裝置、攝像機(jī)等設(shè)備記錄人的面部表情和動(dòng)作，并轉(zhuǎn)換成一系列參數(shù)數(shù)據(jù)的過(guò)程。

　　面部表情比關(guān)節(jié)點(diǎn)組成的表情更加微妙復(fù)雜，所以對(duì)數(shù)據(jù)精度的要求更高。

　　在CG預(yù)算允許的情況下，電影和大游戲傾向于選擇捕捉真實(shí)人臉來(lái)完成角色的表演。通過(guò)捕捉真人面部動(dòng)作產(chǎn)生的人物，比人工動(dòng)畫(huà)表現(xiàn)出來(lái)的人物更真實(shí)。

　　如何實(shí)現(xiàn)？

　　1.機(jī)械傳動(dòng)

　　最早的人臉動(dòng)作捕捉主要依靠機(jī)械設(shè)備來(lái)追蹤和測(cè)量面部動(dòng)作。

　　與人體動(dòng)作捕捉設(shè)備類(lèi)似，這些人臉動(dòng)作捕捉設(shè)備通常由多個(gè)關(guān)節(jié)和剛性連桿組成，配有角度傳感器，固定在人的嘴巴、眼睛等位置。當(dāng)運(yùn)動(dòng)發(fā)生時(shí)，角度傳感器可以測(cè)量角度的變化，根據(jù)連桿的長(zhǎng)度計(jì)算出空間中固定點(diǎn)的位置和運(yùn)動(dòng)軌跡。

　　該機(jī)械設(shè)備具有低成本、高精度、實(shí)時(shí)測(cè)量的優(yōu)點(diǎn)。缺點(diǎn)是使用不方便，很大程度上限制了表演者的表現(xiàn)力。

　　隨著技術(shù)的發(fā)展，機(jī)械臉動(dòng)作捕捉裝備退出了歷史舞臺(tái)。

　　2.基于光學(xué)

　　目前幾乎所有的face動(dòng)作捕捉設(shè)備都是基于光學(xué)的，可以分為:

　　(1)基于二維數(shù)據(jù)

　　光學(xué)鏡頭是捕捉面部2D數(shù)據(jù)及其變化的基本設(shè)備。通過(guò)對(duì)捕捉到的數(shù)據(jù)進(jìn)行標(biāo)記和處理，算法可以理解人的面部表情和動(dòng)作，完成虛擬圖像的合成。

　　除了數(shù)碼相機(jī)之外，該設(shè)備還可以是移動(dòng)設(shè)備上的相機(jī)，例如計(jì)算機(jī)相機(jī)和移動(dòng)電話(huà)的前置相機(jī)。其優(yōu)點(diǎn)是成本低，容易獲取，使用方便，缺點(diǎn)是捕獲精度低于其他方法。

　　(2)基于三維數(shù)據(jù)

　　三維數(shù)據(jù)是通過(guò)一個(gè)光學(xué)鏡頭獲得二維數(shù)據(jù)，同時(shí)通過(guò)一定的手段或設(shè)備獲得一個(gè)畫(huà)面的深度。

　　一、攝像機(jī)陣列法

　　即攝像頭以一定的間隔，有規(guī)律的放置在陣列中，為人臉動(dòng)作捕捉設(shè)計(jì)的攝像頭陣列通常是環(huán)形的。演員需要在中心拍攝，以便通過(guò)不同視角獲得的不同人像，獲得面部表情和動(dòng)作的三維數(shù)據(jù)。

　　攝像機(jī)陣列的優(yōu)點(diǎn)是精度高，效果好，缺點(diǎn)是拍攝難度大，設(shè)備成本高，演員不能邊動(dòng)邊用。

　　b、結(jié)構(gòu)光法

　　結(jié)構(gòu)光是獲得圖像深度最常用的方法。紅外鏡頭會(huì)配合光學(xué)鏡頭，有時(shí)還需要泛光燈、泛光傳感元件、點(diǎn)陣投影儀等輔助設(shè)備來(lái)獲取人臉的深度信息。

　　點(diǎn)陣投影儀可以把看不見(jiàn)的光點(diǎn)投射到人的臉上。不平的面會(huì)改變晶格的形狀。紅外鏡頭可以讀取點(diǎn)陣圖案，然后將算法與前置攝像頭拍攝的人臉相結(jié)合，得到帶有深度信息的人臉信息。

　　在人臉拍攝的情況下，可以分為標(biāo)記點(diǎn)和未標(biāo)記點(diǎn):

　　(1)有標(biāo)記點(diǎn)

　　基于標(biāo)志點(diǎn)的face動(dòng)作捕捉系統(tǒng)比較常見(jiàn)，標(biāo)志點(diǎn)數(shù)量不確定，由配套設(shè)備和系統(tǒng)決定。最大數(shù)量的面部標(biāo)志350需要與高分辨率相機(jī)和其他設(shè)備一起使用。

　　這些設(shè)備通常是頭戴式的。這些設(shè)備可以配合手勢(shì)捕捉系統(tǒng)一起使用，演員的表演過(guò)程連貫，不受影響。根據(jù)拍攝場(chǎng)景和實(shí)施方式的不同，有時(shí)會(huì)有其他人協(xié)助拍攝。

　　(2)無(wú)標(biāo)記點(diǎn)

　　無(wú)標(biāo)記點(diǎn)法通常依靠鼻孔、眼角、嘴唇、酒窩等標(biāo)志性位置來(lái)確定面部表情和動(dòng)作。這種方法是最早由CMU、IBM、曼徹斯特大學(xué)等機(jī)構(gòu)使用主觀績(jī)效模型(AAM)和主成分分析(PCA)來(lái)實(shí)現(xiàn)的模型和技術(shù)。

　　無(wú)標(biāo)記人臉動(dòng)作捕捉系統(tǒng)還可以追蹤人的瞳孔、眼瞼、牙齒咬合等細(xì)節(jié)。，并幫助完成動(dòng)畫(huà)合成。有時(shí)候需要對(duì)拍攝的圖像進(jìn)行手動(dòng)處理，比如面部線(xiàn)條的極端表達(dá)。

　　需要注意的是，使用哪種設(shè)備通常取決于使用場(chǎng)景，是否有標(biāo)記點(diǎn)與使用哪種設(shè)備沒(méi)有必然聯(lián)系。主要目的是虛擬圖像合成。這些設(shè)備雖然可以交互，但是沒(méi)有主流的應(yīng)用。

　　Face動(dòng)作捕捉device可以根據(jù)不同的場(chǎng)景進(jìn)行:

　　非實(shí)時(shí)應(yīng)用場(chǎng)景

　　電影、電視劇和游戲中的虛擬陰影，電視劇和游戲中的虛擬渲染和合成，可以捕捉演員的面部動(dòng)作，以達(dá)到更好的表演效果。麗塔:戰(zhàn)斗天使是目前face動(dòng)作捕捉技術(shù)的前沿案例。

　　2.實(shí)時(shí)應(yīng)用場(chǎng)景

　　實(shí)時(shí)應(yīng)用通常是可顯示的，虛擬偶像會(huì)使用相關(guān)設(shè)備與用戶(hù)在線(xiàn)或離線(xiàn)實(shí)時(shí)互動(dòng)。