TWI443601B - 擬真臉部動畫系統及其方法 - Google Patents

擬真臉部動畫系統及其方法 Download PDF

Info

Publication number
TWI443601B
TWI443601B TW098143200A TW98143200A TWI443601B TW I443601 B TWI443601 B TW I443601B TW 098143200 A TW098143200 A TW 098143200A TW 98143200 A TW98143200 A TW 98143200A TW I443601 B TWI443601 B TW I443601B
Authority
TW
Taiwan
Prior art keywords
data
feature
hierarchical
facial
level
Prior art date
Application number
TW098143200A
Other languages
English (en)
Other versions
TW201123074A (en
Inventor
Wen Hung Ting
Chen Lan Yen
Wen Liang Chi
Duan Li Liao
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW098143200A priority Critical patent/TWI443601B/zh
Priority to US12/831,666 priority patent/US8648866B2/en
Publication of TW201123074A publication Critical patent/TW201123074A/zh
Application granted granted Critical
Publication of TWI443601B publication Critical patent/TWI443601B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Description

擬真臉部動畫系統及其方法
本發明是有關於一種擬真臉部動畫系統，且特別是有關於一種具有多階層偵測臉部特徵偵測功能之擬真臉部動畫系統。
對於使用者或動物來說，臉部的變化屬於最直覺也相對最嚴苛的視覺經驗。因此，在通訊系統中之使用互動介面領域中，藉由使用者或動物影像來驅動三維臉部模型一直是業界持續發展的方向之一。在現有技術中，多利用使用者或動物臉部上可信賴的特徵點，來計算出三維模型形變量，藉此驅動三維臉部動畫。一般來說，需要為數眾多之可信賴的特徵點相互配合運作，才能產生符合自然精細的三維臉部動畫。
然而，特徵點的擷取需依賴於二維影像資訊。若二維影像中無法提供可靠之特徵資訊，將會造成特徵點之誤判及產生臉部動畫與實際臉部影像不一致的情況。而若改以較少資訊取得特徵點來驅動/生成臉部動畫，雖臉部動畫與臉部影像不一致的情況將會降低，但亦有動畫相似度不夠的堪憂。據此，如何在影像資訊量與臉部動畫相似度上取得平衡為業界不斷致力的方向之一。
本發明係有關於一種擬真臉部動畫系統，其係應用多階層之特徵驗證機制，來驗證根據二維臉部影像產生之特徵點資訊，並可選擇性地根據不同影像品質之二維臉部影像，來找出不同精細度階層之特徵點資訊。據此，相較於傳統三維臉部動畫系統，本發明相關之擬真臉部動畫系統可有效地確保參考之特徵點為正確且可靠之特徵點資訊，並可產生品質較高之三維臉部動畫。
根據本發明之一方面，提出一種擬真臉部動畫系統，回應於輸入影像資料來產生三維(Three Dimensional)臉部表情資料。擬真臉部動畫系統包括顯示模組、形變計算模組、特徵擷取模組及特徵驗證模組。特徵擷取裝置對輸入影像資料進行定位及特徵篩選操作，以擷取用以指示多個第一階層特徵點之第一階層特徵資料及第一階層特徵模版資料。特徵驗證裝置根據第一階層特徵模版資料找出第一階層模板輪廓資料，並根據第一階層特徵資料找出第一階層特徵輪廓資料，特徵驗證裝置更比較第一階層特徵輪廓資料及第一階層模版輪廓資料，以判斷其是否滿足判斷條件。當第一階層特徵輪廓資料及第一階層模版輪廓資料不滿足判斷條件時，特徵驗證裝置將第一階層特徵資料做為輸出特徵資料輸出至形變計算模組。形變計算模組根據輸出特徵資料產生基礎臉部網格形變資料，並據以驅動顯示模組顯示三維臉部表情資料。
根據本發明之另一方面，提出一種擬真臉部動畫產生方法，用以回應於輸入影像資料來產生三維臉部表情資料。擬真臉部動畫產生方法包括下列之步驟。首先對輸入影像資料進行定位及特徵篩選，以擷取用以指示多個第一階層特徵點之第一階層特徵資料及第一階層特徵模版資料。接著根據第一階層特徵模版資料找出第一階層模板輪廓資料，並根據第一階層特徵資料找出第一階層特徵輪廓資料。然後比較第一階層特徵輪廓資料及輪廓資料，以判斷其是否滿足判斷條件；若否，根據第一階層特徵資料產生輸出特徵資料，並據以產生基礎臉部網格形變資料。之後根據基礎臉部網格形變資料顯示三維臉部表情資料。
為讓本發明之上述內容能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下：
本發明實施例之擬真臉部動畫系統係應用特徵驗證裝置，來對進行特徵資料進行階層式驗證操作。
第一實施
請參照第1圖，其繪示依照本發明第一實施例之擬真臉部動畫系統的方塊圖。本實施例擬真臉部動畫系統1用以回應於輸入影像資料VIN 來產生三維(Three Dimensional)臉部表情資料V3D 。擬真臉部動畫系統1包括顯示模組10、形變計算模組12、特徵驗證裝置14及特徵擷取裝置16。輸入影像資料VIN 用以顯示二維(Two Dimensional)臉部影像。
特徵擷取裝置16用以對輸入影像資料VIN 進行定位及特徵篩選操作，以粗略找出臉部特徵點之位置，並擷取用以指示多個特徵點之特徵資料，其中各個特徵點用以定義出各個臉部特徵(諸如眼睛、鼻子、嘴巴及耳朵)之邊界(Edge)。舉例來說，輸入影像資料VIN 在各個臉部特徵之邊界處，具有較高之畫素資料梯度(Gradient)或灰階值(Gray Level)差異。據此，特徵擷取裝置16根據輸入影像資料VIN 之畫素資料梯度值(或畫素資料灰階值)之變異數(Variance)的峰值，找到定義出各臉部特徵的特徵點。
特徵擷取裝置16擷取之特徵資料可依照其之精細程度分成若干階層。在起始狀況下，特徵擷取裝置16僅先擷取對應至第一階層特徵點之特徵資料。就第一階層特徵資料DC_L1(即是最低階層特徵資料)來說，其係使用最少之特徵點來描述輸入影像資料VIN 中之臉部特徵。在一個操作實例中，第一階層特徵資料DC_L1係包括特徵點PM1、PM2、PLE及PRE之資訊，分別表示此二維臉部影像中之嘴巴上緣、嘴巴下緣、左眼及右眼之位置，如第2圖所示。
隨著對應之階層的提升，更多的特徵點被應用來對臉部特徵進行描述，以對應地提供精細程度較高之特徵資料。第二階層特徵資料DC_L2及第三階層特徵資料DC_L3分別以次多及最多之特徵點，來描述輸入影像VIN 中之臉部特徵。舉例來說，第二階層特徵資料DC_L2中應用之特徵點係增加為八個，其中特徵點PM1-PM4分別表示此二維臉部影像中之嘴巴上緣、嘴巴下緣、左側嘴角及右側嘴角；特徵點PLE1、PLE2、PRE1、PRE2分別表示此二維臉部影像中之左眼上緣、左眼下緣、右眼上緣及右眼下緣，如第3圖所示。舉例來說，第三階層特徵資料DC_L3中應用之特徵點係增加為十六個，其中特徵點PM1-PM8分別表示此二維臉部影像中之嘴巴上緣、嘴巴下緣、左側嘴角、右側嘴角、左上方嘴角、左下方嘴角、右上方嘴角及右下方嘴角；特徵點PLE1-PLE4、PRE1-PRE4分別表示此二維臉部影像中之左眼上緣、左眼下緣、左眼左側眼角、左眼右側眼角、右眼上緣、右眼下緣、右眼左側眼角及右眼右側眼角，如第4圖所示。
特徵擷取裝置16例如更對輸入影像資料VIN 之第一筆圖框畫面(Frame)進行定位及特徵篩選操作，以產生第一階層特徵模版資料MD_L1，其用以表示在第一筆圖框畫面中，各特徵點PM1、PM2、PLE及PRE之位置。在接下來之特徵驗證操作中，第一階層特徵模版資料MD_L1將被視為驗證標準，來判斷第一階層特徵資料DC_L1是否為可靠。
特徵驗證裝置14根據第一階層特徵模版資料MD_L1找出第一階層模版輪廓資料MDOL_L1，並根據第一階層特徵資料DC_L1找出第一階層特徵輪廓資料DCOL_L1。舉例來說，特徵驗證裝置14係根據第一階層特徵模版資料MD_L1中任兩個特徵點連線上之輪廓資料，得到第一階層模版輪廓資料MDOL_L1；並根據第一階層特徵資料DC_L1中任兩個特徵點連線上之輪廓資料，得到第一階層特徵輪廓資料DCOL_L1。
特徵驗證裝置14更比較第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1，以判斷第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1是否滿足判斷條件。舉例來說，此判斷條件為第一階層模版輪廓資料MDOL_L1與第一階層特徵輪廓資料DCOL_L1彼此夠相近之條件。舉例來說，特徵驗證裝置14係根據特徵空間中之機率密度函數，來對第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1進行輪廓比較。在一個實施例中，機率密度函數Pmodel (u)滿足：
其中k(x)為核心模型函數，其可為任何放射性函數，例如是高斯函數(Gaussian)；h是特徵空間的變異寬度；u為特徵模型的中心向量。其中機率密度函數Pmodel (u)之數值例如介於數值0至1之間。當第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1越接近時，機率密度函數Pmodel (u)之數值越接近數值1，反之則機率密度函數Pmodel (u)之數值越接近數值0。特徵驗證裝置14經由判斷機率密度函數Pmodel (u)之數值是否大於一個臨界值(Threshold)，來判斷第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1是否滿足此判斷條件。
當第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1滿足此判斷條件時，表示輸入影像資料VIN 之品質(例如是影像解析度)優良，而可據以產生可信賴之第一階層特徵點。據此，特徵驗證裝置14將驅動特徵擷取裝置16針對輸入影像資料VIN 進行第二階層特徵資料DC_L2及第二階層特徵模版資料MD_L2之擷取操作。特徵驗證裝置14更重複執行找出輪廓資料(第二階層特徵輪廓資料DCOL_L2及第二階層模版輪廓資料MDOL_L2)之操作及比較特徵輪廓資料與模版輪廓資料之操作，以判斷輸入影像資料VIN 之品質是否足夠優良，而可以產生可信賴之第二階層特徵點。其中找出第二階層特徵輪廓資料DCOL_L2、第二階層模版輪廓資料MDOL_L2、第二階層特徵輪廓資料DCOL_L2及第二階層模版輪廓資料MDOL_L2之操作係分別相似於找出與其對應之第一階層資料之操作，據此並不再對相關之資料擷取及運算操作進行贅述。
當第二階層特徵輪廓資料DCOL_L2及第二階層模版輪廓資料MDOL_L2滿足此判斷條件時，表示輸入影像資料VIN 之品質(例如是影像解析度)優良，而可據以產生可信賴之第二階層特徵點。據此，特徵驗證裝置14更執行相似於前述之驅動特徵擷取裝置16擷取下一階層之特徵資料(第三階層特徵資料DC_L3及第三階層特徵模版資料MD_L3)之操作、找出輪廓資料(第二階層特徵輪廓資料DCOL_L2及第二階層模版輪廓資料MDOL_L2)之操作及比較特徵輪廓資料與模版輪廓資料之操作，以判斷輸入影像資料VIN 之品質是否足夠優良，而可以產生可信賴之第三階層特徵點。
當第三階層特徵輪廓資料DCOL_L3及第二階層模版輪廓資料MDOL_L3滿足此判斷條件時，表示輸入影像資料VIN 之品質(例如是影像解析度)優良，而可據以產生可信賴之第三階層特徵點。在一個實施例中，第三階層例如是最精細之特徵資料階層，據此特徵驗證裝置14係將第三階層特徵資料DC_L3做為輸出特徵資料DC_OUT輸出至形變計算模組12。換言之，特徵驗證裝置14係根據輸入影像資料VIN 之品質，來階層式地提高特徵點之數目及特徵資料之精細程度，以找出同時具有高可靠度及高精細程度之特徵資料。
當第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1不滿足此判斷條件時，表示輸入不滿足此判斷條件時，表示輸入影像資料VIN 之品質不佳(例如是解析度太低)，而不適合進行更高階層(即是第二及第三階層)之特徵點搜尋。據此，特徵驗證裝置14將第一階層特徵資料DC_L1做為輸出特徵資料DC_OUT輸出至形變計算模組12。相似地，當第二階層特徵輪廓資料DCOL_L2及第二階層模版輪廓資料MDOL_L2不滿足此判斷條件時，表示輸入影像資料VIN 不適合進行更高階層(即是第三階層)之特徵點搜尋，據此，特徵驗證裝置14將第二階層特徵資料DC_L2作為輸出特徵資料DC_OUT輸出至形變計算模組12。
形變計算模組12根據輸出特徵資料DC_OUT產生基礎臉部網格形變資料VTM ，並據以驅動顯示模組10顯示三維臉部表情資料V3D 。舉例來說，形變計算模組12包括模擬裝置12a及形變計算裝置12b，如第5圖所示。模擬裝置12a參考臉部肌肉分佈資訊D_fm及基礎臉部網格模型資訊D_m，於基礎臉部網格模型上定義第一階層虛擬肌肉群、第二階層虛擬肌肉群及第三階層虛擬肌肉群。
舉例來說，基礎臉部網格模型如附圖1所示，而定義於此基礎臉部網格模型上之第一階層至第三階層虛擬肌肉群如附圖2-4所示。如附圖所示，較低階層之虛擬肌肉群包括之肌肉數量較少，如第一階層虛擬肌肉群僅包括兩條位於額頭部份之肌肉及嘴角上方、下方、左方及右方之四條肌肉；而較高階層之虛擬肌肉包括之肌肉數量較高，如第二階層虛擬肌肉群除了第一階層虛擬肌肉群中定義之六條肌肉之外，在額頭部份及嘴角部份更分別包括另外兩條肌肉及四條肌肉，且在眼睛與鼻梁之間更額外定義了兩條肌肉。前述第一至第三虛擬肌肉群例如為參照人體解剖學中之技術來進行配置，其可拉動基礎臉部網格模型上對應之若干節點，以在臉部網格模型上產生對應之形變。舉例來說，此基礎臉部網格模型上任兩個節點之間係應用彈簧模型，據此第一階層(或第二階層或第三階層)虛擬肌肉群可回應於驅動資訊D_DR，控制此基礎臉部網格模型產生對應之形變，以產生基礎臉部網格形變資料VTM 。
形變計算裝置12b用以根據輸出特徵資料DC_OUT，來計算對應之此些第一階層(或第二階層或第三階層)特徵點之位移量及位移方向，並據以產生對應之驅動資訊D_DR。舉例來說，形變計算裝置12b中係應用轉換技術，來將二維影像中之特徵點之位移量及移位方向轉換為對應之三維影像中之特徵點位移量及特徵點移位方向。形變計算裝置12b並根據三維影像之特徵點位移量及特徵點移位方向轉換得到用以驅動此些第一階層(或第二階層或三階層)虛擬肌肉群之第一階層(或第二階層或第三階層)驅動資訊D_DR，並將其提供至模擬裝置12a，以驅動模擬裝置12a產生基礎臉部網格形變資料VTM ，其用以決定此基礎臉部網格模型中，各網格節點之形變位移量及位移方向。
顯示模組10例如包括設定裝置10a及輸出裝置10b，如第6圖所示。設定裝置10a用以將基礎臉部網格形變資料VTM 映射至實際輸出臉部網格模型上，使此實際輸出臉部網格模型上發生對應之形變，以決定實際輸出臉部網格形變資料VOTM 。輸出裝置10b用以根據實際輸出臉部網格形變資料VOTM 來顯示三維臉部表情資料V3D 。其中，此實際輸出臉部網格模型用以定義出三維臉部表情資料V3D 輸出時，使用者或動物實際看到之臉部模型，此實際輸出臉部網格模型可具有使用者或動物自訂之五官。
在一個例子中，例如可以手動點取之方式，來決定此使用者或動物之基礎臉部網格模型及此實際輸出臉部網格模型間之映射關係，以決定如何根據基礎臉部網格形變資料VTM 映射出實際輸出臉部網格形變資料VOTM 。舉例來說，係手動地使使用者或動物之基礎臉部網格形變資料VTM 中對應至各個臉部特徵之網格節點對應至此實際輸出臉部網格模型上對應至各個臉部特徵之網格節點。更經由此些對應至各使用者或動物臉部特徵之網格節點間之距離，內插得到其間各網格節點之形變位移量及方向，據此完成將基礎臉部網格形變資料VTM 映射產生實際輸出臉部網格形變資料VOTM 之操作。
舉例來說，此實際輸出臉部網格模型之網格節點數量可選擇性地進行設定。在一個實施例中，輸出裝置10b的運算效能較低，而此實際輸出臉部網格模型被設定具有(相較於基礎臉部網格模型而言)數量較為精簡之網格節點數量，使得對應產生之實際輸出臉部網格形變資料VOTM 之表情精細度較低。據此，設定裝置10a可相映至輸出裝置10b較低之運算效能提供較為精簡(相較於基礎臉部網格形變資料VTM )之實際輸出臉部網格形變資料VOTM ，來驅動輸出裝置10b。
請參照第7圖，其繪示依照本發明第一實施例之擬真臉部動畫產生方法的流程圖。本實施例之擬真臉部動畫產生方法例如包括下列之步驟。首先如步驟(a)，特徵擷取裝置16對輸入影像資料VIN 進行定位及特徵篩選，以擷取用以指示多個第一階層特徵點之第一階層特徵資料DC_L1及第一階層特徵模版資料MD_L1。接著如步驟(b)，特徵驗證裝置14根據第一階層特徵模版資料MD_L1找出第一階層模板輪廓資料MDOL_L1，並根據第一階層特徵資料DC_L1找出第一階層特徵輪廓資料DCOL_L1。
然後如步驟(c)，特徵驗證裝置14比較第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1，以判斷第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1是否滿足判斷條件。
當第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1不滿足此判斷條件時執行步驟(d)，特徵驗證裝置14判斷輸入影像資料VIN 之品質不夠優良而無法產生可信賴之更高階層(即第二及第三階層)之特徵點，並將第一階層特徵資料DC_L1做為輸出特徵資料DC_OUT輸出至形變計算模組12，以對應地驅動形變計算模組12產生基礎臉部網格形變資料VTM 。之後如步驟(e)，形變計算模組12根據基礎臉部網格形變資料VTM 驅動顯示模組10顯示三維臉部表情資料V3D 。
請參照第8圖，其繪示依照本發明第一實施例之擬真臉部動畫產生方法的部份流程圖。當第一階層特徵輪廓資料DCOL_L1及第一階層模版輪廓資料MDOL_L1滿足此判斷條件時則執行步驟(f)，特徵驗證裝置14驅動特徵擷取裝置16自輸入影像資料VIN 中擷取用以指示多個第二階層特徵點之第二階層特徵資料DC_L2及第二階層特徵模版資料MD_L2。接著如步驟(g)，特徵驗證裝置14根據第二階層特徵模版資料MD_L2找出第二階層模板輪廓資料MDOL_L2，並根據第二階層特徵資料DC_L2找出第二階層特徵輪廓資料DCOL_L2。然後如步驟(c’)，特徵驗證裝置14更比較第二階層特徵輪廓資料DCOL_L2及第二階層模版輪廓資料MDOL_L2，以判斷第二階層特徵輪廓資料DCOL_L2及第二階層模版輪廓資料MDOL_L2是否滿足此判斷條件。
當第二階層特徵輪廓資料DCOL_L2及第二階層模版輪廓資料MDOL_L2不滿足此判斷條件時執行步驟(d’)，特徵驗證裝置14判斷輸入影像資料VIN 之品質不夠優良而無法產生可信賴之更高階層(即第三階層)之特徵點，並將第二階層特徵資料DC_L2做為輸出特徵資料DC_OUT輸出至形變計算模組12，以對應地驅動形變計算模組12產生基礎臉部網格形變資料VTM 。之後重複執行步驟(e)，以對應地顯示三維臉部表情資料V3D 。
請參照第9圖，其繪示依照本發明第一實施例之擬真臉部動畫產生方法的部份流程圖。當第二階層特徵輪廓資料DCOL_L2及第二階層模版輪廓資料MDOL_L2滿足此判斷條件時則執行步驟(f’)，特徵驗證裝置14驅動特徵擷取裝置16自輸入影像資料VIN 中擷取用以指示多個第三階層特徵點之第三階層特徵資料DC_L3及第二階層特徵模版資料MD_L3。接著如步驟(g’)，特徵驗證裝置14根據第三階層特徵模版資料MD_L3找出第三階層模板輪廓資料MDOL_L3，並根據第三階層特徵資料DC_L3找出第三階層特徵輪廓資料DCOL_L3。然後如步驟(c")，特徵驗證裝置14更比較第三階層特徵輪廓資料DCOL_L3及第三階層模版輪廓資料MDOL_L3，以判斷第三階層特徵輪廓資料DCOL_L3及第三階層模版輪廓資料MDOL_L3是否滿足此判斷條件。
當第三階層特徵輪廓資料DCOL_L3及第三階層模版輪廓資料MDOL_L3不滿足此判斷條件時執行步驟(d")，特徵驗證裝置14判斷輸入影像資料VIN 之品質不夠優良而無法產生可信賴之更高階層(即第四階層)之特徵點，並將第三階層特徵資料DC_L3做為輸出特徵資料DC_OUT輸出至形變計算模組12，以對應地驅動形變計算模組12產生基礎臉部網格形變資料VTM 。之後重複執行步驟(e)，以對應地顯示三維臉部表情資料V3D 。
在一個例子中，第三階層例如是最精細之特徵資料階層，據此，即便第三階層特徵輪廓資料DCOL_L3及第三階層模版輪廓資料MDOL_L3滿足此判斷條件，w特徵驗證裝置14不再進行第四階層之特徵資料之擷取，而將第三階層特徵資料DC_L3做為輸出特徵資料DC_OUT輸出至形變計算模組12。
請參照第10圖，其繪示乃第7圖之步驟(d)的詳細流程圖。舉例來說，前述第步驟(d)中例如包括步驟(d1)及(d2)。如步驟(d1)，模擬裝置12a參考臉部肌肉分佈資訊，於基礎臉部網格模型上定義第一階層虛擬肌肉群。接著如步驟(d2)，形變計算裝置12b根據輸出特徵資料DC_OUT，計算對應至此些第一階層特徵點之位移量及位移方向，並據以產生並輸出第一階層驅動資訊至模擬裝置12a；據此模擬裝置12a可根據第一階層虛擬肌肉群控制此基礎臉部網格模型產生對應之形變，以產生基礎臉部網格形變資料VTM 。其中，基礎臉部網格模型上任兩個節點之間係應用彈簧模型來模擬其受力之形變情形。
請參照第11及第12圖，分別繪示第8圖之步驟(d’)及第9圖之步驟(d")的詳細流程圖。相似於步驟(d)，步驟(d’)及(d")中亦包括相似之詳細步驟(d’1)與(d’2)及(d"1)與(d"2)，惟其之內容相似於步驟(d)中之詳細步驟(d1)及(d2)，據此，於此並不再對其進行贅述。
請參照第13圖，其繪示乃第7-9圖之步驟(e)的詳細流程圖。舉例來說，前述第步驟(e)中例如包括步驟(e1)及(e2)。如步驟(e1)，設定裝置10a將基礎臉部網格形變資料VTM 映射至實際輸出臉部網格形變資料VOTM 。接著如步驟(e2)，輸出裝置10b根據實際輸出臉部網格形變資料VOTM 顯示三維臉部表情資料V3D 。
第二實施例
本發明實施例之擬真臉部動畫系統中係應用通訊裝置，來進行特徵驗證裝置與形變計算模組間之資料傳輸。其中特徵擷取裝置及特徵驗證裝置係設置於顯示模組、形變計算模組之遠端(Remote End)。請參照第14圖，其繪示依照本發明第二實施例之擬真臉部動畫系統的方塊圖。本發明實施例之擬真臉部動畫系統2與第一實施例之擬真臉部動畫系統1不同之處在於其係應用通訊裝置21a及21b來進行特徵驗證裝置24及形變計算模組22間之資料傳輸。
在這個例子中，特徵擷取裝置26、特徵驗證裝置24與通訊裝置21a可以整合為獨立之手持式裝置200，而形變計算模組22及顯示模組20及通訊裝置21b可以整合為後端處理裝置220。經由手持式通訊裝置200與後端處理裝置220間之通訊連結C來傳輸少量之輸出特徵點資料，即可完成回應於手持式裝置200側接收到之輸入影像資料VIN 來產生對應之三維臉部表情資料V3D 之操作。
第三實施例
本發明實施例之擬真臉部動畫系統中係應用通訊裝置，來進行形變計算模組與顯示模組間之資料傳輸。其中特徵擷取裝置、特徵驗證裝置與形變計算模組係設置於顯示模組之遠端。請參照第15圖，其繪示依照本發明第三實施例之擬真臉部動畫系統的方塊圖。本發明實施例之擬真臉部動畫系統3與第二實施例之擬真臉部動畫系統2不同之處在於其係應用通訊裝置31a及31b來進行形變計算模組32及顯示模組30間之資料傳輸。
在這個例子中，特徵擷取裝置36、特徵驗證裝置34、形變計算模組32與通訊裝置31a可以整合為獨立之手持式裝置300，而顯示模組30及通訊裝置31b可以整合為後端處理裝置320。如此，本發明實施例之擬真臉部動畫系統3亦可經由手持式通訊裝置300與後端處理裝置320間之通訊連結C’來傳輸少量之輸出基礎臉部網格形變資料，可完成回應於手持式裝置300側接收到之輸入影像資料VIN 來產生對應之三維臉部表情資料V3D 之操作。
本發明上述實施例之擬真臉部動畫系統，其係應用多階層之特徵驗證機制，來驗證根據二維臉部影像產生之特徵點資訊，並可選擇性地根據不同影像品質之二維臉部影像，來找出不同精細度階層之特徵點資訊。據此，相較於傳統三維臉部動畫系統，本發明上述實施例之擬真臉部動畫系統具有可確保其參考之特徵點為可靠，並可據以產生品質較高之三維臉部動畫之優點。
另外，本發明上述實施例之擬真臉部動畫系統係應用形變計算模組，將特徵點資訊經由臉部肌肉模型、彈簧模型及基礎臉部網格模型轉換為相對應之表情形變資訊。據此，相較於傳統擬真臉部動畫統，本發明上述實施例之擬真臉部動畫系統具有可在沒有預先建立表情資料庫的情況下，根據特徵點資訊產生對應之三維臉部動畫之優點。
綜上所述，雖然本發明已以一較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1、2、3．．．擬真臉部動畫系統
10、20、30．．．顯示模組
12、22、32．．．形變計算模組
14、24、34．．．特徵驗證裝置
16、26、36．．．特徵擷取裝置
12a．．．模擬裝置
12b．．．形變計算裝置
10a．．．設定裝置
10b．．．輸出裝置
200、300．．．手持式裝置
220、320．．．後端處理裝置
21a、21b、31a、31b．．．通訊裝置
第1圖繪示依照本發明第一實施例之擬真臉部動畫系統的方塊圖。
第2圖繪示第一階層特徵資料DC_L1的示意圖。
第3圖繪示第二階層特徵資料DC_L2的示意圖。
第4圖繪示第三階層特徵資料DC_L3的示意圖。
第5圖繪示乃第1圖之形變計算模組12的詳細方塊圖。
第6圖繪示乃第1圖之顯示模組10的詳細方塊圖。
第7圖繪示依照本發明第一實施例之擬真臉部動畫產生方法的流程圖。
第8-13圖繪示依照本發明第一實施例之擬真臉部動畫產生方法的部份流程圖。
第14圖繪示依照本發明第二實施例之擬真臉部動畫系統的方塊圖。
第15圖繪示依照本發明第三實施例之擬真臉部動畫系統的方塊圖。
(a)-(e)．．．操作步驟

Claims (24)

  1. 一種擬真臉部動畫系統，回應於一輸入影像資料來產生一三維(Three Dimensional)臉部表情資料，該擬真臉部動畫系統包括：一顯示模組；一形變計算模組；一特徵擷取裝置，用以對該輸入影像資料進行定位及特徵篩選操作，以擷取用以指示複數個第一階層特徵點之一第一階層特徵資料及一第一階層特徵模版資料；以及一特徵驗證裝置，用以根據該第一階層特徵模版資料找出一第一階層模板輪廓資料，並根據該第一階層特徵資料找出一第一階層特徵輪廓資料，該特徵驗證裝置更比較該第一階層特徵輪廓資料及該第一階層模版輪廓資料，以判斷該第一階層特徵輪廓資料及該第一階層模版輪廓資料是否滿足一判斷條件；其中，當該第一階層特徵輪廓資料及該第一階層模版輪廓資料不滿足該判斷條件時，該特徵驗證裝置將該第一階層特徵資料做為一輸出特徵資料輸出至該形變計算模組；其中，該形變計算模組根據該輸出特徵資料產生一基礎臉部網格形變資料，並據以驅動該顯示模組顯示該三維臉部表情資料。
  2. 如申請專利範圍第1項所述之擬真臉部動畫系統，其中該形變計算模組包括：一模擬裝置，參考一臉部肌肉分佈資訊，於一基礎臉部網格模型上定義一第一階層虛擬肌肉群；及一形變計算裝置，用以根據該輸出特徵資料計算對應之該些第一階層特徵點之位移量及位移方向，並據以產生一第一階層驅動資訊，驅動該第一階層虛擬肌肉群控制該基礎臉部網格模型產生對應之形變，以產生該基礎臉部網格形變資料。
  3. 如申請專利範圍第2項所述之擬真臉部動畫系統，其中該基礎臉部網格模型上任兩個節點之間係應用彈簧模型，據此，該第一階層虛擬肌肉群可回應於該第一階層驅動資訊，控制該基礎臉部網格模型產生對應之形變，以產生該基礎臉部網格形變資料。
  4. 如申請專利範圍第1項所述之擬真臉部動畫系統，其中該顯示模組包括：一設定裝置，用以將該基礎臉部網格形變資料映射至一實際輸出臉部網格形變資料；及一輸出裝置，用以根據該實際輸出臉部網格形變資料顯示該三維臉部表情資料。
  5. 如申請專利範圍第1項所述之擬真臉部動畫系統，其中當該第一階層特徵輪廓資料及該第一階層模版輪廓資料滿足該判斷條件時，該特徵驗證裝置驅動該特徵擷取裝置自該輸入影像資料中擷取一第二階層特徵模版資料及用以指示複數個第二階層特徵點之一第二階層特徵資料；其中，該特徵驗證裝置更分別根據該第二階層特徵資料及該第二階層特徵模版資料找出一第二階層特徵輪廓資料及一第二階層模版輪廓資料，並比較該第二階層特徵輪廓資料及該第二階層模版輪廓資料，以判斷該第二階層特徵輪廓資料及該第二階層模版輪廓資料是否滿足該判斷條件。
  6. 如申請專利範圍第5項所述之擬真臉部動畫系統，其中當該第二階層特徵輪廓資料及該第二階層模版輪廓資料不滿足該判斷條件時，該特徵驗證裝置將該第一及該第二階層特徵資料做為該輸出特徵資料輸出至該形變計算模組，該形變計算模組根據該輸出特徵資料產生該基礎臉部網格形變資料，並據以驅動該顯示模組顯示該三維臉部表情資料。
  7. 如申請專利範圍第6項所述之擬真臉部動畫系統，其中該形變計算模組包括：一模擬裝置，參考一臉部肌肉分佈資訊，及於一基礎臉部網格模型上定義一第二階層虛擬肌肉群；一形變計算裝置，用以根據該輸出特徵資料，計算對應之該些第二階層特徵點之位移量及位移方向，並據以產生一第二階層驅動資訊驅動該第二階層虛擬肌肉群控制該基礎臉部網格模型產生對應之形變，以產生該基礎臉部網格形變資料。
  8. 如申請專利範圍第7項所述之擬真臉部動畫系統，其中該基礎臉部網格模型上任兩個節點之間係應用彈簧模型，據此該第二階層虛擬肌肉群可回應於該第二階層驅動資訊，控制該基礎臉部網格模型產生對應之形變。
  9. 如申請專利範圍第6項所述之擬真臉部動畫系統，其中該顯示模組包括：一設定裝置，用以將該基礎臉部網格形變資料映射至一實際輸出臉部網格形變資料；及一輸出裝置，用以根據該實際輸出臉部網格形變資料顯示該三維臉部表情資料。
  10. 如申請專利範圍第5項所述之擬真臉部動畫系統，其中當該第二階層特徵輪廓資料及該第二階層模版輪廓資料滿足該判斷條件時，該特徵驗證裝置驅動該特徵擷取裝置自該輸入影像資料中擷取一第三階層特徵模版資料及用以指示複數個第三階層特徵點之一第三階層特徵資料；其中，該特徵驗證裝置更分別根據該第三階層特徵資料及該第三階層特徵模版資料找出一第三階層特徵輪廓資料及一第三階層模版輪廓資料，並比較該第三階層特徵輪廓資料及該第三階層模版輪廓資料，以判斷該第三階層特徵輪廓資料及該第三階層模版輪廓資料是否滿足該判斷條件。
  11. 如申請專利範圍第10項所述之擬真臉部動畫系統，其中當該第三階層特徵輪廓資料及該第三階層模版輪廓資料不滿足該判斷條件時，該特徵驗證裝置將該第三階層特徵資料做為該輸出特徵資料輸出至該形變計算模組，該形變計算模組根據該輸出特徵資料產生該基礎臉部網格形變資料，並據以驅動該顯示模組顯示該三維臉部表情資料。
  12. 如申請專利範圍第11項所述之擬真臉部動畫系統，其中該形變計算模組包括：一模擬裝置，參考一臉部肌肉分佈資訊，於一基礎臉部網格模型上定義一第三階層虛擬肌肉群；及一形變計算裝置，用以根據該輸出特徵資料，計算對應之該些第三階層特徵點之位移量及位移方向，並據以產生一第三階層驅動資訊驅動該第三階層虛擬肌肉群控制該基礎臉部網格模型產生對應之形變，以產生該基礎臉部網格形變資料。
  13. 如申請專利範圍第12項所述之擬真臉部動畫系統，其中該基礎臉部網格模型上任兩個節點之間係應用彈簧模型，據此該第三階層虛擬肌肉群可回應於該第三階層驅動資訊，控制該基礎臉部網格模型產生對應之形變。
  14. 如申請專利範圍第11項所述之擬真臉部動畫系統，其中該顯示模組包括：一設定裝置，用以將該基礎臉部網格形變資料映射至一實際輸出臉部網格形變資料；及一輸出裝置，用以根據該實際輸出臉部網格形變資料顯示該三維臉部表情資料。
  15. 如申請專利範圍第1項所述之擬真臉部動畫系統，其中該特徵擷取裝置及該特徵驗證裝置係設置於該顯示模組及該形變計算模組之遠端(Remote End)，該擬真臉部動畫系統更包括：一第一通訊裝置，用以接收並將該輸出特徵資料經由一通訊連結輸出；及一第二通訊裝置，用以經由該通訊連結接收該輸出特徵資料，並將該輸出特徵資料提供至該形變計算模組及該顯示模組。
  16. 如申請專利範圍第1項所述之擬真臉部動畫系統，其中該特徵擷取裝置、該特徵驗證裝置及該形變計算模組係設置於該顯示模組之遠端，該擬真臉部動畫系統更包括：一第一通訊裝置，用以接收並將該輸出基礎臉部網格形變資料經由一通訊連結輸出；及一第二通訊裝置，用以經由該通訊連結接收該輸出基礎臉部網格形變資料，並將該輸出基礎臉部網格形變資料提供至該顯示模組。
  17. 一種擬真臉部動畫產生方法，用以回應於一輸入影像資料來產生一三維(Three Dimensional)臉部表情資料，該擬真臉部動畫產生方法包括：對該輸入影像資料進行定位及特徵篩選，以擷取用以指示複數個第一階層特徵點之一第一階層特徵資料及一第一階層特徵模版資料；根據該第一階層特徵模版資料找出一第一階層模板輪廓資料，並根據該第一階層特徵資料找出一第一階層特徵輪廓資料；比較該第一階層特徵輪廓資料及該第一階層模版輪廓資料，以判斷該第一階層特徵輪廓資料及該第一階層模版輪廓資料是否滿足一判斷條件；當該第一階層特徵輪廓資料及該第一階層模版輪廓資料不滿足該判斷條件時，根據該第一階層特徵資料產生一輸出特徵資料，並據以產生一基礎臉部網格形變資料；以及根據該基礎臉部網格形變資料顯示該三維臉部表情資料。
  18. 如申請專利範圍第17項所述之擬真臉部動畫產生方法，其中產生該基礎臉部網格形變資料之步驟更包括：參考一臉部肌肉分佈資訊，於一基礎臉部網格模型上定義一第一階層虛擬肌肉群；及根據該輸出特徵資料，計算對應之該些第一階層特徵點之位移量及位移方向，並據以產生一第一階層驅動資訊驅動該第一階層虛擬肌肉群控制該基礎臉部網格模型產生對應之形變，以產生該基礎臉部網格形變資料。
  19. 如申請專利範圍第18項所述之擬真臉部動畫產生方法，其中產生該基礎臉部網格形變資料之步驟中，係於該基礎臉部網格模型上任兩個節點之間應用彈簧模型。
  20. 如申請專利範圍第17項所述之擬真臉部動畫產生方法，顯示該三維臉部表情資料之步驟更包括：將該基礎臉部網格形變資料映射至一實際輸出臉部網格形變資料；及根據該實際輸出臉部網格形變資料顯示該三維臉部表情資料。
  21. 如申請專利範圍第17項所述之擬真臉部動畫產生方法，更包括：當該第一階層特徵輪廓資料及該第一階層模版輪廓資料滿足該判斷條件時，自該輸入影像資料中擷取用以指示複數個第二階層特徵點之一第二階層特徵資料及一第二階層特徵模版資料；根據該第二階層特徵模版資料找出一第二階層模板輪廓資料，並根據該第二階層特徵資料找出一第二階層特徵輪廓資料；及比較該第二階層特徵輪廓資料及該第二階層模版輪廓資料，以判斷該第二階層特徵輪廓資料及該第二階層模版輪廓資料是否滿足該判斷條件。
  22. 如申請專利範圍第21項所述之擬真臉部動畫產生方法，更包括：當該第二階層特徵輪廓資料及該第二階層模版輪廓資料不滿足該判斷條件時，根據該第二階層特徵資料產生該基礎臉部網格形變資料。
  23. 如申請專利範圍第21項所述之擬真臉部動畫產生方法，更包括：當該第二階層特徵輪廓資料及該第二階層模版輪廓資料滿足該判斷條件時，自該輸入影像資料中擷取用以指示複數個第三階層特徵點之一第三階層特徵資料及一第三階層特徵模版資料；根據該第三階層特徵模版資料找出一第三階層模板輪廓資料，並根據該第三階層特徵資料找出一第三階層特徵輪廓資料；及比較該第三階層特徵輪廓資料及該第三階層模版輪廓資料，以判斷該第三階層特徵輪廓資料及該第三階層模版輪廓資料是否滿足該判斷條件。
  24. 如申請專利範圍第23項所述之擬真臉部動畫產生方法，更包括：當該第三階層特徵輪廓資料及該第三階層模版輪廓資料不滿足該判斷條件時，根據該第三階層特徵資料產生該基礎臉部網格形變資料。
TW098143200A 2009-12-16 2009-12-16 擬真臉部動畫系統及其方法 TWI443601B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098143200A TWI443601B (zh) 2009-12-16 2009-12-16 擬真臉部動畫系統及其方法
US12/831,666 US8648866B2 (en) 2009-12-16 2010-07-07 Facial animation system and production method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098143200A TWI443601B (zh) 2009-12-16 2009-12-16 擬真臉部動畫系統及其方法

Publications (2)

Publication Number Publication Date
TW201123074A TW201123074A (en) 2011-07-01
TWI443601B true TWI443601B (zh) 2014-07-01

Family

ID=44142385

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098143200A TWI443601B (zh) 2009-12-16 2009-12-16 擬真臉部動畫系統及其方法

Country Status (2)

Country Link
US (1) US8648866B2 (zh)
TW (1) TWI443601B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836943B2 (en) 2019-05-15 2023-12-05 Beijing Sensetime Technology Development Co., Ltd. Virtual face model creation based on key point

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576188B2 (en) * 2013-12-23 2017-02-21 Atheer, Inc. Method and apparatus for subject identification
JP6476608B2 (ja) * 2014-06-30 2019-03-06 カシオ計算機株式会社 動作処理装置、動作処理方法及びプログラム
CN107025678A (zh) * 2016-01-29 2017-08-08 掌赢信息科技（上海）有限公司 一种3d虚拟模型的驱动方法及装置
CN107025679A (zh) * 2016-01-29 2017-08-08 掌赢信息科技（上海）有限公司 一种2d虚拟模型的驱动方法及设备
US11715247B1 (en) * 2020-07-02 2023-08-01 Unity Technologies Sf Generating a facial rig for use in animating a computer-generated character based on facial scans and muscle models of multiple live actors
US11461970B1 (en) * 2021-03-15 2022-10-04 Tencent America LLC Methods and systems for extracting color from facial image
TWI814318B (zh) * 2021-04-02 2023-09-01 美商索尼互動娛樂有限責任公司 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維（３ｄ）影像擷取來產生遊戲角色之臉部表情之標籤值之方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272231B1 (en) * 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6806898B1 (en) * 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
IT1320002B1 (it) * 2000-03-31 2003-11-12 Cselt Centro Studi Lab Telecom Procedimento per l'animazione di un modello sintetizzato di voltoumano pilotata da un segnale audio.
US20030160786A1 (en) * 2002-02-28 2003-08-28 Johnson Richard K. Automatic determination of borders of body structures
JP4208898B2 (ja) * 2006-06-09 2009-01-14 株式会社ソニー・コンピュータエンタテインメント 対象物追跡装置および対象物追跡方法
WO2009031155A2 (en) * 2007-09-06 2009-03-12 Yeda Research And Development Co. Ltd. Modelization of objects in images
US8730231B2 (en) * 2007-11-20 2014-05-20 Image Metrics, Inc. Systems and methods for creating personalized media content having multiple content layers
KR100940862B1 (ko) * 2007-12-17 2010-02-09 한국전자통신연구원 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836943B2 (en) 2019-05-15 2023-12-05 Beijing Sensetime Technology Development Co., Ltd. Virtual face model creation based on key point

Also Published As

Publication number Publication date
US8648866B2 (en) 2014-02-11
US20110141105A1 (en) 2011-06-16
TW201123074A (en) 2011-07-01

Similar Documents

Publication Publication Date Title
TWI443601B (zh) 擬真臉部動畫系統及其方法
CN109325437B (zh) 图像处理方法、装置和系统
Dai et al. A 3d morphable model of craniofacial shape and texture variation
US20200334853A1 (en) Facial features tracker with advanced training for natural rendering of human faces in real-time
CN100407798C (zh) 三维几何建模系统和方法
Osher et al. Geometric level set methods in imaging, vision, and graphics
JP2018200685A (ja) 完全教師あり学習用のデータセットの形成
Solina Shape recovery and segmentation with deformable part models
US10521919B2 (en) Information processing device and information processing method for applying an optimization model
CN105740775A (zh) 一种三维人脸活体识别方法及其装置
JP7294788B2 (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
JP7129529B2 (ja) 人工知能の使用による３ｄオブジェクトへのｕｖマッピング
KR20230097157A (ko) 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템
Bao et al. High-quality face capture using anatomical muscles
WO2021132099A1 (ja) 学習支援装置、学習装置、学習支援方法及び学習支援プログラム
CN113723264A (zh) 一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统
CN109523590B (zh) 一种基于样例的3d图像深度信息视觉舒适度评估方法
KR20230005312A (ko) 평면도를 생성하기 위한 방법 및 장치
CN108924434A (zh) 一种基于曝光变换的立体高动态范围图像合成方法
KR20210147647A (ko) 얼굴 이미지 색상 합성 장치 및 방법
Song et al. WAFP-Net: Weighted attention fusion based progressive residual learning for depth map super-resolution
US20230079478A1 (en) Face mesh deformation with detailed wrinkles
Muzahid et al. Perceptual quality evaluation of 3d triangle mesh: a technical review
JP5954846B2 (ja) 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
CN110599587A (zh) 一种基于单张图像的3d场景重构技术