TW202040517A - 產生模擬使用者的三維臉部模型的方法及裝置 - Google Patents
產生模擬使用者的三維臉部模型的方法及裝置 Download PDFInfo
- Publication number
- TW202040517A TW202040517A TW108117644A TW108117644A TW202040517A TW 202040517 A TW202040517 A TW 202040517A TW 108117644 A TW108117644 A TW 108117644A TW 108117644 A TW108117644 A TW 108117644A TW 202040517 A TW202040517 A TW 202040517A
- Authority
- TW
- Taiwan
- Prior art keywords
- feature
- facial feature
- computing device
- key points
- facial
- Prior art date
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 8
- 210000004709 eyebrow Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 210000001331 nose Anatomy 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 6
- 230000037308 hair color Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 235000016622 Filipendula ulmaria Nutrition 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 235000004478 Tragopogon dubius Nutrition 0.000 description 1
- 235000005699 Tragopogon pratensis Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
一種產生模擬使用者的三維臉部模型的方法，包含有：取得二維影像；對二維影像進行關鍵點偵測操作，以透過複數個關鍵點，取得第一臉部特徵；根據複數個關鍵點之間的相對距離，計算第一臉部特徵所屬的複數個特徵類別的複數個權重；對二維影像進行深度神經網路操作，以取得第二臉部特徵所屬的複數個紋理成份，以及對應複數個紋理成份的複數個概率，其中複數個紋理成份是由三維臉部網格表示；以及根據預設於計算裝置的三維臉部樣版、對應複數個特徵類別的複數個三維參數、複數個權重及複數個概率中具有最高概率的紋理成份，產生三維臉部模型。
Description
本發明涉及一種三維臉部幾何重建，尤指一種透過二維影像來產生模擬使用者的三維臉部模型的方法及裝置。
使用2D影像重建3D臉部模型是遊戲沉浸和模擬設計的持續挑戰。舉例來說，用戶希望透過在屏幕上看到自己的模擬使用者（avatar），藉以透過模擬使用者感受到身歷其境的體驗。為此，在3D臉部重建的領域發展出許多技術，目的是將自己的肖像置入到遊戲或模擬系統中。然而，現有的技術需要最少兩個影像和複雜計算來產生3D臉部模型。
許多使用單張圖像進行臉部重建的方法在過去已被提出。其中，基於實例的方法包含透過標準資料庫，構建出以低維參數表示的3D人臉模型，然後將參數模型擬合到2D圖像上。最著名的例子之一是應用卷積神經網路（convolutional neural network ，CNN）的3D形變模型（3D morphable model，3DMM）。3DMM由於其簡單性而成為一種普遍的參數化臉部模型，並且可作為更複雜的臉部重建的基礎。然而，這些方法不能生成具有個性特徵的臉部模型，並且只能用於特定條件下的臉部識別。此外，缺乏足夠的訓練數據是CNN技術的一個大問題，因此CNN技術僅能得到一個淺層殘餘網路。
單張圖像重建3D人臉模型的另一種方法是透過陰影形狀（shape from shading，SFS），其主要是利用陰影變化來恢復3D形狀的傳統電腦視覺技術。舉例來說，Kemelmacher-Shlizerman和Basri透過使用參考臉部形狀來估計其光照和反射參數，藉以從輸入臉部圖像中獲得深度資料。雖然這些現有方法能夠透過單張圖像產生高質量的3D人臉重建，但它們也具有局限性。
詳細來說，雖然3DMM方法簡單而有效，但是當目標臉部與資料庫中的臉部模型有很大的不同時，會產生非預期的結果。此外，由於低維模型的自由度有限，該方法通常無法重建出目標臉部上的精細幾何細節（例如皺紋）。另一方面，雖然基於SFS的方法能夠從輸入圖像的外觀捕獲精細的臉部細節。然而，SFS的方法需要幾何或亮度的運算。以解決重建目標臉部的模糊性問題，並且當輸入圖像未滿足預設情況時，目標臉部重建的結果可能會變得不精確。
因此，本發明的主要目的即在於提供一種產生模擬使用者的三維臉部模型的方法及裝置，以解決上述問題。
本發明揭露一種產生模擬使用者的三維臉部模型的方法，用於一計算裝置，該方法包含有：取得一二維影像；對該二維影像進行一關鍵點偵測操作，以透過複數個關鍵點，取得一第一臉部特徵；根據該複數個關鍵點之間的相對距離，計算對應該第一臉部特徵所屬的複數個特徵類別的複數個權重，其中該複數個特徵類別預先定義於該計算裝置中；對該二維影像進行一深度神經網路操作，以取得一第二臉部特徵所屬的複數個紋理成份，以及對應該複數個紋理成份的複數個概率，其中該複數個紋理成份是由一三維臉部網格表示，並預設於該計算裝置中；以及根據預設於該計算裝置的一三維臉部樣版、對應該複數個特徵類別的複數個三維參數、該複數個權重及該複數個概率中具有最高概率的該紋理成份，產生一三維臉部模型。
本發明另揭露一使用者模擬系統，包含有：一攝影機，用來取得一二維影像；一計算裝置或一雲端裝置，用來產生一模擬使用者的一三維臉部模型；其中該計算裝置或一雲端裝置包含有：一處理單元，用來執行一程式碼；一儲存單元，連接該處理單元，用來儲存該程式碼；其中該程式碼指示該處理單元執行以下步驟：取得一二維影像；對該二維影像進行一關鍵點偵測操作，以透過複數個關鍵點，取得一第一臉部特徵；根據該複數個關鍵點之間的相對距離，計算對應該第一臉部特徵所屬的複數個特徵類別的複數個權重，其中該複數個特徵類別預先定義於該計算裝置中； 對該二維影像進行一深度神經網路操作，以取得一第二臉部特徵所屬的複數個紋理成份，以及對應該複數個紋理成份的複數個概率，其中該複數個紋理成份是由一三維臉部網格表示，並預設於該計算裝置中；以及根據預設於該計算裝置的一三維臉部樣版、對應該複數個特徵類別的複數個三維參數、該複數個權重及該複數個概率中具有最高概率的該紋理成份，產生一三維臉部模型。
本發明另揭露一計算裝置，用來產生模擬使用者的三維臉部模型，該計算裝置包含有：一處理單元，用來執行一程式碼；一儲存單元，連接該處理單元，用來儲存該程式碼；其中該程式碼指示該處理單元執行以下步驟：取得一二維影像；對該二維影像進行一關鍵點偵測操作，以透過複數個關鍵點，取得一第一臉部特徵；根據該複數個關鍵點之間的相對距離，計算對應該第一臉部特徵所屬的複數個特徵類別的複數個權重，其中該複數個特徵類別預先定義於該計算裝置中；對該二維影像進行一深度神經網路操作，以取得一第二臉部特徵所屬的複數個紋理成份，以及對應該複數個紋理成份的複數個概率，其中該複數個紋理成份是由一三維臉部網格表示，並預設於該計算裝置中；以及根據預設於該計算裝置的一三維臉部樣版、對應該複數個特徵類別的複數個三維參數、該複數個權重及該複數個概率中具有最高概率的該紋理成份，產生一三維臉部模型。
請參考第1圖，第1圖為本發明實施例一三維臉部模型產生裝置10的示意圖。三維臉部模型產生裝置10可為本地計算裝置或雲端裝置，並包含有一處理單元100、一儲存單元110以及一通訊介面單元120。處理單元100可為一微處理器或一特殊應用積體電路（application-specific integrated circuit，ASIC）。儲存單元110可為任一資料儲存裝置，用來儲存一程式碼214，並透過處理單元100讀取及執行程式碼114。舉例來說，儲存單元110可為用戶識別模組（subscriber identity module，SIM）、唯讀式記憶體（read-only memory，ROM）、隨機存取記憶體（random-access memory，RAM）、光碟唯讀記憶體（CD-ROMs）、磁帶（magnetic tapes）、軟碟（floppy disks）、光學資料儲存裝置（optical data storage devices）等等，而不限於此。通訊介面單元120可透過有線或無線通訊方式，用來與其他裝置（如攝影機及顯示裝置）交換訊號。換句話說，通訊介面單元120可從攝影機接收一二維影像，並將三維臉部模型產生裝置10產生的三維臉部模型傳送至顯示裝置。因此，顯示裝置能顯示模擬使用者的三維臉部模型，以增加虛擬實境（virtual reality，VR）遊戲的沉浸感。在一實施例中，攝影機、顯示裝置及作為本地計算裝置或雲端裝置的三維臉部模型產生裝置10可形成一使用者模擬系統。
請參考第2圖，其為本發明實施例一流程20的示意圖。流程20用於第1圖所示的三維臉部模型產生裝置10，用來根據單一個二維影像，產生三維臉部模型（如VR遊戲中的模擬使用者的表情）。流程20可編譯為程式碼114，並包含有以下步驟：
步驟200：取得二維影像。
步驟210：對二維影像進行一關鍵點偵測操作，以透過複數個關鍵點，取得一第一臉部特徵。
步驟220：根據複數個關鍵點之間的相對距離，計算對應第一臉部特徵所屬的複數個特徵類別的複數個權重，其中複數個特徵類別預先定義於三維臉部模型產生裝置10。
步驟230：對二維影像進行一深度神經網路（deep neural network，DNN）操作，以取得一第二臉部特徵所屬的複數個紋理成份，以及對應複數個紋理成份的複數個概率，其中複數個紋理成份是採用三維臉部網格來表示，並預設於三維臉部模型產生裝置10。
步驟240：根據預設於三維臉部模型產生裝置10的三維臉部樣版、對應複數個特徵類別的複數個三維參數、複數個權重及複數個概率中具有最高概率的紋理成份，產生一三維臉部模型。
根據流程20，三維臉部模型產生裝置10透過通訊介面單元120，接收攝影機所擷取的2D影像、透過儲存單元110預先儲存的多張2D影像來取得2D影像，或從互聯網/網站的資料庫取得2D影像。接著，三維臉部模型產生裝置10根據在2D影像上的深度神經網路操作及關鍵點偵測操作，產生3D臉部模型。
詳細來說，三維臉部模型產生裝置10透過在2D影像上的關鍵點，擷取出臉部特徵，如臉型、眼睛，鼻子，眉毛及嘴巴等，藉以分辨出每個臉部特徵所屬的形狀類別（如臉型、眼型、鼻型、嘴型等）。在一實施例中，臉部特徵的形狀類別可預先定義在應用程式或軟體中。舉例來說，臉型可歸納成圓臉，方臉，長臉，心臉，鑽石臉或橢圓臉，但不限於此。值得注意的是，針對每個臉型類別/類型，設計人員利用3D參數來描述臉型的幾何形狀。換句話說，每個臉型類別/類型是透過3D參數來表示。3D參數在本文中可為關於下巴寬度和長度的曲線的一組參數，但不限於此。同理，眼睛，鼻子，眉毛及嘴巴等臉部特徵，也分別歸納為複數個類別/類型，並透過3D參數來描述。
舉例來說，三維臉部模型產生裝置10預設有六種類別的臉型，如圓形臉，方形臉，長形臉，心形臉，菱形臉或橢圓臉，並且這六種類別的臉型是透過3D參數T1
～T6
來描述。藉由人工智能（Artificial Intelligence，AI）/機器學習技術，三維臉部模型產生裝置10可以計算出由關鍵點所標示的臉型屬於六種類別臉型的概率，從而決定出權重W1
～W6
。三維臉部模型產生裝置10產生3D臉型的公式可表示為：
3D臉部模型＝S0
+T1
W1
+T2
W2
…+T6
W6
，其中S0
為預設的臉型樣版。
同理，經過上述方式，三維臉部模型產生裝置10可決定眼睛，鼻子，嘴巴和眉毛所屬每種類別的權重，以產生模擬使用者的完整且精確的3D臉部模型。
此外，三維臉部模型產生裝置10另使用深度神經網路操作，擷取出臉部特徵，因此2D影像上的臉部特徵除了透過形狀來表現，亦可透過紋理成份來表現，如唇色、眼袋、眉毛紋理、臉部毛髮紋理、頭髮顏色、髮型及可變形的特徵標的等。此外，深度神經網路操作可計算出臉部特徵所屬紋理成份的概率。換句話說，深度神經網路操作是用來判斷臉部特徵所屬的紋理成份是否出現。
在一實施例中，紋理成份是預先定義在應用程式或軟體中，並透過3D臉部網格來表示。簡單來說，針對每個紋理成份，程式設計者透過3D臉部網格來呈現在3D臉部樣板上的表面紋理，藉以根據紋理成份，產生模擬使用者的3D臉部模型。請參見第3～4圖，其為本發明實施例一紋理成份的示意圖。如第3圖所示，眉毛紋理是透過3D臉部網格來表示，並包含高拱眉毛、濃密眉毛、薄細眉毛、直軟眉毛。如第4圖所示，臉部毛髮紋理包括山羊鬍子、鬢角鬍子、鬚茬、絡腮鬍、長方形鬍鬚、山羊絡腮鬍、荷蘭式鬍和時髦型鬍子，其中每種臉部毛髮紋理皆對應至一種3D臉部網格。
此外，紋理成份亦可包含頭髮顏色，如黑色、棕色、金色及灰色；可變形目標包括尖鼻子、球根鼻子、翻鼻尖及鷹鉤鼻；髮型包含短、中、長及禿頭。
另外，根據臉部特徵所屬紋理成份的概率，三維臉部模型產生裝置10選擇具有最高概率的紋理成份來產生3D臉部模型。舉例來說，三維臉部模型產生裝置10預設眉毛有5種紋理成份，例如高拱形、濃密，薄、直、柔軟。經由深度神經網路操作，三維臉部模型產生裝置10獲得2D影像上的眉毛屬於高拱形紋理的概率為0.1、屬於濃密紋理為0.9，以及屬其他紋理的概率為0。因此，三維臉部模型產生裝置10會套用對應濃密紋理的3D臉部網格，在3D臉部樣板上，生成3D臉部模型。
同理，三維臉部模型產生裝置10可利用深度神經網路操作計算出的概率，來分別選擇可變形標的、唇色、頭髮顏色、髮型和鬍鬚的紋理成份，以產生具有完整臉部特徵的3D臉部模型（即包含臉部形狀和臉部紋理）。
在一實施例中，將深度神經網路操作應用於第5圖所示的2D影像上，以實現臉部紋理屬性的預測，其中深度神經網路操作輸出透過概率來指示紋理成份是否存在的標籤。例如，標籤label_1表示臉部紋理出現山羊鬍鬚的概率為0.8，而標籤label_2表示鬢角鬍子出現的概率為0.1。因此，三維臉部模型產生裝置10所產生的3D臉部模型上，會呈現山羊鬍鬚的臉部紋理。簡言之，如果有五種頭髮顏色，則深度神經網路操作會使用五種標籤來指示出現這五種頭髮顏色的概率。本發明實施例可以將相同的概念應用於可變形標的，髮型，唇色，眉毛，眼袋等，用來決定會在3D臉部模型上呈現的紋理成份。最後，三維臉部模型產生裝置10利用具有最高概率的的標籤所對應的紋理成份，產生如第6圖所示的3D臉部模型。
深度神經網路操作的詳細說明如下：
1. 準備訓練數據（標記有臉部特徵的影像）；
2. 定義損失函數（如二元交叉熵）；
3. 將訓練數據輸入網絡，並使用優化器調整網路參數，以最大限度地減少輸出損失功能；
4. 建立用於臉部紋理屬性預測的網路模型。
上述所有步驟，包含所建議的步驟，可透過硬體、韌體（即硬體裝置與電腦指令的組合，硬體裝置中的資料為唯讀軟體資料）或電子系統等方式實現。舉例來說，硬體可包含類比、數位及混合電路（即微電路、微晶片或矽晶片）。電子系統可包含系統單晶片（system on chip，SOC）、系統封裝（system in package，Sip）、電腦模組（computer on module，COM）及三維臉部模型產生裝置10。
綜上所述，本發明提供同時採用深度神經網路操作及關鍵點偵測操作的3D臉部重建技術。詳細來說，透過深度神經網路操作來獲得臉部紋理屬性預測，可以準確地判斷對應臉部特徵所屬的紋理成份的概率，從而建立高質量且逼真的3D臉部模型。因此，本發明與傳統方法相比，具有更高相似度的模擬使用者。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10:三維臉部模型產生裝置
100:處理單元
110:儲存單元
120:通訊介面單
114:程式碼
20:流程
200～240:步驟
第1圖為本發明實施例一三維臉部模型產生裝置的示意圖。
第2圖為本發明實施例一流程的示意圖。
第3～4圖為本發明實施例一紋理成份的示意圖。
第5圖為本發明實施例一二維影像的示意圖。
第6圖為本發明實施例一三維臉部模型的示意圖。
20:流程
200~240:步驟
Claims (12)
- 一種產生模擬使用者的三維臉部模型的方法，用於一計算裝置，該方法包含有： 取得一二維影像； 對該二維影像進行一關鍵點偵測操作，以透過複數個關鍵點，取得一第一臉部特徵； 根據該複數個關鍵點之間的相對距離，計算對應該第一臉部特徵所屬的複數個特徵類別的複數個權重，其中該複數個特徵類別預先定義於該計算裝置中； 對該二維影像進行一深度神經網路（deep neural network，DNN）操作，以取得一第二臉部特徵所屬的複數個紋理成份，以及對應該複數個紋理成份的複數個概率，其中該複數個紋理成份是由一三維臉部網格表示，並預設於該計算裝置中；以及 根據預設於該計算裝置的一三維臉部樣版、對應該複數個特徵類別的複數個三維參數、該複數個權重及該複數個概率中具有最高概率的該紋理成份，產生一三維臉部模型。
- 如請求項1所述的方法，更包含有： 根據該複數個關鍵點之間的相對距離，決定該複數個特徵類別中的至少一特徵類別。
- 如請求項2所述的方法，其中根據該複數個關鍵點之間的相對距離，決定該複數個特徵類別中的該至少一特徵類別的步驟包含有： 根據該複數個關鍵點之間的相對距離，判斷該臉部特徵的一寬度及一長度，以取得該第一臉部特徵的一比例；以及 根據該比例，決定該第一臉部特徵所屬的該至少一特徵類別。
- 如請求項1所述的方法，其中根據該複數個關鍵點之間的相對距離，計算對應該第一臉部特徵所屬的該複數個特徵類別的該複數個權重的步驟包含有： 根據該複數個關鍵點之間的相對距離，判斷該第一臉部特徵的一寬度及一長度，以取得該第一臉部特徵的一比例；以及 根據該比例，計算對應該第一臉部特徵所屬的該複數個特徵類別的該複數個權重。
- 一使用者模擬系統，包含有： 一攝影機，用來取得一二維影像； 一計算裝置或一雲端裝置，用來產生一模擬使用者的一三維臉部模型； 其中該計算裝置或一雲端裝置包含有： 一處理單元，用來執行一程式碼； 一儲存單元，連接該處理單元，用來儲存該程式碼； 其中該程式碼指示該處理單元執行以下步驟： 取得一二維影像； 對該二維影像進行一關鍵點偵測操作，以透過複數個關鍵點，取得一第一臉部特徵； 根據該複數個關鍵點之間的相對距離，計算對應該第一臉部特徵所屬的複數個特徵類別的複數個權重，其中該複數個特徵類別預先定義於該計算裝置中； 對該二維影像進行一深度神經網路（deep neural network，DNN）操作，以取得一第二臉部特徵所屬的複數個紋理成份，以及對應該複數個紋理成份的複數個概率，其中該複數個紋理成份是由一三維臉部網格表示，並預設於該計算裝置中；以及 根據預設於該計算裝置的一三維臉部樣版、對應該複數個特徵類別的複數個三維參數、該複數個權重及該複數個概率中具有最高概率的該紋理成份，產生一三維臉部模型。
- 如請求項5所述的使用者模擬系統，其中該程式碼更指示該處理單元執行以下步驟： 根據該複數個關鍵點之間的相對距離，決定該複數個特徵類別中的至少一特徵類別。
- 如請求項6所述的使用者模擬系統，其中該程式碼更指示該處理單元執行以下步驟： 根據該複數個關鍵點之間的相對距離，判斷該臉部特徵的一寬度及一長度，以取得該第一臉部特徵的一比例；以及 根據該比例，決定該第一臉部特徵所屬的該至少一特徵類別。
- 如請求項5所述的使用者模擬系統，其中該程式碼更指示該處理單元執行以下步驟： 根據該複數個關鍵點之間的相對距離，判斷該第一臉部特徵的一寬度及一長度，以取得該第一臉部特徵的一比例；以及 根據該比例，計算對應該第一臉部特徵所屬的該複數個特徵類別的該複數個權重。
- 一計算裝置，用來產生模擬使用者的三維臉部模型，該計算裝置包含有： 一處理單元，用來執行一程式碼； 一儲存單元，連接該處理單元，用來儲存該程式碼； 其中該程式碼指示該處理單元執行以下步驟： 取得一二維影像； 對該二維影像進行一關鍵點偵測操作，以透過複數個關鍵點，取得一第一臉部特徵； 根據該複數個關鍵點之間的相對距離，計算對應該第一臉部特徵所屬的複數個特徵類別的複數個權重，其中該複數個特徵類別預先定義於該計算裝置中； 對該二維影像進行一深度神經網路（deep neural network，DNN）操作，以取得一第二臉部特徵所屬的複數個紋理成份，以及對應該複數個紋理成份的複數個概率，其中該複數個紋理成份是由一三維臉部網格表示，並預設於該計算裝置中；以及 根據預設於該計算裝置的一三維臉部樣版、對應該複數個特徵類別的複數個三維參數、該複數個權重及該複數個概率中具有最高概率的該紋理成份，產生一三維臉部模型。
- 如請求項9所述的計算裝置，其中該程式碼更指示該處理單元執行以下步驟： 根據該複數個關鍵點之間的相對距離，決定該複數個特徵類別中的至少一特徵類別。
- 如請求項10所述的計算裝置，其中該程式碼更指示該處理單元執行以下步驟： 根據該複數個關鍵點之間的相對距離，判斷該臉部特徵的一寬度及一長度，以取得該第一臉部特徵的一比例；以及 根據該比例，決定該第一臉部特徵所屬的該至少一特徵類別。
- 如請求項9所述的計算裝置，其中該程式碼更指示該處理單元執行以下步驟： 根據該複數個關鍵點之間的相對距離，判斷該第一臉部特徵的一寬度及一長度，以取得該第一臉部特徵的一比例；以及 根據該比例，計算對應該第一臉部特徵所屬的該複數個特徵類別的該複數個權重。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/389,984 US10650564B1 (en) | 2019-04-21 | 2019-04-21 | Method of generating 3D facial model for an avatar and related device |
| US16/389,984 | 2019-04-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202040517A true TW202040517A (zh) | 2020-11-01 |
Family
ID=70612957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108117644A TW202040517A (zh) | 2019-04-21 | 2019-05-22 | 產生模擬使用者的三維臉部模型的方法及裝置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10650564B1 (zh) |
| JP (1) | JP2020177620A (zh) |
| CN (1) | CN111833236B (zh) |
| TW (1) | TW202040517A (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111385598A (zh) * | 2018-12-29 | 2020-07-07 | 富泰华工业（深圳）有限公司 | 云端装置、终端装置及影像分类方法 |
| CN110111246B (zh) * | 2019-05-15 | 2022-02-25 | 北京市商汤科技开发有限公司 | 一种虚拟头像生成方法及装置、存储介质 |
| EP4062379A1 (en) * | 2019-11-18 | 2022-09-28 | Wolfprint 3D OÜ | Methods and system for generating 3d virtual objects |
| US20210358144A1 (en) * | 2020-05-15 | 2021-11-18 | Koninklijke Philips N.V. | Determining 3-d facial information of a patient from a 2-d frontal image of the patient |
| CN111968207B (zh) * | 2020-09-25 | 2021-10-29 | 魔珐(上海)信息科技有限公司 | 动画生成方法、装置、系统及存储介质 |
| CN112541963B (zh) | 2020-11-09 | 2023-12-26 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7424164B2 (en) * | 2003-04-21 | 2008-09-09 | Hewlett-Packard Development Company, L.P. | Processing a detected eye of an image to provide visual enhancement |
| US20040208388A1 (en) * | 2003-04-21 | 2004-10-21 | Morgan Schramm | Processing a facial region of an image differently than the remaining portion of the image |
| JP4121026B2 (ja) * | 2004-01-21 | 2008-07-16 | 富士フイルム株式会社 | 撮像装置および方法並びにプログラム |
| US7415140B2 (en) * | 2004-01-27 | 2008-08-19 | Seiko Epson Corporation | Method of correcting deviation of detection position for human face, correction system, and correction program |
| TW200530943A (en) * | 2004-03-08 | 2005-09-16 | Avermedia Tech Inc | Digital security system |
| US7436988B2 (en) * | 2004-06-03 | 2008-10-14 | Arizona Board Of Regents | 3D face authentication and recognition based on bilateral symmetry analysis |
| KR100608840B1 (ko) * | 2005-03-11 | 2006-08-08 | 엘지전자 주식회사 | 휴대단말기의 3차원 아바타 합성방법 |
| US7869630B2 (en) * | 2005-03-29 | 2011-01-11 | Seiko Epson Corporation | Apparatus and method for processing image |
| CN1959736A (zh) * | 2005-11-02 | 2007-05-09 | 绘展科技股份有限公司 | 撷取三维脸部影像的系统及方法 |
| JP2009223419A (ja) * | 2008-03-13 | 2009-10-01 | Sannetto:Kk | ネットワークチャットサービスにおけるアバターの作成編集方法、チャットサービスシステム、および画像データの作成編集方法 |
| TWI382354B (zh) * | 2008-12-02 | 2013-01-11 | Nat Univ Tsing Hua | 臉部辨識方法 |
| CN101763636B (zh) * | 2009-09-23 | 2012-07-04 | 中国科学院自动化研究所 | 视频序列中的三维人脸位置和姿态跟踪的方法 |
| CN101751689B (zh) * | 2009-09-28 | 2012-02-22 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| US11232290B2 (en) * | 2010-06-07 | 2022-01-25 | Affectiva, Inc. | Image analysis using sub-sectional component evaluation to augment classifier usage |
| US9600711B2 (en) * | 2012-08-29 | 2017-03-21 | Conduent Business Services, Llc | Method and system for automatically recognizing facial expressions via algorithmic periocular localization |
| JP6152125B2 (ja) * | 2015-01-23 | 2017-06-21 | 任天堂株式会社 | プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法 |
| CN104715505A (zh) * | 2015-03-19 | 2015-06-17 | 启云科技股份有限公司 | 三维头像产生系统及其装置、产生方法 |
| US10284816B2 (en) * | 2015-03-23 | 2019-05-07 | Intel Corporation | Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes |
| CN107735795B (zh) * | 2015-07-02 | 2021-11-26 | 北京市商汤科技开发有限公司 | 用于社会关系识别的方法和系统 |
| CN105095881B (zh) * | 2015-08-21 | 2023-04-07 | 小米科技有限责任公司 | 人脸识别方法、装置及终端 |
| US10339365B2 (en) * | 2016-03-31 | 2019-07-02 | Snap Inc. | Automated avatar generation |
| CN105930497B (zh) * | 2016-05-06 | 2019-05-24 | 浙江工业大学 | 基于图像边缘和线条特征的三维模型检索方法 |
| TWI637353B (zh) * | 2016-05-26 | 2018-10-01 | 華碩電腦股份有限公司 | 測量裝置及測量方法 |
| US9886640B1 (en) * | 2016-08-08 | 2018-02-06 | International Business Machines Corporation | Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor |
| KR20210013323A (ko) * | 2016-09-23 | 2021-02-03 | 애플 인크. | 아바타 생성 및 편집 |
| WO2018102700A1 (en) * | 2016-12-01 | 2018-06-07 | Pinscreen, Inc. | Photorealistic facial texture inference using deep neural networks |
| US10535163B2 (en) * | 2016-12-01 | 2020-01-14 | Pinscreen, Inc. | Avatar digitization from a single image for real-time rendering |
| CN106652025B (zh) * | 2016-12-20 | 2019-10-01 | 五邑大学 | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 |
| US20180190377A1 (en) * | 2016-12-30 | 2018-07-05 | Dirk Schneemann, LLC | Modeling and learning character traits and medical condition based on 3d facial features |
| CN107274493B (zh) * | 2017-06-28 | 2020-06-19 | 河海大学常州校区 | 一种基于移动平台的三维虚拟试发型人脸重建方法 |
| CN109325437B (zh) * | 2018-09-17 | 2021-06-22 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
-
2019
- 2019-04-21 US US16/389,984 patent/US10650564B1/en active Active
- 2019-05-22 TW TW108117644A patent/TW202040517A/zh unknown
- 2019-05-23 JP JP2019096502A patent/JP2020177620A/ja active Pending
- 2019-05-31 CN CN201910466467.8A patent/CN111833236B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111833236A (zh) | 2020-10-27 |
| CN111833236B (zh) | 2023-07-07 |
| US10650564B1 (en) | 2020-05-12 |
| JP2020177620A (ja) | 2020-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW202040517A (zh) | 產生模擬使用者的三維臉部模型的方法及裝置 | |
| US10169905B2 (en) | Systems and methods for animating models from audio data | |
| CN111354079B (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
| CN110111418B (zh) | 创建脸部模型的方法、装置及电子设备 | |
| US10860838B1 (en) | Universal facial expression translation and character rendering system | |
| US20190122411A1 (en) | Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images | |
| TW202040421A (zh) | 產生模擬使用者的三維臉部模型的方法、系統及裝置 | |
| Sharma et al. | 3d face reconstruction in deep learning era: A survey | |
| CN108961369A (zh) | 生成3d动画的方法和装置 | |
| CN103208133A (zh) | 一种图像中人脸胖瘦的调整方法 | |
| EP4207080A1 (en) | Avatar generation method, apparatus and device, and medium | |
| CN108629339A (zh) | 图像处理方法及相关产品 | |
| JP2024500896A (ja) | ３ｄ頭部変形モデルを生成するための方法、システム及び方法 | |
| CN112102480B (zh) | 图像数据处理方法、装置、设备以及介质 | |
| CN113362263A (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
| CN114723888B (zh) | 三维发丝模型生成方法、装置、设备、存储介质及产品 | |
| JP2024503794A (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| Agarwal et al. | Synthesis of realistic facial expressions using expression map | |
| CN106326980A (zh) | 机器人和机器人模拟人脸面部运动的方法 | |
| JP2024506170A (ja) | 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム | |
| US11361467B2 (en) | Pose selection and animation of characters using video data and training techniques | |
| CN116433812A (zh) | 利用2d人脸图片生成虚拟人物的方法和装置 | |
| WO2021197230A1 (zh) | 三维头部模型的构建方法、装置、系统及存储介质 | |
| EP3731189A1 (en) | Method of generating 3d facial model for an avatar and related device | |
| EP3731132A1 (en) | Method of generating 3d facial model for an avatar and related device |