TW202020813A - 三維人臉重建方法 - Google Patents

三維人臉重建方法 Download PDF

Info

Publication number
TW202020813A
TW202020813A TW107142148A TW107142148A TW202020813A TW 202020813 A TW202020813 A TW 202020813A TW 107142148 A TW107142148 A TW 107142148A TW 107142148 A TW107142148 A TW 107142148A TW 202020813 A TW202020813 A TW 202020813A
Authority
TW
Taiwan
Prior art keywords
dimensional
model
dimensional face
face
reconstruction method
Prior art date
Application number
TW107142148A
Other languages
English (en)
Other versions
TWI712002B (zh
Inventor
吳炳飛
林俊賢
吳宜樵
吳秉璋
黃至正
鐘孟良
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW107142148A priority Critical patent/TWI712002B/zh
Priority to CN201910342345.8A priority patent/CN111223175B/zh
Priority to US16/578,450 priority patent/US10803654B2/en
Publication of TW202020813A publication Critical patent/TW202020813A/zh
Application granted granted Critical
Publication of TWI712002B publication Critical patent/TWI712002B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明係有關一種三維人臉重建方法，藉由輸入單一張二維人臉影像重建該人臉影像之三維人臉模型，並可透過旋轉模型看到三維人臉之各種角度影像。本發明之方法包含，首先輸入二維人臉影像，以神經網路模型對二維人臉影像進行處理，對二維人臉影像進行二維特徵點定位，於二維人臉影像定位出複數個二維特徵點位置，轉換該複數個二維特徵點為複數個三維座標：將該二維特徵點依照相似計算，轉換為對應之三維座標，透過三維座標微調平均三維人臉模型，對該第一個三維人臉模型之一個三維人臉形狀進行重複多級運算，分別由低解析度到高解析度以得到第二個三維人臉模型，對第二個三維人臉模型進行臉部顏色補償，以得到第三個三維人臉模型，最後根據第三個三維人臉模型，輸出三維人臉影像。

Description

三維人臉重建方法
本發明係有關一種三維人臉重建方法，特別是一種藉由輸入二維人臉影像重建人臉影像之三維人臉模型，更特別的是，可透過旋轉模型看到三維人臉之各種角度影像。
近年來，三維人臉建模和重建技術在電腦視覺和電腦圖形學領域受到越來越多的關注，在過去的相關技術發展中，絕大多數的技術發展，多半是提出如何由二維圖像重建三維形狀的演算方式，以模擬出三維人臉的建模和重建，也是該領域中，過去主要的技術發展方向。
惟在習知技術之演算方式中，皆都需要多張圖像或者需要多張視頻影像，以進行初始化三維人臉重建過程，而在很多應用場合下，往往只能得到一張二維圖像可供使用。而有些計算模擬方法，雖然只用單張圖片進行三維人臉重建，但得到的三維人臉無法產生逼真的效果，且所得到的三維人臉只能有一個特定角度(因只有提供一張二維圖像)，更無法提供該三維人臉的各種角度之影像。
此外，過去又有一些研究，提出了較為精確的三維人臉演算法，在該複數研究中，係先對人臉整體進行首先對人臉整體進行擬合，然後對特 定區域進行擬合，如眼睛、嘴巴和鼻子。但由於需花費較長的計算時間，且無法產生精確的擬合結果，因此難以付諸實際應用，無法符合業界需求。
因此，業界需要一種能由單張二維影像輸入而可重建三維人臉的三維人臉重建方法，且可以花費較少的時間，即以較快的時間與較精確的方式重建三維人臉。
本發明目的之一係提出一種三維人臉重建方法，可透過輸入一張二維人臉影像，而重建出一個三維人臉影像，該三維人臉模型更可以進行各種角度的旋轉，而得到不同角度的三維人臉影像。
本發明目的之一係提出一種三維人臉重建方法，利用二為特徵點轉換三維座標、人臉轉向估測、形狀微調以及顏色補償方法，得到可旋轉的三維人臉影像，即，藉由輸入一張二維人臉影像，而重建具有可旋轉各個角度之三維人臉影像。
本發明為了達到前述目的，特提出三維人臉重建方法，包含了，首先輸入一個二維人臉影像，以神經網路模型對二維人臉影像進行處理，對二維人臉影像進行二維特徵點定位，於該二維人臉影像定位出複數個二維特徵點位置；轉換該複數個二維特徵點為複數個三維座標：將該複數個二維特徵點依照相似計算，轉換為對應之該複數個三維座標，將該複數個三維座標組成第一個(即平均)三維人臉模型；對該第一個(即平均)三維人臉模型之三維人臉形狀進行微調。亦即，進行重複多級運算，分別由低解析度到高解析度，以得到第二個三維人臉模型：對該第二個三維人臉模型進行臉部顏色 補償，以得到第三個三維人臉模型；根據該第三個三維人臉模型，輸出一個三維人臉影像。
在本發明實施方式中，該第三個三維人臉模型為一個彩色三維人臉模型。特別值得注意的是，每一級的三維人臉模型皆為彩色的人臉模型。
在本發明實施方式中，第一個三維人臉可變模型以一個平均模型為基準，利用複數個特徵模板的線性組合，而形成不同之該第一個三維人臉模型，而該第二個三維人臉可變模型可以該平均模型為基準，利用該複數個特徵模板的線性組合，以形成不同的該第二個三維人臉模型。
在本發明實施方式中，第一個(即平均)三維人臉可變模型以及該第二個三維人臉模型，可分為一種多級解析度三維人臉可變模型，依序由最低解析度，運算到最高解析度，以得到該第一個三維人臉可變模型，以及該第二個三維人臉模型。
在本發明實施方式中，在完成前述「2D特徵點轉換至3D特徵點」的步驟後，以求得的3D特徵點對平均模型進行形狀的微調，而此處的平均模型係利用一個三維人臉資料庫，經過成分提取後，形成平均三維人臉可變模型，而3D人臉模型的形狀微調利用複數個特徵模板的線性組合，進行形狀的模擬調整，會反覆運算多級，由低解析度的人臉模型到高解析度的人臉模型，以期達到降低運算量與時間。
在本發明實施方式中，對該第一個三維人臉模型之一個三維人臉形狀進行微調步驟，係利用牛頓法以求得第一級三維可變模型投影在二維平面上的點，與一個二維特徵點位置最接近，以求得一個三維旋轉矩陣、一 個二維偏差量、一個焦距以及一個三維可變模型參數，以得到第一級之該第一個三維人臉模型。
在本發明實施方式中，對第一個三維人臉模型之三維人臉形狀進行微調步驟，當解析度為二級，係利用三維旋轉矩陣、二維偏差量、焦距以及該三維可變模型參數，可套用於一個第二級三維可變模型，計算將第二級三維可變模型投影在二維平面上的點，與最接近的影像輪廓點之一個誤差值，利用誤差值調整三維可變模型參數。
在本發明實施方式中，對該第一三維人臉模型之一三維人臉形狀進行微調步驟，包含當解析度大於二級，係利用該三維旋轉矩陣、該二維偏差量、該焦距、影像輪廓點之誤差值、二維特徵點位置、色彩投影之誤差值，以及該三維可變模型參數套用於一第二級三維可變模型，計算將該第二級三維可變模型投影在二維平面上的點。
在本發明實施方式中，該對該第一個三維人臉模型之三維人臉形狀進行微調步驟，當解析度為N級，係利用三維旋轉矩陣、二維偏差量、焦距以及三維可變模型參數，依序套用於第一級三維可變模型、於第二級三維可變模型，以及到第N-1級三維可變模型，循環計算將該第N-1級三維可變模型投影在二維平面上的點，與最接近的影像輪廓點之一誤差值，利用該誤差值調整該三維可變模型參數。而前述誤差值需在預定誤差值之下。故而當解析度大於第二級，微調三維人臉型狀的依據依前述除了「影像輪廓點之誤差值」，亦有「二維特徵點位置」與「色彩投影之誤差值」。
為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例並配合所附圖式做詳細說明。
S210~S260‧‧‧步驟方法
200‧‧‧二維特徵點
第1圖係本發明實施例之三維人臉重建方法；第2圖係本發明實施例之三維人臉重建方法示意圖；第3圖係二維特徵點定位說明圖；以及第4圖係本發明之多解析度三維人臉可變模型五級解析度示意圖。
茲配合圖式說明本發明之較佳實施例，而有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。
請參閱第1圖以及第2圖，第1圖為本發明一實施例之三維人臉重建方法，第2圖為本發明一實施例之三維人臉重建方法示意圖。請參考第1圖，本發明之三維人臉重建方法具有以下步驟：首先請參考第1圖之步驟S210，輸入一個二維人臉影像。
再參照第1圖之步驟S220，對二維人臉影像進行二維特徵點200定位。而如第2圖，透過人臉對齊方法，定位出二維臉部關鍵點位置(例如眼、鼻與嘴等等)。
請參閱第3圖，為二維特徵點定位說明圖。如第3圖中，輸入一個二維人臉影像至一旋積神經網路模型中，以該旋積神經網路模型對二維人臉影像進行處理，於二維人臉影像定位並輸出複數個二維特徵點200位置。
請參考第1圖之步驟S230，轉換該複數個二維特徵點200為複數個三維座標：將該複數個二維特徵點200依照相似計算，轉換為對應之該複數個三維座標，將該複數個三維座標組成第一個(平均)三維人臉模型。
於本發明實施例中，請參考以下計算第一個(平均)三維人臉模型方法的公式。其係以牛頓法最佳化以下之價值函數(求得一個第一級三維可變模型投影在二維平面上的點，與一個二維特徵點200位置最接近)，以求得三維旋轉矩陣、二維偏差量、焦距以及三維可變模型參數，以得到第一級之該第一個(平均)三維人臉模型。
再請參考第1圖之步驟S240，對該第一個(平均)三維人臉模型之一個三維人臉形狀進行微調，以得到第二個三維人臉模型。透過關鍵點與人臉影像資訊調整三維人臉可變模型之參數與模型旋轉、縮放與平移等參數，使三維人臉可變模型與二維人臉影像盡可能相符。
仍請參考第1圖之步驟S230，在轉換該複數個二維特徵點為複數個三維座標步驟中，以及對該第一個三維人臉模型之三維人臉形狀，進行微調步驟，於第1圖之步驟S240中，該第一個三維人臉模型係利用三維人臉資料庫經過成分提取，形成第一個三維人臉可變模型。而第一個三維人臉可變模型以一平均模型為基準，利用複數個特徵模板的線性組合，以形成不同之該第一個三維人臉模型，該第二個三維人臉可變模型以該平均模型為基準，利用該複數個特徵模板的線性組合，以形成不同之該第二個三維人臉模型。故而在本發明實施方式中，對第一個三維人臉模型之三維人臉形狀進行微調步驟，當解析度為二級，係利用三維旋轉矩陣、二維偏差量、焦距以及該三維可變模型參數，可套用於一個第二級三維可變模型，計算將第二級三維 可變模型投影在二維平面上的點，與最接近的影像輪廓點之一個誤差值，利用誤差值調整三維可變模型參數。而於前述對該第一三維人臉模型之一三維人臉形狀進行微調步驟，包含當解析度大於二級，係利用該三維旋轉矩陣、該二維偏差量、該焦距、影像輪廓點之誤差值、二維特徵點位置、色彩投影之誤差值，以及該三維可變模型參數套用於一第二級三維可變模型，計算將該第二級三維可變模型投影在二維平面上的點。
請參閱第4圖，該第一個三維人臉可變模型以及該第二個三維人臉模型分為一多級解析度三維人臉可變模型，依序由最低解析度運算到最高解析度，以得到該第一個三維人臉可變模型以及該第二個三維人臉模型。為求能加速運算處理，係將該多級解析度三維人臉可變模型轉為多級解析度三維人臉可變模型(以N而定)，而由低解析度至高解析度進行運算分析。其中，低解析度為該第一個三維人臉模型點數較少，而高解析度為該第一個三維人臉模型點數較多。
請參閱第4圖，藉由以上循環，一直處理操作運算到最後一級的解析度，就可以得到一個與二維人臉影像相似的三維人臉模型。
需說明的是，本實施例中，當解析度為五級時，藉由前述循環一直處理操作運算到第五級的解析度，就可以得到一個與二維人臉影像相似的三維人臉模型。亦即，其中該多級解析度三維人臉可變模型係包括一級至五級以上之解析度三維人臉可變模型。而其中，對該第一個三維人臉模型之一個三維人臉形狀進行微調，係包含對該第一個三維人臉模型之一個三維人臉形狀進行重複多級運算，分別由低解析度到高解析度步驟。
於本發明另一實施例中，當解析度為N級時，係利用該三維旋轉 矩陣、該二維偏差量、該焦距以及該三維可變模型參數，依序套用該第一級三維可變模型、該第二級三維可變模型，到第N-1級三維可變模型，循環處理操作運算將該第N-1級三維可變模型投影在二維平面上的點，與最接近的影像輪廓點之一誤差值，利用該誤差值調整該三維可變模型參數。
請參考第1圖之步驟S260，根據該第三個三維人臉模型，輸出一個三維人臉影像。
在本發明實施方式中，於完成前述「2D特徵點轉換至3D特徵點」的步驟後，以求得的3D特徵點對平均模型進行形狀的微調，而此處的平均模型係利用一個三維人臉資料庫，經過成分提取後，形成平均三維人臉可變模型，而3D人臉模型的形狀微調利用複數個特徵模板的線性組合，進行形狀的模擬調整，會反覆運算多級，由低解析度的人臉模型到高解析度的人臉模型，以期達到降低運算量與時間。
藉此，本發明所提供的三維人臉重建方法，可透過輸入一張二維人臉影像重建一個三維人臉影像，該三維人臉像中之三維人臉模型，可進行旋轉出各種角度，進而得到且顯示不同角度的三維人臉影像。亦即藉由輸入一張二維人臉影像，而重建具有可旋轉各個角度的三維人臉影像。
以上所述僅為本發明較佳可行實施例而已，舉凡應用本發明說明書及申請專利範圍所為之等效方法變化，理應包含在本發明之專利範圍內。
S210~S260‧‧‧步驟方法

Claims (20)

  1. 一種三維人臉重建方法，至少包含：輸入一個二維人臉影像；對該二維人臉影像進行二維特徵點定位，於該二維人臉影像定位出複數個二維特徵點位置；轉換該複數二維特徵點為複數個三維座標，依照相似計算該複數個二維特徵點，轉換為對應之該複數個三維座標，將該複數個三維座標組成一第一個三維人臉模型；對該第一個三維人臉模型之一三維人臉形狀進行微調，以得到一第二三維人臉模型；對該第二個三維人臉模型進行一臉部顏色補償，以得到一第三三維人臉模型；以及根據該第三個三維人臉模型，輸出一三維人臉影像。
  2. 如申請專利範圍第1項所述之三維人臉重建方法，其中該二維特徵點定位方法包括一神經網路模型。
  3. 如申請專利範圍第1項所述之三維人臉重建方法，其中該第三三維人臉模型為一彩色三維人臉模型。
  4. 如申請專利範圍第1項所述之三維人臉重建方法，其中，在轉換該複數個二維特徵點為複數個三維座標步驟以及對該第一個三維人臉模型之一個三維人臉形狀進行微調步驟，該第一個三維人臉模型係利用一三維人臉資料庫經過主成分分析後，以形成一第一個三維人臉可變模型，該第二 個三維人臉模型係利用該三維人臉資料庫經過主成分分析後，形成該第二個三維人臉可變模型。
  5. 如申請專利範圍第4項所述之三維人臉重建方法，其中該第一個三維人臉可變模型以一平均模型為基準，利用複數個特徵模板的線性組合，以形成不同之該第一個三維人臉模型，該第二個三維人臉可變模型以該平均模型為基準，利用該複數個特徵模板的線性組合，以形成不同之該第二個三維人臉模型。
  6. 如申請專利範圍第5項所述之三維人臉重建方法，其中該第一個三維人臉可變模型以及該第二個三維人臉模型係為一多級解析度三維人臉可變模型，依序由最低解析度運算到最高解析度，以得到該第二個三維人臉可變模型以及該第三個三維人臉模型。
  7. 如申請專利範圍第6項所述之三維人臉重建方法，其中該多級解析度三維人臉可變模型係包括一級至五級以上之解析度三維人臉可變模型。
  8. 如申請專利範圍第1項所述之三維人臉重建方法，其中對該第二個三維人臉模型進行臉部顏色補償時，將該第二個三維人臉模型上任意三個點為一個三角型之一面，計算每一個三角型的法向量是否朝外，而判定是否對該面填上顏色。
  9. 如申請專利範圍第8項所述之三維人臉重建方法，當該三角形的法向量朝外時，則判斷該三點沒有被遮住具有可見性，則將該第二個三維人臉模型投影至二維平面，根據二維平面之座標位置找出對應的顏色數值，將顏色數值貼回該第二個三維人臉模型。
  10. 如申請專利範圍第8項所述之三維人臉重建方法，當三角形的法向量朝內 時，則判斷該三點被遮住具不可見性，該三點為背面。
  11. 如申請專利範圍第9項所述之三維人臉重建方法，其中，填上顏色後，計算顏色平均值以及標準差，若距離平均值超過一預定值，則不以二維平面上對應的顏色視為該三點之顏色，而填上以周圍顏色作內插所得之顏色。
  12. 如申請專利範圍第1項所述之三維人臉重建方法，其中，對轉換該複數個二維特徵點為複數個三維座標步驟，係利用牛頓法求得一第一級三維可變模型投影在二維平面上的點，與一二維特徵點位置最接近，以求得一三維旋轉矩陣、一二維偏差量、一焦距以及一三維可變模型參數，以得到第一級之該第一三維人臉模型。
  13. 如申請專利範圍第12項所述之三維人臉重建方法，其中，對該第一三維人臉模型之一三維人臉形狀進行微調步驟，包含當解析度為二級，係利用該三維旋轉矩陣、該二維偏差量、該焦距以及該三維可變模型參數套用於一第二級三維可變模型，計算將該第二級三維可變模型投影在二維平面上的點，與最接近的影像輪廓點之一誤差值，利用該誤差值調整該三維可變模型參數。
  14. 如申請專利範圍第12項所述之三維人臉重建方法，其中，對該第一三維人臉模型之一三維人臉形狀進行微調步驟，包含當解析度大於二級，係利用該三維旋轉矩陣、該二維偏差量、該焦距、影像輪廓點之誤差值、二維特徵點位置、色彩投影之誤差值以及該三維可變模型參數套用於一第二級三維可變模型，計算將該第二級三維可變模型投影在二維平面上的點。
  15. 如申請專利範圍第12項所述之三維人臉重建方法，其中，該對該第一個三維人臉模型之一個三維人臉形狀進行微調步驟，當解析度為N級，係利用該三維旋轉矩陣、該二維偏差量、該焦距以及該三維可變模型參數，依序套用該第一級三維可變模型、該第二級三維可變模型，到一第N-1級三維可變模型，循環計算將該第N-1級三維可變模型投影在二維平面上的點，與最接近的影像輪廓點之一誤差值，利用該誤差值調整該三維可變模型參數。
  16. 如申請專利範圍第13項或第15項之一所述之三維人臉重建方法，其中，該誤差值需在一預定誤差值之下。
  17. 如申請專利範圍第1項所述之三維人臉重建方法，其中，對該第一個三維人臉模型之一個三維人臉形狀進行微調，係包含對該第一個三維人臉模型之一個三維人臉形狀進行重複多級運算，分別由低解析度到高解析度步驟。
  18. 如申請專利範圍第17項所述之三維人臉重建方法，其中，低解析度為該第一個三維人臉模型點數較少。
  19. 如申請專利範圍第17項所述之三維人臉重建方法，其中，高解析度為該第一個三維人臉模型點數較多。
  20. 如申請專利範圍第1項所述之三維人臉重建方法，其中該第一個三維人臉模型為一平均人臉模型。
TW107142148A 2018-11-27 2018-11-27 三維人臉重建方法 TWI712002B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107142148A TWI712002B (zh) 2018-11-27 2018-11-27 三維人臉重建方法
CN201910342345.8A CN111223175B (zh) 2018-11-27 2019-04-26 三维人脸重建方法
US16/578,450 US10803654B2 (en) 2018-11-27 2019-09-23 Three-dimensional human face reconstruction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107142148A TWI712002B (zh) 2018-11-27 2018-11-27 三維人臉重建方法

Publications (2)

Publication Number Publication Date
TW202020813A true TW202020813A (zh) 2020-06-01
TWI712002B TWI712002B (zh) 2020-12-01

Family

ID=70770051

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107142148A TWI712002B (zh) 2018-11-27 2018-11-27 三維人臉重建方法

Country Status (3)

Country Link
US (1) US10803654B2 (zh)
CN (1) CN111223175B (zh)
TW (1) TWI712002B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3983996A1 (en) * 2019-06-17 2022-04-20 Ariel Ai, Inc. Scene reconstruction in three-dimensions from two-dimensional images
CN111739168B (zh) * 2020-06-30 2021-01-29 华东交通大学 一种样本相似度抑制的大尺度三维人脸合成方法
CN113256799A (zh) * 2021-06-07 2021-08-13 广州虎牙科技有限公司 一种三维人脸模型训练方法和装置
CN113721359B (zh) * 2021-09-06 2024-07-05 戴朴 一种耳显微外科术中关键指标实时三维测量的系统及方法
CN118334559B (zh) * 2024-05-14 2024-10-15 山东海博信息科技有限公司 基于人脸识别的智慧校园安全管理方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956823B2 (en) * 2001-05-30 2011-06-07 Sharp Kabushiki Kaisha Color display device, color compensation method, color compensation program, and storage medium readable by computer
TWM364920U (en) * 2009-04-10 2009-09-11 Shen-Jwu Su 3D human face identification device with infrared light source
TWI419058B (zh) * 2009-10-23 2013-12-11 Univ Nat Chiao Tung Image recognition model and the image recognition method using the image recognition model
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
US8644596B1 (en) * 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
TWI486551B (zh) * 2013-10-21 2015-06-01 Univ Nat Taiwan Science Tech 三維資料擷取方法及其系統
TWI553565B (zh) * 2014-09-22 2016-10-11 銘傳大學 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法
CN104966316B (zh) * 2015-05-22 2019-03-15 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
CN106780713A (zh) * 2016-11-11 2017-05-31 吴怀宇 一种基于单幅照片的三维人脸建模方法及系统
CN107316340B (zh) * 2017-06-28 2020-06-19 河海大学常州校区 一种基于单张照片的快速人脸建模方法

Also Published As

Publication number Publication date
US10803654B2 (en) 2020-10-13
US20200167990A1 (en) 2020-05-28
TWI712002B (zh) 2020-12-01
CN111223175A (zh) 2020-06-02
CN111223175B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
TWI712002B (zh) 三維人臉重建方法
CN112396703B (zh) 一种单图像三维点云模型重建方法
CN106023288B (zh) 一种基于图像的动态替身构造方法
WO2021063271A1 (zh) 人体模型重建方法、重建系统及存储介质
Samaras et al. Incorporating illumination constraints in deformable models for shape from shading and light direction estimation
CN110458939A (zh) 基于视角生成的室内场景建模方法
CN110060329B (zh) 一种基于彩色深度视频流数据的移动端人体模型重建方法
KR20100073173A (ko) 3차원 모델 생성 방법 및 장치
CN107481313A (zh) 一种基于学习有效点云生成的密集三维物体重建方法
Saini et al. NURBS-based geometric inverse reconstruction of free-form shapes
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
Huang et al. Object-occluded human shape and pose estimation with probabilistic latent consistency
Liao et al. Rapid 3D face reconstruction by fusion of SFS and Local Morphable Model
Zell et al. Elastiface: Matching and blending textured faces
CN116385607A (zh) 风格化人脸驱动方法和设备、模型构建及训练方法和装置
CN115049764A (zh) Smpl参数预测模型的训练方法、装置、设备及介质
CN111611997B (zh) 一种基于人体动作迁移的卡通定制形象运动视频生成方法
Xiao et al. 3d face reconstruction via feature point depth estimation and shape deformation
Zhang et al. Human model adaptation for multiview markerless motion capture
CN115023742A (zh) 具有详细褶皱的面部网格变形
US11610326B2 (en) Synthesizing 3D hand pose based on multi-modal guided generative networks
Shin et al. CanonicalFusion: Generating Drivable 3D Human Avatars from Multiple Images
US20230145048A1 (en) Real-time body pose estimation system and method in unconstrained video
Shen et al. Real Time 3D Measurement with Dual-frequency Fringes by Deep Learning
Novaković et al. Learning Localization of Body and Finger Animation Skeleton Joints on Three-Dimensional Models of Human Bodies