TW202044202A - 建立臉部模型的方法、裝置、電腦可讀儲存介質及電子設備 - Google Patents

建立臉部模型的方法、裝置、電腦可讀儲存介質及電子設備 Download PDF

Info

Publication number
TW202044202A
TW202044202A TW109114456A TW109114456A TW202044202A TW 202044202 A TW202044202 A TW 202044202A TW 109114456 A TW109114456 A TW 109114456A TW 109114456 A TW109114456 A TW 109114456A TW 202044202 A TW202044202 A TW 202044202A
Authority
TW
Taiwan
Prior art keywords
key point
face
face image
point feature
model
Prior art date
Application number
TW109114456A
Other languages
English (en)
Inventor
徐勝偉
王權
朴鏡潭
錢晨
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202044202A publication Critical patent/TW202044202A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本申請提供一種建立臉部模型的方法、裝置及電子設備。其中，所述方法包括：對當前人臉影像進行關鍵點檢測，獲得所述當前人臉影像的至少一個關鍵點特徵；根據所述至少一個關鍵點特徵，獲取與所述當前人臉影像匹配的目標骨骼參數；依據所述目標骨骼參數和標準三維人臉模型，建立所述當前人臉影像對應的虛擬三維臉部模型。

Description

建立臉部模型的方法、裝置、電腦可讀儲存介質及電子設備
本申請涉及三維建模技術領域，特別涉及建立臉部模型的方法、裝置、電腦可讀儲存介質及電子設備。
隨著移動終端和電腦技術的發展，遊戲、虛擬社交等應用程式的用戶逐漸增多。在遊戲和虛擬社交應用中，人們日益追求對虛擬角色的個性化設計，由此產生了對捏臉實現的極大需求。所謂捏臉，是指建立虛擬角色的三維臉部模型。目前，如何提高捏臉效率及準確性是本領域技術人員正在研究的技術。
本申請實施例提供一種建立臉部模型的方法、裝置及電子設備。
根據本申請實施例的第一方面，提供了一種建立臉部模型的方法，包括：對當前人臉影像進行關鍵點檢測，獲得所述當前人臉影像的至少一個關鍵點特徵；根據所述至少一個關鍵點特徵，獲取與所述當前人臉影像匹配的目標骨骼參數；依據所述目標骨骼參數和標準三維人臉模型，建立所述當前人臉影像對應的虛擬三維臉部模型。
結合本申請提供的任一方法實施例，所述方法還包括：根據預設數量的人臉影像樣本和所述標準三維人臉模型，確定參考模型資料庫，其中，所述參考模型資料庫包括從預設數量的人臉影像樣本確定的至少一個參考關鍵點特徵以及所述至少一個參考關鍵點特徵各自對應的參考骨骼參數。相應地，根據所述至少一個關鍵點特徵，獲取與所述當前人臉影像匹配的目標骨骼參數，包括：根據所述至少一個關鍵點特徵，從所述參考模型資料庫中獲取與所述當前人臉影像匹配的目標骨骼參數。
結合本申請提供的任一方法實施例，根據所述預設數量的人臉影像樣本和所述標準三維人臉模型，確定所述參考模型資料庫，包括：獲取含有所述預設數量的人臉影像樣本的人臉影像樣本集合，所述人臉影像樣本集合中包括表徵至少一個局部人臉區域的多種影像樣式；針對每個所述人臉影像樣本，依據所述標準三維人臉模型建立所述人臉影像樣本對應的參考人臉模型，所述參考人臉模型包括與所述人臉影像樣本對應的所述參考骨骼參數；根據每個所述人臉影像樣本對應的參考人臉模型，確定所述參考模型資料庫。其中，所述參考模型資料庫包括表徵每一個所述局部人臉區域的每一種所述影像樣式的所述參考關鍵點特徵與所述參考骨骼參數之間的對應關係。
結合本申請提供的任一方法實施例，依據所述標準三維人臉模型，建立所述人臉影像樣本對應的所述參考人臉模型，包括：對所述人臉影像樣本進行規範化處理，獲得與標準人臉影像的頭部姿態和影像尺寸符合的預處理人臉影像，其中，所述標準人臉影像為與所述標準三維人臉模型對應的二維人臉影像；對所述預處理人臉影像進行關鍵點檢測，獲得所述人臉影像樣本的參考關鍵點集合，所述參考關鍵點集合包括表徵所述人臉影像樣本上的各所述局部人臉區域的參考關鍵點組合；基於每個所述參考關鍵點組合對所述標準三維人臉模型中對應的骨骼參數進行調整，建立所述人臉影像樣本對應的所述參考人臉模型。
結合本申請提供的任一方法實施例，所述對所述當前人臉影像進行關鍵點檢測，獲得所述當前人臉影像的至少一個關鍵點特徵，包括：對所述當前人臉影像進行關鍵點檢測，獲得預設數量關鍵點的位置座標；根據所述預設數量關鍵點的位置座標確定表徵所述當前人臉影像上的至少一個局部人臉區域的關鍵點特徵。
結合本申請提供的任一方法實施例，根據所述預設數量關鍵點的位置座標確定表徵所述當前人臉影像上的至少一個局部人臉區域的所述關鍵點特徵，包括：基於所述預設數量關鍵點的位置座標，確定表徵所述當前影像上第一局部人臉區域的關鍵點座標組合作為表徵該第一局部人臉區域的所述關鍵點特徵，其中，該第一局部人臉區域為所述至少一個局部人臉區域中的任一個；和/或，根據表徵該第一局部人臉區域的所述關鍵點座標組合，擬合出表徵該第一局部人臉區域的特徵曲線作為表徵該第一局部人臉區域的所述關鍵點特徵。
結合本申請提供的任一方法實施例，根據所述至少一個關鍵點特徵，從所述參考模型資料庫中獲取與所述當前人臉影像匹配的目標骨骼參數，包括：針對所述當前人臉影像中每個局部人臉區域，確定所述參考模型資料庫中與所述局部人臉區域的關鍵點特徵匹配的參考關鍵點特徵作為所述局部人臉區域的目標參考關鍵點特徵；依據與所述當前人臉影像中每個所述局部人臉區域的目標參考關鍵點特徵對應的參考骨骼參數，確定所述當前人臉影像的目標骨骼參數。
結合本申請提供的任一方法實施例，確定所述參考模型資料庫中與所述局部人臉區域的關鍵點特徵匹配的參考關鍵點特徵作為所述局部人臉區域的目標參考關鍵點特徵，包括：確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中對應的參考關鍵點特徵之間的相似度；將相似度最高的所述參考關鍵點特徵確定為所述局部人臉區域的所述目標參考關鍵點特徵。
結合本申請提供的任一方法實施例，確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中對應的參考關鍵點特徵之間的相似度，包括：根據所述局部人臉區域的關鍵點座標組合，擬合出表徵所述局部人臉區域的特徵曲線；根據所述特徵曲線與所述參考模型資料庫中對應的參考特徵曲線之間的距離，確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中對應的參考關鍵點特徵之間的相似度。
結合本申請提供的任一方法實施例，在所述局部人臉區域包括至少兩個子區域的情況下，確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中一個人臉影像樣本的對應參考關鍵點特徵之間的相似度，包括：針對所述局部人臉區域中的每個所述子區域，確定所述子區域的關鍵點特徵與所述參考模型資料庫中該人臉影像樣本的對應子區域的參考關鍵點特徵之間的相似度，獲得所述子區域對應的局部相似度；根據每個所述子區域對應的所述局部相似度，確定所述局部人臉區域與該人臉影像樣本中的對應局部人臉區域之間的整體相似度，作為所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中該人臉影像樣本的對應參考關鍵點特徵之間的相似度。
根據本申請實施例的第二方面，提供了了一種建立臉部模型的裝置，所述裝置包括：關鍵點檢測模組，用於對當前人臉影像進行關鍵點檢測，獲得所述當前人臉影像的至少一個關鍵點特徵；參數匹配模組，用於根據所述至少一個關鍵點特徵獲取與所述當前人臉影像匹配的目標骨骼參數；模型建立模組，用於依據所述目標骨骼參數和標準三維人臉模型，建立所述當前人臉影像對應的虛擬三維臉部模型。
結合本申請提供的任一裝置實施例，所述裝置還包括資料庫建立模組，用於根據預設數量的人臉影像樣本和所述標準三維人臉模型，確定所述參考模型資料庫，其中，所述參考模型資料庫包括從預設數量的人臉影像樣本確定的至少一個參考關鍵點特徵以及所述至少一個參考關鍵點特徵各自對應的參考骨骼參數。在這種情況下，所述參數匹配模組具體用於：根據所述至少一個關鍵點特徵，從所述參考模型資料庫中獲取與所述當前人臉影像匹配的目標骨骼參數。
結合本申請提供的任一裝置實施例，所述資料庫建立模組，包括：樣本獲取子模組，用於獲取含有所述預設數量的所述人臉影像樣本的人臉影像樣本集合，所述人臉影像樣本集合中包括表徵至少一種局部人臉區域的多種影像樣式；參考模型建立子模組，用於針對每個所述人臉影像樣本，依據所述標準三維人臉模型建立所述人臉影像樣本對應的參考人臉模型，所述參考人臉模型包括與所述人臉影像樣本對應的所述參考骨骼參數；資料庫確定子模組，用於根據每個所述人臉影像樣本對應的參考人臉模型，確定所述參考模型資料庫。其中，所述參考模型資料庫包括表徵每一個所述局部人臉區域的每一種所述影像樣式的所述關鍵點特徵與所述參考骨骼參數之間的對應關係。
結合本申請提供的任一裝置實施例，所述參考模型建立子模組，包括：影像預處理單元，用於對一幅所述人臉影像樣本進行規範化處理，獲得與標準人臉影像的頭部姿態和影像尺寸符合的預處理人臉影像，其中，所述標準人臉影像為與所述標準三維人臉模型對應的二維人臉影像；關鍵點檢測單元，用於對所述預處理人臉影像進行關鍵點檢測，獲得所述人臉影像樣本的參考關鍵點集合，所述參考關鍵點集合包括表徵所述人臉影像樣本上的各所述局部人臉區域的參考關鍵點組合；參考模型建立單元，用於基於每個所述參考關鍵點組合對所述標準三維人臉模型中對應的骨骼參數進行調整，建立所述人臉影像樣本對應的所述參考人臉模型。
結合本申請提供的任一裝置實施例，所述關鍵點檢測模組包括：關鍵點定位子模組，用於對所述當前人臉影像進行關鍵點檢測，獲得預設數量關鍵點的位置座標；關鍵點特徵確定子模組，用於根據所述預設數量關鍵點的位置座標確定表徵所述當前人臉影像上的至少一個局部人臉區域的關鍵點特徵。
結合本申請提供的任一裝置實施例，所述關鍵點特徵確定子模組包括：座標組合確定單元，用於基於所述預設數量關鍵點的位置座標，確定表徵所述當前影像上第一局部人臉區域的關鍵點座標組合作為表徵該第一局部人臉區域的所述關鍵點特徵，其中，該第一局部人臉區域位所述至少一個局部人臉區域中的任一個；和/或，特徵曲線確定單元，用於根據表徵該第一局部人臉區域的關鍵點座標組合，擬合出表徵該第一局部人臉區域的特徵曲線作為表徵該第一局部人臉區域的所述關鍵點特徵。
結合本申請提供的任一裝置實施例，所述參數匹配模組，包括：特徵匹配子模組，用於針對所述當前人臉影像中每個局部人臉區域，確定所述參考模型資料庫中與所述局部人臉區域的關鍵點特徵匹配的參考關鍵點特徵，作為所述局部人臉區域的目標參考關鍵點特徵；骨骼參數確定子模組，用於依據與所述當前人臉影像中每個所述局部人臉區域的目標參考關鍵點特徵對應的參考骨骼參數，確定所述當前人臉影像的目標骨骼參數。
結合本申請提供的任一裝置實施例，所述特徵匹配子模組，包括：相似度確定單元，用於確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中對應的參考關鍵點特徵之間的相似度；目標特徵確定單元，用於將相似度最高的所述參考關鍵點特徵確定為所述局部人臉區域的所述目標參考關鍵點特徵。
結合本申請提供的任一裝置實施例，所述相似度確定單元，包括：曲線擬合子單元，用於根據所述局部人臉區域的關鍵點座標組合，擬合出表徵所述局部人臉區域的特徵曲線；相似度確定子單元，用於根據所述特徵曲線與所述參考模型資料庫中對應的參考特徵曲線之間的距離，確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中對應的參考關鍵點特徵之間的相似度。
結合本申請提供的任一裝置實施例，所述相似度確定單元，包括：局部相似度確定子單元，用於在一個所述局部人臉區域包括至少兩個子區域的情況下，針對所述局部人臉區域中的每個所述子區域，針對所述參考模型資料庫中的每個人臉影像樣本，確定所述子區域的關鍵點特徵與所述參考模型資料庫中該人臉影像樣本的對應子區域的參考關鍵點特徵之間的相似度，獲得所述子區域對應的局部相似度；整體相似度確定子單元，用於針對所述參考模型資料庫中的每個人臉影像樣本，根據每個所述子區域對應的所述局部相似度，確定所述局部人臉區域與該人臉影像樣本中的對應局部人臉區域之間的整體相似度，作為所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中該人臉影像樣本的對應參考關鍵點特徵之間的相似度。
根據本申請實施例的第三方面，提供了一種電腦可讀儲存介質，所述儲存介質儲存有電腦程式，所述電腦程式被處理器執行時實現上述第一方面任一項所述的方法。
根據本申請實施例的第四方面，提供了一種電子設備，包括儲存裝置、處理器及儲存在儲存裝置上並可在處理器上運行的電腦程式，其特徵在於，所述處理器執行所述程式時實現上述第一方面任一項所述的方法。
採用本申請實施例提供的建立臉部模型的方法，電腦系統通過基於表徵局部人臉區域的關鍵點特徵自動獲取與人臉影像對應的目標骨骼參數，並依據上述目標骨骼參數自動對標準三維人臉模型進行骨骼參數調整，可自動建立出符合所述當前人臉影像的虛擬三維臉部模型。在整個模型建立過程中，無需用戶根據自己的主觀判斷、不斷嘗試手動調整複雜的骨骼參數，減小了用戶操作難度。
在一些實施例中，電腦系統可以預先配置參考模型資料庫，進而從參考模型資料庫中快速匹配出與人臉影像對應的目標骨骼參數。其中，人臉局部區域特徵的規律性使得參考模型資料庫的資料量不大，從而使得電腦系統根據當前人臉影像的關鍵點特徵可以從上述參考模型資料庫中快速匹配出目標骨骼參數，進而可利用該目標骨骼參數高效且相對準確地建立出與當前人臉影像匹配的虛擬三維臉部模型。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本申請。
此處的附圖被併入說明書中並構成本說明書的一部分，示出了符合本申請的實施例，並與說明書一起用於解釋本申請的原理。
這裡將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本申請相一致的所有實施方式。相反，它們僅是與如所附發明申請專利範圍中所詳述的、本申請的一些方面相一致的裝置和方法的例子。
在本申請使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本申請。在本申請和所附發明申請專利範圍中所使用的單數形式的「一種」、 「所述」和「該」也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語「和/或」是指並包含一個或多個相關聯的列出項目的任何或所有可能組合。
應當理解，儘管在本申請可能採用術語第一、第二、第三等來描述各種資訊，但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如，在不脫離本申請範圍的情況下，第一資訊也可以被稱為第二資訊，類似地，第二資訊也可以被稱為第一資訊。取決於語境，如在此所使用的詞語「如果」可以被解釋成為「在……時」或「當……時」或「響應於確定」。
在遊戲行業和虛擬實境的推動下，數字化虛擬角色得到了大量的應用。以遊戲應用場景為例，「虛擬角色」已經從單一的虛擬形象演變為玩家自己設計的角色，從而允許建立更具個性的角色形象。
本申請實施例中，提供了一種基於虛擬骨骼控制方式建立虛擬角色三維臉部模型的方法。該方法涉及的執行主體可包括電腦系統，還可以包括攝像鏡頭以採集人臉影像。
移動終端等電子設備。上述移動終端可以具體為智能手機、PDA（Personal Digital Assistant，個人數字助理）、平板電腦、遊戲機等電子設備。在具體實現過程中，攝像鏡頭和電腦系統各自獨立，同時又相互聯繫，以共同實現本申請實施例提供的建立臉部模型的方法。
參見圖1根據一示例性實施例示出的建立臉部模型的方法流程圖，該方法可以包括：
步驟110，對當前人臉影像進行關鍵點檢測，獲得所述當前人臉影像的至少一個關鍵點特徵。其中，每個所述關鍵點特徵可表徵所述當前人臉影像上的一個或多個局部人臉區域。
以遊戲場景為例，遊戲應用界面可以提供有用戶操作入口。這樣，遊戲玩家可以通過該用戶操作入口輸入一幅人臉影像，以期待電腦系統的後台程式可根據該人臉影像建立出相應的虛擬三維人臉模型。換言之，電腦系統可通過捏臉功能基於遊戲玩家輸入的人臉影像建立一個虛擬三維人臉模型，滿足遊戲玩家對遊戲角色的個性化需求。
上述當前人臉影像可以是遊戲玩家拍攝的，也可以是遊戲玩家從圖片資料庫中選取的。上述當前人臉影像可以是針對現實世界中的人拍攝的影像，也可以是手工或採用繪圖軟體設計的虛擬人物畫像。本申請實施例對當前人臉影像的獲取方式以及影像中人物在現實世界的真實存在性不作限定。
相應的，電腦系統在接收到用戶輸入的當前人臉影像後，可以先對當前人臉影像進行規範化處理，獲得預設頭部姿態和預設影像尺寸的人臉區域影像。例如，利用預先訓練好的神經網路進行人臉檢測、臉部姿態校正、影像縮放等處理，獲得預設影像尺寸並符合預設頭部姿態的人臉影像。
然後，電腦系統可利用相關領域技術人員熟知的任意人臉關鍵點檢測方法對上述預處理後的人臉區域影像進行關鍵點檢測，獲得當前人臉影像的關鍵點特徵。
本申請中，當前人臉影像的關鍵點特徵可以包括關鍵點的位置座標資訊，也可以包括根據多個關鍵點的位置座標資訊擬合而成的、表徵局部人臉區域的特徵曲線，如眼瞼線、唇線等輪廓線。
步驟120，根據所述關鍵點特徵，獲取與所述當前人臉影像匹配的目標骨骼參數。
根據一示例，步驟120可具體為，根據所述關鍵點特徵，從參考模型資料庫中獲取與所述當前人臉影像匹配的目標骨骼參數。其中，參考模型資料庫包括從預設數量的人臉影像樣本確定的參考關鍵點特徵以及所述參考關鍵點特徵各自對應的參考骨骼參數。
本申請中，鑒於人臉面部五官具有較強的規律性，每一部位可以採用有限的影像樣式進行表徵。例如，通過有限的幾種眼型可表達大部分人的眼睛特徵；採用有限的眉毛樣式影像可表徵大部分人的眉毛特徵。如圖2所示，採用十二種眉型可以涵蓋大部分人臉部的眉毛特徵。
基於此，本申請實施例中，電腦系統可以預先根據一定數量的人臉影像樣本確定參考模型資料庫。其中，參考模型資料庫中包括從人臉影像樣本中確定的參考關鍵點特徵以及參考關鍵點特徵各自對應的參考骨骼參數，所述參考骨骼參數可表示用於生成（render）所述人臉影像樣本的參考人臉模型。
電腦系統在獲取當前人臉影像的關鍵點特徵之後，可以查找出與所述關鍵點特徵最相似的參考關鍵點特徵作為目標參考關鍵點特徵，然後從參考模型資料庫中獲取與上述目標參考關鍵點特徵對應的參考骨骼參數作為與所述當前人臉影像符合的目標骨骼參數。
需要說明的是，本申請對參考模型資料庫的資料結構不作限定。例如，參考模型資料庫可以包括表示用於生成人臉影像樣本的參考人臉模型的參考骨骼參數以及從所述人臉影像樣本中獲取的參考關鍵點特徵與所述參考骨骼參數之間的對應關係。
在確定當前人臉影像的關鍵點特徵後，可利用表徵預設局部人臉區域的關鍵點特徵匹配參考模型資料庫，從中獲取該關鍵點特徵對應的參考骨骼參數，作為當前人臉影像中該局部人臉區域的目標骨骼參數。依照上述方式可獲得當前人臉影像中各個局部人臉區域的目標骨骼參數，如眼部、嘴部、眉毛、鼻子、臉部輪廓等區域的目標骨骼參數，從而獲得符合當前人臉影像的一套目標骨骼參數。
步驟130，依據所述目標骨骼參數和標準三維人臉模型，建立所述當前人臉影像對應的虛擬三維臉部模型。
在確定當前人臉影像對應的目標骨骼參數之後，電腦系統可以依據上述目標骨骼參數對標準三維人臉模型中的骨骼進行參數調整，生成反映當前人臉影像的臉部特徵的虛擬三維臉部模型。
其中，該虛擬三維臉部模型可以接近實際人物臉部特徵的虛擬三維臉部模型，也可以是反映人物神態的卡通化虛擬三維臉部模型。本申請實施例不限定最後輸出的三維臉部模型必須接近現實世界人物的臉部特徵。
示例性的，參見圖3-1根據一示例性實施例示出的一種標準三維人臉模型的示意圖，該標準三維人臉模型屬於一種卡通化虛擬三維臉部模型。相應的，圖3-2示出了上述標準人臉三維模型的骨骼示意圖。整個模型由預設數量的骨骼架構，如61根骨骼。圖3-2中每兩點之間的連線代表一根骨骼。每個部位涉及一根或多根骨骼，如鼻子部位涉及3根骨骼，通過調整該3根骨骼的參數可以生成不同類型的三維鼻子模型。
可知，本申請實施例中，電腦系統通過基於表徵局部人臉區域的關鍵點特徵自動獲取與人臉影像對應的目標骨骼參數，並依據上述目標骨骼參數自動對標準三維人臉模型進行骨骼參數調整，可自動建立出符合所述當前人臉影像的虛擬三維臉部模型。在整個模型建立過程中，無需用戶根據自己的主觀判斷、不斷嘗試手動調整複雜的骨骼參數，減小了用戶操作難度。
並且，在一些實施例中，電腦系統可以預先配置參考模型資料庫，進而從參考模型資料庫中快速匹配出與人臉影像對應的目標骨骼參數。其中，人臉局部區域特徵的規律性使得參考模型資料庫的資料量不大，從而使得電腦系統根據當前人臉影像的關鍵點特徵可以從參考模型資料庫中快速匹配出目標骨骼參數，進而可利用該目標骨骼參數高效且相對準確地建立出與當前人臉影像匹配的虛擬三維臉部模型，具有較好的泛化性。
對於系統中還未建立參考模型資料庫的情況，例如，系統首次開機或系統初始化時，上述方法還包括建立參考模型資料庫。
參見圖4，在上述步驟110之前，所述建立臉部模型的方法還可以包括步驟100，以根據預設數量的人臉影像樣本和標準三維人臉模型，確定參考模型資料庫。其中，所述參考模型資料庫包括從預設數量的人臉影像樣本確定的至少一個參考關鍵點特徵以及所述至少一個參考關鍵點特徵各自對應的參考骨骼參數。進一步的，步驟120可包括：根據所述至少一個關鍵點特徵，從上述參考模型庫資料庫中獲取與當前人臉影像匹配的目標骨骼參數。
本申請實施例中，可以獲取預設數量的人臉影像樣本，並手動標注出上述人臉影像樣本中各部位的影像樣式。然後，基於上述標注後的人臉影像樣本和標準三維人臉模型，通過骨骼控制方式生成對應的虛擬三維人臉模型。本申請實施例中，將根據人臉影像樣本和標準三維人臉模型生成的虛擬三維人臉模型，稱為參考人臉模型。
示例性的，假設有201個人臉影像樣本，則電腦系統會對應生成201個參考人臉模型，並依據該201個參考人臉模型的相關資料生成上述參考模型資料庫。
此處需要說明的是，建立參考模型資料庫的執行主體與後續應用參考模型資料庫建立臉部模型的執行主體不必須是同一電腦系統。例如，建立參考模型資料庫的執行主體可以是雲端電腦系統，例如雲端服務器，而上述步驟110~130的執行主體可以是作為終端設備的電腦系統。鑒於目前終端設備的計算能力不斷增強，同時本申請實施例無需數量巨大的人臉影像樣本資料，在本申請另一實施例中，參考模型資料庫的確定過程和後續臉部模型建立過程可以都由終端設備的電腦系統執行。
參見圖5，上述步驟100可以包括：
步驟101，獲取含有預設數量的人臉影像樣本的人臉影像樣本集合。其中，所述人臉影像樣本集合中包括表徵至少一個局部人臉區域的多種影像樣式。
本申請實施例中，人臉影像樣本集合中可以包括一定數量的人臉影像樣本。其中，上述一定數量的人臉影像樣本中盡可能全面地包含例如額部、眼部、鼻部、唇部等各個人臉部位的不同影像樣式，以確保對應生成的參考模型資料庫包括盡可能全面的參考資料，如參考關鍵點特徵、參考骨骼參數等。
關於人臉影像樣本集合包括人臉影像樣本的數量，可以滿足以下條件：對於隨機採集的一張二維人臉影像A，從上述人臉影像樣本集合包含的各人臉部位的影像樣式中，可以找到上述影像A中不同局部人臉區域對應的影像樣式；或者說，根據從上述一定數量的人臉影像樣本中選擇性提取不同局部人臉區域如五官部位的影像樣式，可以大致拼湊出與上述影像A相似的人臉影像。
本申請實施例中，可根據現實世界中存在的常見五官類型，搜集一定數量的人臉影像樣本，獲得人臉影像樣本集合。
本申請一實施例中，根據現實世界不同人的眉毛、眼睛、鼻子、嘴巴、臉部輪廓的樣式，搜集了201張人臉影像樣本用於確定上述人臉影像樣本集合。該201個人臉影像樣本可以包含有每一個局部人臉區域的多種影像樣式。其中，局部人臉區域是指從二維人臉影像中識別出的眉毛區域、眼睛區域、鼻子區域、臉部輪廓等區域。
例如，該201個人臉影像樣本中包含上述圖2所示的眉毛區域對應的12種眉型。以此類推，該201個人臉影像樣本包含嘴部、眼部、鼻子、臉部輪廓等局部人臉區域分別對應的多種影像樣式。
步驟102，依據標準三維人臉模型建立每個人臉影像樣本對應的參考三維人臉模型。
本申請實施例中，將針對每一個人臉影像樣本建立的虛擬三維人臉模型稱為參考三維人臉模型。每一個參考三維人臉模型對應一套骨骼控制參數。
關於如何基於標準三維人臉模型和人臉影像樣本建立參考三維人臉模型，可以參見圖6，上述步驟102可以包括：
步驟1021，對人臉影像樣本進行規範化處理，獲得與標準人臉影像的頭部姿態和影像尺寸符合的預處理人臉影像。其中，標準人臉影像為標準三維人臉模型對應的二維人臉影像。
本申請中，在參考模型資料庫建立階段，可以針對每一幅人臉影像樣本進行人臉區域檢測、頭部姿態校正、影像縮放等規範化處理，獲得與標準人臉影像的頭部姿態和影像尺寸符合的預處理人臉影像。該預處理人臉影像與標準人臉影像相比，可以理解為同一台相機使用相同的影像採集參數、針對相同物距處、兩個頭部姿態相同的人，分別採集的人臉影像。
其中，標準人臉影像可以理解為標準三維人臉模型在預設影像座標系中的投影影像。或者說，標準三維人臉模型是電腦系統對標準人臉影像進行關鍵點檢測後，根據獲得的關鍵點集合例如240個關鍵點位置座標，以及預設數量的骨骼如61根骨骼，建立的虛擬三維人臉模型。
步驟1022，對預處理人臉影像進行關鍵點檢測，獲得所述人臉影像樣本的參考關鍵點集合，所述參考關鍵點集合包括表徵所述人臉影像樣本上的各個局部人臉區域的參考關鍵點組合。
在獲得預處理人臉影像之後，可採用本領域技術人員熟知的任意關鍵點檢測方法從該預處理人臉影像中提取預設數量的關鍵點，如68個關鍵點、106個關鍵點、或者240個關鍵點。提取的關鍵點數量越多越能夠實現對局部人臉區域的細節表達。
在對人臉區域影像進行關鍵點檢測的過程中，可以採用預設算法如邊緣檢測robert算法，索貝爾sobel算法等；也可通過相關模型如主動輪廓線snake模型等等來進行關鍵點檢測。
在本申請另一實施例中，可通過用於進行人臉關鍵點檢測的神經網路進行關鍵點定位。還可通過第三方應用來進行人臉關鍵點檢測，如通過第三方工具包Dlib來進行人臉關鍵點定位，檢測出68個臉部關鍵點，如圖7所示。進一步地，還可以採用240人臉關鍵點定位技術定位240個關鍵點的位置座標，實現對當前人臉影像和/或人臉影像樣本中眉毛、眼睛、鼻子、嘴唇、臉部輪廓、面部表情等關鍵部位細節特徵的定位。
關於參考關鍵點組合，本申請另一實施例中，可以按照預置規則確定各個參考關鍵點的序號，並確定表徵每一個局部人臉區域的參考關鍵點組合。例如，在圖7所示示例中，從人臉影像樣本中提取出了68個關鍵點；由18~22號參考關鍵點構成的參考關鍵點組合表徵左眉區域。依此類推，採用不同的關鍵點組合表徵不同的局部人臉區域。
本申請中，每一個關鍵點的資訊包括序號和座標位置。對於不同的人臉影像樣本，表徵同一局部人臉區域的關鍵點序號、數量相同，但關鍵點的座標位置不同。如上示例，從標準人臉影像提取的第18~22號關鍵點組合也表徵標準人臉影像中的左眉區域，但各個關鍵點的座標位置與圖7所示示例中第18~22號關鍵點的座標位置不同。
此處需要說明的是，關鍵點的座標位置是指關鍵點在預設影像座標系如圖7所示的XOY座標系中的位置。由於預處理人臉影像的尺寸相同，所以針對各個預處理人臉影像可以採用相同的影像座標系，來表示不同預處理人臉影像中關鍵點的位置座標，以便於進行後續的距離計算。
此處需要說明的是，關鍵點的座標位置是指關鍵點在預設影像座標系如圖7所示的XOY座標系中的位置。由於預處理人臉影像的尺寸相同，所以針對各個預處理人臉影像可以採用相同的影像座標系，來表示不同預處理人臉影像中關鍵點的位置座標，以便於進行後續的距離計算。
本申請實施例中，系統預設有關鍵點組合與骨骼的映射關係，該映射關係可表示在生成對應的三維人臉模型中關鍵點組合表徵的局部人臉區域時，需要調整哪些骨骼的參數。
示例性的，假設所述標準三維人臉模型中鼻子區域涉及3根骨骼，可以表示為G1~G3，則可以通過對上述3根骨骼調整參數，判斷生成的鼻子三維模型與人臉影像樣本中的鼻子形狀逼近時，確定鼻子部位的三維模型建立完成。相應的，當前3根骨骼的骨骼控制參數為所述人臉影像樣本中鼻子的影像樣式對應的參考骨骼參數。
依此類推，通過調整各局部人臉區域的骨骼參數，使得生成的虛擬三維人臉模型滿足用戶期待時，即完成參考人臉模型的建立。同時，可以確定當前人臉影像樣本中、每一參考關鍵點組合對應的參考骨骼參數，也即所述人臉影像樣本中各局部人臉區域的影像樣式對應的參考骨骼參數，獲得當前人臉影像樣本對應的參考人臉模型資料。該參考人臉模型資料可以包括每個局部人臉區域的參考關鍵點組合和參考骨骼參數之間的對應關係。
本申請實施例中，對一個人臉影像樣本成功建立虛擬三維人臉模型即參考人臉模型之後，可以根據表徵各個局部人臉區域的參考關鍵點組合與參考骨骼參數之間的對應關係，獲得一個人臉影像樣本對應的參考人臉模型資料。
以上述步驟1021~步驟1023描述了依據一幅人臉影像樣本建立相應的參考人臉模型的過程。
步驟103，根據每一個人臉影像樣本對應的參考人臉模型，確定參考模型資料庫。其中，參考模型資料庫包括表徵每一個局部人臉區域的每一種影像樣式的參考關鍵點特徵與參考骨骼參數之間的對應關係。
本申請實施例中，可以按照圖6所示的方法建立每一幅人臉影像樣本對應的參考人臉模型，進而確定每一幅人臉影像樣本對應的參考人臉模型資料。
在獲取每一個人臉影像樣本的參考人臉模型資料之後，可以建立參考模型資料庫。其中，該參考模型資料庫可以包含表徵每一個局部人臉區域的影像樣式的參考關鍵點組合與參考骨骼參數之間的對應關係、每個人臉影像樣本的參考關鍵點特徵資料、以及每個參考人臉模型的參考骨骼參數。需要說明的是，在基於骨骼建立模型的方式中，骨骼存在父子骨骼關係，當父骨骼移動時，會帶動子骨骼移動，類似手腕的骨骼運動會帶動手掌的骨骼運動。一個局部人臉區域的骨骼參數調整，可能與整個人臉模型中其他骨骼的調整參數相關聯。因此，本申請實施例中，參考模型資料庫中，以整個參考人臉模型對應的一套參考骨骼參數進行資料儲存。
以上對如何建立參考模型資料庫進行了詳細介紹。
在實際應用階段，電腦系統對輸入的當前人臉影像進行關鍵點檢測，獲得關鍵點特徵之後，將自動根據當前人臉影像的關鍵點特徵檢索參考模型資料庫，從參考模型資料庫中匹配出不同局部人臉區域的目標骨骼參數。
關於上述步驟110的實施，參見圖8，上述步驟110可以包括：
步驟1101，對當前人臉影像進行關鍵點檢測，獲得預設數量關鍵點的位置座標。
如上所述，電腦系統可對當前人臉影像進行規範化處理，包括對當前人臉影像進行人臉區域檢測、頭部姿態校正、影像縮放等處理，以獲得與標準人臉影像尺寸相同的預處理影像。之後，可以採用人臉關鍵點定位技術對預處理影像進行關鍵點檢測。例如，可採用240人臉關鍵點定位技術對預處理影像進行關鍵點檢測，獲得240個人臉關鍵點的位置座標。
步驟1102，根據所述預設數量關鍵點的位置座標確定表徵所述當前人臉影像上的至少一個局部人臉區域的關鍵點特徵。
本申請實施例中，在獲取當前人臉影像的關鍵點位置座標之後，可以確定表徵當前人臉影像中至少一個局部人臉區域的關鍵點特徵。
對於一個局部人臉區域例如眉毛區域，其關鍵點特徵可以包括以下至少兩種表示方式：
方式一，利用關鍵點的位置座標組合表示局部人臉區域的關鍵點特徵。例如，可以將表徵一個局部人臉區域的關鍵點座標組合，作為該局部人臉區域的關鍵點特徵。如圖9-1所示，將序號為18~22的關鍵點的座標位置組合確定為左眉區域的關鍵點特徵。
本申請中，採用相對固定的關鍵點（包括關鍵點數量和各個關鍵點的序號）表徵局部人臉區域，但在不同人臉影像中，同一序號關鍵點在影像座標系中的座標位置不同。例如，在第一人臉影像中，關鍵點18的座標位置為（80，15）即第80行第15列像素定位的位置。在第二人臉影像中，關鍵點18的座標位置可以為（100，20）即第100行第20列像素定位的位置。因此，可以利用關鍵點組合的位置座標有效區分不同人的臉部特徵。
方式二，利用關鍵點座標組合的擬合曲線表示局部人臉區域的關鍵點特徵。例如，可以根據表徵一個局部人臉區域的關鍵點座標組合，擬合出表徵該局部人臉區域的特徵曲線，並將該特徵曲線作為該局部人臉區域的關鍵點特徵。如圖9-2所示，將根據序號為18~22的關鍵點的座標位置擬合而成的特徵曲線作為左眉區域的關鍵點特徵。同理，參見圖9-3，根據眼部關鍵點1~12的位置座標擬合出眼瞼特徵曲線，作為左眼的關鍵點特徵。
由於不同人的臉部的各關鍵點的位置座標不同，根據關鍵點位置座標擬合出的曲線形狀也不同。因此，可以將上述特徵曲線作為表徵當前人臉影像中局部人臉區域的關鍵點特徵，以區分不同人的臉。
關於上述步驟120的實施，可以通過關鍵點特徵之間的相似度從參考模型資料庫中查找與當前人臉影像匹配的目標骨骼參數。參見圖10，上述步驟120可以包括：
步驟121，針對當前人臉影像中每個局部人臉區域，確定參考模型資料庫中與該局部人臉區域的關鍵點特徵匹配的參考關鍵點特徵作為該局部人臉區域的目標參考關鍵點特徵。
參見圖11，針對當前人臉影像中的每個局部人臉區域，上述步驟121可以包括：
步驟1211，確定局部人臉區域的關鍵點特徵與參考模型資料庫中對應的參考關鍵點特徵之間的相似度。其中，參考模型資料庫中對應的參考關鍵點特徵可以是，參考模型資料庫中與該局部人臉區域的位置對應的參考關鍵點特徵。
本申請實施例中，根據關鍵點特徵的表現形式不同，可以採用不同的度量方式從參考模型資料庫中查找匹配的參考關鍵點特徵。
例如，在參考模型資料庫中儲存的參考關鍵點特徵為參考關鍵點座標組合的情況下，可以根據關鍵點座標組合之間的歐式距離，確定局部人臉區域的關鍵點特徵與參考關鍵點特徵之間的相似度。
以圖9-1所示，可以分別計算當前人臉影像中的關鍵點18~22的位置座標與任一人臉影像樣本中關鍵點18~22的位置座標之間的歐式距離，分別表示為l18 、l19 、l20 、l21 、l22 ，其中，l18 表示當前人臉影像的關鍵點18的位置座標與人臉影像樣本中關鍵點18的位置座標之間的歐式距離，依此類推。兩個影像中左眉區域的相似度可以表示關鍵點18-22的歐式距離之和L。在一實施例中，L可以表示為：
L= l18 +l19 +l20 +l21 +l22 。
在本申請另一實施例中，上述相似度還可以表示為關鍵點之間歐式距離的加權值。仍如上示例，可以根據實際應用場景，對各個關鍵點設置預設權重，例如，分別對關鍵點18~22設置的權重為α1 、α2 、α3 、α4 、α5 ，則L可以表示為：
L=α1 *l18 +α2 *l19 +α3 *l20 +α4 *l21 +α5 *l22 。
兩個關鍵點座標組合之間的歐式距離越小，說明該兩個關鍵點座標組合表徵的局部人臉區域之間的相似度越高。
在參考模型資料庫中儲存的參考關鍵點特徵為參考特徵曲線的情況下，參見圖12，上述步驟1211可以包括：
步驟12111，根據局部人臉區域的關鍵點座標組合，擬合出表徵該局部人臉區域的特徵曲線。
仍如圖9-1所示，在從當前人臉影像中確定出第18~22號關鍵點的位置座標後，可以按照預置規則如從左往右的順序擬合出一條特徵曲線，如圖9-2所示。
步驟12112，根據所述特徵曲線與參考模型資料庫中對應的參考特徵曲線之間的距離，確定該局部人臉區域的關鍵點特徵與參考模型資料庫中對應的參考關鍵點特徵之間的相似度。
本申請實施例中，可以利用弗雷歇frechet距離值來度量關鍵點特徵之間的相似性。兩個特徵曲線之間的frechet距離值越小，說明兩條特徵曲線的形狀越相似，即相似度越高，相應的，兩條特徵曲線分別對應的局部人臉區域之間的相似度也越大。
在本申請另一實施例中，還可以採用二者相結合的方式來確定上述目標參考關鍵點特徵。具體地，對於當前人臉影像中任一局部人臉區域的關鍵點座標組合，可以分別計算該關鍵點座標組合與參考模型資料庫中每一個對應的參考關鍵點座標組合的歐式距離（Euclidean Distance）。若所述參考模型資料庫中存在至少兩個參考關鍵點座標組合與該關鍵點座標組合的歐式距離值相同，則進一步計算所述至少兩個參考關鍵點座標組合中的每個所述參考關鍵點組合與所述關鍵點座標組合之間的frechet距離值，從而有效識別出與當前人臉影像中的該關鍵點座標組合對應的特徵曲線形狀最接近的目標參考關鍵點特徵。
在本申請另一實施例中，還可以根據局部人臉區域的分佈特點，採用相應的策略確定所述局部人臉區域的關鍵點特徵與參考模型資料庫中對應的參考關鍵點特徵之間的相似度。
例如，在局部人臉區域包括至少兩個子區域、也即該局部人臉區域可由至少兩個子區域的關鍵點特徵進行表徵的情況下，參見圖13，在確定該局部人臉區域的關鍵點特徵與參考模型資料庫中一個人臉影像樣本對應的參考關鍵點特徵之間的相似度時，上述步驟1211可以包括：
步驟1211-1、針對該局部人臉區域中的每個子區域，確定該子區域的關鍵點特徵與參考模型資料庫中該人臉影像樣本的對應子區域的參考關鍵點特徵之間的相似度，獲得該子區域對應的局部相似度。
其中，該人臉影像樣本的對應子區域是指，該人臉影像樣本中與該局部人臉區域中當前正在處理的子區域的位置對應的子區域。例如，眼睛區域的關鍵點特徵包括左眼區域和右眼區域分別對應的關鍵點特徵。眉毛區域的關鍵點特徵包括左眉區域和右眉區域分別對應的關鍵點特徵。嘴巴區域的關鍵點特徵包括上嘴唇區域和下嘴唇區域分別對應的關鍵點特徵。
以眼睛區域為例，可按照上述任一確定方法左眼區域的關鍵點特徵與參考模型資料庫中各個左眼參考關鍵點特徵之間的相似度，以及右眼區域的關鍵點特徵與參考模型資料庫中各個右眼參考關鍵點特徵之間的相似度。本申請實施例中，將一個子區域的關鍵點特徵與參考模型資料庫中相應子區域的參考關鍵點特徵之間的相似度，稱為局部相似度。將當前人臉影像中左、右眼區域的關鍵點特徵與參考模型資料庫中一個參考人臉模型的左、右眼區域的參考關鍵點特徵進行比較後，將獲得一對局部相似度。
如上述示例，對於由201個人臉影像樣本生成的參考模型資料庫，針對當前人臉影像中眼部區域的關鍵點特徵，將獲得201對局部相似度。
步驟1211-2、根據每個子區域對應的局部相似度，確定所述局部人臉區域與該人臉影像樣本的對應局部人臉區域之間的整體相似度，作為該局部人臉區域的關鍵點特徵與參考模型資料庫中該人臉影像樣本的對應參考關鍵點特徵之間的相似度。
對於如眼睛、嘴巴、眉毛等可以由兩個子區域的關鍵點特徵進行表徵的局部人臉區域，在計算每個子區域對應的局部相似度之後，可以將兩個局部相似度求和或者加權求和，作為當前人臉影像與一個人臉影像樣本對應區域的相似度。
本申請實施例中，對於局部人臉區域包括多個子區域的情況，可以基於多個子區域的局部相似度更加準確地比較上述眼睛、眉毛、嘴巴等該局部人臉區域的整體相似度，進而更加準確地從參考模型資料庫中確定該局部人臉區域的目標骨骼參數。
步驟1212，將相似度最高的參考關鍵點特徵確定為所述局部人臉區域的目標參考關鍵點特徵。
按照上述步驟1211所述的任一方法，分別計算當前人臉影像中局部人臉區域的關鍵點特徵與參考模型資料庫中每一個人臉影像樣本的對應參考關鍵點特徵之間的相似度，並將相似度最高的參考關鍵點特徵確定為當前人臉影像中該局部人臉區域的目標參考關鍵點特徵。
步驟122，依據與當前人臉影像中每個局部人臉區域的目標參考關鍵點特徵對應的參考骨骼參數，確定當前人臉影像的目標骨骼參數。
在本申請一實施例中，參考模型資料庫中儲存有每個局部人臉區域的每種影像樣式對應的參考關鍵點特徵，以及上述參考關鍵點特徵與參考骨骼參數之間的對應關係。
假設可以從每一幅人臉影像劃分中出M個局部人臉區域，例如，5個局部人臉區域，分別為眉毛、眼睛、鼻子、嘴巴、臉部輪廓。
一個局部人臉區域對應的影像樣式數量為n，則上述參考模型資料庫中至少儲存有N個參考關鍵點特徵，N=n1 +n2 +……+ nM ，其中，ni 表示局部人臉區域的影像樣式數量，i為一個局部人臉區域的標識，i∈（1，M）。示例性的，假設數字1標識眉毛，則n1 表示眉型的數量，對應圖2所示的示例中，n1 =12。
每一個參考關鍵點特徵對應一組參考骨骼參數，因此，上述參考模型資料庫中至少儲存有N個參考關鍵點特徵對應的N組參考骨骼參數。
若上述參考關鍵點特徵是由參考關鍵點的座標位置擬合而成的參考特徵曲線，則上述參考模型資料庫中至少儲存有N條參考特徵曲線對應的N組參考骨骼參數。
若上述參考關鍵點特徵是參考關鍵點的座標位置組合，即參考關鍵點座標組合，上述參考模型資料庫中至少儲存有N個參考關鍵點座標組合對應的N組參考骨骼參數。
電腦系統從當前人臉影像中獲取局部人臉區域的關鍵點特徵之後，可以確定參考模型資料庫中與該關鍵點特徵匹配，例如最相似的參考關鍵點特徵作為目標參考關鍵點特徵，進而根據目標參考關鍵點特徵對應的參考骨骼參數，確定適用於上述關鍵點特徵的目標骨骼參數。例如，直接將目標參考關鍵點特徵對應的參考骨骼參數，確定為適用當前人臉影像中上述關鍵點特徵對應的局部人臉區域的目標骨骼參數。
本申請實施例中，通過結合關鍵點特徵的表達方式採用歐式距離或者frechet距離來度量當前人臉影像中局部人臉區域的關鍵點特徵與參考模型資料庫中對應的參考關鍵點特徵之間的相似度，可相對準確、快速地基於參考模型資料庫確定當前人臉影像中局部人臉區域的目標骨骼參數，並確定待建立臉部模型的骨骼調整參數，從而可有效提升預設應用場景如遊戲場景中扭臉功能應用的用戶體驗。
本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於資料處理設備實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
對於前述的各方法實施例，為了簡單描述，將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本公開並不受所描述的動作順序的限制，因為依據本公開，某些步驟可以採用其他順序或者同時進行。
其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於可選實施例，所涉及的動作和模組並不一定是本公開所必須的。
與前述應用功能實現方法實施例相對應，本公開還提供了應用功能實現裝置及相應終端的實施例。
相應的，本申請實施例提供了一種建立臉部模型的裝置，參見圖14，所述裝置可以包括：關鍵點檢測模組21，用於對當前人臉影像進行關鍵點檢測，獲得所述當前人臉影像的至少一個關鍵點特徵；參數匹配模組22，用於根據所述至少一個關鍵點特徵獲取與所述當前人臉影像匹配的目標骨骼參數；模型建立模組23，用於依據所述目標骨骼參數和標準三維人臉模型，建立所述當前人臉影像對應的虛擬三維臉部模型。
在本申請一裝置實施例中，所述模型建立模組23輸出的所述當前人臉影像對應的虛擬三維臉部模型可以是與所述當前人臉影像對應的卡通化虛擬三維人臉模型。
在本申請另一裝置實施例中，所述模型建立模組23輸出的所述當前人臉影像對應的虛擬三維臉部模型也可以是與所述當前人臉影像中的實際人臉近似的虛擬三維人臉模型，即與現實人臉逼真的虛擬三維人臉模型。
參見圖15，在圖14所示裝置實施例的基礎上，所述裝置還可以包括：資料庫建立模組20，用於根據預設數量的人臉影像樣本和所述標準三維人臉模型，確定所述參考模型資料庫。其中，所述參考模型資料庫包括從預設數量的人臉影像樣本確定的至少一個參考關鍵點特徵以及所述至少一個參考關鍵點特徵各自對應的參考骨骼參數。在這種情況下，所述參數匹配模組22具體用於：根據所述至少一個關鍵點特徵，從所述參考模型資料庫中獲取與所述當前人臉影像匹配的目標骨骼參數。
參見圖16，在圖15所示裝置實施例的基礎上，所述資料庫建立模組20，可以包括：樣本獲取子模組201，用於獲取含有所述預設數量的所述人臉影像樣本的人臉影像樣本集合，所述人臉影像樣本集合中包括表徵至少一種局部人臉區域的多種影像樣式；參考模型建立子模組202，用於針對每個所述人臉影像樣本，依據所述標準三維人臉模型建立所述人臉影像樣本對應的參考人臉模型，所述參考人臉模型包括與所述人臉影像樣本對應的所述參考骨骼參數；資料庫確定子模組203，用於根據每個所述人臉影像樣本對應的參考人臉模型，確定所述參考模型資料庫。其中，所述參考模型資料庫包括表徵每一個所述局部人臉區域的每一種所述影像樣式的所述關鍵點特徵與所述參考骨骼參數之間的對應關係。
參見圖17，在圖16所示裝置實施例的基礎上，所述參考模型建立子模組202，可以包括：影像預處理單元2021，用於對一幅所述人臉影像樣本進行規範化處理，獲得與標準人臉影像的頭部姿態和影像尺寸符合的預處理人臉影像，其中，所述標準人臉影像為與所述標準三維人臉模型對應的二維人臉影像；關鍵點檢測單元2022，用於對所述預處理人臉影像進行關鍵點檢測，獲得所述人臉影像樣本的參考關鍵點集合，所述參考關鍵點集合包括表徵所述人臉影像樣本上的各所述局部人臉區域的參考關鍵點組合；參考模型建立單元2023，用於基於每個所述參考關鍵點組合對所述標準三維人臉模型中對應的骨骼參數進行調整，建立所述人臉影像樣本對應的所述參考人臉模型。
參見圖18，在圖14~圖17任一所示裝置實施例的基礎上，所述關鍵點檢測模組21，可以包括：關鍵點定位子模組211，用於對所述當前人臉影像進行關鍵點檢測，獲得預設數量關鍵點的位置座標；關鍵點特徵確定子模組212，用於根據所述預設數量關鍵點的位置座標確定表徵所述當前人臉影像上的至少一個局部人臉區域的關鍵點特徵。
本申請實施例中，所述關鍵點特徵可以包括關鍵點座標組合，和/或，特徵曲線。
相應的，參見圖19，在圖18所示裝置實施例的基礎上，所述關鍵點特徵確定子模組212，可以包括：座標組合確定單元2121，用於基於所述預設數量關鍵點的位置座標，確定表徵所述當前影像上第一局部人臉區域的關鍵點座標組合作為表徵該第一局部人臉區域的所述關鍵點特徵，其中，該第一局部人臉區域位所述至少一個局部人臉區域中的任一個；特徵曲線確定單元2122，用於根據表徵該第一局部人臉區域的關鍵點座標組合，擬合出表徵該第一局部人臉區域的特徵曲線作為表徵該第一局部人臉區域的所述關鍵點特徵。
本申請中，所述至少一種局部人臉區域包括以下至少一項：眉毛、眼睛、鼻子、嘴巴、臉部輪廓。
上述圖19所示裝置實施例對應關鍵點特徵確定子模組212包括座標組合確定單元2121和特徵曲線確定單元2122的情況。在本申請另一裝置實施例中，關鍵點特徵確定子模組212可以包括座標組合確定單元2121，或者，特徵曲線確定單元2122。
參見圖20，在圖14~圖19任一所示裝置實施例的基礎上，所述參數匹配模組22，可以包括：特徵匹配子模組221，用於針對所述當前人臉影像中每個局部人臉區域，確定所述參考模型資料庫中與所述局部人臉區域的關鍵點特徵匹配的參考關鍵點特徵，作為所述局部人臉區域的目標參考關鍵點特徵；2211222，用於依據與所述當前人臉影像中每個所述局部人臉區域的目標參考關鍵點特徵對應的參考骨骼參數，確定所述當前人臉影像的目標骨骼參數。
參見圖21，在圖20所示裝置實施例的基礎上，所述特徵匹配子模組221，可以包括：相似度確定單元2211，用於確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中對應的參考關鍵點特徵之間的相似度；目標特徵確定單元2212，用於將相似度最高的所述參考關鍵點特徵確定為所述局部人臉區域的所述目標參考關鍵點特徵。
在本申請一裝置實施例中，所述關鍵點特徵可以為根據關鍵點位置座標擬合成的特徵曲線。相應的，參見圖22，在圖21所示裝置實施例的基礎上，所述相似度確定單元2211，可以包括：曲線擬合子單元2201，用於根據一個局部人臉區域的關鍵點座標組合，擬合出表徵所述局部人臉區域的特徵曲線；相似度確定子單元2202，用於根據所述特徵曲線與所述參考模型資料庫中對應的參考特徵曲線之間的距離，確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中對應的參考關鍵點特徵之間的相似度。
本申請實施例中，所述距離可以包括歐式距離或者弗雷歇frechet距離。相應的，所述目標特徵確定單元2212，可以用於將所述距離值最小的參考特徵曲線確定為所述目標參考關鍵點特徵。
參見圖23，在圖21所示裝置實施例的基礎上，所述相似度確定單元2211，可以包括：局部相似度確定子單元22111，用於在一個所述局部人臉區域包括至少兩個子區域的情況下，針對所述局部人臉區域中的每個所述子區域，針對所述參考模型資料庫中的每個人臉影像樣本，確定所述子區域的關鍵點特徵與所述參考模型資料庫中該人臉影像樣本的對應子區域的參考關鍵點特徵之間的相似度，獲得所述子區域對應的局部相似度；整體相似度確定子單元22112，用於針對所述參考模型資料庫中的每個人臉影像樣本，根據每個所述子區域對應的所述局部相似度，確定所述局部人臉區域與該人臉影像樣本中的對應局部人臉區域之間的整體相似度，作為所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中該人臉影像樣本的對應參考關鍵點特徵之間的相似度。
對於裝置實施例而言，由於其基本對應於方法實施例，所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本申請方案的目的。本領域普通技術人員在不付出創造性勞動的情況下，即可以理解並實施。
對應於上述的建立臉部模型的方法，本申請實施例還提出了根據本申請的一示例性實施例的電子設備的示意結構圖。請參考圖24，在硬體層面，該電子設備包括處理器241、內部總線242、網路介面243、內部存儲器245以及非易失性儲存裝置246，當然還可能包括其他業務所需要的硬體。處理器241從非易失性儲存裝置246中讀取對應的電腦程式到內部存儲器245中然後運行，在邏輯層面上形成智能駕駛控制的裝置。當然，除了軟體實現方式之外，本申請並不排除其他實現方式，例如邏輯電路或軟硬體結合的方式等等，也就是說以下處理流程的執行主體並不限定於各個邏輯單元，也可以是硬體或邏輯電路。
本領域技術人員應明白，本說明書一個或多個實施例可提供為方法、系統或電腦程式產品。因此，本說明書一個或多個實施例可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本說明書一個或多個實施例可採用在一個或多個其中包含有電腦可用程式代碼的電腦可用儲存介質（包括但不限於磁盤儲存裝置、CD-ROM、光學儲存裝置等）上實施的電腦程式產品的形式。
本說明書實施例還提供一種電腦可讀儲存介質，該儲存介質上可以儲存有電腦程式，所述程式被處理器執行時實現本說明書圖1至圖13任一實施例提供的建立臉部模型的方法的步驟。
本說明書中描述的主題及功能操作的實施例可以在以下中實現：數字電子電路、有形體現的電腦軟體或固件、包括本說明書中公開的結構及其結構性等同物的電腦硬體、或者它們中的一個或多個的組合。本說明書中描述的主題的實施例可以實現為一個或多個電腦程式，即編碼在有形非暫時性程式載體上以被資料處理裝置執行或控制資料處理裝置的操作的電腦程式指令中的一個或多個模組。可替代地或附加地，程式指令可以被編碼在人工生成的傳播信號上，例如機器生成的電、光或電磁信號，該信號被生成以將資訊編碼並傳輸到合適的接收機裝置以由資料處理裝置執行。電腦儲存介質可以是機器可讀儲存設備、機器可讀儲存基板、隨機或串行存取儲存裝置設備、或它們中的一個或多個的組合。
本說明書中描述的處理及邏輯流程可以由執行一個或多個電腦程式的一個或多個可編程電腦執行，以通過根據輸入資料進行操作並生成輸出來執行相應的功能。所述處理及邏輯流程還可以由專用邏輯電路—例如現場可程式設計閘陣列（FPGA）或特定積體電路（ASIC）來執行，並且裝置也可以實現為專用邏輯電路。
適合用於執行電腦程式的電腦包括，例如通用和/或專用微處理器，或任何其他類型的中央處理單元。通常，中央處理單元將從只讀儲存裝置和/或隨機存取儲存裝置接收指令和資料。電腦的基本組件包括用於實施或執行指令的中央處理單元以及用於儲存指令和資料的一個或多個儲存裝置設備。通常，電腦還將包括用於儲存資料的一個或多個大容量儲存設備，例如磁盤、磁光盤或光盤等，或者電腦將可操作地與此大容量儲存設備耦接以從其接收資料或向其傳送資料，抑或兩種情況兼而有之。然而，電腦不是必須具有這樣的設備。此外，電腦可以嵌入在另一設備中，例如行動電話、個人數位助理（PDA）、移動音頻或視訊播放器、遊戲操控台、全球定位系統（GPS）接收機、或例如通用序列匯流排（USB）快閃記憶體驅動器的便攜式儲存設備，僅舉幾例。
適合於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性儲存裝置、媒介和儲存裝置設備，例如包括半導體儲存裝置設備（例如EPROM、EEPROM和快閃記憶體設備）、磁盤（例如內部硬盤或可移動盤）、磁光盤以及CD ROM和DVD-ROM盤。處理器和儲存裝置可由專用邏輯電路補充或併入專用邏輯電路中。
雖然本說明書包含許多具體實施細節，但是這些不應被解釋為限制任何發明的範圍或所要求保護的範圍，而是主要用於描述特定發明的具體實施例的特徵。本說明書內在多個實施例中描述的某些特徵也可以在單個實施例中被組合實施。另一方面，在單個實施例中描述的各種特徵也可以在多個實施例中分開實施或以任何合適的子組合來實施。此外，雖然特徵可以如上所述在某些組合中起作用並且甚至最初如此要求保護，但是來自所要求保護的組合中的一個或多個特徵在一些情況下可以從該組合中去除，並且所要求保護的組合可以指向子組合或子組合的變型。
類似地，雖然在附圖中以特定順序描繪了操作，但是這不應被理解為要求這些操作以所示的特定順序執行或順次執行、或者要求所有例示的操作被執行，以實現期望的結果。在某些情況下，多任務和並行處理可能是有利的。此外，上述實施例中的各種系統模組和組件的分離不應被理解為在所有實施例中均需要這樣的分離，並且應當理解，所描述的程式組件和系統通常可以一起集成在單個軟體產品中，或封裝成多個軟體產品。
由此，主題的特定實施例已被描述。其他實施例在所附發明申請專利範圍以內。在某些情況下，發明申請專利範圍中記載的動作可以以不同的順序執行並且仍實現期望的結果。此外，附圖中描繪的處理並非必需所示的特定順序或順次順序，以實現期望的結果。在某些實現中，多任務和並行處理可能是有利的。
以上所述僅為本說明書一個或多個實施例的較佳實施例而已，並不用以限制本說明書一個或多個實施例，凡在本說明書一個或多個實施例的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本說明書一個或多個實施例保護的範圍之內。
110、120、130、100、101、102、103、1021、1022、1023、1101、1102、121、122、1211、1212、12111、12112、1211-1、1211-2:步驟 1~68:關鍵點 20:資料庫建立模組 21:關鍵點檢測模組 22:參數匹配模組 23:模型建立模組 201:樣本獲取子模組 202:參考模型建立子模組 203:資料庫確定子模組 2021:影像預處理單元 2022:關鍵點檢測單元 2023:參考模型建立單元 211:關鍵點定位子模組 212:關鍵點特徵確定子模組 2121:座標組合確定單元 2122:特徵曲線確定單元 221:特徵匹配子模組 222:骨骼參數確定子模組 2211:相似度確定單元 2212:目標特徵確定單元 2201:曲線擬合子單元 2202:相似度確定子單元 22111:局部相似度確定子單元 22112:整體相似度確定子單元 241:處理器 242:內部總線 243:網路介面 245:內部存儲器 246:非易失性儲存裝置
圖1是本申請根據一示例性實施例示出的建立臉部模型的方法流程圖。 圖2是本申請根據一示例性實施例示出的建立臉部模型的應用場景示意圖。 圖3-1和圖3-2是本申請根據另一示例性實施例示出的建立臉部模型的應用場景示意圖。 圖4是本申請根據另一示例性實施例示出的建立臉部模型的方法流程圖。 圖5是本申請根據另一示例性實施例示出的建立臉部模型的方法流程圖。 圖6是本申請根據另一示例性實施例示出的建立臉部模型的方法流程圖。 圖7是本申請根據另一示例性實施例示出的建立臉部模型的應用場景示意圖。 圖8是本申請根據另一示例性實施例示出的建立臉部模型的方法流程圖。 圖9-1、圖9-2和圖9-3是本申請根據另一示例性實施例示出的建立臉部模型的應用場景示意圖。 圖10是本申請根據另一示例性實施例示出的建立臉部模型的方法流程圖。 圖11是本申請根據另一示例性實施例示出的建立臉部模型的方法流程圖。 圖12是本申請根據另一示例性實施例示出的建立臉部模型的方法流程圖 圖13是本申請根據另一示例性實施例示出的建立臉部模型的方法流程圖。 圖14是本申請根據一示例性實施例示出的建立臉部模型的裝置方塊圖。 圖15是本申請根據另一示例性實施例示出的建立臉部模型的裝置方塊圖。 圖16是本申請根據另一示例性實施例示出的建立臉部模型的裝置方塊圖。 圖17是本申請根據另一示例性實施例示出的建立臉部模型的裝置方塊圖。 圖18是本申請根據另一示例性實施例示出的建立臉部模型的裝置方塊圖。 圖19是本申請根據另一示例性實施例示出的建立臉部模型的裝置方塊圖。 圖20是本申請根據另一示例性實施例示出的建立臉部模型的裝置方塊圖。 圖21是本申請根據另一示例性實施例示出的建立臉部模型的裝置方塊圖。 圖22是本申請根據另一示例性實施例示出的建立臉部模型的裝置方塊圖。 圖23是本申請根據另一示例性實施例示出的建立臉部模型的裝置方塊圖。 圖24是本申請根據另一示例性實施例示出的一種電子設備的結構示意圖。
110、120、130:步驟

Claims (13)

  1. 一種建立臉部模型的方法，包括： 對當前人臉影像進行關鍵點檢測，獲得所述當前人臉影像的至少一個關鍵點特徵； 根據所述至少一個關鍵點特徵，獲取與所述當前人臉影像匹配的目標骨骼參數；以及 依據所述目標骨骼參數和標準三維人臉模型，建立所述當前人臉影像對應的虛擬三維臉部模型。
  2. 如申請專利範圍第1項所述的方法，更包括： 根據預設數量的人臉影像樣本和所述標準三維人臉模型，確定參考模型資料庫，其中，所述參考模型資料庫包括從預設數量的人臉影像樣本確定的至少一個參考關鍵點特徵以及所述至少一個參考關鍵點特徵各自對應的參考骨骼參數；以及 根據所述至少一個關鍵點特徵，獲取與所述當前人臉影像匹配的目標骨骼參數，包括：根據所述至少一個關鍵點特徵，從所述參考模型資料庫中獲取與所述當前人臉影像匹配的目標骨骼參數。
  3. 如申請專利範圍第2項所述的方法，根據所述預設數量的人臉影像樣本和所述標準三維人臉模型，確定所述參考模型資料庫，包括： 獲取含有所述預設數量的人臉影像樣本的人臉影像樣本集合，所述人臉影像樣本集合中包括表徵至少一個局部人臉區域的多種影像樣式； 針對每個所述人臉影像樣本，依據所述標準三維人臉模型建立所述人臉影像樣本對應的參考人臉模型，所述參考人臉模型包括與所述人臉影像樣本對應的所述參考骨骼參數；以及 根據每個所述人臉影像樣本對應的參考人臉模型，確定所述參考模型資料庫， 其中，所述參考模型資料庫包括表徵每一個所述局部人臉區域的每一種所述影像樣式的所述參考關鍵點特徵與所述參考骨骼參數之間的對應關係。
  4. 如申請專利範圍第3項所述的方法，依據所述標準三維人臉模型，建立所述人臉影像樣本對應的所述參考人臉模型，包括： 對所述人臉影像樣本進行規範化處理，獲得與標準人臉影像的頭部姿態和影像尺寸符合的預處理人臉影像，其中，所述標準人臉影像為與所述標準三維人臉模型對應的二維人臉影像； 對所述預處理人臉影像進行關鍵點檢測，獲得所述人臉影像樣本的參考關鍵點集合，所述參考關鍵點集合包括表徵所述人臉影像樣本上的各所述局部人臉區域的參考關鍵點組合；以及 基於每個所述參考關鍵點組合對所述標準三維人臉模型中對應的骨骼參數進行調整，建立所述人臉影像樣本對應的所述參考人臉模型。
  5. 如申請專利範圍第1項至第4項中任一所述的方法，所述對所述當前人臉影像進行關鍵點檢測，獲得所述當前人臉影像的至少一個關鍵點特徵，包括： 對所述當前人臉影像進行關鍵點檢測，獲得預設數量關鍵點的位置座標；以及 根據所述預設數量關鍵點的位置座標確定表徵所述當前人臉影像上的至少一個局部人臉區域的關鍵點特徵。
  6. 如申請專利範圍第5項所述的方法，根據所述預設數量關鍵點的位置座標確定表徵所述當前人臉影像上的至少一個局部人臉區域的所述關鍵點特徵，包括： 基於所述預設數量關鍵點的位置座標，確定表徵所述當前影像上第一局部人臉區域的關鍵點座標組合作為表徵所述第一局部人臉區域的所述關鍵點特徵，其中，所述第一局部人臉區域為所述至少一個局部人臉區域中的任一個；和/或， 根據表徵所述第一局部人臉區域的所述關鍵點座標組合，擬合出表徵所述第一局部人臉區域的特徵曲線作為表徵所述第一局部人臉區域的所述關鍵點特徵。
  7. 如申請專利範圍第2項至第6項中任一所述的方法，根據所述至少一個關鍵點特徵，從所述參考模型資料庫中獲取與所述當前人臉影像匹配的目標骨骼參數，包括： 針對所述當前人臉影像中每個局部人臉區域，確定所述參考模型資料庫中與所述局部人臉區域的關鍵點特徵匹配的參考關鍵點特徵作為所述局部人臉區域的目標參考關鍵點特徵；以及 依據與所述當前人臉影像中每個所述局部人臉區域的目標參考關鍵點特徵對應的參考骨骼參數，確定所述當前人臉影像的目標骨骼參數。
  8. 如申請專利範圍第7項所述的方法，確定所述參考模型資料庫中與所述局部人臉區域的關鍵點特徵匹配的參考關鍵點特徵作為所述局部人臉區域的目標參考關鍵點特徵，包括： 確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中對應的參考關鍵點特徵之間的相似度；以及 將相似度最高的所述參考關鍵點特徵確定為所述局部人臉區域的所述目標參考關鍵點特徵。
  9. 如申請專利範圍第8項所述的方法，確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中對應的參考關鍵點特徵之間的相似度，包括： 根據所述局部人臉區域的關鍵點座標組合，擬合出表徵所述局部人臉區域的特徵曲線；以及 根據所述特徵曲線與所述參考模型資料庫中對應的參考特徵曲線之間的距離，確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中對應的參考關鍵點特徵之間的相似度。
  10. 如申請專利範圍第8項或第9項所述的方法，在所述局部人臉區域包括至少兩個子區域的情況下，確定所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中一個人臉影像樣本的對應參考關鍵點特徵之間的相似度，包括： 針對所述局部人臉區域中的每個所述子區域，確定所述子區域的關鍵點特徵與所述參考模型資料庫中所述人臉影像樣本的對應子區域的參考關鍵點特徵之間的相似度，獲得所述子區域對應的局部相似度；以及 根據每個所述子區域對應的所述局部相似度，確定所述局部人臉區域與所述人臉影像樣本中的對應局部人臉區域之間的整體相似度，作為所述局部人臉區域的關鍵點特徵與所述參考模型資料庫中所述人臉影像樣本的對應參考關鍵點特徵之間的相似度。
  11. 一種建立臉部模型的裝置，包括： 關鍵點檢測模組，用於對當前人臉影像進行關鍵點檢測，獲得所述當前人臉影像的至少一個關鍵點特徵； 參數匹配模組，用於根據所述至少一個關鍵點特徵獲取與所述當前人臉影像匹配的目標骨骼參數； 模型建立模組，用於依據所述目標骨骼參數和標準三維人臉模型，建立所述當前人臉影像對應的虛擬三維臉部模型。
  12. 一種電腦可讀儲存介質，儲存有電腦程式，所述電腦程式被處理器執行時實現上述申請專利範圍第1項至第10項中任一項所述的方法。
  13. 一種電子設備，包括儲存裝置、處理器及儲存在所述儲存裝置上並可在所述處理器上運行的電腦程式，所述處理器執行所述程式時實現上述申請專利範圍第1項至第10項中任一項所述的方法。
TW109114456A 2019-05-15 2020-04-30 建立臉部模型的方法、裝置、電腦可讀儲存介質及電子設備 TW202044202A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910403884.8A CN110111418B (zh) 2019-05-15 2019-05-15 创建脸部模型的方法、装置及电子设备
CN201910403884.8 2019-05-15

Publications (1)

Publication Number Publication Date
TW202044202A true TW202044202A (zh) 2020-12-01

Family

ID=67490284

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109114456A TW202044202A (zh) 2019-05-15 2020-04-30 建立臉部模型的方法、裝置、電腦可讀儲存介質及電子設備

Country Status (7)

Country Link
US (1) US11836943B2 (zh)
JP (1) JP7191213B2 (zh)
KR (1) KR102523512B1 (zh)
CN (1) CN110111418B (zh)
SG (1) SG11202103190VA (zh)
TW (1) TW202044202A (zh)
WO (1) WO2020228389A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615014B (zh) * 2018-04-27 2022-06-21 京东方科技集团股份有限公司 一种眼睛状态的检测方法、装置、设备和介质
CN110111418B (zh) 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
CN110675475B (zh) * 2019-08-19 2024-02-20 腾讯科技（深圳）有限公司 一种人脸模型生成方法、装置、设备及存储介质
CN110503700A (zh) * 2019-08-26 2019-11-26 北京达佳互联信息技术有限公司 生成虚拟表情的方法、装置、电子设备及存储介质
CN110705448B (zh) * 2019-09-27 2023-01-20 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN110738157A (zh) * 2019-10-10 2020-01-31 南京地平线机器人技术有限公司 虚拟面部的构建方法及装置
CN111354079B (zh) * 2020-03-11 2023-05-02 腾讯科技（深圳）有限公司 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN111640204B (zh) * 2020-05-14 2024-03-19 广东小天才科技有限公司 三维对象模型的构建方法、构建装置、电子设备及介质
CN111738087B (zh) * 2020-05-25 2023-07-25 完美世界(北京)软件科技发展有限公司 一种游戏角色面部模型的生成方法和装置
CN111652798B (zh) * 2020-05-26 2023-09-29 浙江大华技术股份有限公司 人脸姿态迁移方法和计算机存储介质
CN111714885A (zh) * 2020-06-22 2020-09-29 网易（杭州）网络有限公司 游戏角色模型生成、角色调整方法、装置、设备及介质
CN112232183B (zh) * 2020-10-14 2023-04-28 抖音视界有限公司 虚拟佩戴物匹配方法、装置、电子设备和计算机可读介质
CN114727002A (zh) * 2021-01-05 2022-07-08 北京小米移动软件有限公司 拍摄方法、装置、终端设备及存储介质
CN112767348B (zh) * 2021-01-18 2023-11-24 上海明略人工智能(集团)有限公司 一种检测信息的确定方法和装置
CN112967364A (zh) * 2021-02-09 2021-06-15 咪咕文化科技有限公司 一种图像处理方法、装置及设备
CN112973122A (zh) * 2021-03-02 2021-06-18 网易（杭州）网络有限公司 游戏角色上妆方法、装置及电子设备
KR102334666B1 (ko) 2021-05-20 2021-12-07 알레시오 주식회사 얼굴 이미지 생성 방법
KR20230151821A (ko) 2022-04-26 2023-11-02 주식회사 리본소프트 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법
KR102494222B1 (ko) * 2022-09-13 2023-02-06 주식회사 비브스튜디오스 자동 3d 눈썹 생성 방법
CN115393532B (zh) * 2022-10-27 2023-03-14 科大讯飞股份有限公司 脸部绑定方法、装置、设备及存储介质
CN115797569B (zh) * 2023-01-31 2023-05-02 盾钰（上海）互联网科技有限公司 高精度数孪人面部表情动作细分的动态生成方法及系统
CN117152308B (zh) * 2023-09-05 2024-03-22 江苏八点八智能科技有限公司 一种虚拟人动作表情优化方法与系统
CN117593493A (zh) * 2023-09-27 2024-02-23 书行科技(北京)有限公司 三维脸部拟合方法、装置、电子设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
TWI427545B (zh) 2009-11-16 2014-02-21 Univ Nat Cheng Kung 以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方法
TWI443601B (zh) 2009-12-16 2014-07-01 Ind Tech Res Inst 擬真臉部動畫系統及其方法
US8550818B2 (en) * 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
JP2014199536A (ja) 2013-03-29 2014-10-23 株式会社コナミデジタルエンタテインメント 顔モデル生成装置、顔モデル生成装置の制御方法、及びプログラム
CN104715227B (zh) * 2013-12-13 2020-04-03 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
KR102357340B1 (ko) * 2014-09-05 2022-02-03 삼성전자주식회사 얼굴 인식 방법 및 장치
KR101997500B1 (ko) * 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
EP3335195A2 (en) * 2015-08-14 2018-06-20 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN107025678A (zh) * 2016-01-29 2017-08-08 掌赢信息科技（上海）有限公司 一种3d虚拟模型的驱动方法及装置
KR101757642B1 (ko) * 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법
CN106652025B (zh) * 2016-12-20 2019-10-01 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
CN108960020A (zh) * 2017-05-27 2018-12-07 富士通株式会社 信息处理方法和信息处理设备
CN107705365A (zh) * 2017-09-08 2018-02-16 郭睿 可编辑的三维人体模型创建方法、装置、电子设备及计算机程序产品
US10796468B2 (en) * 2018-02-26 2020-10-06 Didimo, Inc. Automatic rig creation process
US10789753B2 (en) * 2018-04-23 2020-09-29 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
US10706556B2 (en) * 2018-05-09 2020-07-07 Microsoft Technology Licensing, Llc Skeleton-based supplementation for foreground image segmentation
WO2019216593A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing
CN109671016B (zh) * 2018-12-25 2019-12-17 网易（杭州）网络有限公司 人脸模型的生成方法、装置、存储介质及终端
CN109685892A (zh) * 2018-12-31 2019-04-26 南京邮电大学盐城大数据研究院有限公司 一种快速3d人脸构建系统及构建方法
CN110111418B (zh) * 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
CN110675475B (zh) * 2019-08-19 2024-02-20 腾讯科技（深圳）有限公司 一种人脸模型生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR20210047920A (ko) 2021-04-30
SG11202103190VA (en) 2021-04-29
JP7191213B2 (ja) 2022-12-16
CN110111418A (zh) 2019-08-09
US20210209851A1 (en) 2021-07-08
JP2022500790A (ja) 2022-01-04
KR102523512B1 (ko) 2023-04-18
US11836943B2 (en) 2023-12-05
WO2020228389A1 (zh) 2020-11-19
CN110111418B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
WO2020228389A1 (zh) 一种创建脸部模型的方法、装置、电子设备及计算机可读存储介质
US11749025B2 (en) Eye pose identification using eye features
CN108135469A (zh) 使用眼睛姿态测量的眼睑形状估计
CN111325846B (zh) 表情基确定方法、虚拟形象驱动方法、装置及介质
US20220148333A1 (en) Method and system for estimating eye-related geometric parameters of a user
CN104573634A (zh) 一种三维人脸识别方法
JP2020177615A (ja) アバター用の３ｄ顔モデルを生成する方法及び関連デバイス
JP2020177620A (ja) アバター用の３ｄ顔モデルを生成する方法及び関連デバイス
CN110188630A (zh) 一种人脸识别方法和相机
KR102160955B1 (ko) 딥 러닝 기반 3d 데이터 생성 방법 및 장치
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
US9786030B1 (en) Providing focal length adjustments
WO2023124869A1 (zh) 用于活体检测的方法、装置、设备及存储介质
CN111222448B (zh) 图像转换方法及相关产品
CN111368674B (zh) 图像识别方法及装置
CN117241064B (zh) 一种直播实时人脸替换的方法、设备及存储介质