TWI773458B - 重建人臉的方法、裝置、電腦設備及存儲介質 - Google Patents

重建人臉的方法、裝置、電腦設備及存儲介質 Download PDF

Info

Publication number
TWI773458B
TWI773458B TW110127356A TW110127356A TWI773458B TW I773458 B TWI773458 B TW I773458B TW 110127356 A TW110127356 A TW 110127356A TW 110127356 A TW110127356 A TW 110127356A TW I773458 B TWI773458 B TW I773458B
Authority
TW
Taiwan
Prior art keywords
face
target
real
data
virtual
Prior art date
Application number
TW110127356A
Other languages
English (en)
Other versions
TW202221651A (zh
Inventor
徐勝偉
王權
錢晨
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202221651A publication Critical patent/TW202221651A/zh
Application granted granted Critical
Publication of TWI773458B publication Critical patent/TWI773458B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Electric Double-Layer Capacitors Or The Like (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本公開提供了一種重建人臉的方法、裝置、電腦設備及存儲介質，其中，該方法包括：基於目標圖像生成第一真實人臉模型；利用預先生成的多個第二真實人臉模型對第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數；基於多個第二真實人臉模型分別對應的擬合係數、以及多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形係數；基於目標骨骼資料以及目標蒙皮變形係數，生成與第一真實人臉模型對應的目標虛擬人臉模型。

Description

重建人臉的方法、裝置、電腦設備及存儲介質
本發明涉及影像處理技術領域，具體而言，涉及一種重建人臉的方法、裝置、電腦設備及存儲介質。
相關申請的交叉引用
本專利申請要求於2020年11月25日提交的、申請號為202011337901.1、發明名稱為“一種人臉重建方法、裝置、電腦設備及存儲介質”的中國專利申請的優先權，該申請以引用的方式併入本文中。
通常，能夠根據真實人臉或自身喜好建立虛擬人臉三維模型，以實現人臉的重建，在遊戲、動漫、虛擬社交等領域具有廣泛應用。例如在遊戲中，玩家可以通過遊戲程式提供的人臉重建系統來依照玩家提供的圖像中包括的真實人臉而生成虛擬人臉三維模型，並利用所生成的虛擬人臉三維模型更有代入感的參與遊戲。
目前，在基於人像圖像中包括的真實人臉進行人臉重建時，通常是基於人臉圖像來提取人臉輪廓特徵，然後將提取的人臉輪廓特徵和預先生成的虛擬三維模型進行匹配、融合，以生成與真實人臉對應的虛擬人臉三維模型；但是，由於人臉輪廓特徵與預先生成的虛擬三維模型的匹配度較低，使得生成的虛擬人臉三維模型與真實人臉形象之間的相似度較低。
本公開實施例至少提供一種重建人臉的方法、裝置、電腦設備及存儲介質。
第一方面，本公開實施例提供了一種重建人臉的方法，包括：基於目標圖像生成第一真實人臉模型；利用預先生成的多個第二真實人臉模型對所述第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數；基於所述多個第二真實人臉模型分別對應的擬合係數、所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形係數；基於所述目標骨骼資料以及所述目標蒙皮變形係數，生成與所述第一真實人臉模型對應的目標虛擬人臉模型。
該實施方式中，利用擬合係數作為媒介，建立了多個第二真實人臉模型與第一真實人臉模型之間的關聯關係，該關聯關係能夠表徵基於第二真實人臉模型建立的虛擬人臉模型、和基於第一真實人臉模型建立的目標虛擬人臉模型之間的關聯；另外，目標蒙皮變形係數能夠表徵目標圖像中人臉蒙皮發生變形的特徵，如骨骼相同的情況下，存在可以由蒙皮表徵的胖瘦差異；基於擬合係數以及目標蒙皮變形係數確定的目標虛擬人臉模型，既具有預設風格、及第一真實人臉模型對應的原始人臉的特徵，又可以體現原始人臉的胖瘦特徵，所生成的目標虛擬人臉模型，和第一真實人臉模型對應的原始人臉之間具有更高的相似度。
在一種可選的實施方式中，基於所述多個第二真實人臉模型分別對應的擬合係數、所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標蒙皮變形係數，包括：基於所述多個第二真實人臉模型分別對應的擬合係數、以及多個所述虛擬人臉模型分別包括的蒙皮變形係數，生成所述目標蒙皮變形係數。
該實施方式中，將標準虛擬人臉模型的標準蒙皮資料作為基準，在確定了虛擬人臉模型的蒙皮變形係數後，能夠基於表徵虛擬人臉模型和目標虛擬人臉模型之間的關聯關係的擬合係數，確定目標虛擬人臉的目標蒙皮變形係數，從而能夠基於目標蒙皮變形係數更準確的確定目標虛擬人臉的蒙皮資料，使得生成的目標虛擬人臉模型和第一真實人臉模型對應的原始人臉之間具有更高的相似度。
在一種可選的實施方式中，所述基於所述多個第二真實人臉模型分別對應的擬合係數、以及多個所述虛擬人臉模型分別包括的蒙皮變形係數，生成所述目標蒙皮變形係數，包括：對所述多個第二真實人臉模型分別對應的擬合係數進行歸一化處理；基於歸一化處理後的擬合係數、以及所述虛擬人臉模型分別包括的蒙皮變形係數，得到所述目標蒙皮變形係數。
該實施方式中，通過對所述多個第二真實人臉模型分別對應的擬合係數進行歸一化處理，使得基於歸一化處理後的擬合係數、以及所述虛擬人臉模型分別包括的蒙皮變形係數得到目標蒙皮變形係數時，資料的表達更加的簡單，簡化了處理過程，提高了後續在使用擬合結果進行人臉重建的處理速度。
在一種可選的實施方式中，所述基於所述目標骨骼資料、以及所述目標蒙皮變形係數，生成與所述第一真實人臉模型對應的目標虛擬人臉模型，包括：基於所述目標骨骼資料、以及標準虛擬人臉模型中標準骨骼資料與標準蒙皮資料之間的關聯關係，對所述標準蒙皮資料進行位置變換處理，生成中間蒙皮資料；基於所述目標蒙皮變形係數，對所述中間蒙皮資料進行變形處理，得到目標蒙皮資料；基於所述目標骨骼資料、以及所述目標蒙皮資料，構成所述目標虛擬人臉模型。
該實施方式中，在生成中間蒙皮資料後，利用目標蒙皮變形係數對中間蒙皮資料進行變形處理，得到的目標蒙皮資料不僅可以表徵第一真實人臉模型的外貌特徵，還能夠表現出第一真實人臉的胖瘦程度，生成的目標虛擬人臉模型不僅具有外貌上的差異，還具有胖瘦程度的差異，使得在生成不同的目標虛擬人臉時，與第一真實人臉模型對應的原始人臉具有更高的相似度。
在一種可選的實施方式中，所述目標骨骼資料包括以下至少一種：目標骨骼位置資料、目標骨骼縮放資料、以及目標骨骼旋轉資料；所述多個虛擬人臉模型分別對應的骨骼資料包括以下至少一種：所述虛擬人臉的多塊人臉骨骼中每塊人臉骨骼對應的骨骼旋轉資料、骨骼位置資料、以及骨骼縮放資料。
該實施方式中，利用骨骼資料能夠更精確的表徵多塊人臉骨骼中每塊骨骼對應的骨骼資料，並且利用目標骨骼資料，能夠更精確的確定目標虛擬人臉模型。
在一種可選的實施方式中，基於所述多個第二真實人臉模型分別對應的擬合係數、所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料，包括：基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的骨骼位置資料進行插值處理，得到所述目標骨骼位置資料。
在一種可選的實施方式中，基於所述多個第二真實人臉模型分別對應的擬合係數、所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料，包括：基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的骨骼縮放資料進行插值處理，得到所述目標骨骼縮放資料。
在一種可選的實施方式中，基於所述多個第二真實人臉模型分別對應的擬合係數、所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料，包括：將所述多個虛擬人臉模型分別對應的骨骼旋轉資料轉換為四元數，並對所述多個虛擬人臉模型分別對應的四元數進行正則化處理，得到正則化四元數；基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的所述正則化四元數進行插值處理，得到所述目標骨骼旋轉資料。
在一種可選的實施方式中，所述基於目標圖像生成第一真實人臉模型，包括：獲取包括原始人臉的目標圖像；對所述目標圖像中包括的所述原始人臉進行三維人臉重建，得到所述第一真實人臉模型。
該實施方式中，利用對原始人臉進行三維人臉重建得到的第一真實人臉模型，可以更準確且全面的表徵目標圖像中原始人臉的人臉特徵。
在一種可選的實施方式中，根據以下方式預先生成多個所述第二真實人臉模型：獲取包括參考人臉的多張參考圖像；針對所述多張參考圖像中的每張參考圖像，對所述參考圖像中包括的所述參考人臉進行三維人臉重建，得到所述參考圖像對應的所述第二真實人臉模型。
該實施方式中，利用多張參考圖像，可以儘量覆蓋到較為廣泛的人臉外形特徵，因此，基於多張參考圖像中的每張參考圖像進行三維人臉重建得到的第二真實人臉模型同樣可以儘量覆蓋到較為廣泛的人臉外形特徵。
在一種可選的實施方式中，還包括針對所述多個第二真實人臉模型中的每個第二真實人臉模型，採用下述方式獲取所述第二真實人臉模型對應的具有預設風格的虛擬人臉模型：生成所述第二真實人臉模型對應的具有預設風格的中間虛擬人臉模型；基於相對於標準虛擬人臉模型的多組預設蒙皮變形係數，生成與所述第二真實人臉模型對應的虛擬人臉模型相對於所述標準虛擬人臉模型的蒙皮變形係數；利用所述蒙皮變形係數，對所述中間虛擬人臉模型中的中間蒙皮資料進行調整；基於調整後的中間蒙皮資料、以及所述中間虛擬人臉模型的中間骨骼資料，生成所述每個第二真實人臉模型的虛擬人臉模型。
該實施方式中，通過蒙皮變形係數，對第二真實人臉模型對應的中間虛擬人臉模型的中間蒙皮資料進行調整，使得生成的虛擬人臉模型不僅具有預設風格、以及第二真實人臉模型的外貌特徵，還能夠表徵與第二真實人臉模型對應的參考人臉胖瘦程度，使得虛擬人臉模型和對應的參考人臉之間具有更高的相似度。
在一種可選的實施方式中，所述利用預先生成的多個第二真實人臉模型對所述第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數，包括：對所述多個第二真實人臉模型以及所述第一真實人臉模型進行最小二乘處理，得到所述多個第二真實人臉模型分別對應的擬合係數。
該實施方式中，利用擬合係數，可以準確的表徵在利用多個第二真實人臉模型擬合第一真實人臉模型時的擬合情況。
第二方面，本公開實施例還提供一種重建人臉的裝置，包括：第一生成模組，用於基於目標圖像生成第一真實人臉模型；處理模組，用於利用預先生成的多個第二真實人臉模型對所述第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數；第二生成模組，用於基於所述多個第二真實人臉模型分別對應的擬合係數、及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形係數；第三生成模組，用於基於所述目標骨骼資料以及所述目標蒙皮變形係數，生成與所述第一真實人臉模型對應的目標虛擬人臉模型。
一種可選的實施方式中，所述第二生成模組在基於所述多個第二真實人臉模型分別對應的擬合係數、所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標蒙皮變形係數時，用於：基於所述多個第二真實人臉模型分別對應的擬合係數、以及多個所述虛擬人臉模型分別包括的蒙皮變形係數，生成所述目標蒙皮變形係數。
一種可選的實施方式中，所述第二生成模組在基於所述多個第二真實人臉模型分別對應的擬合係數、以及多個所述虛擬人臉模型分別包括的蒙皮變形係數，生成所述目標蒙皮變形係數時，用於：對所述多個第二真實人臉模型分別對應的擬合係數進行歸一化處理；基於歸一化處理後的擬合係數、以及所述虛擬人臉模型分別包括的蒙皮變形係數，得到所述目標蒙皮變形係數。
一種可選的實施方式中，所述第三生成模組在基於所述目標骨骼資料、以及所述目標蒙皮變形係數，生成與所述第一真實人臉模型對應的目標虛擬人臉模型時，用於：基於所述目標骨骼資料、以及標準虛擬人臉模型中標準骨骼資料與標準蒙皮資料之間的關聯關係，對所述標準蒙皮資料進行位置變換處理，生成中間蒙皮資料；基於所述目標蒙皮變形係數，對所述中間蒙皮資料進行變形處理，得到目標蒙皮資料；基於所述目標骨骼資料、以及所述目標蒙皮資料，構成所述目標虛擬人臉模型。
一種可選的實施方式中，所述目標骨骼資料包括以下至少一種：目標骨骼位置資料、目標骨骼縮放資料、以及目標骨骼旋轉資料；所述多個虛擬人臉模型分別對應的骨骼資料包括以下至少一種：所述虛擬人臉的多塊人臉骨骼中每塊人臉骨骼對應的骨骼旋轉資料、骨骼位置資料、以及骨骼縮放資料。
一種可選的實施方式中，所述第二生成模組在基於所述多個第二真實人臉模型分別對應的擬合係數、所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料時，用於：基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的骨骼位置資料進行插值處理，得到所述目標骨骼位置資料。
一種可選的實施方式中，第二生成模組在基於所述多個第二真實人臉模型分別對應的擬合係數、所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料時，用於：基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的骨骼縮放資料進行插值處理，得到所述目標骨骼縮放資料。
一種可選的實施方式中，所述第二生成模組在基於所述多個第二真實人臉模型分別對應的擬合係數、所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料時，用於：將所述多個虛擬人臉模型分別對應的骨骼旋轉資料轉換為四元數，並對所述多個虛擬人臉模型分別對應的四元數進行正則化處理，得到正則化四元數；基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的所述正則化四元數進行插值處理，得到所述目標骨骼旋轉資料。
一種可選的實施方式中，所述第一生成模組在基於目標圖像生成第一真實人臉模型時，用於：獲取包括原始人臉的目標圖像；對所述目標圖像中包括的所述原始人臉進行三維人臉重建，得到所述第一真實人臉模型。
一種可選的實施方式中，所述處理模組根據以下方式預先生成所述多個第二真實人臉模型：獲取包括參考人臉的多張參考圖像；針對所述多張參考圖像中的每張參考圖像，對所述參考圖像中包括的參考人臉進行三維人臉重建，得到所述參考圖像對應的所述第二真實人臉模型。
一種可選的實施方式中，還包括獲取模組，用於針對所述多個第二真實人臉模型中的每個第二真實人臉模型，採用下述方式獲取所述第二真實人臉模型對應的具有預設風格的虛擬人臉模型：生成所述第二真實人臉模型對應的具有預設風格的中間虛擬人臉模型；基於相對於標準虛擬人臉模型的多組預設蒙皮變形係數，生成與所述第二真實人臉模型對應的虛擬人臉模型相對於所述標準虛擬人臉模型的蒙皮變形係數；利用所述蒙皮變形係數，對所述中間虛擬人臉模型中的中間蒙皮資料進行調整；基於調整後的中間蒙皮資料、以及所述中間虛擬人臉模型的中間骨骼資料，生成所述第二真實人臉模型的虛擬人臉模型。
一種可選的實施方式中，所述處理模組利用預先生成的多個第二真實人臉模型對所述第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數時，用於：對所述多個第二真實人臉模型以及所述第一真實人臉模型進行最小二乘處理，得到所述多個第二真實人臉模型分別對應的擬合係數。
第三方面，本公開可選實現方式還提供一種電腦設備，處理器、記憶體，所述記憶體存儲有所述處理器可執行的機器可讀指令，所述處理器用於執行所述記憶體中存儲的機器可讀指令，所述機器可讀指令被所述處理器執行時，所述機器可讀指令被所述處理器執行時執行上述第一方面，或第一方面中任一種可能的實施方式中的步驟。
第四方面，本公開可選實現方式還提供一種電腦可讀存儲介質，該電腦可讀存儲介質上存儲有電腦程式，該電腦程式被運行時執行上述第一方面，或第一方面中任一種可能的實施方式中的步驟。
關於上述重建人臉的裝置、電腦設備、及電腦可讀存儲介質的效果描述參見上述重建人臉的方法的說明，這裡不再贅述。為使本公開的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
為使本公開實施例的目的、技術方案和優點更加清楚，下面將結合本公開實施例中附圖，對本公開實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例。通常在此處描述和示出的本公開實施例的元件可以以各種不同的配置來佈置和設計。因此，以下對本公開的實施例的詳細描述並非旨在限制要求保護的本公開的範圍，而是僅僅表示本公開的選定實施例。基於本公開的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本公開保護的範圍。
經研究發現，利用人臉重建的方法可以根據真實人臉或自身喜好建立虛擬人臉三維模型。其中，在基於人像圖像中的真實人臉進行人臉重建的情況下，通常先對人像圖像中的真實人臉進行特徵提取，以得到人臉輪廓特徵，再將人臉輪廓特徵與預先生成的虛擬三維模型中的特徵進行匹配，並基於匹配的結果，將人臉輪廓特徵與虛擬三維模型進行融合，以獲取與人像圖像中的真實人臉對應的虛擬人臉三維模型。由於在將人臉輪廓特徵與預先生成的虛擬三維模型中的特徵進行匹配時，匹配的準確率較低，使得虛擬三維模型與人臉輪廓特徵之間匹配的誤差較大，容易造成依據匹配結果對人臉輪廓特徵與人臉虛擬三維模型進行融合得到的虛擬人臉三維模型與人像圖像中的人臉相似度較低的問題。
針對以上方案所存在的缺陷，本公開實施例提供了本公開提供了一種重建人臉的方法，能夠生成具有預設風格並且具有第一真實人臉模型對應的原始人臉的特徵的目標虛擬人臉模型，該目標虛擬人臉模型可以體現原始人臉的胖瘦特徵，與第一真實人臉模型對應的原始人臉之間具有較高的相似度。
為便於對本實施例進行理解，首先對本公開實施例所公開的一種重建人臉的方法進行詳細介紹，本公開實施例所提供的重建人臉的方法的執行主體一般為具有一定計算能力的電腦設備，該電腦設備例如包括：終端設備或伺服器或其它處理設備，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無繩電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該重建人臉的方法可以通過處理器調用記憶體中存儲的電腦可讀指令的方式來實現。
下面對本公開實施例提供的重建人臉的方法加以說明。
圖1為本公開實施例提供的重建人臉的方法的流程圖，如圖1所示，所述方法包括步驟S101至S104，其中：
S101：基於目標圖像生成第一真實人臉模型。
S102：利用預先生成的多個第二真實人臉模型對第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數。
S103：基於多個第二真實人臉模型分別對應的擬合係數、以及多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形係數。其中，目標蒙皮變形係數可表示待生成的目標人臉模型的蒙皮資料相對于預先生成的標準虛擬人臉模型的標準蒙皮資料的變形。
S104：基於目標骨骼資料以及目標蒙皮變形係數，生成與第一真實人臉模型對應的目標虛擬人臉模型。
本公開實施例提供了一種重建人臉的方法，將擬合係數作為媒介，建立了多個第二真實人臉模型與第一真實人臉模型之間的關聯關係，該關聯關係能夠表徵基於第二真實人臉模型建立的虛擬人臉模型、和基於第一真實人臉模型建立的目標虛擬人臉模型之間的關聯，同時，通過目標蒙皮變形係數表徵目標圖像中人臉蒙皮變形的特徵，如骨骼相同的情況下，存在的胖瘦差異，從而基於擬合係數、以及虛擬人臉模型生成了目標虛擬人臉模型，該目標虛擬人臉模型既具有預設風格又具有第一真實人臉模型對應的原始人臉的特徵，而且還可以體現原始人臉的胖瘦特徵，所生成的目標虛擬人臉模型和第一真實人臉模型對應的原始人臉之間具有較高的相似度。
下面對上述步驟S101至S104加以詳細說明。
針對上述步驟S101，目標圖像例如為獲取的包括人臉的圖像，例如，在利用諸如相機等的拍攝設備對某一物件進行拍攝時獲取的包括人臉的圖像。此時，例如可以將圖像中包括的任一張人臉確定為原始人臉，並將原始人臉作為人臉重建的對象。
在將本公開實施例提供的重建人臉的方法應用於不同的場景下時，目標圖像的獲取方法也有所區別。
例如，在將該重建人臉的方法應用於遊戲中的情況下，可以通過遊戲裝置中安裝的圖像獲取設備獲取包括了遊戲玩家的臉部的圖像，或者可以從遊戲裝置的相冊中選擇包括了遊戲玩家的臉部的圖像、並將獲取的包括了遊戲玩家的臉部的圖像作為目標圖像。
又例如，在將重建人臉的方法應用於手機等終端設備的情況下，可以由終端設備的攝像頭採集包括使用者人臉的圖像，或者從終端設備的相冊中選擇包括了使用者人臉的圖像，或者從終端設備中安裝的其他應用程式中接收包括使用者的臉部的圖像。
又例如，在將重建人臉的方法應用於直播場景下，可以從直播設備獲取的視頻流中包括的多幀視頻幀圖像中獲取包含人臉的視頻幀圖像；並將包含人臉的視頻幀圖像作為目標圖像。此處，目標圖像例如可以有多幀；多幀目標圖像例如可以是對視頻流進行採樣獲得。
在基於目標圖像生成第一真實人臉模型時，例如可以採用下述方式：獲取包括原始人臉的目標圖像；對目標圖像中包括的原始人臉進行三維人臉重建，得到第一真實人臉模型。
此處，在對目標圖像中包括的原始人臉進行三維人臉重建時，例如可以採用三維可變形人臉模型（3 Dimensions Morphable Models，3DMM）得到原始人臉對應的第一真實人臉模型。其中，第一真實人臉模型例如包括目標圖像中原始人臉的多個關鍵點中每個關鍵點在預設的相機坐標系中的位置資訊。
針對上述步驟S102，第二真實人臉模型是基於包括參考人臉的參考圖像生成的。其中，不同參考圖像中的參考人臉可以不同；示例性地，可以選取性別、年齡、膚色、胖瘦程度等中至少一項不同的多個人，針對多個人中的每個人，獲取每個人的人臉圖像，並將獲取的人臉圖像作為參考圖像。這樣，基於多個參考圖像獲取的多個第二真實人臉模型，能夠儘量覆蓋到較為廣泛的人臉外形特徵。
其中，參考人臉例如包括N個不同物件對應的人臉，（N為大於1的整數）。示例性地，可以通過對N個不同物件分別進行拍攝，得到分別對應於N個不同物件的N張照片，且每張照片均對應一個參考人臉。此時，可以將此N張照片作為N張參考圖像；或者，從預先拍攝好的包括不同人臉的多張圖像中，確定N張參考圖像。
示例性地，生成多個第二真實人臉模型的方法包括：獲取包括參考人臉的多張參考圖像；針對多張參考圖像中的每張參考圖像，對該參考圖像中包括的參考人臉進行三維人臉重建，得到該參考圖像對應的第二真實人臉模型。
其中，對參考人臉進行三維人臉重建的方法與上述對原始人臉進行三維人臉重建的方法類似，在此不再贅述。所得到的第二真實人臉模型，包括參考圖像中參考人臉的多個關鍵點中每個關鍵點在預設的相機坐標系中的位置資訊。此時，該第二真實人臉模型的坐標系和第一真實人臉模型的坐標系可以為同一坐標系。
利用預先生成的多個第二真實人臉模型對第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的多個擬合係數，例如可以採用下述方式來實現：對多個第二真實人臉模型以及第一真實人臉模型進行最小二乘處理，得到多個第二真實人臉模型分別對應的擬合係數。
示例性地，可以將第一真實人臉模型對應的模型資料表示為
Figure 02_image001
，將第二真實人臉模型對應的模型資料表示為
Figure 02_image003
，其中，
Figure 02_image005
表示N個第二真實人臉模型中的第i個第二真實人臉模型。
利用
Figure 02_image001
對
Figure 02_image007
至
Figure 02_image009
中的每一項進行最小二乘處理，可以得到N個擬合值，該擬合值表示為
Figure 02_image011
。其中，
Figure 02_image013
表徵第i個第二真實人臉模型對應的擬合值。利用N個擬合值，可以確定擬合係數Alpha，例如可以用係數矩陣表示，也即
Figure 02_image015
。
此處，在通過多個第二真實人臉模型擬合第一真實人臉模型的過程中，通過多個擬合係數對多個第二真實人臉模型進行加權求和後得到的資料，可以與第一真實人臉模型的資料盡可能接近。
該擬合係數又可視為利用多個第二真實人臉模型表達第一真實人臉模型時每個第二真實人臉模型的表達係數。也即利用多個第二真實人臉模型分別在表達係數中對應的多個擬合值，可以將第二真實人臉模型向第一真實人臉模型進行轉化擬合。
針對上述步驟S103，預設風格例如可以為卡通風格、古代風格或抽象風格等，可以根據實際的需要進行具體地設定。示例性地，針對預設風格為卡通風格的情況，具有預設風格的虛擬人臉模型例如可以為具有某種卡通風格的虛擬人臉模型。
其中，虛擬人臉模型可包括骨骼資料、以及蒙皮資料和/或蒙皮變形係數。蒙皮變形係數表示虛擬人臉模型的蒙皮資料相對于預先生成的標準虛擬人臉模型的標準蒙皮資料的變形。
參見圖2所示，本公開實施例提供了針對所述多個第二真實人臉模型中的每個第二真實人臉模型，生成第二該真實人臉模型對應的具有預設風格的虛擬人臉模型的具體方法，包括：
S201：生成該第二真實人臉模型對應的具有預設風格的中間虛擬人臉模型。
此處，生成與該第二真實人臉模型對應的具有預設風格的中間虛擬人臉模型的方法例如包括下述（a1）和（a2）中至少一種。
（a1）可以基於參考圖像製作具有參考人臉特徵的、且具有預設風格的虛擬人臉圖像，並對虛擬人臉圖像中的虛擬人臉進行三維建模，得到虛擬人臉圖像中虛擬人臉的骨骼資料以及蒙皮資料。
其中，骨骼資料包括為虛擬人臉預設的多個骨骼在預設坐標系中的骨骼旋轉資料、骨骼縮放資料、以及骨骼位置資料。此處，多個骨骼例如可以進行多層級的劃分；例如包括根（root）骨骼、五官骨骼和五官細節骨骼；其中五官骨骼可以包括：眉骨骼、鼻骨骼、顴骨骨骼、下頜骨骼和嘴骨骼等；五官細節骨骼例如又可以將不同的五官骨骼再進行進一步的詳細劃分。可以根據不同風格的虛擬影像需求進行具體地設定，在此不做限定。
蒙皮資料包括虛擬人臉的表面中多個位置點在預設的模型坐標系中的位置資訊、以及每個位置點與多個骨骼中至少一個骨骼的關聯關係資訊。其中，該模型坐標系為針對虛擬人臉模型建立的三維坐標系。
將對虛擬人臉圖像中的虛擬人臉進行三維建模得到的虛擬模型作為第二真實人臉模型對應的中間虛擬人臉模型。
（a2）預先生成一具有預設風格的標準虛擬人臉模型。該標準虛擬人臉模型同樣包括標準骨骼資料、標準蒙皮資料、以及標準骨骼資料與標準蒙皮資料之間的關聯關係。基於多張參考圖像中的每張參考圖像對應的參考人臉的人臉特徵，對標準虛擬人臉模型中的標準骨骼資料進行調整，以使調整後的標準虛擬人臉模型在具有預設風格的同時，還包括了參考圖像中參考人臉的特徵；然後，基於標準骨骼資料與標準蒙皮資料之間的關聯關係，對標準蒙皮資料進行調整，同時還可以為標準蒙皮資料添加參考人臉所具有的特徵資訊，基於修改後的標準骨骼資料和修改後的標準蒙皮資料，生成第二真實人臉模型對應的中間虛擬人臉模型。
此處，中間虛擬人臉模型的具體資料表示可以參見上述（a1）中所描述的，在此不再贅述。
S202：基於相對於標準虛擬人臉模型的多組預設蒙皮變形係數，生成與該第二真實人臉模型對應的虛擬人臉模型相對於標準虛擬人臉模型的蒙皮變形係數。
這裡，針對標準虛擬人臉模型，生成的多組蒙皮變形係數是在標準虛擬人臉模型的骨骼未發生改變的情況下，僅僅對標準虛擬人臉模型的標準蒙皮資料中表徵標準虛擬人臉模型的例如顴骨等的具體位置對應的至少部分位置點進行調整的調整係數。
其中，每組蒙皮變形係數表徵對標準蒙皮資料中至少部分位置點在模型坐標系中的位置進行調整的結果，使得標準虛擬人臉模型中與調整的位置點所對應部位呈現變胖或者變瘦的效果。
通過多組預設蒙皮資料來組合參考人臉對應的蒙皮變形係數時，例如可以對多組預設蒙皮資料進行擬合，使得擬合後的結果，與參考人臉的人臉形狀相似。
S203：利用蒙皮變形係數，對中間虛擬人臉模型中的中間蒙皮資料進行調整，並基於調整後的中間蒙皮資料、以及中間虛擬人臉模型的中間骨骼資料，生成該第二真實人臉模型對應的虛擬人臉模型。
例如，在一種可能的實施方式中，可以獲取R組預設蒙皮變形係數
Figure 02_image017
；此處，每一組預設的蒙皮變形係數中，包括與蒙皮資料中多個位置點分別對應的變形系數值。示例性地，若蒙皮資料中的位置點有W個，每個位置點均對應一個變形系數值，則R組預設蒙皮變形係數中的每組蒙皮變形係數的維度為W。
其中，利用
Figure 02_image019
表示第i組預設蒙皮變形係數。利用R組預設蒙皮變形係數，可以對標準虛擬人臉模型的胖瘦做出修改，以獲取R個調整胖瘦特徵後的標準虛擬人臉模型。
在生成虛擬人臉模型時，可以用R組預設蒙皮變形係數
Figure 02_image017
組合得到虛擬人臉模型的蒙皮變形係數。此處，例如可以為不同的預設蒙皮變形係數添加對應的權值，利用該權值，將R組預設蒙皮變形係數進行加權求和，以得到某一虛擬人臉模型的蒙皮變形係數。
示例性地，在預先生成N個第二真實人臉模型、且獲取R組預設蒙皮變形係數的情況下，第i個真實人臉的蒙皮變形係數
Figure 02_image021
的維度為R×W。N個第二真實人臉模型分別對應的蒙皮變形係數，能夠構成一維度為N×R×W的矩陣；該矩陣中，包括N個第二真實人臉模型分別對應的虛擬人臉模型的蒙皮變形係數。
另外，在利用蒙皮變形係數，對中間虛擬人臉模型中的蒙皮資料進行調整時，還可以對中間虛擬人臉模型的骨骼資料進行微調，優化所生成的虛擬人臉模型的面部細節特徵，使得生成的虛擬人臉模型，與參考人臉具有更高的相似度。
在得到N個第二真實人臉模型分別對應的虛擬人臉模型後，即能夠利用N個虛擬人臉模型以及對應的擬合係數，擬合目標虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形資料。
具體地，目標虛擬人臉模型包括：目標骨骼資料、以及目標蒙皮資料；其中目標蒙皮資料是基於目標骨骼資料、以及目標虛擬人臉模型的目標蒙皮變形資料確定的。
本公開實施例在基於多個第二真實人臉模型對應的擬合係數、以及多個虛擬人臉模型分別對應的骨骼資料，得到目標骨骼資料時，例如包括：基於多個第二真實人臉模型分別對應的擬合係數，對多個虛擬人臉模型分別對應的骨骼資料進行插值處理，得到目標骨骼資料。
其中，虛擬人臉模型對應的骨骼資料包括以下至少一種：虛擬人臉的多塊人臉骨骼中每塊人臉骨骼對應的骨骼旋轉資料、骨骼位置資料和骨骼縮放資料。得到的目標骨骼資料包括以下至少一種：目標骨骼位置資料、目標骨骼縮放資料、以及目標骨骼旋轉資料。
示例性地，在基於多個第二真實人臉模型對應的擬合係數，對多個虛擬人臉模型分別對應的骨骼資料進行插值處理，得到目標骨骼資料時，例如可以採用下述（b1）至（b3）中至少一項：
（b1）基於多個第二真實人臉模型分別對應的擬合係數，對多個虛擬人臉模型分別對應的骨骼位置資料進行插值處理，得到目標骨骼位置資料。
（b2）基於多個第二真實人臉模型分別對應的擬合係數，對多個虛擬人臉模型分別對應的骨骼縮放資料進行插值處理，得到目標骨骼縮放資料。
（b3）將多個虛擬人臉模型分別對應的骨骼旋轉資料轉換為四元數，並對得到的四元數進行正則化處理，得到正則化四元數；基於多個第二真實人臉模型分別對應的擬合係數，對多個虛擬人臉模型分別對應的正則化四元數進行插值處理，得到目標骨骼旋轉資料。
在具體實施中，針對上述方法（b1）以及方法（b2），在獲取骨骼位置資料、及骨骼縮放資料的情況下，還包括基於多個第二真實人臉模型確定各層級骨骼、及各層級骨骼對應的局部坐標系。其中，在對人臉模型進行骨骼層級分層的情況下，例如可以直接按照生物學骨骼分層方法確定骨骼層級，也可以根據人臉重建的要求確定骨骼層級，具體的分層方法可以根據實際情況確定，在此不再贅述。
在確定各個骨骼層級後，即可基於各個骨骼層級建立每個骨骼層級對應的骨骼坐標系。示例性地，可以將各層級骨骼表示為
Figure 02_image023
。
此時，骨骼位置資料可以包括虛擬人臉模型中的各層級骨骼
Figure 02_image023
在對應的骨骼坐標系下的三維座標值；骨骼縮放資料可以包括虛擬人臉模型中的各層級骨骼
Figure 02_image023
在對應的骨骼坐標系下，用於表徵骨骼縮放程度的百分比，例如為80%、90%或100%。
在一種可能的實施方式中，將第i個虛擬人臉模型對應的骨骼位置資料表示為
Figure 02_image025
，將第i個虛擬人臉模型對應的骨骼縮放資料表示為
Figure 02_image027
。此時，骨骼位置資料
Figure 02_image025
包含多個層級骨骼分別對應的骨骼位置資料，且骨骼縮放資料
Figure 02_image027
包含多個層級骨骼分別對應的骨骼縮放資料。
此時對應的擬合係數為
Figure 02_image029
。基於M個第二真實人臉模型分別對應的擬合係數，對M個虛擬人臉模型分別對應的骨骼位置資料
Figure 02_image025
進行插值處理，得到目標骨骼位置資料。
示例性地，例如可以將擬合係數作為各個虛擬人臉模型對應的權重，對M個虛擬人臉模型分別對應的骨骼位置資料
Figure 02_image025
進行加權求和處理，實現插值處理的過程。此時，目標骨骼位置資料
Figure 02_image031
滿足下述公式（1）：
Figure 02_image033
（1）。
類似地，基於M個第二真實人臉模型分別對應的擬合係數，對M個虛擬人臉模型分別對應的骨骼縮放資料進行插值處理，得到目標骨骼縮放資料，其中，將第i個虛擬人臉模型對應的骨骼縮放資料表示為
Figure 02_image027
，可以將M個第二真實人臉模型分別對應的擬合係數，作為對應虛擬人臉模型的權重，對M個虛擬人臉模型分別對應的骨骼縮放資料進行加權求和處理，以實現對M個虛擬人臉模型進行插值處理；在該種情況下，目標骨骼縮放資料
Figure 02_image035
滿足下述公式（2）：
Figure 02_image037
（2）。
針對上述方法（b3），骨骼旋轉資料可以包括虛擬人臉模型中的各個骨骼分別在對應的骨骼坐標系下，用於表徵骨骼的旋轉座標變換程度的向量值，例如，包含旋轉軸和旋轉角。在一種可能的實施方式中，將第i個虛擬人臉模型對應的骨骼旋轉資料表示為
Figure 02_image039
。由於骨骼旋轉資料所包含的旋轉角存在萬向節鎖死的問題，故將骨骼旋轉資料轉換為四元數，並且對四元數正則化，得到正則化四元數數資料，表示為
Figure 02_image041
，以防止直接對四元數進行加權求和處理時產生過擬合的現象。
在基於M個第二真實人臉模型分別對應的擬合係數，對M個虛擬人臉模型分別對應的正則化四元數
Figure 02_image041
進行插值處理時，也可以將M個第二真實人臉模型分別對應的擬合係數作為權重，對M個虛擬人臉模型分別對應的正則化四元數進行加權求和；在該種情況下，目標骨骼旋轉資料
Figure 02_image043
滿足下述公式（3）：
Figure 02_image045
（3）。
另外，還可以採用其他的插值方法，得到目標骨骼位置資料
Figure 02_image031
、目標骨骼縮放資料
Figure 02_image035
、及目標骨骼旋轉資料
Figure 02_image043
，具體的可以根據實際的需要進行確定，本公開不做限定。
基於上述（b1）、（b2）、以及（b3）中得到的目標骨骼位置資料
Figure 02_image031
、目標骨骼縮放資料
Figure 02_image035
、及目標骨骼旋轉資料
Figure 02_image043
後，即可確定目標骨骼資料，表示為
Figure 02_image047
。示例性地，可以將該目標骨骼資料以向量形式表示為：
Figure 02_image049
。
在確定了多個第二真實人臉模型分別對應的擬合係數、以及多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型的情況下，在生成目標蒙皮變形係數時，例如可以採用下述方法：基於所述多個第二真實人臉模型分別對應的擬合係數、以及多個所述虛擬人臉模型分別包括的蒙皮變形係數，生成所述目標蒙皮變形係數。其中，虛擬人臉模型的蒙皮變形係數表示虛擬人臉模型的蒙皮資料相對于預先生成的標準虛擬人臉模型的標準蒙皮資料的變形。
參見圖3所示，本公開實施例還提供了一種得到目標蒙皮變形係數的具體方法，包括：
S301：對多個第二真實人臉模型分別對應的擬合係數進行歸一化處理。
其中，在對多個第二真實人臉模型分別對應的擬合係數進行歸一化處理的情況下，例如可以採用歸一化函數（Softmax）求取概率值，表徵多個第二真實人臉模型分別對應的擬合係數在多個擬合係數中的比值，設歸一化後的擬合係數為
Figure 02_image051
。
示例性地，在第二真實人臉模型有N個的情況下，進行歸一化處理得到的擬合係數
Figure 02_image051
的維度為N。
S302：基於歸一化後的擬合係數，對多個虛擬人臉模型分別包括的蒙皮變形係數進行插值處理，得到目標蒙皮變形係數。
此處，利用多個第二真實人臉模型分別對應的擬合係數分別對虛擬人臉模型包括的蒙皮變形係數進行擬合，得到的擬合結果可以表徵多個第二真實人臉模型對虛擬人臉模型的影響力，生成目標蒙皮變形係數。其中，目標蒙皮變形係數例如可以對人臉的胖瘦做出調整，使得得到的目標虛擬人臉模型與目標圖像中的人臉胖瘦特徵相符。
示例性地，可以基於歸一化後的所述擬合係數，對所述多個虛擬人臉模型分別對應的所述蒙皮變形係數進行加權求和，以實現對多個虛擬人臉模型分別對應的蒙皮變形係數進行插值處理，得到所述目標蒙皮變形係數。
歸一化處理得到的擬合係數
Figure 02_image051
可以表示維度為N的第一向量，R個虛擬人臉模型分別對應的蒙皮變形係數，能夠形成一維度為N×R的第二向量；此時，將所述多個虛擬人臉模型分別對應的所述蒙皮變形係數進行加權求和，例如可以直接將第一向量和第二向量進行相乘，得到目標蒙皮變形係數。
示例性地，例如可以採用下述公式得到目標蒙皮變形係數，表示為
Figure 02_image053
，且
Figure 02_image053
滿足下述公式（4）：
Figure 02_image055
（4）。
針對上述S104，參見圖4所示，本公開實施例還提供了一種基於目標骨骼資料、以及目標蒙皮變形係數，生成與第一真實人臉模型對應的目標虛擬人臉模型的具體方法，包括：
S401：基於目標骨骼資料、以及標準虛擬人臉模型中標準骨骼資料與標準蒙皮資料之間的關聯關係，對蒙皮資料進行位置變換處理，生成中間蒙皮資料。
其中，標準虛擬人臉模型中標準骨骼資料與標準蒙皮資料之間的關聯關係，可例如為各層級骨骼對應的標準骨骼資料與標準蒙皮資料之間的關聯關係。基於此關聯關係，即可將蒙皮綁定在虛擬人臉模型中的骨骼上。
利用目標骨骼資料、以及標準虛擬人臉模型中標準骨骼資料與標準蒙皮資料之間的關聯關係，可以對多個層級骨骼對應位置的蒙皮資料進行位置變換處理，以使生成的目標蒙皮資料中對應層級骨骼的位置可以與對應的目標骨骼資料中的位置相符，此時，例如可以將進行位置變換處理後的蒙皮資料，作為生成的中間蒙皮資料。
S402：基於目標蒙皮變形係數，對中間蒙皮資料進行變形處理，得到目標蒙皮資料。
S403：基於目標骨骼資料、以及目標蒙皮資料，構成目標虛擬人臉模型。
此處，利用目標骨骼資料，可以確定用於構建目標虛擬人臉模型的各層級骨骼；且利用目標蒙皮資料，可以確定將模型綁定至骨骼上的蒙皮，從而構成目標虛擬人臉模型。
其中，確定目標虛擬人臉模型的方法包括下述至少一種：基於目標骨骼資料、及目標蒙皮資料直接建立目標虛擬人臉模型；利用各層級骨骼對應的目標骨骼資料替換第一真實人臉模型中對應的各層級骨骼資料，再利用目標蒙皮資料建立目標虛擬人臉模型。具體建立目標虛擬人臉模型的方法可以按照實際情況確定，在此不再贅述。
本公開實施例還提供了一種利用本公開實施例提供的重建人臉的方法，對獲取目標圖像
Figure 02_image057
中的原始人臉A對應的目標虛擬人臉模型
Figure 02_image059
的具體過程的說明。 確定目標虛擬人臉模型
Figure 02_image059
包括下述步驟（c1）至（c6）：
（c1）準備素材；其中，包括：準備標準虛擬人臉模型的素材；以及準備虛擬圖片的素材。
在準備標準虛擬人臉模型的素材時，以選取卡通風格作為預設風格為例，首先設置一個卡通風格的標準虛擬人臉模型
Figure 02_image061
。
生成9組預設蒙皮變形係數；其中，使用9組蒙皮變形係數分別對標準虛擬人臉模型的標準蒙皮資料進行不同部位、和/或不同程度的改變，即可對標準虛擬人臉的胖瘦進行調整，涵蓋絕大多數臉型特徵。
在準備虛擬圖片的素材時，收集24張虛擬圖片
Figure 02_image063
~
Figure 02_image065
；收集的24張虛擬圖片中的虛擬人臉
Figure 02_image067
~
Figure 02_image069
對應的男生、女生的數量均衡，並且盡可能包含較廣泛的五官特徵分佈。
（c2）人臉模型重建；其中，包括：利用目標圖像
Figure 02_image057
中原始人臉A生成第一真實人臉模型
Figure 02_image071
；以及利用虛擬圖片中的虛擬人臉
Figure 02_image067
~
Figure 02_image069
生成第二真實人臉模型
Figure 02_image073
~
Figure 02_image075
。
在確定原始人臉A生成第一真實人臉模型
Figure 02_image071
時，首先對目標圖像中的人臉進行轉正剪裁，然後利用預先訓練好的RGB重建神經網路，生成原始人臉A對應的第一真實人臉模型
Figure 02_image071
。同樣的，利用預先訓練好的RGB重建神經網路，可以確定虛擬人臉
Figure 02_image067
~
Figure 02_image069
分別對應的第二真實人臉模型
Figure 02_image073
~
Figure 02_image075
。
在確定第二真實人臉模型
Figure 02_image073
~
Figure 02_image075
後，還包括：利用預設的風格，利用人工調整的方式，確定第二真實人臉模型
Figure 02_image073
~
Figure 02_image075
分別對應的具有預設風格的虛擬人臉模型
Figure 02_image077
~
Figure 02_image079
。
另外，還會基於9組預設蒙皮變形係數，生成24個虛擬人臉模型的蒙皮變形係數。
（c3）擬合處理；其中，包括：利用多個第二真實人臉模型對第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數：
Figure 02_image081
=
Figure 02_image083
。
在利用多個第二真實人臉模型對第一真實人臉模型進行擬合時，選取最小二乘法的方法進行擬合，得到24維繫數
Figure 02_image081
。
（c4）確定目標蒙皮變形係數；其中，在確定目標蒙皮變形係數時，還包括下述（c4-1）、（c4-2）、以及（c4-3）。
（c4-1）讀取具有預設風格的虛擬人臉模型
Figure 02_image077
~
Figure 02_image079
分別對應的蒙皮變形係數
Figure 02_image085
~
Figure 02_image087
；
（c4-2）對多個第二真實人臉模型分別對應的擬合係數
Figure 02_image081
進行歸一化處理；
（c4-3）利用多個第二真實人臉模型分別對應的擬合係數
Figure 02_image081
對多個虛擬人臉模型分別包括的蒙皮變形係數
Figure 02_image085
~
Figure 02_image087
進行插值處理，生成目標蒙皮變形係數
Figure 02_image089
。
（c5）確定目標骨骼資料；其中，在確定目標骨骼資料時，還包括下述（c5-1）以及（c5-2）。
（c5-1）讀取骨骼數據；其中，骨骼資料包括：在各層級骨骼
Figure 02_image023
下具有預設風格的虛擬人臉模型
Figure 02_image077
~
Figure 02_image079
分別對應的骨骼位置資料
Figure 02_image025
、骨骼縮放數據
Figure 02_image027
、以及骨骼旋轉資料
Figure 02_image039
。
（c5-2）利用擬合係數
Figure 02_image081
對預設風格的虛擬人臉模型
Figure 02_image077
~
Figure 02_image079
分別對應的骨骼資料進行插值處理，生成目標骨骼資料
Figure 02_image047
，該目標骨骼資料包括目標骨骼位置資料
Figure 02_image031
、目標骨骼縮放資料
Figure 02_image035
、及目標骨骼旋轉資料
Figure 02_image043
。
（c6）生成目標虛擬人臉模型。
基於目標骨骼資料以及目標蒙皮變形係數，將目標骨骼資料替換至標準虛擬人臉模型
Figure 02_image061
中，並利用目標蒙皮變形係數
Figure 02_image089
，將蒙皮與骨骼貼合，生成與第一真實人臉模型對應的目標虛擬人臉模型。
參見圖5所示，為本公開實施例提供的在上述具體示例包含的多個過程中使用的具體資料的示例。其中，圖5中a表示目標圖像，51表示原始人臉A；圖5中b表示具有卡通風格的標準虛擬人臉模型的示意圖；圖5中c表示在利用目標蒙皮變形係數對標準蒙皮資料中各個位置點進行調整後得到目標蒙皮資料中各個位置點的相對位置關係的示意圖；圖5中d表示得到的對應於原始人臉A生成的目標虛擬人臉模型的示意圖。
此處，值得注意的是，上述（c1）至（c6）僅是完成重建人臉的方法一個具體示例，不對本公開實施例提供的重建人臉的方法造成限定。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
基於同一發明構思，本公開實施例中還提供了與重建人臉的方法對應的重建人臉的裝置，由於本公開實施例中的裝置解決問題的原理與本公開實施例上述重建人臉的方法相似，因此裝置的實施可以參見方法的實施，重複之處不再贅述。
參照圖6所示，本公開實施例提供了一種重建人臉的裝置，所述裝置包括：第一生成模組61、處理模組62、第二生成模組63、及第三生成模組64。
第一生成模組61，用於基於目標圖像生成第一真實人臉模型。
處理模組62，用於利用預先生成的多個第二真實人臉模型對所述第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數。
第二生成模組63，用於基於所述多個第二真實人臉模型分別對應的擬合係數、以及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形係數。
第三生成模組64，用於基於所述目標骨骼資料以及所述目標蒙皮變形係數，生成與所述第一真實人臉模型對應的目標虛擬人臉模型。
一種可選的實施方式中，所述虛擬人臉模型包括表示所述虛擬人臉模型的蒙皮資料相對于預先生成的標準虛擬人臉模型的標準蒙皮資料的形變的蒙皮變形係數。
所述第二生成模組63在基於所述多個第二真實人臉模型分別對應的擬合係數、以及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標蒙皮變形係數時，用於：基於所述多個第二真實人臉模型分別對應的擬合係數、以及多個所述虛擬人臉模型分別包括的蒙皮變形係數，生成所述目標蒙皮變形係數。
一種可選的實施方式中，所述第二生成模組63在基於所述多個第二真實人臉模型分別對應的擬合係數、以及多個所述虛擬人臉模型分別包括的蒙皮變形係數，生成所述目標蒙皮變形係數時，用於：對所述多個第二真實人臉模型分別對應的擬合係數進行歸一化處理；基於歸一化處理後的擬合係數、以及所述虛擬人臉模型分別包括的蒙皮變形係數，得到所述目標蒙皮變形係數。
一種可選的實施方式中，所述第三生成模組64在基於所述目標骨骼資料、以及所述目標蒙皮變形係數，生成與所述第一真實人臉模型對應的目標虛擬人臉模型時，用於：基於所述目標骨骼資料、以及標準虛擬人臉模型中標準骨骼資料與標準蒙皮資料之間的關聯關係，對所述標準蒙皮資料進行位置變換處理，生成中間蒙皮資料；基於所述目標蒙皮變形係數，對所述中間蒙皮資料進行變形處理，得到目標蒙皮資料；基於所述目標骨骼資料、以及所述目標蒙皮資料，生成所述目標虛擬人臉模型。
一種可選的實施方式中，所述目標骨骼資料包括以下至少一種：目標骨骼位置資料、目標骨骼縮放資料、以及目標骨骼旋轉資料。
所述虛擬人臉模型對應的骨骼資料包括以下至少一種：所述虛擬人臉的多塊人臉骨骼中每塊人臉骨骼對應的骨骼旋轉資料、骨骼位置資料、以及骨骼縮放資料。
一種可選的實施方式中，所述第二生成模組63在基於所述多個第二真實人臉模型分別對應的擬合係數、以及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料時，用於：基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的骨骼位置資料進行插值處理，得到所述目標骨骼位置資料。
一種可選的實施方式中，第二生成模組63在基於所述多個第二真實人臉模型分別對應的擬合係數、以及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料時，用於：基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的骨骼縮放資料進行插值處理，得到所述目標骨骼縮放資料。
一種可選的實施方式中，所述第二生成模組63在基於所述多個第二真實人臉模型分別對應的擬合係數、以及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料時，用於：將所述多個虛擬人臉模型分別對應的骨骼旋轉資料轉換為四元數，並對所述多個虛擬人臉模型分別對應的四元數進行正則化處理，得到正則化四元數；基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的所述正則化四元數進行插值處理，得到所述目標骨骼旋轉資料。
一種可選的實施方式中，在基於目標圖像生成第一真實人臉模型時，所述第一生成模組61用於：獲取包括原始人臉的目標圖像；對所述目標圖像中包括的所述原始人臉進行三維人臉重建，得到所述第一真實人臉模型。
一種可選的實施方式中，所述處理模組62根據以下方式預先生成所述多個第二真實人臉模型：獲取包括參考人臉的多張參考圖像；針對所述多張參考圖像中的每張參考圖像，對所述參考圖像中包括的參考人臉進行三維人臉重建，得到所述參考圖像對應的第二真實人臉模型。
一種可選的實施方式中，該重建人臉的裝置還包括獲取模組65，用於針對所述多個第二真實人臉模型中的每個第二真實人臉模型，採用下述方式獲取所述第二真實人臉模型對應的具有預設風格的虛擬人臉模型：生成所述第二真實人臉模型對應的具有預設風格的中間虛擬人臉模型；基於相對於標準虛擬人臉模型的多組預設蒙皮變形係數，生成與所述第二真實人臉模型對應的虛擬人臉模型相對於所述標準虛擬人臉模型的蒙皮變形係數；利用所述蒙皮變形係數，對所述中間虛擬人臉模型中的中間蒙皮資料進行調整；基於調整後的中間蒙皮資料、以及所述中間虛擬人臉模型的中間骨骼資料，生成所述第二真實人臉模型的虛擬人臉模型。
一種可選的實施方式中，所述處理模組62利用預先生成的多個第二真實人臉模型對所述第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數時，用於：對所述多個第二真實人臉模型以及所述第一真實人臉模型進行最小二乘處理，得到所述多個第二真實人臉模型分別對應的擬合係數。
關於裝置中的各模組的處理流程、以及各模組之間的交互流程的描述可以參照上述方法實施例中的相關說明，這裡不再詳述。
如圖7所示，本公開實施例還提供了一種電腦設備，包括：處理器71和記憶體72。
記憶體72存儲有處理器71可執行的機器可讀指令，處理器71用於執行記憶體72中存儲的機器可讀指令，所述機器可讀指令被處理器71執行時，處理器71執行下述步驟：基於目標圖像生成第一真實人臉模型；利用預先生成的多個第二真實人臉模型對所述第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數；基於所述多個第二真實人臉模型分別對應的擬合係數、所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形係數；基於所述目標骨骼資料以及所述目標蒙皮變形係數，生成與所述第一真實人臉模型對應的目標虛擬人臉模型。
上述記憶體72包括記憶體721和外部記憶體722；這裡的記憶體721也稱內記憶體，用於暫時存放處理器71中的運算資料，以及與硬碟等外部記憶體722交換的資料，處理器71通過記憶體721與外部記憶體722進行資料交換。
上述指令的具體執行過程可以參考本公開實施例中所述的重建人臉的方法，此處不再贅述。
本公開實施例還提供一種電腦可讀存儲介質，該電腦可讀存儲介質上存儲有電腦程式，該電腦程式被處理器運行時執行上述方法實施例中所述的重建人臉的方法。其中，該存儲介質可以是易失性或非易失的電腦可讀取存儲介質。
本公開實施例還提供一種電腦程式產品，該電腦程式產品承載有程式碼，所述程式碼包括的指令可用於執行上述方法實施例中所述的重建人臉的方法，具體可參見上述方法實施例，在此不再贅述。
其中，上述電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦存儲介質，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體發展包（Software Development Kit，SDK）等等。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本公開所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本公開各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個處理器可執行的非易失的電腦可讀取存儲介質中。基於這樣的理解，本公開的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該電腦軟體產品存儲在一個存儲介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本公開各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：U盤、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以存儲程式碼的介質。
最後應說明的是：以上所述實施例，僅為本公開的具體實施方式，用以說明本公開的技術方案，而非對其限制，本公開的保護範圍並不局限於此，儘管參照前述實施例對本公開進行了詳細的說明，本領域的普通技術人員應當理解：任何熟悉本技術領域的技術人員在本公開揭露的技術範圍內，其依然可以對前述實施例所記載的技術方案進行修改或可輕易想到變化，或者對其中部分技術特徵進行等同替換；而這些修改、變化或者替換，並不使相應技術方案的本質脫離本公開實施例技術方案的精神和範圍，都應涵蓋在本公開的保護範圍之內。因此，本公開的保護範圍應所述以權利要求的保護範圍為准。
51:原始人臉 61:第一生成模組 62:處理模組 63:第二生成模組 64:第三生成模組 65:獲取模組 71:處理器 72:記憶體 721:記憶體 722:外部記憶體 S101:基於目標圖像生成第一真實人臉模型的步驟 S102:利用預先生成的多個第二真實人臉模型對第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數的步驟 S103:基於多個第二真實人臉模型分別對應的擬合係數、以及多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形係數的步驟 S104:基於目標骨骼資料以及目標蒙皮變形係數，生成與第一真實人臉模型對應的目標虛擬人臉模型的步驟 S201:生成該第二真實人臉模型對應的具有預設風格的中間虛擬人臉模型的步驟 S202:基於相對於標準虛擬人臉模型的多組預設蒙皮變形係數，生成與該第二真實人臉模型對應的虛擬人臉模型相對於標準虛擬人臉模型的蒙皮變形係數的步驟 S203:利用蒙皮變形係數，對中間虛擬人臉模型中的中間蒙皮資料進行調整，並基於調整後的中間蒙皮資料、以及中間虛擬人臉模型的中間骨骼資料，生成該第二真實人臉模型對應的虛擬人臉模型的步驟 S301:對多個第二真實人臉模型分別對應的擬合係數進行歸一化處理的步驟 S302:基於歸一化後的擬合係數，對多個虛擬人臉模型分別包括的蒙皮變形係數進行插值處理，得到目標蒙皮變形係數的步驟 S401:基於目標骨骼資料、以及標準虛擬人臉模型中標準骨骼資料與標準蒙皮資料之間的關聯關係，對蒙皮資料進行位置變換處理，生成中間蒙皮資料的步驟 S402:基於目標蒙皮變形係數，對中間蒙皮資料進行變形處理，得到目標蒙皮資料的步驟 S403:基於目標骨骼資料、以及目標蒙皮資料，構成目標虛擬人臉模型的步驟
為了更清楚地說明本公開實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹。這些附圖示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。應當理解，以下附圖僅示出了本公開的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。 圖1示出了本公開一實施例所提供的一種重建人臉的方法的流程圖； 圖2示出了本公開另一實施例所提供的一種重建人臉的方法的流程圖； 圖3示出了本公開實施例所提供的一種得到目標蒙皮變形係數的具體方法的流程圖； 圖4示出了本公開實施例所提供的一種基於目標骨骼資料、以及目標蒙皮變形係數，生成與第一真實人臉模型對應的目標虛擬人臉模型的具體方法的流程圖； 圖5示出了本公開實施例提供的一種重建人臉的方法中涉及的多個人臉以及人臉模型的示例； 圖6示出了本公開實施例提供的一種重建人臉的裝置的示意圖； 圖7示出了本公開實施例所提供的一種電腦設備的示意圖。
S101:基於目標圖像生成第一真實人臉模型的步驟
S102:利用預先生成的多個第二真實人臉模型對第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數的步驟
S103:基於多個第二真實人臉模型分別對應的擬合係數、以及多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形係數的步驟
S104:基於目標骨骼資料以及目標蒙皮變形係數，生成與第一真實人臉模型對應的目標虛擬人臉模型的步驟

Claims (15)

  1. 一種重建人臉的方法，應用於計算機設備的處理器，所述方法包括：基於目標圖像生成第一真實人臉模型；利用預先生成的多個第二真實人臉模型對所述第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數，其中，所述第二真實人臉模型是基於包括參考人臉的參考圖像生成的，所述參考人臉包括N個不同物件對應的人臉，其中，所述擬合係數表示利用多個第二真實人臉模型表達所述第一真實人臉模型時每個第二真實人臉模型的表達係數；基於所述多個第二真實人臉模型分別對應的擬合係數、及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形係數；基於所述目標骨骼資料以及所述目標蒙皮變形係數，生成與所述第一真實人臉模型對應的目標虛擬人臉模型。
  2. 如請求項1所述的重建人臉的方法，其中，基於所述多個第二真實人臉模型分別對應的擬合係數、及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標蒙皮變形係數，包括：基於所述多個第二真實人臉模型分別對應的擬合係數、以及所述多個虛擬人臉模型分別包括的蒙皮變形係數，生成所述目標蒙皮變形係數。
  3. 如請求項1所述的重建人臉的方法，其中，所述基於所述多個第二真實人臉模型分別對應的擬合係數、以及所述多個虛擬人臉模型分別包括的蒙皮變形係數，生成所述目標蒙皮變形係數，包括：對所述多個第二真實人臉模型分別對應的擬合係數進行歸一化處理；基於歸一化處理後的擬合係數、以及所述多個虛擬人臉模型分別包括的蒙皮變形係數，得到所述目標蒙皮變形係數。
  4. 如請求項1所述的重建人臉的方法，其中，所述基於所述目標骨骼資料以及所述目標蒙皮變形係數，生成與所述第一真實人臉模型對應的目標虛擬人臉模型，包括：基於所述目標骨骼資料、以及標準虛擬人臉模型中的標準骨骼資料與標準蒙皮資料之間的關聯關係，對所述標準蒙皮資料進行位置變換處理，生成中間蒙皮資料；基於所述目標蒙皮變形係數對所述中間蒙皮資料進行變形處理，得到目標蒙皮資料；基於所述目標骨骼資料、以及所述目標蒙皮資料，構成所述目標虛擬人臉模型。
  5. 如請求項1至4任一項所述的重建人臉的方法，其中，所述目標骨骼資料包括以下至少一種：目標骨骼位置資料、目標骨骼縮放資料、以及目標骨骼旋轉資料； 所述多個虛擬人臉模型分別對應的骨骼資料包括以下至少一種：所述虛擬人臉的多塊人臉骨骼中每塊人臉骨骼對應的骨骼旋轉資料、骨骼位置資料、以及骨骼縮放資料。
  6. 如請求項5所述的重建人臉的方法，其中，所述基於所述多個第二真實人臉模型分別對應的擬合係數、及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料，包括：基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的骨骼位置資料進行插值處理，得到所述目標骨骼位置資料。
  7. 如請求項5所述的重建人臉的方法，其中，所述基於所述多個第二真實人臉模型分別對應的擬合係數、及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料，包括：基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的骨骼縮放資料進行插值處理，得到所述目標骨骼縮放資料。
  8. 如請求項5所述的重建人臉的方法，其中，所述基於所述多個第二真實人臉模型分別對應的擬合係數、及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料，包括： 將所述多個虛擬人臉模型分別對應的骨骼旋轉資料轉換為四元數，對所述多個虛擬人臉模型分別對應的四元數進行正則化處理，得到正則化四元數；基於所述多個第二真實人臉模型分別對應的擬合係數，對所述多個虛擬人臉模型分別對應的所述正則化四元數進行插值處理，得到所述目標骨骼旋轉資料。
  9. 如請求項1所述的重建人臉的方法，其中，所述基於目標圖像生成第一真實人臉模型，包括：獲取包括原始人臉的目標圖像；對所述目標圖像中包括的所述原始人臉進行三維人臉重建，得到所述第一真實人臉模型。
  10. 如請求項1所述的重建人臉的方法，其中，根據以下方式預先生成所述多個第二真實人臉模型：獲取包括參考人臉的多張參考圖像；針對所述多張參考圖像中的每張參考圖像，對所述參考圖像中包括的參考人臉進行三維人臉重建，得到所述參考圖像對應的所述第二真實人臉模型。
  11. 如請求項1所述的重建人臉的方法，其中，還包括針對所述多個第二真實人臉模型中的每個第二真實人臉模型，採用下述方式獲取所述第二真實人臉模型對應的具有預設風格的虛擬人臉模型： 生成所述第二真實人臉模型對應的具有預設風格的中間虛擬人臉模型；基於相對於標準虛擬人臉模型的多組預設蒙皮變形係數，生成與所述第二真實人臉模型對應的虛擬人臉模型相對於所述標準虛擬人臉模型的蒙皮變形係數；利用所述蒙皮變形係數，對所述中間虛擬人臉模型中的中間蒙皮資料進行調整；並基於調整後的中間蒙皮資料、以及所述中間虛擬人臉模型的中間骨骼資料，生成所述第二真實人臉模型的虛擬人臉模型。
  12. 如請求項1所述的重建人臉的方法，其中，所述利用預先生成的多個第二真實人臉模型對所述第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數，包括：對所述多個第二真實人臉模型以及所述第一真實人臉模型進行最小二乘處理，得到所述多個第二真實人臉模型分別對應的擬合係數。
  13. 一種重建人臉的裝置，包括：第一生成模組，用於基於目標圖像生成第一真實人臉模型；處理模組，用於利用預先生成的多個第二真實人臉模型對所述第一真實人臉模型進行擬合處理，得到多個第二真實人臉模型分別對應的擬合係數，其中，所述第二真實人臉模型是基於包括參考人臉的參考圖像生成的，所述參考人臉包括N個不同物件對應 的人臉，其中，所述擬合係數表示利用多個第二真實人臉模型表達所述第一真實人臉模型時每個第二真實人臉模型的表達係數；第二生成模組，用於基於所述多個第二真實人臉模型分別對應的擬合係數、及所述多個第二真實人臉模型分別對應的具有預設風格的虛擬人臉模型，生成目標骨骼資料以及目標蒙皮變形係數；第三生成模組，用於基於所述目標骨骼資料以及所述目標蒙皮變形係數，生成與所述第一真實人臉模型對應的目標虛擬人臉模型。
  14. 一種電腦設備，包括處理器和記憶體，所述記憶體存儲有所述處理器可執行的機器可讀指令，所述處理器用於執行所述記憶體中存儲的機器可讀指令，所述機器可讀指令被所述處理器執行時，所述處理器執行如請求項1至12任一項所述的重建人臉的方法。
  15. 一種電腦可讀存儲介質，其上存儲有電腦程式，所述電腦程式被電腦設備運行時，所述電腦設備執行如請求項1至12任一項所述的重建人臉的方法。
TW110127356A 2020-11-25 2021-07-26 重建人臉的方法、裝置、電腦設備及存儲介質 TWI773458B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011337901.1 2020-11-25
CN202011337901.1A CN112419454B (zh) 2020-11-25 2020-11-25 一种人脸重建方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
TW202221651A TW202221651A (zh) 2022-06-01
TWI773458B true TWI773458B (zh) 2022-08-01

Family

ID=74842193

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110127356A TWI773458B (zh) 2020-11-25 2021-07-26 重建人臉的方法、裝置、電腦設備及存儲介質

Country Status (5)

Country Link
JP (1) JP7523530B2 (zh)
KR (1) KR20220075339A (zh)
CN (1) CN112419454B (zh)
TW (1) TWI773458B (zh)
WO (1) WO2022110791A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI846598B (zh) * 2023-09-15 2024-06-21 華碩電腦股份有限公司 三維表面重建方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419454B (zh) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN113160418A (zh) * 2021-05-10 2021-07-23 上海商汤智能科技有限公司 三维重建方法、装置和系统、介质及计算机设备
CN113610992B (zh) * 2021-08-04 2022-05-20 北京百度网讯科技有限公司 骨骼驱动系数确定方法、装置、电子设备及可读存储介质
CN113808249B (zh) * 2021-08-04 2022-11-25 北京百度网讯科技有限公司 图像处理方法、装置、设备和计算机存储介质
CN113805532B (zh) * 2021-08-26 2023-05-23 福建天泉教育科技有限公司 一种制作实体机器人动作的方法及终端
CN114529640B (zh) * 2022-02-17 2024-01-26 北京字跳网络技术有限公司 一种运动画面生成方法、装置、计算机设备和存储介质
CN114693876B (zh) * 2022-04-06 2024-08-06 北京字跳网络技术有限公司 数字人生成方法、装置、存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026849A1 (en) * 2009-07-31 2011-02-03 Hirokazu Kameyama Image processing apparatus and method, data processing apparatus and method, and program and recording medium
CN110599573A (zh) * 2019-09-03 2019-12-20 电子科技大学 一种基于单目相机的人脸实时交互动画的实现方法
CN111724457A (zh) * 2020-03-11 2020-09-29 长沙千博信息技术有限公司 基于ue4的真实感虚拟人多模态交互实现方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9314692B2 (en) * 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
KR101696007B1 (ko) 2013-01-18 2017-01-13 한국전자통신연구원 3d 몽타주 생성 장치 및 방법
JP6207210B2 (ja) 2013-04-17 2017-10-04 キヤノン株式会社 情報処理装置およびその方法
KR101757642B1 (ko) * 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법
CN109395390B (zh) * 2018-10-26 2021-12-21 网易（杭州）网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
CN110111247B (zh) * 2019-05-15 2022-06-24 浙江商汤科技开发有限公司 人脸变形处理方法、装置及设备
CN110111417B (zh) 2019-05-15 2021-04-27 浙江商汤科技开发有限公司 三维局部人体模型的生成方法、装置及设备
CN110675475B (zh) * 2019-08-19 2024-02-20 腾讯科技（深圳）有限公司 一种人脸模型生成方法、装置、设备及存储介质
CN111695471B (zh) * 2020-06-02 2023-06-27 北京百度网讯科技有限公司 虚拟形象生成方法、装置、设备以及存储介质
CN111714885B (zh) * 2020-06-22 2024-07-23 网易（杭州）网络有限公司 游戏角色模型生成、角色调整方法、装置、设备及介质
CN111784821B (zh) * 2020-06-30 2023-03-14 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN112419485B (zh) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112419454B (zh) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026849A1 (en) * 2009-07-31 2011-02-03 Hirokazu Kameyama Image processing apparatus and method, data processing apparatus and method, and program and recording medium
CN110599573A (zh) * 2019-09-03 2019-12-20 电子科技大学 一种基于单目相机的人脸实时交互动画的实现方法
CN111724457A (zh) * 2020-03-11 2020-09-29 长沙千博信息技术有限公司 基于ue4的真实感虚拟人多模态交互实现方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI846598B (zh) * 2023-09-15 2024-06-21 華碩電腦股份有限公司 三維表面重建方法

Also Published As

Publication number Publication date
CN112419454B (zh) 2023-11-28
WO2022110791A1 (zh) 2022-06-02
JP2023507863A (ja) 2023-02-28
JP7523530B2 (ja) 2024-07-26
KR20220075339A (ko) 2022-06-08
TW202221651A (zh) 2022-06-01
CN112419454A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
TWI773458B (zh) 重建人臉的方法、裝置、電腦設備及存儲介質
TWI778723B (zh) 重建人臉的方法、裝置、電腦設備及存儲介質
US10540817B2 (en) System and method for creating a full head 3D morphable model
WO2021253788A1 (zh) 一种人体三维模型构建方法及装置
CN114981844A (zh) 3d身体模型生成
EP3980974A1 (en) Single image-based real-time body animation
JP2013524357A (ja) ビデオ・シーケンスに記録された現実エンティティのリアルタイムのクロッピングの方法
CN111784821A (zh) 三维模型生成方法、装置、计算机设备及存储介质
WO2013078404A1 (en) Perceptual rating of digital image retouching
WO2023077742A1 (zh) 视频处理方法及装置、神经网络的训练方法及装置
WO2021098143A1 (zh) 图像处理方法及装置、图像处理设备及存储介质
TWI780919B (zh) 人臉影像的處理方法、裝置、電子設備及儲存媒體
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN115601484B (zh) 虚拟人物面部驱动方法、装置、终端设备和可读存储介质
CN114333034A (zh) 人脸姿态估计方法、装置、电子设备及可读存储介质
CN115984447B (zh) 图像渲染方法、装置、设备和介质
JP7525814B2 (ja) 顔再構成方法、装置、コンピュータ装置及び記憶媒体
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
CN113095206A (zh) 虚拟主播生成方法、装置和终端设备
CN114612614A (zh) 人体模型的重建方法、装置、计算机设备及存储介质
CN108717730B (zh) 一种3d人物重建的方法及终端
CN114359453A (zh) 一种三维特效渲染方法、装置、存储介质及设备
CN114429518A (zh) 人脸模型重建方法、装置、设备和存储介质
CN115393487A (zh) 一种虚拟角色模型处理方法、装置、电子设备及存储介质
CN114677476A (zh) 一种脸部处理方法、装置、计算机设备及存储介质