TW202240531A - 影像生成、三維人臉模型生成的方法、裝置、電子設備及儲存媒體 - Google Patents

影像生成、三維人臉模型生成的方法、裝置、電子設備及儲存媒體 Download PDF

Info

Publication number
TW202240531A
TW202240531A TW110147533A TW110147533A TW202240531A TW 202240531 A TW202240531 A TW 202240531A TW 110147533 A TW110147533 A TW 110147533A TW 110147533 A TW110147533 A TW 110147533A TW 202240531 A TW202240531 A TW 202240531A
Authority
TW
Taiwan
Prior art keywords
image
normal vector
face
texture feature
data
Prior art date
Application number
TW110147533A
Other languages
English (en)
Inventor
樸鏡潭
林君儀
孫克強
Original Assignee
大陸商商湯集團有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商商湯集團有限公司 filed Critical 大陸商商湯集團有限公司
Publication of TW202240531A publication Critical patent/TW202240531A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公開提供了用於影像生成、三維人臉模型生成的方法、裝置、電子設備及媒體，其中，該人臉影像生成方法，包括：獲取法向量影像、以及紋理特徵數據，其中，所述法向量影像中每個像素點的像素值表徵與所述法向量影像對應的三維人臉模型中與該像素點對應的模型頂點的法向量的值；對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像。

Description

影像生成、三維人臉模型生成的方法、裝置、電子設備及儲存媒體
本公開涉及影像處理技術領域，具體而言，涉及用於影像生成、三維人臉模型生成的方法、裝置、電子設備及儲存媒體。
三維人臉重建是指基於人臉影像恢復人臉的三維模型。在生成人臉的三維模型後，能夠基於人臉的三維模型生成人臉影像。當前的人臉影像生成方法存在生成的人臉影像的準確度較差的問題。
本公開實施例至少提供用於影像生成、三維人臉模型生成的方法、裝置、電子設備及媒體。
第一方面，本公開實施例提供了一種人臉影像生成方法，包括：獲取法向量影像、以及紋理特徵數據，其中，所述法向量影像中每個像素點的像素值表徵與所述法向量影像對應的三維人臉模型中與該像素點對應的模型頂點的法向量的值；對所述法向量影像以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像。
這樣，以法向量影像作為幾何條件，以紋理特徵數據建模對人臉影像的其他影響因素，通過將法向量影像和紋理特徵數據進行數據融合處理，所得的重構人臉影像具有更高的準確度。
第二方面，本公開實施例還提供一種三維人臉模型生成方法，包括：對包括目標人臉的目標人臉影像進行三維人臉重建和紋理特徵恢復，得到所述目標人臉的初始法向量影像、以及所述目標人臉的初始紋理特徵數據；基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型。
在該方法中，由於基於初始法向量影像、以及初始紋理特徵數據生成的人臉影像具有更高的準確度，因而所生成的目標人臉的三維人臉模型也具有更高的精度。
第三方面，本公開實施例提供的一種人臉影像生成裝置，包括：第一獲取模組，用於獲取法向量影像、以及紋理特徵數據，其中，所述法向量影像中每個像素點的像素值表徵與所述法向量影像對應的三維人臉模型中與該像素點對應的模型頂點的法向量的值；第一處理模組，用於對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像。
第四方面，本公開實施例還提供一種三維人臉模型生成裝置，包括：第二獲取模組，用於對包括目標人臉的目標人臉影像進行三維人臉重建和紋理特徵恢復，得到所述目標人臉的初始法向量影像、以及所述目標人臉的初始紋理特徵數據；第二處理模組，用於基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型。
第五方面，本公開可選實現方式還提供一種電子設備，處理器、儲存器，所述儲存器儲存有所述處理器可執行的機器可讀指令，所述處理器用於執行所述儲存器中儲存的機器可讀指令，所述機器可讀指令被所述處理器執行時，所述機器可讀指令被所述處理器執行時執行上述第一方面，或第一方面中任一種可能的實施方式中的步驟；或執行上述第二方面，或第二方面中任一種可能的實施方式中的步驟。
第六方面，本公開可選實現方式還提供一種計算機可讀儲存媒體，該計算機可讀儲存媒體上儲存有計算機程式，該計算機程式被運行時執行上述第一方面，或第一方面中任一種可能的實施方式中的步驟；或執行上述第二方面，或第二方面中任一種可能的實施方式中的步驟。
為使本公開的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
本公開要求於2021年4月9日提交的、申請號為202110387786.7、發明名稱為“影像生成、三維模型生成方法、裝置、電子設備及媒體”的中國專利申請的優先權，該中國專利申請公開的全部內容以引用的方式併入本文中。
為使本公開實施例的目的、技術方案和優點更加清楚，下面將結合本公開實施例中附圖，對本公開實施例中的技術方案進行清楚、完整地描述。顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例。通常在此處描述和示出的本公開實施例的組件可以以各種不同的配置來佈置和設計。因此，以下對本公開的實施例的詳細描述並非旨在限制要求保護的本公開的範圍，而是僅僅表示本公開的選定實施例。基於本公開的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬本公開保護的範圍。
經研究發現，以單目人臉影像作為輸入，進行三維人臉重建能夠恢復三維人臉模型。三維人臉模型包括多個模型頂點、以及模型頂點之間的連接關係。模型頂點之間相互連接，形成多個面片，能夠表徵人臉的輪廓。對人臉進行三維幾何重建，目的即為恢復構成三維人臉模型的多個模型頂點中每個模型頂點的三維位置信息。基於深度學習技術生成三維人臉模型的方式，通常是將人臉影像作為輸入，學習迴歸相應的三維人臉模型參數，例如採用三維變形模型（3 Dimension Morphable Model，3DMM），來對影像進行三維人臉重建。但這種三維人臉重建的方法需要大量的標註數據，而標註數據的獲取往往比較困難，且生成的三維人臉模型的精度較低。
另外，基於三維人臉模型生成人臉影像在影視，遊戲，虛擬社交等領域有著重要的作用。例如，在獲得原始人臉對應的三維人臉模型後，可以按照一定的方式對三維人臉模型中的模型頂點進行位置上的調整，從而可基於調整後的三維人臉模型生成新的人臉影像。通過該種方式可以變換原始人臉的表情，使得生成的人臉影像既具有原始人臉的特徵，又具有某種風格的特徵。利用三維人臉模型生成人臉影像的方式，通常是採用優化的方法，該方法通過獲取人臉參數，如反射率、紋理、光照、視角等，然後基於獲取的人臉參數，根據一定的圖形規則生成人臉影像。然而由於圖形規則通常採用簡化的模型來描述人臉影像捕獲的實體過程，許多成像過程的細節無法被建模，造成如此生成的人臉影像準確度較差。
基於上述研究，本公開提供了一種人臉影像生成方法，以人臉的法向量影像作為幾何條件，以紋理特徵數據建模對人臉影像的其他影響因素，通過將法向量影像和紋理特徵數據進行數據融合處理，所得的重構人臉影像具有更高的準確度。
另外，本公開實施例還提供了一種三維人臉模型生成方法，通過基於包含目標人臉的目標人臉影像，預測目標人臉的初始法向量影像，然後基於所述初始法向量影像、以及所述目標人臉的初始紋理特徵數據，得到目標人臉的三維人臉模型。在該方法中，由於基於初始法向量影像、以及初始紋理特徵數據進行人臉影像重構具有更高的準確度，因而基於初始法向量影像、以及初始紋理特徵數據所生成的目標人臉的三維人臉模型也具有更高的精度。
以上均是發明人在經過實踐並仔細研究後得出的結果，因此，上述問題的發現過程以及下文中本公開針對上述問題所提出的解決方案，都應該是發明人在本公開過程中對本公開做出的貢獻。
應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步定義和解釋。
為便於對本實施例進行理解，首先對本公開實施例所公開的一種人臉影像生成方法進行詳細介紹，本公開實施例所提供的人臉影像生成的執行主體一般為具有一定計算能力的電子設備，該電子設備例如包括終端設備或伺服器或其它處理設備。其中，終端設備可以為用戶設備（User Equipment，UE）、移動設備、用戶終端、移動終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該人臉影像生成可以通過處理器調用儲存器中儲存的計算機可讀指令的方式來實現。
下面對本公開實施例提供的人臉影像生成加以說明。
參見圖1所示，為本公開實施例提供的人臉影像生成方法的流程圖，所述方法包括步驟S101~S102。
S101：獲取法向量影像、以及紋理特徵數據。其中，所述法向量影像中每個像素點的像素值表徵在所述法向量影像對應的三維人臉模型中，與該像素點對應的模型頂點的法向量的值。
S102：對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像。
本公開實施例通過獲取三維人臉模型的法向量影像以及紋理特徵數據，並對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像，從而實現了以人臉的法向量影像作為幾何條件，以紋理特徵數據建模對人臉影像的其他影響因素，所得的重構人臉影像具有更高的準確度。
針對上述S101：三維人臉模型，例如可以是利用包括人臉的影像進行三維人臉重建得到的初始三維人臉模型，即將該初始三維人臉模型直接確定為要進行人臉影像重建的三維人臉模型；或者，也可以在對包括人臉的影像進行三維人臉重建得到初始三維人臉模型後，對該初始三維人臉模型中各個模型頂點在三維坐標系中的位置進行調整，得到要進行人臉影像重建的三維人臉模型。此處，該調整可以例如是針對人臉胖瘦程度的調整、針對人臉表情的調整、基於某種風格的調整。
上述三維人臉模型的法向量影像，例如可以利用三維人臉模型中每個模型頂點的法向量生成。
在具體實施中，在三維人臉模型所在的三維坐標系中，每個模型頂點的法向量的值可包括所述法向量在三維坐標系中各個坐標軸對應的坐標值。則法向量影像例如可以是一個三通道的影像，該影像中每個像素點的像素值，表徵與該像素點對應的模型頂點的法向量在三個坐標軸分別對應的坐標值。
在生成三維人臉模型的法向量影像時，例如可以針對三維人臉模型中的每個模型頂點，確定以該模型頂點作為其中一個頂點的至少一個網格；然後根據所述至少一個網格分別所在的平面，可以確定所述至少一個網格分別對應的法向量；然後利用所述至少一個網格分別對應的法向量，可以確定該模型頂點對應的法向量。例如，可以對至少一個網格分別對應的法向量求均值，得到該模型頂點對應的法向量。
紋理特徵數據可以是對任一張包含人臉的影像進行隨機高斯採樣得到。具體地，針對本公開實施例的不同應用場景，紋理特徵數據的獲取方式有所區別。例如，若應用場景為生成具有某種風格的重構人臉影像，則可以針對該種風格的人臉影像進行紋理信息的隨機高斯採樣，得到紋理特徵數據。又例如，若要生成某種光照環境下的重構人臉影像，則可以針對該種光照環境下的人臉影像進行紋理信息的隨機高斯採樣，得到紋理特徵數據。換言之，可根據不同的需要確定紋理特徵數據的提取來源。
針對上述S102：參見圖2所示，本公開實施例提供一種對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像的具體方法，包括：
S201：對所述紋理特徵數據進行特徵變換，得到多級數據融合處理分別對應的變換紋理特徵數據。
在具體實施中，由於採用隨機高斯採樣得到紋理特徵數據可能是利用另一張包括人臉的影像進行的，因而若用於採集紋理特徵數據的另一張人臉影像和三維人臉模型對應的人臉影像無法適配，直接將紋理特徵數據和法向量影像進行數據融合處理，可能會造成所生成的重構人臉影像的真實度較差。因而，本公開實施例中，在將法向量影像和紋理特徵數據進行多級數據融合處理時，會先對紋理特徵數據進行特徵變換，得到多級數據融合處理分別對應的變換紋理特徵數據。這樣，既能夠提升變換紋理特徵數據與三維人臉模型之間的適配度，又能夠保證不同級別的數據融合處理對應的變換紋理特徵數據包括不同的紋理特徵。然後針對每級數據融合處理，將每級數據融合處理對應的變換紋理特徵數據和法向量影像進行融合，也即實現了將紋理特徵數據和法向量影像的逐步融合，使得得到的重構人臉影像具有更高的精度，且具有更強的真實感。
本公開實施例提供一種對紋理特徵數據進行特徵變換，得到多級數據融合處理分別對應的變換紋理特徵數據的具體方法，包括：對所述紋理特徵數據進行第一全連接處理，得到第一中間紋理特徵數據；對所述第一中間紋理特徵數據進行多次第二全連接處理，得到所述多級數據融合處理分別對應的變換紋理特徵數據。其中，不同的第二全連接處理的全連接參數不同。
其中，可以利用具有多層全連接層的第一全連接網路對紋理特徵數據進行第一全連接處理，得到第一中間紋理特徵數據。
可以利用多個第二全連接網路對第一中間紋理特徵數據分別進行全連接處理，得到多個第二全連接網路分別對應的變換紋理特徵數據。其中，每個第二全連接網路對應一級數據融合處理，且不同的第二全連接網路的網路參數不同，使得不同的第二全連接網路能夠從第一中間紋理特徵數據中提取到不同的紋理特徵，從而通過將所述不同的紋理特徵分為多級與法向量影像逐步融合，可以提升生成的重構人臉影像的真實度。
示例性的，紋理特徵數據表示為
Figure 02_image001
；對紋理特徵數據進行第一全連接處理後得到的第一中間紋理特徵數據表示為
Figure 02_image003
。則紋理特徵數據
Figure 02_image001
和第一中間紋理特徵數據
Figure 02_image003
之間的關係可以表示為
Figure 02_image005
。
變換紋理特徵數據表示為
Figure 02_image007
，則第一中間紋理特徵數據
Figure 02_image009
和變換紋理特徵數據
Figure 02_image007
之間的關係可表示為：
Figure 02_image011
。
其中，
Figure 02_image013
表示為第一全連接處理；
Figure 02_image015
表示第二全連接處理；則對紋理特徵數據
Figure 02_image001
進行特徵變換，得到多級數據融合處理分別對應的變換紋理特徵數據
Figure 02_image007
可以簡化表示為下述公式（1）：
Figure 02_image017
（1）
承接上述S201，本公開實施例提供的對法向量影像、以及紋理特徵數據進行多級數據融合處理的方法還包括S202：針對多級數據融合處理中的每級數據融合處理，將該級數據融合處理對應的變換紋理特徵數據、與該級數據融合處理對應的輸入特徵圖進行第一特徵融合，得到該級數據融合處理對應的中間特徵圖。
在具體實施中，每級數據融合處理均有對應的輸入特徵圖。其中，第一級數據融合處理對應的輸入特徵圖，可以是利用預設特徵圖確定的。針對不同的三維人臉模型、以及紋理特徵數據，該預設特徵圖可以相同。例如，該預設特徵圖可以是在對影像生成神經網路進行訓練的過程中確定的。具體確定方式，可參見下述圖3對應的實施例所示，在此不再贅述。此處，可以直接將預設特徵圖確定為該第一級數據融合處理對應的輸入特徵圖，也可以對該預設特徵圖進行上採樣處理，得到與該第一級數據融合處理對應的輸入特徵圖。
另外，針對除第一級數據融合處理外的任一級數據融合處理，該級數據融合處理對應的輸入特徵圖是利用上一級數據融合處理輸出的結果特徵圖確定的。此處，針對除第一級數據融合處理外的其他各級數據融合處理，可以直接將對應的上一級數據融合處理輸出的結果特徵圖作為該級數據融合處理對應的輸入特徵圖。另外，也可以對上一級數據融合處理輸出的結果特徵圖進行上採樣處理，得到與該級數據融合處理對應的輸入特徵圖。
這樣，基於預設特徵圖，逐級對各級數據融合處理對應的結果特徵圖進行上採樣處理，從而使得最後一級數據融合處理輸出的結果特徵圖的尺寸能夠符合要生成的重構人臉影像的尺寸，使得生成的重構人臉影像具有較高的分辨率，提升重構人臉影像的清晰度。
示例性的，在對上一級數據融合處理輸出的結果特徵圖進行上採樣時，可以將結果特徵圖中各個特徵點（連同特徵值）進行複製，並填充至對應特徵點的相鄰位置。這樣，若結果特徵圖的尺寸為m*n，則進行複製填充後得到的特徵圖的尺寸為2m*2n。之後，對複製填充後形成的特徵圖進行高斯濾波，可以得到本級數據融合處理對應的輸入特徵圖。
將該級數據融合處理對應的變換紋理特徵數據、與該級數據融合處理對應的輸入特徵圖進行第一特徵融合，得到該級數據融合處理對應的中間特徵圖的具體方法例如可採用下述方法A或B中任一種。
方法A：針對多級數據融合處理中的每級數據融合處理，利用該級數據融合處理對應的變換紋理特徵數據，對該級數據融合處理對應的卷積核進行變換，得到變換卷積核。
例如可以基於下述公式（2），用該級數據融合處理對應的變換紋理特徵數據，對該級數據融合處理對應的卷積核進行變換：
Figure 02_image019
（2）
其中，
Figure 02_image021
為該級數據融合處理對應的卷積核的第c個卷積核通道中位置為
Figure 02_image023
的卷積核參數；
Figure 02_image025
表示變換紋理特徵數據中，與第c個卷積核通道對應的紋理特徵元素。其中，卷積核的通道數量、輸入特徵圖的通道數量、以及變換紋理特徵數據中紋理特徵元素的數量相同。
Figure 02_image027
為超參數，其用於避免除數為0；
Figure 02_image029
表示變換卷積核的第c個卷積核通道中位置為
Figure 02_image023
的卷積核參數。
利用所述變換卷積核對所述輸入特徵圖進行卷積處理，得到該級數據融合處理對應的中間特徵圖。此處，例如可以基於下述公式（3），用變換卷積核對輸入特徵圖進行卷積處理：
Figure 02_image031
（3）
其中，
Figure 02_image033
表示輸入特徵圖的第
Figure 02_image035
個通道中位置為
Figure 02_image037
的特徵點的特徵值；
Figure 02_image039
表示變換卷積核的第
Figure 02_image035
個通道中位置為
Figure 02_image023
的卷積核參數；
Figure 02_image041
表示中間特徵圖的第
Figure 02_image035
個通道中位置為
Figure 02_image043
的特徵點的特徵值。
通過上述過程，可以實現將變換紋理特徵數據、和輸入特徵圖進行第一特徵融合。由於是利用變換紋理特徵數據對卷積核進行變換，而卷積核的數據量通常是小於輸入特徵圖的數據量的，因此能夠大量減少在變換過程中所需要處理的數據，有效提升數據處理效率。
方法B：針對多級數據融合處理中的每級數據融合處理，利用該級數據融合處理對應的變換紋理特徵數據，對該級數據融合處理對應的輸入特徵圖進行變換，得到變換特徵圖；然後，利用該級數據融合處理對應的卷積核，對變換特徵圖進行卷積處理，得到該級數據融合處理對應的中間特徵圖。 利用變換紋理特徵數據對輸入特徵圖進行變換的方式，與上述方法A中利用變換紋理特徵數據對卷積核進行變換的方式類似，在此不再贅述。
承接上述S202，本公開實施例提供的對法向量影像、以及紋理特徵數據進行多級數據融合處理的方法還包括S203：對該級數據融合處理對應的中間特徵圖、以及所述法向量影像進行第二特徵融合，得到該級數據融合處理對應的結果特徵圖。
在具體實施S203中，可以計算中間特徵圖和法向量影像之間的乘積，將乘積結果矩陣直接作為該級數據融合處理對應的結果特徵圖。此處，結果特徵圖可例如滿足下述公式（4）：
Figure 02_image045
（4）
Figure 02_image041
表示中間特徵圖的第
Figure 02_image035
個通道中位置為
Figure 02_image043
的特徵點的特徵值；
Figure 02_image047
表示結果特徵圖的第
Figure 02_image035
個通道中位置為
Figure 02_image043
的特徵點的特徵值；
Figure 02_image049
表示法向量影像中位置為
Figure 02_image043
的像素點對應的法向量的值。
另外，由於法向量影像的尺寸和中間特徵圖的尺寸可能會有所差異，因此在將法向量影像與中間特徵圖進行第二特徵融合之前，可以對法向量影像進行尺寸調整，使得其尺寸能夠滿足與中間特徵圖進行第二特徵融合的要求。示例性的，可以通過對法向量影像進行上採樣或者下採樣處理，以實現對其尺寸的調整。具體的調整方式，與各級數據融合處理對應的中間特徵圖的尺寸相關，在此不再贅述。
另一種實施例中，由於人臉的紋理特徵數據無法完全表達人臉影像的所有細節，因此，為了使得最終生成的重構人臉影像更具有真實度，可以在得到乘積結果矩陣後，基於該級數據融合處理對應的乘積結果矩陣、以及該級數據融合處理的預設偏差矩陣和/或噪聲矩陣，得到該級數據融合處理對應的結果特徵圖。示例性的，此處的預設偏差矩陣可以是超參數，噪聲矩陣可以例如為隨機高斯噪聲映射。例如可以將該級數據融合處理對應的乘積結果矩陣、與該級數據融合處理的預設偏差矩陣和/或噪聲矩陣進行對位相加，得到該級數據融合處理對應的結果特徵圖。
在得到最後一級數據融合處理輸出的結果特徵圖後，可以直接將該結果特徵圖中各個特徵點的特徵值，作為重構人臉影像中各個像素點的像素值，渲染生成重構人臉影像。
本公開實施例提供的人臉影像生成方法可以利用預先訓練好的第一神經網路實現。
具體地，參見圖3所示，本公開示例提供一種訓練第一神經網路的具體方法，包括：
S301：獲取第一樣本三維人臉模型的第一樣本法向量影像、以及第一樣本紋理特徵數據。
此處，第一樣本三維人臉模型的第一樣本法向量影像和第一樣本紋理特徵數據的獲取方式，與上述S101中，三維人臉模型的法向量影像和紋理特徵數據獲取方式相似，在此不再贅述。
S302：利用待訓練的第一神經網路，對所述第一樣本法向量影像、以及所述第一樣本紋理特徵數據進行數據融合處理，得到所述第一樣本三維人臉模型的重建影像。
此處，利用待訓練的第一神經網路生成重建影像的過程，與上述生成重構人臉影像的過程類似，在此不再贅述。
S303：基於所述重建影像，獲取第一訓練損失，並利用所述第一訓練損失，訓練所述第一神經網路。
在具體實施中，第一訓練損失，可包括下述至少一種：法向量一致性損失、人臉關鍵點一致性損失、以及身份一致性損失。
（1）：針對所述第一訓練損失包括法向量一致性損失的情況，所述基於所述重建影像，獲取第一訓練損失，包括：對所述重建影像進行法向量預測處理，得到所述重建影像的預測法向量影像；利用所述第一樣本法向量影像、和所述預測法向量影像，得到所述法向量一致性損失。
此處，在對重建影像進行法向量預測處理時，例如可以首先基於重建影像生成預測三維人臉模型，然後基於生成的預測三維人臉模型，得到重建影像的預測法向量影像。
在具體實施中，給定一組第一樣本法向量影像
Figure 02_image051
、一組第一樣本紋理特徵數據
Figure 02_image001
、和一組隨機噪聲矩陣
Figure 02_image053
，經過第一神經網路G輸出的重建影像
Figure 02_image055
滿足下述公式（5）：
Figure 02_image057
（5）
利用人臉法向量預測網路N預測可生成重建影像
Figure 02_image055
的法向量影像
Figure 02_image059
，若生成的重建影像
Figure 02_image055
與第一樣本三維人臉模型的一致性足夠高，則重建影像
Figure 02_image055
的法向量影像
Figure 02_image059
和第一樣本三維人臉模型的第一樣本法向量影像
Figure 02_image051
也應當足夠一致，因此，法向量一致性損失
Figure 02_image061
滿足描述公式（6）：
Figure 02_image063
（6）
其中，
Figure 02_image065
為人臉檢測網路，輸出人臉區域掩碼，該人臉區域掩碼使得法向量一致性損失只在人臉區域有效；
Figure 02_image067
為預先訓練的人臉法向量預測網路，用於預測得到重建影像
Figure 02_image055
的法向量影像
Figure 02_image059
；
Figure 02_image069
表示元素乘。此處，人臉法向量預測網路
Figure 02_image067
可以採用SfSNet（Shape from Shading Net）網路。
（2）：針對所述第一訓練損失包括關鍵點一致性損失的情況，所述基於所述重建影像，獲取第一訓練損失，包括：對利用所述第一神經網路、基於第一樣本法向量影像和第一參考樣本紋理特徵數據得到的第一重建影像進行關鍵點識別，得到所述第一重建影像的第一關鍵點；以及，對利用所述第一神經網路、基於所述第一樣本法向量影像和第一目標樣本紋理特徵數據得到的第二重建影像進行關鍵點識別，得到所述第二重建影像的第二關鍵點；利用所述第一關鍵點和所述第二關鍵點，得到所述關鍵點一致性損失。其中，第一重建影像和第二重建影像對應的第一樣本法向量影像相同。
由於法向量影像關注的是人臉表面的一般結構，而對於人臉而言，較為關注人臉中各個關鍵點的位置是否準確。本公開實施例中，利用兩組不同的第一樣本紋理特徵數據（包括第一參考樣本紋理特徵數據和第一目標樣本紋理特徵數據）以及同一組第一樣本法向量影像，生成第一重建影像和第二重建影像。原理上而言，生成的人臉影像和第一樣本三維人臉模型之間的匹配度越高，則利用不同紋理特徵數據生成的不同重建影像中的人臉關鍵點的位置也較為接近。因此，本公開實施例中將人臉關鍵點作為一個重要的約束條件，通過利用第一重建影像和第二重建影像之間的關鍵點一致性損失，進一步提升第一神經網路的訓練精度。
其中，關鍵點一致性損失
Figure 02_image071
例如滿足下述公式（7）：
Figure 02_image073
（7）
其中，
Figure 02_image075
表示第一參考樣本紋理特徵數據；
Figure 02_image077
表示第一目標樣本紋理特徵數據；
Figure 02_image079
表示對影像進行關鍵點識別。
（3）：針對所述第一訓練損失包括身份一致性損失的情況，所述基於所述重建影像，獲取第一訓練損失，包括：對利用所述第一神經網路、基於第一參考樣本法向量影像和第一樣本紋理特徵數據進行融合處理得到的第三重建影像進行身份識別，得到第一身份識別結果；以及對利用所述第一神經網路、基於第一目標樣本法向量影像和所述第一樣本紋理特徵數據進行融合處理得到的第四重建影像進行身份識別，得到第二身份識別結果；基於所述第一身份識別結果和所述第二身份識別結果，得到所述身份一致性損失。
在具體實施中，當同一個人的人臉位姿或者人臉表情發生變化時，應當能夠識別到人臉位姿或者人臉表情不同的影像為同一人的影像。因此，本公開實施例中，所述第一參考樣本法向量影像和所述第一目標樣本法向量影像對應同一人的人臉表情、和/或人臉位姿不同。利用第一神經網路所得到的重建影像中，包括了基於第一參考樣本法向量影像得到的第三重建影像和基於第一目標樣本法向量影像得到的第四重建影像，然後分別對第三重建影像和第四重建影像進行身份識別，並利用兩者的身份識別結果得到身份一致性損失。
示例性的，身份一致性損失
Figure 02_image081
例如滿足下述公式（8）：
Figure 02_image083
（8）
其中，
Figure 02_image085
表示人臉形狀；
Figure 02_image087
和
Figure 02_image089
分別表示不同的人臉表情；
Figure 02_image091
和
Figure 02_image093
分別表示不同的人臉位姿；
Figure 02_image095
表示對影像進行身份識別處理。
這樣，利用保持紋理特徵數據z不變，使用不同表情
Figure 02_image087
和
Figure 02_image089
、和不同姿態
Figure 02_image091
和
Figure 02_image093
所生成的人臉影像進行生成後人臉身份一致性的確認，即通過確保人臉識別得到的特徵相近，可以完成對紋理特徵數據z和表情形狀參數的解耦。
（4）：針對所述第一訓練損失包括對抗損失的情況，可以構造一個第一神經網路的對抗網路，利用第一神經網路預測得到的重建影像，作為對抗網路的輸入，利用對抗網路預測重建影像的真實度。其中，對抗網路產生的損失，即對抗損失
Figure 02_image097
。通過引入對抗損失
Figure 02_image097
作為對第一神經網路進行訓練的第一訓練損失中的一部分損失，可以提升經訓練得到的第一神經網路產生的重構人臉影像的真實度。
在本公開一實施例中，針對第一訓練損失包括上述法向量一致性損失、人臉關鍵點一致性損失、身份一致性損失、以及對抗損失中多種損失的情況，可以對多種損失進行加權求和，作為第一訓練損失。示例性的，在訓練第一神經網路時的第一訓練損失
Figure 02_image099
可以用下述公式（9）表示：
Figure 02_image101
（9）
其中，
Figure 02_image103
表示相應損失對應的權重值。
參見圖4所示，本公開實施例還提供一種第一神經網路GAR的具體結構的示例。其中，第一神經網路GAR可以包括：N個渲染塊410-1、410-2、…410-N，N為大於或等於1的整數。
第一全連接網路420：用於對紋理特徵數據
Figure 02_image001
進行第一全連接處理，得到第一中間紋理特徵數據
Figure 02_image009
。
第二全連接網路430-1、430-2、…430-N：用於對第一中間紋理特徵數據
Figure 02_image009
進行第二全連接處理，得到與對應渲染塊對應的變換紋理特徵數據
Figure 02_image007
。
噪聲傳播模組440：用於將噪聲矩陣
Figure 02_image053
向各個渲染塊410-1、410-2、…410-N中傳播。
上採樣模組（圖中未示出），用於對法向量影像
Figure 02_image051
進行尺寸調整，以將所述法向量影像調整至每個渲染塊410-1、410-2、…410-N所需要的尺寸。
上述圖4可以基於紋理特徵數據
Figure 02_image001
、法向量影像
Figure 02_image051
以及噪聲矩陣
Figure 02_image053
得到真實度較強的重構人臉影像。
參見圖5所示，本公開示例還提供一種渲染塊410的具體結構，其可以包括：
卷積核變換模組411，用於利用變換紋理特徵數據
Figure 02_image007
對卷積核
Figure 02_image105
進行變換，得到變換卷積核
Figure 02_image107
。
上採樣層412：用於對上一渲染塊輸出的結果特徵圖，或者預設特徵圖進行上採樣處理，得到當前渲染塊對應的輸入特徵圖。
卷積層413：用於利用變換卷積核
Figure 02_image107
對當前渲染塊對應的輸入特徵圖進行卷積處理，得到當前渲染塊對應的中間特徵圖。
融合模組414：用於對當前渲染塊對應的中間特徵圖和法向量影像進行第二特徵融合，得到融合特徵圖。
然後將融合特徵圖與噪聲矩陣
Figure 02_image053
和/或偏差矩陣
Figure 02_image109
進行對位相加，可得到當前渲染塊對應的結果特徵圖。
下面對本公開實施例提供的三維人臉模型生成方法加以說明。參見圖6所示，本公開實施例提供一種三維人臉模型生成方法，包括：
S601：對包括目標人臉的目標人臉影像進行三維人臉重建和紋理特徵恢復，得到所述目標人臉的初始法向量影像、以及所述目標人臉的初始紋理特徵數據。
S602：基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型。
在該方法中，由於基於初始法向量影像、以及初始紋理特徵數據進行三維人臉重建的人臉影像具有更高的準確度，因而基於所述初始法向量影像、以及所述初始紋理特徵數據所生成的目標人臉的三維人臉模型也具有更高的精度。
針對上述S601：可以採用預先訓練的三維人臉模型預測網路對包括目標人臉的目標人臉影像進行處理，得到目標人臉的三維人臉模型，然後利用目標人臉的三維人臉模型，確定目標人臉的初始法向量影像。示例性的，例如可以採用3DMM算法對目標人臉影像進行三維人臉重建。
此外，可以利用預先訓練的第二神經網路對所述包括目標人臉的目標人臉影像進行紋理特徵恢復，得到所述目標人臉的初始紋理特徵數據。本公開實施例中，該第二神經網路例如可以是利用本公開實施例提供的第一神經網路訓練得到。
在具體實施中，該第二神經網路可以和對抗的第一神經網路採用耦合訓練的方式得到。例如，可以將第二神經網路的網路結構設計為第一神經網路的逆結構，也即，在第二神經網路中包括多個逆渲染塊。在每個逆渲染塊中，利用卷積層替代第一神經網路中各個渲染塊中的上採樣層，並利用上採樣層替代渲染塊中的卷積層。這樣，每個逆渲染塊都能夠輸出與其對應的一輸出特徵圖。利用各級逆渲染塊輸出的輸出特徵圖，可得到預測的初始紋理特徵數據。
第二神經網路中，各個網路層的輸出特徵圖，與第一神經網路對應的網路層的輸入特徵圖的尺寸相同。
在利用第二神經網路恢復目標人臉影像的初始紋理特徵數據時，例如可以獲取第二神經網路中各個逆渲染塊的輸出特徵圖；然後針對每個逆渲染塊，計算該逆渲染塊的輸出特徵圖中特徵點的特徵值的均值和方差；將各個逆渲染塊對應的均值和方差進行組合，得到目標特徵圖；最後，利用全連接網路對該目標特徵圖進行全連接處理，得到初始紋理特徵數據。
本公開實施例還提供一種訓練第二神經網路的具體方法，可以包括：利用第一神經網路，對第二樣本三維人臉模型的第二樣本法向量影像、以及第二樣本紋理特徵數據進行處理，得到第二樣本三維人臉模型的樣本人臉影像；利用待訓練的第二神經網路對所述樣本人臉影像進行處理，得到所述樣本人臉影像對應的預測紋理特徵數據；基於所述預測紋理特徵數據、以及所述第二樣本紋理特徵數據，確定第三損失；基於所述第三損失，訓練所述第二神經網路。此處，預測紋理特徵數據的獲取方式，與初始紋理特徵數據的獲取方式類似，在此不再贅述。
示例性的，在訓練第二神經網路時，第三損失的損失函數例如滿足下述公式（10）：
Figure 02_image111
Figure 02_image113
（10）
其中，R表示第二神經網路；
Figure 02_image055
表示第一神經網路G的輸出，其滿足
Figure 02_image057
；在訓練第二神經網路時，重建影像
Figure 02_image055
用作輸入至待訓練的第二神經網路R的樣本人臉影像。
Figure 02_image115
表示第二神經網路R的第i個逆渲染塊的輸出特徵圖；
Figure 02_image117
表示第一神經網路的第i個渲染塊的輸入紋理特徵數據
Figure 02_image007
；
Figure 02_image119
和
Figure 02_image121
分別表示均值和標準方差。
Figure 02_image123
表示利用全連接層MLP對該目標特徵圖進行全連接處理，得到的預測紋理特徵數據；z表示第二樣本紋理特徵數據；
Figure 02_image125
表示第一神經網路的第i個渲染塊輸出的結果特徵圖；
Figure 02_image115
表示第二神經網路（待訓練）的第i個逆渲染塊輸出的輸出特徵圖。
在訓練得到第二神經網路後，即可以利用該第二神經網路對目標人臉影像進行處理，得到目標人臉影像對應的初始法向量影像、以及初始紋理特徵數據。
針對上述S602：在基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型時，例如可以採用下述方式：
將所述初始法向量影像作為當前法向量影像、以及將所述初始紋理特徵數據作為當前紋理特徵數據，基於所述當前法向量影像、以及所述當前紋理特徵數據，生成當前重構人臉影像。例如可以將當前法向量影像作為法向量影像、以及將所述當前紋理特徵數據作為紋理特徵數據，利用本公開任一實施例提供的人臉影像生成方法，生成重構人臉影像作為所述當前重構人臉影像。具體可參見上述圖1~圖5對應的實施例所示，在此不再贅述。
基於所述目標人臉影像、以及所述當前重構人臉影像，對所述當前法向量進行調整，得到所述目標人臉的目標法向量影像。此處，可以執行下述迭代過程：基於所述目標人臉影像、以及所述當前重構人臉影像，得到第二損失；利用所述第二損失對所述當前法向量影像、以及所述當前紋理特徵數據進行調整，得到新的法向量影像、以及新的紋理特徵數據；將所述新的法向量影像作為當前法向量影像，以及將所述新的紋理特徵數據作為當前紋理特徵數據，返回至基於所述當前法向量影像、以及所述當前紋理特徵數據，生成當前重構人臉影像的步驟，直至所述第二損失小於預設的損失閾值。在第二損失小於預設的損失閾值後，將最後一次迭代對應的當前法向量影像作為所述目標法向量影像。在得到目標法向量影像後，即可以利用目標法向量影像生成所述目標人臉的三維人臉模型。
在上述實施例中，第二損失例如包括像素一致性損失和/或分類特徵一致性損失。
其中，在第二損失包括像素一致性損失的情況下，例如計算當前重構人臉影像的像素值、與目標人臉影像的像素值的差值，並對差值計算L2範數，並基於L2範數的計算結果確定像素一致性損失。
在第二損失包括分類特徵一致性損失的情況下，例如可以利用預先訓練的影像分類網路對所述目標人臉影像進行分類處理，得到所述影像分類網路的目標網路層輸出的第一特徵數據；以及利用所述影像分類網路對所述當前重構人臉影像進行分類處理，得到所述目標網路層輸出的第二特徵數據；基於所述第一特徵數據和所述第二特徵數據，得到所述分類特徵一致性損失。其中，所述影像分類網路利用所述目標人臉影像和所述當前重構人臉影像訓練得到。目標網路層的具體位置可以根據實際的情況確定，示例性的，目標網路層例如為影像分類網路中第1~第5層網路層。
示例性的，第二損失的損失函數可以滿足下述公式（11）：
Figure 02_image127
Figure 02_image129
（11）
其中，G表示第一神經網路；
Figure 02_image131
是利用
Figure 02_image133
生成的法向量影像，其中，
Figure 02_image133
含義同上述公式（8）；
Figure 02_image135
表示目標人臉影像；
Figure 02_image137
表示像素一致性損失；
Figure 02_image139
表示利用目標人臉影像和當前重構人臉影像訓練的分類網路；
Figure 02_image141
表示分類網路的第i個網路層輸出的特徵數據；
Figure 02_image143
表示分類特徵一致性損失；
Figure 02_image145
表示正則化項對隨機噪聲的權重。最小化上述第二損失
Figure 02_image147
，得到優化的幾何參數α、β和θ。基於優化後的幾何參數α、β和θ，即可確定目標人臉的目標法向量影像。
這樣，通過將目標人臉影像和當前重構人臉影像在分類特徵上保持一致，以作為優化過程的監督，可以使得所得到的三維人臉模型與目標人臉之間的匹配度更高，因此三維人臉模型具有更高的精度。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
基於同一發明構思，本公開實施例中還提供了與人臉影像生成方法對應的人臉影像生成裝置，由於本公開實施例中的裝置解決問題的原理與本公開實施例上述人臉影像生成方法相似，因此裝置的實施可以參見方法的實施，重複之處不再贅述。
參照圖7所示，為本公開實施例提供的一種人臉影像生成裝置的示意圖，所述裝置包括：
第一獲取模組71，用於獲取法向量影像、以及紋理特徵數據。其中，所述法向量影像中每個像素點的像素值表徵在所述法向量影像對應的三維人臉模型中，與該像素點對應的模型頂點的法向量的值。
第一處理模組72，用於對所述法向量影像以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像。
一種可能的實施方式中，所述第一處理模組72，在對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像時，具體用於：對所述紋理特徵數據進行特徵變換，得到多級數據融合處理分別對應的變換紋理特徵數據。針對多級數據融合處理中的每級數據融合處理，將該級數據融合處理對應的變換紋理特徵數據、與該級數據融合處理對應的輸入特徵圖進行第一特徵融合，得到該級數據融合處理對應的中間特徵圖；對該級數據融合處理對應的中間特徵圖、以及所述法向量影像進行第二特徵融合，得到該級數據融合處理對應的結果特徵圖；基於最後一級數據融合處理對應的結果特徵圖，得到所述重構人臉影像。
一種可能的實施方式中，所述第一處理模組72，對所述紋理特徵數據進行特徵變換，得到多級數據融合處理分別對應的變換紋理特徵數據時，具體用於：對所述紋理特徵數據進行第一全連接處理，得到第一中間紋理特徵數據；對所述第一中間紋理特徵數據進行多次第二全連接處理，得到所述多級數據融合處理分別對應的變換紋理特徵數據。其中，不同的第二全連接處理的全連接參數不同。
一種可能的實施方式中，所述第一處理模組72，在針對多級數據融合處理中的每級數據融合處理，將該級數據融合處理對應的變換紋理特徵數據、與該級數據融合處理對應的輸入特徵圖進行第一特徵融合，得到該級數據融合處理對應的中間特徵圖之前，還用於：針對所述多級數據融合處理中為第一級數據融合處理，對預設特徵圖進行上採樣，得到該第一級數據融合處理對應的輸入特徵圖；針對所述多級數據融合處理中非第一級數據融合處理的任一級數據融合處理，對該級數據融合處理的上一級數據融合處理輸出的結果特徵圖進行上採樣，得到該級數據融合處理對應的輸入特徵圖。
一種可能的實施方式中，所述第一處理模組72，在針對多級數據融合處理中的每級數據融合處理，將該級數據融合處理對應的變換紋理特徵數據、與該級數據融合處理對應的輸入特徵圖進行第一特徵融合，得到該級數據融合處理對應的中間特徵圖時，具體用於：針對多級數據融合處理中的每級數據融合處理，利用該級數據融合處理對應的變換紋理特徵數據，對該級數據融合處理對應的卷積核進行變換，得到變換卷積核。利用所述變換卷積核對所述輸入特徵圖進行卷積處理，得到該級數據融合處理對應的中間特徵圖。
一種可能的實施方式中，所述第一處理模組72，在針對多級數據融合處理中的每級數據融合處理，將該級數據融合處理對應的變換紋理特徵數據、與該級數據融合處理對應的輸入特徵圖進行第一特徵融合，得到該級數據融合處理對應的中間特徵圖時，具體用於：針對多級數據融合處理中的每級數據融合處理，利用該級數據融合處理對應的變換紋理特徵數據，對該級數據融合處理對應的輸入特徵圖進行變換，得到變換特徵圖。然後，利用該級數據融合處理對應的卷積核，對變換特徵圖進行卷積處理，得到該級數據融合處理對應的中間特徵圖。
一種可能的實施方式中，所述第一處理模組72，在對該級數據融合處理對應的中間特徵圖以及所述法向量影像進行第二特徵融合，得到該級數據融合處理對應的結果特徵圖時，具體用於：確定該級數據融合處理對應的中間特徵圖以及所述法向量影像的乘積結果矩陣，基於所述乘積結果矩陣確定該級數據融合處理對應的結果特徵圖。
一種可能的實施方式中，所述第一處理模組72，在基於所述乘積結果矩陣確定該級數據融合處理對應的結果特徵圖時，用於：基於該級數據融合處理對應的乘積結果矩陣、以及該級數據融合處理的預設偏差矩陣和/或噪聲矩陣，得到該級數據融合處理對應的結果特徵圖。
一種可能的實施方式中，所述第一處理模組72，在基於該級數據融合處理對應的乘積結果矩陣、以及該級數據融合處理的預設偏差矩陣和/或噪聲矩陣，得到該級數據融合處理對應的結果特徵圖時，具體用於：將該級數據融合處理對應的乘積結果矩陣、與該級數據融合處理的預設偏差矩陣和/或噪聲矩陣進行對位相加，得到該級數據融合處理對應的結果特徵圖。
一種可能的實施方式中，所述人臉影像生成方法通過預先訓練好的第一神經網路實現。
一種可能的實施方式中，所述人臉影像生成裝置還包括：第一訓練模組73，用於採用下述方法得到所述第一神經網路：獲取第一樣本三維人臉模型的第一樣本法向量影像、以及第一樣本紋理特徵數據；利用待訓練的第一神經網路，對所述第一樣本法向量影像、以及所述第一樣本紋理特徵數據進行數據融合處理，得到所述第一樣本三維人臉模型的重建影像；基於所述重建影像，獲取第一訓練損失，並利用所述第一訓練損失，訓練所述第一神經網路。
一種可能的實施方式中，所述第一訓練損失包括下述至少一種：法向量一致性損失、人臉關鍵點一致性損失、身份一致性損失以及對抗損失。
一種可能的實施方式中，所述第一訓練損失包括法向量一致性損失，所述第一訓練模組73，在基於所述重建影像，獲取第一訓練損失時，具體用於：對所述重建影像進行法向量預測處理，得到所述重建影像的預測法向量影像；利用所述第一樣本法向量影像和所述預測法向量影像，得到所述法向量一致性損失。
一種可能的實施方式中，所述第一訓練損失包括關鍵點一致性損失，所述第一樣本紋理特徵數據包括：第一參考樣本紋理特徵數據以及第一目標樣本紋理特徵數據，所述重建影像，包括基於所述第一參考樣本紋理特徵數據得到的第一重建影像、以及基於所述第一目標樣本紋理特徵數據得到的第二重建影像。所述第一訓練模組73，在基於所述重建影像，獲取第一訓練損失時，具體用於：對所述第一重建影像進行關鍵點識別，得到所述第一重建影像的第一關鍵點。基於所述第二重建影像進行關鍵點識別，得到所述第二重建影像的第二關鍵點。利用所述第一關鍵點和所述第二關鍵點，得到所述關鍵點一致性損失。
一種可能的實施方式中，所述第一訓練損失包括身份一致性損失。所述第一訓練模組73，在基於所述重建影像，獲取第一訓練損失時，具體用於：對利用所述第一神經網路、基於第一參考樣本法向量影像和第一樣本紋理特徵數據進行融合處理得到的第三重建影像進行身份識別，得到第一身份識別結果；以及對利用所述第一神經網路、基於第一目標樣本法向量影像和所述第一樣本紋理特徵數據進行融合處理得到的第四重建影像進行身份識別，得到第二身份識別結果；基於所述第一身份識別結果和所述第二身份識別結果，得到所述身份一致性損失。
關於裝置中的各模組的處理流程、以及各模組之間的交互流程的描述可以參照上述方法實施例中的相關說明，這裡不再詳述。
參見圖8所示，本公開實施例還提供一種三維人臉模型生成裝置，包括：
第二獲取模組81，用於對包括目標人臉的目標人臉影像進行三維人臉重建和紋理特徵恢復，得到所述目標人臉的初始法向量影像、以及所述目標人臉的初始紋理特徵數據。
第二處理模組82，用於基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型。
一種可能的實施方式中，所述第二處理模組82，在基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型時，具體用於：將所述初始法向量影像作為當前法向量影像、以及將所述初始紋理特徵數據作為當前紋理特徵數據，基於所述當前法向量影像、以及所述當前紋理特徵數據，生成當前重構人臉影像；基於所述目標人臉影像、以及所述當前重構人臉影像，對所述當前法向量進行調整，得到所述目標人臉的目標法向量影像；基於所述目標法向量影像，生成所述目標人臉的三維人臉模型。
一種可能的實施方式中，所述第二處理模組82，在基於所述當前法向量影像、以及所述紋理特徵數據，生成重構人臉影像時，具體用於：將所述當前法向量影像作為法向量影像、以及將所述當前紋理特徵數據作為紋理特徵數據，利用第一方面任一項所述的人臉影像生成方法生成重構人臉影像作為當前重構人臉影像。
一種可能的實施方式中，所述第二處理模組82，在基於所述目標人臉影像、以及所述當前重構人臉影像，對所述當前法向量進行調整，得到所述目標人臉的目標法向量影像時，具體用於：執行下述迭代過程：基於所述目標人臉影像、以及所述當前重構人臉影像，得到第二損失；利用所述第二損失對所述當前法向量影像、以及所述當前紋理特徵數據進行調整，得到新的法向量影像、以及新的紋理特徵數據；將所述新的法向量影像作為當前法向量影像，以及將所述新的紋理特徵數據作為當前紋理特徵數據，返回至基於所述當前法向量影像、以及所述當前紋理特徵數據，生成當前重構人臉影像的步驟，直至所述第二損失小於預設的損失閾值。
一種可能的實施方式中，所述第二損失可包括像素一致性損失、和/或分類特徵一致性損失。
一種可能的實施方式中，針對所述第二損失包括分類特徵一致性損失的情況，所述第二處理模組82，在基於所述目標人臉影像、以及所述當前重構人臉影像，得到第二損失時，具體用於：利用預先訓練的影像分類網路對所述目標人臉影像進行分類處理，得到所述影像分類網路的目標網路層輸出的第一特徵數據；以及利用所述影像分類網路對所述當前重構人臉影像進行分類處理，得到所述目標網路層輸出的第二特徵數據；基於所述第一特徵數據和所述第二特徵數據，得到所述分類特徵一致性損失。其中，所述影像分類網路可以利用所述目標人臉影像和所述當前重構人臉影像訓練得到。
一種可能的實施方式中，所述第二獲取模組81，在對包括目標人臉的目標人臉影像進行紋理特徵恢復，得到所述目標人臉的初始紋理特徵數據時，具體用於：利用預先訓練的第二神經網路對所述包括目標人臉的目標人臉影像進行紋理特徵恢復，得到所述目標人臉的初始法向量影像。其中，所述第二神經網路可以利用本公開任一實施例所述的第一神經網路訓練得到。
一種可能的實施方式中，還包括：第二訓練模組83，用於採用下述方式訓練所述第二神經網路：利用所述第一神經網路，對第二樣本三維人臉模型的第二樣本法向量影像、以及第二樣本紋理特徵數據進行處理，得到第二樣本三維人臉模型的樣本人臉影像；利用待訓練的第二神經網路對所述樣本人臉影像進行處理，得到所述樣本人臉影像對應的預測紋理特徵數據；基於所述預測紋理特徵數據、以及所述第二樣本紋理特徵數據，確定第三損失；基於所述第三損失，訓練所述第二神經網路。
本公開實施例還提供了一種電子設備，如圖9所示，為本公開實施例提供的電子設備結構示意圖，包括：處理器91和儲存器92。所述儲存器92儲存有處理器91可執行的機器可讀指令，處理器91用於執行儲存器92中儲存的機器可讀指令，所述機器可讀指令被處理器91執行時，處理器91執行下述步驟：
獲取法向量影像、以及紋理特徵數據。其中，所述法向量影像中每個像素點的像素值表徵與所述法向量影像對應的三維人臉模型中與該像素點對應的模型頂點的法向量的值。
對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像。
或執行下述步驟：對包括目標人臉的目標人臉影像進行三維人臉重建和紋理特徵恢復，得到所述目標人臉的初始法向量影像、以及所述目標人臉的初始紋理特徵數據；基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型。
上述儲存器92包括記憶體921和外部儲存器922。這裡的記憶體921也稱內儲存器，用於暫時存放處理器91中的運算數據，以及與硬碟等外部儲存器922交換的數據，處理器91通過記憶體921與外部儲存器922進行數據交換。
上述指令的具體執行過程可以參考本公開實施例中所述的人臉影像生成方法或三維人臉模型生成方法的步驟，此處不再贅述。
本公開實施例還提供一種計算機可讀儲存媒體，該計算機可讀儲存媒體上儲存有計算機程式，該計算機程式被處理器運行時執行上述方法實施例中所述的人臉影像生成方法或三維人臉模型生成方法的步驟。其中，該儲存媒體可以是揮發性或非揮發的計算機可讀取儲存媒體。
本公開實施例還提供一種計算機程式產品，該計算機程式產品承載有程式代碼，所述程式代碼包括的指令可用於執行上述方法實施例中所述的人臉影像生成方法或三維人臉模型生成方法的步驟，具體可參見上述方法實施例，在此不再贅述。
其中，上述計算機程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述計算機程式產品具體體現為計算機儲存媒體，在另一個可選實施例中，計算機程式產品具體體現為軟體產品，例如軟體開發包（Software Development Kit，SDK）等等。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本公開所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或組件可以結合或者可以整合到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是實體上分開的，作為單元顯示的部件可以是或者也可以不是實體單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本公開各個實施例中的各功能單元可以整合在一個處理單元中，也可以是各個單元單獨實體存在，也可以兩個或兩個以上單元整合在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個處理器可執行的非揮發的計算機可讀取儲存媒體中。基於這樣的理解，本公開的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該計算機軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台電子設備（可以是個人計算機，伺服器，或者網路設備等）執行本公開各個實施例所述方法的全部或部分步驟。而前述的儲存媒體包括：隨身碟、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式代碼的媒體。
最後應說明的是：以上所述實施例，僅為本公開的具體實施方式，用以說明本公開的技術方案，而非對其限制，本公開的保護範圍並不局限於此，儘管參照前述實施例對本公開進行了詳細的說明，本領域的普通技術人員應當理解：任何熟悉本技術領域的技術人員在本公開揭露的技術範圍內，其依然可以對前述實施例所記載的技術方案進行修改或可輕易想到變化，或者對其中部分技術特徵進行等同替換；而這些修改、變化或者替換，並不使相應技術方案的本質脫離本公開實施例技術方案的精神和範圍，都應涵蓋在本公開的保護範圍之內。因此，本公開的保護範圍應所述以申請專利範圍的保護範圍為准。
S101:獲取法向量影像、以及紋理特徵數據。其中，所述法向量影像中每個像素點的像素值表徵在所述法向量影像對應的三維人臉模型中，與該像素點對應的模型頂點的法向量的值 S102:對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像 S201:對所述紋理特徵數據進行特徵變換，得到多級數據融合處理分別對應的變換紋理特徵數據 S202:針對多級數據融合處理中的每級數據融合處理，將該級數據融合處理對應的變換紋理特徵數據、與該級數據融合處理對應的輸入特徵圖進行第一特徵融合，得到該級數據融合處理對應的中間特徵圖 S203:對該級數據融合處理對應的中間特徵圖、以及所述法向量影像進行第二特徵融合，得到該級數據融合處理對應的結果特徵圖 S301:獲取第一樣本三維人臉模型的第一樣本法向量影像、以及第一樣本紋理特徵數據 S302:利用待訓練的第一神經網路，對所述第一樣本法向量影像、以及所述第一樣本紋理特徵數據進行數據融合處理，得到所述第一樣本三維人臉模型的重建影像 S303:基於所述重建影像，獲取第一訓練損失，並利用所述第一訓練損失，訓練所述第一神經網路 420:第一全連接網路 430-1、430-2、430-N:第二全連接網路 410-1、410-2、410-N:渲染塊 440:噪聲傳播模組 411:卷積核變換模組 412:上採樣層 413:卷積層 414:融合模組 S601:對包括目標人臉的目標人臉影像進行三維人臉重建和紋理特徵恢復，得到所述目標人臉的初始法向量影像、以及所述目標人臉的初始紋理特徵數據 S602:基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型 71:第一獲取模組 72:第一處理模組 73:第一訓練模組 81:第二獲取模組 82:第二處理模組 83:第二訓練模組 91:處理器 92:儲存器 921:記憶體 922:外部儲存器
圖1示出了本公開實施例所提供的一種人臉影像生成方法的流程圖。 圖2示出了本公開實施例所提供的對法向量影像、以及紋理特徵數據進行多級數據融合處理的具體方法的流程圖。 圖3示出了本公開實施例所提供的訓練第一神經網路的具體方法的流程圖。 圖4示出了本公開實施例所提供的一種第一神經網路的結構示意圖。 圖5示出了本公開實施例所提供的一種第一神經網路中渲染塊的結構示意圖。 圖6示出了本公開實施例所提供的一種三維人臉模型生成方法的流程圖。 圖7示出了本公開實施例所提供的一種人臉影像生成裝置的示意圖。 圖8示出了本公開實施例所提供的一種三維人臉模型生成裝置的示意圖。 圖9示出了本公開實施例所提供的一種電子設備的示意圖。
S101:獲取法向量影像、以及紋理特徵數據。其中，所述法向量影像中每個像素點的像素值表徵在所述法向量影像對應的三維人臉模型中，與該像素點對應的模型頂點的法向量的值
S102:對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像

Claims (16)

  1. 一種人臉影像生成方法，包括： 獲取法向量影像、以及紋理特徵數據，其中，所述法向量影像中每個像素點的像素值表徵與所述法向量影像對應的三維人臉模型中與該像素點對應的模型頂點的法向量的值； 對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像。
  2. 如請求項1所述的人臉影像生成方法，其中，所述對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像，包括： 對所述紋理特徵數據進行特徵變換，得到所述多級數據融合處理分別對應的變換紋理特徵數據； 針對所述多級數據融合處理中的每級數據融合處理， 將該級數據融合處理對應的變換紋理特徵數據、與該級數據融合處理對應的輸入特徵圖進行第一特徵融合，得到該級數據融合處理對應的中間特徵圖； 對該級數據融合處理對應的中間特徵圖、以及所述法向量影像進行第二特徵融合，得到該級數據融合處理對應的結果特徵圖； 基於所述多級數據融合處理中最後一級數據融合處理對應的結果特徵圖，得到所述重構人臉影像。
  3. 如請求項2所述的人臉影像生成方法，其中，所述對所述紋理特徵數據進行特徵變換，得到所述多級數據融合處理分別對應的變換紋理特徵數據，包括： 對所述紋理特徵數據進行第一全連接處理，得到第一中間紋理特徵數據； 對所述第一中間紋理特徵數據進行多次第二全連接處理，得到所述多級數據融合處理分別對應的變換紋理特徵數據，其中，不同的所述第二全連接處理的全連接參數不同。
  4. 如請求項2或3所述的人臉影像生成方法，其中， 所述多級數據融合處理中第一級數據融合處理對應的輸入特徵圖，通過對預設特徵圖進行上採樣得到； 所述多級數據融合處理中非第一級數據融合處理的任一級數據融合處理對應的輸入特徵圖，通過對該級數據融合處理的上一級數據融合處理輸出的結果特徵圖進行上採樣得到； 所述多級數據融合處理中每級數據融合處理對應的中間特徵圖， 通過先利用該級數據融合處理對應的變換紋理特徵數據，對該級數據融合處理對應的卷積核進行變換，得到變換卷積核，再利用所述變換卷積核對所述輸入特徵圖進行卷積處理來得到；或者 通過先利用該級數據融合處理對應的變換紋理特徵數據，對該級數據融合處理對應的輸入特徵圖進行變換，得到變換特徵圖，再利用該級數據融合處理對應的卷積核，對所述變換特徵圖進行卷積處理來得到。
  5. 如請求項2-3任一項所述的人臉影像生成方法，其中，所述對該級數據融合處理對應的中間特徵圖、以及所述法向量影像進行第二特徵融合，得到該級數據融合處理對應的結果特徵圖，包括： 確定該級數據融合處理對應的中間特徵圖、以及所述法向量影像的乘積結果矩陣； 基於所述乘積結果矩陣確定該級數據融合處理對應的結果特徵圖。
  6. 如請求項1-3任一項所述的人臉影像生成方法，其中，所述人臉影像生成方法通過第一神經網路實現，採用下述方式訓練得到所述第一神經網路： 獲取第一樣本三維人臉模型的第一樣本法向量影像、以及第一樣本紋理特徵數據； 利用待訓練的所述第一神經網路，對所述第一樣本法向量影像、以及所述第一樣本紋理特徵數據進行數據融合處理，得到所述第一樣本三維人臉模型的重建影像； 基於所述重建影像，獲取第一訓練損失；並 利用所述第一訓練損失，訓練所述第一神經網路。
  7. 如請求項6所述的人臉影像生成方法，其中， 所述第一訓練損失包括法向量一致性損失，所述基於所述重建影像，獲取第一訓練損失，包括： 對所述重建影像進行法向量預測處理，得到所述重建影像的預測法向量影像； 利用所述第一樣本法向量影像、和所述預測法向量影像，得到所述法向量一致性損失； 或者，所述第一訓練損失包括關鍵點一致性損失，所述第一樣本紋理特徵數據包括第一參考樣本紋理特徵數據以及第一目標樣本紋理特徵數據；所述基於所述重建影像，獲取第一訓練損失，包括： 對利用所述第一神經網路，基於所述第一樣本法向量影像、以及所述第一參考樣本紋理特徵數據得到的第一重建影像進行關鍵點識別，得到所述第一重建影像的第一關鍵點； 對利用所述第一神經網路，基於所述第一樣本法向量影像、以及所述第一目標樣本紋理特徵數據得到的第二重建影像進行關鍵點識別，得到所述第二重建影像的第二關鍵點； 利用所述第一關鍵點和所述第二關鍵點，得到所述關鍵點一致性損失； 或者，所述第一訓練損失包括身份一致性損失，所述第一樣本三維人臉模型的第一樣本法向量影像包括第一參考樣本法向量影像、以及第一目標樣本法向量影像；所述第一參考樣本法向量影像和所述第一目標樣本法向量影像對應的人臉表情和/或人臉位姿不同；所述基於所述重建影像，獲取第一訓練損失，包括： 對利用所述第一神經網路，基於所述第一參考樣本法向量影像、以及所述第一樣本紋理特徵數據得到的第三重建影像進行身份識別，得到第一身份識別結果； 對利用所述第一神經網路，基於所述第一目標樣本法向量影像、以及所述第一樣本紋理特徵數據得到的第四重建影像進行身份識別，得到第二身份識別結果； 基於所述第一身份識別結果和所述第二身份識別結果，得到所述身份一致性損失。
  8. 一種三維人臉模型生成方法，包括： 對包括目標人臉的目標人臉影像進行三維人臉重建和紋理特徵恢復，得到所述目標人臉的初始法向量影像、以及所述目標人臉的初始紋理特徵數據； 基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型。
  9. 如請求項8所述的三維人臉模型生成方法，其中，所述基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型，包括： 將所述初始法向量影像作為當前法向量影像、以及將所述初始紋理特徵數據作為當前紋理特徵數據； 基於所述當前法向量影像、以及所述當前紋理特徵數據，生成當前重構人臉影像； 基於所述目標人臉影像、以及所述當前重構人臉影像，對所述當前法向量影像進行調整，得到所述目標人臉的目標法向量影像； 基於所述目標法向量影像，生成所述目標人臉的三維人臉模型。
  10. 如請求項8或9所述的三維人臉模型生成方法，其中，所述基於所述目標人臉影像、以及所述當前重構人臉影像，對所述當前法向量影像進行調整，得到所述目標人臉的目標法向量影像，包括： 基於所述目標人臉影像、以及所述當前重構人臉影像，得到第二損失； 利用所述第二損失對所述當前法向量影像、以及所述當前紋理特徵數據進行調整得到新的法向量影像、以及新的紋理特徵數據； 將所述新的法向量影像作為當前法向量影像、以及將所述新的紋理特徵數據作為當前紋理特徵數據，返回至基於所述當前法向量影像、以及所述當前紋理特徵數據，生成當前重構人臉影像的步驟，直至所述第二損失小於預設的損失閾值； 將最後一次迭代對應的當前法向量影像作為所述目標法向量影像。
  11. 如請求項10所述的人臉模型生成方法，其中，所述第二損失包括分類特徵一致性損失，所述基於所述目標人臉影像、以及所述當前重構人臉影像，得到第二損失，包括： 利用預先訓練的影像分類網路對所述目標人臉影像進行分類處理，得到所述影像分類網路的目標網路層輸出的第一特徵數據； 利用所述影像分類網路對所述當前重構人臉影像進行分類處理，得到所述目標網路層輸出的第二特徵數據； 基於所述第一特徵數據和所述第二特徵數據，得到所述分類特徵一致性損失； 其中，所述影像分類網路利用所述目標人臉影像和所述當前重構人臉影像訓練得到。
  12. 如請求項8至9任一項所述的三維人臉模型生成方法，其中，所述對包括目標人臉的目標人臉影像進行紋理特徵恢復，得到所述目標人臉的初始紋理特徵數據，包括： 利用預先訓練的第二神經網路對所述目標人臉影像進行紋理特徵恢復，得到所述目標人臉的初始紋理特徵數據， 其中，採用下述方式訓練所述第二神經網路： 利用待訓練的第二神經網路對樣本人臉影像進行處理，得到所述樣本人臉影像對應的預測紋理特徵數據，其中，所述樣本人臉影像是如請求項1所述的人臉影像生成方法，根據第二樣本三維人臉模型的第二樣本法向量影像、以及第二樣本紋理特徵數據進行處理得到的； 基於所述預測紋理特徵數據、以及所述第二樣本紋理特徵數據，確定第三損失； 基於所述第三損失，訓練所述第二神經網路。
  13. 一種人臉影像生成裝置，包括： 第一獲取模組，用於獲取法向量影像、以及紋理特徵數據，其中，所述法向量影像中每個像素點的像素值表徵與所述法向量影像對應的三維人臉模型中與該像素點對應的模型頂點的法向量的值； 第一處理模組，用於對所述法向量影像、以及所述紋理特徵數據進行多級數據融合處理，得到重構人臉影像。
  14. 一種三維人臉模型生成裝置，包括： 第二獲取模組，用於對包括目標人臉的目標人臉影像進行三維人臉重建和紋理特徵恢復，得到所述目標人臉的初始法向量影像、以及所述目標人臉的初始紋理特徵數據； 第二處理模組，用於基於所述初始法向量影像、以及所述初始紋理特徵數據，得到所述目標人臉的三維人臉模型。
  15. 一種電子設備，包括：處理器、儲存器，所述儲存器儲存有所述處理器可執行的機器可讀指令，所述處理器用於執行所述儲存器中儲存的機器可讀指令，所述機器可讀指令被所述處理器執行時，所述處理器執行如請求項1至7任一項所述的人臉影像生成方法，或執行如請求項8至12任一項所述的三維人臉模型生成方法。
  16. 一種計算機可讀儲存媒體，其中，所述計算機可讀儲存媒體上儲存有計算機程式，所述計算機程式被電子設備運行時，所述電子設備執行如請求項1至7任一項所述的人臉影像生成方法，或執行如請求項8至12任一項所述的三維人臉模型生成方法。
TW110147533A 2021-04-09 2021-12-17 影像生成、三維人臉模型生成的方法、裝置、電子設備及儲存媒體 TW202240531A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110387786.7A CN112926543A (zh) 2021-04-09 2021-04-09 图像生成、三维模型生成方法、装置、电子设备及介质
CN202110387786.7 2021-04-09

Publications (1)

Publication Number Publication Date
TW202240531A true TW202240531A (zh) 2022-10-16

Family

ID=76174048

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110147533A TW202240531A (zh) 2021-04-09 2021-12-17 影像生成、三維人臉模型生成的方法、裝置、電子設備及儲存媒體

Country Status (3)

Country Link
CN (1) CN112926543A (zh)
TW (1) TW202240531A (zh)
WO (1) WO2022213623A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926543A (zh) * 2021-04-09 2021-06-08 商汤集团有限公司 图像生成、三维模型生成方法、装置、电子设备及介质
CN116523414B (zh) * 2023-06-29 2023-09-05 深圳市鑫冠亚科技有限公司 一种复合镍铜散热底板的生产管理方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN107292234B (zh) * 2017-05-17 2020-06-30 南京邮电大学 一种基于信息边缘和多模态特征的室内场景布局估计方法
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置
CN111739146A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 物体三维模型重建方法及装置
CN110020620B (zh) * 2019-03-29 2021-07-30 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
CN110428491B (zh) * 2019-06-24 2021-05-04 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN111784821B (zh) * 2020-06-30 2023-03-14 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN111882643A (zh) * 2020-08-10 2020-11-03 网易（杭州）网络有限公司 三维人脸构建方法、装置和电子设备
CN112926543A (zh) * 2021-04-09 2021-06-08 商汤集团有限公司 图像生成、三维模型生成方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN112926543A (zh) 2021-06-08
WO2022213623A1 (zh) 2022-10-13

Similar Documents

Publication Publication Date Title
WO2021093620A1 (en) Method and system for high-resolution image inpainting
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
US11983850B2 (en) Image processing method and apparatus, device, and storage medium
US11640690B2 (en) High resolution neural rendering
JP2022503647A (ja) クロスドメイン画像変換
US20230073340A1 (en) Method for constructing three-dimensional human body model, and electronic device
TW202240531A (zh) 影像生成、三維人臉模型生成的方法、裝置、電子設備及儲存媒體
TW202205215A (zh) 三維網格模型的重建方法、電子設備、電腦可讀儲存介質
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN115439470B (zh) 息肉图像分割方法、计算机可读存储介质及计算机设备
CN113298931B (zh) 一种物体模型的重建方法、装置、终端设备和存储介质
CN117333637B (zh) 三维场景的建模及渲染方法、装置及设备
Rios et al. Scalability of learning tasks on 3D CAE models using point cloud autoencoders
Hara et al. Enhancement of novel view synthesis using omnidirectional image completion
CN116912148B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
US20230206515A1 (en) Automatic caricature generating method and apparatus
CN112232261A (zh) 图像序列融合的方法及设备
US20230177722A1 (en) Apparatus and method with object posture estimating
CN116958451B (zh) 模型处理、图像生成方法、装置、计算机设备和存储介质
Klokov Deep Learning for 3D Shape Modelling
CN116681591A (zh) 一种基于改进的srgan生成器网络的空洞填充方法
CN117557714A (zh) 三维重建方法、电子设备及可读存储介质
CN117830179A (zh) 高动态范围图像重建方法、装置、计算机设备及存储介质
CN116883600A (zh) 三维人脸重建方法、装置、电子设备及存储介质