TW202221638A - 人臉影像的處理方法、裝置、電子設備及儲存媒體 - Google Patents
人臉影像的處理方法、裝置、電子設備及儲存媒體 Download PDFInfo
- Publication number
- TW202221638A TW202221638A TW110135050A TW110135050A TW202221638A TW 202221638 A TW202221638 A TW 202221638A TW 110135050 A TW110135050 A TW 110135050A TW 110135050 A TW110135050 A TW 110135050A TW 202221638 A TW202221638 A TW 202221638A
- Authority
- TW
- Taiwan
- Prior art keywords
- face
- point cloud
- cloud data
- dense point
- target
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 230000004044 response Effects 0.000 claims abstract description 16
- 210000000988 bone and bone Anatomy 0.000 claims description 82
- 238000013528 artificial neural network Methods 0.000 claims description 45
- 238000003672 processing method Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008921 facial expression Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000002156 mixing Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 36
- 239000000203 mixture Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 241001417519 Priacanthidae Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 241000219112 Cucumis Species 0.000 description 1
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 1
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 description 1
- 241000542420 Sphyrna tudes Species 0.000 description 1
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000158 ommatidium Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本公開提供了一種人臉影像的處理方法、裝置、電子設備及儲存媒體，其中，該處理方法包括：獲取目標人臉的初始稠密點雲數據，並基於所述初始稠密點雲數據生成所述目標人臉的初始虛擬人臉影像；確定所述初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數；響應於針對所述初始虛擬人臉影像的調整操作，對所述形變係數進行調整，得到目標形變係數；基於所述目標形變係數和所述標準稠密點雲數據，生成所述目標人臉對應的目標虛擬人臉影像。
Description
本公開涉及人臉重建技術領域，具體而言，涉及一種人臉影像的處理方法、裝置、電子設備及儲存媒體。
在三維世界中，可以通過三維點雲對物體的形貌進行表徵，例如可以通過人臉稠密點雲來表示人臉形貌，但是考慮到表徵人臉形貌的人臉稠密點雲由成千上萬個點構成，在需要對應人臉形貌進行調整時，需要對點進行逐一調整，過程繁瑣，效率較低。
本公開實施例至少提供一種人臉影像的處理方案。
第一方面，本公開實施例提供了一種人臉影像的處理方法，包括：獲取目標人臉的初始稠密點雲數據，並基於所述初始稠密點雲數據生成所述目標人臉的初始虛擬人臉影像；確定所述初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數；響應於針對所述初始虛擬人臉影像的調整操作，對所述形變係數進行調整，得到目標形變係數；基於所述目標形變係數和所述標準稠密點雲數據，生成所述目標人臉對應的目標虛擬人臉影像。
本公開實施例中，提出通過稠密點雲數據確定用於對目標人臉的虛擬人臉影像進行調整的形變係數，這樣可以建立稠密點雲數據和形變係數之間的對應關係，從而可以直接基於形變係數對虛擬人臉影像進行調整，相對於通過對稠密點雲數據中的點進行逐一調整的方式，可以提高調整效率、快速生成調整後的目標虛擬人臉影像。
另一方面，考慮到這裡的形變係數是根據稠密點雲數據確定的，在基於形變係數對初始虛擬人臉影像的調整過程中，可以直接基於形變係數對稠密點雲數據中的稠密點雲進行調整，這樣可以直接精確到對構成虛擬人臉影像的稠密點雲中各個點的調整，在提高調整效率的基礎上同時可以提高調整精度。
在一種可能的實施方式中，所述形變係數包含至少一個骨骼係數和至少一個混合形變係數中的至少一項；其中，每個骨骼係數用於對與該骨骼係數關聯的第一稠密點雲構成的骨骼的初始位姿進行調整；每個混合形變係數用於對與該混合形變係數關聯的第二稠密點雲對應的初始位置進行調整。
本公開實施例中，基於形變係數中的骨骼係數和/或混合形變係數能夠分別調整不同類型的稠密點雲的位置，以實現對稠密點雲的精准調整。
在一種可能的實施方式中，所述確定所述初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數，包括：基於當前形變係數對所述標準稠密點雲數據進行調整，得到調整後的稠密點雲數據，初始的所述當前形變係數為預先設置的；基於調整後的稠密點雲數據和所述初始稠密點雲數據，確定第一損失值；基於所述第一損失值以及預設的形變係數的約束範圍，調整所述當前形變係數；基於調整後的所述當前形變係數，返回執行對所述標準稠密點雲數據進行調整的步驟，直至對所述當前形變係數的調整操作符合第一調整截止條件的情況下，基於所述當前形變係數得到所述初始稠密點雲數據相對於所述標準稠密點雲數據的形變係數。
本公開實施例中，在確定形變係數的過程中，是通過對標準稠密點雲數據中的多個點進行調整確定的，因此得到的形變係數可以表示出目標人臉的初始稠密點雲相比標準稠密點雲的變化量，從而在對目標人臉的初始虛擬人臉影像進行調整過程中，可以基於形變係數對稠密點雲數據中關聯的點進行調整，從而提高調整精度。
另一方面，在確定形變係數的過程中，是在對所有稠密點雲進行調整後，再基於調整後的稠密點雲數據以及目標人臉的初始稠密點雲數據確定的損失值，對當前形變係數進行的優化，充分考慮形變係數與整體稠密點雲之間的關聯性，提高優化效率；此外在調整過程中通過預設的形變係數的約束範圍進行調整約束，可以有效避免形變係數發生畸變，得到無法表示正常的目標人臉的形變係數。
在一種可能的實施方式中，所述響應於針對所述初始虛擬人臉影像的調整操作，對所述形變係數進行調整，得到目標形變係數，包括：響應針對所述初始虛擬人臉影像的調整操作，確定針對所述初始虛擬人臉影像的目標調整位置，以及針對所述目標調整位置的調整幅度；按照所述調整幅度，對與所述目標調整位置關聯的形變係數進行調整，得到所述目標形變係數。
本公開實施例中，可以根據調整操作，確定目標形變係數，便於後期基於該目標形變係數確定出調整後的目標虛擬人臉影像，該方式可以基於用戶需求個性化地對形變係數進行調整。
在一種可能的實施方式中，所述基於所述目標形變係數和所述標準稠密點雲數據，生成所述目標人臉對應的目標虛擬人臉影像，包括：基於所述目標形變係數，對所述標準稠密點雲數據進行調整，得到目標稠密點雲數據；基於所述目標稠密點雲數據，生成所述目標虛擬人臉影像。
本公開實施例中，在確定目標形變係數後，可以直接根據目標形變係數對標準稠密點雲數據進行調整，確定目標稠密點雲數據，這樣可以根據目標稠密點雲數據快速得到目標人臉對應的目標虛擬人臉影像。
在一種可能的實施方式中，所述基於所述目標稠密點雲數據，生成所述目標虛擬人臉影像，包括：確定與所述目標稠密點雲數據對應的虛擬人臉模型；基於預選的人臉屬性特徵和所述虛擬人臉模型，生成所述目標虛擬人臉影像。
本公開實施例中，在對初始虛擬人臉影像進行調整時，還可以結合用戶選定的人臉屬性特徵進行個性化地調整，從而使得目標虛擬人臉影像更貼合用戶的實際需求。
在一種可能的實施方式中，所述獲取目標人臉的初始稠密點雲數據，並基於所述初始稠密點雲數據生成所述目標人臉的初始虛擬人臉影像，包括：獲取所述目標人臉對應的第一人臉影像，以及預設風格的多張第二人臉影像分別對應的稠密點雲數據；基於所述第一人臉影像和所述預設風格的多張第二人臉影像分別對應的稠密點雲數據，確定所述目標人臉在所述預設風格下的初始稠密點雲數據；基於所述目標人臉在所述預設風格下的初始稠密點雲數據，生成所述目標人臉在所述預設風格下的初始虛擬人臉影像。
本公開實施例中，可以根據預先儲存的多張基底影像在預設風格下分別對應的稠密點雲數據，來確定第一人臉影像在預設風格下的稠密點雲數據，從而可以快速展示出目標人臉在預設風格下的虛擬人臉影像。
在一種可能的實施方式中，所述基於所述第一人臉影像和所述預設風格的多張第二人臉影像分別對應的稠密點雲數據，確定所述目標人臉在所述預設風格下的初始稠密點雲數據，包括：提取所述第一人臉影像的人臉參數值，以及所述預設風格的多張第二人臉影像分別對應的人臉參數值；其中，所述人臉參數值包含表徵人臉形狀的參數值和表徵人臉表情的參數值；基於所述第一人臉影像的人臉參數值、以及所述預設風格的多張第二人臉影像分別對應的人臉參數值和稠密點雲數據，確定所述目標人臉在所述預設風格下的初始稠密點雲數據。
本公開實施例中，提出在確定第一人臉影像在預設風格下的稠密點雲數據的過程中，可以結合第一人臉影像和預設風格的多張第二人臉影像的人臉參數值來確定，因為在通過人臉參數值表示人臉時使用的參數值數量較少，因此能夠更加快速的確定出目標人臉在預設風格下的稠密點雲數據。
在一種實施方式中，所述基於所述第一人臉影像的人臉參數值、以及所述預設風格的多張第二人臉影像分別對應的人臉參數值和稠密點雲數據，確定所述目標人臉在所述預設風格下的初始稠密點雲數據，包括：基於所述第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值，確定所述第一人臉影像和所述預設風格的多張第二人臉影像之間的線性擬合係數；根據所述預設風格的多張第二人臉影像分別對應的稠密點雲數據和所述線性擬合係數，確定所述目標人臉在所述預設風格下的初始稠密點雲數據。
本公開實施例中，可以提出通過數量較少的人臉參數值快速得到表示第一人臉影像和多張第二人臉影像之間的關聯關係的線性擬合係數，進一步可以根據該線性擬合係數對預設風格的多張第二人臉影像的稠密點雲數據進行調整，可以快速得到目標人臉在預設風格下的稠密點雲數據。
在一種可能的實施方式中，所述基於所述第一人臉影像的人臉參數值，以及所述預設風格的多張第二人臉影像分別對應的人臉參數值，確定所述第一人臉影像和所述預設風格的多張第二人臉影像之間的線性擬合係數，包括：獲取當前線性擬合係數，初始的所述當前線性擬合係數為預先設置；基於所述當前線性擬合係數和所述預設風格的多張第二人臉影像分別對應的人臉參數值，預測所述第一人臉影像的當前人臉參數值；基於預測的當前人臉參數值和所述第一人臉影像的人臉參數值，確定第二損失值；基於所述第二損失值以及預設的所述線性擬合係數對應的約束範圍，調整所述當前線性擬合係數；基於調整後的所述當前線性擬合係數，返回執行預測當前人臉參數值的步驟，直至對所述當前線性擬合係數的調整操作符合第二調整截止條件的情況下，基於當前線性擬合係數得到第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數。
本公開實施例中，在調整第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數的過程中，可以通過第二損失值和/或調整次數對線性擬合係數進行多次調整，從而可以提高線性擬合係數的準確度；另一方面在調整過程中通過預設的線性擬合係數的約束範圍進行調整約束，這樣得到線性擬合係數，能夠更加合理的確定目標人臉對應的稠密點雲數據。
在一種可能的實施方式中，所述稠密點雲數據包括稠密點雲中各個點的坐標值；所述根據所述預設風格的多張第二人臉影像分別對應的稠密點雲數據和所述線性擬合係數，確定所述目標人臉在所述預設風格下的初始稠密點雲數據，包括：基於所述預設風格的多張第二人臉影像分別對應的所述稠密點雲中各個點的坐標值，確定平均稠密點雲數據對應點的坐標值；基於所述預設風格的多張第二人臉影像分別對應的所述稠密點雲數據中各個點的坐標值、和所述平均稠密點雲數據中對應點的坐標值，確定所述預設風格的多張第二人臉影像分別對應的坐標差異值；基於所述預設風格多張第二人臉影像分別對應的所述坐標差異值和所述線性擬合係數，確定所述第一人臉影像對應的坐標差異值；基於所述第一人臉影像對應的坐標差異值和所述平均稠密點雲數據中對應點的坐標值，確定所述目標人臉在所述預設風格下的所述初始稠密點雲數據。
本公開實施例中，在第二人臉影像較少的情況下，可以通過多樣性的第二人臉影像的稠密點雲數據準確的表示出不同的目標人臉在預設風格下的稠密點雲數據。
在一種可能的實施方式中，所述人臉參數值由預先訓練的神經網路提取，所述神經網路基於預先標註人臉參數值的樣本影像訓練得到。
本公開實施例中，提出通過預先訓練的神經網路來提取人臉影像的人臉參數值，可以提高人臉參數值的提取精度和提取效率。
在一種可能的實施方式中，按照以下方式預先訓練所述神經網路：獲取樣本影像集，所述樣本影像集包含多張樣本影像以及每張樣本影像對應的標註人臉參數值；將所述多張樣本影像輸入神經網路，得到每張樣本影像對應的預測人臉參數值；基於每張樣本影像對應的預測人臉參數值和標註人臉參數值，對所述神經網路的網路參數值進行調整，得到訓練完成的神經網路。
本公開實施例中，在對用於提取人臉參數值的神經網路進行訓練過程中，提出通過每張樣本影像的標註人臉參數值，對神經網路的網路參數值進行不斷調整，從而可以得到準確度較高的神經網路。
第二方面，本公開實施例提供了一種人臉影像的處理裝置，包括：獲取模組，用於獲取目標人臉的原始稠密點雲數據，並基於所述初始稠密點雲數據生成所述目標人臉的初始虛擬人臉影像；確定模組，用於確定所述初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數；調整模組，用於響應於針對所述初始虛擬人臉影像的調整操作，對所述形變係數進行調整，得到目標形變係數；生成模組，用於基於所述目標形變係數和所述標準稠密點雲數據，生成所述目標人臉對應的目標虛擬人臉影像。
第三方面，本公開實施例提供了一種電子設備，包括：處理器、儲存器和匯流排，所述儲存器儲存有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述儲存器之間通過匯流排通訊，所述機器可讀指令被所述處理器執行時執行如第一方面所述的處理方法的步驟。
第四方面，本公開實施例提供了一種計算機可讀儲存媒體，其上儲存有計算機程式，該計算機程式被處理器運行時執行如第一方面所述的處理方法的步驟。
為使本公開的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
為使本公開實施例的目的、技術方案和優點更加清楚，下面將結合本公開實施例中附圖，對本公開實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本公開實施例的組件可以以各種不同的配置來佈置和設計。因此，以下對在附圖中提供的本公開的實施例的詳細描述並非旨在限制要求保護的本公開的範圍，而是僅僅表示本公開的選定實施例。基於本公開的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本公開保護的範圍。
應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步定義和解釋。
本文中術語“和/或”，僅僅是描述一種關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
在三維建模領域中，一張人臉可以通過針對該人臉採集的稠密點雲來表示，表示人臉的稠密點雲一般包含成千上萬個點，在需要對人臉的虛擬人臉影像的形狀進行調整時，需要對上千上萬個點的位置逐一調整，過程繁瑣，效率較低。
基於上述研究，本公開提供了一種人臉影像的處理方法，在獲取到目標人臉的原始稠密點雲數據後，可以確定出目標人臉的初始稠密點雲數據相對於標準人臉影像對應的標準稠密點雲數據的形變係數，按照這樣的方式，建立了稠密點雲數據和形變係數之間的對應關係，這樣在檢測到針對初始虛擬人臉影像的調整操作的情況下，可以直接針對形變係數進行調整，從而完成對初始虛擬人臉影像的調整，該方式無需對稠密點雲數據中的點進行逐一調整，提高了調整效率，另外本方案是根據稠密點雲數據確定的形變係數，在針對初始虛擬人臉影像進行調整過程中，調整的精度更高。
為便於對本實施例進行理解，首先對本公開實施例所公開的一種人臉影像的處理方法進行詳細介紹，本公開實施例所提供的處理方法的執行主體一般為具有一定計算能力的計算機設備，該計算機設備例如包括：終端設備或伺服器或其它處理設備，終端設備可以為用戶設備（User Equipment，UE）、移動設備、用戶終端、終端、手持設備、計算設備、可穿戴設備等。在一些可能的實現方式中，該處理方法可以通過處理器調用儲存器中儲存的計算機可讀指令的方式來實現。
參見圖1所示，本公開實施例提供了一種人臉影像的處理方法，該處理方法包括以下步驟S101至S104。
S101，獲取目標人臉的原始稠密點雲數據，並基於原始稠密點雲數據生成目標人臉的初始虛擬人臉影像。
示例性地，稠密點雲數據可以表示人臉的三維模型，具體地，稠密點雲數據可以包含人臉表面的多個點在預先構建的三維坐標系下的坐標值，多個點連接後形成的三維網路（3Dmesh）和多個點的坐標值可以用來表示人臉的三維模型，如圖2所示，表示通過不同稠密點雲數據表示的人臉的三維模型的示意圖，稠密點雲中所包含的點的個數越多，稠密點雲數據在表示人臉的三維模型時也越精細。
示例性地，初始虛擬人臉影像可以為三維人臉影像或者二維人臉影像，與具體的應用場景相關，對應的，當初始虛擬人臉影像為三維人臉影像時，後文提到的人臉影像也為三維人臉影像，當初始虛擬人臉影像為二維人臉影像時，後文提到的人臉影像也為二維人臉影像，本公開實施例將以虛擬人臉影像為三維人臉影像為例進行說明。
示例性地，獲取的目標人臉的初始稠密點雲數據為目標人臉在預設風格下對應的稠密點雲數據時，例如目標人臉在古典風格下對應的稠密點雲數據時，基於該初始稠密點雲數據展示的目標人臉的初始虛擬人臉影像也是在古典風格下的人臉影像，具體如何獲取目標人臉在預設風格下對應的稠密點雲數據將在後文進行說明。
S102，確定初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數。
示例性地，這裡標準虛擬人臉影像對應的標準稠密點雲數據可以是預先設定的虛擬人臉影像對應的稠密點雲數據，該預先設定的虛擬人臉影像具有預先設定的臉型以及五官特徵，進一步可以以該標準虛擬人臉影像為基礎，確定目標人臉的初始稠密點雲數據相比標準稠密點雲數據的形變係數。
示例性地，形變係數與稠密點雲數據關聯，可以表示稠密點雲數據相比標準稠密點雲數據的形變量，這樣針對目標人臉對應的形變係數，可以表示目標人臉相比標準人臉的形變量，例如可以包含鼻樑增高、眼睛變大、嘴角上揚、臉頰變小等。
具體地，形變係數包含至少一個骨骼係數和/或至少一個混合形變係數；
其中，每個骨骼係數用於對與該骨骼係數關聯的第一稠密點雲構成的骨骼的初始位姿進行調整；每個混合形變係數用於對與該混合形變係數關聯的第二稠密點雲對應的初始位置進行調整。
示例性地，骨骼係數可以包含多個，可以用於對人臉的骨骼進行調整，具體調整時，可以對骨骼在預先構建的三維坐標系（可以為預先以人臉的其中一個點為坐標原點構建的世界坐標系，將在後文介紹）中的初始位姿進行調整，以其中一個與人臉鼻樑對應的骨骼係數為例，通過調整該骨骼係數可以對構成人臉鼻樑的第一稠密點雲的初始位姿進行調整，從而完成對該人臉鼻樑的初始位姿的調整，例如將人臉鼻樑調整的更加挺拔。
混合形變係數也可以包含多個，用於對關聯的第二稠密點雲在預先構建的三維坐標系中的初始位置進行調整，可以達到對臉部輪廓和五官的尺寸、形狀等進行調整的目標，以其中一個與臉部輪廓對應的混合形變係數為例，通過調整該混合形變係數可以對構成臉部輪廓的第二稠密點雲的初始位置進行調整，從而完成對臉部輪廓的尺寸和/形狀進行調整，例如將大圓臉的尺寸調小，或者調整成瓜子臉。
示例性地，響應於不同的調整需求，骨骼係數關聯的第一稠密點雲和混合形變係數關聯的第二稠密點雲之間可以有至少一部分點重疊，例如，以用於對人臉鼻頭的位姿進行調整的一骨骼係數為例，通過調整該骨骼係數關聯的第一稠密點雲，可以達到對人臉鼻頭的位姿進行調整的目的，在需要對人臉鼻頭的尺寸進行調整時，該人臉鼻頭對應的混合形變係數關聯的第二稠密點雲可以和用於對人臉鼻頭的位姿進行調整的骨骼係數關聯的第一稠密點雲相同；當然，骨骼係數關聯的第一稠密點雲和混合形變係數關聯的第二稠密點雲也可以為不相同的稠密點雲，例如用於對人臉鼻頭的位姿進行條件的骨骼係數關聯的第一稠密點雲，與用於對臉頰尺寸進行調整的混合形變係數關聯的第二稠密點雲。
示例性地，為了表示目標人臉的初始稠密點雲數據相對於標準稠密點雲數據的形變係數，可以預先以目標人臉包含的稠密點雲中的其中一個點為坐標系原點，選定三個互相垂直的方向作為坐標系的三個坐標軸構建世界坐標系，在該世界坐標系下，可以確定目標人臉的初始稠密點雲數據相對於標準稠密點雲數據的形變係數，形變係數的具體確定過程可以根據機器學習算法來確定，將在後文進行詳細說明。
本公開實施例中提出，形變係數包含用於對骨骼的初始位姿進行調整的骨骼係數，以及包含用於對稠密點雲進行初始位置調整的混合形變係數，這樣可以基於形變係數對目標人臉進行全面調整。
S103，響應於針對初始虛擬人臉影像的調整操作，對形變係數進行調整，得到目標形變係數。
示例性地，在展示目標人臉的初始虛擬人臉影像時，還可以展示用於對該初始虛擬人臉影像進行調整的操作按鈕，允許用戶通過操作按鈕對展示的初始虛擬人臉影像進行形貌調整，在調整過程中，為了方便用戶能夠直觀地對初始虛擬人臉影像進行調整，可以預先建立多種待調整位置與形變係數之間的對應關係，例如建立嘴巴、眼睛、鼻翼、眉毛、臉型等待調整位置分別與形變係數之間的對應關係，這樣便於用戶直接基於展示的初始虛擬人臉影像，對待調整位置進行調整，從而可以達到對形變係數進行調整的目的。
S104，基於目標形變係數和標準稠密點雲數據，生成目標人臉對應的目標虛擬人臉影像。
在得到目標形變係數後，進一步可以基於該目標形變係數對標準稠密點雲數據進行調整，得到目標人臉對應的目標稠密點雲數據，然後根據該目標稠密點雲數據，生成目標人臉對應的目標虛擬人臉影像。
本公開實施例中，提出通過稠密點雲數據確定用於對目標人臉的虛擬人臉影像進行調整的形變係數，這樣可以建立稠密點雲數據和形變係數之間的對應關係，從而可以直接基於形變係數對虛擬人臉影像進行調整，相比通過對稠密點雲數據中的點進行逐一調整的方式，可以提高調整效率。
另一方面，考慮到這裡的形變係數是根據稠密點雲數據確定的，在基於形變係數對初始虛擬人臉影像的調整過程中，可以直接基於形變係數對稠密點雲數據中的點進行調整，這樣可以直接精確到對構成虛擬人臉影像的各個點的調整，在提高調整效率的基礎上同時可以提高調整精度。
下面將結合具體實施例對上述步驟S101至S104進行具體介紹。
針對上述S101，在獲取目標人臉的初始稠密點雲數據，並基於初始稠密點雲數據展示目標人臉的初始虛擬人臉影像時，如圖3所示，可以包括以下步驟S201至S203。
S201，獲取目標人臉對應的第一人臉影像，以及預設風格的多張第二人臉影像分別對應的稠密點雲數據。
示例性地，目標人臉對應的第一人臉影像可以為通過影像採集設備採集的目標人臉的彩色人臉影像，或者目標人臉的灰度人臉影像，在此不做具體限定。
示例性地，多張第二人臉影像為預先選擇具有一些特徵的影像，通過這些第二人臉影像能夠表徵出不同的第一人臉影像，例如選擇n張第二人臉影像，針對每張第一人臉影像，則可以通過這n張第二人臉影像和線性擬合係數來表徵該第一人臉影像。示例性地，為了使得多張第二人臉影像能夠擬合表示大部分的第一人臉影像，可以選擇相比平均人臉具有一些突出特徵的人臉的影像作為第二人臉影像，例如，選擇相比平均人臉的臉部尺寸較小的人臉的人臉影像作為第二人臉影像，或者，選擇相比平均人臉的嘴巴尺寸較大的人臉的人臉影像作為第二人臉影像，或者，選擇相比平均人臉的眼睛尺寸較大的人臉的人臉影像作為第二人臉影像，通過選擇具有特定特徵的人臉的人臉影像作為第二人臉影像，可以通過調整線性擬合係數，來表徵出第一人臉影像。
示例性地，可以預先獲取並保存每張第二人臉影像在多種風格下分別對應的稠密點雲數據，例如在古典風格下對應的稠密點雲數據，在現代風格下對應的稠密點雲數據，在西式風格下對應的稠密點雲數據、以及在中式風格下對應的稠密點雲數據，便於後續確定出第一人臉影像在不同風格下對應的虛擬人臉模型。
示例性地，預先可以針對每張第二人臉影像，可以提取該張第二人臉影像對應的稠密點雲數據、以及該張第二人臉影像的人臉參數值，例如可以提取第二張人臉影像的三維可變形模型（3D Morphable Face Model，3DMM）參數值，然後根據人臉參數值對稠密點雲數據中多個點的坐標值進行調整，得到每張第二人臉影像在多種風格下分別對應的稠密點雲數據，例如可以得到每張第二人臉影像在古典風格下對應的稠密點雲數據、在卡通風格下對應的稠密點雲數據，然後對每張第二人臉影像在不同風格下的稠密點雲數據進行保存。
示例性地，人臉參數值包括表示臉部形狀的參數值，以及，表示臉部表情的參數值，例如人臉參數值中可以包含K維度的用於表示臉部形狀的參數值，包含M維度的用於表示臉部表情的參數值，其中，K維度的用於表示臉部形狀的參數值共同體現出該第二人臉影像的臉部形狀，M維度的用於表示臉部表情的參數值共同體現出該第二人臉影像的臉部表情。
示例性地，K的維度取值範圍一般在150至400之間，K的維度越小，能夠表徵的臉部形狀越簡單，K的維度越大，能夠表徵的臉部形狀越複雜； M的取值範圍一般在10至40之間，M的維度越少，能夠表徵的臉部表情越簡單，M的維度越多，能夠表徵的臉部表情越複雜，可見，本公開實施例提出可以通過數量範圍較少的人臉參數值來表示一張人臉，從而為後續確定目標人臉對應的初始虛擬人臉模型提供便利。
示例性地，結合人臉參數值的含義，上述提到的根據人臉參數值對稠密點雲中多個點的坐標值進行調整，得到每張第二人臉影像在多種風格下分別對應的稠密點雲數據，可以理解為是根據人臉參數值以及多種風格分別對應的特徵屬性（例如卡通風格的特徵屬性、古典風格的特徵屬性等），對稠密點雲中的點在預先建立的三維坐標系下的坐標值進行調整，從而得到第二人臉影像在多種風格下分別對應的稠密點雲數據。
S202，基於第一人臉影像和預設風格的多張第二人臉影像分別對應的稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據。
示例性地，可以通過找到第一人臉影像與多張第二人臉影像之間的關聯關係，例如可以通過線性擬合的方式，確定出多張第二人臉影像與第一人臉影像之間的線性擬合係數，然後進一步可以根據該線性擬合係數以及預設風格的多張第二人臉影像分別對應的稠密點雲數據，確定出目標人臉在預設風格下的稠密點雲數據。
S203，基於目標人臉在預設風格下的稠密點雲數據，生成並展示目標人臉在預設風格下的初始虛擬人臉影像。
在獲取到目標人臉在預設風格下的稠密點雲數據後，可以按照該目標人臉對應的稠密點雲數據，生成並展示目標人臉在預設風格下的初始虛擬人臉影像，例如可以基於默認設置的風格，或者用戶設置的風格展示出目標人臉的初始虛擬人臉影像。
本公開實施例中，可以根據預先儲存的基底影像庫中的每張基底影像在預設風格下分別對應的稠密點雲數據，來確定第一人臉影像在預設風格下的稠密點雲數據，從而快速展示出目標人臉在預設風格下的虛擬人臉影像。
針對上述S202，稠密點雲數據包含稠密點雲中多個點的坐標值，在基於第一人臉影像和預設風格的多張第二人臉影像分別對應的稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據時，如圖4所示，可以包括以下步驟S301至S302。
S301，提取第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值；其中，人臉參數值包含表徵人臉形狀的參數值和表徵人臉表情的參數值。
示例性地，這裡可以通過預先訓練的神經網路來分別提取第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值，例如可以將第一人臉影像和每張第二人臉影像分別輸入預先訓練的神經網路，得到各自對應的人臉參數值。
S302，基於第一人臉影像的人臉參數值、以及預設風格的多張第二人臉影像分別對應的人臉參數值和稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據。
考慮到人臉參數值和稠密點雲數據在表徵同一張人臉時具有對應關係，因此可以通過第一人臉影像和預設風格的多張第二人臉影像各自對應的人臉參數值，確定出第一人臉影像和預設風格的多張第二人臉影像之間的關聯關係，然後根據該關聯關係，以及預設風格多張第二人臉影像分別對應的稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據。
本公開實施例中，提出在確定目標人臉影像在預設風格下的稠密點雲數據的過程中，可以結合第一人臉影像和多張第二人臉影像的人臉參數值來確定，因為在通過人臉參數值表示人臉時使用的參數值數量較少，因此能夠更加快速的確定出目標人臉在預設風格下的稠密點雲數據。
示例性地，上述提到的人臉參數值由預先訓練的神經網路提取，神經網路基於預先標註人臉參數值的樣本影像訓練得到。
本公開實施例中，提出通過預先訓練的神經網路來提取人臉影像的人臉參數值，可以提高人臉參數值的提取效率。
具體地，可以按照以下方式預先訓練神經網路，如圖5所示，可以包括以下步驟S401至S403。
S401，獲取樣本影像集，樣本影像集包含多張樣本影像以及每張樣本影像對應的標註人臉參數值；
S402，將多張樣本影像輸入神經網路，得到每張樣本影像對應的預測人臉參數值；
S403，基於每張樣本影像對應的預測人臉參數值和標註人臉參數值，對神經網路的網路參數值進行調整，得到訓練完成的神經網路。
示例性地，可以採集大量的人臉影像以及每張人臉影像對應的標註人臉參數值作為這裡的樣本影像集，將每張樣本影像輸入神經網路，可以得到神經網路輸出的該張樣本影像對應的預測人臉參數值，進一步可以基於樣本影像對應的標註人臉參數值和預測人臉參數值確定神經網路對應的第三損失值，然後根據第三損失值對神經網路的網路參數值進行調整，直至調整次數達到預設次數和/或第三損失值小於第三預設閾值後，得到訓練完成的神經網路。
本公開實施例中，在對用於提取人臉參數值的神經網路進行訓練過程中，提出通過每張樣本影像的標註人臉參數值，對神經網路的網路參數值進行不斷調整，從而可以得到準確度較高的神經網路。
具體地，針對上述S302，在基於第一人臉影像的人臉參數值、以及預設風格的多張第二人臉影像分別對應的人臉參數值和稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據時，如圖6所示，可以包括以下S3021~S3032：
S3021，基於第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值，確定第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數；
S3022，根據預設風格的多張第二人臉影像分別對應的稠密點雲數據和線性擬合係數，確定目標人臉在預設風格下的稠密點雲數據。
示例性地，以人臉參數值為3DMM參數值為例，考慮到第一人臉影像的3DMM參數值可以表徵該第一人臉影像對應的人臉形狀和表情，同樣每張第二人臉影像對應的3DMM參數值可以表徵該第二人臉影像對應的人臉形狀和表情，第一人臉影像和多張第二人臉影像之間的關聯關係可以通過3DMM參數值來進行確定，具體地，假設多張第二人臉影像包含n張第二人臉影像，這樣第一人臉影像和多張第二人臉影像之間的線性擬合係數也包含n個線性擬合系數值，可以按照以下公式（1）來表示第一人臉影像的人臉參數值和多張第二人臉影像分別對應的人臉參數值之間的關聯關係：
（1）。
其中，
表示第一人臉影像對應的3DMM參數值；
表示第一人臉影像和第x張第二人臉影像之間的線性擬合系數值；
表示第x張第二人臉影像對應的人臉參數值；L表示確定第一人臉影像對應的人臉參數值時使用到的第二人臉影像的數量；x用於指示第x張第二人臉影像，其中，
。
本公開實施例中，可以提出通過數量較少的人臉參數值快速得到表示第一人臉影像和多張第二人臉影像之間的關聯關係的線性擬合係數，進一步可以根據該線性擬合係數對預設風格的多張第二人臉影像的稠密點雲數據進行調整，可以快速得到目標人臉在預設風格下的稠密點雲數據。
具體地，針對上述S3021，在基於第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值，確定第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數時，包括以下步驟S30211至S30214。
S30211，獲取當前線性擬合係數；其中，初始的當前線性擬合係數為預先設置。
當前線性擬合係數可以為按照以下步驟S30212至S30214調整過至少一次的線性擬合係數，也可以為初始的線性擬合係數，在該當前線性擬合係數為初始的線性擬合係數的情況下，該初始的線性擬合係數可以為預先根據經驗設置的。
S30212，基於當前線性擬合係數和多張第二人臉影像分別對應的人臉參數值，預測第一人臉影像的當前人臉參數值。
示例性地，多張第二人臉影像分別對應的人臉參數值可以由上述提到的預先訓練的神經網路提取得到，然後可以將當前線性擬合係數和多張第二人臉影像分別對應的人臉參數值輸入上述公式（1）中，預測得到第一人臉影像的當前人臉參數值。
S30213，基於預測的當前人臉參數值和第一人臉影像的人臉參數值，確定第二損失值。
在調整線性擬合係數的過程中，預測得到的第一人臉影像的當前人臉參數值和通過上述提到的預先訓練的神經網路提取的第一人臉影像的人臉參數值之間具有一定的差距，可以基於該差距，確定提取的第一人臉影像的人臉參數值和預測的第一人臉影像的人臉參數值之間的第二損失值。
S30214，基於第二損失值以及預設的線性擬合係數對應的約束範圍，調整當前線性擬合係數，基於調整後的當前線性擬合係數，返回執行預測當前人臉參數值的步驟，直至對當前線性擬合係數的調整操作符合第二調整截止條件的情況下，基於當前線性擬合係數得到第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數。
示例性地，考慮到人臉參數值是用來表示臉部形狀和尺寸的，為了避免後期通過線性擬合係數確定出的第一人臉影像的稠密點雲數據在表徵人臉臉部時發生失真，這裡提出在基於第二損失值調整當前線性擬合係數的過程中，需要結合預設的線性擬合係數的約束範圍，一同對當前線性擬合係數進行調整，例如，這裡可以通過大量數據統計，確定預設的線性擬合係數對應的約束範圍設置為-0.5到0.5之間，這樣在基於第二損失值調整當前線性擬合係數的過程中，可以使得每個調整後的線性擬合係數在-0.5到0.5之間。
示例性地，在基於第二損失值以及預設的線性擬合係數對應的約束範圍，對當前線性擬合係數進行調整，以使得預測的第一人臉影像的當前人臉參數值和基於神經網路提取的第一人臉影像的人臉參數值之間更加接近，然後基於調整後的當前線性擬合係數，返回S30212，直至對當前線性擬合係數的調整操作符合第二調整截止條件的情況下，例如在第二損失值小於第二預設閾值和/或針對當前線性擬合係數的調整次數達到預設次數後，得到線性擬合係數。
本公開實施例中，在調整第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數的過程中，通過第二損失值和/或調整次數對線性擬合係數進行多次調整，可以提高線性擬合係數的準確度；另一方面在調整過程中通過預設的線性擬合係數的約束範圍進行調整約束，這樣得到線性擬合係數，能夠更加合理的確定目標人臉對應的稠密點雲數據。
具體地，稠密點雲數據包含稠密點雲中各個點的坐標值，針對上述S3022，在根據預設風格的多張第二人臉影像分別對應的稠密點雲數據和線性擬合係數，確定目標人臉在預設風格下的稠密點雲數據時，包括以下步驟S30221至S30224。
S30221，基於預設風格的多張第二人臉影像分別對應的稠密點雲中各個點的坐標值，確定平均稠密點雲數據中對應點的坐標值；
示例性地，在確定預設風格的多張第二人臉影像對應的平均稠密點雲數據中各個點的坐標值時，可以基於多張第二人臉影像分別對應的各個點的坐標值，以及多張第二人臉影像的張數進行確定。例如多張第二人臉影像包含20張，每張第二人臉影像對應的稠密點雲數據包含100個點的三維坐標值，針對第一個點，可以將第一個點在20張第二人臉影像中對應的三維坐標值進行求和，然後將求和結果除以20得到的值作為平均稠密點雲數據中對應的第一個點的坐標值。按照同樣的方式，可以得到多張第二人臉影像對應的平均稠密點雲數據中每個點在三維坐標系下的坐標值。換言之，多張第二人臉影像各自的稠密點雲數據中相互對應的多個個點的坐標均值構成這裡的平均稠密點雲數據中對應點的坐標值。
S30222，基於預設風格的多張第二人臉影像分別對應的稠密點雲中各個點的坐標值、和平均稠密點雲數據中對應點的坐標值，確定預設風格的多張第二人臉影像分別對應的坐標差異值。
示例性地，平均稠密點雲數據中各點的坐標值可以表示多張第二人臉影像對應的平均虛擬人臉模型，例如平均稠密點雲數據中各點的坐標值表示的五官尺寸可以為多張第二人臉影像對應的平均五官尺寸，平均稠密點雲數據中各點的坐標值表示的臉部尺寸可以為多張第二人臉影像對應的平均臉部尺寸等。
示例性地，通過多張第二人臉影像分別對應的稠密點雲的坐標值和平均稠密點雲數據中對應點的坐標值進行作差，可以得到多張第二人臉影像分別對應的稠密點雲中各點的坐標值相對於平均稠密點雲數據中對應點的坐標值的坐標差異值（本文中也可簡稱為“第二人臉影像對應的坐標差異值”），從而可以表徵該第二人臉影像對應的虛擬人臉模型相比上述提到的平均人臉模型的差異性。
S30223，基於預設風格的多張第二人臉影像分別對應的坐標差異值和線性擬合係數，確定第一人臉影像對應的坐標差異值。
示例性地，線性擬合係數可以表示第一人臉影像對應的人臉參數值與多張第二人臉影像分別對應的人臉參數值之間的關聯關係，而人臉影像對應的人臉參數值和該人臉影像對應的稠密點雲數據之間具有對應關係，因此線性擬合係數也可以表示第一人臉影像對應的稠密點雲數據與多張第二人臉影像分別對應的稠密點雲數據之間的關聯關係。
在對應相同的平均稠密點雲數據的情況下，該線性擬合係數還可以表示第一人臉影像對應的坐標差異值與多張第二人臉影像分別對應的坐標差異值之間的關聯關係，因此，這裡可以基於多張第二人臉影像分別對應的坐標差異值和線性擬合係數，確定第一人臉影像對應的稠密點雲數據相對於平均稠密點雲數據的坐標差異值。
S30224，基於第一人臉影像對應的坐標差異值和平均稠密點雲數據中對應點的坐標值，確定目標人臉在預設風格下的稠密點雲數據。
將第一人臉影像對應的坐標差異值和平均稠密點雲數據中對應點的坐標值進行求和，可以得到第一人臉影像對應的稠密點雲數據，基於該稠密點雲數據可以表示該第一人臉影像對應的虛擬人臉模型。
具體地，這裡確定目標人臉對應的稠密點雲數據時，考慮到稠密點雲數據和3DMM之間的關係，目標人臉（第一人臉影像）對應的稠密點雲數據可以通過
表示，具體可以根據以下公式（2）進行確定：
（2）。
其中，
表示第x張第二人臉影像對應的稠密點雲的坐標值；
表示根據多張第二人臉影像確定的平均稠密點雲數據中對應點的坐標值；
可以表示第一人臉影像對應的點的坐標值相對於平均稠密點雲數據中對應點的坐標值的坐標差異值。
這裡在確定第一人臉影像的稠密點雲數據時，採用步驟S30221至 S30224的方式進行確定，即通過上述公式（2）的方式進行確定，相比通過多張第二人臉影像分別對應的稠密點雲數據和線性擬合係數來確定目標人臉對應的稠密點雲數據的方式，可以包含以下好處。
本公開實施例中，考慮到線性擬合係數是用於對多張第二人臉影像分別對應的坐標差異值進行線性擬合，這樣得到的是第一人臉影像對應的點的坐標值相對於平均稠密點雲數據中對應點的坐標值的坐標差異值（本文中也可簡稱為“第一人臉影像對應的坐標差異值”），因此無需對這些線性擬合係數之和等於1進行限定，第一人臉影像對應的坐標差異值和平均稠密點雲數據中對應點的坐標值相加後，得到的稠密點雲數據也能夠表示一張正常的人臉影像。
另外，在第二人臉影像較少的情況下，按照本公開實施例提供的方式可以通過對線性擬合係數進行合理的調整，達到使用較少數量的第二人臉影像確定出目標人臉在預設風格下對應的稠密點雲數據的目的，例如，第一人臉影像的眼睛尺寸為小眼睛，通過上述方式無需對多張第二人臉影像的眼睛尺寸進行限定，而可以通過線性擬合係數對坐標差異值進行調整，使得調整後的坐標差異值和平均稠密點雲數據中對應點的坐標值疊加後，可以得到表示小眼睛的稠密點雲數據。具體地，即使在多張第二人臉影像均為大眼睛時，對應的平均稠密點雲數據表示的眼睛也為大眼睛，仍然可以調整線性擬合係數，使得通過將調整後的坐標差異值與平均稠密點雲數據中對應點的坐標值求和可以得到表示小眼睛的稠密點雲數據。
可見，本公開實施例針對不同的第一人臉影像，無需挑選與該第一人臉影像的五官特徵相似的第二人臉影像來確定該第一人臉影像對應的稠密點雲數據，該方式在第二人臉影像較少的情況下，可以通過多樣性的第二人臉影像的稠密點雲數據準確地表示出不同的目標人臉在預設風格下的稠密點雲數據。
按照上述方式，可以得到目標人臉在預設風格下的稠密點雲數據，例如得到目標人臉在古典風格下的稠密點雲數據，進一步基於該稠密點雲數據展示目標人臉在古典風格下的初始虛擬人臉影像。
針對上述S102，在確定初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數時，如圖7所示，包括以下步驟S501至S504。
S501，基於當前形變係數對標準稠密點雲數據進行調整，得到當前稠密點雲數據，初始的當前形變係數為預先設置的。
示例性地，在形變係數包含骨骼係數的情況下，可以基於當前骨骼係數和初始骨骼變化矩陣來共同確定針對該骨骼係數關聯的第一稠密點雲進行調整時的變化矩陣；在形變係數包含混合形變係數的情況下，可以基於當前混合形變係數和單位混合形變量共同確定針對該混合形變係數關聯的第二稠密點雲進行調整時的變化量，具體情況詳見下文。
示例性地，為了對標準稠密點雲數據進行調整的過程進行解釋，這裡可以引入骨骼坐標系，以及骨骼坐標系和世界坐標系之間的轉換關係，其中骨骼坐標系是針對每個骨骼建立三維坐標系，即每個骨骼對應的局部坐標系，世界坐標系為針對整張人臉建立的三維坐標系，每個骨骼對應的局部坐標系與世界坐標系之間具有轉換關係，按照該轉換關係，可以將稠密點雲在骨骼坐標系下的位置轉換至世界坐標系下的位置。
特別地，在基於當前形變係數對標準稠密點雲數據進行調整的過程中，可以分為兩種情況，第一種情況為在基於混合形變係數對標準稠密點雲數據中對應的點進行調整時，會受到骨骼係數的影響的情況，下文將結合公式（3）進行說明；第二種情況為在基於混合形變係數對標準稠密點雲數據中對應的點進行調整時，不會受到骨骼係數的影響的情況，下文將結合公式（4）說明。
具體地，第一種情況可以按照以下公式（3）來確定調整後的稠密點雲數據：
（3）。
其中，
為針對標準稠密點雲數據中第m個點進行調整過程中，在預先以人臉建立的世界坐標系下的坐標值；
表示第i個骨骼對應的骨骼坐標系向世界坐標系進行變換的變換矩陣；
表示預先設定的第i個骨骼在該骨骼對應的骨骼坐標系下的初始骨骼變換矩陣；
表示在第i個骨骼在第i個骨骼對應的骨骼坐標系下的值；
表示標準稠密點雲數據中的第m個點在第i個骨骼對應的骨骼坐標系下的初始坐標值（當該第m個點不在第i個骨骼中時，該初始坐標值為0）；
表示預先設定與第m個點關聯的混合形變係數在第i個骨骼對應的骨骼坐標系下的單位形變量；
表示與第m個點關聯的混合形變係數在第i個骨骼對應的骨骼坐標系下的坐標值；i用於指示第i個骨骼，
；n表示標準虛擬人臉影像對應的骨骼個數；m表示稠密點雲數據中的第m個點。
可見針對上述第一種情況，在基於混合形變係數對標準稠密點雲數據中的點在骨骼坐標系下的坐標值進行調整後，還需要結合骨骼形變係數才能最終確定標準稠密點雲數據中的稠密點雲在世界坐標系下的坐標值，即上述提到的在基於混合形變係數對標準稠密點雲數據中的稠密點雲進行調整時，會受到骨骼係數的影響。
針對第二種情況，可以按照以下公式（4）來確定調整後的稠密點雲數據：
（4）。
其中，
針對標準稠密點雲數據中第m個點進行調整過程中，在世界坐標系下的坐標值；
表示第i個骨骼對應的骨骼坐標系向世界坐標系進行變換的變換矩陣；
表示預先設定的第i個骨骼在該骨骼對應的骨骼坐標系下的初始骨骼變換矩陣；
表示在第i個骨骼在第i個骨骼對應的骨骼坐標系下的值；
表示標準稠密點雲數據中的第m個點在第i個骨骼對應的骨骼坐標系下的初始位置（當該第m個點不在第i個骨骼中時，該初始位置為0）；
表示預先設定與第m個點關聯的混合形變係數在世界坐標系下的單位形變量；
表示與第m個點關聯的混合形變係數在世界坐標系下的值；i用於指示第i個骨骼，
；n表示需要調整的骨骼個數。
可見針對上述第二種情況，可以直接基於混合形變係數對標準稠密點雲數據中的點在世界坐標系下的坐標值進行調整，即上述提到的在基於混合形變係數對標準稠密點雲數據中的點進行調整時，不會受到骨骼係數的影響。
上述公式（3）或者公式（4）均為針對標準稠密點雲數據中的其中一個點進行調整的過程，按照同樣的方式，可以依次針對標準稠密點雲數據中的其它點進行調整，從而完成基於當前形變係數對標準稠密點雲數據的一次調整。
S502，基於調整後的稠密點雲數據和目標人臉的初始稠密點雲數據，確定第一損失值。
示例性地，第一損失值可以通過目標人臉的初始稠密點雲數據和調整後的稠密點雲數據之間的差值進行表示。
具體地，該第一損失值可以通過以下公式（5）進行表示：
（5）。
其中，
表示調整後的稠密點雲數據相比目標人臉的初始稠密點雲數據的第一損失值；
表示目標人臉的初始稠密點雲數據中的第m個點在世界坐標系下的坐標值；
表示調整後的稠密點雲數據中的第m個點在世界坐標系下的坐標值；m表示稠密點雲數據中的第m個點；M表示稠密點雲數據中的點的數量。
S503，基於第一損失值以及預設的形變係數的約束範圍，調整當前形變係數，基於調整後的當前形變係數，返回執行對標準稠密點雲數據進行調整的步驟，直至對當前形變係數的調整操作符合第一調整截止條件，得到初始稠密點雲數據相對於標準稠密點雲數據的形變係數。
示例性地，考慮到當前形變係數是目標人臉相對於標準人臉的形變係數，即當前形變係數是用來表示正常的臉部形貌的，為了避免對當前形變係數的調整幅度過大，使得其表示的臉部形貌失真，這裡提出在基於損失函數值調整當前形變係數的過程中，需要結合預設的線性擬合係數的約束範圍，一同對當前線性擬合係數進行調整，具體地，這裡預設的形變係數為混合形變係數，例如約束混合形變係數的取值為0至1之間。
示例性地，在基於第一損失值以及預設的形變係數對應的約束範圍，對當前形變係數進行調整，以使得目標人臉的初始稠密點雲數據和調整後的稠密點雲數據之間更加接近，然後基於調整後的當前形變係數，返回S501，直至在對當前形變係數的調整操作符合第一調整截止條件，例如在第一損失值小於第一預設閾值和/或針對當前形變係數的調整次數達到預設次數後，得到目標人臉對應的形變係數。
本公開實施例中，在確定形變係數的過程中，是通過對標準稠密點雲數據中的多個點進行調整確定的，因此得到的形變係數可以表示出目標人臉的初始稠密點雲相比標準稠密點雲的精確變化量，從而在需要對目標人臉的初始虛擬人臉影像進行調整過程中，可以基於形變係數對稠密點雲數據中關聯的點進行調整，從而提高調整精度。
另一方面，在確定形變係數的過程中，損失值是在對所有稠密點雲進行調整後，再基於調整後的稠密點雲數據以及目標人臉的初始稠密點雲數據而確定的，對當前形變係數進行的優化，充分考慮形變係數與整體稠密點雲之間的關聯性，提高優化效率；此外在調整過程中通過預設的形變係數的約束範圍進行調整約束，可以防止形變係數發生畸變，得到無法表示正常的目標人臉的形變係數。
針對上述S103，在響應於針對初始虛擬人臉影像的調整操作，對形變係數進行調整，得到目標形變係數時，如圖8所示，可以包括以下步驟S601至S602：
S601，響應針對初始虛擬人臉影像的調整操作，確定針對初始虛擬人臉影像的目標調整位置，以及針對目標調整位置的調整幅度；
S602，按照調整幅度，對與目標調整位置關聯的形變係數進行調整，得到目標形變係數。
示例性地，在對初始虛擬人臉影像進行調整過程中，考慮到初始虛擬人臉影像包含的可以調整的位置較多，在向用戶進行展示這些可以調整的位置時，可以預選對這些可以調整的位置進行分類，例如按照臉部不同區域進行分類，例如可以分為臉部下巴區域、眉毛區域、眼睛區域等，對應地，可以展示下巴區域、眉毛區域、眼睛區域等分別對應的調整操作按鈕，用戶可以基於不同區域分別對應的調整操作按鈕選擇目標調整區域；或者，可以每次向用戶展示設定個數的調整位置對應的調整按鈕，以及展示更換調整位置的指示按鈕。例如，如圖9所示，圖9中左圖展示了6種調整位置的調整界面，具體包含鼻翼上下、鼻樑高低、鼻頭大小、鼻頭朝向、嘴大小、嘴的上部和下部各自對應的幅度條，用戶可以拖動幅度條對調整位置進行調整，也可以在選中調整位置後，通過位於調整位置上方的調整按鍵進行調整，例如“減一”按鍵和“加一”按鍵，調整界面的右下角還展示有用於指示更換調整位置的箭頭按鈕，用戶可以觸發該箭頭按鈕，更換至圖9中右圖展示的6種調整位置。
具體地，針對每種調整位置，可以按照該調整位置對應的幅度條確定針對該調整位置的調整幅度，用戶針對其中一個調整位置對應的幅度條進行調整時，可以將該調整位置作為目標調整位置，基於幅度條的變化數據確定針對該目標調整位置的調整幅度，進一步按照該調整幅度，以及預先設定的每種調整位置與形變係數之間的關聯關係，對與目標調整位置關聯的形變係數進行調整，得到目標形變係數。
本公開實施例中，可以根據調整操作，確定目標形變係數，便於後期基於該目標形變係數可以確定出目標虛擬人臉影像，該方式可以基於個性化的用戶需求來針對形變係數進行調整。
針對上述S104，在基於目標形變係數和標準稠密點雲數據，生成目標人臉對應的目標虛擬人臉影像時，如圖10所示，可以包括以下步驟S801至S802：
S801，基於目標形變係數，對標準稠密點雲數據進行調整，得到目標稠密點雲數據；
S802，基於目標稠密點雲數據，生成目標虛擬人臉影像。
示例性地，目標形變係數可以包含與目標調整位置關聯的發生變化的形變係數，也可以包含未進行調整的不發生變化的形變係數，考慮到形變係數是目標人臉的初始稠密點雲數據相比標準稠密點雲數據確定的，因此在基於目標形變係數對初始虛擬人臉影像進行調整過程中，可以基於該目標形變係數和標準稠密點雲數據來得到目標人臉對應的目標稠密點雲數據，進一步基於該目標稠密點雲數據，生成目標虛擬人臉影像。
示例性地，例如針對如上圖9所示，用戶點擊針對鼻樑高低進行調整，將鼻樑的高度調高，則相比初始虛擬人臉影像，目標虛擬人臉影像的鼻樑變高。
本公開實施例中，在確定目標形變係數後，可以直接根據目標形變係數對標準稠密點雲數據進行調整，確定目標稠密點雲數據，這樣可以根據調目標稠密點雲數據快速得到目標人臉對應的目標虛擬人臉影像。
具體地，在基於目標稠密點雲數據，生成目標虛擬人臉影像時，包括以下步驟S8021至S8022：
S8021，確定與目標稠密點雲數據對應的虛擬人臉模型；
S8022，基於預選的人臉屬性特徵和虛擬人臉模型，生成目標虛擬人臉影像。
示例性地，虛擬人臉模型可以為三維人臉模型，也可以是二維人臉模型，與具體的應用場景相關，在此不進行限定。
示例性地，人臉屬性特徵可以包含膚色、髮型等特徵，人臉屬性特徵可以根據用戶的選擇確定，例如用戶可以選擇設置膚色為白色系、髮型為棕色捲髮。
在得到目標稠密點雲數據後，可以基於該目標稠密點雲數據，生成目標虛擬人臉模型，目標虛擬人臉模型可以包含目標人臉的形狀以及表情特徵，然後結合人臉屬性特徵，可以生成符合用戶個性需求的目標虛擬人臉影像。
本公開實施例中，在對初始虛擬人臉影像進行調整時，還可以結合用戶選定的人臉屬性特徵進行個性化地調整，從而使得目標虛擬人臉影像更貼合用戶的實際需求。
下面將以一具體實施例對人臉影像的處理過程進行闡述，包括以下步驟S901~S904：
S901，針對輸入的目標人臉，使用計算機讀取輸入的目標人臉的初始稠密點雲數據
（其中
表示稠密點雲中M個點的坐標值），再獲取標準虛擬人臉影像對應的標準稠密點雲數據和預設的初始形變係數（包括初始骨骼形變係數和初始混合形變係數）；
S902，根據初始骨骼形變係數和初始混合形變係數對標準稠密點雲數據進行調整，得到調整後的稠密點雲數據
（其中
表示稠密點雲中M個點調整後的坐標值），具體可以通過上述公式（3）或者上述公式（4）進行調整；
S903，計算目標人臉的初始稠密點雲數據
和調整後的稠密點雲數據
之間的差異值
，並通過該差異值以及針對初始混合形變係數的約束項，對初始骨骼形變係數和初始混合形變係數進行調整；
S904，根據調整後的骨骼形變係數替換初始骨骼形變係數，以及根據調整後的混合形變係數替換初始混合形變係數，返回S902步驟繼續對骨骼係數和混合形變係數進行調整，直至目標人臉的初始稠密點雲數據
和調整後的稠密點雲數據
的差異值小於第一預設閾值，或者迭代次數超過預設次數。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
基於同一技術構思，本公開實施例中還提供了與人臉影像的處理方法對應的處理裝置，由於本公開實施例中的裝置解決問題的原理與本公開實施例上述處理方法相似，因此裝置的實施可以參見方法的實施，重複之處不再贅述。
參照圖11所示，本公開實施例提供一種人臉影像的處理裝置1000，該處理裝置包括：獲取模組1001，用於獲取目標人臉的初始稠密點雲數據，並基於初始稠密點雲數據生成目標人臉的初始虛擬人臉影像；確定模組1002，用於確定初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數；調整模組1003，用於響應於針對初始虛擬人臉影像的調整操作，對形變係數進行調整，得到目標形變係數；生成模組1004，用於基於目標形變係數和標準稠密點雲數據，生成目標人臉對應的目標虛擬人臉影像。
在一種可能的實施方式中，形變係數包含至少一個骨骼係數和至少一個混合形變係數中的至少一項；其中，每個骨骼係數用於對與該骨骼係數關聯的第一稠密點雲構成的骨骼的初始位姿進行調整；每個混合形變係數用於對與該混合形變係數關聯的第二稠密點雲對應的初始位置進行調整。
在一種可能的實施方式中，確定模組1002在用於確定初始稠密點雲數據相對標準稠密點雲數據的形變係數時，包括：基於當前形變係數對標準稠密點雲數據進行調整，得到調整後的稠密點雲數據，初始的當前形變係數為預先設置的；基於調整後的稠密點雲數據和初始稠密點雲數據，確定第一損失值；基於第一損失值以及預設的形變係數的約束範圍，調整當前形變係數；基於調整後的當前形變係數，返回執行對標準稠密點雲數據進行調整的步驟，直至對當前形變係數的調整操作符合第一調整截止條件的情況下，根據當前形變係數得到初始稠密點雲數據相對於標準稠密點雲數據的形變係數。
在一種可能的實施方式中，調整模組1003在用於響應於針對初始虛擬人臉影像的調整操作，對形變係數進行調整，得到目標形變係數時，包括：響應針對初始虛擬人臉影像的調整操作，確定針對初始虛擬人臉影像的目標調整位置，以及針對目標調整位置的調整幅度；按照調整幅度，對與目標調整位置關聯的形變係數進行調整，得到目標形變係數。
在一種可能的實施方式中，生成模組1004在用於基於目標形變係數和標準稠密點雲數據，生成目標人臉對應的目標虛擬人臉影像時，包括：基於目標形變係數，對標準稠密點雲數據進行調整，得到目標稠密點雲數據；基於目標稠密點雲數據，生成目標虛擬人臉影像。
在一種可能的實施方式中，生成模組1004在用於基於目標稠密點雲數據，生成目標虛擬人臉影像時，包括：確定與目標稠密點雲數據對應的虛擬人臉模型；基於預選的人臉屬性特徵和虛擬人臉模型，生成目標虛擬人臉影像。
在一種可能的實施方式中，獲取模組1001在用於獲取目標人臉的初始稠密點雲數據，並基於初始稠密點雲數據展示目標人臉的初始虛擬人臉影像時，包括：獲取目標人臉對應的第一人臉影像，以及預設風格的多張第二人臉影像分別對應的稠密點雲數據；基於第一人臉影像和預設風格的多張第二人臉影像分別對應的稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據；基於目標人臉在預設風格下的稠密點雲數據，生成並展示目標人臉在預設風格下的初始虛擬人臉影像。
在一種可能的實施方式中，獲取模組1001在用於基於第一人臉影像和預設風格的多張第二人臉影像分別對應的稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據時，包括：提取第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值；其中，人臉參數值包含表徵人臉形狀的參數值和表徵人臉表情的參數值；基於第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值和稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據。
在一種可能的實施方式中，獲取模組1001在用於基於第一人臉影像的人臉參數值、以及預設風格的多張第二人臉影像分別對應的人臉參數值和稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據時，包括：基於第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值，確定第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數；根據預設風格的多張第二人臉影像分別對應的稠密點雲數據和線性擬合係數，確定目標人臉在預設風格下的稠密點雲數據。
在一種可能的實施方式中，獲取模組1001在用於基於第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值，確定第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數時，包括：獲取當前線性擬合係數，初始的當前線性擬合係數為預先設置；基於當前線性擬合係數和預設風格的多張第二人臉影像分別對應的人臉參數值，預測第一人臉影像的當前人臉參數值；基於預測的當前人臉參數值和第一人臉影像的人臉參數值，確定第二損失值；基於第二損失值以及預設的線性擬合係數對應的約束範圍，調整當前線性擬合係數；基於調整後的當前線性擬合係數，返回執行預測當前人臉參數值的步驟，直至對當前線性擬合係數的調整操作符合第二調整截止條件的情況下，基於當前線性擬合係數得到第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數。
在一種可能的實施方式中，稠密點雲數據包括稠密點雲中各個點的坐標值；獲取模組在用於根據預設風格的多張第二人臉影像分別對應的稠密點雲數據和線性擬合係數，確定目標人臉在預設風格下的稠密點雲數據，包括：基於預設風格的多張第二人臉影像分別對應的稠密點雲中各個點的坐標值，確定平均稠密點雲數據中對應點的坐標值；基於預設風格的多張第二人臉影像分別對應的稠密點雲中各個點的坐標值、和平均稠密點雲數據中對應點的坐標值，確定預設風格的多張第二人臉影像分別對應的坐標差異值；基於預設風格的多張第二人臉影像分別對應的坐標差異值和線性擬合係數，確定第一人臉影像對應的坐標差異值；基於第一人臉影像對應的坐標差異值和平均稠密點雲數據中對應點的坐標值，確定目標人臉在預設風格下的稠密點雲數據。
在一種可能的實施方式中，人臉參數值由預先訓練的神經網路提取，神經網路基於預先標註人臉參數值的樣本影像訓練得到。
在一種可能的實施方式中，處理裝置還包括訓練模組1005，訓練模組1005用於按照以下方式預先訓練神經網路：獲取樣本影像集，樣本影像集包含多張樣本影像以及每張樣本影像對應的標註人臉參數值；將多張樣本影像輸入神經網路，得到每張樣本影像對應的預測人臉參數值；基於每張樣本影像對應的預測人臉參數值和標註人臉參數值，對神經網路的網路參數值進行調整，得到訓練完成的神經網路。
關於裝置中的各模組的處理流程、以及各模組之間的交互流程的描述可以參照上述方法實施例中的相關說明，這裡不再詳述。
對應於圖1中的人臉影像的處理方法，本公開實施例還提供了一種通訊，使得所述處理器111執行以下指令：獲取目標人臉的初始稠密點雲數據，並基於初始稠密點雲數據生成目標人臉的初始虛擬人臉影像；確定初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數；響應於針對初始虛擬人臉影像的調整操作，對形變係數進行調整，得到目標形變係數；基於目標形變係數和標準稠密點雲數據，生成目標人臉對應的目標虛擬人臉影像。
本公開實施例還提供一種計算機可讀儲存媒體，該計算機可讀儲存媒體上儲存有計算機程式，該計算機程式被處理器運行時執行上述方法實施例中所述的人臉影像的處理方法的步驟。其中，該儲存媒體可以是揮發性或非揮發的計算機可讀取儲存媒體。
本公開實施例還提供一種計算機程式產品，該計算機程式產品承載有程式代碼，所述程式代碼包括的指令可用於執行上述方法實施例中所述的人臉影像的處理方法的步驟，具體可參見上述方法實施例，在此不再贅述。
其中，上述計算機程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述計算機程式產品具體體現為計算機儲存媒體，在另一個可選實施例中，計算機程式產品具體體現為軟體產品，例如軟體開發包（Software Development Kit，SDK）等等。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本公開所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或組件可以結合或者可以整合到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些通訊接口，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是實體上分開的，作為單元顯示的部件可以是或者也可以不是實體單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本公開各個實施例中的各功能單元可以整合在一個處理單元中，也可以是各個單元單獨實體存在，也可以兩個或兩個以上單元整合在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個處理器可執行的非揮發的計算機可讀取儲存媒體中。基於這樣的理解，本公開的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該計算機軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台計算機設備（可以是個人計算機，伺服器，或者網路設備等）執行本公開各個實施例所述方法的全部或部分步驟。而前述的儲存媒體包括：隨身碟、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式代碼的媒體。
最後應說明的是：以上所述實施例僅為本公開的具體實施方式，用以說明本公開的技術方案，而非對其限制，本公開的保護範圍並不局限於此，儘管參照前述實施例對本公開進行了詳細的說明，本領域的普通技術人員應當理解：任何熟悉本技術領域的技術人員在本公開揭露的技術範圍內，其依然可對前述實施例所記載的技術方案進行修改或可輕易想到變化，或者對其中部分技術特徵進行等同替換；而這些修改、變化或者替換，並不使相應技術方案的本質脫離本公開實施例技術方案的精神和範圍，都應涵蓋在本公開的保護範圍之內。因此，本公開的保護範圍應所述以請求項的保護範圍為準。
S101:獲取目標人臉的原始稠密點雲數據，並基於原始稠密點雲數據生成目標人臉的初始虛擬人臉影像
S102:確定初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數
S103:響應於針對初始虛擬人臉影像的調整操作，對形變係數進行調整，得到目標形變係數
S104:基於目標形變係數和標準稠密點雲數據，生成目標人臉對應的目標虛擬人臉影像
S201:獲取目標人臉對應的第一人臉影像，以及預設風格的多張第二人臉影像分別對應的稠密點雲數據
S202:基於第一人臉影像和預設風格的多張第二人臉影像分別對應的稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據
S203:基於目標人臉在預設風格下的稠密點雲數據，生成並展示目標人臉在預設風格下的初始虛擬人臉影像
S301:提取第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值；其中，人臉參數值包含表徵人臉形狀的參數值和表徵人臉表情的參數值
S302:基於第一人臉影像的人臉參數值、以及預設風格的多張第二人臉影像分別對應的人臉參數值和稠密點雲數據，確定目標人臉在預設風格下的稠密點雲數據
S401:獲取樣本影像集，樣本影像集包含多張樣本影像以及每張樣本影像對應的標註人臉參數值
S402:將多張樣本影像輸入神經網路，得到每張樣本影像對應的預測人臉參數值
S403:基於每張樣本影像對應的預測人臉參數值和標註人臉參數值，對神經網路的網路參數值進行調整，得到訓練完成的神經網路
S3021:基於第一人臉影像的人臉參數值，以及預設風格的多張第二人臉影像分別對應的人臉參數值，確定第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數
S3022:根據預設風格的多張第二人臉影像分別對應的稠密點雲數據和線性擬合係數，確定目標人臉在預設風格下的稠密點雲數據
S501:基於當前形變係數對標準稠密點雲數據進行調整，得到當前稠密點雲數據，初始的當前形變係數為預先設置的
S502:基於調整後的稠密點雲數據和目標人臉的初始稠密點雲數據，確定第一損失值
S503:基於第一損失值以及預設的形變係數的約束範圍，調整當前形變係數，基於調整後的當前形變係數，返回執行對標準稠密點雲數據進行調整的步驟，直至對當前形變係數的調整操作符合第一調整截止條件，得到初始稠密點雲數據相對於標準稠密點雲數據的形變係數
S601:響應針對初始虛擬人臉影像的調整操作，確定針對初始虛擬人臉影像的目標調整位置，以及針對目標調整位置的調整幅度
S602:按照調整幅度，對與目標調整位置關聯的形變係數進行調整，得到目標形變係數
S801:基於目標形變係數，對標準稠密點雲數據進行調整，得到目標稠密點雲數據
S802:基於目標稠密點雲數據，生成目標虛擬人臉影像
1000:人臉影像的處理裝置
1001:獲取模組
1002:確定模組
1003:調整模組
1004:生成模組
1005:訓練模組
1100:電子設備
111:處理器
112:儲存器
1121:記憶體
1122:外部儲存器
113:匯流排
圖1示出了本公開實施例所提供的一種人臉影像的處理方法的流程圖。
圖2示出了本公開實施例所提供的一種稠密點雲數據表示的人臉的三維模型的示意圖。
圖3示出了本公開實施例所提供的一種生成初始虛擬人臉影像的方法流程圖。
圖4示出了本公開實施例所提供的一種確定目標人臉在預設風格下的稠密點雲數據的方法流程圖。
圖5示出了本公開實施例所提供的一種訓練神經網路的方法流程圖。
圖6示出了本公開實施例所提供的一種具體地確定目標人臉在預設風格下的稠密點雲數據的方法流程圖。
圖7示出了本公開實施例所提供的一種確定形變係數的方法流程圖。
圖8示出了本公開實施例所提供的一種調整形變係數的方法流程圖。
圖9示出了本公開實施例所提供的一種針對虛擬人臉影像的調整界面示意圖。
圖10示出了本公開實施例所提供的一種生成目標人臉的目標虛擬人臉影像的方法流程圖。
圖11示出了本公開實施例所提供的一種人臉影像的處理裝置的結構示意圖。
圖12示出了本公開實施例所提供的一種電子設備的示意圖。
S101:獲取目標人臉的原始稠密點雲數據，並基於原始稠密點雲數據生成目標人臉的初始虛擬人臉影像
S102:確定初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數
S103:響應於針對初始虛擬人臉影像的調整操作，對形變係數進行調整，得到目標形變係數
S104:基於目標形變係數和標準稠密點雲數據，生成目標人臉對應的目標虛擬人臉影像
Claims (16)
- 一種人臉影像的處理方法，包括： 獲取目標人臉的初始稠密點雲數據，並基於所述初始稠密點雲數據生成所述目標人臉的初始虛擬人臉影像； 確定所述初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數； 響應於針對所述初始虛擬人臉影像的調整操作，對所述形變係數進行調整，得到目標形變係數； 基於所述目標形變係數和所述標準稠密點雲數據，生成所述目標人臉對應的目標虛擬人臉影像。
- 如請求項1所述的處理方法，其特徵在於，所述形變係數包含至少一個骨骼係數和至少一個混合形變係數中的至少一項； 其中，每個骨骼係數用於對與該骨骼係數關聯的第一稠密點雲構成的骨骼的初始位姿進行調整；每個混合形變係數用於對與該混合形變係數關聯的第二稠密點雲對應的初始位置進行調整。
- 如請求項1或2所述的處理方法，其特徵在於，所述確定所述初始稠密點雲數據相對於所述標準稠密點雲數據的形變係數，包括： 基於當前形變係數對所述標準稠密點雲數據進行調整，得到調整後的稠密點雲數據，初始的所述當前形變係數為預先設置的； 基於所述調整後的稠密點雲數據和所述初始稠密點雲數據，確定第一損失值； 基於所述第一損失值以及預設的形變係數的約束範圍，調整所述當前形變係數； 基於調整後的所述當前形變係數，返回執行對所述標準稠密點雲數據進行調整的步驟，直至對所述當前形變係數的調整操作符合第一調整截止條件的情況下，基於所述當前形變係數得到所述初始稠密點雲數據相對於所述標準稠密點雲數據的形變係數。
- 如請求項1至3之中任一項所述的處理方法，其特徵在於，所述響應於針對所述初始虛擬人臉影像的調整操作，對所述形變係數進行調整，得到目標形變係數，包括： 響應針對所述初始虛擬人臉影像的調整操作，確定針對所述初始虛擬人臉影像的目標調整位置，以及針對所述目標調整位置的調整幅度； 按照所述調整幅度，對與所述目標調整位置關聯的所述形變係數進行調整，得到所述目標形變係數。
- 如請求項1至4之中任一項所述的處理方法，其特徵在於，所述基於所述目標形變係數和所述標準稠密點雲數據，生成所述目標人臉對應的目標虛擬人臉影像，包括： 基於所述目標形變係數，對所述標準稠密點雲數據進行調整，得到目標稠密點雲數據； 基於所述目標稠密點雲數據，生成所述目標虛擬人臉影像。
- 如請求項5所述的處理方法，其特徵在於，所述基於所述目標稠密點雲數據，生成所述目標虛擬人臉影像，包括： 確定與所述目標稠密點雲數據對應的虛擬人臉模型； 基於預選的人臉屬性特徵和所述虛擬人臉模型，生成所述目標虛擬人臉影像。
- 如請求項1至6之中任一項所述的處理方法，其特徵在於，所述獲取目標人臉的初始稠密點雲數據，並基於所述初始稠密點雲數據生成所述目標人臉的初始虛擬人臉影像，包括： 獲取所述目標人臉對應的第一人臉影像，以及預設風格的多張第二人臉影像分別對應的稠密點雲數據； 基於所述第一人臉影像和所述預設風格的多張第二人臉影像分別對應的稠密點雲數據，確定所述目標人臉在所述預設風格下的初始稠密點雲數據； 基於所述目標人臉在所述預設風格下的初始稠密點雲數據，生成所述目標人臉在所述預設風格下的初始虛擬人臉影像。
- 如請求項7所述的處理方法，其特徵在於，所述基於所述第一人臉影像和所述預設風格的多張第二人臉影像分別對應的稠密點雲數據，確定所述目標人臉在所述預設風格下的初始稠密點雲數據，包括： 提取所述第一人臉影像的人臉參數值，以及所述預設風格的多張第二人臉影像分別對應的人臉參數值；其中，所述人臉參數值包含表徵人臉形狀的參數值和表徵人臉表情的參數值； 基於所述第一人臉影像的人臉參數值、以及所述預設風格的多張第二人臉影像分別對應的人臉參數值和稠密點雲數據，確定所述目標人臉在所述預設風格下的初始稠密點雲數據。
- 如請求項8所述的處理方法，其特徵在於，所述基於所述第一人臉影像的人臉參數值、以及所述預設風格的多張第二人臉影像分別對應的人臉參數值和稠密點雲數據，確定所述目標人臉在所述預設風格下的初始稠密點雲數據，包括： 基於所述第一人臉影像的人臉參數值，以及所述預設風格的多張第二人臉影像分別對應的人臉參數值，確定所述第一人臉影像和所述預設風格的多張第二人臉影像之間的線性擬合係數； 根據所述預設風格的多張第二人臉影像分別對應的稠密點雲數據和所述線性擬合係數，確定所述目標人臉在所述預設風格下的初始稠密點雲數據。
- 如請求項9所述的處理方法，其特徵在於，所述基於所述第一人臉影像的人臉參數值，以及所述預設風格的多張第二人臉影像分別對應的人臉參數值，確定所述第一人臉影像和所述預設風格的多張第二人臉影像之間的線性擬合係數，包括： 獲取當前線性擬合係數，初始的所述當前線性擬合係數為預先設置； 基於所述當前線性擬合係數和所述預設風格的多張第二人臉影像分別對應的人臉參數值，預測所述第一人臉影像的當前人臉參數值； 基於預測的當前人臉參數值和所述第一人臉影像的人臉參數值，確定第二損失值； 基於所述第二損失值以及預設的所述線性擬合係數對應的約束範圍，調整所述當前線性擬合係數； 基於調整後的所述當前線性擬合係數，返回執行預測當前人臉參數值的步驟，直至對所述當前線性擬合係數的調整操作符合第二調整截止條件的情況下，基於所述當前線性擬合係數得到第一人臉影像和預設風格的多張第二人臉影像之間的線性擬合係數。
- 如請求項9或10所述的處理方法，其特徵在於，所述稠密點雲數據包括稠密點雲中各個點的坐標值；所述根據所述預設風格的多張第二人臉影像分別對應的稠密點雲數據和所述線性擬合係數，確定所述目標人臉在所述預設風格下的初始稠密點雲數據，包括： 基於所述預設風格的多張第二人臉影像分別對應的所述稠密點雲數據中各個點的坐標值，確定平均稠密點雲數據中對應點的坐標值； 基於所述預設風格的多張第二人臉影像分別對應的所述稠密點雲數據中各個點的坐標值、和所述平均稠密點雲數據中對應點的坐標值，確定所述預設風格的多張第二人臉影像分別對應的坐標差異值； 基於所述預設風格的多張第二人臉影像分別對應的所述坐標差異值和所述線性擬合係數，確定所述第一人臉影像對應的坐標差異值； 基於所述第一人臉影像對應的坐標差異值和所述平均稠密點雲數據中對應點的坐標值，確定所述目標人臉在所述預設風格下的所述初始稠密點雲數據。
- 如請求項8至11之中任一項所述的處理方法，其特徵在於，所述人臉參數值由預先訓練的神經網路提取，所述神經網路基於預先標註人臉參數值的樣本影像訓練得到。
- 如請求項12所述的處理方法，其特徵在於，按照以下方式預先訓練所述神經網路： 獲取樣本影像集，所述樣本影像集包含多張樣本影像以及每張樣本影像對應的標註人臉參數值； 將所述多張樣本影像輸入神經網路，得到每張樣本影像對應的預測人臉參數值； 基於每張樣本影像對應的預測人臉參數值和標註人臉參數值，對所述神經網路的網路參數值進行調整，得到訓練完成的神經網路。
- 一種人臉影像的處理裝置，其特徵在於，包括： 獲取模組，用於獲取目標人臉的初始稠密點雲數據，並基於所述初始稠密點雲數據生成所述目標人臉的初始虛擬人臉影像； 確定模組，用於確定所述初始稠密點雲數據相對於標準虛擬人臉影像對應的標準稠密點雲數據的形變係數； 調整模組，用於響應於針對所述初始虛擬人臉影像的調整操作，對所述形變係數進行調整，得到目標形變係數； 生成模組，用於基於所述目標形變係數和所述標準稠密點雲數據，生成所述目標人臉對應的目標虛擬人臉影像。
- 一種電子設備，包括處理器、儲存器和匯流排，所述儲存器儲存有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述儲存器之間通過匯流排通訊，所述機器可讀指令被所述處理器執行時執行如請求項1至13之中任一項所述的處理方法的步驟。
- 一種計算機可讀儲存媒體，其上儲存有計算機程式，該計算機程式被處理器運行時執行如請求項1至13之中任一項所述的處理方法的步驟。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011339586.6A CN112419144B (zh) | 2020-11-25 | 2020-11-25 | 人脸图像的处理方法、装置、电子设备及存储介质 |
| CN202011339586.6 | 2020-11-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202221638A true TW202221638A (zh) | 2022-06-01 |
| TWI780919B TWI780919B (zh) | 2022-10-11 |
Family
ID=74843582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110135050A TWI780919B (zh) | 2020-11-25 | 2021-09-22 | 人臉影像的處理方法、裝置、電子設備及儲存媒體 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN112419144B (zh) |
| TW (1) | TWI780919B (zh) |
| WO (1) | WO2022111001A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419144B (zh) * | 2020-11-25 | 2024-05-24 | 上海商汤智能科技有限公司 | 人脸图像的处理方法、装置、电子设备及存储介质 |
| CN113409437B (zh) * | 2021-06-23 | 2023-08-08 | 北京字节跳动网络技术有限公司 | 一种虚拟角色捏脸的方法、装置、电子设备及存储介质 |
| CN113808249B (zh) * | 2021-08-04 | 2022-11-25 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和计算机存储介质 |
| CN115953821B (zh) * | 2023-02-28 | 2023-06-30 | 北京红棉小冰科技有限公司 | 一种虚拟人脸图像生成方法、装置及电子设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9552668B2 (en) * | 2012-12-12 | 2017-01-24 | Microsoft Technology Licensing, Llc | Generation of a three-dimensional representation of a user |
| CN104851123B (zh) * | 2014-02-13 | 2018-02-06 | 北京师范大学 | 一种三维人脸变化模拟方法 |
| CN104504410A (zh) * | 2015-01-07 | 2015-04-08 | 深圳市唯特视科技有限公司 | 基于三维点云的三维人脸识别装置和方法 |
| US11127163B2 (en) * | 2015-06-24 | 2021-09-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Skinned multi-infant linear body model |
| CN108876893A (zh) * | 2017-12-14 | 2018-11-23 | 北京旷视科技有限公司 | 三维人脸重建的方法、装置、系统及计算机存储介质 |
| CN108629294A (zh) * | 2018-04-17 | 2018-10-09 | 华南理工大学 | 基于变形图的人体与人脸网格模板拟合方法 |
| CN110163054B (zh) * | 2018-08-03 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法和装置 |
| CN109376698B (zh) * | 2018-11-29 | 2022-02-01 | 北京市商汤科技开发有限公司 | 人脸建模方法和装置、电子设备、存储介质、产品 |
| CN109978989B (zh) * | 2019-02-26 | 2023-08-01 | 腾讯科技（深圳）有限公司 | 三维人脸模型生成方法、装置、计算机设备及存储介质 |
| CN111710035B (zh) * | 2020-07-16 | 2023-11-07 | 腾讯科技（深圳）有限公司 | 人脸重建方法、装置、计算机设备及存储介质 |
| CN112419144B (zh) * | 2020-11-25 | 2024-05-24 | 上海商汤智能科技有限公司 | 人脸图像的处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-25 CN CN202011339586.6A patent/CN112419144B/zh active Active
-
2021
- 2021-09-17 WO PCT/CN2021/119080 patent/WO2022111001A1/zh unknown
- 2021-09-22 TW TW110135050A patent/TWI780919B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| TWI780919B (zh) | 2022-10-11 |
| CN112419144B (zh) | 2024-05-24 |
| WO2022111001A1 (zh) | 2022-06-02 |
| CN112419144A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI780919B (zh) | 人臉影像的處理方法、裝置、電子設備及儲存媒體 | |
| US11270489B2 (en) | Expression animation generation method and apparatus, storage medium, and electronic apparatus | |
| US11625878B2 (en) | Method, apparatus, and system generating 3D avatar from 2D image | |
| US11074748B2 (en) | Matching meshes for virtual avatars | |
| US11868515B2 (en) | Generating textured polygon strip hair from strand-based hair for a virtual character | |
| CN109310196B (zh) | 化妆辅助装置以及化妆辅助方法 | |
| WO2022143645A1 (zh) | 三维人脸重建的方法、装置、设备和存储介质 | |
| WO2022110851A1 (zh) | 面部信息的处理方法、装置、电子设备及存储介质 | |
| JP6786497B2 (ja) | 統計的技術を用いて形成されたデジタル歯冠モデルに表面詳細を追加するシステム及び方法 | |
| TW201743282A (zh) | 建立虛擬彩妝資料的方法、具備建立虛擬彩妝資料之方法的電子裝置以及其非暫態電腦可讀取記錄媒體 | |
| CN111833236B (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
| CN109035380B (zh) | 基于三维重建的人脸修饰方法、装置、设备及存储介质 | |
| KR102087211B1 (ko) | 개인의 특장점을 반영한 맞춤형 메이크업 진단 서비스 제공 시스템 | |
| JP2022505746A (ja) | デジタルキャラクタブレンディング及び生成のシステム及び方法 | |
| Yang et al. | Example-based caricature generation with exaggeration control | |
| RU2703327C1 (ru) | Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя | |
| CN112802162A (zh) | 虚拟角色的面部调整方法及装置、电子设备、存储介质 | |
| Leta et al. | A study of the facial aging-a multidisciplinary approach | |
| Chou et al. | Simulation of face/hairstyle swapping in photographs with skin texture synthesis | |
| WO2023169023A1 (zh) | 表情模型的生成方法、装置、设备及介质 | |
| KR20240032981A (ko) | 아이브로우 디자인의 프리젠테이션 생성을 위한 시스템 | |
| CN114742951A (zh) | 素材生成、图像处理方法、装置、电子设备及存储介质 | |
| CN114742939A (zh) | 一种人体模型的重建方法、装置、计算机设备及存储介质 | |
| CN114663628A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN117769697A (zh) | 用于生成眉毛设计的呈现的系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GD4A | Issue of patent certificate for granted invention patent |