TWI770542B - 人臉圖像處理方法、圖像設備及儲存介質 - Google Patents
人臉圖像處理方法、圖像設備及儲存介質 Download PDFInfo
- Publication number
- TWI770542B TWI770542B TW109121629A TW109121629A TWI770542B TW I770542 B TWI770542 B TW I770542B TW 109121629 A TW109121629 A TW 109121629A TW 109121629 A TW109121629 A TW 109121629A TW I770542 B TWI770542 B TW I770542B
- Authority
- TW
- Taiwan
- Prior art keywords
- face
- face image
- key point
- image
- point information
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 110
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 13
- 230000000717 retained effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 230000001815 facial effect Effects 0.000 description 11
- 230000004927 fusion Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 241000219112 Cucumis Species 0.000 description 4
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 4
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000036548 skin texture Effects 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 241000353135 Psenopsis anomala Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 210000000216 zygoma Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Generation (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申請實施例公開了一種人臉圖像處理方法、圖像設備及儲存介質。所述人臉圖像處理方法，包括：獲取第一人臉圖像的第一關鍵點資訊；對所述第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊；所述第二人臉幾何屬性不同於所述第一關鍵點資訊對應的第一人臉幾何屬性；利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像。
Description
本申請關於資訊技術領域，尤其關於一種人臉圖像處理方法、圖像設備及儲存介質。
在人臉圖像處理過程中，使用者可能需要將自己的人臉轉變為自己喜歡的人臉。具體如，將年長的人臉圖像轉變為年輕的人臉圖像。在相關技術中，會利用各種神經網路進行人臉圖像從原始人臉到目標人臉的變換，但是實踐表明這種變換往往伴隨著用戶不期望看到的變換，導致變換效果差的問題。
本申請實施例期望提供一種人臉圖像處理方法 、圖像設備及儲存介質。
本申請實施例的技術方案是如下這樣實現的。
本申請實施例第一方面提供一種人臉圖像處理方法，包括：獲取第一人臉圖像的第一關鍵點資訊；對所述第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊；所述第二人臉幾何屬性不同於所述第一關鍵點資訊對應的第一人臉幾何屬性；利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像。
在本申請實施例中，基於第一關鍵點資訊進行的人臉幾何屬性變形，和人臉紋理編碼處理是分開的，而人臉幾何屬性變形和人臉紋理編碼處理不再是統一利用神經網路執行，減少統一利用神經網路同時進行幾何屬性變形和人臉紋理編碼，導致的幾何屬性的變形不受控導致的變形效果差的現象，提升了人臉圖像的變形效果。
在本申請的一些可選實施例中，在對所述第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊之後，所述方法還包括：基於所述第二關鍵點資訊，對所述第一人臉圖像進行調整，得到第三人臉圖像；所述利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像之後，所述方法還包括：將所述第二人臉圖像和所述第三人臉圖像進行融合，得到第四人臉圖像。
在本申請實施例中，通過第三人臉圖像的生成，在生成第二人臉圖像之後，通過第二人臉圖像和第三人臉圖像的融合，可以減少第二人臉圖像在人臉紋理編碼處理中的細節缺失，使得第四人臉圖像相對於第二人臉圖像具有更多的人臉細節，提升了人臉圖像處理後的精細度。
在本申請的一些可選實施例中，所述方法還包括：將被展示的所述第一人臉圖像替換為所述第四人臉圖像或所述第二人臉圖像。
在本申請的一些可選實施例中，所述第一人臉圖像包含在預定圖像中；所述方法還包括：將所述第四人臉圖像與所述預定圖像中除所述第一人臉圖像以外的背景區域進行融合，生成更新後的圖像。
在本申請實施例中可以將被展示的第一人臉圖像直接替換為第二人臉圖像或第四人臉圖像，以便可以在調整後的圖像中展示變形後的人臉圖像，具有操作簡單的優點。
在本申請的一些可選實施例中，所述利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像包括：根據所述第二關鍵點資訊，生成目標人臉的遮罩圖，其中，所述遮罩圖中人臉圖像區域的像素點為第一設定值，在所述人臉圖像區域以外的像素點為第二設定值，所述人臉圖像區域由描述人臉輪廓的各第二關鍵點圍成；將所述遮罩圖與所述第一人臉圖像融合，生成第五人臉圖像，其中，所述第五人臉圖像中保留所述第一人臉圖像中的所述人臉圖像區域；根據所述第二關鍵點資訊，生成目標人臉的幾何屬性的輪廓圖，其中，所述輪廓圖中部位輪廓線上的像素點為第三設定值，除所述部位輪廓線之外的像素點為第四設定值；所述部位輪廓線由描述各人臉部位的第二關鍵點圍成；將所述第五人臉圖像和所述輪廓圖輸入至所述神經網路進行人臉紋理編碼，得到所述第二人臉圖像。
本申請實施例中通過第五人臉圖像和輪廓圖的生成，再進行人臉紋理編碼處理得到第二人臉圖像，具有實現簡便及變形效果好的特點。
在本申請的一些可選實施例中，所述方法還包括：根據所述第一關鍵點資訊，確定所述第一人臉幾何屬性；獲取所述第二人臉幾何屬性；所述對所述第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊，包括：利用所述第一人臉幾何屬性和所述第二人臉幾何屬性共同對應的人臉幾何屬性變換參數，對所述第一關鍵點資訊進行位置變換得到所述第二關鍵點資訊。
本申請實施例給出了基於人臉幾何屬性變換參數進行第一關鍵點資訊到第二關鍵點資訊的變換，具有變換簡單便捷且具有變形效果好的特點。
在本申請的一些可選實施例中，不同的所述第一人臉幾何屬性對應的人臉幾何屬性變換參數不同；和/或，不同的所述第二人臉幾何屬性對應的人臉幾何屬性變換參數不同。
本申請實施例中，不同的第一人臉幾何屬性和第二人臉幾何屬性對應了不同的人臉幾何屬性變換參數，如此，可以有針對性的進行具有不同人臉幾何屬性之間的第一關鍵點資訊到第二關鍵點資訊的變換，從而提升了人臉幾何屬性的變形效果。
在本申請的一些可選實施例中，所述利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像，包括：基於所述第二關鍵點資訊，生成目標人臉的幾何屬性的輪廓圖，其中，所述輪廓圖中部位輪廓線上的像素點為第三設定值，除所述部位輪廓線之外的像素點為第四設定值；所述部位輪廓線由描述各人臉部位的第二關鍵點圍成；將所述輪廓圖輸入至所述神經網路，進行人臉紋理編碼，得到所述第二人臉圖像。
本申請實施例中通過輪廓圖的生成，再進行人臉紋理編碼處理得到第二人臉圖像，具有實現簡便及變形效果好的特點。
本申請實施例第二方面提供一種人臉圖像處理裝置，包括：第一獲取模組，配置為獲取第一人臉圖像的第一關鍵點資訊；變換模組，配置為對所述第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊；所述第二人臉幾何屬性不同於所述第一關鍵點資訊對應的第一人臉幾何屬性；編碼模組，配置為利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像。
在本申請的一些可選實施例中，所述裝置還包括：融合模組；所述變換模組，還配置為在對所述第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊之後，基於所述第二關鍵點資訊，對所述第一人臉圖像進行調整，得到第三人臉圖像；所述融合模組，配置為在所述編碼模組利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像之後，將所述第二人臉圖像和所述第三人臉圖像進行融合，得到第四人臉圖像。
在本申請的一些可選實施例中，所述裝置還包括：第一替換模組，配置為將被展示的所述第一人臉圖像替換為所述第四人臉圖像。
在本申請的一些可選實施例中，所述裝置還包括：第二替換模組，配置為將被展示的所述第一人臉圖像替換為所述第二人臉圖像。
在本申請的一些可選實施例中，所述編碼模組，配置為根據所述第二關鍵點資訊，生成目標人臉的遮罩圖，其中，所述遮罩圖在由描述人臉輪廓的各第二關鍵點圍成的人臉圖像區域的像素點為第一設定值，在所述人臉圖像區域以外的像素點為第二設定值，所述人臉圖像區域由描述人臉輪廓的各第二關鍵點圍成；將所述遮罩圖與所述第一人臉圖像融合，生成第五人臉圖像，其中，所述第五人臉圖像中保留所述第一人臉圖像中由描述人臉輪廓的各第二關鍵點圍成的人臉圖像區域；根據所述第二關鍵點資訊，生成目標人臉的幾何屬性的輪廓圖，其中，所述輪廓圖中部位輪廓線上的像素點為第三設定值，除所述部位輪廓線之外的像素點為第四設定值；所述部位輪廓線由描述各人臉部位的第二關鍵點圍成；將所述第五人臉圖像和所述輪廓圖輸入至所述神經網路進行人臉紋理編碼，得到所述第二人臉圖像。
在本申請的一些可選實施例中，所述裝置還包括：確定模組，配置為根據所述第一關鍵點資訊，確定所述第一人臉幾何屬性；第二獲取模組，配置為獲取目標人臉的第二幾何屬性；所述變換模組，配置為利用所述第一人臉幾何屬性和所述第二人臉幾何屬性共同對應的人臉幾何屬性變換參數，對所述第一關鍵點資訊進行位置變換得到所述第二關鍵點資訊。
在本申請的一些可選實施例中，不同的所述第一人臉幾何屬性對應的人臉幾何屬性變換參數不同；和/或，不同的所述第二人臉幾何屬性對應的人臉幾何屬性變換參數不同。
在本申請的一些可選實施例中，所述編碼模組，配置為基於所述第二關鍵點資訊，生成目標人臉的幾何屬性的輪廓圖，其中，所述輪廓圖中部位輪廓線上的像素點為第三設定值，除所述部位輪廓線之外的像素點為第四設定值；所述部位輪廓線由描述各人臉部位的第二關鍵點圍成；將所述輪廓圖輸入至所述神經網路，進行人臉紋理編碼，得到所述第二人臉圖像。
本申請實施例協力廠商面提供一種電腦儲存介質，所述電腦儲存介質儲存有電腦可執行指令；所述電腦可執行指令被執行後，能夠實現前述第一方面任意技術方案提供的方法步驟。
本申請實施例第四方面提供一種圖像設備，包括：記憶體；處理器，分別與所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令，實現前述第一方面任意技術方案提供的方法步驟。
本申請實施例提供的技術方案，在進行第一人臉圖像中原始人臉的變換時，將第一關鍵點資訊通過位置變換得到第二關鍵點資訊之後，就相當於將第一人臉圖像中的人臉的第一人臉幾何屬性轉變為了第二人臉幾何屬性。在完成人臉幾何屬性變換之後，再利用神經網路和第二關鍵點資訊，進行人臉紋理編碼，從而實現了紋理屬性編碼和幾何屬性變換的分離處理，相對採用深度學習模型統一進行幾何屬性變換和紋理屬性變換，可以減少深度學習模型在進行幾何變換時的隨機性，提升人臉圖像變換的品質及魯棒性。
以下結合說明書附圖及具體實施例對本申請的技術方案做進一步的詳細闡述。
如圖1所示，本實施例提供一種人臉圖像處理方法，包括：
步驟110：獲取第一人臉圖像的第一關鍵點資訊；
步驟120：對第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊；第二人臉幾何屬性不同於第一關鍵點資訊對應的第一人臉幾何屬性；
步驟130：利用神經網路和第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像。
本申請實施例提供的人臉圖像處理方法，可應用於各種圖像設備中，該圖像設備可包括各種具有資訊處理能夠的終端設備和伺服器。終端設備可包括：手機、平板電腦或可穿戴式設備等；伺服器可為進行圖像處理的伺服器。
可以理解，第一人臉圖像為包含有原始人臉的圖像。在一些可選實施例中，步驟110中獲取第一人臉圖像的第一關鍵點資訊，可包括：利用神經網路檢測第一人臉圖像，得到表示第一人臉圖像中的人臉的第一人臉幾何屬性的多個第一關鍵點資訊。例如，可以得到表示第一人臉圖像中的人臉的106個第一關鍵點資訊，通過上述第一關鍵點資訊得到106個關鍵點在第一人臉圖像中的位置資訊。不同的第一關鍵點資訊，至少所包含的位置資訊不同。
在一些實施例中，第一關鍵點資訊包括：各個關鍵點在第一人臉圖像中的位置資訊；位置資訊包括但不限於關鍵點在第一人臉圖像中的座標。在一些實施例中，關鍵點在第一人臉圖像上的座標為像素級別的座標，如此，基於第一關鍵點資訊進行人臉變換得到的第二人臉圖像，可以實現像素級別的人臉變換，基於像素級別的人臉變換，具有變換效果精細度高的特點。
在一些實施例中，第一關鍵點資訊還可包括：各個關鍵點對應的關鍵點標識。其中，關鍵點標識可用於表徵人臉不同部位的關鍵點。例如，顴骨關鍵點對應的關鍵點標識不同於下巴關鍵點對應的關鍵點標識。該關鍵點標識包括但不限於關鍵點編號和/或關鍵點名稱。
在本申請的一些可選實施例中，第一關鍵點資訊對應的關鍵點可包括以下至少之一：人臉輪廓關鍵點、五官關鍵點；其中，人臉輪廓關鍵點可以是臉部外輪廓關鍵點；五官關鍵點例如包括：眼睛關鍵點、鼻子關鍵點、唇部關鍵點等等。
上述第一關鍵點資訊包含的各個關鍵點的位置，及各關鍵點之間的相對位置關係，決定了第一人臉圖像中的人臉的形狀，該形狀表徵人臉的一種人臉幾何屬性（即第一人臉幾何屬性）。
在步驟120中進行第一關鍵點資訊的位置變換，可以實現對第一關鍵點資訊對應的第一人臉幾何屬性的變換，從而得到位置變換後的符合第二人臉幾何屬性的第二關鍵點資訊。
在本申請的一些可選實施例中，可以基於人臉幾何屬性變換參數，對第一關鍵點資訊進行位置變換。示例性的，人臉幾何屬性變換參數例如可以採用變換矩陣的形式，以第一關鍵點資訊為已知量，利用變換矩陣和第一關鍵點資訊進行運算，得到更新後的座標，將更新後的座標作為第二關鍵點資訊。
如此，在步驟120中第一關鍵點資訊和第二關鍵點資訊之間的轉換，相當於完成了原始人臉到目標人臉變換的人臉幾何屬性的變換，而非利用神經網路進行變換；減少因為利用神經網路進行原始人臉的人臉幾何屬性變換的不可控因素，從而提升人臉圖像的變換效果及魯棒性。
在本申請的一些可選實施例中，在步驟130中，人臉紋理編碼包括但不限於：人臉皮膚紋理編碼；人臉褶皺紋理編碼；毛髮紋理編碼。
在一些實施例中，第二關鍵點資訊對應的不同的關鍵點之間的區域可對應人臉的不同部位。例如，顴骨關鍵點和鼻樑關鍵點之間的區域為蘋果肌區域，嘴唇關鍵點和下巴關鍵點之間的區域是下巴區域。而不同部位的皮膚區域的色澤和/或紋理不同；和/或，不同皮膚區域的皮膚皺紋紋理不同。基於此，人臉的不同部位對應區域的人臉皮膚紋理編碼可不同，人臉的不同部位對應區域的人臉褶皺紋理編碼可不同，人臉的不同部位對應區域的毛髮紋理編碼可不同。再例如，眉骨所在區域需要編碼形成眉毛，基於此，眉毛區域的紋理編碼與人臉皮膚紋理編碼是不同的。
如此，本申請實施例，從第一人臉圖像中的原始人臉到第二人臉圖像中目標人臉的人臉變換過程中，人臉的人臉幾何屬性和紋理屬性的變換可以採用不同的方式，減少了採用神經網路統一處理人臉幾何屬性和紋理屬性導致的變換效果差的現象，提升了人臉變換的效果，並且確保了人臉變換的魯棒性。例如，減少統一利用神經網路對原始人臉變換得到目標人臉所產生的臉部邊緣及眼珠等位置出形狀怪異的現象，從而提升了變換效果。
在一些實施例中，在步驟120之後，方法還可包括：
步驟121：基於第二關鍵點資訊，對第一人臉圖像進行調整，得到第三人臉圖像。
本實施例中，得到第二關鍵點資訊之後，可基於第二關鍵點資訊對第一人臉圖像進行調整得到第三人臉圖像。
示例性，圖像設備可以直接對第一人臉圖像進行像素級別的變換處理，從而得到第一關鍵點資訊的座標位置變更後的第三人臉圖像。例如，可對第一人臉圖像的第一關鍵點資訊對應的各個關鍵點，朝向第二關鍵點資訊對應的各個關鍵點的方向進行調整，從而實現對第一人臉圖像的調整，得到第三人臉圖像。
可以理解，第三人臉圖像中的人臉相對於第一人臉圖像中的原始人臉，人臉幾何屬性是發生了變換的。
示例性的，人臉幾何屬性可包括以下至少之一：五官的形狀、五官之間的相對位置。其中，五官的形狀例如可以包括：眼睛的形狀、鼻子的形狀或唇部的形狀等等；五官之間的相對位置例如可包括：雙眼之間間距、鼻頭與唇部之間的間距、臉部輪廓線、髮際線、頭髮形狀等等。
在一些實施例中，如圖2所示，在步驟120之後，方法還包括：
步驟140：將第二人臉圖像和第三人臉圖像進行融合，得到第四人臉圖像。
本實施例中，通過人臉紋理編碼處理生成第二人臉圖像過程中可能會出現一些細節丟失，例如，人臉皮膚的細紋丟失等。為了提高人臉圖像的變換效果，通過將第二人臉圖像和第三人臉圖像進行融合，融合後可以利用第三人臉圖像中保留著的細節補充第二人臉圖像中丟失的至少部分細節，從而得到圖像品質比第二人臉圖像更好的第四人臉圖像。
在一些可選實施例中，第二人臉圖像和第三人臉圖像的融合方式可包括以下至少之一：
方式一，將第二人臉圖像和第三人臉圖像進行逐個像素的加權平均，得到第四人臉圖像中逐個像素的像素值；
方式二，確定將第二人臉圖像中色彩值與預定色彩值差異範圍大於範圍閾值的特定區域，利用第三人臉圖像中特定區域的色彩值替代第二人臉圖像中特定區域的色彩值。
需要說明的是，第二人臉圖像和第三人臉圖像的融合方式有多種，以上僅是兩種可選方式，本實施例中不限於上述方式進行圖像融合。
在一些可選實施例中，方法還可以包括：將被展示的第一人臉圖像替換為第四人臉圖像。如此，將展示的第一人臉圖像被替換為第四人臉圖像之後，使用者將看到進行了人臉幾何屬性和紋理屬性變換後的人臉圖像。
在一些可選實施例中，第一人臉圖像可以是從一張原始圖像中進行圖像分割後得到的，則方法還可以包括：將預定圖像（即原始圖像）中的第一人臉圖像替換為第四人臉圖像。
在一些可選實施例中，將第四人臉圖像與預定圖像中除了第一人臉圖像以外的背景區域進行融合，生成更新後的圖像。更新後的圖像與預定圖像相比包含的背景相同，但是人臉圖像已經經過了變換，由第一人臉圖像變換為第四人臉圖像。
在一些可選實施例中，方法還包括：將被展示的第一人臉圖像替換為第二人臉圖像。本實施例適用於未生成第三人臉圖像和/或第四人臉圖像的情況，可以直接將被展示的第一人臉圖像替換為第二人臉圖像。
在上述實施例中，被展示的可以是完整的圖像或視頻幀，而第一人臉圖像可以是完整圖像或視頻幀中的一部分圖像區域。
在一些可選實施例中，在根據期望的目標人臉的第二人臉幾何屬性，基於人臉的人臉幾何屬性變換參數對第一關鍵點資訊進行位置變換得到第二關鍵點資訊之後，步驟130可包括：
根據第二關鍵點資訊，生成目標人臉的遮罩圖，其中，遮罩圖中人臉圖像區域的像素點為第一設定值，在人臉圖像區域以外的像素點為第二設定值，人臉圖像區域由描述人臉輪廓的各第二關鍵點圍成；將遮罩圖與第一人臉圖像融合，生成第五人臉圖像，其中，第五人臉圖像中保留第一人臉圖像中的人臉圖像區域；根據第二關鍵點資訊，生成目標人臉的幾何屬性的輪廓圖，其中，輪廓圖中部位輪廓線上的像素點為第三設定值，除部位輪廓線之外的像素點為第四設定值；部位輪廓線由描述各人臉部位的第二關鍵點圍成；將第五人臉圖像和輪廓圖輸入至神經網路進行人臉紋理編碼，得到第二人臉圖像。
遮罩圖中人臉圖像區域內像素點的像素值為：第一設定值；在人臉圖像區域之外的像素值為第二設定值。第二設定值與第一設定值不同。例如，第一設定值為“1”，第二設定值為“0”。
在一些可選實施例中，可以直接將遮罩圖和輪廓圖輸入到神經網路，通過神經網路可以輸出第二人臉圖像。
在另一些可選實施例中，為了提升第二人臉圖像的圖像品質，會進一步將遮罩圖與第一人臉圖像進行融合得到第五人臉圖像。而第五人臉圖像的生成方式可以包括：將第一人臉圖像中人臉圖像區域的像素值替換了遮罩圖像中人臉圖像區域的像素值，得到第五人臉圖像。
例如，圖3A為一種第五人臉圖像的示意圖。
第五人臉圖像相對於遮罩圖而言，人臉區域像素點的像素值不再是單一的第一設定值，而是第一人臉圖像中人臉區域的像素值，可以為任意不為零的正數。
各部位輪廓線可包括以下至少一種：臉部輪廓線、眉毛輪廓線、眼睛輪廓線、鼻子輪廓線、嘴巴輪廓線。
輪廓圖的形式可以有多種，以下提供幾種可選輪廓圖：
第一種：輪廓熱力圖。示例性的，在輪廓熱力圖中，各部位輪廓線的寬度可為預定個像素，預定個數可為1個或多個。例如，2至5個像素等預定個像素。目標人臉輪廓的人臉幾何屬性的輪廓熱力圖中，在輪廓線所在區域內，距離輪廓像素所在位置越近的像素值越大；且在輪廓線所在區域內，距離輪廓像素所在位置越遠的像素值越小。在輪廓線所在區域外的像素值可為“0”。在輪廓熱力圖中第三設定值的取值有多個，具體取決於與輪廓像素之間的距離。
第二種：輪廓連線圖。輪廓連線圖為：基於第二關鍵點資訊對應的關鍵點連線形成的圖像。例如，在輪廓連線圖中連線所經過的像素點的像素值為第三設定值，在連線未經過像素點的像素值為第四設定值。第三設定值不同於第四設定值。圖3B為一種輪廓連線圖的示意圖。在圖3B中第三設定值為可為白色像素的像素值，第四設定值為黑色像素的像素值。輪廓連線圖中輪廓的寬度同樣可為一個或多個像素。
在一些可選實施例中，如圖4所示，方法還包括：
步驟101：根據第一關鍵點資訊，確定第一人臉幾何屬性；
步驟102：獲取第二人臉幾何屬性；
步驟120可包括：利用第一人臉幾何屬性和第二人臉幾何屬性共同對應的人臉幾何屬性變換參數，對第一關鍵點資訊進行位置變換得到第二關鍵點資訊。
示例性的，第一人臉圖像中的原始人臉的形狀可能為近似方形（即方臉），但是用戶期望的臉型是瓜子形（即瓜子臉）。則通過第一關鍵點資訊的提取能夠確定第一人臉圖像中的人臉對應的第一人臉幾何屬性，基於使用者輸入或者當前所在變換場景，可以確定出第二人臉幾何屬性。例如，當前所在場景為人臉年輕化，則年輕人臉相對於年長的人臉可能臉型要圓一些。總之本申請實施例確定目標人臉的第二人臉幾何屬性的方式有很多種，不局限於上述舉例。
參考圖5A至圖5C所示，圖5A所示為方臉可以通過人臉幾何屬性變換參數1變換為鵝蛋臉；圖5B所示為方臉可以通過人臉幾何屬性變換參數2變換成瓜子臉；圖5C所示為鵝蛋臉通過人臉幾何屬性變換參數3變換為瓜子臉。
其中，人臉幾何屬性變換參數1不同於人臉幾何屬性變換參數2；人臉幾何屬性變換參數2不同於人臉幾何屬性變換參數3；人臉幾何屬性變換參數3不同於人臉幾何屬性變換參數1。
在確定出第一人臉幾何屬性和第二人臉幾何屬性之後，能夠確定出需要使用的幾何屬性變換關係。確定了人臉幾何屬性變換參數，可以利用該人臉幾何屬性變換參數，對第一關鍵點資訊進行位置變換得到第二關鍵點資訊。
在一些可選實施例中，不同的第一人臉幾何屬性對應的人臉幾何屬性變換參數不同。例如，圓臉和方臉分別需要變換為瓜子臉，各自採用的人臉幾何屬性變換參數是不同。
在另一些可選實施例中，不同的第二人臉幾何屬性對應的人臉幾何屬性變換參數不同。例如，圓臉需要分別變成瓜子臉或鵝蛋臉是需要不同的人臉幾何屬性變換參數。
人臉圖像在處理過程中，對應了不同的第一人臉幾何屬性和第二人臉幾何屬性，設置了不同的人臉幾何屬性變換參數，可以實現不同人臉幾何屬性的人臉之間的高品質變換。
在一些可選實施例中，步驟130可包括：基於第二關鍵點資訊，生成目標人臉的幾何屬性的輪廓圖，其中，輪廓圖中部位輪廓線上的像素點為第三設定值，除部位輪廓線之外的像素點為第四設定值；部位輪廓線由描述各人臉部位的第二關鍵點圍成；將輪廓圖輸入至神經網路進行人臉紋理編碼，得到第二人臉圖像。通過此方式生成的第二人臉圖像，紋理可能不同於第一人臉圖像，也可以作為人臉屬性變換的一種方式。
本實施例中，可基於神經網路進行人臉紋理編碼處理，得到第二人臉圖像。在一些可選實施例中，神經網路可以是生成網路，即通過生成網路進行人臉紋理編碼處理，得到第二人臉圖像。
基於上述實施例，本申請實施例還提供了一種人臉圖像處理裝置。如圖6所示，本實施例提供一種人臉圖像處理裝置，包括：
第一獲取模組61，配置為獲取第一人臉圖像的第一關鍵點資訊；
變換模組62，配置為對第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊；第二人臉幾何屬性不同於第一關鍵點資訊對應的第一人臉幾何屬性；
編碼模組63，配置為利用神經網路對和第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像。
在一些實施例中，第一獲取模組61、變換模組62及編碼模組63可為程式模組；程式模組被處理器執行後，能夠實現前述的第一關鍵點資訊的獲取、第一關鍵點資訊到第二關鍵點資訊的變換及人臉紋理編碼等操作。
在另一些實施例中，第一獲取模組61、變換模組62及編碼模組63可為軟硬結合模組；軟硬結合模組包括但不限於可程式設計陣列；可程式設計陣列包括但不限於複雜可程式設計陣列或現場可程式設計陣列。
在還有一些實施例中，第一獲取模組61、變換模組62及編碼模組63可為純硬體模組；純硬體模組包括但不限於專用積體電路。
在一些可選實施例中，裝置還包括：融合模組；
變換模組62，還配置為在對第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊之後，基於第二關鍵點資訊，對第一人臉圖像進行調整，得到第三人臉圖像；
融合模組，配置為在編碼模組63利用神經網路對和第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像之後，將第二人臉圖像和第三人臉圖像進行融合，得到第四人臉圖像。
在一些實施例中，裝置還包括：第一替換模組，配置為將被展示的第一人臉圖像替換為第四人臉圖像或第二人臉圖像。
在一些實施例中，第一人臉圖像包含在預定圖像中；裝置還包括：生成模組，配置為將第四人臉圖像與預定圖像中除第一人臉圖像以外的背景區域進行融合，生成更新後的圖像。
在一些實施例中，編碼模組63，配置為根據第二關鍵點資訊，生成目標人臉的遮罩圖，其中，遮罩圖中人臉圖像區域的像素點為第一設定值，在人臉圖像區域以外的像素點為第二設定值，上述人臉圖像區域由描述人臉輪廓的各第二關鍵點圍成；將遮罩圖與第一人臉圖像融合，生成第五人臉圖像，其中，第五人臉圖像中保留第一人臉圖像中的上述人臉圖像區域；根據第二關鍵點資訊，生成目標人臉的幾何屬性的輪廓圖，其中，輪廓圖輪廓圖中部位輪廓線上的像素點為第三設定值，除部位輪廓線之外的像素點為第四設定值；部位輪廓線由描述各人臉部位的第二關鍵點圍成；將遮罩圖和輪廓圖輸入至神經網路進行人臉紋理編碼，得到第二人臉圖像。
在一些實施例中，裝置還包括：
確定模組，配置為根據第一關鍵點資訊，確定第一人臉幾何屬性；
第二獲取模組，配置為獲取目標人臉的第二幾何屬性；
變換模組62，配置為利用第一人臉幾何屬性和第二人臉幾何屬性共同對應的人臉幾何屬性變換參數，對第一關鍵點資訊進行位置變換得到第二關鍵點資訊。
在一些實施例中，不同的第一人臉幾何屬性對應的人臉幾何屬性變換參數不同；和/或，不同的第二人臉幾何屬性對應的人臉幾何屬性變換參數不同。
在一些實施例中，編碼模組63，配置為基於第二關鍵點資訊，生成目標人臉的幾何屬性的輪廓圖，其中，輪廓圖中部位輪廓線上的像素點為第三設定值，除部位輪廓線之外的像素點為第四設定值；部位輪廓線由描述各人臉部位的第二關鍵點圍成；將輪廓圖輸入至神經網路，進行人臉紋理編碼，得到第二人臉圖像。
以下結合上述任意實施例提供幾個具體示例。
示例1：
在進行人臉生成的過程中，通過定義或選取新的屬性來引導人臉變換是實用性很強的應用，比如指定根據一張成年女性的照片生成其一張年輕化的照片。
針對人臉屬性變化這個問題，提出了一種分別從人臉圖像幾何屬性（臉部關鍵點資訊）和人臉紋理屬性兩個角度，完成對應的人臉屬性生成方案。通過對幾何屬性和紋理屬性的分開處理，可以更好地控制針對不同屬性的人臉幾何屬性變換的模型，將第一關鍵點資訊更加精確轉換為第二關鍵點資訊。再利用神經網路和第二關鍵點資訊進行人臉紋理編碼處理，從而得到進行人臉幾何屬性變換後的第二人臉圖像。
示例2：
參考圖7所示，本申請實施例提供的人臉圖像處理方法，可包括：
首先，一個用於獲取當前人臉圖像的形狀資訊並針對不同人臉幾何屬性提供的屬性變換模組。對於輸入的原圖（此處的原圖相當於所述第一人臉圖像），通過106個臉部關鍵點的關鍵點資訊（相當於第一關鍵點資訊）的提取，結合106個臉部關鍵點的關鍵點資訊得到人臉的人臉幾何屬性（相當於第一人臉幾何屬性）。此處的人臉幾何屬性可以為人臉的形狀資訊。再根據期望生成的人臉幾何屬性對當前關鍵點資訊進行對應的位置變換。通過人臉幾何屬性變換參數提供人臉形狀上變換的生成約束，此處通過關鍵點的位置變換得到的人臉圖像可為前述的第三人臉圖像。
其次，在擁有了變形之後的目標人臉幾何屬性的初步約束後，利用一個神經網路（例如生成網路）來完成紋理上的生成，從而生成出對應屬性的人臉紋理編碼處理，此處通過人臉紋理編碼處理得到的圖像可為前述的第二人臉圖像。
再次，對生成的人臉圖像進行進一步處理。針對生成的人臉在邊緣、眼珠等處可能存在一定的不自然現象，利用圖像處理的方式，融合了輸入的第三人臉圖像和網路的輸出第二人臉圖像作為最後的輸出結果。
參考圖7所示，該人臉圖像處理方法可具體包括如下。
構建臉部關鍵點資訊檢測網路，回歸得到輸入圖像的106個臉部關鍵點的關鍵點資訊，進行關鍵點資訊的位置變換，利用變換後的關鍵點資訊對輸入的人臉圖像進行幾何形變，輸出為符合期望屬性形狀約束的人臉圖像。此處輸出的人臉圖像可為前述的第三人臉圖像。
根據106個臉部關鍵點的關鍵點資訊進行人臉幾何屬性變換得到期待的人臉幾何屬性；該人臉幾何屬性可呈現在對原圖變換的中間圖像中。
對中間圖像進行裁切操作，裁切出包含有變換後人臉的圖像區域，從而得到裁切（crop）圖像。
對裁切圖像進行圖像臉部的關鍵點資訊檢測，當前此處獲取臉部關鍵點的關鍵點資訊的方式還可以是直接基於變換得到的，無需重新檢測；重新檢測僅是為了進一步確保精確度。
基於裁切圖像進行的臉部檢測，生成裁切圖像的遮罩圖及生成裁切圖像的熱力圖。
將遮罩圖和對應的熱度圖輸入神經網路（例如生成網路）中，利用編碼器獲得紋理編碼，同時配合上關鍵點資訊對應的熱度圖的形狀編碼，生成既符合形狀約束又符合紋理約束的屬性生成結果，即得到生成圖像，此處生成圖像相當於前述的第二人臉圖像。
將裁切圖像和生成圖像進行膚色融合，進行圖像融合來彌補網路在生成圖像時可能產生的細節上的不準確。再利用貼圖的方式將背景資訊和生成人臉整合起來作為最終的輸出，得到融合後的人臉圖像，該融合後的人臉圖像相當於前述的第四人臉圖像。
將融合後的人臉圖像替換到原圖，與原圖中人臉圖像區域以外的背景融合形成新的圖像。
基於前述實施例，本申請實施例還提供了一種圖像設備。如圖8所示，本實施例提供了一種圖像設備，包括：記憶體；處理器，與記憶體連接，用於通過執行位於記憶體上的電腦可執行指令，能夠實現前述一個或多個實施例提供的人臉圖像處理方法，例如，圖1、圖2、圖4及圖7所示人臉圖像處理方法中的一個或多個。
該記憶體可為各種類型的記憶體，可為隨機記憶體、唯讀記憶體、快閃記憶體等。記憶體可用於資訊儲存，例如，儲存電腦可執行指令等。電腦可執行指令可為各種程式指令，例如，目的程式指令和/或來源程式指令等。
處理器可為各種類型的處理器，例如，中央處理器、微處理器、數位訊號處理器、可程式設計陣列、數位訊號處理器、專用積體電路或圖像處理器等。
處理器可以通過匯流排與記憶體連接。匯流排可為積體電路匯流排等。
在一些實施例中，圖像設備還可包括：通信介面，該通信介面可包括：網路介面、例如，局域網介面、收發天線等。通信介面同樣與處理器連接，能夠用於資訊收發。
在一些實施例中，圖像設備還包括人機交互介面，例如，人機交互介面可包括各種輸入輸出設備，例如，鍵盤、觸控式螢幕等。
本申請實施例還提供一種電腦儲存介質，電腦儲存介質儲存有電腦可執行指令；電腦可執行指令被執行後，能夠實現前述一個或多個實施例提供的人臉圖像處理方法，例如，圖1、圖2、圖4及圖7所示人臉圖像處理方法中的一個或多個。
電腦儲存介質可為包括具有記錄功能的各種記錄介質，例如，CD、軟碟、硬碟、磁帶、光碟、U盤或移動硬碟等各種儲存介質。可選的電腦儲存介質可為非瞬間儲存介質，該電腦儲存介質可被處理器讀取，從而使得儲存在電腦儲存機制上的電腦可執行指令被處理器獲取並執行後，能夠實現前述任意一個技術方案提供的資訊處理方法，例如，執行應用於終端設備中的資訊處理方法或應用伺服器中的資訊處理方法。
本申請實施例還提供一種電腦程式產品，電腦程式產品包括電腦可執行指令；電腦可執行指令被執行後，能夠實現前述一個或多個實施例提供的人臉圖像處理方法，例如，圖1、圖2、圖4及圖7所示人臉圖像處理方法中的一個或多個。
包括有形地包含在電腦儲存介質上的電腦程式，電腦程式包含用於執行流程圖所示的方法的程式碼，程式碼可包括對應執行本申請實施例提供的方法步驟對應的指令。
在本申請所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以通過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些介面，設備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。
另外，在本申請各實施例中的各功能單元可以全部集成在一個處理模組中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
本申請任意實施例公開的技術特徵，在不衝突的情況下，可以任意組合形成新的方法實施例或設備實施例。
本申請任意實施例公開的方法實施例，在不衝突的情況下，可以任意組合形成新的方法實施例。
本申請任意實施例公開的設備實施例，在不衝突的情況下，可以任意組合形成新的設備實施例。
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成，前述的程式可以儲存於一電腦可讀取儲存介質中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存介質包括：移動儲存裝置、唯讀記憶體（ROM，Read-Only Memory）、隨機存取記憶體（RAM，Random Access Memory）、磁碟或者光碟等各種可以儲存程式碼的介質。
以上，僅為本申請的具體實施方式，但本申請的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本申請的保護範圍之內。因此，本申請的保護範圍應以申請專利範圍的保護範圍為準。
61:第一獲取模組
62:變換模組
63:編碼模組
圖1為本申請實施例提供的一種人臉圖像處理方法的流程示意圖；
圖2為本申請實施例提供的另一種人臉圖像處理方法的流程示意圖；
圖3A為本申請實施例提供的一種遮罩圖的示意圖；
圖3B為本申請實施例提供的一種熱力圖的示意圖；
圖4為本申請實施例提供的再一種人臉圖像處理方法的流程示意圖；
圖5A為本申請實施例提供一種人臉的人臉幾何屬性變換參數的轉換示意圖；
圖5B為本申請實施例提供另一種人臉的人臉幾何屬性變換參數的轉換示意圖；
圖5C為本申請實施例提供再一種人臉的人臉幾何屬性變換參數的轉換示意圖；
圖6為本申請實施例提供的一種人臉圖像處理裝置的結構示意圖；
圖7為本申請實施例提供一種人臉圖像處理方法的流程示意圖；
圖8為本申請實施例提供的圖像設備的結構示意圖。
110:步驟
120:步驟
130:步驟
Claims (8)
- 一種人臉圖像處理方法，包括：獲取第一人臉圖像的第一關鍵點資訊；基於人臉幾何屬性變換參數對所述第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊；所述第二人臉幾何屬性不同於所述第一關鍵點資訊對應的第一人臉幾何屬性；利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像；其中，不同的所述第一人臉幾何屬性對應的幾何屬性變換參數不同；和/或，不同的所述第二人臉幾何屬性對應的幾何屬性變換參數不同；所述方法還包括：根據所述第一關鍵點資訊，確定所述第一人臉幾何屬性；獲取所述第二人臉幾何屬性；所述對所述第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊，包括：利用所述第一人臉幾何屬性和所述第二人臉幾何屬性共同對應的幾何屬性變換參數，對所述第一關鍵點資訊進行位置變換得到所述第二關鍵點資訊。
- 根據請求項1所述的方法，其中，在對所述第一關鍵點資訊進行位置變換得到符合第二人臉幾何屬性的第二關鍵點資訊之後，所述方法還包括： 基於所述第二關鍵點資訊，對所述第一人臉圖像進行調整，得到第三人臉圖像；所述利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像之後，所述方法還包括：將所述第二人臉圖像和所述第三人臉圖像進行融合，得到第四人臉圖像。
- 根據請求項2所述的方法，所述方法還包括：將被展示的所述第一人臉圖像替換為所述第四人臉圖像或所述第二人臉圖像。
- 根據請求項2所述的方法，其中，所述第一人臉圖像包含在預定圖像中；所述方法還包括：將所述第四人臉圖像與所述預定圖像中除所述第一人臉圖像以外的背景區域進行融合，生成更新後的圖像。
- 根據請求項1至4任一項所述的方法，其中，所述利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像，包括：根據所述第二關鍵點資訊，生成目標人臉的遮罩圖，其中，所述遮罩圖中人臉圖像區域的像素點為第一設定值，在所述人臉圖像區域以外的像素點為第二設定值，所述人臉圖像區域由描述人臉輪廓的各第二關鍵點圍成；將所述遮罩圖與所述第一人臉圖像融合，生成第五人臉圖像，其中，所述第五人臉圖像中保留所述第一人臉圖像中的所述人臉圖像區域；根據所述第二關鍵點資訊，生成目標人臉的幾何屬性的 輪廓圖，其中，所述輪廓圖中部位輪廓線上的像素點為第三設定值，除所述部位輪廓線之外的像素點為第四設定值；所述部位輪廓線由描述各人臉部位的第二關鍵點圍成；將所述第五人臉圖像和所述輪廓圖輸入至所述神經網路進行人臉紋理編碼，得到所述第二人臉圖像。
- 根據請求項1至4任一項所述的方法，其中，所述利用神經網路和所述第二關鍵點資訊，進行人臉紋理編碼處理，得到第二人臉圖像，包括：基於所述第二關鍵點資訊，生成目標人臉的幾何屬性的輪廓圖，其中，所述輪廓圖中部位輪廓線上的像素點為第三設定值，除所述部位輪廓線之外的像素點為第四設定值；所述部位輪廓線由描述各人臉部位的第二關鍵點圍成；將所述輪廓圖輸入至所述神經網路，進行人臉紋理編碼，得到所述第二人臉圖像。
- 一種電腦儲存介質，所述電腦儲存介質儲存有電腦可執行指令；所述電腦可執行指令被執行後，能夠實現請求項1至6任一項提供方法的步驟。
- 一種圖像設備，包括：記憶體；處理器，分別與所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令，實現請求項1至6任一項所述方法的步驟。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910804179.9 | 2019-08-28 | ||
| CN201910804179.9A CN111754415B (zh) | 2019-08-28 | 2019-08-28 | 人脸图像处理方法及装置、图像设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202109359A TW202109359A (zh) | 2021-03-01 |
| TWI770542B true TWI770542B (zh) | 2022-07-11 |
Family
ID=72672870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109121629A TWI770542B (zh) | 2019-08-28 | 2020-06-24 | 人臉圖像處理方法、圖像設備及儲存介質 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US11941854B2 (zh) |
| EP (1) | EP3839879B1 (zh) |
| JP (1) | JP7129502B2 (zh) |
| KR (1) | KR102367909B1 (zh) |
| CN (1) | CN111754415B (zh) |
| AU (1) | AU2020339292A1 (zh) |
| MY (1) | MY196307A (zh) |
| SG (1) | SG11202102762VA (zh) |
| TW (1) | TWI770542B (zh) |
| WO (1) | WO2021036314A1 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507890B (zh) * | 2020-04-13 | 2022-04-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| US11704851B2 (en) * | 2020-05-27 | 2023-07-18 | Snap Inc. | Personalized videos using selfies and stock videos |
| US11482041B2 (en) * | 2020-10-21 | 2022-10-25 | Adobe Inc. | Identity obfuscation in images utilizing synthesized faces |
| CN112258619A (zh) * | 2020-12-22 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 一种图像处理方法和装置 |
| CN113706428B (zh) * | 2021-07-02 | 2024-01-05 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法及装置 |
| CN113255627B (zh) * | 2021-07-15 | 2021-11-12 | 广州市图南软件科技有限公司 | 一种快速获取尾随人员信息方法及装置 |
| CN113781293A (zh) * | 2021-09-08 | 2021-12-10 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| TWI813181B (zh) * | 2021-09-09 | 2023-08-21 | 大陸商星宸科技股份有限公司 | 影像處理電路與影像處理方法 |
| US11900519B2 (en) * | 2021-11-17 | 2024-02-13 | Adobe Inc. | Disentangling latent representations for image reenactment |
| KR102554442B1 (ko) * | 2021-11-19 | 2023-07-11 | ㈜플립션코리아 | 얼굴 합성 방법 및 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8761462B2 (en) * | 2008-06-18 | 2014-06-24 | Sony Corporation | Image processing apparatus, image processing method, and program |
| CN107123083A (zh) * | 2017-05-02 | 2017-09-01 | 中国科学技术大学 | 人脸编辑方法 |
| TW201828109A (zh) * | 2017-01-19 | 2018-08-01 | 阿里巴巴集團服務有限公司 | 圖像檢索、獲取圖像資訊及圖像識別方法、裝置及系統 |
| TW201911130A (zh) * | 2017-07-28 | 2019-03-16 | 香港商阿里巴巴集團服務有限公司 | 一種翻拍影像識別方法及裝置 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5463866B2 (ja) * | 2009-11-16 | 2014-04-09 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| CN104715227B (zh) * | 2013-12-13 | 2020-04-03 | 北京三星通信技术研究有限公司 | 人脸关键点的定位方法和装置 |
| WO2015127394A1 (en) * | 2014-02-23 | 2015-08-27 | Northeastern University | System for beauty, cosmetic, and fashion analysis |
| CN104036546B (zh) * | 2014-06-30 | 2017-01-11 | 清华大学 | 一种基于自适应形变模型的任意视角人脸三维重构方法 |
| KR101635730B1 (ko) * | 2014-10-08 | 2016-07-20 | 한국과학기술연구원 | 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 |
| CN104463777B (zh) * | 2014-11-11 | 2018-11-06 | 厦门美图之家科技有限公司 | 一种基于人脸的实时景深的方法 |
| US10796480B2 (en) | 2015-08-14 | 2020-10-06 | Metail Limited | Methods of generating personalized 3D head models or 3D body models |
| CN105118024A (zh) * | 2015-09-14 | 2015-12-02 | 北京中科慧眼科技有限公司 | 人脸交换方法 |
| US10535163B2 (en) | 2016-12-01 | 2020-01-14 | Pinscreen, Inc. | Avatar digitization from a single image for real-time rendering |
| CN108961149B (zh) * | 2017-05-27 | 2022-01-07 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
| WO2019050808A1 (en) * | 2017-09-08 | 2019-03-14 | Pinscreen, Inc. | SCANNING AVATAR FROM A SINGLE IMAGE FOR REAL TIME REALIZATION |
| CN107767335A (zh) * | 2017-11-14 | 2018-03-06 | 上海易络客网络技术有限公司 | 一种基于人脸识别特征点定位的图像融合方法及系统 |
| CN109960974A (zh) * | 2017-12-22 | 2019-07-02 | 北京市商汤科技开发有限公司 | 人脸关键点检测方法、装置、电子设备及存储介质 |
| CN108550176A (zh) * | 2018-04-19 | 2018-09-18 | 咪咕动漫有限公司 | 图像处理方法、设备及存储介质 |
| CN110210276A (zh) * | 2018-05-15 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种移动轨迹获取方法及其设备、存储介质、终端 |
| CN108776983A (zh) * | 2018-05-31 | 2018-11-09 | 北京市商汤科技开发有限公司 | 基于重建网络的人脸重建方法和装置、设备、介质、产品 |
| CN108985241B (zh) | 2018-07-23 | 2023-05-02 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN109146774A (zh) * | 2018-08-14 | 2019-01-04 | 河海大学常州校区 | 一种面向禁毒宣传的人脸图像处理方法 |
| CN109492531B (zh) | 2018-10-10 | 2021-04-23 | 达闼机器人有限公司 | 人脸图像关键点提取方法、装置、存储介质及电子设备 |
| CN109272568B (zh) * | 2018-10-10 | 2020-07-17 | 南京大学 | 一种采用基元发现的人脸风格图像处理方法 |
| CN109829930B (zh) * | 2019-01-15 | 2021-05-04 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
| CN109859098B (zh) * | 2019-01-15 | 2022-11-22 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
| CN109949237A (zh) * | 2019-03-06 | 2019-06-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
-
2019
- 2019-08-28 CN CN201910804179.9A patent/CN111754415B/zh active Active
-
2020
- 2020-04-27 MY MYPI2021001457A patent/MY196307A/en unknown
- 2020-04-27 AU AU2020339292A patent/AU2020339292A1/en not_active Abandoned
- 2020-04-27 JP JP2020572973A patent/JP7129502B2/ja active Active
- 2020-04-27 EP EP20859023.2A patent/EP3839879B1/en active Active
- 2020-04-27 WO PCT/CN2020/087231 patent/WO2021036314A1/zh unknown
- 2020-04-27 KR KR1020207037361A patent/KR102367909B1/ko active IP Right Grant
- 2020-04-27 SG SG11202102762VA patent/SG11202102762VA/en unknown
- 2020-06-24 TW TW109121629A patent/TWI770542B/zh active
-
2021
- 2021-03-16 US US17/203,171 patent/US11941854B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8761462B2 (en) * | 2008-06-18 | 2014-06-24 | Sony Corporation | Image processing apparatus, image processing method, and program |
| TW201828109A (zh) * | 2017-01-19 | 2018-08-01 | 阿里巴巴集團服務有限公司 | 圖像檢索、獲取圖像資訊及圖像識別方法、裝置及系統 |
| CN107123083A (zh) * | 2017-05-02 | 2017-09-01 | 中国科学技术大学 | 人脸编辑方法 |
| TW201911130A (zh) * | 2017-07-28 | 2019-03-16 | 香港商阿里巴巴集團服務有限公司 | 一種翻拍影像識別方法及裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3839879A4 (en) | 2022-01-05 |
| MY196307A (en) | 2023-03-24 |
| EP3839879B1 (en) | 2023-07-26 |
| EP3839879A1 (en) | 2021-06-23 |
| CN111754415B (zh) | 2022-09-27 |
| CN111754415A (zh) | 2020-10-09 |
| JP7129502B2 (ja) | 2022-09-01 |
| WO2021036314A1 (zh) | 2021-03-04 |
| KR20210027283A (ko) | 2021-03-10 |
| KR102367909B1 (ko) | 2022-02-25 |
| SG11202102762VA (en) | 2021-04-29 |
| US20210201458A1 (en) | 2021-07-01 |
| AU2020339292A1 (en) | 2021-04-15 |
| TW202109359A (zh) | 2021-03-01 |
| US11941854B2 (en) | 2024-03-26 |
| JP2022502726A (ja) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI770542B (zh) | 人臉圖像處理方法、圖像設備及儲存介質 | |
| US11043011B2 (en) | Image processing method, apparatus, terminal, and storage medium for fusing images of two objects | |
| KR102362544B1 (ko) | 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체 | |
| CN108846793B (zh) | 基于图像风格转换模型的图像处理方法和终端设备 | |
| US11232647B2 (en) | Adjusting a digital representation of a head region | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| US11238569B2 (en) | Image processing method and apparatus, image device, and storage medium | |
| US11069151B2 (en) | Methods and devices for replacing expression, and computer readable storage media | |
| CN107507217B (zh) | 证件照的制作方法、装置及存储介质 | |
| KR102400609B1 (ko) | 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치 | |
| JP2016085579A (ja) | 対話装置のための画像処理装置及び方法、並びに対話装置 | |
| US20220385808A1 (en) | Selfie setup and stock videos creation | |
| CN111311733A (zh) | 三维模型处理方法及装置、处理器、电子设备及存储介质 | |
| CN111028318A (zh) | 一种虚拟人脸合成方法、系统、装置和存储介质 | |
| CN115564638A (zh) | 网络训练方法、图像换脸方法、装置和电子设备 | |
| CN116681579A (zh) | 一种实时视频人脸替换方法、介质及系统 | |
| CN115953324A (zh) | 图像修复模型的训练方法及相关设备 | |
| KR20190137020A (ko) | 캐릭터 생성 장치 및 그 방법 | |
| CN114581999A (zh) | 图像处理方法及装置、电子设备及存储介质 |