TWI718631B - 人臉圖像的處理方法及裝置、電子設備和儲存介質 - Google Patents

人臉圖像的處理方法及裝置、電子設備和儲存介質 Download PDF

Info

Publication number
TWI718631B
TWI718631B TW108129695A TW108129695A TWI718631B TW I718631 B TWI718631 B TW I718631B TW 108129695 A TW108129695 A TW 108129695A TW 108129695 A TW108129695 A TW 108129695A TW I718631 B TWI718631 B TW I718631B
Authority
TW
Taiwan
Prior art keywords
pixel
apple muscle
vector
apple
face image
Prior art date
Application number
TW108129695A
Other languages
English (en)
Other versions
TW202013316A (zh
Inventor
黃明楊
付萬增
石建萍
曲藝
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202013316A publication Critical patent/TW202013316A/zh
Application granted granted Critical
Publication of TWI718631B publication Critical patent/TWI718631B/zh

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公開關於一種人臉圖像的處理方法及裝置、電子設備和儲存介質。所述方法包括：獲取人臉圖像中的人臉關鍵點和人臉偏轉角度；根據所述人臉關鍵點和所述人臉偏轉角度，確定所述人臉圖像中的蘋果肌中心；根據所述人臉關鍵點和所述蘋果肌中心，確定所述人臉圖像中的蘋果肌區域；對所述蘋果肌區域進行顏色填充處理。本公開能夠準確地定位蘋果肌區域，基於準確定位的蘋果肌區域進行蘋果肌填充處理，使填充效果更自然。

Description

人臉圖像的處理方法及裝置、電子設備 和儲存介質
本公開關於電腦視覺技術領域，尤其關於一種人臉圖像的處理方法及裝置、電子設備和儲存介質。
飽滿的蘋果肌使臉部的線條變得柔和，分散顴骨過高的部位，讓人在笑的時候更富有親和力。如何準確地對人臉圖像進行蘋果肌填充，使人臉圖像中的蘋果肌飽滿且自然，是亟待解決的問題。
本公開提出了一種人臉圖像的處理技術方案。
根據本公開的一方面，提供了一種人臉圖像的處理方法，包括：獲取人臉圖像中的人臉關鍵點和人臉偏轉角度；根據所述人臉關鍵點和所述人臉偏轉角度，確定所述人臉圖像中的蘋果肌中心； 根據所述人臉關鍵點和所述蘋果肌中心，確定所述人臉圖像中的蘋果肌區域；對所述蘋果肌區域進行顏色填充處理。
在一種可能的實現方式中，根據所述人臉關鍵點和所述人臉偏轉角度，確定所述人臉圖像中的蘋果肌中心，包括：對所述人臉關鍵點進行插值處理，確定所述人臉圖像中的蘋果肌中心的估計位置；根據所述人臉偏轉角度，對所述蘋果肌中心的估計位置進行調整，得到所述人臉圖像中的蘋果肌中心。
在一種可能的實現方式中，根據所述人臉關鍵點和所述蘋果肌中心，確定所述人臉圖像中的蘋果肌區域，包括：將所述人臉關鍵點相連，得到所述人臉關鍵點對應的多邊形；將所述多邊形中以所述蘋果肌中心為圓心的最大的圓確定為所述人臉圖像中的蘋果肌外輪廓圓；根據所述蘋果肌外輪廓圓，確定所述人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，根據所述蘋果肌外輪廓圓，確定所述人臉圖像中的蘋果肌區域，包括：採用所述人臉圖像中的臉部輪廓線對所述蘋果肌外輪廓圓進行調整，得到所述人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，採用所述人臉圖像中的臉部輪廓線對所述蘋果肌外輪廓圓進行調整，得到所述人臉圖像中的蘋果肌區域，包括：對所述人臉圖像中的臉部輪廓線進行採樣，得到所述臉部輪廓線上的採樣點；對所述蘋果肌外輪廓圓進行採樣，得到所述蘋果肌外輪廓圓上的採樣點；對所述臉部輪廓線上的採樣點和所述蘋果肌外輪廓圓上的採樣點進行曲線擬合，得到所述人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，對所述蘋果肌區域進行顏色填充處理，包括：分別確定所述蘋果肌區域中的各個像素對應的第一目標像素，其中，所述像素對應的第一目標像素在所述蘋果肌中心與所述像素的連線上；將所述各個像素的像素值分別更新為對應的第一目標像素的像素值。
在一種可能的實現方式中，分別確定所述蘋果肌區域中的各個像素對應的第一目標像素，包括：根據蘋果肌填充力度係數，分別確定所述蘋果肌區域中的各個像素對應的第一目標像素。
在一種可能的實現方式中，分別確定所述蘋果肌區域中的各個像素對應的第一目標像素，包括： 採用二階導數恒大於0的下凸函數，分別確定所述蘋果肌區域中的各個像素對應的第一目標像素。
在一種可能的實現方式中，對所述蘋果肌區域進行顏色填充處理，包括：確定所述人臉圖像中的第一參考點；將所述蘋果肌中心指向所述第一參考點的向量確定為第一參考向量；根據所述第一參考向量，分別確定所述蘋果肌區域中的各個像素對應的第二目標像素，其中，所述像素對應的第二目標像素指向所述像素的向量與所述第一參考向量的方向相同；將所述各個像素的像素值分別更新為對應的第二目標像素的像素值。
在一種可能的實現方式中，所述第一參考點與鼻尖關鍵點的距離大於所述蘋果肌中心與鼻尖關鍵點的距離。
在一種可能的實現方式中，根據所述第一參考向量，分別確定所述蘋果肌區域中的各個像素對應的第二目標像素，包括：確定所述蘋果肌中心與所述蘋果肌區域中的第一像素之間的第一距離；根據蘋果肌外輪廓圓的半徑、所述第一距離和所述第一參考向量的模，確定第一係數； 根據所述第一像素、所述第一係數和所述第一參考向量，確定所述第一像素對應的第二目標像素。
在一種可能的實現方式中，根據蘋果肌外輪廓圓的半徑、所述第一距離和所述參考向量的模，確定第一係數，包括：計算所述蘋果肌外輪廓圓的半徑的平方與所述第一距離的平方的第一差值；將所述第一差值與所述第一參考向量的模的平方相加，得到第一和；計算所述第一差值與所述第一和的比值，得到所述第一係數。
在一種可能的實現方式中，根據所述第一像素、所述第一係數和所述第一參考向量，確定所述第一像素對應的第二目標像素，包括：將第一參考像素指向所述第一像素的向量確定為第一像素向量；計算所述第一係數與所述第一參考向量的第一乘積；計算所述第一像素向量與第一乘積的差值，得到所述第一像素對應的第二目標像素向量；根據所述第一參考像素的位置，以及所述第一像素對應的第二目標像素向量，確定所述第一像素對應的第二目標像素。
在一種可能的實現方式中，對所述蘋果肌區域進行顏色填充處理，包括： 確定所述人臉圖像中的第二參考點；將所述蘋果肌中心指向所述第二參考點的向量確定為第二參考向量；根據所述第二參考向量，分別確定所述蘋果肌區域中的各個像素對應的第三目標像素，其中，所述像素對應的第三目標像素指向所述像素的向量與所述第二參考向量的方向相同；將所述各個像素的像素值分別更新為對應的第三目標像素的像素值。
在一種可能的實現方式中，所述第二參考點在所述蘋果肌中心與下眼皮關鍵點的連線上。
在一種可能的實現方式中，根據所述第二參考向量，分別確定所述蘋果肌區域中的各個像素對應的第三目標像素，包括：確定所述蘋果肌中心與所述蘋果肌區域中的第二像素之間的第二距離；根據蘋果肌外輪廓圓的半徑、所述第二距離和所述第二參考向量的模，確定第二係數；根據所述第二像素、所述第二係數和所述第二參考向量，確定所述第二像素對應的第三目標像素。
在一種可能的實現方式中，根據蘋果肌外輪廓圓的半徑、所述第二距離和所述第二參考向量的模，確定第二係數，包括： 計算所述蘋果肌外輪廓圓的半徑的平方與所述第二距離的平方的第二差值；將所述第二差值與所述第二參考向量的模的平方相加，得到第二和；計算所述第二差值與所述第二和的比值，得到所述第二係數。
在一種可能的實現方式中，根據所述第二像素、所述第二係數和所述第二參考向量，確定所述第二像素對應的第三目標像素，包括：將第二參考像素指向所述第二像素的向量確定為第二像素向量；計算所述第二係數與所述第二參考向量的第二乘積；計算所述第二像素向量與第二乘積的差值，得到所述第二像素對應的第三目標像素向量；根據所述第二參考像素的位置，以及所述第二像素對應的第三目標像素向量，確定所述第二像素對應的第三目標像素。
在一種可能的實現方式中，對所述蘋果肌區域進行顏色填充處理，包括：分別確定所述蘋果肌區域中的各個像素對應的第一目標像素，其中，所述像素對應的第一目標像素在所述蘋果肌中心與所述像素的連線上；將所述各個像素的像素值分別更新為對應的第一目標像素的像素值； 確定所述人臉圖像中的第一參考點，其中，所述第一參考點與鼻尖關鍵點的距離大於所述蘋果肌中心與鼻尖關鍵點的距離；將所述蘋果肌中心指向所述第一參考點的向量確定為第一參考向量；根據所述第一參考向量，分別確定所述蘋果肌區域中的各個像素對應的第二目標像素，其中，所述像素對應的第二目標像素指向所述像素的向量與所述第一參考向量的方向相同；將所述各個像素的像素值分別更新為對應的第二目標像素的像素值；確定所述人臉圖像中的第二參考點，其中，所述第二參考點在所述蘋果肌中心與下眼皮關鍵點的連線上；將所述蘋果肌中心指向所述第二參考點的向量確定為第二參考向量；根據所述第二參考向量，分別確定所述蘋果肌區域中的各個像素對應的第三目標像素，其中，所述像素對應的第三目標像素指向所述像素的向量與所述第二參考向量的方向相同；將所述各個像素的像素值分別更新為對應的第三目標像素的像素值。
根據本公開的一方面，提供了一種人臉圖像的處理裝置，包括： 獲取模組，用於獲取人臉圖像中的人臉關鍵點和人臉偏轉角度；第一確定模組，用於根據所述人臉關鍵點和所述人臉偏轉角度，確定所述人臉圖像中的蘋果肌中心；第二確定模組，用於根據所述人臉關鍵點和所述蘋果肌中心，確定所述人臉圖像中的蘋果肌區域；填充模組，用於對所述蘋果肌區域進行顏色填充處理。
在一種可能的實現方式中，所述第一確定模組包括：第一確定子模組，用於對所述人臉關鍵點進行插值處理，確定所述人臉圖像中的蘋果肌中心的估計位置；調整子模組，用於根據所述人臉偏轉角度，對所述蘋果肌中心的估計位置進行調整，得到所述人臉圖像中的蘋果肌中心。
在一種可能的實現方式中，所述第二確定模組包括：相連子模組，用於將所述人臉關鍵點相連，得到所述人臉關鍵點對應的多邊形；第二確定子模組，用於將所述多邊形中以所述蘋果肌中心為圓心的最大的圓確定為所述人臉圖像中的蘋果肌外輪廓圓；第三確定子模組，用於根據所述蘋果肌外輪廓圓，確定所述人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，所述第三確定子模組用於：採用所述人臉圖像中的臉部輪廓線對所述蘋果肌外輪廓圓進行調整，得到所述人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，所述第三確定子模組包括：第一採樣單元，用於對所述人臉圖像中的臉部輪廓線進行採樣，得到所述臉部輪廓線上的採樣點；第二採樣單元，用於對所述蘋果肌外輪廓圓進行採樣，得到所述蘋果肌外輪廓圓上的採樣點；曲線擬合單元，用於對所述臉部輪廓線上的採樣點和所述蘋果肌外輪廓圓上的採樣點進行曲線擬合，得到所述人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，所述填充模組包括：第四確定子模組，用於分別確定所述蘋果肌區域中的各個像素對應的第一目標像素，其中，所述像素對應的第一目標像素在所述蘋果肌中心與所述像素的連線上；第一更新子模組，用於將所述各個像素的像素值分別更新為對應的第一目標像素的像素值。
在一種可能的實現方式中，所述第四確定子模組用於：根據蘋果肌填充力度係數，分別確定所述蘋果肌區域中的各個像素對應的第一目標像素。
在一種可能的實現方式中，所述第四確定子模組用於：採用二階導數恒大於0的下凸函數，分別確定所述蘋果肌區域中的各個像素對應的第一目標像素。
在一種可能的實現方式中，所述填充模組包括：第五確定子模組，用於確定所述人臉圖像中的第一參考點；第六確定子模組，用於將所述蘋果肌中心指向所述第一參考點的向量確定為第一參考向量；第七確定子模組，用於根據所述第一參考向量，分別確定所述蘋果肌區域中的各個像素對應的第二目標像素，其中，所述像素對應的第二目標像素指向所述像素的向量與所述第一參考向量的方向相同；第二更新子模組，用於將所述各個像素的像素值分別更新為對應的第二目標像素的像素值。
在一種可能的實現方式中，所述第一參考點與鼻尖關鍵點的距離大於所述蘋果肌中心與鼻尖關鍵點的距離。
在一種可能的實現方式中，所述第七確定子模組包括：第一確定單元，用於確定所述蘋果肌中心與所述蘋果肌區域中的第一像素之間的第一距離；第二確定單元，用於根據蘋果肌外輪廓圓的半徑、所述第一距離和所述第一參考向量的模，確定第一係數； 第三確定單元，用於根據所述第一像素、所述第一係數和所述第一參考向量，確定所述第一像素對應的第二目標像素。
在一種可能的實現方式中，所述第二確定單元包括：第一計算子單元，用於計算所述蘋果肌外輪廓圓的半徑的平方與所述第一距離的平方的第一差值；第二計算子單元，用於將所述第一差值與所述第一參考向量的模的平方相加，得到第一和；第三計算子單元，用於計算所述第一差值與所述第一和的比值，得到所述第一係數。
在一種可能的實現方式中，所述第三確定單元包括：第一確定子單元，用於將第一參考像素指向所述第一像素的向量確定為第一像素向量；第四計算子單元，用於計算所述第一係數與所述第一參考向量的第一乘積；第五計算子單元，用於計算所述第一像素向量與第一乘積的差值，得到所述第一像素對應的第二目標像素向量；第二確定子單元，用於根據所述第一參考像素的位置，以及所述第一像素對應的第二目標像素向量，確定所述第一像素對應的第二目標像素。
在一種可能的實現方式中，所述填充模組包括： 第八確定子模組，用於確定所述人臉圖像中的第二參考點；第九確定子模組，用於將所述蘋果肌中心指向所述第二參考點的向量確定為第二參考向量；第十確定子模組，用於根據所述第二參考向量，分別確定所述蘋果肌區域中的各個像素對應的第三目標像素，其中，所述像素對應的第三目標像素指向所述像素的向量與所述第二參考向量的方向相同；第三更新子模組，用於將所述各個像素的像素值分別更新為對應的第三目標像素的像素值。
在一種可能的實現方式中，所述第二參考點在所述蘋果肌中心與下眼皮關鍵點的連線上。
在一種可能的實現方式中，所述第十確定子模組包括：第四確定單元，用於確定所述蘋果肌中心與所述蘋果肌區域中的第二像素之間的第二距離；第五確定單元，用於根據蘋果肌外輪廓圓的半徑、所述第二距離和所述第二參考向量的模，確定第二係數；第六確定單元，用於根據所述第二像素、所述第二係數和所述第二參考向量，確定所述第二像素對應的第三目標像素。
在一種可能的實現方式中，所述第五確定單元包括： 第六計算子單元，用於計算所述蘋果肌外輪廓圓的半徑的平方與所述第二距離的平方的第二差值；第七計算子單元，用於將所述第二差值與所述第二參考向量的模的平方相加，得到第二和；第八計算子單元，用於計算所述第二差值與所述第二和的比值，得到所述第二係數。
在一種可能的實現方式中，所述第六確定單元包括：第三確定子單元，用於將第二參考像素指向所述第二像素的向量確定為第二像素向量；第九計算子單元，用於計算所述第二係數與所述第二參考向量的第二乘積；第十計算子單元，用於計算所述第二像素向量與第二乘積的差值，得到所述第二像素對應的第三目標像素向量；第四確定子單元，用於根據所述第二參考像素的位置，以及所述第二像素對應的第三目標像素向量，確定所述第二像素對應的第三目標像素。
在一種可能的實現方式中，所述填充模組包括：第四確定子模組，用於分別確定所述蘋果肌區域中的各個像素對應的第一目標像素，其中，所述像素對應的第一目標像素在所述蘋果肌中心與所述像素的連線上；第一更新子模組，用於將所述各個像素的像素值分別更新為對應的第一目標像素的像素值； 第五確定子模組，用於確定所述人臉圖像中的第一參考點，其中，所述第一參考點與鼻尖關鍵點的距離大於所述蘋果肌中心與鼻尖關鍵點的距離；第七確定子模組，用於根據所述第一參考向量，分別確定所述蘋果肌區域中的各個像素對應的第二目標像素，其中，所述像素對應的第二目標像素指向所述像素的向量與所述第一參考向量的方向相同；第二更新子模組，用於將所述各個像素的像素值分別更新為對應的第二目標像素的像素值；第八確定子模組，用於確定所述人臉圖像中的第二參考點，其中，所述第二參考點在所述蘋果肌中心與下眼皮關鍵點的連線上；第九確定子模組，用於將所述蘋果肌中心指向所述第二參考點的向量確定為第二參考向量；第十確定子模組，用於根據所述第二參考向量，分別確定所述蘋果肌區域中的各個像素對應的第三目標像素，其中，所述像素對應的第三目標像素指向所述像素的向量與所述第二參考向量的方向相同；第三更新子模組，用於將所述各個像素的像素值分別更新為對應的第三目標像素的像素值。
根據本公開的一方面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體； 其中，所述處理器被配置為：執行上述人臉圖像的處理方法。
根據本公開的一方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述人臉圖像的處理方法。
在本公開實施例中，通過獲取人臉圖像中的人臉關鍵點和人臉偏轉角度，根據人臉關鍵點和人臉偏轉角度，確定人臉圖像中的蘋果肌中心，根據人臉關鍵點和蘋果肌中心，確定人臉圖像中的蘋果肌區域，並對蘋果肌區域進行顏色填充處理，由此能夠準確地定位蘋果肌區域，基於準確定位的蘋果肌區域進行蘋果肌填充處理，使填充效果更自然。
根據下面參考附圖對示例性實施例的詳細說明，本公開的其它特徵及方面將變得清楚。
21‧‧‧獲取模組
22‧‧‧第一確定模組
23‧‧‧第二確定模組
24‧‧‧填充模組
221‧‧‧第一確定子模組
222‧‧‧調整子模組
231‧‧‧相連子模組
232‧‧‧第二確定子模組
233‧‧‧第三確定子模組
241‧‧‧第四確定子模組
242‧‧‧第一更新子模組
243‧‧‧第五確定子模組
244‧‧‧第六確定子模組
245‧‧‧第七確定子模組
246‧‧‧第二更新子模組
247‧‧‧第八確定子模組
248‧‧‧第九確定子模組
249‧‧‧第十確定子模組
240‧‧‧第三更新子模組
800‧‧‧電子設備
802‧‧‧處理組件
804‧‧‧記憶體
806‧‧‧電源組件
808‧‧‧多媒體組件
810‧‧‧音頻組件
812‧‧‧輸入/輸出介面
814‧‧‧感測器組件
816‧‧‧通信組件
820‧‧‧處理器
1900‧‧‧電子設備
1922‧‧‧處理組件
1926‧‧‧電源組件
1932‧‧‧記憶體
1950‧‧‧網路介面
1958‧‧‧輸入輸出介面
包含在說明書中並且構成說明書的一部分的附圖與說明書一起示出了本公開的示例性實施例、特徵和方面，並且用於解釋本公開的原理。
圖1示出根據本公開實施例的人臉圖像的處理方法的流程圖。
圖2a示出根據本公開實施例的人臉圖像的處理方法中對蘋果肌區域進行顏色填充處理前的人臉圖像的示意圖。
圖2b示出根據本公開實施例的人臉圖像的處理方法中對蘋果肌區域進行顏色填充處理後的人臉圖像的示意圖。
圖3示出根據本公開實施例的人臉圖像的處理方法步驟S12的一示例性的流程圖。
圖4示出根據本公開實施例的人臉圖像的處理方法步驟S13的一示例性的流程圖。
圖5示出根據本公開實施例的人臉圖像的處理方法中蘋果肌外輪廓圓的示意圖。
圖6示出根據本公開實施例的人臉圖像的處理方法中採用該人臉圖像中的臉部輪廓線對蘋果肌外輪廓圓進行調整，得到該人臉圖像中的蘋果肌區域的一示例性的流程圖。
圖7示出根據本公開實施例的人臉圖像的處理方法步驟S14的一示例性的流程圖。
圖8示出根據本公開實施例的人臉圖像的處理方法中步驟S141的示意圖。
圖9示出根據本公開實施例的人臉圖像的處理方法步驟S14的一示例性的流程圖。
圖10示出根據本公開實施例的人臉圖像的處理方法步驟S145的一示例性的流程圖。
圖11示出根據本公開實施例的人臉圖像的處理方法中蘋果肌中心O、第一參考點M1、第一像素P2、第一像素對應的第二目標像素P2’以及蘋果肌外輪廓圓的半徑R的示意圖。
圖12示出根據本公開實施例的人臉圖像的處理方法步驟S1452的一示例性的流程圖。
圖13示出根據本公開實施例的人臉圖像的處理方法步驟S1453的一示例性的流程圖。
圖14示出根據本公開實施例的人臉圖像的處理方法步驟S14的一示例性的流程圖。
圖15示出根據本公開實施例的人臉圖像的處理方法步驟S149的一示例性的流程圖。
圖16示出根據本公開實施例的人臉圖像的處理方法中蘋果肌中心O、第二參考點M2、第二像素P3、第二像素對應的第三目標像素P3’以及蘋果肌外輪廓圓的半徑R的示意圖。
圖17示出根據本公開實施例的人臉圖像的處理方法步驟S1492的一示例性的流程圖。
圖18示出根據本公開實施例的人臉圖像的處理方法步驟S1493的一示例性的流程圖。
圖19示出根據本公開實施例的人臉圖像的處理方法步驟S14的一示例性的流程圖。
圖20示出根據本公開實施例的人臉圖像的處理裝置的方塊圖。
圖21示出根據本公開實施例的人臉圖像的處理裝置的一示例性的方塊圖。
圖22是根據一示例性實施例示出的一種電子設備800的方塊圖。
圖23是根據一示例性實施例示出的一種電子設備1900的方塊圖。
以下將參考附圖詳細說明本公開的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
另外，為了更好的說明本公開，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本公開同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本公開的主旨。
圖1示出根據本公開實施例的人臉圖像的處理方法的流程圖。如圖1所示，該方法包括步驟S11至步驟S14。
在步驟S11中，獲取人臉圖像中的人臉關鍵點和人臉偏轉角度。
在一種可能的實現方式中，人臉關鍵點可以包括眼睛關鍵點、鼻子關鍵點、嘴巴關鍵點、臉部關鍵點和臉部輪廓關鍵點等中的多種。
在一種可能的實現方式中，人臉偏轉角度可以表示人臉相對於正臉的偏轉角度。例如，當人臉為正臉時，人臉偏轉角度可以為0；當人臉相對於正臉向左偏轉時，人臉偏轉角度可以等於人臉與正臉的夾角；當人臉相對於正臉向右偏轉時，人臉偏轉角度的絕對值可以等於人臉與正臉的夾角，且人臉偏轉角度為負數。
在步驟S12中，根據人臉關鍵點和人臉偏轉角度，確定該人臉圖像中的蘋果肌中心。
在一種可能的實現方式中，可以根據人臉關鍵點中的眼睛關鍵點、鼻子關鍵點和臉部關鍵點，以及人臉偏轉角度，確定該人臉圖像中的蘋果肌中心。
本公開實施例結合人臉關鍵點和人臉偏轉角度來確定人臉圖像中的蘋果肌中心，能夠提高所確定的蘋果肌中心的準確度，從而能夠提高所確定的蘋果肌區域的準確度。
在步驟S13中，根據人臉關鍵點和蘋果肌中心，確定該人臉圖像中的蘋果肌區域。
在本公開實施例中，可以根據蘋果肌中心和部分的人臉關鍵點來確定人臉圖像中的蘋果肌區域，以降低確定蘋果肌區域的計算量。
在步驟S14中，對蘋果肌區域進行顏色填充處理。
在一種可能的實現方式中，可以通過圓形凸透鏡變形方法和圓形液化變形方法中的一種或兩種方法，對蘋果肌區域進行顏色填充處理，達到蘋果肌飽滿和突出蘋果肌輪廓線的效果。
圖2a示出根據本公開實施例的人臉圖像的處理方法中對蘋果肌區域進行顏色填充處理前的人臉圖像的示意圖。圖2b示出根據本公開實施例的人臉圖像的處理方法中對蘋果肌區域進行顏色填充處理後的人臉圖像的示意圖。
本公開實施例通過獲取人臉圖像中的人臉關鍵點和人臉偏轉角度，根據人臉關鍵點和人臉偏轉角度，確定人臉圖像中的蘋果肌中心，根據人臉關鍵點和蘋果肌中心，確定人臉圖像中的蘋果肌區域，並對蘋果肌區域進行顏色填充處理，由此能夠準確地定位蘋果肌區域，基於準確定位的蘋果肌區域進行蘋果肌填充處理，使填充效果更自然。
圖3示出根據本公開實施例的人臉圖像的處理方法步驟S12的一示例性的流程圖。如圖3所示，步驟12可以包括步驟S121和步驟S122。
在步驟S121中，對人臉關鍵點進行插值處理，確定該人臉圖像中的蘋果肌中心的估計位置。
在本公開實施例中，蘋果肌中心通常位於眼睛下方2釐米至3釐米的位置。利用人臉關鍵點進行插值，可以確定該人臉圖像中的蘋果肌中心的估計位置。例如，可以利用眼睛關鍵點、鼻子關鍵點和臉部關鍵點進行插值，得到該人臉圖像中的蘋果肌中心的估計位置。
在步驟S122中，根據人臉偏轉角度，對蘋果肌中心的估計位置進行調整，得到該人臉圖像中的蘋果肌中心。
在本公開實施例中，若人臉偏轉角度為0，則可以無需對蘋果肌中心的估計位置進行調整，而直接將蘋果肌中心的 估計位置作為該人臉圖像中的蘋果肌中心。若人臉偏轉角度不為0，則根據人臉偏轉角度對蘋果肌中心的估計位置進行調整，得到該人臉圖像中的蘋果肌中心。
圖4示出根據本公開實施例的人臉圖像的處理方法步驟S13的一示例性的流程圖。如圖4所示，步驟13可以包括步驟S131至步驟S133。
在步驟S131中，將人臉關鍵點相連，得到人臉關鍵點對應的多邊形。
在一種可能的實現方式中，可以將人臉關鍵點中的部分臉部輪廓關鍵點、部分鼻子關鍵點和部分眼睛關鍵點相連，得到這些人臉關鍵點對應的多邊形。其中，眼睛關鍵點可以指下眼皮處的關鍵點。
在步驟S132中，將多邊形中以蘋果肌中心為圓心的最大的圓確定為該人臉圖像中的蘋果肌外輪廓圓。
在本公開實施例中，以蘋果肌中心為圓心，以該多邊形為界限畫圓，得到該人臉圖像中的蘋果肌外輪廓圓。
圖5示出根據本公開實施例的人臉圖像的處理方法中蘋果肌外輪廓圓的示意圖。在圖5所示的示例中，人臉圖像中的蘋果肌外輪廓圓包括C1和C2。
在步驟S133中，根據蘋果肌外輪廓圓，確定該人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，根據蘋果肌外輪廓圓，確定該人臉圖像中的蘋果肌區域，包括：將蘋果肌外輪廓圓所在區域確定為人臉圖像中的蘋果肌區域。
在另一種可能的實現方式中，根據蘋果肌外輪廓圓，確定該人臉圖像中的蘋果肌區域，包括：採用該人臉圖像中的臉部輪廓線對蘋果肌外輪廓圓進行調整，得到該人臉圖像中的蘋果肌區域。在該實現方式中，可以採用該人臉圖像中的臉部輪廓線對蘋果肌外輪廓圓進行約束，以將蘋果肌區域限制在臉部輪廓範圍內。在該實現方式中，可以利用眼睛以下、嘴角以上部分的臉部輪廓線對蘋果肌外輪廓圓進行調整，得到該人臉圖像中的蘋果肌區域。
圖6示出根據本公開實施例的人臉圖像的處理方法中採用該人臉圖像中的臉部輪廓線對蘋果肌外輪廓圓進行調整，得到該人臉圖像中的蘋果肌區域的一示例性的流程圖。如圖6所示，採用該人臉圖像中的臉部輪廓線對蘋果肌外輪廓圓進行調整，得到該人臉圖像中的蘋果肌區域，可以包括步驟S1331至步驟S1333。
在步驟S1331中，對該人臉圖像中的臉部輪廓線進行採樣，得到臉部輪廓線上的採樣點。
在一種可能的實現方式中，可以對眼睛以下、嘴角以上部分的臉部輪廓線進行採樣，得到臉部輪廓線上的採樣點。
在步驟S1332中，對蘋果肌外輪廓圓進行採樣，得到蘋果肌外輪廓圓上的採樣點。
在步驟S1333中，對臉部輪廓線上的採樣點和蘋果肌外輪廓圓上的採樣點進行曲線擬合，得到該人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，可以採用Catmull-Rom擬合方法，對臉部輪廓線上的採樣點和蘋果肌外輪廓圓上的採樣點進行曲線擬合，得到該人臉圖像中的蘋果肌區域。
圖7示出根據本公開實施例的人臉圖像的處理方法步驟S14的一示例性的流程圖。如圖7所示，步驟S14可以包括步驟S141和步驟S142。
在步驟S141中，分別確定蘋果肌區域中的各個像素對應的第一目標像素，其中，像素對應的第一目標像素在蘋果肌中心與像素的連線上。
在一種可能的實現方式中，分別確定蘋果肌區域中的各個像素對應的第一目標像素，包括：根據蘋果肌填充力度係數，分別確定蘋果肌區域中的各個像素對應的第一目標像素。其中，蘋果肌填充力度係數可以由用戶自訂。蘋果肌填充力度係數表示蘋果肌變形的程度。例如，蘋果肌填充力度係數越大，則蘋果肌變形的程度越大；蘋果肌填充力度係數越小，則蘋果肌變形的程度越小。
在一種可能的實現方式中，分別確定蘋果肌區域中的各個像素對應的第一目標像素，包括：採用二階導數恒大於0的下凸函數，分別確定蘋果肌區域中的各個像素對應的第一目標像素。例如，該函數為y=1-sx 2，
Figure 108129695-A0101-12-0024-3
，
Figure 108129695-A0101-12-0024-2
。其中，P 1表示蘋果肌區域中的某一像素，
Figure 108129695-A0101-12-0024-31
表示蘋果肌中心與該像素之間的距離，
Figure 108129695-A0101-12-0024-32
表示該像素對應的第一目標像素，
Figure 108129695-A0101-12-0024-33
表示蘋果肌中心與該第一目標像素之間的距離，s表示蘋果肌 填充力度係數。其中，x的取值範圍為[0,1]。採用該函數，可以將變形的範圍限制在蘋果肌區域內，且在蘋果肌區域內的變化是連續的。通過採用二階導數恒大於0的下凸函數，能夠達到蘋果肌區域內的像素沿著半徑方向向外擴散的效果。
圖8示出根據本公開實施例的人臉圖像的處理方法中步驟S141的示意圖。如圖8所示，令像素P1取像素P1’的像素值，可以達到將像素P1’移動到像素P1的效果。
在步驟S142中，將各個像素的像素值分別更新為對應的第一目標像素的像素值。
在圖8所示的示例中，將像素P1的像素值更新為像素P1’的像素值，即，將像素P1’的像素值作為像素P1的像素值。
圖7和圖8所示的示例通過利用圓形凸透鏡變形方法改變蘋果肌區域內像素點的密度分佈，變形效果是蘋果肌區域中心的像素沿著半徑方向向外擴散，由此進行蘋果肌填充，達到蘋果肌飽滿的效果。該示例中的變形由蘋果肌區域和蘋果肌中心共同約束。
圖9示出根據本公開實施例的人臉圖像的處理方法步驟S14的一示例性的流程圖。如圖9所示，步驟S14可以包括步驟S143至步驟S146。
在步驟S143中，確定該人臉圖像中的第一參考點。
在一種可能的實現方式中，第一參考點與鼻尖關鍵點的距離大於蘋果肌中心與鼻尖關鍵點的距離。即，在該實現方式中，第一參考點比蘋果肌中心更接近臉部輪廓。
在一種可能的實現方式中，第一參考點在蘋果肌區域外。例如，蘋果肌中心與第一參考點之間的距離是蘋果肌外輪廓圓的半徑的
Figure 108129695-A0101-12-0026-52
倍。
例如，該人臉圖像中的第一參考點為M 1。
在步驟S144中，將蘋果肌中心指向第一參考點的向量確定為第一參考向量。
例如，蘋果肌中心為O，
Figure 108129695-A0101-12-0026-53
表示第一參考像素指向蘋果肌中心的向量，第一參考點為M 1，
Figure 108129695-A0101-12-0026-54
表示第一參考像素指向第一參考點的向量，則第一參考向量可以表示為
Figure 108129695-A0101-12-0026-55
。其中，第一參考像素可以為坐標軸的原點。
在步驟S145中，根據第一參考向量，分別確定蘋果肌區域中的各個像素對應的第二目標像素，其中，像素對應的第二目標像素指向該像素的向量與第一參考向量的方向相同。
在步驟S146中，將各個像素的像素值分別更新為對應的第二目標像素的像素值。
例如，蘋果肌區域中的像素P 2對應的第二目標像素為像素
Figure 108129695-A0101-12-0026-56
，則可以將像素P 2的像素值更新為像素
Figure 108129695-A0101-12-0026-57
的像素值，即將像素
Figure 108129695-A0101-12-0026-58
的像素值作為像素P 2的像素值。
圖9所示的示例通過圓形液化變形方法改變蘋果肌區域內像素點的密度分佈，變形效果是蘋果肌區域內的像素沿著一個統一的方向擴散，由此填充蘋果肌，突出蘋果肌輪廓線，達到蘋果肌飽滿和立體的效果。圖9所示的示例中的變形範圍由蘋果肌區域和蘋果肌中心共同約束確定。
圖10示出根據本公開實施例的人臉圖像的處理方法步驟S145的一示例性的流程圖。如圖10所示，步驟S145可以包括步驟S1451至步驟S1453。
在步驟S1451中，確定蘋果肌中心與蘋果肌區域中的第一像素之間的第一距離。
例如，蘋果肌中心為O，蘋果肌區域中的第一像素為P 2，
Figure 108129695-A0101-12-0027-50
表示第一參考像素指向蘋果肌中心的向量，
Figure 108129695-A0101-12-0027-51
表示第一參考像素指向第一像素的向量，則蘋果肌中心與蘋果肌區域中的第一像素之間的第一距離可以表示為
Figure 108129695-A0101-12-0027-59
。
在步驟S1452中，根據蘋果肌外輪廓圓的半徑、第一距離和第一參考向量的模，確定第一係數。
例如，蘋果肌外輪廓圓的半徑為R，第一距離為
Figure 108129695-A0101-12-0027-60
，第一參考向量的模為
Figure 108129695-A0101-12-0027-61
，第一係數為α1。
在步驟S1453中，根據第一像素、第一係數和第一參考向量，確定第一像素對應的第二目標像素。
圖11示出根據本公開實施例的人臉圖像的處理方法中蘋果肌中心O、第一參考點M1、第一像素P2、第一像素對應的第二目標像素P2’以及蘋果肌外輪廓圓的半徑R的示意圖。
圖12示出根據本公開實施例的人臉圖像的處理方法步驟S1452的一示例性的流程圖。如圖12所示，步驟S1452可以包括步驟S14521至步驟S14523。
在步驟S14521中，計算蘋果肌外輪廓圓的半徑的平方與第一距離的平方的第一差值。
例如，第一差值等於
Figure 108129695-A0101-12-0028-62
。
在步驟S14522中，將第一差值與第一參考向量的模的平方相加，得到第一和。
例如，第一和等於
Figure 108129695-A0101-12-0028-63
。
在步驟S14523中，計算第一差值與第一和的比值，得到第一係數。
例如，第一係數
Figure 108129695-A0101-12-0028-4
。
圖13示出根據本公開實施例的人臉圖像的處理方法步驟S1453的一示例性的流程圖。如圖13所示，步驟S1453可以包括步驟S14531至步驟S14534。
在步驟S14531中，將第一參考像素指向第一像素的向量確定為第一像素向量。
例如，第一像素向量可以表示為
Figure 108129695-A0101-12-0028-48
。
在步驟S14532中，計算第一係數與第一參考向量的第一乘積。
例如，第一係數與第一參考向量的第一乘積為
Figure 108129695-A0101-12-0028-64
。
在步驟S14533中，計算第一像素向量與第一乘積的差值，得到第一像素對應的第二目標像素向量。
例如，第一像素對應的第二目標像素向量
Figure 108129695-A0101-12-0028-49
。
在步驟S14534中，根據第一參考像素的位置，以及第一像素對應的第二目標像素向量，確定第一像素對應的第二目標像素。
其中，第一像素對應的第二目標像素向量
Figure 108129695-A0101-12-0029-42
表示第一參考像素指第二目標像素
Figure 108129695-A0101-12-0029-43
的向量。根據第一參考像素的位置，以及第一像素對應的第二目標像素向量
Figure 108129695-A0101-12-0029-44
，可以確定第一像素對應的第二目標像素
Figure 108129695-A0101-12-0029-45
。
圖14示出根據本公開實施例的人臉圖像的處理方法步驟S14的一示例性的流程圖。如圖14所示，步驟S14可以包括步驟S147、步驟S148、步驟S149和步驟S140。
在步驟S147中，確定該人臉圖像中的第二參考點。
在一種可能的實現方式中，第二參考點與下眼皮關鍵點的距離小於蘋果肌中心與下眼皮關鍵點的距離。
在一種可能的實現方式中，第二參考點在蘋果肌區域外。
在一種可能的實現方式中，第二參考點在蘋果肌中心與下眼皮關鍵點的連線上。
例如，該人臉圖像中的第二參考點為M 2。
在步驟S148中，將蘋果肌中心指向第二參考點的向量確定為第二參考向量。
例如，蘋果肌中心為O，
Figure 108129695-A0101-12-0029-46
表示第二參考像素指向蘋果肌中心的向量，第二參考點為M 2，
Figure 108129695-A0101-12-0029-47
表示第二參考像素指 向第二參考點的向量，則第二參考向量可以表示為
Figure 108129695-A0101-12-0030-65
。其中，第二參考像素可以為坐標軸的原點。
在步驟S149中，根據第二參考向量，分別確定蘋果肌區域中的各個像素對應的第三目標像素，其中，像素對應的第三目標像素指向該像素的向量與第二參考向量的方向相同。
在步驟S140中，將各個像素的像素值分別更新為對應的第三目標像素的像素值。
例如，蘋果肌區域中的像素P 3對應的第三目標像素為像素
Figure 108129695-A0101-12-0030-66
，則可以將像素P 3的像素值更新為像素
Figure 108129695-A0101-12-0030-67
的像素值，即將像素
Figure 108129695-A0101-12-0030-68
的像素值作為像素P 3的像素值。
圖14所示的示例通過圓形液化變形方法來提升蘋果肌位置，達到蘋果肌整體提升，能夠賦予臉部更多活力。該示例的變形範圍由蘋果肌區域和蘋果肌中心共同約束確定。
圖15示出根據本公開實施例的人臉圖像的處理方法步驟S149的一示例性的流程圖。如圖15所示，步驟S149可以包括步驟S1491至步驟S1493。
在步驟S1491中，確定蘋果肌中心與蘋果肌區域中的第二像素之間的第二距離。
例如，蘋果肌中心為O，蘋果肌區域中的第二像素為P 3，
Figure 108129695-A0101-12-0030-40
表示第二參考像素指向蘋果肌中心的向量，
Figure 108129695-A0101-12-0030-41
表示第二參考像素指向第二像素的向量，則蘋果肌中心與蘋果肌區域中的第二像素之間的第二距離可以表示為
Figure 108129695-A0101-12-0030-69
。
在步驟S1492中，根據蘋果肌外輪廓圓的半徑、第二距離和第二參考向量的模，確定第二係數。
例如，蘋果肌外輪廓圓的半徑為R，第二距離為
Figure 108129695-A0101-12-0031-70
，第二參考向量的模為
Figure 108129695-A0101-12-0031-71
，第二係數為α2。
在步驟S1493中，根據第二像素、第二係數和第二參考向量，確定第二像素對應的第三目標像素。
圖16示出根據本公開實施例的人臉圖像的處理方法中蘋果肌中心O、第二參考點M2、第二像素P3、第二像素對應的第三目標像素P3’以及蘋果肌外輪廓圓的半徑R的示意圖。
圖17示出根據本公開實施例的人臉圖像的處理方法步驟S1492的一示例性的流程圖。如圖17所示，步驟S1492可以包括步驟S14921至步驟S14923。
在步驟S14921中，計算蘋果肌外輪廓圓的半徑的平方與第二距離的平方的第二差值。
例如，第二差值等於
Figure 108129695-A0101-12-0031-72
。
在步驟S14922中，將第二差值與第二參考向量的模的平方相加，得到第二和。
例如，第二和等於
Figure 108129695-A0101-12-0031-73
。
在步驟S14923中，計算第二差值與第二和的比值，得到第二係數。
例如，第二係數
Figure 108129695-A0101-12-0031-5
。
圖18示出根據本公開實施例的人臉圖像的處理方法步驟S1493的一示例性的流程圖。如圖18所示，步驟S1493可以包括步驟S14931至步驟S14934。
在步驟S14931中，將第二參考像素指向第二像素的向量確定為第二像素向量。
例如，第二像素向量可以表示為
Figure 108129695-A0101-12-0032-34
。
在步驟S14932中，計算第二係數與第二參考向量的第二乘積。
例如，第二係數與第二參考向量的第二乘積為
Figure 108129695-A0101-12-0032-74
。
在步驟S14933中，計算第二像素向量與第二乘積的差值，得到第二像素對應的第三目標像素向量。
例如，第二像素對應的第三目標像素向量
Figure 108129695-A0101-12-0032-35
。
在步驟S14934中，根據第二參考像素的位置，以及第二像素對應的第三目標像素向量，確定第二像素對應的第三目標像素。
其中，第二像素對應的第三目標像素向量
Figure 108129695-A0101-12-0032-36
表示第二參考像素指第三目標像素
Figure 108129695-A0101-12-0032-37
的向量。根據第二參考像素的位置，以及第二像素對應的第三目標像素向量
Figure 108129695-A0101-12-0032-38
，可以確定第二像素對應的第三目標像素
Figure 108129695-A0101-12-0032-39
。
在一種可能的實現方式中，步驟514可以依次包括步驟S141和步驟S142，步驟S143至步驟S146，以及步驟S147至步驟S140。
在另一種可能的實現方式中，步驟S14可以依次包括步驟S141和步驟S142，以及步驟S147至步驟S140。
在另一種可能的實現方式中，步驟S14可以依次包括步驟S141和步驟S142，步驟S147至步驟S140，以及步驟S143至步驟S146。
在另一種可能的實現方式中，步驟S14可以依次包括步驟S143至步驟S146，步驟S141和步驟S142，以及步驟S147至步驟S140。
需要說明的是，儘管以上實現方式介紹了步驟S14如上，但本領域技術人員能夠理解，本公開應不限於此。本領域技術人員可以根據實際應用場景需求和/或個人喜好靈活設置步驟S14的具體實現方式，只要是根據步驟第一組步驟、第二組步驟和第三組步驟中的一組、兩組或三組步驟來實現即可。其中，第一組步驟表示步驟S141和步驟S142，第二組步驟表示步驟S143至步驟S146，第三組步驟表示步驟S147至步驟S140。
圖19示出根據本公開實施例的人臉圖像的處理方法步驟S14的一示例性的流程圖。如圖19所示，步驟S14可以包括步驟S141至步驟S140。對各步驟的描述參見上文，在此不再贅述。
在步驟S141中，分別確定蘋果肌區域中的各個像素對應的第一目標像素，其中，像素對應的第一目標像素在蘋果肌中心與像素的連線上。
在步驟S142中，將各個像素的像素值分別更新為對應的第一目標像素的像素值。
在步驟S143中，確定人臉圖像中的第一參考點。
在步驟S144中，將蘋果肌中心指向第一參考點的向量確定為第一參考向量。
在步驟S145中，根據第一參考向量，分別確定蘋果肌區域中的各個像素對應的第二目標像素，其中，像素對應的第二目標像素指向像素的向量與第一參考向量的方向相同。
在步驟S146中，將各個像素的像素值分別更新為對應的第二目標像素的像素值。
在步驟S147中，確定人臉圖像中的第二參考點。
在步驟S148中，將蘋果肌中心指向第二參考點的向量確定為第二參考向量。
在步驟S149中，根據第二參考向量，分別確定蘋果肌區域中的各個像素對應的第三目標像素，其中，像素對應的第三目標像素指向像素的向量與第二參考向量的方向相同。
在步驟S140中，將各個像素的像素值分別更新為對應的第三目標像素的像素值。
本公開實施例採用的蘋果肌填充方法只採用變形方法，幾乎不改變臉部的光影分佈，因此蘋果肌填充效果更自然。
可以理解，本公開提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本公開不再贅述。
此外，本公開還提供了人臉圖像的處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本公開提供的任一種人臉圖像的處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖20示出根據本公開實施例的人臉圖像的處理裝置的方塊圖。如圖20所示，該裝置包括：獲取模組21，用於獲取人臉圖像中的人臉關鍵點和人臉偏轉角度；第一確定模組22，用於根據人臉關鍵點和人臉偏轉角度，確定該人臉圖像中的蘋果肌中心；第二確定模組23，用於根據人臉關鍵點和蘋果肌中心，確定該人臉圖像中的蘋果肌區域；填充模組24，用於對蘋果肌區域進行顏色填充處理。
圖21示出根據本公開實施例的人臉圖像的處理裝置的一示例性的方塊圖。如圖21所示： 在一種可能的實現方式中，第一確定模組22包括：第一確定子模組221，用於對人臉關鍵點進行插值處理，確定該人臉圖像中的蘋果肌中心的估計位置；調整子模組222，用於根據人臉偏轉角度，對蘋果肌中心的估計位置進行調整，得到該人臉圖像中的蘋果肌中心。
在一種可能的實現方式中，第二確定模組23包括：相連子模組231，用於將人臉關鍵點相連，得到人臉關鍵點對應的多邊形；第二確定子模組232，用於將多邊形中以蘋果肌中心為圓心的最大的圓確定為該人臉圖像中的蘋果肌外輪廓圓；第三確定子模組233，用於根據蘋果肌外輪廓圓，確定該人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，第三確定子模組233用於：採用該人臉圖像中的臉部輪廓線對蘋果肌外輪廓圓進行調整，得到該人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，第三確定子模組233包括：第一採樣單元，用於對該人臉圖像中的臉部輪廓線進行採樣，得到臉部輪廓線上的採樣點；第二採樣單元，用於對蘋果肌外輪廓圓進行採樣，得到蘋果肌外輪廓圓上的採樣點；曲線擬合單元，用於對臉部輪廓線上的採樣點和蘋果肌外輪廓圓上的採樣點進行曲線擬合，得到該人臉圖像中的蘋果肌區域。
在一種可能的實現方式中，填充模組24包括：第四確定子模組241，用於分別確定蘋果肌區域中的各個像素對應的第一目標像素，其中，像素對應的第一目標像素在蘋果肌中心與像素的連線上；第一更新子模組242，用於將各個像素的像素值分別更新為對應的第一目標像素的像素值。
在一種可能的實現方式中，第四確定子模組241用於：根據蘋果肌填充力度係數，分別確定蘋果肌區域中的各個像素對應的第一目標像素。
在一種可能的實現方式中，第四確定子模組241用於：採用二階導數恒大於0的下凸函數，分別確定蘋果肌區域中的各個像素對應的第一目標像素。
在一種可能的實現方式中，填充模組24包括：第五確定子模組243，用於確定該人臉圖像中的第一參考 點；第六確定子模組244，用於將蘋果肌中心指向第一參考點的向量確定為第一參考向量；第七確定子模組245，用於根據第一參考向量，分別確定蘋果肌區域中的各個像素對應的第二目標像素，其中，像素對應的第二目標像素指向該像素的向量與第一參考向量的方向相同；第二更新子模組246，用於將各個像素的像素值分別更新為對應的第二目標像素的像素值。
在一種可能的實現方式中，第一參考點與鼻尖關鍵點的距離大於蘋果肌中心與鼻尖關鍵點的距離。
在一種可能的實現方式中，第七確定子模組245包括：第一確定單元，用於確定蘋果肌中心與蘋果肌區域中的第一像素之間的第一距離；第二確定單元，用於根據蘋果肌外輪廓圓的半徑、第一距離和第一參考向量的模，確定第一係數；第三確定單元，用於根據第一像素、第一係數和第一參考向量，確定第一像素對應的第二目標像素。
在一種可能的實現方式中，第二確定單元包括：第一計算子單元，用於計算蘋果肌外輪廓圓的半徑的平方與第一距離的平方的第一差值；第二計算子單元，用於將第一差值與第一參考向量的模的平方相加，得到第一和；第三計算子單元，用於計算第一差值與第一和的比值，得到第一係數。
在一種可能的實現方式中，第三確定單元包括：第一確定子單元，用於將第一參考像素指向第一像素的向量確定為第一像素向量；第四計算子單元，用於計算第一 係數與第一參考向量的第一乘積；第五計算子單元，用於計算第一像素向量與第一乘積的差值，得到第一像素對應的第二目標像素向量；第二確定子單元，用於根據第一參考像素的位置，以及第一像素對應的第二目標像素向量，確定第一像素對應的第二目標像素。
在一種可能的實現方式中，填充模組24包括：第八確定子模組247，用於確定該人臉圖像中的第二參考點；第九確定子模組248，用於將蘋果肌中心指向第二參考點的向量確定為第二參考向量；第十確定子模組249，用於根據第二參考向量，分別確定蘋果肌區域中的各個像素對應的第三目標像素，其中，像素對應的第三目標像素指向該像素的向量與第二參考向量的方向相同；第三更新子模組240，用於將各個像素的像素值分別更新為對應的第三目標像素的像素值。
在一種可能的實現方式中，第二參考點在蘋果肌中心與下眼皮關鍵點的連線上。
在一種可能的實現方式中，第十確定子模組249包括：第四確定單元，用於確定蘋果肌中心與蘋果肌區域中的第二像素之間的第二距離；第五確定單元，用於根據蘋果肌外輪廓圓的半徑、第二距離和第二參考向量的模，確定第二係數；第六確定單元，用於根據第二像素、第二係數和第二參考向量，確定第二像素對應的第三目標像素。
在一種可能的實現方式中，第五確定單元包括：第六計算子單元，用於計算蘋果肌外輪廓圓的半徑的平 方與第二距離的平方的第二差值；第七計算子單元，用於將第二差值與第二參考向量的模的平方相加，得到第二和；第八計算子單元，用於計算第二差值與第二和的比值，得到第二係數。
在一種可能的實現方式中，第六確定單元包括：第三確定子單元，用於將第二參考像素指向第二像素的向量確定為第二像素向量；第九計算子單元，用於計算第二係數與第二參考向量的第二乘積；第十計算子單元，用於計算第二像素向量與第二乘積的差值，得到第二像素對應的第三目標像素向量；第四確定子單元，用於根據第二參考像素的位置，以及第二像素對應的第三目標像素向量，確定第二像素對應的第三目標像素。
在一種可能的實現方式中，填充模組24包括：第四確定子模組241，用於分別確定蘋果肌區域中的各個像素對應的第一目標像素，其中，像素對應的第一目標像素在蘋果肌中心與像素的連線上；第一更新子模組242，用於將各個像素的像素值分別更新為對應的第一目標像素的像素值；第五確定子模組243，用於確定該人臉圖像中的第一參考點；第六確定子模組244，用於將蘋果肌中心指向第一參考點的向量確定為第一參考向量；第七確定子模組245，用於根據第一參考向量，分別確定蘋果肌區域中的各個像素對應的第二目標像素，其中，像素對應的第二目標像素指向該像素的向量與第一參考向量的方向相同；第二更新子模組246，用於將各個像素的像素值分別更新為對應的第二目標 像素的像素值；第八確定子模組247，用於確定該人臉圖像中的第二參考點；第九確定子模組248，用於將蘋果肌中心指向第二參考點的向量確定為第二參考向量；第十確定子模組249，用於根據第二參考向量，分別確定蘋果肌區域中的各個像素對應的第三目標像素，其中，像素對應的第三目標像素指向該像素的向量與第二參考向量的方向相同；第三更新子模組240，用於將各個像素的像素值分別更新為對應的第三目標像素的像素值。
本公開實施例通過獲取人臉圖像中的人臉關鍵點和人臉偏轉角度，根據人臉關鍵點和人臉偏轉角度，確定人臉圖像中的蘋果肌中心，根據人臉關鍵點和蘋果肌中心，確定人臉圖像中的蘋果肌區域，並對蘋果肌區域進行顏色填充處理，由此能夠準確地定位蘋果肌區域，基於準確定位的蘋果肌區域進行蘋果肌填充處理，使填充效果更自然。
本公開實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本公開實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖22是根據一示例性實施例示出的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖22，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出(I/O)的介面812，感測器組件814，以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。記憶體804可以由任何類型的易失性或非易失性儲存裝置或者它們的組合實現，如靜態隨機存取記憶體(SRAM)，電可擦除可程式設計唯讀記憶體(EEPROM)，可擦除可程式設計唯讀記憶 體(EPROM)，可程式設計唯讀記憶體(PROM)，唯讀記憶體(ROM)，磁記憶體，快閃記憶體，磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發 送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
輸入/輸出(I/O)介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一 個示例性實施例中，所述通信組件816還包括近場通信(NFC)模組，以促進短程通信。例如，在NFC模組可基於射頻識別(RFID)技術，紅外資料協會(IrDA)技術，超寬頻(UWB)技術，藍牙(BT)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD)、現場可程式設計閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子組件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖23是根據一示例性實施例示出的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖23，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線 網路介面1950被配置為將電子設備1900連接到網路，和一個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是(但不限於)電儲存裝置、磁儲存裝置、光儲存裝置、電磁儲存裝置、半導體儲存裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括：可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無 線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部儲存裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言一諸如Smalltalk、C++等，以及常規的過程式程式設計語言一諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在關於遠端電腦的情形中，遠端電腦可以通過任意種類的網路一包括局域網(LAN)或廣域網路(WAN)一連接到使 用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本公開的各個方面。
這裡參照根據本公開實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本公開的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作 步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所關於的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本公開的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
圖1代表圖為流程圖，無元件符號說明

Claims (21)

  1. 一種人臉圖像的處理方法，包括：獲取人臉圖像中的人臉關鍵點和人臉偏轉角度，人臉偏轉角度表示人臉相對於正臉的偏轉角度；根據所述人臉關鍵點和所述人臉偏轉角度，確定所述人臉圖像中的蘋果肌中心；根據所述人臉關鍵點和所述蘋果肌中心，確定所述人臉圖像中的蘋果肌區域；對所述蘋果肌區域進行顏色填充處理。
  2. 根據請求項1所述的方法，根據所述人臉關鍵點和所述人臉偏轉角度，確定所述人臉圖像中的蘋果肌中心，包括：對所述人臉關鍵點進行插值處理，確定所述人臉圖像中的蘋果肌中心的估計位置；根據所述人臉偏轉角度，對所述蘋果肌中心的估計位置進行調整，得到所述人臉圖像中的蘋果肌中心。
  3. 根據請求項1或2所述的方法，根據所述人臉關鍵點和所述蘋果肌中心，確定所述人臉圖像中的蘋果肌區域，包括：將所述人臉關鍵點相連，得到所述人臉關鍵點對應的多邊形；將所述多邊形中以所述蘋果肌中心為圓心的最大的圓確定為所述人臉圖像中的蘋果肌外輪廓圓； 根據所述蘋果肌外輪廓圓，確定所述人臉圖像中的蘋果肌區域。
  4. 根據請求項3所述的方法，根據所述蘋果肌外輪廓圓，確定所述人臉圖像中的蘋果肌區域，包括：採用所述人臉圖像中的臉部輪廓線對所述蘋果肌外輪廓圓進行調整，得到所述人臉圖像中的蘋果肌區域。
  5. 根據請求項4所述的方法，採用所述人臉圖像中的臉部輪廓線對所述蘋果肌外輪廓圓進行調整，得到所述人臉圖像中的蘋果肌區域，包括：對所述人臉圖像中的臉部輪廓線進行採樣，得到所述臉部輪廓線上的採樣點；對所述蘋果肌外輪廓圓進行採樣，得到所述蘋果肌外輪廓圓上的採樣點；對所述臉部輪廓線上的採樣點和所述蘋果肌外輪廓圓上的採樣點進行曲線擬合，得到所述人臉圖像中的蘋果肌區域。
  6. 根據請求項1或2所述的方法，對所述蘋果肌區域進行顏色填充處理，包括：分別確定所述蘋果肌區域中的各個像素對應的第一目標像素，其中，所述像素對應的第一目標像素在所述蘋果肌中心與所述像素的連線上；將所述各個像素的像素值分別更新為對應的第一目標像素的像素值。
  7. 根據請求項6所述的方法，分別確定所述蘋果肌區域中的各個像素對應的第一目標像素，包括：根據蘋果肌填充力度係數，分別確定所述蘋果肌區域中的各個像素對應的第一目標像素。
  8. 根據請求項6所述的方法，分別確定所述蘋果肌區域中的各個像素對應的第一目標像素，包括：採用二階導數恒大於0的下凸函數，分別確定所述蘋果肌區域中的各個像素對應的第一目標像素。
  9. 根據請求項1所述的方法，對所述蘋果肌區域進行顏色填充處理，包括：確定所述人臉圖像中的第一參考點；將所述蘋果肌中心指向所述第一參考點的向量確定為第一參考向量；根據所述第一參考向量，分別確定所述蘋果肌區域中的各個像素對應的第二目標像素，其中，所述像素對應的第二目標像素指向所述像素的向量與所述第一參考向量的方向相同；將所述各個像素的像素值分別更新為對應的第二目標像素的像素值。
  10. 根據請求項9所述的方法，所述第一參考點與鼻尖關鍵點的距離大於所述蘋果肌中心與鼻尖關鍵點的距離。
  11. 根據請求項9所述的方法，根據所述第一參考向量，分別確定所述蘋果肌區域中的各個像素對應的第二目標像素，包括：確定所述蘋果肌中心與所述蘋果肌區域中的第一像素之間的第一距離；根據蘋果肌外輪廓圓的半徑、所述第一距離和所述第一參考向量的模，確定第一係數；根據所述第一像素、所述第一係數和所述第一參考向量，確定所述第一像素對應的第二目標像素。
  12. 根據請求項11所述的方法，根據蘋果肌外輪廓圓的半徑、所述第一距離和所述參考向量的模，確定第一係數，包括：計算所述蘋果肌外輪廓圓的半徑的平方與所述第一距離的平方的第一差值；將所述第一差值與所述第一參考向量的模的平方相加，得到第一和；計算所述第一差值與所述第一和的比值，得到所述第一係數。
  13. 根據請求項11所述的方法，根據所述第一像素、所述第一係數和所述第一參考向量，確定所述第一像素對應的第二目標像素，包括：將第一參考像素指向所述第一像素的向量確定為第一像素向量；計算所述第一係數與所述第一參考向量的第一乘積； 計算所述第一像素向量與第一乘積的差值，得到所述第一像素對應的第二目標像素向量；根據所述第一參考像素的位置，以及所述第一像素對應的第二目標像素向量，確定所述第一像素對應的第二目標像素。
  14. 根據請求項1所述的方法，對所述蘋果肌區域進行顏色填充處理，包括：確定所述人臉圖像中的第二參考點；將所述蘋果肌中心指向所述第二參考點的向量確定為第二參考向量；根據所述第二參考向量，分別確定所述蘋果肌區域中的各個像素對應的第三目標像素，其中，所述像素對應的第三目標像素指向所述像素的向量與所述第二參考向量的方向相同；將所述各個像素的像素值分別更新為對應的第三目標像素的像素值。
  15. 根據請求項14所述的方法，所述第二參考點在所述蘋果肌中心與下眼皮關鍵點的連線上。
  16. 根據請求項14所述的方法，根據所述第二參考向量，分別確定所述蘋果肌區域中的各個像素對應的第三目標像素，包括：確定所述蘋果肌中心與所述蘋果肌區域中的第二像素之間的第二距離； 根據蘋果肌外輪廓圓的半徑、所述第二距離和所述第二參考向量的模，確定第二係數；根據所述第二像素、所述第二係數和所述第二參考向量，確定所述第二像素對應的第三目標像素。
  17. 根據請求項16所述的方法，根據蘋果肌外輪廓圓的半徑、所述第二距離和所述第二參考向量的模，確定第二係數，包括：計算所述蘋果肌外輪廓圓的半徑的平方與所述第二距離的平方的第二差值；將所述第二差值與所述第二參考向量的模的平方相加，得到第二和；計算所述第二差值與所述第二和的比值，得到所述第二係數。
  18. 根據請求項16所述的方法，根據所述第二像素、所述第二係數和所述第二參考向量，確定所述第二像素對應的第三目標像素，包括：將第二參考像素指向所述第二像素的向量確定為第二像素向量；計算所述第二係數與所述第二參考向量的第二乘積；計算所述第二像素向量與第二乘積的差值，得到所述第二像素對應的第三目標像素向量；根據所述第二參考像素的位置，以及所述第二像素對應的第三目標像素向量，確定所述第二像素對應的第三目標像素。
  19. 根據請求項1所述的方法，對所述蘋果肌區域進行顏色填充處理，包括：分別確定所述蘋果肌區域中的各個像素對應的第一目標像素，其中，所述像素對應的第一目標像素在所述蘋果肌中心與所述像素的連線上；將所述各個像素的像素值分別更新為對應的第一目標像素的像素值；確定所述人臉圖像中的第一參考點，其中，所述第一參考點與鼻尖關鍵點的距離大於所述蘋果肌中心與鼻尖關鍵點的距離；將所述蘋果肌中心指向所述第一參考點的向量確定為第一參考向量；根據所述第一參考向量，分別確定所述蘋果肌區域中的各個像素對應的第二目標像素，其中，所述像素對應的第二目標像素指向所述像素的向量與所述第一參考向量的方向相同；將所述各個像素的像素值分別更新為對應的第二目標像素的像素值；確定所述人臉圖像中的第二參考點，其中，所述第二參考點在所述蘋果肌中心與下眼皮關鍵點的連線上；將所述蘋果肌中心指向所述第二參考點的向量確定為第二參考向量；根據所述第二參考向量，分別確定所述蘋果肌區域中的各個像素對應的第三目標像素，其中，所述像素對應的 第三目標像素指向所述像素的向量與所述第二參考向量的方向相同；將所述各個像素的像素值分別更新為對應的第三目標像素的像素值。
  20. 一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為：執行請求項1至19中任意一項所述的方法。
  21. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至19中任意一項所述的方法。
TW108129695A 2018-09-28 2019-08-20 人臉圖像的處理方法及裝置、電子設備和儲存介質 TWI718631B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811141270.9A CN109446912B (zh) 2018-09-28 2018-09-28 人脸图像的处理方法及装置、电子设备和存储介质
CN201811141270.9 2018-09-28

Publications (2)

Publication Number Publication Date
TW202013316A TW202013316A (zh) 2020-04-01
TWI718631B true TWI718631B (zh) 2021-02-11

Family

ID=65544695

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108129695A TWI718631B (zh) 2018-09-28 2019-08-20 人臉圖像的處理方法及裝置、電子設備和儲存介質

Country Status (6)

Country Link
US (3) US11341768B2 (zh)
JP (1) JP6923682B2 (zh)
CN (1) CN109446912B (zh)
SG (1) SG11201913734TA (zh)
TW (1) TWI718631B (zh)
WO (1) WO2020062532A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230331A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机存储介质
CN109446912B (zh) * 2018-09-28 2021-04-09 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质
CN110288551B (zh) * 2019-06-29 2021-11-09 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
JP7345306B2 (ja) * 2019-07-30 2023-09-15 キヤノン株式会社 画像処理装置、画像処理方法
CN116109479B (zh) * 2023-04-17 2023-07-18 广州趣丸网络科技有限公司 虚拟形象的面部调整方法、装置、计算机设备和存储介质
CN117095450B (zh) * 2023-10-20 2024-01-09 武汉大学人民医院（湖北省人民医院） 一种基于图像的眼干程度评估系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201306573A (zh) * 2011-04-08 2013-02-01 Digitaloptics Corp 具有影像擷取及分析模組之顯示裝置
CN104599297A (zh) * 2013-10-31 2015-05-06 厦门美图网科技有限公司 一种对人脸自动上腮红的图像处理方法
TW201610866A (zh) * 2014-09-12 2016-03-16 宏達國際電子股份有限公司 影像處理方法以及電子裝置
US20160148532A1 (en) * 2013-02-01 2016-05-26 Panasonic Intellectual Property Management Co., Ltd. Makeup application assistance device, makeup application assistance method, and makeup application assistance program
CN107958439A (zh) * 2017-11-09 2018-04-24 北京小米移动软件有限公司 图像处理方法及装置
CN108346171A (zh) * 2017-01-25 2018-07-31 阿里巴巴集团控股有限公司 一种图像处理方法、装置、设备和计算机存储介质
CN108447017A (zh) * 2018-05-31 2018-08-24 Oppo广东移动通信有限公司 人脸虚拟整容方法和装置
CN108550185A (zh) * 2018-05-31 2018-09-18 Oppo广东移动通信有限公司 人脸美化处理方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
US8103061B2 (en) * 2006-10-02 2012-01-24 Johnson & Johnson Consumer Companies, Inc. Method and apparatus for identifying facial regions
TWI417811B (zh) * 2008-12-31 2013-12-01 Altek Corp The Method of Face Beautification in Digital Image
JP4760999B1 (ja) * 2010-10-29 2011-08-31 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
TW201222432A (en) * 2010-11-26 2012-06-01 Inst Information Industry System, device, method, and computer program product for facial defect analysis using angular facial image
CN102201061B (zh) * 2011-06-24 2012-10-31 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
US9149124B1 (en) * 2013-04-04 2015-10-06 Joseph Savovic Engineered seating system for use in medical lift chairs
CN104091162B (zh) * 2014-07-17 2017-06-23 东南大学 基于特征点的三维人脸识别方法
WO2017142143A1 (en) * 2016-02-19 2017-08-24 Samsung Electronics Co., Ltd. Method and apparatus for providing summary information of a video
CN106446781A (zh) * 2016-08-29 2017-02-22 厦门美图之家科技有限公司 一种人脸图像处理方法及装置
CN106682598B (zh) * 2016-12-14 2021-02-19 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
CN107862274A (zh) * 2017-10-31 2018-03-30 广东欧珀移动通信有限公司 美颜方法、装置、电子设备和计算机可读存储介质
CN109446912B (zh) * 2018-09-28 2021-04-09 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201306573A (zh) * 2011-04-08 2013-02-01 Digitaloptics Corp 具有影像擷取及分析模組之顯示裝置
US20160148532A1 (en) * 2013-02-01 2016-05-26 Panasonic Intellectual Property Management Co., Ltd. Makeup application assistance device, makeup application assistance method, and makeup application assistance program
CN104599297A (zh) * 2013-10-31 2015-05-06 厦门美图网科技有限公司 一种对人脸自动上腮红的图像处理方法
TW201610866A (zh) * 2014-09-12 2016-03-16 宏達國際電子股份有限公司 影像處理方法以及電子裝置
CN108346171A (zh) * 2017-01-25 2018-07-31 阿里巴巴集团控股有限公司 一种图像处理方法、装置、设备和计算机存储介质
CN107958439A (zh) * 2017-11-09 2018-04-24 北京小米移动软件有限公司 图像处理方法及装置
CN108447017A (zh) * 2018-05-31 2018-08-24 Oppo广东移动通信有限公司 人脸虚拟整容方法和装置
CN108550185A (zh) * 2018-05-31 2018-09-18 Oppo广东移动通信有限公司 人脸美化处理方法和装置

Also Published As

Publication number Publication date
WO2020062532A1 (zh) 2020-04-02
US11734804B2 (en) 2023-08-22
US20220207910A1 (en) 2022-06-30
US11341768B2 (en) 2022-05-24
US20220207911A1 (en) 2022-06-30
CN109446912A (zh) 2019-03-08
JP6923682B2 (ja) 2021-08-25
CN109446912B (zh) 2021-04-09
US20200193142A1 (en) 2020-06-18
JP2021501924A (ja) 2021-01-21
TW202013316A (zh) 2020-04-01
SG11201913734TA (en) 2020-05-28
US11741583B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
TWI718631B (zh) 人臉圖像的處理方法及裝置、電子設備和儲存介質
CN109858524B (zh) 手势识别方法、装置、电子设备及存储介质
JP6134446B2 (ja) 画像分割方法、画像分割装置、画像分割デバイス、プログラム及び記録媒体
WO2021051857A1 (zh) 目标对象匹配方法及装置、电子设备和存储介质
CN107692997B (zh) 心率检测方法及装置
CN107680033B (zh) 图片处理方法及装置
WO2016011747A1 (zh) 肤色调整方法和装置
CN110991327A (zh) 交互方法及装置、电子设备和存储介质
WO2020007241A1 (zh) 图像处理方法和装置、电子设备以及计算机可读存储介质
CN110889382A (zh) 虚拟形象渲染方法及装置、电子设备和存储介质
CN109377446B (zh) 人脸图像的处理方法及装置、电子设备和存储介质
CN109840939B (zh) 三维重建方法、装置、电子设备及存储介质
CN111241887B (zh) 目标对象关键点识别方法及装置、电子设备和存储介质
JP2021526698A (ja) 画像生成方法および装置、電子機器、並びに記憶媒体
CN111243011A (zh) 关键点检测方法及装置、电子设备和存储介质
CN109325908B (zh) 图像处理方法及装置、电子设备和存储介质
TW202029743A (zh) 圖像處理方法及裝置、電子設備和儲存介質
WO2019205605A1 (zh) 人脸特征点的定位方法及装置
CN109472738B (zh) 图像光照校正方法及装置、电子设备和存储介质
CN110634167A (zh) 神经网络训练方法及装置和图像生成方法及装置
WO2022134475A1 (zh) 点云地图构建方法及装置、电子设备、存储介质和程序
WO2022017140A1 (zh) 目标检测方法及装置、电子设备和存储介质
WO2023273498A1 (zh) 深度检测方法及装置、电子设备和存储介质
CN111860388A (zh) 图像处理方法及装置、电子设备和存储介质
WO2022142298A1 (zh) 关键点检测方法及装置、电子设备和存储介质