TWI780995B - 圖像處理方法、設備及電腦儲存媒體 - Google Patents

圖像處理方法、設備及電腦儲存媒體 Download PDF

Info

Publication number
TWI780995B
TWI780995B TW110144371A TW110144371A TWI780995B TW I780995 B TWI780995 B TW I780995B TW 110144371 A TW110144371 A TW 110144371A TW 110144371 A TW110144371 A TW 110144371A TW I780995 B TWI780995 B TW I780995B
Authority
TW
Taiwan
Prior art keywords
image
target
pixel
area
target part
Prior art date
Application number
TW110144371A
Other languages
English (en)
Other versions
TW202244838A (zh
Inventor
李思穎
陳祖凱
王權
錢晨
Original Assignee
中國商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國商北京市商湯科技開發有限公司 filed Critical 中國商北京市商湯科技開發有限公司
Application granted granted Critical
Publication of TWI780995B publication Critical patent/TWI780995B/zh
Publication of TW202244838A publication Critical patent/TW202244838A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公開實施例公開了一種圖像處理方法、設備及電腦儲存媒體，其中，該方法包括：基於待處理圖像，確定目標部位的像素位置和所述目標部位中被遮擋區域的像素位置；基於所述目標部位的像素位置和所述目標部位中被遮擋區域的像素位置，確定所述目標部位中未被遮擋區域的像素位置；基於所述目標部位中未被遮擋區域的像素位置，對所述未被遮擋區域進行渲染處理。

Description

圖像處理方法、設備及電腦儲存媒體
本專利申請要求2021年05月14日提交的中國專利申請號為202110527077.4，申請名稱為「一種圖像處理方法、裝置、設備及電腦儲存媒體」的優先權，該公開的全文以引用的方式併入本公開中。本公開實施例涉及但不限於圖像處理技術領域，尤其涉及一種圖像處理方法、設備及電腦儲存媒體。
隨著拍攝技術的普及和應用，利用設備進行圖像拍攝或影片拍攝已經成為人們日常生活中用來記錄生活的重要手段之一。為了提升圖像或影片美感，可以對圖像或影片中人物的某些部位進行渲染，比如可以對圖像的人臉部位和/或對圖像的肢體部位進行美妝特效處理。
相關技術中，在對某些部位進行渲染時，在該部位被遮擋的情況下，例如，在某一個部位被遮擋物遮擋的情況下，對部位進行的渲染會顯示在遮擋物上，從而導致美妝效果不自然。
本公開實施例提供一種圖像處理方法、設備及電腦儲存媒體。
第一方面，提供一種圖像處理方法，包括：基於待處理圖像，確定目標部位的像素位置和所述目標部位中被遮擋區域的像素位置；基於所述目標部位的像素位置和所述目標部位中被遮擋區域的像素位置，確定所述目標部位中未被遮擋區域的像素位置；基於所述目標部位中未被遮擋區域的像素位置，對所述未被遮擋區域進行渲染處理。
在一些實施例中，所述基於待處理圖像，確定目標部位的像素位置，包括：對所述待處理圖像進行關鍵點檢測，得到所述目標部位的關鍵點資訊；基於所述目標部位的關鍵點資訊，確定所述目標部位的像素位置。
這樣，由於基於目標部位的關鍵點資訊確定目標部位的像素位置，目標部位的像素位置包括：目標部位中可見部分的像素位置和不可見部分的像素位置，目標部位中不可見部分的像素位置為目標部位中被遮擋區域的像素位置，進而能夠將目標部位的像素位置中除去目標部位中被遮擋區域的像素位置，得到目標部位中未被遮擋區域的像素位置，目標部位中未被遮擋區域的像素位置為目標部位中可見部分的像素位置。
在一些實施例中，所述基於待處理圖像，確定所述目標部位中被遮擋區域的像素位置，包括：基於圖像分割模型和所述待處理圖像，確定所述目標部位中被遮擋區域的像素位置。
這樣，由於目標部位中被遮擋區域的像素位置是基於圖像分割模型確定的，從而能夠使確定的目標部位中被遮擋區域的像素位置更為準確。
在一些實施例中，所述基於圖像分割模型和所述待處理圖像，確定所述目標部位中被遮擋區域的像素位置，包括：基於所述待處理圖像，確定包括所述目標部位的切割圖像；基於所述切割圖像，確定向所述圖像分割模型輸入的目標圖像；利用所述圖像分割模型對所述目標圖像進行處理，得到輸出圖像；基於所述輸出圖像，確定所述目標部位中被遮擋區域的像素位置。
這樣，由於對待處理圖像進行切割，得到的切割圖像仍然包括目標物件，從而切割圖像中目標部位的佔比，小於待處理圖像中目標部位的佔比，使得向圖像分割模型輸入的基於切割圖像確定的目標圖像中目標部位的佔比，小於待處理圖像中目標部位的佔比，不僅使得圖像分割模型無需處理切割圖像的特徵之外的圖像特徵，避免了切割圖像的特徵之外的圖像特徵的干擾，進而提高圖像分割模型輸出的輸出圖像的準確度，還能夠降低使用圖像分割模型得到輸出圖像的計算量，提升檢測目標部位中被遮擋區域的像素位置的效率。
在一些實施例中，所述基於所述待處理圖像，確定包括所述目標部位的切割圖像，包括：基於所述待處理圖像和仿射變換矩陣，確定仿射變換後的圖像；對所述仿射變換後的圖像進行切割，得到所述切割圖像；所述基於所述輸出圖像，確定所述目標部位中被遮擋區域的像素位置，包括：基於所述輸出圖像和所述仿射變換矩陣，確定所述目標部位中被遮擋區域的像素位置。
這樣，由於先透過仿射變換矩陣和待處理圖像得到仿射變換後的圖像，然後再基於仿射變換後的圖像確定切割圖像，從而使切割圖像保持了待處理圖像的平直性和平行性，且切割圖像的尺寸能夠符合圖像分割模型的輸入，接著透過圖像分割模型對基於切割圖像確定的目標圖像進行處理，能夠準確的得到表徵目標部位中被遮擋區域的輸出圖像，進而透過輸出圖像和仿射變換矩陣，準確地得到待處理圖像的目標部位中被遮擋區域的像素位置。
在一些實施例中，所述輸出圖像包括：與所述目標圖像或所述切割圖像的像素的行列數相同的目標矩陣，所述目標矩陣中的每一元素的元素值，表徵所述每一元素對應的像素屬於所述目標部位或非目標部位的概率；所述基於所述輸出圖像，確定所述目標部位中被遮擋區域的像素位置，包括：將所述目標矩陣中的每一元素的元素值，確定為所述切割圖像中每一像素對應的元素值；基於所述切割圖像中每一像素對應的元素值和所述仿射變換矩陣，確定所述目標部位中被遮擋區域的像素位置。
這樣，基於切割圖像中每一像素對應的元素值和仿射變換矩陣，能夠得到待處理圖像中與切割圖像對應的局部圖像的每一個像素是否為被遮擋區域的像素，進而基於目標部位的每一像素位置和被遮擋區域的每一像素位置，準確地確定未被遮擋區域的每一像素位置，從而精確地對未被遮擋區域進行渲染處理，使得對目標部位的渲染自然。
在一些實施例中，所述基於所述切割圖像中每一像素對應的元素值和所述仿射變換矩陣，確定所述目標部位中被遮擋區域的像素位置，包括：基於所述切割圖像中每一像素對應的元素值和所述仿射變換矩陣，確定所述待處理圖像中，與所述切割圖像對應的包括所述目標部位的局部圖像中每一像素對應的元素值；基於所述局部圖像中每一像素對應的元素值，確定所述目標部位中被遮擋區域的像素位置。
這樣，基於切割圖像中每一像素對應的元素值和仿射變換矩陣，能夠反推出在待處理圖像中與切割圖像對應的局部圖像中每一像素對應的元素值，進而可以基於局部圖像中每一像素對應的元素值，確定目標部位中被遮擋區域的像素位置，從而提供了一種快速確定目標部位中被遮擋區域的像素位置的方式。
在一些實施例中，所述基於所述局部圖像中每一像素對應的元素值，確定所述目標部位中被遮擋區域的像素位置，包括：在所述目標部位的像素位置上，從所述局部圖像中每一像素對應的元素值中確定符合第一閾值條件的目標元素值；確定所述局部圖像中的第一指定像素，對應在所述待處理圖像中的第二指定像素的像素位置；基於所述目標元素值對應在所述局部圖像上的像素位置和所述第二指定像素的像素位置，確定所述目標部位中被遮擋區域的像素位置。
這樣，基於目標部位的被遮擋區域在局部圖像上的像素位置，和確定的局部圖像中的第一指定像素對應在待處理圖像中的第二指定像素的像素位置，來確定待處理圖像中目標部位中被遮擋區域的像素位置，從而只需對局部圖像中每一像素的是否屬於目標部位的判斷結果進行轉存和處理，降低了對判斷結果進行轉存和處理的耗時。
在一些實施例中，所述基於所述局部圖像中每一像素對應的元素值，確定所述目標部位中被遮擋區域的像素位置，包括：確定所述待處理圖像中除所述局部圖像之外的指定區域中每一像素對應的元素值；在所述目標部位的像素位置上，從所述指定區域中每一像素對應的元素值和所述局部圖像中每一像素的元素值中，確定符合第一閾值條件的指定元素值；基於所述指定元素值對應在所述待處理圖像上的像素位置，確定所述目標部位中被遮擋區域的像素位置。
這樣，透過確定待處理圖像中除所述局部圖像之外的指定區域中每一像素對應的元素值，從而能夠得到待處理圖像的每一像素對應的元素值，進而可以基於待處理圖像的每一像素對應的元素值的大小，確定待處理圖像中目標部位中被遮擋區域的像素位置，如此能夠準確確定目標部位中被遮擋區域的像素位置。
在一些實施例中，所述方法還包括：基於所述輸出圖像，確定所述目標部位的像素位置上的每一像素對應的元素值；所述基於所述目標部位的像素位置和所述目標部位中被遮擋區域的像素位置，確定所述目標部位中未被遮擋區域的像素位置，包括：在所述目標部位的像素位置上的每一像素對應的元素值中，確定符合第二閾值條件的候選元素值；將所述候選元素值對應的像素位置，確定為所述過渡區域的像素位置；基於所述目標部位中被遮擋區域的像素位置和所述過渡區域的像素位置，確定所述目標部位中未被遮擋區域的像素位置。
這樣，可以先確定過渡區域的像素位置，過渡區域中的每一像素對應的元素值表徵每一像素既有可能屬於目標部位，也有可能屬於非目標部位，從而基於目標部位中被遮擋區域的像素位置和過渡區域的像素位置，確定的目標部位中未被遮擋區域的像素位置，能夠有效避免出現將過渡區域中的某些像素確定為未被遮擋區域的像素的情況，進而能夠準確地確定目標部位中未被遮擋區域的像素位置。
在一些實施例中，所述方法還包括：基於所述過渡區域的像素位置，對所述過渡區域進行平滑處理。
這樣，由於過渡區域中的每一像素對應的元素值表徵每一像素既有可能屬於目標部位，也有可能屬於非目標部位，從而對過渡區域進行平滑處理能夠使得被遮擋區域與未被遮擋區域之間過渡自然，且能夠提高對待處理圖像進行處理的準確度及自然度。
在一些實施例中，所述圖像分割模型透過訓練樣本集和目標樣本集訓練得到，所述訓練樣本集中包括多個訓練樣本圖像，每一所述訓練樣本圖像中至少一個部位被遮擋；所述目標樣本集中包括多個目標樣本圖像，每一所述目標樣本圖像包括所述部位中未被遮擋的區域掩膜。
這樣，以多個訓練樣本圖像為訓練輸入，多個目標樣本圖像為訓練目標，訓練得到圖像分割模型，從而透過圖像分割模型能夠對後續輸入的目標圖像進行處理，進而得到目標部位中未被遮擋區域的像素位置，因此可以透過圖像處理設備自動地得到目標部位中未被遮擋區域的像素位置，節約了人力，且確定的目標部位中未被遮擋區域的像素位置準確。
在一些實施例中，所述訓練樣本集是將遮擋物圖像集中的每一遮擋物圖像的遮擋物，隨機遮擋在切割圖像集中的每一切割圖像的無遮擋的至少一個部位上得到的；所述目標樣本集是基於所述每一遮擋物圖像中的遮擋物，相對所述無遮擋的至少一個部位的位置確定的。
這樣，透過將每一遮擋物圖像中的遮擋物隨機遮擋在無遮擋的至少一個部位上，得到訓練樣本集，從而一個遮擋物可以遮擋在部位的不同位置，得到不同的訓練樣本圖像，透過一個遮擋物和一個部位能夠組合多個訓練樣本，進而能夠基於少量的切割圖像和少量的遮擋物圖像，確定出大量的訓練樣本，因此訓練得到的圖像分割模型的性能高，使得確定的目標部位中未被遮擋區域的像素位置的準確性高。
在一些實施例中，所述目標樣本集是基於每一所述訓練樣本圖像的所述至少一個部位中未被遮擋區域確定的；所述每一所述訓練樣本圖像的所述至少一個部位中未被遮擋區域，是基於每一所述訓練樣本圖像的遮擋物區域和每一所述訓練樣本圖像中所述至少一個部位的關鍵點資訊確定的。
這樣，可以基於每一訓練樣本圖像中至少一個部位的關鍵點資訊，確定每一訓練樣本圖像中至少一個部位的區域，然後基於至少一個部位的區域和確定的每一訓練樣本圖像的遮擋物區域，得到至少一個部位中未被遮擋區域，並基於至少一個部位中未被遮擋區域確定目標樣本集，從而目標樣本集是基於得到的至少一個部位被遮擋的訓練樣本確定，而由於訓練樣本是直接獲取的至少一個部位被遮擋的樣本，從而容易得到訓練樣本集和目標樣本集，且得到的訓練樣本集和目標樣本集符合真實場景。
第二方面，提供一種圖像處理裝置，包括：第一確定單元，用於基於待處理圖像，確定目標部位的像素位置和所述目標部位中被遮擋區域的像素位置；第二確定單元，用於基於待處理圖像，確定目標部位的像素位置和所述目標部位中被遮擋區域的像素位置；渲染單元，用於基於所述目標部位中未被遮擋區域的像素位置，對所述未被遮擋區域進行渲染處理。
第三方面，提供一種圖像處理設備，包括：記憶體和處理器，所述記憶體儲存有可在所述處理器上運行的電腦程式，所述處理器執行所述電腦程式時實現上述方法中的步驟。
第四方面，提供一種電腦儲存媒體，所述電腦儲存媒體儲存有一個或者多個程式，所述一個或者多個程式可被一個或者多個處理器執行，以實現上述方法中的步驟。
第五方面，提供一種電腦程式產品，所述電腦程式產品承載有程式碼，所述程式碼包括的指令可配置為執行上述方法中的步驟。
第六方面，提供一種電腦程式，包括電腦可讀代碼，在所述電腦可讀代碼在圖像處理設備中運行的情況下，所述圖像處理設備中的處理器執行上述方法中的步驟。
在本公開實施例中，基於目標部位的像素位置和目標部位中被遮擋區域的像素位置，確定目標部位中未被遮擋區域的像素位置，透過確定目標部位各像素中未被遮擋區域的像素位置，如此能夠精確地確定目標部位中未被遮擋區域的位置，使得對未被遮擋區域進行渲染處理得到的圖像的準確度及自然度高；另外，由於先確定目標部位中未被遮擋區域的像素位置，再對未被遮擋區域進行渲染處理，從而只會對未被遮擋區域進行渲染，而無須對未被遮擋區域之外的其它區域進行渲染，從而所需要渲染的區域小，提高了對目標部位中未被遮擋區域渲染的效率。
為使本公開的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
下面將透過實施例並結合附圖具體地對本公開的技術方案進行詳細說明。下面這幾個具體的實施例可以相互結合，對於相同或相似的概念或過程可能在某些實施例中不再贅述。
需要說明的是：在本公開實例中，「第一」、「第二」等是用於區別類似的物件，而不必用於描述特定的順序或先後次序。本公開實施例中的多個，在未作特殊說明的情況下，可以指的是至少兩個。
另外，本公開實施例所記載的技術方案之間，在不衝突的情況下，可以任意組合。
在使用者對美妝特效真實度的要求逐漸提高的前提下，人臉部分被遮擋的情況下的特效穩定性以及自然度越來越重要。
相關技術中是透過關鍵點檢測方案來確定圖像中的某一部位是否被遮擋。例如，圖像處理設備可以根據圖像中該部位的多個關鍵點，確定每一個關鍵點是否被遮擋，然後基於該部位中關鍵點被遮擋的比例，確定該部位全部是否被遮擋。這種方式在確定部位（例如嘴唇）是否全部被遮擋的情況下有效。
然而，在實際場景中，某一部位往往不會被全部遮擋，而是部分遮擋。在某一部位部分被遮擋的情況下，圖像處理設備無法精確定位部位的遮擋範圍，那麼，在對該部位進行渲染處理的時候，由於無法獲取到該部位中的每一個像素是否被遮擋的情況，很容易對遮擋該部位的遮擋物進行渲染，或者，不對該部位中沒有被遮擋的區域進行渲染，導致渲染範圍準確度不高，渲染效果不自然。
在本公開實施例方式，透過圖像分割模型和目標圖像，確定與目標圖像對應的遮擋掩膜（mask），並結合目標部位的關鍵點資訊，達到真實的美妝效果。
遮擋掩膜可以用於區分目標部位中未被遮擋區域和除目標部位中未被遮擋區域之外的其它區域。目標部位中未被遮擋區域是目標部位中的可見區域，除目標部位中未被遮擋區域之外的其它區域可以包括目標部位中的不可見區域（即目標部位中的遮擋區域），目標部位中的遮擋區域和目標部位中未被遮擋區域均屬於目標部位區域。
在一些實施例方式中，遮擋掩膜可以為與目標圖像的像素的行列數相同的目標矩陣，關於目標矩陣的描述，請參照下述實施例的描述。
遮擋物可以包括例如手指、手部或手臂等人體部位，或者，包括例如水杯、植物等物體，本公開實施例對此不進行具體限定。
本公開實施例中的目標部位可以是指一個部位或者至少兩個部位。例如，目標部位可以是臉部上的部位，臉部上的部位可以包括臉部器官。又例如，目標部位可以是非臉部上的部位，非臉部上的部位可以包括手部、腳部、四肢或軀幹上的某些部位。在一些實施方式中，目標部位可以是包括以下至少之一：眉毛、眼睛、鼻子、嘴巴、臉部輪廓、眼皮、顴骨部位、人中部、手指、腳趾、指甲、腰部等，本公開實施例對此不進行具體限定。
需要說明的是，本公開實施例中的目標部位可以是人體上的部位。在另一些實施例中，目標部位可以是非人體上的部位，非人體例如是貓或狗等動物。
本申請實施例中的圖像處理設備可以包括以下之一或者至少兩者的組合：伺服器、手機（Mobile Phone）、平板電腦（Pad）、帶無線收發功能的電腦、掌上型電腦、桌上型電腦、個人數位助理、隨身聽、智慧音箱、導航裝置、智慧手錶、智慧眼鏡、智慧項鍊等可穿戴設備、計步器、數位TV、虛擬實境（VirtualReality，VR）終端設備、擴增實境（Augmented Reality，AR）終端設備、工業控制（Industrial Control）中的無線終端、無人駕駛（Self Driving）中的無線終端、遠端手術（Remote Medical Surgery）中的無線終端、智慧電網（Smart Grid）中的無線終端、運輸安全（Transportation Safety）中的無線終端、智慧城市（Smart City）中的無線終端、智慧家庭（Smart Home）中的無線終端以及車聯網系統中的車、車載設備或車載模組等等。
第1圖為本公開實施例提供的一種圖像處理方法的實現流程示意圖，該方法應用於圖像處理設備，該方法包括： S101、基於待處理圖像，確定目標部位的像素位置和目標部位中被遮擋區域的像素位置。
待處理圖像可以是等待進行渲染處理的圖像，待處理圖像可以包括人臉圖像。在一些實施過程中，待處理圖像中人臉所佔的面積與待處理圖像的總面積之間的比值，可以大於某一設定值。在一些實施方式中，待處理圖像可以是圖像處理設備中的攝影機拍攝的圖像。在另一些實施方式中，待處理圖像可以是圖像處理設備下載得到的圖像。在又一些實施方式中，待處理圖像可以是拍攝或下載的影片中的圖像幀。
待處理圖像中可以包括目標部位和遮擋目標部位的遮擋物。遮擋物可以部分遮擋目標部位。
目標部位的像素位置，可以包括可見目標部位的像素位置和不可見目標部位的像素位置（即目標部位中被遮擋區域的像素位置）。
目標部位的像素位置，可以指的是目標部位的邊緣像素的像素位置，或者，可以指的是目標部位中每一像素的像素位置。目標部位中被遮擋區域的像素位置，可以包括目標部位中被遮擋區域的邊緣像素的像素位置，或者，可以包括目標部位中被遮擋區域中每一像素的像素位置。
在一些實施方式中，基於待處理圖像，確定目標部位的像素位置，可以包括：對待處理圖像進行關鍵點檢測，得到目標部位的關鍵點資訊；基於目標部位的關鍵點資訊，確定目標部位的像素位置。
在一些實施方式中，基於待處理圖像，確定目標部位中被遮擋區域的像素位置，可以包括：將待處理圖像輸入至圖像分割模型，透過圖像分割模型輸出目標部位中被遮擋區域的像素位置。
S102、基於目標部位的像素位置和目標部位中被遮擋區域的像素位置，確定目標部位中未被遮擋區域的像素位置。
在一些實施方式中，圖像處理設備可以將目標部位的像素位置中，除目標部位中被遮擋區域的像素位置之外的像素位置，確定為目標部位中未被遮擋區域的像素位置。
在另一些實施方式中，圖像處理設備可以確定過渡區域，過渡區域中每一像素屬於目標部位的概率，與屬於非目標部位的概率之間的差異小於預設值；將目標部位的像素位置中，除目標部位中被遮擋區域的像素位置和過渡區域的像素位置之外的像素位置，確定為目標部位中未被遮擋區域的像素位置。
目標部位中未被遮擋區域的像素位置，可以包括目標部位中未被遮擋區域的邊緣像素的像素位置，或者，可以包括目標部位中未被遮擋區域中每一像素的像素位置。
S103、基於目標部位中未被遮擋區域的像素位置，對未被遮擋區域進行渲染處理。
透過目標部位中未被遮擋區域的像素位置，圖像處理設備可以得到目標部位中未被遮擋區域的精確位置，從而能夠對未被遮擋區域進行精確地渲染處理。渲染處理在另一些實施方式中可以稱為特效處理或美妝特效處理。
對目標部位中未被遮擋區域進行渲染處理，可以包括以下至少之一：對嘴巴的未被遮擋區域進行口紅渲染；對眉毛的未被遮擋區域進行眉毛渲染；對眼皮的未被遮擋區域進行眼影渲染；對臉頰的未被遮擋區域進行腮紅渲染等一切可用於人臉美妝的渲染，本公開實施例對此不一一列舉。
在一些實施方式中，圖像處理設備可以確定目標部位的屬性資訊，基於目標部位的屬性資訊對目標部位的未被遮擋區域進行渲染處理。其中，屬性資訊可以包括以下至少之一：名稱、大小、顏色、形狀等。在實施過程中，圖像處理設備可以基於目標部位的屬性資訊，確定與目標部位的未被遮擋區域對應的渲染風格，然後基於該渲染風格，對目標部位的未被遮擋區域進行渲染處理。例如，圖像處理設備在確定目標部位的名稱為嘴巴，且嘴巴的形狀厚的情況下，可以對嘴巴的未遮擋區域進行淺色渲染或者進行咬唇妝渲染。
在一些實施方式中，圖像處理設備的顯示幕上可以顯示多種渲染風格，圖像處理設備可以回應使用者對多種渲染風格中目標渲染風格的操作，以目標渲染風格對未被遮擋區域進行渲染處理。
第2圖為本公開實施例提供的一種目標部位區域以及目標部位的被遮擋區域的示意圖，第2圖中的目標部位為嘴巴，如第2圖所示，第2圖中的目標部位區域以及目標部位的被遮擋區域，可以應用於本公開任一實施例提到的待處理圖像、切割圖像、仿射變換（Affine Transformation）後的圖像、局部圖像或者目標圖像中。
以目標部位為嘴巴為例，待處理圖像中目標部位區域可以為區域P和區域Q的結合，目標部位的像素位置，可以為區域P和區域Q中每一像素的像素位置或者區域P和區域Q結合區域的邊緣像素中每一像素的像素位置。
遮擋物區域可以是區域Q和區域R的結合。目標部位的被遮擋區域可以是區域Q，目標部位的被遮擋區域的像素位置，可以為區域Q中每一像素的像素位置或者區域Q邊緣的像素位置。
在本公開實施例中，基於目標部位的像素位置和目標部位中被遮擋區域的像素位置，確定目標部位中未被遮擋區域的像素位置，透過確定目標部位各像素中未被遮擋區域的像素位置，如此能夠精確地確定目標部位中未被遮擋區域的位置，使得對未被遮擋區域進行渲染處理得到的圖像的準確度及自然度高；另外，由於先確定目標部位中未被遮擋區域的像素位置，再對未被遮擋區域進行渲染處理，從而只會對未被遮擋區域進行渲染，而無須對未被遮擋區域之外的其它區域進行渲染，從而所需要渲染的區域小，提高了對目標部位中未被遮擋區域渲染的效率。
第3圖為本公開實施例提供的另一種圖像處理方法的實現流程示意圖，如第3圖所示，該方法應用於圖像處理設備，該方法包括： S301、對待處理圖像進行關鍵點檢測，得到目標部位的關鍵點資訊。
對待處理圖像進行關鍵點檢測，可以是指基於待處理圖像，定位出各個部位（包括目標部位）位置，各個部位可以包括以下至少之一：眉毛、眼睛、鼻子、嘴巴、臉部輪廓等。對待處理圖像進行關鍵點檢測可以包括：對待處理圖像中的目標部位進行關鍵點檢測。本公開實施例中的關鍵點資訊均可以是指關鍵點座標資訊。關鍵點座標資訊可以為關鍵點二維座標資訊或關鍵點三維座標資訊。
目標部位的關鍵點資訊可以包括：81點、106點，1000點的關鍵點資訊，從而透過81點、106點，1000點的關鍵點資訊對目標部位進行定位。
S302、基於目標部位的關鍵點資訊，確定目標部位的像素位置。
S303、基於圖像分割模型和待處理圖像，確定目標部位中被遮擋區域的像素位置。
在一些實施方式中，可以基於圖像分割模型和待處理圖像，確定輸出圖像，基於輸出圖像，確定所述目標部位中被遮擋區域的像素位置。例如，可以基於待處理圖像確定向所述圖像分割模型輸入的目標圖像；然後利用所述圖像分割模型對所述目標圖像進行處理，得到輸出圖像；基於所述輸出圖像，確定所述目標部位中被遮擋區域的像素位置。
在一些實施方式中，圖像分割模型可以包括語義分割（Semantic Segmentation）模型。其中，語義分割模型可以稱為語義分割網路，語義分割網路可以包括以下之一：Deeplab v3網路、全卷積網路（Fully Convolution Networks，FCNs）、SegNet、U-Net、DeepLab v1網路、DeepLab v2網路、全卷積（Fully Convolutional）DenseNet、E-Net、Link-Net、Mask R-CNN、金字塔場景解析網路（Pyramid Scene Parseing Network，PSPNet）、RefineNet、門控回饋最佳化網路（Gated Feedback Refinement Network，G-FRNet）。在另一些實施方式中，圖像分割模型可以包括實例分割模型（Instance Segmentation）或全景分割模型（Panoptic Segmentation）。
在一些實施方式中，可以將待處理圖像輸入至圖像分割模型中，以使圖像分割模型對待處理的圖像進行處理，得到與待處理圖像對應的輸出圖像，從而基於與待處理圖像對應的輸出圖像，確定目標部位中被遮擋區域的像素位置。
在另一些實施方式中，可以對待處理圖像進行切割、顏色轉換、歸一化轉換、仿射變換等中的至少之一處理，得到目標圖像。然後將目標圖像輸入至圖像分割模型中，以使圖像分割模型對目標圖像進行處理，輸出與目標圖像對應的輸出圖像，從而基於與目標圖像對應的輸出圖像，確定目標部位中被遮擋區域的像素位置。其中，對待處理圖像進行顏色轉換可以包括將待處理圖像進行灰階化或灰階轉換，得到灰階圖像。
以下說明幾種確定目標圖像的方式：例如，可以對待處理圖像進行切割處理得到目標圖像，再例如，可以對待處理圖像進行仿射變換處理，得到仿射變換後的圖像，對仿射變換後的圖像進行切割得到目標圖像。又例如，對待處理圖像進行切割，然後對切割圖像進行顏色轉換和/或歸一化轉換後，得到目標圖像。在本公開的一些實施例中，圖像處理設備可以對待處理圖像進行仿射變換處理，得到仿射變換後的圖像，對仿射變換後的圖像進行切割後，得到切割圖像，然後對切割圖像分別做顏色轉換和歸一化轉換處理得到目標圖像。能夠理解，基於待處理圖像得到目標圖像的方式還可以有其它，本公開實施例對此不一一列舉。
S304、基於目標部位的像素位置和目標部位中被遮擋區域的像素位置，確定目標部位中未被遮擋區域的像素位置。
S305、基於目標部位中未被遮擋區域的像素位置，對未被遮擋區域進行渲染處理。
在本公開實施例中，由於基於目標部位的關鍵點資訊確定目標部位的像素位置，目標部位的像素位置包括：目標部位中可見部分的像素位置和不可見部分的像素位置，目標部位中不可見部分的像素位置為目標部位中被遮擋區域的像素位置，進而能夠將目標部位的像素位置中除去目標部位中被遮擋區域的像素位置，得到目標部位中未被遮擋區域的像素位置，目標部位中未被遮擋區域的像素位置為目標部位中可見部分的像素位置。
在本公開實施例中，由於目標部位中被遮擋區域的像素位置是基於圖像分割模型確定的，從而能夠使確定的目標部位中被遮擋區域的像素位置更為準確。
第4圖為本公開實施例提供的又一種圖像處理方法的實現流程示意圖，如第4圖所示，該方法應用於圖像處理設備，該方法包括：
S401、基於待處理圖像，確定目標部位的像素位置。
S402、基於待處理圖像，確定包括目標部位的切割圖像。
在一些實施方式中，圖像處理設備可以基於待處理圖像和仿射變換矩陣，得到仿射變換後的圖像，再對仿射變換後的圖像進行切割，得到切割圖像。
在一些實施方式中，仿射變換矩陣可以為待處理圖像到仿射變換後的圖像的仿射變換矩陣，其中，仿射變換後的圖像中包括目標部位的局部區域（包括目標部位的局部區域可以為切割圖像）的尺寸，可以與模型輸入圖像的尺寸一致。在另一些實施方式中，仿射變換矩陣可以為從原始圖片到模型輸入大小的圖片的仿射變換矩陣。
圖像處理設備可以基於目標部位在待處理圖像中所佔的區域和/或圖像分割模型能夠輸入的輸入圖像的尺寸，確定與待處理圖像對應的仿射變換矩陣。仿射變換矩陣可以用於對待處理圖像進行以下之一的轉化：平移（Translation）、縮放（Scale）、翻轉（Flip）、旋轉（Rotation）、剪切（Shear）、平移、旋轉、縮放、斜切等。
圖像處理設備可以對仿射變換後的圖像進行關鍵點識別，得到仿射變換後的圖像中目標部位的關鍵點資訊，然後基於仿射變換後的圖像中目標部位的關鍵點資訊對仿射變換後的圖像進行切割。在另一些實施方式中，圖像處理設備可以基於待處理圖像中目標部位的關鍵點資訊，或者，基於待處理圖像中目標部位的關鍵點資訊和仿射變換矩陣，對仿射變換後的圖像進行切割。在又一些實施方式中，圖像處理設備可以基於待處理圖像或仿射變換後的圖像中目標部位的中心點等位置資訊，對仿射變換後的圖像進行切割，得到切割圖像。切割圖像中應包括整個目標部位。
在另一些實施方式中，圖像處理設備可以對待處理圖像進行切割，得到切割圖像。例如，圖像處理設備可以對待處理圖像進行關鍵點識別，得到待處理圖像中目標部位的關鍵點資訊，基於待處理圖像中目標部位的關鍵點資訊，對待處理圖像進行切割，得到切割圖像。
透過對待處理圖像或仿射變換後的圖像進行切割，可以去除待處理圖像或仿射變換後的圖像中大多數的無關背景，保留感興趣的區域。切割圖像可以是矩形。在另一些實施方式中，切割圖像可以是非矩形，例如，目標部位的輪廓形狀、三角形、非矩形的四邊形或者五邊形等，本公開實施例對切割圖像的具體形狀不作限制。
S403、基於切割圖像，確定向圖像分割模型輸入的目標圖像。
在一些實施方式中，圖像處理設備可以對切割圖像進行顏色轉換和/或歸一化轉換，得到目標圖像。
透過這種方式，透過對切割圖像進行顏色轉換和/或歸一化轉換，得到向圖像分割模型輸入的目標圖像；從而在對切割圖像進行顏色轉換的情況下，能夠簡化輸入至圖像分割模型的特徵，減少了得到輸出圖像的計算量且加快了得到輸出圖像的速度；在對切割圖像進行歸一化轉換的情況下，能夠保留切割圖像的特徵，但是減少參數的大小，進而加快得到輸出圖像的速度且提高得到的輸出圖像的準確性。
在另一些實施方式中，圖像處理設備可以將切割圖像作為目標圖像。
S404、利用圖像分割模型對目標圖像進行處理，得到輸出圖像。
在一些實施方式中，輸出圖像可以包括：與目標圖像的像素的行列數相同的目標矩陣，目標矩陣中的每一元素的元素值，表徵每一元素對應的像素屬於目標部位或非目標部位的概率。在這種實施方式中，每一元素的取值範圍為0至1中的任一數值。如果目標矩陣中的每一元素的元素值，表徵每一元素對應的像素屬於目標部位的概率，則確定大於第一閾值的元素值所對應的目標圖像的像素屬於可見目標部位，確定小於或等於第一閾值的元素值所對應的目標圖像的像素屬於可見目標部位之外的其它區域。如果目標矩陣中的每一元素的元素值，表徵每一元素對應的像素屬於非目標部位的概率，則確定小於第二閾值的元素值所對應的目標圖像的像素屬於可見目標部位，確定大於或等於第二閾值的元素值所對應的目標圖像的像素屬於可見目標部位之外的其它區域。
在另一些實施方式中，每一元素的取值範圍可以為其它數值，例如，每一元素的取值範圍為0至255中的任一數值等。
在又一些實施方式中，目標矩陣中每一元素的元素值可以為第一數值或第二數值，例如，第一數值為1，第二數值為0，第一數值對應的像素表徵該像素屬於可見目標部位區域，第二數值對應的像素表徵該像素屬於可見目標部位區域之外的其它區域。可見目標部位區域之外的其它區域，可以包括不可見目標部位區域和目標部位之外的其它區域。
在再一些實施方式中，輸出圖像可以包括：第一顏色和/或第一紋理的遮擋掩膜，和第二顏色和/或第二紋理的遮擋掩膜。第一顏色和/或第一紋理的遮擋掩膜對應在目標圖像上的區域可以為可見目標部位區域，第二顏色和/或第二紋理的遮擋掩膜對應在目標圖像上的區域可以為可見目標部位區域之外的其它區域。
其中，目標圖像或切割圖像中的每一像素，與目標矩陣中的每一元素可以具有一一對應的關係。
S405、基於輸出圖像，確定目標部位中被遮擋區域的像素位置。
由於向圖像分割模型輸入的目標圖像是基於待處理圖像和仿射變換矩陣得到的，因此，從而基於圖像分割模型輸出的輸出圖像，可以確定目標圖像中的可見目標部位區域和除可見目標部位區域之外的其它區域，進而可以基於輸出圖像、仿射變換矩陣以及目標部位的像素位置，確定待處理圖像的目標部位中被遮擋區域的像素位置。
S406、基於目標部位的像素位置和目標部位中被遮擋區域的像素位置，確定目標部位中未被遮擋區域的像素位置。
S407、基於目標部位中未被遮擋區域的像素位置，對未被遮擋區域進行渲染處理。
在本公開實施例中，由於對待處理圖像進行切割，得到的切割圖像仍然包括目標物件，從而切割圖像中目標部位的佔比，小於待處理圖像中目標部位的佔比，使得向圖像分割模型輸入的基於切割圖像確定的目標圖像中目標部位的佔比，小於待處理圖像中目標部位的佔比，不僅使得圖像分割模型無需處理切割圖像的特徵之外的圖像特徵，避免了切割圖像的特徵之外的圖像特徵的干擾，進而提高圖像分割模型輸出的輸出圖像的準確度，還能夠降低使用圖像分割模型得到輸出圖像的計算量，提升檢測目標部位中被遮擋區域的像素位置的效率。
第5圖為本公開實施例提供的再一種圖像處理方法的實現流程示意圖，如第5圖所示，該方法應用於圖像處理設備，該方法包括：
S501、基於待處理圖像，確定目標部位的像素位置。
S502、基於待處理圖像和仿射變換矩陣，確定仿射變換後的圖像。
S503、對仿射變換後的圖像進行切割，得到切割圖像。
仿射變換是一種二維座標到二維座標之間的線性變換，仿射變換能夠保持二維圖形的平直性（Straightness）和平行性（Parallelness），平直性指的是變換後直線還是直線而不會轉彎，圓弧還是圓弧，平行性是指二維圖形間的相對位置關係不變，平行線還是平行線，相交直線的交角不變。仿射變換可以透過一系列的原子變換的複合來實現，包括以下至少之一：平移、縮放、翻轉、旋轉和剪切。因此，這五種至少之一的變換由原圖像轉變到變換圖像的過程，可以用仿射變換矩陣進行確定，即對圖像仿射變換是透過仿射變換矩陣來實現的。
切割圖像的尺寸可以與圖像分割模型所對應的輸入尺寸相同。
透過這種方式，由於向圖像分割模型輸入的目標圖像是透過仿射變換矩陣和待處理圖像得到的，從而得到的目標圖像能夠保持待處理圖像的平直性和平行性，且目標圖像能夠符合圖像分割模型的輸入，接著透過圖像分割模型對目標圖像進行處理，能夠準確的得到表徵目標部位中被遮擋區域的輸出圖像，進而透過輸出圖像和仿射變換矩陣，準確地得到待處理圖像中被遮擋區域的像素位置。
在本公開實施方式中，由於先執行對待處理圖像進行仿射變換，得到仿射變換後的圖像，再執行對仿射變換後的圖像進行切割，得到切割圖像；從而使得在仿射變換包括旋轉的情況下，切割圖像依舊能夠保留待處理圖像中的特徵，進而提高了得到的輸出圖像的準確性。在先對待處理圖像進行切割再進行仿射變換的情況下，如果仿射變換包括旋轉，則會向圖像中添加填充像素，以使圖像的尺寸與圖像分割模型的輸入尺寸相同，進而由於向用於輸入至模型的圖像中添加雜訊，導致模型輸出的輸出圖像不準確的情況發生。
S504、基於切割圖像，確定向圖像分割模型輸入的目標圖像。
S505、利用圖像分割模型對目標圖像進行處理，得到輸出圖像。
S506、基於輸出圖像和仿射變換矩陣，確定目標部位中被遮擋區域的像素位置。
其中，輸出圖像可以包括：與目標圖像的像素的行列數相同的目標矩陣，目標矩陣中的每一元素的元素值，表徵每一元素對應的像素屬於目標部位或非目標部位的概率。
在這種實施方式中，輸出圖像是一個目標矩陣，目標矩陣可以是M行N列的矩陣，目標圖像的像素可以包括M行N列的像素。M和N可以為大於或等於1的整數，M和N可以相同或不同。
在目標矩陣中每一元素的元素值，表徵每一元素對應的像素屬於目標部位的概率的情況下，則每一元素的元素值越大，表徵該元素對應的目標圖像中的像素屬於目標部位的概率越高，反之則越低。在目標矩陣中每一元素的元素值，表徵每一元素對應的像素屬於非目標部位的概率的情況下，則每一元素的元素值越小，表徵該元素對應的目標圖像中的像素屬於目標部位的概率越低，反之則越高。
S507、基於目標部位的像素位置和目標部位中被遮擋區域的像素位置，確定目標部位中未被遮擋區域的像素位置。
S508、基於目標部位中未被遮擋區域的像素位置，對未被遮擋區域進行渲染處理。
在本公開實施例中，由於先透過仿射變換矩陣和待處理圖像得到仿射變換後的圖像，然後再基於仿射變換後的圖像確定切割圖像，從而使切割圖像能夠保持待處理圖像的平直性和平行性，且切割圖像的尺寸能夠符合圖像分割模型的輸入，接著透過圖像分割模型對基於切割圖像確定的目標圖像進行處理，能夠準確的得到表徵目標部位中被遮擋區域的輸出圖像，進而透過輸出圖像和仿射變換矩陣，準確地得到待處理圖像的目標部位中被遮擋區域的像素位置。
第6圖為本公開另一實施例提供的一種圖像處理方法的實現流程示意圖，如第6圖所示，該方法應用於圖像處理設備，該方法包括：
S601、基於待處理圖像，確定目標部位的像素位置。
S602、基於待處理圖像和仿射變換矩陣，確定仿射變換後的圖像。
S603、對仿射變換後的圖像進行切割，得到切割圖像。
S604、基於切割圖像，確定向圖像分割模型輸入的目標圖像。
S605、利用圖像分割模型對目標圖像進行處理，得到輸出圖像。
其中，輸出圖像可以包括：與目標圖像的像素的行列數相同的目標矩陣，目標矩陣中的每一元素的元素值，表徵每一元素對應的像素屬於目標部位或非目標部位的概率。
S606、將目標矩陣中的每一元素的元素值，確定為切割圖像中每一像素對應的元素值。
S607、基於切割圖像中每一像素對應的元素值和仿射變換矩陣，確定目標部位中被遮擋區域的像素位置。
在實施過程中，S607可以透過以下方式實現：基於切割圖像中每一像素對應的元素值和仿射變換矩陣，確定待處理圖像中，與切割圖像對應的包括目標部位的局部圖像中每一像素對應的元素值；基於局部圖像中每一像素對應的元素值，確定目標部位中被遮擋區域的像素位置。
透過這種方式，基於切割圖像中每一像素對應的元素值和仿射變換矩陣，能夠反算出在待處理圖像中與切割圖像對應的局部圖像中每一像素對應的元素值，進而可以基於局部圖像中每一像素對應的元素值，確定目標部位中被遮擋區域的像素位置，從而提供了一種快速確定目標部位中被遮擋區域的像素位置的方式。
在一些實施例中，圖像處理設備可以在目標部位的像素位置上，從局部圖像中每一像素對應的元素值中確定符合第一閾值條件的目標元素值；確定局部圖像中的第一指定像素，對應在待處理圖像中的第二指定像素的像素位置；基於目標元素值對應在局部圖像上的像素位置和第二指定像素的像素位置，確定目標部位中被遮擋區域的像素位置。
在一些實施方式中，從局部圖像中每一像素對應的元素值中確定符合第一閾值條件的目標元素值，可以包括：從局部圖像中每一像素對應的元素值中確定大於第一閾值或小於第二閾值的目標元素值。
其中，在目標矩陣中每一元素的元素值，表徵每一元素對應的像素屬於目標部位的概率的情況下，確定小於第二閾值的目標元素值；在目標矩陣中每一元素的元素值，表徵每一元素對應的像素屬於非目標部位的概率的情況下，確定大於第一閾值的目標元素值。從而圖像處理設備能夠得到切割圖像的目標部位的遮擋區域中每一像素位置，進而基於切割圖像的目標部位的遮擋區域中每一像素位置和仿射變換矩陣，得到局部圖像中目標部位的遮擋區域中每一像素位置。
目標元素值對應的像素屬於可見目標部位的概率，大於屬於可見目標部位之外的其它區域的概率。
第一指定像素可以是局部圖像中的任一個或至少兩個像素。在實施過程中，第一指定像素可以是局部圖像中左上角的像素。在其它實施方式中，第一指定像素可以是局部圖像中右上角的像素、左下角的像素、右下角的像素、中間位置的像素或其它位置的像素等。本公開實施例對第一指定像素位置的具體實施方式不作限定。
透過這種方式，基於目標部位的被遮擋區域在局部圖像上的像素位置，和確定的局部圖像中的第一指定像素對應在待處理圖像中的第二指定像素的像素位置，來確定待處理圖像中目標部位中被遮擋區域的像素位置，從而只需對局部圖像中每一像素的是否屬於目標部位的判斷結果進行轉存和處理，降低了對判斷結果進行轉存和處理的耗時。
在另一些實施例中，圖像處理設備可以確定待處理圖像中除局部圖像之外的指定區域中每一像素對應的元素值；在目標部位的像素位置上，從指定區域中每一像素對應的元素值和局部圖像中每一像素的元素值中，確定符合第一閾值條件的指定元素值；基於指定元素值對應在待處理圖像上的像素位置，確定目標部位中被遮擋區域的像素位置。
在一些實施方式中，從指定區域中每一像素對應的元素值和局部圖像中每一像素的元素值中，確定符合第一閾值條件的指定元素值，可以包括：從指定區域中每一像素對應的元素值和局部圖像中每一像素的元素值中，確定大於第一閾值或小於第二閾值的指定元素值。
在實施過程中，在目標矩陣中的每一元素的元素值，表徵每一元素對應的像素屬於目標部位的概率的情況下，確定的指定區域中每一像素對應的元素值為0。在目標矩陣中的每一元素的元素值，表徵每一元素對應的像素屬於非目標部位的概率的情況下，確定的指定區域中每一像素對應的元素值為1。在另一些實施方式中，如果目標矩陣中的每一元素的元素值在0至255之間，則確定的指定區域中每一像素對應的元素值為0或者255。
透過這種方式，透過確定待處理圖像中除局部圖像之外的指定區域中每一像素對應的元素值，從而能夠得到待處理圖像的每一像素對應的元素值，進而可以基於待處理圖像的每一像素對應的元素值的大小，確定待處理圖像中目標部位中被遮擋區域的像素位置，如此能夠準確確定目標部位中被遮擋區域的像素位置的方式簡單且容易實現。
S608、基於目標部位的像素位置和目標部位中被遮擋區域的像素位置，確定目標部位中未被遮擋區域的像素位置。
S609、基於目標部位中未被遮擋區域的像素位置，對未被遮擋區域進行渲染處理。
在本公開實施例中，基於切割圖像中每一像素對應的元素值和仿射變換矩陣，能夠得到待處理圖像中與切割圖像對應的局部圖像的每一個像素是否為被遮擋區域的像素，進而基於目標部位的每一像素位置和被遮擋區域的每一像素位置，準確地確定未被遮擋區域的每一像素位置，從而精確地對未被遮擋區域進行渲染處理，使得對目標部位的渲染自然。
第7圖為本公開又一實施例提供的一種圖像處理方法的實現流程示意圖，如第7圖所示，該方法應用於圖像處理設備，該方法包括：
S701、對待處理圖像進行關鍵點檢測，得到目標部位的關鍵點資訊。
S702、基於目標部位的關鍵點資訊，確定目標部位的像素位置。
S703、基於待處理圖像，確定包括目標部位的切割圖像。
S704、基於切割圖像，確定向圖像分割模型輸入的目標圖像。
S705、利用圖像分割模型對目標圖像進行處理，得到輸出圖像。
S706、基於輸出圖像，確定目標部位中被遮擋區域的像素位置。
在一些實施方式中，圖像處理設備可以基於輸出圖像，確定目標部位的像素位置上的每一像素對應的元素值，然後基於目標部位的像素位置上的每一像素對應的元素值，確定目標部位中被遮擋區域的像素位置。
圖像處理設備可以將目標矩陣中的每一元素的元素值，確定為切割圖像中每一像素對應的元素值，然後基於切割圖像中每一像素對應的元素值和仿射變換矩陣，確定待處理圖像中，與切割圖像對應的包括目標部位的局部圖像中每一像素對應的元素值；而由於局部圖像是待處理圖像中包括目標部位的部分，從而圖像處理設備可以基於局部圖像中每一像素對應的元素值，確定目標部位的像素位置上的每一像素對應的元素值。
在另一實施方式中，如果圖像處理設備是對待處理圖像進行切割，得到切割圖像，從而圖像處理設備可以基於切割圖像中每一像素對應的元素值，確定局部圖像中每一像素對應的元素值，進而得到目標部位的像素位置上的每一像素對應的元素值。
S707、在目標部位的像素位置上的每一像素對應的元素值中，確定符合第二閾值條件的候選元素值。
在一些實施方式中，S707可以透過以下方式實現：在目標部位的像素位置上的每一像素對應的元素值中，確定小於或等於第一閾值且大於第三閾值，或者，大於或等於第二閾值且小於或等於第四閾值的候選元素值。
在S707之前，圖像處理設備可以執行基於輸出圖像，確定目標部位的像素位置上的每一像素對應的元素值的步驟。
在實施過程中，在目標矩陣中的每一元素的元素值，表徵每一元素對應的像素屬於目標部位的概率的情況下，確定大於或等於第二閾值且小於或等於第四閾值的候選元素值，在目標矩陣中的每一元素的元素值，表徵每一元素對應的像素屬於非目標部位的概率的情況下，確定小於或等於第一閾值且大於第三閾值的候選元素值。
在一些實施方式中，第一閾值與0.5之間的差值的絕對值，可以與第三閾值與0.5之間的差值的絕對值相同，或者，第二閾值與0.5之間的差值的絕對值，可以與第四閾值與0.5之間的差值的絕對值相同。
S708、將候選元素值對應的像素位置，確定為過渡區域的像素位置。
過渡區域中的每一像素屬於目標部位的概率與屬於非目標部位的概率之間的差值可以小於目標值。
S709、基於目標部位中被遮擋區域的像素位置和過渡區域的像素位置，確定目標部位中未被遮擋區域的像素位置。
在這種實施方式下，目標部位可以包括三個部分的區域，這三個部分的區域分別為：目標部位中被遮擋區域、過渡區域以及目標部位中未被遮擋區域。圖像處理設備可以在目標部位的像素位置上，將目標部位中被遮擋區域的像素位置和過渡區域的像素位置之外的像素位置，確定為目標部位中未被遮擋區域的像素位置。
S710、基於過渡區域的像素位置，對過渡區域進行平滑處理。
對過渡區域進行平滑處理，可以包括，對過渡區域進行透明度平滑處理。透明度平滑處理也可以稱為抗鋸齒處理。
在一些實施方式中，圖像處理設備可以不執行S710的步驟。
在本公開實施例中，可以先確定過渡區域的像素位置，過渡區域中的每一像素對應的元素值表徵每一像素既有可能屬於目標部位，也有可能屬於非目標部位，從而基於目標部位中被遮擋區域的像素位置和過渡區域的像素位置，確定的目標部位中未被遮擋區域的像素位置，能夠有效避免出現將過渡區域中的某些像素確定為未被遮擋區域的像素的情況，進而能夠準確地確定目標部位中未被遮擋區域的像素位置。
另外，由於過渡區域中的每一像素對應的元素值表徵每一像素既有可能屬於目標部位，也有可能屬於非目標部位，從而對過渡區域進行平滑處理能夠使得被遮擋區域與未被遮擋區域之間過渡自然，且能夠提高對待處理圖像進行處理的準確度及自然度。
在一些實施例中，所述圖像分割模型透過訓練樣本集和目標樣本集訓練得到，所述訓練樣本集中包括多個訓練樣本圖像，每一所述訓練樣本圖像中至少一個部位被遮擋；所述目標樣本集中包括多個目標樣本圖像，每一所述目標樣本圖像包括所述部位中未被遮擋的區域掩膜。
以下說明本公開任一實施例中確定圖像分割模型的方法： 第8圖為本公開實施例提供的一種圖像分割模型的確定方法的實現流程示意圖，如第8圖所示，該方法應用於圖像處理設備，該方法包括： S801、獲取訓練樣本集；訓練樣本集中包括多個訓練樣本圖像；每一訓練樣本圖像中至少一個部位被遮擋。
在一些實施方式中，至少一個部位可以僅包括目標部位。這樣，每一訓練樣本圖像中目標部位被遮擋物所遮擋。在另一些實施方式中，至少一個部位不僅可以包括目標部位，還可以包括除目標部位之外的其它部位，例如，至少一個部位可以包括人臉圖像中的能夠渲染的多個部位。這樣，每一訓練樣本圖像中遮擋物可以遮擋目標部位和/或遮擋目標部位之外的其它部位。
S802、獲取目標樣本集；目標樣本集中包括多個目標樣本圖像；每一目標樣本圖像包括部位中未被遮擋的區域掩膜。
在實施過程中，每一目標樣本圖像還可以包括除未被遮擋區域之外的其它區域掩膜。
在至少一個部位僅包括目標部位的情況下，部位中未被遮擋的區域掩膜可以為目標部位未被遮擋的區域掩膜。在至少一個部位不僅包括目標部位，還包括其它部位的情況下，部位中未被遮擋的區域掩膜不僅包括目標部位未被遮擋的區域掩膜，還包括其它部位未被遮擋的區域掩膜。
S803、基於訓練樣本集和目標樣本集，訓練得到圖像分割模型。
圖像處理設備可以先獲取初始分割模型，然後採用訓練樣本集和目標樣本集對初始分割模型進行監督學習，得到圖像分割模型。監督學習可以是真實目標（Groud Truth）監督學習。
在至少一個部位僅包括目標部位的情況下，得到的圖像分割模型可以確定輸入的圖像中的每一像素，屬於可見目標部位或者可見目標部位之外的其它區域。
在至少一個部位包括多個部位的情況下，得到的圖像分割模型可以確定輸入的圖像中每一像素，屬於每一可見部位或者每一可見部位之外的其它區域。例如，如果待處理圖像包括多個部位，圖像處理設備可以對待處理圖像進行切割，得到多個切割圖像，並基於多個切割圖像得到多個目標圖像，並將多個目標圖像輸入至圖像分割模型，從而得到多個目標圖像中每一像素屬於每一可見部位或者每一可見部位之外的其它區域，進而得到輸入的圖像中每一像素，屬於每一可見部位或者每一可見部位之外的其它區域。
在本公開實施例中，以多個訓練樣本圖像為訓練輸入，多個目標樣本圖像為訓練目標，訓練得到圖像分割模型，從而透過圖像分割模型能夠對後續輸入的目標圖像進行處理，進而得到目標部位中未被遮擋區域的像素位置，因此可以透過圖像處理設備自動地得到目標部位中未被遮擋區域的像素位置，節約人力，且確定的目標部位中未被遮擋區域的像素位置準確。
在一些實施例中，所述訓練樣本集是將遮擋物圖像集中的每一遮擋物圖像的遮擋物，隨機遮擋在切割圖像集中的每一切割圖像的無遮擋的至少一個部位上得到的；所述目標樣本集是基於所述每一遮擋物圖像中的遮擋物，相對所述無遮擋的至少一個部位的位置確定的。
第9圖為本公開實施例提供的另一種圖像分割模型的確定方法的實現流程示意圖，如第9圖所示，該方法應用於圖像處理設備，該方法包括： S901、獲取切割圖像集，切割圖像集中每一切割圖像包括帶標注的無遮擋的至少一個部位。
每一切割圖像中的至少一個部位均是無遮擋部位。圖像處理設備可以確定每一切割圖像中至少一個部位的關鍵點資訊，基於至少一個部位的關鍵點資訊，標注至少一個部位。在一些實施方式中，圖像處理設備可以基於標注的至少一個部位，確定至少一個部位區域掩膜。
圖像處理設備可以獲取多個人臉圖像，然後對每一人臉圖像進行關鍵點識別，從而不僅基於人臉關鍵點對至少一個部位進行切割，還基於至少一個部位的關鍵點資訊，標注至少一個部位，得到切割圖像集。在一些實施方式中，圖像處理設備可以先對每一人臉圖像進行仿射變換，得到每一仿射變換後的圖像，不同的人臉圖像進行仿射變換所採用的仿射變換矩陣可以相同或不同，然後圖像處理設備可以對每一仿射變換後的圖像進行切割，得到每一切割圖像。
在一些實施方式中，圖像處理設備還可以對切割後的圖像進行顏色轉換、歸一化轉換、仿射變換等至少一者的處理，並對處理後的圖像中的至少一個部位進行標注，從而得到切割圖像集。
S902、獲取遮擋物圖像集，遮擋物圖像集中每一遮擋物圖像包括帶標注的遮擋物。
圖像處理設備可以獲取多個包括遮擋物的遮擋物圖像，然後對遮擋物圖像中的遮擋物進行標注。進一步，圖像處理設備還可以基於標注的遮擋物，確定遮擋物區域掩膜。
在一些實施方式中，圖像處理設備還可以對遮擋物圖像進行顏色轉換、歸一化轉換、仿射變換等至少一者的處理，並對處理後的圖像中遮擋物進行標注，從而得到遮擋物圖像集。
S903、將每一遮擋物圖像中的遮擋物隨機遮擋在無遮擋的至少一個部位上，得到訓練樣本集。
一個遮擋物可以在至少一個部位上隨意遮擋，因此，基於一個切割圖像和一個遮擋物圖像，能夠得到多個訓練樣本圖像。
S904、基於每一遮擋物圖像中的遮擋物相對無遮擋的至少一個部位的位置，確定目標樣本集。
透過S904，目標樣本集中的每一訓練樣本圖像，可以是訓練樣本集的每一訓練樣本圖像的部位中未被遮擋區域的分割結果。未被遮擋區域的分割結果可以包括未被遮擋的區域掩膜和未被遮擋區域之外的區域掩膜。
S905、基於訓練樣本集和目標樣本集，訓練得到圖像分割模型。
在本公開實施例中，透過將每一遮擋物圖像中的遮擋物隨機遮擋在無遮擋的至少一個部位上，得到訓練樣本集，從而一個遮擋物可以遮擋在部位的不同位置，得到不同的訓練樣本圖像，透過一個遮擋物和一個部位能夠組合多個訓練樣本，進而能夠基於少量的切割圖像和少量的遮擋物圖像，確定出大量的訓練樣本，因此訓練得到的圖像分割模型的性能高，使得確定的目標部位中未被遮擋區域的像素位置的準確性高。
第10圖為本公開實施例提供的一種確定訓練樣本圖像和目標樣本圖像的流程示意圖，如第10圖所示，首先，圖像處理設備可以獲取無遮擋的人臉圖像11，然後對人臉圖像11進行人臉關鍵點檢測，得到人臉關鍵點，基於人臉關鍵點得到目標部位的關鍵點資訊。圖像處理設備可以對人臉圖像11進行仿射變換，得到仿射變換後的圖像，然後再對仿射變換後的圖像進行切割，得到切割圖像，接著再對切割圖像進行灰階處理和/或歸一化處理，得到圖像12。基於圖像12和與第12圖中的目標部位的關鍵點資訊，確定與圖像12對應的包括目標部位區域掩膜的圖像13。在一些實施方式中，人臉圖像11可以是具有二維關鍵點標注的圖像，即人臉圖像11有各個部位所對應的關鍵點座標，各個部位包括人臉輪廓與五官等。
其次，圖像處理設備可以獲取遮擋物圖像14，然後基於對遮擋物圖像14中的遮擋物進行標注的標注結果，確定與遮擋物圖像對應的包括遮擋物區域掩膜的圖像15。在實施過程中，可以分別對遮擋物圖像14和圖像15進行仿射變換處理，並在對圖像14進行仿射變換後，進行灰階處理，從而分別得到圖像16和圖像17。
然後，圖像處理設備可以將圖像12和16隨機結合，以使圖像16中的遮擋物隨機遮擋在圖像12的目標部位上得到圖像18，然後基於圖像16中的遮擋物相對圖像12中的目標部位的位置，以及圖像13中的目標部位區域掩膜和圖像17中的遮擋物區域掩膜，得到與圖像18對應的包括可見目標部位區域的掩膜和除該可見目標部位區域之外的其它區域掩膜的圖像19。
其中，圖像18可以是訓練樣本圖像，圖像19可以是對應訓練樣本圖像的目標樣本圖像。
在一些實施例中，所述目標樣本集是基於每一所述訓練樣本圖像的所述至少一個部位中未被遮擋區域確定的；所述每一所述訓練樣本圖像的所述至少一個部位中未被遮擋區域，是基於每一所述訓練樣本圖像的遮擋物區域和每一所述訓練樣本圖像中所述至少一個部位的關鍵點資訊確定的。
第11圖為本公開實施例提供的又一種圖像分割模型的確定方法的實現流程示意圖，如第11圖所示，該方法應用於圖像處理設備，第11圖對應的實施例相較於第9圖或第10圖對應的實施例的區別在於：第9圖或第10圖對應的實施例中圖像處理設備分別獲取的是未遮擋的人臉圖像和遮擋物圖像，第11圖對應的實施例中圖像處理設備獲取的是遮擋物遮擋人臉部位的遮擋圖像。該方法包括：
S1101、獲取訓練樣本集；訓練樣本集中包括多個訓練樣本圖像；每一訓練樣本圖像中至少一個部位被遮擋。
訓練樣本圖像可以是遮擋人臉部位的遮擋圖像。多個訓練樣本圖像可以是直接獲得的，例如，多個訓練樣本圖像可以是透過以下至少之一得到：拍攝得到、下載得到、從影片中截取得到。
S1102、確定每一訓練樣本圖像的遮擋物區域。
可以採用人工標注的方式確定每一訓練樣本圖像的遮擋物區域。
S1103、基於遮擋物區域和每一訓練樣本圖像中至少一個部位的關鍵點資訊，確定每一訓練樣本圖像的至少一個部位中未被遮擋區域。
透過至少一個部位的關鍵點資訊，可以確定至少一個部位區域，然後基於遮擋物區域和至少一個部位區域，能夠確定到至少一個部位中未被遮擋區域。
S1104、基於至少一個部位中未被遮擋區域，確定目標樣本集。
圖像處理設備可以基於至少一個部位中未被遮擋區域，確定與每一訓練樣本圖像對應的目標樣本圖像，目標樣本圖像中包括部位中未被遮擋的區域掩膜和除部位中未被遮擋區域之外的其它區域掩膜，從而得到目標樣本集。
S1105、基於訓練樣本集和目標樣本集，訓練得到圖像分割模型。
在本公開實施例中，可以基於每一訓練樣本圖像中至少一個部位的關鍵點資訊，確定每一訓練樣本圖像中至少一個部位的區域，然後基於至少一個部位的區域和確定的每一訓練樣本圖像的遮擋物區域，得到至少一個部位中未被遮擋區域，並基於至少一個部位中未被遮擋區域確定目標樣本集，從而目標樣本集是基於得到的至少一個部位被遮擋的訓練樣本確定，而由於訓練樣本是直接獲取的至少一個部位被遮擋的樣本，從而容易得到訓練樣本集和目標樣本集，且得到的訓練樣本集和目標樣本集符合真實場景。
第12圖為本公開實施例提供的另一種確定訓練樣本圖像和目標樣本圖像的流程示意圖，如第12圖所示，首先，圖像處理設備可以獲取遮擋目標部位的人臉圖像21，然後對人臉圖像進行關鍵點檢測，得到人臉關鍵點，基於人臉關鍵點得到目標部位的關鍵點資訊。圖像處理設備可以對人臉圖像21進行仿射變換，得到仿射變換後的圖像，然後再對仿射變換後的圖像進行切割，得到切割圖像，接著再對切割圖像進行灰階處理和/或歸一化處理，得到圖像22。基於圖像22和與人臉關鍵點中的目標部位的關鍵點資訊，確定與圖像22對應的包括目標部位區域掩膜和非目標部位區域掩膜的圖像23。
其次，圖像處理設備可以透過人臉圖像21對遮擋物進行遮擋標注，並基於標注後的人臉圖像和仿射變換矩陣，確定仿射變換後的圖像，再對仿射變換後的圖像進行切割，從而基於切割圖像中對遮擋物的標注，確定包括遮擋物區域掩膜和除遮擋物之外的其它區域掩膜的圖像24。其中，對人臉圖像21進行仿射變換所採用的仿射變換矩陣和切割位置，與對標注後的人臉圖像21進行仿射變換所採用的仿射變換矩陣和切割位置分別相同。在另一些實施方式中，圖像處理設備可以只對標注後的人臉圖像21進行仿射變換和切割，從而得到圖像22，基於圖像22和與人臉關鍵點中的目標部位的關鍵點資訊，確定圖像23；基於圖像22中的遮擋標注，確定圖像24。在又一些實施方式中，圖像處理設備可以基於圖像22對遮擋物進行遮擋標注，並基於遮擋標注的結果確定與圖像22對應的包括遮擋物區域掩膜的圖像24。
然後，圖像處理設備可以將圖像23和圖像24結合，得到與圖像22對應的包括可見目標部位區域的掩膜和除該可見目標部位區域之外的其它區域掩膜的圖像25。
其中，圖像22可以是訓練樣本圖像，圖像25可以是對應訓練樣本圖像的目標樣本圖像。
在一些實施方式中，圖像分割模型可以不僅基於第9圖或第10圖對應的實施例所確定的訓練樣本圖像和目標樣本圖像，還基於第11圖或第12圖對應的實施例所確定的訓練樣本圖像和目標樣本圖像來進行訓練得到。在另一些實施方式中，圖像分割模型可以基於第9圖或第10圖對應的實施例所確定的訓練樣本圖像和目標樣本圖像進行訓練得到。在又一些實施方式中，圖像分割模型可以基於第11圖或第12圖對應的實施例所確定的訓練樣本圖像和目標樣本圖像進行訓練得到。
在一些實施例中，向圖像分割模型輸入的目標圖像是灰階圖像。在另一些實施例中，向圖像分割模型輸入的目標圖像可以是多通道RGB圖像。
在圖像處理設備得到待處理圖像之後，可以對待處理圖像進行處理，得到能夠輸入至圖像分割模型的目標圖像。示例性地，圖像處理設備可以對待處理圖像進行關鍵點檢測得到待處理圖像中的目標部位的尺寸和/位置，基於仿射變換矩陣和目標部位的尺寸和/位置，確定與待處理圖像對應的仿射變換後的圖像，對仿射變換後的圖像進行切割，得到尺寸為圖像分割模型的輸入尺寸的切割圖像。圖像處理設備還可以對切割圖像進行顏色轉換和/或歸一化轉換。圖像處理設備可以先執行仿射變換，再執行顏色轉換和/或歸一化轉換，從而得到向圖像分割模型輸入的目標圖像。在另一實施方式中，圖像處理設備可以先執行顏色轉換和/或歸一化轉換，再執行仿射變換，從而得到目標圖像。
透過圖像分割模型，可以得到與目標圖像對應的輸出圖像，輸出圖像為與目標圖像的像素的行列數相同的目標矩陣，目標矩陣中的每一元素的元素值，表徵每一元素對應的目標圖像的像素屬於目標部位或非目標部位的概率。從而基於輸出圖像能夠確定目標圖像中目標部位中非遮擋區域的像素位置，進而可以基於目標圖像中目標部位中非遮擋區域的像素位置和目標部位的像素位置，能夠得到待處理圖像中目標部位中非遮擋區域的像素位置。因此，可以基於目標圖像中的遮擋判斷掩膜，得到待處理圖像中的遮擋判斷掩膜。在實施過程中，遮擋判斷掩膜可以包括目標部位中未被遮擋的區域掩膜和除目標部位中未被遮擋區域之外的其它區域掩膜。示例性地，圖像處理設備可以基於輸出圖像和對待處理圖像進行仿射變換的仿射變換矩陣，反算出待處理圖像中的掩膜位置，其中，反算待處理圖像中的掩膜位置可以有以下兩種方式：
第一種：將模型輸出的目標矩陣中的每一元素的元素值，確定為與切割圖像的每一像素對應的元素值，然後基於與切割圖像的每一像素對應的元素值和仿射變換矩陣，確定待處理圖像中，與切割圖像對應的包括目標部位的局部圖像中每一像素的元素值，接著對局部圖像之外的指定區域中每一像素對應的元素值進行填充，以得到與待處理圖像的像素對應的矩陣，最後基於與待處理圖像的像素對應的矩陣確定待處理圖像中的遮擋判斷掩膜。在一些實施方式中，與切割圖像的像素對應的矩陣為模型輸出的目標矩陣中每一元素的元素值，分佈範圍是0至255（接近0為嘴唇部分，接近255為非嘴唇）或0至1（接近0為嘴唇部分，接近1為非嘴唇），將局部圖像之外的指定區域中每一像素對應的元素值填充成255或1。
第二種：將模型輸出的目標矩陣中的每一元素的元素值，確定為與切割圖像的每一像素對應的元素值，然後基於與切割圖像的每一像素對應的元素值和仿射變換矩陣，確定待處理圖像中與切割圖像對應的包括目標部位的局部圖像中每一像素的元素值，接著確定局部圖像的左上點對應在待處理圖像中的位置，最後基於局部圖像中每一像素的元素值和局部圖像的左上點對應在待處理圖像中的位置，確定待處理圖像中的遮擋判斷掩膜。
在採用第二種方案的情況下，在對遮擋判斷結果進行轉存和處理時可以節省空間以及耗時。
為使目標部位美妝特效更加多樣自然，特效會結合目標部位關鍵點提供的點位元資訊定位目標部位邊緣以及位置，在此基礎上增加對目標部位遮擋的判斷，實現在對應像素判斷為遮擋時不添加特效，以此達到最真實的渲染效果。
在一些實施方式中，為了使目標部位區域遮擋判斷結果在使用中更加平滑穩定，對於結果的使用採取高低雙閾值策略。在像素的遮擋判斷結果低於低閾值時，對該像素採用本公開的方案進行像素渲染處理；在像素的遮擋判斷結果高於高閾值時，對該像素不進行像素渲染處理或者採用其它方案進行像素渲染處理；在像素的遮擋判斷結果處於兩閾值之間時，對該像素進行透明度平滑處理。其中，其它方案進行像素渲染處理例如是以下至少之一：磨皮處理、祛斑處理、陰影處理等。
在本公開實施例中，透過使用人臉解析方案提供人臉遮擋資訊，能夠從原有的部位全部遮擋資訊精確到像素級遮擋資訊。透過採用學習局部區域掩膜的方式，提高精度，同時降低耗時。透過使用人臉關鍵點與遮擋掩膜結合的方式進行特效渲染，增加美妝特效真實度。透過採用雙閾值策略使遮擋掩膜邊緣更加平滑自然且穩定。
在本公開實施例中，在直播或自拍等常用美顏場景中，使用者會因無法得到精確的遮擋資訊而導致在手或其他物體遮擋在嘴唇上的時候，遮擋物上被渲染出口紅特效，出現「穿幫」現象。使用本公開實施例中的方案可以得到待處理圖像中嘴唇區域中哪些像素為非嘴唇，使得特效只會在應該被渲染的地方出現，而不會在遮擋物上出現。進而，當手或其他遮擋物遮擋在嘴唇或其他人臉部位的特效上時，遮擋物上不進行特效渲染且未被遮擋的人臉部位的特效正常渲染，且邊緣自然平滑。
基於前述的實施例，本公開實施例提供一種圖像處理裝置，該裝置包括所包括的各單元、以及各單元所包括的各模組，可以透過圖像處理設備中的處理器來實現；當然也可透過具體的邏輯電路實現。
第13圖為本公開實施例提供的一種圖像處理裝置的組成結構示意圖，如第13圖所示，該圖像處理裝置1300包括： 第一確定部分1301，配置為基於待處理圖像，確定目標部位的像素位置和目標部位中被遮擋區域的像素位置； 第二確定部分1302，配置為基於待處理圖像，確定目標部位的像素位置和目標部位中被遮擋區域的像素位置； 渲染部分1303，配置為基於目標部位中未被遮擋區域的像素位置，對未被遮擋區域進行渲染處理。
在一些實施例中，第一確定部分1301，還配置為對待處理圖像進行關鍵點檢測，得到目標部位的關鍵點資訊；基於目標部位的關鍵點資訊，確定目標部位的像素位置。
在一些實施例中，第一確定部分1301，還配置為基於圖像分割模型和待處理圖像，確定目標部位中被遮擋區域的像素位置。
在一些實施例中，第一確定部分1301，還配置為基於待處理圖像，確定包括目標部位的切割圖像；基於切割圖像，確定向圖像分割模型輸入的目標圖像；利用圖像分割模型對目標圖像進行處理，得到輸出圖像；基於輸出圖像，確定目標部位中被遮擋區域的像素位置。
在一些實施例中，第一確定部分1301，還配置為基於待處理圖像和仿射變換矩陣，確定仿射變換後的圖像；對仿射變換後的圖像進行切割，得到切割圖像；基於輸出圖像和仿射變換矩陣，確定目標部位中被遮擋區域的像素位置。
在一些實施例中，輸出圖像包括：與目標圖像或切割圖像的像素的行列數相同的目標矩陣，目標矩陣中的每一元素的元素值，表徵每一元素對應的像素屬於目標部位或非目標部位的概率；第一確定部分1301，還配置為將目標矩陣中的每一元素的元素值，確定為切割圖像中每一像素對應的元素值；基於切割圖像中每一像素對應的元素值和仿射變換矩陣，確定目標部位中被遮擋區域的像素位置。
在一些實施例中，第一確定部分1301，還配置為基於切割圖像中每一像素對應的元素值和仿射變換矩陣，確定待處理圖像中，與切割圖像對應的包括目標部位的局部圖像中每一像素對應的元素值；基於局部圖像中每一像素對應的元素值，確定目標部位中被遮擋區域的像素位置。
在一些實施例中，第一確定部分1301，還配置為在目標部位的像素位置上，從局部圖像中每一像素對應的元素值中確定符合第一閾值條件的目標元素值；確定局部圖像中的第一指定像素，對應在待處理圖像中的第二指定像素的像素位置；基於目標元素值對應在局部圖像上的像素位置和第二指定像素的像素位置，確定目標部位中被遮擋區域的像素位置。
在一些實施例中，第一確定部分1301，還配置為確定待處理圖像中除局部圖像之外的指定區域中每一像素對應的元素值；在目標部位的像素位置上，從指定區域中每一像素對應的元素值和局部圖像中每一像素的元素值中，確定符合第一閾值條件的指定元素值；基於指定元素值對應在待處理圖像上的像素位置，確定目標部位中被遮擋區域的像素位置。
在一些實施例中，第一確定部分1301，還配置為基於輸出圖像，確定目標部位的像素位置上的每一像素對應的元素值；第二確定部分1302，還配置為在目標部位的像素位置上的每一像素對應的元素值中，確定符合第二閾值條件的候選元素值；將候選元素值對應的像素位置，確定為過渡區域的像素位置；基於目標部位中被遮擋區域的像素位置和過渡區域的像素位置，確定目標部位中未被遮擋區域的像素位置。
在一些實施例中，圖像處理裝置1300還包括平滑處理部分1304，平滑處理部分1304，配置為基於過渡區域的像素位置，對過渡區域進行平滑處理。
在一些實施例中，所述圖像分割模型透過訓練樣本集和目標樣本集訓練得到，所述訓練樣本集中包括多個訓練樣本圖像，每一所述訓練樣本圖像中至少一個部位被遮擋；所述目標樣本集中包括多個目標樣本圖像，每一所述目標樣本圖像包括所述部位中未被遮擋的區域掩膜。
在一些實施例中，圖像處理裝置1300還包括模型確定部分1305，模型確定部分1305，配置為獲取訓練樣本集；訓練樣本集中包括多個訓練樣本圖像；每一訓練樣本圖像中至少一個部位被遮擋；獲取目標樣本集；目標樣本集中包括多個目標樣本圖像；每一目標樣本圖像包括部位中未被遮擋的區域掩膜；基於訓練樣本集和目標樣本集，訓練得到圖像分割模型。
在一些實施例中，所述訓練樣本集是將遮擋物圖像集中的每一遮擋物圖像的遮擋物，隨機遮擋在切割圖像集中的每一切割圖像的無遮擋的至少一個部位上得到的；
所述目標樣本集是基於所述每一遮擋物圖像中的遮擋物，相對所述無遮擋的至少一個部位的位置確定的。
在一些實施例中，模型確定部分1305，還配置為獲取切割圖像集和遮擋物圖像集；其中，切割圖像集中每一切割圖像包括帶標注的無遮擋的至少一個部位；遮擋物圖像集中每一遮擋物圖像包括帶標注的遮擋物；獲取訓練樣本集，包括：將每一遮擋物圖像中的遮擋物隨機遮擋在無遮擋的至少一個部位上，得到訓練樣本集；獲取目標樣本集，包括：基於每一遮擋物圖像中的遮擋物相對無遮擋的至少一個部位的位置，確定目標樣本集。
在一些實施例中，所述目標樣本集是基於每一所述訓練樣本圖像的所述至少一個部位中未被遮擋區域確定的；所述每一所述訓練樣本圖像的所述至少一個部位中未被遮擋區域，是基於每一所述訓練樣本圖像的遮擋物區域和每一所述訓練樣本圖像中所述至少一個部位的關鍵點資訊確定的。
在一些實施例中，模型確定部分1305，還配置為確定每一訓練樣本圖像的遮擋物區域；基於遮擋物區域和每一訓練樣本圖像中至少一個部位的關鍵點資訊，確定每一訓練樣本圖像的至少一個部位中未被遮擋區域；基於至少一個部位中未被遮擋區域，確定目標樣本集。
以上裝置實施例的描述，與上述方法實施例的描述是類似的，具有同方法實施例相似的有益效果。對於本公開裝置實施例中未披露的技術細節，請參照本公開方法實施例的描述而理解。
需要說明的是，本公開實施例中，如果以軟體功能模組的形式實現上述的圖像處理方法，並作為獨立的產品銷售或使用時，也可以儲存在一個電腦儲存媒體中。基於這樣的理解，本公開實施例的技術方案本質上或者說對相關技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台圖像處理設備執行本公開各個實施例方法的全部或部分。本公開實施例不限制於任何特定的硬體和軟體結合。
第14圖為本公開實施例提供的一種圖像處理設備的硬體實體示意圖，如第14圖所示，該圖像處理設備1400的硬體實體包括：處理器1401和記憶體1402，其中，記憶體1402儲存有可在處理器1401上運行的電腦程式，處理器1401執行程式時實現上述任一實施例的方法中的步驟。
記憶體1402儲存有可在處理器上運行的電腦程式，記憶體1402配置為儲存由處理器1401可執行的指令和應用，還可以緩存待處理器1401以及圖像處理設備1400中各模組待處理或已經處理的資料（例如，圖像資料、音訊資料、語音通訊資料和影片通訊資料），可以透過快閃記憶體（FLASH）或隨機存取記憶體（Random Access Memory，RAM）實現。
處理器1401執行程式時實現上述任一項的圖像處理方法的步驟。處理器1401通常控制圖像處理設備1400的總體操作。
本公開實施例提供一種電腦儲存媒體，電腦儲存媒體儲存有一個或者多個程式，該一個或者多個程式可被一個或者多個處理器執行，以實現如上任一實施例的圖像處理方法的步驟。
本公開實施例提供一種電腦程式產品，所述電腦程式產品承載有程式碼，所述程式碼包括的指令可配置為執行上述任一實施例的圖像處理方法的步驟。
本公開實施例提供一種電腦程式，包括電腦可讀代碼，在所述電腦可讀代碼在圖像處理設備中運行的情況下，所述圖像處理設備中的處理器執行上述任一實施例的圖像處理方法的步驟。
這裡需要指出的是：以上電腦儲存媒體、圖像處理設備、電腦程式產品、電腦程式實施例的描述，與上述方法實施例的描述是類似的，具有同方法實施例相似的有益效果。對於本公開電腦儲存媒體、圖像處理設備、電腦程式產品、電腦程式實施例中未披露的技術細節，請參照本公開方法實施例的描述而理解。
上述處理器可以為特定用途積體電路（Application Specific Integrated Circuit，ASIC）、數位訊號處理器（Digital Signal Processor，DSP）、數位訊號處理裝置（Digital Signal Processing Device，DSPD）、可程式設計邏輯裝置（Programmable Logic Device，PLD）、現場可程式設計閘陣列（Field Programmable Gate Array，FPGA）、中央處理器（Central Processing Unit，CPU）、圖形處理器（Graphics Processing Unit，GPU）、嵌入式神經網路處理器（neural-network processing units，NPU）、控制器、微控制器、微處理器中的至少一種。可以理解地，實現上述處理器功能的電子器件還可以為其它，本公開實施例不作具體限定。
上述電腦儲存媒體/記憶體可以是唯讀記憶體（Read Only Memory，ROM）、可程式設計唯讀記憶體（Programmable Read-Only Memory，PROM）、可擦除可程式設計唯讀記憶體（Erasable Programmable Read-Only Memory，EPROM）、電可擦除可程式設計唯讀記憶體（Electrically Erasable Programmable Read-Only Memory，EEPROM）、磁性隨機存取記憶體（Ferromagnetic Random Access Memory，FRAM）、快閃記憶體（Flash Memory）、磁表面記憶體、光碟、或唯讀光碟（Compact Disc Read-Only Memory，CD-ROM）等記憶體；也可以是包括上述記憶體之一或任意組合的各種圖像處理設備，如行動電話、電腦、平板設備、個人數位助理等。
本公開實施例的處理器或圖像處理裝置可能是一種積體電路晶片，具有訊號的處理能力。在實現過程中，上述方法實施例的各步驟可以透過處理器中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的處理器可以是通用處理器、數位訊號處理器（Digital Signal Processor，DSP）、專用積體電路（Application Specific Integrated Circuit，ASIC）、現成可程式設計閘陣列（Field Programmable Gate Array，FPGA）或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件。可以實現或者執行本公開實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合本公開實施例所公開的方法的步驟可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、寄存器等本領域成熟的儲存媒體中。該儲存媒體位於記憶體，處理器讀取記憶體中的資訊，結合其硬體完成上述方法的步驟。
應理解，說明書通篇中提到的「一個實施例」或「一實施例」或「本公開實施例」或「前述實施例」或「一些實施方式」或「一些實施例」意味著與實施例有關的特定特徵、結構或特性包括在本公開的至少一個實施例中。因此，在整個說明書各處出現的「在一個實施例中」或「在一實施例中」或「本公開實施例」或「前述實施例」或「一些實施方式」或「一些實施例」未必一定指相同的實施例。此外，這些特定的特徵、結構或特性可以任意適合的方式結合在一個或多個實施例中。應理解，在本公開的各種實施例中，上述各過程的序號的大小並不意味著執行順序的先後，各過程的執行順序應以其功能和內在邏輯確定，而不應對本公開實施例的實施過程構成任何限定。上述本公開實施例序號僅僅為了描述，不代表實施例的優劣。
在未做特殊說明的情況下，圖像處理設備執行本公開實施例中的任一步驟，可以是圖像處理設備的處理器執行該步驟。除非特殊說明，本公開實施例並不限定圖像處理設備執行下述步驟的先後順序。另外，不同實施例中對資料進行處理所採用的方式可以是相同的方法或不同的方法。還需說明的是，本公開實施例中的任一步驟是圖像處理設備可以獨立執行的，即圖像處理設備執行上述實施例中的任一步驟時，可以不依賴於其它步驟的執行。
在本公開所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以透過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通訊連接可以是透過一些介面，設備或單元的間接耦合或通訊連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元；既可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。
另外，在本公開各實施例中的各功能單元可以全部集成在一個處理單元中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
本公開所提供的幾個方法實施例中所揭露的方法，在不衝突的情況下可以任意組合，得到新的方法實施例。
本公開所提供的幾個產品實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的產品實施例。
本公開所提供的幾個方法或設備實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的方法實施例或設備實施例。
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以透過程式指令相關的硬體來完成，前述的程式可以儲存於電腦儲存媒體中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存媒體包括：移動存放裝置、唯讀記憶體（Read Only Memory，ROM）、磁碟或者光碟等各種可以儲存程式碼的媒體。
或者，本公開上述集成的單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，也可以儲存在一個電腦儲存媒體中。基於這樣的理解，本公開實施例的技術方案本質上或者說對相關技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台電腦設備（可以是個人電腦、伺服器、或者網路設備等）執行本公開各個實施例所述方法的全部或部分。而前述的儲存媒體包括：移動存放裝置、ROM、磁碟或者光碟等各種可以儲存程式碼的媒體。
在本公開實施例和所附請求項書中所使用的單數形式的「一種」、「所述」和「該」也旨在包括多數形式，除非上下文清楚地表示其他含義。
應當理解，本文中使用的術語「和/或」僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元「/」，一般表示前後關聯物件是一種「或」的關係。
需要說明的是，本公開所涉及的各個實施例中，可以執行全部的步驟或者可以執行部分的步驟，只要能夠形成一個完整的技術方案即可。
以上所述，僅為本公開的實施方式，但本公開的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本公開揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本公開的保護範圍之內。因此，本公開的保護範圍應以所述請求項的保護範圍為準。
S101~S103:步驟 P,Q,R:區域 S301~S305:步驟 S401~S407:步驟 S501~S508:步驟 S601~S609:步驟 S701~S710:步驟 S801~S803:步驟 S901~S905:步驟 11:人臉圖像 12, 13, 15, 16, 17, 18, 19:圖像 14:遮擋物圖像 S1101~S1105:步驟 21:人臉圖像 22, 23, 24, 25:圖像 1300:圖像處理裝置 1301:第一確定部分 1302:第二確定部分 1303:渲染部分 1304:平滑處理部分 1305:模型確定部分 1400:圖像處理設備 1401:處理器 1402:記憶體
為了更清楚地說明本公開實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，此處的附圖被併入說明書中並構成本說明書中的一部分，這些附圖示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。
第1圖為本公開實施例提供的一種圖像處理方法的實現流程示意圖； 第2圖為本公開實施例提供的一種目標部位區域以及目標部位的被遮擋區域的示意圖； 第3圖為本公開實施例提供的另一種圖像處理方法的實現流程示意圖； 第4圖為本公開實施例提供的又一種圖像處理方法的實現流程示意圖； 第5圖為本公開實施例提供的再一種圖像處理方法的實現流程示意圖； 第6圖為本公開另一實施例提供的一種圖像處理方法的實現流程示意圖； 第7圖為本公開又一實施例提供的一種圖像處理方法的實現流程示意圖； 第8圖為本公開實施例提供的一種圖像分割模型的確定方法的實現流程示意圖； 第9圖為本公開實施例提供的另一種圖像分割模型的確定方法的實現流程示意圖； 第10圖為本公開實施例提供的一種確定訓練樣本圖像和目標樣本圖像的流程示意圖； 第11圖為本公開實施例提供的又一種圖像分割模型的確定方法的實現流程示意圖； 第12圖為本公開實施例提供的另一種確定訓練樣本圖像和目標樣本圖像的流程示意圖； 第13圖為本公開實施例提供的一種圖像處理裝置的組成結構示意圖； 第14圖為本公開實施例提供的一種圖像處理設備的硬體實體示意圖。
S101~S103:步驟

Claims (13)

  1. 一種圖像處理方法，包括：基於待處理圖像，確定目標部位的像素位置和包括所述目標部位的切割圖像；基於所述切割圖像，確定向所述圖像分割模型輸入的目標圖像；利用所述圖像分割模型對所述目標圖像進行處理，得到輸出圖像；所述輸出圖像包括：與所述目標圖像或所述切割圖像的像素的行列數相同的目標矩陣，所述目標矩陣中的每一元素的元素值，表徵所述每一元素對應的像素屬於所述目標部位或非目標部位的概率；基於所述輸出圖像，確定所述目標部位中被遮擋區域的像素位置；基於所述輸出圖像，確定所述目標部位的像素位置上的每一像素對應的元素值；在所述目標部位的像素位置上的每一像素對應的元素值中，確定符合第二閾值條件的候選元素值；將所述候選元素值對應的像素位置，確定為過渡區域的像素位置；基於所述目標部位中被遮擋區域的像素位置和所述過渡區域的像素位置，確定所述目標部位中未被遮擋區域的像素位置；基於所述目標部位中未被遮擋區域的像素位置，對所述未被遮擋區域進行渲染處理。
  2. 根據請求項1所述的方法，其中，所述基於待處理圖像，確定目標部位的像素位置，包括：對所述待處理圖像進行關鍵點檢測，得到所述目標部位的關鍵點資訊；基於所述目標部位的關鍵點資訊，確定所述目標部位的像素位置。
  3. 根據請求項1所述的方法，其中，所述基於所述待處理圖像， 確定包括所述目標部位的切割圖像，包括：基於所述待處理圖像和仿射變換矩陣，確定仿射變換後的圖像；對所述仿射變換後的圖像進行切割，得到所述切割圖像；所述基於所述輸出圖像，確定所述目標部位中被遮擋區域的像素位置，包括：基於所述輸出圖像和所述仿射變換矩陣，確定所述目標部位中被遮擋區域的像素位置。
  4. 根據請求項1所述的方法，其中，所述基於所述輸出圖像，確定所述目標部位中被遮擋區域的像素位置，包括：將所述目標矩陣中的每一元素的元素值，確定為所述切割圖像中每一像素對應的元素值；基於所述切割圖像中每一像素對應的元素值和仿射變換矩陣，確定所述目標部位中被遮擋區域的像素位置。
  5. 根據請求項4所述的方法，其中，所述基於所述切割圖像中每一像素對應的元素值和所述仿射變換矩陣，確定所述目標部位中被遮擋區域的像素位置，包括：基於所述切割圖像中每一像素對應的元素值和所述仿射變換矩陣，確定所述待處理圖像中，與所述切割圖像對應的包括所述目標部位的局部圖像中每一像素對應的元素值；基於所述局部圖像中每一像素對應的元素值，確定所述目標部位中被遮擋區域的像素位置。
  6. 根據請求項5所述的方法，其中，所述基於所述局部圖像中每一像素對應的元素值，確定所述目標部位中被遮擋區域的像素位置，包括： 在所述目標部位的像素位置上，從所述局部圖像中每一像素對應的元素值中確定符合第一閾值條件的目標元素值；確定所述局部圖像中的第一指定像素，對應在所述待處理圖像中的第二指定像素的像素位置；基於所述目標元素值對應在所述局部圖像上的像素位置和所述第二指定像素的像素位置，確定所述目標部位中被遮擋區域的像素位置。
  7. 根據請求項5所述的方法，其中，所述基於所述局部圖像中每一像素對應的元素值，確定所述目標部位中被遮擋區域的像素位置，包括：確定所述待處理圖像中除所述局部圖像之外的指定區域中每一像素對應的元素值；在所述目標部位的像素位置上，從所述指定區域中每一像素對應的元素值和所述局部圖像中每一像素的元素值中，確定符合第一閾值條件的指定元素值；基於所述指定元素值對應在所述待處理圖像上的像素位置，確定所述目標部位中被遮擋區域的像素位置。
  8. 根據請求項1所述的方法，其中，所述方法還包括：基於所述過渡區域的像素位置，對所述過渡區域進行平滑處理。
  9. 根據請求項1所述的方法，其中，所述圖像分割模型透過訓練樣本集和目標樣本集訓練得到，所述訓練樣本集中包括多個訓練樣本圖像，每一所述訓練樣本圖像中至少一個部位被遮擋；所述目標樣本集中包括多個目標樣本圖像，每一所述目標樣本圖像包括所述部位中未被遮擋的區域掩膜。
  10. 根據請求項9所述的方法，其中，所述訓練樣本集是將遮擋物圖像集中的每一遮擋物圖像的遮擋物，隨機遮擋在切割圖像集中的每一切割圖像的無遮擋的至少一個部位上得到的；所述目標樣本集是基於所述每一遮擋物圖像中的遮擋物，相對所述無遮擋 的至少一個部位的位置確定的。
  11. 根據請求項9所述的方法，其中，所述目標樣本集是基於每一所述訓練樣本圖像的所述至少一個部位中未被遮擋區域確定的；所述每一所述訓練樣本圖像的所述至少一個部位中未被遮擋區域，是基於每一所述訓練樣本圖像的遮擋物區域和每一所述訓練樣本圖像中所述至少一個部位的關鍵點資訊確定的。
  12. 一種圖像處理設備，包括：記憶體和處理器，所述記憶體儲存有可在所述處理器上運行的電腦程式，所述處理器執行所述電腦程式時實現請求項1至11任一項所述方法中的步驟。
  13. 一種電腦儲存媒體，所述電腦儲存媒體儲存有一個或者多個程式，所述一個或者多個程式可被一個或者多個處理器執行，以實現請求項1至11任一項所述方法中的步驟。
TW110144371A 2021-05-14 2021-11-29 圖像處理方法、設備及電腦儲存媒體 TWI780995B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110527077.4A CN113284041B (zh) 2021-05-14 2021-05-14 一种图像处理方法、装置、设备及计算机存储介质
CN202110527077.4 2021-05-14

Publications (2)

Publication Number Publication Date
TWI780995B true TWI780995B (zh) 2022-10-11
TW202244838A TW202244838A (zh) 2022-11-16

Family

ID=77279057

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110144371A TWI780995B (zh) 2021-05-14 2021-11-29 圖像處理方法、設備及電腦儲存媒體

Country Status (6)

Country Link
EP (1) EP4207049A4 (zh)
JP (1) JP2024519355A (zh)
KR (1) KR20230172014A (zh)
CN (1) CN113284041B (zh)
TW (1) TWI780995B (zh)
WO (1) WO2022237089A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347911A (zh) * 2020-11-05 2021-02-09 北京达佳互联信息技术有限公司 指甲特效的添加方法、装置、电子设备及存储介质
CN113284041B (zh) * 2021-05-14 2023-04-18 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112135041A (zh) * 2020-09-18 2020-12-25 北京达佳互联信息技术有限公司 一种人脸特效的处理方法及装置、存储介质
CN112633144A (zh) * 2020-12-21 2021-04-09 平安科技（深圳）有限公司 人脸遮挡检测方法、系统、设备及存储介质
CN112733802A (zh) * 2021-01-25 2021-04-30 腾讯科技（深圳）有限公司 图像的遮挡检测方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090234716A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Method of monetizing online personal beauty product selections
US10674139B2 (en) * 2015-06-03 2020-06-02 University Of Connecticut Methods and systems for human action recognition using 3D integral imaging
CN108319953B (zh) * 2017-07-27 2019-07-16 腾讯科技（深圳）有限公司 目标对象的遮挡检测方法及装置、电子设备及存储介质
CN109960974A (zh) * 2017-12-22 2019-07-02 北京市商汤科技开发有限公司 人脸关键点检测方法、装置、电子设备及存储介质
CN109978805A (zh) * 2019-03-18 2019-07-05 Oppo广东移动通信有限公司 拍照处理方法、装置、移动终端以及存储介质
CN111310624B (zh) * 2020-02-05 2023-11-21 腾讯科技（深圳）有限公司 遮挡识别方法、装置、计算机设备及存储介质
CN111797753B (zh) * 2020-06-29 2024-02-27 北京灵汐科技有限公司 图像驱动模型的训练、图像生成方法、装置、设备及介质
CN112288665B (zh) * 2020-09-30 2024-05-07 北京大米科技有限公司 图像融合的方法、装置、存储介质及电子设备
CN112419170B (zh) * 2020-10-16 2023-09-22 上海哔哩哔哩科技有限公司 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN113284041B (zh) * 2021-05-14 2023-04-18 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备及计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112135041A (zh) * 2020-09-18 2020-12-25 北京达佳互联信息技术有限公司 一种人脸特效的处理方法及装置、存储介质
CN112633144A (zh) * 2020-12-21 2021-04-09 平安科技（深圳）有限公司 人脸遮挡检测方法、系统、设备及存储介质
CN112733802A (zh) * 2021-01-25 2021-04-30 腾讯科技（深圳）有限公司 图像的遮挡检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2024519355A (ja) 2024-05-10
WO2022237089A1 (zh) 2022-11-17
CN113284041A (zh) 2021-08-20
EP4207049A4 (en) 2024-05-08
CN113284041B (zh) 2023-04-18
KR20230172014A (ko) 2023-12-21
EP4207049A1 (en) 2023-07-05
TW202244838A (zh) 2022-11-16

Similar Documents

Publication Publication Date Title
EP3798801A1 (en) Image processing method and apparatus, storage medium, and computer device
US11839820B2 (en) Method and apparatus for generating game character model, processor, and terminal
CN109325990B (zh) 图像处理方法及图像处理装置、存储介质
CN110807451B (zh) 人脸关键点检测方法、装置、设备及存储介质
TWI780995B (zh) 圖像處理方法、設備及電腦儲存媒體
CN106710003B (zh) 一种基于OpenGL ES的三维拍照方法和系统
CN108876886B (zh) 图像处理方法、装置和计算机设备
CN104200506A (zh) 三维gis海量矢量数据渲染方法及装置
US11508141B2 (en) Simple environment solver using planar extraction
US20220245912A1 (en) Image display method and device
US20240046590A1 (en) Reconstruction of Essential Visual Cues in Mixed Reality Applications
CN111325846A (zh) 表情基确定方法、虚拟形象驱动方法、装置及介质
JP2023029984A (ja) 仮想イメージを生成するための方法、装置、電子機器及び可読記憶媒体
WO2023024441A1 (zh) 模型重建方法及相关装置、电子设备和存储介质
WO2023138170A1 (zh) 捕捉待渲染虚拟对象的运动轨迹的方法、装置及电子设备
CN116977522A (zh) 三维模型的渲染方法、装置、计算机设备和存储介质
CN114332374A (zh) 一种虚拟显示方法、设备以及存储介质
CN114026606A (zh) 用于动态遮挡的快速手部网格划分
Tian et al. Occlusion handling using moving volume and ray casting techniques for augmented reality systems
CN111382618A (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN110533773A (zh) 一种三维人脸重建方法、装置及相关设备
CN114092670A (zh) 一种虚拟现实显示方法、设备以及存储介质
CN113822965A (zh) 图像渲染处理方法、装置和设备及计算机存储介质
CN115965735B (zh) 纹理贴图的生成方法和装置
CN110751026A (zh) 视频处理方法及相关装置

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent