TW202121343A - 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體 - Google Patents

圖像處理方法及裝置、電子設備和電腦可讀儲存媒體 Download PDF

Info

Publication number
TW202121343A
TW202121343A TW109113454A TW109113454A TW202121343A TW 202121343 A TW202121343 A TW 202121343A TW 109113454 A TW109113454 A TW 109113454A TW 109113454 A TW109113454 A TW 109113454A TW 202121343 A TW202121343 A TW 202121343A
Authority
TW
Taiwan
Prior art keywords
image
rendered
area
feature point
target
Prior art date
Application number
TW109113454A
Other languages
English (en)
Other versions
TWI752473B (zh
Inventor
蘇柳
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202121343A publication Critical patent/TW202121343A/zh
Application granted granted Critical
Publication of TWI752473B publication Critical patent/TWI752473B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明涉及一種圖像處理方法及裝置、電子設備和電腦可讀儲存媒體，所述方法包括：識別目標圖像中待渲染的第一對象，以及第一對象在目標圖像中所屬的第二對象；根據目標圖像和第二對象，生成包括標記的參考圖像，其中，標記用於記錄第二對象的覆蓋區域；根據參考圖像和第一對象，確定待渲染區域，其中，待渲染區域位於與標記對應的覆蓋區域以內；利用目標素材對待渲染區域進行渲染，生成渲染結果。通過上述過程，可以根據第一對象所屬的第二對象所生成的包括標記的參考圖像，在對第一對象渲染時，對渲染範圍進行約束，從而提高渲染結果的可靠性和真實性。

Description

圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
本發明涉及圖像處理技術領域，尤其涉及一種圖像處理方法及裝置、電子設備和電腦可讀儲存媒體。
圖像渲染是將三維的光能傳遞處理轉換爲一個二維圖像的過程。場景和實體用三維形式表示，更接近於現實世界，便於操縱和變換。然而在對目標對象進行渲染的過程中，容易發生渲染溢出的狀況。
本發明提出了一種圖像處理技術方案。
根據本發明的一方面，提供了一種圖像處理方法，包括：
識別目標圖像中待渲染的第一對象，以及所述第一對象在所述目標圖像中所屬的第二對象；
根據所述目標圖像和所述第二對象，生成包括標記的參考圖像，其中，所述標記用於記錄所述第二對象的覆蓋區域；
根據所述參考圖像和所述第一對象，確定待渲染區域，其中，所述待渲染區域位於與所述標記對應的覆蓋區域以內；
利用目標素材對所述待渲染區域進行渲染，生成渲染結果。
在一種可能的實現方式中，所述根據所述目標圖像和所述第二對象，生成包括標記的參考圖像，包括：
生成與所述目標圖像尺寸相同的第一初始圖像；
在所述第一初始圖像中，標記所述第二對象的覆蓋區域，得到所述參考圖像。
在一種可能的實現方式中，所述在所述第一初始圖像中，標記所述第二對象的覆蓋區域，得到所述參考圖像，包括：
在所述第一初始圖像中，將所述第二對象的覆蓋區域包括的至少一個像素點更改爲目標像素值，得到所述參考圖像。
在一種可能的實現方式中，所述根據所述參考圖像和所述第一對象，確定待渲染區域，包括：
生成與所述目標圖像尺寸相同的第二初始圖像；
在所述第二初始圖像中，根據所述參考圖像和所述第一對象，確定待渲染區域。
在一種可能的實現方式中，所述在所述第二初始圖像中，根據所述參考圖像和所述第一對象，確定待渲染區域，包括：
在所述第二初始圖像中，將與所述第一對象對應的區域作爲初始待渲染區域；
遍歷所述初始待渲染區域的像素點，當所述像素點在所述參考圖像中的對應位置包括所述標記時，將所述像素點作爲待渲染像素點；
將所述待渲染像素點構成的區域作爲所述待渲染區域。
在一種可能的實現方式中，所述識別所述目標圖像中待渲染的第一對象，以及所述第一對象在所述目標圖像中所屬的第二對象，包括：
對所述目標圖像進行特徵提取，分別得到與所述第一對象對應的第一特徵點集合，以及與所述第二對象對應的第二特徵點集合；
將所述第一特徵點集合包括的第一特徵點按照第一預設方式連接，得到所述第一對象對應的區域；
將所述第二特徵點集合包括的第二特徵點按照第二預設方式連接，得到所述第二對象對應的區域。
在一種可能的實現方式中，所述將所述第一特徵點集合包括的第一特徵點按照第一預設方式連接，得到所述第一對象對應的區域，包括：
將至少三個所述第一特徵點作爲一組，對所述第一特徵點集合進行劃分，得到至少一組第一特徵點子集合；
對至少一組所述第一特徵點子集合包括的所述第一特徵點依次連接，得到至少一個第一網格；
將所述至少一個第一網格覆蓋的區域作爲第一對象對應的區域。
在一種可能的實現方式中，所述將所述第二特徵點集合包括的第二特徵點按照第二預設方式連接，得到所述第二對象對應的區域，包括：
將至少三個所述第二特徵點作爲一組，對所述第二特徵點集合進行劃分，得到至少一組第二特徵點子集合；
對至少一組所述第二特徵點子集合包括的所述第二特徵點依次連接，得到至少一個第二網格；
將所述至少一個第二網格覆蓋的區域作爲第二對象對應的區域。
在一種可能的實現方式中，所述方法還包括：
更改所述目標圖像的透明度，得到更改結果；
將所述渲染結果與所述更改結果進行融合，得到融合圖像。
在一種可能的實現方式中，所述第一對象包括瞳孔，所述第二對象包括眼睛，所述目標素材包括用於美化瞳孔的素材。
根據本發明的一方面，提供了一種圖像處理裝置，包括：
識別模組，用於識別目標圖像中待渲染的第一對象，以及所述第一對象在所述目標圖像中所屬的第二對象；
參考圖像生成模組，用於根據所述目標圖像和所述第二對象，生成包括標記的參考圖像，其中，所述標記用於記錄所述第二對象的覆蓋區域；
待渲染區域確定模組，用於根據所述參考圖像和所述第一對象，確定待渲染區域，其中，所述待渲染區域位於與所述標記對應的覆蓋區域以內；
渲染模組，用於利用目標素材對所述待渲染區域進行渲染，生成渲染結果。
在一種可能的實現方式中，所述參考圖像生成模塊用于：
生成與所述目標圖像尺寸相同的第一初始圖像；
在所述第一初始圖像中，標記所述第二對象的覆蓋區域，得到所述參考圖像。
在一種可能的實現方式中，所述參考圖像生成模塊進一步用于：
在所述第一初始圖像中，將所述第二對象的覆蓋區域包括的至少一個像素點更改爲目標像素值，得到所述參考圖像。
在一種可能的實現方式中，所述待渲染區域確定模塊用于：
生成與所述目標圖像尺寸相同的第二初始圖像；
在所述第二初始圖像中，根據所述參考圖像和所述第一對象，確定待渲染區域。
在一種可能的實現方式中，所述待渲染區域確定模塊進一步用于：
在所述第二初始圖像中，將與所述第一對象對應的區域作爲初始待渲染區域；
遍歷所述初始待渲染區域的像素點，當所述像素點在所述參考圖像中的對應位置包括所述標記時，將所述像素點作爲待渲染像素點；
將所述待渲染像素點構成的區域作爲所述待渲染區域。
在一種可能的實現方式中，所述識別模塊用于：
對所述目標圖像進行特徵提取，分別得到與所述第一對象對應的第一特徵點集合，以及與所述第二對象對應的第二特徵點集合；
將所述第一特徵點集合包括的第一特徵點按照第一預設方式連接，得到所述第一對象對應的區域；
將所述第二特徵點集合包括的第二特徵點按照第二預設方式連接，得到所述第二對象對應的區域。
在一種可能的實現方式中，所述識別模塊進一步用于：
將至少三個所述第一特徵點作爲一組，對所述第一特徵點集合進行劃分，得到至少一組第一特徵點子集合；
對至少一組所述第一特徵點子集合包括的所述第一特徵點依次連接，得到至少一個第一網格；
將所述至少一個第一網格覆蓋的區域作爲第一對象對應的區域。
在一種可能的實現方式中，所述識別模塊進一步用于：
將至少三個所述第二特徵點作爲一組，對所述第二特徵點集合進行劃分，得到至少一組第二特徵點子集合；
對至少一組所述第二特徵點子集合包括的所述第二特徵點依次連接，得到至少一個第二網格；
將所述至少一個第二網格覆蓋的區域作爲第二對象對應的區域。
在一種可能的實現方式中，所述裝置還包括融合模塊，所述融合模塊用于：
更改所述目標圖像的透明度，得到更改結果；
將所述渲染結果與所述更改結果進行融合，得到融合圖像。
在一種可能的實現方式中，所述第一對象包括瞳孔，所述第二對象包括眼睛，所述目標素材包括用于美化瞳孔的素材。
根據本發明的一方面，提供了一種電子設備，包括：
處理器；
用於儲存處理器可執行指令的記憶體；
其中，所述處理器被配置爲：執行上述圖像處理方法。
根據本發明的一方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述圖像處理方法。
根據本公開的一方面，提供了一種計算機可讀代碼，當所述計算機可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用于實現圖像處理方法。
本發明實施例的圖像處理方法，通過識別目標圖像中待渲染的第一對象和第一對象所屬的第二對象，根據目標圖像和第二對象生成包括標記的參考圖像，並根據參考圖像和第一對象來確定位於與標記對應的覆蓋區域以內的待渲染區域，從而利用目標素材對待渲染區域進行渲染，生成渲染結果。通過上述過程，可以根據第一對象所屬的第二對象所生成的包括標記的參考圖像，在對第一對象渲染時，對渲染範圍進行約束，從而提高渲染結果的可靠性和真實性。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裏專用的詞“示例性”意爲“用作例子、實施例或說明性”。這裏作爲“示例性”所說明的任何實施例不必解釋爲優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，爲了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
圖1示出根據本發明一實施例的圖像處理方法的流程圖，該方法可以應用於圖像處理裝置，圖像處理裝置可以爲終端設備、伺服器或者其他處理設備等。其中，終端設備可以爲用戶設備（User Equipment，UE）、行動設備、用戶終端、終端、行動電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。
在一些可能的實現方式中，該圖像處理方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
如圖1所示，所述圖像處理方法可以包括：
步驟S11，識別目標圖像中待渲染的第一對象 ，以及第一對象在目標圖像中所屬的第二對象。
步驟S12，根據目標圖像和第二對象，生成包括標記的參考圖像，其中，標記用於記錄第二對象的覆蓋區域。
步驟S13，根據參考圖像和第一對象，確定待渲染區域，其中，待渲染區域位於與標記對應的覆蓋區域以內。
步驟S14，利用目標素材對待渲染區域進行渲染，生成渲染結果。
本發明實施例的圖像處理方法，通過識別目標圖像中待渲染的第一對象和第一對象所屬的第二對象，根據目標圖像和第二對象生成包括標記的參考圖像，並根據參考圖像和第一對象來確定位於與標記對應的覆蓋區域以內的待渲染區域，從而利用目標素材對待渲染區域進行渲染，生成渲染結果。通過上述過程，可以根據第一對象所屬的第二對象所生成的包括標記的參考圖像，在對第一對象渲染時，對渲染範圍進行約束，從而提高渲染結果的可靠性和真實性。
上述發明實施例中，目標圖像的實現方式不受限制，任何具有渲染需求的圖像，均可以作爲目標圖像的實現方式。在一種可能的實現方式中，目標圖像可以爲包含有人臉區域的對象，如頭像圖像、半身圖像或是全身圖像等。
圖2示出根據本發明一實施例的目標圖像的示意圖，如圖所示，在本發明實施例中，目標圖像可以爲包含人臉的頭像圖像。而目標圖像中待渲染的第一對象的具體對象內容也可以根據實際的渲染需求進行確認，在本發明實施例中不做限制。
在一種可能的實現方式中，當目標圖像爲包含人臉區域的對象時，第一對象可以爲人臉中的某一部位，如瞳孔、鼻樑、耳垂或是嘴唇等，根據實際需求進行確定即可。第一對象所屬的第二對象的具體內容，則可以根據第一對象的實際情況來進行靈活確定，比如當第一對象爲瞳孔時，第二對象可以爲眼睛；當第一對象爲鼻樑時，第二對象可以爲鼻子；第一對象爲耳垂時，第二對象可以爲耳朵，第一對象爲嘴唇時，第二對象可以爲嘴部。除此之外，目標圖像的數量也不受限定，在一種可能的實現方式中，目標圖像可以包括單張圖片，也可以包括多張圖片，即一次對多張圖片中的對象進行批量渲染。
由於目標圖像、第一對象和第二對象的實現方式均可以根據實際情況靈活決定，因此根據目標圖像和第二對象生成的參考圖像、參考圖像中所包括的標記以及根據參考圖像和第一對象確定的待渲染區域，均可以根據目標圖像等實現方式的不同而靈活發生變化，在此暫不展開解釋，詳見下述各發明實施例。
通過上述發明實施例的步驟S14可以看出，渲染結果可以基於目標素材對待渲染區域進行渲染來得到，目標素材的實現方式，也可以根據第一對象的實際情況進行靈活設定，不局限於下述各發明實施例。比如，當第一對象爲瞳孔時，該目標素材可以爲美瞳素材；當第一對象爲鼻樑時，該目標素材可以爲陰影素材；當第一對象爲耳垂時，該目標素材可以爲耳環素材；當第一對象爲嘴唇時，該目標素材可以爲唇膏素材。
在一種可能的實現方式中，第一對象可以包括瞳孔對象，第二對象可以包括眼睛對象，目標素材可以包括用於美化瞳孔的素材，在一個示例中，用於美化瞳孔的素材可以爲美瞳素材，該美瞳素材的具體內容則可以靈活選擇和設定，其獲取方式也可以根據實際情況靈活決定，在一個示例中，美瞳素材可以是從美瞳素材庫中進行隨機選取，在一個示例中，美瞳素材也可以是根據需求選定的特定素材等。圖3示出根據本發明一實施例的目標素材示意圖，從圖中可以看出，在本發明示例中，該目標素材可以是一具有一定光澤紋理的紫色的美瞳素材（由於附圖限制，紫色顔色暫時無法從圖中看出）。
通過包括瞳孔對象的第一對象、包括眼睛對象的第二對象以及包括美瞳素材的美瞳素材，可以將本發明實施例中提出的圖像處理方法，應用於對人臉圖像進行美瞳處理的過程中，從而通過根據眼睛對象生成的帶有標記的參考圖像，有效約束渲染範圍，減小渲染過程中將美瞳素材渲染到瞳孔外區域的可能性。
需要說明的是，本發明實施例的圖像處理方法不限於應用在包含人臉區域的圖像的處理，可以應用於任意的圖像處理，本發明對此不作限定。
目標圖像的獲取方式不受限定，不受下述發明實施例的限制。在一種可能的實現方式中，可以通過讀取或接收的方式，獲取目標圖像；在一種可能的實現方式中，可以通過主動拍攝或其他主動獲取的方式，得到目標圖像。
基於上述發明實施例得到的目標圖像，可以通過步驟S11識別目標圖像中的第一對象和第二對象。步驟S11的實現方式不受限定，在一種可能的實現方式中，可以通過在目標圖像中進行對象檢測的方式，來確定目標圖像中待渲染的第一對象和第二對象。在一個示例中，可以在目標圖像中分別進行面向第一對象的對象檢測和面向第二對象的對象檢測；在一個示例中，也可以先在目標圖像中進行面向第二對象的對象檢測，然後根據第二對象的檢測結果，對目標圖像進行裁剪保留第二對象的圖像，由於第一對象屬於第二對象的一部分，因此可以進一步在剪裁後的圖像中進行對象檢測，來得到第一對象對應的區域。
對象檢測的方式在本發明實施例中也不做限制，任何可以從圖像中對目標對象進行檢測或失敗的方式，均可以作爲對象檢測的實現方式。在一種可能的實現方式中，可以通過特徵提取的方式實現對象檢測。
因此，在一種可能的實現方式中，步驟S11可以包括：
步驟S111，對目標圖像進行特徵提取，分別得到與第一對象對應的第一特徵點集合，以及與第二對象對應的第二特徵點集合。
步驟S112，將第一特徵點集合包括的第一特徵點按照第一預設方式連接，得到第一對象對應的區域。
步驟S113，將第二特徵點集合包括的第二特徵點按照第二預設方式連接，得到第二對象對應的區域。
通過對目標圖像進行特徵提取來得到第一特徵點集合和第二特徵點集合，再對第一特徵點集合中的點通過第一預設方式連接得到第一對象對應的區域，對第二特徵點集合中的點通過第二預設方式連接得到第二對象對應的區域，其中，第一對象對應的區域也可以稱爲第一對象的覆蓋區域，第二對象對應的區域也可以稱爲第二對象的覆蓋區域。
通過上述過程，可以有效通過特徵提取的方式，快速基於第一特徵點集合和第二特徵點集合定位第一對象與第二對象在目標圖像中的位置，從而得到第一對象對應的區域以及第一對象所屬的第二對象對應的區域，便於後續通過第二對象的位置來對第一對象的渲染過程進行約束，提升渲染結果的可靠性。
上述發明實施例中，步驟S111的實現方式不受限定，即特徵提取的具體方式，在本發明實施例中不做限制，任何可以進行特徵提取的計算方法，均可以作爲步驟S111的實現方式。
如上述發明實施例中提到的，對第一對象和第二對象進行對象檢測時的順序可以根據實際情況靈活選擇，由於特徵提取是對象檢測的一種可能的實現方式，因此，可以同時對第一對象和第二對象進行特徵提取，也可以先對第二對象進行特徵提取，再進一步進行第一對象的特徵提取，二者的特徵提取方式可以相同也可以不同，在此不再贅述。基於上述原因，第一特徵點集合與第二特徵點集合二者之間可以存在共同的特徵點，也可以不存在共同的特徵點，無論是否存在共同的特徵點，均不影響後續得到第一對象對應的區域與第二對象對應的區域的過程，因此在本發明實施例中對兩個特徵點集合之間的關係不做限制。圖4示出根據本發明一實施例的第一特徵點集合的示意圖，圖5示出根據本發明一實施例的第二特徵點集合的示意圖，如圖所示，在一個示例中，圖4中的第一特徵點集合爲對圖2中的人臉圖像進行瞳孔特徵點提取所得到的點集，圖5中的第二特徵點集合爲對圖2中的人臉圖像進行眼睛特徵點提取所得到的點集；從圖中可以看出，本發明示例中的第一特徵點集合和第二特徵點集合各自對目標圖像進行特徵提取所得到的，第一特徵點集合與第二特徵點集合在瞳孔與眼睛的交界處存在重合的特徵點。
在得到了第一特徵點集合和第二特徵點集合之後，可以通過步驟S112和步驟S113，來得到第一對象對應的區域和第二對象對應的區域，在本發明實施例中，步驟S112和步驟S113的執行順序不受限制，可以同時執行也可以依次執行，依次執行時可以步驟S112先執行也可以步驟S113先執行，在此不做限制。
通過步驟S112可以看出，第一對象的得到過程可以爲將第一特徵點集合按照第一預設方式連接，第一預設方式的具體實現形式，在本發明實施例中不做限制，可以根據第一對象的實際情況進行確定，在此不做限制。同樣的，得到第二對象對應的區域的第二預設方式，也可以根據實際情況靈活選擇，第二預設方式可以與第一預設方式相同，也可以不同。
在一種可能的實現方式中，步驟S112可以包括：
將第一特徵點集合包括的第一特徵點，按照第一預設方式的順序，連接爲至少一個第一網格，將第一網格覆蓋的區域作爲第一對象對應的區域。
通過上述發明實施例可以看出，得到第一對象對應的區域時，可以通過將第一特徵點集合中包含的第一特徵點按照第一預設方式的順序進行連接，上述發明實施例中已提出，第一預設方式可以根據實際情況設置，因此第一特徵點的連接順序也是按照預先設置的方式進行確定，對第一特徵點按照預設順序連接後，可以得到至少一個網格，在本發明實施例中可以將此網格稱爲第一網格。第一網格的數量與形狀均可以根據第一特徵點集合中包含的第一特徵點數量與第一預設方式的情況進行確定，在一個示例中，第一預設方式可以爲通過將第一特徵點集合中的每三個第一特徵點劃分爲一組進行連接，構成多個三角網格，具體將哪三個點劃分爲一組在此不做具體限制，根據實際情況設置即可。在一個示例中，第一預設方式也可以爲通過將第一特徵點集合中的每四個第一特徵點劃分爲一組進行連接，構成多個四角網格，同樣的劃分方式不做限制。
基於上述預設方式的發明示例可以看出，在一種可能的實現方式中，步驟S112可以包括：
步驟S1121，將至少三個第一特徵點作爲一組，對第一特徵點集合進行劃分，得到至少一組第一特徵點子集合。
步驟S1122，分別對至少一組第一特徵點子集合包括的第一特徵點依次連接，得到至少一個第一網格。
步驟S1123，將至少一個第一網格覆蓋的區域作爲第一對象對應的區域。
其中，作爲一組的第一特徵點數量可以爲3個，也可以大於3個，比如4個、5個或6個等等，在此不做限制。通過上述過程，可以有效地根據第一特徵點集合的實際情況，將第一對象所在的區域完全覆蓋，且無需過多的計算資源，快速且高效的確定第一對象，爲後續的渲染過程做準備。
同理，在一種可能的實現方式中，步驟S113可以包括：
將第二特徵點集合包括的第二特徵點，按照第二預設方式的順序，連接爲至少一個第二網格，將第二網格覆蓋的區域作爲第二對象對應的區域。
上述發明實施例的具體實現過程可以參考第一對象的實現過程，在一種可能的實現方式中，步驟S113可以包括：
步驟S1131，將至少三個第二特徵點作爲一組，對第二特徵點集合進行劃分，得到至少一組第二特徵點子集合。
步驟S1132，分別對至少一組第二特徵點子集合包括的第二特徵點依次連接，得到至少一個第二網格。
步驟S1133，將至少一個第二網格覆蓋的區域作爲第二對象對應的區域。
圖6示出根據本發明一實施例的第二對象的示意圖，從圖中可以看出，在一個示例中，通過將圖5中的第二特徵點集合中的第二特徵點按照第二預設方式連接，可以得到多個三角網格，這些三角網格共同構成了第二對象對應的區域。
其中，以上第一網格和第二網格，作爲多邊形網格（Polygon mesh）是三維電腦圖形學中表示多面體形狀的頂點與多邊形的集合，也叫做非結構網格。示例性的，第一網格和第二網格可以採用三角網格的形式。通過三角網格圍成第一對象對應的區域和第二對象對應的區域，以便於後續進行渲染。
在確定了第一對象和第二對象後，可以通過步驟S12，根據目標圖像和第二對象，來生成包括標記的參考圖像，其中，標記用於記錄第二對象的覆蓋區域。步驟S12的實現方式可以根據第一對象和第二對象的實際情況靈活決定，不局限於下述發明實施例。在一種可能的實現方式中，步驟S12可以包括：
步驟S121，生成與目標圖像尺寸相同的第一初始圖像。
步驟S122，在第一初始圖像中，標記第二對象的覆蓋區域，得到參考圖像。
通過生成與目標圖像尺寸相同的第一初始圖像，並在第一初始圖像中，標記第二對象的覆蓋區域來得到參考圖像，這一過程可以利用一個與目標圖像尺寸相同的重構圖像，來有效標記出第二對象在目標圖像中的位置，從而在後續的渲染過程中，可以基於標記來確定在渲染第一對象時，渲染的像素是否超出了第二對象的位置約束，減小渲染溢出的可能性，提高渲染的可靠性和真實性。
上述發明實施例中，第一初始圖像的尺寸與目標圖像相同，其具體的圖像內容在本發明實施例可以不做限制，在一個示例中，第一初始圖像可以爲空白圖像，在一個示例中，第一初始圖像可以是被某一紋理覆蓋的圖像，覆蓋的紋理在本發明實施例中不做限制，可以根據實際情況靈活設定。其中，紋理是表示物體表面細節的一幅或幾幅二維圖形，也可以稱作紋理貼圖（texture mapping）。在一個示例中，第一初始圖像可以是被某一純色紋理進行覆蓋的圖像，該紋理的顔色也可以靈活設定，可以爲黑色、白色或是紅色等。第一初始圖像的生成過程在本發明實施例中不做限制，可以爲通過讀取目標圖像的尺寸後，再創建相同尺寸的圖像。
在生成了第一初始圖像後，可以通過步驟S122，在第一初始圖像內標記第二對象的覆蓋區域，來得到參考圖像。由於第一初始圖像與目標圖像的尺寸相同，因此被標記的區域在第一初始圖像中的位置，與第二對象在目標圖像中的位置一致。標記的方式在本發明實施例中不做限制，任何可以在第一初始圖像中將第二對象所對應的區域與第一初始對象本身的其餘區域區分開的標記方式，均可以作爲標記的實現方式。在一種可能的實現方式中，標記的方式可以爲在第一初始圖像中在需要標記的位置添加標記物，標記物可以爲符號、數據或是紋理等，在此不做限制。
在一種可能的實現方式中，標記可以通過調整圖像中像素值的方式來實現，在該種實現方式中，步驟S122可以包括：
在第一初始圖像中，將第二對象的覆蓋區域包括的至少一個像素點更改爲目標像素值，得到參考圖像。
其中，具有目標像素值的圖像區域即爲參考圖像中包括標記的圖像區域。此外，針對第一初始圖像除了對第二對象的覆蓋區域進行目標像素值的標記之外，還可以將除了第二對象的覆蓋區域以外的其它區域調整爲區別於目標像素值的其它像素值，以實現對兩種不同區域的明顯區分。
通過在第一初始圖像中，將第二對象的覆蓋區域包括的至少一個像素點更改爲目標像素值，得到參考圖像，可以通過更改第二對象的覆蓋區域的顔色這種簡單的方式，實現對第二對象的覆蓋區域的標記，過程簡單，節約成本。
在一種可能的實現方式中，步驟S122也可以包括：
在第一初始圖像中，將第二對象的覆蓋區域通過預設紋理進行渲染，得到參考圖像。
上述發明實施例中，對第二對象對應的區域進行渲染的預設紋理，其具體的實現方式在本發明實施例中不做限制，可以將第二對象對應的區域與第一初始圖像的其他區域進行區分即可。在一個示例中，當第一初始圖像爲空白圖像時，預設紋理可以是不包含空白區域的任意紋理；在一個示例中，當第一初始圖像被某一顔色純色紋理進行覆蓋時，預設紋理可以是不包含該顔色的任意紋理。圖7示出根據本發明一實施例的參考圖像的示意圖，從圖中可以看出，在本發明示例中，第一初始圖像爲通過黑色紋理覆蓋的圖像，而第二對象被紅色紋理進行渲染，從而得到如圖所示的參考圖像。
通過在第一初始圖像中，將第二對象的覆蓋區域通過預設紋理進行渲染來得到參考圖像，可以通過較爲簡單的方式，將第二對象的位置在參考圖像中標記出，爲後續根據標記來完成對待渲染區域進行渲染做出了充分的準備，同時，將通過渲染標記第二對象應用於整體的渲染過程中，可以通過同一渲染手段來完成整個圖像處理過程，減小額外的資源消耗，提高了圖像處理整體效率的同時也節省了成本。
得到參考圖像後，可以通過步驟S13來確定待渲染區域，在一種可能的實現方式中，步驟S13可以包括：
步驟S131，生成與目標圖像尺寸相同的第二初始圖像。
步驟S132，在第二初始圖像中，根據參考圖像和第一對象，確定待渲染區域。
上述發明實施例中，通過在與目標圖像尺寸相同的第二初始圖像中，根據參考圖像和第一對象，確定待渲染區域，通過上述過程，由於參考圖像是根據第二對象在目標圖像中的位置而生成的，因此待渲染區域可以受到第二對象位置的約束，從而減小渲染溢出所需渲染範圍的可能性，提高了渲染結果的可靠性。
具體如何根據參考圖像和第一對象來確定待渲染區域，其具體實現形式可以根據參考圖像中標記的實際情況進行靈活確定。在一種可能的實現方式中，步驟S132可以包括：
步驟S1321，在第二初始圖像中，將與第一對象對應的區域作爲初始待渲染區域。
步驟S1322，遍歷初始待渲染區域的像素點，當像素點在參考圖像中的對應位置包括標記時，將像素點作爲待渲染像素點。
步驟S1323，將待渲染像素點構成的區域作爲待渲染區域。
步驟S1321中，第二初始圖像的生成過程與實現方式均不受限制，可以參考上述發明實施例中提出的第一初始圖像的生成過程與實現方式，在此不再贅述，需要注意的是，第二初始圖像的實現方式可以與第一初始圖像相同，也可以不同。
在生成第二初始圖像後，可以通過步驟S1322，遍歷初始待渲染區域的像素點，當遍歷到每個像素點時，都可以在參考圖像中，尋找與該像素點具有相同位置的像素點，在本發明實施例中可以將遍歷到的像素點記爲遍歷像素點，參考圖像中對應的像素點記爲參考像素點。繼而可以判斷參考像素點是否被標記，從上述發明實施例中公開的內容可以得知，參考圖像中被標記區域的是第二對象在目標圖像中的位置，因此，若參考像素點被標記，則可以說明待渲染區域中的遍歷像素點在第二對象的範圍內，此時遍歷像素點可以作爲待渲染像素點等待後續被目標素材所渲染；若參考像素點未被標記，則可以說明待渲染區域中的遍歷像素點超過了第二對象的範圍，此時若渲染該遍歷像素點，則可能會發生渲染超出預設範圍的情況，因此該參考像素點可以不作爲待渲染像素點。
在對初始待渲染區域中的像素點遍歷後，可以得到全部的待渲染像素點，這些待渲染像素點可以共同構成待渲染區域。
在得到了待渲染區域後，可以通過步驟S14，利用目標素材對待渲染區域進行渲染，從而得到渲染結果。渲染的具體方式在本發明實施例中不做限制，任何可以應用的渲染方法均可以作爲本發明實施例中的實現方式，在一個示例中，可以通過OpenGL在著色器shader中實現渲染，上述發明實施例中提出的在第一初始圖像中通過預設紋理進行渲染的具體實現方式，也可以採取同樣的渲染方式。圖8示出根據本發明一實施例的渲染結果的示意圖，從圖中可以看出，第二初始圖像爲通過黑色紋理覆蓋的圖像，並被如圖3所示的美瞳素材進行渲染，從而得到如圖所示的渲染結果。
通過在第二初始圖像中，將與第一對象對應的區域作爲初始待渲染區域，遍歷初始待渲染區域中的像素點，並在該像素點在參考圖像中的對應像素點被標記時，將該像素點作爲待渲染像素點，將待渲染像素點構成的區域作爲待渲染區域，基於這一過程，可以有效對目標素材所需要渲染的區域進行裁剪，減小這一區域超出第一對象所屬的第二對象約束範圍的可能性，從而提升渲染結果的可靠性和真實性。
在得到渲染結果後，還可以將這一渲染結果與原始的目標圖像進行結合，從而可以進一步對目標圖像進行修飾或完善。具體的結合方式可以根據目標圖像和目標素材的實際情況和需求來確定，比如當目標圖像爲包括人臉區域的圖像，目標素材爲美瞳素材時，這一結合可以是將渲染結果和目標圖像進行融合等。因此，在一種可能的實現方式中，本發明實施例中提出的方法還可以包括：
步驟S15，更改目標圖像的透明度，得到更改結果。
步驟S16，將渲染結果與更改結果進行融合，得到融合圖像。
上述發明實施例中，更改目標圖像的透明度的具體數值在此不做限制，可以根據實際情況進行靈活設定，可以保證渲染結果和目標圖像的融合效果即可。由於生成渲染結果的第二初始圖像的尺寸與目標圖像相同，因此渲染結果可以有效的融合到目標圖像中的相應位置處，舉例來說，當目標圖像爲人臉圖像，而目標素材爲美瞳時，融合結果中美瞳素材被渲染到的位置與瞳孔在人臉圖像中的位置是一致的，因此渲染結果與更改了透明度的目標圖像在進行融合時，渲染的美瞳素材自然的被融合到人臉圖像中瞳孔所在的位置處，從而實現人臉圖像的美瞳效果。圖9示出根據本發明一實施例的融合結果的示意圖，從圖中可以看出，通過上述各發明實施例中提出的圖像處理方法，可以有效且準確地將圖3中的美瞳素材融合到圖2中人臉圖像的瞳孔位置處。
應用場景示例
對人臉圖像進行美妝是目前人臉圖像處理中的一種主流方式，比如對人臉圖像進行美瞳、在人臉圖像的嘴唇部位添加口紅或是在鼻樑部位添加陰影等。以美瞳爲例，在對人臉圖像渲染美瞳素材時，由於人臉圖像中眼睛的開閉程度可能存在不同，美瞳過程中極有可能將美瞳素材渲染到眼皮上或是眼皮外等區域，導致美瞳結果的不準確，降低美瞳結果的真實程度。
因此，一個基於可靠渲染方式的圖像處理過程能夠極大提升美瞳的品質，從而可以擴大該圖像處理方法的品質和應用範圍。
如圖2~圖9所示，本發明實施例提出了一種圖像處理方法，這一處理方法的具體過程可以爲：
圖2爲待進行美瞳的人臉圖像（即上述發明各實施例中提到的目標圖像），在本發明應用示例中，首先通過特徵點提取，分別提取出該人臉圖像的瞳孔輪廓點（如圖4所示）作爲第二對象的第二特徵點集合，和眼睛輪廓點（如圖5所示）作爲第一對象的第一特徵點集合。在得到了眼睛輪廓點後，可以將眼睛輪廓點按照預設的順序連接成眼睛三角網格作爲第一網格（如圖6所示），同理，也可以將瞳孔輪廓點按照預設的順序連接成另一瞳孔三角網格作爲第二網格。
在得到了如圖6所示的眼睛三角網格後，可以創建一張與圖2大小相同的黑色紋理圖作爲第一初始圖像，然後將黑色紋理圖和圖6中眼睛三角網格的頂點坐標傳入shader，通過OpenGL將黑色紋理圖中與眼睛三角網格對應位置處的像素點渲染爲紅色作爲標記，其餘位置的像素點仍保持原有狀態，從而得到眼睛輪廓的mask紋理，即包括標記的參考圖像（如圖7所示）。
在得到了眼睛輪廓的mask紋理後，可以再將這一眼睛輪廓的mask紋理以及之前得到的瞳孔三角網格的頂點坐標，還有如圖3所示的美瞳素材共同傳入shader，從而實現美瞳素材的渲染，在本發明應用示例中，美瞳素材的渲染過程可以爲：首先生成一張黑色紋理圖作爲第二初始圖像，然後根據瞳孔三角網格的頂點坐標，確定瞳孔的位置，接著依次遍歷瞳孔位置處的每一像素點，每遍歷到一個像素點，均可以比對這一像素點在眼睛輪廓的mask紋理中對應的像素點顔色是否爲紅色，若是則說明這一像素點在眼睛的範圍內，爲待渲染像素點，可以將美瞳素材渲染到這一像素點上，若不是則說明這一像素點在眼睛的範圍外，可以不將美瞳素材渲染到這一像素點上。當瞳孔位置處的每一像素點均被遍歷後，可以得到渲染結果，這一渲染結果可以看作是被裁剪過的美瞳素材，且這一美瞳素材的位置與人臉圖像中瞳孔的位置一致，渲染結果如圖8所示。
在得到了渲染結果後，可以將渲染結果與原始的人臉圖像進行透明度融合，由於渲染結果的位置與人臉圖像中瞳孔的位置一致，因此融合後美瞳可以準確地融合到人臉圖像的瞳孔中，從而實現人臉的美瞳，融合的結果如圖9所示，從圖中可以看出，通過上述過程，可以得到可靠的美瞳結果，融合後的美瞳沒有超出瞳孔的範圍，更沒有渲染到眼周位置處。
需要說明的是，本發明實施例的圖像處理方法不限於應用在上述包含人臉區域的圖像處理，也不局限於上述對人臉圖像進行美瞳處理的過程，可以應用於任意的圖像處理，本發明對此不作限定。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
圖10示出根據本發明實施例的圖像處理裝置的方塊圖。該圖像處理裝置可以爲終端設備、伺服器或者其他處理設備等。其中，終端設備可以爲用戶設備（User Equipment，UE）、行動設備、用戶終端、終端、行動電話、無繩電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。
在一些可能的實現方式中，該圖像處理裝置可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
如圖10所示，所述圖像處理裝置20可以包括：
識別模組21，用於識別目標圖像中待渲染的第一對象，以及第一對象在所述目標圖像中所屬的第二對象。
參考圖像生成模組22，用於根據目標圖像和所述第二對象，生成包括標記的參考圖像，其中，標記用於記錄第二對象的覆蓋區域。
待渲染區域確定模組23，用於根據參考圖像和第一對象，確定待渲染區域，其中，待渲染區域位於與標記對應的覆蓋區域以內。
渲染模組24，用於利用目標素材對待渲染區域進行渲染，生成渲染結果。
在一種可能的實現方式中，參考圖像生成模組22用於：生成與目標圖像尺寸相同的第一初始圖像；在第一初始圖像中，標記第二對象的覆蓋區域，得到參考圖像。
在一種可能的實現方式中，參考圖像生成模組22進一步用於：在第一初始圖像中，將第二對象的覆蓋區域包括的至少一個像素點更改爲目標像素值，得到參考圖像。
在一種可能的實現方式中，待渲染區域確定模組23用於：生成與目標圖像尺寸相同的第二初始圖像；在第二初始圖像中，根據參考圖像和第一對象，確定待渲染區域。
在一種可能的實現方式中，待渲染區域確定模組23進一步用於：在第二初始圖像中，將與第一對象對應的區域作爲初始待渲染區域；遍歷初始待渲染區域的像素點，當像素點在參考圖像中的對應位置包括標記時，將像素點作爲待渲染像素點；將待渲染像素點構成的區域作爲待渲染區域。
在一種可能的實現方式中，識別模組21用於：對目標圖像進行特徵提取，分別得到與第一對象對應的第一特徵點集合，以及與第二對象對應的第二特徵點集合；將第一特徵點集合包括的第一特徵點按照第一預設方式連接，得到第一對象對應的區域；將第二特徵點集合包括的第二特徵點按照第二預設方式連接，得到第二對象對應的區域。
在一種可能的實現方式中，識別模組21進一步用於：將至少三個第一特徵點作爲一組，對第一特徵點集合進行劃分，得到至少一組第一特徵點子集合；分別對至少一組第一特徵點子集合包括的第一特徵點依次連接，得到至少一個第一網格；將至少一個第一網格覆蓋的區域作爲第一對象對應的區域。
在一種可能的實現方式中，識別模組21進一步用於：將至少三個第二特徵點作爲一組，對第二特徵點集合進行劃分，得到至少一組第二特徵點子集合；分別對至少一組第二特徵點子集合包括的第二特徵點依次連接，得到至少一個第二網格；將至少一個第二網格覆蓋的區域作爲第二對象對應的區域。
在一種可能的實現方式中，圖像處理裝置20還包括融合模組，融合模組用於：更改目標圖像的透明度，得到更改結果；將渲染結果與更改結果進行融合，得到融合圖像。
在一種可能的實現方式中，第一對象包括瞳孔，第二對象包括眼睛，目標素材包括用於美化瞳孔的素材。
本發明實施例還提出一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置爲執行上述方法。
電子設備可以被提供爲終端、伺服器或其它形態的設備。
圖11是根據本發明實施例的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，訊息收發設備，游戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖11，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出（I/O）介面812，感測器組件814，以及通訊組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，數據通訊，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置爲儲存各種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人數據，電話簿數據，訊息，圖片，視訊等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子可擦除可程式化唯讀記憶體（EEPROM），可擦除可程式化唯讀記憶體（EPROM），可程式化唯讀記憶體（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁碟或光碟。
電源組件806爲電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與爲電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控面板（TP）。如果螢幕包括觸控面板，螢幕可以被實現爲觸控螢幕，以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸控、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸控或滑動動作的邊界，而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置鏡頭和/或後置鏡頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置鏡頭和/或後置鏡頭可以接收外部的多媒體數據。每個前置鏡頭和後置鏡頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置爲輸出和/或輸入音訊訊號。例如，音訊組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置爲接收外部音訊訊號。所接收的音訊訊號可以被進一步儲存在記憶體804或經由通訊組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊訊號。
I/O介面812爲處理組件802和周邊介面模組之間提供介面，上述周邊介面模組可以是鍵盤，滑鼠，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啓動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於爲電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件爲電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通訊組件816被配置爲便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通訊組件816經由廣播通道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中，所述通訊組件816還包括近場通訊（NFC）模組，以促進短程通訊。例如，在NFC模組可基於射頻識別（RFID）技術，紅外數據協會（IrDA）技術，超寬帶（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（ASIC）、數位訊號處理器（DSP）、數位訊號處理設備（DSPD）、可程式化邏輯裝置（PLD）、現場可程式化邏輯閘陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖12是根據本發明實施例的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供爲一伺服器。參照圖12，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置爲執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置爲執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置爲將電子設備1900連接到網路，和一個輸入輸出（I/O）介面1958。電子設備1900可以操作基於儲存在記憶體1932的操作系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式産品。電腦程式産品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：可擕式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦式可程式化唯讀記憶體（EPROM或閃存）、靜態隨機存取記憶體（SRAM）、可擕式壓縮盤唯讀記憶體（CD-ROM）、數位多功能影音光碟（DVD）、記憶卡、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裏所使用的電腦可讀儲存媒體不被解釋爲瞬時訊號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電訊號。
這裏所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者通過網路、例如因特網、區域網路、廣域網路和/或無線網下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、網關電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、韌體指令、狀態設置數據、或者以一種或多種程式化語言的任意組合編寫的源代碼或目標代碼，所述程式化語言包括面向對象的程式化語言—諸如Smalltalk、C++等，以及常規的過程式程式化語言—諸如“C”語言或類似的程式化語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作爲一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括 區域網路(LAN)或 廣域網路(WAN)—連接到用戶電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供商來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路，例如可程式化邏輯電路、現場可程式化邏輯閘陣列（FPGA）或可程式化邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裏參照根據本發明實施例的方法、裝置（系統）和電腦程式産品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化數據處理裝置的處理器，從而生産出一種機器，使得這些指令在通過電腦或其它可程式化數據處理裝置的處理器執行時，産生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式化數據處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒體則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化數據處理裝置、或其它設備上，使得在電腦、其它可程式化數據處理裝置或其它設備上執行一系列操作步驟，以産生電腦實現的過程，從而使得在電腦、其它可程式化數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式産品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作爲替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
20:圖像處理裝置 21:識別模組 22:參考圖像生成模組 23:待渲染區域確定模組 24:渲染模組 800:電子設備 802:處理組件 804:記憶體 806:電源組件 808:多媒體組件 810:音訊組件 812:輸入/輸出介面 814:感測器組件 816:通訊組件 820:處理器 1900:電子設備 1922:處理組件 1926:電源組件 1932:記憶體 1950:網路介面 1958:輸入/輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。 圖1示出根據本發明一實施例的圖像處理方法的流程圖； 圖2示出根據本發明一實施例的目標圖像的示意圖； 圖3示出根據本發明一實施例的目標素材示意圖； 圖4示出根據本發明一實施例的第一特徵點集合的示意圖； 圖5示出根據本發明一實施例的第二特徵點集合的示意圖； 圖6示出根據本發明一實施例的第二對象的示意圖； 圖7示出根據本發明一實施例的參考圖像的示意圖； 圖8示出根據本發明一實施例的渲染結果的示意圖； 圖9示出根據本發明一實施例的融合結果的示意圖； 圖10示出根據本發明一實施例的圖像處理裝置的方塊圖； 圖11示出根據本發明實施例的一種電子設備的方塊圖；及 圖12示出根據本發明實施例的一種電子設備的方塊圖。

Claims (12)

  1. 一種圖像處理方法，其特徵在於，包括： 識別目標圖像中待渲染的第一對象，以及所述第一對象在所述目標圖像中所屬的第二對象； 根據所述目標圖像和所述第二對象，生成包括標記的參考圖像，其中，所述標記用於記錄所述第二對象的覆蓋區域； 根據所述參考圖像和所述第一對象，確定待渲染區域，其中，所述待渲染區域位於與所述標記對應的覆蓋區域以內； 利用目標素材對所述待渲染區域進行渲染，生成渲染結果。
  2. 如請求項1所述的方法，其中，所述根據所述目標圖像和所述第二對象，生成包括標記的參考圖像，包括： 生成與所述目標圖像尺寸相同的第一初始圖像； 在所述第一初始圖像中，標記所述第二對象的覆蓋區域，得到所述參考圖像。
  3. 如請求項2所述的方法，其中，所述在所述第一初始圖像中，標記所述第二對象的覆蓋區域，得到所述參考圖像，包括： 在所述第一初始圖像中，將所述第二對象的覆蓋區域包括的至少一個像素點更改爲目標像素值，得到所述參考圖像。
  4. 如請求項1至3其中任意一項所述的方法，其中，所述根據所述參考圖像和所述第一對象，確定待渲染區域，包括： 生成與所述目標圖像尺寸相同的第二初始圖像； 在所述第二初始圖像中，根據所述參考圖像和所述第一對象，確定待渲染區域。
  5. 如請求項4所述的方法，其中，所述在所述第二初始圖像中，根據所述參考圖像和所述第一對象，確定待渲染區域，包括： 在所述第二初始圖像中，將與所述第一對象對應的區域作爲初始待渲染區域； 遍歷所述初始待渲染區域的像素點，當所述像素點在所述參考圖像中的對應位置包括所述標記時，將所述像素點作爲待渲染像素點； 將所述待渲染像素點構成的區域作爲所述待渲染區域。
  6. 如請求項1至3其中任意一項所述的方法，其中，所述識別所述目標圖像中待渲染的第一對象，以及所述第一對象在所述目標圖像中所屬的第二對象，包括： 對所述目標圖像進行特徵提取，分別得到與所述第一對象對應的第一特徵點集合，以及與所述第二對象對應的第二特徵點集合； 將所述第一特徵點集合包括的第一特徵點按照第一預設方式連接，得到所述第一對象對應的區域； 將所述第二特徵點集合包括的第二特徵點按照第二預設方式連接，得到所述第二對象對應的區域。
  7. 如請求項6所述的方法，其中，所述將所述第一特徵點集合包括的第一特徵點按照第一預設方式連接，得到所述第一對象對應的區域，包括： 將至少三個所述第一特徵點作爲一組，對所述第一特徵點集合進行劃分，得到至少一組第一特徵點子集合； 對至少一組所述第一特徵點子集合包括的所述第一特徵點依次連接，得到至少一個第一網格； 將所述至少一個第一網格覆蓋的區域作爲第一對象對應的區域；和/或， 所述將所述第二特徵點集合包括的第二特徵點按照第二預設方式連接，得到所述第二對象對應的區域，包括： 將至少三個所述第二特徵點作爲一組，對所述第二特徵點集合進行劃分，得到至少一組第二特徵點子集合； 對至少一組所述第二特徵點子集合包括的所述第二特徵點依次連接，得到至少一個第二網格； 將所述至少一個第二網格覆蓋的區域作爲第二對象對應的區域。
  8. 如請求項1至3其中任意一項所述的方法，其中，所述方法還包括： 更改所述目標圖像的透明度，得到更改結果； 將所述渲染結果與所述更改結果進行融合，得到融合圖像。
  9. 如請求項1至3其中任意一項所述的方法，其中，所述第一對象包括瞳孔，所述第二對象包括眼睛，所述目標素材包括用於美化瞳孔的素材。
  10. 一種圖像處理裝置，其特徵在於，包括： 識別模組，用於識別目標圖像中待渲染的第一對象，以及所述第一對象在所述目標圖像中所屬的第二對象； 參考圖像生成模組，用於根據所述目標圖像和所述第二對象，生成包括標記的參考圖像，其中，所述標記用於記錄所述第二對象的覆蓋區域； 待渲染區域確定模組，用於根據所述參考圖像和所述第一對象，確定待渲染區域，其中，所述待渲染區域位於與所述標記對應的覆蓋區域以內； 渲染模組，用於利用目標素材對所述待渲染區域進行渲染，生成渲染結果。
  11. 一種電子設備，其特徵在於，包括： 處理器； 用於儲存處理器可執行指令的記憶體； 其中，所述處理器被配置爲調用所述記憶體儲存的指令，以執行請求項1至9其中任意一項所述的方法。
  12. 一種電腦可讀儲存媒體，其上儲存有電腦程式指令，其特徵在於，所述電腦程式指令被處理器執行時實現請求項1至9其中任意一項所述的方法。
TW109113454A 2019-11-22 2020-04-22 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體 TWI752473B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911154806.5A CN111091610B (zh) 2019-11-22 2019-11-22 图像处理方法及装置、电子设备和存储介质
CN201911154806.5 2019-11-22

Publications (2)

Publication Number Publication Date
TW202121343A true TW202121343A (zh) 2021-06-01
TWI752473B TWI752473B (zh) 2022-01-11

Family

ID=70393606

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109113454A TWI752473B (zh) 2019-11-22 2020-04-22 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體

Country Status (7)

Country Link
EP (1) EP3852069A4 (zh)
JP (1) JP7159357B2 (zh)
KR (1) KR20210064114A (zh)
CN (1) CN111091610B (zh)
SG (1) SG11202012481UA (zh)
TW (1) TWI752473B (zh)
WO (1) WO2021098107A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111569418B (zh) * 2020-06-10 2023-04-07 网易（杭州）网络有限公司 对于待输出内容的渲染方法、装置、介质及电子设备
CN113657361A (zh) * 2021-07-23 2021-11-16 阿里巴巴（中国）有限公司 页面异常检测方法、装置及电子设备
CN113763324B (zh) * 2021-08-02 2024-07-26 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、计算机可读存储介质、处理器和系统
CN114240742A (zh) * 2021-12-17 2022-03-25 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN116824018B (zh) * 2023-06-14 2024-10-11 粒界(上海)信息科技有限公司 渲染异常检测方法、装置、存储介质及电子设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4435809B2 (ja) * 2002-07-08 2010-03-24 株式会社東芝 仮想化粧装置及びその方法
JP3747918B2 (ja) * 2003-04-25 2006-02-22 ヤマハ株式会社 光ディスク記録装置
US7379071B2 (en) * 2003-10-14 2008-05-27 Microsoft Corporation Geometry-driven feature point-based image synthesis
US7289119B2 (en) * 2005-05-10 2007-10-30 Sony Computer Entertainment Inc. Statistical rendering acceleration
JP2010250420A (ja) * 2009-04-13 2010-11-04 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
JP4760999B1 (ja) * 2010-10-29 2011-08-31 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
CN102184108A (zh) * 2011-05-26 2011-09-14 成都江天网络科技有限公司 一种利用计算机程序进行虚拟化妆的方法及化妆模拟程序
CN102915308B (zh) * 2011-08-02 2016-03-09 阿里巴巴集团控股有限公司 一种页面渲染的方法及装置
US9652887B2 (en) * 2014-01-22 2017-05-16 Hankookin, Inc. Object oriented image processing and rendering in a multi-dimensional space
CN104679509B (zh) * 2015-02-06 2019-11-15 腾讯科技（深圳）有限公司 一种渲染图形的方法和装置
US10796480B2 (en) * 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
US10360708B2 (en) * 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
KR102671404B1 (ko) * 2016-12-12 2024-05-31 삼성전자주식회사 모션 기반 영상을 처리하는 방법 및 장치
CN111066060B (zh) * 2017-07-13 2024-08-02 资生堂株式会社 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪
CN109583263A (zh) * 2017-09-28 2019-04-05 丽宝大数据股份有限公司 结合扩增实境的身体信息分析装置及其眉型预览方法
JP2019070872A (ja) * 2017-10-05 2019-05-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP7087331B2 (ja) * 2017-10-05 2022-06-21 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2019070870A (ja) * 2017-10-05 2019-05-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN107818305B (zh) * 2017-10-31 2020-09-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN108564531B (zh) * 2018-05-08 2022-07-08 麒麟合盛网络技术股份有限公司 一种图像处理方法及装置
CN109242785A (zh) * 2018-08-10 2019-01-18 广州二元科技有限公司 一种基于神经网络和颜色筛选的精准人像上唇彩的方法
CN109302618A (zh) * 2018-11-27 2019-02-01 网易（杭州）网络有限公司 移动终端中的直播画面渲染方法、装置和存储介质
CN109977868A (zh) * 2019-03-26 2019-07-05 深圳市商汤科技有限公司 图像渲染方法及装置、电子设备和存储介质
CN110062157B (zh) * 2019-04-04 2021-09-17 北京字节跳动网络技术有限公司 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN109981989B (zh) * 2019-04-04 2021-05-25 北京字节跳动网络技术有限公司 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110084154B (zh) * 2019-04-12 2021-09-17 北京字节跳动网络技术有限公司 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110211211B (zh) * 2019-04-25 2024-01-26 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2022512048A (ja) 2022-02-02
TWI752473B (zh) 2022-01-11
EP3852069A1 (en) 2021-07-21
KR20210064114A (ko) 2021-06-02
CN111091610A (zh) 2020-05-01
JP7159357B2 (ja) 2022-10-24
WO2021098107A1 (zh) 2021-05-27
CN111091610B (zh) 2023-04-11
SG11202012481UA (en) 2021-06-29
EP3852069A4 (en) 2021-08-18

Similar Documents

Publication Publication Date Title
US11367307B2 (en) Method for processing images and electronic device
WO2021098107A1 (zh) 图像处理方法及装置、电子设备和存储介质
TWI724736B (zh) 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
WO2021051857A1 (zh) 目标对象匹配方法及装置、电子设备和存储介质
WO2019101021A1 (zh) 图像识别方法、装置及电子设备
WO2021031609A1 (zh) 活体检测方法及装置、电子设备和存储介质
WO2022179025A1 (zh) 图像处理方法及装置、电子设备和存储介质
US11030733B2 (en) Method, electronic device and storage medium for processing image
EP2927787A1 (en) Method and device for displaying picture
CN111243011A (zh) 关键点检测方法及装置、电子设备和存储介质
CN111541907A (zh) 物品显示方法、装置、设备及存储介质
KR20230121919A (ko) 증강 현실 콘텐츠를 생성하기 위한 응시 방향의 결정
KR20230127326A (ko) 증강 현실 콘텐츠에서의 디스플레이 스크린들의 검출및 난독화
CN112597944B (zh) 关键点检测方法及装置、电子设备和存储介质
US20220319061A1 (en) Transmitting metadata via invisible light
CN112767288A (zh) 图像处理方法及装置、电子设备和存储介质
CN110807769B (zh) 图像显示控制方法及装置
US11403788B2 (en) Image processing method and apparatus, electronic device, and storage medium
CN112613447B (zh) 关键点检测方法及装置、电子设备和存储介质
WO2019061203A1 (zh) 获取颜值变化的方法及终端
CN110300275B (zh) 视频录制、播放方法、装置、终端及存储介质
US11874960B2 (en) Pausing device operation based on facial movement
WO2022042160A1 (zh) 图像处理方法及装置
US20220318303A1 (en) Transmitting metadata via inaudible frequencies
CN112633203B (zh) 关键点检测方法及装置、电子设备和存储介质