JP6923682B2 - 顔画像の処理方法および装置、電子機器ならびに記憶媒体 - Google Patents

顔画像の処理方法および装置、電子機器ならびに記憶媒体 Download PDF

Info

Publication number
JP6923682B2
JP6923682B2 JP2019571734A JP2019571734A JP6923682B2 JP 6923682 B2 JP6923682 B2 JP 6923682B2 JP 2019571734 A JP2019571734 A JP 2019571734A JP 2019571734 A JP2019571734 A JP 2019571734A JP 6923682 B2 JP6923682 B2 JP 6923682B2
Authority
JP
Japan
Prior art keywords
submarer
triangle
pixel
vector
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019571734A
Other languages
English (en)
Other versions
JP2021501924A (ja
Inventor
黄明▲楊▼
付万▲増▼
石建萍
曲▲藝▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of JP2021501924A publication Critical patent/JP2021501924A/ja
Application granted granted Critical
Publication of JP6923682B2 publication Critical patent/JP6923682B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

（関連出願の相互参照）
本願は２０１８年９月２８日に出願された、出願番号２０１８１１１４１２７０．９の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本開示はコンピュータビジョンの技術分野に関し、特に顔画像の処理方法および装置、電子機器ならびに記憶媒体に関する。
ふっくらとしたサブマラートライアングル（ｓｕｂｍａｌａｒ ｔｒｉａｎｇｌｅ）は顔の輪郭を柔らかくし、突出した頬骨の輪郭を滑らかにし、笑う時により親和力を身に付けることができる。顔画像におけるサブマラートライアングルを自然にふっくらとさせるために、どのように顔画像に対してサブマラートライアングルを正確に充填するかは、早急な解決の待たれた問題である。
本開示の実施例は顔画像処理の技術的解決手段を提供する。
本開示の実施例の第一態様によれば、顔画像における顔キーポイントおよび顔回転角度を取得することと、前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定することと、前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、前記サブマラートライアングル領域に色を充填することと、を含む顔画像の処理方法が提供される。
可能な一実施形態では、前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定するステップは、前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定することと、前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得ることと、を含む。
可能な一実施形態では、前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定するステップは、前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得ることと、前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定することと、前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、を含む。
可能な一実施形態では、前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定するステップは、前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得ることを含む。
可能な一実施形態では、前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得るステップは、前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得ることと、前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得ることと、前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得ることと、を含む。
可能な一実施形態では、前記サブマラートライアングル領域に色を充填するステップは、前記サブマラートライアングル領域における各画素に対応する、前記サブマラートライアングルの中心と前記画素との連結線に位置する第一目標画素をそれぞれ特定することと、前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、を含む。
可能な一実施形態では、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するステップは、サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む。
可能な一実施形態では、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するステップは、二次導関数が常に０より大きい下に凸関数を採用し、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む。
可能な一実施形態では、前記サブマラートライアングル領域に色を充填するステップは、前記顔画像における第一基準ポイントを特定することと、前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定することと、前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、を含む。
可能な一実施形態では、前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい。
可能な一実施形態では、前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定するステップは、前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定することと、サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定することと、前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む。
可能な一実施形態では、サブマラートライアングルの外輪郭円の半径、前記第一距離および前記基準ベクトルのノルムに基づき、第一係数を特定するステップは、前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算することと、前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得ることと、前記第一の差と前記第一の和との比を計算し、前記第一係数を得ることと、を含む。
可能な一実施形態では、前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するステップは、第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定することと、前記第一係数と前記第一基準ベクトルとの第一の積を計算することと、前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得ることと、前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む。
可能な一実施形態では、前記サブマラートライアングル領域に色を充填するステップは、前記顔画像における第二基準ポイントを特定することと、前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定することと、前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む。
可能な一実施形態では、前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する。
可能な一実施形態では、前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定するステップは、前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定することと、サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定することと、前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む。
可能な一実施形態では、サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定するステップは、前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算することと、前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得ることと、前記第二の差と前記第二の和との比を計算し、前記第二係数を得ることと、を含む。
可能な一実施形態では、前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するステップは、第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定することと、前記第二係数と前記第二基準ベクトルとの第二の積を計算することと、前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得ることと、前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む。
可能な一実施形態では、前記サブマラートライアングル領域に色を充填するステップは、前記サブマラートライアングル領域における各画素に対応する、前記サブマラートライアングルの中心と前記画素との連結線に位置する第一目標画素をそれぞれ特定することと、前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、その鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい前記顔画像における第一基準ポイントを特定することと、前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定することと、前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定することと、前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定することと、前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む。
本開示の実施例の第二態様によれば、
顔画像における顔キーポイントおよび顔回転角度を取得するように構成される取得モジュールと、
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定するように構成される第一特定モジュールと、
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第二特定モジュールと、
前記サブマラートライアングル領域に色を充填するように構成される充填モジュールと、を含む顔画像の処理装置が提供される。
可能な一実施形態では、前記第一特定モジュールは、
前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定するように構成される第一特定サブモジュールと、
前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得るように構成される調整サブモジュールと、を含む。
可能な一実施形態では、前記第二特定モジュールは、
前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得るように構成される連結サブモジュールと、
前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定するように構成される第二特定サブモジュールと、
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第三特定サブモジュールと、を含む。
可能な一実施形態では、前記第三特定サブモジュールは、
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得るように構成される。
可能な一実施形態では、前記第三特定サブモジュールは、
前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得るように構成される第一サンプリングユニットと、
前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得るように構成される第二サンプリングユニットと、
前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得るように構成されるカーブフィッティングユニットと、を含む。
可能な一実施形態では、前記充填モジュールは、
前記サブマラートライアングル領域における各画素に対応する、前記サブマラートライアングルの中心と前記画素との連結線に位置する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュールと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュールと、を含む。
可能な一実施形態では、前記第四特定サブモジュールは、
サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される。
可能な一実施形態では、前記第四特定サブモジュールは、
二次導関数が常に０より大きい下に凸関数を採用し、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される。
可能な一実施形態では、前記充填モジュールは、
前記顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュールと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュールと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定するように構成される第七特定サブモジュールと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュールと、を含む。
可能な一実施形態では、前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい。
可能な一実施形態では、前記第七特定サブモジュールは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定するように構成される第一特定ユニットと、
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定するように構成される第二特定ユニットと、
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するように構成される第三特定ユニットと、を含む。
可能な一実施形態では、前記第二特定ユニットは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算するように構成される第一計算サブユニットと、
前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得るように構成される第二計算サブユニットと、
前記第一の差と前記第一の和との比を計算し、前記第一係数を得るように構成される第三計算サブユニットと、を含む。
可能な一実施形態では、前記第三特定ユニットは、
第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定するように構成される第一特定サブユニットと、
前記第一係数と前記第一基準ベクトルとの第一の積を計算するように構成される第四計算サブユニットと、
前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得るように構成される第五計算サブユニットと、
前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するように構成される第二特定サブユニットと、を含む。
可能な一実施形態では、前記充填モジュールは、
前記顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュールと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定するように構成される第九特定サブモジュールと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定するように構成される第十特定サブモジュールと；
前記各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュールと、を含む。
可能な一実施形態では、前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する。
可能な一実施形態では、前記第十特定サブモジュールは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定するように構成される第四特定ユニットと、
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定するように構成される第五特定ユニットと、
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するように構成される第六特定ユニットと、を含む。
可能な一実施形態では、前記第五特定ユニットは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算するように構成される第六計算サブユニットと、
前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得るように構成される第七計算サブユニットと、
前記第二の差と前記第二の和との比を計算し、前記第二係数を得るように構成される第八計算サブユニットと、を含む。
可能な一実施形態では、前記第六特定ユニットは、
第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定するように構成される第三特定サブユニットと、
前記第二係数と前記第二基準ベクトルとの第二の積を計算するように構成される第九計算サブユニットと、
前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得るように構成される第十計算サブユニットと、
前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するように構成される第四特定サブユニットと、を含む。
可能な一実施形態では、前記充填モジュールは、
前記サブマラートライアングル領域における各画素に対応する、前記サブマラートライアングルの中心と前記画素との連結線に位置する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュールと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュールと、
その鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい前記顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュールと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュールと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定するように構成される第七特定サブモジュールと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュールと、
前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュールと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定するように構成される第九特定サブモジュールと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定するように構成される第十特定サブモジュールと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュールと、を含む。
本開示の実施例の第三態様によれば、プロセッサおよびプロセッサ実行可能命令を記憶するためのメモリを含む電子機器であって、
前記プロセッサは前記コンピュータプログラムを実行する時、上記顔画像の処理方法を実行するために用いられる電子機器が提供される。
本開示の実施例の第四態様によれば、プロセッサに実行される時に上記顔画像の処理方法を実現するコンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体が提供される。
本開示の実施例では、顔画像における顔キーポイントおよび顔回転角度を取得し、顔キーポイントおよび顔回転角度に基づき、顔画像におけるサブマラートライアングルの中心を特定し、顔キーポイントおよびサブマラートライアングルの中心に基づき、顔画像におけるサブマラートライアングル領域を特定し、そしてサブマラートライアングル領域に色を充填することで、サブマラートライアングル領域の位置を正確に特定でき、正確に位置特定したサブマラートライアングル領域に基づいてサブマラートライアングルに対して充填処理を行い、より自然な充填効果を得ることができる。
以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明確になる。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
顔画像における顔キーポイントおよび顔回転角度を取得することと、
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定することと、
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、
前記サブマラートライアングル領域に色を充填することと、を含む、顔画像の処理方法。
（項目２）
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定する前記ステップは、
前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定することと、
前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得ることと、を含む、項目１に記載の方法。
（項目３）
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定する前記ステップは、
前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得ることと、
前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定することと、
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、を含む、項目１または２に記載の方法。
（項目４）
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定する前記ステップは、
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得ることを含む、項目３に記載の方法。
（項目５）
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得る前記ステップは、
前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得ることと、
前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得ることと、
前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得ることと、を含む、項目４に記載の方法。
（項目６）
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、ことと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、を含む、項目１から５のいずれか一項に記載の方法。
（項目７）
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、
サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む、項目６に記載の方法。
（項目８）
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、
二次導関数が常に０より大きい下に凸関数を採用して、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む、項目６または７に記載の方法。
（項目９）
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記顔画像における第一基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定することであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、を含む、項目１から８のいずれか一項に記載の方法。
（項目１０）
前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、項目９に記載の方法。
（項目１１）
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定する前記ステップは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定することと、
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定することと、
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む、項目９または１０に記載の方法。
（項目１２）
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記基準ベクトルのノルムに基づき、第一係数を特定する前記ステップは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算することと、
前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得ることと、
前記第一の差と前記第一の和との比を計算し、前記第一係数を得ることと、を含む、項目１１に記載の方法。
（項目１３）
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定する前記ステップは、
第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定することと、
前記第一係数と前記第一基準ベクトルとの第一の積を計算することと、
前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得ることと、
前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む、項目１１または１２に記載の方法。
（項目１４）
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記顔画像における第二基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定することであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む、項目１から１３のいずれか一項に記載の方法。
（項目１５）
前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する、項目１４に記載の方法。
（項目１６）
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定する前記ステップは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定することと、
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定することと、
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む、項目１４または１５に記載の方法。
（項目１７）
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定する前記ステップは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算することと、
前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得ることと、
前記第二の差と前記第二の和との比を計算し、前記第二係数を得ることと、を含む、項目１６に記載の方法。
（項目１８）
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定する前記ステップは、
第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定することと、
前記第二係数と前記第二基準ベクトルとの第二の積を計算することと、
前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得ることと、
前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む、項目１６または１７に記載の方法。
（項目１９）
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、ことと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、
前記顔画像における第一基準ポイントを特定することであって、前記第一基準ポイントと鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、ことと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定することであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、
前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定することであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、ことと
前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む、項目１から５のいずれか一項に記載の方法。
（項目２０）
顔画像における顔キーポイントおよび顔回転角度を取得するように構成される取得モジュールと、
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定するように構成される第一特定モジュールと、
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第二特定モジュールと、
前記サブマラートライアングル領域に色を充填するように構成される充填モジュールと、を含む、顔画像の処理装置。
（項目２１）
前記第一特定モジュールは、
前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定するように構成される第一特定サブモジュールと、
前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得るように構成される調整サブモジュールと、を含む、項目２０に記載の装置。
（項目２２）
前記第二特定モジュールは、
前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得るように構成される連結サブモジュールと、
前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定するように構成される第二特定サブモジュールと、
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第三特定サブモジュールと、を含む、項目２０または２１に記載の装置。
（項目２３）
前記第三特定サブモジュールは、
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得るように構成される、項目２２に記載の装置。
（項目２４）
前記第三特定サブモジュールは、
前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得るように構成される第一サンプリングユニットと、
前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得るように構成される第二サンプリングユニットと、
前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得るように構成されるカーブフィッティングユニットと、を含む、項目２３に記載の装置。
（項目２５）
前記充填モジュールは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュールであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、第四特定サブモジュールと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュールと、を含む、項目２０から２４のいずれか一項に記載の装置。
（項目２６）
前記第四特定サブモジュールは、
サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される、項目２５に記載の装置。
（項目２７）
前記第四特定サブモジュールは、
二次導関数が常に０より大きい下に凸関数を採用し、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される、項目２５または２６に記載の装置。
（項目２８）
前記充填モジュールは、
前記顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュールと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュールと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定するように構成される第七特定サブモジュールであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、第七特定サブモジュールと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュールと、を含む、項目２０から２７のいずれか一項に記載の装置。
（項目２９）
前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、項目２８に記載の装置。
（項目３０）
前記第七特定サブモジュールは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定するように構成される第一特定ユニットと、
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定するように構成される第二特定ユニットと、
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するように構成される第三特定ユニットと、を含む、項目２８または２９に記載の装置。
（項目３１）
前記第二特定ユニットは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算するように構成される第一計算サブユニットと、
前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得るように構成される第二計算サブユニットと、
前記第一の差と前記第一の和との比を計算し、前記第一係数を得るように構成される第三計算サブユニットと、を含む、項目３０に記載の装置。
（項目３２）
前記第三特定ユニットは、
第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定するように構成される第一特定サブユニットと、
前記第一係数と前記第一基準ベクトルとの第一の積を計算するように構成される第四計算サブユニットと、
前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得るように構成される第五計算サブユニットと、
前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するように構成される第二特定サブユニットと、を含む、項目３０または３１に記載の装置。
（項目３３）
前記充填モジュールは、
前記顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュールと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定するように構成される第九特定サブモジュールと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定するように構成される第十特定サブモジュールであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、第十特定サブモジュールと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュールと、を含む、項目２０から３２のいずれか一項に記載の装置。
（項目３４）
前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する、項目３３に記載の装置。
（項目３５）
前記第十特定サブモジュールは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定するように構成される第四特定ユニットと、
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定するように構成される第五特定ユニットと、
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するように構成される第六特定ユニットと、を含む、項目３３または３４に記載の装置。
（項目３６）
前記第五特定ユニットは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算するように構成される第六計算サブユニットと、
前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得るように構成される第七計算サブユニットと、
前記第二の差と前記第二の和との比を計算し、前記第二係数を得るように構成される第八計算サブユニットと、を含む、項目３５に記載の装置。
（項目３７）
前記第六特定ユニットは、
第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定するように構成される第三特定サブユニットと、
前記第二係数と前記第二基準ベクトルとの第二の積を計算するように構成される第九計算サブユニットと、
前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得るように構成される第十計算サブユニットと、
前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するように構成される第四特定サブユニットと、を含む、項目３５または３６に記載の装置。
（項目３８）
前記充填モジュールは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュールであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、第四特定サブモジュールと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュールと、
前記顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュールであって、前記第一基準ポイントと鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、第五特定サブモジュールと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュールと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定するように構成される第七特定サブモジュールであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、第七特定サブモジュールと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュールと、
前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュールと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定するように構成される第九特定サブモジュールと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定するように構成される第十特定サブモジュールであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、第十特定サブモジュールと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュールと、を含む、項目２０から２４のいずれか一項に記載の装置。
（項目３９）
プロセッサおよびプロセッサ実行可能命令を記憶するためのメモリを含む電子機器であって、
前記プロセッサは前記コンピュータプログラムを実行する時、項目１から１９のいずれか一項に記載の方法を実行するために用いられる、電子機器。
（項目４０）
プロセッサに実行される時に項目１から１９のいずれか一項に記載の方法を実現するコンピュータプログラム命令が記憶されている、コンピュータ読み取り可能記憶媒体。
明細書に含まれかつ明細書の一部となる図面は明細書と共に本開示の例示的な実施例、特徴および態様を示すものであり、かつ本開示の原理を解釈するために用いられる。
本開示の実施例に係る顔画像の処理方法のフローチャートを示す。 本開示の実施例に係る顔画像の処理方法における、サブマラートライアングル領域に色を充填する前の顔画像の模式図を示す。 本開示の実施例に係る顔画像の処理方法における、サブマラートライアングル領域に色を塗った後の顔画像の模式図を示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１２の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１３の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの外輪郭円の模式図を示す。 本開示の実施例に係る顔画像の処理方法において該顔画像における顔の輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得る一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４１の模式図を示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの中心Ｏ、第一基準ポイントＭ１、第一画素Ｐ２、第一画素に対応する第二目標画素Ｐ２’およびサブマラートライアングルの外輪郭円の半径Ｒの模式図を示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５２の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５３の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９の一例示的なフローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの中心Ｏ、第二基準ポイントＭ２、第二画素Ｐ３、第二画素に対応する第三目標画素Ｐ３’およびサブマラートライアングルの外輪郭円の半径Ｒの模式図を示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９２の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９３の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。 本開示の実施例に係る顔画像の処理装置の構成模式図を示す。 本開示の実施例に係る顔画像の処理装置の一例示的構成模式図を示す。 一例示的実施例により示された電子機器８００の構成模式図である。 一例示的実施例により示された電子機器１９００の構成模式図である。
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も他の実施例より優れたものと理解すべきではない。
また、本開示の実施例をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するよう、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。
図１は本開示の実施例に係る顔画像の処理方法のフローチャートを示す。図１に示すように、該方法はステップＳ１１からステップＳ１４を含む。
ステップＳ１１で、顔画像における顔キーポイントおよび顔回転角度を取得する。
可能な一実施形態では、顔キーポイントは目キーポイント、鼻キーポイント、口キーポイント、顔キーポイントおよび顔輪郭キーポイントなどの少なくとも一つを含むことができる。
可能な一実施形態では、顔回転角度は正面顔に対する顔のヨー角を表すことができる。例えば、顔が正面顔である場合、顔回転角度は０であってもよく、顔が正面顔に対して左に振る場合、顔回転角度は振った顔と正面顔との間の夾角と同等になってもよく、顔が正面顔に対して右に振る場合、顔回転角度の絶対値は振った顔と正面顔との夾角と同等になってもよく、かつ顔回転角度は負数である。
ステップＳ１２で、顔キーポイントおよび顔回転角度に基づき、該顔画像におけるサブマラートライアングルの中心を特定する。
可能な一実施形態では、顔キーポイントのうちの目キーポイント、鼻キーポイントおよび顔キーポイント、ならびに顔回転角度に基づき、該顔画像におけるサブマラートライアングルの中心を特定することができる。
本開示の実施例は顔キーポイントおよび顔回転角度と関連付けて顔画像におけるサブマラートライアングルの中心を特定し、特定されるサブマラートライアングルの中心の正確度を向上させ、それにより特定されるサブマラートライアングル領域の正確度を向上させることができる。
本開示の実施例では、サブマラートライアングルは笑筋（Ｒｉｓｏｒｉｕｓ）と呼ばれてもよく、目の下２センチメートルの部位での逆三角形の組織をいい、微笑みまたは表情を作る時に顔の筋肉が押し合うことによってやや隆起し、つやつやした光沢のあるリンゴに見えることから、「サブマラートライアングル」と名付けられるものである。
ステップＳ１３で、顔キーポイントおよびサブマラートライアングルの中心に基づき、該顔画像におけるサブマラートライアングル領域を特定する。
本開示の実施例では、サブマラートライアングルの中心および一部の顔キーポイントに基づいて顔画像におけるサブマラートライアングル領域を特定し、それによってサブマラートライアングル領域の計算量を低減することができる。
ステップＳ１４で、サブマラートライアングル領域に色を充填する。
可能な一実施形態では、円形凸レンズ変形方法および円形液化変形方法の一方または両方を用いて、サブマラートライアングル領域に色を塗り、サブマラートライアングルをふっくらとさせてサブマラートライアングルの輪郭線を引き立てるという効果を達成することができる。
図２ａは本開示の実施例に係る顔画像の処理方法における、サブマラートライアングル領域に色を充填する前の顔画像の模式図を示す。図２ｂは本開示の実施例に係る顔画像の処理方法における、サブマラートライアングル領域に色を塗った後の顔画像の模式図を示す。
本開示の実施例は顔画像における顔キーポイントおよび顔回転角度を取得し、顔キーポイントおよび顔回転角度に基づき、顔画像におけるサブマラートライアングルの中心を特定し、顔キーポイントおよびサブマラートライアングルの中心に基づき、顔画像におけるサブマラートライアングル領域を特定し、サブマラートライアングル領域に色を充填することで、サブマラートライアングル領域の位置を正確に特定でき、正確に位置特定したサブマラートライアングル領域に基づいてサブマラートライアングルに対して充填処理を行い、より自然な充填効果を得ることができる。
図３は本開示の実施例に係る顔画像の処理方法におけるステップＳ１２の一例示的フローチャートを示す。図３に示すように、ステップ１２はステップＳ１２１およびステップＳ１２２を含むことができる。
ステップＳ１２１で、顔キーポイントに対して補間処理を行い、該顔画像におけるサブマラートライアングルの中心の推定位置を特定する。
本開示の実施例では、サブマラートライアングルの中心は通常目の下２センチメートルから３センチメートルの位置にある。顔キーポイントに対して補間処理を行うことで、該顔画像におけるサブマラートライアングルの中心の推定位置を特定できる。例えば、目キーポイント、鼻キーポイントおよび顔キーポイントを用いて補間し、該顔画像におけるサブマラートライアングルの中心の推定位置を得ることができる。
ステップＳ１２２で、顔回転角度に基づき、サブマラートライアングルの中心の推定位置を調整し、該顔画像におけるサブマラートライアングルの中心を得る。
本開示の実施例では、顔回転角度が０である場合、サブマラートライアングルの中心の推定位置を調整することなく、サブマラートライアングルの中心の推定位置をそのまま該顔画像におけるサブマラートライアングルの中心とすることができる。顔回転角度が０でない場合、顔回転角度に基づいてサブマラートライアングルの中心の推定位置を調整し、該顔画像におけるサブマラートライアングルの中心を得る。
図４は本開示の実施例に係る顔画像の処理方法におけるステップＳ１３の一例示的フローチャートを示す。図４に示すように、ステップ１３はステップＳ１３１からステップＳ１３３を含むことができる。
ステップＳ１３１で、顔キーポイントを繋ぎ、顔キーポイントに対応する多角形を得る。
可能な一実施形態では、顔キーポイントにおける一部の顔輪郭キーポイント、一部の鼻キーポイントおよび一部の目キーポイントを互いに繋ぎ、これらの顔キーポイントに対応する多角形を得ることができる。ここで、目キーポイントは下瞼部のキーポイントであってもよい。
ステップＳ１３２で、多角形内のサブマラートライアングルの中心を円心とした最大の円を該顔画像におけるサブマラートライアングルの外輪郭円として特定する。
本開示の実施例では、サブマラートライアングルの中心を円心とし、該多角形を境界として円を描き、該顔画像におけるサブマラートライアングルの外輪郭円を得る。
図５は本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの外輪郭円の模式図を示す。図５に示す例では、顔画像におけるサブマラートライアングルの外輪郭円はＣ１およびＣ２を含む。
ステップＳ１３３で、サブマラートライアングルの外輪郭円に基づき、該顔画像におけるサブマラートライアングル領域を特定する。
可能な一実施形態では、サブマラートライアングルの外輪郭円に基づき、該顔画像におけるサブマラートライアングル領域を特定するステップは、サブマラートライアングルの外輪郭円が存在する領域を顔画像におけるサブマラートライアングル領域として特定することを含む。
別の可能な実施形態では、サブマラートライアングルの外輪郭円に基づき、該顔画像におけるサブマラートライアングル領域を特定するステップは、該顔画像における顔輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得ることを含む。該実施形態では、該顔画像における顔輪郭線を用いてサブマラートライアングルの外輪郭円を制限し、それによってサブマラートライアングル領域を顔輪郭範囲内に収めることができる。該実施形態では、目以下、口元以上の部分の顔輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得ることができる。
図６は本開示の実施例に係る顔画像の処理方法において該顔画像における顔輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得る一例示的フローチャートを示す。図６に示すように、該顔画像における顔輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得るステップは、ステップＳ１３３１からステップＳ１３３３を含むことができる。
ステップＳ１３３１で、該顔画像における顔輪郭線に対してサンプリングし、顔輪郭線におけるサンプリングポイントを得る。
可能な一実施形態では、目以下、口元以上の部分の顔輪郭線に対してサンプリングし、顔輪郭線におけるサンプリングポイントを得ることができる。
ステップＳ１３３２で、サブマラートライアングルの外輪郭円に対してサンプリングし、サブマラートライアングルの外輪郭円におけるサンプリングポイントを得る。
ステップＳ１３３３で、顔輪郭線におけるサンプリングポイントとサブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、該顔画像におけるサブマラートライアングル領域を得る。
可能な一実施形態では、Ｃａｔｍｕｌｌ−Ｒｏｍカーブフィッティングの方法を用いて、顔輪郭線におけるサンプリングポイントとサブマラートライアングルの外輪郭円におけるサンプリングポイ域ントとのカーブフィッティングを行い、該顔画像におけるサブマラートライアングル領を得ることができる。
図７は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。図７に示すように、ステップＳ１４はステップＳ１４１およびステップＳ１４２を含むことができる。
ステップＳ１４１で、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定し、画素に対応する第一目標画素がサブマラートライアングルの中心と画素との連結線に位置する。
可能な一実施形態では、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、サブマラートライアングルの充填程度係数に基づき、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む。ここで、サブマラートライアングルの充填程度係数はユーザによってカスタマイズ可能である。サブマラートライアングルの充填程度係数はサブマラートライアングルの変形程度を表す。例えば、サブマラートライアングルの充填程度係数が大きければ大きいほど、サブマラートライアングルの変形程度が大きくなり、サブマラートライアングルの充填程度係数が小さければ小さいほど、サブマラートライアングルの変形程度が小さくなる。
可能な一実施形態では、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するステップは、二次導関数が常に０より大きい下に凸関数を採用し、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む。例えば、該関数は
Figure 0006923682
である。ここで、
Figure 0006923682
はサブマラートライアングル領域におけるある画素を表し、
Figure 0006923682
はサブマラートライアングルの中心と該画素との間の距離を表し、
Figure 0006923682
は該画素に対応する第一目標画素を表し、
Figure 0006923682
はサブマラートライアングルの中心と該第一目標画素との間の距離を表し、
Figure 0006923682
はサブマラートライアングルの充填程度係数を表す。ここで、
Figure 0006923682
の値の範囲は［０，１］とする。該関数を用いる場合、変形の範囲をサブマラートライアングル領域内に収めることができ、かつサブマラートライアングル領域内での変化が連続的になる。二次導関数が常に０より大きい下に凸関数を採用することで、サブマラートライアングル領域内の画素を半径方向に沿って外へ拡散させるという効果を達成できる。
図８は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４１の模式図を示す。図８に示すように、画素Ｐ１の値を画素Ｐ１’の値にすることで、画素Ｐ１’を画素Ｐ１に移動させるという効果を達成できる。
ステップＳ１４２で、各画素の値を対応する第一目標画素の値にそれぞれ更新する。
図８に示す例では、画素Ｐ１の値を画素Ｐ１’の値に更新し、即ち、画素Ｐ１’の値を画素Ｐ１の値とする。
図７および図８に示す例は円形凸レンズ変形方法を用いてサブマラートライアングル領域内の画素点の密度分布を変え、サブマラートライアングル領域中心の画素を半径方向に沿って外へ拡散させるという変形効果を達成し、それによってサブマラートライアングルに対して充填処理を行い、サブマラートライアングルをふっくらとさせるという効果を達成する。該例での変形はサブマラートライアングル領域およびサブマラートライアングルの中心の両方によって共に制限される。
図９は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。図９に示すように、ステップＳ１４はステップＳ１４３からステップＳ１４６を含むことができる。
ステップＳ１４３で、該顔画像における第一基準ポイントを特定する。
可能な一実施形態では、第一基準ポイントと鼻先キーポイントとの距離はサブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい。即ち、該実施形態では、第一基準ポイントはサブマラートライアングルの中心に比べて顔輪郭に近い。
可能な一実施形態では、第一基準ポイントがサブマラートライアングル領域外にある。例えば、サブマラートライアングルの中心と第一基準ポイントとの間の距離はサブマラートライアングルの外輪郭円の半径の
Figure 0006923682
倍である。
例えば、該顔画像における第一基準ポイントは
Figure 0006923682
である。
ステップＳ１４４で、サブマラートライアングルの中心が第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定する。
例えば、サブマラートライアングルの中心が
Figure 0006923682
であり、
Figure 0006923682
が第一基準画素のサブマラートライアングルの中心に向かっているベクトルを表し、第一基準ポイントが
Figure 0006923682
であり、
Figure 0006923682
が、第一基準画素が第一基準ポイントに指しているベクトルを表すとすれば、第一基準ベクトルは
Figure 0006923682
で表すことができる。ここで、第一基準画素は座標軸の原点であってもよい。
ステップＳ１４５で、第一基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定し、画素に対応する第二目標画素が該画素に指しているベクトルが、第一基準ベクトルの方向と同じである。
ステップＳ１４６で、各画素の値を対応する第二目標画素の値にそれぞれ更新する。
例えば、サブマラートライアングル領域における画素
Figure 0006923682
に対応する第二目標画素が画素
Figure 0006923682
であれば、画素
Figure 0006923682
の値を画素
Figure 0006923682
の値に更新、即ち画素
Figure 0006923682
の値を画素
Figure 0006923682
の値とすることができる。
図９に示す例は円形液化変形の方法によってサブマラートライアングル領域内の画素点の密度分布を変え、サブマラートライアングル領域内の画素を統一の方向に沿って拡散させるという効果を達成し、それによってサブマラートライアングルに対して充填処理を行い、サブマラートライアングルの輪郭線を引き立て、サブマラートライアングルをふっくらとさせて立体感を持たせるという効果を達成する。図９に示す例での変形範囲はサブマラートライアングル領域およびサブマラートライアングルの中心の両方によって共に制限されて決定される。
図１０は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５の一例示的フローチャートを示す。図１０に示すように、ステップＳ１４５はステップＳ１４５１からステップＳ１４５３を含むことができる。
ステップＳ１４５１で、サブマラートライアングルの中心とサブマラートライアングル領域における第一画素との間の第一距離を特定する。
例えば、サブマラートライアングルの中心が
Figure 0006923682
であり、サブマラートライアングル領域における第一画素が
Figure 0006923682
であり、
Figure 0006923682
が第一基準画素のサブマラートライアングルの中心に向かっているベクトルを表し、
Figure 0006923682
が、第一基準画素が第一画素に指しているベクトルを表すとすれば、サブマラートライアングルの中心とサブマラートライアングル領域における第一画素との間の第一距離は
Figure 0006923682
で表すことができる。
ステップＳ１４５２で、サブマラートライアングルの外輪郭円の半径、第一距離および第一基準ベクトルのノルムに基づき、第一係数を特定する。
例えば、サブマラートライアングルの外輪郭円の半径はＲ、第一距離は
Figure 0006923682
、第一基準ベクトルのノルムは
Figure 0006923682
であれば、第一係数は
Figure 0006923682
となる。
ステップＳ１４５３で、第一画素、第一係数および第一基準ベクトルに基づき、第一画素に対応する第二目標画素を特定する。
図１１は本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの中心Ｏ、第一基準ポイントＭ１、第一画素Ｐ２、第一画素に対応する第二目標画素Ｐ２’およびサブマラートライアングルの外輪郭円の半径Ｒの模式図を示す。
図１２は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５２の一例示的フローチャートを示す。図１２に示すように、ステップＳ１４５２はステップＳ１４５２１からステップＳ１４５２３を含むことができる。
ステップＳ１４５２１で、サブマラートライアングルの外輪郭円の半径の二乗と第一距離の二乗との第一の差を計算する。
例えば、第一の差は
Figure 0006923682
に等しい。
ステップＳ１４５２２で、第一の差を第一基準ベクトルのノルムの二乗と加算し、第一の和を得る。
例えば、第一の和は
Figure 0006923682
に等しい。
ステップＳ１４５２３で、第一の差と第一の和との比を計算し、第一係数を得る。
例えば、第一係数は
Figure 0006923682
である。
図１３は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５３の一例示的フローチャートを示す。図１３に示すように、ステップＳ１４５３はステップＳ１４５３１からステップＳ１４５３４を含むことができる。
ステップＳ１４５３１で、第一基準画素が第一画素に指しているベクトルを第一画素ベクトルとして特定する。
例えば、第一画素ベクトルは
Figure 0006923682
で表すことができる。
ステップＳ１４５３２で、第一係数と第一基準ベクトルとの第一の積を計算する。
例えば、第一係数と第一基準ベクトルとの第一の積は
Figure 0006923682
である。
ステップＳ１４５３３で、第一画素ベクトルと第一の積との差を計算し、第一画素に対応する第二目標画素ベクトルを得る。
例えば、第一画素に対応する第二目標画素ベクトルは
Figure 0006923682
である。
ステップＳ１４５３４で、第一基準画素の位置、および第一画素に対応する第二目標画素ベクトルに基づき、第一画素に対応する第二目標画素を特定する。
ここで、第一画素に対応する第二目標画素ベクトル
Figure 0006923682
は第一基準画素の第二目標画素
Figure 0006923682
に向かっているベクトルを表す。第一基準画素の位置、および第一画素に対応する第二目標画素ベクトル
Figure 0006923682
によって、第一画素に対応する第二目標画素
Figure 0006923682
を特定できる。
図１４は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。図１４に示すように、ステップＳ１４はステップＳ１４７、ステップＳ１４８、ステップＳ１４９およびステップＳ１４０を含むことができる。
ステップＳ１４７で、該顔画像における第二基準ポイントを特定する。
可能な一実施形態では、第二基準ポイントと下瞼キーポイントとの距離はサブマラートライアングルの中心と下瞼キーポイントとの距離よりも小さい。
可能な一実施形態では、第二基準ポイントはサブマラートライアングル領域外に存在する。
可能な一実施形態では、第二基準ポイントはサブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する。
例えば、該顔画像における第二基準ポイントは
Figure 0006923682
である。
ステップＳ１４８で、サブマラートライアングルの中心が第二基準ポイントに指しているベクトルを第二基準ベクトルとして特定する。
例えば、サブマラートライアングルの中心が
Figure 0006923682
であり、
Figure 0006923682
が第二基準画素のサブマラートライアングルの中心に向かっているベクトルを表し、第二基準ポイントが
Figure 0006923682
であり、
Figure 0006923682
が、第二基準画素が第二基準ポイントに指しているベクトルを表すとすれば、第二基準ベクトルは
Figure 0006923682
で表すことができる。ここで、第二基準画素は座標軸の原点であってもよい。
ステップＳ１４９で、第二基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定し、各画素に対応する第三目標画素が該画素に指しているベクトルが、第二基準ベクトルの方向と同じである。
ステップＳ１４０で、各画素の値を対応する第三目標画素の値にそれぞれ更新する。
例えば、サブマラートライアングル領域における画素
Figure 0006923682
に対応する第三目標画素が画素
Figure 0006923682
であれば、画素
Figure 0006923682
の値を画素
Figure 0006923682
の値に更新、即ち画素
Figure 0006923682
の値を画素
Figure 0006923682
の値とすることができる。
図１４に示す例は円形液化変形の方法によってサブマラートライアングルの位置を持ち上げ、サブマラートライアングルの全体的なリフトアップを達成し、顔により多くの活力を与えることができる。該例の変形範囲はサブマラートライアングル領域およびサブマラートライアングルの中心の両方によって共に制限されて決定される。
図１５は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９の一例示的フローチャートを示す。図１５に示すように、ステップＳ１４９はステップＳ１４９１からステップＳ１４９３を含むことができる。
ステップＳ１４９１で、サブマラートライアングルの中心とサブマラートライアングル領域における第二画素との間の第二距離を特定する。
例えば、サブマラートライアングルの中心が
Figure 0006923682
であり、サブマラートライアングル領域における第二画素が
Figure 0006923682
であり、
Figure 0006923682
が第二基準画素のサブマラートライアングルの中心に向かっているベクトルを表し、
Figure 0006923682
が、第二基準画素が第二画素に指しているベクトルを表すとすれば、サブマラートライアングルの中心とサブマラートライアングル領域における第二画素との間の第二距離は
Figure 0006923682
で表すことができる。
ステップＳ１４９２で、サブマラートライアングルの外輪郭円の半径、第二距離および第二基準ベクトルのノルムに基づき、第二係数を特定する。
例えば、サブマラートライアングルの外輪郭円の半径がＲ、第二距離が
Figure 0006923682
、第二基準ベクトルのノルムが
Figure 0006923682
であれば、第二係数は
Figure 0006923682
となる。
ステップＳ１４９３で、第二画素、第二係数および第二基準ベクトルに基づき、第二画素に対応する第三目標画素を特定する。
図１６は本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの中心Ｏ、第二基準ポイントＭ２、第二画素Ｐ３、第二画素に対応する第三目標画素Ｐ３’およびサブマラートライアングルの外輪郭円の半径Ｒの模式図を示す。
図１７は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９２の一例示的フローチャートを示す。図１７に示すように、ステップＳ１４９２はステップＳ１４９２１からステップＳ１４９２３を含むことができる。
ステップＳ１４９２１で、サブマラートライアングルの外輪郭円の半径の二乗と第二距離の二乗との第二の差を計算する。
例えば、第二の差は
Figure 0006923682
に等しい。
ステップＳ１４９２２で、第二の差を第二基準ベクトルのノルムの二乗と加算し、第二の和を得る。
例えば、第二の和は
Figure 0006923682
に等しい。
ステップＳ１４９２３で、第二の差と第二の和との比を計算し、第二係数を得る。
例えば、第二係数は
Figure 0006923682
である。
図１８は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９３の一例示的フローチャートを示す。図１８に示すように、ステップＳ１４９３はステップＳ１４９３１からステップＳ１４９３４を含むことができる。
ステップＳ１４９３１で、第二基準画素が第二画素に指しているベクトルを第二画素ベクトルとして特定する。
例えば、第二画素ベクトルは
Figure 0006923682
で表すことができる。
ステップＳ１４９３２で、第二係数と第二基準ベクトルとの第二の積を計算する。
例えば、第二係数と第二基準ベクトルとの第二の積は
Figure 0006923682
である。
ステップＳ１４９３３で、第二画素ベクトルと第二の積との差を計算し、第二画素に対応する第三目標画素ベクトルを得る。
例えば、第二画素に対応する第三目標画素ベクトルは
Figure 0006923682
である。
ステップＳ１４９３４で、第二基準画素の位置、および第二画素に対応する第三目標画素ベクトルに基づき、第二画素に対応する第三目標画素を特定する。
ここで、第二画素に対応する第三目標画素ベクトル
Figure 0006923682
は第二基準画素の第三目標画素
Figure 0006923682
に向かっているベクトルを表す。第二基準画素の位置、および第二画素に対応する第三目標画素ベクトル
Figure 0006923682
によって、第二画素に対応する第三目標画素
Figure 0006923682
を特定できる。
可能な一実施形態では、ステップＳ１４は順にステップＳ１４１およびステップＳ１４２、ステップＳ１４３からステップＳ１４６、およびステップＳ１４７からステップＳ１４０を含むことができる。
別の可能な実施形態では、ステップＳ１４は順にステップＳ１４１およびステップＳ１４２、およびステップＳ１４７からステップＳ１４０を含むことができる。
別の可能な実施形態では、ステップＳ１４は順にステップＳ１４１およびステップＳ１４２、ステップＳ１４７からステップＳ１４０、およびステップＳ１４３からステップＳ１４６を含むことができる。
別の可能な実施形態では、ステップＳ１４は順にステップＳ１４３からステップＳ１４６、ステップＳ１４１およびステップＳ１４２、およびステップＳ１４７からステップＳ１４０を含むことができる。
説明すべきは、以上の実施形態によりステップＳ１４を以上のように説明したが、当業者であれば、本開示の実施例はこれに限定されないことを理解すべきであるということである。ステップのうちのグループ１のステップ、グループ２のステップおよびグループ３のステップの一つ、二つまたは三つに従って実施すれば、当業者は実際の応用シーンでのニーズおよび／または個人的な好みに応じてステップＳ１４の具体的な実施形態を自由に設定できる。ここで、グループ１のステップはステップＳ１４１およびステップＳ１４２、グループ２のステップはステップＳ１４３からステップＳ１４６、グループ３のステップはステップＳ１４７からステップＳ１４０を表す。
図１９は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。図１９に示すように、ステップＳ１４はステップＳ１４１からステップＳ１４０を含むことができる。各ステップに対する説明は以上を参照すればよく、ここでは説明を省略する。
ステップＳ１４１で、サブマラートライアングル領域における各画素に対応する、サブマラートライアングルの中心と画素との連結線に位置する第一目標画素をそれぞれ特定する。
ステップＳ１４２で、各画素の値を対応する第一目標画素の値にそれぞれ更新する。
ステップＳ１４３で、顔画像における第一基準ポイントを特定する。
ステップＳ１４４で、サブマラートライアングルの中心が第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定する。
ステップＳ１４５で、第一基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、画素に指しているベクトルが第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定する。
ステップＳ１４６で、各画素の値を対応する第二目標画素の値にそれぞれ更新する。
ステップＳ１４７で、顔画像における第二基準ポイントを特定する。
ステップＳ１４８で、サブマラートライアングルの中心が第二基準ポイントに指しているベクトルを第二基準ベクトルとして特定する。
ステップＳ１４９で、第二基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、画素に指しているベクトルが第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定する。
ステップＳ１４０で、各画素の値を対応する第三目標画素の値にそれぞれ更新する。
本開示の実施例が採用するサブマラートライアングル色塗り方法は変形方法のみを採用し、顔の明暗分布を変えることが殆どないため、より自然なサブマラートライアングル充填効果を得ることができる。
理解できるように、本開示の実施例において言及した上記各方法の実施例は、原理や論理に違反することなく、互いに結合して結合後の実施例を形成することができ、紙幅に限りがあるため、本開示はその説明を省略する。
また、本開示の実施例はさらに、顔画像の処理装置、電子機器、コンピュータ読み取り可能記憶媒体、およびプログラムを提供し、これらはいずれも本開示が提供する任意の顔画像の処理方法を実現するために用いることができ、対応する技術的解決手段および説明は方法部分の対応する記載を参照すればよく、ここでは説明を省略する。
図２０は本開示の実施例に係る顔画像の処理装置の構成模式図を示す。図２０に示すように、該装置は、顔画像における顔キーポイントおよび顔回転角度を取得するように構成される取得モジュール２１と、顔キーポイントおよび顔回転角度に基づき、該顔画像におけるサブマラートライアングルの中心を特定するように構成される第一特定モジュール２２と、顔キーポイントおよびサブマラートライアングルの中心に基づき、該顔画像におけるサブマラートライアングル領域を特定するように構成される第二特定モジュール２３と、サブマラートライアングル領域に色を充填するように構成される充填モジュール２４と、を含む。
図２１は本開示の実施例に係る顔画像の処理装置の一例示的構成模式図を示す。図２１に示すように、
可能な一実施形態では、第一特定モジュール２２は、顔キーポイントに対して補間処理を行い、該顔画像におけるサブマラートライアングルの中心の推定位置を特定するように構成される第一特定サブモジュール２２１と、顔回転角度に基づき、サブマラートライアングルの中心の推定位置を調整し、該顔画像におけるサブマラートライアングルの中心を得るように構成される調整サブモジュール２２２と、を含む。
可能な一実施形態では、第二特定モジュール２３は、顔キーポイントを繋ぎ、顔キーポイントに対応する多角形を得るように構成される連結サブモジュール２３１と、多角形内のサブマラートライアングルの中心を円心とした最大の円を該顔画像におけるサブマラートライアングルの外輪郭円として特定するように構成される第二特定サブモジュール２３２と、サブマラートライアングルの外輪郭円に基づき、該顔画像におけるサブマラートライアングル領域を特定するように構成される第三特定サブモジュール２３３と、を含む。
可能な一実施形態では、第三特定サブモジュール２３３は、該顔画像における顔輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得るように構成される。
可能な一実施形態では、第三特定サブモジュール２３３は、該顔画像における顔輪郭線に対してサンプリングし、顔輪郭線におけるサンプリングポイントを得るように構成される第一サンプリングユニットと、サブマラートライアングルの外輪郭円に対してサンプリングし、サブマラートライアングルの外輪郭円におけるサンプリングポイントを得るように構成される第二サンプリングユニットと、顔輪郭線におけるサンプリングポイントとサブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、該顔画像におけるサブマラートライアングル領域を得るように構成されるカーブフィッティングユニットと、を含む。
可能な一実施形態では、充填モジュール２４は、サブマラートライアングル領域における各画素に対応する、サブマラートライアングルの中心と画素との連結線に位置する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュール２４１と、各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュール２４２と、を含む。
可能な一実施形態では、第四特定サブモジュール２４１は、サブマラートライアングルの充填程度係数に基づき、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される。
可能な一実施形態では、第四特定サブモジュール２４１は、二次導関数が常に０より大きい下に凸関数を採用し、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される。
可能な一実施形態では、充填モジュール２４は、該顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュール２４３と、サブマラートライアングルの中心が第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュール２４４と、第一基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、該画素に指しているベクトルが第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定するように構成される第七特定サブモジュール２４５と、各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュール２４６と、を含む。
可能な一実施形態では、第一基準ポイントと鼻先キーポイントとの距離はサブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい。
可能な一実施形態では、第七特定サブモジュール２４５は、サブマラートライアングルの中心とサブマラートライアングル領域における第一画素との間の第一距離を特定するように構成される第一特定ユニットと、サブマラートライアングルの外輪郭円の半径、第一距離および第一基準ベクトルのノルムに基づき、第一係数を特定するように構成される第二特定ユニットと、第一画素、第一係数および第一基準ベクトルに基づき、第一画素に対応する第二目標画素を特定するように構成される第三特定ユニットと、を含む。
可能な一実施形態では、第二特定ユニットは、サブマラートライアングルの外輪郭円の半径の二乗と第一距離の二乗との第一の差を計算するように構成される第一計算サブユニットと、第一の差を第一基準ベクトルのノルムの二乗と加算し、第一の和を得るように構成される第二計算サブユニットと、第一の差と第一の和との比を計算し、第一係数を得るように構成される第三計算サブユニットと、を含む。
可能な一実施形態では、第三特定ユニットは、第一基準画素が第一画素に指しているベクトルを第一画素ベクトルとして特定するように構成される第一特定サブユニットと、第一係数と第一基準ベクトルとの第一の積を計算するように構成される第四計算サブユニットと、第一画素ベクトルと第一の積との差を計算し、第一画素に対応する第二目標画素ベクトルを得るように構成される第五計算サブユニットと、第一基準画素の位置、および第一画素に対応する第二目標画素ベクトルに基づき、第一画素に対応する第二目標画素を特定するように構成される第二特定サブユニットと、を含む。
可能な一実施形態では、充填モジュール２４は、該顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュール２４７と、サブマラートライアングルの中心が第二基準ポイントに指しているベクトルを第二基準ベクトルとして特定するように構成される第九特定サブモジュール２４８と、第二基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、該画素に指しているベクトルが第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定するように構成される第十特定サブモジュール２４９と、各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュール２４０と、を含む。
可能な一実施形態では、第二基準ポイントはサブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する。
可能な一実施形態では、第十特定サブモジュール２４９は、サブマラートライアングルの中心とサブマラートライアングル領域における第二画素との間の第二距離を特定するように構成される第四特定ユニットと、サブマラートライアングルの外輪郭円の半径、第二距離および第二基準ベクトルのノルムに基づき、第二係数を特定するように構成される第五特定ユニットと、第二画素、第二係数および第二基準ベクトルに基づき、第二画素に対応する第三目標画素を特定するように構成される第六特定ユニットと、を含む。
可能な一実施形態では、第五特定ユニットは、サブマラートライアングルの外輪郭円の半径の二乗と第二距離の二乗との第二の差を計算するように構成される第六計算サブユニットと、第二の差を第二基準ベクトルのノルムの二乗と加算し、第二の和を得るように構成される第七計算サブユニットと、第二の差と第二の和との比を計算し、第二係数を得るように構成される第八計算サブユニットと、を含む。
可能な一実施形態では、第六特定ユニットは、第二基準画素が第二画素に指しているベクトルを第二画素ベクトルとして特定するように構成される第三特定サブユニットと、第二係数と第二基準ベクトルとの第二の積を計算するように構成される第九計算サブユニットと、第二画素ベクトルと第二の積との差を計算し、第二画素に対応する第三目標画素ベクトルを得るように構成される第十計算サブユニットと、第二基準画素の位置、および第二画素に対応する第三目標画素ベクトルに基づき、第二画素に対応する第三目標画素を特定するように構成される第四特定サブユニットと、を含む。
可能な一実施形態では、充填モジュール２４は、サブマラートライアングル領域における各画素に対応する、サブマラートライアングルの中心と画素との連結線に位置する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュール２４１と、各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュール２４２と、該顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュール２４３と、サブマラートライアングルの中心が第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュール２４４と、第一基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、該画素に指しているベクトルが第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定するように構成される第七特定サブモジュール２４５と、各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュール２４６と、該顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュール２４７と、サブマラートライアングルの中心が第二基準ポイントに指しているベクトルを第二基準ベクトルとして特定するように構成される第九特定サブモジュール２４８と、第二基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、該画素に指しているベクトルが第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定するように構成される第十特定サブモジュール２４９と、各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュール２４０と、を含む。
本開示の実施例は顔画像における顔キーポイントおよび顔回転角度を取得し、顔キーポイントおよび顔回転角度に基づき、顔画像におけるサブマラートライアングルの中心を特定し、顔キーポイントおよびサブマラートライアングルの中心に基づき、顔画像におけるサブマラートライアングル領域を特定し、サブマラートライアングル領域に色を充填することで、サブマラートライアングル領域の位置を正確に特定でき、正確に位置特定したサブマラートライアングル領域に基づいてサブマラートライアングルに対して充填処理を行い、より自然な充填効果を得ることができる。
本開示の実施例はさらに、プロセッサに実行される時に上記方法を実現するコンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体を提供する。コンピュータ読み取り可能記憶媒体は不揮発性コンピュータ読み取り可能記憶媒体であってもよい。
本開示の実施例はさらに、プロセッサおよびプロセッサ執行可能命令を記憶するためのメモリを含む電子機器であって、前記プロセッサは前記コンピュータプログラムを実行する時、本開示の実施例に記載の方法を実行するために用いられる電子機器を提供する。
電子機器は端末、サーバまたは他の形の機器として提供できる。
図２２は一例示的実施例により示された電子機器８００の構成模式図である。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。
図２２を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つ以上を含むことができる。
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つ以上のプロセッサ８２０を含んで命令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ以上のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。
メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において実行するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）およびタッチパネル（ＴＰ、Ｔｏｕｃｈ Ｐａｎｅｌ）を含むことができる。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されるマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。
センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが電子機器８００の表示装置およびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成される近接センサを含む。センサコンポーネント８１４はさらに、相補型金属酸化物半導体（ＣＭＯＳ、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）または電荷結合素子（ＣＣＤ、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばワイヤレスフィデリティ（ＷｉＦｉ）、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ、Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ、Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ、Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ、Ｂｌｕｅ Ｔｏｏｔｈ）技術および他の技術によって実現できる。
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行して上記方法を完了することができる。
図２３は一例示的実施例により示された電子機器１９００の構成模式図である。例えば、電子機器１９００はサーバとして提供できる。図２３を参照すると、電子機器１９００は、さらに一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１グループの命令に対応する一つ以上のモジュールを含むことができる。また、処理コンポーネント１９２２は命令を実行し、それによって上記方法を実行するように構成される。
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークにアクセスするように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含むことができる。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行して上記方法を完了することができる。
本開示の実施例はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の実施例の各態様を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含むことができる。
コンピュータ読み取り可能記憶媒体は命令実行機器により使用される命令を保存および記憶可能な有形機器であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶する。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ読み取り可能プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。
なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
これらのコンピュータ読み取り可能プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、中に保存された命令を有するコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。
コンピュータ読み取り可能プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

Claims (22)

  1. 顔画像における顔キーポイントおよび顔回転角度を取得することと、
    前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定することと、
    前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、
    前記サブマラートライアングル領域に色を充填することと、を含む、顔画像の処理方法。
  2. 前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定する前記ステップは、
    前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定することと、
    前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得ることと、を含む、請求項１に記載の方法。
  3. 前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定する前記ステップは、
    前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得ることと、
    前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定することと、
    前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、を含む、請求項１または２に記載の方法。
  4. 前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定する前記ステップは、
    前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得ることを含む、請求項３に記載の方法。
  5. 前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得る前記ステップは、
    前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得ることと、
    前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得ることと、
    前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得ることと、を含む、請求項４に記載の方法。
  6. 前記サブマラートライアングル領域に色を充填する前記ステップは、
    前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、ことと、
    前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、を含む、請求項１から５のいずれか一項に記載の方法。
  7. 前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、
    サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む、請求項６に記載の方法。
  8. 前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、
    二次導関数が常に０より大きい下に凸関数を採用して、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む、請求項６または７に記載の方法。
  9. 前記サブマラートライアングル領域に色を充填する前記ステップは、
    前記顔画像における第一基準ポイントを特定することと、
    前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、
    前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定することであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、ことと、
    前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、を含む、請求項１から８のいずれか一項に記載の方法。
  10. 前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、請求項９に記載の方法。
  11. 前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定する前記ステップは、
    前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定することと、
    サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定することと、
    前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む、請求項９または１０に記載の方法。
  12. サブマラートライアングルの外輪郭円の半径、前記第一距離および前記基準ベクトルのノルムに基づき、第一係数を特定する前記ステップは、
    前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算することと、
    前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得ることと、
    前記第一の差と前記第一の和との比を計算し、前記第一係数を得ることと、を含む、請求項１１に記載の方法。
  13. 前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定する前記ステップは、
    第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定することと、
    前記第一係数と前記第一基準ベクトルとの第一の積を計算することと、
    前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得ることと、
    前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む、請求項１１または１２に記載の方法。
  14. 前記サブマラートライアングル領域に色を充填する前記ステップは、
    前記顔画像における第二基準ポイントを特定することと、
    前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、
    前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定することであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、ことと、
    前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む、請求項１から１３のいずれか一項に記載の方法。
  15. 前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する、請求項１４に記載の方法。
  16. 前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定する前記ステップは、
    前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定することと、
    サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定することと、
    前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む、請求項１４または１５に記載の方法。
  17. サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定する前記ステップは、
    前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算することと、
    前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得ることと、
    前記第二の差と前記第二の和との比を計算し、前記第二係数を得ることと、を含む、請求項１６に記載の方法。
  18. 前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定する前記ステップは、
    第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定することと、
    前記第二係数と前記第二基準ベクトルとの第二の積を計算することと、
    前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得ることと、
    前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む、請求項１６または１７に記載の方法。
  19. 前記サブマラートライアングル領域に色を充填する前記ステップは、
    前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、ことと、
    前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、
    前記顔画像における第一基準ポイントを特定することであって、前記第一基準ポイントと鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、ことと、
    前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、
    前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定することであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、ことと、
    前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、
    前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定することと、
    前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、
    前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定することであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、ことと
    前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む、請求項１から５のいずれか一項に記載の方法。
  20. 顔画像における顔キーポイントおよび顔回転角度を取得するように構成される取得モジュールと、
    前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定するように構成される第一特定モジュールと、
    前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第二特定モジュールと、
    前記サブマラートライアングル領域に色を充填するように構成される充填モジュールと、を含む、顔画像の処理装置。
  21. プロセッサおよびプロセッサ実行可能命令を記憶するためのメモリを含む電子機器であって、
    前記プロセッサは、コンピュータプログラムを実行する時、請求項１から１９のいずれか一項に記載の方法を実行するために用いられる、電子機器。
  22. プロセッサに実行される時に請求項１から１９のいずれか一項に記載の方法を実現するコンピュータプログラム命令が記憶されている、コンピュータ読み取り可能記憶媒体。
JP2019571734A 2018-09-28 2018-11-26 顔画像の処理方法および装置、電子機器ならびに記憶媒体 Active JP6923682B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811141270.9A CN109446912B (zh) 2018-09-28 2018-09-28 人脸图像的处理方法及装置、电子设备和存储介质
CN201811141270.9 2018-09-28
PCT/CN2018/117498 WO2020062532A1 (zh) 2018-09-28 2018-11-26 人脸图像的处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021501924A JP2021501924A (ja) 2021-01-21
JP6923682B2 true JP6923682B2 (ja) 2021-08-25

Family

ID=65544695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019571734A Active JP6923682B2 (ja) 2018-09-28 2018-11-26 顔画像の処理方法および装置、電子機器ならびに記憶媒体

Country Status (6)

Country Link
US (3) US11341768B2 (ja)
JP (1) JP6923682B2 (ja)
CN (1) CN109446912B (ja)
SG (1) SG11201913734TA (ja)
TW (1) TWI718631B (ja)
WO (1) WO2020062532A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230331A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机存储介质
CN109446912B (zh) * 2018-09-28 2021-04-09 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质
CN110288551B (zh) * 2019-06-29 2021-11-09 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
JP7345306B2 (ja) * 2019-07-30 2023-09-15 キヤノン株式会社 画像処理装置、画像処理方法
CN116109479B (zh) * 2023-04-17 2023-07-18 广州趣丸网络科技有限公司 虚拟形象的面部调整方法、装置、计算机设备和存储介质
CN117095450B (zh) * 2023-10-20 2024-01-09 武汉大学人民医院（湖北省人民医院） 一种基于图像的眼干程度评估系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
US8103061B2 (en) * 2006-10-02 2012-01-24 Johnson & Johnson Consumer Companies, Inc. Method and apparatus for identifying facial regions
TWI417811B (zh) * 2008-12-31 2013-12-01 Altek Corp The Method of Face Beautification in Digital Image
JP4760999B1 (ja) * 2010-10-29 2011-08-31 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
TW201222432A (en) * 2010-11-26 2012-06-01 Inst Information Industry System, device, method, and computer program product for facial defect analysis using angular facial image
TWI545947B (zh) * 2011-04-08 2016-08-11 南昌歐菲光電技術有限公司 具有影像擷取及分析模組之顯示裝置
CN102201061B (zh) * 2011-06-24 2012-10-31 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
JP5991536B2 (ja) * 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US9149124B1 (en) * 2013-04-04 2015-10-06 Joseph Savovic Engineered seating system for use in medical lift chairs
CN104599297B (zh) * 2013-10-31 2018-07-10 厦门美图网科技有限公司 一种对人脸自动上腮红的图像处理方法
CN104091162B (zh) * 2014-07-17 2017-06-23 东南大学 基于特征点的三维人脸识别方法
US9589178B2 (en) * 2014-09-12 2017-03-07 Htc Corporation Image processing with facial features
WO2017142143A1 (en) * 2016-02-19 2017-08-24 Samsung Electronics Co., Ltd. Method and apparatus for providing summary information of a video
CN106446781A (zh) * 2016-08-29 2017-02-22 厦门美图之家科技有限公司 一种人脸图像处理方法及装置
CN106682598B (zh) * 2016-12-14 2021-02-19 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
CN108346171B (zh) * 2017-01-25 2021-12-10 斑马智行网络(香港)有限公司 一种图像处理方法、装置、设备和计算机存储介质
CN107862274A (zh) * 2017-10-31 2018-03-30 广东欧珀移动通信有限公司 美颜方法、装置、电子设备和计算机可读存储介质
CN107958439B (zh) * 2017-11-09 2021-04-27 北京小米移动软件有限公司 图像处理方法及装置
CN108447017B (zh) * 2018-05-31 2022-05-13 Oppo广东移动通信有限公司 人脸虚拟整容方法和装置
CN108550185A (zh) * 2018-05-31 2018-09-18 Oppo广东移动通信有限公司 人脸美化处理方法和装置
CN109446912B (zh) * 2018-09-28 2021-04-09 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP2021501924A (ja) 2021-01-21
CN109446912B (zh) 2021-04-09
US11341768B2 (en) 2022-05-24
US11741583B2 (en) 2023-08-29
TWI718631B (zh) 2021-02-11
WO2020062532A1 (zh) 2020-04-02
CN109446912A (zh) 2019-03-08
US11734804B2 (en) 2023-08-22
SG11201913734TA (en) 2020-05-28
US20200193142A1 (en) 2020-06-18
US20220207910A1 (en) 2022-06-30
US20220207911A1 (en) 2022-06-30
TW202013316A (zh) 2020-04-01

Similar Documents

Publication Publication Date Title
JP6923682B2 (ja) 顔画像の処理方法および装置、電子機器ならびに記憶媒体
CN107692997B (zh) 心率检测方法及装置
CN109816764B (zh) 图像生成方法及装置、电子设备和存储介质
JP7038853B2 (ja) 画像処理方法及び装置、電子機器並びにコンピュータ可読記憶媒体
CN111553864B (zh) 图像修复方法及装置、电子设备和存储介质
CN110991327A (zh) 交互方法及装置、电子设备和存储介质
CN110928627B (zh) 界面展示方法及装置、电子设备和存储介质
CN110889382A (zh) 虚拟形象渲染方法及装置、电子设备和存储介质
CN107341777B (zh) 图片处理方法及装置
CN111243011A (zh) 关键点检测方法及装置、电子设备和存储介质
CN109377446B (zh) 人脸图像的处理方法及装置、电子设备和存储介质
CN109325908B (zh) 图像处理方法及装置、电子设备和存储介质
CN112785672B (zh) 图像处理方法及装置、电子设备和存储介质
CN111091610B (zh) 图像处理方法及装置、电子设备和存储介质
CN109544458B (zh) 鱼眼图像校正方法、装置及其存储介质
CN111241887A (zh) 目标对象关键点识别方法及装置、电子设备和存储介质
WO2022134475A1 (zh) 点云地图构建方法及装置、电子设备、存储介质和程序
CN110807769B (zh) 图像显示控制方法及装置
CN112613447A (zh) 关键点检测方法及装置、电子设备和存储介质
CN112651880B (zh) 视频数据处理方法及装置、电子设备和存储介质
CN106598247B (zh) 基于虚拟现实的响应控制方法及装置
WO2022151687A1 (zh) 合影图像生成方法、装置、设备、存储介质、计算机程序及产品
CN114445298A (zh) 图像的处理方法、装置、电子设备及存储介质
CN106775245B (zh) 基于虚拟现实的用户属性设置方法及装置
CN112597944B (zh) 关键点检测方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210729

R150 Certificate of patent or registration of utility model

Ref document number: 6923682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250