JP6942825B2 - 顔画像を強化する方法及び装置、電子機器 - Google Patents

顔画像を強化する方法及び装置、電子機器 Download PDF

Info

Publication number
JP6942825B2
JP6942825B2 JP2020004082A JP2020004082A JP6942825B2 JP 6942825 B2 JP6942825 B2 JP 6942825B2 JP 2020004082 A JP2020004082 A JP 2020004082A JP 2020004082 A JP2020004082 A JP 2020004082A JP 6942825 B2 JP6942825 B2 JP 6942825B2
Authority
JP
Japan
Prior art keywords
image
face
weight map
grayscale image
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020004082A
Other languages
English (en)
Other versions
JP2021068407A (ja
Inventor
亮 ▲張▼
亮 ▲張▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Intelligent Technology Co Ltd
Original Assignee
Beijing Xiaomi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Intelligent Technology Co Ltd filed Critical Beijing Xiaomi Intelligent Technology Co Ltd
Publication of JP2021068407A publication Critical patent/JP2021068407A/ja
Application granted granted Critical
Publication of JP6942825B2 publication Critical patent/JP6942825B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理分野に関し、特に顔画像を強化する(enhancement)方法及び装置、電子機器に関する。
現在、ユーザは電子機器で写真を撮るとき、高解像度の画像を追求しており、特に顔画像を撮るとき、照明の効果、顔輪郭の鮮明さ、顔に不純物が入らない効果が期待される。しかしながら、カメラモジュールにより収集された画像に対して画像処理を行うとき、通常、顔画像全体が直接強化されるため、顔の元々平滑な領域の不純物も強化されることが多く、画質が低下される。そして、ユーザごとに顔の肌の状態や不純物も異なるため、同じ強化方法を使用して強化すると、明らかに各ユーザの自身の顔特徴に適応できず、ユーザの需要を満たしていない。
本発明は、関連技術における欠点を解決するための、顔画像を強化する方法及び装置、電子機器を提供する。
本発明の実施例の第1の態様によれば、顔画像を強化する方法が提供され、前記方法は、
顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定するステップと、
各特徴領域の初期強化重み係数を補正して、顔の離散強化重みマップが得られるステップと、
前記顔の離散強化重みマップに従って、前記顔画像に対応する顔の連続強化重みマップを取得するステップと、
前記顔の連続強化重みマップに従って、前記顔画像を強化して、顔強化画像が得られるステップと、を含む。
選択的に、前記各特徴領域の初期強化重み係数を補正して顔の離散強化重みマップが得られるステップは、
各特徴領域に対応する初期強化重み係数を取得するステップと、
各特徴領域の平滑係数及び前記顔画像に対応する生理学的特徴係数を決定するステップと、
各特徴領域の前記平滑係数及び前記生理学的特徴係数に従って、前記初期強化重み係数を補正して、前記顔の離散強化重みマップが得られるステップと、を含む。
選択的に、前記生理学的特徴係数には、性別係数及び年齢係数のうちの少なくとも1つが含まれる。
選択的に、前記各特徴領域の平滑係数を決定するステップは、
各特徴領域内の複数の画素の画素値の分散及び平均値を取得するステップと、
前記分散及び前記平均値に基づき、前記平滑係数を決定するステップと、を含む。
選択的に、前記顔の離散強化重みマップに従って前記顔画像に対応する顔の連続強化重みマップを取得するステップは、
ガイデッドイメージフィルタアルゴリズムに従って、前記顔の連続強化重みマップを決定するステップを含み、ここで、前記顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、前記顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される。
選択的に、前記顔の連続強化重みマップに従って前記顔画像を強化して、顔強化画像が得られるステップは、
画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られるステップと、
前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って、融合グレースケール画像が得られるステップと、
前記融合グレースケール画像に従って、前記顔強化画像を取得するステップと、を含む。
選択的に、前記画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られるステップは、
高コントラスト維持アルゴリズム及び前記元のグレースケール画像に基づき、前記強化グレースケール画像が得られるステップを含む。
選択的に、前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って融合グレースケール画像が得られるステップは、
次のアルゴリズムに基づいて前記融合グレースケール画像が得られるステップを含み、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された、(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である。
本発明の実施例の第2の態様によれば、顔画像を強化する装置が提供され、前記装置は、
顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定する決定モジュールと、
各特徴領域の初期強化重み係数を補正して、顔の離散強化重みマップが得られる補正モジュールと、
前記顔の離散強化重みマップに従って、前記顔画像に対応する顔の連続強化重みマップを取得する第1の取得モジュールと、
前記顔の連続強化重みマップに従って、前記顔画像を強化して、顔強化画像が得られる第2の取得モジュールと、を備える。
選択的に、前記補正モジュールは、
各特徴領域に対応する初期強化重み係数を取得する第1の取得ユニットと、
各特徴領域の平滑係数及び前記顔画像に対応する生理学的特徴係数を決定する決定ユニットと、
各特徴領域の前記平滑係数及び前記生理学的特徴係数に従って、前記初期強化重み係数を補正して、前記顔の離散強化重みマップが得られる補正ユニットと、を備える。
選択的に、前記生理学的特徴係数には、性別係数及び年齢係数のうちの少なくとも1つが含まれる。
選択的に、前記決定ユニットは、
各特徴領域内の複数の画素の画素値の分散及び平均値を取得する取得サブユニットと、
前記分散及び前記平均値に基づき、前記平滑係数を決定する決定サブユニットと、を備える。
選択的に、前記第1の取得モジュールは、
ガイデッドイメージフィルタアルゴリズムに従って、前記顔の連続強化重みマップを決定する計算ユニットを備え、ここで、前記顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、前記顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される。
選択的に、前記第2の取得モジュールは、
画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られる第2の取得ユニットと、
前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って融合グレースケール画像が得られる第3の取得ユニットと、
前記融合グレースケール画像に従って、前記顔強化画像を取得する第4の取得ユニットと、を備える。
選択的に、前記第2の取得ユニットは、
高コントラスト維持アルゴリズム及び前記元のグレースケール画像に基づき、前記強化グレースケール画像が得られる取得サブユニットを備える。
選択的に、前記第3の取得ユニットは、
次のアルゴリズムに基づいて前記融合グレースケール画像が得られる計算サブユニットを備え、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された、(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である。
本発明の実施例の第3の態様によれば、コンピュータ命令が記憶されたコンピュータ読み取り可能な記録媒体が提供され、この命令がプロセッサーにより実行されるとき、上記のいずれかの実施例に記載の方法のステップを実現する。
本発明の実施例の第4の態様によれば、電子機器が提供され、前記電子機器は、
プロセッサーと、
プロセッサーで実行可能な命令を記憶するためのメモリと、を備え、
ここで、前記プロセッサーは、実行されると、上記のいずれかの実施例に記載の方法のステップを実現するように構成される。
本発明に提供された技術案によれば、以下のような技術効果が奏される。
上記の実施例から分かるように、本発明では、顔画像の特徴領域ごとに異なる重みを構成することができるため、顔の異なる領域に対して異なる程度の強化を行うことができ、これにより、不純物が比較的多い領域を平滑化するとともに、元々平滑な領域が過度に強化されることを回避することができ、顔画像の画質の向上に有利である。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定しない。
ここの図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に該当する実施例を例示するとともに、明細書とともに本発明の原理を解釈する。
一例示的な実施例に係る顔画像を強化する方法を示すフローチャートである。 一例示的な実施例に係る別の顔画像を強化する方法を示すフローチャートである。 一例示的な実施例に係る顔初期強化重みマップである。 一例示的な実施例に係る顔の離散強化重みマップである。 一例示的な実施例に係る顔の連続強化重みマップである。 一例示的な実施例に係る顔画像の強化効果を示す比較図である。 一例示的な実施例に係る顔画像を強化する装置を示す第1のブロック図である。 一例示的な実施例に係る顔画像を強化する装置を示す第2のブロック図である。 一例示的な実施例に係る顔画像を強化する装置を示す第3のブロック図である。 一例示的な実施例に係る顔画像を強化する装置を示す第4のブロック図である。 一例示的な実施例に係る顔画像を強化する装置を示す第5のブロック図である。 一例示的な実施例に係る顔画像を強化する装置を示す第6のブロック図である。 一例示的な実施例に係る顔画像を強化する装置を示す第7のブロック図である。 一例示的な実施例に係る顔画像を強化する装置に適用されるブロック図である。
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施形態に記載の実施例は、本発明と一致する全ての実施例を代表するものではない。即ち、それらは、特許請求の範囲に記載の本発明のある側面に一致する装置及び方法の例に過ぎない。
本発明に記載の用語は、特定の実施例を説明する目的で使用されるも的に過ぎず、本発明を限定するものではない。本発明及び添付された特許請求の範囲に記載の単数形式の「1種類」、「前記」及び「当該」は、前後の文章においてそれぞれ他の意味を含有すると明確に記載される以外には、複数の形式も含む。なお、本発明に記載の「及び/又は」は、挙げられる事項の1つ又は複数の何れ又は全ての組み合わせを意味する。
また、本発明は、第1、第2、第3等の用語を使って各種の情報を説明するが、それらの情報は上記用語に限定されない。それらの用語は、同一種類の情報同士を区分するためのも的に過ぎない。例えば、本発明の範囲から逸脱しない状況で、第1の情報を第2の情報と称しても良い。同じように、第2の情報を第1の情報と称してもよい。ここで使っている用語「……場合」は、上下文の意味によって、「……時」或は「……と」又は「確定に応じる」に解釈されてもよい。
図1は、一例示的な実施例に係る顔画像を強化する方法を示すフローチャートであり、図1に示すように、この方法は、端末に適用され、下記のステップを含んでもよい。
ステップ101において、顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定する。
本実施例では、端末に構成されたカメラにより収集された顔画像を取得し、その後、CNN(Convolutional Neural Networks、畳み込みニューラルネットワーク)に基づいて顔アライメントを行って顔の主要な特徴点を得ることができ、例えば、目、鼻、眉毛、口、顔等の複数の輪郭点を主要な特徴点として決定することができ、取得された複数の主要な特徴点に従って対応する複数の特徴領域を得ることができ、この特徴領域には、眉毛領域、口領域、鼻領域、頬領域、目領域及び顔輪郭等の特徴領域が含まれてもよい。ここで、この顔アライメントアルゴリズムには、顔の幾何学的構造としてエッジを使用して顔特徴点の位置特定を行うエッジ感知顔アライメントアルゴリズムが含まれてもよく、もちろん、エッジ感知顔アライメントアルゴリズムに加えて、他の顔アライメントアルゴリズムを採用して上記の複数の特徴領域を取得することもできる。例えば、3D顔アルゴリズム又は3D密顔アライメントアルゴリズムが採用されてもよく、本発明はこれを制限しない。
ステップ102において、各特徴領域の初期強化重み係数を補正して、顔の離散強化重みマップが得られる。
本実施例では、この初期強化重み係数は、機械学習の結果に従って各特徴領域に対して得られた固定重み係数であってもよい。ただし、ユーザによって顔の状態が異なるため、例えば、額が比較的滑らかなユーザもいれば、額領域にニキビが比較的多いユーザもいるため、この2つの異なる種類のユーザに対して額領域を強化する場合は、それに応じて強化強度も変更する必要があり、これにより、額の元々滑らかな領域が過度に強化されることを回避する。したがって、本発明では、初期強化重み係数を補正して、各特徴領域に適した異なる強化重みを得ることができ、各領域の強化重みを統合して、顔画像全体に対する顔の離散強化重みマップを得ることができることを提案する。
ここで、初期強化重み係数の補正は、次の方法を採用することができ、まず、各特徴領域を取得した後、各特徴領域に対応する初期強化重み係数を取得し、その後、各特徴領域の平滑係数及び顔画像に対応する生理学的特徴係数を決定してから、各特徴領域の平滑係数及び生理学的特徴係数に従って初期強化重み係数を補正し、補正された強化重みに基づいて顔の離散強化重みマップが得られる。
年齢が比較的高いユーザと年齢が比較的若いユーザとの間は、顔不純物状態に違いがあるため、この生理学的特徴係数には年齢係数が含まれてもよく、性別が異なっても顔不純物状態に違いがあるため、この生理学的特徴係数には性別係数が含まれてもよく、もちろん、また幾つかの実施例では、この生理学的特徴係数には年齢係数及び性別係数が含まれてもよい。平滑係数は、顔の各特徴領域の不純物状態を特徴付けるために使用されることができ、具体的に、次の方式によりこの平滑係数を取得することができ、各特徴領域内の複数の画素の画素値の分散及び平均値を取得し、その後、分散又は平均値に基づいてこの平滑係数を決定するか、又は分散及び平均値に基づいて平滑係数を決定してもよく、本発明はこれを制限しない。
ステップ103において、前記顔の離散強化重みマップに従って、前記顔画像に対応する顔の連続強化重みマップを取得する。
本実施例では、まず、RGB色空間内の元の画像に基づいてこの元の画像に対応する元のグレースケール画像が得られ、その後、ガイデッドイメージフィルタアルゴリズムに従って、顔の連続強化重みマップを決定することができ、ここで、顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される。
ステップ104において、前記顔の連続強化重みマップに従って前記顔画像を強化して、顔強化画像が得られる。
本実施例では、画像強化アルゴリズムにより元のグレースケール画像を強化して、強化グレースケール画像を得ることができ、連続ぼけ量マップ、元のグレースケール画像及び強化グレースケール画像に従って融合グレースケール画像を得ることができ、さらに、この融合グレースケール画像をRGBの色空間内に変換して、強化処理された顔強化画像を得ることができる。ここで、各画素の重みに従って強化グレースケール画像及び元のグレースケール画像を融合するため、元の画像内の平滑領域を過度に強化させることを回避し、平滑領域の不純物が過度に拡大されることを回避することができる。
ここで、この画像強化アルゴリズムには、高コントラスト維持アルゴリズム、対数画像強化アルゴリズム、指数画像強化アルゴリズム、ラプラス演算子画像強化アルゴリズム及びガンマ変換アルゴリズムのうちの1つ以上が含まれてもよく、本発明はこれを制限しない。次のアルゴリズムにより連続ぼけ量マップ、元のグレースケール画像及び前記強化グレースケール画像に基づいて融合グレースケール画像を得ることができ、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である。
上記の実施例から分かるように、本発明では、顔画像の特徴領域ごとに異なる重みを構成することができるため、顔の異なる領域に対して異なる程度の強化を行うことができ、これにより、不純物が比較的多い領域を平滑化するとともに、元々平滑な領域が過度に強化されることを回避することができ、顔画像の画質の向上に有利である。
上記の実施例で説明された画像処理方法を詳細に説明するために、以下に、一具体的な実施例に基づいて説明する。図2に示すように、この画像処理方法は、下記のステップを含んでもよい。
ステップ201において、顔画像を取得する。
本実施例では、ユーザが端末に構成されたカメラモジュールをトリガすると、端末で撮像することができる。例えば、ユーザが端末に構成されたフロントカメラモジュールをトリガすると、この顔画像を得ることができ、この顔画像は処理前の画像である。もちろん、ユーザが端末に構成されたリアカメラモジュールをトリガするときにも、上記の顔画像を得ることができ、本発明はこれを制限しない。
ステップ202において、顔画像上の複数の特徴領域を決定する。
本実施例では、CNNに基づいて顔アライメントを行って顔の主要な特徴点が得られ、例えば、目、鼻、眉毛、口、顔等の複数の輪郭点を主要な特徴点として決定することができ、取得された複数の主要な特徴点に従って対応する複数の特徴領域を得ることができ、この特徴領域には、眉毛領域、口領域、鼻領域、頬領域、目領域及び顔輪郭等の特徴領域が含まれてもよい。
ステップ203において、各特徴領域に対応する初期強化重み係数を取得する。
本実施例では、この初期強化重み係数は電子機器内に事前に記憶された所定の係数であり、この所定の係数は経験から得てもよいし、機械学習によって得てもよく、本発明はこれを制限しない。例えば、機械学習により得られた初期強化重み係数及び対応する各特徴領域に基づき、図3に示す顔の各領域の重みマップを得ることができる。
ステップ204において、各特徴領域の平滑係数を取得する。
本実施例では、各特徴領域内の複数の画素の画素値の平均値及び分散(variance)に基づいてこの特徴領域の平滑係数を決定することができる。
具体的に、次の式を使用して各特徴領域の画素値の平均値を得ることができ、
Figure 0006942825
ここで、xは各特徴領域の画素値であり、uは各特徴領域の平均画素値である。
次の式により各特徴領域の画素値の分散を得ることができ、
Figure 0006942825
ここで、xは各特徴領域の画素値であり、uは各特徴領域の平均画素値であり、Dは各特徴領域の画素分散である。
ここで、画素値の分散が小さいほど、この特徴領域が平滑であるため、平滑係数は比較的小さくてもよく、これにより、後で補正された初期重み強化係数を比較的小さくすることができる。ここで、この分散及び平均値に基づいて計算して平滑係数を得ることができる。
ステップ205において、顔画像の生理学的特徴係数を取得する。
本実施例では、年齢が比較的高いユーザと年齢が比較的若いユーザとの間は、顔不純物状態に違いがあるため、この生理学的特徴係数には年齢係数が含まれてもよく、性別が異なっても顔不純物状態に違いがあるため、この生理学的特徴係数には性別係数が含まれてもよく、もちろん、また幾つかの実施例では、この生理学的特徴係数には年齢係数及び性別係数が含まれてもよい。
ステップ206において、初期強化重み係数、平滑係数及び生理学的特徴係数に基づいて顔の離散強化重みマップが得られる。
本実施例では、初期強化重み係数がCであり、平滑係数がDであり、性別係数がAであり、年齢係数がBであると仮定すると、次の方式で計算して補正された強化重みEを得ることができ、
Figure 0006942825
ここで、iは各特徴領域の番号である。
これに基づいて各特徴領域の強化重みEが得られて、図4に示す顔の離散強化重みマップMを得ることができる。
ステップ207において、顔の離散強化重みマップに従って顔の連続強化重みマップが得られる。
本実施例では、ガイデッドフィルタアルゴリズムにより顔の離散強化重みマップを顔の連続強化重みマップに拡散することができる。ここで、顔画像の元のグレースケール画像Y_Aをガイデッドイメージとし、顔の離散強化重みマップを入力画像として計算して、基本的に顔の離散強化重みマップと同様であって、テクスチャが元のグレースケール画像Y_Aに相当な図5に示す顔の連続強化重みマップMを得ることができる。
ステップ208において、顔画像に対応する元のグレースケール画像に基づいて強化グレースケール画像が得られる。
本実施例では、画像強化アルゴリズムにより元のグレースケール画像Y_Aを強化して、強化グレースケール画像Y_Bを得ることができ、画像強化アルゴリズムには、高コントラスト維持アルゴリズム、対数画像強化アルゴリズム、指数画像強化アルゴリズム、ラプラス演算子画像強化アルゴリズム及びガンマ変換アルゴリズムのうちの1つ以上が含まれてもよく、本発明はこれを制限しない。高コントラスト維持アルゴリズムを例として、任意のガウスカーネルを使用して元のグレースケール画像Y_Aをぼかしてぼけ画像Y_Aを得ることができ、その後、元のグレースケール画像Y_A及びぼけ画像Y_Aに基づいて高周波詳細画像Y_Aが得られ、この高周波詳細画像Y_Aを所定のスケーリング量に従ってスケーリングしてから元のグレースケール画像Y_A内に蓄積して、強化グレースケール画像Y_Bを得ることができる。ここで、この所定のスケーリング量は1.5、2又は2.5等であってもよく、本発明はこれを制限しない。
ステップ209において、顔の連続強化重みマップ及び強化グレースケール画像に従って融合グレースケール画像が得られる。
本実施例では、次のアルゴリズムにより連続ぼけ量マップ、元のグレースケール画像及び前記強化グレースケール画像に基づいて融合グレースケール画像を得ることができ、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像であり、i、jはいずれも正の整数であってもよく、具体的には、座標系を確立することによって決定することができる。
ステップ210において、融合グレースケール画像に従って、顔強化画像が得られる。
本実施例では、図6に示すように、左側は元の顔画像であり、右側は強化された顔強化画像である。明らかに、元の顔画像と比較して、顔強化画像がより鮮明であり、且つ顔のキズが過度に拡大されることはなく、画質が向上された。
前述した顔画像を強化する方法の実施例に対応して、本発明は、顔画像を強化する装置の実施例をさらに提供する。
図7は、一例示的な実施例に係る顔画像を強化する装置を示す第1のブロック図である。図7を参照すると、この装置は、決定モジュール71、補正モジュール72、第1の取得モジュール73及び第2の取得モジュール74を備え、ここで、
決定モジュール71は、顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定する。
補正モジュール72は、各特徴領域の初期強化重み係数を補正して、顔の離散強化重みマップが得られる。
第1の取得モジュール73は、前記顔の離散強化重みマップに従って、前記顔画像に対応する顔の連続強化重みマップを取得する。
第2の取得モジュール74は、前記顔の連続強化重みマップに従って、前記顔画像を強化して、顔強化画像が得られる。
図8に示すように、図8は、一例示的な実施例に係る顔画像を強化する装置を示す第2のブロック図であり、この実施例は、前述した図7に示す実施例に基づいており、前記補正モジュール72は、第1の取得ユニット721、決定ユニット722及び補正ユニット723を備え、ここで、
第1の取得ユニット721は、各特徴領域に対応する初期強化重み係数を取得する。
決定ユニット722は、各特徴領域の平滑係数及び前記顔画像に対応する生理学的特徴係数を決定する。
補正ユニット723は、各特徴領域の前記平滑係数及び前記生理学的特徴係数に従って前記初期強化重み係数を補正して、前記顔の離散強化重みマップが得られる。
選択的に、前記生理学的特徴係数には、性別係数及び年齢係数のうちの少なくとも1つが含まれる。
図9に示すように、図9は、一例示的な実施例に係る顔画像を強化する装置を示す第3のブロック図であり、この実施例は、前述した図8に示す実施例に基づいており、前記決定ユニット722は、取得サブユニット7221及び決定サブユニット7222を備え、ここで、取得サブユニット7221は、各特徴領域内の複数の画素の画素値の分散及び平均値を取得する。
決定サブユニット7222は、前記分散及び前記平均値に基づき、前記平滑係数を決定する。
図10に示すように、図10は、一例示的な実施例に係る顔画像を強化する装置を示す第4のブロック図であり、この実施例は、前述した図7に示す実施例に基づいており、前記第1の取得モジュール73は、計算ユニット731を備え、
計算ユニット731は、ガイデッドイメージフィルタに従って、前記顔の連続強化重みマップを決定し、ここで、前記顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、前記顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される。
なお、上記の図10に示す装置の実施例における計算ユニット731の構造は前述した図8又は図9の装置の実施例に含まれてもよく、本発明はこれを制限しない。
図11に示すように、図11は、一例示的な実施例に係る顔画像を強化する装置を示す第5のブロック図であり、この実施例は、前述した図7に示す実施例に基づいており、前記第2の取得モジュール74は、第2の取得ユニット741、第3の取得ユニット742及び第4の取得ユニット743を備え、ここで、
第2の取得ユニット741は、画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られる。
第3の取得ユニット742は、前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って融合グレースケール画像が得られる。
第4の取得ユニット743は、前記融合グレースケール画像に従って、前記顔強化画像を取得する。
なお、上記の図11に示す装置の実施例における第2の取得ユニット741、第3の取得ユニット742及び第4の取得ユニット743の構造は前述した図8〜図10のいずれかの装置の実施例に含まれてもよく、本発明はこれを制限しない。
図12に示すように、図12は、一例示的な実施例に係る顔画像を強化する装置を示す第6のブロック図であり、この実施例は、前述した図11に示す実施例に基づいており、前記第2の取得ユニット741は、取得サブユニット7411を備え、
取得サブユニット7411は、高コントラスト維持アルゴリズム及び前記元のグレースケール画像に基づいて前記強化グレースケール画像が得られる。
図13に示すように、図13は、一例示的な実施例に係る顔画像を強化する装置を示す第7のブロック図であり、この実施例は、前述した図11に示す実施例に基づいており、前記第3の取得ユニット742は、計算サブユニット7421を備え、
計算サブユニット7421は、次のアルゴリズムに基づいて前記融合グレースケール画像が得られ、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である。
なお、上記の図13に示す装置の実施例における計算サブユニット7421の構造はまた、前述した図12の装置の実施例に含まれてもよく、本発明はこれを制限しない。
上記の実施例における装置に関して、各モジュールが操作を実行する具体的な方法は、この方法に係る実施例で詳細に説明されており、ここでは詳細な説明を省略する。
装置の実施例に関して、それは基本的に方法の実施例に対応するため、関連する部分は方法の実施例の部分の説明を参照すればよい。上記の装置の実施例は単なる例示的なものであり、ここで、上記の分離部材として説明されるユニットは物理的に分離されていてもよいし、分離されなくてもよく、ユニットとして表示される部材は、物理ユニットであってもよいし、物理ユニットでなくてもよく、即ち、1つの箇所に位置されてもよいし、複数のネットワークユニット上に分散されてもよい。実際の需要に応じて、これらのモジュールの一部又は全部を選択して本発明の解決策の目的を実現することができる。当業者は、創造的な努力なしに理解及び実施することができる。
相応に、本発明は、顔画像を強化する装置をさらに提供し、前記装置は、プロセッサーと、プロセッサーで実行可能な命令を記憶するためのメモリと、を備え、ここで、前記プロセッサーは、顔画像の特徴点に従って前記顔画像上の複数の特徴領域を決定し、各特徴領域の初期強化重み係数を補正して顔の離散強化重みマップが得られ、前記顔の離散強化重みマップに従って前記顔画像に対応する顔の連続強化重みマップを取得し、前記顔の連続強化重みマップに従って前記顔画像を強化して、顔強化画像が得られるように構成される。
相応に、本発明は、端末をさらに提供し、前記端末は、メモリと、1つ以上のプログラムと、を備え、ここで、1つ以上のプログラムはメモリ内に記憶され、且つ1つ以上のプロセッサーにより実行されるように構成され、前記1つ以上のプログラムには、以下の操作を実行するための命令が含まれ、顔画像の特徴点に従って前記顔画像上の複数の特徴領域を決定し、各特徴領域の初期強化重み係数を補正して顔の離散強化重みマップが得られ、前記顔の離散強化重みマップに従って前記顔画像に対応する顔の連続強化重みマップを取得し、前記顔の連続強化重みマップに従って前記顔画像を強化して、顔強化画像が得られる。
図14は、一例示的な実施例に係る顔画像を強化する装置1400に適用されるブロック図である。例えば、装置1400は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、PDA等のものであってもよい。
図14を参照すると、装置1400は、処理ユニット1402、メモリ1404、電源ユニット1406、マルチメディアユニット1408、オーディオユニット1410、入力/出力(I/O)インタフェース1412、センサーユニット1414、及び通信ユニット1416からなる群から選ばれる少なくとも1つを備えてもよい。
処理ユニット1402は、一般的には、装置1400の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット1402は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも1つのプロセッサー1420を備えてもよい。また、処理ユニット1402は、他のユニットとのインタラクションを便利にさせるように、少なくとも1つのモジュールを備えてもよい。例えば、処理ユニット1402は、マルチメディアユニット1408とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
メモリ1404は、装置1400での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置1400で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ1404は、何れの種類の揮発性又は不揮発性メモリ、例えば、SRAM(Static Random Access Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、EPROM(Erasable Programmable Read Only Memory)、PROM(Programmable ROM)、ROM(Read Only Member)、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
電源ユニット1406は、装置1400の各種ユニットに電力を供給するためのものであり、電源管理システム、1つ又は複数の電源、及び装置1400のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
マルチメディアユニット1408は、装置1400とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ(LCD)やタッチパネル(TP)を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも1つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。一実施例では、マルチメディアユニット1408は、フロントカメラ及び/又はバックカメラを有してもよい。装置1400が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び/又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
オーディオユニット1410は、オーディオ信号を出力及び/又は入力するように配置される。例えば、オーディオユニット1410は、マイクロフォン(MiC)を有してもよい。装置1400が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ1404にさらに記憶されてもよいし、通信ユニット1416を介して送信されてもよい。一実施例では、オーディオユニット1410は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
I/Oインタフェース1412は、処理ユニット1402と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
センサーユニット1414は、装置1400のために各方面の状態を評価する少なくとも1つのセンサーを備えてもよい。例えば、センサーユニット1414は、装置1400のオン/オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、装置1400のディスプレイ及びキーパッドである。センサーユニット1414は、装置1400又は装置1400の1つのユニットの位置の変化、ユーザによる装置1400への接触の有無、装置1400の方向又は加速/減速、装置1400の温度変化などを検出することができる。センサーユニット1414は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット1414は、イメージングアプリケーションに用いるための光センサー、例えば、CMOS又はCCD画像センサーを有してもよい。一実施例では、当該センサーユニット1414は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。
通信ユニット1416は、装置1400と他の設備の間との無線又は有線通信を便利にさせるように配置される。装置1400は、通信標準に基づく無線ネットワーク、例えば、WiFi、2G又は3G、4G LTE、5G NR又はそれらの組み合わせにアクセスできる。1つの例示的な実施例では、通信ユニット1416は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。1つの例示的な実施例では、前記通信ユニット1416は、近距離通信を促進するために近距離無線通信(NFC)モジュールをさらに備えてもよい。例えば、NFCモジュールは、無線周波数認識装置(RFID:Radio Frequency IDentification)技術、赤外線データ協会(IrDA:Infrared Data Association)技術、超広帯域無線(UWB:Ultra Wide Band)技術、ブルートゥース(登録商標)(BT:Bluetooth(登録商標))技術及び他の技術によって実現されてもよい。
例示的な実施例では、装置1400は、上述した方法を実行するために、1つ又は複数の特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、デジタル信号プロセッサー(DSP:Digital Signal Processor)、デジタル信号処理デバイス(DSPD:Digital Signal Processing Device)、プログラマブルロジックデバイス(PLD:Programmable Logic Device)、書替え可能ゲートアレイ(FPGA:Field−Programmable Gate Array)、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ1404をさらに提供する。前記命令は、装置1400のプロセッサー1420により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク及び光データメモリ等であってもよい。
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。

Claims (16)

  1. 顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定するステップと、
    各特徴領域の初期強化重み係数を補正して、顔の離散強化重みマップが得られるステップと、
    前記顔の離散強化重みマップに従って、前記顔画像に対応する顔の連続強化重みマップを取得するステップと、
    前記顔の連続強化重みマップに従って、前記顔画像を強化して、顔強化画像が得られるステップと、を含み、
    前記顔の離散強化重みマップに従って前記顔画像に対応する顔の連続強化重みマップを取得するステップは、
    ガイデッドイメージフィルタアルゴリズムに従って、前記顔の連続強化重みマップを決定するステップを含み、ここで、前記顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、前記顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される
    ことを特徴とする顔画像を強化する方法。
  2. 前記各特徴領域の初期強化重み係数を補正して顔の離散強化重みマップが得られるステップは、
    各特徴領域に対応する初期強化重み係数を取得するステップと、
    各特徴領域の平滑係数及び前記顔画像に対応する生理学的特徴係数を決定するステップと、
    各特徴領域の前記平滑係数及び前記生理学的特徴係数に従って、前記初期強化重み係数を補正して、前記顔の離散強化重みマップが得られるステップと、を含む
    ことを特徴とする請求項1に記載の顔画像を強化する方法。
  3. 前記生理学的特徴係数には、性別係数及び年齢係数のうちの少なくとも1つが含まれることを特徴とする請求項2に記載の顔画像を強化する方法。
  4. 前記各特徴領域の平滑係数を決定するステップは、
    各特徴領域内の複数の画素の画素値の分散及び平均値を取得するステップと、
    前記分散及び前記平均値に基づき、前記平滑係数を決定するステップと、を含む
    ことを特徴とする請求項2に記載の顔画像を強化する方法。
  5. 前記顔の連続強化重みマップに従って前記顔画像を強化して、顔強化画像が得られるステップは、
    画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られるステップと、
    前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って、融合グレースケール画像が得られるステップと、
    前記融合グレースケール画像に従って、前記顔強化画像を取得するステップと、を含む
    ことを特徴とする請求項1に記載の顔画像を強化する方法。
  6. 前記画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られるステップは、
    高コントラスト維持アルゴリズム及び前記元のグレースケール画像に基づき、前記強化グレースケール画像が得られるステップを含む
    ことを特徴とする請求項に記載の顔画像を強化する方法。
  7. 前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って融合グレースケール画像が得られるステップは、
    次のアルゴリズムに基づいて前記融合グレースケール画像が得られるステップを含み、
    Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
    であり、
    ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された、(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である
    ことを特徴とする請求項に記載の顔画像を強化する方法。
  8. 顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定する決定モジュールと

    各特徴領域の初期強化重み係数を補正して、顔の離散強化重みマップが得られる補正モジュールと、
    前記顔の離散強化重みマップに従って、前記顔画像に対応する顔の連続強化重みマップを取得する第1の取得モジュールと、
    前記顔の連続強化重みマップに従って、前記顔画像を強化して、顔強化画像が得られる第2の取得モジュールと、を備え
    前記第1の取得モジュールは、
    ガイデッドイメージフィルタアルゴリズムに従って、前記顔の連続強化重みマップを決定する計算ユニットを備え、ここで、前記顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、前記顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される
    ことを特徴とする顔画像を強化する装置。
  9. 前記補正モジュールは、
    各特徴領域に対応する初期強化重み係数を取得する第1の取得ユニットと、
    各特徴領域の平滑係数及び前記顔画像に対応する生理学的特徴係数を決定する決定ユニットと、
    各特徴領域の前記平滑係数及び前記生理学的特徴係数に従って、前記初期強化重み係数を補正して、前記顔の離散強化重みマップが得られる補正ユニットと、を備える
    ことを特徴とする請求項に記載の顔画像を強化する装置。
  10. 前記生理学的特徴係数には、性別係数及び年齢係数のうちの少なくとも1つが含まれる
    ことを特徴とする請求項に記載の顔画像を強化する装置。
  11. 前記決定ユニットは、
    各特徴領域内の複数の画素の画素値の分散及び平均値を取得する取得サブユニットと、
    前記分散及び前記平均値に基づき、前記平滑係数を決定する決定サブユニットと、を備える
    ことを特徴とする請求項に記載の顔画像を強化する装置。
  12. 前記第2の取得モジュールは、
    画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られる第2の取得ユニットと、
    前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って融合グレースケール画像が得られる第3の取得ユニットと、
    前記融合グレースケール画像に従って、前記顔強化画像を取得する第4の取得ユニットと、を備える
    ことを特徴とする請求項に記載の顔画像を強化する装置。
  13. 前記第2の取得ユニットは、
    高コントラスト維持アルゴリズム及び前記元のグレースケール画像に基づき、前記強化グレースケール画像が得られる取得サブユニットを備える
    ことを特徴とする請求項12に記載の顔画像を強化する装置。
  14. 前記第3の取得ユニットは、
    次のアルゴリズムに基づいて前記融合グレースケール画像が得られる計算サブユニットを備え、
    Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
    であり、
    ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された、(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である
    ことを特徴とする請求項12に記載の顔画像を強化する装置。
  15. コンピュータ命令が記憶されたコンピュータ読み取り可能な記録媒体であって、
    この命令がプロセッサーにより実行されるとき、請求項1〜のいずれか1項に記載の
    方法のステップを実現する
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  16. プロセッサーと、
    プロセッサーで実行可能な命令を記憶するためのメモリと、を備え、
    ここで、前記プロセッサーは、実行されると、請求項1〜のいずれか1項に記載の方法のステップを実現するように構成される
    ことを特徴とする電子機器。
JP2020004082A 2019-10-24 2020-01-15 顔画像を強化する方法及び装置、電子機器 Active JP6942825B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911019722.0A CN110796617B (zh) 2019-10-24 2019-10-24 面部图像的增强方法及装置、电子设备
CN201911019722.0 2019-10-24

Publications (2)

Publication Number Publication Date
JP2021068407A JP2021068407A (ja) 2021-04-30
JP6942825B2 true JP6942825B2 (ja) 2021-09-29

Family

ID=69441203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004082A Active JP6942825B2 (ja) 2019-10-24 2020-01-15 顔画像を強化する方法及び装置、電子機器

Country Status (5)

Country Link
US (1) US11250547B2 (ja)
EP (1) EP3813010B1 (ja)
JP (1) JP6942825B2 (ja)
KR (1) KR102273059B1 (ja)
CN (1) CN110796617B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379874B (zh) * 2020-02-25 2023-04-07 武汉Tcl集团工业研究院有限公司 一种人脸动画生成方法、智能终端及存储介质
CN112069877B (zh) * 2020-07-21 2022-05-03 北京大学 一种基于边缘信息和注意力机制的人脸信息识别方法
US11983806B1 (en) 2023-08-30 2024-05-14 OpenAI Opco, LLC Systems and methods for image generation with machine learning models

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082211B2 (en) 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
JP2006113658A (ja) * 2004-10-12 2006-04-27 Canon Inc 画像処理装置及び方法、及びプログラムを記録した記憶媒体
JP5239126B2 (ja) * 2006-04-11 2013-07-17 株式会社ニコン 電子カメラ
US8290257B2 (en) * 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
CA2635068A1 (en) 2007-09-18 2009-03-18 Parham Aarabi Emulating cosmetic facial treatments with digital images
CN106919911A (zh) * 2008-07-30 2017-07-04 快图有限公司 使用脸部检测的自动脸部和皮肤修饰
US20110026818A1 (en) * 2009-07-30 2011-02-03 Jonathan Yen System and method for correction of backlit face images
JP2012098861A (ja) * 2010-11-01 2012-05-24 Seiko Epson Corp 画像処理装置、画像処理方法
US20140369554A1 (en) 2013-06-18 2014-12-18 Nvidia Corporation Face beautification system and method of use thereof
JP6417851B2 (ja) 2014-10-28 2018-11-07 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP2016213718A (ja) * 2015-05-11 2016-12-15 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN105096280B (zh) * 2015-06-17 2019-01-11 浙江宇视科技有限公司 处理图像噪声的方法及装置
JP2017102642A (ja) 2015-12-01 2017-06-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN105761214B (zh) * 2016-01-14 2019-02-22 西安电子科技大学 基于轮廓波变换与引导滤波的遥感图像融合方法
CN105530434A (zh) * 2016-02-01 2016-04-27 深圳市金立通信设备有限公司 一种拍摄方法及终端
KR102636243B1 (ko) * 2016-02-19 2024-02-14 삼성전자주식회사 이미지를 처리하기 위한 방법 및 그 전자 장치
US10491895B2 (en) * 2016-05-23 2019-11-26 Intel Corporation Fast and robust human skin tone region detection for improved video coding
JP6859611B2 (ja) * 2016-06-09 2021-04-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10096089B2 (en) * 2017-01-04 2018-10-09 Facebook, Inc. Accelerated skin smoothing effect
JP2018163648A (ja) * 2017-03-27 2018-10-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107392866B (zh) * 2017-07-07 2019-09-17 武汉科技大学 一种光照鲁棒的人脸图像局部纹理增强方法
US20190311464A1 (en) * 2018-04-05 2019-10-10 Qualcomm Incorporated Tuning for deep-learning-based color enhancement systems
CN108648163A (zh) * 2018-05-17 2018-10-12 厦门美图之家科技有限公司 一种人脸图像的增强方法及计算设备
JP7199849B2 (ja) * 2018-06-27 2023-01-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN109146823A (zh) * 2018-09-25 2019-01-04 广州华多网络科技有限公司 基于高反差保留的图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR20210049649A (ko) 2021-05-06
US20210125311A1 (en) 2021-04-29
EP3813010A1 (en) 2021-04-28
EP3813010B1 (en) 2023-08-30
JP2021068407A (ja) 2021-04-30
KR102273059B1 (ko) 2021-07-07
CN110796617A (zh) 2020-02-14
US11250547B2 (en) 2022-02-15
CN110796617B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
US10565763B2 (en) Method and camera device for processing image
CN111641778B (zh) 一种拍摄方法、装置与设备
JP6942825B2 (ja) 顔画像を強化する方法及び装置、電子機器
CN107862673B (zh) 图像处理方法及装置
CN108898546B (zh) 人脸图像处理方法、装置及设备、可读存储介质
WO2016011747A1 (zh) 肤色调整方法和装置
CN110599410B (zh) 图像处理的方法、装置、终端及存储介质
CN107958439B (zh) 图像处理方法及装置
EP3664016B1 (en) Image detection method and apparatus, and terminal
CN107798654B (zh) 图像磨皮方法及装置、存储介质
CN110072061B (zh) 一种交互式拍摄方法、移动终端及存储介质
CN107730448B (zh) 基于图像处理的美颜方法及装置
US11847769B2 (en) Photographing method, terminal, and storage medium
CN112614064B (zh) 图像处理方法、装置、电子设备及存储介质
CN108022227B (zh) 一种黑白背景照片获取方法、装置及计算机可读存储介质
WO2020114097A1 (zh) 一种边界框确定方法、装置、电子设备及存储介质
CN109003272B (zh) 图像处理方法、装置及系统
CN110807745B (zh) 图像处理方法及装置、电子设备
US20150371367A1 (en) Method and terminal device for retargeting images
WO2023010796A1 (zh) 图像处理方法及相关装置
CN115601316A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107105167B (zh) 一种扫题时拍摄照片的方法、装置及终端设备
CN114697530B (zh) 一种智能取景推荐的拍照方法及装置
CN107644405B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN107301391A (zh) 区域确定方法及装置、存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210908

R150 Certificate of patent or registration of utility model

Ref document number: 6942825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150