JP6942825B2 - 顔画像を強化する方法及び装置、電子機器 - Google Patents
顔画像を強化する方法及び装置、電子機器 Download PDFInfo
- Publication number
- JP6942825B2 JP6942825B2 JP2020004082A JP2020004082A JP6942825B2 JP 6942825 B2 JP6942825 B2 JP 6942825B2 JP 2020004082 A JP2020004082 A JP 2020004082A JP 2020004082 A JP2020004082 A JP 2020004082A JP 6942825 B2 JP6942825 B2 JP 6942825B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- weight map
- grayscale image
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002708 enhancing effect Effects 0.000 title claims description 43
- 238000000034 method Methods 0.000 title claims description 33
- 230000001815 facial effect Effects 0.000 title claims description 31
- 230000002787 reinforcement Effects 0.000 claims description 52
- 238000005728 strengthening Methods 0.000 claims description 37
- 238000009499 grossing Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 12
- 238000012423 maintenance Methods 0.000 claims description 8
- 239000006185 dispersion Substances 0.000 claims description 7
- 230000003014 reinforcing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 239000012535 impurity Substances 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定するステップと、
各特徴領域の初期強化重み係数を補正して、顔の離散強化重みマップが得られるステップと、
前記顔の離散強化重みマップに従って、前記顔画像に対応する顔の連続強化重みマップを取得するステップと、
前記顔の連続強化重みマップに従って、前記顔画像を強化して、顔強化画像が得られるステップと、を含む。
各特徴領域に対応する初期強化重み係数を取得するステップと、
各特徴領域の平滑係数及び前記顔画像に対応する生理学的特徴係数を決定するステップと、
各特徴領域の前記平滑係数及び前記生理学的特徴係数に従って、前記初期強化重み係数を補正して、前記顔の離散強化重みマップが得られるステップと、を含む。
各特徴領域内の複数の画素の画素値の分散及び平均値を取得するステップと、
前記分散及び前記平均値に基づき、前記平滑係数を決定するステップと、を含む。
ガイデッドイメージフィルタアルゴリズムに従って、前記顔の連続強化重みマップを決定するステップを含み、ここで、前記顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、前記顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される。
画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られるステップと、
前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って、融合グレースケール画像が得られるステップと、
前記融合グレースケール画像に従って、前記顔強化画像を取得するステップと、を含む。
高コントラスト維持アルゴリズム及び前記元のグレースケール画像に基づき、前記強化グレースケール画像が得られるステップを含む。
次のアルゴリズムに基づいて前記融合グレースケール画像が得られるステップを含み、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された、(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である。
顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定する決定モジュールと、
各特徴領域の初期強化重み係数を補正して、顔の離散強化重みマップが得られる補正モジュールと、
前記顔の離散強化重みマップに従って、前記顔画像に対応する顔の連続強化重みマップを取得する第1の取得モジュールと、
前記顔の連続強化重みマップに従って、前記顔画像を強化して、顔強化画像が得られる第2の取得モジュールと、を備える。
各特徴領域に対応する初期強化重み係数を取得する第1の取得ユニットと、
各特徴領域の平滑係数及び前記顔画像に対応する生理学的特徴係数を決定する決定ユニットと、
各特徴領域の前記平滑係数及び前記生理学的特徴係数に従って、前記初期強化重み係数を補正して、前記顔の離散強化重みマップが得られる補正ユニットと、を備える。
選択的に、前記生理学的特徴係数には、性別係数及び年齢係数のうちの少なくとも1つが含まれる。
各特徴領域内の複数の画素の画素値の分散及び平均値を取得する取得サブユニットと、
前記分散及び前記平均値に基づき、前記平滑係数を決定する決定サブユニットと、を備える。
ガイデッドイメージフィルタアルゴリズムに従って、前記顔の連続強化重みマップを決定する計算ユニットを備え、ここで、前記顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、前記顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される。
画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られる第2の取得ユニットと、
前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って融合グレースケール画像が得られる第3の取得ユニットと、
前記融合グレースケール画像に従って、前記顔強化画像を取得する第4の取得ユニットと、を備える。
高コントラスト維持アルゴリズム及び前記元のグレースケール画像に基づき、前記強化グレースケール画像が得られる取得サブユニットを備える。
次のアルゴリズムに基づいて前記融合グレースケール画像が得られる計算サブユニットを備え、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された、(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である。
プロセッサーと、
プロセッサーで実行可能な命令を記憶するためのメモリと、を備え、
ここで、前記プロセッサーは、実行されると、上記のいずれかの実施例に記載の方法のステップを実現するように構成される。
上記の実施例から分かるように、本発明では、顔画像の特徴領域ごとに異なる重みを構成することができるため、顔の異なる領域に対して異なる程度の強化を行うことができ、これにより、不純物が比較的多い領域を平滑化するとともに、元々平滑な領域が過度に強化されることを回避することができ、顔画像の画質の向上に有利である。
ステップ101において、顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定する。
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である。
本実施例では、ユーザが端末に構成されたカメラモジュールをトリガすると、端末で撮像することができる。例えば、ユーザが端末に構成されたフロントカメラモジュールをトリガすると、この顔画像を得ることができ、この顔画像は処理前の画像である。もちろん、ユーザが端末に構成されたリアカメラモジュールをトリガするときにも、上記の顔画像を得ることができ、本発明はこれを制限しない。
本実施例では、CNNに基づいて顔アライメントを行って顔の主要な特徴点が得られ、例えば、目、鼻、眉毛、口、顔等の複数の輪郭点を主要な特徴点として決定することができ、取得された複数の主要な特徴点に従って対応する複数の特徴領域を得ることができ、この特徴領域には、眉毛領域、口領域、鼻領域、頬領域、目領域及び顔輪郭等の特徴領域が含まれてもよい。
本実施例では、この初期強化重み係数は電子機器内に事前に記憶された所定の係数であり、この所定の係数は経験から得てもよいし、機械学習によって得てもよく、本発明はこれを制限しない。例えば、機械学習により得られた初期強化重み係数及び対応する各特徴領域に基づき、図3に示す顔の各領域の重みマップを得ることができる。
本実施例では、各特徴領域内の複数の画素の画素値の平均値及び分散(variance)に基づいてこの特徴領域の平滑係数を決定することができる。
具体的に、次の式を使用して各特徴領域の画素値の平均値を得ることができ、
ここで、xは各特徴領域の画素値であり、uは各特徴領域の平均画素値である。
次の式により各特徴領域の画素値の分散を得ることができ、
ここで、xは各特徴領域の画素値であり、uは各特徴領域の平均画素値であり、Dは各特徴領域の画素分散である。
ここで、画素値の分散が小さいほど、この特徴領域が平滑であるため、平滑係数は比較的小さくてもよく、これにより、後で補正された初期重み強化係数を比較的小さくすることができる。ここで、この分散及び平均値に基づいて計算して平滑係数を得ることができる。
本実施例では、年齢が比較的高いユーザと年齢が比較的若いユーザとの間は、顔不純物状態に違いがあるため、この生理学的特徴係数には年齢係数が含まれてもよく、性別が異なっても顔不純物状態に違いがあるため、この生理学的特徴係数には性別係数が含まれてもよく、もちろん、また幾つかの実施例では、この生理学的特徴係数には年齢係数及び性別係数が含まれてもよい。
ここで、iは各特徴領域の番号である。
これに基づいて各特徴領域の強化重みEiが得られて、図4に示す顔の離散強化重みマップMを得ることができる。
本実施例では、ガイデッドフィルタアルゴリズムにより顔の離散強化重みマップを顔の連続強化重みマップに拡散することができる。ここで、顔画像の元のグレースケール画像Y_Aをガイデッドイメージとし、顔の離散強化重みマップを入力画像として計算して、基本的に顔の離散強化重みマップと同様であって、テクスチャが元のグレースケール画像Y_Aに相当な図5に示す顔の連続強化重みマップMを得ることができる。
本実施例では、画像強化アルゴリズムにより元のグレースケール画像Y_Aを強化して、強化グレースケール画像Y_Bを得ることができ、画像強化アルゴリズムには、高コントラスト維持アルゴリズム、対数画像強化アルゴリズム、指数画像強化アルゴリズム、ラプラス演算子画像強化アルゴリズム及びガンマ変換アルゴリズムのうちの1つ以上が含まれてもよく、本発明はこれを制限しない。高コントラスト維持アルゴリズムを例として、任意のガウスカーネルを使用して元のグレースケール画像Y_Aをぼかしてぼけ画像Y_A1を得ることができ、その後、元のグレースケール画像Y_A及びぼけ画像Y_A1に基づいて高周波詳細画像Y_A2が得られ、この高周波詳細画像Y_A2を所定のスケーリング量に従ってスケーリングしてから元のグレースケール画像Y_A内に蓄積して、強化グレースケール画像Y_Bを得ることができる。ここで、この所定のスケーリング量は1.5、2又は2.5等であってもよく、本発明はこれを制限しない。
本実施例では、次のアルゴリズムにより連続ぼけ量マップ、元のグレースケール画像及び前記強化グレースケール画像に基づいて融合グレースケール画像を得ることができ、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像であり、i、jはいずれも正の整数であってもよく、具体的には、座標系を確立することによって決定することができる。
本実施例では、図6に示すように、左側は元の顔画像であり、右側は強化された顔強化画像である。明らかに、元の顔画像と比較して、顔強化画像がより鮮明であり、且つ顔のキズが過度に拡大されることはなく、画質が向上された。
決定モジュール71は、顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定する。
第1の取得ユニット721は、各特徴領域に対応する初期強化重み係数を取得する。
計算ユニット731は、ガイデッドイメージフィルタに従って、前記顔の連続強化重みマップを決定し、ここで、前記顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、前記顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される。
第2の取得ユニット741は、画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られる。
取得サブユニット7411は、高コントラスト維持アルゴリズム及び前記元のグレースケール画像に基づいて前記強化グレースケール画像が得られる。
計算サブユニット7421は、次のアルゴリズムに基づいて前記融合グレースケール画像が得られ、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である。
Claims (16)
- 顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定するステップと、
各特徴領域の初期強化重み係数を補正して、顔の離散強化重みマップが得られるステップと、
前記顔の離散強化重みマップに従って、前記顔画像に対応する顔の連続強化重みマップを取得するステップと、
前記顔の連続強化重みマップに従って、前記顔画像を強化して、顔強化画像が得られるステップと、を含み、
前記顔の離散強化重みマップに従って前記顔画像に対応する顔の連続強化重みマップを取得するステップは、
ガイデッドイメージフィルタアルゴリズムに従って、前記顔の連続強化重みマップを決定するステップを含み、ここで、前記顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、前記顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される
ことを特徴とする顔画像を強化する方法。 - 前記各特徴領域の初期強化重み係数を補正して顔の離散強化重みマップが得られるステップは、
各特徴領域に対応する初期強化重み係数を取得するステップと、
各特徴領域の平滑係数及び前記顔画像に対応する生理学的特徴係数を決定するステップと、
各特徴領域の前記平滑係数及び前記生理学的特徴係数に従って、前記初期強化重み係数を補正して、前記顔の離散強化重みマップが得られるステップと、を含む
ことを特徴とする請求項1に記載の顔画像を強化する方法。 - 前記生理学的特徴係数には、性別係数及び年齢係数のうちの少なくとも1つが含まれることを特徴とする請求項2に記載の顔画像を強化する方法。
- 前記各特徴領域の平滑係数を決定するステップは、
各特徴領域内の複数の画素の画素値の分散及び平均値を取得するステップと、
前記分散及び前記平均値に基づき、前記平滑係数を決定するステップと、を含む
ことを特徴とする請求項2に記載の顔画像を強化する方法。 - 前記顔の連続強化重みマップに従って前記顔画像を強化して、顔強化画像が得られるステップは、
画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られるステップと、
前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って、融合グレースケール画像が得られるステップと、
前記融合グレースケール画像に従って、前記顔強化画像を取得するステップと、を含む
ことを特徴とする請求項1に記載の顔画像を強化する方法。 - 前記画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られるステップは、
高コントラスト維持アルゴリズム及び前記元のグレースケール画像に基づき、前記強化グレースケール画像が得られるステップを含む
ことを特徴とする請求項5に記載の顔画像を強化する方法。 - 前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って融合グレースケール画像が得られるステップは、
次のアルゴリズムに基づいて前記融合グレースケール画像が得られるステップを含み、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された、(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である
ことを特徴とする請求項5に記載の顔画像を強化する方法。 - 顔画像の特徴点に従って、前記顔画像上の複数の特徴領域を決定する決定モジュールと
、
各特徴領域の初期強化重み係数を補正して、顔の離散強化重みマップが得られる補正モジュールと、
前記顔の離散強化重みマップに従って、前記顔画像に対応する顔の連続強化重みマップを取得する第1の取得モジュールと、
前記顔の連続強化重みマップに従って、前記顔画像を強化して、顔強化画像が得られる第2の取得モジュールと、を備え、
前記第1の取得モジュールは、
ガイデッドイメージフィルタアルゴリズムに従って、前記顔の連続強化重みマップを決定する計算ユニットを備え、ここで、前記顔画像に対応する元のグレースケール画像は、前記ガイデッドイメージフィルタアルゴリズムにおけるガイデッドイメージとして使用され、前記顔の離散強化重みマップは、前記ガイデッドイメージフィルタアルゴリズムにおける入力画像として使用される
ことを特徴とする顔画像を強化する装置。 - 前記補正モジュールは、
各特徴領域に対応する初期強化重み係数を取得する第1の取得ユニットと、
各特徴領域の平滑係数及び前記顔画像に対応する生理学的特徴係数を決定する決定ユニットと、
各特徴領域の前記平滑係数及び前記生理学的特徴係数に従って、前記初期強化重み係数を補正して、前記顔の離散強化重みマップが得られる補正ユニットと、を備える
ことを特徴とする請求項8に記載の顔画像を強化する装置。 - 前記生理学的特徴係数には、性別係数及び年齢係数のうちの少なくとも1つが含まれる
ことを特徴とする請求項9に記載の顔画像を強化する装置。 - 前記決定ユニットは、
各特徴領域内の複数の画素の画素値の分散及び平均値を取得する取得サブユニットと、
前記分散及び前記平均値に基づき、前記平滑係数を決定する決定サブユニットと、を備える
ことを特徴とする請求項9に記載の顔画像を強化する装置。 - 前記第2の取得モジュールは、
画像強化アルゴリズムにより前記顔画像に対応する元のグレースケール画像を強化して、強化グレースケール画像が得られる第2の取得ユニットと、
前記顔の連続強化重みマップ、前記元のグレースケール画像及び前記強化グレースケール画像に従って融合グレースケール画像が得られる第3の取得ユニットと、
前記融合グレースケール画像に従って、前記顔強化画像を取得する第4の取得ユニットと、を備える
ことを特徴とする請求項8に記載の顔画像を強化する装置。 - 前記第2の取得ユニットは、
高コントラスト維持アルゴリズム及び前記元のグレースケール画像に基づき、前記強化グレースケール画像が得られる取得サブユニットを備える
ことを特徴とする請求項12に記載の顔画像を強化する装置。 - 前記第3の取得ユニットは、
次のアルゴリズムに基づいて前記融合グレースケール画像が得られる計算サブユニットを備え、
Y_C(i,j)=M(i,j)*Y_B(i,j)+(1−M(i,j))*Y_A(i,j)
であり、
ここで、Y_C(i,j)は(i,j)に位置する画素の融合グレースケール画像であり、M(i,j)は前記顔の連続強化重みマップに従って取得された、(i,j)に位置する画素の焦点外れ重みであり、Y_B(i,j)は(i,j)に位置する画素の強化グレースケール画像であり、Y_A(i,j)は(i,j)に位置する画素の元のグレースケール画像である
ことを特徴とする請求項12に記載の顔画像を強化する装置。 - コンピュータ命令が記憶されたコンピュータ読み取り可能な記録媒体であって、
この命令がプロセッサーにより実行されるとき、請求項1〜7のいずれか1項に記載の
方法のステップを実現する
ことを特徴とするコンピュータ読み取り可能な記録媒体。 - プロセッサーと、
プロセッサーで実行可能な命令を記憶するためのメモリと、を備え、
ここで、前記プロセッサーは、実行されると、請求項1〜7のいずれか1項に記載の方法のステップを実現するように構成される
ことを特徴とする電子機器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911019722.0A CN110796617B (zh) | 2019-10-24 | 2019-10-24 | 面部图像的增强方法及装置、电子设备 |
CN201911019722.0 | 2019-10-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021068407A JP2021068407A (ja) | 2021-04-30 |
JP6942825B2 true JP6942825B2 (ja) | 2021-09-29 |
Family
ID=69441203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020004082A Active JP6942825B2 (ja) | 2019-10-24 | 2020-01-15 | 顔画像を強化する方法及び装置、電子機器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11250547B2 (ja) |
EP (1) | EP3813010B1 (ja) |
JP (1) | JP6942825B2 (ja) |
KR (1) | KR102273059B1 (ja) |
CN (1) | CN110796617B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379874B (zh) * | 2020-02-25 | 2023-04-07 | 武汉Tcl集团工业研究院有限公司 | 一种人脸动画生成方法、智能终端及存储介质 |
CN112069877B (zh) * | 2020-07-21 | 2022-05-03 | 北京大学 | 一种基于边缘信息和注意力机制的人脸信息识别方法 |
US11983806B1 (en) | 2023-08-30 | 2024-05-14 | OpenAI Opco, LLC | Systems and methods for image generation with machine learning models |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7082211B2 (en) | 2002-05-31 | 2006-07-25 | Eastman Kodak Company | Method and system for enhancing portrait images |
US7039222B2 (en) * | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
JP2006113658A (ja) * | 2004-10-12 | 2006-04-27 | Canon Inc | 画像処理装置及び方法、及びプログラムを記録した記憶媒体 |
JP5239126B2 (ja) * | 2006-04-11 | 2013-07-17 | 株式会社ニコン | 電子カメラ |
US8290257B2 (en) * | 2007-03-02 | 2012-10-16 | The Procter & Gamble Company | Method and apparatus for simulation of facial skin aging and de-aging |
CA2635068A1 (en) | 2007-09-18 | 2009-03-18 | Parham Aarabi | Emulating cosmetic facial treatments with digital images |
CN106919911A (zh) * | 2008-07-30 | 2017-07-04 | 快图有限公司 | 使用脸部检测的自动脸部和皮肤修饰 |
US20110026818A1 (en) * | 2009-07-30 | 2011-02-03 | Jonathan Yen | System and method for correction of backlit face images |
JP2012098861A (ja) * | 2010-11-01 | 2012-05-24 | Seiko Epson Corp | 画像処理装置、画像処理方法 |
US20140369554A1 (en) | 2013-06-18 | 2014-12-18 | Nvidia Corporation | Face beautification system and method of use thereof |
JP6417851B2 (ja) | 2014-10-28 | 2018-11-07 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
JP2016213718A (ja) * | 2015-05-11 | 2016-12-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
CN105096280B (zh) * | 2015-06-17 | 2019-01-11 | 浙江宇视科技有限公司 | 处理图像噪声的方法及装置 |
JP2017102642A (ja) | 2015-12-01 | 2017-06-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN105761214B (zh) * | 2016-01-14 | 2019-02-22 | 西安电子科技大学 | 基于轮廓波变换与引导滤波的遥感图像融合方法 |
CN105530434A (zh) * | 2016-02-01 | 2016-04-27 | 深圳市金立通信设备有限公司 | 一种拍摄方法及终端 |
KR102636243B1 (ko) * | 2016-02-19 | 2024-02-14 | 삼성전자주식회사 | 이미지를 처리하기 위한 방법 및 그 전자 장치 |
US10491895B2 (en) * | 2016-05-23 | 2019-11-26 | Intel Corporation | Fast and robust human skin tone region detection for improved video coding |
JP6859611B2 (ja) * | 2016-06-09 | 2021-04-14 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10096089B2 (en) * | 2017-01-04 | 2018-10-09 | Facebook, Inc. | Accelerated skin smoothing effect |
JP2018163648A (ja) * | 2017-03-27 | 2018-10-18 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN107392866B (zh) * | 2017-07-07 | 2019-09-17 | 武汉科技大学 | 一种光照鲁棒的人脸图像局部纹理增强方法 |
US20190311464A1 (en) * | 2018-04-05 | 2019-10-10 | Qualcomm Incorporated | Tuning for deep-learning-based color enhancement systems |
CN108648163A (zh) * | 2018-05-17 | 2018-10-12 | 厦门美图之家科技有限公司 | 一种人脸图像的增强方法及计算设备 |
JP7199849B2 (ja) * | 2018-06-27 | 2023-01-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN109146823A (zh) * | 2018-09-25 | 2019-01-04 | 广州华多网络科技有限公司 | 基于高反差保留的图像处理方法、装置、设备及存储介质 |
-
2019
- 2019-10-24 CN CN201911019722.0A patent/CN110796617B/zh active Active
-
2020
- 2020-01-09 KR KR1020200003263A patent/KR102273059B1/ko active IP Right Grant
- 2020-01-15 JP JP2020004082A patent/JP6942825B2/ja active Active
- 2020-03-12 US US16/816,930 patent/US11250547B2/en active Active
- 2020-03-27 EP EP20166227.7A patent/EP3813010B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR20210049649A (ko) | 2021-05-06 |
US20210125311A1 (en) | 2021-04-29 |
EP3813010A1 (en) | 2021-04-28 |
EP3813010B1 (en) | 2023-08-30 |
JP2021068407A (ja) | 2021-04-30 |
KR102273059B1 (ko) | 2021-07-07 |
CN110796617A (zh) | 2020-02-14 |
US11250547B2 (en) | 2022-02-15 |
CN110796617B (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10565763B2 (en) | Method and camera device for processing image | |
CN111641778B (zh) | 一种拍摄方法、装置与设备 | |
JP6942825B2 (ja) | 顔画像を強化する方法及び装置、電子機器 | |
CN107862673B (zh) | 图像处理方法及装置 | |
CN108898546B (zh) | 人脸图像处理方法、装置及设备、可读存储介质 | |
WO2016011747A1 (zh) | 肤色调整方法和装置 | |
CN110599410B (zh) | 图像处理的方法、装置、终端及存储介质 | |
CN107958439B (zh) | 图像处理方法及装置 | |
EP3664016B1 (en) | Image detection method and apparatus, and terminal | |
CN107798654B (zh) | 图像磨皮方法及装置、存储介质 | |
CN110072061B (zh) | 一种交互式拍摄方法、移动终端及存储介质 | |
CN107730448B (zh) | 基于图像处理的美颜方法及装置 | |
US11847769B2 (en) | Photographing method, terminal, and storage medium | |
CN112614064B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN108022227B (zh) | 一种黑白背景照片获取方法、装置及计算机可读存储介质 | |
WO2020114097A1 (zh) | 一种边界框确定方法、装置、电子设备及存储介质 | |
CN109003272B (zh) | 图像处理方法、装置及系统 | |
CN110807745B (zh) | 图像处理方法及装置、电子设备 | |
US20150371367A1 (en) | Method and terminal device for retargeting images | |
WO2023010796A1 (zh) | 图像处理方法及相关装置 | |
CN115601316A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN107105167B (zh) | 一种扫题时拍摄照片的方法、装置及终端设备 | |
CN114697530B (zh) | 一种智能取景推荐的拍照方法及装置 | |
CN107644405B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
CN107301391A (zh) | 区域确定方法及装置、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6942825 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |