JP6677221B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6677221B2 JP6677221B2 JP2017111907A JP2017111907A JP6677221B2 JP 6677221 B2 JP6677221 B2 JP 6677221B2 JP 2017111907 A JP2017111907 A JP 2017111907A JP 2017111907 A JP2017111907 A JP 2017111907A JP 6677221 B2 JP6677221 B2 JP 6677221B2
- Authority
- JP
- Japan
- Prior art keywords
- skin color
- skin
- makeup
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 184
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 144
- 230000008569 process Effects 0.000 claims description 140
- 238000012937 correction Methods 0.000 claims description 53
- 230000000694 effects Effects 0.000 claims description 48
- 239000002537 cosmetic Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 210000001061 forehead Anatomy 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 5
- 238000003702 image correction Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
画像に含まれる人物部分に対して、肌色を美しくする処理である美肌処理を行う美肌処理手段と、
前記人物部分のうち、肌色部分であって、かつ化粧をしていない第1の部分と、肌色であって、かつ化粧をしている第2の部分と、を特定する特定手段と、
前記特定手段により特定される前記第1の部分の肌色に対応する第1の肌色情報と、前記第2の部分の肌色に対応する第2の肌色情報と、を取得する取得手段と、
前記取得手段により取得される前記第1の肌色情報と前記第2の肌色情報とに基づいて取得された、前記美肌処理における明るさの補正のバランスを示す第1のパラメータと、前記第2の部分に含まれる化粧をしている複数の位置の肌色の均一性に基づいて取得された、前記美肌処理における明るさの補正の強さを示す第2のパラメータと、に基づき前記美肌処理手段による美肌処理を調整する処理を行う画像処理手段と、
を備えることを特徴とする。
撮影装置1は、例えば、デジタルカメラとして構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部16にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力され、CPU11や図示しない画像処理部等に適宜供給される。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
即ち、撮影装置1は、被写体の肌領域のうち、化粧をしている部分(顔)の色情報と、化粧をしていない部分(首や耳の部分)の色情報との差分(以下、「肌色差分」と呼ぶ。)を算出する。また、撮影装置1は、被写体の肌領域のうち、額、頬等の位置毎の肌色のばらつき(以下、「肌色均一性」と呼ぶ。)を算出する。そして、撮影装置1は、肌色差分に応じて被写体の肌色を調整すると共に、肌色均一性に応じて被写体の肌色を調整する強さを調整する。
この結果、被写体の化粧の状態に応じて、画像処理によるメイクアップ処理を調整することができる。
本実施形態におけるメイクアップ処理の調整が行われる場合、図2に示すように、メイクアップ処理を施す対象の画像のデータにおいて、被写体の顔の輪郭が検出される。そして、被写体における肌色部分のうち、検出された輪郭の内側(即ち、顔の部分)、及び、検出された輪郭の外側(即ち、首や耳の部分)の色情報が取得される。さらに、取得された輪郭の内側(顔の部分)と外側(首や耳の部分)との色情報の差分(肌色差分)から、被写体の化粧効果を検出する。この化粧効果は、被写体の地肌に対する色と明るさの補正のバランス(化粧の傾向)を示すパラメータとなる。
また、被写体における肌色部分のうち、検出された輪郭の内側(即ち、顔の部分)の各位置(額、頬等)における肌色のばらつき(肌色均一性)が取得される。そして、取得された肌色均一性から、被写体の化粧効果の強さを検出する。被写体が化粧をしている場合、顔の部分の各位置における肌色のばらつきは地肌の場合よりも低減されると考えられる。この化粧効果の強さは、被写体の地肌に対する色と明るさの補正の強さ(化粧の濃さ)を示すパラメータとなる。
図3に示すように、画素の明るさを横軸、画素の色を縦軸とする座標において、被写体における肌色部分のうち、輪郭の外側(首や耳の部分)の領域と、輪郭の内側(顔の部分)の領域とが、それぞれ画素の集合として分布している。
即ち、図3において、地肌の色と明るさの領域と化粧された状態の肌の色と明るさの領域とが特定される。
また、図3における輪郭の内側(顔の部分)の領域において、各位置(額、頬等)における肌色のばらつき(肌色均一性)が取得される。
そして、輪郭の外側の領域と、輪郭の内側の領域とにおいて、これらの領域間の距離及び方向が被写体の化粧効果(化粧による色や明るさの変化を示すベクトルV1)を表すパラメータとなり、輪郭の内側の領域における肌色のばらつきの大きさ(色情報の分散状況)が化粧効果の強さを表すパラメータとなる。
例えば、肌マップの作成においては、まず、YUV色空間で表された被写体の画像が、HSV(色相:Hue,彩度:Saturation・Chroma,明度:Value・Lightness・Brightness)色空間に変換される。HSV色空間に変換された画像からHSVを計測し、各H,S,Vチャンネルの平均値が算出される。
そして、画素におけるH,S,Vのそれぞれについて、平均値からの差分に応じて、予め決定しておいた重み付けから、H,S,Vチャンネルの肌色らしさを示す肌色レベル(Lh,Ls,Lv)が算出される。
その後、算出された各H,S,Vチャンネルの肌色レベルを掛け合わせて、画素における肌マップ値を算出して、肌マップ値により構成される肌マップが作成される。肌マップでは、肌色らしい部分とそうでない部分が段階的に表示される。本例の肌マップでは、例えば、白色が最も肌色らしい部分であり、黒色が最も肌色らしくない部分として表示される。
メイクアップ調整処理が実行される場合には、図4に示すように、CPU11において、顔検出処理部51と、特定部52と、取得部53と、画像処理部54と、が機能する。なお、メイクアップ調整処理が実行されることに先立ち、ユーザによって、メイクアップ処理のモード(化粧をしていない部分を対象とするか/化粧をしている部分を対象とするか/両方の部分を対象とするか、化粧効果を強めるか弱めるか、化粧効果を活かすか/化粧効果を変化させるか等)の設定が行われる。
画像記憶部71には、撮像部16によって取得された撮像画像や、通信部20あるいはドライブ21を介して取得された画像のデータが記憶される。
このとき、特定部52は、化粧をしている部分(顔)として、顔の輪郭の内側において、顔を構成する肌色の位置(例えば、額、目の下、頬、鼻、顎等の部位)毎に、肌色の領域を特定する。また、特定部52は、化粧をしていない部分(首や耳の部分)として、顔の輪郭から外方向に対して、所定の閾値以上の面積となる連続する肌色部分を検出する。このとき使用される肌色は、予め記憶されている固定値(所定色範囲)とすることができる。なお、顔の輪郭から外方向に対して検出される肌色部分は、主に首と耳が対象となるため、輪郭の上方向(頭の方向)への検出は省略することとしてもよい。
即ち、取得部53は、被写体の化粧をしている部分(顔)において、顔を構成する肌色の位置(例えば、額、目の下、頬、鼻、顎等の部位)毎に、肌の色情報を取得する。このとき、取得部53は、被写体の化粧をしている部分(顔)における肌色のばらつき(分散状況)を取得することにより、肌色均一性を取得する。なお、「化粧をしている部分」全体の肌の色情報としては、これら各部位の肌の色情報の平均値や、いずれかの部位の肌の色情報を代表値として選択した値とすることができる。
そして、取得部53は、被写体の化粧をしている部分(顔)における肌の色情報と、被写体の化粧をしていない部分(首や耳の部分)における肌の色情報との差分(肌色差分)を取得する。
本実施形態において、画像処理部54は、処理対象となる画像に人物の顔が含まれていない場合、処理対象となる画像を現像処理して表示または記録用の画像を生成する。
また、画像処理部54は、処理対象となる画像に人物の顔が含まれている場合、処理対象となる画像を現像処理して背景用の画像とメイクアップ処理用の画像とを生成する。このとき、例えば、背景用の画像とメイクアップ処理用の画像とで異なる変換テーブルを用いて、色空間変換(YUV色空間からRGB色空間への変換等)が行われる。背景用の画像は、主として肌色以外の部分が背景として用いられ、メイクアップ処理用の画像は、主として肌色部分にメイクアップ処理を施すために用いられる。
次に、動作を説明する。
[メイクアップ調整処理]
図5は、図4の機能的構成を有する図1の撮影装置1が実行するメイクアップ調整処理の流れを説明するフローチャートである。
メイクアップ調整処理は、ユーザにより入力部17にメイクアップ調整処理の実行を指示する操作が入力されることに対応して開始される。例えば、メイクアップ調整処理は、ユーザによって、撮像画像に対してメイクアップ調整処理を施すモードに設定されている場合に、撮像画像が取得される毎に実行される。
ステップS2において、画像処理部54は、処理対象となる画像において顔が検出されたか否かの判定を行う。
処理対象となる画像において顔が検出されていない場合、ステップS2においてNOと判定されて、処理はステップS3に移行する。
一方、処理対象となる画像において顔が検出された場合、ステップS2においてYESと判定されて、処理はステップS4に移行する。
ステップS4において、画像処理部54は、処理対象となる画像を現像処理して背景用の画像を生成する。
ステップS5において、特定部52は、顔検出処理部51によって検出された顔の輪郭を抽出し、輪郭が抽出された顔の画像において、肌マップを作成する。
肌色差分に基づくメイクアップ処理を施す設定となっていない場合、ステップS6においてNOと判定されて、処理はステップS8に移行する。
一方、肌色差分に基づくメイクアップ処理を施す設定となっている場合、ステップS6においてYESと判定されて、処理はステップS7に移行する。
ステップS8において、取得部53は、肌色均一性に基づくメイクアップ処理を施す設定となっているか否かの判定を行う。なお、肌色均一性に基づくメイクアップ処理を施す設定となっているか否かは、ユーザによる事前のモード設定に基づいて判定することができる。
肌色均一性に基づくメイクアップ処理を施す設定となっていない場合、ステップS8においてNOと判定されて、処理はステップS10に移行する。
一方、肌色均一性に基づくメイクアップ処理を施す設定となっている場合、ステップS8においてYESと判定されて、処理はステップS9に移行する。
ステップS10において、画像処理部54は、処理対象となる画像を現像処理してメイクアップ処理用の画像を生成する。このとき、画像処理部54は、ユーザによる事前のモード設定に基づいて、メイクアップ処理の対象とする部分、化粧効果を強めるまたは弱める、化粧効果を活かすまたは化粧効果を変化させる、といった具体的な処理内容を実行する。
ステップS11において、画像処理部54は、背景用の画像とメイクアップ処理用の画像とをブレンドして、表示または記録用の画像を生成する。
ステップS11の後、メイクアップ調整処理は終了となる。
次に、メイクアップ調整処理のステップS7において実行される肌色差分取得処理の流れについて説明する。
図6は、肌色差分取得処理の流れを説明するフローチャートである。
ステップS21において、取得部53は、被写体の化粧をしている部分(顔)における肌の色情報を取得する。なお、被写体の化粧をしている部分(顔)における肌の色情報は、被写体の化粧をしている部分(顔)において、顔を構成する肌色の位置(例えば、額、目の下、頬、鼻、顎等の部位)毎の肌の色情報の平均値や、いずれかの部位の肌の色情報を代表値として選択した値とすることができる。
ステップS22において、取得部53は、被写体の化粧をしていない部分(首や耳の部分)における肌の色情報を取得する。
ステップS23において、取得部53は、被写体の化粧をしている部分(顔)における肌の色情報と、被写体の化粧をしていない部分(首や耳の部分)における肌の色情報との差分(肌色差分)を取得する。
ステップS24において、画像処理部54は、肌色差分に基づいて、メイクアップ処理用の画像に対して補正処理(メイクアップ処理)を施す際の、被写体の地肌に対する色と明るさの補正のバランス(化粧の傾向)を示すパラメータを取得する。
ステップS24の後、処理はメイクアップ調整処理に戻る。
次に、メイクアップ調整処理のステップS9において実行される肌色均一性取得処理の流れについて説明する。
図7は、肌色均一性取得処理の流れを説明するフローチャートである。
ステップS31において、特定部52は、化粧をしている部分(顔)として、顔の輪郭の内側において、顔を構成する肌色の位置(例えば、額、目の下、頬、鼻、顎等の部位)毎に、肌色の領域を特定する。
ステップS32において、取得部53は、被写体の化粧をしている部分(顔)において、顔を構成する肌色の位置(例えば、額、目の下、頬、鼻、顎等の部位)毎に、肌の色情報を取得する。
ステップS33において、取得部53は、被写体の化粧をしている部分(顔)における肌色のばらつき(分散状況)を取得することにより、肌色均一性を取得する。
ステップS34において、画像処理部54は、肌色均一性に基づいて、メイクアップ処理用の画像に対して補正処理(メイクアップ処理)を施す際の、被写体の地肌に対する色と明るさの補正の強さ(化粧の濃さ)を示すパラメータを取得する。
ステップS34の後、処理はメイクアップ調整処理に戻る。
したがって、被写体の化粧の状態に応じて、画像処理によるメイクアップ処理を調整することができる。
上述の実施形態において、図5のメイクアップ調整処理による補正に加え、ユーザが希望する補正内容及びその強さを追加して、処理対象となる画像を補正処理することとしてもよい。この場合、ユーザの希望に応じて、肌の色と明るさの補正を独立に設定することができる。
図8は、メイクアップ調整処理による補正に加え、ユーザが希望する補正内容及びその強さを追加する補正処理の内容を説明するための模式図である。
図8に示すように、被写体における肌色部分のうち、輪郭の外側の領域に対して、メイクアップ調整処理による補正を表す補正ベクトルVm1に加え、ユーザが希望する補正内容を表す追加補正ベクトルVu1を加えて総合的な補正を行うことができる。同様に、被写体における肌色部分のうち、輪郭の内側の領域に対して、メイクアップ調整処理による補正を表す補正ベクトルVm2に加え、ユーザが希望する補正内容を表す追加補正ベクトルVu2を加えて総合的な補正を行うことができる。
このような処理により、被写体の化粧の状態を反映しつつ、ユーザの好みに応じて、メイクアップ処理を施すことができる。
特定部52は、画像に含まれる人物部分のうち、肌色部分であって、かつ化粧をしていない第1の部分を特定する。
取得部53は、特定部52により特定される第1の部分の肌色に対応する第1の肌色情報を取得する。
画像処理部54は、取得部53により取得される第1の肌色情報に基づき、画像に含まれる人物部分に対して肌色を調整する処理を行う。
これにより、被写体となる人物の化粧をしていない部分の肌の色情報に基づいて、肌色を調整することができるため、化粧の有無を考慮して、適切に肌色の調整を行うことができる。
取得部53は、特定部52により特定される第2の肌色部分の肌色に対応する第2の情報を更に取得する。
画像処理部54は、取得部53により取得される第2の肌色情報を更に加味して、画像に含まれる人物部分に対して肌色を調整する処理を行う。
これにより、被写体となる人物の化粧の傾向を反映させて、肌色を調整することができるため、被写体となる人物の化粧の有無を考慮して、適切に肌色の調整を行うことができる。
これにより、被写体となる人物の化粧をしている部分と化粧をしていない部分との差分を反映させて、被写体となる人物の顔における肌色の調整度合いを変化させることができる。
これにより、被写体となる人物の化粧をしていない部分の肌色を、化粧をしている部分に合わせることができる。
これにより、被写体となる人物の化粧をしている部分を適切に特定することができる。
画像処理部54は、取得部53により取得される第2の肌色情報の分散状況を更に加味して、画像に含まれる人物部分に対して肌色を調整する処理を行う。
これにより、被写体となる人物の化粧をしている部分の肌色のばらつきに応じて、肌色の調整度合いを変化させることができる。
これにより、被写体の化粧をしている部分及び化粧をしていない部分に対して、適切な調整度合いで肌色の調整を行うことができる。
画像処理部54は、第1の部分の肌色情報に基づき、画像に含まれる人物の顔部分に対して、第1の処理の調整の強さと第2の処理の調整の強さとを各々独立に設定して、肌色を調整する処理を行う。
これにより、被写体となる人物の化粧の傾向と異なる化粧効果で肌色を調整することが可能となる。
これにより、被写体の地肌の色に応じて、適切に肌色の調整を行うことができる。
特定部52は、画像に含まれる人物の顔部分の輪郭を検出する。
取得部53は、特定部52により検出される輪郭の外側に隣接する部分から第1の肌色情報を取得する。
画像処理部54は、取得部53により取得される第1の肌色情報に基づき、画像に含まれる人物部分に対して肌色を調整する処理を行う。
これにより、被写体となる人物の化粧をしていないと考えられる部分の肌の色情報に基づいて、肌色を調整することができるため、化粧の有無を考慮して、適切に肌色の調整を行うことができる。
画像処理部54は、取得部53により取得される第2の肌色情報を更に加味して、画像に含まれる人物部分に対して肌色を調整する処理を行う。
これにより、被写体となる人物の化粧をしていないと考えられる部分の肌の色情報及び被写体となる人物の化粧をしていると考えられる部分の肌の色情報に基づいて、化粧の有無を考慮して、適切に肌色の調整を行うことができる。
特定部52は、画像に含まれる人物の顔部分のうち、肌色部分を検出する。
取得部53は、特定部52により検出される肌色部分の肌色情報の分散状況を取得する。
画像処理部54は、取得部53により取得される肌色情報の分散状況に基づき、画像に含まれる人物の顔部分に対して肌色を調整する処理を行う。
これにより、被写体となる人物の化粧をしている部分における肌色のばらつきに応じて、肌色の調整度合いを変化させることができる。
例えば、上述の実施形態において、化粧効果を活かすか/化粧効果を変化させるかの処理内容については、メイクアップ調整処理で判定された化粧効果と、予め用意された複数の化粧効果とを候補とし、これらのいずれかから選択するようにしてもよい。例えば、メイクアップ調整処理で判定された化粧効果、及び、予め用意された6パターンあるいは12パターンの化粧効果のいずれかから、ユーザが希望する化粧効果を選択して、メイクアップ処理を施すこととしてもよい。さらに、ユーザによる設定に応じて、これら複数の化粧効果の中間の化粧効果となるようメイクアップ処理の内容を決定することとしてもよい。
例えば、本発明は、メイクアップ処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
換言すると、図4の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
[付記1]
画像に含まれる人物部分のうち、肌色部分であって、かつ化粧をしていない第1の部分を特定する特定手段と、
前記特定手段により特定される前記第1の部分の肌色に対応する第1の肌色情報を取得する取得手段と、
前記取得手段により取得される前記第1の肌色情報に基づき、前記画像に含まれる人物部分に対して肌色を調整する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記特定手段は、前記画像に含まれる人物部分のうち、肌色であって、かつ化粧をしている第2の部分を、更に特定し、
前記取得手段は、前記特定手段により特定される前記第2の部分の肌色に対応する第2の肌色情報を更に取得し、
前記画像処理手段は、前記取得手段により取得される前記第2の肌色情報を更に加味して、前記画像に含まれる人物部分に対して肌色を調整する処理を行うことを特徴とする付記1に記載の画像処理装置。
[付記3]
前記画像処理手段は、前記第1の肌色情報と前記第2の肌色情報の差分に基づき、前記画像に含まれる人物部分に対して行う肌色を調整する処理の強さを調整することを特徴とする付記2に記載の画像処理装置。
[付記4]
前記画像処理手段は、前記第2の部分の肌色が、前記第1の部分の肌色と同等となるように肌色を調整する処理を行うことを特徴とする付記2または3に記載の画像処理装置。
[付記5]
前記特定手段は、前記画像に含まれる人物部分のうちの、前記第2の部分に隣接する位置に前記第1の部分を特定することを特徴とする付記2から4のいずれか1つに記載の画像処理装置。
[付記6]
前記取得手段は、前記特定手段により特定される前記第2の肌色情報の分散状況を、更に取得し、
前記画像処理手段は、前記取得手段により取得される前記第2の肌色情報の分散状況を更に加味して、前記画像に含まれる人物部分に対して肌色を調整する処理を行うことを特徴とする付記2から5のいずれか1つに記載の画像処理装置。
[付記7]
前記画像処理手段は、前記第1の部分及び前記第2の部分に対して肌色を調整する処理を行うことを特徴とする付記2から6のいずれか1つに記載の画像処理装置。
[付記8]
前記肌色を調整する処理は、肌の色を調整する第1の処理と、肌の明るさを調整する第2の処理とからなり、
前記画像処理手段は、前記第1の部分の肌色情報に基づき、前記画像に含まれる人物部分に対して、前記第1の処理の調整の強さと前記第2の処理の調整の強さとを各々独立に設定して、肌色を調整する処理を行うことを特徴とする付記1から7のいずれか1つに記載の画像処理装置。
[付記9]
前記第1の部分は、前記画像に含まれる人物部分のうち、化粧効果のない地肌に相当する部分であることを特徴とする付記1から8のいずれか1つに記載の画像処理装置。
[付記10]
画像に含まれる人物の顔部分の輪郭を検出する検出手段と、
前記検出手段により検出される前記輪郭の外側に隣接する部分から第1の肌色情報を取得する取得手段と、
前記取得手段により取得される前記第1の肌色情報に基づき、前記画像に含まれる人物部分に対して肌色を調整する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
[付記11]
前記取得手段は、前記検出手段により検出される前記輪郭の内側から第2の肌色情報を更に取得し、
前記画像処理手段は、前記取得手段により取得される前記第2の肌色情報を更に加味して、前記画像に含まれる人物部分に対して肌色を調整する処理を行うことを特徴とする付記10に記載の画像処理装置。
[付記12]
画像に含まれる人物の顔部分のうち、肌色部分を検出する検出手段と、
前記検出手段により検出される肌色部分の肌色情報の分散状況を取得する取得手段と、
前記取得手段により取得される肌色情報の分散状況に基づき、前記画像に含まれる人物の顔部分に対して肌色を調整する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
[付記13]
画像処理装置が実行する画像処理方法であって、
画像に含まれる人物部分のうち、肌色部分であって、かつ化粧をしていない第1の部分を特定する特定処理と、
前記特定処理において特定される前記第1の部分の肌色に対応する第1の肌色情報を取得する取得処理と、
前記取得処理において取得される前記第1の肌色情報に基づき、前記画像に含まれる人物部分に対して肌色を調整する処理を行う画像補正処理と、
を含むことを特徴とする画像処理方法。
[付記14]
画像処理装置が実行する画像処理方法であって、
画像に含まれる人物の顔部分の輪郭を検出する検出処理と、
前記検出処理において検出される前記輪郭の外側に隣接する部分から第1の肌色情報を取得する取得処理と、
前記取得処理において取得される前記第1の肌色情報に基づき、前記画像に含まれる人物部分に対して肌色を調整する処理を行う画像補正処理と、
を含むことを特徴とする画像処理方法。
[付記15]
画像処理装置が実行する画像処理方法であって、
画像に含まれる人物の顔部分のうち、肌色部分を検出する検出処理と、
前記検出処理において検出される肌色部分の肌色情報の分散状況を取得する取得処理と、
前記取得処理において取得される肌色情報の分散状況に基づき、前記画像に含まれる人物の顔部分に対して肌色を調整する処理を行う画像補正処理と、
を含むことを特徴とする画像処理方法。
[付記16]
画像処理装置を制御するコンピュータに、
画像に含まれる人物部分のうち、肌色部分であって、かつ化粧をしていない第1の部分を特定する特定機能と、
前記特定機能により特定される前記第1の部分の肌色に対応する第1の肌色情報を取得する取得機能と、
前記取得機能により取得される前記第1の肌色情報に基づき、前記画像に含まれる人物部分に対して肌色を調整する処理を行う画像処理機能と、
を実現させることを特徴とするプログラム。
[付記17]
画像処理装置を制御するコンピュータに、
画像に含まれる人物の顔部分の輪郭を検出する検出機能と、
前記検出機能により検出される前記輪郭の外側に隣接する部分から第1の肌色情報を取得する取得機能と、
前記取得機能により取得される前記第1の肌色情報に基づき、前記画像に含まれる人物部分に対して肌色を調整する処理を行う画像処理機能と、
を実現させることを特徴とするプログラム。
[付記18]
画像処理装置を制御するコンピュータに、
画像に含まれる人物の顔部分のうち、肌色部分を検出する検出機能と、
前記検出機能により検出される肌色部分の肌色情報の分散状況を取得する取得機能と、
前記取得機能により取得される肌色情報の分散状況に基づき、前記画像に含まれる人物の顔部分に対して肌色を調整する処理を行う画像処理機能と、
を実現させることを特徴とするプログラム。
Claims (9)
- 画像に含まれる人物部分に対して、肌色を美しくする処理である美肌処理を行う美肌処理手段と、
前記人物部分のうち、肌色部分であって、かつ化粧をしていない第1の部分と、肌色であって、かつ化粧をしている第2の部分と、を特定する特定手段と、
前記特定手段により特定される前記第1の部分の肌色に対応する第1の肌色情報と、前記第2の部分の肌色に対応する第2の肌色情報と、を取得する取得手段と、
前記取得手段により取得される前記第1の肌色情報と前記第2の肌色情報とに基づいて取得された、前記美肌処理における明るさの補正のバランスを示す第1のパラメータと、前記第2の部分に含まれる化粧をしている複数の位置の肌色の均一性に基づいて取得された、前記美肌処理における明るさの補正の強さを示す第2のパラメータと、に基づき前記美肌処理手段による美肌処理を調整する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。 - 前記画像処理手段は、前記第1の肌色情報と前記第2の肌色情報の差分に基づいて前記美肌処理手段おける明るさの補正のバランスを示す第1のパラメータを取得することを特徴とする請求項1に記載の画像処理装置。
- 前記画像処理手段は、前記第1の部分及び前記第2の部分各々に対して、前記美肌処理を、その効果を強める又は弱める方向は共通であって、その度合いが異なるように処理を行うことを特徴とする請求項1又は2に記載の画像処理装置。
- 前記第2のパラメータは、前記美肌処理を調整する際の化粧の濃さを示すパラメータであることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記画像処理手段は、前記美肌処理として、前記第2の部分の化粧効果を強める又は弱めるように調整する処理を行うことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記特定手段は、前記画像に含まれる人物部分のうちの、前記第2の部分に隣接する位置に前記第1の部分を特定することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
- 前記第1の部分は、前記画像に含まれる人物部分のうち、化粧効果のない部分であって地肌に相当する部分であることを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
画像に含まれる人物部分に対して、肌色を美しくする処理である美肌処理を行う美肌処理ステップと、
前記人物部分のうち、肌色部分であって、かつ化粧をしていない第1の部分と、肌色であって、かつ化粧をしている第2の部分と、を特定する特定ステップと、
前記特定ステップにて特定される前記第1の部分の肌色に対応する第1の肌色情報と、前記第2の部分の肌色に対応する第2の肌色情報と、を取得する取得ステップと、
前記取得ステップにて取得される前記第1の肌色情報と前記第2の肌色情報とに基づいて取得された、前記美肌処理における明るさの補正のバランスを示す第1のパラメータと、前記第2の部分に含まれる化粧をしている複数の位置の肌色の均一性に基づいて取得された、前記美肌処理における明るさの補正の強さを示す第2のパラメータと、に基づき前記美肌処理ステップでの美肌処理を調整する処理を行う画像処理ステップと、
を含むことを特徴とする画像処理方法。 - 画像処理装置を制御するコンピュータに、
画像に含まれる人物部分に対して、肌色を美しくする処理である美肌処理を行う美肌処理機能、
前記人物部分のうち、肌色部分であって、かつ化粧をしていない第1の部分と、肌色であって、かつ化粧をしている第2の部分と、を特定する特定機能、
前記特定機能により特定される前記第1の部分の肌色に対応する第1の肌色情報と、前記第2の部分の肌色に対応する第2の肌色情報と、を取得する取得機能、
前記取得機能により取得される前記第1の肌色情報と前記第2の肌色情報とに基づいて取得された、前記美肌処理における明るさの補正のバランスを示す第1のパラメータと、前記第2の部分に含まれる化粧をしている複数の位置の肌色の均一性に基づいて取得された、前記美肌処理における明るさの補正の強さを示す第2のパラメータと、に基づき前記美肌処理機能による美肌処理を調整する処理を行う画像処理機能、
を実現させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017111907A JP6677221B2 (ja) | 2017-06-06 | 2017-06-06 | 画像処理装置、画像処理方法及びプログラム |
CN201810495804.1A CN109035151A (zh) | 2017-06-06 | 2018-05-22 | 图像处理装置、图像处理方法和存储介质 |
US15/996,932 US20180350046A1 (en) | 2017-06-06 | 2018-06-04 | Image processing apparatus adjusting skin color of person, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017111907A JP6677221B2 (ja) | 2017-06-06 | 2017-06-06 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018206144A JP2018206144A (ja) | 2018-12-27 |
JP2018206144A5 JP2018206144A5 (ja) | 2019-02-21 |
JP6677221B2 true JP6677221B2 (ja) | 2020-04-08 |
Family
ID=64459974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017111907A Active JP6677221B2 (ja) | 2017-06-06 | 2017-06-06 | 画像処理装置、画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180350046A1 (ja) |
JP (1) | JP6677221B2 (ja) |
CN (1) | CN109035151A (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102488563B1 (ko) * | 2016-07-29 | 2023-01-17 | 삼성전자주식회사 | 차등적 뷰티효과 처리 장치 및 방법 |
JP6677222B2 (ja) | 2017-06-21 | 2020-04-08 | カシオ計算機株式会社 | 検出装置、画像処理装置、検出方法、及び画像処理方法 |
CN112446832A (zh) * | 2019-08-31 | 2021-03-05 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
CN113496459A (zh) * | 2020-04-01 | 2021-10-12 | 华为技术有限公司 | 辅助化妆方法、终端设备、存储介质及程序产品 |
CN111583139B (zh) * | 2020-04-27 | 2023-06-20 | 抖音视界有限公司 | 腮红调整方法、装置、电子设备及计算机可读介质 |
CN112581383A (zh) * | 2020-11-19 | 2021-03-30 | 北京迈格威科技有限公司 | 图像处理方法、装置、设备及介质 |
CN112712479B (zh) * | 2020-12-24 | 2024-07-30 | 厦门美图之家科技有限公司 | 妆容处理方法、系统、移动终端及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004062651A (ja) * | 2002-07-30 | 2004-02-26 | Canon Inc | 画像処理装置、画像処理方法、その記録媒体およびそのプログラム |
JP2007179517A (ja) * | 2005-12-28 | 2007-07-12 | Kao Corp | 画像生成方法および装置ならびに化粧シミュレーション方法および装置 |
JP2009038737A (ja) * | 2007-08-03 | 2009-02-19 | Canon Inc | 画像処理装置 |
JP5290585B2 (ja) * | 2008-01-17 | 2013-09-18 | 株式会社 資生堂 | 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 |
JP4748271B2 (ja) * | 2009-01-28 | 2011-08-17 | 株式会社ニコン | 電子カメラおよび画像処理プログラム |
JP2010211497A (ja) * | 2009-03-10 | 2010-09-24 | Nikon Corp | デジタルカメラおよび画像処理プログラム |
JP4831259B1 (ja) * | 2011-03-10 | 2011-12-07 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
CN105654435B (zh) * | 2015-12-25 | 2018-09-11 | 武汉鸿瑞达信息技术有限公司 | 一种人脸皮肤柔化美白方法 |
-
2017
- 2017-06-06 JP JP2017111907A patent/JP6677221B2/ja active Active
-
2018
- 2018-05-22 CN CN201810495804.1A patent/CN109035151A/zh active Pending
- 2018-06-04 US US15/996,932 patent/US20180350046A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN109035151A (zh) | 2018-12-18 |
US20180350046A1 (en) | 2018-12-06 |
JP2018206144A (ja) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6677221B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10885616B2 (en) | Image processing apparatus, image processing method, and recording medium | |
JP4307301B2 (ja) | 画像処理装置およびその方法 | |
JP6421794B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9135726B2 (en) | Image generation apparatus, image generation method, and recording medium | |
US10891464B2 (en) | Image processing apparatus, image processing method, and recording medium | |
JP6720882B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
JP2018117288A (ja) | 画像処理装置及び画像処理方法 | |
US11272095B2 (en) | Detection apparatus for detecting portion satisfying predetermined condition from image, image processing apparatus for applying predetermined image processing on image, detection method, and image processing method | |
JP2017220078A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10861140B2 (en) | Image processing apparatus, image processing method, and recording medium | |
US20160267318A1 (en) | Image generator and image generation method | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
JP2018093359A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN111047520B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP7318251B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7015009B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6260094B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2010263519A (ja) | 画像再生装置、デジタルカメラ及びプログラム | |
JP6376673B2 (ja) | 画像処理装置 | |
JP2014099077A (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6677221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |