JP6421794B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、画像処理による美顔処理の一環として、目の下のクマを補正する処理が行われている。このような技術では、簡易な画像処理方法として、人物の目を検出し、検出した目の下の部分をぼかしたり、明度を上げたりといった処理が行われている。しかし、このような処理では、個人差や撮影条件等により位置や濃さが異なるクマを適切に補正できないという問題がある。このような問題に対して、例えば、特許文献１にように、肌色に寄与するメラニン成分、ヘモグロビン成分等の色素成分を精度高く計測することで、クマを適切に補正する技術が開示されている。

特開２００２−２０００５０号公報

しかしながら、上述した特許文献１に記載の技術では、構成、処理ともに複雑であるため、実現の面で敷居が高いという問題がある。

本発明は、このような状況に鑑みてなされたものであり、顔を撮影した画像に含まれるクマを簡易な方法で適切に補正することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
顔を撮影した画像に含まれるクマを補正する画像処理装置であって、
画像から人物の目を検出する検出手段と、
画像内における前記検出手段によって検出された前記人物の目の位置に基づき、画像内におけるクマの色情報及び基準となる肌色情報を取得し、補正を行う画像内の位置及び補正の強度を示す補正情報を生成する補正情報生成手段と、
前記補正情報生成手段によって生成された前記補正情報を使用して、画像に含まれるクマを補正する処理を行う画像処理手段と、
を備え、
前記補正情報生成手段は、取得された画像内における前記クマの色情報及び前記基準となる肌色情報に基づき、画像に含まれるクマ領域の候補を含む補正情報の候補を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む前記補正情報の候補の画像内における位置情報を修正して、補正を行うための前記補正情報を生成する、
ことを特徴とする。

本発明によれば、顔を撮影した画像に含まれるクマを簡易な方法で適切に補正することができる。

本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。 本実施形態のクマ補正画像の生成を説明するための模式図である。 クマ補正マップの作成を説明するための模式図である。 Ｈｕｅマップの作成を説明するための模式図である。 固定マップの作成を説明するための模式図である。 図１の撮像装置１の機能的構成のうち、クマ補正画像生成処理を実行するための機能的構成を示す機能ブロック図である。 図６の機能的構成を有する図１の撮像装置１が実行するクマ補正画像生成処理の流れを説明するフローチャートである。 クマ補正画像生成処理のうち、クマ補正処理の流れを説明するフローチャートである。 クマ補正画像生成処理のうち、クマ補正マップ作成処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ＹＵＶ色空間のディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１では、顔を撮影した画像に対して、顔のクマのみを除去した画像を生成することができる機能を有する。

［クマ補正画像の生成］
クマ補正画像の生成について説明する。
図２は、本実施形態のクマ補正画像の生成を説明するための模式図である。

本実施形態のクマ補正画像の生成では、図２に示すように、まず、元画像を解析して人物の目の瞳位置を検出する。検出した左右の瞳の位置関係に応じて、予め定められている基準に基づき、処理対象となる領域を切り出す。

そして、切り出された画像の画像全体に対してクマを除去するクマ補正を施す。
クマ補正では、顔においてクマがあるであろう領域（以下、「クマ色領域」という。）Ｒ１の色を、顔において基準となるであろう肌の領域（以下、「基準肌色領域」という。）Ｒ２の色に近づける補正を行う。

また、本実施形態のクマ補正画像の生成では、クマの位置と補正の強度を示すマップ（以下、「クマ補正マップ」という。）を作成する。
クマ補正マップは、本実施形態においては、クマ補正対象となる領域を示し、かつ、補正の強度を示すマップである。αブレンドによる画像合成時に、α値となるマスク画像として機能する。

その後、切り出し画像に対して、クマ補正マップをα値とするマスク画像として、クマ補正を施した画像をαブレンドする合成を行う。

最後に、切り出した元画像の元の位置に合成した画像を貼り付けることで、顔においてクマの部分のみが除去されたクマ補正画像が生成される。
なお、図２では、左目周辺のクマを補正する場合を例として挙げているが、右目周辺のクマも同様にして補正する。

［クマ補正の方法］
ここで、クマ補正の詳細について説明する。
クマ補正では、ＹＵＶ色空間において、クマ色領域Ｒ１と、基準肌色領域Ｒ２のＹＵＶの最頻値を計測する。以下、クマ色領域Ｒ１のＹ，Ｕ，Ｖの最頻値をそれぞれＹａ，Ｕａ，Ｖａといい、基準肌色領域Ｒ２のＹ，Ｕ，Ｖの最頻値をそれぞれＹｂ，Ｕｂ，Ｖｂという。
なお、クマ色領域Ｒ１及び基準肌色領域Ｒ２は、顔の大きさや瞳の位置から予め定められている基準に基づいて、左右の瞳ごとに異なる位置で同じ面積となるように設定される。

クマ補正では、画像全体に対してＹ，Ｕ，Ｖの各チャンネルの補正を行う。
Ｙチャンネルの補正では、補正した領域と補正していない領域の境界を目立たなくするために、ＹａがＹｂに近くなるように補正する。補正には、ガンマ（ＬＵＴ：ＬｏｏｋＵｐＴａｂｌｅ）が用いられる。
また、Ｕ，Ｖチャンネルの補正では、Ｕａ，ＶａがＵｂ，Ｖｂに近くなるように補正する。補正には、シフト処理が用いられる。
なお、シフト処理は、以下の式（１），（２）を用いる。
Ｕのシフト量＝Ｕｂ−Ｕａ・・・（１）
Ｖのシフト量＝Ｖｂ−Ｖａ・・・（２）
本実施形態においては、境界を目出させないことを前提にして、Ｙチャンネルについては、人が敏感に感じ取れるために、処理負担が増加してもガンマ補正を用い、Ｕ，Ｖについては鈍感なので処理が簡単なシフト処理を用いている。

［クマ補正マップの作成］
次に、クマ補正マップの作成の詳細について説明する。
図３は、クマ補正マップの作成を説明するための模式図である。

クマ補正マップの作成では、図３に示すように、まず、ＹＵＶ色空間の切り出し画像をＨＳＶ（色相：Ｈｕｅ，彩度：Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ，明度：Ｖａｌｕｅ・Ｌｉｇｈｔｎｅｓｓ・Ｂｒｉｇｈｔｎｅｓｓ）色空間に変換する。次に、ＨＳＶに変換された切り出し画像を解析する。解析結果から算出した値で、画素ごとにＨＳＶそれぞれのチャンネルで重み付けを行ってＨｕｅマップを作成する。Ｈｕｅマップによって、顔において肌色で、かつ、暗めの領域が特定される。
そして、予め作成しておいた瞳に対して決まる位置に配置され、クマらしい形をした固定マップと、作成したＨｕｅマップを合成して合成マップを作成する。
合成マップの作成では、Ｈｕｅマップと固定マップの最小値が取られ、クマ補正を施さない領域がカットされる。
その後、合成マップをぼかして滑らかにし、クマ補正マップを作成する。
このぼかす処理は省略してもよい。

［Ｈｕｅマップの作成］
続いて、Ｈｕｅマップの作成の詳細について説明する。
図４は、Ｈｕｅマップの作成を説明するための模式図である。

Ｈｕｅマップでは、顔において肌色で、かつ、暗めの領域を特定するマップであり、Ｈ，Ｓ，Ｖそれぞれのチャンネルで、クマの強さ示すクマレベルを算出し、算出した結果を掛け合わせて、各画素のＨｕｅマップ値とする。
即ち、Ｈｕｅマップ値は、以下の式（３）で表される。
Ｈｕｅマップ値：Ｍａｐ＝Ｌｈ×Ｌｓ×Ｌｖ・・・（３）
なお、「Ｌｈ」は、Ｈチャンネルのクマレベルであり、「Ｌｓ」は、Ｓチャンネルのクマレベルであり、「Ｌｖ」は、Ｖチャンネルのクマレベルである。

Ｈチャンネルのクマレベルは、クマ色領域Ｒ１のＨチャンネルの平均値を算出して、画素ごとの算出した平均値からの差分で決定される。平均値からの差分に応じたクマレベルは、図４（ａ）の例のようになり、平均値からの差分が大きくなるほど、クマレベルが低くなる。すなわちクマが弱くなる。

また、Ｓチャンネルのクマレベルは、クマ色領域Ｒ１のＳチャンネルの平均値を算出して、画素ごとの算出した平均値からの差分で決定される。平均値からの差分に応じたクマレベルは、図４（ｂ）の例のようになり、平均値からの差分が大きくなるほど、クマレベルが低くなる。すなわちクマが弱くなる。

これに対して、Ｖチャンネルのクマレベルは、クマ色領域Ｒ１と基準肌色領域Ｒ２各々のＶチャンネルのヒストグラムを解析し、クマ領域とみなすレベルを算出する。Ｖチャンネルのクマレベルは、図４（ｃ）の例に示すように、クマ色領域Ｒ１に対応する範囲に、クマ色領域Ｒ１と基準肌色領域Ｒ２各々の最頻度に応じて、境界がなだらかになるように設定される。すなわちクマ色領域Ｒ１と基準肌色領域Ｒ２における明度（Ｖチャンネルの画素レベル）とその頻度とに応じて、クマレベルが算出されることになる。

［固定マップの作成］
固定マップの作成の詳細について説明する。
図５は、固定マップの作成を説明するための模式図である。

固定マップは、一般的な顔において瞳に対するクマの位置関係と瞳の大きさに対するクマの大きさや形を模したマップで、クマ補正にあたり予め作成されているマップである。
固定マップは、図５（ａ）に示すように、データから縮小サイズのマップを展開する。
そして、図５（ｂ）示すように、画像における目の輪郭情報（目頭と目尻等）から目の傾きの角度を算出して、当該角度に対応して固定マップを回転させる。
最後に、固定マップは、画像に対応するサイズに、リサイズして、使用される。

図６は、図１の撮像装置１の機能的構成のうち、クマ補正画像生成処理を実行するための機能的構成を示す機能ブロック図である。
クマ補正画像生成処理とは、人の顔を撮影した画像から、クマ領域を特定して、クマを除去するクマ補正を行ったクマ補正画像を生成する一連の処理をいう。

クマ補正画像生成処理を実行する場合には、図６に示すように、ＣＰＵ１１において、画像取得部５１と、瞳検出部５２と、画像加工部５３と、クマ補正処理部５４と、クマ補正マップ作成部５５と、画像合成部５６と、が機能する。

また、記憶部１９の一領域には、画像記憶部７１と、固定マップ記憶部７２と、が設定される。
画像記憶部７１には、人の顔を撮影した画像のデータが記憶される。
固定マップ記憶部７２には、図５に示すような固定マップのデータが記憶される。

画像取得部５１は、処理対象の画像を取得する。具体的には、画像取得部５１は、例えば、撮像部１６から出力された画像を処理対象の画像として取得する。

瞳検出部５２は、画像取得部５１によって取得された画像において瞳を検出する。本実施形態の瞳の検出は、既存の画像解析技術を用いて行う。

画像加工部５３は、画像の切り貼り等の画像の加工を行う。具体的は、画像加工部５３は、例えば、元画像から画像を切り出したり、切り出した画像を元画像の元の位置に貼り付けたりする。

クマ補正処理部５４は、クマ補正処理を実行する。クマ補正処理において、クマ補正処理部５４は、画像加工部５３により切り出された画像に対してクマ補正処理を施す。クマ補正処理の結果、切り出された画像全体に対してクマが除去される程度の補正が施される。

クマ補正マップ作成部５５は、クマ補正マップ作成処理を実行する。クマ補正マップ作成処理を実行の結果、クマ補正マップが作成される。

画像合成部５６は、画像を合成する。具体的には、画像合成部５６は、例えば、切り出し画像に対して、クマ補正マップをα値とするマスク画像として、クマ補正を施した画像をαブレンドする合成を行う。

図７は、図６の機能的構成を有する図１の撮像装置１が実行するクマ補正画像生成処理の流れを説明するフローチャートである。
クマ補正画像生成処理は、ユーザによる入力部１７へのクマ補正画像生成処理開始の操作により開始される。

ステップＳ１１において、画像取得部５１は、撮像部１６から出力された画像を処理対象の画像として取得する。

ステップＳ１２において、瞳検出部５２は、画像取得部５１によって取得された画像において瞳を検出する。

ステップＳ１３において、画像加工部５３は、画像において瞳検出部５２によって検出された瞳位置に応じて、処理対象となる領域を切り出す。その結果、図２に示すように、画像が切り出される。

ステップＳ１４において、クマ補正処理部５４は、画像加工部５３によって切り出された画像に対してクマ補正処理を施す。クマ補正処理の結果、図２に示すように、切り出された画像全体に対してクマが除去される程度の補正が施される。クマ補正処理の詳細な流れについては、後述する。

ステップＳ１５において、クマ補正マップ作成部５５は、クマ補正マップ作成処理を実行する。クマ補正マップ作成処理の結果、図２及び図３に示すようなクマ補正マップが作成される。

ステップＳ１６において、画像合成部５６は、切り出し画像に対して、クマ補正マップをα係数とするマスク画像として、クマ補正を施した画像をαブレンドする合成を行う。図２に示すようにクマのあった箇所にクマのない切り出し画像が生成される。

ステップＳ１７において、画像加工部５３は、画像合成部５６によって合成された画像を元画像の切り出した位置（元位置）に貼り付ける。その結果、図２に示すようなクマ補正画像が生成される。その後、クマ補正画像生成処理は終了する。

図８は、クマ補正画像生成処理のうち、クマ補正処理の流れを説明するフローチャートである。

ステップＳ３１において、クマ補正処理部５４は、ＹＵＶ色空間において、クマ色領域Ｒ１のＹＵＶの最頻値（Ｙａ，Ｕａ，Ｖａ）及び基準肌色領域Ｒ２のＹＵＶの最頻値（Ｙｂ，Ｕｂ，Ｖｂ）を計測してＹＵＶ解析処理を実行する。

ステップＳ３２において、クマ補正処理部５４は、ＹａがＹｂに近くなるようにガンマ補正を行うＹ補正処理を実行する。

ステップＳ３３において、クマ補正処理部５４は、Ｕａ，ＶａがＵｂ，Ｖｂに近くなるようにシフト処理を行うＵＶ補正処理を実行する。なお、本実施形態においては、シフト処理において、Ｕのシフト量は、上述した式（１）を用い、Ｖのシフト量は、上述した式（２）を用いる。
このクマ補正処理では、画像加工部５３によって切り出された画像全体に対して補正処理を施すため、クマ領域以外にも補正処理が施される。

図９は、クマ補正画像生成処理のうち、クマ補正マップ作成処理の流れを説明するフローチャートである。

ステップＳ５１において、クマ補正マップ作成部５５は、ＨＳＶ解析処理を実行する。
ＨＳＶ解析処理では、まず、ＹＵＶ色空間の切り出し画像に対して、ＨＳＶ変換を行う。そして、Ｖチャンネルにおいてクマ色領域Ｒ１と基準肌色領域Ｒ２のヒストグラムを作成し、Ｈ，Ｓチャンネルの平均値を算出する。その結果、図４（ａ）〜図４（ｃ）に示すように、各画素においてＨ，Ｓ，Ｖのクマレベル（Ｌｈ，Ｌｓ，Ｌｖ）が設定可能となる。

ステップＳ５２において、クマ補正マップ作成部５５は、各画素におけるＨ，Ｓ，Ｖのクマレベル（Ｌｈ，Ｌｓ，Ｌｖ）を掛け合わせてＨｕｅマップ値を算出して、図３に示すようなＨｕｅマップを作成する。

ステップＳ５３において、クマ補正マップ作成部５５は、作成したＨｕｅマップと、固定マップ記憶部７２に記憶される固定マップとを合成する。合成に際して、図５に示すように、固定マップのサイズと角度を調整する。

ステップＳ５４において、クマ補正マップ作成部５５は、合成したマップをぼかして、クマ補正マップを作成する。
このクマ補正マップは、画像加工部５３によって切り出された画像のうちのクマ領域を表し、αブレンドにより、画像全体にクマ補正処理が施された画像から、クマ領域だけにクマ補正処理が施された画像を生成することができるようになる。

既存のクマ補正技術は、目の下をぼかして、明るくしただけのようなものが多数である。
そこで、本実施形態のクマ補正技術では、人物撮影画像の瞳検出結果を用い、顔領域からクマ領域を抽出し、クマが軽減するように最適に補正する。クマ領域の抽出は右目、左目それぞれでＨＳＶ画像を解析し、ＨＳＶ画像からクマ補正マップを作成することで行う。補正する際は、ＹＵＶ画像を解析し、ＹＵＶチャンネルそれぞれで補正する。
クマ領域を抽出するために、顔の瞳検出の結果を用い、クマ色領域Ｒ１と基準肌色領域Ｒ２の２領域を計測する。そして、クマ色領域Ｒ１と基準肌色領域Ｒ２の２領域のＨＳＶを解析することで、‘目の下の暗い肌色領域のみ’とする。クマ補正のＹチャンネルは、ガンマ（ＬＵＴ：ＬｏｏｋＵｐＴａｂｌｅ）補正することで、補正した領域と補正していない領域の境界を目立たなくする。
したがって、画像をぼかしたりすることなく、顔のクマ領域のみをクマが目立たないように最適に補正することができる。

以上のように構成される撮像装置１は、瞳検出部５２と、クマ補正マップ作成部５５と、画像合成部５６と、を備える。
画像処理装置は、画像に含まれる人物の顔のクマを補正する。
瞳検出部５２は、画像から人物の目又は瞳を検出する。
クマ補正マップ作成部５５は、画像内における瞳検出部５２によって検出された人物の目又は瞳の位置に基づき、画像内におけるクマの色情報及び基準となる肌色情報を取得し、補正を行う画像内の位置及び補正の強度を示す補正情報（クマ補正マップ）を生成する。
画像合成部５６は、クマ補正マップ作成部５５によって生成された補正情報（クマ補正マップ）を使用して、画像に含まれる人物の顔のクマを補正する処理を行う。
これにより、撮像装置１においては、画像内の瞳の位置を検出し、その位置の下側の所定位置をクマ色領域及び基準肌色領域として特定し、各々から取得される色情報に基づき、マスクを生成する。このため、撮像装置１では、個人差や撮像状況に応じた適切なクマの色情報及び肌色情報に基づくため、適切な補正情報を生成してクマを補正することができる。よって、撮像装置１では、人物の目の下のクマを簡易な方法で適切に補正することができる。

クマ補正マップ作成部５５は、画像内における検出された人物の目又は瞳の位置より下側で所定の位置関係となる位置を、各々クマの色情報及び基準となる肌色情報を取得する画像内における位置として特定し、特定された位置各々からクマの色情報及び基準となる肌色情報を取得する。
これにより、撮像装置１においては、より簡易にクマの色情報及び基準となる肌色情報を取得することができる。

クマ補正マップ作成部５５は、ＨＳＶ色空間のクマの色情報及び基準となる肌色情報に基づき補正情報（クマ補正マップ）を生成する。
画像合成部５６は、生成された補正情報（クマ補正マップ）を使用して、ＹＵＶ色空間で、画像に含まれる人物の顔のクマを補正する処理を行う。
これにより、撮像装置１においては、違和感なくクマを除去することができる。

クマ補正マップ作成部５５は、取得された画像内におけるクマの色情報及び基準となる肌色情報に基づき、画像に含まれる人物の顔のクマ領域の候補を含む補正情報（Ｈｕｅマップ）を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む補正情報（Ｈｕｅマップ）の画像内における位置情報を修正して、補正を行うための補正情報（クマ補正マップ）を生成する。
これにより、撮像装置１においては、光線により陰となる部分のようにクマと色が近く、色情報だけでは判別の困難な領域を、位置情報を併用することで排除して、より正確な位置に補正することができる。

画像合成部５６は、取得されたクマの色情報により示される色を、取得された基準となる肌色情報により示される色に近づけるように補正する処理を行う。
これにより、撮像装置１においては、違和感なくクマを除去することができる。

クマ補正マップ作成部５５は、画像に含まれる人物の顔のクマを補正するための補正情報であって、補正を行う画像内の位置及び補正の強度を示す補正情報（クマ補正マップ）を、ＨＳＶ色空間の色情報に基づき生成する。
画像合成部５６は、生成された補正情報（クマ補正マップ）を使用して、ＹＵＶ色空間の色情報で画像に含まれる人物の顔のクマを補正する処理を行う。
これにより、撮像装置１においては、ＨＳＶ色空間でマスクを生成し、生成したマスクを使用してＹＵＶ色空間で補正を行う。このため、撮像装置１では、補正情報（クマ補正マップ）の生成処理と、補正処理の各々で適切な色空間の色情報を使用するため、適切にクマを補正することができる。よって、撮像装置１では、人物の目の下のクマを簡易な方法で適切に補正することができる。

クマ補正マップ作成部５５は、ＨＳＶ色空間のうちＶ成分の情報を主成分とし、Ｈ成分及びＳ成分の情報を副成分として、補正を行う画像内の位置及び補正の強度を示す補正情報（クマ補正マップ）を生成する。
画像合成部５６は、生成された補正情報を使用し、ＹＵＶ色空間のうちＹ成分の情報を主成分とし、Ｕ成分及びＶ成分の情報を副成分として、画像に含まれる人物の顔のクマを補正する処理を行う。
これにより、撮像装置１においては、人の目に敏感に反応する成分を主成分とすることにより、より違和感なくクマを補正することができる。

クマ補正マップ作成部５５は、ＨＳＶ色空間のうちＶ成分の情報を主成分とし、Ｈ成分及びＳ成分の情報を副成分として、画像に含まれる人物の顔のクマ領域の候補を含む補正情報（Ｈｕｅマップ）を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む補正情報の画像内における位置情報を修正して、補正を行うための補正情報（クマ補正マップ）を生成する。
これにより、撮像装置１においては、光線により陰となる部分のようにクマと色が近く、色情報だけでは判別の困難な領域を、位置情報を併用することで排除して、より正確な位置に補正することができる。

クマ補正マップ作成部５５は、画像内における検出された人物の目又は瞳の位置に基づき取得されるＨＳＶ色空間におけるクマの色情報及び基準となる肌色情報を使用して、補正情報（クマ補正マップ）を生成する。
これにより、撮像装置１においては、違和感なくクマを除去することができる。

画像合成部５６は、画像内における検出された人物の目又は瞳の位置に基づき取得されるＹＵＶ色空間のクマの色情報及び基準となる肌色情報を使用して、当該クマの色情報により示される色を、当該基準となる肌色情報により示される色に近づけるように補正する処理を行う。
これにより、撮像装置１においては、違和感なくクマを除去することができる。

また撮像装置１は、クマ補正マップ作成部５５と、画像合成部５６と、を備える。
クマ補正マップ作成部５５は、画像に含まれる人物の顔のクマ領域の候補となる候補領域を、画像から取得される色情報に基づいて特定する。
クマ補正マップ作成部５５は、予め用意されている基準となるクマ領域情報であって、画像内の位置情報を含むクマ領域情報を使用して、クマ補正マップ作成部５５によって特定された候補領域の画像内における位置情報を修正して、画像に含まれる人物の顔のクマ領域を特定する。
画像合成部５６は、クマ補正マップ作成部５５によって特定されたクマ領域の色を補正する処理を行う。
これにより、撮像装置１においては、色情報に基づきクマ領域候補を特定し、クマとの判別が難しい光線により陰となる領域のように色が近く、色情報だけでは判別の難しい領域を、基準となる固定マップと合成することでクマ領域から除外する。このため、撮像装置１では、個人差や撮像状況に応じたクマ領域候補を基準となるクマ領域情報で修正するため、クマとの判別が難しい領域を適切に除去し、適切にクマを補正することができる。よって、撮像装置１では、人物の目の下のクマを簡易な方法で適切に補正することができる。

クマ補正マップ作成部５５は、画像内における瞳検出部５２によって検出された人物の目又は瞳の位置に基づき取得されるクマの色情報及び基準となる肌色情報を使用して、候補領域を特定する。
これにより、撮像装置１においては、より簡単に補正の候補領域を特定することができる。

画像合成部５６は、補正を行う画像内の位置及び補正の強度を示す補正情報（クマ補正マップ）を使用して、取得されたクマの色情報により示される色を、取得された基準となる肌色情報により示される色に近づけるように補正する処理を行う。
これにより、撮像装置１においては、違和感なくクマを除去することができる。

クマ補正マップ作成部５５は、ＨＳＶ色空間の色情報に基づき候補領域を特定する。
クマ補正マップ作成部５５は、クマ領域情報を使用して、特定された候補領域を修正して、ＨＳＶ色空間の色情報に基づき画像に含まれる人物の顔のクマ領域を特定する。
画像合成部５６は、ＹＵＶ色空間の色情報に基づき、特定されたクマ領域を補正する処理を行う。
これにより、撮像装置１においては、より違和感なくクマの除去を行うことができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、クマ補正マップを作成するために、人物の目の瞳を検出するようにしているが、簡略に人物の目を検出するようにしてもよい。この場合、固定マップの角度調整は省略する。

また、上述の実施形態では、クマ補正に係る画像処理を位置情報と強度情報とを含む補正情報を使用して、画素ごとに画像処理を行うように構成してもよい。

また、上述の実施形態では、撮像部１６での撮影によって取得した記録用の画像を処理対象としたが、画像記憶部７１に記憶される画像やライブビュー画像に対して行うように構成してもよい。

また、上述の実施形態では、マップを生成する際の画像を構成する画素は、記録用の画像サイズの画素数でも、間引いたライブビュー表示用の画素で構成してもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、クマ補正画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図６の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図６の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像に含まれる人物の顔のクマを補正する画像処理装置であって、
前記画像から人物の目又は瞳を検出する検出手段と、
画像内における前記検出手段によって検出された前記人物の目又は瞳の位置に基づき、画像内におけるクマの色情報及び基準となる肌色情報を取得し、補正を行う画像内の位置及び補正の強度を示す補正情報を生成する補正情報生成手段と、
前記補正情報生成手段によって生成された前記補正情報を使用して、画像に含まれる人物の顔のクマを補正する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記補正情報生成手段は、画像内における検出された前記人物の目又は瞳の位置より下側で所定の位置関係となる位置を、各々クマの色情報及び基準となる肌色情報を取得する画像内における位置として特定し、特定された位置各々から前記クマの色情報及び前記基準となる肌色情報を取得する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記補正情報生成手段は、ＨＳＶ色空間のクマの色情報及び基準となる肌色情報に基づき前記補正情報を生成し、
前記画像処理手段は、生成された前記補正情報を使用して、ＹＵＶ色空間で、画像に含まれる人物の顔のクマを補正する処理を行う、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記補正情報生成手段は、取得された画像内における前記クマの色情報及び前記基準となる肌色情報に基づき、画像に含まれる人物の顔のクマ領域の候補を含む補正情報を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む補正情報の画像内における位置情報を修正して、補正を行うための前記補正情報を生成する、
ことを特徴とする付記１乃至３の何れか１つに記載の画像処理装置。
［付記５］
前記画像処理手段は、取得された前記クマの色情報により示される色を、取得された前記基準となる肌色情報により示される色に近づけるように補正する処理を行う、
ことを特徴とする付記１乃至４の何れか１つに記載の画像処理装置。
［付記６］
画像に含まれる人物の顔のクマを補正する画像処理装置であって、
画像に含まれる人物の顔のクマを補正するための補正情報であって、補正を行う画像内の位置及び補正の強度を示す補正情報を、ＨＳＶ色空間の色情報に基づき生成する補正情報生成手段と、
生成された前記補正情報を使用して、ＹＵＶ色空間の色情報で画像に含まれる人物の顔のクマを補正する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
［付記７］
前記補正情報生成手段は、ＨＳＶ色空間のうちＶ成分の情報を主成分とし、Ｈ成分及びＳ成分の情報を副成分として、補正を行う画像内の位置及び補正の強度を示す補正情報を生成し、
前記画像処理手段は、生成された前記補正情報を使用し、ＹＵＶ色空間のうちＹ成分の情報を主成分とし、Ｕ成分及びＶ成分の情報を副成分として、画像に含まれる人物の顔のクマを補正する処理を行う、
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記補正情報生成手段は、ＨＳＶ色空間のうちＶ成分の情報を主成分とし、Ｓ成分及びＶ成分の情報を副成分として、画像に含まれる人物の顔のクマ領域の候補を含む補正情報を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む補正情報の画像内における位置情報を修正して、補正を行うための補正情報を生成する、
ことを特徴とする付記７に記載の画像処理装置。
［付記９］
画像から人物の目又は瞳を検出する検出手段を、更に備え、
前記補正情報生成手段は、画像内における検出された人物の目又は瞳の位置に基づき取得されるＨＳＶ色空間におけるクマの色情報及び基準となる肌色情報を使用して、前記補正情報を生成する、
ことを特徴とする付記６乃至８の何れか１つに記載の画像処理装置。
［付記１０］
前記画像処理手段は、画像内における検出された人物の目又は瞳の位置に基づき取得されるＹＵＶ色空間のクマの色情報及び基準となる肌色情報を使用して、当該クマの色情報により示される色を、当該基準となる肌色情報により示される色に近づけるように補正する処理を行う、
ことを特徴とする付記９に記載の画像処理装置。
［付記１１］
画像に含まれる人物の顔のクマを補正する画像処理装置であって、
画像に含まれる人物の顔のクマ領域の候補となる候補領域を、画像から取得される色情報に基づいて特定する候補領域特定手段と、
予め用意されている基準となるクマ領域情報であって、画像内の位置情報を含むクマ領域情報を使用して、前記候補領域特定手段によって特定された前記候補領域の画像内における位置情報を修正して、画像に含まれる人物の顔のクマ領域を特定するクマ領域特定手段と、
前記クマ領域特定手段によって特定された前記クマ領域の色を補正する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
［付記１２］
画像から人物の目又は瞳を検出する検出手段を、更に備え、
前記候補領域特定手段は、画像内における前記検出手段によって検出された前記人物の目又は瞳の位置に基づき取得されるクマの色情報及び基準となる肌色情報を使用して、候補領域を特定する、
ことを特徴とする付記１１に記載の画像処理装置。
［付記１３］
前記画像処理手段は、補正を行う画像内の位置及び補正の強度を示す補正情報を使用して、取得された前記クマの色情報により示される色を、取得された前記基準となる肌色情報により示される色に近づけるように補正する処理を行う、
ことを特徴とする付記１２に記載の画像処理装置。
［付記１４］
前記候補領域特定手段は、ＨＳＶ色空間の色情報に基づき前記候補領域を特定し、
前記クマ領域特定手段は、前記クマ領域情報を使用して、特定された前記候補領域を修正して、ＨＳＶ色空間の色情報に基づき画像に含まれる人物の顔のクマ領域を特定し、
前記画像処理手段は、ＹＵＶ色空間の色情報に基づき、特定されたクマ領域を補正する処理を行う、
ことを特徴とする付記１１乃至１３の何れか１つに記載の画像処理装置。
［付記１５］
画像に含まれる人物の顔のクマを補正する画像処理装置で実行される画像処理方法であって、
画像から人物の目又は瞳を検出する検出処理と、
画像内における前記検出処理によって検出された前記人物の目又は瞳の位置に基づき、画像内におけるクマの色情報及び基準となる肌色情報を取得し、補正を行う画像内の位置及び補正の強度を示す補正情報を生成する補正情報生成処理と、
前記補正情報生成処理によって生成された前記補正情報を使用して、画像に含まれる人物の顔のクマを補正する処理を行う画像処理と、
を含むことを特徴とする画像処理方法。
［付記１６］
画像に含まれる人物の顔のクマを補正する画像処理装置で実行される画像処理方法であって、
画像に含まれる人物の顔のクマを補正するための補正情報であって、補正を行う画像内の位置及び補正の強度を示す補正情報を、ＨＳＶ色空間の色情報に基づき生成する補正情報生成処理と、
生成された前記補正情報を使用して、ＹＵＶ色空間の色情報で画像に含まれる人物の顔のクマを補正する処理を行う画像処理と、
を含むことを特徴とする画像処理方法。
［付記１７］
画像に含まれる人物の顔のクマを補正する画像処理装置で実行される画像処理方法であって、
画像に含まれる人物の顔のクマ領域の候補となる候補領域を、画像から取得される色情報に基づいて特定する候補領域特定処理と、
予め用意されている基準となるクマ領域情報であって、画像内の位置情報を含むクマ領域情報を使用して、前記候補領域特定処理によって特定された前記候補領域の画像内における位置情報を修正して、画像に含まれる人物の顔のクマ領域を特定するクマ領域特定処理と、
特定された前記クマ領域の色を補正する処理を行う画像処理と、
を含むことを特徴とする画像処理方法。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・瞳検出部，５３・・・画像加工部，５４・・・クマ補正処理部，５５・・・クマ補正マップ作成部，５６・・・画像合成部，７１・・・画像記憶部，７２・・・固定マップ記憶部

Claims (6)

1. 顔を撮影した画像に含まれるクマを補正する画像処理装置であって、
   画像から人物の目を検出する検出手段と、
   画像内における前記検出手段によって検出された前記人物の目の位置に基づき、画像内におけるクマの色情報及び基準となる肌色情報を取得し、補正を行う画像内の位置及び補正の強度を示す補正情報を生成する補正情報生成手段と、
   前記補正情報生成手段によって生成された前記補正情報を使用して、画像に含まれるクマを補正する処理を行う画像処理手段と、
   を備え、
   前記補正情報生成手段は、取得された画像内における前記クマの色情報及び前記基準となる肌色情報に基づき、画像に含まれるクマ領域の候補を含む補正情報の候補を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む前記補正情報の候補の画像内における位置情報を修正して、補正を行うための前記補正情報を生成する、
   ことを特徴とする画像処理装置。
2. 前記補正情報生成手段は、画像内における検出された前記人物の目の位置より下側で所定の位置関係となる位置を、各々前記クマの色情報及び前記基準となる肌色情報を取得する画像内における位置として特定し、特定された位置各々から前記クマの色情報及び前記基準となる肌色情報を取得する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正情報生成手段は、ＨＳＶ色空間のクマの色情報及び基準となる肌色情報に基づき前記補正情報を生成し、
   前記画像処理手段は、生成された前記補正情報を使用して、ＹＵＶ色空間で、画像に含まれるクマを補正する処理を行う、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像処理手段は、取得された前記クマの色情報により示される色を、取得された前記基準となる肌色情報により示される色に近づけるように補正する処理を行う、
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 顔を撮影した画像に含まれるクマを補正する画像処理方法であって、
   画像から人物の目を検出する検出処理と、
   画像内における前記検出処理によって検出された前記人物の目の位置に基づき、画像内におけるクマの色情報及び基準となる肌色情報を取得し、補正を行う画像内の位置及び補正の強度を示す補正情報を生成する補正情報生成処理と、
   前記補正情報生成処理によって生成された前記補正情報を使用して、画像に含まれるクマを補正する処理を行う画像処理と、
   を含み、
   前記補正情報生成処理は、取得された画像内における前記クマの色情報及び前記基準となる肌色情報に基づき、画像に含まれるクマ領域の候補を含む補正情報の候補を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む前記補正情報の候補の画像内における位置情報を修正して、補正を行うための前記補正情報を生成する、
   ことを特徴とする画像処理方法。
6. 顔を撮影した画像に含まれるクマを補正する画像処理装置を制御するプログラムであって、
   前記画像処理装置を、
   画像から人物の目を検出する検出手段、
   画像内における前記検出手段によって検出された前記人物の目の位置に基づき、画像内におけるクマの色情報及び基準となる肌色情報を取得し、補正を行う画像内の位置及び補正の強度を示す補正情報を生成する補正情報生成手段、
   前記補正情報生成手段によって生成された前記補正情報を使用して、画像に含まれるクマを補正する処理を行う画像処理手段、
   として機能させ、
   前記補正情報生成手段は、取得された画像内における前記クマの色情報及び前記基準となる肌色情報に基づき、画像に含まれるクマ領域の候補を含む補正情報の候補を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む前記補正情報の候補の画像内における位置情報を修正して、補正を行うための前記補正情報を生成する、
   ように機能させることを特徴とするプログラム。

Images