JP7129520B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、撮像手段で撮像された画像を補正するために用いて好適なものである。

デジタルカメラなどの撮像装置は、カメラ内の絞りやシャッターを用いて露出制御を行った上で被写体を撮影する。しかし、撮像装置が露出制御を行って撮影したとしても、環境光源やストロボ光の影響により、撮像された画像において顔の領域にテカリが発生する場合がある。テカリとは、環境光やストロボ光が人物の肌の表面で反射することにより、画像における人物の肌の一部の領域が白くなることである。このように肌色に対して局所的な高輝度部が画像に存在することにより、人物の画像として好ましくない印象を、当該画像を見たユーザに与える虞がある。そこで、画像におけるテカリを低減する技術が要求されている。

このような要求に対して、顔の領域の肌色に対して局所的な高輝度部を除去する技術が提案されている。特許文献１には、撮像手段で撮像された画像から被写体の顔などの所定部位を検出して、当該所定部位に含まれる各画素の色情報と輝度情報とに基づいて、各画素の補正の割合を決定する技術が開示されている。

特開２００５－３２７００９号公報

しかし、特許文献１に記載の技術では、テカリ部において肌色が正しく再現できない場合がある。例えば、環境光源が複数存在するシーンやストロボ光を発光するようなシーンでは、顔の領域に色むらが生じる場合がある。この場合、特許文献１に記載の技術では、テカリを低減するための補正をすることによって、色むらをより強調してしまうことがある。その結果、テカリを補正することによりユーザが意図しない不自然な画像となる虞がある。
本発明は、このような問題点に鑑みてなされたものであり、色むらによって生じる画像の誤補正を低減することを目的とする。

本発明の画像処理装置は、撮像手段で撮像された画像に含まれる人物の顔の領域のうち、輝度が閾値よりも高い領域を補正対象領域として、当該補正対象領域の画素値を補正する処理を含む画像処理を行う画像処理装置であって、前記顔の領域における色むらが大きいほど、前記補正対象領域における画素値に対する補正量を小さくする決定手段を有し、前記決定手段は、前記顔の領域における画素値の代表値に基づいて前記補正対象領域における肌色の補色を導出すると共に、前記顔の領域における色むらの度合いと、前記補正対象領域における輝度とに基づいて、前記補正対象領域における肌色の補色を補正するためのゲインを導出し、前記補正対象領域における肌色の補色と、前記ゲインとに基づいて、前記補正対象領域における画素値に対する補正量を導出することを特徴とする。

本発明によれば、色むらによって生じる画像の誤補正を低減することができる。

電子カメラの構成の一例を示す図である。 画像処理部の構成を示す図である。 テカリ補正処理を説明する図である。 テカリ補正を行う際の電子カメラの動作を説明するフローチャートである。 顔検出部により検出される顔の領域を示す図である。 テカリ補正処理の第１の例を説明するフローチャートである。 ストロボ照射量を説明する図である。 テカリ補正により新たに発生する色むらを説明する図である。 テカリ補正量を算出する際のゲイン特性を示す図である。 テカリ補正処理の第２の例を説明するフローチャートである。

以下に、図面に基づいて、実施形態を説明する。以下の各実施形態では、電子カメラに画像処理装置が搭載される場合を例に挙げて説明する。電子カメラは、例えば、デジタルスチルカメラ、デジタルムービーカメラ、工業用カメラ、車載用カメラ、または医療用カメラなどである。ただし、撮像手段で撮像された画像に対する画像処理を行う機能を有する装置であれば、以下の各実施形態で説明する画像処理装置が搭載される装置は、電子カメラに限定されない。例えば、携帯端末（携帯電話やタブレット端末など）またはパーソナルコンピュータなどの情報処理装置に、以下の各実施形態で説明する画像処理装置を搭載してもよい。

（第１の実施形態）
まず、第１の実施形態を説明する。
図１は、電子カメラ１００の構成の一例を示すブロック図である。
レンズ群１０１は、フォーカスレンズを含むズームレンズである。シャッター１０２は、絞り機能を備える。シャッター１０２は、システム制御部５０の制御に応じて撮像部１０３に含まれる撮像素子を露光する。撮像部１０３は、レンズ群１０１を通して得られる光学像を光電変換により電気信号に変換する。撮像部１０３は、ＣＣＤ／ＣＭＯＳイメージセンサ等の撮像素子を含む。Ａ／Ｄ変換部１０４は、撮像部１０３から読み出されたアナログ信号をデジタル信号に変換して画像処理部１０５に画像データを出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力された画像データまたはメモリ制御部１０７から出力された画像データに対して、ホワイトバランス調整およびガンマ補正などの各種画像処理を行う。また、画像処理部１０５は、顔検出部１１３による顔の検出の結果や、撮像された画像データを用いて、所定の評価値の算出を行う。システム制御部５０は、画像処理部１０５で得られた評価値に基づいて、露光制御および測距制御を行う。これにより、システム制御部５０は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動慮出）処理、およびＡＷＢ（オートホワイトバランス）処理などを行う。また、画像処理部１０５は、画像内の領域に発生したテカリを補正する。テカリを補正する方法の一例の詳細については後述する。

画像メモリ１０６は、画像処理部１０５が各種画像処理を行う際に一時的に画像データを記憶する。また、画像メモリ１０６は、記録媒体インターフェース（Ｉ／Ｆ）１１１を介して記録媒体１１２から読み込まれた画像データや、表示部１０９に表示するための画像データを記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、デジタル信号をアナログ信号に変換する。Ｄ／Ａ変換器１０８は、例えば、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に出力する。

表示部１０９は、ＬＣＤ（Liquid Crystal Display）などの表示装置を有する。表示部１０９は、電子カメラ１００で撮影された画像、記録媒体１１２から読み出された画像、ライブビュー画像などを表示する。また、表示部１０９は、電子カメラ１００に対する操作をユーザが行うためのユーザインターフェースを表示する。コーデック部１１０は、画像データを圧縮符号化・復号化する。コーデック部１１０は、画像メモリ１０６に記録された画像データを例えばＭＰＥＧなどの規格に準拠した形式で符号化または復号化する。

記録媒体Ｉ／Ｆ１１１は、記録媒体１１２を、電子カメラ１００と機械的および電気的に接続する。記録媒体１１２は、例えば、半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体である。顔検出部１１３は、画像データを解析して画像内の顔が映っている領域を検出する。システム制御部５０は、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）を含む。システム制御部５０は、不揮発性メモリ１２１に記憶されているプログラムをシステムメモリ１２２の作業領域に展開することにより実行して、電子カメラ１００全体の各機能を制御する。

操作部１２０は、前述した表示部１０９で表示されるインターフェースとしてのタッチパネルと、ボタンおよびスイッチとを含む。操作部１２０は、操作部１２０に対するユーザによる操作の内容をシステム制御部５０に通知する。不揮発性メモリ１２１は、補助記憶装置として、プログラムやパラメータなどを格納する不揮発性の半導体メモリを有する。具体的に不揮発性メモリ１２１は、例えば、ＥＥＰＲＯＭを有する。システムメモリ１２２は、主記憶装置であり、不揮発性メモリ１２１から読み出されたプログラムなどを展開する他、システム制御部５０の動作用の定数、変数を記憶する。

次に、図２を参照しながら、画像処理部１０５の構成の一例と画像処理部１０５の各部の処理の一例を説明する。
画像信号生成部２０１は、Ａ／Ｄ変換部１０４から出力された画像データを入力する。本実施形態では、画像データは、ベイヤー配列で構成されたＲＧＢの画像データであるものとする。画像信号生成部２０１は、ベイヤー配列で構成されたＲＧＢの画像データに対して同時化処理を行って、１画素あたり複数の色を有する画像データＲ、Ｇ、Ｂを生成する。画像信号生成部２０１は、生成した画像データをホワイトバランス（ＷＢ）制御部２０２に出力する。

ＷＢ制御部２０２は、画像信号生成部２０１により出力された画像データの情報に基づいてＷＢ補正値を算出する。ＷＢ制御部２０２は、算出したＷＢ補正値を用いて、画像データのホワイトバランスを補正する。
テカリ補正回路２０３は、ＷＢ制御部２０２によってホワイトバランスが補正された画像データを基にテカリ補正処理を実施する。図３は、テカリ補正処理の一例を説明する図である。テカリ補正回路２０３は、例えば、図３に示すように、画像の高輝度領域（テカリの補正対象領域）に対して肌色の補色を減算することで、肌色を再現する。テカリ補正回路２０３の詳細な構成の一例とテカリ補正値の算出方法の一例の詳細に関しては後述する。

色変換マトリックス（ＭＴＸ）回路２０４は、テカリ補正回路２０３により補正された画像データが最適な色で再現されるように、当該画像データに色ゲインを乗じ、当該画像データを２つの色差信号データＲ－Ｙ、Ｂ－Ｙに変換する。
ローパスフィルタ（ＬＰＦ）回路２０５は、色差信号データＲ－Ｙ、Ｂ－Ｙの帯域を制限する。ＣＳＵＰ（Chroma Suppress）回路２０６は、ＬＰＦ回路２０５で帯域制限された色差信号データの飽和部分の偽色信号を抑圧する。

テカリ補正回路２０３により補正された画像データは輝度信号（Ｙ）生成回路２１１にも供給される。輝度信号生成回路２１１は、テカリ補正回路２０３により補正された画像データから、輝度信号データＹを生成する。エッジ強調回路２１２は、輝度信号生成回路２１１で生成された輝度信号データに対してエッジ強調処理を適用する。
ＣＳＵＰ回路２０６から出力される色差信号データＲ－Ｙ、Ｂ－Ｙと、エッジ強調回路２１２から出力される輝度信号データＹは、ＲＧＢ変換回路２０７にてＲＧＢ信号データに変換される。
ガンマ（γ）補正回路２０８は、ＲＧＢ信号データに対し、予め定められたガンマ特性に従ったガンマ補正（階調補正）を行う。ガンマ補正されたＲＧＢ信号データは、色輝度変換回路２０９によってＹＵＶ信号データに変換された後、ＪＰＥＧ圧縮回路２１０にて圧縮符号化され、画像メモリ１０６などに画像データファイルとして記録される。

次に、テカリ補正回路２０３の構成の一例と動作の一例について説明する。
図４のフローチャートを参照しながら、テカリ補正を行う際の電子カメラ１００の動作の一例について説明する。
まず、顔検出部１１３は、顔検出部１１３に入力された画像データから人物の顔の領域を検出し、画像内の人物の顔の領域を特定するための顔情報を取得する（Ｓ４０１）。続いて顔検出部１１３は、Ｓ４０１で検出した顔の領域の目、鼻、および口などの器官の領域を検出し、顔の領域内の器官の領域を示す器官情報を取得する（Ｓ４０２）。ここで、器官情報を取得する理由は、肌色領域とそれ以外の領域とを区別するためである。

図５は、顔検出部１１３により検出される顔の領域の一例を示す図である。顔検出部１１３は、例えば、領域５０１を人物の顔の領域として検出する。次に、顔検出部１１３は、顔の領域５０１に含まれる画像信号に基づいて、顔の領域５０１を複数のブロックに分割して、分割したブロック毎に評価値を取得する。本実施形態では、図５に示すブロック（顔の領域５０１を分割した矩形の１つ１つ）が分割領域の一例である。電子カメラ１００は、この評価値を用いることにより、各ブロックがテカリの補正対象領域（高輝度領域）であるか否かを判断することができる。本実施形態では、顔検出部１１３は、Ｓ４０１で検出した顔の領域のうち、Ｓ４０２で検出した器官の領域を除く領域のブロックについて、ブロック積分値を当該ブロックの評価値として取得する。各ブロックのブロック積分値は、当該ブロック内の画素値（Ｒ、Ｇ、Ｂ）の積分値である。

次に、テカリ補正回路２０３は、ブロック毎に取得した評価値に基づいて、テカリ補正処理を実施する（Ｓ４０４）。図６のフローチャートを参照しながら、テカリ補正処理の詳細の一例について説明する。
まず、テカリ補正回路２０３は、図４のＳ４０３で取得されたブロック積分値から、顔の領域のうち、目や口などの器官の領域を除いた領域の顔輝度情報をブロックごとに取得する（Ｓ６０１）。テカリ補正回路２０３は、ブロックのブロック積分値を当該ブロック内の画素の数で除算した値を、平均画素値ＡｖｅＲ、ＡｖｅＧ、ＡｖｅＢとして導出し、導出した平均画素値ＡｖｅＲ、ＡｖｅＧ、ＡｖｅＢから平均輝度値ＡｖｅＹを導出する。各ブロックの平均輝度値ＡｖｅＹが各ブロックの顔輝度情報になる。

次に、テカリ補正回路２０３は、顔の領域のうち、目や口などの器官の領域を除いた領域の肌色平均値Ｓｋｉｎ＿Ｒ、Ｓｋｉｎ＿Ｇ、Ｓｋｉｎ＿Ｂを取得する（Ｓ６０２）。続いてテカリ補正回路２０３は、本撮影時にストロボ光が発光したか否を判定する（Ｓ６０３）。本実施形態では、Ｓ６０２で取得される肌色平均値Ｓｋｉｎ＿Ｒ、Ｓｋｉｎ＿Ｇ、Ｓｋｉｎ＿Ｂが、顔の領域における画素値の代表値の一例である。

本撮影時にストロボ光が発光しなかった場合、テカリ補正回路２０３は、各ブロックの色評価値ｃ［ｎ］を取得する（Ｓ６０５）。色評価値ｃ［ｎ］は、テカリ補正回路２０３が各ブロックに色むらの有無があるか否かを判断するために使用される。色評価値ｃ［ｎ］は、例えば、各ブロックのＧに対するＲ、Ｂの比率（Ｒ／Ｇ、Ｂ／Ｇ）、または、輝度Ｙで正規化したＲ－Ｂ値（（Ｒ－Ｂ）／Ｙ）およびＭｇ（マゼンタ）－Ｇ値（（Ｒ＋Ｂ－Ｇ）／Ｙ）である。ここで、Ｒ、Ｂ、Ｇ、Ｙは、それぞれ、前述したＡｖｅＲ、ＡｖｅＧ、ＡｖｅＢ、ＡｖｅＹである。

本撮影時にストロボ光が発光した場合、テカリ補正回路２０３は、各ブロックのストロボ照射量を取得する（Ｓ６０４）。ここで、図７を参照しながら、ストロボ照射量の一例について説明する。テカリ補正回路２０３は、図７に示すように非発光画像データ７０１から、ｎ個の輝度ブロックａ［ｎ］を算出する。非発光画像データ７０１は、例えば、電子カメラ１００が、ストロボ光を発光して行われる本撮影の前または後にストロボ光を発光せずに本撮影と同じ状態で被写体を撮影することにより得られる。また、テカリ補正回路２０３は、ストロボ発光画像データ７０２から、ｎ個の輝度ブロックｂ［ｎ］を取得する。ストロボ発光画像データ７０２は、本撮影時に得られた画像データである。ここで、図７では、説明の都合上、画像全体を複数のブロックに分割している。しかしながら、輝度ブロックは、前述した顔の領域を分割した複数のブロックと同じブロックでよく、輝度ブロックのそれぞれには、前述した平均輝度値ＡｖｅＹの情報が設定されていればよい（図５を参照）。このように輝度ブロックは、人物の顔の領域に対して設定されていればよい。テカリ補正回路２０３は、輝度ブロックａ［ｎ］およびｂ［ｎ］を、例えばシステムメモリ１２２に一時的に格納する。

テカリ補正回路２０３は、ストロボ光の発光時と非発光時とで露出条件が異なる場合、露光条件を揃えた輝度ブロックを算出する。例えば、露出条件が、絞り、シャッタースピード、および感度であるとする。また、輝度ブロックａ［ｎ］の取得時の絞り、シャッタースピード、感度をそれぞれＡｖ１、Ｔｖ１、Ｓｖ１とする。また、輝度ブロックｂ［ｎ］の絞り、シャッタースピード、感度をそれぞれＡｖ２、Ｔｖ２、Ｓｖ２とする。テカリ補正回路２０３は、これらの露出条件の差分である露出条件差分ΔＥｖを算出する。露出条件差分ΔＥｖは、例えば、ΔＥｖ＝２＾｛（Ａｖ１＋Ｔｖ１－Ｓｖ１）－（Ａｖ２＋Ｔｖ２－Ｓｖ２）｝により算出される。そして、テカリ補正回路２０３は、輝度ブロックａ［ｎ］に露出条件差分ΔＥｖを乗算する。これにより、輝度ブロックａ［ｎ］、ｂ［ｎ］の露光条件が揃う。

２つの輝度ブロックａ［ｎ］、ｂ［ｎ］の差分データ（＝ｂ［ｎ］－ａ［ｎ］またはｂ［ｎ］－ΔＥｖ×ａ［ｎ］）により、ストロボ光の発光時における顔の領域の反射光が表される。テカリ補正回路２０３は、輝度ブロックａ［ｎ］、ｂ［ｎ］の差分データを、顔の領域へのストロボ光の照射量とし、このストロボ光の照射量を評価値ｓ［ｎ］としてｎ個のブロックごとに取得する。この評価値ｓ［ｎ］も、色評価値ｃ［ｎ］と同様に、テカリ補正回路２０３が、各ブロックに色むらの有無があるか否かを判断するために使用される。ここでは、ストロボ光の発光時における顔の領域へのストロボ光の照射量を評価値として算出する場合を例に挙げて示す。しかしながら、テカリ補正回路２０３は、ストロボ光の非発光時（Ｓ６０５）のように色評価値を算出してもよい。

そして、Ｓ６０６において、テカリ補正回路２０３は、Ｓ６０４またはＳ６０５で取得した評価値ｓ［ｎ］、ｃ［ｎ］の均一度を算出する。つまり、テカリ補正回路２０３は、顔の領域に照射されている光源の照射むらの度合いを判断する。例えば、テカリ補正回路２０３は、評価値ｃ［ｎ］またはｓ［ｎ］の分散値を算出し、分散値が大きければ大きいほど光源の照射むらがあると判断できる。本実施形態では、評価値ｃ［ｎ］またはｓ［ｎ］の均一度（分散値）が色むらの度合いの評価値の一例である。

また、テカリ補正回路２０３は、ストロボの発光前後に撮影された非発光画像データ７０１に基づいて、ストロボ光が発光した場合の照射むらの有無を判断してもよい。例えば、テカリ補正回路２０３は、ストロボの発光前の非発光画像データ７０１において、顔の領域に陰影部（明暗部）があるか否か（例えば斜光状態か否か）を判断する。例えば、テカリ補正回路２０３は、値（平均輝度値ＡｖｅＹ）が閾値ＴｈＡ以下の輝度ブロックの数と、値が閾値ＴｈＢ（＞ＴｈＡ）以上の輝度ブロックの数が、それぞれ所定の数以上である場合に、顔の領域に陰影部があると判断する。顔の領域に陰影部がある場合、顔の領域は、環境光が大きく照射されている部分と陰影部分とに分かれていることになる。従って、ストロボ光を発光したときにも顔の領域に照射むらが発生する。陰影部がある顔の領域にストロボ光を発光すると、顔の領域の暗部にはストロボ光が主に照射され、明部にはストロボ光と環境光とが混在した光が照射されるためである。ストロボ光を発光した場合、テカリ補正回路２０３は、ストロボ光の発光前後の非発光画像データ７０１から、顔の領域の陰影部を検知し、顔の領域の陰影部の陰影の度合いに基づいてストロボの発光時の照射むらの度合いを輝度ブロックごとに判断してもよい。テカリ補正回路２０３は、例えば、閾値ＴｈＡ以下の輝度の範囲と、閾値ＴｈＢ以上の輝度の範囲と、陰影の度合いとが相互に関連づけられたテーブルを予め記憶しておく。テカリ補正回路２０３は、閾値ＴｈＡ以下の値を有する輝度ブロックの当該値の代表値（例えば平均値または中央値）と、閾値ＴｈＢ以上の値を有する輝度ブロックの当該値の代表値（例えば平均値または中央値）とを算出する。テカリ補正回路２０３は、これらの代表値に対応する陰影の度合いをテーブルから抽出する。このようにして顔の領域における陰影の度合いを定めることができる。

テカリ補正回路２０３は、評価値ｓ［ｎ］、ｃ［ｎ］の均一度に基づいて、顔の領域に照射されている光源の照射むらを検知する。図８は、顔の領域のテカリを補正することにより新たな色むらが発生することを概念的に示す図である。光源Ａと光源Ｂとによって顔に高輝度領域８０１が発生している場合、高輝度領域８０１に対して単純に肌色平均値の補色を減算すると、テカリを補正する前に存在する色むらに加えて、新たな色むら８０２が発生する。そこで、本実施形態では、テカリ補正回路２０３は、このような場合は高輝度領域８０１の補正量を制限することで、誤補正を低減する。

Ｓ６０７において、テカリ補正回路２０３は、Ｓ６０６で算出した評価値ｓ［ｎ］、ｃ［ｎ］の均一度と、Ｓ６０１で取得した顔輝度情報と、肌色平均値に基づく肌色の補色とに基づいてテカリ補正量を決定する。図９は、テカリ補正量を算出する際のゲイン特性の一例を示す図である。
図９（ａ）は、顔輝度情報に対する補正ゲイン（ＧａｉｎＡ）の一例を示す。前述したように本実施形態では、顔輝度情報は、各ブロックの平均輝度値ＡｖｅＹである。図９（ａ）に示す例では、顔輝度情報が閾値Ｔｈ１＿Ｙ以上になると補正をかけることを示す。即ち、図９（ａ）に示す例では、テカリ補正回路２０３は、顔輝度情報が閾値Ｔｈ１＿Ｙ以上である場合、高輝度であるほど大きな補正ゲインを設定する。また、テカリ補正回路２０３は、顔輝度情報が閾値Ｔｈ２＿Ｙ以上になると最大の補正ゲインを設定する。

図９（ｂ）は、評価値ｓ［ｎ］、ｃ［ｎ］の均一度に対する補正ゲイン（ＧａｉｎＢ）の一例を示す図である。前述したように本実施形態では、均一度は分散値である。図９（ｂ）に示す例では、テカリ補正回路２０３は、評価値ｓ［ｎ］、ｃ［ｎ］の分散値が閾値Ｔｈ１＿Ｖａｒ以下の範囲では最大の補正ゲインを設定する。また、テカリ補正回路２０３は、評価値ｓ［ｎ］、ｃ［ｎ］の分散値が閾値Ｔｈ１＿Ｖａｒ～Ｔｈ２＿Ｖａｒの範囲では、分散値が大きくなるほど小さな補正ゲインを設定する。即ち、図９（ｂ）に示す例では、テカリ補正回路２０３は、評価値ｓ［ｎ］、ｃ［ｎ］の分散値が大きければ大きいほど、顔の領域に照射されている光源の照射むらが顕著であると判断してゲインを低く設定する。また、テカリ補正回路２０３は、評価値ｓ［ｎ］、ｃ［ｎ］の分散値が閾値Ｔｈ２＿Ｖａｒ以上の範囲では、補正をかけない。

テカリ補正回路２０３は、以下の（１）式のように、最終的な補正ゲインαとしてＧａｉｎＡとＧａｉｎＢとを乗算した値を算出する。テカリ補正回路２０３は、補正ゲインαをブロックごとに算出する。本実施形態では、補正ゲインαがゲインの一例である。
α＝ＧａｉｎＡ×ＧａｉｎＢ ・・・（１）
次に、テカリ補正回路２０３は、Ｓ６０２で取得した肌色平均値Ｓｋｉｎ＿Ｒ、Ｓｋｉｎ＿Ｇ、Ｓｋｉｎ＿Ｂから肌色の補色Ｓｋｉｎ＿Ｒ´、Ｓｋｉｎ＿Ｇ´、Ｓｋｉｎ＿Ｂ´）を算出する。そして、テカリ補正回路２０３は、肌色の補色と補正ゲインαとに基づいて、高輝度領域の各ブロックに対するテカリの補正量を算出する。具体的にテカリ補正回路２０３は、肌色の補色Ｓｋｉｎ＿Ｒ´、Ｓｋｉｎ＿Ｇ´、Ｓｋｉｎ＿Ｂ´にゲインαを乗算して最終的な補正量を算出する（Ｓ６０７）。

次に、テカリ補正回路２０３は、Ｓ６０７で算出した補正量を、ブロックに含まれる各画素の画素値Ｒ０、Ｇ０、Ｂ０から減算することで肌色を再現する（Ｓ６０８）。尚、高輝度領域以外の領域では、ＧａｉｎＡが０（ゼロ）になり、ゲインαが０（ゼロ）になるので、画素値の補正は行われない。本実施形態では、例えば、（２）式～（４）式の右辺第２項が、補正対象領域における画素値に対する補正量の一例である。
Ｒ１＝Ｒ０－α×Ｓｋｉｎ＿Ｒ´ ・・・（２）
Ｇ１＝Ｇ０－α×Ｓｋｉｎ＿Ｇ´ ・・・（３）
Ｂ１＝Ｂ０－α×Ｓｋｉｎ＿Ｂ´ ・・・（４）

以上のように本実施形態では、電子カメラ１００は、撮影した画像に映る人物の顔の領域の輝度と色むらとを評価し、評価した輝度と色むらとに応じて、肌色の補色を補正し、補正した肌色の補色の値を高輝度領域の画素値から減算する。従って、環境光源により発生した色むらによって、テカリ補正が正しく動作しない場合を低減することができる。

（第２の実施形態）
次に、第２の実施形態を説明する。
第１の実施形態では、人物の顔の領域に光源の照射むらがあると判断した場合に、肌色平均値から肌色の補色を算出し、当該肌色の補色に対する補正量を制限することで、テカリ補正による誤補正を低減する場合を例に挙げて説明した。これに対し、第２の実施形態では、人物の顔の領域に光源の照射むらがあると判断した場合、顔の高輝度領域および光源の照射むら領域を考慮して肌色の補色を算出する。このように本実施形態と第１の実施形態とでは、肌色の補色を算出する方法が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１～図９に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１０のフローチャートを参照しながら、テカリ補正処理の詳細の一例について説明する。
Ｓ１００１～Ｓ１００６の処理は、第１の実施形態で説明した図６のＳ６０１～Ｓ６０６と同じであるので、その詳細な説明は省略する。
Ｓ１００７では、テカリ補正回路２０３は、Ｓ１００６で算出した顔の領域の評価値ｓ［ｎ］、ｃ［ｎ］の均一度に基づいて、顔の領域に光源の照射むらがあるか否かを判定する。本実施形態では、第１の実施形態と同様に、テカリ補正回路２０３は、例えば、評価値ｃ［ｎ］またはｓ［ｎ］の分散値を、評価値ｓ［ｎ］またはｃ［ｎ］の均一度の一例として算出する。テカリ補正回路２０３は、例えば、評価値ｃ［ｎ］またはｓ［ｎ］の分散値が閾値（例えば、図９（ａ）の閾値Ｔｈ１＿Ｙ）より大きい場合に、顔の領域に光源の照射むらがあると判定し、そうでない場合に顔の領域に光源の照射むらがないと判定する。本実施形態では、評価値ｃ［ｎ］またはｓ［ｎ］の均一度（分散値）が、色むらの度合いの評価値の一例である。

Ｓ１００７にて顔の領域に光源の照射むらがあると判定された場合、テカリ補正回路２０３は、高輝度領域の各ブロックの周辺の非高輝度領域の１つ以上のブロックの肌色の値を用いて、肌色評価値を導出する。このとき、テカリ補正回路２０３は、高輝度領域の周辺の非高輝度領域に色むら領域がある場合は、その色むら領域のブロックを除外して肌色評価値を導出する。テカリ補正回路２０３は、例えば、各ブロックの評価値ｓ［ｎ］、ｃ［ｎ］の分布（例えばヒストグラム）を導出し、この分布において、評価値ｓ［ｎ］、ｃ［ｎ］の代表値（例えば最頻値）から閾値以上離れているブロックを色むら領域とする。ここで、高輝度領域のブロックの周辺の非高輝度領域のブロックは、例えば、当該高輝度領域のブロックからの距離に応じて求められる。例えば、テカリ補正回路２０３は、非高輝度領域のブロックを高輝度領域のブロックからの距離が近いものから順に所定の数だけ抽出し、抽出した非高輝度領域のブロックを当該高輝度領域のブロックの周辺の非高輝度領域のブロックとする。

そして、テカリ補正回路２０３は、高輝度領域の各ブロックの周辺の非高輝度領域の肌色評価値に基づいて、高輝度領域の各ブロックにおける肌色の補色を算出する（Ｓ１００８）。本実施形態では、高輝度領域のブロックの周辺の非高輝度領域の１つ以上のブロックが、（顔の領域に光源の照射むらがある場合の）補正対象領域における画素値に対する補正量を導出するために用いる領域の一例である。

また、テカリ補正回路２０３は、前述の非発光画像データ７０１を用いて評価値ｓ［ｎ］の均一度を導出する場合、高輝度領域が陰影部かそれ以外の領域かを判断し、判断した領域に応じて肌色評価値を導出する。例えば、テカリ補正回路２０３は、本撮影の前に非発光画像データ７０１を取得し、非発光画像データ７０１において、顔の領域に陰影部があるか否かを判定する。この判定の結果、顔の領域に陰影部がある場合、テカリ補正回路２０３は、顔の領域を陰影部の領域とそれ以外の領域とに分割する。次に、テカリ補正回路２０３は、本撮影による画像データ（ストロボ発光画像データ７０２）を取得し、ストロボ発光画像データ７０２から高輝度領域の有無を判定する。高輝度領域が陰影部の領域にある場合、テカリ補正回路２０３は、陰影部に含まれるブロックのうち、高輝度領域のブロックの周辺の非高輝度領域の１つ以上のブロックにおける肌色の情報を用いて、当該高輝度領域のブロックにおける肌色評価値を算出する。

一方、高輝度領域が陰影部以外の領域にある場合、テカリ補正回路２０３は、以下のようにして高輝度領域の各ブロックにおける肌色評価値を算出する。即ち、テカリ補正回路２０３は、当該陰影部以外の領域に含まれるブロックのうち、高輝度領域のブロックの周辺の非高輝度領域の１つ以上のブロックにおける肌色の情報を用いて、当該高輝度領域のブロックにおける肌色評価値を算出する。このように本実施形態では、高輝度領域が、ストロボ光が支配的な領域（陰影部の領域）か、それ以外の領域かで、肌色評価値の取得領域を変更する。

高輝度領域のブロックにおける肌色評価値は、例えば、当該高輝度領域のブロックの周辺の非高輝度領域のブロックにおける肌色平均値である。高輝度領域のブロックの周辺の非高輝度領域のブロックの数が１つである場合には、当該非高輝度領域のブロックの肌色の値が、当該高輝度領域のブロックにおける肌色評価値になる。本実施形態では、高輝度領域のブロックの周辺の非高輝度領域のブロックにおける肌色平均値（または当該非高輝度領域のブロックの肌色の値）が、補正対象領域の周辺の領域における画素値の代表値の一例である。

一方、Ｓ１００７にて顔の領域に光源の照射むらがないと判定された場合、テカリ補正回路２０３は、Ｓ１００２で取得した肌色平均値をもとに各ブロックの肌色の補色を算出する（Ｓ１００９）。本実施形態では、Ｓ１００２で取得した肌色平均値が、顔の領域における画素値の代表値の一例である。また、本実施形態では、顔の領域のうち、目や口などの器官の領域を除いた領域の肌色平均値が算出される。従って、例えば、顔の領域のうち、目や口などの器官の領域を除いた領域が、（顔の領域に光源の照射むらがない場合の）補正対象領域における画素値に対する補正量を導出するために用いる領域の一例である。

次に、Ｓ１０１０において、テカリ補正回路２０３は、Ｓ１００１で取得した顔輝度情報に基づいて補正ゲイン（ＧａｉｎＡ）を算出する（図９（ａ）を参照）。そして、テカリ補正回路２０３は、Ｓ１００８またはＳ１００９で算出した肌色の補色（Ｓｋｉｎ＿Ｒ´、Ｓｋｉｎ＿Ｇ´、Ｓｋｉｎ＿Ｂ´）に、補正ゲイン（ＧａｉｎＡ）を乗算した値を算出する（Ｓ１０１０）。この値が、高輝度領域（テカリ補正の対象の領域）の各ブロックに対するテカリの補正量となる。
次に、Ｓ１０１１において、テカリ補正回路２０３は、Ｓ１０１０で算出した補正量を、高輝度領域（テカリの補正対象領域）の画素値から減算することで肌色を再現する。
以上のようにしても第１の実施形態で説明した効果と同様の効果を得ることができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：電子カメラ、１０５：画像処理部、２０３：テカリ補正回路

Claims (12)

1. 撮像手段で撮像された画像に含まれる人物の顔の領域のうち、輝度が閾値よりも高い領域を補正対象領域として、当該補正対象領域の画素値を補正する処理を含む画像処理を行う画像処理装置であって、
   前記顔の領域における色むらが大きいほど、前記補正対象領域における画素値に対する補正量を小さくする決定手段を有し、
   前記決定手段は、前記顔の領域における画素値の代表値に基づいて前記補正対象領域における肌色の補色を導出すると共に、前記顔の領域における色むらの度合いと、前記補正対象領域における輝度とに基づいて、前記補正対象領域における肌色の補色を補正するためのゲインを導出し、前記補正対象領域における肌色の補色と、前記ゲインとに基づいて、前記補正対象領域における画素値に対する補正量を導出することを特徴とする画像処理装置。
2. 前記決定手段は、前記顔の領域における色むらの度合いに応じて、前記顔の領域から、前記補正対象領域における画素値に対する補正量を導出するために用いる領域を決定し、当該決定した領域における画素値に基づいて、前記補正対象領域における画素値に対する補正量を導出することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記補正対象領域における画素値に対する補正量を導出するために用いる領域における肌色の代表値に基づいて、前記補正対象領域における肌色の補色を導出すると共に、前記補正対象領域における輝度に基づいて、前記補正対象領域における肌色の補色を補正するためのゲインを導出し、前記補正対象領域における肌色の補色と、前記ゲインとに基づいて、前記補正対象領域における画素値に対する補正量を導出することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記顔の領域における色むらの度合いに基づいて、前記顔の領域に光源の照射むらがあるか否かを判定し、
   前記顔の領域に光源の照射むらがある場合の、前記補正対象領域における画素値に対する補正量を導出するために用いる領域は、当該補正対象領域の周辺の領域であり、
   前記顔の領域に光源の照射むらがない場合の、前記補正対象領域における画素値に対する補正量を導出するために用いる領域は、前記顔の領域であることを特徴とする請求項３に記載の画像処理装置。
5. 前記画素値の代表値を導出する導出手段を更に有することを特徴とする請求項１～４の何れか１項に記載の画像処理装置。
6. 前記決定手段は、前記顔の領域を複数に分割した分割領域ごとに、前記補正対象領域における画素値に対する補正量を決定することを特徴とする請求項１～５の何れか１項に記載の画像処理装置。
7. 前記決定手段は、前記画像に基づいて導出された、前記色むらの度合いに基づいて、前記補正対象領域における画素値に対する補正量を決定することを特徴とする請求項１～６の何れか１項に記載の画像処理装置。
8. 前記決定手段は、前記補正対象領域におけるストロボ光の照射量の均一度に基づいて、前記補正対象領域における画素値に対する補正量を決定することを特徴とする請求項１～７の何れか１項に記載の画像処理装置。
9. 前記決定手段は、ストロボ光を発光して前記撮像手段による撮像が行われた場合の前記補正対象領域における陰影の度合いに基づいて、前記補正対象領域における画素値に対する補正量を決定することを特徴とする請求項１～８の何れか１項に記載の画像処理装置。
10. 前記決定手段は、前記ストロボ光を発光して前記撮像手段により撮像された前記画像と、前記ストロボ光を発光せずに前記撮像手段により撮像された画像とに基づいて導出された、前記色むらの度合いに基づいて、前記補正対象領域における画素値に対する補正量を決定することを特徴とする請求項８または９に記載の画像処理装置。
11. 撮像手段で撮像された画像に含まれる人物の顔の領域のうち、輝度が閾値よりも高い領域を補正対象領域として、当該補正対象領域の画素値を補正する処理を含む画像処理を行う画像処理方法であって、
    前記顔の領域における色むらが大きいほど、前記補正対象領域における画素値に対する補正量を小さくする決定工程を有し、
    前記決定工程では、前記顔の領域における画素値の代表値に基づいて前記補正対象領域における肌色の補色を導出すると共に、前記顔の領域における色むらの度合いと、前記補正対象領域における輝度とに基づいて、前記補正対象領域における肌色の補色を補正するためのゲインを導出し、前記補正対象領域における肌色の補色と、前記ゲインとに基づいて、前記補正対象領域における画素値に対する補正量を導出することを特徴とする画像処理方法。
12. 請求項１～１０の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images