JP6740109B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、撮像手段で撮像された画像を補正するために用いて好適なものである。

撮像手段で撮像された画像において、被写体の高輝度領域に対して補正を行う技術がある。特許文献１には、撮像手段で撮像された画像から被写体の所定部位を検出し、その検出の結果に基づいて、画像においてテカリが発生している領域の補正する技術が開示されている。具体的に特許文献１に記載の技術は、被写体の顔や目や口などの所定部位を検出し、その所定部位の位置や色などに基づいて各画素の補正の程度を決定する。ここで、テカリとは、環境光やストロボ光が人物の肌の表面で反射することにより、画像における人物の肌の一部の領域が白くなることである。また、以下の説明では、画像においてテカリが発生している領域を必要に応じてテカリ領域と称し、テカリ領域を補正することを必要に応じてテカリ補正と称する。

特開２００５−３２７００９号公報 特開平１０−２３２９３４号公報 特開２０００−４８１８４号公報

しかしながら、特許文献１に記載の技術では、顔や顔の器官の検出の結果により、テカリ補正を行う。このため、特許文献１に記載の技術では、顔や顔の器官の検出に失敗した場合に、テカリ補正を行うことができない。連写撮影や動画撮影時において、被写体が撮影中に動くことで、例えば、顔の領域や顔の器官の検出できなくなる場合や、顔の検出領域や角度などが急激に変動する場合がある。このような場合、特許文献１に記載の技術では、顔や顔の器官の検出に失敗すると、テカリ補正の効果が急激に変動する。これにより、連写時には、撮影コマごとにテカリ補正の効果にばらつきが生じる。また、動画時には、撮影フレーム間でテカリ補正の効果が変化し、テカリ領域の色が急激に変化する。図９は、テカリ補正の効果にばらつきが発生する状況の一例を概念的に説明する図である。図９において、タイミングｔ１では、顔の検出に成功し、テカリ領域９０１に対してテカリ補正が行われ、テカリが低減された状態の画像９０２が表示される。しかしながら、その後のタイミングｔ２では、顔の領域に別の被写体が入り込むことで顔の検出に失敗し、テカリ補正ができない。その結果、テカリ領域９０１がそのまま画像９０３に表示される。このように、画像９０２では、テカリが低減しているのに対し、その次に連続して表示される画像９０３ではテカリがそのまま表示されることになり、テカリ補正の効果にばらつきが発生する。
本発明は、以上のような問題点に鑑みてなされたものであり、撮影ごとに画像に対する補正の効果にばらつきが生じることを低減することを目的とする。

本発明の画像処理装置は、撮像手段で撮像された画像に含まれる人物の顔の領域のうち、輝度が閾値よりも高い領域を補正対象領域として、当該補正対象領域の画素値を補正する処理を含む画像処理を行う画像処理装置であって、前記補正の対象となる画像と、当該画像よりも前に前記撮像手段で撮像された画像との変化と、それらの画像における撮像条件の変化との少なくとも何れか一方を取得する取得手段と、前記取得手段により取得された変化に基づいて、前記補正対象領域の補正量を決定する決定手段と、を有することを特徴とする。

本発明によれば、撮影ごとに画像に対する補正の効果にばらつきが生じることを低減することができる。

撮像装置の構成を示す図である。 ＹＵＶ画像データを生成する部分の構成を示す図である。 ブロック積分値を取得する様子を示す図である。 テカリ補正を行う部分の構成を示す図である。 補正特性を示す図である。 テカリ補正領域を決定する方法を説明する図である。 テカリ補正の方法を説明するフローチャートである。 補正ゲインの混合比率と動きベクトルの大きさとの関係を示す図である。 テカリ補正の効果にばらつきが発生する状況を説明する図である。

以下、図面を参照しながら、実施形態について説明する。
図１は、本実施形態の画像処理装置の適用例である撮像装置の構成の一例を示すブロック図である。
図１において、ユーザによりユーザインタフェース１１２を介して撮影指示があると、システムコントローラ１０７は、鏡筒装置１０２の焦点位置、絞り・メカシャッター１１１、および撮像素子１０１などを制御して撮影を行う。システムコントローラ１０７は、例えば、ＣＰＵ、ＲＡＭ、およびＲＭを有する。尚、撮像素子１０１は、例えば、ＣＭＯＳセンサを有する。撮影がなされると、撮像素子１０１から画像信号が出力される。ＡＦＥ回路１５０は、画像信号のゲインを調整する。ゲインが調整された画像信号は、Ａ／Ｄ変換された後にバッファメモリ１０３に蓄えられる。その後、システムコントローラ１０７は、ホワイトバランス補正係数やガンマパラメータなど信号処理パラメータを信号処理回路１４０に設定する。信号処理回路１４０は、ＲＡＷ画像データに対して、画像生成用の信号処理を行い、ＹＵＶ画像データを生成する。

ＹＵＶ画像データの記録が行われる場合、バッファメモリ１０３内のＹＵＶ画像データは、圧縮・伸長回路１０４に送られる。圧縮・伸長回路１０４は、例えばＪＰＥＧファイルとしてＹＵＶ画像データを圧縮する。記録装置１０５は、圧縮された画像データを記録媒体１０６に記録する。
リサイズ回路１３１は、画像データのリサイズ（サイズの変換）を行う。

また、ＹＵＶ画像データのモニタ装置１１０への表示が行われる場合、表示制御回路１０８は、バッファメモリ１０３内のＹＵＶ画像データから、表示画像を生成する。Ｄ／Ａ装置１０９は、表示画像をＤ／Ａ変換し、ＹＵＶ画像をモニタ装置１１０に表示する。また、ユーザによる撮影設定に基づいて撮像装置の制御を行う場合、システムコントローラ１０７は、ユーザインタフェース画面を生成して、バッファメモリ１０３に格納する。ユーザインタフェース画面は、表示制御回路１０８およびＤ／Ａ装置１０９を通してモニタ装置１１０に表示される。尚、ユーザインタフェース１１２は、タッチパネルを有する。ユーザは、タッチパネルを用いて、ユーザインタフェース画面に対する操作を行う。表示制御回路１０８は、ＹＵＶ画像とユーザインタフェース画面を冗長表示することも可能である。その場合、合成回路１３３は、ＹＵＶ画像とユーザインタフェース画面に対する冗長処理を行う。

顔検出回路１２０は、ＲＡＷ画像データから顔の領域を検出する。顔検出回路１２０は、バッファメモリ１０３に蓄えられたＲＡＷ画像データから顔の領域を検出し、画像中の顔の座標位置を出力する。同様に器官検出回路１２１は、顔の領域に対して顔の口・目・鼻などといった各部位の領域を検出する。ヒストグラム回路１３０は、顔の領域の輝度のヒストグラムを導出する。このヒストグラムは、顔の領域の明るさの分布を表す。

また、ヒストグラム回路１３０は、画面を複数のブロックに分割し、分割したブロックごとに輝度のヒストグラムを作成することができる。また、ブロック積分回路１３２は、バッファメモリ１０３からＲＡＷ画像データを取得すると共に、画面を複数のブロックに分割する。ブロック積分回路１３２は、分割したブロックごとにＲ、Ｇ、Ｂのそれぞれの積分値を算出すると共に、ＲＡＷ画像データから彩度・色相・輝度などの画面データを取得することができる。ブロック積分回路１３２は、顔検出回路１２０で検出された顔の領域、および器官検出回路１２１で検出された各器官の領域に応じて、額、頬、鼻、顎などの顔の肌のそれぞれの領域に対して、Ｒ、Ｇ、Ｂのそれぞれの積分値を算出することができる。これにより、顔の領域内の白とび領域（テカリ領域）やテカリの発生具合をより詳細に検出することができる。

動きベクトル検出回路１３４は、連続フレーム撮影などの場合において、フレーム間相関を用いて人や物体等の被写体の動き量を検出する。
ＷＢ検出回路１７０は、ＲＡＷ画像データから白領域を検出する。ＷＢ処理回路１７４は、ＷＢ検出回路１７０による検出の結果に基づいて、ＲＡＷ画像データに対してＷＢ（ホワイトバランス）処理を行う。

図２は、ＲＡＷ画像データからＹＵＶ画像データを生成する部分の構成の一例を示すブロック図である。ＷＢ検出設定部１７２は、ＲＡＷ画像データが取得されると、撮影時の条件に応じて、ＷＢ検出パラメータからＷＢ検出設定値を算出する。撮影時の条件とは、例えば、撮影画像のＷＢモード、被写体輝度（Ｂｖ値）、および撮影感度である。ＷＢ検出回路１７０は、ＷＢ検出設定値に基づいて、ＲＡＷ画像データから白領域を検出する。ＷＢ演算部１７３は、ＷＢ検出回路１７０での検出の結果を用いて、ＷＢ係数を算出する。ＷＢ処理回路１７４は、ＷＢ係数に基づいて、ＲＡＷ画像データに対してＷＢ処理を行う。尚、ＷＢ検出設定部１７２およびＷＢ演算部１７３は、例えば、ファームウェアである。

前述したように、顔検出回路１２０は、ＲＡＷ画像データから、顔の領域を検出する。また、顔検出回路１２０は、顔の領域の検出の結果から、顔の個数、顔の領域を示す画像中の座標、顔毎の検出結果の信頼度、および主被写体の顔の領域などの情報を生成して出力する。
顔の領域の検出方法としては、例えば、ニュートラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて画像を解析することにより顔の領域の検出する手法がある（例えば、特許文献２及び３を参照）。また、ウェーブレット変換と画像特徴量とを利用して顔の領域を検出する方法や、この方法にテンプレートマッチングを組み合わせた方法がある。顔の領域の検出は、公知の技術で実現することができるため、ここでは、その詳細な説明を省略する。

器官検出回路１２１は、顔の口、鼻、目、および顔の角度など、顔の所定部位の領域などの情報を検出する。顔の所定部位の領域の検出方法としては、顔の領域の検出方法と同様に、テンプレートマッチングを利用した方法やニューラルネットワークを利用した方法などがある（例えば、特許文献１を参照）。顔の所定部位の領域の検出についても、公知の技術で実現することができるため、ここでは、その詳細な説明を省略する。

ヒストグラム回路１３０は、顔検出回路１２０で検出された顔の領域と、器官検出回路１２１で検出された顔の所定部位の領域に応じて、顔の肌の部位の詳細な輝度のヒストグラムを作成する。例えば、ヒストグラム回路１３０は、顔の領域と目の領域とに基づいて、目の上方の領域を額の領域として特定する。また、ヒストグラム回路１３０は、顔の領域と左右の目の領域と口の領域とに基づいて、頬の領域を特定する。また、ヒストグラム回路１３０は、鼻の領域を特定する。また、ヒストグラム回路１３０は、顔の領域と口の領域とに基づいて、口の下方の領域を顎の領域として特定する。その他、ヒストグラム回路１３０は、耳など、その他の顔の肌の部位を特定する。ヒストグラム回路１３０は、このようにして特定したそれぞれの肌の部位に対して輝度のヒストグラムを作成する。また、ヒストグラム回路１３０は、顔の領域のうち肌の領域全体（目や口などを除く領域）の輝度のヒストグラムを作成する。

また、ブロック積分回路１３２は、顔の肌の部位の詳細なブロック積分値を算出する。即ち、ブロック積分回路１３２は、額、頬、鼻、および顎などの領域と、顔の領域のうち肌の領域全体のそれぞれについてブロック積分値を算出する。図３は、顔の領域に対するブロック積分値を取得する様子の一例を概念的に示す図である。ブロック積分回路１３２は、顔の領域の大きさに合わせてブロックのサイズを可変してもよい。また、ブロック積分回路１３２は、画像領域全体の各ブロックに対してブロック積分値を算出し、それらのブロック積分値の中から、顔の領域など、抽出すべき領域に対応するブロック積分値を抽出してもよい。

動きベクトル検出回路１３４は、テカリ補正の対象のフレームと、その直前のフレームとの相関をとることにより動きベクトルを算出する。
テカリ補正パラメータ算出部１９０は、顔の検出の結果や顔の所定部位の検出の結果に基づく輝度のヒストグラムおよびブロック積分値と、動きベクトルとに基づいて、テカリ補正パラメータを決定する。画像処理パラメータ決定部１８０は、ＷＢ検出回路１７０での検出の結果に応じて諧調設定や色変換パラメータなどの画像処理パラメータを決定し、前記テカリ補正パラメータと共に信号処理回路１４０に設定する。信号処理回路１４０は、ＷＢ処理回路１７４でＷＢ処理されたＲＡＷ画像データから、ＹＵＶ画像データを生成する。尚、画像処理パラメータ決定部１８０およびテカリ補正パラメータ算出部１９０は、例えば、ファームウェアである。

図４は、テカリ補正を行う部分の構成の一例を示すブロック図である。
テカリ補正特性決定部１９１は、画像の入力輝度に対する補正ゲイン（補正強度）を表す補正特性をテカリ補正パラメータの１つとして決定する。図５は、補正特性の一例を示す図である。

図５（ａ）のように、入力輝度が大きくなるにつれて補正ゲインが大きくなるようにすることで、輝度が高い白とび領域（テカリ領域）に対して効果的に補正を行うことが可能である。一方、図５（ｂ）のように、入力輝度が大きくなっても補正ゲインを上げないようにすることで、白とび領域（テカリ領域）に対する補正量を小さくすることが可能である。入力輝度と補正ゲインとの関係を可変させることで、補正特性を可変することが可能である。

テカリ補正特性決定部１９１は、画像中の顔の領域内の白とび（テカリ）の具合に応じて補正特性を決定する。ブロック積分回路１３２は、顔の領域のブロック積分値を算出する。テカリ補正特性決定部１９１は、顔の器官の領域の情報から、頬部、額部、鼻部、顎部など、顔の肌の各部位を特定し、特定した各部位のブロック積分値を、顔の領域のブロック積分値から抽出する。そして、テカリ補正特性決定部１９１は、例えば、以下のようにして補正特性を決定することができる。まず、テカリ補正特性決定部１９１は、対象の領域のブロック積分値の平均値と閾値とを比較した結果に応じて補正特性を変更することができる。また、テカリ補正特性決定部１９１は、対象の領域のブロックのうち、ブロック積分値が所定の閾値を超えたブロックの数を計測し、そのブロックの数に応じて補正特性を変更することができる。また、テカリ補正特性決定部１９１は、ヒストグラム回路１３０で作成された顔の肌の各部位の輝度のヒストグラムに基づいて、顔の肌の部位のそれぞれについて、所定の明るさ以上のピクセル数を算出し、そのピクセル数に基づいて補正特性を決定できる。また、テカリ補正特性決定部１９１は、顔の領域のコントラストが低い場合と高い場合とで補正特性を変更してもよい。一般的に顔の領域のコントラストが低い場合に、白とび領域（テカリ領域）を低減するような補正を行うと顔の領域の輝度の差分が小さくなるため、顔の立体感が損なわれる。そのため、顔の領域のコントラストに応じて補正特性を変更することにより、顔の立体感が損なわれることを抑制することができる。

その他、テカリ補正特性決定部１９１は、顔の領域のうち肌の領域全体のブロック積分値と閾値とを比較した結果に応じて、補正特性を変更してもよい。また、テカリ補正特性決定部１９１は、顔の周辺の明るさと閾値とを比較した結果に応じて、顔の肌の部位ごとに補正特性を変更してもよい。例えば、顔のコントラストが非常に高い場合、周辺が明るい領域の場合の補正量と暗い領域の中の白とび領域などによって適切な補正量が変わってくる。顔の周辺の平均輝度が高い場合には、輝度値の補正量が大きいと諧調の反転が生じるため、疑似輪郭が起こりやすくなる。一方、顔の周辺の明るさが暗い場合には、輝度値の補正量を大きくしないと、テカリ補正がかかっていないように感じられる。従って、テカリ補正特性決定部１９１は、例えば、顔の周辺の平均輝度が閾値よりも大きいか否かによって、補正特性を変更することができる。

図４に示すように、輝度値導出部１４１は、ＲＡＷ画像データ（ＲＧＢ画像）から輝度値を算出する。輝度重み付け部１４２は、テカリ補正特性決定部１９１で決定された補正特性から、輝度値導出部１４１で算出された輝度値に対応する補正ゲインを導出する。このようにすることによって、画像中の顔の領域内の白とびの具合に応じたテカリ補正を行うことが可能になる。本実施形態では、例えば、輝度値導出部１４１で導出される補正ゲインが、補正の対象となる画像の輝度に応じたゲインの一例である。

テカリ補正領域決定部１９２は、顔検出回路１２０で検出された顔の領域と、器官検出回路１２１で検出された顔の所定部位の領域とに基づいて、テカリ補正を行う領域を決定する。以下の説明では、テカリ補正を行う領域を必要に応じてテカリ補正領域と称する。図６は、テカリ補正領域を決定する方法の一例を概念的に説明する図である。ここでは、テカリ領域６０１が顔の額に発生する場合を例に挙げて示す。

テカリ補正領域決定部１９２は、例えば、両目の座標の距離から楕円の大きさを決定すると共に、両目の位置から楕円の中心位置を決定する。図６に示す例では、テカリ補正領域決定部１９２は、テカリ補正領域６０２ａを決定する。顔の所定部位の検出の結果、顔の角度が正面からずれている場合、テカリ補正領域決定部１９２は、顔の角度が正面からずれている方向とは逆の方向に、ずれている量だけ楕円の中心の位置をずらすと共に、顔の角度に応じて楕円の大きさを修正する。図６に示す例では、テカリ補正領域決定部１９２は、テカリ補正領域６０２ａをテカリ補正領域６０２ｂ、６０２ｃ、または６０２ｄに修正する。このようにすることで、顔の領域からテカリ補正領域がはみ出すことによる弊害を除外することが可能である。

次に、テカリ補正領域決定部１９２は、顔の所定部位の検出の結果に基づいて、高輝度であっても白とび（テカリ）でない目の領域を特定し、特定した領域を、補正除去領域として決定し、この補正除去領域をテカリ補正領域から除外する設定を行う。図６に示す例では、テカリ補正領域決定部１９２は、テカリ補正領域６０２ａ、６０２ｂ、６０２ｃ、６０２ｄから、補正除去領域６０３ａ、６０３ｂ、６０３ｃ、または６０３ｄを除外する。

テカリ補正領域決定部１９２は、テカリ補正パラメータの１つとして、例えば、テカリ補正領域に対して「１」以上の補正ゲインを設定すると共に、顔のテカリ補正領域以外の領域に対して補正ゲインとして「０（ゼロ）」を設定する。このとき、テカリ補正領域決定部１９２は、テカリ補正領域に対して楕円の中心から周辺に向けて補正ゲインを徐々に減少させることができる。このようにすれば、テカリ補正領域とテカリ補正領域外との切り替わりの部分の輝度の差を低減し、擬似的な輪郭が発生することを抑制することができる。同様に、テカリ補正領域決定部１９２は、目の領域に対して目の中心部分は補正をしないように補正ゲインを設定すると共に、目の領域の周辺になるにつれて大きくなるように補正ゲインを設定する。本実施形態では、例えば、テカリ補正領域決定部１９２で設定される補正ゲインが、補正対象領域の位置に応じたゲインの一例である。

領域重み付け部１４３は、輝度重み付け部１４２で導出された補正ゲインと、当該補正ゲインに対応する領域に対してテカリ補正領域決定部１９２により設定された補正ゲインとを乗算する。このようにすることによって、領域ごとにテカリ補正の有無および程度を決定することができる。本実施形態では、テカリ補正領域のうち、補正特性において補正ゲインが「０（ゼロ）」を上回る輝度を有する領域が補正対象領域の一例である。

テカリ補正色導出部１９３は、テカリ補正パラメータの１つとして、テカリ補正に用いる補正色（色味）を導出する。補正色は、例えば、肌色の補色に対応するＲＧＢ値である。補正色演算部１４４は、テカリ補正色導出部１９３により算出された補正色と、領域重み付け部１４３で導出された補正ゲインとを乗算する。この乗算値が、ＷＢ処理が行われたＲＡＷ画像データに対する補正値になる。この補正値は画素ごとの値である。減算部１４５は、ＷＢ処理回路１７４でＷＢ処理が行われたＲＡＷ画像データの各画素の画素値（ＲＧＢ値）から、当該画素に対して補正色演算部１４４で導出された補正値（ＲＧＢ値）をそれぞれ減算する。この減算によりテカリ補正が行われる。ＷＢ処理が行われたＲＡＷ画像データの画素が完全飽和している場合、完全飽和信号から補正値を減算した後に肌色になっている必要がある。このため、完全飽和信号と肌色との差分値が補正値になる。例えば、肌色目標色を（RGB）＝（230,200,170）＠8Bitとすると、テカリ補正色導出部１９３は、これを完全飽和信号（RGB）＝（255,255,255）＠8Bitから減算する。その結果、補正色として（RGB）＝（20, 55,85）＠8Bitが得られる。

また、被写体の明るさに応じて、肌色目標値が異なるため、補正色はそれに応じて可変される必要がある。例えば、人種や年齢、性別、個人差などによって目標とすべきＲＧＢの比率が異なる。また、頬はやや赤く、額は輝度が高めなど、顔の肌の部位によっても色味が変えることで自然な補正を行うことが可能となる。

本実施形態においては、テカリ補正色導出部１９３は、ブロック積分回路１３２により導出されたブロック積分値に基づいて、被写体の白とび領域以外の肌色から目標値（補正色）を算出する場合を例に挙げて説明を行う。
テカリ補正色導出部１９３は、被写体の顔の領域の平均輝度を算出し、その平均輝度に値が近いブロックのブロック積分値から色味を算出し、その色味から目標値を算出することができる。また、テカリ補正色導出部１９３は、額の領域の白とびしていない領域のブロックのブロック積分値から色味を算出し、その色味から目標値を算出することができる。テカリ補正色導出部１９３は、頬の領域も額の領域と同様に、両頬のブロック積分値から色味を算出し、その色味から目標値を算出することができる。テカリ補正色導出部１９３は、鼻の領域についても、額の領域と同様にして目標値を算出することができる。テカリ補正色導出部１９３は、目標値を算出した各領域以外の肌の領域の目標値を、算出した目標値を線形補間することにより算出することができる。例えば、テカリ補正色導出部１９３は、額の領域の目標値と、鼻の領域の目標値と、額と鼻の間の肌の領域からの距離に応じた重み係数とを用いて線形補間をすることにより、額と鼻の間の肌の領域の目標値を算出することができる。このようにすることで、顔の肌の領域の全体に対して自然な補正を行うことが可能になる。

また、テカリ補正色導出部１９３は、前述した方法以外にも、個人認証をもちいて、画像に映し出される人物と同一人物の白とびをしていない画像から、テカリ補正に用いる補正色（色味）を算出してもよい。また、撮像装置が、本撮影の前または後に、本撮影時よりも露出を下げて、被写体の画像を撮像することにより、白とびしていない画像を取得する場合、テカリ補正色導出部１９３は、その画像の色味から、テカリ補正に用いる補正色（色味）を算出してもよい。

次に、対象のフレームの切り替わりにおけるテカリ補正の効果のばらつきを低減する方法の一例について説明する。図７は、顔の領域および顔の所定部位（器官）の慮いう気の検出の結果に応じたテカリ補正の方法の一例を説明するフローチャートである。以下の説明では、テカリ補正の対象のフレームを必要に応じて対象フレームと称し、対象フレームの直前のフレームを必要に応じて前回フレームと称する。
システムコントローラ１０７は、対象フレームに対し、顔検出回路１２０による顔の領域の検出と器官検出回路１２１による顔の所定部位（器官）の領域の検出とがなされたか否かを判定する（Ｓ７０１）。この判定の結果、顔検出回路１２０による顔の領域の検出と器官検出回路１２１による顔の所定部位（器官）の領域の検出とがなされた場合、撮像装置は、前述したようにしてテカリ補正を行う（Ｓ７０２）。

一方、顔検出回路１２０により顔の領域の検出に失敗した場合、動きベクトル検出回路１３４は、前回フレームにおいて顔の領域として検出された領域に対する動きベクトルを検出する（Ｓ７０３）。また、器官検出回路１２１により顔の所定部位（器官）の領域の検出に失敗した場合、動きベクトル検出回路１３４は、前回フレームにおいて鼻・目・口の領域として検出された領域に対する動きベクトルを検出する（Ｓ７０３）。本実施形態では、例えば、対象フレームが、補正の対象となる画像の一例であり、前回フレームが、当該画像よりも前に撮像手段で撮像された画像の一例である。また、本実施形態では、例えば、動きベクトルが、補正の対象となる画像と、当該画像よりも前に撮像手段で撮像された画像との変化の一例である。

動きベクトル検出回路１３４における動きベクトルの検出方法は、特に限定されない。例えば、動きベクトル検出回路１３４は、顔や顔の所定部位の検出に失敗したフレームの領域であって、その直前のフレームにおける顔や顔の所定部位の領域に対応する領域や、ユーザインタフェース１１２を用いてユーザにより指定された領域を特定する。このとき、動きベクトル検出回路１３４は、顔や顔の所定部位の検出に失敗したフレームの領域であって、その直前のフレームにおける顔や顔の所定部位の領域に対応する領域を、当該直前のフレームから、テンプレートマッチングを行うことにより特定する。動きベクトル検出回路１３４は、それら２つのフレームにおける領域の移動量から動きベクトルを算出する。動きベクトルの算出は、公知の技術で実現することができるため、ここでは、詳細の説明を省略する。

撮像装置は、動きベクトルが検出されると、顔の領域および顔の所定部位の領域が、動きベクトルの結果から推定される領域であるものとして、前述したヒストグラム、ブロック積分値、およびテカリ補正パラメータなどを導出する（Ｓ７０４、Ｓ７０２）。対象フレームにおける顔の領域および顔の所定部位の領域が推定されることにより、顔の各位置における輝度や、対象フレームにおけるテカリ補正領域が推定される。本実施形態では、このテカリ補正パラメータ（補正色演算部１４４で導出された補正値）が、補正対象領域の補正量の一例である。
本実施形態では、動きベクトルが検出されると、輝度重み付け部１４２は、前回フレームにおいて補正特性から導出した補正ゲインと、対象フレームにおいて補正特性から導出した補正ゲインとを動きベクトルの動き量に応じて混合する。

図８は、補正ゲインの混合比率と動きベクトルの大きさ（動き量）との関係の一例を示す図である。補正ゲインの混合比率とは、前回フレームにおける補正ゲインを対象フレームおける補正ゲインに混合する割合を指す。図８に示すように、輝度重み付け部１４２は、動きベクトルの大きさが小さいほど、補正ゲインの混合比率を大きくすることで、テカリ補正のばらつきの低減が可能となる。逆に、動きベクトルの大きさが大きい場合、輝度重み付け部１４２は、シーンの変化が大きいと判断して、補正ゲインの混合比率を小さくすることで誤補正の低減が可能となる。

また、輝度重み付け部１４２は、前回フレームと対象フレームとのヒストグラムやブロック積分値の変化を用いて、補正ゲインの混合比率を導出することができる。例えば、輝度重み付け部１４２は、動きベクトルによりテカリ領域を特定できない場合に、このようにすることができる。例えば、輝度重み付け部１４２は、前回フレームと対象フレームとのヒストグラムやブロック積分値の変化が閾値よりも小さい場合に、テカリ量の変化が大きくないと判断し、補正ゲインの混合比率を大きくする。逆に、前回フレームと対象フレームとでヒストグラムやブロック積分値の変化が閾値よりも大きいために、テカリ量の変化が大きいと判断した場合、輝度重み付け部１４２は、補正ゲインの混合比率を小さくする。このとき、輝度重み付け部１４２は、補正ゲインの混合比率を「０（ゼロ）」とすることができる。ここで、対象フレームのヒストグラム・ブロック積分値は、動きベクトルから推定されるテカリ領域を含む顔の少なくとも一部の領域についてのヒストグラム・ブロック積分値となる。例えば、対象フレームのヒストグラム・ブロック積分値は、顔の領域のうち、肌以外の器官を除く領域全体のヒストグラム・ブロック積分値となる。本実施形態では、例えば、ヒストグラムやブロック積分値が、輝度に基づく情報の一例である。

また、輝度重み付け部１４２は、必ずしも動きベクトルを用いて補正ゲインを導出する必要はない。例えば、輝度重み付け部１４２は、ブロック積分値から、ＷＢ係数の乗算や色変換をブロックごとに行うことで、ブロックごとの色味を算出し、その結果に基づいて、色相および彩度を算出する。そして、輝度重み付け部１４２は、前回フレームと対象フレームとの色相および彩度の変化量を算出する。また、輝度重み付け部１４２は、顔の領域におけるホワイトバランスの結果に基づいて、前回フレームと対象フレームとの色温度の変化量を算出する。輝度重み付け部１４２は、色相、彩度、色温度それぞれの変化量が閾値よりも小さい場合にはシーンの変化が大きくないとして、補正ゲインの混合比率を大きくする。一方、色相、彩度、色温度それぞれの変化量が閾値よりも大きい場合、輝度重み付け部１４２は、色味の変化に応じて補正ゲインを修正することで、シーンの色味の変化に追従させることが可能になる。本実施形態では、例えば、色相、彩度、色温度が、画像の色に基づく情報の一例である。

また、輝度重み付け部１４２は、前回フレームにおけるテカリ補正領域に含まれるブロックの数と、対象フレームにおけるテカリ補正領域に含まれるブロックの数の差分に基づいて、補正ゲインの混合比率を導出する。ここでいうテカリ補正領域は、補正特性において補正ゲインが「０（ゼロ）」を上回る領域を指す。前回フレームにおけるテカリ補正領域に含まれるブロックの数と、対象フレームにおけるテカリ補正領域に含まれるブロックの数との差分が大きいほど、補正ゲインの混合比率を小さくする。本実施形態では、例えば、テカリ補正領域に含まれるブロックの数の差分が、補正の対象となる画像における補正対象領域の大きさと、当該画像よりも前に撮像手段で撮像された画像における前記補正対象領域の大きさとの変化の一例である。
尚、ここでは、動画撮影が行われる場合を例に挙げて説明した。しかしながら、連写撮影が行われる場合にも、前述したのと同様にして補正ゲインの混合比率を変更することができる。

以上のように本実施形態では、撮像装置は、撮像した画像からテカリ領域を検出できない場合、その直前のテカリ領域が検出できた画像を用いてテカリ領域を推定する。そして、撮像装置は、検出できたテカリ領域と推定したテカリ領域の位置の変化に基づいて、テカリ領域を補正するための、輝度に対する補正ゲインを決定する。従って、連続撮影時において、顔の検出や顔の所定部位（器官）の検出に失敗していた場合においても、撮像ごとにテカリ補正の効果にばらつきが生じることを低減し、安定したテカリ補正を行うことができる。

ここで、輝度重み付け部１４２は、顔の検出や顔の所定部位（器官）の検出に失敗していない場合においても、顔の検出や顔の所定部位（器官）の検出に失敗した場合と同様に補正ゲインの混合比率を決定してもよい。即ち、輝度重み付け部１４２は、動きベクトルによるテカリ補正領域の抽出を行い、動きベクトルの大きさに応じて、補正ゲインの混合比率を決定してもよい。また、輝度重み付け部１４２は、ヒストグラムやブロック積分値の変化の度合に応じて、補正ゲインの混合比率を決定してもよい。また、輝度重み付け部１４２は、色相、彩度、色温度の変化の度合いに応じて、補正ゲインの混合比率を決定してもよい。

また、補正ゲインの混合比率を決定する方法は、動きベクトルの大きさや、ブロック積分値またはヒストグラムの変化量の算出結果など、被写体の変動の度合の直接の検出結果に基づく方法に限定されない。例えば、輝度重み付け部１４２は、前回のフレームと対象フレームとのストロボの発光量の差分から、テカリ領域におけるテカリ量の差分を算出する。そして、輝度重み付け部１４２は、その算出されたテカリ領域のテカリ量の変化の度合に応じて、補正ゲインの混合比率を決定してもよい。また、撮像装置が取り込む被写体からの光に影響を与える撮像条件であれば、輝度重み付け部１４２は、必ずしもストロボの発光量の差分から、テカリ領域におけるテカリ量の差分を算出する必要はない。例えば、輝度重み付け部１４２は、ストロボの発光量に代えて、露出条件の変動に応じてテカリ量の変化の度合を推測してもよい。

また、本実施形態では、撮像装置に画像処理装置が搭載される場合を例に挙げて説明した。撮像装置としては、例えば、デジタルスチルカメラ、デジタルムービーカメラ、工業用カメラ、車載用カメラ、または医療用カメラなどが挙げられる。ただし、撮像手段で撮像された画像に対する画像処理を行う機能を有する装置であれば、本実施形態の画像処理装置が搭載される装置は、撮像装置に限定されない。例えば、携帯端末（携帯電話やタブレット端末など）またはパーソナルコンピュータなどの情報処理装置に、本実施形態の画像処理装置を搭載してもよい。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０７：システムコントローラ、１２０：顔検出回路、１２１：器官検出回路、１４０：信号処理回路

Claims (13)

1. 撮像手段で撮像された画像に含まれる人物の顔の領域のうち、輝度が閾値よりも高い領域を補正対象領域として、当該補正対象領域の画素値を補正する処理を含む画像処理を行う画像処理装置であって、
   前記補正の対象となる画像と、当該画像よりも前に前記撮像手段で撮像された画像との変化と、それらの画像における撮像条件の変化との少なくとも何れか一方を取得する取得手段と、
   前記取得手段により取得された変化に基づいて、前記補正対象領域の補正量を決定する決定手段と、を有することを特徴とする画像処理装置。
2. 前記取得手段は、前記補正の対象となる画像から前記補正対象領域を含む領域が検出されない場合に、前記変化を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正の対象となる画像から前記補正対象領域を含む領域が検出されたか否かを判定する判定手段を更に有し、
   前記取得手段は、前記判定手段により、前記補正の対象となる画像から前記補正対象領域を含む領域が検出されなかったと判定された場合に、前記変化を取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記取得手段により取得された前記変化に基づいて、前記補正の対象となる画像の輝度に応じたゲインを決定し、決定したゲインと前記補正対象領域の色の補色とを用いて、前記補正対象領域の補正量を決定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記決定手段は、前記補正対象領域における位置に応じたゲインを更に決定し、前記補正の対象となる画像の輝度に応じたゲインと、前記補正対象領域における位置に応じたゲインと、前記補正対象領域の色の補色とを用いて、前記補正対象領域の補正量を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記補正の対象となる画像と、当該画像よりも前に前記撮像手段で撮像された画像は、前記撮像手段で連続して撮像された画像であることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記取得手段は、前記補正の対象となる画像と、当該画像よりも前に前記撮像手段で撮像された画像とを比較した結果に基づいて、前記変化を検出することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記取得手段は、前記補正の対象となる画像と、当該画像よりも前に前記撮像手段で撮像された画像とに基づいて動きベクトルを、前記補正の対象となる画像と、当該画像よりも前に前記撮像手段で撮像された画像との変化として検出し、
   前記決定手段は、前記取得手段により検出された前記動きベクトルの大きさに基づいて、前記補正対象領域の補正量を決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記取得手段は、前記補正対象領域を含む領域における輝度に基づく情報と、当該画像よりも前に前記撮像手段で撮像された画像の当該領域に対応する領域おける輝度に基づく情報との変化を検出することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記取得手段は、前記補正の対象となる画像と、当該画像よりも前に前記撮像手段で撮像された画像の色に基づく情報の変化を検出することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
11. 前記取得手段は、前記補正の対象となる画像における前記補正対象領域の大きさと、当該画像よりも前に前記撮像手段で撮像された画像における前記補正対象領域の大きさとの変化を検出することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
12. 撮像手段で撮像された画像に含まれる人物の顔の領域のうち、輝度が閾値よりも高い領域を補正対象領域として、当該補正対象領域の画素値を補正する処理を含む画像処理を行う画像処理方法であって、
    前記補正の対象となる画像と、当該画像よりも前に前記撮像手段で撮像された画像との変化と、それらの画像における撮像条件の変化との少なくとも何れか一方を取得する取得工程と、
    前記取得工程により取得された変化に基づいて、前記補正対象領域の補正量を決定する決定工程と、を有することを特徴とする画像処理方法。
13. 請求項１〜１１の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。