JP6257268B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、撮像画像の階調補正技術に関するものである。

好ましい明るさの画像を得るために、撮像画像の輝度信号を変換して階調補正を行うことが知られている。特に、被写体の明るさが背景の明るさに比べて著しく暗い、いわゆる逆光シーンでの撮像画像は被写体が暗くなってしまうため、低輝度部を明るくする階調補正を行うと好ましい画像が得られる。具体的には図１８に示すように撮像画像の輝度が低くければ低いほど高いゲインをかける階調補正を行う。このような階調補正技術を本件では部分コントラスト補正と呼ぶこととする。

部分コントラスト補正の問題点として、低輝度部に高いゲインをかけるため、画像全体の明暗のコントラストが低下するといった問題が生じる恐れがあった。一例として、人物が暗くなる逆光シーンにおいて部分コントラスト補正を行うと、人物の顔領域の陰影がなくなり、のっぺりとしたコントラストの低い顔になってしまう。また、黒髪の人物では顔の領域に比べて髪領域が低輝度であるために大きなゲインがかかり、その結果白髪のように不自然に明るくなってしまうことがある。

そこで特許文献１ではコントラスト低下の問題を解決するため、ゲインに上限値を設けることで、低輝度部が明るくなりすぎないように制限をかけつつも、必要な明るさを確保した画像を生成する技術が提案されている。

特開２０１１−１００２０４号公報

しかしながら、上記の特許文献１に開示された従来技術には、そもそも人物が存在する場合におけるゲイン制御の記述がない。そのため、画像全体のコントラスト低下を低減する効果はあるが、被写体として人物が写っている場合に、人物が好適に見える画像を得ることはできない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体として人物が撮像画像中に存在する場合に、人物の重要度を鑑みたうえで好適に階調補正された画像を生成することである。

本発明に係わる画像処理装置は、画像に含まれる人物領域を検出する検出手段と、前記検出手段で検出された人物領域の髪領域を検出する髪領域検出手段と、前記検出手段で検出された人物領域の顔の肌領域と、前記髪領域検出手段で検出された人物の髪領域の輝度を参照することにより第１の階調特性に対応するゲイン量を算出する第１の算出手段と、所定の階調特性と、前記第１の算出手段により算出された第１の階調特性に対応するゲイン量とに基づいて第２の階調特性を算出する第２の算出手段と、前記第２の算出手段により算出された前記第２の階調特性を用いて階調補正処理を行う画像処理手段と、を備えることを特徴とする。

被写体として人物が撮像画像中に存在する場合に、人物の重要度を鑑みたうえで好適に階調補正された画像を生成することが可能となる。

本発明の画像処理装置の第１の実施形態の構成を示したブロック図。 第１の実施形態における画像処理部１０３の構成を表すブロック図。 第１の実施形態における画像処理部１０３の処理の流れを示すフローチャート。 第１の実施形態における入力画像を示す図。 ＦＡＣＥ＿ＰＯＩＮＴの算出方法を説明する図。 固定ゲインテーブルの模式図。 第１の実施形態における、顔評価値算出の流れを示すフローチャート。 顔領域の大きさと、大きさによる評価値との対応関係の一例を示す特性図 顔領域の位置と、位置による評価値との対応関係の一例を示す特性図。 階調補正に用いるゲインテーブル（ＧＡＩＮＴＡＢＬＥ＿ＭＩＸ）の模式図。 γ特性による階調圧縮処理を説明する図。 顔を最適にしたγ特性による階調圧縮処理を説明する図。 顔肌領域の輝度と髪領域の輝度の関係と、固定ゲイン量の算出方法の組み合わせの一例を示す図。 第２の実施形態における画像処理部１０３の構成を表すブロック図。 第２の実施形態における画像処理部１０３の処理の流れを示すフローチャート。 第２の実施形態における背景領域を説明する図。 顔領域の輝度分布と背景領域の輝度分布の差分の関係と、選択する固定ゲインテーブルの組み合わせの一例を示す図。 部分コントラスト補正に用いるゲインテーブルの模式図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態の構成を示したブロック図である。図１において、入力部１０１は、ユーザからの指示（操作）や、データを入力する装置であり、例えばキーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、またはタブレット等が挙げられる。あるいは、本例を例えば公知のデジタルカメラ装置に適用した場合には、ボタンやモードダイヤル等で構成されてもよい。

記録部１０２は、画像データを保持する部分であり、ハードディスク、ＣＤ−ＲＯＭやＣＤ―Ｒ、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、またはメモリスティック等で構成される。また、プログラムやその他のデータを保存することも可能である。

画像処理部１０３では入力された画像に対して階調補正（階調特性の補正）を行う。詳細については後ほど説明する。

表示部１０４は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、画像処理前、あるいは画像処理後の画像を表示したり、あるいはＧＵＩ等の画像を表示したりする。また、画像処理装置とケーブル等で接続された外部のディスプレイ装置であっても構わない。

システムバス１１１は、各部（１０１〜１０４）と制御部を通信可能に相互に接続する。なお、図示しないが、さらに公知のＣＣＤなどを有する撮像部を設けて、この撮像部により画像を撮像して記録部１０２に蓄える、というように構成してもよい。

図２は、画像処理部１０３内の階調補正処理に関わる具体的な構成の一例を示すブロック図である。さらに、図２のブロック図に対応するフローチャートが図３である。以下、図２のブロック図及び図３のフローチャートに沿って本実施形態の画像処理部１０３における階調補正処理について説明する。なお、以下の階調補正処理の説明では、階調補正処理の対象となるデータである画像データのことも画像と称している。

まず、階調補正処理がスタートすると、Ｓ３０１において、人物検出部２０１により、入力された画像における人物を検出する。本実施形態で入力された画像を図４に示す。図４の入力画像は逆光状態の人物が複数人存在するシーンである。

人物を検出する方法として、画像に対して顔検出処理を行い、画像中の顔の大きさと位置および信頼度を算出する。図４の顔領域は顔検出結果である顔の大きさと位置を表している。顔検出方法については特に制限はなく、任意かつ公知の方法を適用することができる。公知の技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて、目、鼻、口などの形状に特徴のある部分を画像から探し出し、類似度が高ければ顔とみなす手法などがある。このような手法の場合、類似度を信頼度として用いてもよい。また、画像に対して顔検出処理を行う場合、画像が明るすぎたり暗すぎたりすると顔検出の精度が低下する可能性があるので、顔検出処理を行う画像の明るさに基づいて顔検出の精度が高くなる明るさほど信頼度が高くなるようにしてもよい。

また、別の人物検出の方法として、公知の技術である人体検出処理を行い、画像中の人体の大きさ、位置、信頼度を算出してもよい。特に逆光時の人物は、顔の特徴部分が認識できないほど顔が暗いため顔検出しにくい場合もあるが、人体検出であれば人物全体の形状から検出が可能である。そして、検出した人体の大きさと位置から顔の大きさと位置を算出する。人体検出結果から顔領域を算出する方法は、例えば特開２０１１−２１０２３８号公報に記述されているのでここでは詳細な説明は省略する。

また、上記のように画像から自動的に検出する方法のみではなく、表示部１０４に画像を表示するとともに、表示された画像上の一部の範囲をユーザが入力部１０１を介して指定する方法であってもよい。

Ｓ３０２では、固定ゲイン量算出部２０２により、Ｓ３０１にて検出されたすべての顔に対して、階調補正に用いる固定ゲイン量を算出する。まずは検出された各顔領域の代表輝度値を算出する。本実施形態では代表輝度値として顔領域の平均輝度（輝度平均値）を用いることとする。

次に顔領域の代表輝度値をＹ＿ＦＡＣＥ、予め設定された人物用の目標輝度値をＹ＿ＲＥＦとすると、固定ゲイン量ＧＡＩＮ＿ＦＡＣＥは下記式で算出される。

ＧＡＩＮ＿ＦＡＣＥ＝Ｙ＿ＲＥＦ／Ｙ＿ＦＡＣＥ …（式１）
ここで、本実施形態では、等倍（１倍）未満のゲイン量に関しては実施しないため、式１で算出した固定ゲイン量が等倍未満になっている場合は等倍（１倍）とする。

なお、輝度信号の算出方法については、公知の色空間変換方法を用いる。一例をあげると、入力された画像がＲＧＢであった場合、輝度信号Ｙは下記式で算出される。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ …（式２）
なお、代表輝度値については、平均値のみでなく、領域内の最頻出値や最高値であってもよい。

Ｓ３０３では、固定ゲイン適用範囲算出部２０３において、顔領域毎の輝度に応じて、Ｓ３０２で算出した固定ゲイン量を適用する輝度の範囲を決定する。説明のため、固定ゲイン量を適用する範囲をＦＡＣＥ＿ＰＯＩＮＴと呼ぶこととする。

本実施形態では顔領域毎の輝度のヒストグラムを用いて固定ゲイン量を適用する範囲を決定する。図５を用いて具体的な内容を説明する。

まず図５（ａ）に示すように顔領域に対して輝度のヒストグラムを算出する。次に、ヒストグラムにおける最小の輝度値から順に画素数を累積加算していく。そして、図５（ｂ）に示すように、画素数の累積加算値が、ある一定の閾値（ＦＡＣＥ＿ＴＨ）以上になった時点で最後に画素数を加算した輝度の値をＦＡＣＥ＿ＰＯＩＮＴとする。

ここで、上記の閾値（ＦＡＣＥ＿ＴＨ）は下記式で表すことができる
ＦＡＣＥ＿ＴＨ＝ＦＡＣＥ＿ＡＬＬＡＲＥＡ×Ｐ＿ＦＡＣＥ …（式３）
ＦＡＣＥ＿ＡＬＬＡＲＥＡは顔領域の総画素数、Ｐ＿ＦＡＣＥは調整パラメータである。画素数の累積加算値が、顔領域の総画素数に対し何パーセントに達したかでＦＡＣＥ＿ＰＯＩＮＴを決定する。なお、固定ゲイン量を適用する範囲の決定方法はヒストグラムのみに限らず、顔領域の平均輝度値または最大輝度値から決定してもよい。

Ｓ３０２とＳ３０３までの処理で、式４が示すように階調補正に用いる固定ゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥが各顔毎に算出されている。図６はゲインテーブルの模式図を表している。

ＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥ（Ｙｉｎ）＝ＧＡＩＮ＿ＦＡＣＥ …（式４）
（ただし、０≦Ｙｉｎ≦ＦＡＣＥ＿ＰＯＩＮＴ）
式４においてＹｉｎとは入力される輝度を表し、例えば信号範囲が８ビットであれば、Ｙｉｎは０から２５５までの値を取り得る。

Ｓ３０４では、Ｓ３０１で検出されたすべての顔について、顔の重要度を表す顔評価値を算出する。顔評価値はＳ３０５の階調補正に用いるゲインテーブルを算出する際に、前述の固定ゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥと従来の部分コントラスト補正のゲインテーブルを加重加算する際の重みとして使用される。

顔評価値算出部２０４において、Ｓ３０１で検出されたすべての顔に対して、顔評価値を算出する。顔評価値は顔検出時に算出した顔の大きさ、位置、信頼度を用いる。

ここで、複数の人物を撮影する場合に下記ユースケースを仮定し、顔評価値を決定する。
ユースケース１ ： 主要人物の顔はある所定の大きさより大きく撮影されている。
ユースケース２ ： 主要人物の顔は画像の中央近辺に撮影されている。
ユースケース３ ： 主要人物の顔の信頼度は高い。

図７は顔評価値算出のフローチャートである。以下、図７のフローチャートに沿って説明する。

Ｓ７０１では、顔領域の大きさによる評価値Ｉｓを決定する。これはユースケース１に対応したものである。図８は顔領域の大きさと、顔領域の大きさによる評価値Ｉｓとの対応関係の一例を示す特性図である。図８の特性図では、顔領域の画像全体に対する面積比を横軸にとり、大きさによる評価値Ｉｓを縦軸にとっている。例えば、画像中においてある程度の比率（ＴＨ＿ＳＩＺＥ）以上の大きさで写っている人物は重要であり、それ以下の大きさの人物は、上記の比率が小さくなるにつれて重要度が低くなる、ということを表している。

なお、本実施形態の意図するところは、顔領域の面積に応じてその顔領域の評価値を算出することである。したがって、図８の特性図による対応関係は一例であって、他の特性図による対応関係であってもよい。

Ｓ７０２では、顔領域の位置による評価値Ｉｐを決定する。これはユースケース２に対応したものである。図９は顔領域の位置と、位置による評価値Ｉｐとの対応関係の一例を示す特性図である。

図９の９０１は入力画像の領域を表している。９０２は予め定めておいた領域（ｈ１，ｖ１）−（ｈ２，ｖ２）であり、おそらくは主要人物の顔が写ると想定される領域である。また、注目している領域の水平方向の位置と評価値との対応関係を示す特性図を図中下側に、注目している領域の垂直方向の位置と評価値との対応関係を示す特性図を図中左側に記述している。なお、水平・垂直方向の位置をそれぞれ画像の幅、高さで正規化しているが、これは説明を分かりやすくするためである。

まず、Ｓ３０１の顔検出で検出した顔における位置座標に対して、図９に示す水平・垂直の特性図で表される位置と評価値との対応関係から、垂直位置による評価値Ｉｐｖと水平位置による評価値Ｉｐｈをそれぞれ算出する。そして、位置による評価値Ｉｐを、垂直位置による評価値Ｉｐｖと水平位置による評価値Ｉｐｈより算出する。本実施形態ではＩｐｖとＩｐｈを掛け合わせて位置による評価値Ｉｐを算出することとする。

なお、本実施形態の意図するところは、顔領域の位置に応じてその顔領域の評価値を算出することである。したがって、図９の特性図による対応関係は一例であって、他の特性図による対応関係であってもよい。

また、本実施形態では、位置による評価値Ｉｐを求めるのに、垂直位置による評価値Ｉｐｖと水平位置による評価値Ｉｐｈとを掛け算して求めるようにしたがこれに限られない。例えば、垂直位置による評価値Ｉｐｖと水平位置による評価値Ｉｐｈとの最大値、最小値、または平均値などによって位置による評価値Ｉｐを求めるようにしてもよい。

Ｓ７０３では、顔領域の信頼度による評価値Ｉｆを決定する。これはユースケース３に対応したものである。ここでは信頼度の値が高いほど、顔である可能性が高いとする。そして、例えば［０，１．０］や［０，１００］のように信頼度が正規化されている場合は、それを［０，１ ．０］となるように必要に応じて再度正規化し、その値をＩｆとして出力する。

また、信頼度が正規化されていない場合は、すべての顔領域の信頼度の最大値ＦＡＣＥｍａｘを求め、さらにＦＡＣＥｍａｘで各顔領域の信頼度を割って正規化した値、すなわちＦＡＣＥ／ＦＡＣＥｍａｘを各顔領域の評価値Ｉｆとして出力する。ここで、ＦＡＣＥは、各顔領域の信頼度である。

Ｓ７０４では、Ｓ７０１、Ｓ７０２、Ｓ７０３で決定した各評価値より、最終的な顔評価値Ｉａｌｌを決定する。Ｉａｌｌは下記式で算出される。

Ｉａｌｌ＝Ｉｓ×Ｉｐ×Ｉｆ …（式５）
なお、顔評価値の算出方法は上記式のみに限られない。例えば、各評価値の最大値、最小値、平均値などによって決定するようにしてもよい。あるいは、各評価値に対する重みを決定しておき、重み付け平均して顔評価値を算出するようにしてもよい。あるいは、評価値Ｉｓと評価値Ｉｐと評価値Ｉｆの少なくとも１つから算出すればよい。

Ｓ７０５では、入力画像中のすべての顔に対して顔評価値を算出したか否かを判定する。算出していない場合はＳ７０１に戻り処理を継続する。一方、算出している場合は処理を終了する。

ここまででＳ３０４の顔評価値算出の説明を終了する。再び図３に戻り、処理を説明していく。

Ｓ３０５では、ゲインテーブル合成部２０６により、階調補正に用いるゲインテーブルを合成する。ゲインテーブルの合成には、Ｓ３０２とＳ３０３で算出した各顔領域ごとの固定ゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥ、Ｓ３０４で算出した各顔領域の顔評価値Ｉａｌｌを参照する。また、ゲインテーブル保持部２０５に予め保存してある部分コントラスト補正処理による階調補正用のゲインテーブルも参照する。以降の説明のため、ゲインテーブル保持部２０５に予め保存してあるゲインテーブルをＧＡＩＮＴＡＢＬＥ＿ＰＲＥ、合成によって算出されるゲインテーブルをＧＡＩＮＴＡＢＬＥ＿ＭＩＸと呼ぶこととする。

まず、ＧＡＩＮＴＡＢＬＥ＿ＰＲＥについて説明する。予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥとは図１８に示した従来の部分コントラスト補正技術で用いていたゲインテーブルであり、入力画像の輝度が低くければ低いほど高いゲインをかける特性を有する。従来技術におけるゲインテーブルの決め方については、例えば特願２００９−０９３３５０号公報に記述されているのでここでは詳細な説明は省略する。

次に、顔領域毎に算出したＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥのうち、ＧＡＩＮＴＡＢＬＥ＿ＭＩＸの算出に用いるＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを決定する。本実施形態では、予め定めた閾値以上の顔評価値Ｉａｌｌを有し、かつ顔領域の平均輝度が最も高い顔領域のＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを用いることとする。この理由は、顔評価値Ｉａｌｌが予め設定した閾値未満の顔領域は重要な主要人物である可能性が低いため、ユーザの撮影意図を鑑みると、階調補正の対象とせずともよいと考えられる。また、従来部分コントラスト補正技術の問題点であった人物の顔領域の陰影がなくなりコントラストの低い顔になってしまう現象や黒髪が白髪のように変化してしまう現象を避けるためには、複数人検出した人物のうち顔領域の平均輝度が最も高い顔領域を階調補正の基準とすれば固定ゲイン量が小さくなるため弊害現象を避けることができる。

最後に、ＧＡＩＮＴＡＢＬＥ＿ＰＲＥと基準で選択したＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを加重加算で合成することでＧＡＩＮＴＡＢＬＥ＿ＭＩＸを算出する。加重加算は下記式により行われる。

ＧＡＩＮＴＡＢＬＥ＿ＭＩＸ（Ｙｉｎ）＝
ＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥ（Ｙｉｎ）×Ｉａｌl＋
ＧＡＩＮＴＡＢＬＥ＿ＰＲＥ（Ｙｉｎ）×（１．０−Ｉａｌｌ） …（式６）
（ただし、０≦Ｙｉｎ≦ＦＡＣＥ＿ＰＯＩＮＴ）
式６においてＹｉｎとは入力される輝度を表す。なお、ＦＡＣＥ＿ＰＯＩＮＴより大きい範囲の輝度におけるＧＡＩＮＴＡＢＬＥ＿ＭＩＸは、ＧＡＩＮＴＡＢＬＥ＿ＰＲＥと等しくなるとする。ここで、顔評価値Ｉａｌｌが１．０である場合のＧＡＩＮＴＡＢＬＥ＿ＭＩＸを図１０に示す。また、階調補正後に階調に疑似輪郭が発生するのを防ぐために、ＧＡＩＮＴＡＢＬＥ＿ＭＩＸは滑らかに変化するのが望ましい。そのため、０≦Ｙｉｎ≦ＦＡＣＥ＿ＰＯＩＮＴの範囲において、ＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥ（Ｙｉｎ）＜ＧＡＩＮＴＡＢＬＥ＿ＰＲＥ（Ｙｉｎ）が成り立つ場合には、両ゲインテーブルの平均値をＧＡＩＮＴＡＢＬＥ＿ＭＩＸ（Ｙｉｎ）とするなど、ＧＡＩＮＴＡＢＬＥ＿ＭＩＸが滑らかに変化させるのがよい。

なお、Ｓ３０１で人物が一人も検出されなかった場合、ＧＡＩＮＴＡＢＬＥ＿ＭＩＸはＧＡＩＮＴＡＢＬＥ＿ＰＲＥと等しくなる。

また、本実施形態では、複数人検出した人物のうち顔領域の平均輝度が最も高い顔領域のＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを選択したがこれに限られない。例えば、表示部１０４にモード名を表示するとともに、表示されたモードからユーザが入力部１０１を介して指定したモードの設定に従いＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを選択するようにしてもよい。例えばモード名を低輝度人物優先階調補正とし、ユーザがそのモードを選択した場合は、検出した顔領域のうち、最も代表輝度値が低い顔領域のＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを選択する。一方、人物優先階調補正（明るさ指定）というモード名では、ユーザが入力した輝度値に最も近い代表輝度値を持つ顔領域のＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを選択するなどが挙げられる。

Ｓ３０６では、ゲイン処理部２０８により、Ｓ３０５にて算出した階調補正に用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸを元に入力画像の輝度信号に対して階調補正を行う。

Ｓ３０７では、Ｓ３０６でゲイン処理を行ったｍビットの信号を表示装置に合せて、γ特性に沿った階調圧縮処理を行い、ｎ（ｎ≦ｍ）ビットの信号を出力する。通常のγ特性の特性図を図１１に実線で示す。さらに点線で示したγ特性のように低輝度部のコントラストを向上させる（コントラストを強調する）特性のγを用いてもよい。点線で示されるγ特性は、特に逆光時の人物の顔領域がフレアの影響等により低コントラストになってしまう問題の対策として有効である。

以上のように、本実施形態では、逆光シーンのように暗い人物が撮像画像中に存在する場合（逆光判定）に、人物の顔領域輝度に着目したゲインテーブルを算出する。これにより、従来部分コントラスト補正技術のような人物の顔領域の陰影がなくなり、のっぺりとしたコントラストの低い顔になってしまう現象を回避できる。また、黒髪の人物では顔の領域に比べて、髪領域にかかるゲインが大きいため、不自然に明るくなり白髪のように変化してしまう現象を起こらないようにすることもできる。そしてそれらの現象を防ぎつつも、好適な明るさに階調補正された画像を生成することができる。

なお、本実施形態では人物の顔領域輝度に着目したゲインテーブルと従来の部分コントラスト補正のゲインテーブルを顔の評価値で加重加算したゲインテーブルを用いて階調補正を行った。しかし、先に人物の顔領域輝度に着目したゲインテーブルで階調補正を行った画像と従来の部分コントラスト補正のゲインテーブルで階調補正を行った画像を生成し、それら階調補正後の画像どうしを加重加算する方法であっても構わない。

また、階調補正のゲイン量をすべての輝度で等倍、つまり階調補正を行わずに、図１２の実線に示すような主要人物の明るさを最適にするγ特性で階調圧縮処理を行う構成としても、本実施形態の効果を得ることが可能である。

また、公知の技術である逆光シーンであるか否かを判定する技術（特開２００４−２００８０８号公報）を用いて、Ｓ３０１の人物検出で検出された人物が逆光状態であるか否かを判定する。そしてＳ３０５でゲインテーブルを合成する際に参照する顔領域を逆光状態の人物に限定する構成としてもよい。このような構成とすることで、演算負荷の低減を図ることが可能である。

また、公知の技術である人物の髪領域を検出する（髪領域検出）技術（特開２０１１−１４１６２２号公報）を用いて、顔肌領域の輝度と髪領域の輝度の関係から固定ゲイン量ＧＡＩＮ＿ＦＡＣＥの算出方法を切り替える構成としてもよい。切り替えの組み合わせの一例を図１３に示す。ここではまず検出した顔肌領域と髪領域に対して予め設定した閾値Ｔ０、Ｔ１と比較し、それらの領域が明るいか否かを判定する。そして、顔肌領域の輝度が閾値Ｔ０以上で、かつ髪領域の輝度が閾値Ｔ１以上と判定された場合は、顔肌領域と髪領域の代表輝度値のうち、より高い方の代表輝度値から固定ゲイン量を算出する。

一方、顔肌領域の輝度が閾値Ｔ０以上で、かつ髪領域の輝度が閾値Ｔ１未満と判定された場合は、顔肌領域の代表輝度値から固定ゲイン量を算出する。また、顔肌領域の輝度が閾値Ｔ０未満で、かつ髪領域の輝度が閾値Ｔ１以上と判定された場合は、髪領域の代表輝度値から固定ゲイン量を算出する。また、顔肌領域の輝度が閾値Ｔ０未満で、かつ髪領域の輝度が閾値Ｔ１未満と判定された場合は、顔肌領域と髪領域の代表輝度値のうち、より高い方の代表輝度値から固定ゲイン量を算出する。

このように構成することで、低輝度領域に大きなゲインがかかることを防ぎ、例えば低輝度の黒髪領域にかかるゲインが顔肌領域よりも大きいために、黒髪が白髪のように変化してしまう現象を抑えることができる。さらに、公知の技術である人種を推定する（人種判定）技術（特開２００５−２６６９８１号公報）を用いて、黒髪で肌の輝度が高くなる傾向を有する東洋人を検出した判定結果の場合には、顔肌領域の代表輝度値から固定ゲイン量を算出するように構成してもよい。

（第２の実施形態）
以下、本発明の第２の実施形態について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

第１の実施形態では入力画像において人物が存在する場合は、人物を最優先にした階調補正処理を行った。しかし、高い輝度の人物を優先した階調補正量を設定することで、従来の部分コントラスト補正処理で得ていた人物以外の領域の階調補正効果を減少させてしまう。以降説明のため人物以外の領域を背景領域と呼ぶこととする。

第２の実施形態では、人物の顔領域の輝度分布（人物輝度分布算出）と背景領域の輝度分布（背景輝度分布算出）を比較し、輝度分布の差がほぼ同じ場合は、顔領域の輝度から算出した固定ゲインテーブルを最終的な階調補正に用いるゲインテーブルの算出に用いる。一方、輝度分布の差が大きく異なる場合には、顔領域の輝度から算出した固定ゲインテーブルと、背景領域の輝度から算出した固定ゲインテーブルを顔評価値で加重加算した固定ゲインテーブルを算出する。そして算出した固定ゲインテーブルを最終的な階調補正に用いるゲインテーブルの算出に用いることで、背景領域の階調補正効果を不用意に減少させてしまうことを避ける方法について説明する。

図１４は、本実施形態での階調補正処理に関わる具体的な構成を示すブロック図である。図１４に示すブロック図は図２に示した第１の実施形態のブロック図と比較して以下の点が異なる。背景領域決定部１４０１、背景領域用固定ゲイン量算出部１４０２、背景領域用固定ゲイン適用範囲算出部１４０３が追加され、処理内容が第１の実施形態と異なるのでゲインテーブル合成部の番号を１４０４に変更している。そして、図１４のブロック図に対応するフローチャートが図１５である。図１５に示すフローチャートは、図３に示した第１の実施形態のフローチャートと比較して、Ｓ３０４の後にＳ１５０１〜Ｓ１５０３を加え、Ｓ３０５をＳ１５０４に変更している。以下、図１５のフローチャートおいて図３から追加・変更した部分について説明する。なお、以下の階調補正処理の説明では、階調補正処理の対象となるデータである画像データのことも画像と称している。

Ｓ１５０１では、背景領域決定部１４０１において、入力された画像における背景領域を決定する。本実施形態では図１６に黒塗りの領域で示すように、Ｓ３０１で検出した人物領域以外の領域を背景領域とする。

Ｓ１５０２では、背景領域用固定ゲイン量算出部１４０２において、Ｓ１５０１にて決定した背景領域に対して階調補正に用いる固定ゲイン量を算出する。背景領域用の固定ゲイン量（ＧＡＩＮ＿ＢＡＣＫ）は背景領域の代表輝度値（Ｙ＿ＢＡＣＫ）と予め設定された背景用の目標輝度値（Ｙ＿ＢＡＣＫ＿ＲＥＦ）を用いて、下記式で算出される。

ＧＡＩＮ＿ＢＡＣＫ＝Ｙ＿ＢＡＣＫ＿ＲＥＦ／Ｙ＿ＢＡＣＫ …（式７）
また、背景領域の代表輝度値は、背景領域の平均輝度や座標に応じた重み付けによる加重平均値を用いる。

Ｓ１５０３では、背景領域用固定ゲイン適用範囲算出部１４０３において、背景領域の輝度に応じて、Ｓ１５０１で算出した背景領域用固定ゲイン量を適用する範囲を決定する。決定方法はＳ３０３と同じであるため詳細な説明は省略する。

Ｓ１５０４では、ゲインテーブル合成部１４０４において、階調補正に用いるゲインテーブルを合成する。Ｓ３０５と異なる点は、顔領域の輝度分布と背景領域の輝度分布の差分に応じて固定ゲインテーブル選択を切り替える点である。ここで輝度分布とは顔領域および背景領域のヒストグラムを画素数で正規化したものを指す。切り替えの組み合わせの一例を図１７に示す。

図１７より、Ｓ３０１で人物が一人も検出されなかった場合は、最終的な階調補正で用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸはゲインテーブル保持部２０５に予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥと等しくなる。

一方、Ｓ３０１で人物が一人だけ検出され、かつ背景領域の輝度分布と顔領域の輝度分布の差分が予め設定した閾値Ｔ３未満である場合、つまり、顔領域と背景領域の明るさが近いと判断される場合は、顔領域の固定ゲインテーブルを選択する。そして、最終的な階調補正に用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸは、選択された顔領域の固定ゲインテーブルと、ゲインテーブル保持部２０５に予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥを顔評価値を重みとして、加重加算することによって算出される。

一方、Ｓ３０１で人物が一人だけ検出され、かつ背景領域の輝度分布と顔領域の輝度分布の差分が予め設定した閾値Ｔ３以上である場合、つまり、顔領域と背景領域の明るさが離れていると判断される場合は、次のようにする。すなわち、顔領域の固定ゲインテーブルと背景領域の固定ゲインテーブルを顔評価値で加重加算する。そして、最終的な階調補正に用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸは、加重加算で算出されたゲインテーブルと、ゲインテーブル保持部２０５に予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥを背景領域の固定ゲインテーブルの重みを１．０として、加重加算することによって算出される。つまり、背景領域の固定ゲインテーブルが適用される範囲はすべてこちらのゲインテーブルが使用されることになる。これによって、人物の顔評価値が低い場合は、背景領域の階調補正が優先されることになる。従って、従来の部分コントラスト補正処理で得ていた背景領域の階調補正効果を減少させることなく好適な明るさに補正された画像を得ることができる。

一方、Ｓ３０１で人物が複数人検出された場合は、本実施形態では最も顔評価値が高い人物の固定ゲインテーブルを用いる。ここで、最も顔評価値が高い人物を主顔と呼ぶこととする。そして、背景領域の輝度分布と主顔の顔領域の輝度分布の差分が予め設定した閾値Ｔ３未満である場合は、主顔の顔領域の固定ゲインテーブルを選択する。そして、最終的な階調補正に用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸは、選択された主顔の顔領域の固定ゲインテーブルと、ゲインテーブル保持部２０５に予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥを主顔の顔評価値を重みとして、加重加算することによって算出される。

一方、背景領域の輝度分布と主顔の顔領域の輝度分布の差分が予め設定した閾値Ｔ３以上である場合は、主顔の顔領域の固定ゲインテーブルと背景領域の固定ゲインテーブルを顔評価値で加重加算する。そして、最終的な階調補正に用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸは、加重加算で算出されたゲインテーブルと、ゲインテーブル保持部２０５に予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥを背景領域の固定ゲインテーブルの重みを１．０として、加重加算することによって算出される。

なお、本実施形態では複数の人物が検出された際に、顔評価値が最も高い人物の固定ゲインテーブルを使用したがこれに限定されない。例えば、複数の人物のなかで最も顔領域の平均輝度が高い人物や、最も平均輝度が低い人物の固定ゲインテーブルを選択するように構成してもよい。

本実施形態の場合、第１の実施形態に比べ、背景領域の階調補正効果を不用意に減少させてしまうことを避け、シーンに応じて背景の明るさが好適になるように補正された画像を得ることができる。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるのもではなく、この発明の要旨を逸脱しない範囲の様々な形態も含まれる。

Claims (9)

1. 画像に含まれる人物領域を検出する検出手段と、
   前記検出手段で検出された人物領域の髪領域を検出する髪領域検出手段と、
   前記検出手段で検出された人物領域の顔の肌領域と、前記髪領域検出手段で検出された人物の髪領域の輝度を参照することにより第１の階調特性に対応するゲイン量を算出する第１の算出手段と、
   所定の階調特性と、前記第１の算出手段により算出された第１の階調特性に対応するゲイン量とに基づいて第２の階調特性を算出する第２の算出手段と、
   前記第２の算出手段により算出された前記第２の階調特性を用いて階調補正処理を行う画像処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記検出手段により検出された人物領域の輝度分布に基づいて前記第１の階調特性を利用可能な入力値の範囲を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の算出手段は、前記第１の階調特性を利用可能な入力値の範囲に対して前記所定の階調特性と前記第１の階調特性とを加重加算した階調特性を適用するように、前記第２の階調特性を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の算出手段は、前記第１の階調特性を利用可能でない入力値の範囲に対して前記所定の階調特性を適用するように、前記第２の階調特性を算出することを特徴とする請求項２に記載の画像処理装置。
5. 前記検出手段により検出された人物領域の評価値を決定する決定手段をさらに備え、前記第２の算出手段は、前記決定手段により決定された評価値に基づいて、前記所定の階調特性と前記第１の階調特性とを加重加算して前記第２の階調特性を算出することを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、前記検出手段により検出された人物領域の大きさに基づいて前記評価値を決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記検出手段により検出された人物領域の前記画像内の位置に基づいて前記評価値を決定することを特徴とする請求項５に記載の画像処理装置。
8. 前記検出手段で検出された人物領域が逆光状態にあるか否かを判定する逆光判定手段をさらに備え、前記第１の階調特性を算出する人物領域を、前記逆光判定手段で検出された逆光状態の人物領域とすることを特徴とする請求項１に記載の画像処理装置。
9. 画像に含まれる人物領域を検出する検出ステップと、
   前記検出ステップで検出された人物領域の髪領域を検出する髪領域検出ステップと、
   前記検出ステップで検出された人物領域の顔の肌領域と、前記髪領域検出ステップで検出された人物の髪領域の輝度を参照することにより第１の階調特性に対応するゲイン量を算出する第１の算出ステップと、
   所定の階調特性と、前記第１の算出ステップにより算出された第１の階調特性に対応するゲイン量とに基づいて第２の階調特性を算出する第２の算出ステップと、
   前記第２の算出ステップにより算出された前記第２の階調特性を用いて階調補正処理を行う画像処理ステップと、
   を有することを特徴とする画像処理方法。