JP6600216B2 - 画像処理装置及び画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、画像処理装置に関し、特に画像内の被写体領域毎に最適な階調制御を行うための画像処理技術に関する。

従来より、画像内において局所的に階調を制御する技術が知られている。この技術は、局所的な暗部の明るさを補正する場合、例えば、逆光シーンにおいて暗く写ってしまった被写体（特に人物）が自然な明るさになるよう補正する場合などに適用される。このような技術は、通常覆い焼き処理（階調補正処理）などと呼ばれている。

ここで、覆い焼き処理（階調補正処理）について、さらに説明する。覆い焼き処理は、入力画像内の輝度値に対し、所定のゲイン特性から局所的にゲインを求め、入力画像にゲイン処理を行うことで実現される。ゲイン特性の特徴としては、低輝度部ほど大きなゲインがかかるような特性とする。その理由としては、前述の逆光シーンにおいては適用対象となる被写体は暗くなっているので、その被写体が含まれる低輝度部に対し大きなゲインをかけることで、出力画像において被写体を明るくする狙いがあるためである。

しかしながら、入力画像には様々な被写体が含まれており、例えば樹木の小さな陰影などのように極めて局所的に輝度の変化がある領域に対し、ゲイン特性をそのまま使用すると、周囲とのコントラストが失われ、出力画像が不自然になるという課題がある。

このような課題に対し、覆い焼き処理の一手法では、画像の極めて局所的な輝度値だけでゲインを決定することは行わず、より広域的な明るさも用いてゲインを決定する。具体的には、入力画像を所定の周波数帯域を持つ複数の画像（以下、階層画像と呼ぶ）に分割する。そして、広域的な明るさとして、低周波階層画像（例えば、入力画像をローパスフィルタでボカした画像）における輝度値から低周波ゲインを算出する。また、高周波階層画像（例えば、入力画像の輝度そのもの）における輝度値から高周波ゲインを算出する。そして、低周波ゲインと高周波ゲインを重み付け加算することで最終的なゲイン量を算出する。

重み付けの手法としては、例えば着目位置におけるゲイン量のエッジの大きさを基に決定する方法が挙げられる。この方法を用いる理由は、逆光で暗くなった被写体と明るい空の境界部分などで、ゲインの切り替わりが画像に表れないよう、画素単位でのゲインの切り替えが必要となるからである。この課題は境界部分でゲインが大きく変化する場合に顕著となるため、ゲイン量のエッジが大きいほど、高周波ゲインを使用する重みを大きくする。このように、画像内の各位置において、低周波ゲインを用いる重みと、高周波ゲインを用いる重みを適応的に変えることで、出力画像の不自然さを抑制しつつ、暗部を補正する処理を行う。

図１８は、覆い焼き処理の効果を示す図である。図１８（ａ）では、覆い焼き処理を行っていないため、逆光の人物が暗くなっているが、図１８（ｂ）では覆い焼き処理を行っており、逆光の人物が見た目に近い自然な明るさとなる。また、図１９は、覆い焼き処理のゲイン特性および入出力特性の例を示す図である。図１９（ｂ）はゲイン特性の一例であり、低輝度部ほどゲインが大きくなるような特性である。ゲイン特性は図１９（ａ）に示す入出力特性から算出する。前述のような逆光シーンでは、入力輝度Ｙ0以下の低輝度領域には、主に人物領域が存在しており、出力画像ではこの低輝度領域に優先して階調を割り当てるような特性となっている。以上が、覆い焼き処理の説明である。

また、覆い焼き処理において、さらに出力画像の画質を向上させる技術として、種々の技術が提案されている。特許文献１では、画像に含まれる様々な被写体の輝度値の分布から、ゲイン特性を適応的に算出する技術が提案されている。特に、検出した被写体領域間の輝度値の関係によって、ゲイン特性を決定することが開示されている。また、特許文献２には、局所的な高輝度領域を意図的に飽和させるよう、階層画像のそれぞれにおいて、異なる階調特性を設定することが開示されている。

特開２０１４−１５３９５９号公報 特開２０１１−１７５６０８号公報

しかしながら、従来の覆い焼き処理では、入力画像の暗部を明るく補正する分、他の輝度域の階調を圧縮しており、圧縮された輝度域の階調性は失われてしまう。図１９に示す特性では、輝度値Ｙ1以上の高輝度領域に属する輝度が大きく圧縮されており、特に空領域などの階調が圧縮され、出力画像においてコントラストが失われてしまう。また、特許文献１に開示された技術では、入力画像を解析して圧縮する輝度域を適応的に変化させるものの、結果的にいずれかの輝度域は圧縮され、出力画像は部分的に階調性が失われた画像となる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、特定の輝度領域の階調性が失われることを抑制しつつ、より高品位な階調補正が施された出力画像を得られるようにすることである。

本発明に係わる画像処理装置は、入力された画像から、異なる周波数帯域を持つ複数の階層画像を生成する階層画像生成手段と、前記入力された画像に基づいて、第１の階調圧縮カーブと、該第１の階調圧縮カーブとは異なる輝度域に優先して階調を割り当てる第２の階調圧縮カーブとを含む複数の階調圧縮カーブを生成する階調圧縮カーブ生成手段と、前記複数の階調圧縮カーブに重みを付けて加算を行い、前記複数の階層画像それぞれの階調圧縮カーブを算出する算出手段と、を備え、前記算出手段は、前記階層画像が含む周波数帯域に応じて、前記第１の階調圧縮カーブと、前記第２の階調圧縮カーブの重みを変えて前記加算を行うことを特徴とする。

本発明によれば、特定の輝度領域の階調性が失われることを抑制しつつ、より高品位な階調補正が施された出力画像を得られるようにすることが可能となる。

本発明の画像処理装置を撮像装置に適用した実施形態を示すブロック図。 第１の実施形態における画像処理部の処理を示すフローチャート。 図２のステップＳ２０２における処理を示すフローチャート。 図２のステップＳ２０３における処理を示すフローチャート。 領域抽出結果の一例を示す図。 各領域の輝度ヒストグラムの例を示す図。 中輝度優先カーブおよび高輝度優先カーブの例を示す図。 シーン対応階調圧縮カーブの例を示す図。 低周波ゲインによるゲイン処理の課題を示す図。 図２のステップＳ２０４における処理を示すフローチャート。 第１の実施形態における縮小倍率と重み付け係数の関係を示す図。 第１の実施形態における階層別階調圧縮カーブの例を示す図。 図２のステップＳ２０５における処理を示すフローチャート。 重み係数の算出方法を示す図 第２の実施形態のステップＳ２０４における処理を示すフローチャート。 第２の実施形態における縮小倍率と重み付け係数の関係を示す図。 第２の実施形態における階層別階調圧縮カーブの例を示す図。 覆い焼き処理の効果を示す図。 覆い焼き処理における入出力特性及びゲイン特性の例を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。本実施形態は、覆い焼き処理による階調補正が最も要求される逆光シーンを想定する。ただし、本発明は逆光シーン以外にも適用可能である。

まず、本発明の各実施形態に共通する構成について説明する。図１は、本発明の画像処理装置を撮像装置に適用した実施形態を示すブロック図である。図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、およびシャッタ装置を備えている。この光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは光量を調整する。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し、電気信号に変換するＣＣＤやＣＭＯＳセンサ等の撮像素子を備えている。

Ａ／Ｄ変換部１０３は、入力されたアナログ画像信号をデジタル画像信号に変換する。画像処理部１０４は、通常の信号処理の他に、本実施形態の特徴的な処理である階調補正処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１１０から読み出された画像に対しても同様の画像処理を行うことができる。

露光量算出部１０５は、階調補正処理を行うために最適な入力画像を得るために、撮影時の露光量を算出する。画像処理部１０４の処理結果を入力として、算出した露光量を出力し、露光量制御部１０６に入力する。露光量制御部１０６は、露光量算出部１０５によって算出された露光量を実現するために、光学系１０１と撮像部１０２を制御して、絞り、シャッタスピード、撮像素子のアナログゲインを制御する。

システム制御部１０７は、本実施形態の撮像装置全体の動作を制御、及び統括する。画像処理部１０４で処理された画像から得られる輝度値や操作部１０８から送信された指示に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。表示部１０９は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像部１０２で生成された画像や、記録部１１０から読み出した画像を表示する。記録部１１０は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。

バス１１１は、画像処理部１０４、システム制御部１０７、表示部１０９、および記録部１１０の間で画像をやり取りするために用いられる。以上が、各実施形態に共通する構成であり、以下のそれぞれの実施形態では、特に画像処理部１０４が実行する階調補正処理について説明する。

（第１の実施形態）
本発明の第１の実施形態では、逆光の人物を撮影するシーンを想定し、覆い焼き処理による階調補正処理を行う。

図２は、本実施形態における画像処理部１０４の処理を示すフローチャートである。実際の処理では、階調補正処理以外にも、センサー補正処理やノイズリダクション処理などの種々の処理を行うが、ここでは階調補正処理に着目して説明し、他の処理の説明は省略する。以下、図２を参照して、本実施形態における画像処理部１０４内の処理について説明する。

まず、ステップＳ２０１において、入力画像を取得する。入力画像は、Ａ／Ｄ変換部１０３から出力されたデジタル画像信号である。次に、ステップＳ２０２において、階層輝度画像を生成する。本実施形態における階層輝度画像は、入力画像に対して段階的な縮小処理を行うことによって生成する（階層画像生成）。

図３は、ステップＳ２０２の処理を示すフローチャートである。以下、図３を用いてステップＳ２０２の処理について説明する。

まず、ステップＳ３０１において等倍輝度画像を生成する。この処理は、入力画像がベイヤー信号等のセンサー出力信号であることが想定されるため、所定の変換式を用いて、輝度信号への変換を行う。ここでは、画像の縮小処理は行わない。次に、ステップＳ３０２において等倍輝度画像に対し、ローパスフィルタ―処理を行う。この処理におけるローパスフィルターの係数は、ステップＳ３０３における縮小処理での縮小率に応じて決定される。縮小処理での折り返しによる偽信号が発生しないように、ローパスフィルターの係数を設定する。設定方法は公知の方法を用いる。

次に、ステップＳ３０３において、所定の縮小率で縮小処理を行う。縮小処理は、例えば単純な間引き処理などが挙げられる。本実施形態においては、縮小率１／Ｎは１／４とする。次に、ステップＳ３０４において、縮小処理を所定の倍率まで縮小したかどうかを判定する。本実施形態では、所定の倍率を１／２５６倍とする。ステップＳ３０４で、所定の倍率まで縮小処理が行われていない場合は、ステップＳ３０２に戻り、縮小処理を繰り返す。以上がステップＳ２０２における処理の流れである。

ステップＳ２０２の処理結果として、複数の階層輝度画像が生成される。本実施形態では、入力画像サイズに対し、１倍、１／４倍、１／１６倍、１／６４倍、１／２５６倍の５枚の階層輝度画像が得られる。なお、本実施形態における縮小率及び所定の倍率はあくまで一例であり、その他の数値を設定してもよい。また、各階層輝度画像生成の際、縮小率は必ずしも同一でなくてもよい。

次に、ステップＳ２０３において、シーン対応階調圧縮カーブを算出する。ここで、シーン対応階調圧縮カーブは、入力画像を解析することでその輝度分布に応じて設定される階調圧縮カーブである。また、本ステップの一部の処理内容は、本願出願人による特開２０１４−１５３９５９号公報に記載されている処理と同一の処理であるため、本実施形態に関して重要である処理以外の説明は省略する。

図４は、ステップＳ２０３における処理を示すフローチャートである。以下、図４を用いてステップＳ２０３の処理について説明する。

まず、ステップＳ４０１において、評価用画像を生成する。評価用画像は、この処理においてシーン対応階調圧縮カーブを算出するための基となる画像であり、入力画像から生成される。本実施形態では、入力画像はベイヤー信号であり、評価用画像はＹＨＳ（輝度、色相、彩度）画像であるものとする。ベイヤー信号からＹＨＳ信号への変換処理は公知の方法を用いる。

次に、ステップＳ４０２において、評価用画像から領域抽出処理を行う。本実施形態においては、抽出する領域は人物領域（主被写体領域）、空領域、背景領域（人物でも空でもない領域）である。抽出の方法は、本願出願人による特開２０１４−１５３９５９号公報に記載されている公知の方法などを用いることができるので、ここでの詳細な説明は省略する。図５は領域抽出結果の一例を示す図である。図５（ａ）は評価用画像である。図５（ｂ）、図５（ｃ）、図５（ｄ）は、それぞれ人物、背景、空の領域抽出結果であり、黒く塗りつぶされていない領域が抽出領域である。図５に示すように、所定のブロックレベルで領域の抽出を行う。

次に、ステップＳ４０３において、領域抽出結果を用いて、中輝度優先カーブおよび高輝度優先カーブを算出する（階調圧縮カーブ生成）。ここでのカーブとは、階調圧縮特性（階調圧縮カーブ）のことであり、入力輝度と出力輝度の関係を示すものである。この処理の説明に先立ち、中輝度優先カーブと高輝度優先カーブについて説明する。

典型的な逆光シーンにおける各領域ごとの輝度ヒストグラムを図６に示す。図６に示すように、本実施形態で想定している逆光シーンでは、人物領域の輝度は低輝度側に分布し、空領域の輝度は高輝度側に分布する。また、背景領域は様々な被写体が存在するため、人物領域や空領域に比べて輝度の分布は広範となるが、主には人物領域の輝度値より高く、空領域の輝度値よりも低い中間的な輝度域に分布する。なお、図６のＭＡＸは最大の輝度値であり、値は評価用画像のビット精度によって決まる。例えば、８ビットの場合は２５５である。

また、階調カーブを決定する際には、入力輝度全域のうち、どのレンジの輝度に優先的に出力輝度の階調を割り当てるかを決定することが重要となる。本実施形態では、人物領域、つまり低輝度域を最優先とする。次に、最優先の輝度域以外の領域のうち、背景領域を優先するか、空領域を優先するかのいずれが適切かは、シーンによって異なる。例えば、空領域の面積が背景領域に比較して大きい場合は、相対的に空領域、つまり高輝度域の優先度を高くする。

そのため、人物領域に次ぐ２番目の優先輝度域を背景領域、つまり中輝度域とした場合の階調カーブと、空領域、つまり高輝度域とした場合の階調カーブをそれぞれ作成する。そして、それらをシーンに応じて重み付け加算することで最終的な階調カーブを得る。上記の中輝度域を優先した階調カーブを中輝度優先カーブ、高輝度域を優先した階調カーブを高輝度優先カーブと呼ぶ。以上が、中輝度優先カーブおよび高輝度優先カーブについての説明である。

次に、各カーブの算出方法について説明する。図７は、中輝度優先カーブおよび高輝度優先カーブの例を示す図である。図７に示すように、本実施形態では、それぞれのカーブを折れ線で設定する。なお、Ｙin_MAXとＹout_MAXは、入力輝度と出力輝度それぞれの最大値であり、入出力それぞれのビット精度から値が決まる。本実施形態では、Ｙin_MAX＝Ｙout_MAXとして以下説明する。

まず、折れ線が切り替わる入力輝度の点Ｙin_low，Ｙin_mid，Ｙin_highを求める。これらは、人物領域、背景領域、空領域の輝度の大部分が包含される輝度という意味である。これらの輝度の算出には、図６に示した各領域の輝度ヒストグラムを使用する。以下、Ｙin_lowの求め方を中心に、ヒストグラムから各点の輝度値を算出する方法について説明する。

Ｙin_lowの算出には図６（ａ）の人物領域輝度ヒストグラムを使用する。ここで、人物領域の輝度ヒストグラムの頻度値を、hist_human(y)とする。ｙは輝度値である。また、人物領域に含まれる画素数の総数をＮ_humanとする。Ｙin_lowは、hist_human(y)を輝度値０から累積させていき、累積値がＮ_humanに対する所定の割合ｋを初めて上回った時の輝度値として定義される。式で表すと、

となり、式（１）を初めて満たすＹをＹin_lowとする。なお、本実施形態では、所定の割合ｋは総数の８割、つまり、ｋ＝０．８とする。

Ｙin_mid，Ｙin_highも上記と同様に、それぞれ背景領域、空領域の輝度ヒストグラムを用いて、下記の式（２）、式（３）

を初めて満たすＹの値で定義される。ここで、hist_back(y)，hist_sky(y)は背景領域、空領域の輝度ヒストグラムの頻度値であり、Ｎ_back，Ｎ_skyは背景領域、空領域に含まれる画素数の総数である。なお、Ｙin_highに関しては、式（３）に示す通り、輝度値ＭＡＸからの累積であるため、
Ｙin_high＝ＭＡＸ−Ｙ …（４）
として定義する。

次に、中輝度優先カーブの各直線の傾きを算出し、カーブを作成する。まず、低輝度域の変換直線の傾きｍ_low1は、人物領域の輝度値から算出する。評価用画像における人物領域の代表輝度値をＹr_humanとし、人物の目標輝度値をＹt_humanとすると、ｍ_low1は下記の式（５）から算出される。

ｍ_low1＝Ｙt_human／Ｙr_human …（５）
ここで、代表輝度値Ｙr_humanは、人物領域の平均輝度値とし、目標輝度値Ｙt_humanの算出方法は、本願出願人による特開２０１４−１５３９５９号公報に記載されている公知の方法を用いる。同様に、中輝度域の変換直線の傾きｍ_mid1は、背景領域の輝度値から算出する。評価用画像における背景領域の代表輝度値をＹr_backとし、背景領域の目標輝度値をＹt_backとすると、ｍ_mid1は下記の式（６）から算出される。

ｍ_mid1＝Ｙt_back／Ｙr_back …（６）
ここで、代表輝度値Ｙr_backは、背景領域の平均輝度値とし、目標輝度値Ｙt_backの算出方法は、本願出願人による特開２０１４−１５３９５９号公報に記載されている公知の方法を用いる。

中輝度優先カーブは、まず原点から入力輝度値０≦ｙ≦Ｙin_lowの低輝度域で傾きｍ_low1の直線を引き、次に（Ｙin_low，Ｙout_low）の点から入力輝度値Ｙin_low≦ｙ≦Ｙin_midの中輝度域で傾きｍ_mid1の直線を引く。最後に、（Ｙin_mid，Ｙout_mid)の点から（Ｙin_MAX，Ｙout_MAX)の点を結ぶ。高輝度域の変換直線の傾きｍ_high1は結果的に以下の式で表わされる。

ｍ_high1＝（Ｙout_MAX−Ｙout_mid）／（Ｙin_MAX−Ｙin_mid） …（７）
次に、高輝度優先カーブの各直線の傾きを算出し、カーブを作成する。まず、高輝度優先カーブにおいても、最優先する輝度域は低輝度域である。従って低輝度域の変換直線の傾きｍ_low2は、中輝度優先カーブのｍ_low1と同じ値となる。さらに、高輝度域の変換直線の傾きｍ_high2は、空領域の輝度値から算出する。評価用画像における空領域の代表輝度値をＹr_skyとし、空領域の目標輝度値をＹt_skyとすると、ｍ_high2は下記の式（８）から算出される。

ｍ_high2＝Ｙt_sky／Ｙr_sky …（８）
ここで、代表輝度値Ｙr_skyは、空領域の平均輝度値とし、目標輝度値Ｙt_skyの算出方法は、本願出願人による特開２０１４−１５３９５９号公報に記載されている公知の方法を用いる。

高輝度優先カーブは、中輝度優先カーブと同様、まず原点から入力輝度値０≦ｙ≦Ｙin_lowの低輝度域で傾きｍ_low2（＝ｍ_low1）の直線を引き、次に（Ｙin_high，Ｙout_high）の点からＹin_high≦ｙ≦Ｙin_MAXの高輝度域で傾きｍ_high2の直線を引く。Ｙout_highは以下の式（９）から算出される。

Ｙout_high＝ｍ_high2×Ｙin_high …（９）
最後に、（Ｙin_low，Ｙout_low）の点から（Ｙin_high，Ｙout_high）の点を結んで中輝度域の直線とする。中輝度域の変換直線の傾きｍ_mid2は結果的に以下の式で表わされる。

ｍ_mid2＝（Ｙout_high−Ｙout_low）／（Ｙin_high−Ｙin_low） …（１０）
以上が、中輝度優先カーブおよび高輝度優先カーブの算出方法であり、ステップＳ４０３の処理内容である。

次に、ステップＳ４０４において、ステップＳ４０３で算出した中輝度優先カーブおよび高輝度優先カーブを重み付け加算して、シーン対応階調圧縮カーブを算出する。まず、中輝度優先カーブの重み付け係数ｗ_midと高輝度優先カーブの重み付け係数ｗ_highを算出する。出力画像の見栄えが良くなるように、重み付け係数を算出する。

重み付け係数の算出方法は様々な方法があり、本実施形態では特に限定しないが、例えば、空領域と背景領域の面積比から算出する方法を用いることができる。面積比はすなわち画素数の比であるため、前述のＮ_back，Ｎ_skyを用いて、以下の式（１１）および式（１２）を用いて算出する。

ｗ_mid＝Ｎ_back／（Ｎ_back＋Ｎ_sky） …（１１）
ｗ_high＝Ｎ_sky／（Ｎ_back＋Ｎ_sky） …（１２）
また、各領域間の輝度値の関係から重み付け係数を決定する方法などが存在するが、この方法は、本願出願人による特開２０１４−１５３９５９号公報に記載されている。

シーン対応階調圧縮カーブは、中輝度優先カーブおよび高輝度優先カーブをそれぞれｗ_mid，ｗ_highで重み付け加算したものである。図８は、各階調カーブを図示したものである。図８において、実線で示した折れ線が、シーン対応階調圧縮カーブである。以上が、ステップＳ２０３の処理内容である。ステップＳ２０３によって、シーン対応階調圧縮カーブが算出される。

次に、ステップＳ２０４において、階層別階調圧縮カーブを算出する。この処理では、ステップＳ２０３で算出したシーン対応階調圧縮カーブに基づいて、ステップＳ２０２で算出した複数の階層輝度画像のそれぞれに対して、異なる階調圧縮カーブを算出する。このステップが、本実施形態において最も特徴的な処理となる。

このステップの説明に先立ち、まずはステップＳ２０５の階調変換処理の概要について説明する。本実施形態における階調変換処理は、入力画像に対してゲインを乗じることで行う。このゲインは、複数の階層輝度画像のそれぞれの輝度値から算出され、各階層画像に対応する複数のゲイン値を重み付け加算して、最終的なゲイン値を算出する。

上記の重み付けの考え方をさらに説明する。背景技術で述べたように、極めて局所的な輝度値に基づいて階調補正処理を行うとコントラストが失われるため、基本的には広域的な輝度に基づいて階調補正処理を行う方が好ましい。従って、等倍階層輝度画像に基づいて算出したゲイン値（高周波ゲイン）よりも、低周波帯域の（縮小率が大きい）階層輝度画像を基に算出したゲイン値（低周波ゲイン）の重みが大きくなる。しかし、背景技術で述べたように、ゲイン値が極端に切り替わっている部分では、低周波ゲインに基づいて階調変換を行うと、切り替わりの境界部分に疑似輪郭が発生してしまう。

図９は、疑似輪郭の問題を簡易的に示した図である。図９（ｂ）は、入力画像図９（ａ）における区間ｘ１−ｘ２間の輝度値と高周波ゲイン、低周波ゲインを示すグラフである。高周波ゲイン、低周波ゲインはある特定の階層のゲインではなく、模式的に表わしたものである。低周波ゲインは、ローパスフィルタでぼかした輝度値から生成されたゲインであるため、入力画像の輝度値と比較して変化が緩慢である。従って、低周波ゲインによってゲイン処理した輝度値は、図９（ｃ）に示すように、切り替わりの境界部分で疑似輪郭が生じる。このような理由から、ゲイン値が急峻に変化している区間では、疑似輪郭の発生を抑制するために、高周波ゲインの重みを大きくする必要がある。一方、図９（ａ）に示すような一般的なシーンでは、空領域は空間的にほぼ一様に大きな輝度値を有するのに対し、背景領域は建物や樹木などの様々な被写体が混在するため、中間的な輝度域で空間的に非一様に輝度値が変化する場合が多い。

以上の考察より、空領域では大きなゲインの切り替わりは生じにくく、低周波ゲインの重みが比較的大きくなる傾向があるのに対し、背景領域ではゲインの切り替わりが頻繁に発生することにより、高周波ゲインの重みが比較的大きくなると考えられる。

本実施形態で課題としていた現象は、覆い焼き処理で低輝度域に階調を優先して割り当てた結果、他の輝度域のコントラストが失われてしまうというものであった。例えば、シーン対応階調圧縮カーブが、限りなく中輝度優先カーブに等しい場合は、高輝度域、つまり空領域の階調が特に失われてしまう。そして、前述の考察より、一般的なシーンでは、空領域と背景領域では重みが大きくなるゲインの周波数（階層）に違いがあると考えられる。そのため、空領域への影響が大きい低周波ゲインでは、中輝度ではなく高輝度を優先した階調カーブとすることで、上記の課題の影響を低減できると考えることができる。この考え方が、本実施形態の特徴的な処理であるステップＳ２０４の考え方である。次に、ステップＳ２０４の処理について説明する。

図１０は、ステップＳ２０４における処理を示すフローチャートである。以下、図１０を用いて、ステップＳ２０４の処理について説明する。

まず、ステップＳ１００１で、ある階層輝度画像をセットする。ここでは、まずは等倍階層輝度画像をセットする。次に、ステップＳ１００２で、縮小倍率を取得する。縮小倍率は、等倍階層輝度画像なら１、ｘ１／４階層輝度画像なら４というように、縮小率の分母の値であるものとする。

次に、ステップＳ１００３で、取得した縮小倍率から、重み付け係数を算出する。重み付けとは、ステップＳ２０３で取得したシーン対応階調圧縮カーブと、高輝度優先カーブの重み付けを意味する。前述の考察に従い、低周波帯域の階層、つまり縮小倍率が大きい階層ほど、高輝度優先カーブに近づけるような制御を行う。

図１１は、縮小倍率とシーン対応階調圧縮カーブの重み付け係数ｗ_layerの関係を示すグラフである。図１１に示すように、縮小倍率が最大のとき（本実施形態では２５６）にｗ_layerは０となり、縮小倍率が最小のとき（本実施形態では１）にｗ_layerは１となり、その間は線形的に変化する。

次に、ステップＳ１００４で、シーン対応階調圧縮カーブと高輝度優先カーブの重み付け加算を行う。重み付け加算の結果が着目階層の階調圧縮カーブである。シーン対応階調圧縮カーブをｆ_scene(y)、高輝度優先カーブをｆ_high(y)、着目階層の階調圧縮カーブをｆ_layer(y)とおくと、ｆ_layer(y)は以下の式（１３）で表される。

ｆ_layer(y)＝ｗ_layer＊ｆ_scene(y)＋（１-ｗ_layer）＊ｆ_high(y) …（１３）
ここで、ｙは入力輝度値である。以上が、ステップＳ１００４の処理である。

次に、ステップＳ１００５において、全階層に対して、階調圧縮カーブを算出したかどうかを確認する。本実施形態では、階層輝度画像の数は５なので５本の階調圧縮カーブが生成される。以下、これらの階調圧縮カーブをまとめて、階層別階調圧縮カーブと呼ぶ。

以上が、ステップＳ２０４の処理である。ステップＳ２０４によって、階層別階調圧縮カーブが得られる。図１２は、階層別階調圧縮カーブの一例を示した図である。図１２から分かるように、階層別階調圧縮カーブの特徴は、低周波帯域の階層（縮小倍率の大きな階層）ほど、高輝度優先カーブに近づくことである。言い換えると、低周波帯域の階層になるにつれて、優先して階調を割り当てる輝度域が徐々に高輝度域になるように変化する。

次に、ステップＳ２０５において、階調変換処理を行う。ステップＳ２０５における階調変換処理の考え方は、ステップＳ２０４で説明したとおりであり、ゲインが急峻に変化している領域では高周波ゲインの重みを大きくし、ゲインの変化が小さい場合は低周波ゲインの重みを大きくする。

図１３は、ステップＳ２０５における処理を示すフローチャートである。以下、図１３を用いて、ステップＳ２０５の処理内容について説明する。

まず、ステップＳ１３０１で、階層別ゲイン特性を算出する。ここで、ゲイン特性とは、入力輝度に対する階調変換ゲイン値の特性である。ゲイン特性は、ステップＳ２０４で算出した、階層別階調圧縮カーブから算出する。階調圧縮カーブは入力輝度に対する出力輝度値の特性なので、出力輝度値を入力輝度値で除算することで、ゲイン特性を得ることができる。つまり、入力輝度値Ｙinに対するゲイン値をＧain(Yin)、出力輝度値をＹout(Yin)とすると、Ｇain(Yin)は以下の式（１４）により算出される。

Ｇain(Yin)＝Ｙout(Yin)／Ｙin …（１４）
上記の計算を全入力輝度値で行うことにより、ゲイン特性を算出できる。この処理を、階層別階調圧縮カーブごとに行う。本実施形態では、５本の階層別ゲイン特性が得られる。

次に、ステップＳ１３０２で、階層別ゲイン画像を算出する。階層別ゲイン画像は、階層別輝度画像の各輝度に対し、上記の階層別ゲイン特性を用いてゲインに変換することで算出できる。ステップＳ１３０３以降は、階層別に算出したゲイン画像を加算していく処理である。本実施形態では、複数枚ある階層別ゲイン画像のうち、順次２枚のゲイン画像を加算していく。

ステップＳ１３０３では、低周波階層ゲイン画像と、高周波階層ゲイン画像をセットする。まずは、低周波階層ゲイン画像に１／２５６倍階層のゲイン画像を、高周波ゲイン画像に１／６４倍階層のゲイン画像をセットする。次に、ステップＳ１３０４において、低周波階層ゲイン画像を拡大する。この処理は、ステップＳ１３０５でゲイン加算を行う前に、ゲイン画像の解像度を揃えるために行う。本実施形態では、低周波階層ゲイン画像を４倍に拡大する。拡大方法は公知の方法を用いる。

次に、ステップＳ１３０５において、ゲイン加算処理を行う。ゲイン加算処理は、ゲイン画像の全画素に対して行う。図１４（ａ）に、高周波階層ゲインと低周波階層ゲインの一例を示す。ゲインが急峻に変化しているか否かの指標には、着目位置（ｘ，ｙ）における高周波階層ゲインと低周波階層ゲインの差分値を用いる。図１４（ａ）に示すように、ゲインが急峻に変化している領域ほど、高周波階層ゲインと低周波階層ゲインの差分絶対値ｄ(x,y)は大きくなる。これまでの説明から分かるように、ゲインが急峻に変化している領域では高周波階層ゲインの加算重みを大きくする。従って、差分絶対値ｄと高周波階層ゲインの加算重みｗ_gainは、定性的には図１４（ｂ）に示すような特性となる。

以上の処理により、着目位置（ｘ，ｙ）における重み係数ｗ_gain(x,y)を算出する。加算後のゲイン値gain_add(x,y)は、以下の式（１５）により算出される。

gain_add(x,y)＝ｗ_gain(x,y)＊gain_high(x,y)
＋（１−ｗ_gain(x,y)）＊gain_low(x,y) …（１５）
ここで、gain_high(x,y)、gain_low(x,y)はそれぞれ、着目位置（ｘ，ｙ）における高周波階層ゲインと低周波階層ゲインである。また、ｗ_gain(x,y)は、０≦ｗ_gain(x,y)≦１の値をとるものとする。

上記の処理をすべての（ｘ，ｙ）に対して行うことにより、ゲイン加算処理を行う。以上が、ステップＳ１３０５の処理内容であり、出力として、加算後のゲイン画像を得ることができる。

次に、ステップＳ１３０６において、全階層のゲイン画像を加算したか否かの確認を行う。未加算の場合は、得られた加算後のゲイン画像を次回の処理の低周波階層ゲイン画像としてセットし、次回の処理を行う。例えば、１／６４倍階層の解像度で加算後のゲイン画像を得た場合には、次回の加算処理では、上記の加算後のゲイン画像を低周波階層ゲイン画像とし、１／１６倍階層ゲイン画像を高周波階層ゲイン画像とする。

ステップＳ１３０６において、全階層画像を加算したと判断された場合は、ステップＳ１３０７において、ゲイン乗算処理を行う。これは、入力画像に対し、加算処理を行ったゲイン画像のゲイン値を乗算する処理である。以上が、ステップＳ１３０６の処理内容であり、出力として、ゲイン乗算後、つまり入力画像に対し階調変換を施した後の画像を得ることができる。以上が、ステップＳ２０５の処理内容である。以上、本実施形態における画像処理部１０４の処理について説明を行った。

このように、本実施形態によれば、階層別に優先して階調を割り当てる輝度領域を変化させることによって、従来の課題であった階調圧縮によるコントラストの低下を抑制できる。特に、低周波帯域を含む階層であるほど高輝度域を優先するような階調圧縮カーブを作成するため、従来技術と比較して逆光シーンにおける空領域の階調性を豊かにすることができる。

（第２の実施形態）
第１の実施形態では、図２のステップＳ２０４において、縮小倍率が大きくなるにつれて、徐々にシーン対応階調圧縮カーブから高輝度優先カーブに近づくよう、階層別階調圧縮カーブを作成した。その結果、従来技術と比較して高輝度域の階調が豊かとなる一方、中輝度域の階調は従来とほぼ変化がないと考えられる。つまり、第１の実施形態は、高輝度域優先モードであると考えることができる。

本実施形態では、第１の実施形態とは異なり、中輝度域優先モードとして、階層別階調圧縮カーブの作成を行う。つまり、高輝度域に属する空領域よりも、中輝度域に属する背景領域の階調をより豊かにすることを目的とする。なお、本実施形態においても、逆光の人物シーンを想定し、最優先に階調を割り当てる輝度域は人物領域を含む低輝度域であるものとする。

本実施形態と第１の実施形態とで異なる処理は、図２におけるステップＳ２０４の階層別階調圧縮カーブの作成処理である。以下、この処理について、図面を参照して説明する。図１５は、本実施形態におけるステップＳ２０４の処理を示すフローチャートである。以下、図１５を用いて、ステップＳ２０４の処理について説明する。

まず、ステップＳ１５０１で階層輝度画像をセットし、ステップＳ１５０２で、この階層の縮小倍率を取得する。ここまでは、第１の実施形態におけるステップＳ２０４の処理と同様である。

次に、ステップＳ１５０３において、重み付け係数を算出する。本実施形態では、重み付け係数は、シーン対応階調圧縮カーブと、中輝度優先カーブとの重み付け係数である。高周波帯域を含む階層、つまり縮小倍率が小さい階層ほど、中輝度優先カーブに近づけていく処理となる。

図１６は、縮小倍率とシーン対応階調圧縮カーブの重み付け係数ｗ_layerの関係を示すグラフである。第１の実施形態における図１１と異なるのは、縮小倍率が最大のとき（本実施形態では２５６）にｗ_layerは１となり、縮小倍率が最小のとき（本実施形態では１）にｗ_layerは０となることである。

次に、ステップＳ１５０４において、シーン対応階調圧縮カーブと中輝度優先カーブを重み付け加算する。重み付け加算の結果が着目階層の階調圧縮カーブである。シーン対応階調圧縮カーブをｆ_scene(y)、中輝度優先カーブをｆ_mid(y)、着目階層の階調圧縮カーブをｆ_layer(y)とおくと、ｆ_layer(y)は以下の式（１６）で表される。

ｆ_layer(y)＝ｗ_layer＊ｆ_scene(y)＋（１−ｗ_layer)＊ｆ_mid(y) …（１６）
ここで、ｙは入力輝度値である。以上が、ステップＳ１５０４の処理である。

次に、ステップＳ１５０５において、全階層に対して、階調圧縮カーブを算出したかどうかを確認する。この処理は、第１の実施形態におけるステップＳ２０４の処理と同様である。

以上が、本実施形態におけるステップＳ２０４の処理である。ステップＳ２０４によって、階層別階調圧縮カーブが得られる。図１７に、階層別階調圧縮カーブの一例を示す。図１７から分かるように、階層別階調圧縮カーブの特徴は、高周波帯域の階層（縮小倍率の小さな階層）ほど、中輝度優先カーブに近づくことである。言い換えると、高周波帯域の階層になるにつれて、優先して階調を割り当てる輝度域が徐々に中輝度域になるように変化する。

このように、本実施形態によれば、階層別に優先して階調を割り当てる輝度領域を変化させることによって、従来の課題であった階調圧縮によるコントラストの低下を抑制できる。特に、高周波帯域を含む階層であるほど中輝度域を優先するような階調圧縮カーブを作成するため、従来技術と比較して逆光シーンにおける背景領域の階調性を豊かにすることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：光学系、１０２：撮像部、１０３：Ａ／Ｄ変換部、１０４：画像処理部、１０５：露光量算出部、１０６：露光量制御部、１０７：システム制御部、１０８：操作部、１０９：表示部、１１０：記録部、１１１：システムバス

Claims (11)

1. 入力された画像から、異なる周波数帯域を持つ複数の階層画像を生成する階層画像生成手段と、
   前記入力された画像に基づいて、第１の階調圧縮カーブと、該第１の階調圧縮カーブとは異なる輝度域に優先して階調を割り当てる第２の階調圧縮カーブとを含む複数の階調圧縮カーブを生成する階調圧縮カーブ生成手段と、
   前記複数の階調圧縮カーブに重みを付けて加算を行い、前記複数の階層画像それぞれの階調圧縮カーブを算出する算出手段と、を備え、
   前記算出手段は、前記階層画像が含む周波数帯域に応じて、前記第１の階調圧縮カーブと、前記第２の階調圧縮カーブの重みを変えて前記加算を行うことを特徴とする画像処理装置。
2. 前記第２の階調圧縮カーブは、前記第１の階調圧縮カーブよりも輝度の高い輝度域に優先して階調を割り当てる階調圧縮カーブであることを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、相対的に高い周波数を含む階層画像ほど、前記第１の階調圧縮カーブの重みを大きくして前記加算を行い、相対的に低い周波数を含む階層画像ほど、前記第２の階調圧縮カーブの重みを大きくして前記加算を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記階層画像生成手段は、前記入力された画像を所定の縮小率で縮小することによって前記複数の階層画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記入力された画像から最優先に階調を割り当てる輝度域を決定する決定手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記最優先に階調を割り当てる輝度域は、前記入力された画像における人物領域の輝度域、もしくは主被写体領域の輝度域であることを特徴とする請求項５に記載の画像処理装置。
7. 前記階調圧縮カーブ生成手段は、前記最優先に階調を割り当てる輝度域に対し優先的に階調を割り当てた後、前記最優先に階調を割り当てる輝度域以外の輝度域に対し、低輝度域、および高輝度域の階調をそれぞれ優先した階調圧縮カーブを生成することを特徴とする請求項５に記載の画像処理装置。
8. 前記第１の階調圧縮カーブおよび第２の階調圧縮カーブの少なくともいずれかは、前記入力された画像に含まれる被写体の輝度値の関係から算出されることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 入力された画像から、異なる周波数帯域を持つ複数の階層画像を生成する階層画像生成工程と、
   前記入力された画像に基づいて、第１の階調圧縮カーブと、該第１の階調圧縮カーブとは異なる輝度域に優先して階調を割り当てる第２の階調圧縮カーブとを含む複数の階調圧縮カーブを生成する階調圧縮カーブ生成工程と、
   前記複数の階調圧縮カーブに重みを付けて加算を行い、前記複数の階層画像それぞれの階調圧縮カーブを算出する算出工程と、を備え、
   前記算出工程では、前記階層画像が含む周波数帯域に応じて、前記第１の階調圧縮カーブと、前記第２の階調圧縮カーブの重みを変えて前記加算を行うことを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
11. 請求項９に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。