JP6097588B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する技術に関する。

従来より、入力画像に対し、部分毎に異なるゲインをかけて階調特性を制御するデジタル覆い焼き処理が提案されている。例えば、この覆い焼き処理は、撮影する主要被写体の明るさが背景の明るさと比較して著しく暗いような、いわゆる逆光シーンにおいて適用される。逆光シーンでは、画像全体の明るさを適切にするように制御すると、一般的には主要被写体が暗く撮影される。従って、暗部に比較的大きなゲインがかかるように意図した輝度別ゲインを用いることによって、暗く撮影された主要被写体を適切な明るさに制御する。以上の処理が、覆い焼き処理の基本的な概念である。

さらに、輝度別ゲインを算出する際の入力輝度は、入力画像の輝度成分から生成された低周波画像を用いる。この理由は、輝度別ゲイン算出の入力輝度として入力画像をそのまま使用すると、画像内の暗い被写体部分、および黒い被写体部分には軒並み大きなゲインがかかってしまい、ゲイン処理後の画像のコントラストが著しく損なわれるからである。従って、低周波画像を用いることで、画像内の局所的な暗部の影響が軽減され、画像の輝度変化に対するゲインの敏感度が下がり、出力画像の解像感を保ったまま覆い焼き処理を行うことができる。

しかしながら、低周波画像を用いて覆い焼き処理を行った場合、図２５に示すように、低輝度領域と高輝度領域のエッジ部付近において、疑似輪郭が発生するという問題がある。図２５の例では、元信号に加え、元信号の低周波成分であるボカシ小信号、ボカシ大信号を使用している。ゲインテーブルが図２５に示すように、比較的低輝度側で大きく減少するような形になっている場合、エッジ部の低輝度領域側において、ボカシ信号から変換されたゲインが大きく減少する。これは、高輝度領域側の影響を受け、エッジ部付近のボカシ信号の値が大きくなるためである。従って、図２５に示すような、エッジが黒く縁どられるような疑似輪郭が発生する。この現象は、乗じるゲインの範囲（GAIN_MAXとGAIN_MINの差）が大きくなるほど顕著に発生する。

上記の課題に対し、これまでに、例えば特許文献１、特許文献２に示す技術が提案されている。

特許文献１では、異なる周波数帯域を持つ複数の輝度画像からゲインを算出する。そして、相対的に低周波の画像から算出したゲインが、相対的に高周波の画像から算出したゲインを上回っている時に、相対的に低周波の画像から算出したゲインの寄与が小さくなるように制御している。具体的には、高周波画像から算出したゲインの使用比率を大きくしている。

特許文献２では、特許文献１と同様に異なる周波数帯域を持つ画像を用い、相対的に高周波の画像の輝度値から、画像を領域分割し、相対的に低周波の画像から算出したゲイン値を、領域分割結果によって修正している。

特開２０１０−２４４３６０号公報 特開２００９−２７２９８３号公報

しかしながら、特許文献１では、低周波画像から算出したゲインが相対的に大きくなる場合、つまり、高輝度領域が白く縁どられるような疑似階調の対策についてしか述べられておらず、低輝度領域の疑似階調には対応できない。また、低輝度領域に乗じるゲインが大きくなった場合には、特許文献１の手法では効果が足りず、疑似階調が残留してしまう。

特許文献２では、図２５に示すように、同じ領域内に大きく異なる値を持つゲインが混入した場合に対する記載がなく、同領域内でゲインを再計算する場合に、大きく異なるゲインの影響を受けることが考えられる。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する際に、出力画像のコントラストを良好に保ちつつ、疑似輪郭の発生を抑制することである。

本発明に係わる画像処理装置は、入力された入力画像を縮小した縮小画像を得る縮小画像生成手段と、前記縮小画像を含む縮小率の異なる複数の画像のそれぞれについて、画素毎の輝度にゲインを対応づけたゲインデータを得るゲインデータ生成手段と、生成された前記ゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、前記決定手段は、前記複数の画像のうち相対的に高い周波数を持つ画像に対する前記ゲインデータを第１のゲインデータ、前記複数の画像のうち相対的に低い周波数を持つ画像に対する前記ゲインデータを第２のゲインデータとしたときに、前記第１のゲインデータおよび前記第２のゲインデータの着目画素に対応するゲイン同士の加算結果である第１の加算結果、及び、前記第１のゲインデータの当該着目画素に対応するゲインと、前記第２のゲインデータにおける当該着目画素の周辺領域の画素に対応するゲインに基づくゲインとの加算結果である第２の加算結果、に基づいて前記制御ゲインを決定することを特徴とする。

本発明によれば、入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する際に、出力画像のコントラストを良好に保ちつつ、疑似輪郭の発生を抑制することが可能となる。

本発明の各実施形態に共通する画像処理装置の構成を示したブロック図。 第１の実施形態で想定する逆光シーンを表す図。 第１の実施形態で想定する輝度別ゲインの概形図。 輝度別ゲインによるコントラスト低下を表す図。 第１の実施形態におけるゲイン画像生成部における処理のブロック図。 ぼかし処理部における処理を示すフローチャート。 ぼかし処理部の処理を表す図。 ゲイン加算処理部の処理を示すブロック図。 加算処理部２の処理内容を示す図。 加算処理部２の処理内容を示す図。 加算処理部２の処理内容を示すフローチャート。 加算処理部１と加算処理部２それぞれの利点を示す図。 第２の実施形態における、ゲイン画像生成部の処理を示すブロック図。 輝度加算処理部の処理を示すブロック図。 輝度差とゲイン差の関係を表す図。 輝度→重み算出部の動作を示すブロック図。 ゲイン増幅率の算出を示す図。 輝度→重み変換部の動作を示す図。 第３の実施形態における、ゲイン画像生成部の処理を示すブロック図。 第３の実施形態におけるぼかし処理の流れを示すフローチャート。 輝度増幅率の算出を示す図。 第４の実施形態における、ゲイン画像生成部の処理を示すブロック図。 第５の実施形態における、ゲイン画像生成部の処理を示すブロック図。 第６の実施形態における、ゲイン画像生成部の処理を示すブロック図。 従来技術の課題（疑似輪郭の発生）を示す図。

以下、本発明の実施形態について、図面を参照して詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。以下の実施形態では、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像部を有する画像処理装置に適用した例を説明する。

（第１の実施形態）
図１は、本発明の各実施形態に共通する画像処理装置の構成を示したブロック図である。また、本実施形態では逆光シーンの補正を想定するため、図２に、本実施形態で想定する逆光シーンの例を示す。図２に示すように、逆光シーンとは、主要被写体の明るさに対し、背景が著しく明るいシーンである。以下、図１および図２を参照して、各ブロックについて詳細に説明する。

露出決定部１０１では、入力画像を撮像する際の露出を決定する。本実施形態では、決定方法は特に指定しないが、一例として、評価測光方式を用いる。評価測光方式とは、画像を所定の領域に分割し、各領域ごとに算出した輝度値（輝度信号）に対し、それぞれ所定の重み付けをして加重平均することで、該当シーンの代表的な輝度値を算出し、その輝度値に基づいて露出を決定する方式である。

基準画像撮像部１０２では、露出決定部１０１において設定された露出で画像を撮像する。ここで撮像された画像を、今後基準画像と呼ぶ。上記のような方法で露出を決定した場合、図２に示すような一般的な逆光シーンにおいては、主要被写体が実際の見た目よりも暗く撮影される。

輝度別ゲイン生成部１０３では、基準画像に乗じるゲインの特性を決定する。ここでゲインの特性とは、輝度値に対するゲインテーブルである。本実施形態で目的としている逆光シーンの補正を行うためには、図２に示した主要被写体領域が明るくなるようにゲインの特性を制御すればよいため、図３に示すように、低輝度であるほど大きなゲインがかかるような形状の輝度別ゲインが生成される。

信号処理部１０４は、基準画像に対し所定の信号処理を施す。本実施形態では、信号処理として、たとえば光学補正処理やノイズリダクション処理を行うものとする。

＜ゲイン画像生成部１０５＞
ゲイン画像生成部１０５では、輝度別ゲイン生成部１０３で算出した輝度別ゲインテーブルから、画像に乗じるゲインを生成する。以下では、ゲイン画像生成部１０５にて輝度別ゲインテーブルを用いて生成される、画像内の画素毎の輝度にゲインを対応づけてマップ化したゲインデータをゲイン画像と呼ぶ。本実施形態では、ゲイン画像生成部１０５への入力画像を信号処理部１０４から出力された画像から生成した輝度画像とし、入力画像と、入力画像を縮小し低周波成分のみを残した画像とを、ゲインの生成に使用する。ここで低周波画像を使用する理由は、背景技術の欄で述べたように、画像の細かいディテールに対するゲインの敏感度を下げるためである。図２の例では、暗い主要被写体部は明るくするが、背景の建物のうち局所的に暗くなっている部分についても、ゲインテーブルに従って大きなゲインをかけてしまうと、建物の他の部分との輝度差が縮まり、画像のコントラストが劣化してしまう（図４）。従って、図２の建物の窓などの細かいテクスチャには、建物全体の代表的な輝度に準じたゲインを一律で乗じる方が好ましいと考えられる。そのために、入力画像の低周波画像を生成することで、細かいテクスチャは消失し、周囲の輝度値と略同一になることで、乗じるゲイン値も略同一になり、コントラストが保たれる。以上の理由から、本実施形態では入力画像の低周波画像を用いている。

図５に、ゲイン画像生成部１０５における処理のブロック図を示す。以下、図５を参照しながら、ゲイン画像生成部１０５の処理について説明する。

まず、入力画像５０１は、信号処理部１０４から出力された画像から生成した輝度画像である。縮小処理部５０２（縮小画像生成部）では、入力画像５０１を縮小する。本実施形態では、縮小率は特に限定しないが、一律でゲインをかけたい微細なテクスチャ部の周波数から見積もることが望ましい。また、縮小の方法についても特に限定しないものとする。

＜ぼかし処理部５０３＞
ぼかし処理部５０３、および５０４では、入力画像５０１、および縮小処理部５０２の出力画像に対し、所定のぼかし処理を実行する。ぼかし処理の目的は、細かいテクスチャに対するゲインの敏感度をさらに下げ、コントラストをより良好に維持することである。その一方で、たとえば図２における、主要被写体領域と背景領域の境界では、ぼかし処理を行わない方がよい。その理由の１つは、覆い焼き処理では、主要被写体領域と背景領域ではそれぞれ別々のゲインを乗じることが所望の処理であることである。また、もう一つの理由は、想定の逆光シーンでは、２領域間の輝度差は非常に大きいことから、境界部でぼかし処理を行うと、図２５で課題としているような疑似輪郭の発生が顕著になると考えられるからである。従って、輝度差が大きなエッジを保存したままボカシ処理を行うことが必要である。

図６は、ぼかし処理部５０３，５０４における処理を示すフローチャートであり、図７はぼかし処理部５０３、５０４の処理内容を示す図である。

図６に示すように、まずステップＳ６０１において、参照領域を設定する。本実施形態では、処理対象の画素（以下、着目画素）位置から水平方向、垂直方向の所定範囲内にある画素の集合を参照領域とする。

次に、ステップＳ６０２において、参照領域内の所定画素を参照画素とし、着目画素と参照画素の差分絶対値を算出する。さらに、ステップＳ６０３において、差分絶対値が所定の閾値以内であるかどうかを判定する。本実施形態において、閾値は、着目画素の輝度値に応じて設定するものとする。その理由としては、低輝度領域と高輝度領域において、選択対象としたい画素のレベル差が異なると考えられるためである。

次に、ステップＳ６０４において、差分絶対値が閾値以内であると判定された参照画素を選択する（抽出する）。図７に示した例では、着目画素に対し、背景の雲部分にある参照画素Ａは選択されるが、人物部にある参照画素Ｂは選択されない。このようにして、輝度レベルが近い参照画素のみを選択する。

次に、ステップＳ６０５、Ｓ６０６において、参照領域内の全画素を評価したかどうかを確認する。まだ評価していない画素がある場合は、すべての画素を評価するまで、参照画素を更新しながらＳ６０２〜Ｓ６０４の処理を繰りかえす。最後に、ステップＳ６０７において、選択された全ての画素の平均値を算出し、出力画素値とする。

以上がぼかし処理部５０３の処理であり、ぼかし処理部５０３によって、輝度差が大きなエッジを保存したままぼかし処理を行った画像が得られる。

輝度→ゲイン変換処理部５０６、５０７では、ぼかし処理部５０３、５０４から出力される輝度画像のそれぞれに対し、輝度別ゲイン生成部１０３で算出した輝度別ゲインテーブル５０５を用いて、ゲイン画像へ変換する。すなわち、縮小画像を含む縮小率の異なる複数の画像のそれぞれについて、ゲインデータ生成を行う。

拡大処理部５０８では、縮小画像から輝度→ゲイン変換処理部５０７で変換されたゲイン画像に対し、拡大処理を施す。ここで、拡大処理は、入力画像と同じサイズになるように拡大をする。つまり、縮小処理部５０２で１／Ｎ倍の縮小をした場合は、拡大処理部５０８ではＮ倍の拡大処理を行う。ここで、拡大処理の方法については特に限定しないものとする。

＜ゲイン加算処理部５０９＞
ゲイン加算処理部５０９では、入力輝度をゲインに変換したゲイン画像（第１のゲインデータ）と、入力輝度を縮小することにより相対的に低周波成分のみを残したゲイン画像（第２のゲインデータ）を加算する。以下、それぞれの画像を、上位階層、下位階層の画像と呼ぶ。

図２５に示すように、上位階層と下位階層のゲイン特性を単純に加算平均するだけでは、輝度差の大きなエッジ部付近で、ゲインテーブルの形によっては疑似輪郭が生じてしまう。従って、加算処理の方法を工夫する必要がある。

図８は、ゲイン加算処理部５０９の処理を示すブロック図である。以下、図８を用いて、ゲイン加算処理部５０９の動作について説明する。

まず、上位階層画像８０１と下位階層画像８０２に対し、２種類の加算処理を行う。図９は、ゲイン加算処理部５０９における加算処理を示す図である。図９に示すように、加算処理部１では、上位階層と下位階層のそれぞれの着目位置のゲイン（以下、着目ゲインと呼ぶ）を加算平均する（第１の加算結果）。

次に、加算処理部２の処理内容について説明する。図９に示すように、加算処理部２では、上位階層の着目ゲインと、下位階層の周辺領域のゲイン（以下、周辺ゲインと呼ぶ）を使用する。ここで、周辺領域とは、着目位置から上下左右方向に所定の範囲内にある画素の集合である。

加算処理部２で行う処理の目的は、本件で課題としている疑似輪郭を低減させることである。図１０は、図２５と同様の考え方で、エッジ部付近に疑似輪郭が生じる場合の上位階層および下位階層ゲインの形状と、加算処理部２の処理イメージを示した図である。図１０に示した例では、輝度差の大きなエッジ部付近で、下位階層ゲインが極端に小さくなる。従って、位置Ｘでゲインを加算する場合、四角で表されている着目ゲイン同士を加算すると、疑似輪郭の弊害が大きくなる。従って、下位階層ゲインは着目位置ではなく、位置Ｘから左右にＬの範囲を探索し、最も上位階層の着目ゲインに近い値を持つゲインを選択する方がよい。図の例では、丸で表された位置Ｘ−Ｌのゲインを使用することで、下位階層の極端に小さなゲインから受ける影響を低減できる（第２の加算結果）。以上の加算処理により、エッジ部付近で極端に異なるゲインを乗じることによる疑似輪郭の発生は抑制されるものと考えられる。

図１０では、説明を分かりやすくするために１次元の例を挙げたが、実際の加算処理部２における処理では、同様の処理を２次元で行う。図１１は、加算処理部２の処理内容を示すフローチャートである。

まず、ステップＳ１１０１において、下位階層の周辺ゲイン（周辺画素のゲイン）のそれぞれに対し、上位階層の着目ゲインとの差分絶対値を算出する。次に、ステップＳ１１０２において、差分絶対値が小さい順に、Ｍ個の周辺ゲインを選択する。ここで、Ｍは所定の個数とする。この処理により、図１０に示したように、上位階層の着目ゲインに近いゲイン値を持つ下位階層の周辺ゲインを選択することができる。なお、本実施形態では、ゲインを選択する際に、差分絶対値が小さい順に所定個数を選択するという手法をとったが、特に値を小さい順にソートするという処理は、演算規模、および回路で実施した際の回路規模が大きくなる。従って他の手法、たとえば、差分絶対値が所定の閾値以下である物をすべて選択する、等の手法をとってもよいものとする。

次に、ステップＳ１１０３において、選択したＭ個の周辺ゲインを加重加算する。ここで、加重加算時の重み（係数）は以下の式（１）で決定される。

式（１）において、ＧＬ(k)は、選択した下位階層の周辺ゲインのうち、ｋ番目のゲインを表し、Ｗ(k)はそれに対応する加重加算の重みを表す。また、ＧＨは上位階層の着目ゲインを表し、Ａは所定の定数である。式（１）から分かるように、重みは、上位階層の着目ゲインとの差分が小さいほど大きくなる。

さらに、式（１）により各周辺ゲインに対する重みＷ(k)を算出後、以下の式（２）により加重加算を行う。

式（２）において、ＧＬ’は、加重加算後の下位階層ゲインである。

最後に、ステップＳ１１０４において、加重加算した下位階層の周辺ゲインＧＬ’と、上位階層の着目ゲインＧＨを加算平均し、加算平均されたゲイン値が加算処理部２の出力となる。

以上、疑似輪郭低減のための加算処理部２の動作について説明を行った。しかしながら、この加算方法を画像全体に適用させると、ゲインの形状が上位階層の形状に近づいてしまい、結果として画像のテクスチャに敏感なゲインの形となり、出力画像のコントラストが劣化してしまう。例として、図１２に示すように、場所Ａのように輝度差が大きく、ゲイン差も大きくなるようなエッジ部付近は、加算処理部２の結果を用いて疑似輪郭を抑制するのが望ましい。しかし、場所Ｂのようにゲイン差が小さいテクスチャ部分では、加算処理部２の結果を用いると、画像のコントラストが低下してしまう。ゲイン差が小さければ疑似輪郭が顕在化しなくなるため、場所Ｂでは加算処理部１の結果を用いてコントラストの低下を抑制するのが望ましい。

以上の考察より、最終的な加算結果は、加算処理部１の結果と加算処理部２の結果を加重加算したものであり、その時の重みは、着目位置における上位階層と下位階層のゲイン差によって決定することが好ましいと考えられる。従って、加算処理部１と加算処理部２の結果を、加重加算部８０６にて加重加算し、その際の重みは、重み算出部８０５で算出する。前述のとおり、加重加算の重みは、上位階層と下位階層の着目ゲインの差分値により決定され、差分値が大きいほど、加算処理部２の結果を重視するような設定とする。

以上が、ゲイン加算処理部５０９の処理内容であり、出力画像８０７が、ゲイン加算処理部５０９の最終出力であるゲイン画像５１０となり、同様にゲイン画像生成部１０５の最終出力となる。

ゲイン乗算部１０６では、ゲイン画像生成部１０５で生成された最終的なゲイン画像（制御ゲイン）を、信号処理部１０４で所定の信号処理が施された元画像に乗じる。ゲイン乗算部１０６の出力は、階調圧縮部１０７において、所定の出力レンジに階調圧縮される。ここで、圧縮方法はガンマ変換処理などが挙げられる。

最後に、画像表示部１０８および画像記録部１０９に、階調圧縮部１０７において階調圧縮を施された画像が出力される。

以上のように、本実施形態に示す処理によれば、上位階層画像と下位階層画像を加算する際に、下位階層の周辺ゲインから上位階層の着目ゲインに近いゲイン値を選択して加算することで、低周波画像を使用することによる疑似輪郭の弊害を抑制することができる。

また、着目位置のゲイン差から、（１）コントラスト維持を優先する加算結果１と（２）疑似階調の抑制を優先する加算結果２のそれぞれを加重加算することで、コントラストの低下を抑制しつつ、疑似階調の抑制を行うことができる。

また、本実施形態では、ゲイン加算処理の際に、入力画像から２種類の周波数帯域を持つ画像を生成したが、これに限らず、３以上（２種類以上）の異なる周波数帯域を持つ画像を生成し、順次加算処理を行うようにしてもよい。

（第２の実施形態）
第２の実施形態では、第１の実施形態と比較して、図１におけるゲイン画像生成部１０５の処理内容が異なる。図１３は、第２の実施形態におけるゲイン画像生成部１０５の処理を示すブロック図である。図１３に示すように、本実施形態では、輝度画像の状態で加算処理を行い（画像加算）、加算処理が行われた輝度画像に対して輝度別ゲインテーブルを適用し、出力となるゲイン画像を生成する。

この構成にする利点としては、輝度からゲインに変換する変換処理部が１か所で済むことによる、演算規模削減、および、変換処理を回路で実現した際の回路規模削減である。本実施形態では、入力画像から周波数帯域の異なる２種類の画像を生成し加算しているが、３以上の異なる周波数帯域を持つ画像を生成してもよい。その場合は、第１の実施形態の処理を考えると、生成する画像の分だけ輝度→ゲイン変換処理部が必要となる。従って、生成する画像が増えるほど、本実施形態の効果は大きくなると考えられる。

図１３において、第１の実施形態の図５と処理内容が異なる箇所は、輝度加算処理部１３０６である。以下、輝度加算処理部１３０６の処理内容、特に図１４に示す輝度→重み算出部１４０５について説明する。

第１の実施形態での重み算出部８０５における重みの設定方法は、上位階層の着目ゲインとのゲイン差分値に対し、差分値が大きくなるほど、加算処理部２の出力結果の重みを大きくするというものであった。一方、本実施形態における輝度→重み算出部１４０５では、ゲイン差でなく上位階層（第１の画像）と下位階層（第２の画像）の輝度差から重みを算出する。従って、図１５に示すように、輝度差が同程度生じていても、ゲインとして生じる差分は、輝度の値により異なる。図１５の例では、区間Ａ〜区間Ｃのそれぞれで、輝度差はほぼ同程度だが、ゲインとしての差は異なる。従って、同じ輝度差でも、加算処理１（着目画素の画素値同士の加算）を優先するか、加算処理２を優先するかが異なるため、重みを算出する際には、輝度の差分値から、ゲインの差分値がどの程度になるのかを考慮した処理にする必要がある。また、前述した第２の実施形態の効果（演算規模削減）を大きくするためには、この処理はなるべくシンプルな構成で行うことが必要になる。なお、本実施形態における加算処理２は、第１の実施形態の加算処理２と同様の方法で行われ、第１の実施形態ではゲイン画像に対して行われていたのが、本実施形態では輝度画像に対して行われる。

図１６は、輝度→重み算出部１４０５の動作を示すブロック図である。入力は、上位階層および下位階層の着目位置における輝度（以下、着目輝度）である。まず、輝度差分値算出部１６０３において、輝度値の差分絶対値を算出する。

＜ゲイン増幅率算出部１６０４＞
前述したように、輝度差分値が同じであっても、ゲインテーブルの形状によっては、ゲイン差分値が大きく異なる場合がある。ゲイン増幅率算出部１６０４では、この影響を吸収するために、輝度の差分絶対値に乗算する値であるゲイン増幅率を算出する。

図１７は、ゲイン増幅率の算出を示す図である。図１７に示すように、輝度別ゲインテーブルを所定の輝度区間に分割し、各区間の始点と終点におけるゲイン値の傾きを算出する。図１７の例では、輝度を３区間に分割し、ゲイン増幅率としてＧ１、Ｇ２、Ｇ３をそれぞれ算出している。さらに、入力される上位階層、下位階層の着目輝度のうち、小さいほうの輝度が属する区間のゲイン増幅率を、ゲイン増幅率算出部１６０４の出力とする。

図１８は、輝度→重み変換部１６０５の動作を示す図である。図１８に示すように、重み変換テーブルの入力は、輝度差分値とゲイン増幅率の積である。入力値に対する重みの値としては、入力値が大きくなるほど加算処理部２の結果が使用されるように設定することが望ましいと考えられる。

以上の処理で算出された重みが輝度→重み算出部１４０５の出力であり、重みを用いて、加重加算部１４０６において、加算処理部１，２の加算結果を加重加算し、出力画像を得る。

以上が、第２の実施形態において、第１の実施形態に対し処理が異なる部分の説明であって、その他の部分は第１の実施形態と一致する。

（第３の実施形態）
第３の実施形態では、第１の実施形態と比較して、図１におけるゲイン画像生成部１０５の処理内容が異なる。図１９は、第３の実施形態における、ゲイン画像生成部１０５の処理を示すブロック図である。図１９に示すように、本実施形態では、入力輝度画像に対しゲインへの変換を先に行ってから、以降の処理を行う。すなわち、輝度→ゲイン変換処理部１９０３で生成されたゲインデータから縮小処理部１９０４で縮小データ生成を行い縮小ゲインデータを得る。

この構成にする利点としては、第２の実施形態と同様に、輝度からゲインに変換する変換処理部が１か所で済むことによる、演算規模削減、および、変換処理を回路で実現した際の回路規模削減である。

図１９において、第１の実施形態の図５と処理内容が異なる箇所は、ぼかし処理部１９０５、１９０６である。ぼかし処理の目的は第１の実施形態で説明したように、主被写体と背景の境界部などのエッジを保持したまま、微細なテクスチャによるゲインの敏感度を下げることである。本目的を輝度画像入力でなくゲイン画像入力で達成するには、第２の実施形態のゲイン増幅率と同様の考え方で、ゲイン差分値に対し、輝度差分値がどの程度になるのかを考慮し、この影響を補償する処理が必要となる。

図２０は、図１９におけるぼかし処理の流れを示すフローチャートである。第１の実施形態におけるぼかし処理と異なる処理は、ステップＳ２００３、Ｓ２００４である。ステップＳ２００３において、着目画素と参照画素の値から、輝度増幅率を算出する。なお、図２０における画素値という記述は、ゲイン値のことを示す。

図２１は、輝度増幅率の算出を示す図である。図２１に示すように、輝度別ゲインテーブルを、輝度値を入力として所定の区間に分割し、各区間の始点と終点における輝度値の傾きを算出する。さらに、入力される着目画素、参照画素のゲイン値のうち、小さいほうのゲインが属する区間の輝度増幅率が出力となる。

次に、ステップＳ２００４において、輝度増幅率とゲインの差分絶対値の積が所定の閾値以内であるかどうかを確認し、閾値以内であれば、現在の参照画素値を選択する。以降は、第１の実施形態におけるぼかし処理と同様の処理である。

以降、上記のぼかし処理を施された画像をゲイン加算処理部１９０８において加算し、最終出力であるゲイン画像を得る。

以上が、第３の実施形態において、第１の実施形態に対し処理が異なる部分の説明であって、その他の部分は第１の実施形態と一致する。

（第４の実施形態）
第４の実施形態では、第１の実施形態と比較して、図１におけるゲイン画像生成部１０５の処理内容が異なる。図２２は、第４の実施形態における、ゲイン画像生成部１０５の処理を示すブロック図である。

図２２に示すように、図５に示すブロック図と比較すると、縮小処理部５０２に相当する部分が帯域制限部２２０２（帯域制限画像生成部）となり、拡大処理部が画像サイズ調整部２２０８となっている。本来、ゲイン画像生成部１０５で行いたい処理は、所望の周波数帯域を持つ複数の画像を生成することである。第１の実施形態で画像の縮小および拡大という手法を用いていた理由としては、主に演算規模削減が目的である。本実施形態では、帯域制限部２２０２における帯域の制限方法に対しては特に限定しないが、一例としては所望の周波数特性を持つローパスフィルタを使用するなどの方法が考えられる。

また、画像サイズ調整部２２０８は、後段のゲイン加算処理部へ入力する画像サイズを、入力画像のサイズと揃える処理を行う。従って、帯域制限部２２０２で画像サイズの変換を伴う処理を行った場合に、そのサイズの画像を入力画像サイズと合わせるような拡大・縮小処理を行う。なお、帯域制限部２２０２で画像サイズの変更を行わなかった場合は、画像サイズ調整部２２０８では処理を行わない。

以上が、第４の実施形態において、第１の実施形態に対し処理が異なる部分の説明であって、その他の部分は第１の実施形態と一致する。

（第５の実施形態）
第５の実施形態では、第２の実施形態と比較して、図１におけるゲイン画像生成部１０５の処理内容が異なる。図２３は、第５の実施形態における、ゲイン画像生成部１０５の処理を示すブロック図である。

図２３に示すように、図１３に示すブロック図と比較すると、縮小処理部１３０２に相当する部分が帯域制限部２３０２となり、拡大処理部１３０５が画像サイズ調整部２３０５となっている。なお、各部の説明は第４の実施形態の内容と同一であるため、ここでは省略する。

以上が、第５の実施形態において、第２の実施形態に対し処理が異なる部分の説明であって、その他の部分は第２の実施形態と一致する。

（第６の実施形態）
第６の実施形態では、第３の実施形態と比較して、図１におけるゲイン画像生成部１０５の処理内容が異なる。図２４は、第６の実施形態における、ゲイン画像生成部１０５の処理を示すブロック図である。

図２４に示すように、図１９に示すブロック図と比較すると、縮小処理部１９０４に相当する部分が帯域制限部２４０４となり、拡大処理部１９０７が画像サイズ調整部２４０７となっている。すなわち、帯域制限部２４０４で帯域制限データ生成を行い帯域制限データを得る。なお、各部の説明は第４の実施形態の内容と同一であるため、ここでは省略する。

以上が、第６の実施形態において、第３の実施形態に対し処理が異なる部分の説明であって、その他の部分は第３の実施形態と一致する。

以上のように、上述したいずれの実施形態であっても、入力画像に対し部分毎に異なるゲインをかけて階調特性を制御する際に、出力画像のコントラストを良好に保ちつつ、疑似輪郭の発生を抑制することが可能となる。

また、上述したいずれの実施形態も、撮像部を有する画像処理装置を例にして説明したが、これに限られず、被写体領域の情報を用いて階調処理を行う装置であれば、他の画像処理装置にも適用可能である。

なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims (22)

1. 入力された入力画像を縮小した縮小画像を得る縮小画像生成手段と、
   前記縮小画像を含む縮小率の異なる複数の画像のそれぞれについて、画素毎の輝度にゲインを対応づけたゲインデータを得るゲインデータ生成手段と、
   生成された前記ゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、
   前記決定手段は、前記複数の画像のうち相対的に高い周波数を持つ画像に対する前記ゲインデータを第１のゲインデータ、前記複数の画像のうち相対的に低い周波数を持つ画像に対する前記ゲインデータを第２のゲインデータとしたときに、前記第１のゲインデータおよび前記第２のゲインデータの着目画素に対応するゲイン同士の加算結果である第１の加算結果、及び、前記第１のゲインデータの当該着目画素に対応するゲインと、前記第２のゲインデータにおける当該着目画素の周辺領域の画素に対応するゲインに基づくゲインとの加算結果である第２の加算結果、に基づいて前記制御ゲインを決定することを特徴とする画像処理装置。
2. 入力された入力画像を縮小した縮小画像を得る縮小画像生成手段と、
   前記縮小画像を含む縮小率の異なる複数の画像をそれぞれ加算する画像加算手段と、
   加算された画像の輝度に基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、
   前記画像加算手段は、前記複数の画像のうち相対的に高い周波数を持つ画像を第１の画像、前記複数の画像のうち相対的に低い周波数を持つ画像を第２の画像としたときに、前記第１の画像および前記第２の画像の着目画素の画素値同士の加算結果である第１の加算結果、及び、前記第１の画像の当該着目画素の画素値と、前記第２の画像における当該着目画素の周辺領域の画素値に基づく画素値との加算結果である第２の加算結果とを、加重加算することを特徴とする画像処理装置。
3. 入力された入力画像に基づいてゲインデータを得るゲインデータ生成手段と、
   生成されたゲインデータを縮小した縮小ゲインデータを得る縮小データ生成手段と、
   前記縮小ゲインデータを含む縮小率の異なる複数のゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、
   前記決定手段は、前記複数のゲインデータのうち相対的に高い周波数を持つゲインデータを第１のゲインデータ、前記複数のゲインデータのうち相対的に低い周波数を持つゲインデータを第２のゲインデータとしたときに、前記第１のゲインデータおよび前記第２のゲインデータの着目画素に対応するゲイン同士の加算結果である第１の加算結果、及び、前記第１のゲインデータの当該着目画素に対応するゲインと、前記第２のゲインデータにおける当該着目画素の周辺領域の画素に対応するゲインに基づくゲインとの加算結果である第２の加算結果と、に基づいて前記制御ゲインを決定することを特徴とする画像処理装置。
4. 入力された入力画像から当該入力画像と異なる周波数帯域を持つ帯域制限画像を生成する帯域制限画像生成手段と、
   前記帯域制限画像を含む周波数帯域の異なる複数の画像のそれぞれについて、ゲインデータを得るゲインデータ生成手段と、
   生成された前記ゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、
   前記決定手段は、前記複数の画像のうち相対的に高い周波数を持つ画像に対するゲインデータを第１のゲインデータ、前記複数の画像のうち相対的に低い周波数を持つ画像に対するゲインデータを第２のゲインデータとしたときに、前記第１のゲインデータおよび前記第２のゲインデータの着目画素に対応するゲイン同士の加算結果である第１の加算結果、及び、前記第１のゲインデータの当該着目画素に対応するゲインと、前記第２のゲインデータにおける当該着目画素の周辺領域の画素に対応するゲインに基づくゲインの加算結果である第２の加算結果、に基づいて前記制御ゲインを決定することを特徴とする画像処理装置。
5. 入力された入力画像から当該入力画像と異なる周波数帯域を持つ帯域制限画像を生成する帯域制限画像生成手段と、
   前記帯域制限画像を含む周波数帯域の異なる複数の画像のそれぞれを加算する画像加算手段と、
   加算された画像の輝度に基づいて、前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、
   前記画像加算手段は、前記複数の画像のうち相対的に高い周波数を持つ画像を第１の画像、前記複数の画像のうち相対的に低い周波数を持つ画像を第２の画像としたときに、前記第１の画像および前記第２の画像の着目画素の画素値同士の加算結果である第１の加算結果、及び、前記第１の画像の当該着目画素の画素値と、前記第２の画像における当該着目画素の周辺領域の画素の画素値に基づく画素値の加算結果である第２の加算結果とを、加重加算することを特徴とする画像処理装置。
6. 入力された入力画像に基づいてゲインデータを得るゲインデータ生成手段と、
   生成されたゲインデータと異なる周波数帯域を持つ帯域制限データを生成する帯域制限データ生成手段と、
   前記帯域制限データを含む複数のゲインデータに基づいて前記入力画像を増幅するための制御ゲインを決定する決定手段とを備え、
   前記決定手段は、前記複数のゲインデータのうち相対的に高い周波数を持つデータを第１のゲインデータ、前記複数のゲインデータのうち相対的に低い周波数を持つデータを第２のゲインデータとしたときに、前記第１のゲインデータおよび前記第２のゲインデータの着目画素に対応するゲイン同士の加算結果である第１の加算結果、及び、前記第１のゲインデータの当該着目画素に対応するゲインと、前記第２のゲインデータにおける当該着目画素の周辺領域の画素に対応するゲインに基づくゲインの加算結果である第２の加算結果、に基づいて前記制御ゲインを決定することを特徴とする画像処理装置。
7. 前記複数の画像のそれぞれに対し、エッジを保存しながらぼかし処理を行う画像ぼかし手段をさらに備え、
   前記画像ぼかし手段は、着目画素に対し周辺の所定範囲の画素から、着目画素との差分の絶対値が所定の閾値以内である画素のみを抽出し、抽出した画素の平均値を出力とすることを特徴とする請求項１または２に記載の画像処理装置。
8. 前記複数の帯域制限画像のそれぞれに対し、エッジを保存しながらぼかし処理を行う画像ぼかし手段をさらに備え、
   前記画像ぼかし手段は、着目画素に対し周辺の所定範囲の画素から、着目画素との差分の絶対値が所定の閾値以内である画素のみを抽出し、抽出した画素の平均値を出力とすることを特徴とする請求項４または５に記載の画像処理装置。
9. 前記決定手段は、前記第１の加算結果と前記第２の加算結果とを加重加算して前記制御ゲインを決定し、前記第１の加算結果と前記第２の加算結果とを加重加算する際には、前記第１のゲインデータと前記第２のゲインデータとの前記着目画素に対応するゲインの差分値が小さいほど前記第１の加算結果の重みを大きくし、前記差分値が大きいほど前記第２の加算結果の重みを大きくすることを特徴とする請求項１または３に記載の画像処理装置。
10. 入力された第１の画像に基づいて、前記第１の画像よりも低周波数成分を持つ第２の画像を生成する画像生成手段と、
    前記第１の画像の輝度に基づいて第１のゲインデータを生成し、前記第２の画像の輝度に基づいて第２のゲインデータを生成するゲイン生成手段と、
    前記ゲイン生成手段により生成されたゲインデータに基づいて前記第１の画像に対する制御ゲインを決定する決定手段と、を有し、
    前記決定手段は、前記第１の画像の着目画素に対する制御ゲインを決定する際に、前記第１のゲインデータにおける前記着目画素に対応するデータと前記第２のゲインデータにおける前記着目画素の周辺領域の画素に対応するデータとを用いることを特徴とする画像処理装置。
11. 前記決定手段は、前記第１の画像の着目画素に対する制御ゲインを決定する際に、前記第１のゲインデータにおける前記着目画素に対応するゲインと前記第２のゲインデータにおける前記着目画素の周辺領域の画素に対応するゲインとの平均値を用いることを特徴とする請求項１０に記載の画像処理装置。
12. 前記第２のゲインデータにおける前記着目画素の周辺領域の画素に対応するゲインは、前記周辺領域の各画素に対応する複数のゲインを加重平均したゲインであることを特徴とする請求項１１に記載の画像処理装置。
13. 前記第２のゲインデータにおける前記着目画素の周辺領域の画素に対応するゲインは、前記周辺領域の各画素に対応する複数のゲインを、前記第１のゲインデータにおける前記着目画素に対応するゲインとの差が小さいゲインほど重み付けを大きくして加重平均したゲインであることを特徴とする請求項１２に記載の画像処理装置。
14. 前記決定手段は、前記第１の画像の着目画素に対する制御ゲインを決定する際に、前記第１のゲインデータにおける前記着目画素に対応するゲインと前記第２のゲインデータにおける前記着目画素の周辺領域の画素に対応するゲインとの第１の平均値、及び、前記第１のゲインデータにおける前記着目画素に対応するゲインと前記第２のゲインデータにおける前記着目画素に対応するゲインとの第２の平均値を用いることを特徴とする請求項１１に記載の画像処理装置。
15. 前記決定手段は、前記第１の画像の着目画素に対する制御ゲインを決定する際に、前記第１の平均値と前記第２の平均値との差が大きいほど、前記第２の平均値の重み付けを大きくして前記第１の平均値と前記第２の平均値を加重平均することを特徴とする請求項１４に記載の画像処理装置。
16. 入力された入力画像を縮小した縮小画像を得る縮小画像生成工程と、
    前記縮小画像を含む縮小率の異なる複数の画像のそれぞれについて、画素毎の輝度にゲインを対応づけたゲインデータを得るゲインデータ生成工程と、
    生成された前記ゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定工程とを備え、
    前記決定工程では、前記複数の画像のうち相対的に高い周波数を持つ画像に対する前記ゲインデータを第１のゲインデータ、前記複数の画像のうち相対的に低い周波数を持つ画像に対する前記ゲインデータを第２のゲインデータとしたときに、前記第１のゲインデータおよび前記第２のゲインデータの着目画素に対応するゲイン同士の加算結果である第１の加算結果、及び、前記第１のゲインデータの当該着目画素に対応するゲインと、前記第２のゲインデータにおける当該着目画素の周辺領域の画素に対応するゲインに基づくゲインとの加算結果である第２の加算結果、に基づいて前記制御ゲインを決定することを特徴とする画像処理方法。
17. 入力された入力画像を縮小した縮小画像を得る縮小画像生成工程と、
    前記縮小画像を含む縮小率の異なる複数の画像をそれぞれ加算する画像加算工程と、
    加算された画像の輝度に基づいて、前記入力画像を増幅するための制御ゲインを決定する決定工程とを備え、
    前記画像加算工程では、前記複数の画像のうち相対的に高い周波数を持つ画像を第１の画像、前記複数の画像のうち相対的に低い周波数を持つ画像を第２の画像としたときに、前記第１の画像および前記第２の画像の着目画素の画素値同士の加算結果である第１の加算結果、及び、前記第１の画像の当該着目画素の画素値と、前記第２の画像における当該着目画素の周辺領域の画素値に基づく画素値との加算結果である第２の加算結果とを、加重加算することを特徴とする画像処理方法。
18. 入力された入力画像に基づいてゲインデータを得るゲインデータ生成工程と、
    生成されたゲインデータを縮小した縮小ゲインデータを得る縮小データ生成工程と、
    前記縮小ゲインデータを含む縮小率の異なる複数のゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定工程とを備え、
    前記決定工程では、前記複数のゲインデータのうち相対的に高い周波数を持つゲインデータを第１のゲインデータ、前記複数のゲインデータのうち相対的に低い周波数を持つゲインデータを第２のゲインデータとしたときに、前記第１のゲインデータおよび前記第２のゲインデータの着目画素に対応するゲイン同士の加算結果である第１の加算結果、及び、前記第１のゲインデータの当該着目画素に対応するゲインと、前記第２のゲインデータにおける当該着目画素の周辺領域の画素に対応するゲインに基づくゲインとの加算結果である第２の加算結果と、に基づいて前記制御ゲインを決定することを特徴とする画像処理方法。
19. 入力された入力画像から当該入力画像と異なる周波数帯域を持つ帯域制限画像を生成する帯域制限画像生成工程と、
    前記帯域制限画像を含む周波数帯域の異なる複数の画像のそれぞれについて、ゲインデータを得るゲインデータ生成工程と、
    生成された前記ゲインデータに基づいて、前記入力画像を増幅するための制御ゲインを決定する決定工程とを備え、
    前記決定工程では、前記複数の画像のうち相対的に高い周波数を持つ画像に対するゲインデータを第１のゲインデータ、前記複数の画像のうち相対的に低い周波数を持つ画像に対するゲインデータを第２のゲインデータとしたときに、前記第１のゲインデータおよび前記第２のゲインデータの着目画素に対応するゲイン同士の加算結果である第１の加算結果、及び、前記第１のゲインデータの当該着目画素に対応するゲインと、前記第２のゲインデータにおける当該着目画素の周辺領域の画素に対応するゲインに基づくゲインの加算結果である第２の加算結果、に基づいて前記制御ゲインを決定することを特徴とする画像処理方法。
20. 入力された入力画像から当該入力画像と異なる周波数帯域を持つ帯域制限画像を生成する帯域制限画像生成工程と、
    前記帯域制限画像を含む周波数帯域の異なる複数の画像のそれぞれを加算する画像加算工程と、
    加算された画像の輝度に基づいて、前記入力画像を増幅するための制御ゲインを決定する決定工程とを備え、
    前記画像加算工程では、前記複数の画像のうち相対的に高い周波数を持つ画像を第１の画像、前記複数の画像のうち相対的に低い周波数を持つ画像を第２の画像としたときに、前記第１の画像および前記第２の画像の着目画素の画素値同士の加算結果である第１の加算結果、及び、前記第１の画像の当該着目画素の画素値と、前記第２の画像における当該着目画素の周辺領域の画素の画素値に基づく画素値の加算結果である第２の加算結果とを、加重加算することを特徴とする画像処理方法。
21. 入力された入力画像に基づいてゲインデータを得るゲインデータ生成工程と、
    生成されたゲインデータと異なる周波数帯域を持つ帯域制限データを生成する帯域制限データ生成工程と、
    前記帯域制限データを含む複数のゲインデータに基づいて前記入力画像を増幅するための制御ゲインを決定する決定工程とを備え、
    前記決定工程では、前記複数のゲインデータのうち相対的に高い周波数を持つデータを第１のゲインデータ、前記複数のゲインデータのうち相対的に低い周波数を持つデータを第２のゲインデータとしたときに、前記第１のゲインデータおよび前記第２のゲインデータの着目画素に対応するゲイン同士の加算結果である第１の加算結果、及び、前記第１のゲインデータの当該着目画素に対応するゲインと、前記第２のゲインデータにおける当該着目画素の周辺領域の画素に対応するゲインに基づくゲインの加算結果である第２の加算結果、に基づいて前記制御ゲインを決定することを特徴とする画像処理方法。
22. 入力された第１の画像に基づいて、前記第１の画像よりも低周波数成分を持つ第２の画像を生成する画像生成工程と、
    前記第１の画像の輝度に基づいて第１のゲインデータを生成し、前記第２の画像の輝度に基づいて第２のゲインデータを生成するゲイン生成工程と、
    前記ゲイン生成工程において生成されたゲインデータに基づいて前記第１の画像に対する制御ゲインを決定する決定工程と、を有し、
    前記決定工程では、前記第１の画像の着目画素に対する制御ゲインを決定する際に、前記第１のゲインデータにおける前記着目画素に対応するデータと前記第２のゲインデータにおける前記着目画素の周辺領域の画素に対応するデータとを用いることを特徴とする画像処理方法。