JP6755811B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、階調処理等の画像処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

従来、入力画像から低周波画像を生成し、その低周波画像に基づく階調処理を入力画像に施すことで、局所的に画像のコントラストを向上させるローカルトーンマッピング技術がある。
例えば特許文献１に開示されている画像処理装置は、入力画像の画素値に対し解像度変換を繰り返して複数段階の画素値を生成し、入力画像の画素値と段階毎の画素値との差分に基づき、段階毎に入力画像の画素値を補正する。そして、特許文献１の画像処理装置では、その補正された画素値を有する段階毎の解像度の画像データの、各解像度に応じた高周波成分を利用して、入力画像の画素値が強調された画像を生成する。

特開２０１４−６８３３０号公報

しかし、上述の特許文献１に開示された技術の場合、階調処理で使用される階調特性の設定によっては、ガンマ（γ）変換等の画像全体に対するグローバルトーンマッピング処理よりもコントラストが低下してしまうことがある。

そこで、本発明は、画像のコントラストを向上させることを可能にすることを目的とする。

本発明は、入力画像を用いて、ゲイン信号が単調増加する輝度域を含む第１の階調特性を基に、画素毎の輝度値に対応したゲイン値よりなる基準ゲイン情報を生成する第１の生成手段と、入力画像と前記入力画像から生成した低周波画像とを用いて、輝度域によらずにゲイン信号が単調減少又は単調増加する第２の階調特性を基に、前記基準ゲイン情報を補正する補正信号を生成する第２の生成手段と、前記基準ゲイン情報が前記補正信号により補正された後のゲイン情報を基に、前記入力画像に対してゲイン処理を行う処理手段と、を有することを特徴とする。

本発明によれば、画像のコントラストを向上させることが可能となる。

実施形態の画像処理装置の概略構成を示す図である。 画像処理装置における処理の流れを示したフローチャートである。 ゲインマップ補正信号生成処理の流れを示すフローチャートである。 最終ゲインマップ生成処理の流れを示すフローチャートである。 階調特性とゲインマップの説明に用いる図である。 第１、第２の階調特性の説明に用いる図である。 コントラストが低下する例の説明に用いる図である。 第１の実施形態によるコントラスト向上例の説明に用いる図である。 第２の実施形態における第２の階調特性の説明に用いる図である。 第２の実施形態によるコントラスト向上例の説明に用いる図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
本実施形態の画像処理装置は、例えばデジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等に適用可能である。また、本実施形態に係る画像処理は、ハードウェア構成により実現される場合だけでなく、例えばパーソナルコンピュータやデジタルカメラ等に内蔵されたコンピュータ等においてソフトウェアにより実現されてもよい。

図１は、本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
本実施形態の画像処理装置は、画素毎に対応したゲイン値よりなるゲイン情報としてのゲインマップを適用して入力画像に対するゲイン処理を行い、そのゲイン処理後の画像を出力する装置である。本実施形態の画像処理装置は、図１に示すように、ゲイン処理部１０８、ゲインマップ生成部１１０、ゲインマップ補正信号生成部１１１により構成されている。なお、本実施形態の画像処理装置への入力画像は、撮像画像等から生成された輝度信号により構成されており、出力画像も輝度信号により構成されているとする。撮像画像の取得やその撮像信号に対する現像処理等の各種信号処理のための構成とその説明は省略する。

ゲインマップ生成部１１０は、入力画像を基に基準ゲイン情報としての基準ゲインマップを生成し、その基準ゲインマップを、ゲインマップ補正信号生成部１１１にて生成されるゲインマップ補正信号により補正することで、最終ゲインマップを生成する。ゲインマップ生成部１１０の詳細な構成と動作の説明は後述する。
ゲイン処理部１０８は、ゲインマップ生成部１１０にて生成された最終ゲインマップを用いて入力画像に対するゲイン処理を行う。ゲイン処理部１０８の詳細な構成と動作の説明は後述する。

ゲインマップ補正信号生成部１１１は、ゲインマップ生成部１１０にて生成される基準ゲインマップを補正するためのゲインマップ補正信号を生成する。本実施形態の場合、ゲインマップ補正信号生成部１１１は、入力画像に対して本来適用したい第１の階調特性を、輝度域によらずにゲイン値が一律に単調減少又は単調増加する第２の階調特性に変換する。なお、第１の実施形態では、ゲイン値が一律に単調減少する第２の階調特性の例について説明し、ゲイン値が一律に単調増加する第２の階調特性の例は後述する第２の実施形態において説明する。そして、ゲインマップ補正信号生成部１１１は、その第２の階調特性を基に、入力画像とその入力画像を縮小又はフィルタ処理等した複数の画像を用いてそれぞれゲインマップを生成し、さらにそれらゲインマップを基にゲインマップ補正信号を生成する。ゲインマップ補正信号生成部１１１の詳細な構成と動作の説明は後述する。

本実施形態における階調特性とは、例えば図５（ａ）に示すように、横軸を入力画像の輝度信号（輝度値）、横軸をゲイン信号（ゲイン値）としたテーブル（グラフ）により表されるゲイン特性である。ゲインマップは、この図５（ａ）に示したようなテーブル（グラフ）を用い、入力画像の画素毎に輝度値に対応したゲイン値を求めることにより生成される。具体的には、ゲインマップは、図５（ｂ）に示すように、各画素位置に対応して各ゲイン値が配列されたマップとなされる。図５（ｂ）に例示したゲインマップは、画像が例えばＨ画素×Ｗ画素で表される場合に、各画素の座標（ｘ，ｙ）の位置に対してそれぞれ適用されるゲイン値Ｇａｉｎ（ｘ，ｙ）が２次元配列されたマップである。なお、図５（ｂ）の例の場合、座標（ｘ，ｙ）のｘは０，１，２，・・・，Ｗ−１の何れか、ｙは０，１，２，・・・，Ｈ−１の何れかとなる。

ここで、本実施形態の画像処理装置の詳細な構成及び動作について述べる前に、一般的なローカルトーンマッピング処理で行われる階調処理の概要と問題点について考察する。
図７（ａ）は、或る入力画像の輝度信号（輝度値）をｘ方向（ｘ座標方向）にプロットした図であり、横軸がｘ方向の位置、縦軸が輝度値を表している。また、図７（ａ）の実線部７０１は、入力画像の輝度信号を示している。すなわち、図７（ａ）に例示した輝度信号は、ｘ方向の或る位置において輝度値が急激に変化するようなエッジ部を有した輝度信号であるとする。また、図７（ａ）の点線部７０２は、入力画像に対して縮小処理やフィルタ処理等を行うことで生成された低周波画像の輝度信号を示している。低周波画像の輝度信号は、入力画像に縮小処理やフィルタ処理等が行われた信号であるため、入力画像のエッジ部において図７（ｂ）の点線部７０２に示すように緩やかに輝度値が変化する信号となる。

また、図７（ｂ）は、例えば輝度に対しゲイン値が単調減少になる階調特性を用いて、図７（ａ）の点線部７０２に示した低周波画像の輝度信号を基に生成されるゲインマップの、各ゲイン値をｘ方向にプロットした図である。図７（ｂ）の横軸はｘ方向の位置、縦軸はゲイン値を表している。すなわち、輝度に対しゲイン値が単調減少になる階調特性を用いた場合、図７（ａ）の点線部７０２のような低周波画像の輝度信号から生成されるゲインマップは、図７（ｂ）の点線部７０３のように緩やかにゲイン値が変化する特性を有するものとなる。

ここで重要なのは、図７（ａ）の実線部７０１で示した入力画像の輝度信号はｘ方向の左から右にかけて値が急激に減少するのに対し、図７（ｂ）の点線部７０３で示されるゲインマップでは左から右にかけてゲイン値が緩やかに増加する点である。この図７（ｂ）の点線部７０３のような特性のゲインマップを用いて図７（ａ）の実線部７０１に示した入力画像の輝度信号にゲイン処理を行った場合、そのゲイン処理後の輝度信号は、図７（ｃ）の実線部７０４に示すようになる。図７（ｃ）は、ゲイン処理後の入力画像の輝度信号を表しており、横軸がｘ方向の位置、縦軸が輝度信号を示している。すなわち図７（ｂ）に示したゲインマップを用いて図７（ａ）の入力画像の輝度信号（７０１）にゲイン処理を行った場合、図７（ｃ）の矢印で示す範囲７０５内の信号部分が強調されて、コントラストが向上した輝度信号（７０４）が得られることになる。

一方で、例えば、輝度に対しゲイン値が単調増加になる階調特性を用いた場合、一般的なローカルトーンマッピング処理では、図７（ａ）〜図７（ｃ）で説明したようなコントラスト向上効果を得ることができない。
図７（ｄ）は、図７（ａ）と同様の入力画像の輝度信号（７０１）と低周波画像の輝度信号（７０２）とを表している。また、図７（ｅ）は、例えば輝度に対しゲイン値が単調増加になる階調特性を用いて、図７（ｄ）の点線部７０２で示した低周波画像の輝度信号を基に生成されるゲインマップの、各ゲイン値をｘ方向にプロットした図である。図７（ｅ）の横軸はｘ方向の位置、縦軸はゲイン値を表している。すなわち、輝度に対しゲイン値が単調増加になる階調特性を用いた場合、図７（ｄ）の点線部７０２のような低周波画像の輝度信号から生成されるゲインマップは、図７（ｅ）の点線部７０６のようにゲイン値が変化する特性を有するものとなる。

図７（ｂ）に示したゲインマップではｘ方向の左から右にかけてゲイン値が緩やかに増加するのに対し、図７（ｅ）に示したゲインマップではｘ方向の左から右にかけてゲイン値が緩やかに減少するような特性となる。このため、図７（ｅ）の点線部７０６のような特性のゲインマップを用いて図７（ｄ）の実線部７０１に示した入力画像の輝度信号にゲイン処理を行った場合、そのゲイン処理後の輝度信号は図７（ｆ）の実線部７０７に示すようになる。図７（ｆ）は、ゲイン処理後の入力画像の輝度信号を表しており、図７（ｃ）と同様に横軸がｘ方向の位置、縦軸が輝度信号を示している。すなわち、図７（ｅ）のようなゲインマップを用いて図７（ｄ）の入力画像の輝度信号にゲイン処理が行われた場合、図７（ｆ）の矢印で示す範囲７０８内の信号部分の輝度値が緩やかに減少することで、コントラストが低下した輝度信号になってしまう。

このように、低周波画像から生成したゲインマップを用いた一般的なトーンマッピングにおいて、ゲインマップ生成に用いられる階調特性が、輝度に対してゲイン値が単調増加になる特性である場合、ゲイン処理によりコントラストが低下してしまうことがある。なお、図７（ａ）〜図７（ｆ）の例では、入力画像の輝度信号がｘ方向の左から右にかけて減少する例を挙げて説明したが、それとは逆の場合にもコントラストが低下することがある。すなわち、例えば入力画像の輝度信号がｘ方向の左から右にかけて増加する場合において、ゲインマップ生成に用いられる階調特性が、輝度に対してゲイン値が単調減少になる特性である場合、ゲイン処理によりコントラストの低下が発生することがある。

そこで、本実施形態の画像処理装置は、図１に示す構成を備え、図２〜図４のフローチャートの処理を行うことで、ゲインマップ生成に用いられる階調特性が単調増加又は単調減少の何れであっても、画像のコントラストを向上させることを可能としている。

＜第１の実施形態＞
図２は、図１に示した本実施形態の画像処理装置における画像処理の流れを示すフローチャートである。以下の説明では、図２のフローチャートにおける各ステップＳ２０１〜Ｓ２０３をＳ２０１〜Ｓ２０３と略記する。このことは後述する他のフローチャートにおいても同様とする。また、これらフローチャートに示す各処理は、例えばＣＰＵ等が本実施形態に係る画像処理プログラムを実行することにより実現されてもよいし、それら処理の一部又は全部が電子回路などのハードウェアにより実現されてもよい。

図２のフローチャートのＳ２０１において、ゲインマップ補正信号生成部１１１は、入力画像から、基準ゲインマップを補正するためのゲインマップ補正信号を生成する処理を行う。Ｓ２０２におけるゲインマップ補正信号生成処理の詳細は後述する。

次に、Ｓ２０２において、ゲインマップ生成部１１０は、入力画像を基に基準ゲインマップを生成する。さらに、ゲインマップ生成部１１０は、その基準ゲインマップを、ステップＳ２０１でゲインマップ補正信号生成部１１１により生成されたゲインマップ補正信号により補正して最終ゲインマップを生成する。Ｓ２０２における基準ゲインマップの生成処理、基準ゲインマップの補正処理及び最終ゲインマップの生成処理の詳細は後述する。

次に、Ｓ２０３において、ゲイン処理部１０８は、Ｓ２０２でゲインマップ生成部１１０により生成された最終ゲインマップを用いて、入力画像に対しゲイン処理を行う。例えば入力画像の座標（ｘ，ｙ）の輝度値をｉｎ（ｘ，ｙ）、ゲインマップ生成部１１０による最終ゲインマップの中で同座標（ｘ，ｙ）に対応したゲイン値をＧａｉｎ（ｘ，ｙ）とすると、ゲイン処理後の出力輝度値ｏｕｔ（ｘ，ｙ）は、式（１）で表される。

out(x,y)＝Ｇain(x,y)×in(x,y) ・・・式（１）

以上が本実施形態の画像処理装置における画像処理の大まかな流れであり、以下、図２のＳ２０１にて生成されるゲインマップ補正信号と、図２のＳ２０２における基準ゲインマップの生成処理について説明する。図３は図２のＳ２０１の詳細な処理のフローチャート、図４は図２のＳ２０２の詳細なフローチャートを示している。

先ず、図３のフローチャートを参照しながら、図１のゲインマップ補正信号生成部１１１にて行われるゲインマップ補正信号生成処理から説明する。図１のゲインマップ補正信号生成部１１１は、第１の縮小画像生成部１０１、第２の縮小画像生成部１０２、第２のゲイン変換部１０３、階層ゲインマップ合成部１０４、ゲインマップ補正信号算出部１０５を有して構成されている。

図３のＳ３０１において、第１の縮小画像生成部１０１は入力画像に対して縮小処理を行って第１の縮小画像を生成し、第２の縮小画像生成部１０２は第１の縮小画像に対して更に縮小処理を行って第２の縮小画像を生成する。このように、第１の縮小画像は入力画像を縮小処理することにより生成され、第２の縮小画像は第１の縮小画像を更に縮小処理することにより生成されている。したがって、第１の縮小画像と第２の縮小画像は、画像サイズが異なり、それぞれ周波数レベルが異なる低周波画像となっている。縮小処理の方法については、例えばバイリニア法を用いた縮小処理等のような公知の方法が用いられる。

次に、Ｓ３０２において、第２のゲイン変換部１０３は、入力画像を基に第１の階調特性を生成し、さらにその第１の階調特性を基に第２の階調特性を生成する。そして、第２のゲイン変換部１０３は、入力画像に対して第２の階調特性を適用することでゲインマップ（以下、等倍階層ゲインマップと呼ぶ。）を生成する。また、第２のゲイン変換部１０３は、第１の縮小画像生成部１０１により生成された第１の縮小画像に対して第２の階調特性を適用することでゲインマップ（以下、第１階層ゲインマップと呼ぶ。）を生成する。同様に、第２のゲイン変換部１０３は、第２の縮小画像生成部１０２により生成された第２の縮小画像に対して第２の階調特性を適用することでゲインマップ（以下、第２階層ゲインマップと呼ぶ。）を生成する。

ここで、入力輝度信号と出力輝度信号とが図６（ａ）で示すような関係になる階調処理で適用される階調特性が、例えば図６（ｂ）に示すような第１の階調特性であるとする。図６（ｂ）は、横軸が入力の輝度信号（輝度値）、縦軸が輝度値に応じて出力されるゲイン信号（ゲイン値）を示している。すなわち本実施形態において、入力された画像に対して階調処理で適用したい第１の階調特性は、入力された画像の輝度域に応じてゲイン値が単調増加又は単調減少するような特性、言い換えれば単調増加する輝度域を有する特性を含むものとなっている。一方、第１の実施形態の第２の階調特性は、図６（ｃ）に示すように輝度域によらずにゲイン値が一律に単調減少する特性となされる。図６（ｃ）は、図６（ｂ）と同様、横軸が入力画像の輝度値、縦軸が輝度値に応じて出力されるゲイン値を示している。すなわち、第２の階調特性は、図６（ｃ）に示すように、第１の階調特性における図６（ｂ）の輝度域６０２の単調増加する特性部分を、特性６０３のように単調減少するように変換した特性となされている。

輝度値Ｙ１からＹ２までの輝度域６０２に適用したい第１の階調特性を式（２）で表すと、第１の実施形態において輝度域６０２に適用される第２の階調特性は、式（３）により表すことができる。式（２）と式（３）において、Ｘは入力の輝度値、ａは傾きである。また、式（２）のＧａｉｎは階調処理で適用したい第１の階調特性のゲイン値、式（３）のＧａｉｎ'は第２の階調特性のゲイン値である。また、式（２）のＧ１は入力の輝度値がＹ１のときのゲイン値であり、式（３）のＧ１'は入力の輝度値がＹ１のときのゲイン値である。

Ｇain＝ａ（Ｘ−Ｙ１）＋Ｇ１ ・・・式（２）
Ｇain'＝−ａ（Ｘ−Ｙ１）＋Ｇ１' ・・・式（３）

これら式（２）、式（３）に示すように、第１の階調特性から第２の階調特性への変換の際には、図６（ｂ）の輝度域６０２の単調増加する特性部分の傾きを符号反転させ、輝度値Ｙ１の部分で繋ぎ合わせることにより行われる。これにより、図６（ｃ）に示すように、輝度域によらずにゲイン値が一律に単調減少する第２の階調特性が生成される。

図８（ａ）は、入力画像（つまり縮小処理されていない入力画像）の輝度信号（輝度値）をｘ方向（ｘ座標方向）にプロットした図であり、横軸がｘ方向の位置、縦軸が輝度値を表している。図８（ａ）の実線部８０１が入力画像の輝度信号を表している。すなわち、図８（ａ）に例示した輝度信号は、ｘ方向の或る位置において輝度値がＹ１からＹ２に上昇するようなエッジ部を有した輝度信号である。なお、図８（ａ）には図示していないが、低周波画像である第１、第２の縮小画像の輝度信号は、入力画像の輝度信号の輝度値がＹ１からＹ２に上昇するエッジ部において、ｘ方向の左から右に緩やかに輝度値が上昇するような輝度信号となる。すなわち第１、第２の縮小画像は入力画像を縮小処理した低周波画像であるため、第１、第２の縮小画像の輝度信号は、入力画像のエッジ部を含む或る程度広がりのある範囲において輝度値が緩やかに変化（ｘ方向の左から右に緩やかに上昇）する信号となる。

図８（ｂ）は、図６（ｃ）に示した第２の階調特性を用いて、図８（ａ）に例示したような輝度信号を基に生成されるゲインマップの各ゲイン値をｘ方向にプロットした図である。図８（ｂ）の実線部８０２は、第２の階調特性を用いて、図８（ａ）の実線部８０１で示される輝度信号、つまり縮小処理されていない入力画像の輝度信号を基に生成される等倍階層ゲインマップの各ゲイン値を表している。すなわち、等倍階層ゲインマップは、図８（ｂ）の実線部８０２に示すように、図８（ａ）の実線部８０１において輝度値Ｙ１からＹ２に上昇する部分に対応したゲイン値がＧ１'からＧ２'に減少するようなゲイン特性を有するものとなる。なお、ゲイン値Ｇ２'は、入力の輝度値Ｙ２に対応したゲイン値である。

一方、図８（ｂ）の点線部８０３は、第２の階調特性を用いて、低周波画像から生成されるゲインマップの各ゲイン値を表している。なお、図８（ｂ）の点線部８０３で示したゲインマップは、第１の縮小画像から生成される第１階層ゲインマップと第２の縮小画像から生成される第２階層ゲインマップとを後段の階層ゲインマップ合成部１０４で合成した合成ゲインマップを表している。すなわち、合成ゲインマップは、共に低周波画像である第１、第２の縮小画像を基に生成されるため、図８（ｂ）の点線部８０３に示すようにゲイン値がＧ１'からＧ２'に緩やかかに減少するようなゲイン特性を有するものとなる。

このように、本実施形態の場合、第２のゲイン変換部１０３は、前述した入力画像と第１の縮小画像と第２の縮小画像のそれぞれについて、第２の階調特性を適用することにより、等倍階層ゲインマップと第１階層ゲインマップと第２階層ゲインマップを生成する。

図３のフローチャートに説明を戻す。Ｓ３０３において、階層ゲインマップ合成部１０４は、第１階層ゲインマップと第２階層ゲインマップとを合成することで、合成ゲインマップを生成する。なお、合成の際には第２階層ゲインマップを第１階層ゲインマップに相当する大きさに拡大する。また、合成ゲインマップの生成方法については、画像サイズの大きいゲインマップのゲイン信号と画像サイズの小さいゲインマップのゲイン信号とを、それらのゲインの信号差に応じて加重加算する公知の手法を用いる。ゲインの信号差に応じて加重加算する公知の手法としては、一例として、特開２０１４−１５４１０８号公報に記載の技術を用いることができる。前述した図８（ｂ）の例を挙げると、第１階層ゲインマップと第２階層ゲインマップを合成したゲインマップは、点線部８０３で示すような特性を有するものとなる。

次に、Ｓ３０４において、ゲインマップ補正信号算出部１０５は、階層ゲインマップ合成部１０４により生成された合成ゲインマップと、第２のゲイン変換部１０３により生成された等倍階層ゲインマップとを基に、ゲインマップ補正信号を生成する。ここで、座標（ｘ，ｙ）において、合成ゲインマップのゲイン値をｃｏｍｐＧ（ｘ，ｙ）とし、等倍階層ゲインマップのゲイン値をｏｒｇＧ（ｘ，ｙ）とすると、ゲインマップ補正信号ｓｕｂＧ（ｘ，ｙ）は式（４）で表される。

subＧ(x,y)＝compＧ(x,y)−orgＧ(x,y) ・・・式（４）

前述の図８（ｂ）に示した例を挙げた場合、ゲインマップ補正信号ｓｕｂＧ（ｘ，ｙ）は、図８（ｃ）の実線部８０４で示されるような信号となる。図８（ｃ）の横軸はｘ方向の位置、縦軸はゲイン値を表している。ゲインマップ補正信号ｓｕｂＧ（ｘ，ｙ）は、式（４）のように、合成ゲインマップのゲイン値ｃｏｍｐＧ（ｘ，ｙ）から、等倍階層ゲインマップのゲイン値ｏｒｇＧ（ｘ，ｙ）を減算することにより生成される。このように、ゲインマップ補正信号は、座標（ｘ，ｙ）において、図８（ｂ）の点線部８０３で示したゲイン値から図８（ｂ）の実線部８０２に示したゲイン値が減算されて生成されるため、図８（ｃ）の実線部８０４のような信号となる。

前述の例では、合成ゲインマップの各ゲイン値から等倍階層ゲインマップの各ゲイン値を減算した差分値からゲインマップ補正信号を生成している。その他にも、ゲインマップ補正信号は、式（５）のように、差分値に調整係数ｋを乗算する等して調整した値により生成されてもよい。なお、調整係数ｋの値は合成ゲインマップ、若しくは等倍階層ゲインマップの値に応じて変化させてもよい。

subＧ(x,y)＝ｋ(compＧ(x,y)−orgＧ(x,y)) ・・・式（５）

次に、図４のフローチャートを参照して、図１のゲインマップ生成部１１０にて行われる最終ゲインマップ生成処理について説明する。図１のゲインマップ生成部１１０は、第１のゲイン変換部１０６とゲインマップ補正処理部１０７を有して構成されている。

図４のＳ４０１において、第１のゲイン変換部１０６は、入力画像に対し、第１の階調特性を適用することにより基準ゲインマップを生成する。第１の階調特性は、前述したように、入力された画像に対して階調処理で適用したい階調特性であり、図６（ｂ）に示したように輝度域に応じてゲイン値が単調増加又は単調減少するような特性となされている。すなわち、第１のゲイン変換部１０６では、入力画像に対し、図６（ｂ）に示された第１の階調特性を適用、つまり図６（ｂ）の輝度域６０２で単調増加する特性部分を含む第１の階調特性をそのまま適用して、入力画像から基準ゲインマップを生成する。

図８（ｄ）は、図６（ｂ）に示した第１の階調特性を用いて、図８（ａ）に例示した輝度信号を基に生成されるゲインマップの各ゲイン値をｘ方向にプロットした図である。図８（ｄ）の実線部８０５は、第１の階調特性を用いて、図８（ａ）の実線部８０１で示される輝度信号（縮小処理されていない入力画像の輝度信号）を基に生成される基準ゲインマップの各ゲイン値を表している。すなわち、基準ゲインマップは、図８（ｄ）の実線部８０５に示すように、図８（ａ）の実線部８０１において輝度値Ｙ１からＹ２に上昇する部分に対応したゲイン値がＧ１からＧ２に増加するようなゲイン特性を有するものとなる。なお、ゲイン値Ｇ１は入力の輝度値Ｙ１に対応したゲイン値、ゲイン値Ｇ２は入力の輝度値Ｙ２に対応したゲイン値である。このように、第１のゲイン変換部１０６は、第１の階調特性を用い、図８（ａ）の実線部８０１に示したような輝度信号を基に、図８（ｄ）に示すような特性の基準ゲインマップを生成する。

次に、Ｓ４０２において、ゲインマップ補正処理部１０７は、第１のゲイン変換部１０６により生成された基準ゲインマップを、ゲインマップ補正信号生成部１１１にて生成されたゲインマップ補正信号により補正して、最終ゲインマップを生成する。ここで、座標（ｘ，ｙ）において、第１の階調特性にて生成された基準ゲインマップのゲイン値をｏｒｇ２Ｇ（ｘ，ｙ）、ゲインマップ補正信号の値をｓｕｂＧ（ｘ，ｙ）とすると、最終ゲインマップのゲイン値Ｇａｉｎ（ｘ，ｙ）は式（６）にて算出される。

Ｇain(x,y)＝subＧ(x,y)＋org2Ｇ（x,y) ・・・式（６）

図８（ｅ）は、この最終ゲインマップのゲイン信号を表す図であり、横軸がｘ方向の位置、縦軸がゲイン信号の値を表している。最終ゲインマップのゲイン信号Ｇａｉｎ（ｘ，ｙ）は、基準ゲインマップのゲイン信号ｏｒｇ２Ｇ（ｘ，ｙ）と、ゲインマップ補正信号ｓｕｂＧ（ｘ，ｙ）とを、式（６）により加算することにより生成されている。すなわち、最終ゲインマップは、図８（ｃ）の実線部８０４に示したゲインマップ補正信号の値と、図８（ｄ）の実線部８０５に示した基準ゲインマップのゲイン値とを加算した、図８（ｅ）の実線部８０６に示すようなゲインマップとなる。最終ゲインマップは、前述した図６（ｂ）の単調増加する輝度域６０２でも、図８（ｅ）のようにコントラストを付けることができるゲインマップとなる。

そして、ゲインマップ補正処理部１０７は、この最終ゲインマップを図１のゲイン処理部１０８に送り、ゲイン処理部１０８では最終ゲインマップを適用したゲイン処理が行われることになる。
したがって、本実施形態によれば、階調処理における階調特性が単調増加又は単調減少の何れの設定であっても、画像のコントラストを向上させることが可能となる。

＜第２の実施形態＞
以下、第２の実施形態について説明する。第２の実施形態における画像処理装置の構成及び基本的な処理は、図１及び図２から図４のフローチャートの処理と同様であるためその説明は省略する。以下の説明では、第１の実施形態と異なる部分についてのみ説明する。前述した第１の実施形態では、図６（ｃ）に示したように輝度域によらずにゲイン値が一律に単調減少する第２の階調特性を用いた例が挙げられている。これに対し、第２の実施形態の場合、第２の階調特性は、図９（ｂ）に示すように、輝度域によらずにゲイン値が一律に単調増加する特性となされている。なお、図９（ａ）は、前述した図６（ｂ）に示したものと同様の第１の階調特性を表した図であり、輝度値Ｙ１からＹ２までの輝度域９０１ではゲイン値が単調増加する特性となっている。

第２の実施形態の場合、第１の階調特性から第２の階調特性への変換の際には、先ず、図９（ａ）の第１の階調特性の全ての輝度域の特性を符号反転させる。このとき、符号反転された第１の階調特性では、図９（ａ）の輝度Ｙ１からＹ２までの輝度域９０１が単調減少する特性となる。このため、符号反転された第１の階調特性の中で単調減少する部分（図９の輝度域９１０の部分）の傾きを更に符号反転させて、輝度値Ｙ１の部分で繋ぎ合わせる。これにより、輝度域によらずにゲイン値が一律に単調増加する第２の階調特性が生成される。

図１０（ａ）は、前述の図８（ａ）と同様、入力画像の輝度値をｘ方向にプロットした図であり、実線部１００１が入力画像の輝度信号を表している。なお、前述の図８（ａ）と同様に図１０（ａ）でも図示していないが、第１、第２の縮小画像の輝度信号はｘ方向の左から右に緩やかに輝度値が上昇するような輝度信号となる。図１０（ｂ）は、階層ゲインマップ合成部１０４において、図９（ｂ）の第２の階調特性を用いて図１０（ａ）に示した輝度信号を基に生成されるゲインマップの各ゲイン値を、ｘ方向にプロットした図である。図１０（ｂ）の実線部１００２は、第２の階調特性を用いて、図１０（ａ）の実線部１００１で示される入力画像の輝度信号を基に生成される等倍階層ゲインマップの各ゲイン値を表している。第２の実施形態の場合、等倍階層ゲインマップは、図１０（ｂ）の実線部１００２に示すように、図１０（ａ）の実線部１００１の輝度値Ｙ１からＹ２に上昇する部分に対応したゲイン値がＧ１'からＧ２'に増加するようなゲイン特性を有するものとなる。

一方、図１０（ｂ）の点線部１００３は、第２の階調特性を用いて、低周波画像から生成されるゲインマップの各ゲイン値を表している。なお、図８（ｂ）の例と同様に、図１０（ｂ）の点線部１００３で示したゲインマップは、第１階層ゲインマップと第２階層ゲインマップとが合成された合成ゲインマップを表している。そして、第２の実施形態の場合、ゲインマップ補正信号算出部１０５は、図１０（ｂ）の点線部１００３で示した合成ゲインマップから実線部１００２で示した等倍階層ゲインマップを減算することで、図１０（ｃ）の実線部１００４に示すような信号を生成する。さらに、第２の実施形態の場合、ゲインマップ補正信号算出部１０５は、図１０（ｃ）の実線部１００４で示した信号を符号反転させた信号を、ゲインマップ補正信号として算出する。したがって、第２の実施形態の場合、ゲインマップ補正信号は、図１０（ｄ）の実線部１００５に示すような信号となる。

また、図１０（ｅ）は、前述の図８（ｄ）と同様に、第１の階調特性を用い、図１０（ａ）に示した輝度信号を基に生成される基準ゲインマップの各ゲイン値をｘ方向にプロットした図である。すなわち図１０（ｅ）の実線部１００５は、第１のゲイン変換部１０６が、第１の階調特性を用いて、図１０（ａ）の実線部１００１で示される入力画像の輝度信号を基に生成した基準ゲインマップの各ゲイン値を表している。

そして、第２の実施形態の場合、ゲインマップ補正処理部１０７は、図１０（ｄ）の実線部１００５に示したゲインマップ補正信号と、図１０（ｅ）の実線部１００６に示した基準ゲインマップのゲイン値とを加算して最終ゲインマップを生成する。第２の実施形態の場合の最終ゲインマップは、図１０（ｆ）の実線部１００７に示すようなものとなる。このように第２の実施形態の場合、前述した第１の実施形態における処理との相違点は、ゲインマップ補正信号の生成時に、符号反転の処理が加わる点である。

以上説明したように、第１、第２の実施形態の画像処理装置によれば、単調減少又は単調増加の何れの階調特性を設定しても、グローバルトーンマッピングよりもコントラストを向上させるローカルトーンマッピング処理が可能となる。

本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：第１の縮小画像生成部、１０２：第２の縮小画像生成部、１０３：第２のゲイン変換部、１０４：階層ゲインマップ合成部、１０５：ゲインマップ補正信号算出部、１０６：第１のゲイン変換部、１０７：ゲインマップ補正処理部、１０８：ゲイン処理部

Claims (10)

1. 入力画像を用いて、ゲイン信号が単調増加する輝度域を含む第１の階調特性を基に、画素毎の輝度値に対応したゲイン値よりなる基準ゲイン情報を生成する第１の生成手段と、
   入力画像と前記入力画像から生成した低周波画像とを用いて、輝度域によらずにゲイン信号が単調減少又は単調増加する第２の階調特性を基に、前記基準ゲイン情報を補正する補正信号を生成する第２の生成手段と、
   前記基準ゲイン情報が前記補正信号により補正された後のゲイン情報を基に、前記入力画像に対してゲイン処理を行う処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記第２の生成手段は、
   前記入力画像を用いて、前記第２の階調特性を基に、画素毎の輝度値に対応したゲイン値よりなる第１のゲイン情報を生成し、
   前記低周波画像を用いて、前記第２の階調特性を基に、画素毎の輝度値に対応したゲイン値よりなる第２のゲイン情報を生成して、
   前記第１のゲイン情報と前記第２のゲイン情報との差分を、前記補正信号として生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記基準ゲイン情報に前記差分を加算することで、前記基準ゲイン情報が前記補正信号により補正された後のゲイン情報を生成する補正手段を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の生成手段は、
   前記入力画像を縮小処理して周波数レベルが異なる複数の低周波画像を生成し、
   前記複数の低周波画像からそれぞれ生成した複数のゲイン情報を合成して、前記第２のゲイン情報を生成することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記第２の生成手段は、前記入力画像を基に前記第１の階調特性を生成し、前記第１の階調特性を基に前記第２の階調特性を生成することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記第２の生成手段は、前記第１の階調特性のうち、単調増加となっている特性部分の傾きを反転して繋ぐことで、前記単調減少する前記第２の階調特性を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記第２の生成手段は、前記第１の階調特性の全ての輝度域の特性を符号反転した後の階調特性のうち、単調減少となっている特性部分の傾きを反転して繋ぐことで、前記単調増加する第２の階調特性を生成することを特徴とする請求項５に記載の画像処理装置。
8. 前記入力画像は輝度信号からなる画像であることを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
9. 入力画像を用いて、ゲイン信号が単調増加する輝度域を含む第１の階調特性を基に、画素毎の輝度値に対応したゲイン値よりなる基準ゲイン情報を生成する第１の生成工程と、
   入力画像と前記入力画像から生成した低周波画像とを用いて、輝度域によらずにゲイン信号が単調減少又は単調増加する第２の階調特性を基に、前記基準ゲイン情報を補正する補正信号を生成する第２の生成工程と、
   前記基準ゲイン情報が前記補正信号により補正された後のゲイン情報を基に、前記入力画像に対してゲイン処理を行う処理工程と、
   を有することを特徴とする画像処理装置の画像処理方法。
10. コンピュータを、請求項１から８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images