JP6935842B2 - 画像調整装置、方法、及びプログラム - Google Patents

Description

本発明は、画像調整装置、方法、及びプログラムに係り、特に、画像のコントラストを調整するための画像調整装置、方法、及びプログラムに関する。

画像のコントラストを調整するための多くの方法、特にダイナミックレンジの狭い画像において過度に暗い領域や過度に明るい領域に隠された被写体の詳細を明らかにし、視認性を高める方法が知られている。デジタル画像のコントラストの強調は、テレビ受像機等の表示装置での表示、写真編集、医療画像等の加工、コンピュータビジョンシステムの前処理等、多くの分野で用いられている。

よく知られた従来技術として、例えば、非特許文献１に記載されているヒストグラム平坦化方法がある。このヒストグラム平坦化方法は、良好なコントラストの画像の場合、画素の輝度が一般的にとり得る輝度の範囲にわたって概して等しく分布しているとの仮定に基づくものであり、画像輝度の分布が可能な限り一様分布に近くなるよう画素の輝度を変換する方法である。ヒストグラム平坦化方法は、処理速度が速いため、多くの分野で用いられている。以下、ヒストグラム平坦化方法の基本的なアルゴリズムを説明する。

例えば、入力画像をＡ（Ａ＝｛ａ（ｘ，ｙ）｝）とし、入力画像ＡのサイズをＨ×Ｍとし、入力画像Ａの座標（ｘ，ｙ）に位置する画素の輝度ａ（ｘ，ｙ）を０以上かつＫより小さい整数とする。Ｋは入力画像Ａでとり得る輝度の総数で、例えば、２５６としてもよい。ここで、ｎ_ｋを輝度ｋを有する画素の数とする。この場合、入力画像Ａにおける輝度ｋの頻度は、

によって計算される。上記ｎは入力画像Ａに含まれる画素の総数で、上記ｋは０以上かつＫより小さい整数である。上記

は、入力画像Ａにおける輝度の頻度分布関数となり、入力画像Ａの輝度分布とも呼ばれる。上記

の累積分布関数は、

によって計算される。

ここで、輝度の変換関数Ｔ（ｋ）を作成し、入力画像に含まれる画素の各々に対して、

を計算し、新たな画像Ｂ（Ｂ＝｛ｂ（ｘ，ｙ）｝）を出力することを考える。ヒストグラム平坦化方法では、出力画像Ｂにおける輝度分布

の累積分布関数

が可能な限り一様分布の累積分布関数に近くなるよう変換関数を求める。具体的には、

となる。

一方、例えば、非特許文献２には、Adaptive Histogram Equalizationと呼ばれる方法が開示されている。この方法は、入力画像をタイルと呼ばれる小領域に分割し、タイル毎にヒストグラム平坦化方法を適用する方法である。

また、非特許文献３には、ヒストグラム分割に基づくヒストグラム平坦化方法が開示されている。この方法は、入力画像の輝度ヒストグラムにおいて局所的な極値（最小値又は最大値）を用いて、ヒストグラムを複数の部分ヒストグラムに分割し、部分ヒストグラム毎にヒストグラム平坦化方法を適用する方法である。

Tinku Acharya and Ajoy K. Ray, Image Processing-Principles and Applications, Wiley-Interscience, 2005. Karel Zuiderveld, "Contrast limited adaptive histogram equalization," in Graphics Gems IV, Paul S. Heckbert, Ed., pp. 474-485. Academic Press Professional, Inc., 1994. Debdoot Sheet, Hrushikesh Garud, Amit Suveer, Manjunatha Mahadevappa, Jyotirmoy Chatterjee: Brightness preserving dynamic fuzzy histogram equalization. IEEE Trans. Consumer Electronics 56(4): 2475-2480 (2010)

上述のヒストグラム平坦化方法では、頻度の低い輝度を有する画像領域におけるコントラストを犠牲にし、頻度の高い輝度を有する画像領域におけるコントラストを強調する。結果として、大抵は興味を引かない背景部分であるにも係わらず輝度の頻度が高い画像領域におけるコントラストが過度に増強され、ノイズの視認性が高められたり、不自然な画像勾配が可視化されたりする場合がある。また、これとは逆に、輝度の頻度は低いが被写体の詳細部分等のように重要で意味のある画像領域におけるコントラストが抑えられたり、視認性が低下したりする場合もある。

このような過剰な強調に起因する問題を解決する幾つかの方法が知られている。
例えば、非特許文献２に記載の方法では、ノイズが無ければタイル中ではヒストグラムの輝度が小さい範囲に集中すると仮定している。平坦化の適用後にタイルの境界に生じる疑似輪郭を消すために、Ｂｉｌｉｎｅａｒ内挿法を適用する。しかし、それでも尚、タイル毎のコントラスト強調はヒストグラム平坦化方法に基づくため、もともとタイル中にノイズがある場合、それが強調される。また、タイルが平滑領域の場合、無意味な画像勾配も可視化される。

また、非特許文献３に記載の方法では、ヒストグラム平坦化方法の適用前と適用後で、部分ヒストグラム毎のダイナミックレンジが変わらないため、全体のダイナミックレンジにおける大域的なコントラストが強調されない場合がある。また、複数の隣接する部分ヒストグラムにおいてコントラスト強調の度合いが大きく異なる場合、平坦化の適用後に疑似輪郭が生じ得る。

本発明は、上記の事情に鑑みてなされたもので、被写体の大きさに関わらず、重要で意味のあるコントラストを計算すると共に、重要で意味のある画像領域のコントラストを強調しつつ、興味を引かない画像領域のコントラストを抑制することができる画像調整装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る画像調整装置は、入力画像から、アスペクト比が同一で解像度が異なる複数の画像の集合を表す画像ピラミッドを作成し、前記画像ピラミッドの各画像に対し、前記画像の画素の各々について、前記画素の周辺領域から、前記画素と前記周辺領域との局所的な輝度の差分が大きいほど高い値をとる係数を表す局所的コントラスト量を計算し、前記画像ピラミッドの各画像に対して計算された、前記画像の画素の各々についての局所的コントラスト量を融合して、前記入力画像の画素の各々についての局所的コントラスト量を計算する局所的コントラスト量計算部と、前記入力画像の輝度範囲内においてとり得る輝度の各々について、前記局所的コントラスト量計算部により計算された、前記輝度を有する画素の局所的コントラスト量を合計し、合計した局所的コントラスト量に基づいて、前記輝度の重要度係数を求め、前記輝度の各々における重要度係数を前記入力画像における輝度の重要度係数分布関数として出力する輝度重要度係数分布関数計算部と、前記輝度重要度係数分布関数計算部から出力された重要度係数分布関数をヒストグラムとして用いてヒストグラム平坦化を行い、前記入力画像における輝度の変換関数を求め、求めた変換関数を、前記入力画像の各画素の輝度に適用することにより、前記入力画像の輝度が変換された画像を出力するヒストグラム平坦化部と、を含むものである。

また、第２の発明に係る画像調整装置は、第１の発明において、前記局所的コントラスト量が、前記画素と前記周辺領域との局所的な輝度の差分が大きいほど、かつ、前記画素の輝度が前記周辺領域に存在する画素の輝度よりも低いほど、高い値をとる係数を表すとされたものである。

一方、上記目的を達成するために、第３の発明に係る画像調整方法は、局所的コントラスト量計算部が、入力画像から、アスペクト比が同一で解像度が異なる複数の画像の集合を表す画像ピラミッドを作成し、前記画像ピラミッドの各画像に対し、前記画像の画素の各々について、前記画素の周辺領域から、前記画素と前記周辺領域との局所的な輝度の差分が大きいほど高い値をとる係数を表す局所的コントラスト量を計算し、前記画像ピラミッドの各画像に対して計算された、前記画像の画素の各々についての局所的コントラスト量を融合して、前記入力画像の画素の各々についての局所的コントラスト量を計算するステップと、輝度重要度係数分布関数計算部が、前記入力画像の輝度範囲内においてとり得る輝度の各々について、前記局所的コントラスト量計算部により計算された、前記輝度を有する画素の局所的コントラスト量を合計し、合計した局所的コントラスト量に基づいて、前記輝度の重要度係数を求め、前記輝度の各々における重要度係数を前記入力画像における輝度の重要度係数分布関数として出力するステップと、ヒストグラム平坦化部が、前記輝度重要度係数分布関数計算部から出力された重要度係数分布関数をヒストグラムとして用いてヒストグラム平坦化を行い、前記入力画像における輝度の変換関数を求め、求めた変換関数を、前記入力画像の各画素の輝度に適用することにより、前記入力画像の輝度が変換された画像を出力するステップと、を含むものである。

また、第４の発明に係る画像調整方法は、第３の発明において、前記局所的コントラスト量が、前記画素と前記周辺領域との局所的な輝度の差分が大きいほど、かつ、前記画素の輝度が前記周辺領域に存在する画素の輝度よりも低いほど、高い値をとる係数を表すとされたものである。

更に、上記目的を達成するために、第５の発明に係るプログラムは、コンピュータを、第１又は第２の発明に係る画像調整装置が備える各部として機能させるためのものである。

以上説明したように、本発明に係る画像調整装置、方法、及びプログラムによれば、被写体の大きさに関わらず、重要で意味のあるコントラストを計算すると共に、重要で意味のある画像領域のコントラストを強調しつつ、興味を引かない画像領域のコントラストを抑制することができる。

第１の実施形態に係る画像調整装置の機能的な構成の一例を示すブロック図である。 第１の実施形態に係る画像調整プログラムによる処理の流れの一例を示すフローチャートである。 （Ａ）は実施形態に係る入力画像の一例を示す図である。（Ｂ）は（Ａ）に示す入力画像に対して従来技術に係るヒストグラム平坦化処理を適用した後の画像を示す図である。（Ｃ）は（Ａ）に示す入力画像に対して実施形態に係る画像調整処理を適用した後の画像の一例を示す図である。 （Ａ）は実施形態に係る入力画像の他の例を示す図である。（Ｂ）は（Ａ）に示す入力画像に対して従来技術に係るヒストグラム平坦化処理を適用した後の画像を示す図である。（Ｃ）は（Ａ）に示す入力画像に対して非特許文献２に示す処理を適用した後の画像を示す図である。（Ｄ）は（Ａ）に示す入力画像に対して実施形態に係る画像調整処理を適用した後の画像の一例を示す図である。 第３の実施形態に係る局所的コントラスト量計算装置の機能的な構成の一例を示すブロック図である。 第３の実施形態に係る局所的コントラスト量計算装置による処理の一例を説明するための図である。 （Ａ）は実施形態に係る入力画像を示す図である。（Ｂ）は（Ａ）に示す入力画像に対して計算された画像ピラミッドに含まれる画像毎の局所的コントラスト量行列の一例を示す図である。（Ｃ）は（Ｂ）に示す画像毎の局所的コントラスト量行列を融合した後に出力される局所的コントラスト量行列の一例を示す図である。 （Ａ）は実施形態に係る画像毎の局所的コントラスト量行列の計算にブライトパスフィルタされた画像勾配を適用した場合の画像の一例を示す図である。（Ｂ）は実施形態に係る画像毎の局所的コントラスト量行列の計算に画像勾配を適用した場合の画像の一例を示す図である。（Ｃ）は実施形態に係る画像毎の局所的コントラスト量行列の計算にダークパスフィルタされた画像勾配を適用した場合の画像の一例を示す図である。 第３の実施形態に係る局所的コントラスト量計算プログラムによる処理の流れの一例を示すフローチャートである。 第３の実施形態に係る画像調整装置の機能的な構成の一例を示すブロック図である。

以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
なお、実施形態では、入力を受け付けた画像の各画素について、画素の輝度に対数変換等を前処理として施し、変換後の画像を入力画像として適用してもよい。また、このような前処理を施さない画像を入力画像として適用してもよい。
実施形態では、入力画像の全体を対象として画像調整処理を行ってもよい。また、上述の非特許文献２に示すように、入力画像をタイルと呼ばれる小領域に分割し、分割した小領域を対象として画像調整処理を行ってもよい。

［第１の実施形態］
図１は、第１の実施形態に係る画像調整装置１０Ａの機能的な構成の一例を示すブロック図である。
図１に示すように、本実施形態に係る画像調整装置１０Ａは、局所的コントラスト量計算部１２と、輝度重要度係数分布関数計算部１４と、ヒストグラム平坦化部１６と、を備える。

局所的コントラスト量計算部１２は、入力画像の画素の各々について、画像平面上における画素の周辺領域から、輝度の局所的コントラスト量を計算する。ここでいう局所的コントラスト量とは、ある画素とその周辺領域との局所的な輝度の差分が大きいほど高い値をとる係数を表すものとする。

具体的には、例えば、ある画素ｑの画像平面上の座標を（ｘ，ｙ）とし、画素ｑの周辺領域に存在する画素ｑ′の座標の集合を、Ｎ（ｑ）とする。本実施形態では、座標（ｘ，ｙ）に位置する画素ｑの局所的コントラスト量は、

（１）

によって計算される。なお、Ｎ（ｑ）は、例えば、座標（ｘ，ｙ）に位置する画素ｑの上下左右に位置する４つの画素の集合として設定してもよい。Ｋは、入力画像の輝度範囲内でとり得る輝度の総数で、例えば、２５６としてもよい。ａ（ｑ）は、画素ｑの輝度、ａ（ｑ′）は、画素ｑの周辺領域に存在する画素ｑ′の輝度を示す。以下、この方法によって計算された局所的コントラスト量を画像勾配と呼ぶ。

なお、本実施形態では、上記方法の代わりに、Ｓｏｂｅｌフィルタ等のエッジ検出フィルタを入力画像に適用し、計算された入力画像のエッジ強度（エッジの強さ）係数を局所的コントラスト量として出力してもよい。

次に、輝度重要度係数分布関数計算部１４は、入力画像と、局所的コントラスト量とを取得し、輝度の重要度係数分布関数を計算する。具体的には、輝度重要度係数分布関数計算部１４は、入力画像の輝度範囲内においてとり得る輝度の各々について、局所的コントラスト量計算部１２により計算された、ある輝度を有する画素の局所的コントラスト量を合計し、合計した局所的コントラスト量を、ある輝度の重要度係数とする。輝度重要度係数分布関数計算部１４は、入力画像でとり得る輝度の各々の重要度係数の合計が１になるように輝度の各々についての重要度係数を正規化する。輝度重要度係数分布関数計算部１４は、入力画像でとり得る輝度の各々について正規化された重要度係数を、入力画像における輝度の重要度係数分布関数として出力する。

例えば、入力画像Ａにおける輝度ｋの重要度係数分布関数は、

（２）

によって計算される。なお、ａ（ｘ，ｙ）は、入力画像Ａの座標（ｘ，ｙ）に位置する画素の輝度である。

は、座標（ｘ，ｙ）に位置する画素の局所的コントラスト量である。関数

は、クロネッカーのデルタで、

である。

次に、ヒストグラム平坦化部１６は、入力画像と、重要度係数分布関数とを取得し、ヒストグラム平坦化処理を行って、コントラストの強調された画像を出力する。具体的には、ヒストグラム平坦化部１６は、輝度重要度係数分布関数計算部１４から出力された重要度係数分布関数をヒストグラムとして用いてヒストグラム平坦化を行い、入力画像における輝度の変換関数を求める。ヒストグラム平坦化部１６は、求めた輝度の変換関数を入力画像の各画素の輝度に適用することにより、入力画像の各画素の輝度が変換された画像を出力する。

まず、輝度の重要度係数分布関数

の累積分布関数を、

によって計算する。次に、出力画像Ｂにおける輝度分布

の累積分布関数

が可能な限り一様分布の累積分布関数に近くなるように、輝度の変換関数Ｔ（ｋ）を求める。すなわち、

（３）

を計算する。最後に、入力画像Ａに含まれる画素の各々に対して、

（４）

を計算し、コントラストの強調された画像を出力画像Ｂ（Ｂ＝｛ｂ（ｘ，ｙ）｝）として出力する。

本実施形態では、出力画像における輝度分布の累積分布関数が可能な限り一様分布の累積分布関数に近くなるように、輝度の変換関数を求める。ここでいう一様分布とは、確率密度関数が定数関数である分布を意味する。なお、本実施形態では、一様分布の代わりに、確率密度関数が対数関数又は線形関数である分布を用いても良い。すなわち、出力画像における輝度分布の累積分布関数が可能な限り、確率密度関数が対数関数又は線形関数である分布の累積分布関数に近くなるように、輝度の変換関数を求めても良い。

ここで、本実施形態に係る画像調整装置１０Ａは、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)、及びＨＤＤ(Hard Disk Drive)等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る画像調整プログラムが記憶されている。なお、画像調整プログラムは、ＨＤＤに記憶されていてもよい。

上記の画像調整プログラムは、例えば、画像調整装置１０Ａに予めインストールされていてもよい。この画像調整プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、画像調整装置１０Ａに適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ(Compact Disc Read Only Memory)、光磁気ディスク、ＤＶＤ-ＲＯＭ(Digital Versatile Disc Read Only Memory)、フラッシュメモリ、メモリカード等が挙げられる。

ＣＰＵは、ＲＯＭに記憶されている画像調整プログラムを読み込んで実行することにより、上記の局所的コントラスト量計算部１２、輝度重要度係数分布関数計算部１４、及びヒストグラム平坦化部１６として機能する。

次に、図２を参照して、第１の実施形態に係る画像調整装置１０Ａの作用を説明する。なお、図２は、第１の実施形態に係る画像調整プログラムによる処理の流れの一例を示すフローチャートである。

まず、図２のステップ１００では、局所的コントラスト量計算部１２が、画像の入力を受け付け、入力画像を取得する。

ステップ１０２では、局所的コントラスト量計算部１２が、上記（１）式を用いて、入力画像のある画素について局所的コントラスト量を計算する。上述したように、局所的コントラスト量とは、ある画素とその周辺領域との局所的な輝度の差分が大きいほど高い値をとる係数を表す。

ステップ１０４では、局所的コントラスト量計算部１２が、入力画像の全画素について局所的コントラスト量を計算したか否かを判定する。全画素について計算したと判定した場合（肯定判定の場合）、ステップ１０６に移行し、全画素について計算していないと判定した場合（否定判定の場合）、ステップ１０２に戻り処理を繰り返す。

ステップ１０６では、輝度重要度係数分布関数計算部１４が、上記（２）式を用いて、入力画像における輝度の重要度係数分布関数を計算する。すなわち、輝度重要度係数分布関数計算部１４は、入力画像の輝度範囲内においてとり得る輝度の各々について、ある輝度を有する画素の局所的コントラスト量を合計し、合計した局所的コントラスト量を、ある輝度の重要度係数とする。そして、輝度重要度係数分布関数計算部１４は、入力画像でとり得る輝度の各々の重要度係数の合計が１になるように輝度の各々について正規化された重要度係数を、入力画像における輝度の重要度係数分布関数として出力する。

ステップ１０８では、ヒストグラム平坦化部１６が、上記（３）式を用いて、重要度係数分布関数をヒストグラムとして用いてヒストグラム平坦化を行い、入力画像における輝度の変換関数を求める。

ステップ１１０では、ヒストグラム平坦化部１６が、上記（４）式に示すように、入力画像に含まれる画素の各々に対して、上記で求めた変換関数を適用することで、入力画像の輝度を変換する。

ステップ１１２では、ヒストグラム平坦化部１６が、上記で輝度変換した画像を出力して、一連の処理を終了する。

図３（Ａ）は、本実施形態に係る入力画像の一例を示す図である。図３（Ｂ）は、図３（Ａ）に示す入力画像に対して従来技術に係るヒストグラム平坦化処理を適用した後の画像を示す図である。図３（Ｃ）は、図３（Ａ）に示す入力画像に対して本実施形態に係る画像調整処理を適用した後の画像の一例を示す図である。

図３（Ｂ）に示す画像では、興味を引かない背景部分におけるコントラストが過度に増強されてしまい、ノイズの視認性が高められ、不自然な画像勾配が可視化されている。また、被写体の詳細部分におけるコントラストが抑えられてしまい、視認性が低下している。

これに対して、図３（Ｃ）に示す画像では、被写体の詳細部分のコントラストが強調されつつ、背景部分のコントラストが適度に抑えられており、図３（Ｂ）に示す画像と比べて、視認性が向上している。

図４（Ａ）は、本実施形態に係る入力画像の他の例を示す図である。図４（Ｂ）は、図４（Ａ）に示す入力画像に対して従来技術に係るヒストグラム平坦化処理を適用した後の画像を示す図である。図４（Ｃ）は、図４（Ａ）に示す入力画像に対して非特許文献２に示す処理を適用した後の画像を示す図である。図４（Ｄ）は、図４（Ａ）に示す入力画像に対して本実施形態に係る画像調整処理を適用した後の画像の一例を示す図である。

図４（Ｄ）に示す画像では、上記の図３（Ｃ）に示す画像と同様に、被写体の詳細部分のコントラストが強調されつつ、背景部分のコントラストが適度に抑えられており、図４（Ｂ）及び図４（Ｃ）に示す画像と比べて、視認性が向上している。

このように本実施形態によれば、重要度係数分布関数の値が高い輝度を有する画像領域のコントラストを強調し、重要度係数分布関数の値が低い輝度を有する画像領域のコントラストを抑えることができる。

本実施形態では、輝度の重要度係数分布関数を計算するが、重要度係数分布関数の値が高い輝度を有する画像領域は、局所的コントラスト量の比較的大きい画素を多く含む領域となる。一方、重要度係数分布関数の値が低い輝度を有する画像領域は、局所的コントラスト量の比較的小さい画素を多く含む領域又は局所的コントラスト量の比較的大きい画素が少ない領域となる。

すなわち、重要度係数分布関数の値が高い輝度を有する画像領域は、大抵は被写体の詳細部分等のように重要で意味のある領域であり、一方、重要度係数分布関数の値が低い輝度を有する画像領域は、興味を引かない背景領域や、平滑領域、ノイズの含む領域等である場合が多い。従って、輝度の重要度係数分布関数をヒストグラムとして用いてヒストグラム平坦化処理を行うことにより、重要で意味のある画像領域のコントラストを強調し、興味を引かない画像領域のコントラストを抑えることができる。

［第２の実施形態］
自然画像や写真等において、より明るい画素を有する画像領域は、光源や空等の領域であることが多く、それほど興味を引かない領域である場合が多い。一方で、逆光やローキー照明、露出不足等のように不十分な照明条件下で撮影された画像は、被写体の詳細部分がより暗い領域に存在する場合が多い。しかし、ヒストグラム平坦化処理に係る従来技術では、画像領域の輝度の差異によって必要とされるコントラスト強調が違うことについて全く考慮されないため、暗い領域に存在する被写体の詳細部分が強調不足になりがちである。

本実施形態に係る局所的コントラスト量計算部１２は、入力画像の画素の各々について、画像平面上における画素の周辺領域から輝度の局所的コントラスト量を計算する際に、ある画素とその周辺領域との局所的な輝度の差分が大きいほど、かつ、ある画素の輝度がその周辺領域に存在する画素の輝度よりも低いほど、高い値をとる係数を表すように局所的コントラスト量を計算する。

本実施形態の場合、座標（ｘ，ｙ）に位置する画素ｑの局所的コントラスト量は、

（５）

によって計算される。すなわち、画素ｑの輝度ａ（ｑ）が、画素ｑの周辺領域に存在する画素ｑ′の輝度ａ（ｑ′）よりも低い値をとる場合にのみ、輝度間の差分の絶対値を局所的コントラスト量に加算する方法である。以下、この方法によって計算された局所的コントラスト量を、ダークパスフィルタされた画像勾配と呼ぶ。

一方、ハイキー照明や露出オーバー等によって被写体の詳細部分がより明るい領域に存在する入力画像に対しては、上記（５）式に代わり、下記（６）式を用いてもよい。つまり、ある画素とその周辺領域との局所的な輝度の差分が大きいほど、かつ、ある画素の輝度がその周辺領域に存在する画素の輝度よりも高いほど、高い値をとる係数として、局所的コントラスト量を計算しても良い。具体的には、座標（ｘ，ｙ）に位置する画素ｑの局所的コントラスト量は、

（６）

によって計算される。以下、この方法によって計算された局所的コントラスト量を、ブライトパスフィルタされた画像勾配と呼ぶ。

このように本実施形態によれば、不十分な照明条件下で撮影された画像において被写体の詳細部分がより暗い領域に存在する場合が多いと仮定した場合に、周辺領域との局所的な輝度の差分が比較的大きい画素を多数有する、より暗い領域について、そのコントラストをより大きく強調することが可能になる。

［第３の実施形態］
図５は、第３の実施形態に係る局所的コントラスト量計算装置２０の機能的な構成の一例を示すブロック図である。
図５に示すように、本実施形態に係る局所的コントラスト量計算装置２０は、局所的コントラスト量計算部１３を備える。

本実施形態では、入力画像中に被写体がどのような大きさで映っているか分からないという問題に対処するための措置を施す。

すなわち、局所的コントラスト量計算部１３は、入力画像から、アスペクト比が同一で解像度が異なる複数の画像の集合を表す画像ピラミッドを作成し、画像ピラミッドの各画像に対し、画像の画素の各々について局所的コントラスト量を計算し、画像ピラミッドの各画像に対して計算された、画像の画素の各々についての局所的コントラスト量を融合して、入力画像の画素の各々についての局所的コントラスト量を計算する。局所的コントラスト量としては、例えば、第１の実施形態で説明したように、ある画素とその周辺領域との局所的な輝度の差分が大きいほど高い値をとる係数で表される。なお、局所的コントラスト量としては、第２の実施形態で説明したように、ある画素とその周辺領域との局所的な輝度の差分が大きいほど、かつ、ある画素の輝度がその周辺領域に存在する画素の輝度よりも低いほど、高い値をとる係数で表してもよい。

図６は、第３の実施形態に係る局所的コントラスト量計算装置２０による処理の一例を説明するための図である。

本実施形態に係る局所的コントラスト量計算部１３は、図６に示すように、入力画像Ａから画像ピラミッドを作成する。具体的には、入力画像Ａから作成される画像ピラミッドには、複数の画像Ａ_１、Ａ_２、Ａ_３、・・・、Ａ_Ｌが含まれる。なお、Ｌは画像ピラミッドに含まれる画像の数を示す。画像Ａ_１は、解像度の最も高い（サイズの最も大きい）画像であり、画像Ａ_Ｌは、解像度の最も低い（サイズの最も小さい）画像である。

入力画像Ａに対して、短辺の長さが予め定められた長さパラメータＳと等しくなるように、入力画像Ａのサイズを変更し、得られた画像を画像Ａ_１とする。次に、画像Ａ_１にＢｉｃｕｂｉｃ内挿法を施し、画像Ａ_１の解像度を４分の１（長辺と短辺それぞれの長さを２分の１）に削減し、得られた画像を画像Ａ_２とする。同様の処理を、画像ピラミッドの低解像度方向に向かって続け、画像Ａ_Ｌが作成されるまで繰り返す。

好適な実施形態では、効率向上のために、上記長さパラメータＳを入力画像Ａの短辺の長さより小さい数値に設定した方が望ましく、例えば、２５６に設定してもよい。画像ピラミッドに含まれる画像の数Ｌは、１以上の整数であり、例えば、４に設定してもよい。

次に、画像ピラミッドに含まれる各画像を表す画像

について、局所的コントラスト量を計算する。本実施形態では、上述の第１の実施形態及び第２の実施形態のいずれかに示す方法を用いて、局所的コントラスト量が計算される。例えば、第２の実施形態に示す方法を用いる場合、画像

に含まれる画素の局所的コントラスト量は、

（７）

によって計算される。

次に、画像の画素の各々についての局所的コントラスト量を融合して、入力画像の画素の各々についての局所的コントラスト量を計算する。なお、画像毎の局所的コントラスト量は、当該画像と同じサイズを持つ実数行列となるが、画像ピラミッドに含まれる画像の各々によってサイズが異なる。以下では、画像の画素の各々についての局所的コントラスト量からなる実数行列を、画像の局所的コントラスト量行列という。

まず、画像毎の局所的コントラスト量行列に、Ｂｉｃｕｂｉｃ内挿法を施し、それを画像Ａ_１と同じサイズを持つ実数行列にアップサンプリングする。これによって、画像ピラミッドに含まれる全ての画像の局所的コントラスト量行列が同じサイズに調整される。

次に、サイズ調整された局所的コントラスト量行列の相乗平均を計算し、得られた実数行列を入力画像の局所的コントラスト量行列として出力する。具体的には、入力画像Ａの 座標（ｘ，ｙ）に位置する画素の局所的コントラスト量は、

（８）

によって計算される。なお、Ｕ（ ）は、アップサンプリング演算子で、ｍａｘ（ ,０）は、内挿法を用いたアップサンプリングの出力が負数になる場合に対処するための措置である。

図７（Ａ）は、本実施形態に係る入力画像を示す図である。図７（Ｂ）は、図７（Ａ）に示す入力画像に対して計算された画像ピラミッドに含まれる画像毎の局所的コントラスト量行列の一例を示す図である。図７（Ｃ）は、図７（Ｂ）に示す画像毎の局所的コントラスト量行列を融合した後に出力される局所的コントラスト量行列の一例を示す図である。

本実施形態で説明した方法を用いて計算された、画像ピラミッドに含まれる画像毎の局所的コントラスト量行列は、図７（Ｂ）に示すように、短辺の長さによって、例えば、２５６、１２８、６４，３２の４つのサイズとされる。そして、これら４つのサイズの局所的コントラスト量行列は、同一サイズに調整後に相乗平均され、図７（Ｃ）に示すように、１つの局所的コントラスト量行列に融合される。

一方、本実施形態で説明した方法を用いて、画像毎の局所的コントラスト量行列の計算する場合に、上記（６）式で示されるブライトパスフィルタされた画像勾配、上記（１）式で示される画像勾配、及び上記（５）式で示されるダークパスフィルタされた画像勾配の各々を適用して得られた画像調整結果の例を、図８（Ａ）〜図８（Ｃ）に示す。

図８（Ａ）は、本実施形態に係る画像毎の局所的コントラスト量行列の計算にブライトパスフィルタされた画像勾配を適用した場合の画像の一例を示す図である。図８（Ｂ）は、本実施形態に係る画像毎の局所的コントラスト量行列の計算に画像勾配を適用した場合の画像の一例を示す図である。図８（Ｃ）は、本実施形態に係る画像毎の局所的コントラスト量行列の計算にダークパスフィルタされた画像勾配を適用した場合の画像の一例を示す図である。

図８（Ｃ）に示す画像から分かるように、周辺領域との局所的な輝度の差分が比較的大きい画素を多数有する、より暗い領域について、そのコントラストをより大きく強調することが可能になる。

ここで、本実施形態に係る局所的コントラスト量計算装置２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、及びＨＤＤ等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る局所的コントラスト量計算プログラムが記憶されている。なお、局所的コントラスト量計算プログラムは、ＨＤＤに記憶されていてもよい。

上記の局所的コントラスト量計算プログラムは、例えば、局所的コントラスト量計算装置２０に予めインストールされていてもよい。この局所的コントラスト量計算プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、局所的コントラスト量計算装置２０に適宜インストールすることで実現してもよい。

ＣＰＵは、ＲＯＭに記憶されている局所的コントラスト量計算プログラムを読み込んで実行することにより、上記の局所的コントラスト量計算部１３として機能する。

次に、図９を参照して、第３の実施形態に係る局所的コントラスト量計算装置２０の作用を説明する。なお、図９は、第３の実施形態に係る局所的コントラスト量計算プログラムによる処理の流れの一例を示すフローチャートである。

まず、図９のステップ２００では、局所的コントラスト量計算部１３が、画像の入力を受け付け、入力画像を取得する。

ステップ２０２では、局所的コントラスト量計算部１３が、入力画像から画像ピラミッドを作成する。なお、画像ピラミッドとは、上述したように、アスペクト比が同一で解像度が異なる複数の画像の集合を表すものとする。

ステップ２０４では、局所的コントラスト量計算部１３が、画像ピラミッドに含まれるある画像について、例えば、上記（７）式を用いて、局所的コントラスト量行列を計算する。なお、局所的コントラスト量行列とは、上述したように、ある画像の各画素について計算された局所的コントラスト量からなる実数行列として表される。

ステップ２０６では、局所的コントラスト量計算部１３が、画像ピラミッドに含まれる全ての画像について局所的コントラスト量行列を計算したか否かを判定する。全ての画像について計算したと判定した場合（肯定判定の場合）、ステップ２０８に移行し、全ての画像について計算していないと判定した場合（否定判定の場合）、ステップ２０４に戻り処理を繰り返す。

ステップ２０８では、局所的コントラスト量計算部１３が、上記（８）式を用いて、各画像の局所的コントラスト量行列を１つに融合し、入力画像の局所的コントラスト量行列として出力する。

次に、本実施形態に係る局所的コントラスト量計算部１３を備えた画像調整装置１０Ｂの構成について説明する。

図１０は、第３の実施形態に係る画像調整装置１０Ｂの機能的な構成の一例を示すブロック図である。
図１０に示すように、本実施形態に係る画像調整装置１０Ｂは、局所的コントラスト量計算部１３と、輝度重要度係数分布関数計算部１５と、ヒストグラム平坦化部１７と、を備える。

局所的コントラスト量計算部１３は、上述したように、画像ピラミッドに含まれる画像毎の局所的コントラスト量行列を１つに融合して得られる入力画像の局所的コントラスト量行列を計算する。

輝度重要度係数分布関数計算部１５は、局所的コントラスト量計算部１３により計算された入力画像の局所的コントラスト量行列に基づいて、入力画像の輝度範囲内においてとり得る輝度の各々について、ある輝度を有する画素の局所的コントラスト量を合計し、合計した局所的コントラスト量を、ある輝度の重要度係数とする。輝度重要度係数分布関数計算部１５は、入力画像でとり得る輝度の各々の重要度係数の合計が１になるように輝度の各々について正規化された重要度係数を、入力画像における輝度の重要度係数分布関数として出力する。なお、重要度係数分布関数は、上記（２）式を用いて計算される。

ヒストグラム平坦化部１７は、輝度重要度係数分布関数計算部１５から出力された重要度係数分布関数をヒストグラムとして用いてヒストグラム平坦化を行い、入力画像における輝度の変換関数を求める。なお、変換関数は、上記（３）式を用いて計算される。そして、ヒストグラム平坦化部１７は、上記（４）式に示すように、求めた変換関数を、入力画像の各画素の輝度に適用することにより、入力画像の輝度が変換された画像を出力する。

なお、本実施形態に係る画像調整装置１０Ｂの作用は、画像ピラミッドに含まれる画像毎の局所的コントラスト量行列を１つに融合して得られる入力画像の局所的コントラスト量行列を用いる点以外、上述の第１の実施形態に係る画像調整装置１０Ａと同様である。このため、ここでの繰り返しの説明は省略する。

以上、実施形態として画像調整装置及び局所的コントラスト量計算装置を例示して説明した。実施形態は、コンピュータを、画像調整装置が備える各部、又は、局所的コントラスト量計算装置が備える局所的コントラスト量計算部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

その他、上記実施形態で説明した画像調整装置及び局所的コントラスト量計算装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０Ａ、１０Ｂ画像調整装置
１２、１３ 局所的コントラスト量計算部
１４、１５ 輝度重要度係数分布関数計算部
１６、１７ ヒストグラム平坦化部
２０ 局所的コントラスト量計算装置

Claims (5)

1. 入力画像から、アスペクト比が同一で解像度が異なる複数の画像の集合を表す画像ピラミッドを作成し、前記画像ピラミッドの各画像に対し、前記画像の画素の各々について、前記画素の周辺領域から、前記画素と前記周辺領域との局所的な輝度の差分が大きいほど高い値をとる係数を表す局所的コントラスト量を計算し、前記画像ピラミッドの各画像に対して計算された、前記画像の画素の各々についての局所的コントラスト量を融合して、前記入力画像の画素の各々についての局所的コントラスト量を計算する局所的コントラスト量計算部と、
   前記入力画像の輝度範囲内においてとり得る輝度の各々について、前記局所的コントラスト量計算部により計算された、前記輝度を有する画素の局所的コントラスト量を合計し、合計した局所的コントラスト量に基づいて、前記輝度の重要度係数を求め、前記輝度の各々における重要度係数を前記入力画像における輝度の重要度係数分布関数として出力する輝度重要度係数分布関数計算部と、
   前記輝度重要度係数分布関数計算部から出力された重要度係数分布関数をヒストグラムとして用いてヒストグラム平坦化を行い、前記入力画像における輝度の変換関数を求め、求めた変換関数を、前記入力画像の各画素の輝度に適用することにより、前記入力画像の輝度が変換された画像を出力するヒストグラム平坦化部と、
   を含む画像調整装置。
2. 前記局所的コントラスト量は、前記画素と前記周辺領域との局所的な輝度の差分が大きいほど、かつ、前記画素の輝度が前記周辺領域に存在する画素の輝度よりも低いほど、高い値をとる係数を表す請求項１に記載の画像調整装置。
3. 局所的コントラスト量計算部が、入力画像から、アスペクト比が同一で解像度が異なる複数の画像の集合を表す画像ピラミッドを作成し、前記画像ピラミッドの各画像に対し、前記画像の画素の各々について、前記画素の周辺領域から、前記画素と前記周辺領域との局所的な輝度の差分が大きいほど高い値をとる係数を表す局所的コントラスト量を計算し、前記画像ピラミッドの各画像に対して計算された、前記画像の画素の各々についての局所的コントラスト量を融合して、前記入力画像の画素の各々についての局所的コントラスト量を計算するステップと、
   輝度重要度係数分布関数計算部が、前記入力画像の輝度範囲内においてとり得る輝度の各々について、前記局所的コントラスト量計算部により計算された、前記輝度を有する画素の局所的コントラスト量を合計し、合計した局所的コントラスト量に基づいて、前記輝度の重要度係数を求め、前記輝度の各々における重要度係数を前記入力画像における輝度の重要度係数分布関数として出力するステップと、
   ヒストグラム平坦化部が、前記輝度重要度係数分布関数計算部から出力された重要度係数分布関数をヒストグラムとして用いてヒストグラム平坦化を行い、前記入力画像における輝度の変換関数を求め、求めた変換関数を、前記入力画像の各画素の輝度に適用することにより、前記入力画像の輝度が変換された画像を出力するステップと、
   を含む画像調整方法。
4. 前記局所的コントラスト量は、前記画素と前記周辺領域との局所的な輝度の差分が大きいほど、かつ、前記画素の輝度が前記周辺領域に存在する画素の輝度よりも低いほど、高い値をとる係数を表す請求項３に記載の画像調整方法。
5. コンピュータを、請求項１又は２に記載の画像調整装置が備える各部として機能させるためのプログラム。

Images