WO2022153348A1 - 画像調整方法、プログラムおよび画像調整装置 - Google Patents

Abstract

本発明の一態様は、入力画像における局所領域内に共起した第１輝度を有する第１画素と、第２輝度を有する第２画素とから統計量を導出し、当該統計量を第１輝度および第２輝度に対応する数値とする２次元輝度ヒストグラムを導出し、第１輝度より大きく、第２輝度以下の第３輝度に応じて定まる加重係数を用いて、２次元輝度ヒストグラムに重みづけを行うことで数値を導出し、当該数値を第３輝度に対応する数値とする１次元輝度ヒストグラムを導出し、導出された１次元輝度ヒストグラムが所定のヒストグラムに変換されるように輝度変換関数を導出し、当該輝度変換関数を用いて、入力画像の各画素の輝度を変換する画像調整方法である。

Description

画像調整方法、プログラムおよび画像調整装置

　本発明は、画像調整方法、プログラムおよび画像調整装置の技術に関する。

　近年、デジタルカメラやスマートフォンなどが広範に使用されることによって、日々撮影される画像の数が膨大になりつつある。こうした背景もあり、画像編集の１つである画像強調に対する需要が著しく増大している。市販の画像編集ソフトウェアを使用して満足のいく結果を得るためには、画像編集の専門知識または多くの手作業を必要とする。従って、様々な撮影環境において撮影された画像に適応可能な自動画像強調を実現することが重要となる。

　従来からある画像強調方法の１つであるヒストグラム平坦化は、直感的な実装品質と高い効率によって最も注目を集めてきた。ヒストグラム平坦化は、入力画像の編集後に出力される出力画像の輝度分布が一様分布になるように、入力画像の輝度を出力画像の輝度に変換する輝度変換関数を導出する。

　具体的に、ヒストグラム平坦化では、入力画像の輝度分布である１次元輝度ヒストグラムを構築し、１次元輝度ヒストグラムの累積分布関数に基づいて輝度変換関数を導出する。ヒストグラム平坦化は、用途によって有用性が示されている。

　しかし、ヒストグラム平坦化が使用する１次元輝度ヒストグラムは、輝度が入力画像に出現する頻度の分布である。そのため、テクスチャのない背景や画像の量子化ノイズなど、意味的に重要ではない画像領域であっても、類似する輝度を大量に有する領域であれば、コントラストが過度に強調されてしまう問題がある。この問題は、画像の勾配情報を１次元輝度ヒストグラムに埋め込むことで対処されている。なお、意味的に重要な画像領域として、例えば主となる被写体が写っている領域（または背景以外の領域）が挙げられる。

　例えば、特許文献１に開示された技術では、画像の輝度勾配を画素の重要度として算出し、画素の重要度で重み付けされた新しい１次元輝度ヒストグラムを構築する。この新しい１次元輝度ヒストグラムを平坦化することで、意味的に重要ではない画像領域に対して、コントラストの過度強調を抑制することができる。

特開２０１９－１６１１７号公報

　しかしながら、特許文献１に開示された技術は、画像の局所領域内に頻繁に共起する輝度に対して、これらの輝度を有する画素の重要度を過大評価する場合がある。従って、非常に小さい（暗い）輝度と非常に大きい（明るい）輝度が画像の局所領域内に頻繁に共起する場合、これらの輝度が輝度範囲の中央に過度に引き寄せられるように変換される傾向がある。

　その結果、輝度範囲の中央近くのコントラストが減衰したり、画像の量子化ノイズが強調されたりする場合があるという問題がある。

　上記事情に鑑み、本発明は、より好適に画像を編集可能な技術の提供を目的としている。

　本発明の一態様は、入力画像における局所領域内に共起した第１輝度を有する第１画素と、第２輝度を有する第２画素とから統計量を導出し、当該統計量を前記第１輝度および前記第２輝度に対応する数値とする２次元輝度ヒストグラムを導出する２次元輝度ヒストグラム導出ステップと、前記第１輝度より大きく、前記第２輝度以下の第３輝度に応じて定まる加重係数を用いて、前記２次元輝度ヒストグラム導出ステップにより導出された２次元輝度ヒストグラムに重みづけを行うことで数値を導出し、当該数値を前記第３輝度に対応する数値とする１次元輝度ヒストグラムを導出する１次元輝度ヒストグラム導出ステップと、前記１次元輝度ヒストグラム導出ステップにより導出された１次元輝度ヒストグラムが所定のヒストグラムに変換されるように輝度変換関数を導出し、当該輝度変換関数を用いて、入力画像の各画素の輝度を変換する輝度変換ステップと、を備えた画像調整方法である。

　本発明の一態様は、上記画像調整方法をコンピュータに実行させるためのプログラムである。

　本発明の一態様は、入力画像における局所領域内に共起した第１輝度を有する第１画素と、第２輝度を有する第２画素とから統計量を導出し、当該統計量を前記第１輝度および前記第２輝度に対応する数値とする２次元輝度ヒストグラムを導出する２次元輝度ヒストグラム導出部と、前記第１輝度より大きく、前記第２輝度以下の第３輝度に応じて定まる加重係数を用いて、前記２次元輝度ヒストグラム導出部により導出された２次元輝度ヒストグラムに重みづけを行うことで数値を導出し、当該数値を前記第３輝度に対応する数値とする１次元輝度ヒストグラムを導出する１次元輝度ヒストグラム導出部と、前記１次元輝度ヒストグラム導出部により導出された１次元輝度ヒストグラムが所定のヒストグラムに変換されるように輝度変換関数を導出し、当該輝度変換関数を用いて、入力画像の各画素の輝度を変換する輝度変換部と、を備えた画像調整装置である。

　本発明により、より好適に画像を編集することが可能となる。

画像調整装置の構成を示すブロック図である。 ２次元輝度ヒストグラム導出部の構成を示すブロック図である。 導出されたｐ（ｃ_ｉ，ｊ）を示すグラフである。 １次元輝度ヒストグラム導出部の構成を示すブロック図である。 ２次元輝度ヒストグラムから導出された１次元輝度ヒストグラムを示す図である。 １次元輝度ヒストグラムから導出された輝度変換関数を示す図である。 処理の流れを示すフローチャートである。

　本発明の実施形態について、図面を参照して詳細に説明する。図１は、実施形態における画像調整装置１００の構成を示すブロック図である。画像調整装置１００は、入力された入力画像を調整し、出力画像として出力する装置である。入力画像は、濃淡画像である。出力画像は、入力画像を強調した画像である。具体的には、入力画像のコントラストを拡大し、入力画像内の隠れた詳細を明らかにした結果の画像である。

　本実施形態を濃淡画像に適用する場合には、この濃淡画像を入力画像とする。本実施形態をカラー画像に適用する場合、このカラー画像から濃淡画像を導出し、この濃淡画像を入力画像とする。例えばＨＳＶ色空間におけるカラー画像のＶ成分画像を濃淡画像として導出する。画像調整装置１００は、カラー画像から導出された濃淡画像のみに対して調整するため、出力画像はカラー情報を含まない。カラー情報を含む画像を出力画像とする場合、ＨＳＶ色空間において、カラー画像のＶ成分画像を調整された画像に置き換える。

　画像調整装置１００は、２次元輝度ヒストグラム導出部２００、１次元輝度ヒストグラム導出部３００、および輝度変換部４００で構成される。

　２次元輝度ヒストグラム導出部２００は、入力画像における局所領域内に共起した第１輝度を有する第１画素と、第２輝度を有する第２画素とから統計量を導出し、当該統計量を第１輝度および第２輝度に対応する数値とする２次元輝度ヒストグラムを導出する。１次元輝度ヒストグラム導出部３００は、第１輝度より大きく、第２輝度以下の第３輝度に応じて定まる加重係数を用いて、２次元輝度ヒストグラム導出部２００により導出された２次元輝度ヒストグラムに重みづけを行うことで数値を導出し、当該数値を第３輝度に対応する数値とする１次元輝度ヒストグラムを導出する。輝度変換部４００は、１次元輝度ヒストグラム導出部３００により導出された１次元輝度ヒストグラムが所定のヒストグラムに変換されるように輝度変換関数を導出し、当該輝度変換関数を用いて、入力画像の各画素の輝度を変換する。以下、これらの詳細について説明する。

　２次元輝度ヒストグラム導出部２００は、入力画像が入力され、２次元輝度ヒストグラムを１次元輝度ヒストグラム導出部３００に出力する。入力画像をＡ＝｛ａ（ｑ）｝とする。ａ（ｑ）∈［０，Ｋ）は入力画像の座標ｑにある画素の輝度である。Ｋは濃淡画像の画素が取り得る輝度の総数であり、本実施形態ではＫ＝２５６とする。

　入力画像において、第１輝度ｉ∈［０，Ｋ）を有する画素を中心とする局所領域内に、第２輝度ｊ∈［０，Ｋ）が出現する事象をｃ_ｉ，ｊとする。すなわち、ｃ_ｉ，ｊは、第１輝度ｉと第２輝度ｊが入力画像の局所領域内に共起する事象である。

　２次元輝度ヒストグラム導出部２００は、第１輝度ｉと第２輝度ｊが入力画像の局所領域内に共起する事象が発生する確率をｐ（ｃ_ｉ，ｊ）とし、統計量すなわち第１輝度ｉと第２輝度ｊのペアにおけるヒストグラム値とする。２次元輝度ヒストグラム導出部２００は、これらのヒストグラム値の集合を２次元輝度ヒストグラムとする。

　２次元輝度ヒストグラム導出部２００は、第１輝度ｉと第２輝度ｊのペアの各々について、所望のコントラスト強調の度合が大きいほど、第１輝度ｉと第２輝度ｊのペアにおけるヒストグラム値ｐ（ｃ_ｉ，ｊ）が大きくなるように、２次元輝度ヒストグラムを導出することが望ましい。

　すなわち、２次元輝度ヒストグラムのヒストグラム値が所望のコントラスト強調の度合を正確に表すことが望ましい。以下の説明では、２つの輝度間のコントラストが輝度変換関数によってどれだけ拡大されるかを「実際のコントラスト強調の度合」と表現する。２つの輝度において、実際のコントラスト強調の度合はどの程度が望ましいかを「所望のコントラスト強調の度合」と表現する。

　２次元輝度ヒストグラム導出部２００は、入力画像の局所領域内に共起した第１画素と第２画素のペアの各々から、第１輝度ｉと第２輝度ｊとの間の差分を導出し、これらの差分を統合した結果の数値を、第１輝度ｉと第２輝度ｊが入力画像の局所領域内に共起する事象が発生する確率ｐ（ｃｉ，ｊ）とし、第１輝度ｉと第２輝度ｊのペアにおけるヒストグラム値とする。２次元輝度ヒストグラム導出部２００は、これらのヒストグラム値の集合を２次元輝度ヒストグラムとして導出する。

　具体的に、２次元輝度ヒストグラム導出部２００は、以下のように２次元輝度ヒストグラムを導出する。入力画像をＡ＝｛ａ（ｑ）｝とする。ａ（ｑ）∈［０，Ｋ）は入力画像の座標ｑにある画素の輝度である。２次元輝度ヒストグラム導出部は、第１輝度ｉと第２輝度ｊのペアの各々について、ヒストグラム値ｐ（ｃ_ｉ，ｊ）を下記（１）を用いて導出する。

　ここで、Ｎ（ｑ）は座標ｑを中心とする局所領域内にある座標の集合であり、局所領域のサイズは例えば７×７である。δ（ｘ，ｙ）はクロネッカーのデルタで、ｘ＝ｙの場合は１、ｘ≠ｙの場合は０となる。２次元輝度ヒストグラム導出部２００は、第１輝度ｉと第２輝度ｊのペアの各々について、ヒストグラム値ｐ（ｃ_ｉ，ｊ）を導出した後、これらのヒストグラム値の集合を２次元輝度ヒストグラムとして導出する。

　次に、上記（１）による統計量の導出に代えて、反射率画像を用いて２次元輝度ヒストグラムを導出する例について説明する。図２は、反射率画像を用いて２次元輝度ヒストグラムを導出する場合の２次元輝度ヒストグラム導出部２００の構成を示すブロック図である。２次元輝度ヒストグラム導出部２００は、反射率画像導出部２１０と２次元輝度ヒストグラム計算部２２０とを備える。反射率画像導出部２１０は、入力画像から反射率画像を導出し、２次元輝度ヒストグラム計算部２２０に出力する。２次元輝度ヒストグラム計算部２２０は、入力画像と反射率画像を用いて２次元輝度ヒストグラムを計算することで、２次元輝度ヒストグラムを導出する。

　反射率画像導出部２１０は、入力画像を平滑化した画像を照明画像とし、入力画像から照明画像を除去した画像を反射率画像として導出する。具体的に、以下のように反射率画像を導出する。本実施形態では、反射率画像導出部２１０は、「Structure Extraction from Texture via Relative Total Variation, Li Xu他、ACM Transactions on Graphics, Vol. 31, No. 6, Article 139, Publication Date: November 2012」に記載の方法を使用して照明画像を導出する。

　この方法は、各画素の周辺の局所領域における、輝度の一次導関数の絶対値の平均と輝度の一次導関数の平均の絶対値との比率を、各画素についてのテクスチャの強度とする。照明画像は、入力画像と照明画像の差分と、照明画像のテクスチャの強度との合計が最小になるように最適化される。なお、上記方法の代わりに、メディアンフィルタ、バイラテラルフィルタ、ガイド付きフィルタまたは異方性拡散フィルタを使用して、照明画像を導出してもよい。
　入力画像Ａの照明画像と反射率画像をそれぞれＩとＲとする。反射率画像は、下記（２）を使用して導出される。

　ここで、ｌｎ（・）は自然対数である。また、対数の真数部分に示される演算子は、行列Ａの要素を、行列Ｉの対応する要素で除算することを示す。自然対数の代わりに、１より大きい任意の実数を底とする対数を使用して、反射率画像を導出してもよい。小さな量の差分を拡大する対数関数を使用することで、意味的に重要であることが多い暗い画像領域に対して、反射率の差分を拡大することが可能となる。すなわち、対数関数を使用することは、反射率画像の導出に対して有効である。ここで、反射率とは、反射率画像にある画素の画素値である。

　反射率画像の導出は、入力画像から照明画像を除去する方法であれば良く、特定の方法に限定されない。例えば、入力画像の各画素値を照明画像の各画素値で除算した結果の画像を反射率画像としてもよい。すなわち、反射率画像を下記（３）で導出しても良い。

　このようにして反射率画像が反射率画像導出部２１０により導出されると、２次元輝度ヒストグラム計算部２２０により２次元輝度ヒストグラムが計算される。第１輝度ｉを有する入力画像の画素を第１画素とし、第２輝度ｊを有する入力画像の画素を第２画素とする。第１画素と同じ位置にある反射率画像の画素の画素値を第１反射率とし、第２画素と同じ位置にある反射率画像の画素の画素値を第２反射率とする。

　２次元輝度ヒストグラム計算部２２０は、第１輝度ｉと第２輝度ｊのペアの各々について、入力画像の局所領域内に共起した第１画素と第２画素のペアの各々から、第１反射率と第２反射率の間の差分を導出し、これらの差分を統合した結果の数値を、前記第１輝度と第２輝度のペアにおけるヒストグラム値ｐ（ｃ_ｉ，ｊ）とする。これらのヒストグラム値の集合を２次元輝度ヒストグラムとして導出する。

　具体的に、以下のように２次元輝度ヒストグラムを導出する。反射率画像をＲ＝｛ｒ（ｑ）｝とする。ｒ（ｑ）は反射率画像の座標ｑにある画素の画素値である。２次元輝度ヒストグラム計算部は、第１輝度ｉと第２輝度ｊのペアの各々について、ヒストグラム値ｐ（ｃ_ｉ，ｊ）を下記（４）で導出する。

　ここで、Ｎ（ｑ）は座標ｑを中心とする局所領域内にある座標の集合であり、本実施形態では、局所領域のサイズは７×７である。δ（ｘ，ｙ）はクロネッカーのデルタで、ｘ＝ｙの場合は１、ｘ≠ｙの場合は０となる。２次元輝度ヒストグラム導出部２００は、第１輝度ｉと第２輝度ｊのペアの各々について、ヒストグラム値ｐ（ｃ_ｉ，ｊ）を導出した後、これらのヒストグラム値の集合を２次元輝度ヒストグラムとして導出する。このように、２次元輝度ヒストグラム導出部２００は、第１輝度と第２輝度との差分に基づいて前記統計量を導出することで、２次元輝度ヒストグラムを導出する

　図３は、入力画像に対し、上記（４）により導出されたｐ（ｃ_ｉ，ｊ）を示すグラフである。図３に示されるグラフは、左上が原点であり、横軸はｉを示し、縦軸はｊを示す。また、図３のグラフでは、ｐ（ｃ_ｉ，ｊ）が大きいほど白く表示される。

　反射率画像を用いて２次元輝度ヒストグラムを導出することによる効果について説明する。まず、主となる被写体が写っている画像領域や背景以外の領域など、意味的に重要な画像領域では、テクスチャや模様が含まれる場合が多く、反射率画像における画素値間の差分が大きい場合が多い。テクスチャのない背景や画像の量子化ノイズなど、意味的に重要ではない画像領域では、反射率画像における画素値間の差分が小さい場合が多い。

　そこで、反射率画像を用いて２次元輝度ヒストグラムを導出することにより、２次元輝度ヒストグラムにおいて、意味的に重要な画像領域内に共起した輝度のペアでは、ヒストグラム値がより大きく算出される。また、意味的に重要ではない画像領域内に共起した輝度のペアでは、ヒストグラム値がより小さく算出される。従って、２次元輝度ヒストグラムのヒストグラム値が所望のコントラスト強調の度合を正確に表すことが可能となる。

　次に、１次元輝度ヒストグラム導出部３００について説明する。１次元輝度ヒストグラム導出部３００は、２次元輝度ヒストグラムを２次元輝度ヒストグラム導出部２００から取得し、１次元輝度ヒストグラムを輝度変換部４００に出力する。

　入力画像において、第３輝度ｋ∈［０，Ｋ）が出現する事象をｏ_ｋとする。この事象が発生する確率をｐ（ｏ_ｋ）とし、第３輝度ｋにおけるヒストグラム値とする。これらのヒストグラム値の集合を１次元輝度ヒストグラムとする。後述するように、輝度変換部４００によれば、第３輝度ｋの各々について、輝度ｋ－１と輝度ｋのペアにおける実際のコントラスト強調の度合が、第３輝度ｋにおける１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）に正比例する。

　従って、第１輝度ｉと第２輝度ｊのペアの各々について、実際のコントラスト強調の度合は、第１輝度ｉより大きく第２輝度ｊ以下の全ての第３輝度ｋにおける１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）の合計に正比例する。すなわち、第１輝度ｉと第２輝度ｊのペアの各々について、実際のコントラスト強調の度合は下記（５）に正比例する。

　一方、本実施形態では、２次元輝度ヒストグラムのヒストグラム値が所望のコントラスト強調の度合を表す。ここで、実際のコントラスト強調の度合が２次元輝度ヒストグラムのヒストグラム値に正比例すれば、実際のコントラスト強調の度合が所望のコントラスト強調の度合と一致し、所望の通りに入力画像のコントラストを強調することが可能となる。

　上述の考察によれば、１次元輝度ヒストグラム導出部３００は、第１輝度ｉと第２輝度ｊのペアの各々について、第１輝度ｉより大きく第２輝度ｊ以下の全ての第３輝度ｋにおける１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）の合計が、第１輝度ｉと第２輝度ｊのペアにおける２次元輝度ヒストグラムのヒストグラム値ｐ（ｃ_ｉ，ｊ）に正比例するように、１次元輝度ヒストグラムを導出することが望ましい。

　すなわち、１次元輝度ヒストグラム導出部３００は、第１輝度ｉと第２輝度ｊのペアの各々について、下記（６）に示す条件が満たされるように、１次元輝度ヒストグラムを導出することが望ましい。

　このために、本実施形態では、入力画像において、第３輝度ｋが出現する事象ｏ_ｋと、第３輝度ｋより小さい第１輝度ｉと第３輝度ｋ以上の第２輝度ｊが局所領域内に共起する事象ｃ_ｉ，ｊが、互いに従属すると仮定する。従って、事象ｏ_ｋを周辺事象とすれば、事象ｏ_ｋの確率ｐ（ｏ_ｋ）はｐ（ｃ_ｉ，ｊ）を周辺化することで導出することが可能となる。

　実際の導出例について説明する。図４は、１次元輝度ヒストグラム導出部３００の構成を示すブロック図である。１次元輝度ヒストグラム導出部３００は、加重係数導出部３１０と１次元輝度ヒストグラム計算部３２０とを備える。

　加重係数導出部３１０は、加重係数を１次元輝度ヒストグラム計算部３２０に出力する。加重係数導出部３１０は、第３輝度ｋの各々について、予め優先度係数ｓ_ｋを算出する。例えば、優先度係数ｓ_ｋとして、同一の実数を優先度係数とする。次に、加重係数導出部３１０は、第３輝度ｋと、第３輝度ｋより小さい第１輝度ｉと、第３輝度ｋ以上の第２輝度ｊとの三つ組みの各々について、第３輝度ｋの優先度係数ｓ_ｋを、第１輝度ｉより大きく第２輝度ｊ以下の全ての輝度の優先度係数の合計で除算する。加重係数導出部３１０は、除算結果を、三つ組みにおける加重係数として導出する。

　具体的に、以下のように加重係数を導出する。本実施形態では、加重係数導出部３１０は、第３輝度ｋの各々について、同一の実数１／Ｋを優先度係数ｓ_ｋとする。すなわちｓ_ｋ＝１／Ｋとする。Ｋは上述したように濃淡画像の画素が取り得る輝度の総数である。次に、加重係数導出部３１０は、第３輝度ｋと、第３輝度ｋより小さい第１輝度ｉと、第３輝度ｋ以上の第２輝度ｊとの三つ組みの各々について、三つ組みにおける加重係数ｐ（ｏ_ｋ｜ｃ_ｉ，ｊ）を下記（７）で導出する。

　１次元輝度ヒストグラム計算部３２０は、２次元輝度ヒストグラムを２次元輝度ヒストグラム導出部２００から取得し、加重係数を加重係数導出部３１０から取得し、１次元輝度ヒストグラムを輝度変換部４００に出力する。

　１次元輝度ヒストグラム計算部３２０は、第３輝度ｋの各々について、第３輝度ｋより小さい第１輝度ｉと第３輝度ｋ以上の第２輝度ｊのペアにおける２次元輝度ヒストグラムのヒストグラム値ｐ（ｃ_ｉ，ｊ）に対して、加重係数ｐ（ｏ_ｋ｜ｃ_ｉ，ｊ）を使用して加重合計を導出する。１次元輝度ヒストグラム計算部３２０は、導出した加重合計を第３輝度ｋにおける１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）とする。これらのヒストグラム値の集合を１次元輝度ヒストグラムとして導出する。

　具体的に、以下のように１次元輝度ヒストグラムを導出する。１次元輝度ヒストグラム計算部３２０は、第３輝度ｋの各々について、１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）を下記（８）で導出する。

　ここで、加重係数ｐ（ｏ_ｋ｜ｃ_ｉ，ｊ）は、条件付き確率であり、事象ｃ_ｉ，ｊが発生した時の、事象ｏ_ｋの確率である。上記（８）は、事象ｏ_ｋを周辺事象とし、事象ｏ_ｋの確率ｐ（ｏ_ｋ）を、ｐ（ｃ_ｉ，ｊ）を周辺化することで導出することを示している。１次元輝度ヒストグラム計算部３２０は、第３輝度ｋの各々について、１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）を導出した後、これらのヒストグラム値の集合を１次元輝度ヒストグラムとして導出する。

　１次元輝度ヒストグラムの他の導出例について説明する。１次元輝度ヒストグラム導出部３００は、以下のような反復法を用いて１次元輝度ヒストグラムを導出してもよい。具体的に、加重係数導出部３１０は、１回目の反復において、加重係数を１次元輝度ヒストグラム計算部３２０に出力する。２回目以降の反復において、加重係数導出部３１０は、前回の反復で導出された１次元輝度ヒストグラムを１次元輝度ヒストグラム計算部３２０から取得し、加重係数を１次元輝度ヒストグラム計算部３２０に出力する。

　１回目の反復では、加重係数導出部３１０は、第３輝度ｋの各々について、優先度係数ｓ_ｋの初期値を算出する。例えば、優先度係数ｓ_ｋとして、同一の実数を優先度係数とする。次に、加重係数導出部３１０は、第３輝度ｋと、第３輝度ｋより小さい第１輝度ｉと、第３輝度ｋ以上の第２輝度ｊとの三つ組みの各々について、第３輝度ｋの優先度係数ｓ_ｋを、第１輝度ｉより大きく第２輝度ｊ以下の全ての輝度の優先度係数の合計で除算する。加重係数導出部３１０は、除算結果を、三つ組みにおける加重係数として導出する。

　このように、１次元輝度ヒストグラム導出部３００は、各々の第３輝度について優先度係数を導出する。１次元輝度ヒストグラム導出部３００は、第１輝度と第２輝度と第３輝度とに対応する加重係数を、除算結果とする。ここでの除算結果とは、第３輝度に対応する優先度係数を、第１輝度より大きく第２輝度以下の全ての輝度に対応する優先度係数の合計で除算した除算結果である。

　具体的に、以下のように加重係数を導出する。本実施形態では、加重係数導出部３１０は、第３輝度ｋの各々について、同一の実数１／Ｋを優先度係数ｓ_ｋとする。すなわちｓ_ｋ＝１／Ｋとする。

　２回目以降の反復では、第３輝度ｋの各々について、前回の反復で導出された１次元輝度ヒストグラムのヒストグラム値を、第３輝度ｋの優先度係数ｓ_ｋとする。次に、第３輝度ｋと、第３輝度ｋより小さい第１輝度ｉと、第３輝度ｋ以上の第２輝度ｊとの三つ組みの各々について、三つ組みにおける加重係数ｐ（ｏ_ｋ｜ｃ_ｉ，ｊ）を上記（７）で導出する。

　１次元輝度ヒストグラム計算部３２０は、２次元輝度ヒストグラムを２次元輝度ヒストグラム導出部２００から取得し、加重係数を加重係数導出部３１０から取得し、反復回数が最大反復回数に到達するまで、１次元輝度ヒストグラムを加重係数導出部３１０に出力する。１次元輝度ヒストグラム計算部３２０は、反復回数が所定の最大反復回数に到達したら、１次元輝度ヒストグラムを輝度変換部４００に出力する。

　１次元輝度ヒストグラム計算部３２０は、第３輝度ｋの各々について、第３輝度ｋより小さい第１輝度ｉと第３輝度ｋ以上の第２輝度ｊのペアにおける２次元輝度ヒストグラムのヒストグラム値ｐ（ｃ_ｉ，ｊ）に対して、加重係数ｐ（ｏ_ｋ｜ｃ_ｉ，ｊ）を使用して加重合計を導出する。１次元輝度ヒストグラム計算部３２０は、導出した加重合計を第３輝度ｋにおける１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）とする。これらのヒストグラム値の集合を１次元輝度ヒストグラムとして導出する。

　１次元輝度ヒストグラム計算部３２０は、第３輝度ｋの各々について、１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）を上記（８）で導出する。第３輝度ｋの各々について、１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）を導出した後、これらのヒストグラム値の集合を１次元輝度ヒストグラムとして導出する。

　１次元輝度ヒストグラム計算部３２０は、反復回数が最大反復回数に到達するまで、上述の処理を繰り返す。反復回数が最大反復回数に到達したら、最後の反復で導出した１次元輝度ヒストグラムを輝度変換部４００に出力する。最大反復回数は２回や３回程度で十分であり、本実施形態では最大反復回数を２回に設定する。図５は、図３で示した２次元輝度ヒストグラムから導出された１次元輝度ヒストグラムを示す図である。図５では、横軸が輝度値を示し、縦軸が度数を示す。

　反復法を用いた１次元輝度ヒストグラム導出部３００によれば、第３輝度は、前回の反復で導出された１次元輝度ヒストグラムのヒストグラム値が大きいほど優先度係数が大きくなり、現在の反復で導出される１次元輝度ヒストグラムのヒストグラム値が２次元輝度ヒストグラムからより多くの画像情報を取得することが可能となる。すなわち、より正確に１次元輝度ヒストグラムを導出することが可能となる。

　次に、輝度変換部４００について説明する。輝度変換部４００は、入力画像を取得し、１次元輝度ヒストグラムを１次元輝度ヒストグラム導出部３００から取得し、出力画像を出力する。輝度変換部４００は、１次元輝度ヒストグラムが所定のヒストグラムに変換されるように、輝度を変換する輝度変換関数を導出する。この輝度変換関数を使用して、入力画像の各画素の輝度を変換した結果の画像を出力画像として導出する。なお、本実施形態では、一様分布関数を所定のヒストグラムとする。

　入力画像をＡ＝｛ａ（ｑ）｝とする。出力画像をＢ＝｛ｂ（ｑ）｝とする。ａ（ｑ）∈［０，Ｋ）とｂ（ｑ）∈［０，Ｋ）は、それぞれ入力画像と出力画像の座標ｑにある画素の輝度である。輝度変換部は、ｂ（ｑ）＝Ｔ（ａ（ｑ））の形式の輝度変換関数Ｔ（・）を導出する。この輝度変換関数Ｔ（・）を使用して、入力画像Ａの各画素ｑの輝度ａ（ｑ）を変換した結果の画像を出力画像Ｂとして導出する。具体的に、以下のように出力画像を導出する。

　入力画像Ａにおける１次元輝度ヒストグラムｐ（ｏ_ｋ）の累積分布関数をＰ_ａ（ｋ）とし、前記所定のヒストグラムの累積分布関数をＰ_ｂ（ｋ）とする。輝度変換部は、輝度変換関数Ｔ（・）を式９で導出する。ここで、Ｐ^－１ _ｂ（・）は累積分布関数Ｐ_ｂ（ｋ）の逆関数である。

　上述したように、本実施形態では、一様分布関数を所定のヒストグラムとしている。この場合、輝度変換部４００の処理はヒストグラム平坦化と同等であり、上記（９）は下記（１０）となる。

　図６は、図５の１次元輝度ヒストグラムから導出された輝度変換関数を示す図である。図６では、横軸が変換前の輝度値を示し、縦軸が変換後の輝度値を示す。なお、一様分布関数の代わりに、対数関数や線形関数などを所定のヒストグラムとしても良い。輝度変換関数Ｔ（・）を導出した後、ｂ（ｑ）＝Ｔ（ａ（ｑ））によって、入力画像Ａの各画素ｑの輝度ａ（ｑ）を変換した結果の画像を出力画像Ｂとして導出する。

　なお、輝度変換関数を上記（１０）で導出した場合、第３輝度ｋの各々について、輝度ｋ－１と輝度ｋのペアにおける実際のコントラスト強調の度合は下記（１１）となり、第３輝度ｋにおける１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）に正比例する。

　従って、第１輝度ｉと第２輝度ｊのペアの各々について、実際のコントラスト強調の度合は、第１輝度ｉより大きく第２輝度ｊ以下の全ての第３輝度ｋにおける１次元輝度ヒストグラムのヒストグラム値ｐ（ｏ_ｋ）の合計に正比例する。すなわち、第１輝度ｉと第２輝度ｊのペアの各々について、実際のコントラスト強調の度合は上記（５）に正比例する。

　以上説明した１次元輝度ヒストグラム導出部３００と輝度変換部４００によれば、第１輝度と第２輝度のペアの各々について、実際のコントラスト強調の度合が、第１輝度と第２輝度のペアにおける２次元輝度ヒストグラムのヒストグラム値に正比例する。従って、２次元輝度ヒストグラムのヒストグラム値が所望のコントラスト強調の度合を正確に表すことができれば、所望の通りに入力画像のコントラストを強調することが可能となる。結果として、意味的に重要ではない画像領域において、２次元輝度ヒストグラムのヒストグラム値を調整することで、コントラストの過度強調を抑制しながら、画像強調を実現することが可能となる。

　また、２次元輝度ヒストグラム導出部２００と１次元輝度ヒストグラム導出部３００によれば、非常に小さい（暗い）第１輝度と非常に大きい（明るい）第２輝度が入力画像の局所領域内に頻繁に共起する場合でも、これらの輝度が輝度範囲の中央に過度に引き寄せられることなく、より正しい輝度変換が可能となる。従って、輝度範囲の中央近くのコントラストが減衰することなく、画像強調を実現することが可能となる。

　図７は、上述した処理の流れを示すフローチャートである。画像調整装置１００は、入力画像が入力される（ステップＳ１０１）。画像調整装置１００は、２次元輝度ヒストグラムを導出するにあたり、反射率画像を用いるか否かを判定する（ステップＳ１０２）。反射率画像を用いるか否かは、例えばユーザにより設定された内容が記憶された不図示の記憶装置を参照することで判定される。

　反射率画像を用いない場合（ステップＳ１０２：ＮＯ）、画像調整装置１００は、上記（１）を用いて、２次元輝度ヒストグラムを導出し（ステップＳ１０３）、ステップＳ１０４に進む。反射率画像を用いる場合（ステップＳ１０２：ＹＥＳ）、画像調整装置１００は、反射率画像を導出する（ステップＳ１０９）。画像調整装置１００は、上記（４）を用いて、２次元輝度ヒストグラムを導出し（ステップＳ１０３）、ステップＳ１０４に進む。

　画像調整装置１００は、加重係数を導出する（ステップＳ１０４）。画像調整装置１００は、１次元輝度ヒストグラムを導出する（ステップＳ１０５）。画像調整装置１００は、反復上限回数に到達したか否かを判定する（ステップＳ１０６）。反復上限回数は、例えばユーザにより設定された内容が記憶された不図示の記憶装置を参照することで取得する。反復上限回数が１の場合は、反復法を行わないことを示す。

　反復上限回数に到達していない場合には（ステップＳ１０６：ＮＯ）、画像調整装置１００は、ステップＳ１０５で導出された１次元輝度ヒストグラムにおける第３輝度に対応する数値を、第３輝度に対応する優先度係数として、ステップＳ１０４で再び加重係数を導出する。一方、反復上限回数に到達したか、反復上限回数が１の場合には（ステップＳ１０６：ＹＥＳ）、画像調整装置１００は、輝度変換し（ステップＳ１０７）、輝度変換した画像を出力画像として出力し（ステップＳ１０８）、処理を終了する。

　以上説明した実施形態において、画像調整装置１００は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成されてもよい。この場合、画像調整装置１００は、プロセッサーがプログラムを実行することによって、画像調整装置１００として機能する。なお、画像調整装置１００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピュータシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

　本発明は、画像を強調する装置や画像を編集するソフトウェアに適用可能である。

１００…画像調整装置、２００…２次元輝度ヒストグラム導出部、２１０…反射率画像導出部、２２０…２次元輝度ヒストグラム計算部、３００…１次元輝度ヒストグラム導出部、３１０…加重係数導出部、３２０…１次元輝度ヒストグラム計算部、４００…輝度変換部

Claims (7)

1. 　入力画像における局所領域内に共起した第１輝度を有する第１画素と、第２輝度を有する第２画素とから統計量を導出し、当該統計量を前記第１輝度および前記第２輝度に対応する数値とする２次元輝度ヒストグラムを導出する２次元輝度ヒストグラム導出ステップと、
   　前記第１輝度より大きく、前記第２輝度以下の第３輝度に応じて定まる加重係数を用いて、前記２次元輝度ヒストグラム導出ステップにより導出された２次元輝度ヒストグラムに重みづけを行うことで数値を導出し、当該数値を前記第３輝度に対応する数値とする１次元輝度ヒストグラムを導出する１次元輝度ヒストグラム導出ステップと、
   　前記１次元輝度ヒストグラム導出ステップにより導出された１次元輝度ヒストグラムが所定のヒストグラムに変換されるように輝度変換関数を導出し、当該輝度変換関数を用いて、入力画像の各画素の輝度を変換する輝度変換ステップと、
   　を備えた画像調整方法。
2. 　前記２次元輝度ヒストグラム導出ステップは、前記第１輝度と前記第２輝度との差分に基づいて前記統計量を導出することで、前記２次元輝度ヒストグラムを導出する請求項１に記載の画像調整方法。
3. 　前記２次元輝度ヒストグラム導出ステップは、入力画像から、入力画像を平滑化した画像を除去した反射率画像を用いて、前記２次元輝度ヒストグラムを導出する請求項１に記載の画像調整方法。
4. 　前記１次元輝度ヒストグラム導出ステップは、各々の前記第３輝度について優先度係数を導出し、前記第１輝度と前記第２輝度と前記第３輝度とに対応する加重係数を、前記第３輝度に対応する優先度係数を、前記第１輝度より大きく前記第２輝度以下の全ての輝度に対応する優先度係数の合計で除算した除算結果とする請求項１から請求項３のいずれか１項に記載の画像調整方法。
5. 　前記１次元輝度ヒストグラム導出ステップは、導出された１次元輝度ヒストグラムにおける前記第３輝度に対応する数値を、前記第３輝度に対応する優先度係数として、再び加重係数を導出する請求項４に記載の画像調整方法。
6. 　請求項１から請求項５のいずれか１項に記載の画像調整方法をコンピュータに実行させるためのプログラム。
7. 　入力画像における局所領域内に共起した第１輝度を有する第１画素と、第２輝度を有する第２画素とから統計量を導出し、当該統計量を前記第１輝度および前記第２輝度に対応する数値とする２次元輝度ヒストグラムを導出する２次元輝度ヒストグラム導出部と、
   　前記第１輝度より大きく、前記第２輝度以下の第３輝度に応じて定まる加重係数を用いて、前記２次元輝度ヒストグラム導出部により導出された２次元輝度ヒストグラムに重みづけを行うことで数値を導出し、当該数値を前記第３輝度に対応する数値とする１次元輝度ヒストグラムを導出する１次元輝度ヒストグラム導出部と、
   　前記１次元輝度ヒストグラム導出部により導出された１次元輝度ヒストグラムが所定のヒストグラムに変換されるように輝度変換関数を導出し、当該輝度変換関数を用いて、入力画像の各画素の輝度を変換する輝度変換部と、
   　を備えた画像調整装置。

Images