JP5745482B2 - 画像処理装置、画像表示装置、画像撮像装置及び画像印刷装置、階調変換方法並びにプログラム - Google Patents

Description

本発明は画像処理装置、画像表示装置、画像撮像装置及び画像印刷装置、階調変換方法並びにプログラムに関する技術であり、特に、画像の視認性を向上する画像処理技術に関する。

画像のコントラスト強調やダイナミックレンジ圧縮を行う処理として階調変換技術がある。コントラスト強調は、明度が高い画素の明度がより高く、明度が低い画素の明度がより低くなるように階調変換を行うことで、画像全体のコントラストを向上させる処理である。コントラスト強調をする場合、一般に、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を保有しておき、入力階調値に対して出力階調値を対応させておくことで実現する。

また、ダイナミックレンジ圧縮は、画像の明度の最大値と最小値の幅が狭くなるように階調変換を行う処理である。ダイナミックレンジ圧縮をする場合も、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の階調値を入力階調値とし、ダイナミックレンジ圧縮後の階調値を出力階調値としたＬＵＴを保有することで実現する。ＨＤＲ画像とは、通常のモニタで表示可能な標準的なダイナミックレンジより大きいダイナミックレンジを有する画像のことである。
なお、入力画像がＨＤＲ画像で無い場合には、明部領域の階調を圧縮して暗部領域の視認性を向上する効果がある。

しかし、上記のコントラスト強調処理を用いた場合、暗部領域および明部領域の階調が飽和してしまうという問題があり、ダイナミックレンジ圧縮により暗部領域の視認性を向上する場合、明部領域の階調が飽和してしまうという問題がある。
そこで、明部領域の飽和を低減しながら暗部領域の視認性を向上する方法として、特許文献１には、輝度分布を算出して画素ごとに階調変換を行う方法が開示されている。

特許文献１に係る発明によれば、入力画像について平均化フィルタにより輝度値を平均化し、画像処理の注目画素の平均輝度から画像処理の補正利得を算出する。このとき、平均輝度と補正利得の関係は、単調減少の関係となる。特許文献１に係る発明によれば、入力画像の各画素の周辺を含めた平均輝度に基づいて階調変換を行うため、各画素とその周辺画素の補正利得が近い値となるため、コントラストを維持することができる。また、明部領域階調の補正利得を小さくし、暗部領域階調の補正利得を大きくすることで、明部領域の飽和を低減し、暗部領域の視認性を向上している。

特開２００８−７２４５０号公報

しかしながら、特許文献１に係る方法は以下に示す課題を有する。
特許文献１に係る方法によれば、周辺画素との局所的コントラストを維持しながら暗部領域の視認性を向上させるために、暗部領域の明度を高くする。これにより、画像全体のコントラスト感が低下してしまうという問題がある。これは、暗部領域の明度が高くなったために、画像全体を見たときに、明暗の分布が少なくなるためである。ここで、「コントラスト感」とは、画像全体の大局的な明暗差、画像中における明部と暗部の分布、注目する被写体における明暗の分布等、画像を観察した人間が実際に画像から受けるコントラストに関する主観的な感覚のことである。

また、元々明るい画像に対して特許文献１に係る方法を実行すると、明部領域の明るさが微小に向上するだけで、視認性の向上がなく画像全体のコントラスト感だけが減少してしまう。
そこで本発明は、上記課題に鑑みてなされたものであり、コントラスト感を向上し、かつ視認性を高めた画像を生成することが可能な画像処理装置、画像表示装置、画像撮像装置及び画像印刷装置、階調変換方法並びにプログラムを提供する。

本発明は上記の課題を解決するためになされたものであり、画像の階調変換を行う画像処理装置であって、入力画像の各画素について、当該画素を中心とした所定の領域である第１領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出する第１照明光分布算出部と、前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第１補正係数を算出する第１補正係数算出部と、前記第１補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う第１階調変換部と、前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域より小さい領域である第２領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第２照明光分布を算出する第２照明光分布算出部と、前記第１階調変換部が階調変換した画像の各画素について、前記第２照明光分布に基づいて、照明光強度に対して単調増加する係数である第２補正係数を算出する第２補正係数算出部と、前記第２補正係数に応じて、前記第１階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第１階調変換部が階調変換した画像の階調変換を行う第２階調変換部とを備えることを特徴とする。

また、本発明において前記第１補正係数算出部は、前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少し、照明光強度が所定の閾値未満であるときに照明光強度に対して単調増加する係数である第１補正係数を算出することを特徴とする。

また、本発明において前記第１照明光分布算出部は、入力画像の各画素について、当該画素を中心とした前記第２領域より大きい領域である複数の第１領域における明るさを算出することで、複数の前記第１照明光分布を算出し、前記第１補正係数算出部は、前記入力画像の各画素について、複数の前記第１照明光分布に基づいて前記第１補正係数を算出することを特徴とする。

また、本発明において前記第２照明光分布算出部は、前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域より小さい領域である複数の第２領域における明るさを算出することで、複数の前記第２照明光分布を算出し、前記第２補正係数算出部は、前記第１階調変換部が階調変換した画像の各画素について、複数の前記第２照明光分布に基づいて前記第２補正係数を算出することを特徴とする。

また、本発明において前記第１補正係数算出部は、照明光強度が最大の画素についての前記第１補正係数が１となるように前記第１補正係数を算出することを特徴とする。

また、本発明において前記第２補正係数算出部は、照明光強度が最大の画素についての前記第２補正係数が１となるように前記第２補正係数を算出することを特徴とする。

また、本発明は、前記第１補正係数の算出方法を複数記憶する算出方法記憶部と、前記算出方法記憶部が記憶する算出方法の中から１つを選択する算出方法選択部とを備え、前記第１補正係数算出部は、前記算出方法選択部が選択した算出方法を用いて前記第１補正係数を算出することを特徴とする。

また、本発明は、前記第２補正係数の算出方法を複数記憶する算出方法記憶部と、前記算出方法記憶部が記憶する算出方法の中から１つを選択する算出方法選択部とを備え、前記第２補正係数算出部は、前記算出方法選択部が選択した算出方法を用いて前記第２補正係数を算出することを特徴とする。

また、本発明において前記算出方法選択部は、利用者の指示に従って前記算出方法記憶部が記憶する算出方法の中から１つを選択することを特徴とする。

また、本発明は、前記入力画像または前記第１階調変換部が階調変換した画像を解析する画像解析部を備え、前記算出方法選択部は、前記画像解析部の解析結果に従って前記算出方法記憶部が記憶する算出方法の中から１つを選択することを特徴とする。

また、本発明は、上記画像処理装置と、前記第２階調変換部が階調変換した画像を表示する画像表示部とを備えることを特徴とする画像表示装置である。

また、本発明は、上記画像処理装置と、前記入力画像を撮像する撮像素子とを備えることを特徴とする画像撮像装置である。

また、本発明は、上記画像処理装置と、前記第２階調変換部が階調変換した画像を印刷する画像印刷部とを備えることを特徴とする画像印刷装置である。

また、本発明は、画像の階調変換を行う画像処理装置を用いた階調変換方法であって、第１照明光分布算出部は、入力画像の各画素について、当該画素を中心とした所定の領域である第１領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出し、第１補正係数算出部は、前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第１補正係数を算出し、第１階調変換部は、前記第１補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行い、第２照明光分布算出部は、前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域より小さい領域である第２領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第２照明光分布を算出し、第２補正係数算出部は、前記第１階調変換部が階調変換した画像の各画素について、前記第２照明光分布に基づいて、照明光強度に対して単調増加する係数である第２補正係数を算出し、第２階調変換部は、前記第２補正係数に応じて、前記第１階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第１階調変換部が階調変換した画像の階調変換を行うことを特徴とする。

また、本発明は、コンピュータを、入力画像の各画素について、当該画素を中心とした所定の領域である第１領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出する第１照明光分布算出部、前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第１補正係数を算出する第１補正係数算出部、前記第１補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う第１階調変換部、前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域より小さい領域である第２領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第２照明光分布を算出する第２照明光分布算出部、前記第１階調変換部が階調変換した画像の各画素について、前記第２照明光分布に基づいて、照明光強度に対して単調増加する係数である第２補正係数を算出する第２補正係数算出部、前記第２補正係数に応じて、前記第１階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第１階調変換部が階調変換した画像の階調変換を行う第２階調変換部として機能させるためのプログラムである。

本発明によれば、画像処理装置は、入力画像における暗部領域の視認性を向上するとともに、コントラスト感も向上させることができる。

第１の実施形態に係る画像処理装置の構成を示す概略ブロック図である。 第１の実施形態に係る画像処理装置の動作を示すフローチャートである。 第１照明光分布算出部が算出した照明光分布Ｙ１の例を示す図である。 照明光分布Ｙ１と補正係数αの関係の例を示す図である。 補正係数αを使用して階調変換を行ったときの局所的な領域の画素値の状態の例を示す図である。 第１階調変換部が出力する画像の例を示す図である。 第２照明光分布算出部が算出した照明光分布Ｙ２の例を示す図である。 照明光分布Ｙ２と補正係数βとの関係を示す図である。 補正係数βを使用して階調変換を行ったときの局所的な領域の画素値の状態の例を示す図である。 第２階調変換部から出力される画像の例を示す図である。 第１の実施形態に係る画像処理装置を備える画像表示装置の構成を示す概略ブロック図である。 第１の実施形態に係る画像処理装置を備える画像撮像装置の構成を示す概略ブロック図である。 第１の実施形態に係る画像処理装置を備える画像印刷装置の構成を示す概略ブロック図である。 第２の実施形態に係る画像処理装置の構成を示す概略ブロック図である。 第３の実施形態に係る画像処理装置の構成を示す概略ブロック図である。 第４の実施形態に係る画像処理装置の構成を示す概略ブロック図である。

《第１の実施形態》
以下、図面を使って本発明の第１の実施形態について詳細に説明する。
図１は、第１の実施形態に係る画像処理装置１００の構成を示す概略ブロック図である。
本実施形態に係る画像処理装置１００は、第１照明光分布算出部１０１、第１補正係数算出部１０２、第１階調変換部１０３、第２照明光分布算出部１０４、第２補正係数算出部１０５、第２階調変換部１０６を備え、入力画像に対して画像処理を行い、画像処理によって得られた画像を出力する。

画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウエア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウエア処理によって画像処理を行う。

第１照明光分布算出部１０１は、入力画像に基づいて、入力画像の各画素の照明光強度を示す照明光分布Ｙ１（第１照明光分布）を算出する。
第１補正係数算出部１０２は、照明光分布Ｙ１に基づいて、入力画像の画素ごとに、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少し、照明光強度が所定の閾値未満であるときに照明光強度に対して単調増加する補正係数α（第１補正係数）を算出する。なお、本実施形態において「単調減少」とは、ｘ_１＜ｘ_２である場合に、ｆ（ｘ_１）≧ｆ（ｘ_２）となる関係を言う（広義単調減少、単調非増加）。
第１階調変換部１０３は、入力画像の各画素の階調値に補正係数αを乗じることで、入力画像の階調変換を行う。

第２照明光分布算出部１０４は、第１階調変換部１０３が階調変換した画像に基づいて、当該画像の各画素の照明光強度を示す照明光分布Ｙ２（第２照明光分布）を算出する。
第２補正係数算出部１０５は、照明光分布Ｙ１に基づいて、第１階調変換部１０３が階調変換した画像の画素ごとに、照明光強度に対して単調増加する補正係数β（第２補正係数）を算出する。なお、本実施形態において「単調増加」とは、ｘ_１＜ｘ_２である場合に、ｆ（ｘ_１）≦ｆ（ｘ_２）となる関係を言う（広義単調増加、単調非減少）。
第２階調変換部１０６は、第１階調変換部１０３が階調変換した画像の各画素の階調値に補正係数βを乗じることで、第１階調変換部１０３が階調変換した画像の階調変換を行う。

次に、第１の実施形態に係る画像処理装置１００の動作について説明する。
図２は、第１の実施形態に係る画像処理装置１００の動作を示すフローチャートである。
まず、第１照明光分布算出部１０１は、画像処理装置１００に入力された入力画像の照明光分布Ｙ１を算出し、結果を第１補正係数算出部１０２に出力する（ステップＳ１）。具体的には、第１照明光分布算出部１０１は、照明光分布は画像内で連続的に変化するものという仮定に基づいて、各画素の明るさＹを平均化することにより、照明光分布Ｙ１を算出する。なお本実施形態において明るさＹは、例えば、赤色Ｒ、緑色Ｇ、青色Ｂの各色の画素値から、Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂとして算出しても良い。また、計算を単純化するために、Ｙ＝Ｒ＋Ｇ＋Ｂ、Ｙ＝０．２５×Ｒ＋０．５×Ｇ＋０．２５×Ｂなどにより算出しても良い。さらに、赤色、緑色、青色の画素値の最大値（ＨＳＶ色空間で示される明度）を明るさＹとして使用しても良い。

第１照明光分布算出部１０１による明るさＹの平均化は、例えば、入力画像の各画素とその周辺画素の平均値、または重み付き平均などを用いる。なお、平均化する領域（第１領域）は、ユーザがディスプレイを注視したときに、当該領域内で明るさを比較できる程度の大きさであることが好ましいため、想定する視距離とディスプレイサイズによって適宜設定する。

図３は、第１照明光分布算出部１０１が算出した照明光分布Ｙ１の例を示す図である。
図３（ａ）に示す画像が入力画像として画像処理装置１００に入力されると、第１照明光分布算出部１０１は、図３（ａ）に示す入力画像の各画素を第１領域で平均化することで、照明光分布Ｙ１を算出する。なお、算出した照明光分布Ｙ１を画像に変換すると図３（ｂ）のようになる。

次に、第１補正係数算出部１０２は、第１照明光分布算出部１０１が算出した照明光分布Ｙ１に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少し、照明光強度Ｙｔｈが所定の閾値未満であるときに照明光強度に対して単調増加する補正係数αを算出する（ステップＳ２）。

つまり、第１補正係数算出部１０２は、照明光分布Ｙ１の照明光強度が大きい場合、すなわち照明光が十分に有り被写体が明るく撮影されている場合、被写体の視認性は十分であるため、補正係数αを小さい値にする。他方、第１補正係数算出部１０２は、照明光分布Ｙ１の照明光強度が小さい場合、つまり、照明光が不十分で被写体が暗く撮影されている場合、被写体の視認性が低いため補正係数αを大きい値にする。これにより、暗部領域の階調値を大きくして視認性を向上させることができる。

また、第１補正係数算出部１０２は、照明光分布Ｙ１の照明光強度が所定の閾値Ｙｔｈ未満となる領域についての補正係数αを小さい値にする。入力画像のうち、照明光分布Ｙ１の照明光強度が非常に低い領域では、撮影時に暗部ノイズが発生し、被写体の情報がノイズで判別できないおそれがある。そのため、補正係数αを小さくすることで、ノイズに対して小さな補正係数で階調変換をすることになり、ノイズが目立つことを低減することができる。

このように、第１補正係数算出部１０２は、照明光分布Ｙ１が示す各画素における照明光強度によって補正係数αを変化させることにより、局所的なコントラストを維持しつつ、暗部領域の視認性を向上するための補正係数αを算出する。これは、照明光分布Ｙ１の照明光強度が明るさＹを平均化して算出されることにより、隣接する２つの画素の照明光分布Ｙ１の照明光強度は近い値となり、隣接する２つの画素についての補正係数αも近い値となるためである。つまり、隣接する２つの画素についての補正係数αが近い値となることで、変換前の２つの画素の階調値の関係は、変換後も似たような関係として保たれる。したがって、照明光分布Ｙ１を使用して補正係数αを決定することで、明るい領域の階調を圧縮する等の画質劣化を必要とせず、局所的なコントラストを維持しながら階調変換を行うことができる。

なお、第１補正係数算出部１０２は、照明光分布Ｙ１の照明光強度が最大値となる画素についての補正係数αを１とする。ただし、第１補正係数算出部１０２は、最も明るい画素の階調値に補正係数αを乗じて得られる階調値が、他の画素の階調値に補正係数αを乗じて得られる階調値より大きくなるよう、補正係数αを設定する。

図４は、照明光分布Ｙ１と補正係数αの関係の例を示す図である。
図４（ａ）に示すように、照明光分布Ｙ１の照明光強度が閾値Ｙｔｈのときに、補正係数αが最大値となる。そして、照明光分布Ｙ１の照明光強度が閾値Ｙｔｈ未満である場合、補正係数αは、照明光強度に対して単調増加する。他方、照明光分布Ｙ１の照明光強度が閾値Ｙｔｈ以上である場合、補正係数αは、照明光強度に対して単調減少する。

なお、照明光分布Ｙ１の照明光強度が大きくなる領域では補正係数αを特定値に飽和させても良い。つまり、照明光分布Ｙ１の照明光強度が小さい場合には、照明光強度に対する補正係数αの傾きが０以上とし、照明光分布Ｙ１の照明光強度が大きい場合には、照明光強度に対する補正係数αの傾きが０以下とすることで実現される。

また、第１補正係数算出部１０２は、補正係数αを算出するために、図４（ｂ）に示すような関数を用いても良い。図４（ｂ）では照明光分布Ｙ１の照明光強度に対して補正係数αの最大値αｍａｘを設定している。このように補正係数αの最大値を設定することで、過度の補正がなされてしまうことを防ぐことができる。照明光分布Ｙ１の照明光強度と補正係数αとの関係は、適宜設定することができるが、このように最大値を設けることも適宜設定することができる。このように、照明光分布Ｙ１の照明光強度と補正係数αとの関係を決定することで、ノイズの多い暗部階調を除く階調で各画素を明るくすることができる。ここで、照明光分布の階調値Ｙと補正係数αの関係をＬＵＴとして設定しておくことで、補正係数αの算出が容易となるので、好適である。

次に、第１階調変換部１０３は、入力画像に対して補正係数αを用いて階調変換処理を行う（ステップＳ３）。階調変換は、入力階調値Ｐ０と出力階調値Ｐ１の関係がＰ１＝Ｐ０×αとなるように行う。また、赤色、緑色、青色などカラー画像である場合、第１階調変換部１０３は、それぞれの色に対して同一の補正係数αを乗算することで、各色の比、つまり色相を変化させずに変換することができる。このほかに、第１階調変換部１０３は、入力画像の各画素をＨＳＶ色空間に変換し、明度成分にのみ補正係数αを乗算するなど、各色空間の明るさ成分に対して階調変換をすることもできる。

図５は、補正係数αを使用して階調変換を行ったときの局所的な領域の画素値の状態の例を示す図である。
ここで、横軸は画像内の位置、縦軸は画素値を示す。図５（ａ）は、入力画像の画素値の状態であり、図５（ｂ）は、第１階調変換部１０３が出力する画像の画素値の状態である。これらは局所的な領域であるため、照明光分布は略同一、つまり、補正係数も略同一となる。したがって、図５（ａ）から図５（ｂ）への変化は、細かな画素値変動を維持したまま、領域の明るさが向上するような変化となる。

図６は、第１階調変換部１０３が出力する画像の例を示す図である。
図６に示す第１階調変換部１０３が出力する画像は、図２（ａ）に示す入力画像と比較して、局所的なコントラストを維持しながら、暗部領域の視認性を向上したものとなっている。なお、画像全体の印象としては、全体が明るくなるような画像処理となる。このように、明るさを平均化して算出される照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である補正係数αを用いて階調変換を行うことにより、局所的なコントラストを維持しつつ暗部領域の視認性を向上することができる。

次に、第２照明光分布算出部１０４は、第１階調変化部で処理された画像に基づいて照明光分布Ｙ２を算出する（ステップＳ４）。なお、第２照明光分布算出部１０４は、第２照明光分布算出部１０４と同様に、第１階調変化部で処理された画像の各画素とその周辺画素の平均値、または重み付け平均などにより明るさを平均化する。ここで、第２照明光分布算出部１０４が平均化に用いる領域（第２領域）は、第１照明光分布算出部１０１の平均化に用いた第１領域に比べ小さいものとする。これは、第２階調変換部１０６による階調変換により、画像の局所コントラストを強調するためである。

図７は、第２照明光分布算出部１０４が算出した照明光分布Ｙ２の例を示す図である。
第１階調変換部１０３が、図６に示す画像を出力すると、第２照明光分布算出部１０４は、図６に示す画像の各画素を第２領域で平均化することで、照明光分布Ｙ２を算出する。なお、算出した照明光分布Ｙ２を画像に変換すると図７のようになる。このように、照明光分布Ｙ２は、図３（ｂ）に示す照明光分布Ｙ１に比べ、平均化する領域が小さいため、ぼかし量が小さくなる。つまり、照明光分布Ｙ２に対する注目画素の影響が大きくなることになる。

また、第１照明光分布算出部１０１で使用した明るさの算出方法と、第２照明光分布算出部１０４で使用する明るさの算出方法は同じにすると良い。これは、照明光分布を使用して階調変換を行うときに、色ではなく明るさによって変換させることで、被写体の反射率（色）の影響を低減するためで、明るさの算出方法を共通化することで変換による画素の色の違いによる影響を低減することができるため、好適である。

次に、第２補正係数算出部１０５は、第２照明光分布算出部１０４が算出した照明光分布Ｙ２に基づいて、照明光強度に対して単調増加する補正係数βを算出する（ステップＳ５）。上述したように、第２照明光分布算出部１０４による照明光分布Ｙ２の算出に用いる第２領域は、第１照明光分布算出部１０１による照明光分布Ｙ１の算出に用いる第１領域より小さい。したがって、第２階調変換部１０６は、第１階調変換部１０３で処理の局所コントラストを維持して変化した領域より狭い領域を考慮した変換をすることとなる。

図８は、照明光分布Ｙ２と補正係数βとの関係を示す図である。
第２補正係数算出部１０５は、照明光分布Ｙ２の照明光強度が最大値となる画素についての補正係数βを１とする。ただし、第２補正係数算出部１０５は、最も明るい画素の階調値に補正係数βを乗じて得られる階調値が、他の画素の階調値に補正係数βを乗じて得られる階調値より大きくなるよう、補正係数βを設定する。なお、照明光分布の値が大きい領域、および、照明光分布の値が小さい領域は、補正係数が飽和するようにしても良い。

次に、第２階調変換部１０６は、第２照明光分布算出部１０４が算出した照明光分布Ｙ２を用いて、第１階調変換部１０３で階調変換が行われた画像に対して階調変換を行う（ステップＳ６）。階調変換は、入力階調値Ｐ１と出力階調値Ｐ２の関係がＰ２＝Ｐ１×βとなるように行う。また、赤色、緑色、青色などカラー画像である場合、第２階調変換部１０６は、それぞれの色に対して同一の補正係数βを乗算することで、各色の比、つまり色相を変化させずに変換することができる。このほかに、第２階調変換部１０６は、入力画像の各画素をＨＳＶ色空間に変換し、明度成分にのみ補正係数βを乗算するなど、各色空間の明るさ成分に対して階調変換をすることもできる。

なお、図８に示すように、補正係数βは１以下の値であるため、補正係数βの乗算は、入力画像の画素値を小さくするような階調変換となる。つまり、第２階調変換部１０６は、補正係数βの乗算により、第１階調変換部１０３で維持した局所コントラストを強調する。例えば、考慮する注目画素の周辺画素の領域が最も小さくなるのは、照明光分布Ｙ２を注目画素の明るさとし、参照する周辺画素の領域を０として平均化を行わないときである。このとき、各画素間の補正係数は注目画素の明るさによってのみ決定され、隣接する画素において互いに影響を受けない。したがって、隣接する画素間の明るさが大きく異なれば、補正係数βも大きく異なり、画素間の明るさが近ければ、補正係数βも近くなる。これにより、局所的なコントラストが強調されることになる。

図９は、補正係数βを使用して階調変換を行ったときの局所的な領域の画素値の状態の例を示す図である。
ここで、横軸は画像内の位置、縦軸は画素値を示す。図９（ａ）は、第１階調変換部１０３が出力する画像の画素値の状態であり、図９（ｂ）は、第２階調変換部１０６が出力する画像の画素値の状態である。図９に示すように、照明光分布Ｙ２を算出するときに参照する第２領域が第１領域より小さいため、各画素の変動が大きくなり、局所的なコントラストが強調される。

また、本実施形態に係る第２補正係数算出部１０５は、階調値が小さくなるような補正係数βを設定しているが、第１補正係数算出部１０２で入力画像が明るくなるように補正係数αを設定しているため、画像全体が極端に暗くなるようなことはない。
つまり、第１補正係数算出部１０２及び第２補正係数算出部１０５は、補正係数αと補正係数βの互いの大きさを考慮して補正係数α及び補正係数βを設定する必要がある。例えば、照明光分布の暗部領域を除いて補正係数αと補正係数βの積が１以上になるように、補正係数αと補正係数βを設定する方法が挙げられる。そのほかにも、照明光分布の取りうる値の中心より大きい値の補正係数αと補正係数βの積が１以上になるように、補正係数αと補正係数βを設定する方法が挙げられる。

図１０は、第２階調変換部１０６から出力される画像の例を示す図である。
図１０に示す第２階調変換部１０６が出力する画像は、図６に示す第１階調変換部１０３が出力する画像と比較して、局所的なコントラストが強調された画像となっている。また、図１０に示す第２階調変換部１０６が出力する画像は、図２（ａ）に示す入力画像と比べて、暗部領域の視認性が向上するとともに、局所的なコントラストが向上した画像となっている。
このように、第１階調変換部１０３の処理により画像全体のコントラストが低下した画像に対して、第２階調変換部１０６の処理により局所的なコントラストを向上することで、画像全体のコントラストを向上させることができる。これにより、画像処理装置１００は、暗部領域の視認性を向上し、かつコントラスト感のある画像を生成することができる。

以上で説明したように、本実施形態の画像処理装置１００によれば、照明光分布を利用した階調変換をすることで暗部領域の視認性を向上させるとともに、局所的なコントラストを向上させ、好適な画像を生成することができる。

以下、第１の実施形態に係る画像処理装置１００の用途について説明する。
図１１は、第１の実施形態に係る画像処理装置１００を備える画像表示装置１１０の構成を示す概略ブロック図である。
画像表示装置１１０は、第１の実施形態に係る画像処理装置１００に加えて、画像表示部１１１を備える。
画像表示部１１１は、画像処理装置１００が生成した画像を表示する。画像表示部１１１は、液晶ディスプレイや有機ＥＬディスプレイなど各種表示デバイスにより構成することができる。これにより、暗部領域の視認性を向上するとともに、局所的なコントラストを向上した視認性の高い高画質な画像を表示することが可能な画像表示装置１１０を実現することができる。ここで、γ補正や色変換や輪郭強調などの一般的な画像処理は、画像処理装置１００に画像が入力される前、または、画像処理装置１００から画像が出力された後に適宜実行することができる。

図１２は、第１の実施形態に係る画像処理装置１００を備える画像撮像装置１２０の構成を示す概略ブロック図である。
画像撮像装置１２０は、第１の実施形態に係る画像処理装置１００に加えて、画像表示部１１１、撮像素子１２１、画像記憶部１２２を備える。
撮像素子１２１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像デバイスにより構成され、撮像した画像を入力画像として画像処理装置１００に出力する。このとき入力画像は、デモザイクなどの一般的な画像処理を適宜行ってから画像処理装置１００に入力される。

画像処理装置１００が生成した画像は、画像表示部１１１や画像記憶部１２２に伝達して、画像を表示したり画像を記憶したりする。画像記憶部１２２はフラッシュメモリやハードディスクなど各種記憶デバイスにより構成することができる。これにより、暗部領域の視認性を向上するとともに、局所的なコントラストを向上した視認性の高い高画質な画像を撮影することが可能な画像撮影装置を実現することができる。ここで、γ補正や色変換や輪郭強調などの一般的な画像処理は、画像処理装置１００から画像が出力された後に適宜実行することができる。

図１３は、第１の実施形態に係る画像処理装置１００を備える画像印刷装置１３０の構成を示す概略ブロック図である。
画像印刷装置１３０は、第１の実施形態に係る画像処理装置１００に加えて、画像印刷部１３１を備える。
画像印刷部１３１は、画像処理装置１００が生成した画像を印刷する。画像印刷部１３１は、インクジェットプリンタやレーザープリンタなど各種印刷デバイスにより構成することができる。これにより、暗部領域の視認性を向上するとともに、局所的なコントラストを向上した視認性の高い高画質な画像を表示することが可能な画像印刷装置１３０を実現することができる。ここで、γ補正や色変換や輪郭強調などの一般的な画像処理は、画像処理装置１００に画像が入力される前、または、画像処理装置１００から画像が出力された後に適宜実行することができる。

《第２の実施形態》
図１４は、第２の実施形態に係る画像処理装置２００の構成を示す概略ブロック図である。
第１の実施形態では、第１照明光分布算出部１０１及び第２照明光分布算出部１０４が、それぞれ照明光分布を１つ算出する場合について説明した。第２の実施形態に係る第１照明光分布算出部２０１及び第２照明光分布算出部２０４は、大きさが異なる複数の領域を用いて、それぞれ複数の照明光分布を算出する。

第１照明光分布算出部２０１及び第２照明光分布算出部２０４は、それぞれ２種類の照明光分布を算出する。このとき、第１照明光分布算出部２０１が平均化に用いる複数の第１領域のうち最も小さいものが、第２照明光分布算出部２０４が平均化に用いる複数の第２領域のうち最も大きいものより大きくなるよう、第１領域及び第２領域を決定する。
第１補正係数算出部２０２及び第２補正係数算出部２０５は、各照明光分布から算出される補正係数の積または和を、補正係数α及び補正係数βとする。

これにより、第１階調変換部２０３は、局所的なコントラストを維持する領域を調整することができる。つまり、第１階調変換部２０３は、より小さい領域のコントラストを維持する変換が可能となる。これは、小さい領域で照明光分布を算出することで、暗部領域が小さいときに大きな補正係数で変換ができるようになるためであり、暗部領域が小さいときの視認性向上に好適である。

また、第２階調変換部２０６は、局所的なコントラストを強調する周波数を調整することができる。つまり、第２階調変換部２０６は、隣接する画素間の変動は少しのコントラスト強調として、小領域ごとのコントラストをより強調することができる。これは、局所的なコントラストを強調するとともに、ノイズを過度に強調することを低減することができるためノイズの多い画像に好適である。

なお、本実施形態では、第１照明光分布算出部２０１と第２照明光分布算出部２０４とが、それぞれ複数の照明光分布を算出する場合について説明したが、これに限られない。例えば、第１照明光分布算出部２０１か第２照明光分布算出部２０４の何れか一方のみが、複数の照明光分布を算出するようにしても良い。

《第３の実施形態》
図１５は、第３の実施形態に係る画像処理装置３００の構成を示す概略ブロック図である。
第１の実施形態では、第１補正係数算出部１０２及び第２補正係数算出部１０５が、予め定められた１つの算出方法に基づいて補正係数α及び補正係数βを算出する場合について説明した。第３の実施形態に係る第１補正係数算出部３０２及び第２補正係数算出部３０５は、複数の算出方法の中から適切な算出方法を特定し、当該算出方法を用いて、補正係数α及び補正係数βを算出する。

画像処理装置３００は、第１の実施形態に係る画像処理装置１００と同様の構成に加え、画像解析部３０７、算出方法記憶部３０８、算出方法選択部３０９を備える。

画像解析部３０７は、入力画像と第１階調変換部３０３が階調変換した画像とを解析する。画像解析部３０７は、例えば平均輝度、暗部領域の画素数、輝度ヒストグラムなどを解析する。

算出方法記憶部３０８は、第１補正係数算出部３０２による補正係数αの算出に用いるＬＵＴ（算出方法）及び第２補正係数算出部３０５による補正係数βの算出に用いるＬＵＴを複数記憶する。なお、当該複数のＬＵＴは、補正係数の大小、つまり、どの程度明るくするかを異ならせたものである。

算出方法選択部３０９は、画像解析部３０７の解析結果に基づいて、補正係数αの算出に用いるＬＵＴ及び補正係数βの算出に用いるＬＵＴを特定する。例えば算出方法選択部３０９は、入力画像の平均輝度が低い、暗部領域の画素数が多い、輝度ヒストグラムが暗部領域側に偏っている、などの場合には暗部領域をより明るくする補正係数αを算出するためのＬＵＴを選択する。他方、算出方法選択部３０９は、入力画像の平均輝度が高い、暗部領域の画素数が少ない、輝度ヒストグラムが明部領域側に偏っている、などの場合には暗部領域を少しだけ明るくする補正係数αを算出するためのＬＵＴを選択する。
また、例えば算出方法選択部３０９は、第１階調変換部３０３が階調変換した画像のコントラストが低い、高周波成分が少ない、輝度ヒストグラムに偏りがある、などの場合には、局所コントラストをより強調する補正係数βを算出するためのＬＵＴを選択する。他方、算出方法選択部３０９は、第１階調変換部１０３が階調変換した画像のコントラストが高い、高周波成分が多い、輝度ヒストグラムに偏りが無い、などの場合には、局所コントラストを少しだけ強調する補正係数βを算出するためのＬＵＴを選択する。

このように、画像解析を行った結果により、照明光分布算出時の参照周辺画素の領域を変化させると、入力画像により適したＬＵＴが選択できるようになり好適である。

なお、本実施形態では、算出方法記憶部３０８が補正係数の算出方法としてＬＵＴを記憶する場合について説明したが、これに限られず、例えば照明光強度を入力として補正係数を出力とする関数など、その他の算出方法を記憶していても良い。

《第４の実施形態》
図１６は、第４の実施形態に係る画像処理装置４００の構成を示す概略ブロック図である。
第３の実施形態では、画像解析部３０７の解析結果に基づいて補正係数α及び補正係数βを算出するためのＬＵＴを選択する場合について説明した。第４の実施形態に係る画像処理装置４００は、利用者の指示に従って、補正係数α及び補正係数βを算出するためのＬＵＴを選択する。

画像処理装置４００は、第３の実施形態に係る画像処理装置３００の画像解析部３０７に代えて、入力部４０７を備える。
入力部４０７は、利用者の指示の入力を受け付ける。
そして、算出方法選択部４０９は、入力部が受け付けた利用者の指示に従って、算出方法記憶部４０８が記憶する補正係数α及び補正係数βの算出方法を選択する。

なお、本実施形態では、算出方法記憶部４０８が補正係数の算出方法としてＬＵＴを記憶する場合について説明したが、これに限られず、例えば照明光強度を入力として補正係数を出力とする関数など、その他の算出方法を記憶していても良い。

以上、図面を参照してこの発明のいくつかの実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

上述の画像処理装置１００、２００、３００、４００は、上述した各処理部の動作がプログラムの形式で記憶されたコンピュータ読み取り可能な記録媒体から、コンピュータがこのプログラムを読み出して実行することによって、実現されるものであっても良い。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

プログラムにより本実施形態を実現する場合、入力される画像によって照明光分布を算出するときの参照画素領域を可変にすると、処理量を削減することができるため好適である。同一シーンを同一画角である被写体を撮影した場合、高解像度な画像で撮影されていれば被写体の画素数は多くなり、低解像度な画像で撮影されていれば被写体の画素数は少なくなる。一方、被写体が画像に占める面積は解像度によらず同じような値となる。つまり、画像の解像度によって参照画素領域を可変にすると、画像に占める面積に応じて照明光分布を算出することができ、これには入力画像の解像度によらず、コントラストを維持、強調する局所領域を同一にし、同様な画質向上効果が得られるようになるという効果がある。

１００…画像処理装置 １０１…第１照明光分布算出部 １０２…第１補正係数算出部 １０３…第１階調変換部 １０４…第２照明光分布算出部 １０５…第２補正係数算出部 １０６…第２階調変換部 １１０…画像表示装置 １１１…画像表示部 １２０…画像撮像装置 １２１…撮像素子 １２２…画像記憶部 １３０…画像印刷装置 １３１…画像印刷部 ２００…画像処理装置 ２０１…第１照明光分布算出部 ２０２…第１補正係数算出部 ２０３…第１階調変換部 ２０４…第２照明光分布算出部 ２０５…第２補正係数算出部 ２０６…第２階調変換部 ３００…画像処理装置 ３０１…第１照明光分布算出部 ３０２…第１補正係数算出部 ３０３…第１階調変換部 ３０４…第２照明光分布算出部 ３０５…第２補正係数算出部 ３０６…第２階調変換部 ３０７…画像解析部 ３０８…算出方法記憶部 ３０９…算出方法選択部 ４００…画像処理装置 ４０１…第１照明光分布算出部 ４０２…第１補正係数算出部 ４０３…第１階調変換部 ４０４…第２照明光分布算出部 ４０５…第２補正係数算出部 ４０６…第２階調変換部 ４０７…入力部 ４０８…算出方法記憶部 ４０９…算出方法選択部

Claims (15)

1. 画像の階調変換を行う画像処理装置であって、
   入力画像の各画素について、当該画素を中心とした所定の領域である第１領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出する第１照明光分布算出部と、
   前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第１補正係数を算出する第１補正係数算出部と、
   前記第１補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う第１階調変換部と、
   前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域より小さい領域である第２領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第２照明光分布を算出する第２照明光分布算出部と、
   前記第１階調変換部が階調変換した画像の各画素について、前記第２照明光分布に基づいて、照明光強度に対して単調増加する係数である第２補正係数を算出する第２補正係数算出部と、
   前記第２補正係数に応じて、前記第１階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第１階調変換部が階調変換した画像の階調変換を行う第２階調変換部と
   を備えることを特徴とする画像処理装置。
2. 前記第１補正係数算出部は、前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少し、照明光強度が所定の閾値未満であるときに照明光強度に対して単調増加する係数である第１補正係数を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１照明光分布算出部は、入力画像の各画素について、当該画素を中心とした前記第２領域より大きい領域である複数の第１領域における明るさを算出することで、複数の前記第１照明光分布を算出し、
   前記第１補正係数算出部は、前記入力画像の各画素について、複数の前記第１照明光分布に基づいて前記第１補正係数を算出する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記第２照明光分布算出部は、前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域より小さい領域である複数の第２領域における明るさを算出することで、複数の前記第２照明光分布を算出し、
   前記第２補正係数算出部は、前記第１階調変換部が階調変換した画像の各画素について、複数の前記第２照明光分布に基づいて前記第２補正係数を算出する
   ことを特徴とする請求項１から請求項３の何れか１項に記載の画像処理装置。
5. 前記第１補正係数算出部は、照明光強度が最大の画素についての前記第１補正係数が１となるように前記第１補正係数を算出する
   ことを特徴とする請求項１から請求項４の何れか１項に記載の画像処理装置。
6. 前記第２補正係数算出部は、照明光強度が最大の画素についての前記第２補正係数が１となるように前記第２補正係数を算出する
   ことを特徴とする請求項１から請求項５の何れか１項に記載の画像処理装置。
7. 前記第１補正係数の算出方法を複数記憶する算出方法記憶部と、
   前記算出方法記憶部が記憶する算出方法の中から１つを選択する算出方法選択部と
   を備え、
   前記第１補正係数算出部は、前記算出方法選択部が選択した算出方法を用いて前記第１補正係数を算出する
   ことを特徴とする請求項１から請求項６の何れか１項に記載の画像処理装置。
8. 前記第２補正係数の算出方法を複数記憶する算出方法記憶部と、
   前記算出方法記憶部が記憶する算出方法の中から１つを選択する算出方法選択部と
   を備え、
   前記第２補正係数算出部は、前記算出方法選択部が選択した算出方法を用いて前記第２補正係数を算出する
   ことを特徴とする請求項１から請求項７の何れか１項に記載の画像処理装置。
9. 前記算出方法選択部は、利用者の指示に従って前記算出方法記憶部が記憶する算出方法の中から１つを選択する
   ことを特徴とする請求項７または請求項８に記載の画像処理装置。
10. 前記入力画像または前記第１階調変換部が階調変換した画像を解析する画像解析部を備え、
    前記算出方法選択部は、前記画像解析部の解析結果に従って前記算出方法記憶部が記憶する算出方法の中から１つを選択する
    ことを特徴とする請求項７または請求項８に記載の画像処理装置。
11. 請求項１に記載の画像処理装置と、
    前記第２階調変換部が階調変換した画像を表示する画像表示部と
    を備えることを特徴とする画像表示装置。
12. 請求項１に記載の画像処理装置と、
    前記入力画像を撮像する撮像素子と
    を備えることを特徴とする画像撮像装置。
13. 請求項１に記載の画像処理装置と、
    前記第２階調変換部が階調変換した画像を印刷する画像印刷部と
    を備えることを特徴とする画像印刷装置。
14. 画像の階調変換を行う画像処理装置を用いた階調変換方法であって、
    第１照明光分布算出部は、入力画像の各画素について、当該画素を中心とした所定の領域である第１領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出し、
    第１補正係数算出部は、前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第１補正係数を算出し、
    第１階調変換部は、前記第１補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行い、
    第２照明光分布算出部は、前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域より小さい領域である第２領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第２照明光分布を算出し、
    第２補正係数算出部は、前記第１階調変換部が階調変換した画像の各画素について、前記第２照明光分布に基づいて、照明光強度に対して単調増加する係数である第２補正係数を算出し、
    第２階調変換部は、前記第２補正係数に応じて、前記第１階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第１階調変換部が階調変換した画像の階調変換を行う
    ことを特徴とする階調変換方法。
15. コンピュータを、
    入力画像の各画素について、当該画素を中心とした所定の領域である第１領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出する第１照明光分布算出部、
    前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第１補正係数を算出する第１補正係数算出部、
    前記第１補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う第１階調変換部、
    前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域より小さい領域である第２領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第２照明光分布を算出する第２照明光分布算出部、
    前記第１階調変換部が階調変換した画像の各画素について、前記第２照明光分布に基づいて、照明光強度に対して単調増加する係数である第２補正係数を算出する第２補正係数算出部、
    前記第２補正係数に応じて、前記第１階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第１階調変換部が階調変換した画像の階調変換を行う第２階調変換部
    として機能させるためのプログラム。