JP5975819B2

JP5975819B2 - 画像処理装置

Info

Publication number: JP5975819B2
Application number: JP2012211022A
Authority: JP
Inventors: 圭祐大森; 徳井　圭; 圭徳井
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-09-25
Filing date: 2012-09-25
Publication date: 2016-08-23
Anticipated expiration: 2032-09-25
Also published as: JP2014068131A

Description

本発明は、画像処理装置に関する。

近年、大型の画面を備えるテレビジョン受像機が商品化されている。画面の大型化に伴い消費電力が増加するため、消費電力を低減することが期待されている。また、いわゆるタブレット端末やスマートフォンをはじめとする小型の携帯端末装置では、バッテリーに蓄えられた電力を供給できる時間を持続させるうえでも、消費電力を低減することが重要である。
特許文献１には、輝度信号成分を強調することにより、画像表示装置の画面の見かけ上の明るさを損なうことなくバックライトの光量を下げて、画像表示装置の消費電力を低減させることが記載されている。

特開２００４−２４６０９９号公報

特許文献１に記載の画像表示方法では、消費電力の低減は図られるものの、画像のコントラストが低下し視認性が損なわれるという課題がある。

本発明は上記の点に鑑みてなされたものであり、画像の視認性やコントラストが好適で電力の消費量を低減する画像処理装置を提供することを課題とする。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、入力画像の各画素について、当該画素を中心とした所定の領域である第１領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出する第１照明光分布算出部と、前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第１補正係数を算出する第１補正係数算出部と、前記第１補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う第１階調変換部と、前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域よりも小さい領域である第２領域における明るさを算出することで、前記第１階調変換部が階調変換した画像における照明光強度の分布を示す第２照明光分布を算出する第２照明光分布算出部と、前記第１階調変換部が階調変換した画像の各画素について、前記第２照明光分布に基づいて、照明光強度に対して単調増加する係数である第２補正係数を算出する第２補正係数算出部と、前記第２補正係数に応じて、前記第１階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第１階調変換部が階調変換した画像の階調変換を行う第２階調変換部とを備え、前記第１補正係数算出部と前記第２補正係数算出部は、画像を表示する画像表示部が備える照明部の光量に係る出力係数の減少に伴い、前記第１補正係数と前記第２補正係数との積が増加する前記第１補正係数と前記第２補正係数をそれぞれ算出することを特徴とする画像処理装置である。

（２）本発明の他の態様は、上述の画像処理装置であって、前記第１補正係数算出部と前記第２補正係数算出部は、前記出力係数と前記第１補正係数と前記第２補正係数の積が１又は１よりも大きくなる前記第１補正係数と前記第２補正係数をそれぞれ算出することを特徴とする。

（３）本発明の他の態様は、上述の画像処理装置であって、前記入力画像の階調値に係る統計量を算出する画像解析部と、前記画像解析部が算出した統計量に基づいて前記出力係数を算出する照明装置制御部とを備えることを特徴とする。

（４）本発明の他の態様は、上述の画像処理装置であって、前記画像解析部は、前記統計量として分散を算出し、前記第１補正係数算出部及び第２補正係数算出部は、前記画像解析部が算出した分散が小さいほど前記第１補正係数と前記第２補正係数の差が大きくなるように前記第１補正係数と前記第２補正係数をそれぞれ算出することを特徴とする。

（５）本発明の他の態様は、上述の画像処理装置であって、前記画像解析部は、前記統計量として平均値を算出し、前記照明装置制御部は、前記画像解析部が算出した平均値が小さいほど、前記出力係数が小さくなるように算出することを特徴とする。

（６）本発明の他の態様は、上述の画像処理装置であって、前記照明装置制御部は、操作入力に基づいて前記出力係数を選択することを特徴とする。

（７）本発明の他の態様は、上述の画像処理装置であって、前記第１補正係数算出部と前記第２補正係数算出部は、前記出力係数として、前記画像表示部に画像を表示する表示領域を分割した複数の部分領域のそれぞれについて算出した出力係数に基づいて前記第１補正係数と前記第２補正係数をそれぞれ算出することを特徴とする。

（８）本発明の他の態様は、上述の画像処理装置であって、前記部分領域に対応した光源毎の輝度と階調値の関係を示す補正係数を予め画素毎に記憶しておき、前記補正係数に基づいて前記第２階調変換部が階調変換した階調値を補正する画像補正部を備えることを特徴とする。

（９）本発明の他の態様は、上述の画像処理装置を備えることを特徴とする画像表示装置である。
（１０）本発明の他の態様は、上述の画像処理装置を備えることを特徴とする画像撮像装置である。

（１１）本発明の他の態様は、画像処理装置における画像処理方法であって、前記画像処理装置は、入力画像の各画素について、当該画素を中心とした所定の領域である第１領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出する第１照明光分布算出部と、前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第１補正係数を算出する第１補正係数算出部と、前記第１補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う第１階調変換部と、前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域よりも小さい領域である第２領域における明るさを算出することで、前記第１階調変換部が階調変換した画像における照明光強度の分布を示す第２照明光分布を算出する第２照明光分布算出部と、前記第１階調変換部が階調変換した画像の各画素について、前記第２照明光分布に基づいて、照明光強度に対して単調増加する係数である第２補正係数を算出する第２補正係数算出部と、前記第２補正係数に応じて、前記第１階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第１階調変換部が階調変換した画像の階調変換を行う第２階調変換部とを備え、前記第１補正係数算出部と前記第２補正係数算出部は、画像を表示する画像表示部が備える照明部の光量に係る出力係数の減少に伴い、前記第１補正係数と前記第２補正係数との積が増加する前記第１補正係数と前記第２補正係数をそれぞれ算出することを特徴とする画像処理方法である。

（１２）本発明の他の態様は、画像処理装置のコンピュータに、入力画像の各画素について、当該画素を中心とした所定の領域である第１領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出する第１照明光分布算出部と、前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第１補正係数を算出する第１補正係数算出部と、前記第１補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う第１階調変換部と、前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域よりも小さい領域である第２領域における明るさを算出することで、前記第１階調変換部が階調変換した画像における照明光強度の分布を示す第２照明光分布を算出する第２照明光分布算出部と、前記第１階調変換部が階調変換した画像の各画素について、前記第２照明光分布に基づいて、照明光強度に対して単調増加する係数である第２補正係数を算出する第２補正係数算出部と、前記第２補正係数に応じて、前記第１階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第１階調変換部が階調変換した画像の階調変換を行う第２階調変換部と、を備え、前記第１補正係数算出部と前記第２補正係数算出部は、画像を表示する画像表示部が備える照明部の光量に係る出力係数の減少に伴い、前記第１補正係数と前記第２補正係数との積が増加する前記第１補正係数と前記第２補正係数をそれぞれ算出する補正係数算出手順を実行させるための画像処理プログラムである。

本発明によれば、画像の視認性やコントラストが好適で電力の消費量を低減できるとの効果を奏する。

本発明の第１の実施形態に係る画像表示装置の構成を示す概略図である。入力画像信号の階調値の一例を示す概念図である。入力画像の輝度の一例を示す概念図である。入力画像の輝度のその他の例を示す概念図である。出力画像信号の階調値の一例を示す概念図である。階調変換を行った場合の出力画像の輝度の一例を示す概念図である。本実施形態に係る画像処理部の構成を示す概略図である。入力画像の一例を示す図である。照明光分布の一例を示す図である。補正係数αの例を示す概念図である。第１階調変換画像信号の例を示す概念図である。第１階調変換画像の例を示す図である。照明光分布の他の例を示す図である。補正係数βの例を示す概念図である。第２階調変換画像信号の例を示す概念図である。第２階調変換画像の例を示す図である。出力画像の一例を示す図である。本実施形態に係る画像処理の一例を示すフローチャートである。本実施形態の変形例に係る画像撮像装置の構成を示す概略図である。本発明の第２の実施形態に係る照明装置の光源の配置例を示す図である。本実施形態に係る画像表示部の画素の配置例を示す図である。出力画像の輝度の一例を示す概念図である。出力画像信号の階調値の一例を示す概念図である。本発明の第３の実施形態に係る画像表示装置の構成を示す概略図である。出力画像信号の階調値の他の例を示す概念図である。照明装置の輝度の例を示す概念図である。出力画像の輝度の他の例を示す概念図である。補正された出力画像信号の階調値の一例を示す概念図である。補正された出力画像の輝度の一例を示す概念図である。本実施形態に係る光源と画素の配置の一例を示す概念図である。本実施形態に係る光源と画素の配置のその他の例を示す概念図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像表示装置１０の構成を示す概略図である。
画像表示装置１０は、画像処理装置１００及び画像表示部１０３を含んで構成される。
画像処理装置１００は、照明装置制御部１０１、画像処理部１０２及び画像解析部１０４を含んで構成される。

照明装置制御部１０１は、画像解析部１０４から入力された画像解析結果に基づいて画像表示部１０３の照明装置（図示せず）の光量を定め、定めた光量が得られるように照明装置を制御する照明装置制御信号を生成する。照明装置制御信号は、例えば、出力係数γを示す信号である。出力係数γは、照明装置が光を放射する光量の当該照明装置が放射することができる最大光量に対する比率である。照明装置制御部１０１は、生成した照明装置制御信号を画像処理部１０２及び画像表示部１０３に出力する。
画像処理部１０２には、照明装置制御部１０１から照明装置制御信号が入力され、画像解析部１０４から画像解析結果が入力される。画像処理部１０２は、照明装置制御信号と画像解析結果に基づいて、画像処理装置１００に入力された入力画像信号に対して階調変換を行って出力画像信号を生成する。入力画像信号は、予め定めた複数の画素からなる画像を示す信号であって、画素毎の階調値を示す信号である。階調値は、その値が大きいほど明るく表示し、小さいほど暗く表示することを示す値である。ここで、画像処理部１０２は、照明装置が放射する光量が予め定めた基準値（例えば、最大値）とは異なっても、画像表示部１０３に表示される画像の視認性やコントラストが低下しないように階調変換を行う。画像処理部１０２は、生成した出力画像信号を画像表示部１０３に出力する。

画像処理部１０２は、画像表示装置１０に備えられたＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のハードウェアがプログラムを実行することで、実現されるようにしてもよい。また、画像処理部１０２は、例えば、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等のハードウェアで構成されていてもよい。

画像表示部１０３は、画像処理部１０２から入力された出力画像信号が示す画像を表示する。画像表示部１０３は、例えば、液晶ディスプレイ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）である。画像表示部１０３は、上述の照明装置をバックライト等の光源として備え、この照明装置が放射した光を変調した画像光を画像として表示する。照明装置は、例えば、冷陰極蛍光管（ＣＣＦＬ：ＣｏｌｄＣａｔｈｏｄｅＦｌｕｏｒｅｓｃｅｎｔＬａｍｐ）、又は発光ダイオード（ＬＥＤ：ＬｉｑｕｉｄＥｍｉｔｔｉｎｇＤｉｏｄｅ）を備えていてもよい。ＬＥＤとして、白色光を放射する白色ＬＥＤを備えていてもよいし、それぞれ異なる色の光を放射するＬＥＤ、例えば、赤、緑、青の各色の光をそれぞれ放射するＬＥＤの組み合わせを備えていてもよい。
照明装置が設置される位置は、画像表示部１０３において画像を表示する画像表示面の背面であってもよいし、画像表示面の外縁の一部、例えば、端部であってもよい。
照明装置は、照明装置制御部１０１から入力された照明装置制御信号に基づいて放射する光量を制御する。

画像解析部１０４は、画像処理装置１００に入力された入力画像信号の階調値の統計量を算出する。これにより入力画像を解析する。画像解析部１０４が算出する統計量は、例えば、平均輝度、分散、暗部領域の画素数、輝度ヒストグラム等がある。平均輝度は、画素間の輝度の平均を与える階調値である。暗部領域とは、階調値が予め定めた閾値（例えば、最大値の１／４）よりも小さい画素からなる領域である。輝度ヒストグラムとは、予め定めた階調値の範囲それぞれに属する画素数のセットである。画像解析部１０４は、算出した統計量を画像解析結果として照明装置制御部１０１及び画像処理部１０２に出力する。

なお、本実施形態では、照明装置光量選択部（図示せず）を備えてもよい。照明装置光量選択部は、予め複数の光量の候補値が設定されており、利用者による操作入力を受け付けて設定された候補値のうち１つを選択する。照明装置光量選択部は、選択した候補値の光量が得られるように照明装置を制御する照明装置制御信号を生成し、生成した照明装置制御信号を画像処理部１０２及び画像表示部１０３に出力する。
また、画像解析部１０４は、照明装置制御部１０１又は画像処理部１０２のうちの何れかもしくは両方を備える構成であってもよい。

（階調変換の概念）
次に、画像処理部１０２が行う階調変換の概念について説明する。
画像処理部１０２は、階調変換において入力画像信号の階調値の平均値を増加させ、かつ、局所的コントラストを強調する。局所的コントラストとは、ある画素を基準として予め定めた範囲内にある輝度の空間的な変動である。また、局所的コントラストとは、ある画素を基準として予め定めた範囲内にある画素毎の階調値の空間的変動を指すこともある。これにより、照明装置の光量を予め定めた基準値よりも少なくした場合でも、画像表示部１０３が表示する画像の視認性とコントラストの低下を緩和することができる。

図２は、入力画像信号の階調値の一例を示す概念図である。
図２は、横軸に一つの水平方向のライン上の画素の位置を示し、縦軸に階調値を示す。原点Ｏは、画像表示部１０３の画像表示面上の１点、例えば、左上端である。図２に示される階調値２０１は、入力画像信号の階調値を示す。階調値２０１は、原点Ｏから離れた位置にある画素ほど階調値が大きくなる傾向を示す。
図３は、入力画像の輝度の一例を示す概念図である。
図３は、横軸に一つの水平方向のライン上の画素の位置を示し、縦軸に輝度を示す。輝度は、画像表示部１０３が各画素から放射される光の明るさの度合いであり、画素毎の信号値（階調値）と照明装置の光量に依存する。図２、図３において、画素毎の明るさの度合いを示す「輝度」と、信号値を示す「階調値」とは互いに区別されて示されている。
図３に示される輝度３０１は、画素毎の信号値が図２に示される階調値２０１であって、照明装置の光量が最大値である場合の輝度である。輝度３０１も、原点から離れた位置にある画素ほど輝度が大きくなる傾向を示す。
図４は、入力画像の輝度のその他の例を示す概念図である。
図４は、横軸に一つの水平方向のライン上の画素の位置を示し、縦軸に輝度を示す。図４に実線で示される輝度４０１は、画素毎の信号値が図２に示される値であって、照明装置の光量が最大値の３／４である場合の輝度である。比較のため、図４には輝度３０１（図３参照）を破線で示す。
輝度４０１の最大値は、輝度３０１（図３参照）の最大値（ＭＡＸ）よりも低い。また、輝度４０１の平均値や局所的変動（コントラスト）も、それぞれ輝度３０１の平均値や局所的変動よりも小さくなる。
このように、単純に照明装置の光量を減少させると、輝度やその局所的変動が小さくなり、画像の視認性やコントラストが低下してしまう。

これに対して、画像処理部１０２は、入力画像信号について階調変換を行って出力画像信号を生成する。
図５は、出力画像信号の階調値の一例を示す概念図である。
図５は、横軸に一つの水平方向のライン上の画素の位置を示し、縦軸に階調値を示す。図５の実線で示される階調値５０１は、階調変換を行った場合の出力画像信号の階調値を示す。比較のため図５には階調値２０１（図２参照）を破線で示す。図５は、階調変換において低階調領域における階調値の平均値を大きくし、かつ、低階調領域から高階調領域まで階調値全体について局所的コントラストが強調されていることを示す。低階調領域とは、予め定めた階調値（例えば、階調値の最大値の半分の値）よりも低い階調値をとる画素の領域である。高階調領域とは、予め定めた階調値よりも高い階調値をとる画素の領域である。

図６は、階調変換を行った場合の出力画像の輝度の一例を示す概念図である。
図６は、横軸に一つの水平方向のライン上の画素の位置を示し、縦軸に輝度を示す。図６に示される輝度６０１は、画素毎の信号値が図５に示される階調値５０１であって、照明装置の光量が最大値の３／４である場合の画像表示部１０３で表示される画像の輝度である。
輝度３０１（図３参照）と比較すると、輝度６０１は低階調領域において平均輝度が高くなる。このことは、暗部領域の視認性が向上することを示す。また、照明装置の光量を最大値よりも減少させたにもかかわらず、輝度６０１では低階調領域から高階調領域までの全体にわたり、局所的コントラストが高くなる。そのため、輝度６０１の最大値は輝度３０１の最大値よりも小さくなるが、人間の視覚において明るく知覚される効果が得られる。これは、人間の視角特性には、注視している注視点における輝度と注視点の周辺における輝度との差、つまりコントラストを明るさとして知覚するという特性があることに起因する。本実施形態では。この視覚特性を利用することで、照明装置の光量を減少させることにより輝度の最大値を低下させても、知覚される明るさが低下しないという効果が得られる。

（画像処理部の構成）
次に、本実施形態に係る画像処理部１０２の構成について説明する。
図７は、本実施形態に係る画像処理部１０２の構成を示す概略図である。
画像処理部１０２は、第１照明光分布算出部７０１、第１補正係数算出部７０２、第１階調変換部７０３、第２照明光分布算出部７０４、第２補正係数算出部７０５及び第２階調変換部７０６を含んで構成される。

第１照明光分布算出部７０１は、画像処理部１０２に入力された入力画像信号に基づいて画素毎に照明光分布Ｙ１（第１照明光分布）を算出する。照明光分布は、例えば、各画素の明るさＹを、対象画素を基準とした予め定めた領域（第１領域）内の画素について平均化した階調値で２次元の画像として示される分布である。照明光とは、被写体が反射する光を指し、画像表示部１０３が備える照明装置が放射する光とは別個である。
明るさＹは、例えば、ＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）色空間で示される明度（Ｖａｌｕｅ）の成分を示す階調値である。つまり、明るさＹは、画素毎の階調値の一種である。本実施形態では、明るさＹは画素毎の明るさの階調を示す値であればよく、これには限られない。第１照明光分布算出部７０１は、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）色空間で示される赤色（Ｒｅｄ）の信号値Ｒ、緑色（Ｇｒｅｅｎ）の信号値Ｇ、青色（Ｂｌｕｅ）の信号値Ｂに基づいて、明るさＹを算出してもよい。例えば、Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂとして、明るさＹが算出される。計算を単純化するために、第１照明光分布算出部７０１は、Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３、Ｙ＝０．２５×Ｒ＋０．５×Ｇ＋０．２５×Ｂ、等として明るさＹを算出してもよい。さらに、第１照明光分布算出部７０１は、赤色の信号値Ｒ、緑色の信号値Ｇ、青色の信号値Ｂのうちの最大値（ＨＳＶ色空間で示される明度）を明るさＹと定めてもよい。

第１照明光分布算出部７０１における明るさＹの平均化は、例えば、入力画像信号の各画素から予め定めた領域（第１領域）内の画素間で、単純平均してもよいし、重み付き平均を行ってもよい。予め定めた領域（第１領域）は、ユーザが画像表示部１０３を注視したときに、当該領域内で明るさを比較できる程度の大きさであればよい。この予め定めた領域の大きさは、画像表示部１０３の大きさ（ディスプレイサイズ）と、想定されるユーザの視距離によって適宜調整しておけばよい。第１照明光分布算出部７０１が算出した照明光分布Ｙ１の例については、後述する。
第１照明光分布算出部７０１は、算出した照明光分布Ｙ１を第１補正係数算出部７０２に出力する。

第１補正係数算出部７０２は、第１照明光分布算出部７０１から入力された照明光分布Ｙ１に基づいて、画素毎に補正係数αを算出する。ここで、第１補正係数算出部７０２は、照明光分布Ｙ１の階調値が予め定めた閾値Ｙｔｈ以上であるとき、照明光分布Ｙ１の階調値に対して単調減少し、照明光分布Ｙ１の階調値が閾値Ｙｔｈ未満であるとき、照明光分布Ｙ１の階調値に対して単調増加するように補正係数αを算出する。本実施形態では、ある関数ｆが「単調増加」とは、実数ｘ_２が実数ｘ_１よりも大きい場合、関数ｆ（ｘ_２）が、関数ｆ（ｘ_１）と等しい、又は関数ｆ（ｘ_１）よりも大きくなることを指す（広義の単調増加、単調非減少）。また、ある関数が「単調減少」とは、実数ｘ_２が実数ｘ_１よりも大きい場合、関数ｆ（ｘ_２）が、関数ｆ（ｘ_１）と等しい、又は関数ｆ（ｘ_１）よりも小さくなることを指す（広義の単調減少、単調非増加）。

つまり、照明光分布Ｙ１の階調値が所定の閾値Ｙｔｈ以上であって、照明光分布Ｙ１の階調値が大きいほど、被写体に照射される照明光の光量が多いとみなすことができる。その場合には、被写体の画像は明るく表され、視認性が十分に得られる。このような場合に、第１補正係数算出部７０２は、補正係数αを小さい値にする。反対に、照明光分布Ｙ１の値が小さいほど、被写体に照射される照明光の光量が不十分になる。そのため、被写体の画像は暗く表され、視認性が不十分である。このような場合に、第１補正係数算出部７０２は、補正係数αを大きい値にする。これにより、暗部領域の階調値を大きくして視認性が向上させることができる。

また、第１補正係数算出部７０２は、照明光分布Ｙ１の階調値が所定の閾値Ｙｔｈ未満となる領域において、照明光分布Ｙ１の階調値が小さくなるほど補正係数αを小さい値にする。入力画像信号のうち、照明光分布Ｙ１の階調値が非常に小さい領域では、撮影時に生じた暗部ノイズが被写体を示す画像信号に重畳するため、被写体を表す画像がそのノイズによって判別できないおそれがある。そのため、補正係数αを小さくすることでノイズに対して小さな補正係数αで階調変換をすることになり、ノイズを目立たなくさせることが可能になる。

このように、第１補正係数算出部７０２は、照明光分布Ｙ１が示す画素毎の照明光強度に応じて単調増加するように補正係数αを算出することにより、局所的なコントラストを維持しつつ、暗部領域の視認性を向上することができる。これは、照明光分布Ｙ１の照明光強度が明るさＹを平均化して算出されるため、隣接する２つの画素の照明光分布Ｙ１の階調値が互いに近い値となり、その隣接する２つの画素についての補正係数αも互いに近い値となる。つまり、隣接する２つの画素についての補正係数αが近い値となることで、変換前におけるその２つの画素の信号値の関係は、変換後も類似する関係に保たれる。従って、照明光分布Ｙ１を用いて補正係数αを決定することで、明るい領域の階調（信号値）を圧縮する等、画質の劣化を伴わずに、局所的なコントラストを維持しながら階調変換を行うことが可能になる。

なお、第１補正係数算出部７０２は、照明光分布Ｙ１の階調値が最大値となる画素についての補正係数αを１とする。
また、照明光分布Ｙ１の階調値が予め定めた値よりも大きくなる領域では、補正係数αを特定の最大値よりも大きくならないように飽和させてもよい。つまり、照明光分布Ｙ１の階調値が予め定めた値よりも小さくなる領域では、照明光強度に対する補正係数αの傾きを０以上とし、照明光分布Ｙ１の階調値が予め定めた値よりも大きくなる領域では、照明光強度に対する補正係数αの傾きを０以下とすることで実現される。
第１補正係数算出部７０２は、算出した補正係数αを第１階調変換部７０３及び第２補正係数算出部７０５に出力する。

第１階調変換部７０３は、画像処理部１０２に入力された入力画像信号に対して第１補正係数算出部７０２から入力された補正係数αに基づいて階調変換処理を行って第１階調変換画像信号を生成する。階調変換処理は、入力画像信号に含まれる画素毎の信号値（入力階調値）Ｐ０と変換後の信号値（出力階調値）Ｐ１との関係がＰ１＝Ｐ０×αとなるように行う。また、入力画像が、赤色、緑色、青色など各色の信号値で表されるカラー画像である場合、第１階調変換部７０３は、それぞれの色の信号値に対して同一の補正係数αを乗算する。そうすることで、各色の信号値の比、つまり色相を変化させずに階調変換を行うことができる。その他、第１階調変換部７０３は、入力画像信号の信号値を、明るさを示す明るさ成分と色を示す色成分とに分離し、明るさ成分にのみ補正係数αを乗算して階調変換を行ってもよい。ここで、第１階調変換部７０３は、例えば、ＲＧＢ色空間で示された各画素の信号値をＨＳＶ色空間で示された信号値に変換し、明度成分の信号値にのみ補正係数αを乗算するなど、各色区間の明るさ成分に対して階調変換をすることもできる。
第１階調変換部７０３は、階調変換処理を行って生成した第１階調変換画像信号を第２照明光分布算出部７０４及び第２階調変換部７０６に出力する。

第２照明光分布算出部７０４は、第１階調変換部７０３から入力された第１階調変換画像信号に基づいて画素毎に照明光分布Ｙ２（第２照明光分布）を算出する。ここで、第２照明光分布算出部７０４は、第１照明光分布算出部７０１と同様に、第１階調変換画像信号が示す各画素から予め定めた領域（第２領域）内の画素間で明るさを平均化する。平均化は、単純平均でも、重み付き平均でもよい。但し、第２照明光分布算出部７０４が平均化する画素の領域（第２領域）は、第１照明光分布算出部７０１が平均化する画素の領域（第１領域）に比べて小さくする。これにより、第２階調変換部７０６における階調変換により、画像の局所コントラストを強調することができる。照明光分布Ｙ２の例については後述する。

また、第２照明光分布算出部７０４における明るさＹの算出方法は、第１照明光分布算出部７０１における明るさＹの算出方法と同様であってもよい。つまり、照明光分布Ｙ２について階調変換を行うときに、色についてではなく明るさについて変換を行うことで、明るさの算出方法を共通にする。これにより、被写体の反射率（色）の影響を低減する、第１階調変換部７０３及び第２階調変換部７０６間で、色の違いによる階調変換による信号値への影響の差異を低減することができる。
第２照明光分布算出部７０４は、算出した照明光分布Ｙ２を第２補正係数算出部７０５に出力する。

第２補正係数算出部７０５は、第２照明光分布算出部７０４から入力された照明光分布Ｙ２に基づいて画素毎に補正係数βを算出する。ここで、第２補正係数算出部７０５は、照明光分布Ｙ２が示す階調値に対して単調増加する補正係数βを算出する。但し、第２補正係数算出部７０５は、照明光分布Ｙ２の階調値が最大値となる画素について補正係数βを１と定め、第１階調変換画像信号において最も明るい画素の階調値に補正係数βを乗じて補正した階調値が、他の画素の階調値に補正係数βを乗じて得られる階調値よりも大きくなるように補正係数βを算出し、設定する。なお、第２補正係数算出部７０５は、照明光分布Ｙ２の階調値が予め定めた値よりも小さい場合には、その最小値を下回らないように飽和するように補正係数βを定めてもよい。
これにより、階調変換を行って得られた出力画像において、変換前に最も階調値が大きい画素において、変換後もその画素の階調値が最も大きくなる。また、補正係数βは１を超えない値であるので、第１階調変換画像信号に含まれる階調値に補正係数βを乗算しても階調値は増加しない。

第１補正係数算出部７０２と第２補正係数算出部７０５は、さらに、照明装置制御部１０１から入力された照明装置制御信号が示す出力係数γを考慮して補正係数αと補正係数βをそれぞれ定める。
ここで、第１補正係数算出部７０２と第２補正係数算出部７０５は、出力係数γの減少に伴い、補正係数αと補正係数βとの積が増加するように補正係数αと補正係数βをそれぞれ定める。例えば、第１補正係数算出部７０２と第２補正係数算出部７０５は、照明光分布Ｙ１と照明光分布Ｙ２の階調値が予め定めた値よりも低い画素からなる領域である暗部領域を除く画素の領域において、出力係数γ、補正係数α及び補正係数βの積が１以上となるように補正係数αと補正係数βをそれぞれ定めるようにしてもよい。

また、第１補正係数算出部７０２と第２補正係数算出部７０５は、照明光分布Ｙ１、照明光分布Ｙ２の階調値がそれぞれの中心値よりも低い画素の領域において、出力係数γ、補正係数α及び補正係数βの積が１以上となるように補正係数αと補正係数βをそれぞれ定めるようにしてもよい。中心値とは、照明光分布Ｙ１と照明光分布Ｙ２の階調値が取りうるそれぞれの最大値と最小値との中心の値である。
このようにして、第１補正係数算出部７０２と第２補正係数算出部７０５は、出力係数γと、補正係数αならびに補正係数βを連動して定める。これにより、出力画像の輝度が高くなるか、又は出力画像の輝度の低下が抑制されるので画像全体が極端に暗くなり視認性が失われることが回避される。

なお、第１補正係数算出部７０２、第２補正係数算出部７０５は、照明装置の光量が基準値よりも小さい値に設定された場合の平均輝度が、照明装置の光量が基準値に設定された場合の平均輝度と同一か、それよりも高くなるように補正係数α、βの値をそれぞれ定めてもよい。
第２補正係数算出部７０５は、算出した補正係数βを第２階調変換部７０６に出力する。

第２階調変換部７０６は、第１階調変換部７０３から入力された第１階調変換画像信号について、第２補正係数算出部７０５から入力された補正係数βを用いて階調変換処理を行って第２階調変換画像信号を生成する。階調変換処理は、第１階調変換画像信号に含まれる画素毎の信号値（入力階調値）Ｐ１と変換後の信号値（出力階調値）Ｐ２との関係がＰ２＝Ｐ１×βとなるように行う。また、入力画像が、赤色、緑色、青色など各色の信号値で表されるカラー画像である場合、第２階調変換部７０６は、それぞれの色の信号値に対して同一の補正係数βを乗算する。そうすることで、各色の信号値の比、つまり色相を変化させずに階調変換を行うことができる。

その他、第２階調変換部７０６は、例えば、ＲＧＢ色空間で示された各画素の信号値をＨＳＶ色空間で示された信号値に変換し、明度成分の信号値にのみ補正係数βを乗算するなど、各色空間の明るさ成分に対して階調変換を行ってもよい。
第２階調変換部７０６は、階調変換処理を行って生成した第２階調変換画像信号を出力画像信号として画像表示部１０３に出力する。

上述したように、第２照明光分布算出部７０４における第２領域は、第１照明光分布算出部７０１における第１領域に比べて小さい。そのため、第２階調変換部７０６では、第１階調変換部７０３が局所コントラストを維持して階調変換を行った領域よりも狭い領域における階調値を考慮して階調変換が行われる。これによって出力画像における局所コントラストが強調される。例えば、第２照明光分布算出部７０４が平均化する画素の領域（第２領域）が最も小さい場合には、注目画素から予め定めた領域内の周辺画素がなく、平均化が行われない場合である。このとき、各画素の補正係数βは、注目画素の明るさによってのみ決定され、周辺画素（隣接画素）の明るさの影響を受けない。従って、隣接する画素間の明るさの差が大きく異なれば補正係数βも大きく異なり、隣接する画素間の明るさの差が近似していれば補正係数βも近似する。第１領域よりも第２領域が小さく、補正係数βが照明光分布Ｙ２の階調値に応じて単調増加するため、局所コントラストが強調される。

なお、第１補正係数算出部７０２と第２補正係数算出部７０５は、画像解析部１０４から入力された画像解析結果が示す平均輝度又は分散が小さいほど補正係数αと補正係数βの差が大きくなるように補正係数αと補正係数βをそれぞれ定めてもよい。これにより、出力画像においてコントラストの強調度合いが高くなる。そのため、利用者に知覚される明るさが明るくなる。例えば、補正係数α、βがそれぞれ１．５、０．８である場合、補正係数α、βがそれぞれ２．０、０．６である場合、補正係数αとβの積は、ともに１．２である。両者間で階調変換を行って得られた出力画像信号の信号値の平均値は、ほぼ同等にある。これに対して、前者よりも後者のほうが局所的なコントラストの強調度合いが高くなるため視認性が向上する。

（照明光分布の例）
次に、第１照明光分布算出部７０１が算出した照明光分布の例について示す。
図８は、入力画像の一例を示す図である。
図８に示す入力画像は、被写体として山岳Ｍ８、人物Ｈ８及び雲Ｃ８を表す画像である。この画像には、濃淡の階調が急激に変化する山岳Ｍ８と人物Ｈ８の輪郭が明瞭に表されている。他方、雲Ｃ８は、山岳Ｍ８や人物Ｈ８よりも明るく表されており、背景との濃淡差が少ない。そのため、雲Ｃ８の輪郭は明瞭に表れない。
図９は、照明光分布の一例を示す図である。
図９に示す画像は、図８の入力画像に係る入力画像信号を処理して得られた照明光分布を表す画像である。この画像では、図８に示す画像とは異なり、山岳Ｍ９と人物Ｈ９の輪郭が不明瞭である。つまり、空間周波数が高い高周波成分が欠落し、輪郭の部分で濃淡が空間的に連続的に緩やかに分布している。また、雲Ｃ９の輪郭は、視認することができない。この輪郭において濃淡の空間的な変化が極めて緩やかであるためである。

（補正係数αの例）
次に、第１補正係数算出部７０２が算出した補正係数αの例について説明する。
図１０は、補正係数αの例を示す概念図である。
図１０（ａ）、（ｂ）ともに、横軸に照明光分布Ｙ１の階調値を示し、縦軸に補正係数αを示す。図１０（ａ）は、照明光分布Ｙ１の階調値が０から閾値Ｙｔｈに増加すると、補正係数αは０から１を超えてその最大値まで単調増加することを示す。また、照明光分布Ｙ１の階調値が閾値Ｙｔｈから最大値Ｙ１ｍａｘに増加すると、補正係数αは最大値から１に単調減少することを示す。即ち、図１０（ａ）に示す例では、階調値が閾値Ｙｔｈよりも小さい場合、被写体の画像が暗く表され階調値が小さい画素ほど補正係数αを小さくしてノイズの影響を抑制する。また、階調値が閾値Ｙｔｈよりも大きい場合、被写体の画像が暗く表され階調値が低い画素ほど補正係数αを大きくして、画像の視認性を確保する。また、Ｙ１の階調値が最大値Ｙ１ｍａｘである場合に、補正係数を予め定めた一定値、例えば１にすることで、階調変換後の階調値が一定値、例えば最大値Ｙ１ｍａｘを越えないようにすることができる。
他方、図１０（ｂ）に示す例では、補正係数αが最大値αｍａｘを超えないように、その値が制限されている。このようにして、閾値Ｙｔｈから予め定めた範囲内にある階調値について、最大値αｍａｘを超えない補正係数αを用いて階調変換が行われるため過度の補正を回避することができる。

（第１階調変換画像信号の例）
次に、第１階調変換部７０３が階調変換して生成した第１階調変換画像信号の例を示す。
図１１は、第１階調変換画像信号の例を示す概念図である。
図１１（ａ）、（ｂ）において、いずれも横軸に画素の位置、縦軸に階調値を示す。いずれも、ある局所的な領域における階調値の分布を示す。また、図１１（ａ）、（ｂ）において、破線は階調値の平均値を示す。
図１１（ａ）に示される階調値は、入力画像信号の階調値を示す。
図１１（ｂ）に示される階調値は、第１階調変換画像信号の階調値を示す。
第１階調変換画像信号の階調値の平均値は、入力画像信号の階調値の平均値よりも増加している。しかし、階調値の分布は、第１階調変換画像信号と入力画像信号との間で類似する。即ち、第１階調変換部７０３が階調変換で用いた補正係数αがこの領域では、ほぼ一定であることを示す。つまり、図１１は、第１階調変換部７０３における階調変換において階調値の局所的な分布が維持されたまま、平均的に階調値が増加することを示す。

図１２は、第１階調変換画像の例を示す図である。
図１２に示す第１階調変換画像に係る第１階調変換画像信号は、図８に示す入力画像に係る入力画像信号について図９に示す照明光分布、図１０（ａ）に示す補正係数αに基づいて、第１階調変換部７０３が生成したものである。
図１２に示す第１階調変換画像は、全体として図８の入力画像よりも明るく、被写体である山岳Ｍ１２と人物Ｈ１２の輪郭が明瞭に表されている。また、図８の入力画像が有する局所的なコントラストを維持しながら、暗部領域（人物Ｈ１２の領域）の視認性が向上している。これにより、明るさを空間的に平均化して算出された照明光分布に基づいて補正係数を決定し、決定した補正係数を用いて画像信号に対して階調変換を行うことで、局所的なコントラストを維持し、暗部領域の視認性を向上できることが示される。
しかし、図１２において、雲Ｃ１２は視認することができない。雲Ｃ１２の明るさと背景の明るさとの差が少ないからである。

（照明光分布の他の例）
次に、照明光分布の他の例として、第２照明光分布算出部７０４が算出した照明光分布の例について示す。
図１３は、照明光分布の他の例を示す図である。
図１３に示す画像は、図１２の第１階調変換画像を処理して得られた照明光分布を表す画像である。この画像では、図９に示す照明光分布よりも、山岳Ｍ１３と人物Ｈ１３の輪郭が明瞭に表されている。これは、第２照明光分布算出部７０４において階調値を平均化する第２領域が、第１照明光分布算出部７０１よりも小さいことによる。つまり、図９の照明光分布よりも、図１３の照明光分布は、平均化による周辺画素の階調値の影響が少なく注目画素の階調値の影響が大きいことを裏付ける。
しかし、図１３において、雲Ｃ１３は視認することができない。雲Ｃ１３の明るさと背景の明るさとの差が少ないからである。

（補正係数βの例）
次に、第２補正係数算出部７０５が算出した補正係数βの例について説明する。
図１４は、補正係数βの例を示す概念図である。
図１４において、横軸に照明光分布Ｙ２の階調値を示し、縦軸に補正係数βを示す。図１４は、照明光分布Ｙ２の階調値が０から最大値Ｙｍａｘに増加すると、補正係数βは０から１まで上に凸になだらかに単調増加することを示す。第１階調変換画像のうち最大になる階調値は、第２階調変換部７０６において補正係数βの最大値である１が乗算されることで、その値に変換されることを示す。つまり、第２階調変換部７０６は、照明光分布Ｙ２の階調値の画素間の差、つまりコントラストを強調し、かつ、全体として階調値を小さくするように階調変換を行うことを示す。照明装置制御信号が示す出力係数γの関与については後述する。

（第２階調変換画像信号の例）
次に、第２階調変換部７０６が階調変換して生成した第２階調変換画像信号の例を示す。
図１５は、第２階調変換画像信号の例を示す概念図である。
図１５（ａ）、（ｂ）において、いずれも横軸に画素の位置、縦軸に階調値を示す。いずれも、ある局所的な領域における階調値の分布を示す。また、図１５（ａ）、（ｂ）において、それぞれ破線は階調値の最大値と最小値を示す。
図１５（ａ）に示される階調値は、第１階調変換画像信号の階調値を示す。
図１５（ｂ）に示される階調値は、第２階調変換画像信号の階調値を示す。
第２階調変換画像信号の階調値において最大値、最小値ともに、第１階調変換画像信号よりも減少している。また、第２階調変換画像信号における最大値と最小値との差分は、第１階調変換画像信号よりも増加している。このことは、局所的コントラストが強調されていることを示す。また、第２階調変換画像信号の階調値の極大値と極小値の分布は、第１階調変換画像信号の階調値の極大値と極小値の分布と類似している。つまり、図１５は、第１階調変換画像信号について濃淡のパターンの空間的な変化を維持しながら局所的コントラストが強調されていることを示す。

図１６は、第２階調変換画像の例を示す図である。
図１６に示す第２階調変換画像に係る第２階調変換画像信号は、図１２に示す第１階調変換画像に係る第１階調変換画像信号について図１３に示す照明光分布、図１４に示す補正係数βに基づいて、第２階調変換部７０６が生成したものである。
図１６に示す第２階調変換画像は、全体として図１２の第１階調変換画像よりも濃淡が明瞭に表されている。つまり局所的なコントラストが強調されている。また、図８の入力画像における暗部領域（人物Ｈ１６の領域）においても、濃淡が明瞭となり視認性が向上している。

図１７は、出力画像の一例を示す図である。
図１７に示す出力画像は、図１６に示す第２階調変換画像に係る第２階調変換画像信号に基づいて画像表示部１０３が表示する画像である。ここで、画像表示部１０３が備える照明装置の光量は、基準値よりも少ない状態である。
図１７において輝度が最も高い領域（人物の真上の雲Ｃ１７を表す領域）における輝度は、図８の入力画像における対応する領域における輝度よりも低い。しかしながら、図１７では局所的なコントラストが強調されているため、視覚的には十分に明るく知覚される。また、この局所的なコントラストの強調によって、画像全体としてコントラストが低下せずに、図８では明瞭に表れていなかった雲Ｃ１７が、図１７では、より明瞭に表れている。
つまり、図１７は、第１階調変換部７０３において暗部領域の視認性を向上した後で、第２階調変換部７０６において局所的なコントラストを強調することで、画像全体としてコントラストが低下したように知覚されることを回避することができることを示す。つまり、暗部領域の視認性が向上し、コントラストが明瞭な画像が表示される。これに加えて、局所的なコントラストを強調することで、照明装置の光量を基準値よりも少なくして輝度が低下する高階調領域も明るく知覚される画像を表示させることができる。

（補正係数α、βの算出例）
次に、第１補正係数算出部７０２、第２補正係数算出部７０５において、それぞれ補正係数α、βを算出するための構成例について説明する。

第１補正係数算出部７０２には、補正係数αの算出に用いるＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ、ルックアップテーブル）が予め記憶されている。ＬＵＴとは、入力値と出力値が対応付けられた情報である。その用途は、信号値の変換に限られない。第１補正係数算出部７０２に記憶されているＬＵＴには、入力値として照明光分布Ｙ１の階調値と出力値として補正係数αが対応付けられている。従って、第１補正係数算出部７０２は、入力された照明光分布Ｙ１の階調値に対応する補正係数αをＬＵＴから読み出し、読み出した補正係数αを第１階調変換部７０３に出力するようにしてもよい。

第１補正係数算出部７０２には、複数のＬＵＴが記憶されていてもよい。それぞれのＬＵＴでは、入力値と対応づけられた出力値として補正係数αの大きさがそれぞれ異なる。つまり、ＬＵＴ間において、階調変換によって出力画素の明るさをどの程度変化させるかが異なる。
ここで、第１補正係数算出部７０２は、画像解析部１０４から入力された画像解析結果である統計量又は照明装置制御部１０１から入力された照明装置制御信号が示す出力係数γに基づいて、複数のＬＵＴのうちいずれかを選択する。例えば、平均輝度が予め定めた値よりも低い場合、暗部領域の画素数が予め定めた数よりも多い場合、輝度ヒストグラムにおいて輝度分布が予め定めた値よりも低い領域に偏っている場合、又は出力係数γが予め定めた値よりも小さい場合等では、第１補正係数算出部７０２は、暗部領域をより明るくするＬＵＴを選択する。暗部領域をより明るくするＬＵＴとは、例えば、照明光分布Ｙ１の階調値が予め定めた値よりも小さい値（暗部領域）と、１よりも大きい値であって予め定めた値よりも大きい補正係数αとが対応付けられているＬＵＴである。

平均輝度が予め定めた値よりも高い場合、暗部領域の画素数が予め定めた値よりも少ない場合、輝度ヒストグラムにおいて輝度分布が予め定めた値よりも高い領域に偏っている場合、又は出力係数γが基準値より小さく予め定めた値よりも大きい場合等では、第１補正係数算出部７０２は、暗部領域を少しだけ明るくするＬＵＴを選択する。暗部領域を少しだけ明るくするＬＵＴとは、例えば、照明光分布Ｙ１の階調値が予め定めた値よりも小さい値（暗部領域）と、１よりも大きく、かつ予め定めた値よりも小さい補正係数αとが対応付けられているＬＵＴである。また、この補正係数αは、同一の照明光分布Ｙ１の階調値においては暗部領域をより明るくするＬＵＴに係る補正係数αよりも小さい値である。

第２補正係数算出部７０５は、画像解析部１０４から入力された画像解析結果、照明装置制御部１０１から入力された照明装置制御信号又は第１補正係数算出部７０２が選択したＬＵＴに基づいて、複数のＬＵＴのうちいずれかを選択する。第１補正係数算出部７０２において選択したＬＵＴを参照するのは、上述のように補正係数βを定める際に出力係数γの他、補正係数αを参照するためである。

例えば、第１階調変換画像におけるコントラストが低い場合、高周波成分が少ない場合、輝度ヒストグラムに偏りがある場合、又は入力画像に高階調領域が多い場合等では、第２補正係数算出部７０５は、局所コントラストをより強調するＬＵＴを選択する。ここで、画像解析部１０４は、入力画像信号の代わりに、第１階調変換部７０３が生成した第１階調変換画像信号について統計量を算出するようにしてもよい。コントラストが低いか否かは、例えば、予め定めた範囲における階調値の最大値と最小値の差が予め定めた値よりも小さいか否かに基づいて判断される。高周波成分が少ないか否かは、予め定めた空間周波数よりも高い高域成分におけるパワー値の、その空間周波数よりも低い低域成分におけるパワー値に対する比（パワー比）が予め定めた値よりも少ないか否かに基づいて判断される。輝度ヒストグラムに偏りがあるか否かは、一定間隔で分割された輝度の範囲毎の度数における最大値の最小値に対する比が予め定めた値よりも大きいか否かに基づいて判断される。高階調領域が多いか否かは、階調値（信号値）が予め定めた値よりも大きい画素の割合が、予め定めた割合よりも大きいか否かに基づいて判断される。
局所コントラストをより強調するＬＵＴとは、例えば、高階調領域の階調値の増加に伴う補正係数βの増加率がより大きいＬＵＴである。上述のように、入力画像に高階調領域が多い場合に、局所コントラストをより強調するＬＵＴを選択するのは、照明装置の光量を基準値より小さくすることで輝度が低下しても視認性を損なわないようにするためである。

また、コントラストが高い場合、高周波成分が多い場合、又は輝度ヒストグラムに偏りが無い場合等では、第２補正係数算出部７０５は、局所コントラストを少しだけ強調するＬＵＴを選択する。局所コントラストを少しだけ強調するＬＵＴとは、例えば、高階調領域の階調値の増加に伴う補正係数βの増加率がより小さいＬＵＴである。このＬＵＴにおける高階調領域の階調値の変化に伴う補正係数βの増加率は、上述の局所コントラストを強調するＬＵＴにおける高階調領域の階調値の増加に伴う補正係数βの増加率よりも小さい。

従って、第１補正係数算出部７０２、第２補正係数算出部７０５は、入力画像信号や第1階調変換画像信号を解析した階調値の統計値に基づいて、それぞれ好適な階調変換を実現するＬＵＴを選択することができる。
なお、上述のＬＵＴは、第１補正係数算出部７０２や第２補正係数算出部７０５とは別途、画像表示装置１０が備える算出方法記憶部（図示せず）に記憶されていてもよい。その場合には、第１補正係数算出部７０２は、統計量や出力係数γに応じたＬＵＴを算出方法記憶部から選択し、選択したＬＵＴにおいて、階調値に対応した補正係数α又はβを読み出す。
また、利用者による操作入力に基づいて、第１補正係数算出部７０２、第２補正係数算出部７０５は、それぞれＬＵＴを選択し、選択したＬＵＴに係る補正係数α又はβを用いるようにしてもよい。さらに、利用者による操作入力に基づいて、照明装置制御部１０１は、出力係数γを選択してもよい。この場合、第１補正係数算出部７０２は、選択した出力係数γに基づいて補正係数αを定めてもよいし、第２補正係数算出部７０５は、選択した出力係数γと第１補正係数算出部７０２が算出した補正係数αを用いて、上述したように、補正係数βを定めてもよい。

（平均化する領域の調整）
上述の説明では、第２照明光分布算出部７０４において、第１階調変換画像信号に含まれる画素毎の信号値を平均化する画素の領域（第２領域）は固定値であることを前提にしていたが、画像解析結果に応じて可変であってもよい。
上述したように、画像解析部１０４は、第１階調変換部７０３から入力された第１階調変換画像信号について統計値を算出し、算出した統計値を第２照明光分布算出部７０４に出力する。

第２照明光分布算出部７０４には、第２領域の大きさ（例えば、画素数）を予め複数通り記憶しておく。例えば、第１階調変換画像におけるコントラストが低い場合、高周波成分が少ない場合、輝度ヒストグラムに偏りがある場合等では、第２照明光分布算出部７０４では、より小さい第２領域を選択する。これにより、高周波数成分までコントラストが強調された出力画像が階調変換によって得られる。例えば、第１階調変換画像におけるコントラストが高い、高周波成分が多い、輝度ヒストグラムに偏りがない等の場合には、第２照明光分布算出部７０４は、より大きい第２領域を選択する。これにより、高周波数成分におけるコントラストが維持され、強調の度合いが抑制された出力画像が階調変換によって得られる。よって、第１階調変換画像の信号値の分布に応じて出力画像の高周波数成分のコントラストの強調の度合いが調整されて出力画素の視認性を向上させることができる。

上述では、第１照明光分布算出部７０１が算出する照明光分布Ｙ１、第２照明光分布算出部７０４が算出する照明光分布Ｙ２が、それぞれ１通りである場合を例にとって説明したが、本実施形態ではこれには限られない。例えば、第１照明光分布算出部７０１が算出する照明光分布Ｙ１、第２照明光分布算出部７０４が算出する照明光分布Ｙ２が、それぞれ複数通り、例えば、２通りであってもよい。第１補正係数算出部７０２がそれぞれの照明光分布Ｙ１に基づいて算出した補正係数αの全部もしくは一部の平均値を算出し、第１階調変換部７０３は算出された平均値を用いて階調変換を行ってもよい。第２補正係数算出部７０５がそれぞれの照明光分布Ｙ２に基づいて算出した補正係数βの全部もしくは一部の平均値を算出し、第２階調変換部７０６は算出された平均値を用いて階調変換を行ってもよい。

また、第１照明光分布算出部７０１が照明光分布Ｙ１を複数通り算出する場合には、その複数通りのうち第１領域が最も小さい領域を第１参照画像領域と呼ぶ。第２照明光分布算出部７０４は、照明光分布Ｙ２を算出する際に画素毎の信号値を平均化する画素の領域（第２領域）を第１参照画像領域よりも小さくなるように定める。照明光分布Ｙ２を複数通り算出する場合には、その複数通りのうち第２領域が最も大きい領域を第２参照画像領域と呼ぶ。よって、第２参照画像領域は第１参照画像領域よりも小さくなるように定められる。

第１照明光分布算出部７０１は、それぞれ大きさが異なる第１領域の全部又は一部を選択することによって、階調変換によって局所的なコントラストが維持される領域の大きさを調整することができる。上述のように、第１照明光分布算出部７０１は、画像解析部１０４から入力された統計値に基づいて第１領域を選択してもよい。第１領域内では補正係数αがほぼ一定値と近似され、暗部領域における補正係数αは、他の領域における補正係数αよりも大きい値をとることを鑑みると、第１階調変換部７０３が行う階調変換によって、より小さい領域でコントラストが維持される。そのため、小さい暗部領域であっても視認性が向上する。

他方、第２照明光分布算出部７０４は、それぞれ大きさが異なる第２領域の全部又は一部を選択することによって、階調変換によって局所的なコントラストを強調する空間周波数を調整することができる。上述のように、第２照明光分布算出部７０４は、画像解析部１０４から入力された統計値に基づいて第２領域を選択してもよい。第２領域よりも広い領域では補正係数βが有意に変動するためコントラストが強調されることを鑑みると、第２階調変換部７０６が行う階調変換によって、より小さい領域内での局所的なコントラストを強調することができる。また、ゼロに近い階調値について補正係数βは、階調変換において階調値を低減するため、階調値がゼロ付近で分布するノイズが過度に強調されない点においても好ましい。

なお、第１照明光分布算出部７０１、第２照明光分布算出部７０４は、それぞれ画像解析部１０４から入力された統計値に基づいて、それぞれ第１領域、第２領域を選択する代わりに、それらの領域の大きさを変更するようにしてもよい。
また、第１照明光分布算出部７０１は、入力画像信号の解像度に応じて第１領域の大きさを変更してもよい。ここで、第１照明光分布算出部７０１は、例えば、入力画像信号の解像度、つまり、表示領域の一辺の画素数と比例するように第１領域の一辺の画素数を定める。同様に、第２照明光分布算出部７０４は、第１階調変換画像信号の解像度に応じて第２領域の大きさを変更してもよい。ここで、第２照明光分布算出部７０４は、例えば、その解像度と比例するように第２領域の一辺の画素数を定める。これにより、入力画像の解像度によらずコントラストが維持又は強調される局所領域の大きさが同一となり、画質を向上する効果を同等にすることができる。

（出力係数γの決定方法）
次に、照明装置制御部１０１における出力係数γの決定方法について説明する。
上述したように、照明装置制御部１０１は、画像解析部１０４から入力された画像解析結果が示す統計値に基づいて出力係数γを決定する。例えば、照明装置制御部１０１は、入力画像の信号値の平均値が大きいほど、出力係数γをより大きい値に定める。照明装置制御部１０１は、入力画像の信号値の平均値が小さいほど、出力係数γをより小さい値に定める。但し、定められた出力係数γは、０から１の間の実数である。これにより入力画像信号の信号値が大きく、かつ照明装置の光量を基準値よりも小さく設定する場合、階調変換を行っても画像表示部１０３に表示される画像の輝度が低下するという問題を回避することができる。

また、照明装置制御部１０１は、階調ヒストグラムに基づいて出力係数γを定めてもよい。例えば、高階調領域と低階調領域の画素数が、その中間の領域（中間階調領域）における画素数よりも多い場合、照明装置制御部１０１は、出力係数γを光量の基準値を与える値から予め定めた範囲内の値に定める。これにより、輝度の最大値の低下が抑制されるため高い輝度を与える高階調領域が主である画質の劣化を低減することができる。この場合と信号値の平均値が同一又は近似する場合であっても、照明装置制御部１０１は、中間階調領域における画素数が多いほど、より小さい値に出力係数γの値を定める。照明装置の光量を基準値よりも少なくしても、輝度の最大値を低下させずに局所的なコントラストを強調して階調変換を行うことができる。これにより、視認性を損なわず、消費電力を低減することができる点で好適である。

（画像処理）
次に、本実施形態に係る画像処理について説明する。
図１８は、本実施形態に係る画像処理の一例を示すフローチャートである。
（ステップＳ１８０１）第１照明光分布算出部７０１は、画像処理部１０２に入力された入力画像信号に基づいて画素毎に照明光分布Ｙ１を算出する。ここで、第１照明光分布算出部７０１は、画素毎の信号値に基づく明るさを予め定めた第１領域内で平均化して画素毎に照明光分布Ｙ１を算出する。第１照明光分布算出部７０１は、算出した照明光分布Ｙ１を第１補正係数算出部７０２に出力する。その後、ステップＳ１８０２に進む。

（ステップＳ１８０２）第１補正係数算出部７０２は、第１照明光分布算出部７０１から入力された照明光分布Ｙ１に基づいて、画素毎に補正係数αを算出する。ここで、第１補正係数算出部７０２は、照明光分布Ｙ１の階調値が予め定めた閾値Ｙｔｈ以上であるとき、照明光分布Ｙ１の階調値に対して単調減少し、照明光分布Ｙ１の階調値が閾値Ｙｔｈ未満であるとき、照明光分布Ｙ１の階調値に対して単調増加するように補正係数αを算出する。
第１補正係数算出部７０２は、算出した補正係数αを第１階調変換部７０３及び第２補正係数算出部７０５に出力する。その後、ステップＳ１８０３に進む。

（ステップＳ１８０３）第１階調変換部７０３は、入力画像信号に対して第１補正係数算出部７０２から入力された補正係数αに基づいて階調変換処理を行って第１階調変換画像信号を生成する。第１階調変換部７０３は、階調変換処理を行って生成した第１階調変換画像信号を第２照明光分布算出部７０４及び第２階調変換部７０６に出力する。その後、ステップＳ１８０４に進む。

（ステップＳ１８０４）第２照明光分布算出部７０４は、第１階調変換部７０３から入力された第１階調変換画像信号に基づいて画素毎に照明光分布Ｙ２を算出する。ここで、第２照明光分布算出部７０４は、画素毎の信号値に基づく明るさを予め定めた第２領域内で平均化して画素毎に照明光分布Ｙ２を算出する。第２領域は、前述の第１領域よりも小さい。
第２照明光分布算出部７０４は、算出した照明光分布Ｙ２を第２補正係数算出部７０５に出力する。その後、ステップＳ１８０５に進む。

（ステップＳ１８０５）第２補正係数算出部７０５は、第２照明光分布算出部７０４から入力された照明光分布Ｙ２に基づいて画素毎に補正係数βを算出する。ここで、第２補正係数算出部７０５は、照明光分布Ｙ２が示す階調値に対して単調増加する補正係数βを算出する。但し、第２補正係数算出部７０５は、照明光分布Ｙ２の階調値が最大値となる画素について補正係数βを１と定める。ここで、第２補正係数算出部７０５は、照明装置制御部１０１から入力された照明装置制御信号が示す出力係数γと第１補正係数算出部７０２から入力された画素毎の補正係数αを考慮して補正係数βを定めてもよい。
第２補正係数算出部７０５は、算出した補正係数βを第２階調変換部７０６に出力する。その後、ステップＳ１８０６に進む。

（ステップＳ１８０６）第２階調変換部７０６は、第１階調変換部７０３から入力された第１階調変換画像信号について、第２補正係数算出部７０５から入力された補正係数βを用いて階調変換処理を行って第２階調変換画像信号を生成する。
第２階調変換部７０６は、階調変換処理を行って生成した第２階調変換画像信号を出力画像信号として画像表示部１０３に出力する。その後、処理を終了する。

（画像撮像装置）
次に、本実施形態の変形例である画像撮像装置１９の構成について説明する。画像表示装置１０（図１参照）と同一の構成については、同一の符号を付して説明を援用する。
図１９は、本変形例に係る画像撮像装置１９の構成を示す概略図である。
画像撮像装置１９は、画像処理装置１００に加えて、撮像素子１９０１、画像表示部１９０２、及び画像記憶部１９０３を含んで構成される。

撮像素子１９０１は、被写体の画像を撮像し、撮像した画像を示す原画像信号を生成する。撮像素子１９０１は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ、電荷結合素子）等の撮像デバイスを含んで構成される。撮像素子１９０１は、生成した画像信号についてデモザイク（ｄｅ−ｍｏｓａｉｃ）等の一般的な画像処理を行い、生成した信号を入力画像信号として画像処理装置１００の画像処理部１０２及び画像解析部１０４に出力する。デモザイクとは、原画像信号にはなかった色情報を補完してカラーの画像を示す画像信号を生成する処理である。

画像表示部１９０２には、照明装置制御部１０１から照明装置制御信号が入力され、画像処理部１０２から出力画像信号が入力される。画像表示部１９０２は、照明装置制御信号が示す出力係数γに基づいて照明装置の光量を調整し、出力画像信号が示す画像を表示する。
画像記憶部１９０３には、画像処理部１０２から入力された出力画像信号が記憶される。画像記憶部１９０３は、例えば、フラッシュメモリやハードディスク等の記憶デバイスを含んで構成される。
これにより、暗部領域の視認性を向上するとともに、局所的なコントラストを向上した視認性の高い高画質の画像を撮影することが可能な画像撮像装置１９が実現される。画像撮像装置１９は、ガンマ補正、色変換、輪郭強調などの一般的な画像処理を、画像処理部１０２が出力した出力画像信号について実行してもよい。

なお、上述した第１補正係数算出部７０２と第２補正係数算出部７０５は、一体化した補正係数算出部として構成されていてもよい。また、第１補正係数算出部７０２は、第１階調変換部７０３の一部として含まれていてもよい。また、第２補正係数算出部７０５は、第２階調変換部７０６の一部として含まれていてもよい。

以上に説明したように、本実施形態は、入力画像の各画素について当該画素を中心とした所定の領域である第１領域における明るさの平均値を算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出し、第１照明光分布と、照明光強度が所定の閾値よりも大きいとき照明光強度に対して単調減少する第１補正係数に基づいて、入力画像の各画素の階調値を変換する。更に、本実施形態は、入力画像を変換した画像の各画素について、当該画素を中心とした第１領域よりも小さい領域である第２領域における階調値の平均値を算出することで、階調変換後の画像における照明光強度の分布を示す第２照明光分布を算出し、第２照明光分布と、照明光強度に対して単調減少する第２補正係数に基づいて、変換後の画像の階調値を変換する。また、本実施形態は、画像を表示する画像表示部が備える照明部の光量に係る出力係数の減少に伴い、第１補正係数と第２補正係数との積が増加する第１補正係数と第２補正係数を算出する。
これにより、階調変換において画像信号の局所的なコントラストが強調され、暗部領域の視認性が向上する。また、照明装置の光量を基準値よりも少なくしても、その光量が基準値である場合と同様な視認性が得られ、電力の消費量を低減することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
本実施形態に係る画像表示装置（図示せず）の概略構成は、画像表示装置１０（図１参照）と同様である。但し、本実施形態に係る画像表示部１０３（図１参照）は、照明装置として複数の光源を備える。この画像表示部１０３は、画像を表示する表示面が分割された複数の領域毎に、それぞれの光源が放射する光量を独立に制御することができる。

図２０は、本実施形態に係る照明装置の光源の配置例を示す図である。
図２０において、横長の長方形の外枠は、照明装置の外枠を示す。
外枠の内部における二次元平面内に配列されている円は、それぞれ光源を示す。外枠の左上端の光源２０００は、照明装置が備える複数の光源のうちの１つである。
なお、本実施形態では、光量を独立に制御できる単位は、１個の光源毎であってもよいし、予め定めた数の複数の光源毎であってもよい。また、複数の光源は、照明装置の上下左右における端の全部又は一部における一次元の線分上に配置されていてもよい。

図２１は、本実施形態に係る画像表示部１０３の画素の配置例を示す図である。
図２１において、横長の長方形の外枠は、画像表示部１０３における画像表示面の外枠を示す。外枠の内部における二次元平面内に配列されている細かい四角形は、それぞれ画素を示す。図２１の左上端において塗りつぶされた領域２１００は、光量を独立に制御可能な光源２０００に対応する領域である。つまり、領域２１００は、主に光源２０００から光が供給される領域である。領域２１００が表示する画像の明るさは、主に光源２０００の光量によって制御される。

そこで、本実施形態では、照明装置制御部１０１（図７参照）は、光量制御領域毎に光量を決定する。光量制御領域とは、光量を独立に制御できる光源の各単位に対応した領域を指す。つまり、光量制御領域は、画像を表示する表示領域を複数に分割した部分領域のそれぞれに相当する。照明装置制御部１０１は、例えば、画像処理装置１００に入力された入力画像信号に基づいて光量制御領域毎に照明光分布を算出する。照明装置制御部１０１は、それぞれの光量制御領域に属する信号値を平均化して得られる階調値を照明光分布として算出する。照明装置制御部１０１は、算出した照明光分布が大きいほど、大きい出力係数γを定める。照明装置制御部１０１は、例えば、算出した照明光分布が予め定めた値よりも大きい場合、その光量制御領域に係る光源の光量が基準値よりも多くする出力係数γを定める。照明装置制御部１０１は、算出した照明光分布が予め定めた値よりも小さい場合、その光量制御領域に係る光源の光量が基準値よりも少なくする出力係数γを定める。
但し、基準値が予め定めた最大値であって算出した照明光分布が予め定めた値よりも大きい場合には、照明装置制御部１０１は、その光量制御領域に係る光源の光量を基準値とする出力係数γを定める。

つまり、画像処理部１０２（図７参照）において、第１補正係数算出部７０２は入力画像信号の照明光分布Ｙ１と光量制御領域毎に定められた補正係数γに基づいて補正係数αを算出し、第１階調変換部７０３は、補正係数αを用いて入力画像信号を階調変換する。また、第２補正係数算出部７０５は第一階調変換信号の照明光分布Ｙ２と光量制御領域毎に定められた補正係数γに基づいて補正係数βを算出し、第２階調変換部７０６は、補正係数βを用いて第１階調変換信号を階調変換する。

照明装置制御部１０１が算出した照明光分布が小さい光量制御領域では、照明装置の光量が基準値より小さくなるが、画像処理部１０２は、その領域について、上述のように階調変換を行うことにより、局所的なコントラストが強調され視認性が良好な画像が画像表示部１９０２に表示される。

（消費電力について）
次に、本実施形態に係る画像表示装置１０の消費電力について説明する。
本実施形態では、複数の光量制御領域毎に照明装置が備える光源の光量を独立に制御し、併せて画像処理部１０２における階調処理を行う。視認性を損なうことなく光源の全ての光量を一様に制御する場合よりも消費電力を削減することができる。本実施形態では、照明光分布の階調値が低い光量制御領域に係る光源の光量を低減できるためである。

一般に、入力画像信号の信号値が大きいと、光源の光量を少なくし過ぎると階調変換を行っても、期待される輝度よりも輝度が低くなる。そのため、光源の光量を極端に減少させると視認性を損なうおそれがある。光源の全ての光量を一様に制御する場合には、全ての光源について光量を極端に減少させることができず、消費電力の削減量が限られる。
これに対し、本実施形態では、照明光分布の階調値が高い光量制御領域（明部領域）では光量の低下が抑制され、照明光分布の階調値が低い光量制御領域（暗部領域）では光量を十分に低下させる。これによって、明部領域では輝度が高い状態に維持されるのに対し、暗部領域に対応する光源の光量がより大きく低減される。

なお、照明装置制御部１０１は、光量制御領域内のコントラストに基づいて出力係数γを定めるようにしてもよい。出力係数γは、上述したように光源の光量を制御するパラメータである。ここで、照明装置制御部１０１は、光量制御領域毎に入力画像信号の階調値に基づいて局所的なコントラストの度合いを示す指標値を算出する。この指標値として、例えば、階調値の最大値と最小値との差分、階調値の分散、等がある。照明装置制御部１０１は、算出した指標値が示す局所的なコントラストが強いほど、より光源の光量を少なくする出力係数γを定める。照明光分布の階調値が同じ値であっても、局所的なコントラストが強い光量制御領域の方が、局所的なコントラストが弱い光量制御領域よりも光源の光量が少なくなる。そのため、光量制御領域毎に出力画像の視認性を維持しながら光源の光量を少なくして消費電力を低減することができる。

一般には、階調値が大きいほど、又は光源の光量が多いほど輝度が高くなる。ここで、出力画素の輝度の一例を示す。
図２２は、出力画像の輝度の一例を示す概念図である。
図２２において、横軸は階調値を示し、縦軸は輝度を示す。図２２において、曲線２２００は、光量が基準値である場合の輝度を示す曲線である。この曲線２２００が示す輝度が期待される輝度を示している。曲線２２０１は、光量が基準値の１／４である場合の輝度を示す曲線である。ここで、階調値Ｘ１は、光量が基準値である場合に輝度の値としてＭＡＸ／４が得られる階調値である。ＭＡＸは、光量が基準値であって、階調値がその最大値ＸＭＡＸである場合に得られる輝度の値である。光量が基準値の１／４であって、階調値がその最大値ＸＭＡＸの場合にも輝度の値としてＭＡＸ／４が得られる。つまり、図２２は、光量を基準値の１／４に減少させても、Ｘ１の階調値を最大値ＸＭＡＸに階調変換することで期待される輝度の値としてＭＡＸ／４が得られることを示す。

しかし、上述のように局所的なコントラストが強い領域、特に階調値が周辺画素の階調値よりも有意に高い画素は、人間の視覚特性上、明るく知覚される。ここで、出力画像信号の階調値の一例を示す。
図２３は、出力画像信号の階調値の一例を示す概念図である。
図２３は、横軸に画素の位置、縦軸に階調値を示す。原点は、画像表示部１９０２の画像表示面上の１点、例えば、左上端である。図２３の中央部には、他の階調値よりも著しく大きい階調値が示されている。これに対し、他の階調値は、最大値ＸＭＡＸよりも０に近い小さい値をとる。つまり、図２３が示す階調値の分布は、暗部領域に他の階調値よりも著しく大きい階調値を有する画素が含まれていることを示す。このような場合には、光源の光量を少なくすると、この大きい階調値を有する画素は、期待される輝度よりも低い輝度で表示される。しかし、この階調値は周辺の階調値との差、つまり局所的なコントラストが大きい。そのため、この大きい階調値を有する画素は人間の視覚上明るく知覚される。

このように、本実施形態によれば、出力係数として、画像を表示する表示領域を分割した複数の部分領域のそれぞれについて算出した出力係数に基づいて第１補正係数と第２補正係数を算出する。即ち、光量を独立に制御できる複数の光源にそれぞれ対応した領域毎に、画像信号に基づいて照明光分布を算出し、算出した照明光分布に基づいて光量を制御する。また、算出した照明光分布に基づいて階調変換を行う。これにより、出力画像の局所的コントラストを強調し、光源の光量を基準値よりも少なくしても暗部領域の視認性を向上させることができる。また、光源の光量を少なくすることで消費電力をさらに低減することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
本実施形態に係る画像表示装置２４の構成について説明する。
図２４は、本実施形態に係る画像表示装置２４の構成を示す概略図である。
画像表示装置２４は、画像処理装置２４００及び画像表示部２４０３を含んで構成される。画像処理装置２４００は、照明装置制御部２４０１、画像処理部２４０２、画像補正部２４０４及び画像解析部２４０５を含んで構成される。

画像処理部２４０２及び画像解析部２４０５は、それぞれ、画像処理部１０２及び画像解析部１０４（図１参照）と同様の構成を備える。照明装置制御部２４０１は、第２の実施形態に係る照明装置制御部１０１と同様に、画像解析部２４０５から入力された画像解析結果が示す統計量に基づいて照明装置が備える複数の光源の光量を定める。照明装置制御部２４０１は、その複数の光源について独立に制御可能な光源毎に定めた光量を得るための出力係数γを定める。照明装置制御部２４０１は、出力係数γを示す照明装置制御信号を画像処理部２４０２、画像表示部２４０３及び画像補正部２４０４に出力する。
以下では、主に上述の実施形態との差異点について説明する。

画像補正部２４０４は、画像処理部２４０２から入力された出力画像信号について照明装置制御部２４０１から入力された照明装置制御信号に基づいて補正処理を行う。画像補正部２４０４が行う補正処理は、画像処理部２４０２から出力画像信号が直接入力されたときに画像表示部２４０３が表示する出力画像の輝度のむらを低減する処理である。「輝度のむら」とは、光量制御領域に対応した光源と画素との位置関係に起因する輝度の変化であって、画素毎の階調値だけでは説明できないものを指す。「輝度のむら」の例や、「輝度のむら」を低減する処理については後述する。画像補正部２４０４は、補正処理で補正した出力画像信号を画像表示部２４０３に出力する。

（出力画像信号の輝度の例）
ここで、画像処理部２４０２から入力された出力画像信号の階調値の例について説明する。
図２５は、出力画像信号の階調値の他の例を示す概念図である。
図２５は、横軸に画素の位置、縦軸に階調値を示す。横軸の真下に示されている２本の両矢印は、それぞれ光量制御領域２５００、２５０１を示す。光量制御領域２５００、２５０１は、互いに隣接して配置されている。つまり、横軸に示されている画素は、それぞれ、光量制御領域２５００、２５０１のいずれかに属する画素である。
図２５に示す例では、光量制御領域２５００に属する画素の階調値は、それぞれ最大値ＸＭＡＸよりもゼロに近い値である。これに対し、光量制御領域２５０１に属する画素の階調値は、それぞれゼロよりも最大値ＸＭＡＸに近い値である。光量制御領域２５００と２５０１との間では、階調値に顕著な差がある。

次に、照明装置の輝度の例について説明する。
図２６は、照明装置の輝度の例を示す概念図である。
図２６は、横軸に画素の位置、縦軸に照明装置の輝度を示す。横軸の真下に示されている２本の両矢印は、それぞれ上述の光量制御領域２５００、２５０１を示す。
この例が示す輝度は、光量制御領域２５００に係る光源よりも光量制御領域２５０１に係る光源の光量が多い場合に得られた照明装置の輝度分布である。図２６に示す輝度は、光量制御領域２５００、２５０１間で光量が異なり、光量制御領域２５００と２５０１の境界において緩やかに変化する。この変化は、図２５に示す階調値の変化よりも緩やかである。つまり、境界付近の照明装置の輝度は、隣接する複数の光量制御領域に係る光源が放射する光の影響を受け、この光量制御領域の境界付近における輝度の緩やかな変化を生じる。この輝度の変化が「輝度のむら」である。

次に、出力画像の輝度の他の例について説明する。
図２７は、出力画像の輝度の他の例を示す概念図である。
図２７において、縦軸は出力画像の輝度、横軸は画素の位置、横軸の真下に示されている矢印はそれぞれ光量制御領域２５００、２５０１を示しており、横軸と横軸の真下に示す矢印は図２５、２６におけるものと同様である。この例では、各光源の光量は図２６に示す例と同様であり、出力画像信号は図２５に示す例と同様である。
図２７が示す輝度は、光量制御領域２５００、２５０１間の境界において、値の変化の度合いが最も著しい。しかし、この値の変化は、図２５に示す階調値の変化よりも緩やかになる。この緩やかな輝度の変化が、「輝度のむら」として生じる。

そこで、画像補正部２４０４は、例えば、光量制御領域の境界を跨ぐ階調値の差分を強調するように補正処理を行う。これにより、隣接する光量制御領域に係る光源が放射する光が与える影響が低減する。そのため、光量制御領域間での光量の差分に起因する「輝度のむら」が低減する。

次に、補正された出力画像信号の階調値の一例について説明する。
図２８は、補正された出力画像信号の階調値の一例を示す概念図である。
図２８において、縦軸、横軸、横軸の真下に示されている矢印は、それぞれ図２５におけるものと同様である。
図２８が示す階調値は、図２５が示す階調値を有する出力画像信号について補正処理を行って生成された信号の階調値である。図２８において、光量制御領域２５００に属す画素の階調値は、光量制御領域２５０１との境界に近いほど減少する。これに対して、光量制御領域２５０１に属す画素の階調値は、光量制御領域２５００との境界に近いほど増加する。その結果、光量制御領域２５００、２５０１間の境界を跨ぐ階調値の差分が強調されている。ここで、この境界を跨ぐ階調値の平均値は、補正処理の前後で、ほとんど変化しない。

次に、補正された出力画像に係る輝度の一例について説明する。
図２９は、補正された出力画像の輝度の一例を示す概念図である。
図２９において、縦軸、横軸、横軸の真下に示されている矢印は、それぞれ図２６におけるものと同様である。
図２９が示す輝度は、図２８が示す出力画像信号に係る出力画像の輝度である。図２９では、光量制御領域２５００、２５０１間の境界において、輝度の変化が図２５における階調値の変化と同様に急峻である。即ち、図２９は、光量制御領域２５００、２５０１間の境界において階調値の変化を強調するように補正処理を行うことで、図２７が示す「輝度のむら」を低減、ひいては解消できることを示す。例えば、画像補正部２４０４には、予め図２６に示す画素毎の輝度を階調値に換算した補正係数を記憶しておき、画素毎の階調値に記憶しておいた補正係数で除算することで補正処理を実現することができる。また、画像補正部２４０４には、予め図２８に示す画素毎の階調値を正規化した補正係数を記憶しておき、画素毎の階調値に記憶しておいた補正係数を乗算することでも補正処理を実現することができる。

本実施形態では、ある光量制御領域に係る光源（光源の位置）について画素（画素の位置）毎の輝度の関係を示す輝度情報を予め取得しておいてもよい。画像補正部２４０４は、この輝度情報が示す「輝度のむら」を低減するように出力画像信号について補正処理を行う。画像補正部２４０４は、補正処理において、例えば、予め記憶させておいたＬＵＴを参照して、出力画像信号に含まれる画素毎の階調値について階調変換を行う。後述するように、１つの光量制御領域においても画素の位置によって、光源から到達する光の強度が異なるため輝度の差異が生じる。画素の位置の違いによる輝度の差異も輝度のむらの一態様である。つまり、階調変換において、輝度の差異を補償する補正係数を予め画素毎に取得しておき、画像補正部２４０４は、階調変換において取得した補正係数を階調値に乗算する。

ここで、本実施形態に係る光源と画素の配置の一例を示す。
図３０は、本実施形態に係る光源と画素の配置の一例を示す概念図である。
図３０（ａ）は、光源３０００と、光源３０００に対応する光量制御領域３００１を示す。光量制御領域３００１を示す四角形に含まれる複数の細かい四角形は、それぞれ画素を示す。光源３０００は、光量制御領域３００１のほぼ中央に配置されている。
図３０（ｂ）は、画素毎の輝度の一例を示す。図３０（ｂ）において、横軸は画素の位置、縦軸は輝度を示す。図３０（ｂ）が示す輝度は、図３０（ａ）の線分３００２を通過する画素毎の輝度である。図３０（ｂ）における各画素の水平方向の位置は、図３０（ａ）における各画素の水平方向の位置と対応付けられている。図３０（ｂ）において、光源３０００の中央において輝度が最も高く、これに近接する画素では輝度の変化は、なだらかである。これに対して、光量制御領域３００１の端部に近接する画素では、輝度の変化が著しくなりゼロに近似する。

そこで、画像補正部２４０４は、光量制御領域全体にわたり一定の階調値、一定の光量（出力係数γ、例えば１）のもとで輝度が画素（位置）によらず一定（平坦）となる階調値を与える画素毎の補正係数をＬＵＴとして予め記憶させておく。画像補正部２４０４には、記憶させておいたＬＵＴから画素毎の補正係数を読み出し、出力画像信号に含まれる画素毎に階調値と読み出した補正係数を乗算することによって階調変換を行う。さらに、画像補正部２４０４は、変換された階調値にさらに出力係数γを乗算する。
上述では補正係数を乗算する場合を例にとって説明したが、画像補正部２４０４には、上述の補正係数の代わりに、その逆数を記憶させてもよい。その場合には、画像補正部２４０４には、階調変換において階調値に記憶させておいた逆数を除算する。

なお、上述したように、特に光量制御領域の境界付近の画素では、その画素が属する光量制御領域に係る光の他、異なる光量制御領域に係る光源が放射する光が照射される。そこで、画像補正部２４０４は、異なる光量制御領域に係る光源による輝度の成分をもたらす階調値を合成して合成値を算出し、算出した合成値が目標輝度を与えるように階調変換を行うようにしてもよい。これにより、異なる光量制御領域に係る光源に起因する「輝度のむら」の影響が低減される。

ここで、本実施形態に係る光源と画素の配置のその他の例について説明する。
図３１は、本実施形態に係る光源と画素の配置のその他の例を示す概念図である。
図３１において、４つの円は、それぞれ光源３１００、３１０２、３１０４、３１０６を示す。４つの円をそれぞれ中心に含む四角形の領域は、光源３１００、３１０２、３１０４、３１０６にそれぞれ対応する光量制御領域３１０１、３１０３、３１０５、３１０７である。ここで、光量制御領域３１０１の左下端において斜線で塗りつぶされた小さい四角形の領域に係る画素３１０８に注目する。
画素３１０８には、その画素が属する光量制御領域３１０１に係る光源３１００の他、光源３１０２、３１０４、３１０６が放射する光が照射される。

画像補正部２４０４は、注目する光量制御領域から予め定めた範囲の他の光量制御領域（例えば、隣接光量制御領域）のそれぞれに係る光源による輝度を予め計測しておく。計測は、予め一定の階調値、光量（出力係数γ、例えば１）のもとで、その注目する光量制御領域における画素（注目画素）毎に行う。計測された輝度（輝度の成分）は、注目画素における輝度に対して、他の光量制御領域のそれぞれに係る光源が放射する光が与える影響の度合いを示す。画像補正部２４０４には、所定の光量のもとで計測した輝度を階調値に換算して得られる合成係数（補正係数）を、各画素及び他の光量制御領域の光源毎にＬＵＴとして予め記憶させておく。また、画像補正部２４０４は、合成値と目標輝度を与える階調値（目標階調値）とを対応付けて予めＬＵＴに記憶させておく。合成値は、所定の光量のもとで他の光量制御領域から到達する光による輝度を階調値に換算した値である。

画像補正部２４０４は、記憶させておいたＬＵＴから注目する光量制御領域における画素毎、他の光量制御領域の光源毎に合成係数を読み出す。画像補正部２４０４は、読み出した合成係数と出力係数γを乗算して、他の光量制御領域の光源毎の輝度の成分を算出する。画像補正部２４０４は、算出した輝度の成分を他の光量制御領域にわたり加算し、その総和である合成値を算出する。画像補正部２４０４は、算出した合成値に対応する目標階調値をＬＵＴから読み出すことで階調変換を行う。
これにより、他の光量制御領域の光源毎の輝度の影響が目標輝度に補正されるため、光量制御領域の境界付近に生じがちな「輝度のむら」が低減する。

なお、出力画像の「輝度のむら」は、照明装置の光量を一様に制御する画像表示装置１０（図１参照）でも起こりうる。この「輝度のむら」は、例えば、光源の入出力特性の個体差や、光量制御領域と対応する光源との位置関係、に起因する。そこで、画像表示装置１０において上述の画像補正部２４０４を備え、画像処理部１０２が生成する出力画像信号について上述の補正処理を行った出力画像信号を画像表示部１０３に出力してもよい。これにより、「輝度のむら」を低減することができる。

本実施形態では、画像補正部２４０４において入力画像信号について上述の補正処理を行い、補正処理を行った入力画像信号を画像処理部２４０２に出力してもよい。画像処理部２４０２は、生成した出力画像信号を画像表示部２４０３に出力する。但し、補正処理を行った入力画像信号に基づいて照明光分布が算出されるため、もとの入力画像信号とは異なり、注目画素とは別の画素の階調値の影響を受ける。そのため、画像処理部２４０２は、上述のように、もとの入力画像信号の階調値のみに基づいて、処理を行うことが好適である。

このように、本実施形態では、部分領域（光量制御領域）に対応した光源毎の輝度と階調値の関係を示す補正係数を予め画素毎に記憶しておき、補正係数に基づいて階調変換した階調値を補正する。これにより、部分領域に対応した光源と画素との位置関係に起因する輝度の変化（輝度のむら）を低減して視認性に優れた出力画像を表示することができる。

なお、上述した実施形態における画像表示装置１０、２４、画像撮像装置１９の一部、例えば、照明装置制御部１０１、２４０１、画像処理部１０２、２４０２、画像補正部２４０４、及び画像解析部１０４、２４０５をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像表示装置１０、２４、又は画像撮像装置１９に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像表示装置１０、２４、及び画像撮像装置１９の一部、または全部を、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像表示装置１０、２４、及び画像撮像装置１９の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１０、２４…画像表示装置、
１９…画像撮像装置、
１００、２４００…画像処理装置、
１０１、２４０１…照明装置制御部、
１０２、２４０２…画像処理部、
１０３、１９０２、２４０３…画像表示部、
１０４、２４０５…画像解析部、
７０１…第１照明光分布算出部、
７０２…第１補正係数算出部、
７０３…第１階調変換部、
７０４…第２照明光分布算出部、
７０５…第２補正係数算出部、
７０６…第２階調変換部、
１９０１…撮像素子、
１９０３…画像記憶部、
２４０４…画像補正部

Claims

入力画像の各画素について、当該画素を中心とした所定の領域である第１領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第１照明光分布を算出する第１照明光分布算出部と、
前記入力画像の各画素について、前記第１照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第１補正係数を算出する第１補正係数算出部と、
前記第１補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う第１階調変換部と、
前記第１階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第１領域よりも小さい領域である第２領域における明るさを算出することで、前記第１階調変換部が階調変換した画像における照明光強度の分布を示す第２照明光分布を算出する第２照明光分布算出部と、
前記第１階調変換部が階調変換した画像の各画素について、前記第２照明光分布に基づいて、照明光強度に対して単調増加する係数である第２補正係数を算出する第２補正係数算出部と、
前記第２補正係数に応じて、前記第１階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第１階調変換部が階調変換した画像の階調変換を行う第２階調変換部と
を備え、前記第１補正係数算出部及び前記第２補正係数算出部は、画像を表示する画像表示部が備える照明部の光量に係る出力係数の減少に伴い、前記第１補正係数と前記第２補正係数との積が増加する前記第１補正係数と前記第２補正係数をそれぞれ算出することを特徴とする画像処理装置。
前記第１補正係数算出部と前記第２補正係数算出部は、前記出力係数と前記第１補正係数と前記第２補正係数の積が１又は１よりも大きくなる前記第１補正係数と前記第２補正係数をそれぞれ算出することを特徴とする請求項１に記載の画像処理装置。
前記入力画像の階調値に係る統計量を算出する画像解析部と、
前記画像解析部が算出した統計量に基づいて前記出力係数を算出する照明装置制御部と
を備えることを特徴とする請求項１又は２に記載の画像処理装置。
前記第１補正係数算出部と前記第２補正係数算出部は、前記出力係数として、前記画像表示部に画像を表示する表示領域を分割した複数の部分領域のそれぞれについて算出した出力係数に基づいて前記第１補正係数と前記第２補正係数をそれぞれ算出することを特徴とする請求項１から３のうちいずれかに記載の画像処理装置。
前記部分領域に対応した光源毎の輝度と階調値の関係を示す補正係数を予め画素毎に記憶しておき、前記補正係数に基づいて第２階調変換部が階調変換した階調値を補正する画像補正部を備えること
を特徴とする請求項４に記載の画像処理装置。