JP5644444B2 - 画像表示装置、画像表示方法、および画像処理装置 - Google Patents

Description

本発明は、コントラストを改善した画像表示装置および方法に関する。

例えば外光の影響の大きい場所で画像表示装置を使用する場合、外光の映り込みにより、パネルに表示された画像が見え難くなるという問題がある。この原因は、映り込みにより表示画像のダイナミックレンジが狭まることにある。外光照射後の画質低下の改善のためには、コントラストを増大させて、レンジの階調幅全体を有効に利用する必要がある。

暗部から明部にかけてレンジの階調幅全体を有効活用する手法として、輝度分布（ヒストグラム）のイコライズ（平坦化）技術が知られている。（例えば特許文献１）。

また、画像の輝度分布（ヒストグラム）を生成し、輝度ごとに所定数以上の画素をクリップした後、全輝度に於けるクリップした画素総数を、全輝度に対して均一に割り付けることで、過度のコントラスト強調を抑止する技術も存在する。（例えば特許文献２）。

特開平１１−３３１５９８号公報 特開２００２−１４０７００号公報

しかし、前述したヒストグラムのイコライズ（平坦化）技術においては、元画像によっては、補正後の画質が、傾きの急な階調で過補正になったり、傾きの平らな階調でコントラスト（階調差）がつかなくなったりする問題が生じる。

また、前述したクリップを利用した技術においては、階調特性（トーンカーブ）の傾きが一定以上になることを防ぐために、ヒストグラムにおいて分布する画素数が閾値以上となる輝度については、クリップ処理を行う。そしてクリップした画素総数を、全輝度に渡り均一に割り当てるため、入力画像のヒストグラムにおいて画素の分布がない領域にも画素が割り当てられる。よって、割当後のヒストグラムを使って生成した補正曲線により、特に、低輝度や高輝度に割当がなされると、割当後のヒストグラムで入力輝度値が例えば０であっても出力輝度値が例えば２になるような場合がある。この結果、本来の真っ黒（例えば輝度値０）が少し明るい黒（例えば輝度値２）に補正されてしまう。つまり、出力輝度においては、例えば輝度値０〜２までは使われず、ダイナミックレンジは真っ黒（輝度値０）の部分までは拡張されない。こういった現象は高輝度（輝度値２５５の白）においても同様である。

そこで、本発明の課題は、過度のコントラスト強調を防止する技術において、低輝度や高輝度部分が無効化することを防止することである。

態様の一例では、コンピュータの画像装置であって、入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、その画素数値を前記上限閾値にクリップするクリップ処理部と、各階調でクリップした画素数の総和を、第１の階調閾値から第２の階調閾値の間にあるヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力する割付け処理部と、補正後ヒストグラムデータに基づいて、入力画像データを出力画像データに補正する補正部とを有する。

過度のコントラスト強調を防止する技術において、低輝度や高輝度部分を有効化することが可能となる。

画像のイコライズ（平坦化）技術とその問題点の説明図である。 ブレンド手法の説明図である。 クリップ手法と盛上げ手法の説明図である。 画像表示装置の第１の実施形態の機能ブロック図である。 第２の実施形態の説明図である。 第２の実施形態にて使用されるデータ構成図である。 第２の実施形態の制御動作を示すフローチャートである。 第３の実施形態の説明図である。 第３の実施形態で追加されるデータの構成図である。 第３の実施形態の制御動作を示すフローチャートである。 第４の実施形態の説明図である。 第４の実施形態の制御動作を示すフローチャートである。 第５の実施形態の説明図である。 実施形態のトーンカーブを適用した画像と、従来手法（イコライズ）のトーンカーブを適用した画像の補正前後の階調、およびコントラスト（明度の差）の比較図である。 従来技術（イコライズ）および実施形態における、画像処理前後の各画像のヒストグラムの比較図である。 実施形態の装置を実現できるコンピュータのハードウェア構成の一例を示す図

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。

以下の説明では、まず、通常考えられる過度のコントラスト強調防止技術とそれらの問題点および本実施形態との関係について説明をする。その後に、本実施形態の構成および動作について説明をする。

図１は、一般的に考えられる画像のイコライズ（平坦化）技術とその問題点の説明図である。画像のイコライズ（平坦化）は、画像のヒストグラムから各階調の画素数を積算して、トーンカーブを生成し、このトーンカーブを画像の濃度変換曲線として用いて画質補正を行う手法である。すなわちまず、図１（ａ）に示されるように、補正前画像（元画像）から輝度分布、すなわちヒストグラムが生成される。このヒストグラムにおいては、暗い明度に対応する輝度値から明るい明度に対応する輝度値までの各輝度値の階調毎に、補正前画像において、その階調の輝度値を有する画素数が計数される。次に、このヒストグラムに基づいて、暗い明度に対応する輝度値から順に各階調の画素数を積算することにより、図１（ｂ）に示されるトーンカーブが生成される。そして、このトーンカーブが、補正前画像の各画素の輝度値の元階調を補正後階調に変換するための濃度変換曲線として用いられる。

この手法では、画素数が多い階調ほどトーンカーブの傾きは急になる。一方画素数が少ない階調では、トーンカーブの傾きが緩やかになる。従って、元画像の性質によっては、図１（ｂ）に示されるトーンカーブによる補正後の画像の画質が、トーンカーブの傾きの急な階調で過補正になったり、傾きの平らな階調でコントラスト（階調差）がつかなくなったりする問題が生じる。

この問題を緩和する技術として、画像のブレンド手法が考えられる。ブレンドは、図２に示されるように、補正前画像（元画像）と補正後画像の色度の比率α％を任意の大きさに変えて、画質を調整する手法である。

このように、イコライズ後の画像（補正後画像）と補正前画像（元画像）をブレンドして画質を調整する手法によれば、補正後の画質を改善できる場合がある。一方で、イコライズやブレンドだけでは、過補正またはコントラスト低下を調整することができず、かえって元画像に比べて画質が悪化する場合もある。

さらにこの問題を解決するために、次のようなクリップ手法の技術が考えられる。すなわち、図３（ａ）の３０１から図３（ｂ）の３０２として示されるように、補正前画像から生成されるヒストグラムにおいて、画素数がクリップ用の上限閾値以上となる階調については、上限閾値以上の画素を上限閾値にクリップする。そして、各階調でクリップした画素数の総和を、全階調範囲に均等に割付け総画素数を元のヒストグラムの値と同じにしておく。例えば、ある階調の画素数が８３００、上限閾値が５０００の場合、クリップされる画素数は３３００となる。そして例えば、クリップした画素数の総和が２５６００で、これを全階調（例えば階調数１２８）に均等に割付ける場合、各階調に割付ける画素数は２００となる。

一方、図３（ａ）の補正前ヒストグラムで、画素数が下限閾値よりも少ない階調について、図３（ｂ）に示されるように、下限閾値まで盛上げを行う手法も考えられる。例えば、下限閾値が２００の場合、これより画素数が少ない階調全てに画素数２００だけ盛上げを行う。

このようなクリップ手法または盛上げ手法の技術を用いて生成された図３（ｂ）に示されるような画素処理後ヒストグラムを用いて、図３（ｃ）に示されるような画素数を積算したトーンカーブが生成される。そして、このトーンカーブが、補正前画像の各画素の輝度値の元階調を補正後階調に変換するための濃度変換曲線として用いられる。このようなトーンカーブにおいては、図３（ｃ）の３０４に示されるように、クリップ処理により、過度の傾きが抑制され、また、図３（ｃ）の３０５に示されるように、盛上げ処理により、画素数の少ない階調に階調差がつくようになり、平坦性が回避される。この結果、過度のコントラスト強調やコントラストの平坦化を抑止することが期待される。

しかし、上述の単純なクリップ手法や単純な盛上げ手法の技術では、クリップした画素総数を、全輝度に渡り均一に割り当てるため、入力画像のヒストグラムにおいて画素の分布がない領域にも画素が割り当てられる。よって、割当後のヒストグラムを使って生成した補正曲線により、特に、低輝度や高輝度に割当がなされると、割当後のヒストグラムで入力輝度値が例えば０であっても出力輝度値が例えば２になるような場合がある。この結果、本来の真っ黒（例えば輝度値０）が少し明るい黒（例えば輝度値２）に補正されてしまう。つまり、出力輝度においては、例えば輝度値０〜２までは使われず、ダイナミックレンジは真っ黒（輝度値０）の部分までは拡張されない。こういった現象は高輝度（輝度値２５５の白）においても同様である。

以下、第１から第５の実施形態について、順次説明を行う。
図４は、画像処理装置たとえば画像表示装置の第１の実施形態の機能ブロック図である。各機能ブロックによる構成は、コンピュータの画素表示装置に適用される。ここでいうコンピュータとは、パーソナルコンピュータのほか、携帯電話、携帯型コンピュータ、カーナビゲーション装置、デジタルカメラ等、画像表示装置を備える全ての機器をいう。

図４に示した機能部ロックの各処理部は、コンピュータのCPUが、図７，１０，１２に示す処理の少なくとも一部を実行させるプログラムを実行することで、実現される。

作成部４０１は、入力される入力画像データ４０６から輝度分布を示す補正前ヒストグラムデータ４０７を演算する。

クリップ処理部４０２は、補正前ヒストグラムデータ４０７の輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、その画素数値を上限閾値にクリップする。

盛上げ処理部４０３は、補正前ヒストグラムデータ４０７において、第１の階調閾値すなわち第１の輝度値と第２の階調閾値すなわち第２の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、その画素数値を下限閾値に盛り上げる。

割付け処理部４０４は、各階調でクリップした画素数の総和を、第１の輝度値から第２の輝度値の間にあるヒストグラムデータの各階調の画素数値に分配して割り付けて、補正後ヒストグラムデータ４０８を出力する。なお、盛上げ処理部および割付処理部は、加算部に相当する。加算部は、第１の輝度値から第２の輝度値の間にある各階調の画素数値に、クリップされた画素数値の少なくとも一部を補完する画素数値を加算する。

補正部４０５は、補正後ヒストグラムデータ４０８に基づいて、入力画像データ４０６を出力画像データ４０９に補正して出力する。より具体的には、補正部４０５は、補正後ヒストグラムデータ４０８から画素数を積算したトーンカーブを生成する。そして、補正部４０５は、このトーンカーブを入力画像データ４０６の各画素の輝度値の元階調を出力画像データ４０９の階調に変換するための濃度変換曲線として用いる。

調整部４１０は、補正後ヒストグラムデータ４０８の総画素数が補正前ヒストグラムデータ４０７の総画素数を超えた場合に、補正前ヒストグラムデータ４０７の総画素数に所定の誤差範囲で一致するように、調整を行う。すなわち、第１の輝度値から第２の輝度値の間にある補正後ヒストグラムデータ４０８の各階調の画素数値を、各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整を行う。

そこで、以上に説明した第１の実施形態では、クリップした画素数を均等に割り付けたり、盛上げを行うことのできる階調を第１の輝度値と第２の輝度値を設けた。これにより、過度のコントラスト強調やコントラストの平坦化を抑止すると同時に、第１の輝度
値以下の低輝度領域と第２の輝度値以上の高輝度領域への出力輝度の割当てを適切に行うことが可能となる。

なお、本実施例の画像処理装置は、クリップ処理と割付け処理とを行うこととして説明したが、本発明はこれに限られない。例えば、本実施例の画像処理装置は、クリップ処理と盛り上げ処理とを行ってもよい。なお、盛り上げ処理は、SDからHLまでの領域について、加減閾値以下の画素数となる階調に対して行われる。

以上の第１の実施形態の構成において、盛上げ処理部４０３と調整部４１０を含まない構成は、第２の実施形態に対応する。

また、盛上げ処理部４０３を含み調整部４１０は含まない構成は、第３の実施形態に対応する。

また、第２の実施形態では、割付け処理部４０４は、各階調でクリップした画素数の総和を、第１の輝度値から第２の輝度値の間の全ての階調の画素数値に分配して割り付ける。

一方、第４の実施形態では、割付け処理部４０４は、各階調でクリップした画素数の総和を、第１の輝度値から第２の輝度値の間の各階調の範囲内で画素数値が下限閾値以上となる各階調の画素数値に割り付ける。
さらに、調整部４１０を含む構成は、第５の実施形態に対応する。

以上の構成に基づいて、まず、画像表示装置の第２の実施形態について説明する。図５は、第２の実施形態の説明図である。まず、図４の作成部４０１が、入力画像データ４０６から、図５（ａ）に示される山形の特性の補正前ヒストグラムデータ４０７を生成する。図５（ａ）において、横軸は、入力画像データ４０６の輝度値の階調を示し、縦軸は、各階調毎の画素数値を示す。図５（ｂ）（ｃ）、および後述する図１０、図１３、図１５においても同様である。

次に、図４のクリップ処理部４０２は、補正前ヒストグラムデータ４０７の輝度値の各階調において、画素数値が図５（ａ）に示される上限閾値以上となる階調については、その画素数値を上限閾値にクリップする。これにより、図５（ｂ）に示されるように、上限閾値以上の山形の部分が、平らな特性にカットされる。

次に、割付け処理部４０４は、各階調でクリップした画素数の総和を、第１の輝度値ＳＤから第２の輝度値ＨＬの間にある補正前ヒストグラムデータ４０７の各階調の画素数値に分配して割り付ける（図５（ｂ）参照）。より具体的には、各階調でクリップした画素数の総和を、ＳＤ＋１からＨＬ−１までの階調数で除算し、その除算結果を、ＳＤ＋１からＨＬ−１までの各階調の補正前ヒストグラムデータ４０７の各画素数値に加算する。そして、それぞれの加算結果を、ＳＤ＋１からＨＬ−１までの各階調の補正後ヒストグラムデータ４０８の各画素数値として出力する。また、０からＳＤまでと、ＨＬから最大階調値までの各階調の補正前ヒストグラムデータ４０７の各画素数値は、そのまま対応する補正後ヒストグラムデータ４０８の各画素数値として出力する。なお、０からＳＤまでと、ＨＬから最大階調値までの各階調の補正後ヒストグラムデータ４０８の各画素数値としては強制的に０を出力してもよい。

ここで、第１の輝度値は例えば、輝度値がゼロ近傍の値となる階調値ＳＤ（シャドウ）であり、また、第２の輝度値は例えば、輝度値が最大値近傍の値となる階調値ＨＬ（ハイライト）である。

補正部４０５は、図５（ｂ）に示される補正後ヒストグラムデータ４０８から、画素数を積算した図５（ｃ）に示されるトーンカーブを生成する。そして、補正部４０５は、図５（ｃ）に示されるトーンカーブを、入力画像データ４０６の各画素の輝度値の元階調を出力画像データ４０９の補正後の階調に変換するための濃度変換曲線として用いる。

以上のようにして生成された図５（ｂ）に示される補正後ヒストグラムデータ４０８において、ＳＤ以下の階調の画素数値、すなわち色でいうと真っ黒に近い階調の画素数値に、クリップによる画素の割付けが行われることはなくなる。同様に、ＨＬ以上の階調の画素数値、すなわち色でいうと真っ白に近い階調の画素数値に、クリップによる画素の割付けが行われることはなくなる。従って、この補正後ヒストグラムデータ４０８から生成される積算トーンカーブに基づいて入力画像データ４０６を補正することにより、出力画像データ４０９において、低輝度値や高輝度値を適切に保持することが可能となる。

例えば、横８００画素×縦４００画素の画像における総画素数は３２万画素である。全２５６階調のヒストグラムにおいて、クリップの上限閾値が２０００、第１の輝度値ＳＤの階調値２０、第２の輝度値ＨＬの階調値２２１とする。このとき、クリップ処理部４０２は、上限閾値２０００を超える画素数値を有する階調については、その画素数値を２０００にクリップする。そして、クリップ処理部４０２がクリップした画素数の総数が５００００とすると、割付け処理部４０４は、階調２１〜２２０までの２００階調に画素数５００００を均等に割付ける。よって、各階調に割付ける画素数値は２５０となる。第２の実施形態の場合、クリップした箇所の画素数は２２５０となる。なお、クリップした階調には画素数を割付けずに、画素数値２０００のままでも良い。

図６は、第２の実施形態にて使用されるデータ構成図である。これらのデータは、画像表示装置が内蔵する特には図示しないメモリまたはプロセッサ内部のレジスタに記憶される。

図６（ａ）のＩin［ｋ］は、入力画像データ４０６の輝度値を示し、１画面分でｋ＝０からｋ＝Ｋ−１までのＫ画素分の輝度値の配列データである。
図６（ｂ）は、上限閾値のレジスタデータを示す。
図６（ｃ）は、第１の輝度値ＳＤのレジスタデータを示す。
図６（ｄ）は、第２の輝度値ＨＬのレジスタデータを示す。
図６（ｅ）のＨin［ｉ］は、補正前ヒストグラムデータ４０７を示し、例えば０〜２５５階調までの２５６階調分の画素数値の配列データである。
図６（ｆ）は、図４のクリップ処理部４０２が出力する、クリップされた総画素数のレジスタデータを示す。
図６（ｇ）は、図４の割付け処理部４０４が割り付けるクリップ画素割付け数のレジスタデータを示す。
図６（ｈ）のＨout ［ｉ］は、補正後ヒストグラムデータ４０８を示し、例えば０〜２５５階調までの２５６階調分の画素数値の配列データである。
図６（ｉ）のＴ［ｉ］は、図４の補正部４０５が内部で生成する積算トーンカーブを示し、例えば０〜２５５階調までの２５６階調分の画素数値の配列データである。
図６（ｊ）のＩout ［ｋ］は、出力画像データ４０９の輝度値を示し、１画面分でｋ＝０からｋ＝Ｋ−１までのＫ画素分の輝度値の配列データである。

図７は、以上のデータ構成に基づいて第２の実施形態の画像表示装置が実行する制御動作を示すフローチャートである。このフローチャートは例えば、画像表示装置内の画像処理プロセッサが画像表示装置内のプログラムメモリに記憶された制御プログラムを実行する動作である。或いは、画像処理専用ハードウェアが実行する動作である。

まず、１画面分の入力画像データ４０６の配列データＩin［ｋ］（ｋ＝０〜Ｋ−１）がメモリから読み込まれて、各輝度値の配列データＩin［ｋ］の階調が判定される。例えば、配列データＩin［０］の輝度値が０の場合、補正前ヒストグラムデータ４０７の階調０に対応するメモリ上（図６（ｅ））の配列データ値Ｈin［０］の値がプラス１される。一般的には、配列データＩin［ｋ］の輝度値がｉの場合、補正前ヒストグラムデータ４０７の階調ｉに対応するメモリ上の配列データ値Ｈin［ｉ］の値がプラス１される。この結果、０から２５５までの２５６階調分の画素数値を計数した補正前ヒストグラムデータ４０７の配列データＨin［ｉ］（ｉ＝０〜２５５）が演算され、メモリ上に確保される（以上、ステップＳ７０１）。以上の処理は、図４の作成部４０１の機能に対応する。

次に、第１の輝度値ＳＤと第２の輝度値ＨＬの各データがメモリ（図６（ｃ）、（ｄ））からプロセッサ内部のレジスタに読み込まれて、図５（ｂ）に示される補正階調範囲が決定される（ステップＳ７０２）。

次に、クリップ処理のための上限閾値のデータがメモリ（図６（ｂ））からプロセッサ内部のレジスタに読み込まれる。また、クリップ総画素数のレジスタ（図６（ｆ））がプロセッサ内に確保される。そして、補正前ヒストグラムデータ４０７の各階調の画素数値の配列データＨin［ｉ］（ｉ＝０〜２５５）が、メモリから読み込まれて判定される。そして、各配列データ値が上限閾値のレジスタ値以上となる階調ｘについては、その階調に対応する配列データ値Ｈin［ｘ］が、上限閾値のレジスタ値に置き換えられてクリップされ、メモリに書き戻される。このとき、
クリップされた画素数＝元のＨin［ｘ］値−上限閾値
が、クリップ総画素数のレジスタに累算される（以上、ステップＳ７０３）。この処理は、図４のクリップ処理部４０２の機能に対応する。

次に、各階調でクリップした画素数の総和が、第１の輝度値ＳＤから第２の輝度値ＨＬの間にあるヒストグラムデータの各階調の画素数値に分配して割り付けられる。具体的には、クリップ総画素数のレジスタ値と、第１、第２の輝度値ＳＤ、ＨＬの各レジスタ値の間にある補正前ヒストグラムデータ４０７の各階調に対応するメモリ上の配列データ値Ｈin［ＳＤ＋１］〜Ｈin［ＨＬ−１］が各々加算される。そして、それぞれの加算結果が、ＳＤ＋１からＨＬ−１までの各階調に対応する補正後ヒストグラムデータ４０８の配列データ値Ｈout ［ＳＤ＋１］〜Ｈout ［ＨＬ−１］として演算され、メモリ（図６（ｈ））に書き込まれる。また、０からＳＤまでと、ＨＬから最大階調値までの各階調の補正前ヒストグラムデータ４０７の各画素数値は、そのまま対応する補正後ヒストグラムデータ４０８の各階調の画素数値として出力される。すなわち、各配列データ値Ｈin［０］〜Ｈin［ＳＤ］、Ｈin［ＨＬ］〜Ｈin［２５５］は、そのまま対応する各配列データ値Ｈout ［０］〜Ｈout ［ＳＤ］、Ｈout ［ＨＬ］〜Ｈout ［２５５］として、メモリに書き込まれる。なお、０からＳＤまでと、ＨＬから最大階調値までの各階調の補正後ヒストグラムデータ４０８の各画素数値としては、強制的に０を出力してもよい。すなわち、各配列データ値Ｈout ［０］〜Ｈout ［ＳＤ］、Ｈout ［ＨＬ］〜Ｈout ［２５５］は、全て強制的に０としてもよい（以上、ステップＳ７０４）。この処理は、図４の割付け処理部４０４の機能に対応する。

次に、メモリから補正後ヒストグラムデータ４０８の配列データＨout ［ｉ］（ｉ＝０〜２５５）が読み込まれる。そして、ｉ＝０から順に、配列データ値Ｈout ［ｉ］が順次累算されることにより、積算トーンカーブの配列データ値Ｔ［ｉ］（ｉ＝０〜２５５）が生成される。すなわち、ｉ＝０からｉ＝２５５まで順に、
Ｔ［ｉ］＝Ｈout ［ｉ］ （ｉ＝０の場合）
Ｔ［ｉ］＝Ｈout ［ｉ−１］＋Ｈout ［ｉ］ （ｉ＝０以外の場合）
が計算される。次に、積算トーンカーブＴ［ｉ］（ｉ＝０〜２５５）における最大値Ｔ［２５５］が最大階調値２５５になるように、Ｔ［ｉ］（ｉ＝０〜２５５）が正規化される。すなわち、
Ａ＝２５５／Ｔ［２５５］
として、
Ｔ［ｉ］＝Ｔ［ｉ］×Ａ （ｉ＝０〜２５５）
が計算され、メモリ（図６（ｉ））に書き込まれる（以上、ステップＳ７０５）。この処理は、図４の補正部４０５の一部の機能に対応する。

以上のようにしてメモリ上に生成された積算トーンカーブＴ［ｉ］（ｉ＝０〜２５５）を使って、入力画像データ４０６が変換され、出力画像データ４０９として出力される。具体的には、入力画像データ４０６の各配列データ値Ｉin［ｋ］（ｋ＝１〜Ｋ−１）が順次読み込まれて、
Ｉout ［ｋ］＝Ｔ［Ｉin［ｋ］］ （ｋ＝１〜Ｋ−１）
が計算され、メモリ（図６（ｊ））に書き込まれる。そして、このようにして補正された出力画像データ４０９の各配列データ値Ｉout ［ｋ］（ｋ＝１〜Ｋ−１）が、画像表示のために出力される（以上、ステップＳ７０６）。この処理は、図４の補正部４０５の一部の機能に対応する。

次に、画像表示装置の第３の実施形態について説明する。
図８は、第３の実施形態の説明図である。

まず、補正前ヒストグラムデータ４０７において画素数値が上限閾値以上となる階調については、その画素数値を上限閾値にクリップする構成は、第１の実施形態の場合と同様である。また、クリップ総画素数を、第２の輝度値ＳＤ＋１から第２の輝度値ＨＬ−１までの階調に均等に割り付ける構成も、第２の実施形態の場合と同様である。

第３の実施形態の構成が第１の実施形態の構成と異なる点は、図４の画像表示装置の構成において、第２の実施形態の構成に加えて、盛上げ処理部４０３を有する点である。

盛上げ処理部４０３は、図８（ａ）に示される補正前ヒストグラムデータ４０７において、ＳＤとＨＬの間の各階調の画素数値が盛上げのための下限閾値より小さくなる階調については、画素数値を下限閾値に盛り上げる。この結果、図８（ｂ）に示されるように、８０１として示される矢印の階調範囲において、画素数値が下限閾値に盛り上げられる。

そして、図４の補正部４０５は、図８（ｂ）に示される補正後ヒストグラムデータ４０８から生成される積算トーンカーブを、入力画像データ４０６を出力画像データ４０９に変換するための濃度変換曲線として用いる。

以上のようにして生成された図８（ｂ）に示される補正後ヒストグラムデータ４０８において、第２の実施形態の場合と同様に、ＳＤ以下とＨＬ以上の階調の画素数値に、クリップによる画素の割付けが行われることはなくなる。従って、この補正後ヒストグラムデータ４０８から生成される積算トーンカーブに基づいて入力画像データ４０６を補正することにより、出力画像データ４０９において、低輝度値や高輝度値を適切に保持することが可能となる。これに加えて、第３の実施形態では、適切な範囲での盛上げ処理により、画素数の少ない階調に階調差がつけることができるようになり、平坦性を回避させることが可能となる。

図９は、図６に示される第２の実施形態にて使用されるデータ構成図に加えて、第３の実施形態で追加されるデータの構成図である。このデータは、画像表示装置が内蔵する特には図示しないメモリまたはプロセッサ内部のレジスタに記憶される。すなわち、図９は、下限閾値のレジスタデータを示す。この下限閾値は、図８（ａ）に示されるように、盛上げ処理を判定するための閾値として使用される。

図１０は、図６と図９のデータ構成に基づいて第３の実施形態の画像表示装置が実行する制御動作を示すフローチャートである。このフローチャートは例えば、第１の実施形態の場合と同様に、画像表示装置内の画像処理プロセッサが画像表示装置内のプログラムメモリに記憶された制御プログラムを実行する動作である。或いは、画像処理専用ハードウェアが実行する動作である。

図１０のフローチャートにおいて、図７の第２の実施形態の場合と同じ番号を付してあるステップについては、図７の場合と同様の処理を実行するため、その説明は省略する。

第３の実施形態においては、ステップＳ７０３にてクリップ処理が実行されると共に、次の盛上げ処理が実行される。

すなわち、ステップＳ７０２の処理の後、盛上げ処理のための下限閾値のデータがメモリ（図９）からプロセッサ内部のレジスタに読み込まれる。次に、補正前ヒストグラムデータ４０７の各階調の画素数値の配列データＨin［ｉ］（ｉ＝０〜２５５）がメモリから読み込まれて、第１の輝度値ＳＤ＋１から第２の輝度値ＨＬ−１の間の階調の各配列データＨin［ＳＬ＋１］〜Ｈin［ＨＬ−１］が判定される。そして、画素数値が下限閾値のレジスタ値以上となる階調ｙについては、その階調に対応する配列データ値Ｈin［ｙ］が、下限閾値のレジスタ値に置き換えられて盛り上げられ、メモリに書き戻される（以上、ステップＳ１００１）。この処理は、図４の盛上げ処理部４０３の機能に対応する。
ステップＳ１００１以外の図１０に示される処理は、図７の場合と同様である。

次に、画像表示装置の第４の実施形態について説明する。
図１１は、第４の実施形態の説明図である。

まず、図１１（ａ）に示されるように、補正前ヒストグラムデータ４０７において画素数値が上限閾値以上となる階調については、その画素数値を上限閾値にクリップする構成は、第１の実施形態の場合と同様である。また図１１（ａ）に示されるように、補正前ヒストグラムデータ４０７において、ＳＤとＨＬの間の各階調の画素数値が盛上げのための下限閾値より小さくなる階調については、画素数値を下限閾値に盛り上げる構成は、第２の実施形態の場合と同様である。

第４の実施形態の構成が、第２、第３の実施形態と異なる点は、次の通りである。即ち、図１１（ｂ）において、クリップ総画素数が、ＳＤ＋１からＨＬ−１までの階調内であって、盛上げが行われた範囲１１０２以外の階調範囲１１０１に均等に割り付けられる点である。この処理は、図４の割付け処理部４０４が実行する。

これにより、盛上げが行われた階調については、それ以上の過度の補正が行われてしまうことを回避することが可能となる。

図１２は、第４の実施形態の画像表示装置が実行する制御動作を示すフローチャートである。このフローチャートは例えば、第２、第５の実施形態の場合と同様に、画像表示装置内の画像処理プロセッサが画像表示装置内のプログラムメモリに記憶された制御プログラムを実行する動作である。或いは、画像処理専用ハードウェアが実行する動作である。

また、図１２のフローチャートが示す制御動作において使用されるデータの構成は、第２の実施形態に関連する図６と第３の実施形態に関連する図９のデータ構成に基づく。

図１２のフローチャートにおいて、図７の第２の実施形態の場合および図１０の第３の実施形態の場合と同じ番号を付してあるステップについては、図７、図１０の場合と同様の処理を実行するため、その説明は省略する。

第４の実施形態においては、図４の割付け処理部４０４の機能に対応するステップ１２０１の処理において、以下の処理が実行される。

すなわち、各階調でクリップした画素数の総和が、第１の輝度値ＳＤから第２の輝度値ＨＬの間にあるヒストグラムデータの各階調のうち、画素数値がステップＳ１００１で判定された盛上げのための下限閾値より大きい各階調に分配して割り付けられる。具体的には、まず、メモリ（図６（ｅ））から、第１、第２の輝度値ＳＤ、ＨＬの各レジスタ値の間にある補正前ヒストグラムデータ４０７の各階調に対応するメモリ上の配列データ値Ｈin［ＳＤ＋１］〜Ｈin［ＨＬ−１］が読み込まれる。そして、これらの配列データ値のうち、画素数値が下限閾値のレジスタ値より大きい各階調の配列データが選択される。そして、クリップ総画素数のレジスタ値と上述の選択された各配列データ値が各々加算される。そして、それぞれの加算結果が、上述の選択された配列データの各階調に対応する補正後ヒストグラムデータ４０８の配列データ値Ｈout ［ｉ］として演算され、メモリ（図６（ｈ））に書き込まれる。

また、配列データ値Ｈin［ＳＤ＋１］〜Ｈin［ＨＬ−１］のうち、画素数値が下限閾値のレジスタ値以下の各階調の配列データについては、そのまま対応する補正後ヒストグラムデータ４０８の各配列データ値として出力される。

０からＳＤまでと、ＨＬから最大階調値までの各階調の補正前ヒストグラムデータ４０７の各画素数値と補正後ヒストグラムデータの対応する各階調の各画素数値との対応関係は、第２の実施形態の場合と同様である。

以上のステップＳ１２０１の処理は、図４の割付け処理部４０４の機能に対応する。
ステップＳ１２０１以外の図１２に示される処理は、図７、図１０の場合と同様である。

次に、画像表示装置の第５の実施形態について説明する。
図１３は、第５の実施形態の説明図である。

第５の実施形態では、例えば第２の実施形態の場合と同様に、クリップ処理と割付け処理によって補正された図１３（ａ）に示されるような補正後ヒストグラムデータ４０８の状態が判定される。そして、補正後ヒストグラムデータ４０８の総画素数が補正前ヒストグラムデータ４０７の総画素数を超えた場合に、両者の総画素数が所定の誤差範囲で一致するように、以下の調整が実行される。

すなわち、図１３（ａ）に示されるように、第１の輝度値ＳＤ＋１から第２の輝度値ＨＬ−１の間にある補正後ヒストグラムデータ４０８の各階調の画素数値を、各階調で均等に減らす調整が行われる。

或いは、ＳＤ＋１からＨＬ−１の間にある補正後ヒストグラムデータ４０８の各階調の画素数値を、画素数値の大きい階調から優先的に減らす調整が行われるように構成されてもよい。

この結果、図１３（ｂ）に示されるように、再調整後の補正後ヒストグラムデータ４０８において、図１３（ａ）に示される調整前のヒストグラムデータに比べて、全体的に高さが若干低くなるようなヒストグラムデータが得られる。

そして、図４の補正部４０５は、図１３（ｂ）に示されるように再調整された補正後ヒストグラムデータ４０８から生成される積算トーンカーブを、入力画像データ４０６を出力画像データ４０９に変換するための濃度変換曲線として用いる。

この結果、第４の実施形態では、入力画像データ４０６と出力画像データ４０９の画像バランスを整えることが可能となる。

図１４は、上述した第１〜第５の実施形態のトーンカーブを適用した画像と、従来手法（イコライズ）のトーンカーブを適用した画像の補正前後の階調、およびコントラスト（明度の差）の比較図である。これらの結果例からわかるように、外光照射ありの条件より、本実施形態の結果は、元画像に比べて全階調範囲で、コントラストを増加できていることがわかる。一方、従来手法の結果では、元画像よりコントラストが悪化したり、極端に増加する（過補正）階調があったりしている。また、外光照射がないときの条件では、本実施形態の結果は、元画像のコントラスト状態を比較的良く維持しているが、従来手法の結果では、元画像から極端にコントラストが変わってしまっている。

以上の結果例より、本実施形態では、外光照射がある場合には元画像のコントラストを良く改善し、外光照射がない場合には元画像のコントラストを良く維持することが可能となる。 図１５は、従来技術（イコライズ）および実施形態における、画像処理前後の各画像のヒストグラムの比較図である。従来技術では、図１５（ａ）に示されるように、補正前ヒストグラムデータに対して、画質補正後の出力画像データのヒストグラムは、不自然に平坦化されてしまっている。これに対して、本実施形態では、図１５（ｂ）に示されるように、補正前ヒストグラムデータ４０７に対して、画質補正後の出力画像データ４０９のヒストグラムは、元のヒストグラム特性を良く残しながら、コントラスト調整が行えていることがわかる。

図１６は、上述の各実施形態の装置を実現できるコンピュータのハードウェア構成の一例を示す図である。

図１６に示されるコンピュータは、ＣＰＵ１６０１、メモリ１６０２、入出力装置１６０３、外部記憶装置１６０５、可搬記録媒体１６０９が挿入される可搬記録媒体駆動装置１６０６、及び通信インターフェース１６０７を有し、これらがバス１６０８によって相互に接続された構成を有する。

ＣＰＵ１６０１は、当該コンピュータ全体の制御を行う。メモリ１６０２は、プログラムの実行、データ更新等の際に、外部記憶装置１６０５（或いは可搬記録媒体１６０９）に記憶されているプログラム又はデータを一時的に格納するＲＡＭ等のメモリである。ＣＵＰ１６０１は、プログラムをメモリ１６０２に読み出して実行することにより、全体の制御を行う。

入出力装置１６０３は、ユーザによるキーボードやマウス等による入力操作を検出し、その検出結果をＣＰＵ１６０１に通知し、ＣＰＵ１６０１の制御によって送られてくるデータを表示装置や印刷装置に出力する。

外部記憶装置１６０５は、例えばハードディスク記憶装置である。可搬記録媒体駆動装置１６０６は、可搬記録媒体１６０９を収容するものである。通信インターフェース１６０７は、例えばＬＡＮ（ローカルエリアネットワーク）の通信回線を接続するための装置である。

実施形態による装置は、図４の機能ブロックを実現する各フローチャートに対応する各制御プログラムを、ＣＰＵ１６０１が実行することで実現される。そのプログラムは、例えば外部記憶装置１６０５や可搬記録媒体１６０９に記録され、或いは通信インターフェース１６０７によりネットワークから取得できるようにしてもよい。

（付記１）
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
前記補正前ヒストグラムデータにおいて、第１の輝度値から第２の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
を有することを特徴とする画像表示装置。
（付記２）
前記加算部は、前記各階調でクリップした画素数の総和を、第１の輝度値から第２の輝度値の間にある前記ヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力することを特徴とする付記１記載の画像表示装置。
（付記３）
前記第１の輝度値は、前記輝度値がゼロ近傍の値となる階調値であり、
前記第２の輝度値は、前記輝度値が最大値近傍の値となる階調値である、
ことを特徴とする付記１に記載の画像表示装置。
（付記４）
前記加算部は、前記補正前ヒストグラムデータの輝度値の各階調において、前記第１の輝度値と前記第２の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、前記画素数値を前記下限閾値に盛り上げることを特徴とする付記１乃至付記３のいずれかに記載の画像表示装置。
（付記５）
前記加算部は、前記各階調でクリップした画素数の総和を、前記第１の輝度値から前記第２の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付ける、
ことを特徴とする付記４に記載の画像表示装置。
（付記６）
前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前のヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第１の輝度値から前記第２の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整部をさらに有する、
ことを特徴とする付記１に記載の画像表示装置。
（付記７）
コンピュータにより、
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算し、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップし、
前記補正前ヒストグラムデータにおいて、第１の輝度値から第２の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力し、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する、
ことを特徴とする画像表示方法。
（付記８）
前記各階調でクリップした画素数の総和を、第１の輝度値から第２の輝度値の間にある前記ヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力することを特徴とする付記７記載の画像表示方法。
（付記９）
前記第１の輝度値は、前記輝度値がゼロ近傍の値となる階調値であり、
前記第２の輝度値は、前記輝度値が最大値近傍の値となる階調値である、
ことを特徴とする付記７に記載の画像表示方法。
（付記１０）
前記補正前ヒストグラムデータの輝度値の各階調において、前記第１の輝度値と前記第２の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、前記画素数値を前記下限閾値に盛り上げることを特徴とする付記７乃至付記９のいずれかに記載の画像表示方法。
（付記１１）
前記各階調でクリップした画素数の総和を、前記第１の輝度値から前記第２の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付ける、
ことを特徴とする付記１０に記載の画像表示方法。
（付記１２）
前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前のヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第１の輝度値から前記第２の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす、
ことを特徴とする付記７に記載の画像表示方法。
（付記１３）
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
前記補正前ヒストグラムデータにおいて、第１の輝度値から第２の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
を有することを特徴とする画像処理装置。

４０１ 作成部
４０２ クリップ処理部
４０３ 盛上げ処理部
４０４ 割付け処理部
４０５ 補正部
４０６ 入力画像データ
４０７ 補正前ヒストグラムデータ
４０８ 補正後ヒストグラムデータ
４０９ 出力画像データ
４１０ 調整部

Claims (10)

1. 入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
   前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
   前記補正前ヒストグラムデータの輝度値の各階調において、第１の輝度値と第２の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調について、前記画素数値を前記下限閾値に盛り上げ、前記各階調でクリップした画素数の総和を、前記第１の輝度値と前記第２の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付けた補正後ヒストグラムデータを出力する加算部と、
   前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
   を有することを特徴とする画像表示装置。
2. 前記第１の輝度値は、前記輝度値がゼロ近傍の値となる階調値であり、
   前記第２の輝度値は、前記輝度値が最大値近傍の値となる階調値である、
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前ヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第１の輝度値から前記第２の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整部をさらに有する、
   ことを特徴とする請求項１に記載の画像表示装置。
4. 入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
   前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
   前記補正前ヒストグラムデータにおいて、第１の輝度値から第２の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
   前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前ヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第１の輝度値から前記第２の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整部と、
   調整された前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
   を有することを特徴とする画像表示装置。
5. 前記加算部は、前記各階調でクリップした画素数の総和を、第１の輝度値から第２の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力することを特徴とする請求項４記載の画像表示装置。
6. 前記第１の輝度値は、前記輝度値がゼロ近傍の値となる階調値であり、
   前記第２の輝度値は、前記輝度値が最大値近傍の値となる階調値である、
   ことを特徴とする請求項４に記載の画像表示装置。
7. コンピュータが、
   入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算し、
   前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップし、
   前記補正前ヒストグラムデータの輝度値の各階調において、第１の輝度値と第２の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調について、前記画素数値を前記下限閾値に盛り上げ、前記各階調でクリップした画素数の総和を、前記第１の輝度値と前記第２の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付けた補正後ヒストグラムデータを出力し、
   前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する、
   ことを特徴とする画像表示方法。
8. コンピュータが、
   入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算し、
   前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップし、
   前記補正前ヒストグラムデータにおいて、第１の輝度値から第２の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力し、
   前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前ヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第１の輝度値から前記第２の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らして、前記補正後ヒストグラムデータを調整し、
   調整された前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する、
   ことを特徴とする画像表示方法。
9. 入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
   前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
   前記補正前ヒストグラムデータの輝度値の各階調において、第１の輝度値と第２の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調について、前記画素数値を前記下限閾値に盛り上げ、前記各階調でクリップした画素数の総和を、前記第１の輝度値と前記第２の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付けた補正後ヒストグラムデータを出力する加算部と、
   前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
   を有することを特徴とする画像処理装置。
10. 入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
    前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
    前記補正前ヒストグラムデータにおいて、第１の輝度値から第２の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
    前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前ヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第１の輝度値から前記第２の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整部と、
    調整された前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
    を有することを特徴とする画像処理装置。