JP4835525B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

テレビジョン受像機、ＶＴＲ（ＶｉｄｅｏＴａｐｅ Ｒｅｃｏｒｄｅｒ）、デジタルカメラ、テレビジョンカメラまたはプリンタ等の機器は、入力画像に画質向上のための補正を施してから出力するようになっており、コントラスト調整などの種々の画像処理を行うための機能を有している（例えば、特許文献１及び特許文献２を参照）。コントラストを向上させるための技術としては、主に、黒伸張及び２乗ガンマカーブ（以下、「γカーブ」と記載する。）によるものの２通りがある。

黒伸張は、入力画像内の黒を引き込ませて輝度成分のコントラストを向上させる技術である。図１に示すように、黒の引き込みは、入力画像内の最黒レベルや黒い部分の割合により変化し、黒い部分の割合が所定の面積以上かつ大面積でない場合に引き込み、最黒レベルが０ＩＲＥに近い場合や入力画像内の黒い部分の割合が大面積である場合には引き込みを弱くする。黒伸張開始ポイント（黒伸張を開始する入力輝度値）は任意に設定可能である。なお、図１は、黒伸張処理の概要を説明するためのグラフであり、横軸が入力輝度値（Ｘ）、縦軸が出力輝度値（Ｙ）を示す。

また、２乗γカーブによるコントラスト向上は、図２に示すように、任意に設定した区間（入力輝度値の範囲）に含まれる入力輝度値に対して、２乗γカーブを用いて輝度を上げる、または輝度を下げる輝度変換処理を行うことで、入力画像のコントラストを向上させる技術である。２乗γカーブのゲインは、固定値として設定してもよいし、あるいは、入力画像の輝度ヒストグラムの総数などに基づき動的に設定してもよい。なお、図２は、２乗γカーブによる輝度変換処理の概要を説明するためのグラフであり、横軸が入力輝度値（Ｘ）、縦軸が出力輝度値（Ｙ）を示す。

特開２００７−６０５８０号公報 特開２００４−２６６７５５号公報

しかしながら、上記のような黒伸張では、以下のような問題があった。第１に、従来の黒伸張では黒（０ＩＲＥ）付近の表現力が不十分であり、入力画像の最黒レベルを黒に引き込みコントラストを向上させるとともに黒の表現力を高めることが必要となる。第２に、従来の黒伸張では黒（０ＩＲＥ）付近の絵柄の異なる入力画像であっても、入力画像の最黒レベルや黒い部分の割合が同じであれば同じ入出力特性しか実現できない。第３に、従来の黒伸張は黒を引き込むだけであり、黒を上げる、すなわち、輝度を上げるγカーブにより、Ｙ（出力輝度）＞Ｘ（入力輝度）なるようにすることができない。そのため、入力画像全体が暗いような場合には視認性を悪くする場合もある。

また、２乗γカーブによるコントラスト向上では、以下のような問題があった。第１に、２乗γカーブによりコントラストを向上させようとすると、曲線で入出力特性を設定するため、図２に示すように、コントラストが上がる箇所（Ａ）とコントラストが下がる箇所（Ｂ）が出てしまう。第２に、入力画像の絵柄によっては、輝度を上げる２乗γカーブによりコントラストを向上させたい場合と輝度を下げる２乗γカーブによりコントラストを向上させたい場合があり、どちらか一方のγカーブのみでは、コントラストを向上できない場合がある。

そこで、本発明は、このような問題に鑑みてなされたもので、入力画像に対してγカーブを用いて輝度補正処理を行う画像処理装置、画像処理方法及びプログラムにおいて、γカーブを最適化し、入力画像の絵柄に応じたコントラストの向上を実現することを目的とする。

上記課題を解決するために、本発明のある観点によれば、入力輝度データに対して輝度変換処理を行うことにより入力画像の輝度補正処理を行う画像処理装置であって、前記輝度補正処理を行う輝度レベルの範囲である補正区間を設定する補正区間設定部と、前記補正区間を、輝度レベルの低い黒側区間と、輝度レベルの高い白側区間の２区間に分割する補正区間分割部と、前記黒側区間の輝度ヒストグラムの総数及び前記白側区間の輝度ヒストグラムの総数を算出するヒストグラム算出部と、前記算出された前記黒側区間の輝度ヒストグラムの総数に基づき、輝度を上げるガンマカーブのゲインを設定し、前記算出された前記白側区間の輝度ヒストグラムの総数に基づき、輝度を下げるガンマカーブのゲインを設定するゲイン設定部と、前記輝度を上げるカーブのゲインに基づき、輝度を上げるガンマカーブを生成し、前記輝度を下げるカーブのゲインに基づき、輝度を下げるガンマカーブを生成するガンマカーブ生成部と、前記輝度を上げるガンマカーブと前記輝度を下げるガンマカーブとを合成するガンマカーブ合成部と、前記合成されたガンマカーブを用いて、前記補正区間内の入力輝度データに対して輝度変換処理を行う輝度変換部と、を備える画像処理装置が提供される。

このような構成を有することにより、本発明に係る画像処理装置によれば、補正区間内の黒側区間・白側区間それぞれの輝度ヒストグラムの総数に応じて、最適なγカーブを生成することができる。従って、このようなγカーブを用いてコントラストの調整を行えば、入力画像の絵柄に応じたコントラストの向上を実現することが可能となる。

前記画像処理装置は、黒伸張処理が行われた画像の輝度補正処理を行ってもよい。

前記補正区間としては、例えば、所定の輝度レベルから前記黒伸張処理後の出力輝度データがゼロとなる輝度レベルまでの区間、所定の輝度レベルから輝度レベルが０［ＩＲＥ］までの区間、所定の輝度レベルから輝度レベルが１００［ＩＲＥ］までの区間などが挙げられる。

前記輝度ヒストグラムの分割精度は、例えば、１２８分割とすることができる。

前記ガンマカーブのゲインは、前記輝度ヒストグラムの総数が多いほど大きくなるように設定されることが好ましい。

前記輝度を上げるガンマカーブは、例えば、入力輝度値をＸ、輝度変換後の出力輝度値をｇａｍ＿ｕｐｐｅｒ［Ｘ］とすると、下記式（１）で表すことができ、前記輝度を下げるガンマカーブは、例えば、入力輝度値をＸ、輝度変換後の出力輝度値をｇａｍ＿ｌｏｗｅｒ［Ｘ］とすると、下記式（２）で表すことができる。

前記式（１）及び（２）において、
ｇａｉｎ＿ｕｐｐｅｒ： 輝度を上げるガンマカーブのゲイン
ｇａｉｎ＿ｌｏｗｅｒ： 輝度を下げるガンマカーブのゲイン
ｓｔａｒｔ： 輝度変換処理を開始する入力輝度値
ｅｎｄ： 輝度変換処理を終了する入力輝度値
である。

前記輝度を上げるガンマカーブと前記輝度を下げるガンマカーブとの合成後のガンマカーブは、例えば、輝度変換後の出力輝度値をｇａｍ［Ｘ］とすると、下記式（３）で表すことができる。

上記課題を解決するために、本発明の他の観点によれば、入力輝度データに対して輝度変換処理を行うことにより入力画像の輝度補正処理を行う画像処理方法であって、前記輝度補正処理を行う輝度レベルの範囲である補正区間を設定する補正区間設定ステップと、前記補正区間を、輝度レベルの低い黒側区間と、輝度レベルの高い白側区間の２区間に分割する補正区間分割ステップと、前記黒側区間の輝度ヒストグラムの総数及び前記白側区間の輝度ヒストグラムの総数を算出するヒストグラム算出ステップと、前記算出された前記黒側区間の輝度ヒストグラムの総数に基づき、輝度を上げるガンマカーブのゲインを設定し、前記算出された前記白側区間の輝度ヒストグラムの総数に基づき、輝度を下げるガンマカーブのゲインを設定するゲイン設定ステップと、前記輝度を上げるカーブのゲインに基づき、輝度を上げるガンマカーブを生成し、前記輝度を下げるカーブのゲインに基づき、輝度を下げるガンマカーブを生成するガンマカーブ生成ステップと、前記輝度を上げるガンマカーブと前記輝度を下げるガンマカーブとを合成するガンマカーブ合成ステップと、前記合成されたガンマカーブを用いて、前記補正区間内の入力輝度データに対して輝度変換処理を行う輝度変換ステップと、を含む画像処理方法が提供される。

このような構成を有することにより、本発明に係る画像処理方法によれば、補正区間内の黒側区間・白側区間それぞれの輝度ヒストグラムの総数に応じて、最適なγカーブを生成することができる。従って、このようなγカーブを用いてコントラストの調整を行えば、入力画像の絵柄に応じたコントラストの向上を実現することが可能となる。

上記課題を解決するために、本発明のさらに他の観点によれば、コンピュータを、前記輝度補正処理を行う輝度レベルの範囲である補正区間を設定する補正区間設定部と、前記補正区間を、輝度レベルの低い黒側区間と、輝度レベルの高い白側区間の２区間に分割する補正区間分割部と、前記黒側区間の輝度ヒストグラムの総数及び前記白側区間の輝度ヒストグラムの総数を算出するヒストグラム算出部と、前記算出された前記黒側区間の輝度ヒストグラムの総数に基づき、輝度を上げるガンマカーブのゲインを設定し、前記算出された前記白側区間の輝度ヒストグラムの総数に基づき、輝度を下げるガンマカーブのゲインを設定するゲイン設定部と、前記輝度を上げるカーブのゲインに基づき、輝度を上げるガンマカーブを生成し、前記輝度を下げるカーブのゲインに基づき、輝度を下げるガンマカーブを生成するガンマカーブ生成部と、前記輝度を上げるガンマカーブと前記輝度を下げるガンマカーブとを合成するガンマカーブ合成部と、前記合成されたガンマカーブを用いて、前記補正区間内の入力輝度データに対して輝度変換処理を行う輝度変換部として機能させるためのプログラムが提供される。

本発明によれば、入力画像に対してγカーブを用いて輝度補正処理を行う画像処理装置、画像処理方法及びプログラムにおいて、γカーブを最適化し、入力画像の絵柄に応じたコントラストの向上を実現することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（本発明の概要）
本発明は、入力画像（特に、黒伸張処理後の画像）に対して輝度補正処理を行うことにより、入力画像のコントラストの向上を行う機能を有する画像処理装置、画像処理方法及びプログラムである。

本発明における輝度補正処理は、主に、以下の（１）〜（７）のステップに分けられる。
（１）補正区間設定ステップ： 輝度補正処理を行う輝度レベルの範囲である補正区間を設定する。
（２）補正区間分割ステップ： （１）のステップで設定された補正区間を、輝度レベルの低い黒側区間と、輝度レベルの高い白側区間の２区間に分割する。
（３）ヒストグラム算出ステップ： 黒側区間の輝度ヒストグラムの総数及び白側区間の輝度ヒストグラムの総数を算出する。
（４）ゲイン設定ステップ： （３）のステップで算出された黒側区間の輝度ヒストグラムの総数に基づき、輝度を上げるガンマカーブのゲインを設定する。また、（３）のステップで算出された前記白側区間の輝度ヒストグラムの総数に基づき、輝度を下げるガンマカーブのゲインを設定する。
（５）ガンマカーブ生成ステップ： （４）のステップで算出された輝度を上げるカーブのゲインに基づき、輝度を上げるガンマカーブを生成する。また、（４）のステップで算出された輝度を下げるカーブのゲインに基づき、輝度を下げるガンマカーブを生成する。
（６）ガンマカーブ合成ステップ： （５）のステップで生成された輝度を上げるガンマカーブと輝度を下げるガンマカーブとを合成する。
（７）輝度変換ステップ： （６）のステップで合成されたガンマカーブを用いて、補正区間内の入力輝度データに対して輝度変換処理を行う。

（本実施形態に係る画像処理装置の機能構成）
以下、図３に基づいて、このような輝度補正処理を行うための本発明の一実施形態に係る画像処理装置１０の機能構成について説明する。なお、図３は、本実施形態に係る画像処理装置１０の機能構成を示すブロック図である。

図３に示すように、本実施形態に係る画像処理装置１０は、主に、補正区間設定部１０２と、補正区間分割部１０４と、２つのヒストグラム算出部１０６−１、１０６−２と、２つのゲイン設定部１０８−１、１０８−２と、２つのγカーブ生成部１１０−１、１１０−２と、γカーブ合成部１１２と、輝度変換部１１４と、を備える。

補正区間設定部１０２は、入力部１００から入力された入力画像の入力輝度データに基づき、入力画像に対して輝度補正を行うことにより入力画像のコントラストを向上させたい輝度レベルの範囲、すなわち、輝度変換処理を行う入力輝度値の範囲である補正区間を設定する。この補正区間設定部１０２は、例えば、入力画像が黒伸張処理が行われた画像である場合には、任意に設定された「開始ポイント（入力輝度値の最大値）」から「黒伸張処理が行われた画像の出力輝度レベルがゼロとなるポイント（入力輝度値の最小値）」までの区間を、補正区間として設定することができる。上記「開始ポイント」としては、例えば、約４０ＩＲＥ程度の入力輝度値とすることができる。なお、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）による規格では、画像信号の白１００％が１００ＩＲＥ、黒１００％が０ＩＲＥとされている。一方、「黒伸張処理が行われた画像の出力輝度レベルがゼロとなるポイント」は、入力画像の最黒レベルや黒の部分の割合に応じて、黒伸張処理内で決定される。

補正区間分割部１０４は、補正区間設定部１０２により設定された補正区間を、輝度レベル（入力輝度値）の低い、すなわち、０ＩＲＥ側の黒側区間と、輝度レベルの高い、すなわち、１００ＩＲＥ側の白側区間の２区間に分割する。補正区間を分割するポイントは、任意に設定することができるが、基本的には、白側区間の輝度範囲と黒側区間の輝度範囲が均等になるように、補正区間のちょうど中間位置（例えば、開始ポイントが４０ＩＲＥとすると、入力輝度値が２０ＩＲＥのポイント）とすることができる。ただし、黒側区間のコントラストを重視する場合には、黒側区間を白側区間よりも大きく設定し、白側区間のコントラストを重視する場合には、白側区間を黒側区間よりも大きく設定してもよい。

ヒストグラム算出部１０６−１、１０６−２は、それぞれ、黒側区間の輝度ヒストグラムの総数及び白側区間の輝度ヒストグラムの総数を算出する。ヒストグラム算出部１０６−１、１０６−２が輝度ヒストグラムの総数を算出する際は、まず、黒側区間及び白側区間の輝度ヒストグラムをそれぞれ作成し、作成された輝度ヒストグラムを参照して、黒側区間、白側区間それぞれの輝度ヒストグラムの総数（それぞれの区間に含まれる画素数）を算出する。ここで、本実施形態における輝度ヒストグラムの分割精度としては、例えば、１２８分割とすることができる。

ゲイン設定部１０８−１は、ヒストグラム算出部１０６−１が算出した黒側区間の輝度ヒストグラムの総数に基づいて輝度を上げるγカーブのゲインを設定する。また、ゲイン設定部１０８−２は、ヒストグラム算出部１０６−２が算出した白側区間の輝度ヒストグラムの総数に基づいて輝度を下げるγカーブのゲインを設定する。γカーブのゲインの設定方法の詳細については後述するが、輝度ヒストグラムの総数が多いほど大きくなるようにγカーブのゲインを設定する。なお、輝度ヒストグラムの総数の閾値やゲインは、輝度を上げるγカーブ用と輝度を下げるγカーブ用で別々の値を任意に設定できるようにすることもできる。

γカーブ生成部１１０−１は、ゲイン設定部１０８−１が設定した輝度を上げるγカーブのゲインに基づいて、輝度を上げるγカーブを生成する。また、γカーブ生成部１１０−２は、ゲイン設定部１０８−２が設定した輝度を下げるγカーブのゲインに基づいて、輝度を下げるγカーブを生成する。このようにして生成された輝度を上げるγカーブにより、入力画像のうち黒側区間に含まれる部分のコントラストが向上し、輝度を下げるγカーブにより、入力画像のうち白側区間に含まれる部分のコントラストが向上する。

ここで、輝度を上げるγカーブは、入力輝度値をＸ、輝度変換後の出力輝度値をｇａｍ＿ｕｐｐｅｒ［Ｘ］とすると、例えば、下記式（１）で表すことができる。

一方、輝度を下げるγカーブは、入力輝度値をＸ、輝度変換後の出力輝度値をｇａｍ＿ｌｏｗｅｒ［Ｘ］とすると、例えば、下記式（２）で表すことができる。

ここで、上記式（１）及び（２）において、
ｇａｉｎ＿ｕｐｐｅｒ： 輝度を上げるガンマカーブのゲイン
ｇａｉｎ＿ｌｏｗｅｒ： 輝度を下げるガンマカーブのゲイン
ｓｔａｒｔ： 輝度変換処理を開始する入力輝度値
ｅｎｄ： 輝度変換処理を終了する入力輝度値（黒伸張処理が行われた画像に対して輝度変換処理を行う場合は、黒伸張処理結果がＹ（出力）＝０となるポイント）
である。

γカーブ合成部１１２は、γカーブ生成部１１０−１が生成した輝度を上げるγカーブと、γカーブ生成部１１０−２が生成した輝度を下げるγカーブとを合成する。

ここで、輝度を上げるγカーブを式（１）により生成し、輝度を下げるγカーブを式（２）により生成した場合には、輝度変換後の出力輝度値をｇａｍ［Ｘ］とすると、合成後のγカーブは、例えば、下記式（３）で表すことができる。

輝度変換部１１４は、上述したようにして、γカーブ合成部１１２が合成したγカーブを用いて、入力部１００から入力された補正区間内の入力輝度データに対して輝度変換処理を行い、輝度変換後の出力輝度データを出力部１２０に出力する。このように、輝度を上げるγカーブと輝度を下げるγカーブの２つのγカーブを合成したγカーブを用いて輝度変換処理を行うことにより、黒側区間と白側区間の両区間のコントラスト向上を実現することができる。

（本実施形態に係る画像処理装置のハードウェア構成）
以上、本実施形態に係る画像処理装置１０の機能構成について説明したが、このような機能は、例えば、図４に示すようなハードウェアにより実現することができる。以下、図４に基づいて、本実施形態に係る画像処理装置１０のハードウェア構成について説明する。なお、図４は、本実施形態に係る画像処理装置１０のハードウェア構成を示すブロック図である。

図４に示すように、画像処理装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３６と、内部バス１３８と、入出力インターフェース１４０と、入力部１４２と、出力部１４４と、記憶部１４６と、通信部１４８と、ドライブ１５０と、リムーバブルメディア１５２とを備える。

ＣＰＵ１３２は、ＲＯＭ１３４に記憶されているプログラム、または、記憶部１４６からＲＡＭ１３６にロードされたプログラムに従って各種の処理を実行する。画像処理装置１０が実行する処理としては、例えば、補正区間設定処理、補正区間分割処理、ヒストグラム算出処理、ゲイン設定処理、ガンマカーブ生成処理、ガンマカーブ合成処理、輝度変換処理等がある。また、ＲＡＭ１３６は、ＣＰＵ１３２が各種の処理を実行する上で必要なデータなどを適宜記憶することもできる。

これらＣＰＵ１３２、ＲＯＭ１３４及びＲＡＭ１３６は、内部バス１３８を介して相互に接続されている。また、この内部バス１３８には、入出力インターフェース１４０も接続されている。

入出力インターフェース１４０には、入力部１４２、出力部１４４、記憶部１４６、通信部１４８が接続されている。入力部１４２は、例えば、キーボードやマウス等からなり、出力部１４４は、例えば、ＣＲＴ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のディスプレイやスピーカなどからなる。記憶部１４６としては、例えば、ハードディスク等が挙げられる。通信部１４８は、例えば、モデム、ターミナルアダプタ等からなり、電話回線やＣＡＴＶを含む各種のネットワークを介して通信処理を行う。

また、入出力インターフェース１４０には、必要に応じてドライブ１５０が接続され、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等のリムーバブルメディア１５２が適宜装着され、このリムーバブルメディア１５２から読み出されたプログラムが、必要に応じて記憶部１４６に記憶される。

なお、以上のような構成を有する画像処理装置１０の例としては、テレビジョン受像機、ＶＴＲ（ＶｉｄｅｏＴａｐｅ Ｒｅｃｏｒｄｅｒ）、デジタルカメラ、テレビジョンカメラまたはプリンタ等の機器が挙げられる。

（本実施形態に係る画像処理方法）
以上、図３及び図４に基づいて、画像処理装置１０の構成について説明したが、以下に、このような構成を有する画像処理装置１０を用いた画像処理方法について、図５〜図７に基づいて説明する。なお、図５は、本実施形態に係る画像処理方法の処理手順を示すフローチャートであり、図６は、本実施形態に係る画像処理方法の概要を示す説明図であり、図７は、本実施形態に係る画像処理方法におけるγカーブのゲイン設定方法を示す説明図である。また、以下の説明では、黒伸張処理が行われた画像に対して、更なるコントラスト向上を行うために、本実施形態に係る画像処理方法を適用した場合を例に挙げて説明する。

図５に示すように、まず、黒伸張処理が行われる（Ｓ１０２）。黒伸張処理の方法は、公知の方法を用いることができるので、ここでは詳細な説明は省略する。この黒伸張処理の結果を図６に破線で示した。図６を参照すると、この黒伸張処理の結果、入出力特性（入力輝度Ｘと出力輝度Ｙとの関係）を示す直線の傾きがＹ＝Ｘよりも大きくなり、最黒レベルが１００ＩＲＥ側に移動していることがわかる。

本実施形態に係る画像処理方法は、この黒伸張処理が行われた画像に対して、輝度補正処理を行い、入力画像のコントラストを向上させる。具体的には、まず、上述した補正区間設定部１０２が、入力画像に対して輝度補正を行うことにより入力画像のコントラストを向上させたい輝度レベルの範囲、すなわち、輝度変換処理を行う入力輝度値の範囲である補正区間を設定する（Ｓ１０４）。この補正区間は、本実施形態においては、例えば、図６に示すように、「開始ポイント（入力輝度値の最大値）」から「黒伸張処理が行われた画像の出力輝度レベルがゼロとなるポイント（入力輝度値の最小値）」までの区間とすることができる。上記「開始ポイント」は、任意に設定することができ、例えば、約４０ＩＲＥ程度の入力輝度値とすることができる。一方、「黒伸張処理が行われた画像の出力輝度レベルがゼロとなるポイント」は、入力画像の最黒レベルや黒の部分の割合に応じて、上記黒伸張処理（Ｓ１０２）内で決定される。

次に、補正区間分割部１０２が、ステップＳ１０４で設定された補正区間を、輝度レベル（入力輝度値）の低い、すなわち、０ＩＲＥ側の黒側区間と、輝度レベルの高い、すなわち、１００ＩＲＥ側の白側区間の２区間に分割する（Ｓ１０６）。白側区間と黒側区間について図６に示した。以下に説明するステップＳ１０８〜Ｓ１１２の処理は、黒側区間と白側区間のそれぞれについて行われる。

初めに、黒側区間の処理について説明する。ヒストグラム算出部１０６−１が、黒側区間の輝度ヒストグラムの総数を算出する（Ｓ１０８−１）。輝度ヒストグラムの総数の算出の際には、ヒストグラム算出部１０６−１は、黒側区間の輝度ヒストグラムを作成し、作成した輝度ヒストグラムを参照して、黒側区間の輝度ヒストグラムの総数（黒側区間に含まれる画素数）を算出する。輝度ヒストグラムの分割精度としては、例えば、１２８分割を想定している。

次に、ゲイン設定部１０８−１が、ステップＳ１０８−１で算出された輝度ヒストグラムの総数に基づいて、輝度を上げるγカーブのゲインを設定する（Ｓ１１０−１）。ここで、図７の左図を参照しながら、輝度を上げるγカーブのゲインの設定方法の詳細については説明する。図７の左図に示すように、輝度ヒストグラムの総数が多いほど大きくなるようにγカーブのゲインを設定する。より具体的には、輝度を上げるγカーブのゲインの設定の際は、黒側区間の輝度ヒストグラムの総数に対して任意に閾値を設定し、その閾値に応じて所定のゲインが得られるように設定する。図７の左図には、例えば、黒側区間の輝度ヒストグラムの総数の閾値を２つ設けた場合（閾値１、閾値２）を示しており、０＜（黒側区間の輝度ヒストグラムの総数）＜閾値１までは、ゲインがゲイン１となり、閾値１≦（黒側区間の輝度ヒストグラムの総数）＜閾値２までは、線形的にゲインが大きくなるように設定し、閾値２≦（黒側区間の輝度ヒストグラムの総数）の場合には、ゲインがゲイン２となるようにγカーブのゲインを算出するゲイン変換カーブを設定することができる。なお、輝度ヒストグラムの総数の閾値とゲインの設定数を増やすことにより、図７より複雑なゲイン変換カーブを作成することも可能である。

次に、γカーブ生成部１１０−１が、ステップＳ１１０−１で設定された輝度を上げるγカーブのゲインに基づいて、輝度を上げるγカーブを生成する（Ｓ１１２−１）。このようにして生成された輝度を上げるγカーブにより、入力画像のうち黒側区間に含まれる部分のコントラストが向上する。

ここで、輝度を上げるγカーブは、入力輝度値をＸ、輝度変換後の出力輝度値をｇａｍ＿ｕｐｐｅｒ［Ｘ］とすると、例えば、下記式（１）で表すことができる。

ここで、上記式（１）において、
ｇａｉｎ＿ｕｐｐｅｒ： 輝度を上げるガンマカーブのゲイン
ｓｔａｒｔ： 輝度変換処理を開始する入力輝度値
ｅｎｄ： 輝度変換処理を終了する入力輝度値（黒伸張処理が行われた画像に対して輝度変換処理を行う場合は、黒伸張処理結果がＹ（出力）＝０となるポイント）
である。

以上、黒側区間のコントラストを向上させるための輝度を上げるγカーブが生成されるまでの処理について説明したが、次に、白側区間のコントラストを向上させるための輝度を下げるγカーブが生成されるまでの処理について説明する。

まず、ヒストグラム算出部１０６−２が、白側区間の輝度ヒストグラムの総数を算出する（Ｓ１０８−２）。輝度ヒストグラムの総数の算出の際には、ヒストグラム算出部１０６−２は、白側区間の輝度ヒストグラムを作成し、作成した輝度ヒストグラムを参照して、白側区間の輝度ヒストグラムの総数（白側区間に含まれる画素数）を算出する。輝度ヒストグラムの分割精度としては、黒側区間と同様に、例えば、１２８分割を想定している。

次に、ゲイン設定部１０８−２が、ステップＳ１０８−２で算出された輝度ヒストグラムの総数に基づいて、輝度を下げるγカーブのゲインを設定する（Ｓ１１０−２）。ここで、図７の右図を参照しながら、輝度を下げるγカーブのゲインの設定方法の詳細については説明する。図７の右図に示すように、輝度ヒストグラムの総数が多いほど大きくなるようにγカーブのゲインを設定する。より具体的には、輝度を下げるγカーブのゲインの設定の際は、白側区間の輝度ヒストグラムの総数に対して任意に閾値を設定し、その閾値に応じて所定のゲインが得られるように設定する。図７の右図には、例えば、白側区間の輝度ヒストグラムの総数の閾値を２つ設けた場合（閾値１、閾値２）を示しており、０＜（白側区間の輝度ヒストグラムの総数）＜閾値１までは、ゲインがゲイン１となり、閾値１≦（白側区間の輝度ヒストグラムの総数）＜閾値２までは、線形的にゲインが大きくなるように設定し、閾値２≦（白側区間の輝度ヒストグラムの総数）の場合には、ゲインがゲイン２となるようにγカーブのゲインを算出するゲイン変換カーブを設定することができる。なお、輝度ヒストグラムの総数の閾値とゲインの設定数を増やすことにより、図７より複雑なゲイン変換カーブを作成することも可能である点は、輝度を上げるγカーブを作成する場合と同様である。また、輝度ヒストグラムの総数の閾値やゲインは、輝度を上げるγカーブ用と輝度を下げるγカーブ用で別々の値を任意に設定できるようにすることもできる。

次に、γカーブ生成部１１０−２が、ステップＳ１１０−２で設定された輝度を下げるγカーブのゲインに基づいて、輝度を下げるγカーブを生成する（Ｓ１１２−２）。このようにして生成された輝度を下げるγカーブにより、入力画像のうち白側区間に含まれる部分のコントラストが向上する。

ここで、輝度を下げるγカーブは、入力輝度値をＸ、輝度変換後の出力輝度値をｇａｍ＿ｌｏｗｅｒ［Ｘ］とすると、例えば、下記式（２）で表すことができる。

ここで、上記式（１）において、
ｇａｉｎ＿ｌｏｗｅｒ： 輝度を下げるガンマカーブのゲイン
ｓｔａｒｔ： 輝度変換処理を開始する入力輝度値
ｅｎｄ： 輝度変換処理を終了する入力輝度値（黒伸張処理が行われた画像に対して輝度変換処理を行う場合は、黒伸張処理結果がＹ（出力）＝０となるポイント）
である。

次に、γカーブ合成部１１２が、ステップＳ１１２−１で生成された輝度を上げるγカーブと、ステップＳ１１２−２で生成された輝度を下げるγカーブとを合成する（Ｓ１１４）。

ここで、輝度を上げるγカーブを式（１）により生成し、輝度を下げるγカーブを式（２）により生成した場合には、輝度変換後の出力輝度値をｇａｍ［Ｘ］とすると、合成後のγカーブは、例えば、下記式（３）で表すことができる。

次に、輝度変換部１１４が、ステップＳ１１４で合成されたγカーブを用いて、画像処理装置１０に入力された補正区間内の入力輝度データに対して輝度変換処理を行い、輝度変換後の出力輝度データを出力する（Ｓ１１６）。このように、輝度を上げるγカーブと輝度を下げるγカーブの２つのγカーブを合成したγカーブを用いて輝度変換処理を行うことにより、γカーブを最適化し、入力画像の絵柄に応じて、黒側区間と白側区間の両区間のコントラスト向上を実現することができる。

（本実施形態に係る画像処理方法の変更例）
以上、本実施形態に係る画像処理方法について説明したが、本実施形態では、黒伸張処理が行われた画像に対して更なるコントラスト向上を行う場合を想定している。しかし、本発明に係る画像処理方法は、このような場合に限られず、図８に示すように、黒伸張処理が行われていない画像の黒付近の任意の区間のコントラスト向上のための輝度補正処理、さらには、黒伸張処理が行われていない画像の白付近の任意の区間のコントラスト向上のための輝度補正処理にも適用することができる。なお、図８は、本実施形態に係る画像処理方法の変更例を示す説明図である。

まず、図８左図に示すように、黒付近の任意の区間のコントラスト向上を実現するためには、補正区間を、任意に設定した開始ポイント（入力輝度レベルが補正区間の中で最大となる任意の値）から、入力輝度レベルが０ＩＲＥまでとし、これらを黒側区間と白側区間の２つの区間に分割する。そして、黒側区間の輝度ヒストグラムの総数から輝度を上げるγカーブを生成し、白側区間の輝度ヒストグラムの総数から輝度を下げるγカーブを生成し、これら２つのγカーブを合成する。さらに、この合成されたγカーブを用いて輝度変換処理を行うことで、黒付近の任意の区間のコントラスト向上を実現することができる。

一方、図８右図に示すように、白付近の任意の区間のコントラスト向上を実現するためには、補正区間を、任意に設定した開始ポイント（入力輝度レベルが補正区間の中で最小となる任意の値）から、入力輝度レベルが１００ＩＲＥまでとし、これらを黒側区間と白側区間の２つの区間に分割する。そして、黒側区間の輝度ヒストグラムの総数から輝度を上げるγカーブを生成し、白側区間の輝度ヒストグラムの総数から輝度を下げるγカーブを生成し、これら２つのγカーブを合成する。さらに、この合成されたγカーブを用いて輝度変換処理を行うことで、白付近の任意の区間のコントラスト向上を実現することができる。

（本実施形態に係る画像処理方法によるコントラスト向上の効果）
次に、図９〜図１１に基づいて、上述したような本実施形態に係る画像処理方法を用いた場合のコントラスト向上の効果について説明する。なお、図９〜図１１は、本実施形態に係る画像処理方法を用いた場合のコントラスト向上の効果を説明するための説明図である。

＜黒側区間の輝度ヒストグラムの総数が多く、白側区間の輝度ヒストグラムの総数が少ない場合＞
第１に、図９を参照しながら、黒側区間の輝度ヒストグラムの総数が多く、白側区間の輝度ヒストグラムの総数が少ない場合におけるコントラスト向上の効果について説明する。図９に示すように、黒側区間の輝度ヒストグラムの総数が多いため、２つのγカーブの合成結果としては、輝度を上げるγカーブとなり、黒側区間のコントラストが向上することとなる。

黒側区間の輝度ヒストグラムの総数が多いということは、補正区間に含まれる画素値のうち、黒側区間の画素値が占める割合が多いということである。すなわち、本実施形態に係る画像処理方法により、黒側区間のコントラストが向上すれば、最黒レベルは変化せずに黒付近のコントラストが向上することになる。一方、白側区間の画素値が占める割合は少ないので、輝度を上げるγカーブを用いた輝度補正処理により、白側区間のコントラストが多少低下しても、入力画像全体に与える影響は小さいため、問題はない。

＜白側区間の輝度ヒストグラムの総数が多く、黒側区間の輝度ヒストグラムの総数が少ない場合＞
第２に、図１０を参照しながら、白側区間の輝度ヒストグラムの総数が多く、黒側区間の輝度ヒストグラムの総数が少ない場合におけるコントラスト向上の効果について説明する。図１０に示すように、白側区間の輝度ヒストグラムの総数が多いため、２つのγカーブの合成結果としては、輝度を下げるγカーブとなり、白側区間のコントラストが向上することとなる。

白側区間の輝度ヒストグラムの総数が多いということは、補正区間に含まれる画素値のうち、白側区間の画素値が占める割合が多いということである。すなわち、本実施形態に係る画像処理方法により、白側区間のコントラストが向上すれば、最黒レベルは変化せずに黒付近のコントラストが向上することになる。一方、黒側区間の画素値が占める割合は少ないので、輝度を下げるγカーブを用いた輝度補正処理により、黒側区間のコントラストが多少低下しても、入力画像全体に与える影響は小さいため、問題はない。

＜黒側区間・白側区間ともに輝度ヒストグラムの総数が多い場合＞
第３に、図１１を参照しながら、黒側区間・白側区間ともに輝度ヒストグラムの総数が多い場合におけるコントラスト向上の効果について説明する。図１１に示すように、黒側区間・白側区間ともに輝度ヒストグラムの総数が多いので、２つのγカーブが打ち消し合い、２つのγカーブの合成結果としては、０になる（γカーブを設定しないことになる）。

黒側区間・白側区間ともに輝度ヒストグラムの総数が多いということは、両区間の画素値が占める割合が多いということである。この場合には、γカーブを設定すると一方の区間（例えば、黒側区間）のコントラストは向上するが、他方の区間（例えば、白側区間）のコントラストは低下してしまう。このような不都合を起こらなくするために、両区間の輝度ヒストグラムの総数が多い場合には、γカーブを設定せずに輝度補正処理を行わないことにより黒付近のコントラストを維持させる。

（本実施形態に係る画像処理方法による視認性向上の効果）
次に、図１２に基づいて、上述したような本実施形態に係る画像処理方法を用いた際に、画面全体が黒画寄りの場合の視認性向上の効果について説明する。なお、図１２は、本実施形態に係る画像処理方法を用いた場合の視認性向上の効果を説明するための説明図である。

画面全体が黒画寄りの場合には、黒伸張処理の際に、黒をほとんど引き込まなくなる。この黒伸張処理が行われた画像に対して、本実施形態に係る画像処理方法を適用すると、Ｙ（出力輝度）＝Ｘ（入力輝度）の入出力特性において、画面全体が黒画寄りであるため、黒側区間のヒストグラムの総数が多い。従って、黒側区間の画素値の占める割合が多く、２つのγカーブの合成結果としては、輝度を上げるγカーブとなる。この輝度を上げるγカーブを用いて、黒伸張処理が行われた画像に対して輝度補正処理を行うことにより、黒側区間の輝度を上げることができ、黒付近の視認性を向上させることができる。すなわち、入力画像全体が暗いような場合であっても、本実施形態に係る画像処理方法によれば、視認性を悪くすることもない。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、黒伸張処理が行われた画像に対して本発明を適用して更なるコントラストの向上を図る場合について説明したが、この場合には限られず、黒伸張処理が行われていない画像に対して本発明を適用することもできる。

また、上述した実施形態においては、輝度ヒストグラムの分割精度が１２８分割の場合を想定した場合について説明したが、輝度ヒストグラムの分割精度は、コントラスト調整の精度に応じて適宜設定することができる。

また、γカーブのゲインの設定方法やγカーブの生成方法については、上述した実施形態で説明した場合に限られず、黒側区間及び白側区間の輝度ヒストグラムの総数に基づいて輝度を上げるγカーブ及び輝度を下げるγカーブを生成できるものであれば、特に限定はされない。

黒伸張処理の概要を説明するためのグラフである。 ２乗γカーブによる輝度変換処理の概要を説明するためのグラフである。 本発明の一実施形態に係る画像処理装置の機能構成を示すブロック図である。 同実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 同実施形態に係る画像処理方法の処理手順を示すフローチャートである。 同実施形態に係る画像処理方法の概要を示す説明図である。 同実施形態に係る画像処理方法におけるγカーブのゲイン設定方法を示す説明図である。 同実施形態に係る画像処理方法の変更例を示す説明図である。 同実施形態に係る画像処理方法を用いた場合のコントラスト向上の効果を説明するための説明図である。 同実施形態に係る画像処理方法を用いた場合のコントラスト向上の効果を説明するための説明図である。 同実施形態に係る画像処理方法を用いた場合のコントラスト向上の効果を説明するための説明図である。 同実施形態に係る画像処理方法を用いた場合の視認性向上の効果を説明するための説明図である。

符号の説明

１０ 画像処理装置
１０２ 補正区間設定部
１０４ 補正区間分割部
１０６−１ ヒストグラム算出部（黒側）
１０６−２ ヒストグラム算出部（白側）
１０８−１ ゲイン設定部（黒側）
１０８−２ ゲイン設定部（白側）
１１０−１ γカーブ生成部（黒側）
１１０−２ γカーブ生成部（白側）
１１２ γカーブ合成部
１１４ 輝度変換部

Claims (9)

1. 入力輝度データに対して輝度変換処理を行うことにより入力画像の輝度補正処理を行う画像処理装置であって、
   前記輝度補正処理を行う輝度レベルの範囲である補正区間を設定する補正区間設定部と、
   前記補正区間を、輝度レベルの低い黒側区間と、輝度レベルの高い白側区間の２区間に分割する補正区間分割部と、
   前記黒側区間の輝度ヒストグラムの総数及び前記白側区間の輝度ヒストグラムの総数を算出するヒストグラム算出部と、
   前記算出された前記黒側区間の輝度ヒストグラムの総数に基づいて輝度を上げるガンマカーブのゲインを設定し、前記算出された前記白側区間の輝度ヒストグラムの総数に基づいて輝度を下げるガンマカーブのゲインを設定するゲイン設定部と、
   前記輝度を上げるカーブのゲインに基づいて輝度を上げるガンマカーブを生成し、前記輝度を下げるカーブのゲインに基づいて輝度を下げるガンマカーブを生成するガンマカーブ生成部と、
   前記輝度を上げるガンマカーブと前記輝度を下げるガンマカーブとを合成するガンマカーブ合成部と、
   前記合成されたガンマカーブを用いて、前記補正区間内の入力輝度データに対して輝度変換処理を行う輝度変換部と、
   を備え、
   前記ガンマカーブ生成部は、入力輝度値をＸ及び輝度変換後の出力輝度値をｇａｍ＿ｕｐｐｅｒ［Ｘ］とした場合に下記の式（１）で表現される前記輝度を上げるガンマカーブと、入力輝度値をＸ及び輝度変換後の出力輝度値をｇａｍ＿ｌｏｗｅｒ［Ｘ］とした場合に下記の式（２）で表現される前記輝度を下げるガンマカーブと、を生成し、
   前記ガンマカーブ合成部は、輝度変換後の出力輝度値をｇａｍ［Ｘ］とした場合に下記の式（３）で表現される合成後のガンマカーブを生成する、
   画像処理装置。
   

   

   但し、前記輝度ヒストグラムの分割精度をＤとし、輝度を上げるガンマカーブのゲインをｇａｉｎ＿ｕｐｐｅｒ、輝度を下げるガンマカーブのゲインをｇａｉｎ＿ｌｏｗｅｒ、輝度変換処理を開始する入力輝度値をｓｔａｒｔ、輝度変換処理を終了する入力輝度値をｅｎｄとする。
2. 黒伸張処理が行われた画像の輝度補正処理を行う
   請求項１に記載の画像処理装置。
3. 前記補正区間は、所定の輝度レベルから前記黒伸張処理後の出力輝度データがゼロとなる輝度レベルまでの区間である
   請求項２に記載の画像処理装置。
4. 前記補正区間は、入力輝度レベルが所定の輝度レベルから輝度レベルが０［ＩＲＥ］までの区間である
   請求項１に記載の画像処理装置。
5. 前記補正区間は、入力輝度レベルが所定の輝度レベルから輝度レベルが１００［ＩＲＥ］までの区間である
   請求項１に記載の画像処理装置。
6. 前記輝度ヒストグラムの分割精度Ｄは、１２８である
   請求項１に記載の画像処理装置。
7. 前記ガンマカーブのゲインは、前記輝度ヒストグラムの総数が多いほど大きくなるように設定される
   請求項１に記載の画像処理装置。
8. 入力輝度データに対して輝度変換処理を行うことにより入力画像の輝度補正処理を行う画像処理方法であって、
   前記輝度補正処理を行う輝度レベルの範囲である補正区間を設定する補正区間設定ステップと、
   前記補正区間を、輝度レベルの低い黒側区間と、輝度レベルの高い白側区間の２区間に分割する補正区間分割ステップと、
   前記黒側区間の輝度ヒストグラムの総数及び前記白側区間の輝度ヒストグラムの総数を算出するヒストグラム算出ステップと、
   前記算出された前記黒側区間の輝度ヒストグラムの総数に基づき、輝度を上げるガンマカーブのゲインを設定し、前記算出された前記白側区間の輝度ヒストグラムの総数に基づき、輝度を下げるガンマカーブのゲインを設定するゲイン設定ステップと、
   前記輝度を上げるカーブのゲインに基づき、輝度を上げるガンマカーブを生成し、前記輝度を下げるカーブのゲインに基づき、輝度を下げるガンマカーブを生成するガンマカーブ生成ステップと、
   前記輝度を上げるガンマカーブと前記輝度を下げるガンマカーブとを合成するガンマカーブ合成ステップと、
   前記合成されたガンマカーブを用いて、前記補正区間内の入力輝度データに対して輝度変換処理を行う輝度変換ステップと、
   を含み、
   前記ガンマカーブ生成ステップでは、入力輝度値をＸ及び輝度変換後の出力輝度値をｇａｍ＿ｕｐｐｅｒ［Ｘ］とした場合に下記の式（１）で表現される前記輝度を上げるガンマカーブと、入力輝度値をＸ及び輝度変換後の出力輝度値をｇａｍ＿ｌｏｗｅｒ［Ｘ］とした場合に下記の式（２）で表現される前記輝度を下げるガンマカーブと、を生成し、
   前記ガンマカーブ合成ステップでは、輝度変換後の出力輝度値をｇａｍ［Ｘ］とした場合に下記の式（３）で表現される合成後のガンマカーブを生成する、
   画像処理方法。
   

   

   但し、前記輝度ヒストグラムの分割精度をＤとし、輝度を上げるガンマカーブのゲインをｇａｉｎ＿ｕｐｐｅｒ、輝度を下げるガンマカーブのゲインをｇａｉｎ＿ｌｏｗｅｒ、輝度変換処理を開始する入力輝度値をｓｔａｒｔ、輝度変換処理を終了する入力輝度値をｅｎｄとする。
9. コンピュータを、
   前記輝度補正処理を行う輝度レベルの範囲である補正区間を設定する補正区間設定部と、
   前記補正区間を、輝度レベルの低い黒側区間と、輝度レベルの高い白側区間の２区間に分割する補正区間分割部と、
   前記黒側区間の輝度ヒストグラムの総数及び前記白側区間の輝度ヒストグラムの総数を算出するヒストグラム算出部と、
   前記算出された前記黒側区間の輝度ヒストグラムの総数に基づき、輝度を上げるガンマカーブのゲインを設定し、前記算出された前記白側区間の輝度ヒストグラムの総数に基づき、輝度を下げるガンマカーブのゲインを設定するゲイン設定部と、
   前記輝度を上げるカーブのゲインに基づき、輝度を上げるガンマカーブを生成し、前記輝度を下げるカーブのゲインに基づき、輝度を下げるガンマカーブを生成するガンマカーブ生成部と、
   前記輝度を上げるガンマカーブと前記輝度を下げるガンマカーブとを合成するガンマカーブ合成部と、
   前記合成されたガンマカーブを用いて、前記補正区間内の入力輝度データに対して輝度変換処理を行う輝度変換部と、
   して機能させるためのプログラムであり、
   前記ガンマカーブ生成部は、入力輝度値をＸ及び輝度変換後の出力輝度値をｇａｍ＿ｕｐｐｅｒ［Ｘ］とした場合に下記の式（１）で表現される前記輝度を上げるガンマカーブと、入力輝度値をＸ及び輝度変換後の出力輝度値をｇａｍ＿ｌｏｗｅｒ［Ｘ］とした場合に下記の式（２）で表現される前記輝度を下げるガンマカーブと、を生成し、
   前記ガンマカーブ合成部は、輝度変換後の出力輝度値をｇａｍ［Ｘ］とした場合に下記の式（３）で表現される合成後のガンマカーブを生成する、
   プログラム。
   

   

   但し、前記輝度ヒストグラムの分割精度をＤとし、輝度を上げるガンマカーブのゲインをｇａｉｎ＿ｕｐｐｅｒ、輝度を下げるガンマカーブのゲインをｇａｉｎ＿ｌｏｗｅｒ、輝度変換処理を開始する入力輝度値をｓｔａｒｔ、輝度変換処理を終了する入力輝度値をｅｎｄとする。
   

Images