JP4956488B2 - 画像処理装置および画像表示装置 - Google Patents

Description

この発明は、例えばOLED(Organic Light Emitting Diode)を用いた表示装置に用いられる画像処理装置に関する。

周知のように、従来の画像処理装置は、LCDなどの光漏れに起因するコントラスト低下を抑制するために、入力映像に応じて光源の輝度変調と、入力映像の階調変換を合わせて実施している。これによれば、入力映像が持つ本来の階調感を復元した表示が可能となるが、本来の階調感以上に階調補正を行うことはできない（例えば、特許文献１参照）。

また、例えば携帯電話機のような消費電力の抑制が重視される機器にあっては、商用電力を利用するテレビジョン装置に比べて輝度を低く設定している。このため、上述した補正では、十分な階調補正を行うことができず、暗部シーンなど視認性の低いシーンの階調感を向上させることが難しいという問題があった。
特に、OLEDのような自発光パネルでは、明部シーンでは消費電力が増大する問題があった。
特願２００７−２８４１４１

従来の画像処理装置では、本来の階調感以上に階調補正を行うことはできないため、輝度の低い設定では、暗部シーンなど視認性の低いシーンの階調感を向上させることが難しいという問題があった。

また、OLEDに代表される自発光型表示パネルでは、暗部シーンの視認性改善の為にパネルの明るさを向上させると、明部シーン表示時に消費電力が増大する問題があった。

この発明は上記の問題を解決すべくなされたもので、輝度の低い設定でも、暗部シーンなど視認性の低いシーンの階調感を向上させると共に、明部シーンなど消費電力の増加するシーンの消費電力を削減することが可能な画像処理装置を提供することを目的とする。

上記の目的を達成するために、この発明は、表示パネルで表示に用いる映像信号を補正する画像処理装置において、入力映像信号に基づく映像について階調毎の頻度を表すヒストグラムを生成するヒストグラム生成手段と、ヒストグラムに基づいて、ピーク輝度のゲインを求めるゲイン算出手段と、ゲインに応じて、予め設定した階調に対する明るさの特性を示す階調−明るさ特性の明るさについてのダイナミックレンジを拡大した第１特性を求めるダイナミックレンジ拡大手段と、第１特性の明るさの上限を表示パネルが表示可能な明るさにクリッピングした第２特性を求めるクリッピング手段と、各階調毎に、第１特性と、第２特性とに基づく値に対して、ヒストグラムに基づく重み付けを行った評価値に基づいて決定した出力値を求めることで、階調と出力値を対応付けた階調変換関数を生成する関数生成手段と、階調変換関数に基づいて、入力映像信号の階調を変換して補正した映像信号を生成する階調変換手段とを具備して構成するようにした。

以上述べたように、この発明では、入力映像信号に基づく映像について階調毎のヒストグラムを生成し、このヒストグラムに基づいて、ピーク輝度のゲインを求める。そして、このゲインに応じて、予め設定した階調−明るさ特性のダイナミックレンジを拡大し、この拡大した階調−明るさ特性と、表示パネルの階調−明るさ特性と、ヒストグラムとに基づいて、階調を変換する階調変換関数を生成し、この階調変換関数に基づいて、入力映像信号の階調を変換して補正した映像信号を生成するようにしている。

したがって、この発明によれば、入力映像信号に応じて、入力映像信号の階調が変換されて暗部の階調補正が行われるので、輝度の低い設定でも、暗部シーンなど視認性の低いシーンの階調感を向上させることが可能な画像処理装置を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる画像処理装置を備えた携帯電話機１０の概略構成を示した図であり、携帯電話機１０は、携帯電話機１０の各種動作を制御する制御部１、符号化された動画像信号を復号処理するビデオデコーダ２、アンテナ４を介して受信される地上デジタルテレビジョン放送の放送信号のうち、制御部１によって指定されたチャネルの放送信号を復調してＴＳ（トランスポート）パケットを取り込む地デジ受信部３、アンテナ７を介して基地局から受信した無線信号を復調してベースバンド信号を得る無線部５、ベースバンド信号をＣＤＭＡなどの方式に準拠した復号処理を行うことで音声信号、制御信号、及びデータ信号を得るとともにアンテナ７を介して送信される音声信号、制御信号、及びデータ信号を符号化する信号処理部６、信号処理部６から送られた音声信号を出力するスピーカ９、話者の音声を取り込むマイクロホン８、制御部１から受信した動画像信号に基づいて映像信号を表示パネル３０に表示制御する表示制御部２０から構成される。

なお、上記画像処理装置は、図１において画像処理機能１００及び階調変換ルックアップテーブル記憶部（LUT）１４０から構成される。即ち、この一実施形態では、画像処理の主な機能がプログラムによって実現されることを想定しているためである。

図２は、画像処理機能１００によって行われる処理を更に詳細に示した機能ブロック図である。

この画像処理機能１００は、ヒストグラム生成機能１１０と、ピーク輝度ゲイン算出機能１２０と、階調変換関数算出機能１３０と、階調変換画像生成機能１５０とから構成される。

ヒストグラム生成機能１１０は、ビデオデコーダ２から出力された動画像信号（ＹＵＶ信号）に基づいて、この動画像信号を構成する画素の数を階調毎にカウントしてヒストグラムを生成する。
ピーク輝度ゲイン算出機能１２０は、ヒストグラム生成機能１１０が生成したヒストグラムに基づいて、ピーク輝度のゲイン値を算出する。

階調変換関数算出機能１３０は、ヒストグラム生成機能１１０が生成したヒストグラムと、ピーク輝度ゲイン算出機能１２０が算出したゲイン値とに基づいて、入力階調を補正して出力階調を得るためのルックアップテーブルを作成し、制御部１のワークメモリ中に確保された階調変換ルックアップテーブル記憶部１４０に記録する。なお、階調変換ルックアップテーブルは、入力階調と、補正後の出力階調とを対応付けたテーブルであって、階調変換関数に相当する。

階調変換画像生成機能１５０は、階調変換ルックアップテーブル記憶部１４０に記録された階調変換ルックアップテーブル（階調変換関数）に基づいて、動画像信号の階調を補正する補正処理を実施し、この補正処理によって補正された動画像信号を生成する。

表示制御部２０は、上記補正された動画像信号に基づいて、LCD(Liquid Crystal Display)パネルやOLED(Organic Light Emitting Diode)パネル、PDP(Plasma Display Panel)などを表示デバイスとして用いた表示パネル３０を駆動制御し、階調が補正された映像画像を表示パネル３０に表示される。

次に、上記構成の画像処理機能１００の動作について説明する。

まず、本願発明に係る画像処理機能１００によって補正処理される動画像信号は、地上デジタルテレビジョン放送（地デジ放送）によって送られたテレビ信号に含まれる動画像信号を例としている。この地デジ放送の放送信号は、アンテナ４を介して受信された後、制御部１によって指定されたチャネルの放送信号が地デジ受信部３によって抽出、及び復調処理が行われてＴＳパケットとしてビデオエンコーダ２に送られる。なお、地デジ放送には符号化されたオーディオ信号も含まれているが、本発明が動画像信号に対する処理を対象としているため、オーディオ信号の処理に必要な構成、及びオーディオ信号の処理に関する説明は省略している。

地デジ受信部３で抽出されたＴＳパケットのうち、動画像信号を含むＴＳパケットはビデオデコーダ２に送られる。

ビデオデコーダ２では、地デジ受信部３から受信した複数のＴＳパケットのペイロードを組み合わせてＰＥＳ（Packetized Elementary Stream）パケットを復元させるとともに、このＰＥＳパケットのペイロードに含まれる符号化された動画像信号を抽出し、復号して動画像信号を復元させる。なお、携帯電話機向けの地デジ放送では、動画像はＨ．２６４と呼ばれる符号化方式に従って符号化が行われているため、ビデオデコーダ２では、この符号化方式に従った復号処理を行う。

このようにして復元された動画像信号は、ビデオデコーダ２から制御部１に出力され、画像処理機能１００によって階調補正が行われる。

図３は、画像処理機能１００を構成する各部の動作を説明するフローチャートであって、この図に示す処理は、動画像信号を構成する動画像フレーム毎に実施される。以下、この図を参照して説明する。
ステップ３ａにおいてヒストグラム生成機能１１０は、ビデオデコーダ２から入力した１動画像フレーム分の動画像信号（ＹＵＶ信号）に基づいて、所定の階調範囲毎に、その階調範囲に含まれる画素の数をカウントする。例えば、入力階調が8ビットの場合、0から255までの各階調における頻度分布を得ることができる。

そして、ヒストグラム生成機能１１０は、このカウントした結果に基づいて、各階調範囲を代表する階調（代表階調）と、その階調範囲に含まれる頻度（画素数）とを対応付けたヒストグラムを生成する。階調範囲の幅を３２とした場合には、例えば図４に示すようなヒストグラムが得られる。図４の横軸に付された数値は、代表階調の値である。

なお、動画像信号の形式は、様々な形式が想定されるが、本実施形態においては、YUV信号により構成される動画像信号を例に挙げて説明し、またヒストグラム生成機能１１０は、Y信号のヒストグラムを生成する場合を例に挙げて説明する。なお、入力映像信号がRGB信号の場合には、ヒストグラム生成機能１１０は、RGBの最も大きい階調である明度を用いてヒストグラムを生成すればよい。

またステップ３ａにおいて上記ヒストグラム生成部１００は、所定の階調幅毎にヒストグラムを生成するため、ヒストグラムを生成する際に必要なメモリ容量を削減することを可能とした。例えば、32階調毎のヒストグラム生成では、信号の下位5ビットを0とした上位3ビットにより表現され、32階調毎の階調が得られる。なお、階調幅を1とした場合、各階調毎のヒストグラムが生成される。

ステップ３ｂにおいてピーク輝度ゲイン算出機能１２０は、ヒストグラム生成機能１１０が生成したヒストグラムから、１動画像フレームの動画像信号の画面平均輝度であるAPL(Average Picture Level)を算出し、この算出したAPLに基づいてピーク輝度ゲインを決定する。以下、その詳細について説明する。

まず、ピーク輝度ゲイン算出機能１２０は、下式（１）にしたがって、ヒストグラム生成機能１１０が生成したヒストグラムに基づきAPLを算出する。

ここで、h(i)は、階調iにおけるヒストグラムを表しており、APLは信号の平均値となる。また、APLの算出には、下式（２）を用いてもよい。下式（２）は、動画像信号の補正に用いられているガンマ変換を用いて更に正規化を行うものである。

次に、APLによって一意に決まるゲインにしたがって、ピーク輝度Y_Peakを決定する。具体的には、図５に例示するようなAPLとゲインとを対応付けた特性を有するルックアップテーブルをピーク輝度ゲイン算出機能１２０が予め保持（記憶）し、このルックアップテーブルを参照して、上記APLに対応するゲイン値を、ピーク輝度ゲイン（gain）として求める。このルックアップテーブルでは、１以上のゲイン値を設定することが可能であり、１以上の値は暗部シーンの階調感向上を目的とし、１未満の値は明部シーンの低消費電力化を目的としている。即ち、APLが小さい暗部シーンでは１以上のgainを，APLが大きい明部シーンでは１未満のgainとなる。むろん、所望の目的が暗部シーンの階調感向上のみならば1未満のgainを設定する必要はなく、同様に明部シーンの低消費電力化のみならば１より大きな値を設定する必要はない。

なお、APLとゲインの対応関係は、図５に示すように直線的な線分を組み合わせて表現した関数でもよく、あるいは、ガウス分布によりモデル化された関数を用いてもよい。すなわち、ピーク輝度ゲインの決定は、上述したようなルックアップテーブルを用いた手法ではなく、予め設定した関数に基づく演算処理により算出するようにしてもよい。

そして、ピーク輝度ゲイン算出機能１２０は、求めたピーク輝度ゲインからピーク輝度Y_Peakを求める。例えば下式（３）を用いて、上記ピーク輝度ゲインからピーク輝度Y_Peakを求める。なお、下式（３）において、clip(a、b)とは、bを上限値としてaをb以下の値に丸めるクリップ処理を表している。また、INT( )は整数への丸め処理を表している。

ステップ３ｃにおいて階調変換関数算出機能１３０は、ピーク輝度ゲイン算出機能１２０が算出したピーク輝度ゲインが１未満か否かを判定する。ここで、１未満の場合には、ステップ３ｄに移行し、一方、１以上の場合には、ステップ３ｆに移行する。

ステップ３ｄにおいて階調変換関数算出機能１３０は、表示パネル３０で表示したい理想の階調−明るさ特性G(y)を、予め階調変換関数算出機能１３０が記憶している下式（４）のように定義し、ステップ３ｅに移行する。すなわち、ステップ３ｄでは、下式（４）のダイナミックレンジを１倍に拡大した特性を特性G(y)として定義する。なお、下式（４）は、８ビットの階調を持つ映像を対象に、表示パネル３０が再現可能な明るさの最大値で正規化したものであり、図６では、二点鎖線で示す。

また、特性G(y)として、均等色空間において定義されている明度を用いた階調−明度特性を用いる場合には、下式（５）を採用することが可能である。この式（５）は、予め階調変換関数算出機能１３０が記憶する。

ステップ３ｅにおいて階調変換関数算出機能１３０は、理想の階調−明るさ特性G(y)の最大値は、表示パネル３０が再現可能な値であるため、表示パネル３０の階調−明るさ特性g(y)は、下式のようにG(y)を定義し、ステップ３ｈに移行する。

なお、g(y)を階調−明度特性とする場合には、特性のように定義する。

一方、ステップ３ｆにおいて階調変換関数算出機能１３０は、予め記憶した式（４）に基づいて、表示パネル３０で表示したい理想の階調−明るさ特性G(y)を下式のように定義し、ステップ３ｇに移行する。すなわち、ステップ３ｆでは、式（４）のダイナミックレンジをピーク輝度ゲイン（gain）倍に拡大した特性を特性G(y)として定義したもので、図６では、実線で示す。なお、下式は、ステップ３ｄと異なり、表示パネル３０が再現可能な明るさの最大値で正規化した特性に対し、gain倍したものである。従って、gainが１よりも大きい為、G(y)は１より大きな値を持つ階調yが存在し、表示パネル７００が再現不可能な明るさを意味している。

また、特性G(y)として、均等色空間において定義されている明度を用いた階調−明度特性を用いる場合には、予め階調変換関数算出機能１３０が記憶した式（５）に基づいて、下式を採用することが可能である。

一方、ステップ３ｇにおいて階調変換関数算出機能１３０は、理想の階調−明るさ特性G(y)は、1以上の値となって表示パネル３０が再現可能なダイナミックレンジを超える場合があるため、表示パネル３０の階調−明るさ特性g(y)は、下式のように定義し、ステップ３ｈに移行する。図６では、階調−明るさ特性g(y)を破線で示す。

ここで、clip(a、b)とは、bを上限値としてaをb以下の値に丸めるクリップ処理を表している。

なお、g(y)を階調−明度特性とする場合には、特性のように定義する。

ステップ３ｈにおいて階調変換関数算出機能１３０は、理想の階調-明るさ特性G(y)、パネルの階調-明るさ特性g(y)およびヒストグラムに基づいて、入力階調yと出力階調Yの関係を示す階調変換関数f(y)を求める。

以下、図７を参照して、ステップ３ｈの詳細な処理について説明する。図７は、階調変換関数f(y)を求める処理を示したフローチャートである。この処理において階調変換関数算出機能１３０は、評価対象となる入力階調Xtを可変して、評価値Eが最小となる出力階調Yを求め、これをf(Xt)とすることで、階調変換関数f(y)を完成させる。また入力階調は、処理負荷の軽減のために離散値をとるが、その間の出力階調については線形補間することによって連続した出力階調を求めることができる。むろん、連続した値の入力階調について、それぞれ出力階調を求めるようにしてもよい。

なお、以下の説明では、図４に例示したように、ヒストグラム生成機能１１０が階調範囲の幅を３２として求めたヒストグラムを用いる場合を例にして説明する。このため、入力階調0に対応する出力階調を0に設定し、入力階調255に対応する出力階調を、ピーク輝度ゲイン算出機能１２０が求めたピーク輝度Y_Peakに設定する。

ステップ７ａにおいて階調変換関数算出機能１３０は、ヒストグラム生成機能１１０が求めたヒストグラムの階調範囲のうち、１つを選択してこれを入力階調Xtとし、ステップ７ｂに移行する。選択のアルゴリズムは、以下の通りである。

最初のステップ７ａでは、図８に示すように、階調0と階調255の中間である階調128を選択し、これを処理対象の入力階調Xt（=y）として設定する。後述するステップ７ｄから移行した２回目のステップ７ａでは、図９に示すように、階調0と階調128の中間である階調64を、処理対象の入力階調Xtとして設定する。同様にして、３回目のステップ７ａでは、図９に示すように、階調128と階調255の中間である階調192を、処理対象の入力階調Xtとして設定する。

以後、ステップ７ａに移行する毎に同様の処理をくり返す。すなわち、階調0と階調64の中間である階調32を入力階調Xtとして設定し、そして階調64と階調128の中間である階調96を入力階調Xtとして設定し、階調128と階調192の中間である階調160を入力階調Xtとして設定し、階調192と階調155の中間である階調224を入力階調Xtとして設定する。このように中間値を順に選択して、階調幅32毎に入力階調Xtを設定する。

ステップ７ｂにおいて階調変換関数算出機能１３０は、ステップ７ａで設定した入力階調Xtに基づいて、入力階調Xtを中間とする２つの部分ヒストグラムを算出し、ステップ７ｃに移行する。具体的には、例えば図８のように、最初に設定した入力階調Xtが128の場合には、図１０に示すように、階調0から階調127と、階調128から階調255の各ビンを持つ２つの部分ヒストグラムを求める。

これらの部分ヒストグラムは、下式にしたがって求められる。下式において、H(i0、i1)は、ヒストグラム生成機能１１０で求めた階調xの頻度h(x)を階調i0からi1まで合算した頻度を表している。

同様に、ステップ７ａで階調Xtとして64を選択した場合には、図１１に示すように階調0から階調63までの部分ヒストグラムと階調64から階調127までの部分ヒストグラムとを求める。また、ステップ７ａで階調Xtとして192を選択した場合には、階調128から階調191までの部分ヒストグラムと階調192から階調255までの部分ヒストグラムとを求める。

ステップ７ｃにおいて階調変換関数算出機能１３０は、設定した入力階調Xtに対応する出力階調Yの評価値Eが最小となるような値をY=f(Xt)として算出し、ステップ７ｄに移行する。以下、図１２に示すフローチャートを参照して、ステップ７ｃの処理について詳細に説明する。

まずステップ１２ａにおいて階調変換関数算出機能１３０は、当該処理で変数として用いる出力階調Yと、最小評価値E_minを初期化し、ステップ１２ｂに移行する。それぞれ下式のような値を設定して初期化する。なお、MAX_VALは、予め設定した十分に大きな値であり、変換関数f(x)には階調０における値を０、階調２５５における値をY_Peakとし、階調１から２５４までの値は、線型補間により算出した値を初期値として設定する。

なお、以下の処理においても、図７で説明したように、入力階調0に対応する出力階調を0に設定し、入力階調255に対応する出力階調を、ピーク輝度ゲイン算出機能１２０が求めたピーク輝度Y_Peakに設定している。また以下の説明において、X₀は、ステップ７ａで設定した入力階調Xtに対応する階調範囲の最小階調を表し、またX₁は、上記入力階調Xtに対応する階調範囲の最大階調を表している。例えば、図８に示すように、入力階調Xtが128の場合には、X₀は階調0であり、X₁は階調255である。同様に、図９に示すように、入力階調Xtが64の場合には、X₀は階調0であり、X₁は階調128である。

ステップ１２ｂにおいて階調変換関数算出機能１３０は、第１評価値E1と第２評価値E2を下式のように初期化し、ステップ１２ｃに移行する。

ステップ１２ｃにおいて階調変換関数算出機能１３０は、第１評価値E1を求める。まず階調変換関数算出機能１３０は、入力階調Xtの理想の明るさを、前段のステップ３ｄもしくはステップ３ｆで求めた階調−明るさ特性G(y)より求める（y=Xt）。また、出力階調Yに対するパネルの明るさを、前段のステップ３ｅもしくはステップ３ｇで求めた階調−明るさ特性g(y)より求める（y=Y）。

そして階調変換関数算出機能１３０は、下式にしたがって、第１評価値E1を求める。すなわち、G(Xt)とg(Y)との差に、ステップ７ｂで求めた２つの部分ヒストグラムの和を重みとして乗算して、第１評価値E1を求め、ステップ１２ｄに移行する。

なお、第１評価値E1は、下式に示すように、二乗誤差に基づいて求めるようにしてもよい。

また、第１評価値E1は、下式に示すように、階調−明るさ特性に基づく値に代わり、前述した階調−明度特性に基づく値に替え、その差分の二乗和とするようにしてもよい。

ステップ１２ｄにおいて階調変換関数算出機能１３０は、第２評価値E2を求める。まず階調変換関数算出機能１３０は、入力階調Xt、および入力階調Xtを中間階調とする階調範囲における最小階調X₀と最大階調X₁の理想の明るさを、前段のステップ３ｄもしくはステップ３ｆで求めた階調−明るさ特性G(y)より求める。すなわち、G(Xt)、G(X₀)、G(X₁)を算出する。

そして階調変換関数算出機能１３０は、上記階調範囲における階調−明るさ特性G(y)の一次微分を求める。ここでは、上記の算出結果を用いて、下式に従い、上記階調範囲における勾配特性を求める。すなわち、計算を簡易にするために、微分を差分に置き換えて勾配を求める。

同様に、階調変換関数算出機能１３０は、入力階調Xt、および入力階調Xtを中間階調とする階調範囲における最小階調X₀と最大階調X₁のパネルの明るさを、前段のステップ３ｅもしくはステップ３ｇで求めた階調−明るさ特性g(y)より求める。すなわち、g(Xt)、g(X₀)、g(X₁)を算出する。

そして階調変換関数算出機能１３０は、上記階調範囲における階調−明るさ特性g(y)の一次微分を求める。ここでは、上記の算出結果を用いて、下式に従い、上記階調範囲における勾配特性を求める。すなわち、計算を簡易にするために、微分を差分に置き換えて勾配を求める。

そして階調変換関数算出機能１３０は、下式にしたがって、第２評価値E2を求める。すなわち、各階調範囲の勾配の差に、それぞれ対応するステップ７ｂで求めた２つの部分ヒストグラムの和を重みとして乗算して、さらにそれらを加算して第２評価値E2を求め、ステップ１２ｅに移行する。

なお、第２評価値E2は、下式に示すように、二乗誤差に基づいて求めるようにしてもよい。

また、第２評価値E2は、下式に示すように、階調−明るさ特性に基づく値に代わり、前述した階調−明度特性に基づく値に替え、その差分の二乗和とするようにしてもよい。

ステップ１２ｅにおいて階調変換関数算出機能１３０は、下式にしたがって、評価値Eを求める。すなわち、第１評価値E1と第２評価値E2にそれぞれ重み付けを行い、これらの線形和を評価値Eとする。なお、λは、重みであり、0から1の範囲の値で、予め任意に設定する。

ステップ１２ｆにおいて階調変換関数算出機能１３０は、ステップ１２ｅで求めた評価値Eと、最小評価値Eminとを比較し、評価値Eが最小評価値Eminよりも小さい場合には、ステップ１２ｇに移行し、一方、評価値Eが最小評価値Emin以上の場合には、ステップ１２ｉに移行する。
ステップ１２ｇにおいて階調変換関数算出機能１３０は、最小評価値Eminを評価値Eの値で更新し、ステップ１２ｈに移行する。これにより、最小評価値Eminは、さらに小さい値に更新される。

ステップ１２ｈにおいて階調変換関数算出機能１３０は、入力階調Xtに対応する出力階調f(Xt)としてYを対応付けて、階調変換ルックアップテーブル記憶部１４０に記録し、ステップ１２ｉに移行する。これにより、入力階調Xtが例えば128の場合には、図８に示すように、Yをf(128)として階調変換ルックアップテーブル記憶部１４０に記録する。また入力階調Xtが例えば64の場合には、図９に示すように、Yをf(64)として階調変換ルックアップテーブル記憶部１４０に記録し、同様に、入力階調Xtが例えば192の場合には、図９に示すように、Yをf(192)として階調変換ルックアップテーブル記憶部１４０に記録する。

ステップ１２ｉにおいて階調変換関数算出機能１３０は、出力階調Yが予め設定された上限値f(X₁₎に達したか否かを判定する。すなわち、すべての候補値について評価を行ったか否かを判定する。ここですべての候補値について評価を行った場合には、当該処理を終了して、ステップ７ｄに移行する。一方、すべての候補値について評価を行っていない場合には、ステップ１２ｊに移行する。なお、上記の上限値は、入力階調Xtを中間階調とする階調範囲の最大値X₁に対応する出力階調程度に設定する。
ステップ１２ｊにおいて階調変換関数算出機能１３０は、出力階調Yの値を１だけインクリメントし、ステップ１２ｂに移行する。

ステップ７ｄにおいて階調変換関数算出機能１３０は、すべての階調範囲が入力階調Xtとして設定されて処理が行われたか否かを判定し、すべての階調範囲について処理が行われた場合には、当該処理を終了してステップ３ｉに移行する。すなわち、図１２に示した処理により、階調変換ルックアップテーブル（階調変換関数f(y)）が完成する。

一方、すべての階調範囲について処理が行われていない場合、すなわち上記ルックアップテーブルが完成していない場合には、ステップ７ａに移行して、残る階調範囲について処理を実施する。

ステップ３ｉにおいて階調変換画像生成機能１５０は、階調変換ルックアップテーブル記憶部１４０に記録された階調変換ルックアップテーブル（階調変換関数f(y)）に基づいて、入力映像信号の階調を補正する補正処理を実施し、この補正処理によって補正された階調を有する動画像信号を生成する。
表示制御部２０は、上記補正された動画像信号に基づいて表示パネル３０を駆動制御し、階調が補正された画像に基づいて映像信号を表示パネル３０に表示される。

以上のように、上記構成の画像処理機能１００では、ヒストグラムと、ピーク輝度に対するゲインに基づいて、入力階調を補正して出力階調を得るためのルックアップテーブル（階調変換関数）を作成し、このテーブルに基づいて動画像信号の階調を補正するようにしている。

APLが小さくgainが1以上の暗部シーンの場合、理想の階調−明るさ特性G(y)を再現不可能なを持たせることで，パネルが再現不可能だった明るさ感を擬似的に増加させつつ、ヒストグラムによる階調変換処理により階調つぶれを発生することなく、階調感を向上させることが出来る。

これに対し、APLが大きくgainが1未満の明部シーンでは、最大階調をピーク輝度Y_Peakに抑制された制約下で、理想の階調−明るさ特性G(y)が持つコントラスト感を、ヒストグラム基づき高頻度な階調におけるコントラスト感を優先して復元する階調補正を実施することで主観的なコントラスト感の低下を伴うことなく、消費電力を削減することが出来る。

したがって、上記構成の画像処理機能によれば、入力された動画像信号に応じて、動画像信号の階調が変換されて暗部の階調補正が行われるので、輝度の低い設定でも、暗部シーンなど視認性の低いシーンの階調感を向上させると共に、明部シーンなど消費電力が増加するシーンの電力を削減することができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

この発明に係わる画像処理装置を備えた携帯電話機の主要な構成を示す図。 図１に示した画像処理機能の構成を示す回路ブロック図。 図２に示した階調変換関数算出機能の動作を説明するためのフローチャート。 ヒストグラムを作成する処理を説明するための図。 ピーク輝度ゲインを決定する処理を説明するための図。 階調変換関数を決定する処理で用いる特性を説明するための図。 階調変換関数を決定する処理を説明するためのフローチャート。 補正した出力階調を決定する処理を説明するための図。 補正した出力階調を決定する処理を説明するための図。 部分ヒストグラムを生成する処理を説明するための図。 部分ヒストグラムを生成する処理を説明するための図。 補正した出力階調を決定する処理を説明するためのフローチャート。

符号の説明

１…制御部、２…ビデオデコーダ、３…地デジ受信部、４…アンテナ、５…無線部、６…信号処理部、７…アンテナ、８…マイクロホン、９…スピーカ、１０…携帯電話機、２０…表示制御部、３０…表示パネル、１００…画像処理機能、１１０…ヒストグラム生成機能、１２０…ピーク輝度ゲイン算出機能、１３０…階調変換関数算出機能、１４０…階調変換ルックアップテーブル記憶部、１５０…階調変換画像生成機能。

Claims (6)

1. 表示パネルで表示に用いる映像信号を補正する画像処理装置において、
   入力映像信号に基づく映像について階調毎の頻度を表すヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラムに基づいて、ピーク輝度のゲインを求めるゲイン算出手段と、
   前記ゲインに応じて、予め設定した階調に対する明るさの特性を示す階調−明るさ特性の明るさについてのダイナミックレンジを拡大した第１特性を求めるダイナミックレンジ拡大手段と、
   前記第１特性の明るさの上限を前記表示パネルが表示可能な明るさにクリッピングした第２特性を求めるクリッピング手段と、
   各階調毎に、前記第１特性と、前記第２特性とに基づく値に対して、前記ヒストグラムに基づく重み付けを行った評価値に基づいて決定した出力値を求めることで、階調と出力値を対応付けた階調変換関数を生成する関数生成手段と、
   前記階調変換関数に基づいて、前記入力映像信号の階調を変換して補正した前記映像信号を生成する階調変換手段とを具備することを特徴とする画像処理装置。
2. 前記ゲイン算出手段は、
   平均輝度と、ピーク輝度のゲインを対応付けたルックアップテーブルを記憶するテーブル記憶手段と、
   前記ヒストグラムに基づいて平均輝度を求める平均輝度算出手段と、
   前記平均輝度算出手段が求めた平均輝度に対応するピーク輝度のゲインを、前記ルックアップテーブルから求めるテーブル参照手段とを備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記ダイナミックレンジ拡大手段は、前記ゲインが予め設定した値以上の場合に、前記第１特性の明るさについてのダイナミックレンジを拡大することを特徴とする請求項１に記載の画像処理装置。
4. 前記関数生成手段は、前記第１特性と前記第２特性の差に、前記ヒストグラムに基づく値を乗じた重み付けにより前記評価値を求めることを特徴とする請求項１に記載の画像処理装置。
5. 前記関数生成手段は、前記第１特性の勾配と前記第２特性の勾配の差に、前記ヒストグラムに基づく値を乗じた重み付けにより前記評価値を求めることを特徴とする請求項１に記載の画像処理装置。
6. 表示パネルで表示に用いる映像信号を補正する画像表示装置において、
   入力映像信号に基づく映像について階調毎の頻度を表すヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラムに基づいて、ピーク輝度のゲインを求めるゲイン算出手段と、
   前記ゲインに応じて、予め設定した階調に対する明るさの特性を示す階調−明るさ特性の明るさについてのダイナミックレンジを拡大した第１特性を求めるダイナミックレンジ拡大手段と、
   前記第１特性の明るさの上限を前記表示パネルが表示可能な明るさにクリッピングした第２特性を求めるクリッピング手段と、
   各階調毎に、前記第１特性と、前記第２特性とに基づく値に対して、前記ヒストグラムに基づく重み付けを行った評価値に基づいて決定した出力値を求めることで、階調と出力値を対応付けた階調変換関数を生成する関数生成手段と、
   前記階調変換関数に基づいて、前記入力映像信号の階調を変換して補正した前記映像信号を生成する階調変換手段と、
   前記階調変換手段が補正した映像信号に基づいて前記表示パネルを駆動制御して、前記表示パネルに映像を表示させる表示制御手段とを具備することを特徴とする画像表示装置。

Images