以下、添付図面を参照しながら、本発明の映像表示装置に係る好適な実施の形態について説明する。本実施形態における映像表示装置(以下、液晶表示装置で代表する)は、バックライト光源の発光輝度レベルと入力映像信号のゲインとを連動して制御する輝度変調部と、動き補償によりフレームレートあるいはフィールドレートを変換するFRC部とを備えるものとする。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者(フィールドとフレーム)は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
〈本発明に係る輝度変調処理の概要〉
液晶表示装置から発せられる光量は、表示する映像信号のレベルを忠実に再現するのが理想である。つまり、黒画面を表示する場合、画面から発せられる光量は理想的には0でなければならない。しかし、現実の液晶表示装置では、若干の光漏れがあり、黒画面を表示する場合にも黒ではなくグレー表示となる。
液晶表示装置の重要な性能の一つとしてコントラスト比(以下CRともいう)がある。液晶表示装置において、CRは表示パネル上の最大輝度と最小輝度の比である。液晶表示装置の場合、最大輝度は光源の最大発光輝度で決まり、最小輝度は黒表示時の光漏れ量によって決まる。よって、光源の発光輝度が一定の場合、同一の液晶パネルにおいてコントラスト比は一定となる。
図1は、CRが3000と6000の液晶パネルについて、入力階調(映像信号レベル)と液晶パネル上での輝度値との関係を示すグラフである。最大輝度は共に同じ450cdであるが、入力階調(画素値)0での液晶パネル上の表示輝度(最小輝度)はCR3000の場合に0.15cd、CR6000の場合に0.075cdとなり、2倍の差がある。
ここで、CR3000の液晶パネル使用時に光源の発光輝度を50%まで下げるとともにゲイン設定で入力映像信号を所定量増幅させると、入力映像信号の画素値と液晶パネルの表示輝度値との関係は、図1において点線で示すような関係となり、画素値0〜128においてはCR6000の液晶パネルに近い輝度表現をさせることが可能となる。しかしながら、画素値128より大きい映像は階調表現できず、いわゆる白つぶれを起こすことになる。従って、入力映像信号の特徴量に応じてバックライトの発光輝度の調節と、ゲイン設定を行う必要がある。
例えば、入力映像信号の輝度のヒストグラムが画素値128以下の輝度分布を示す場合に、上述の図1で示すようにバックライトの輝度を50%まで下げるとともにゲイン設定で所定の入力映像信号を所定量増幅させるような制御を行うようにすればよい。このように入力映像信号の特徴量に応じてバックライトの発光輝度の制御及びゲイン設定を行うことにより、コントラスト感を高めることができると同時にバックライトの発光輝度を下げることによる省電力化を図ることが可能となる。
上記では入力映像信号の輝度のヒストグラムが画素値128以下の輝度分布を示す場合を例に挙げ説明したが、上記例以外でも、例えば、映像中の白部分が極めて少ない場合には、白部分の重視度を下げ、黒表現の向上を同様にして図ることができる。このとき、重視しない部分の白つぶれは無視してもよいし、ターゲットCRを実現させるゲイン設定によっても白つぶれが緩和できるように、白側領域でのゲインを決めるようにしてもよい。
また、本発明に係る輝度変調処理では、省電力化を図るために、後述するように映像信号から得た映像のAPL等の特徴量に応じて動的に光源の発光輝度を抑える処理も併せて実行する。
つまり、ゲイン設定及びバックライト光源の発光輝度レベルを設定するための参照用の発光輝度レベルをまず映像特徴量(APL,ピーク(最大輝度値),ヒストグラム情報等)に応じて設定し、省電力化を図ると共に、参照用の発光輝度レベルに対して、さらに上述のごときコントラスト感を出すための処理(すなわち発光輝度レベルを参照用の発光輝度レベル以下の適切な値に設定する)を実行して、CR向上及び更なる省電力化を図り、その処理と連動させて映像信号のゲインを設定して、視覚上の輝度を保つようにする。
〈本発明に係る輝度変調処理を行う液晶表示装置のシステム構成例〉
図2は、本発明に係る液晶表示装置のシステム構成例を示すブロック図である。図2で例示する液晶表示装置は、スケーリング部1、Yヒストグラム検出部2、APL検出部3、BL(バックライト)輝度レベル設定部8、CPU(Central Processing Unit)/CPLD(Complex Programmable Logic Device)11、BL調整部12、画質補正部14、RGBγ/WB(White Balance)調整部15、FRC(Frame Rate Control)部16、及び映像出力部17を備える。
図2で例示する液晶表示装置は、さらに本発明に係る輝度変調処理の主な部分を実行するアドバンスト輝度変調部20を備える。アドバンスト輝度変調部20は、本発明の輝度変調手段に相当し、ヒストグラムストレッチング部4、ディストーションモジュール5、シーンチェンジ検出部6、第1のテンポラリフィルタ7、第2のテンポラリフィルタ9、可変ディレイ10、コンフィグレーションデザイン部13を有する。なお、上述したように、本発明に係る輝度変調処理は、APL等の特徴量に応じた動的な光源の発光輝度制御を行うだけでなく、その映像特徴量の所定の条件により決定される光源の参照用の発光輝度レベルBLrefに対しさらにコントラスト感を出すような発光輝度レベルBLreducedを選択し、且つ映像信号のゲインも設定するという進化した輝度変調処理である。そのため、この処理を実行する部位を「アドバンスト」輝度変調部20と呼んでいる。
まず、図2の液晶表示装置における各ブロックの概要について説明する。
映像出力部17は、映像信号による映像を表示する液晶パネルと、映像信号を液晶パネル駆動のための信号に変換し液晶パネルに出力する液晶制御回路とを有する。その詳細は後述するが、映像信号は、アドバンスト輝度変調部20で設定されたゲインを用いて変換された後、この映像出力部17に入力される。つまり、本発明に係る輝度変調処理においては、この映像出力部17で表示すべき映像を示す映像信号が処理対象となる。ゲイン及びその設定については後述する。
BL調整部12は、蛍光管で構成されるランプと、そのランプを駆動するランプ駆動回路とを有し、液晶パネルを背面や側面から照射する光源(バックライト光源、或いは単にバックライトともいう)を構成する。本発明に係る輝度変調処理においては、このランプが発光輝度制御の対象となる。
BL調整部12は、CPU/CPLD11で制御される。CPU/CPLD11は、アドバンスト輝度変調部20から出力された発光輝度レベルBLreducedを示す信号(例えばデューティ信号)に従って、BL調整部12のランプ駆動回路(例えばインバータ回路)で実際に調光するための信号(例えばパルス幅変調等の駆動に適した信号)に変換して、BL調整部12へ出力する。バックライト調光値を実際のバックライト調光のための信号に変換するものである。また、ランプとしては、例えばLED(Light Emitting Diode)で構成されるものや、LEDと蛍光管の組み合わせで構成されるものを採用してもよく、同時にそれに対応したランプ駆動回路を設けておけばよい。
映像出力部17へ出力する映像信号の処理、並びにCPU/CPLD11を介してBL調整部12の制御を行う部位が、スケーリング部1、Yヒストグラム検出部2、APL検出部3、BL輝度レベル設定部8、画質補正部14、RGBγ/WB調整部15、FRC部16、及びアドバンスト輝度変調部20である。
まず、スケーリング部1は、液晶パネルの解像度等に応じて、入力された映像信号(入力映像信号)が示す映像フレームの画素数、或いはその映像フレームのアスペクト比を、演算により変更する。
ここで、入力映像信号としては、例えば放送波として受信した映像信号を復調した信号、通信ネットワーク経由で受信した映像信号、内部記憶装置に記憶された映像信号を読み出した信号、各種レコーダや各種プレーヤやチューナ機器といった外部機器から受信した映像信号などが該当し、或いはそれら映像信号に対して各種映像処理を施した後の映像信号が該当する。図示しないが、図2の液晶表示装置は、このような映像信号のいずれかを取得可能なよう構成しておけばよい。
画質補正部14は、スケーリング部1から出力された映像信号に対し、ユーザ設定等により、映像のコントラストや色味等を変更する。
RGBγ/WB調整部15は、画質補正部14から出力された映像信号に対し、映像のγ、WB(ホワイトバランス)/CT(色温度)等の調整を行う。さらに、RGBγ/WB調整部15は、アドバンスト輝度変調部20(実際にはコンフィグレーションデザイン部13)からのゲイン設定信号によって信号のゲインを変更する。ここでは、画質補正部14から出力された映像信号に対するゲインが変更されるか、或いはRGBγ/WB調整部15内でγ調整した後の映像信号に対するゲインが変更される。そして、RGBγ/WB調整部15ではそのゲインに基づき映像信号の変換が施され、後述するようなアドバンスト輝度変調部20で発光輝度レベルを低下させる制御に対して輝度低下分をゲインによって補償する。ここで、低階調部分のノイズを抑えるため、この変換は、γ調整後であってWB調整前に施すようにする。
アドバンスト輝度変調部20からのゲイン設定信号は、上述の液晶パネルへ出力すべき映像信号の画素値(映像信号レベル)を変換するための変換係数を示す信号である。このゲイン設定信号は、以下の例で示すように各映像信号レベル(この例では0〜255の値)に乗算するための共通の1つの変換係数とし、後述するようにゲインすることで頭打ちとなる映像信号レベルの範囲などに基づいて得た或る映像信号レベルの範囲に対しては、ゲインをRGBγ/WB調整部15で補正してもよい。
FRC部16は、本発明のレート変換手段に相当するフレームレートコンバータであり、RGBγ/WB調整部15から出力された調整後の映像信号に対し、映像の動きベクトルを検出し補間映像を生成することによって、通常60Hzの表示周波数から120Hzの表示周波数に変換するものである。勿論、FRC部16での処理対象の表示周波数や処理後の表示周波数はこれに限ったものではない。図2の例では、映像出力部17の液晶駆動回路は、FRC部16から出力された映像信号を液晶パネル駆動のための信号に変換し、液晶パネルに出力することになる。
Yヒストグラム検出部2は、映像フレームを画素単位等に分割し、各画素の輝度値の発生頻度を表したヒストグラムを生成する。Yヒストグラム検出部2で生成されたヒストグラムは、例えば輝度値(Y)0〜255のそれぞれに対して頻度の値を持つ。APL検出部3は、映像信号の平均輝度レベルを、映像フレーム毎に算出する。APL検出部3で算出される値としては、全画面で黒の場合には0%を示す値となり、全画面で白の場合には100%を示す値となる。
ヒストグラムストレッチング部4は、Yヒストグラム検出部2で生成されたヒストグラムから、アドバンスト輝度変調部20で使用する範囲を設定する。例えば、ディストーションモジュール5が最小値0〜最大値255で演算を実行するモジュールであり、且つ入力映像信号が元々最小値10〜最大値235の値をとるような信号であった場合を想定する。このような場合には、ヒストグラムストレッチング部4は、ディストーションモジュール5での演算に合わせるために、最小値10〜最大値235のそれぞれに対する頻度値を、最小値0〜最大値255のそれぞれに対する頻度値に当てはめるように引き伸ばすものである。
ディストーションモジュール5は、ヒストグラムストレッチング部4から入力されたヒストグラムと、後述するBL輝度レベル設定部8で設定された参照用の発光輝度レベル(バックライト目標値ともいう)BLrefとから、実際に設定する発光輝度レベル(バックライト値ともいう)BLreduced、すなわちバックライトの制御に使用する発光輝度レベルを選択(決定)する。選択は、予め定められた複数の発光輝度レベルの中からBL輝度レベル設定部8で設定された参照用発光輝度レベルBLrefを超えない範囲で行う。また、ここでは、ターゲットCRをもつ液晶パネルにより近い表示映像を実現できるバックライト値BLreducedを選択する。ターゲットCR等のディストーションパラメータは図示しないメインCPUから設定すればよい。
シーンチェンジ検出部6では、1フレーム前のヒストグラムと現ヒストグラムの変化の程度からシーンチェンジの有無を検出する。例えば、各輝度値の頻度変化の累計値を算出し、特定の値よりも大きかった場合には場面が変わったと判定する。
第1のテンポラリフィルタ7は、ディストーションモジュール5で選択された上述の実際に設定する発光輝度レベルBLreducedが急激に変化した場合に生じる、視覚上の違和感を防止するために設けられたものであり、発光輝度レベルBLreducedの変化量を時間的に緩慢なものにした後、実際に設定する発光輝度レベルBLreducedとして後段に出力する。また、シーンチェンジ時には、緩慢な発光輝度レベルBLreducedの変化を施すと返って違和感を持つため、シーンチェンジ検出部6によるシーンチェンジ検出信号により、第1のテンポラリフィルタ7の値を変え、比較的早い変化ができるようにする。
BL輝度レベル設定部8は、APL検出部3から出力されたAPL値もしくはYヒストグラム検出部2から出力されたヒストグラム情報などの映像特徴量、および図示しないメインCPUから出力されたOPC(Optical Picture Control;明るさセンサともいう)の値やユーザ設定値などを参照して、バックライトの発光輝度レベルの最大値を決定する。例えば、APLが高い場合にはバックライトの発光輝度レベルの最大値を低い値とすることで、眩しさを感じない映像とすることができる。このバックライトの発光輝度レベルの最大値が、アドバンスト輝度変調部20で実行されるアドバンスト輝度変調の参照用の発光輝度レベル(バックライト目標値)BLrefとなる。参照用の発光輝度レベルBLrefを決定するための映像特徴量としては、上述のようにAPLやヒストグラム情報を用いることができ、実施形態に応じて使用する特徴量が選択される。ヒストグラム情報には、映像のピーク値(最大輝度値)や、最大輝度より小さい所定輝度の間に含まれる映像信号の割合などが使用される。
なお、ディストーションモジュール5での選択が、BL輝度レベル設定部8で設定された参照用発光輝度レベルBLrefを超えない範囲で行われることから、BL輝度レベル設定部8では、参照用発光輝度レベルBLrefとしてバックライトの発光輝度レベルの最大値が設定されると説明している。また、図2の例では、第2のテンポラリフィルタ9を経由した参照用発光輝度レベルをBLrefとしている。
第2のテンポラリフィルタ9は、第1のテンポラリフィルタ7と同等の機能を持つフィルタである。概略を説明すると、APLが急激に変化し、且つその変化がディストーションモジュール5での選択に影響を与えないような場合に、第1のテンポラリフィルタ7から出力される発光輝度レベルBLreducedはその時間的変化が緩和されている。しかし、ゲイン設定はBL輝度レベル設定部8から出力された参照用発光輝度レベルを元に計算するため、ゲインが変化してしまい、液晶パネル上の表示輝度が急激に変化してしまう。このような表示輝度の急激な変化を無くす或いは緩和するために、第2のテンポラリフィルタ9を設けている。
可変ディレイ10は、映像出力部17での映像出力とBL調整部12でのバックライト調光とのタイミングを取るための遅延部である。バックライト調光は、調光値が決定すれば比較的少ない処理後、バックライト輝度制御が行われる。それに対して、映像信号はアドバンスト輝度変調で映像のゲインが決定し、映像信号の輝度レベルを変更した後もFRC部16でのフレームレート制御や、液晶制御回路でのパネル制御信号への変換など、多くの処理が行われるため、時間的な遅延が発生する。そうすると、本来同時におこなわれるべきバックライト調光制御と映像のゲイン制御のタイミングがずれてしまい、バックライトと映像のバランスが崩れてしまうことになる。そこで、可変ディレイ10によってバックライト調光をあえて遅らせ、バックライト調光制御と映像のゲイン制御のタイミングを合わせるものである。
コンフィグレーションデザイン部13は、BL輝度レベル設定部8で決定された参照用発光輝度レベルBLrefとディストーションモジュール5によって選択された発光輝度レベルBLreducedとに基づき、映像信号のゲインを決定する。なお、図2の例では各レベルBLreduced,BLrefがそれぞれテンポラリフィルタ7,9を通過したレベルを用いている。参照用発光輝度レベル(バックライト目標値)BLrefと選択された発光輝度レベル(バックライト値)BLreducedが同じであれば、映像信号の輝度レベルを変更する必要はなく、ゲインは1である。また、参照用発光輝度レベルよりも選択された発光輝度レベルが低い場合は、その値に応じて、映像信号の輝度レベルを上げる方向にゲイン設定を行う。
〈本発明に係る輝度変調処理を実行する主要ブロックの詳細説明〉
図2の液晶表示装置における主要ブロックとして、BL輝度レベル設定部8、シーンチェンジ検出部6、ディストーションモジュール5、コンフィグレーションデザイン部13、RGBγ/WB調整部15を、この順序で説明する。
《BL輝度レベル設定部8》
BL輝度レベル設定部8には、APL検出部3で検出された映像信号のAPLが入力されるとともに、周囲の明るさ(周囲の照度)を測定する図示しない明るさセンサの検出情報に基づく制御信号、及び液晶パネルの明るさを設定するユーザ設定に基づく制御信号が入力される。また、映像特徴量として、映像信号を仮に伸張したときに表現できない頻度、あるいは映像信号の最小輝度及び最大輝度などの情報を使用する場合には、Yヒストグラム検出部2から、映像信号の画面単位(フレーム単位)で必要とするこれら情報(ヒストグラム情報とする)が入力される。また、APLとヒストグラム情報の両方を使用する場合には、それぞれの情報がBL輝度レベル設定部8に入力される。
そして、BL輝度レベル設定部8ではこれらの制御信号とAPLとに基づいて、参照用発光輝度レベルBLrefを出力する。より具体的には、画面単位(フレーム単位)で変化する入力映像信号のAPLに応じて、バックライト輝度を動的に調整する方式を適用し、これにより得られた発光輝度レベルを参照用発光輝度レベルBLrefとして出力する。
参照用発光輝度レベルBLrefの生成には、BL輝度レベル設定部8に保持されている輝度制御テーブル(ルックアップテーブル)が用いられる。輝度制御テーブルは、入力映像信号の映像特徴量(ここではAPL)に応じたバックライトの発光輝度レベルの関係、すなわち輝度制御特性を定めるものである。そして予め選択可能な複数の輝度制御テーブルを用意し、BL輝度レベル設定部8が備えるROM(Read Only Memory)等のテーブル格納メモリに保持させておく。
液晶表示装置周囲の明るさを測定する明るさセンサには、例えばフォトダイオードが適用される。明るさセンサは、検出した周囲光に応じた直流電圧信号を生成し、図示しないメインCPUに出力する。メインCPUは、周囲光に応じた直流電圧信号に応じて輝度制御テーブルを選択する制御信号をBL輝度レベル設定部8に出力する。
さらに、メインCPUは、液晶パネルの明るさを設定するユーザ設定に基づく制御信号として、輝度制御テーブルの輝度制御値を調整するための輝度調整係数を出力する。輝度調整係数は、ユーザ操作に応じて画面全体の明るさ設定を行うために使用される。例えば、液晶表示装置が保持するメニュー画面には、画面の明るさ調整項目が設定されている。ユーザは、その設定項目を操作することによって、任意の画面明るさを設定することができる。メインCPUは、その明るさ設定を認識し、設定された明るさに従ってBL輝度レベル設定部8に輝度調整係数を出力する。
BL輝度レベル設定部8では、明るさセンサの検出情報に従ってメインCPUから出力された制御信号により、テーブルNoを指定して輝度制御テーブルを選択する。若しくは選択する輝度制御テーブルを演算によって生成するようにしてもよい。そして、選択した輝度制御テーブルの輝度変換値に対して、ユーザ設定に基づく制御信号として得た輝度調整係数を乗算し、輝度制御テーブルの輝度制御特性の傾きを変化させ、最終的に、参照用発光輝度レベルBLrefの生成に使用する輝度制御テーブルを決定する。そして、BL輝度レベル設定部8は、決定した輝度制御テーブルの輝度制御特性を使用し、APL検出部3から出力されたAPLに応じて参照用発光輝度レベルBLrefを生成して出力する。
輝度制御テーブルは、上述したように、入力映像信号の特徴量であるAPLとバックライトの発光輝度レベルとの関係を定めるものであって、例えば、APLが大きいときにはバックライトの発光輝度レベルが小さくなるように設定することで、高輝度の映像のときに眩しさを感じないようにバックライトの発光輝度を抑えるようにしている。輝度制御テーブルの輝度制御特性に従って、映像信号のAPLの変化に応じて発光輝度レベルBLrefが動的に変化する。輝度制御テーブルにおける輝度制御特性については特に限定されるものではなく、入力映像信号の特徴量に応じてバックライトの発光輝度レベルを動的に変化させる特性を規定するものを適宜適用することができる。
このようにしてBL輝度レベル設定部8から出力された参照用発光輝度レベルBLrefは、第1のテンポラリフィルタ7の作用で遅延された後、コンフィグレーションデザイン部13に入力し、映像ゲインの演算に使用されるとともに、ディストーションモジュール5に入力して、ヒストグラムに応じた発光輝度レベルBLreducedの決定に使用される。
《シーンチェンジ検出部6》
図3は映像信号のYヒストグラム及びその遷移を説明するための図で、図3(A)は前フレームのYヒストグラムの一例を示す図、図3(B)は図3(A)に続く現フレームのYヒストグラムの一例を示す図、図3(C)は、図3(A)と図3(B)に示す各フレームのヒストグラムを統合し、頻度変化部分を示した図である。図4は、図2の液晶表示装置におけるシーンチェンジ検出部6の構成例を示すブロック図である。
映像のシーンが変わった場合には、その映像の内容が大きく変わるのであるから、映像信号の輝度分布も大きく変わると考えられる。シーンチェンジ検出部6は、これを利用してシーンチェンジを検出するもので、具体的には、映像信号の1フレーム前のヒストグラムと現ヒストグラムの変化の程度からシーンチェンジの有無を検出する。
シーンチェンジ検出部6は、本発明のシーンチェンジ検出手段に相当し、ヒストグラムバッファ61とヒストグラム変化検出部62とを有する。ヒストグラムバッファ61は、1フレーム前のヒストグラムデータを記憶するものである。ヒストグラム変化検出部62は、現フレームと前フレームのヒストグラムデータを比較し、その頻度変化の累計値を算出し、特定の値よりも大きいときにシーンチェンジと判定するものである。ヒストグラム変化検出部62は、シーンチェンジと判定した場合には、そのフレーム間シーンチェンジ検出信号を第1のテンポラリフィルタ7とFRC部16に出力する。
具体例として前フレームの映像が図3(A)のようなヒストグラムであり、現フレームの映像が図3(B)のようなヒストグラムである場合を考える。この場合、ヒストグラムバッファ61には図3(A)のヒストグラムデータが記憶されている。ヒストグラム変化検出部62は、ヒストグラムバッファ61のデータと現フレームのヒストグラムデータを比較し、その頻度変化を検出する。図3(C)の斜線部分が頻度変化部分である。ヒストグラム変化検出部62では、この頻度変化部分の累積値、言い換えれば面積を算出し、予め設定された特定の値よりも大きい場合はシーン変化が発生したと判定する。そして、ヒストグラム変化検出部62は、シーン変化と判定されたフレームのみについて、シーンチェンジ検出信号を出力する。
《ディストーションモジュール5》
図5は、図2の液晶表示装置におけるディストーションモジュールで実行される発光輝度レベル選択処理の一例を説明するための図である。h1は映像信号のYヒストグラムを示している。ここで横軸は映像信号の入力階調(映像信号としてとりうる画素値、又は映像信号レベルともいう)を示し、縦軸は各映像信号レベルの頻度を示している。
このような映像のヒストグラムh1に対して、使用する液晶パネルにおいてバックライトの発光輝度レベルが100%の時に表示可能な映像輝度範囲をAとする。また、ターゲットCRの液晶パネルで表示可能な映像輝度範囲をBとする。また、ディストーションモジュール5で選択可能な発光輝度レベルのうち、ある特定の発光輝度レベルで表示可能な映像輝度範囲をCとする。そして、ヒストグラムh1において、映像輝度範囲Cの両側で映像輝度範囲Bと重なる部分が、上述の数値化を行う対象となる部分であり、評価値算出部分である。この評価値算出部分のうち、低輝度部分をD1、高輝度部分をD2とする。
評価値(Distortion)は、選択可能な発光輝度レベルに対して、頻度と重み付けによって下式(1)によって算出する。
Distortion=Σ{(映像輝度範囲D1+D2の頻度)×(距離重み)}・・・(1)
重みとしては、評価値算出対象となる発光輝度レベルで表示可能な映像輝度範囲Cから遠ざかる程大きくする距離重みを用いる。ここでは、低輝度部分D1の距離重みをE1、高輝度部分D2の距離重みをE2とする。従って、同じ頻度値であっても、表現できる範囲から遠いほうが、評価値は大きくなる。これは表現できる範囲から遠いほうが、映像として表現できない影響が大きいためである。頻度と重み付けによって算出した値はF1(低輝度部分)、F2(高輝度部分)である。評価値はF1とF2の面積(累計)を合計した値となる。
ディストーションモジュール5では、各発光輝度レベルに対して算出した評価値のうち、最も評価値が低い映像輝度範囲Cに対応する発光輝度レベルを、出力する発光輝度レベルBLreducedとして選択する。このとき、ディストーションモジュール5では、BL輝度レベル設定部8で設定され、第2のテンポラリフィルタ9によって緩和された発光輝度レベルBLrefを越えない範囲で、最も評価値が低い映像輝度範囲Cに対応する発光輝度レベルBLreducedを選択する。
このような評価値の算出は、ディストーションモジュール5で、選択可能な発光輝度レベルの全てについて行うことが理想である。しかし、処理時間等の制限があるため、選択可能な発光輝度レベルの輝度制御範囲を均等に分け、例えば10%程度毎の発光輝度レベルについて算出すればよい。
つまり、上式(1)の特定の発光輝度レベルで表示可能な映像輝度範囲をCとして、選択可能な発光輝度レベルを順次適用し、発光輝度レベルごとに評価値を算出する。そして算出した評価値の中から、最も低い評価値をもつ発光輝度レベルを、選択した発光輝度レベルBLreducedとし、この値を第1のテンポラリフィルタ7に出力してバックライトの調光制御に用いるとともに、コンフィグレーションデザイン部13に出力して映像ゲインの設定(算出)に用いる。
ディストーションモジュール5での選択処理を、図6〜図9を参照し具体的な数値で説明する。図6は、本発明に係る液晶表示装置における輝度変調処理の具体例を説明するための図で、映像ヒストグラムにおけるパネルCRとターゲットCRとの関係の一例を示す図である。ここでは、使用する液晶パネルのCR(パネルCR)が2000、ターゲットCRが3500、バックライトの輝度制御範囲が20〜100%で、バックライト輝度100%のときの液晶パネルの最大輝度は450cdとする。また、図6における各アルファベット記号は図5に準拠する。
この例において、使用する液晶パネルで表示可能な映像輝度範囲Aは、450cd〜0.225cdである。また、目標とする液晶パネルの表示可能な映像輝度範囲Bは、450cd〜0.128cdである。そして、各映像信号レベル0〜255に対する頻度を映像輝度範囲Bに合わせるように割り付ける。この場合、映像輝度範囲Aと映像輝度範囲Bとの差は5デジット程度である。
ヒストグラムh1において、映像輝度範囲Bと映像輝度範囲Aとの差の部分に映像があれば、バックライトの発光輝度レベルを下げることで、よりターゲットCRに近い輝度表現が可能になる。しかし、高輝度側にも映像が分布していると、バックライトの発光輝度レベルを下げることで表現できない部分が発生する。そこで、上述したように、評価値を算出して最適な発光輝度レベルBLreducedを求める。
図7は、選択対象の一つである発光輝度レベル100%のときの映像輝度範囲Cを示す図、図8は、選択対象の一つである発光輝度レベル70%程度のときの映像輝度範囲Cを示す図、図9は、選択対象の一つである発光輝度レベル50%程度のときの映像輝度範囲Cを示す図である。図7〜図9における各アルファベット記号は図5に準拠する。
図7で示したように、発光輝度レベルが100%を示すものである場合、低輝度部分の評価値F1には或る程度の値があり、高輝度部分の評価値F2には値がない。また、図8で示したように、発光輝度レベルを70%程度に下げた場合、低輝度部分の評価値F1及び高輝度部分の評価値F2ともに、低い値を持つ。また、図9で示したように、発光輝度レベルを50%程度に下げた場合、低輝度部分の評価値F1には値がなく、高輝度部分の評価値F2には大きな値を持つ。図7〜図9で例示した各発光輝度レベルでの評価値算出結果の面積(累積)を比較してみると、発光輝度レベルが70%のときが最も低い。従って、ディストーションモジュール5では発光輝度レベル70%を選択し、出力することになる。
《コンフィグレーションデザイン部13》
液晶パネルへ入力される画素値と液晶パネルでの表示輝度との関係を示す基本的なモデルは、下式(2)により示される。ここで、Yは液晶パネルでの表示輝度、BLはバックライトの発光輝度レベル(バックライトDUTY)、CV(Code Value)は液晶パネルへ入力される画素値である。また、この例では映像信号の階調は0〜255で量子化されているものとする。
Y=BL(CV/255)γ ・・・(2)
コンフィグレーションデザイン部13は、ディストーションモジュール5で選択された発光輝度レベルBLreducedによってバックライトの発光輝度が低下したときに、画面上の輝度を上げるように、映像ゲインを調整する。ゲインをかけた画素値をCVreduced とするとき、発光輝度レベルを低下させたときの画面の明るさ(液晶パネルでの表示輝度)は、BLreduced(CVreduced/255)γである。一方で、参照用発光輝度レベルBLrefでバックライトを制御したときの画面の明るさは、BLref(CVref/255)γとなる。これらの値を等しくさせ、発光輝度レベルBLreducedによって生じるバックライトの発光輝度の低下分を補償するように、画素値を決定すればよい。つまり、コンフィグレーションデザイン部13は、下式(3)を満たすようなゲイン設定を行えばよい。
Y=BLreduced(CVreduced/255)γ=BLref(CVref/255)γ・・・(3)
従って、ゲイン(Gとする)は、下式(4)のようになる。例えば、参照用発光輝度レベルBLrefが100%のときには、下式(5)のようになる。なお、BLrefとBLreducedとの関係をルックアップテーブルとしてコンフィグレーションデザイン部13のROMなどに格納しておき、下式(4)の演算処理を高速に実行させることが好ましい。
G=CVreduced/CVref=(BLref/BLreduced)1/γ・・・(4)
G=(1/BLreduced)1/γ ・・・(5)
図10は、図2の液晶表示装置におけるアドバンスト輝度変調部から出力されるゲイン設定信号に基づきRGBγ/WB調整部で設定される映像信号ゲインの例を示す図である。
図10を参照して、入力されるゲイン設定値(変換係数)とそこから得るゲインカーブの関係について説明する。図10(A)に示すように、アドバンスト輝度変調部20から出力される映像信号のゲイン設定が1.0の場合には全輝度について線形のゲインカーブで問題ない。しかし、ゲインが1.0以上の場合、図10(B)に示すように、高輝度部分が一律255の値となり、いわゆる白つぶれが発生する。アドバンスト輝度変調処理では、例えば、少数の白輝度部分の白つぶれを犠牲にして、黒部分をより引き締めるようにゲイン設定してもよいが、白つぶれを起こす階調範囲が広い場合においては、表示品位を大きく低下させることになってしまう。
そこで、低中輝度については、ゲイン設定に応じた信号伸張を行い、高輝度については、ゲインカーブを非線形にすることによって、高輝度部分の階調性の低下を軽減することが好ましい(白つぶれを防ぐこと)。この手法は明るさと白つぶれのトレードオフの関係になる。非線形とする領域を狭めれば、正規の明るさを表現できる領域が増えるが、高輝度の階調性が低下する。逆に、非線形とする領域を広めれば正規の明るさを表現できる領域が減るが、高輝度の階調性が或る程度保たれることになる。実際には非線形とする輝度は、ゲイン設定による出力の例えば90%以上の部分や95%以上の部分とするなどして、白つぶれの影響のある部分のみ非線形とすればよい。図10(C)には、ゲイン設定が1.2の場合に90%以上の部分を非線形にするように補正したゲインカーブを示している。また、図10(D)には、ゲイン設定が1.6の場合に90%以上の部分を非線形にするように補正したゲインカーブを示している。
また、上述のように、ゲイン設定が1.0を超えた場合に生じる高輝度部分の白つぶれを避けるためには、ゲインカーブの高階調領域を一部非線形にする必要がある。しかし、RGBγ/WB調整部15は、ゲイン設定に基づき単純に比例計算を行うため、このようなゲインカーブを算出ことができない。そのため、ゲイン設定ごとにゲインカーブをメモリに格納するようにしてもよいし、もしくは、ゲインカーブの線形部分はゲイン設定値から単純に比例計算し、図10(C),(D)に例示したように90%以上の部分については、補間等によって非線形部分を算出するようにしてもよい。なお、ゲイン設定はバックライトの輝度変化に応じて、フレームごとにゲインカーブが算出される場合もあれば、複数のフレーム単位で算出される場合もある。
図11は、本発明の液晶表示装置が備える動き補償型FRC部の構成例を示すブロック図である。このFRC部16は、大きく分けて、入力映像信号に含まれる2つの連続したフレーム間で動きベクトルを検出するベクトル検出部161と、検出した動きベクトルに基づいて内挿フレーム(内挿映像)を生成するフレーム生成部162とで構成される。なお、ベクトル検出部161は、動きベクトル検出に反復勾配法を用いた場合の例について示すが、この反復勾配法に限定されず、ブロックマッチング法などを用いてもよい。
ここで、反復勾配法の特徴は、動きベクトルの検出がブロック単位で可能であるため、数種類の動き量が検出でき、また、小領域の動物体でも動きベクトルを検出することができる。また、回路構成も他の方式(ブロックマッチング法など)と比較して小規模で実現することができる。この反復勾配法では、被検出ブロックに対して、すでに検出された近傍のブロックの動きベクトルを初期偏位ベクトルとして、これを起点として勾配法の演算を繰り返す方法が用いられる。この方法によれば、勾配法の繰り返しは2回程度でほぼ正確な動き量を得ることができる。
図11において、ベクトル検出部161は、入力映像信号(RGB信号)から輝度信号(Y信号)を抽出する輝度信号抽出部161aと、抽出したY信号にLPFを掛けて高域部の帯域を制限するための前処理フィルタ161bと、動き検出用フレームメモリ161cと、初期ベクトル候補を蓄積するための初期ベクトルメモリ161dと、反復勾配法を用いてフレーム間の動きベクトルを検出する動きベクトル検出部161eと、検出した動きベクトルに基づいてフレーム間に内挿ベクトルを割り付ける内挿ベクトル評価部161fとを備える。
なお、動きベクトル検出部11eは本発明の動きベクトル検出部に相当し、内挿ベクトル評価部11fは本発明の内挿ベクトル割付部に相当する。
上記反復勾配法の演算は画素の微分成分を用いているため、ノイズの影響を受け易く、また、検出ブロック内の勾配の変化量が多いと演算誤差が大きくなるため、前処理フィルタ161bにおいてLPFをかけて高域部の帯域を制限しておく。初期ベクトルメモリ161dには、初期ベクトル候補として、前々フレームで既に検出されている動きベクトル(初期ベクトル候補)を蓄積しておく。
動きベクトル検出部161eは、初期ベクトルメモリ161dに蓄積されている初期ベクトル候補の中から被検出ブロックの動きベクトルに最も近い動きベクトルを初期ベクトルとして選択する。すなわち、被検出ブロック近傍のブロックにおける既検出動きベクトル(初期ベクトル候補)の中からブロックマッチング法により初期ベクトルを選択する。そして、動きベクトル検出部161eは、選択した初期ベクトルを起点として、勾配法演算によって前フレームと現フレーム間の動きベクトルを検出する。
内挿ベクトル評価部161fは、動きベクトル検出部161eにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、フレーム生成部162に出力する。
フレーム生成部162は、2つの入力フレーム(前フレーム、現フレーム)を蓄積するための内挿用フレームメモリ162aと、内挿用フレームメモリ162aからの2つの入力フレームと内挿ベクトル評価部161fからの内挿ベクトルとに基づいて内挿フレームを生成する内挿フレーム生成部162bと、入力フレーム(前フレーム、現フレーム)を蓄積するためのタイムベース変換用フレームメモリ162cと、タイムベース変換用フレームメモリ162cからの入力フレームに内挿フレーム生成部162bからの内挿フレームを挿入するタイムベース変換部162dと、を備えて構成される。
なお、内挿フレーム生成部162bは本発明の内挿映像生成部に相当し、タイムベース変換部162dは本発明の映像内挿部に相当する。
図12は、フレーム生成部162による内挿フレーム生成処理の一例を説明するための図である。内挿フレーム生成部162bは、内挿ブロックに割り付けられた内挿ベクトルVを前フレーム、現フレームに伸ばして、各フレームとの交点近傍の画素を用いて内挿ブロック内の各画素を補間する。例えば、前フレームでは近傍3点よりA点の輝度を算出する。現フレームでは近傍3点よりB点の輝度を算出する。内挿フレームではP点の輝度をA点とB点の輝度から補間する。P点の輝度は、例えばA点の輝度とB点の輝度の平均としてもよい。
上記のようにして生成された内挿フレームは、タイムベース変換部162dに送られる。タイムベース変換部162dは、前フレーム、現フレームの間に、内挿フレームを挟み込んで、フレームレートを変換する処理を行う。このように、FRC部16により、入力映像信号(60フレーム/秒)を、動き補償された出力映像信号(120フレーム/秒)へ変換でき、これを表示パネルに出力することにより、動きぼけを低減して動画質を改善することが可能となる。なお、ここでは、60フレーム/秒の入力映像信号を、120フレーム/秒の出力映像信号にフレームレート変換する場合について説明するが、例えば90フレーム/秒、180フレーム/秒の出力映像信号を得る場合に適用しても良いことは言うまでもない。
本発明に係る映像表示装置の主たる特徴部分は、動き補償型のFRC処理を行う際に、シーンチェンジを精度良く判定し、適切なFRC処理を行えるようにすることである。このための構成として、入力映像信号のヒストグラムに基づいてシーンチェンジか否かを検出するシーンチェンジ検出手段に相当するシーンチェンジ検出部6と、入力映像信号のフレーム間に、動き補償処理を施した映像信号を内挿することにより、入力映像信号のフレーム数を変換して表示パネル(図示せず)へ出力するレート変換手段に相当するFRC部16とを備える。FRC部16は、シーンチェンジ検出部6によりシーンチェンジが検出された場合に、動きベクトルを初期化する。
図11において、シーンチェンジ検出部6からシーンチェンジ検出信号が出力され、FRC部16に入力された場合、動きベクトル検出部161eが動きベクトルを初期化、すなわち、初期ベクトルメモリ161dに蓄積されている初期ベクトル候補を初期化する。初期ベクトルメモリ161dには初期ベクトル候補として、前々フレームで既に検出されている動きベクトルが蓄積されているが、動きベクトル検出部161eによる動きベクトルの初期化に伴い、これらの初期ベクトル候補がリセットされ、シーンチェンジ後のフレーム間で動きベクトルを検出して初期ベクトル候補を初期ベクトルメモリ161dに蓄積し直す。
図13は、字幕が有る場合のアドバンスト輝度変調後のヒストグラムとAPLの変化例について説明するための図である。また、図14は、字幕が無い場合のアドバンスト輝度変調後のヒストグラムとAPLの変化例について説明するための図である。図中、30は映像フレーム、31は字幕、32は映像フレーム30のヒストグラム、33は字幕31のヒストグラム、34は輝度変調処理後のヒストグラムを示す。ここでは、字幕有りの映像と字幕無しの同じような映像とが連続して入力された場合について説明する。
図13(A)に示す映像フレーム30は字幕31を含んでおり、図13(B)に示すようなヒストグラムがシーンチェンジ検出部6に入力される。なお、このときのAPLは27%とする。この映像フレーム30に対して、アドバンスト輝度変調処理を行った場合、映像フレーム30は字幕31の白ピークを含み、その映像信号は0から255の値を持つために、輝度変調処理後の映像信号は図13(C)に示すように0から255の値でゲインを変化させることはない。この場合APLも当然変化せず27%となる。
一方、次のフレームとして、図14(A)に示す映像フレーム30が入力された場合、この映像フレーム30は字幕を含まないため、図14(B)に示すようなヒストグラムがシーンチェンジ検出部6に入力される。なお、このときのAPLは25%とする。この映像フレーム30に対して、アドバンスト輝度変調処理を行った場合、映像フレーム30は字幕等の白ピークがない暗い映像であるため、図14(C)に示すように、輝度変調処理によりゲインを変化させダイナミックレンジ(例えば、0〜255)をフルに使用するように制御される。この場合APLは大きく変化して50%となる。
上記の図13及び図14の例において、APLの変化に基づいて動きベクトルを初期化する従来例の場合、輝度変調処理後のAPLが図13(C)の27%から図14(C)の50%に変化しているため、同じようなシーンであるにも係らず、FRC部16ではシーンチェンジと判定してしまい、動きベクトルを初期化していた。
すなわち、輝度変調処理と共に、FRC処理を行う構成とした場合、同じようなシーンであっても、白ピークの有無によりAPLが大きく変化してしまうため、液晶表示装置はこのAPLの変化に基づいてシーンチェンジ有りと判定し、FRC処理時に動きベクトルを初期化してしまっていた。
これに対して、ヒストグラムの変化に基づいて動きベクトルを初期化する本発明の場合、シーンチェンジ検出部6に入力されるヒストグラムが図13(B)から図14(B)に変化するため、ヒストグラムの変化量は図14(B)の斜線で示す部分(すなわち、字幕31のヒストグラム33)に相当することになる。このヒストグラムの変化量は所定値よりも小さいため、シーンチェンジ検出部6はシーンチェンジと判定せず、シーンチェンジ検出信号を出力しない。このため、FRC部16が動きベクトルを不必要に初期化することはない。
図15は、映像におけるAPLとヒストグラムとの関係の一例を示す図である。また、図16は、映像におけるAPLとヒストグラムとの関係の他の例を示す図である。図中、40は一般風景の映像フレーム、41は映像フレーム40のヒストグラム、50は白黒ブロックの映像フレーム50、51は映像フレーム50のヒストグラムを示す。ここでは、APLが同じで且つシーンが変化した映像が連続して入力された場合について説明する。
シーンチェンジを検出する手段として、APLを用いた場合、図15(A)の一般風景から図16(A)の白黒ブロックのように、シーンが変化しても、たまたまAPLが同一(本例では50%)であると、液晶表示装置ではシーンチェンジがなかったものと判定してしまい、動きベクトルを初期化せず、画質を劣化させていた。
これに対して、ヒストグラムの変化に基づいて動きベクトルを初期化する本発明の場合、シーンチェンジ検出部6に入力されるヒストグラムが図15(B)から図16(B)に変化するため、ヒストグラムの変化量は図16(B)の斜線で示す部分に相当することになる。このヒストグラムの変化量は所定値よりも大きいため、シーンチェンジ検出部6はシーンチェンジと判定し、シーンチェンジ検出信号を出力する。このため、FRC部16が動きベクトルを適切に初期化することができる。
なお、上記の所定値は、予め様々なコンテンツのヒストグラムの変化量に対して、FRC処理を初期化するか否かに応じた画質の劣化具合を分析することにより決定すればよい。すなわち、シーンチェンジと判定せずにFRC処理を継続させるよりも、シーンチェンジと判定してFRC処理を初期化させたほうが画質の劣化が小さくなるように所定値を決定すればよい。
上記より、ヒストグラムによるシーンチェンジ検出は、APLの場合よりも精度が高いことがわかる。図15及び図16に示した例のように、APLではシーン変化をうまく検出できない場合であっても、ヒストグラムによりシーン変化を精度良く検出することができる。
ここで、アドバンスト輝度変調処理を行うためには映像内の輝度分布を知る必要があり、このため最も合理的と考えられるヒストグラムが用いられている。そして、ヒストグラムの2次的な利用として、シーンチェンジの検出に用いることができ、さらに、FRC処理時に動きベクトルの初期化を行うか否かの判定基準として用いることができる。
このように、動き補償型のFRC処理を行う際に、入力映像信号のヒストグラムに基づいてシーンチェンジを精度良く判定することができるため、適切なFRC処理を行うことができる。
1…スケーリング部、2…Yヒストグラム検出部、3…APL検出部、4…ヒストグラムストレッチング部、5…ディストーションモジュール、6…シーンチェンジ検出部、7…第1のテンポラリフィルタ、8…BL輝度レベル設定部、9…第2のテンポラリフィルタ、10…可変ディレイ、11…CPU/CPLD、12…BL調整部、13…コンフィグレーションデザイン部、14…画質補正部、15…RGBγ/WB調整部、16…FRC部、17…映像出力部、20…アドバンスト輝度変調部、161…ヒストグラムバッファ、162…ヒストグラム変化検出部、161…ベクトル検出部、161a…輝度信号抽出部、161b…前処理フィルタ、161c…動き検出用フレームメモリ、161d…初期ベクトルメモリ、161e…動きベクトル検出部、161f…内挿ベクトル評価部、162…フレーム生成部、162a…内挿用フレームメモリ、162b…内挿フレーム生成部、162c…タイムベース変換用フレームメモリ、162d…タイムベース変換部。