(実施形態1)
図1は、本発明に係る映像表示装置の一実施形態を説明するための図で、映像表示装置の要部の構成例を示すものである。映像表示装置は、入力映像信号に画像処理を施して映像表示する構成を有するもので、テレビ受信装置等に適用することができる。
図1で例示する映像表示装置は、信号処理部1、エリアアクティブ制御・輝度ストレッチ部5、バックライト制御部6、バックライト部7、表示制御部8、および入力映像信号を表示する表示部9を備える。ここで、信号処理部1は、発光検出部2、マッピング部3、および色判定部4を備える。なお、本発明の上記制御部の例としては、バックライト部7と表示部9を制御するものであり、信号処理部1、エリアアクティブ制御・輝度ストレッチ部5、バックライト制御部6、および表示制御部8が該当する。
放送信号から分離した映像信号や外部機器から入力した映像信号は、信号処理部1およびエリアアクティブ制御・輝度ストレッチ部5に入力する。このとき、エリアアクティブ制御・輝度ストレッチ部5への映像信号は、信号処理部1のマッピング部3で生成されたトーンマッピングを適用後、エリアアクティブ制御・輝度ストレッチ部5に入力する。ここで、トーンマッピングの適用は、本発明の映像信号の入力階調と出力階調を変換するための所定の入出力カーブによる画素の階調値の変換に該当する。
エリアアクティブ制御・輝度ストレッチ部5は、入力された映像信号に従って、映像信号による画像を所定領域に分割し、分割領域ごとに映像信号の最大階調値を抽出する。そしてその抽出した値に基づきバックライト部7の点灯率を計算する。点灯率は、映像の分割領域に対応したバックライト部7の領域ごとに定められるもので、ここで言う点灯率とは後述するように実際にはストレッチ処理により変更されるため、仮の値であると言える。
また、バックライト部7は、表示部9を照明するための光源の一例であり、複数のLEDにより構成され、領域ごとに輝度の制御が可能となっている。バックライト部7の領域ごとの点灯率は、予め定められた演算式に基づき決定されるが、基本的に高階調の明るい最大階調値を有する領域では、LEDの輝度を低下させることなく維持し、低階調の暗い最大階調値を有する領域においてLEDの輝度を低下させるような演算を行う。なお、最大階調値の代わりに平均階調値など、入力映像信号の明るさに関連する他の特徴量から点灯率を計算してもよく、平均階調値から計算する場合には、明るい、暗い最大階調値を有する領域の代わりに、それぞれ平均階調値が明るい領域、暗い領域を適用するなどすればよい。
そして、エリアアクティブ制御・輝度ストレッチ部5は、各領域の点灯率からバックライト部7の全体の平均点灯率を計算し、その平均点灯率に応じて、所定の演算式により、バックライト部7の最大発光輝度のストレッチ量(以下、「輝度ストレッチ量」という。)を計算する。平均点灯率は、本発明における明るさに関連する指標の一例である。バックライト部7の最大発光輝度(LEDの最大発光輝度)をこの輝度ストレッチ量だけストレッチすることで、画面内の全領域で取り得る最大の画面輝度を、基準輝度から所定量だけストレッチすることができる。このストレッチする元となる基準輝度は、例えば最大階調値のときに画面輝度が550(cd/m2)となるような輝度である。この基準の輝度は、この例に限ることなく適宜定めることができる。
以下、画面内の全領域で取り得る、最大階調値のときのストレッチ後の最大の画面輝度を、「Max輝度」と呼ぶ。上述のように輝度ストレッチ量は平均点灯率により決まる値であり、Max輝度は輝度ストレッチ量により決まる値であるため、図2の制御カーブで例示するように、Max輝度は平均点灯率に応じて決まる値と言える。なお、図2は、エリアアクティブ制御・輝度ストレッチ部5における処理例を説明するための図であり、バックライト部7の平均点灯率(ウィンドウサイズ)に対するMax輝度(cd/m2)の関係を示す制御カーブの一例を示しており、入力映像信号が標準的な番組の場合における制御カーブである。
なお、図2の制御カーブでは、平均点灯率が小さな範囲において、Max輝度が基準輝度(この例では550cd/m2)より小さくなっており、輝度ストレッチ量がマイナスとなっていることを指している。この例のように、平均点灯率によっては輝度ストレッチ量がマイナスとなる場面があったとしても、図2のMax輝度の制御カーブを全ての平均点灯率に亘って積分した積分値は、基準輝度を全ての平均点灯率に亘って積分した積分値より大きいことから、全体的に見れば最大発光輝度や最大画面輝度(つまり最大表示輝度)が「ストレッチ」により増強されていると言える。
エリアアクティブ制御・輝度ストレッチ部5は、平均点灯率に応じて計算した輝度ストレッチ量だけ最大発光輝度がストレッチするように、上記した領域ごとの点灯率(仮の点灯率)を変更する。このような、分割領域ごとの点灯率の計算および平均点灯率に応じた点灯率の変更(ストレッチ後の点灯率の計算)を含む一連の分割領域ごとの点灯率の制御をエリアアクティブ制御と呼ぶ。このように、入力映像信号による画像を複数の領域に分割し、その分割領域の映像信号の階調値に基づいて、その分割領域に対応する光源の領域の点灯率を変化させ、光源の全ての領域について光源の領域の点灯率を平均した平均点灯率を求め、その平均点灯率に予め関係付けられた表示部9の画面上で取り得る最大表示輝度(Max輝度)に基づいて、光源の輝度をストレッチすることが好ましい。
さらに、エリアアクティブ制御・輝度ストレッチ部5は、平均点灯率に応じて決まるMax輝度を、フィードバックのために信号処理部1のマッピング部3に出力する。
信号処理部1の発光検出部2では、入力映像信号の明るさに関連する所定の特徴量に基づくフレームごとのヒストグラムを生成し、発光している部分を検出する。発光している部分は、ヒストグラムの平均値と標準偏差とにより求められるもので、ヒストグラムごとの相対的な値として検出される。このように、発光検出部2は、入力映像信号の明るさに関連する所定の特徴量に対して、画素数を積算したヒストグラムを生成し、そのヒストグラムの所定範囲の上位領域を発光部分として検出する。
入力映像信号のN+1番目のフレームfN+1について説明すると、マッピング部3は、発光検出部2でフレームfN+1について検出された発光部分の情報と、エリアアクティブ制御・輝度ストレッチ部5から出力されたN番目のフレームfNのMax輝度とを使用して、フレームfN+1用のトーンマッピングを生成し、入力映像信号のフレームfN+1に適用するために乗算器に出力する。このトーンマッピングは、フレームfN+1における発光していないとみなす部分(非発光部分)に対して、バックライト部7の輝度ストレッチ分に相当する輝度を低下させるように生成される。この乗算器は、トーンマッピングを入力映像信号に適用するためのものであり、フレームfN+1の映像信号の各画素値に対し、フレームfN+1用のトーンマッピングが示すゲイン係数を乗算して、エリアアクティブ制御・輝度ストレッチ部5に出力する。
また、エリアアクティブ制御・輝度ストレッチ部5は、バックライト部7を制御するための制御データをバックライト制御部6に出力し、バックライト制御部6は、そのデータに基づいてバックライト部7のLEDの発光輝度を分割領域ごとに制御する。この制御データは、上記した領域ごとのストレッチ後の点灯率になるように、バックライト部7を制御するデータである。入力映像信号のフレームfN+1を表示させる際のバックライト部7への制御データは、フレームfNのMax輝度をフィードバックして得たトーンマッピングを適用したフレームfN+1の映像信号について、バックライト部7の領域ごとの点灯率を上記予め定められた演算式に基づき計算した後、ストレッチにより変更することで、得ることができる。バックライト部7のLEDの輝度は、PWM(Pulse Width Modulation)制御で行われるが、電流制御もしくはこれらの組み合わせによって所望の値となるように制御することもできる。
さらに、エリアアクティブ制御・輝度ストレッチ部5は、表示部9を制御するための表示制御データを表示制御部8に出力し、表示制御部8は、その表示制御データに基づいて表示部9の表示を制御する。入力映像信号のフレームfN+1を表示させる際の表示制御データは、フレームfNのMax輝度をフィードバックして得たトーンマッピングをフレームfN+1に適用した後の映像信号について、その映像信号が示す映像を表示するように、表示部9を制御するデータである。表示部9は、バックライト部7のLEDにより照明されて画像を表示する液晶パネルが用いられる。
このように、実施形態1におけるエリアアクティブ制御・輝度ストレッチ部5では、平均点灯率に応じてバックライト輝度をストレッチしてバックライト部7のLEDの輝度を増大させ、この輝度ストレッチの情報(上記のMax輝度)を信号処理部1に戻して、映像信号に対してバックライト部7の輝度ストレッチ分に相当する輝度を低下させる。そして、輝度ストレッチはバックライト部7の全体に与えられ、映像信号処理による輝度低下は、後述するように、通常は、所定の色を除き、発光部分を除く発光していないとみなす部分(非発光部分)に対して行われる。
つまり、エリアアクティブ制御・輝度ストレッチ部5では、バックライト輝度をストレッチしてバックライト部7のLEDの輝度を増大させ、入力映像信号のうち非発光部分の映像信号の輝度を低下させる、といった処理により発光部分の表示輝度をエンハンスする(以下、「発光部分エンハンス処理」という。)。このような映像信号処理とバックライトの輝度制御処理とによって、発光している部分のみの画面輝度を増大させ、高いコントラストで映像表現を行うことができ、画質を向上させることができる。
入力映像信号のうち非発光部分の映像信号の輝度を低下させる処理としては、非発光部分に対してバックライト部7の輝度ストレッチ分に相当する輝度を低下させることが、非発光部分の画面輝度をある程度保つ上で好ましい。すなわち、エリアアクティブ制御・輝度ストレッチ部5は、非発光部分(つまり、所定の特徴量が低い所定領域)において、光源の輝度のストレッチによる表示部9の表示輝度の増加分を、入力映像信号の輝度の低下により低減させることが好ましい。
本発明の主たる目的は、映像信号から映像の発光している部分を検出し、光源の輝度をストレッチして増大させ、発光部分を除く非発光部分の映像信号の輝度を低下させることにより、発光部分の表示輝度をエンハンスして際立たせて表示させる際に、所定の色に基づいてエンハンスする表示輝度を変えることで、輝き感を増加させかつコントラストを高くしつつ高品位な映像表現を可能とすることにある。このための構成として、映像表示装置は、入力映像信号の色を判定する色判定部4を備え、入力映像信号の色にしたがって、マッピング部によってトーンマッピングを適用する際の、映像信号の入力階調と出力階調を変換するための入出力カーブを切換えている。これにより、画面上で発光した部分をより際立たせたエンハンス処理が過度に行われることを防止するとともに、特定の色について違和感のない明るさの映像を表示させている。
以上のような映像表示装置をテレビ受信装置として構成する場合、テレビ受信装置は、アンテナで受信した放送信号を選局して復調し、復号して再生用映像信号を生成する手段を有し、再生用映像信号に適宜所定の画像処理を施して、図1の入力映像信号として入力させる。これにより、受信した放送信号を表示部9に表示させることができる。本発明は、映像表示装置、およびその映像表示装置を備えるテレビ受信装置として構成することができる。
以下に上記の構成を有する本実施形態の各部の処理例をより具体的に説明する。
図3は、エリアアクティブ制御・輝度ストレッチ部5における平均点灯率の算出処理例を説明するための図であり、図4は、図3のバックライトの平均点灯率と画素の階調値を説明するための図である。
本発明の実施形態に適用されるエリアアクティブ制御は、映像を所定の複数の領域(エリア)に分割し、その分割した領域に対応するLEDの発光輝度を領域ごとに制御するものである。ここでは、エリアアクティブ制御・輝度ストレッチ部5が、入力映像信号に基づいて、1フレームの映像を予め定められた複数の領域(上記のエリア)に分割し、その分割した領域に対応するLEDの発光輝度をその分割領域ごとに制御する。
まず、エリアアクティブ制御・輝度ストレッチ部5は、図3(A)に例示するような映像について、図3(B)に示すように全画面の映像領域を一例として縦方向に12分割、横方向に12分割してなる144個の領域に分割する。また、バックライト部7として各領域につき少なくとも1つのLEDが配設されているものとする。
そして、エリアアクティブ制御・輝度ストレッチ部5は、各領域について、映像信号の最大階調値を抽出し、抽出した最大階調値に応じて領域ごとのLEDの仮の点灯率を決定する。上述したように、最大階調値の代わりに、映像信号の階調平均値などの他の明るさに関する特徴量を用いてもよい。この特徴量としては統計値が用いられる。以下、最大階調値を抽出した例により説明する。図3(B)では、各領域について、LEDの点灯率をグレイスケールで図示しており、例えば図3(A)の映像のうち花火があるような階調が高く明るい部分では図3(B)で点灯率を上げて明るくなるようにしている。このときの処理を更に具体的に説明する。
1フレームの各分割領域から最大階調値を抽出したときの様子およびその最大階調値に対応した点灯率の一例を図3(C)に示す。また、図3(D)に各領域の点灯率と画面全体の平均点灯率とを示す。図3(C),(D)では、説明を簡単にするため、1フレームの画面を8つの領域(エリアNo.1〜8)に分割した例を挙げるが、図3(B)のようにより多くの領域に分割して処理することもでき、最大ではバックライト部7に設けたLEDの数と同じ数の領域に分割して処理できる。
まず、エリアNo.1〜8の領域のそれぞれについて、領域内の最大階調値からその領域のバックライトの仮のLEDの点灯率を計算する。仮の点灯率は、例えばLEDの駆動duty(以下、「LED duty」という。)によって示すことができる。この場合、点灯率の最大値は100%である。なお、上述したように、LEDの輝度はPWMおよび/または電流制御によって所望の値となるように制御されるが、以下の説明では、説明の簡略化のためにPWM制御のみを採用した例を挙げている。ただし、特に触れないが、輝度ストレッチにより最終的なLED dutyが100%を超えてしまうような場合には電流制御を併用して電流値を上げることにより所定の輝度を得るようにすればよい。
各領域のLEDの仮の点灯率の決定においては、最大階調値が低く暗い領域については、点灯率を下げてバックライトの輝度を低下させる。各領域の実際の点灯率は、表示したい階調を正確に表示し、かつLED dutyをできるだけ低くするように決定する。各領域においてLED dutyをできるだけ低くしたいが、表示したい階調をつぶしたりせずに正確に表示する必要があるため、領域内の最大階調が表示でき、なおかつできるだけLED dutyを低くするようなLED duty(仮の点灯率)を設定し、それをもとに表示部9(ここではLCDパネル)の階調を設定する。
一例として、映像の階調値が0−255の8ビットデータで表現される場合で、かつ、図3(C)のうちの1つのエリア内の複数の画素の階調値が図4(A)で示される場合について説明する。図4(A)で示す画素群では、最大階調値が128であり、この場合には、図4(B)で示すように、そのエリアでのバックライトの点灯率を(1/(255/128))2.2=0.217倍(21.7%)に低下させる。そして、エリアアクティブ制御・輝度ストレッチ部5は、このように仮の点灯率を決めるとともに、表示部9における画素ごとの階調値を、その画素が含まれる領域についての仮の点灯率を考慮して計算すればよい。例えば、表示したい階調値が96の場合、96/(128/255)=192であるため、階調値192を用いて画素を表現すればよい。同様にして、図4(A)の各画素に対して表示させる際の階調値を計算した結果を、図4(C)に示す。
なお、本発明では、仮の点灯率から求めた平均点灯率に基づき輝度ストレッチを行うため、実際の点灯率は上述の場合に21.7%のままではないが、その輝度ストレッチ分(正しくは前フレームでの輝度ストレッチ分)をマッピング部3によるトーンマッピングで既に反映させ、その結果が上記表示したい階調値(「96」で例示)である。よって、表示制御部8は、図4(A)で示す画素群については、図4(C)で示す階調値の表示制御データで、表示部9を表示制御すればよい。
図3(C)の例では、グレイスケールで示した各領域の最大階調値に対して、パーセンテージで示したようにバックライトの点灯率が10〜90%の範囲で決定されている。なお、図3(C)のパーセンテージをエリア別に並べたグラフが図3(D)である。この点灯率計算方法はその一例を示すものであるが、基本的には明るい高階調の領域はバックライト輝度を下げることなく、低階調の暗い領域についてバックライトの輝度を低下させるように予め定めた演算式に従って各領域の仮の点灯率を計算する。
次に、エリアアクティブ制御・輝度ストレッチ部5は、映像信号の最大階調値から計算した領域ごとのバックライトの仮の点灯率を平均して、1フレームにおけるバックライト部7の平均点灯率を計算する。計算された画面全体の平均点灯率は、各領域において点灯率が高い領域が多くなれば当然高くなる。この例では、平均点灯率は、図3(D)に実線で示したようなレベルとなり、実際の値は約53%となる。
実際のバックライト部7の輝度は、平均点灯率に応じて決まる、出し得る最大発光輝度の値(上記したMax輝度に対応する最大発光輝度)に基づいて、つまり上記の輝度ストレッチ量に基づいて、各領域の仮の点灯率をストレッチすることで増強される。
このMax輝度は、取り得る画面輝度の最大値であり、例えば図2のような関係に基づき決定される。図2の制御カーブにおける横軸は、バックライトの平均点灯率(ウィンドウサイズ)であるが、この平均点灯率は、点灯率100%の点灯領域(ウィンドウ領域)と点灯率0%の消灯領域との比として表すことができる。点灯領域がない状態では平均点灯率はゼロであり、点灯領域のウィンドウが大きくなるに従って平均点灯率は増大し、全点灯では平均点灯率は100%になる。
図2では、バックライトが全点灯(平均点灯率100%)のときのMax輝度を例えば、550(cd/m2)とし、これをストレッチ前の基準輝度とする。そして本実施形態では、平均点灯率が100%から下がっていくに従って、Max輝度を増大させる。なお、8ビット表現の場合、階調値が255階調の画素が画面内で最も画面輝度が高くなり、取り得る最大の画面輝度(Max輝度)になる。このことから、同じ平均点灯率であっても、画素の階調値によってはMax輝度まで画面輝度が上がらないことがわかる。
図2は、入力映像信号が標準的な番組(以下、「標準モード」という。)の場合における制御カーブを示しており、平均点灯率がPのときに、Max輝度の値は最も大きくなり、このときの最大の画面輝度は1500(cd/m2)となる。つまりPのときには、取り得る最大の画面輝度は、全点灯時の550(cd/m2)に比較して1500(cd/m2)までストレッチされることになる。Pは、比較的平均点灯率が低い位置に設定されている。つまり全体に暗い画面で平均点灯率が低く、かつ一部に高階調のピークがあるような画面のときに、最高で1500(cd/m2)になるまでバックライトの輝度がストレッチされる。したがって、図2は、本発明における明るさに関する指標と光源の輝度をストレッチさせるストレッチ量との関係を定める制御カーブの一例である。
また、高い平均点灯率のときほど、バックライトの輝度のストレッチの程度が小さい理由としては、もともと明るい画面ではバックライトの輝度を過度に行うと却って眩しく感じることがあるため、ストレッチの程度を抑えるようにするためである。
また、平均点灯率が低い範囲は、暗い画面の映像に相当するものであり、バックライトの輝度をストレッチして画面輝度を上げるよりも、逆にバックライトの輝度を抑えてコントラストを向上させ、黒浮きを抑えて表示品位を保つことが好ましい。よって、図2の例では、このような低平均点灯率における黒浮き抑制のための設定を採用し、平均点灯率Pから平均点灯率0(全黒)まではMax輝度の値を徐々に低下させている。
エリアアクティブ制御・輝度ストレッチ部5は、図2の制御カーブに従って、バックライトの輝度をストレッチし、その制御信号をバックライト制御部6に出力する。ここでは上記のように映像の分割領域ごとに検出される最大階調値に応じて平均点灯率が変化し、その平均点灯率に応じて輝度ストレッチの状態が変化する。
エリアアクティブ制御・輝度ストレッチ部5に入力する映像信号は、以下に説明する信号処理部1による信号処理により所定の色に基づいて生成されたトーンマッピングが適用される。より具体的には、映像信号に含まれる記憶色として物体色である肌色と草木の緑、または発光色である青空の各記憶色が存在するかどうか判定され、物体色である肌色または草木の緑に該当する各色の画素については、発光部分であってもエンハンスせずにゲインダウンされ、また、発光色である青空に該当する色の画素については、非発光部分であってもエンハンスされる。なお、記憶色に該当しない色の画素については、低階調領域がゲインダウンされる。
これにより、記憶色でない画像部分は、低階調の非発光領域ではバックライトの輝度がストレッチされた分、映像信号のゲインダウンによって輝度が低減され、結果として発光している領域のみで画面輝度がエンハンスされ、輝き感が増すようになる。また、記憶色であっても、物体色に該当する画像部分についてはエンハンスされず、さらに、発光色に該当する映像部分については非発光部分であってもエンハンスされるため、違和感のない高品質な画像が得られる。
エリアアクティブ制御・輝度ストレッチ部5は、図2の制御カーブに従ってバックライトの平均点灯率から求めたMax輝度の値を、信号処理部1のマッピング部3に出力する。そして、マッピング部3は、エリアアクティブ制御・輝度ストレッチ部5から出力されたMax輝度と色判定部4からの画素の色情報を使用してトーンマッピングを行う。
次に、信号処理部1について説明する。
信号処理部1の発光検出部2では、映像信号から発光している部分を検出する。図5は、入力映像信号の輝度信号Yから生成したYヒストグラムの例を示す図である。発光検出部2では、入力した映像信号のフレームごとに、輝度階調ごとの画素数を積算してYヒストグラムを生成する。横軸は輝度Yの階調値で、縦軸は階調値ごとに積算した画素数(頻度)を示している。ここでは、輝度Yについて発光部分を検出するものとする。輝度Yは、発光部分を検出するためのヒストグラムを作成する映像の特徴量の一例であり、特徴量の他の例については後述する。
Yヒストグラムが生成されると、そのYヒストグラムから平均値(Ave)、標準偏差(σ)を計算し、これらを用いて2つの閾値Thを計算する。
第2の閾値Th2は、発光境界を定めるものであり、Yヒストグラムにおいてこの閾値Th2以上の画素は、発光している部分であるものとみなして処理を行う。第2の閾値Th2は、Nを所定の定数、σを標準偏差として、下式(1)で表すことができる。つまり、発光検出部2では、下式(1)のTh2以上の画素を発光部分として検出する。
Th2 = Ave+Nσ ・・・式(1)
また、第1の閾値Th1は、Th2より小さい領域の階調性などの違和感を抑えるために設定されるもので、MをM<Nを満たす所定の定数として、下式(2)で表すことができる。
Th1 = Ave+Mσ ・・・式(2)
発光検出部2が検出した第1および第2の閾値Th1,Th2の値は、マッピング部3に出力され、トーンマッピングの生成に使用される。
図6は、マッピング部3が生成するトーンマッピングの一例を示す図であり、入力映像信号に、記憶色として物体色である肌色と草木の緑に該当する色、または、発光色である青空に該当する色の画素が含まれていない場合の例を示している。図6において、横軸は映像の輝度値の入力階調で、縦軸は出力階調である。発光検出部2で検出された第2の閾値Th2以上の画素については、映像の中で発光している部分であり、発光している部分を除いて圧縮ゲインを適用してゲインダウンする。このときに、発光境界であるTh2より小さい領域に一律に一定の圧縮ゲインを適用して出力階調を抑えると、階調性に違和感が生じる。従って、発光検出部2にて第1の閾値Th1を設定して、Th1より小さい領域に対して第1のゲインG1を適用し、Th1とTh2の間を線形で結ぶように第2のゲインG2を設定してトーンマッピングを行う。
ゲインの設定方法について説明する。
マッピング部3には、エリアアクティブ制御・輝度ストレッチ部5からMax輝度の値が入力される。Max輝度は、上述したように、バックライトの平均点灯率から定められる最大画面輝度を示すもので、例えばそれに対応する、最大発光輝度を示すバックライトデューティ(LED duty)の値を入力することができる。
第1のゲインG1は、第1の閾値Th1より小さい領域に適用されるもので、下式(3)により設定される。
G1=(Ls/Lm)1/γ ・・・式(3)
ここで、Lsは、基準輝度(バックライト輝度をストレッチしないときの基準輝度;一例として最大の画面輝度が550cd/m2となるときの輝度)であり、Lmは、エリアアクティブ制御・輝度ストレッチ部5から出力されたMax輝度である。従って、第1の閾値Th1より小さい領域に適用される第1のゲインG1は、バックライトの輝度ストレッチにより増加する画面輝度分を低減させるように、映像信号の出力階調を低下させる。
第2の閾値Th2以上のトーンマッピングは、f(x)=xとする。つまり、入力階調=出力階調とし、出力階調を低下させる処理は行わない。第1の閾値Th1〜第2の閾値Th2までの間は、第1のゲインG1によって低下させた第1の閾値Th1の出力階調と、第1の閾値Th1の出力階調とを直線で結ぶように設定する。つまり、G2=(Th2−G1・Th1)/(Th2−Th1)によって第2のゲインG2を決定する。
上記の処理により、図6に示すようなトーンマッピングを得る。このときに、Th1、Th2の接続部分については、所定の範囲(例えば接続部分±Δ(Δは所定値))を2次関数でスムージングするとよい。
マッピング部3が生成したトーンマッピングは入力映像信号に適用され、バックライトの輝度ストレッチ量に基づき低階調部分の出力が抑えられた映像信号がエリアアクティブ制御・輝度ストレッチ部5に入力される。
図7は、エリアアクティブ制御・輝度ストレッチ部5で出力するフレームfN,fN+1のMax輝度について説明するための図である。なお、図7で示す制御カーブは、図2で示した制御カーブと同じである。
エリアアクティブ制御・輝度ストレッチ部5は、上述したように、マッピング部3で生成したトーンマッピングを適用した映像信号を入力し、その映像信号に基づいてエリアアクティブ制御を行い、平均点灯率に基づくMax輝度の決定も行う。このときのフレームをフレームfNとする。フレームfNのMax輝度の値は、マッピング部3に出力される。マッピング部3では、入力したフレームfNのMax輝度を使用して図6に示すようなトーンマッピングを生成し、フレームfN+1の映像信号に適用する。
こうして、本実施形態では、エリアアクティブ制御の平均点灯率に基づくMax輝度をフィードバックして、次のフレームのトーンマッピングに使用する。マッピング部3は、フレームfNで決定されたMax輝度に基づいて、図6で説明したように、第1の閾値Th1より小さい領域について映像出力を低下させるゲイン(第1のゲインG1)を適用する。Th1とTh2の間の領域についてTh1とTh2の間を線形で結ぶ第2のゲインG2を適用してTh1とTh2の間の映像出力を低下させる。
図7の例では、平均点灯率がP以上の高点灯率の領域において、フレームfNで非発光部分の映像出力を低下させるゲインが適用されているため、フレームfN+1では、領域ごとの最大階調値が低下して点灯率が下がる傾向となり、これにより、フレームfN+1では、Max輝度が上がる傾向となる。これにより、フレームfN+1ではさらにバックライトの輝度ストレッチ量が大きくなって、画面の輝き感が増す傾向となる。ただし、この傾向はPより低点灯率の領域では見られず、逆の傾向となる。
図8は、エリアアクティブ制御・輝度ストレッチ部5の処理により、画面輝度がエンハンスされる状態を示す図である。図8において、横軸は入力映像信号の階調値で、縦軸は表示部9の画面輝度(cd/m2)であり、S2,S3は、それぞれ発光検出部2で使用した第1および第2の閾値Th1,Th2の階調値の位置に相当する。
上記のように発光検出部2で検出した第2の閾値Th2以上の領域では、バックライトの輝度ストレッチ量に応じて映像信号の出力階調を低下させる信号処理が行われていない。この結果、S3〜S4では、入力映像信号は、エリアアクティブ制御により決定されたMax輝度に従うγカーブでエンハンスされて表示される。S4は入力映像信号が最高階調値(255)であるときの画面輝度を示しており、例えばMax輝度が1500(cd/m2)である場合、最高階調での画面輝度は1500(cd/m2)となる。
一方、S1〜S2までの入力階調値の場合には、上記のように、バックライトの輝度ストレッチにより増加する画面輝度分を低減させるように第1のゲインG1が映像信号に適用されているため、基準輝度に基づくγカーブで画面表示される。エリアアクティブ制御・輝度ストレッチ部5で決定されたMax輝度に従って、マッピング部3で輝度ストレッチ分に対応して、閾値Th1(S2に相当)より小さい範囲で映像信号の出力値を抑えたからである。S2〜S3は、Th1〜Th2のトーンマッピングに応じて画面輝度が遷移する。
Max輝度が大きくなると、S1〜S2の基準輝度に基づく曲線と、S3〜S4のMax輝度に基づく曲線との画面輝度方向の差が大きくなる。基準輝度に基づく曲線は、前述のように、最大階調値の画面輝度が、バックライト輝度をストレッチしないときの基準輝度(一例として最大階調値の画面輝度が550cd/m2)となるγカーブであり、Max輝度に基づく曲線は、最大階調値の画面輝度が、エリアアクティブ制御・輝度ストレッチ部5で決定されたMax輝度となるγカーブである。
こうして、制御部は、入力映像信号が0階調(S1)からS2までの間では、基準輝度で画面輝度を制御している。これは、階調が低く暗い映像の場合には、輝度を上げて表示させるとコントラストの低下や黒浮き等の品低下が生じるためであり、バックライトの輝度ストレッチ分だけ映像信号処理により輝度を抑えて画面輝度が上がらないようにするためである。
また、入力映像信号がS3以上の範囲は、発光しているとみなしている範囲であるので、輝度ストレッチによりバックライトをストレッチした状態で、映像信号を抑えることなく維持する。これにより、画面輝度がエンハンスされ、より輝き感のある高品位の画像表示を行うことができる。なお、S1〜S2までのγカーブは、基準輝度に一致させる必要はなく、発光部分のエンハンス領域との差を持たせるレベルのものであれば、ゲインG1を適宜調整して設定することができる。
図6に示すトーンマッピングの例では、入力映像信号に、記憶色として物体色である肌色と草木の緑に該当する色、または、発光色である青空に該当する色の画素が含まれていない場合を説明したが、入力映像信号には、これらの記憶色に該当する画素が含まれている。本実施形態では、入力映像信号による画像の各画素の色に基づいて、入力映像信号の入力階調と出力階調とを変換する入出力カーブを切換えることによって、表示輝度のエンハンスの大きさを切換えている。
色判定部4は、入力映像信号の各画素の色が、例えば、記憶色に該当するか否か、記憶色に該当すれば、物体色である肌色あるいは草木の緑に該当するか、または発光色である青空に該当するか否かを判定している。色判定の方法としては、例えば、映像信号のRGB信号を、RGBそれぞれの差分により原色成分RGBと補色成分Y(Yellow)C(Cyan)M(Magenta)の6色成分に分割し、その結果によって、予め各記憶色についての範囲を定めたテーブル内にあるかどうかを判定することによって、肌色、草木の緑、あるいは青空に該当するか否かを判定してもよく、また、RGB信号を色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Lightness・Brightness)の三つの成分からなるHSV色空間に変換し、変換したHSV成分が、各記憶色の範囲を定めたHSV色空間のテーブル内に位置するかどうかを判別するようにしてもよい。
次に、映像信号に記憶色が含まれている場合のトーンマッピングの例について説明する。図9は、図1の映像表示装置のトーンマッピングの一例を示すフロー図である。図9に示すフローにおいて、まず、信号処理部1の発光検出部2は、先述したように発光部分を検出し(ステップS1)、色判定部4は、映像信号から記憶色に該当する色の部分(画素)を検出する(ステップS2)。図10は、入力映像信号の1フレームにおける記憶色に該当する色の画素の配置の例を示す図であり、図10の領域Aの部分は記憶色のうちの物体色に該当する色の画素がある部分を示すとともに、領域Bの部分は記憶色のうち発光色に該当する色の画素がある部分を示す。また、領域Cの部分は、記憶色でない色の画素がある領域を示す。
マッピング部3は、発光検出部2から映像信号の発光部分の情報を取得するとともに、色判定部4から映像信号の色に関する情報を取得する。ここで、発光部分の情報は、先述したようにトーンマッピングのゲインを決定するために用いられる。そして、マッピング部3は、映像信号の各画素について記憶色に該当する画素であるかどうかを判別する(ステップS3)。物体色としては、肌色または草木の緑に該当する色の2つがあり、発光色としては青空に該当する色がある。
ステップS3で記憶色に該当する画素がなければ(「No」の場合)、ステップS8に移り、記憶色以外の部分について、非発光部分の輝度を下げるトーンマッピングを行う。具体的には、図10で示す領域Cの記憶色でない全ての画素に対しては、図6で示す入出力カーブにしたがってトーンマッピングを行う。これにより、領域Cの部分については、発光部分について、表示輝度をエンハンスした処理がなされる。
ステップS3で、記憶色に該当する画素があれば(「YES」の場合)、ステップS4に移り、物体色に該当する画素があるかどうか判別される。そして、ステップS4で物体色の画素がある場合(「YES」の場合)、ステップS5に移行し、発光部分の輝度を下げるトーンマッピング処理が行われる。図11は、記憶色のうち、物体色に該当する色の画素に適応されるトーンマッピングの一例を示す図であり、図10で物体色の領域Aに対しては、図11に示す入出力カーブGAに基づくトーンマッピングが行われる(ステップS6)。入出力カーブGAは、先述した3式に示すゲインG1の傾きを有するカーブである。このため、検出された記憶色が肌色または草木の緑に該当する物体色である場合には、実質的にエンハンス処理が行われることがない。
ステップS4で「NO」の場合およびステップS5の後はステップS6に進む。ステップS6では、発光色に該当する画素であるかどうかが判別される。ステップS6で発光色に該当する画素がある場合(「YES」の場合)、非発光部分の輝度を下げないトーンマッピング処理が行われる。図12は、記憶色のうち、発光色に該当する色の画素に適応されるトーンマッピングの一例を示す図であり、図10の発光色の領域Bに対しては、図12に示す入出力カーブGBに基づくトーンマッピングが行われる(ステップS7)。入出力カーブGBは、f(x)=x、すなわち、入力階調=出力階調のゲインカーブであり、非発光部分に該当する画素であっても出力階調を低下させる処理は行わない。ステップS6で発光色に該当する画素がない場合(「NO」の場合)およびステップS7の後は、ステップS8に移行する。ステップS8では先述した処理が行われる。
以上により、映像信号から映像の発光している部分を検出し、光源の輝度をストレッチして増大させ、発光部分を除く非発光部分の映像信号の輝度を低下させることにより、発光部分の表示輝度をエンハンスして際立たせて表示させる際に、本来発光することがない物体色に該当する色の画素については、発光部分として検出されても、入力映像信号の輝度を上昇させることがない。また、発光色に該当する色の画素については、非発光部分であっても輝度を下げる処理を行わずに、表示輝度がエンハンスされるようにしている。このため、輝き感を増加させかつコントラストが高いが、違和感がなく高品位の映像を得ることができる。
(実施形態2)
実施形態1の場合、図10における物体色の領域Aと記憶色でない領域Cとでは、異なる入出力カーブに基づくトーンマッピングが行われる。このため、両者の境界において輝度の変化が大きく表れることになる。実施形態2では、物体色の領域Aの周辺の輝度の変化を少なくするために、物体色の領域Aの周辺の記憶色でない領域Cの輝度が極端に変化しないようにスムージングしている。スムージングする領域は、発光色の領域Bの周辺の記憶色でない領域Cについても同様である。
図13は、入力映像信号の1フレームにおける記憶色に該当する色の画素の配置とそれに近接する所定範囲内の記憶色に該当しない色の画素の配置の例を示す図である。図13において、領域Aの部分は記憶色のうちの物体色に該当する色の画素がある部分を示し、領域Bの部分は記憶色のうち発光色に該当する色の画素がある部分を示す。また、領域Cの部分は、記憶色でない色の画素がある領域を示している。そして、物体色の領域Aに近接する所定範囲内の記憶色でない部分の領域Cを領域A’で表し、発光色の領域Bに近接する所定範囲内の記憶色でない部分の領域Cを領域B’で表している。
図14は、物体色に該当する色の画素に近接する所定範囲内の記憶色に該当しない色の画素に適応されるトーンマッピングの一例を示す図である。そして、物体色に該当する色の画素に対しては、図14に示す入出力カーブGAを用いてトーンマッピングを行い、記憶色でない全ての画素に対しては、入出力カーブGCを用いてトーンマッピングを行う。なお、入出力カーブGCは、図6で示す入出力カーブと同じものである。そして、物体色の領域Aの周辺に位置する記憶色でない部分の領域A’の画素に対しては、入出力カーブGA’に基づいてトーンマッピングを行う。入出力カーブGA’は、物体色に該当する色の画素に対して使用される入出力カーブGAによる出力階調値と記憶色に該当しない色の画素に対して用いられる入出力カーブにGCよる出力階調値の中間の階調値が出力される入出力カーブとなっている。なお、入出力カーブGA、入出力カーブGA’、および入出力カーブGCは第1の閾値Th1までは同じ出力階調値を持つ。
図15は、発光色に該当する色の画素に近接する所定範囲内の記憶色に該当しない色の画素に適応されるトーンマッピングの一例を示す図である。そして、発光色に該当する色の画素に対しては、図15に示す入出力カーブGBを用いてトーンマッピングを行い、記憶色でない全ての画素に対しては、入出力カーブGCを用いてトーンマッピングを行う。なお、入出力カーブGCは、図6で示す入出力カーブと同じものである。そして、発光色の領域Bの周辺に位置する記憶色でない部分の領域C’の画素に対しては、入出力カーブGB’に基づいてトーンマッピングを行う。入出力カーブGB’は、物体色に該当する色の画素に対して使用される入出力カーブGBによる出力階調値と記憶色に該当しない色の画素に対して用いられる入出力カーブにGCよる出力階調値の中間の階調値が出力される入出力カーブとなっている。なお、入出力カーブGC,入出力カーブGB’、および入出力カーブGCは第2の閾値Th2以上は同じ出力階調値を持つ。
(実施形態3)
本実施形態では、記憶色の程度に応じて、適応する入出力カーブを切替えてトーンマッピングを行うものである。図16は、物体色に該当する色にランク付けを行った場合の例を説明するための図であり、図17は、ランク付けを行った物体色に該当する色の画素に適応されるトーンマッピングの一例を示す図である。本実施形態では、記憶色の程度として、例えば、肌色の場合、肌色らしさの観点から物体色の肌色をランク付けする。ランク付けとしては、最も肌色らしい色、次に肌色らしい色、肌色に近い色のように複数のランクを設ける。図16では、最も物体色らしい色の画素がある領域を領域A1、次にその物体色らしい色の画素がある領域を領域A2、さらに、その物体色に近い色の画素がある領域を領域A3としてランク付けしている。各ランク付けした色に該当するかどうかは、色判定部4に複数のテーブルを設けておき、個々の画素の色がそれらのテーブルのどれに該当するか否かを判定することにより、記憶色のランクを定めることができる。
そして、最も物体色らしい色の画素がある領域A1の画素に対しては、図17に示す入出力カーブGA1を用いてトーンマッピングを行い、次にその物体色らしい色の画素がある領域A2の画素に対しては入出力カーブGA2を用いてトーンマッピングを行い、さらに、その物体色に近い色の画素がある領域A3の画素に対しては、入出力カーブGA3を用いてトーンマッピングを行う。入出力カーブGA1、GA2、およびGA3については、より物体色らしい色に適用される入出力トーンカーブほど、発光部分の映像信号の輝度を低下させるゲインカーブとなっている。なお、入出力カーブGA1、GA2、およびGA3ともに、入力階調値が第1の閾値Th1までは同じ出力階調値を持つ。
記憶色のうち物体色については上述の処理を行うが、発光色についても同様である。次に、記憶色でない全ての画素に対しては、入出力カーブGCを用いてトーンマッピングを行う。図18は、発光色に該当する色にランク付けを行った場合の例を説明するための図であり、図19は、ランク付けを行った発光色に該当する色の画素に適応されるトーンマッピングの一例を示す図である。図18では、最も発光色らしい色の画素がある領域を領域B1、次にその発光色らしい色の画素がある領域を領域B2、さらに、その発光色に近い色の画素がある領域を領域B3としてランク付けしている。
そして、最も発光色らしい色の画素がある領域B1の画素に対しては、図19に示す入出力カーブGB1を用いてトーンマッピングを行い、次にその発光色らしい色の画素がある領域B2の画素に対しては入出力カーブGB2を用いてトーンマッピングを行い、さらに、その物体色に近い色の画素がある領域B3の画素に対しては、入出力カーブGB3を用いてトーンマッピングを行う。入出力カーブGB1、GB2、およびGB3については、より発光色らしい色に適用される入出力トーンカーブほど、非発光部分の映像信号の輝度を低下させないゲインカーブとなっている。なお、入出力カーブGB1、GB2、およびGB3ともに、入力階調値が第2の閾値Th2以上は同じ出力階調値を持つ。なお、記憶色でない全ての画素に対しては、入出力カーブGCを用いてトーンマッピングを行う。
本実施形態では、記憶色に該当する色に対してランク付けを行い、ランク付けしたランクに応じて、記憶色に該当する色の画素に適用する入出力カーブを切換えているため、きめ細やかな表示輝度のエンハンスが可能となり、映像信号に記憶色が含まれていても、より違和感がなく高品位な映像を表示することが可能となる。
(実施形態4)
実施形態1から実施形態3では、入力遺贈信号による画像の各画素の色に基づいて、入力映像信号の入力階調と出力階調とを変換する入出力カーブを切換える際に、1フレーム画像の個々の画素に対して、適用する入出力カーブを切替えていたが、本実施形態では、フレーム単位で入出力カーブを切換える。
色判定部4が、物体色である肌色と草木の緑、または発光色である青空の各記憶色を有する画素を判定する点は、実施形態1と同じであるが、マッピング部3は、記憶色に該当する色と記憶色に該当しない色とに対して異なる値の重み付けを行い、入力映像信号のフレーム単位で、全画素に対して重み付けの値を用いた加重平均値を求め、得られた加重平均値によって、フレーム単位に適用する入出力カーブを切換えるようにしている。具体的には、例えば、図10に示す入力映像信号による画像で、領域Aの物体色に該当する色の画素に対する重みをαA、領域Bの発光色に該当する色の画素に対する重みをαB、および領域Cの記憶色でない色の画素に対する重みをαCとし、各領域A、B、およびCの画素数をkA、kB、およびkCとした場合に、次式で求まる加重平均値(Wave)を求める。
Wave = (αA×kA+αB×kB+αC×kC)/(kA+kB+kC)
・・・式(4)
ここで、αA>αC>αBとし、領域Cの記憶色でない色の画素に対する重みαCは、物体色に該当する色の画素に対する重みαAと発光色に該当する色の画素に対する重みαBとの間の値を持つようにする。
そして、求めた加重平均値Waveの大きさに応じて、入出力カーブを切換える。図20は、記憶色に該当する色と記憶色に該当しない色とに対して異なる値の重み付けを行い、1フレームの全画素について求めた加重平均値に基づいて、各画素に適応されるトーンマッピングの一例を示す図である。図20に示す例では、加重平均値Waveが所定の値よりも大きい場合は、入出力カーブGD1を適用し、加重平均値Waveが小さくなるにしたがって、入出力カーブGD2から入出力カーブGD5までを適用する。これにより、物体色の領域が多い画像に対しては、発光部分であっても表示輝度のエンハンスを抑えた画像を得ることができ、発光色の領域が多い画像に対しては、非発光部分であっても表示輝度をエンハンスした画像を得ることができる。
(実施形態5)
実施形態4において、記憶色の程度に応じて重み付けを変えるようにしてもよい。例えば、実施形態3で説明したように、物体色に該当する色にランク付けを行い。このランク付けに応じて記憶色に付与する重みを変更する。例えば、図16に示す領域A1の最も物体色らしい色の画素に対して重みαA1を、領域A2の次にその物体色らしい色の画素に対して重みαA2を、さらに、領域A3のその物体色に近い色の画素に対して重みαA3を付与するとともに、図18に示す領域B1の最も発光色らしい色の画素に対して重みαB1を、領域B2の次にその発光色らしい色の画素に対して重みαB2を、さらに、領域B3のその発光色に近い色の画素に対して重みαB3を付与する。そして、領域A1、領域A2、領域A3、領域B1、領域B2、領域B3、および領域Cのそれぞれの画素数を、それぞれ、kA1、kA2、kA3、kB1、kB2、kB3およびkCとした場合、次式で求まる加重平均値Wave’を求める。
Wave’= (αA1×kA1+αA2×kA2+αA3×kA3+
αB1×kB1+αB2×kB2+αB3×kB3+αC×kC)/
(kA1+kA2+kA3+kB1+kB2+kB3+kC)・・・式(5)
ただし、αA1>αA2>αA3>αC>αB3>αB2>αB1とし、より物体色らしい色に対する重みを大きくし、より発光色らしい色の重みを小さくする。
そして、加重平均値Wave’の大きさに応じて、入出力カーブを切換える点は、実施形態4と同様である。なお、実施形態4および実施形態5において、物体色と発光色に付与した重みの関係は逆の関係であってもよいが、その場合は、選択する入出力カーブの関係を逆の関係とすればよい。実施形態5によれば、より記憶色らしいランクに応じて、全画素に適用する入出力カーブを選択しているため、実施形態4よりもきめ細やかな表示輝度のエンハンスが可能となる。
(実施形態6)
図21は、本発明に係る映像表示装置の他の実施形態(実施形態6)を説明するための図で、映像表示装置の要部の他の構成例を示すものである。
実施形態6は、実施形態1と同様の構成を有しているが、実施形態1と異なり、トーンマッピングを行う際に用いるMax輝度の値をエリアアクティブ制御・輝度ストレッチ部5で決定することなく、発光検出部2が発光部分の検出結果に基づいて輝度ストレッチ量を決定し、マッピング部3がその決定した輝度ストレッチ量と色判定部4からの情報に基づいてトーンマッピングを実行する。従って、信号処理部1のマッピング部3では、実施形態1のように、輝度ストレッチによるMax輝度値をエリアアクティブ制御・輝度ストレッチ部5からフィードバックして出力させる必要はない。
図22は、入力映像信号の輝度信号Yから生成したYヒストグラムの例を示すものである。実施形態1と同様に、発光検出部2では、入力した映像信号のフレームごとに、画素の輝度階調ごとの画素数を積算してYヒストグラムを生成する。そしてそのYヒストグラムから平均値(Ave)、標準偏差(σ)を計算し、これらを用いて2つの閾値Th1,Th2を計算する。実施形態1と同様に、第2の閾値Th2は、発光境界を定めるものであり、Yヒストグラムにおいてこの閾値Th2以上の画素は、発光している部分とみなすものである。
本実施形態では、実施形態1における第1の閾値Th1および第2の閾値Th2に加えて、さらに第3の閾値Th3を設定する。第3の閾値Th3は、Th1とTh2の間にあり、発光部分の画素の状態を検出するために設けられる。閾値Th3は、Th2と同じ値でもよいが、Th2以上の発光部分にマージンを持たせて広めにとり、処理を行いやすくするために設けられている。従って、Th3は下式(4)のようになる。
Th3 = Ave+Qσ(M<Q≦N) ・・・式(6)
図23は、第3の閾値Th3以上の画素に応じた輝度ストレッチの制御カーブを示す図である。横軸は閾値Th3以上の画素値のスコア、縦軸はスコアに応じた輝度ストレッチ量を示している。
スコアは、[輝度がある閾値より大きい画素の割合]×[閾値からの距離(輝度の差)]と定義し、第3の閾値Th3より大きい階調値を持つ画素の画素数をカウントし、閾値Th3からの距離に重み付けをして算出することにより明るさの度合い、すなわち本発明の明るさに関連する指標の一例を示すもので、例えば、下式(7)により計算される。
式(7)において、count[i]は、階調値iごとに画素数をカウントした値である。また、i2−(Th3)2は、図22で示したような輝度についての距離(輝度の差)を指し、代わりに、明度L*における閾値からの距離を採用してもよい。なお、この2乗は輝度を表すものであり、実際には2.2乗となる。つまり、デジタルのコード値がiの場合、輝度はi2.2となる。そのとき、明度L*は(i2.2)1/3≒iとなる。実際の映像表示装置で検証した結果、輝度での閾値からの差が明度での閾値からの差などより効果的であった。また、式(7)において、全画素数とはi>Th3に限らず全ての画素数をカウントした値を指す。スコアとしてこのような計算値を採用すると、発光部分のうちTh3から離れた高階調の画素が多い場合にはスコアが高くなる。また、Th3より大きな画素数が一定であっても、階調が高い画素が多い方がスコアは高くなる。
そして、図23の制御カーブUで示すように、スコアが一定以上に高いレベルでは、輝度ストレッチ量を高く設定し、高階調の輝いている映像をより高輝度にストレッチして輝き感を増す。この例では、スコアが一定以上(閾値X以上)の高い部分では、輝度ストレッチ後に取りうる最大の画面輝度が1500(cd/m2)となるように設定する。また、スコアが低い場合には、スコアが小さくなるほど輝度ストレッチ量が小さくなるように設定する。
輝度ストレッチ量は、実施形態1で説明したものであって、Max輝度と同様に例えばバックライトデューティの値によって示されるものである。発光検出部2が検出した第1および第2の閾値Th1,Th2の値、およびTh3以上の画素のスコアに従って決定される輝度ストレッチ量は、マッピング部3に出力され、トーンマッピングの生成に使用される。
マッピング部3におけるトーマッピングの処理は、実施形態1と同様である。つまり、標準モードの場合は、図6に示すように、発光検出部2にて検出したTh1より小さい領域に対して第1のゲインG1を設定し、Th1とTh2の間を線形で結ぶように第2のゲインG2を設定する。このときに、ゲインG1の設定に際して、発光検出部2で検出した輝度ストレッチ量を使用し、バックライトの輝度ストレッチ量に応じて映像信号処理により輝度を低下させる。
得られたトーンマッピングは、入力映像信号に適用され、トーンマッピング後の映像信号がエリアアクティブ制御・輝度ストレッチ部5に入力する。
エリアアクティブ制御・輝度ストレッチ部5における処理は、実施形態1と同様である。ただし、エリアアクティブ制御・輝度ストレッチ部5では、実施形態1のようにバックライトの平均点灯率からMax輝度を決定し、信号処理部1に出力する必要はなく、逆に信号処理部1の発光検出部2で検出された輝度ストレッチ量に基づいてバックライト部7のLEDの輝度をストレッチする。
つまり、エリアアクティブ制御・輝度ストレッチ部5では、映像を所定の複数の領域(エリア)に分割し、その分割領域ごとに映像信号の最大階調値を抽出し、抽出した最大階調値に応じて領域ごとのLEDの点灯率を決定する。例えば最大階調値が低く暗い領域については、点灯率を下げてバックライトの輝度を低下させる。そして、この状態で輝度ストレッチ量に応じてバックライト全体の投入電力を増大させて、バックライトの輝度全体を上げる。これにより、発光している明るい映像はより明るくなって輝き感が増す。また、非発光部分は、映像信号処理により輝度ストレッチに相当する輝度が低減されているため、結果として、画面上では発光部分のみの輝度が高くなって、高コントラストの品位の高い映像を表示することができる。入力映像信号と画面輝度との関係は、実施形態1に示す図8と同様になる。
このように、発光検出部2では、検出した発光部分の領域を含む所定範囲(上述の例ではTh3以上の範囲)の映像について、画素ごとの明るさに重みを付けて画素数をカウントすることにより明るさの度合いを示すスコアを計算し、そのスコアに応じて輝度ストレッチ量を決め、エリアアクティブ制御・輝度ストレッチ部5でその輝度ストレッチ量でストレッチされるようにする。そのため、輝度ストレッチ量はエリアアクティブ制御・輝度ストレッチ部5とマッピング部3に出力される。エリアアクティブ制御・輝度ストレッチ部5は、輝度ストレッチ量に応じて輝度をストレッチする。マッピング部3は、輝度ストレッチ量と色判定部4からの情報に応じてゲインカーブを変える。ゲインカーブとなる入出力カーブの切換えは、実施形態1から実施形態5による構成と同様の構成をとることができる。
(実施形態7)
図24は、本発明に係る映像表示装置の更に他の実施形態(実施形態7)を説明するための図で、映像表示装置の要部の更に他の構成例を示すものである。
実施形態7は、実施形態6と同様の構成を有し、実施形態6と同様の動作を行うが、実施形態6と異なり、エリアアクティブ制御・輝度ストレッチ部5の代わりに、エリアアクティブ制御を行わない輝度ストレッチ部5aを備える。この輝度ストレッチ部5aでは、信号処理部1のマッピング部3から出力された輝度ストレッチ量に基づいて、バックライト部7の輝度をストレッチする。
つまり輝度ストレッチ部5aでは、マッピング部3により生成されたトーンマッピングが適用された映像信号を入力し、その映像信号を表示する表示制御データを表示制御部8に出力する。このときにエリアアクティブ制御による処理は行わない。一方、発光検出部2から出力された輝度ストレッチ量に基づいてバックライト部7全体を一律にストレッチする。
これにより、発光している明るい映像はより明るくなって輝き感が増す。また、非発光部分は、映像信号処理により輝度ストレッチに相当する輝度が低減されているため、結果として、画面上では発光部分の輝度が高くなって、高コントラストの品位の高い映像を表示することができる。輝度ストレッチ量と色判定部からの情報に基づいて入出力カーブを切換える点は、実施形態1から実施形態5による構成と同様の構成をとることができるため、繰り返しの説明は省略する。
なお、実施形態1から実施形態5においても、図1のエリアアクティブ制御・輝度ストレッチ部5の代わりに、同様にエリアアクティブ制御を実行しない輝度ストレッチ部5aを設けるようにしてもよい。そのような構成の場合、輝度ストレッチ部5aは、例えば、映像信号の画面全体の階調平均値などの明るさに関連する指標に基づいて平均点灯率を定め、この平均点灯率からMax輝度を求め、それに基づきLEDの発光輝度を上げると共に、そのMax輝度をマッピング部3にフィードバックすればよい。
(他の特徴量)
上記の各例では、発光検出部2における発光部分の検出処理において、映像の特徴量として輝度Yを使用し、輝度のヒストグラムを生成してその中から発光部分を検出していた。しかし、ヒストグラムを生成する特徴量としては、輝度の他、例えばCMI(Color Mode Index)、もしくは、1つの画素を構成するRGBの映像信号の階調値のうち最も高い階調値(Max RGBとする)を用いることができる。
CMIは、注目する色がどの程度明るいかを示す指標である。ここではCMIは輝度とは異なり、色の情報も加味された明るさを示している。CMIは、下式(8)により定義される。
(L*/L*modeboundary)×100 ・・・式(8)
上記L*は相対的な色の明るさの指標で、L*=100のときに、物体色として最も明るい白色の明度となる。上記式(8)において、L*は注目している色の明度であり、L*modeboundaryは、注目している色と同じ色度で発光して見える境界の明度である。ここでL*modeboundary≒最明色(物体色で最も明るい色)の明度となることがわかっている。CMI=100となる色の明度を発光色境界とよび、CMI=100を超えると発光していると定義する。
映像表示装置で表示すべき放送映像信号からCMIを計算する手法を図25を参照して説明する。放送映像信号はBT.709規格に基づいて規格化されて送信される。従ってまず放送映像信号のRGBデータをBT.709用の変換行列を用いて3刺激値XYZのデータに変換する。そしてYから変換式を用いて明度L*を計算する。注目する色のL*が図25の位置PL1にあったものとする。次に変換したXYZから色度を計算し、既に知られている最明色のデータから、注目する色と同じ色度の最明色のL*(L*modeboundary)を調べる。図25上の位置はPL2である。
これらの値から、上記式(8)を用いてCMIを計算する。CMIは、注目画素のL*とその色度の最明色のL*(L*modeboundary)との比で示される。
上記のような手法で映像信号の画素ごとにCMIを求める。規格化された放送信号であるため全ての画素は、CMIが0〜100の範囲のいずれかをとる。そして1フレーム映像に対して、横軸をCMIとし、縦軸を頻度としてCMIヒストグラムを作成する。ここで平均値Aveと標準偏差σとを算出し、各閾値を設定して発光部分を検出する。
Max RGBは、RGBデータのうちの最大階調値をもつデータである。RGBの組み合わせにおいて、2つの色が同じ色度であることは、RGBの比が変化しないことと同義である。つまりCMIにおいて同じ色度の最明色を演算する処理は、RGBデータの比率を変えずに一定倍したときに、RGBデータの階調が最も大きくなるときのRGBの組み合わせを得る処理になる。
例えば、図26(A)に示すような階調のRGBデータをもつ画素を注目画素とする。注目画素のRGBデータに一定の数を乗算したとき、図26(B)に示すようにRGBのいずれかが最初に飽和したときの色が、元画素と同じ色度で最も明るい色である。そして最初に飽和した色(この場合R)の注目画素の階調をr1、最明色のRの階調をr2とするとき、下式(9)によってCMIに類似した値を得ることができる。RGBに一定倍したときに最初に飽和する色は、注目画素のRGBのうち最大の階調をもつ色になる。
(r1/r2)×100 ・・・式(9)
そして画素ごとに上記のような式(9)による値を算出してヒストグラムを作成する。このヒストグラムから平均値Aveと標準偏差σを計算し、各閾値を設定して発光部分を検出することができる。