JP5026619B2 - 視野角によって誘発される色シフト低減するための方法およびシステム - Google Patents

Description

本発明は、ＬＥＤバックライトアレイのバックライト駆動値を生成、修正、および適用するための方法およびシステムに関する。

ＬＣＤディスプレイ等のように、ディスプレイには、個別に処理および調節が可能な素子が設けられたバックライトアレイを備えているものがある。表示される画像の特徴は、バックライトアレイの素子を系統的に処理することにより改善することが可能である。

本発明のいくつかの実施形態は、ＬＥＤバックライトアレイのバックライト駆動値を生成、修正、および適用するための方法およびシステムを含む。いくつかの実施形態は、ＬＣＤの駆動値を協調して調節することをも含む。いくつかの実施形態は、視野角によって誘発される色シフトを低減するために、ＬＥＤバックライト値を調節することを含む。

本発明の一実施形態は、配列された発光素子を有するバックライト層と、拡散層と、表示パネルとを備えた表示装置のための方法を含んでいる。この方法は、バックライト層のためのバックライト画像を生成するための方法であって、
ａ）第１の色チャンネル値および第２の色チャンネル値の画素色チャンネル値を含む入力画像を取得するステップと、
ｂ）正面視野角および斜め視野角において、複数の画素色チャンネル値に対する上記表示パネルの透過率データを決定するステップと、
ｃ）上記透過率データに基づいて、正面視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第１の比を決定するステップと、
ｄ）上記透過率データに基づいて、斜め視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第２の比を決定するステップと、
ｅ）上記第１の比と上記第２の比との差を決定するステップと、
ｆ）上記バックライト層の、バックライト照明値および画素素子コード値を調節し、上記差を最小化するステップとを含む。

別の一実施形態は、配列された発光素子を有するバックライト層と、拡散層と、表示パネルとを備えた表示装置のための方法を含んでいる。この方法は、バックライト層のためのバックライト画像を生成するための方法であって、
ａ）第１の解像度の入力画像を表わす画素値の配列を含む入力画像を取得するステップと、
ｂ）上記入力画像をサブサンプリングし、中間解像度画像を作成するステップであって、上記中間解像度画像は第１の解像度より低い解像度を有し、また、上記中間解像度画像は複数のサブブロック値を含み、この各サブブロック値は入力画像における複数の画素値からなる互いに異なる組にそれぞれ対応するステップと、
ｃ）現フレームにおいて、対応する各サブブロック中の複数の画素値の特徴を決定するステップと、
ｄ）前フレームにおいて、対応する各サブブロック中の複数の画素値の特徴を決定するステップと、
ｅ）前フレームの特徴を現フレームの特徴と比較することによって、上記発光素子のそれぞれに対する動き要素を含む動きマップを作成するステップであって、発光素子の解像度が上記中間解像度未満であり、複数のサブブロックからなる組が上記動き要素のうちの一つに対応し、動き要素のうちの一つは、この動き要素に対応する特定のサブブロックの前フレームの特徴のうちの一つが、この特定のサブブロックに対応する現フレームの特徴と大きく異なるときに、動きを示す動き要素であるステップと、
ｆ）上記動き要素のそれぞれに対応する動きステータス要素を含む動きステータスマップを作成するステップであって、この動きステータス要素の値は、前フレームの対応する動きステータス要素が動きを示すときに最大値まで増加し、前フレームの対応する動きステータス要素が動きを示さないときに最小値まで減少するステップと、
ｇ）上記バックライト層について、現駆動値を含む最大値ウィンドウ中で極大値を算出するステップと、
ｈ）上記発光素子について、上記現駆動値と上記最大値とを加重して組み合わせたものである更新済み駆動値を算出するステップと、
ｉ）上記バックライト層に結合された表示パネルについて、正面視野角および斜め視野角において、複数の画素色チャンネル値に対応する透過率データを決定するステップと、
ｊ）上記透過率データに基づいて、正面視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第１の比を決定するステップと、
ｋ）上記透過率データに基づいて、斜め視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第２の比を決定するステップと、
ｌ）上記第１の比と上記第２の比との差を決定するステップと、
ｍ）上記更新済み駆動値および対応する上記画素素子コード値を調節し、上記差を最小化するステップとを含む。

本発明の前述および他の目的、特徴、および効果は、後述する詳細な説明を、添付の図面と共に考慮すれば、より容易に理解できるであろう。

図１は、ＬＥＤバックライトアレイを備えた典型的なＬＣＤディスプレイを示す図である。 図２は、動き適応型ＬＥＤバックライト駆動方式を示すチャートである。 図３は、代表的な例としてのトーンマッピングを示すグラフである。 図４は、代表的な例としてのＬＥＤ点像分布関数を示す画像である。 図５は、代表的な例としての、ＬＥＤ駆動値を導出する方法を示すチャートである。 図６は、代表的な例としての誤差拡散処理を示す図である。 図７は、２つの視野角におけるＬＣＤの正規化された透過率を示すプロットである。 図８は、代表的な例としての、視野角によって誘発される色シフトを低減するプロセスを示すチャートである。 図９は、代表的な例としての、逆ガンマ補正を示すグラフである。 図１０は、ブランク信号がどのようにしてＬＥＤアレイのドライバに供給されるのかを示す図である。 図１１は、バックライトを点灯させるためにタイミングを同期させた様子を示す図である。 図１２は、ＬＥＤ駆動においてパルス幅変調されたパルスを示す図である。 図１３は、代表的な例としてのＬＣＤの逆ガンマ補正を示すグラフである。

本発明の各実施形態は、図面を参照することにより最も良く理解されるであろう。図面では、全体を通じて同じ部材が同じ番号で示される。上述した各図は、詳細な説明の一部として明確に包含される。

図中に一般的に記載され、例示されている本発明の各構成要素は、広く様々な範囲の異なる構成にアレンジしたり、設計したりすることが可能であることは、容易に理解できるであろう。したがって、本発明に係る方法およびシステムについて以下に説明する各実施形態のより詳細な説明は、本発明の範囲を限定するものではなく、単に本発明の現状において好適な実施形態を例示したものである。

本発明の各実施形態の構成要素は、ハードウェア、ファームウェアおよび／またはソフトウェアの形態で実現可能である。ここで開示される代表的な例としての実施形態は、これらの形態の一つを示したものに過ぎないが、当業者であれば、本発明の範囲を逸脱することなく、これらの形態のうちいずれの形態でも各構成要素を実現することができることは、理解できるであろう。

発光ダイオード（ＬＥＤ）のバックライトを用いる液晶ディスプレイ（ＬＣＤ）を備えたハイダイナミックレンジ（ＨＤＲ）のディスプレイにおいては、バックライトＬＥＤを調整するための低解像度のＬＥＤ画像と、高解像度のＬＣＤ画像とに、入力画像を変換するアルゴリズムを使用することができる。高コントラストと電力の節約とを実現するために、バックライトはできるだけ高いコントラストを備えているべきである。高解像度のＬＣＤ画像と組み合わされたバックライト画像のコントラストが高いほど、そのようなバックライト画像は、従来の方法を用いたディスプレイよりも、非常に高いダイナミックレンジを持つ画像を生成することができる。しかしながら、高コントラストのバックライトには、動きによってフリッカが誘発されるという問題がある。動いているオブジェクトがＬＥＤの境界を跨ぐと、バックライトに突然の変化が起こる。この過程で、いくつかのＬＥＤは光の出力量を減らし、いくつかのＬＥＤは光の出力量を増やす。これにより、対応するＬＣＤは、急激に変化して、バックライトの急激な変化を補正する。ＬＥＤの駆動とＬＣＤの駆動とのタイミングの差、または、補正の誤差により、表示出力の変動が発生し、これにより、動いているオブジェクトにそって発生するフリッカが目立ってしまう。現状の解決策は無限インパルス応答（ＩＩＲ）フィルタ処理を用いて、時間遷移を滑らかにするものであるが、これは正確でなく、また、ハイライトのクリッピングを生ずることもある。

偏光板の消光比および液晶（ＬＣ）材質の欠陥により、ＬＣＤのダイナミックレンジには限界がある。高ダイナミックレンジの画像を表示するために、低解像度のＬＥＤバックライトシステムを用いて、ＬＣＤに供給する光を調節することができる。調節されたＬＥＤバックライトとＬＣＤとを組み合わせることによって、非常に高いダイナミックレンジ（ＨＤＲ）のディスプレイを実現することができる。コスト上の理由により、ＬＥＤは、一般的に、ＬＣＤよりも空間解像度が非常に低い。ＬＥＤの解像度が低いために、ＨＤＲディスプレイは、この技術に基づいて、高い空間解像度の非常に動きのあるパターンを表示することはできない。しかし、非常に明るい領域（＞２０００ｃｄ／ｍ^２）と非常に暗い領域（＜０．５ｃｄ／ｍ^２）とを同時に持つような画像を表示することができる。ヒトの眼は、局所的な領域に対するダイナミックレンジが限られているため、通常の使用においては、このことは重大な問題にはならず、視覚マスキングにより、高い空間周波数のコンテンツの限られたダイナミックレンジをほとんど認識することはない。

調節されたＬＥＤバックライトのＬＣＤが持つ別の問題は、動きの軌跡にそったフリッカ（すなわち、表示出力の変動）である。これは、ＬＥＤの点像分布関数（ＰＳＦ）の誤差とともに、ＬＣＤとＬＥＤとの時間応答のミスマッチが原因となり得る。いくつかの実施形態は、フリッカによるアーティファクトを低減するための時間ローパスフィルタ処理を含んでいるが、これは正確でなく、また、ハイライトのクリッピングを生ずることもある。本発明の実施形態では、動き適応型ＬＥＤ用駆動アルゴリズムを用いてもよい。動き検出から動きマップを導出してもよい。いくつかの実施形態では、ＬＥＤ駆動値が、動きステータスにも依存してよい。動き領域では、結果的に得られるバックライトのコントラストを低減させるように、ＬＥＤ駆動値を導出することもできる。コントラストを低減させることによって、動きの軌跡において知覚されるフリッカの効果も低減させられる。

図１を参照しながら、本発明のいくつかの実施形態を説明する。図１は、ＬＥＤ層２を備えたＨＤＲディスプレイを概略的に示している。ＬＥＤ層２は、ＬＣＤ層６のバックライトとして、アレイ状に配置された個々のＬＥＤ８を備えている。ＬＥＤ層２の各ＬＥＤのアレイから発した光は、拡散層４を通過してＬＣＤ層６を明るくする。

いくつかの実施形態において、バックライト画像は、次の数式（１）によって与えられる。

ここで、ＬＥＤ（ｉ，ｊ）は、バックライトアレイの各ＬＥＤのＬＥＤ出力レベルである。ｐｓｆ（ｘ，ｙ）は、拡散層の点像分布関数である。「＊」は、畳み込み演算を示している。バックライト画像は、さらに、ＬＣＤによって調整される。

表示される画像は、ＬＥＤバックライトとＬＣＤの透過率：Ｔ_ＬＣＤ（ｘ，ｙ）との積である。

ＬＥＤとＬＣＤとを組み合わせることによって、ディスプレイのダイナミックレンジが、ＬＥＤのダイナミックレンジとＬＣＤのダイナミックレンジとの積になる。単純化のために、いくつかの実施形態では、０と１との間に正規化されたＬＣＤ出力およびＬＥＤ出力を使用する。

本発明のいくつかの好適な実施形態について、図２を参照しながら説明する。図２は、入力画像を低解像度のＬＥＤバックライト画像と高解像度のＬＣＤ画像とに変換するアルゴリズムのフローチャートを示している。ＬＣＤの解像度はｍ×ｎ画素であり、各画素は、黒を表わす０から、最大の透過率を表わす１までの範囲の値を取る。ＬＥＤの解像度はＭ×Ｎ画素（Ｍ＜ｍ、Ｎ＜ｎ）である。入力画像の解像度は、ＬＣＤ画像の解像度と同じであると仮定する。もし、入力画像が異なる解像度を持つ場合、入力画像の解像度をＬＣＤ画像の解像度に変換するために、スケーリングの工程またはクロッピングの工程を使用してもよい。いくつかの実施形態では、入力画像は０から１までの値に正規化されてもよい。

これらの実施形態において、画像にローパスフィルタ処理およびサブサンプリング（Ｓ１２）を施すことにより、中間解像度の画像を生成してもよい。いくつかの実施形態において、中間解像度は、ＬＥＤのアレイサイズの倍数（すなわち、ａＭ×ａＮ）であってもよい。好適な実施形態では、中間解像度は、ＬＥＤの解像度の８倍（すなわち、８Ｍ×８Ｎ）であってもよい。動きを検出するため、およびスペキュラーハイライトを失わないようにするため、さらに高い解像度を用いてもよい。中間解像度画像の最大値が、ブロック最大値画像（ＬＥＤｍａｘ、解像度はＭ×Ｎ）１４を形成する。このブロック最大値画像は、各ブロックに対応する中間解像度画像（ａＭ×ｓＮ）の最大値を取って、Ｍ×Ｎ画像を形成することによって形成してもよい。ブロック最大値画像に使用された各ブロックの平均値を取ることによって、ブロック平均画像１６をさらに作成してもよい。

いくつかの実施形態では、このブロック平均画像１６にトーンマッピング処理を施してもよい（Ｓ２０）。いくつかの実施形態では、図３に示すように、１Ｄ ＬＵＴを用いてトーンマッピングを実施してもよい。これらの実施形態では、暗い領域のバックライトをわずかばかり高くするように、トーンマッピング曲線が暗オフセット（dark offset）５０および拡張非線形性（expansion nonlinearity）５２を備えていてもよい。このことが、暗ノイズ（dark noise）および圧縮によるアーティファクトの視認性を低減するように作用する。トーンマッピングされたブロック平均画像およびブロック最大値画像の最大値が生成され（Ｓ１８）、目標とするバックライト値、すなわちＬＥＤ１として使用される。これらの実施形態は極大値を考慮に入れており、こうすることによってスペキュラーハイライトを保存する。ＬＥＤ１は目標とするバックライトのレベルであり、その大きさはアクティブなバックライト素子の個数（Ｍ×Ｎ）と同じである。

発光強度の変動という形態のフリッカは、オブジェクトがＬＥＤの境界を跨いで運動するときに観察される。このオブジェクトの運動は、ＬＥＤ駆動値を急激に変化させることがある。理論的には、バックライトの変化はＬＣＤによって補正可能である。しかし、ＬＥＤとＬＣＤとの間のタイミングの違い、および補正値を算出する際に使用されるＰＳＦとＬＥＤの実際のＰＳＦとのミスマッチが原因となり、通常、わずかな発光強度のバラツキがいくらかは存在する。この発光強度のバラツキは、眼がオブジェクトの動きを追っていないときには目立たないかもしれないが、眼がオブジェクトの動きを追っているときには、このわずかな発光強度の変化が周期的な変動になることがある。変動の周波数は、ビデオフレームレートと、１フレーム当たりのＬＥＤのブロック数で表したオブジェクトの移動の速さとの積である。オブジェクトが８個のビデオフレームの間にＬＥＤのブロックを１つ跨いで運動し、ビデオフレームレートが６０であるとすれば、フリッカ周波数は６０ｈｚ＊０．１２５＝７．５Ｈｚとなる。この値はフリッカに対するヒトの視覚感度のピークにほぼ等しく、その結果として、非常に目障りなアーティファクトが起こり得る。

この動きに起因するフリッカを低減するために、動き適応型アルゴリズムを使用して、オブジェクトがＬＥＤのグリッドを跨いで運動するときに、突然のＬＥＤの変化を低減してもよい。動き検出（Ｓ２２）を使用して、ビデオ画像を動き領域および静止領域の２つのクラスに分割してもよい。動き領域では、バックライトのコントラストが低減され、その結果、ＬＥＤ駆動値が突然の変化を起こさないようになる。静止領域では、バックライトのコントラストが保存されて、コントラスト比が改善され、消費電力が低減される。

動き検出を、ａＭ×ａＮの解像度でサブサンプリング済みの画像に対して実施してもよい。現フレームにおける値を、前フレームにおける対応するブロックと比較することもできる。その差が閾値より大きければ、このブロックを含むバックライトのブロック（発光素子）を、動きブロック（動き要素）に分類すればよい。好適な実施形態では、各バックライトのブロックが８個×８個のサブ素子を含む。中間解像度におけるサブ素子（サブブロック）は、入力画像における複数の画素からなる互いに異なる組にそれぞれ対応する。いくつかの好適な実施形態では、動き検出の過程を以下のように実施すればよい。

各フレームについて、
１．現フレームの入力画像における各サブ素子（サブブロック）の（に特徴的な）平均画素値を算出する。
２．このフレームにおける平均値と前フレームのサブ素子の平均値との差が、閾値（例えば、好適な実施形態では、全範囲の５％）より大きければ、そのサブ素子を含むバックライトのブロックを、動きブロックに分類する。このようにして、第１の動きマップを生成すればよい。
３．第１の動きマップに対して形態的膨張処理（morphological dilation operation）またはその他の画像処理を実施（動きブロックに隣接する静止ブロックを動きブロックに変更）して、拡大された第２の動きマップを生成する。
４．各バックライトのブロックについて、動き検出の結果に基づいて動きステータスマップを更新する。具体的には、動きブロックである場合には、

そうでなければ（つまり、静止ブロックである場合には）、

となる。

ＬＥＤ駆動値は次式によって与えられる。

ここで、ＬＥＤ_ｍａｘは、現在のＬＥＤ（ＬＥＤ_１）を中心とするウィンドウ内でのＬＥＤの極大値である。一例としては、３×３のウィンドウが挙げられる。別の例としては、５×５のウィンドウが挙げられる。このようにして、動きステータス要素（ｍＭａｐ_ｔ）は、動きが検出された場合には最大値まで増加し、動きが検出されない場合には最小値まで減少する。

いくつかの実施形態では、動き評価を使用してもよい。これらの実施形態では、ウィンドウは動きベクトルに揃えられている。いくつかの実施形態では、ウィンドウは１次元で、動きベクトルの方向に揃えられていてもよい。この手法によって、ウィンドウのサイズが低減され、動きのない方向ではコントラストが保存される。ただし、動きベクトルの計算は、単純な動き検出に比べてはるかに複雑である。いくつかの実施形態では、動きベクトルの値を使用して、拡大された動きマップを作成してもよい。いくつかの実施形態では、動きベクトルの値を、０から１までの値に正規化してもよい。いくつかの実施形態では、０より大きいどの動きベクトルの値に対しても、１の値を付与してもよい。このとき、動きステータスマップは上述のように生成することができ、ＬＥＤ駆動値が数式（３）にしたがって算出できる。ただし、ＬＥＤｍａｘは、動きベクトルに揃えられた１Ｄウィンドウを利用して決定される。

より一様なバックライト画像を提供するために、ＬＥＤのＰＳＦがＬＥＤの間隔に比べて大きい。そのため、互いに近接するＬＥＤ素子の間には、かなりのクロストークが存在する。図４は、一般的なＬＥＤのＰＳＦを示しており、照明の中心円の内部にある黒い線５５は、ＬＥＤアレイ素子間の境界を示している。図４から、ＰＳＦがＬＥＤ素子の境界を越えて延びることがわかる。

各ＬＥＤのＰＳＦであるため、どのＬＥＤも、隣接する各ＬＥＤからの影響を受ける。数式（２）を用いてバックライトを計算することは可能であるが、ＬＥＤを駆動するある信号が与えられたときに、目標とするバックライト画像を得るようなＬＥＤ駆動信号を導出することは、逆問題である。すなわち、これは不適切な逆畳み込み問題である。数式（３）に示す畳み込みカーネルを用いてＬＥＤ駆動信号を導出するのが１つのアプローチである。クロストーク補正カーネル係数（ｃ_１およびｃ_２）は負であり、隣接するＬＥＤからのクロストークを補正する。

クロストーク補正行列は、すぐ隣のＬＥＤからのクロストークの影響を低減するが、得られるバックライト画像は、コントラストが低すぎて依然不正確である。さらに、切り捨てる必要があり、また、より多くの誤差の原因となり得る、範囲外の駆動値を多数生成するという別の問題もある。

ＬＣＤ出力は１より大きくはなり得ないので、例えば次の式のように、バックライトが目標とする輝度Ｉ（ｘ，ｙ）より大きくなるように、ＬＥＤ駆動値が導出されなければならない。

数式（５）において、「：」は、中括弧内の関数が望ましいＬＥＤ値を取るような制約条件を示すために用いられている。コントラスト比（ＣＲ）が限定されているため、漏れにより、ＬＣＤ（ｘ，ｙ）は０にはなり得ない。目標とする値がＬＣＤの漏れより小さいとき、ＬＥＤ値を減らして暗輝度を再現することにより、この問題は解決される。

いくつかの実施形態では、全体のＬＥＤ出力が低減されるか、または最小化されるように、消費電力を低減することをもう一つの目的としてもよい。

フリッカは、ＬＣＤとＬＥＤとのミスマッチをともなったまま組み合わされたＬＥＤの非定常応答が原因となり得る。ミスマッチは、空間的なミスマッチおよび時間的なミスマッチのいずれでもあり得る。フレーム間の全体のＬＥＤ出力の変動を低減することにより、フリッカを低減または最小化することができる。

ここで、ｖ_ｘおよびｖ_ｙは、ＬＥＤのブロック数で表した移動の速さである。

本発明のいくつかの実施形態では、斜めから見る場合の画質問題を取り扱う。斜めから見る場合の２つの画質問題は、（１）コントラスト比の低下および（２）色シフトである。一つ目の問題は数式（６）および数式（７）を用いて軽減可能であるが、色シフトも、ＬＥＤ駆動値を最適化することによって最小化できる。色は、ＣＩＥ ＸＹＺ、ＣＩＥＬａｂ、ＣＩＥＬｕｖなどのＣＩＥ座標によって規定すればよく、Ｒ／Ｇ、Ｂ／Ｇなどの、各ＲＧＢチャンネルの相対的な発光強度（画素色チャンネル値）によって、色を近似することができる。色シフトを低減するためには、斜めの位置から見る際にこれら２つの比を変化させなければよい。

いくつかの実施形態では、数式（９）に示す関係を実現してもよい。

ここで、下付きの０は、通常の視認（ディスプレイの面に対して垂直な方向からの視認）を示し、下付きのθは、斜め方向からの視認（通常の視認方向から例えば４５°）を示している。出力チャンネルＲ、Ｇ、Ｂは、バックライトとＬＣＤの透過率との積であって、数式（１０）によって与えられる。

ＬＣＤの透過率だけが、角度に対して依存性を有する。いくつかの実施形態では、ＬＥＤ駆動値を最適化することによって、色の比を最小化してもよい。具体的には、ディスプレイから出力された光は、ＬＥＤから出た光がＬＣＤを通り抜けた結果である。ＬＥＤ駆動値（バックライト照明値）とＬＣＤの駆動値（画素素子コード値）との組み合わせは、理論的には無限である。特定の色値では、視野角に対するＬＣＤ出力の依存性を低減するために、ＬＥＤ駆動値を高くしてもよい。数式（５）〜数式（１０）を組み合わせると、以下の数式（１１）が得られる。

いくつかの実施形態では、数式（１１）を満たすバックライト値を導出するアルゴリズムが、次の各ステップを備えている。
１．ＬＥＤ＞０という制約条件の下で、ＬＥＤ駆動値を導出するシングルパスルーチン。
２．後処理：１（最大値）より大きい駆動値を持つＬＥＤについて、閾値処理を施して１にし、その後、異方性誤差の拡散処理を用いて、誤差を隣接するＬＥＤに拡散させる。
３．斜めから見る場合の色の比を最小化するために、制約条件を最適化する。

目標とする値からＬＥＤ駆動値を導出することは、ハードウェアでの実行が困難な、反復アルゴリズムを必要とする不適切な問題である。本発明のいくつかの実施形態の方法は、シングルパス法として実行可能である。これらの実施形態を、図５を参照して説明する。これらの実施形態では、ＬＥＤ駆動値が、新しいフレーム６０について決定される。これらの値は、目標とするバックライト（ＢＬ）と前のバックライト（ＢＬ_ｉ−１）との差を用いて決定（Ｓ６２）されてもよい。この差をスケーリング係数（β）によってスケーリングしてもよく、このスケーリング係数（β）は、いくつかの実施形態では、ＰＳＦの合計の逆数の０．５倍から２倍の範囲にある。前バックライト値を、ＢＬバッファ６４から抽出してもよい。新しい駆動値（ＬＥＤ_ｉ）は、前ＬＥＤ駆動値（Ｌｅｄ_ｉ−１）とスケーリングされた差との合計である。新しいバックライトは、新しいＬＥＤ_ｉ駆動値とＬＥＤのＰＳＦ６８との畳み込みによって評価すればよい（Ｓ６６）。

いくつかの実施形態では、シングルパスアルゴリズムから導出されたＬＥＤ駆動値６７が、０未満になることも、１を超えることもある。ＬＥＤは０（最小）と１（最大）との間でしか駆動できないので、これらの値を切り捨てて（クリッピングして）、０または１にしてもよい。切り捨てて０にしても数式（５）は依然満たされるが、切り捨てて１にすると数式（５）は依然満たされなくなる。このように切り捨てをすると、バックライト照明が不足する。いくつかの実施形態では、この不足を、隣接する各ＬＥＤの駆動値を増加させることによって補正してもよい。いくつかの実施形態では、この補正を誤差拡散処理によって実施してもよい。代表的な例としての誤差拡散処理を、図６に示す。

いくつかの実施形態では、後処理アルゴリズムを用いて、この誤差を以下のように拡散させる。
１．ｌｅｄ_ｉ，ｊ＞１について
２．ｔｍｐＶａｌ＝ｌｅｄ_ｉ，ｊ−１
３．ｌｅｄ_ｉ，ｊ＝１と設定する
４．隣接する４つのＬＥＤを昇順で並べる。
５．もし（ｍａｘ−ｍｉｎ＜ｍｉｎ（ｄｉｆｆＴｈｄ，ｔｍｐＶａｌ／２））であれば、隣接するＬＥＤをすべてｔｍｐＶａｌ／２増加させる。そうでなければ、ｅｒｒＷｅｉｇｈｔ＊ｔｍｐＶａｌ＊２増加させる。
ここで、ｅｒｒＷｅｉｇｈｔは、順位に基づいた誤差拡散係数の配列である。好適な実施形態では、ｅｒｒＷｅｉｇｈｔ＝［０．７５ ０．５ ０．５ ０．２５］であって、最大の係数は、駆動値が最も低い隣接ＬＥＤのためのものであり、最小の係数は、駆動値が最も高い隣接ＬＥＤのためのものである。

いくつかの実施形態では、同様の拡散処理を用いて、誤差を角部にある隣接ＬＥＤ拡散させて、小さなオブジェクトの明るさをさらに増加させもよい。

いくつかの実施形態では、視野角の影響を低減するために、斜めから見る場合には、色の比（Ｒ／ＧおよびＢ／Ｇ）を変化させなくてもよい。図７は、視野角０°および４５°で正規化されたＬＣＤの透過率を示している。正規化された透過率は、４５°では低い階調において引き上げられている。（１５０、５０、０）の色の場合、一様なバックライトを実現するために、ＲＧの比（Ｒ／Ｇ）は通常の１０．６から斜め４５°の３まで変化する。ＬＣＤの透過率の角度に対する依存性は、高い階調では比較的低いので、ＬＣＤが高い階調で動作するように、バックライトを低減することが好適である。バックライトが１／３まで下げられると、赤のデジタルカウント値が２５２になり、緑のデジタルカウント値が９０になる。４５°におけるＲ／Ｇは５になり、これが係数１．６７で色シフトを改善する。緑のバックライトがさらに１０％まで低減されると、緑のチャンネルのデジタルカウント値が１４０になり、４５°におけるＲ／Ｇは８になる。赤のバックライトが１００％まで増やされると、４５°におけるＲ／Ｇは１０．５になり、これは通常の視認とほぼ同じである。

上記手法は、一様なパッチを適用する場合に機能する。現実の画像の場合、ＬＥＤの解像度がＬＣＤの解像度よりずっと低いので、すべての画素について色シフトをゼロにすることは不可能である。色シフトの知覚のし方は、色が異なると異なる。ある色は他の色に比べて重要であり、重要な色の１つの例が肌色である。肌色では、わずかな色シフトであっても容認できない。もう一つの重要な色は中性色である。白いバックライトの場合、中性色は保存されるものの、バックライトを調節すると、視野角によって誘発される色シフトが発生することがある。こういった目的で、これらの重要な色は検出および管理される。

視野角によって誘発される色シフトを、重要な色について算出してもよい。色シフトが容認できないものであれば、図８に示すように色シフトを最小化するように、バックライトＬＥＤ駆動値を調節すればよい。例えば、図８では、ビデオデータ１１０を取得すると、キーカラー検出（Ｓ１１１）およびＬＥＤバックライト駆動値（Ｓ１１２）の生成が決定される。この決定に基づいて、色シフト評価（Ｓ１１３）が実施され、ＬＥＤの駆動値およびＬＣＤの駆動値１１４が評価にしたがって決定される。図７に示すように、ＬＣＤが比較的高いレベルで動作し、したがってバックライトＬＥＤが可能な限りできるだけ低くなる場合、色シフトは低減される。バックライトが比較的低い場合、ハイライト領域の一部にクリッピングを生ずることもある。わずかな量のクリッピングであれば通常容認できるが、大きな量のクリッピングになると、容認できない程度の詳細部分の損失が生じことがある。いくつかの実施形態では、上記アルゴリズムによって、ＣＩＥＬＡＢなどのメリット関数、またはＳ−ＳＣＩＥＬＡＢ、ＣＶＤＭなどのビジュアルシステムモデルをベースにしたメリット関数に基づいて、色シフトとクリッピングとの釣り合いを取ることができる。

色シフトが依然容認できない程度であれば、バックライトが重要な色（例えば肌色）とほぼ同じ色温度を有するように、優勢的な色のＬＥＤ駆動値を増加させてもよい。これによって、すべての色チャンネルにおいて、ほぼ同じＬＣＤ駆動値が実現できる。ＬＣＤの駆動値がほぼ同じである結果、発生する色シフトは小さくなる。ＬＥＤバックライトを増加させると消費電力および漏れが増加するが、これらの相容れがたい要件の間で釣り合いを取って、色シフトと消費電力との両方を最小化することが可能である。

状況によっては、ＬＥＤ出力が駆動値に対して非線形となることがあり、駆動値が整数値であれば、逆ガンマ補正および量子化を実施して、ＬＥＤ駆動値を決定することができる。図９に、ＬＥＤ値に対する代表的な例としての逆ガンマ補正処理を示す。この逆ガンマ補正処理では、正規化されたＬＥＤ出力値７０が、トーンスケーリング曲線７２を介して、駆動値７４に変換される。

ＬＥＤの駆動は、一般にパルス幅変調（ＰＷＭ）を用いて行われ、ＬＥＤの駆動電流は固定され、この電流の流れる期間、つまり「オン」となる期間が光の出力量を決定する。このパルス幅を利用した駆動を６０Ｈｚのフレームレートで行うと、フリッカが発生する。したがって、従来の方法では、通常２つのＰＷＭパルスが使用される。こうすることによって、バックライトのリフリッシュレートが２倍になり、その結果、フリッカは減少するまたは発生しなくなる。ただし、２つのＰＷＭパルスを使用することによって、デューティサイクルが高いと動きがぼやけてしまい、デューティサイクルが低いとゴーストが発生する（輪郭が二重になる）。フリッカと動きのぼやけの両方を低減するために、動き適応型ＬＥＤ駆動（Ｓ２４）を利用してもよい。図１０は、ディスプレイ８４中の、ＬＥＤドライバ８０およびＬＥＤバックライト素子８２の構成を示す。

上から下へ向けてＬＣＤを駆動する際の時間の差を補正するために、ブランク信号を用いて、ＰＷＭ駆動をＬＣＤの駆動と同期させる。これらの実施形態を、図１１を参照してさらに説明する。これらの実施形態では、ブランク信号は、鉛直方向の位置に応じて右へシフトする。ブランク信号の中には２つの「オン」パルス９２および９３が存在し、２つのＰＷＭパルスを発生させる。ＶＢＲ_ｎ９４およびＶＢＲ_ｎ＋１９５は、２つの垂直帰線戻り（vertical blanking retracing）信号であって、ＬＣＤフレーム期間９６を規定する。各ＬＣＤフレームについて、２つのＬＥＤ ＰＷＭパルス９２および９３が存在する。２つのＰＷＭパルス間の期間（Ｔ_{ｏｆｆｓｅｔ２}−Ｔ_{ｏｆｆｓｅｔ１}）９１は、ＬＣＤフレーム期間９６のちょうど半分である。Ｔ_{ｏｆｆｓｅｔ１}９０およびＴ_{ｏｆｆｓｅｔ２}９１は、ＬＣＤの駆動と同期するように、ブランク信号に基づいて調節されている。デューティサイクルが比較的短い（つまり、デューティサイクルが１００％未満）の場合、Ｔ_{ｏｆｆｓｅｔ１}９０およびＴ_{ｏｆｆｓｅｔ２}９１は、右へシフトされるはずであり、その結果、ＰＷＭ「オン」状態は、ＬＣＤの時間応答曲線の平坦な部分で発生する。

１つのＬＣＤにおいて２つのＰＷＭパルスを使用することによって、動き適応型バックライト（ＢＬ）点灯が可能になる（Ｓ２６）。動きが検出されなければ、２つのＰＷＭパルスは同じ幅であってもよいが、１ＬＣＤフレーム期間の半分だけ、時間についてずらしてもよい。ＬＣＤのフレームレートが６０Ｈｚであれば、知覚される画像は、実際には１２０Ｈｚであり、こうすることによって、フリッカの知覚を一掃する。動きが検出されれば、第１のＰＷＭパルス９２は低減または一掃され、その一方で、第２のＰＷＭパルス９３の幅が増加して、全体的な明るさを維持する。第１のＰＷＭパルス９２を一掃することによって時間アパーチャが大幅に低減され、これによって動きのぼやけが低減される。

図１２は、ＬＥＤ駆動における、ＰＷＭパルスを示している。ＬＥＤの発光強度がＩ｛０，１｝であり、デューティサイクルλが｛０，１００％｝であると仮定すれば、ＬＣＤのフレーム期間に対する割合で表したＰＷＭの「オン」期間は、次式によって与えられる。

いくつかの実施形態では、動き適応型バックライト点灯の出力（Ｓ２６）は、ＬＥＤドライバ回路３０に出力される前に、逆ガンマ補正を受けてもよい（Ｓ２８）。

いくつかの実施形態では、逆ガンマ補正（Ｓ２８）の後に、出力がガンマ補正を受けてもよい（Ｓ４４）。次のステップでは、バックライト画像をＬＥＤから予測する。ＬＥＤ画像をＬＣＤの解像度（ｍ×ｎ）にまでアップサンプリングして（Ｓ４２）、ＬＥＤのＰＳＦを用いて畳み込み処理を施して（Ｓ４０）、ＬＥＤバックライト画像（ＬＥＤ＿ＢＬ）３８を得てもよい。

ＬＣＤの透過率は数式（１３）を使って決定すればよく、ＨＤＲの入力画像はＬＥＤ＿ＢＬ（Ｓ３６）によって分割される。

いくつかの実施形態では、ＬＥＤドライバ回路３２に出力する前に、逆ガンマ補正（Ｓ３４）をさらに実施し、ＬＣＤの非線形応答を（図１３に示すように）補正してもよい。これらの実施形態では、正規化されたＬＣＤの透過率の値１００を、トーンスケーリング曲線１０２を用いて、ＬＣＤの駆動値１０４にマッピングしてもよい。

まとめると、ディスプレイバックライトアレイのためのバックライト画像を生成する方法が提供され、この方法は、
ａ）第１の色チャンネルおよび第２の色チャンネルの画素色チャンネルコード値を含む入力画像を取得するステップと、
ｂ）正面視野角および斜め視野角において、複数の入力コード値に対するＬＣＤディスプレイの透過率データを決定するステップと、
ｃ）上記透過率データに基づいて、正面視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第１の比を決定するステップと、
ｄ）上記透過率データに基づいて、斜め視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第２の比を決定するステップと、
ｅ）上記第１の比と上記第２の比との差を決定するステップと、
ｆ）バックライト照明値および画素素子コード値を調節し、上記差を最小化するステップとを含む。

上記方法は、さらに、
ａ）上記透過率データに基づいて、正面視野角において、第３の色チャンネル値の表示出力と上記第２の色チャンネル値の表示出力との第３の比を決定するステップと、
ｂ）上記透過率データに基づいて、斜め視野角において、上記第３の色チャンネル値の表示出力と上記第２の色チャンネル値の表示出力との第４の比を決定するステップと、
ｃ）上記第３の比と上記第４の比との第２の差を決定するステップとをさらに含み、
ｄ）上記バックライト照明値および上記画素素子コード値を調節するステップは、上記第２の差を最小化するステップを含む。

さらに、上記斜め視野角は４５°であり、正面視野角は上記ディスプレイの面に対して垂直である。

上記第１の色チャンネルは赤であり、上記第２の色チャンネルは緑であり、上記第１の比は赤／緑である。

上記第３の色チャンネルは青であり、上記第２の色チャンネルは緑であり、上記第２の比は青／緑である。

上記方法は、さまざまなバックライト照明値についてクリッピングの程度を決定し、このクリッピングと上記差の最小化とのバランスを取るステップをさらに含む。

上記方法は、優勢的な色の色温度に合わせて、バックライトの色値を調節するステップをさらに含む。この優勢的な色は、肌色または中性色である。

ディスプレイバックライトアレイのためのバックライト画像を生成するもう一つの方法は、
ａ）第１の解像度の画像を表わす画素値の配列を含む入力画像を取得するステップと、
ｂ）上記入力画像をサブサンプリングし、中間解像度画像を作成するステップであって、上記中間解像度画像は第１の解像度より低い解像度を有し、また、上記中間解像度画像は複数のサブブロック値を含み、この各サブブロック値は入力画像における複数の画素値からなる互いに異なる組にそれぞれ対応するステップと、
ｃ）入力画像の複数の画素値からなる組のそれぞれについて、現フレームのサブブロックの特徴を決定するステップと、
ｄ）前フレームにおいて、入力画像の複数の画素値からなる組について、前フレームのサブブロックの特徴を決定するステップと、
ｅ）この前フレームのサブブロックの特徴を現フレームのサブブロックの特徴と比較することによって、各バックライト素子に対する動き要素を含む動きマップを作成するステップであって、バックライト素子の解像度が上記中間解像度未満であり、複数のサブブロックからなる組が上記動き要素のうちの一つに対応し、動き要素のうちの一つは、この動き要素に対応する特定のサブブロックの前フレームのサブブロックの特徴のうちの一つが、この特定のサブブロックに対応する現フレームのサブブロックの特徴と大きく異なるときに、動きを示す動き要素であるステップと、
ｆ）上記動き要素のそれぞれに対応する動きステータス要素を含む動きステータスマップを作成するステップであって、この動きステータス要素の値は、前フレームの対応する動きステータス要素が動きを示すときに最大値まで増加し、前フレームの対応する動きステータス要素が動きを示さないときに最小値まで減少するステップと、
ｇ）現ＬＥＤ駆動値を含むウィンドウ中でＬＥＤの極大値を算出するステップと、
ｈ）上記現ＬＥＤ駆動値と上記ＬＥＤの最大値とを加重して組み合わせたものである更新済みＬＥＤ駆動値を算出するステップと、
ｉ）上記ディスプレイバックライトアレイに結合されたＬＣＤアレイについて、正面視野角および斜め視野角において、複数の入力コード値に対応する透過率データを決定するステップと、
ｊ）上記透過率データに基づいて、正面視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第１の比を決定するステップと、
ｋ）上記透過率データに基づいて、斜め視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第２の比を決定するステップと、
ｌ）上記第１の比と上記第２の比との差を決定するステップと、
ｍ）上記更新済みＬＥＤ駆動値および対応する画素素子コード値を調節し、上記差を最小化するステップとを含んでいてもよい。

さらに、上記方法は、入力画像にローパスフィルタ処理を施し、上記中間解像度画像を作成するステップを含む。

上記前フレームのサブブロックの特徴および現フレームのサブブロックの特徴は、これらのサブブロックに対応する画素の平均画素値である。

上記最大値は４であり、最小値は０である。

上記動きステータス要素が動きを示す動き要素に対応するとき、上記動きステータスマップの作成ステップは、最小値が４であり、前フレームにおいて対応する動きステータス要素の動きステータス要素より１大きい値を、動きステータス要素に付与するステップを含む。

さらに、上記動きステータス要素が動きを示さない動き要素に対応するとき、上記動きステータスマップの作成ステップは、最大値が０であり、前フレームにおいて対応する動きステータス要素の値より１小さい値を、動きステータス要素に付与するステップを含む。

上記更新済みＬＥＤ駆動値は、

（ただし、ＬＥＤ２は更新済みＬＥＤ駆動値であり、ｍＭａｐは更新済みＬＥＤ駆動値に対応する動きステータス要素の値であり、ＬＥＤ１は入力画像のコンテンツに基づく現ＬＥＤ駆動値であり、ＬＥＤｍａｘはＬＥＤの極大値である）を用いて算出される。

上記ＬＥＤの最大値ウィンドウは、上記現ＬＥＤ駆動値を中心とした正方形状のウィンドウである。

上記ＬＥＤの最大値ウィンドウは、上記現ＬＥＤ駆動値に対応する動きベクトルに揃えられた１次元のウィンドウである。

上述した説明において採用された用語や表現は、説明のための用語として用いられるものであり、何ら限定を伴うものではない。また、これらの用語および表現の使用において、ここで説明された特徴に相当するものまたはその一部を排除するなんらの意図もない。

このように記述された本発明は、様々に変更可能であることは明らかである。そのような変更は本発明の意図および範囲から逸脱するものではなく、当業者にとって明らかであるそのような全ての変更は、以下の請求項の範囲に含まれる。

Claims (20)

1. 配列された発光素子を有するバックライト層と、拡散層と、表示パネルとを備えた表示装置のための方法において、上記バックライト層のためのバックライト画像を生成する方法であって、
   ａ）第１の色チャンネル値および第２の色チャンネル値の画素色チャンネル値を含む入力画像を取得するステップと、
   ｂ）正面視野角および斜め視野角において、複数の画素色チャンネル値に対する上記表示パネルの透過率データを決定するステップと、
   ｃ）上記透過率データに基づいて、正面視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第１の比を決定するステップと、
   ｄ）上記透過率データに基づいて、斜め視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第２の比を決定するステップと、
   ｅ）上記第１の比と上記第２の比との差を決定するステップと、
   ｆ）上記バックライト層の、バックライト照明値および画素素子コード値を調節し、上記差を最小化するステップとを含む方法。
2. ａ）上記透過率データに基づいて、正面視野角において、第３の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第３の比を決定するステップと、
   ｂ）上記透過率データに基づいて、斜め視野角において、第３の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第４の比を決定するステップと、
   ｃ）上記第３の比と上記第４の比との第２の差を決定するステップとをさらに含み、
   ｄ）上記バックライト照明値および上記画素素子コード値を調節するステップは、上記第２の差を最小化するステップを含む、請求項１に記載の方法。
3. 上記斜め視野角が、上記表示装置の面に対して垂直な視野角から４５°である、請求項１に記載の方法。
4. 上記正面視野角が、上記表示装置の面に対して垂直である、請求項１に記載の方法。
5. 上記第１の色チャンネル値が赤であり、上記第２の色チャンネル値が緑であり、上記第１の比が赤／緑である、請求項１に記載の方法。
6. 上記第３の色チャンネル値が青であり、上記第２の色チャンネル値が緑であり、上記第３の比が青／緑である、請求項２に記載の方法。
7. 上記バックライト層のさまざまなバックライト照明値についてクリッピングの程度を決定し、このクリッピングと上記差の最小化とのバランスを取るステップをさらに含む、請求項１に記載の方法。
8. 上記入力画像において優勢的な色の色温度に合わせて、上記バックライト層の駆動値を調節するステップをさらに含む、請求項１に記載の方法。
9. 上記優勢的な色が肌色である、請求項８に記載の方法。
10. 上記優勢的な色が中性色である、請求項８に記載の方法。
11. 配列された発光素子を有するバックライト層と、拡散層と、表示パネルとを備えた表示装置のための方法において、上記バックライト層のためのバックライト画像を生成する方法であって、
    ａ）第１の解像度の入力画像を表わす画素値の配列を含む入力画像を取得するステップと、
    ｂ）上記入力画像をサブサンプリングし、中間解像度画像を作成するステップであって、上記中間解像度画像は第１の解像度より低い解像度を有し、また、上記中間解像度画像は複数のサブブロック値を含み、この各サブブロック値は入力画像における複数の画素値からなる互いに異なる組にそれぞれ対応するステップと、
    ｃ）現フレームにおいて、対応する各サブブロック中の複数の画素値の特徴を決定するステップと、
    ｄ）前フレームにおいて、対応する各サブブロック中の複数の画素値の特徴を決定するステップと、
    ｅ）前フレームの特徴を現フレームの特徴と比較することによって、上記発光素子のそれぞれに対する動き要素を含む動きマップを作成するステップであって、発光素子の解像度が上記中間解像度未満であり、複数のサブブロックからなる組が上記動き要素のうちの一つに対応し、動き要素のうちの一つは、この動き要素に対応する特定のサブブロックの前フレームの特徴のうちの一つが、この特定のサブブロックに対応する現フレームの特徴と大きく異なるときに、動きを示す動き要素であるステップと、
    ｆ）上記動き要素のそれぞれに対応する動きステータス要素を含む動きステータスマップを作成するステップであって、この動きステータス要素の値は、前フレームの対応する動きステータス要素が動きを示すときに最大値まで増加し、前フレームの対応する動きステータス要素が動きを示さないときに最小値まで減少するステップと、
    ｇ）上記バックライト層について、現駆動値を含む最大値ウィンドウ中で極大値を算出するステップと、
    ｈ）上記発光素子について、上記現駆動値と上記最大値とを加重して組み合わせたものである更新済み駆動値を算出するステップと、
    ｉ）上記バックライト層に結合された表示パネルについて、正面視野角および斜め視野角において、複数の画素色チャンネル値に対応する透過率データを決定するステップと、
    ｊ）上記透過率データに基づいて、正面視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第１の比を決定するステップと、
    ｋ）上記透過率データに基づいて、斜め視野角において、第１の色チャンネル値の表示出力と第２の色チャンネル値の表示出力との第２の比を決定するステップと、
    ｌ）上記第１の比と上記第２の比との差を決定するステップと、
    ｍ）上記更新済み駆動値および対応する画素素子コード値を調節し、上記差を最小化するステップとを含む方法。
12. 上記入力画像にローパスフィルタ処理を施し、上記中間解像度画像を作成するステップをさらに含む、請求項１１に記載の方法。
13. 上記前フレームの特徴および上記現フレームの特徴が、これらのサブブロックに対応する画素の平均画素値である、請求項１１に記載の方法。
14. 上記最大値が４である、請求項１１に記載の方法。
15. 上記最小値が０である、請求項１１に記載の方法。
16. 上記動きステータス要素が動きを示す動き要素に対応するとき、上記動きステータスマップの作成ステップが、最小値が４であり、前フレームにおいて対応する動きステータス要素の動きステータス要素の値より１大きい値を、動きステータス要素に付与するステップを含む、請求項１１に記載の方法。
17. 上記動きステータス要素が動きを示さない動き要素に対応するとき、上記動きステータスマップの作成ステップが、最大値が０であり、前フレームにおいて対応する動きステータス要素の値より１小さい値を、動きステータス要素に付与するステップを含む、請求項１１に記載の方法。
18. 上記更新済み駆動値が次の数式
    

    

    （ただし、ＬＥＤ_２は更新済み駆動値であり、ｍＭａｐは更新済み駆動値に対応する動きステータス要素の値であり、ＬＥＤ_１は入力画像のコンテンツに基づく現駆動値であり、ＬＥＤ_ｍａｘは極大値である）を用いて算出される、請求項１１に記載の方法。
19. 上記最大値ウィンドウが、上記現駆動値を中心とした正方形状のウィンドウである、請求項１１に記載の方法。
20. 上記最大値ウィンドウが、上記現駆動値に対応する動きベクトルに揃えられた１次元のウィンドウである、請求項１１に記載の方法。

Images