JP6163505B2 - デュアル変調器ディスプレイ上での高速画像レンダリング - Google Patents

Description

本発明は、２つの変調器を有するタイプのディスプレイ上に画像を表示するためのシステムおよび方法に関する。第１の変調器は、光のパターンを生成し、第２の変調器は、画像を形成するために第１の変調器が生成した光のパターンを変調する。

２００２年９月６日付けの国際特許出願ＷＯ０２／０６９０３０号および２００３年９月１８日付けの国際特許出願ＷＯ０３／０７７０１３号は、変調された光源層および変調された表示層を有するディスプレイを開示している。これら２つの国際特許出願は、参照によって本明細書に組み込むものとする。変調された光源層は、画像の比較的低い解像度の表示を生成するために駆動される。低解像度の表示は、観察者が見ることができるもっと高い解像度の画像を提供するように表示層により変調される。光源層は、発光ダイオード（ＬＥＤ）のような能動的に変調された光源のマトリクスを備えることができる。光源層の前に位置していて光源層と整合している表示層は、液晶ディスプレイ（ＬＣＤ）であってもよい。

２つの層が異なる空間解像度を有している場合には（例えば、光源層の解像度が、表示層の解像度の約０．１％である場合）、ソフトウェア修正法および心理学的効果（光幕輝度など）の両方により、見ている人は解像度の違いに気が付かない。

当業者にとっては、ＬＥＤのアレイまたはＬＣＤパネルのような光変調器を駆動するための電子システムは周知のものである。例えば、ＬＣＤコンピュータ・ディスプレイおよびテレビジョンは市販されている。このようなディスプレイおよびテレビジョンは、ＬＣＤパネル内の個々のピクセルが放射する光の量を制御するための回路を含む。光源層および表示層を制御するために画像データ信号から駆動を入手するタスクの計算はコストが高い。このような信号の入手は、コンピュータのビデオ／グラフィックス・カードのプロセッサにより、またはディスプレイ自身または二次デバイスへのコンピュータが内蔵しているある他の適当なプロセッサにより行われる。
（関連出願との相互参照）
本願は、「高ダイナミック・レンジ・ディスプレイ用の高速フレーム・レンダリング」（ＲＡＰＩＤ ＦＲＡＭＥ ＲＥＮＤＥＲＩＮＧ ＦＯＲ ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＤＩＳＰＬＡＹＳ）という名称の２００４年７月２７日付けの米国特許出願第６０／５９１，８２９号の優先権を主張する。米国の目的のために、本願は、「高ダイナミック・レンジ・ディスプレイ用の高速フレーム・レンダリング」（ＲＡＰＩＤ ＦＲＡＭＥ ＲＥＮＤＥＲＩＮＧ ＦＯＲ ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＤＩＳＰＬＡＹＳ）という名称の２００４年７月２７日付けの米国特許出願第６０／５９１，８２９号の米国特許法第１１９条により利益を主張する。

国際公開第２００３／０７７０１３号パンフレット

光源層および表示層を制御するために画像データ信号から入手するタスクの計算は高いコストがかかる場合がある。このような信号の入手は、コンピュータのビデオ／グラフィックス・カードのプロセッサにより、またはディスプレイ自身または二次デバイスへのコ
ンピュータが内蔵しているある他の適当なプロセッサにより行うことができる。プロセッサの性能に限界があると、連続している画像フレームを表示することができる速度が不当に制限される場合がある。例えば、プロセッサの性能が、ビデオ・データのフレーム速度で外部からのビデオ・データを処理できるほど十分に強力でない場合には、観察者は、映画のようなビデオ画像の連続しているフレーム間の短い中断に気が付く場合がある。その場合、観察者は気が散って、観察者の画像の表示が悪影響を受ける場合がある。

上記一般的なタイプのディスプレイ上に画像を表示するための実用的で、コスト・パフォーマンスがよく、また効率的なシステムが求められている。

本発明の一実施形態によれば、光源層および表示層を備えるディスプレイ上に画像を表示するための方法において、前記光源層の光源に対する駆動値を決定するステップと、前記表示層の空間解像度より低い第１の空間解像度で、前記光源層の実効輝度パターンを決定するステップと、前記実効輝度パターンの前記空間解像度を、前記表示層の前記解像度に対応する第２の空間解像度に増大するステップとを備えることを要旨とする。

点広がり関数（ＰＳＦ）の狭くて幅の広い基部ガウス・セグメントへの切り出しを示すグラフ。 １６ビット点広がり関数（ＰＳＦ）の２つの８ビット（高／低バイト）セグメントへの分割を示すグラフ。 １６ビット点広がり関数（ＰＳＦ）の２つの８ビット（高／低バイト）セグメントへの分割を示すグラフ。 １６ビット点広がり関数（ＰＳＦ）の２つの８ビット（高／低バイト）セグメントへの分割を示すグラフ。 １６ビット範囲に対する８ビットの高／低バイト点広がり関数値の遷移行動を示すグラフ。 図１の点広がり関数に対応する高／低バイト点広がり関数を示すグラフ。 実際の実効輝度パターン（ＥＬＰ）に非常に似ている補間実効輝度パターン（ＥＬＰ）を入手するための反復入手補間関数の適用を示すグラフ。 ディスプレイの略図。 制御可能な光源層および制御可能な表示層を有するディスプレイ上に画像を表示するための方法を示すフローチャート。 実効輝度パターンを決定するための方法を示すフローチャート。 実効輝度パターンまたは実効輝度パターンの構成要素を決定するための方法を示すフローチャート。

添付の図面に示す実施形態は、説明のためのものであって本発明を制限するものではない。
下記の説明全体を通して、特定の詳細な説明は、本発明をよりよく理解してもらうためのものである。しかし、本発明はこれらの詳細な説明によらなくても実行することができる。他の例の場合には、本発明が不必要に分かりにくくなるのを避けるために、周知の要素は詳細に図示してもいないし、説明もしていない。それ故、本明細書および図面は例示としてのものであると見なすべきであり、本発明を制限するものと見なすべきではない。

本発明は、少なくともその一部が画像データにより決まる光のパターンを生成し、画像を生成するために光のパターンを変調することにより画像が表示される広い範囲の用途に適用することができる。光のパターンは、任意の適当な装置により生成することができる
。以下にいくつかの例を示す。

・光源の明るさを変化することができる駆動回路により駆動される複数の光源。
・光源からの光を変調する反射型または透過型の変調器と結合している固定または可変光源。

以下に、発光ダイオードのアレイによりＬＣＤパネルの一方の面上に光のパターンが生成され、ＬＣＤパネルが見ることができる画像を生成する目的で光のパターンの光を変調するために制御される、例示としての実施形態について説明するが、この説明は本発明を制限するものではない。この例の場合には、ＬＥＤのアレイを、第１の変調器を構成するものと見なすことができ、ＬＣＤパネルは第２の変換装置を構成している。

一般的に、ＬＥＤ／ＬＣＤ層ディスプレイ上に表示するための画像フレームまたはフレーム・セットのレンダリングは、下記の計算ステップを含む。
１．画像データを入手するステップ（スクリーン全体またはスクリーンの一部の画像データであってもよい）。

２．画像データから第１の変調器の各ＬＥＤに対する適当な駆動値を入手し、当業者であれば周知の適当な技術（例えば、強度および色のような要因をベースとすることができる最近傍補間）を使用するステップ。

３．ＬＥＤ駆動値をＬＥＤ層に適用した場合に、ＬＣＤ層上に表示される実効輝度パターンを決定するために、入手したＬＥＤ駆動値、およびＬＥＤ層上のＬＥＤの点広がり関数、およびＬＥＤ層とＬＣＤ層との間の任意の層の特性を使用するステップ。

４．次に、ＬＣＤ層に対する生の変調データを入手するために、画像データにより定義した画像を実効輝度パターンにより分割するステップ。
５．ある場合には、ＬＥＤまたはＬＣＤ層内に発生する非線形性または他のアーティファクトのような問題を解決するために生の変調データを修正するステップ。これらの問題は、当業者であれば周知の適当な技術（例えば、スケーリング、ガンマ補正、値置換演算等）を使用して処理することができる。例えば、修正変調データの生成は、ＬＣＤ層のガンマ補正曲線または他の特定の特性を合わせるために生の変調データを変更するステップを含むことができる。

６．ＬＣＤ（生の変調データまたは修正変調データであってもよい）に対する最終変調データ、およびＬＥＤに対する駆動データを、所望の画像を生成する目的でＬＣＤおよびＬＥＤ層を駆動するために適用するステップ。

画像を表示する際に使用するための最終変調データの計算コストを低減するための（すなわち、スピードアップするための）種々の方法について本明細書で説明する。これらの方法は、
・もっと低い精度の領域で計算の少なくともいくつかの部分を行うステップ（例えば、１６ビット領域でではなく、８ビット領域で計算することにより）と、
・本明細書に記載する実効輝度パターンを効率的に確立するために、オプションのうちの１つまたは複数を実施するステップと、
を含む。

これらの技術は個々に実施することもできるが、本明細書に記載する技術の任意の適当な組合せも使用することができる。
（実効輝度パターンの決定）
ＬＥＤ層内の各ＬＥＤの点広がり関数は、ＬＥＤの形状により決まる。ＬＥＤ層の全実効輝度パターンを決定するための簡単な技術の場合には、最初に、各ＬＥＤの点広がり関数（特に、ＬＥＤが放射し、ＬＥＤ層およびＬＣＤ層の間のすべての光学構造を通過する光の点広がり関数）に、ＬＣＤ層上の各ピクセルに対するその駆動値に対するＬＥＤの実効輝度貢献度を入手するために、選択したＬＥＤ駆動値、および適当なスケーリング・パラメータが掛けられる。

このようにして、選択した駆動値をＬＥＤ層に適用した場合に生成されるＬＣＤ層上の全実効輝度パターンを入手するために、ＬＥＤ層内の各ＬＥＤの輝度貢献度を決定し、合計することができる。しかし、これらの乗算および加算を計算するには非常に高いコストがかかる（すなわち、時間がかかる）。何故なら、上記ステップ４の除算を容易にするために、実効輝度パターンをＬＣＤ層と同じ空間解像度に決定しなければならないからである。

ＬＥＤの点広がり関数が非常に幅の広い「サポート」を有している場合には、計算コストが特に高くなる。ＬＥＤの点広がり関数の「サポート」は、ＬＥＤにより無視できない量で照明されるＬＣＤピクセルの数である。サポートは、ＬＥＤの点広がり関数が観察者の知覚に影響を与えなくなるほど小さくなるＬＣＤ層ピクセル内で測定した半径により指定することができる。サポートは、各ＬＥＤにより有意の量で照明される多数のＬＣＤピクセルに対応する。

例えば、各ＬＥＤの中心がＬＣＤ層のピクセルの５０個に等しい距離だけ直接隣接するＬＥＤから離れている六角形のＬＥＤアレイについて考えてみよう。各ＬＥＤが、１５０個のＬＣＤピクセルのサポートを有する点広がり関数を有している場合には、ＬＣＤ層の中心部分内の各ピクセルは、約３５個のＬＥＤからの光により照射される。それ故、この例の実効輝度パターンを計算するには、各関連するＬＥＤにより各ピクセルに貢献する光を考慮するために、ＬＣＤ層の各ピクセルについて３５回演算を行わなければならない。ＬＣＤ層が高い空間解像度を有している場合には、そのため計算コストが非常に高くなる（すなわち、時間がかかる）。
（解像度の低減）
ＬＣＤ上に生成された実効輝度パターンを決定するために必要な時間は、ＬＣＤ層上に表示される高い解像度の画像の空間解像度より低い低減した空間解像度で、実効輝度パターンを計算することにより低減することができる。このことは実際に行うことができる。何故なら、個々の光源の点広がり関数は、通常、滑らかに変化するからである。それ故、実効輝度パターンは、ＬＣＤの解像度で比較的ゆっくりと変化する。それ故、有意なアーティファクトを導入することなく、もっと低い解像度で実効輝度パターンを計算し、その後、所望のもっと高い解像度まで実効輝度パターンをスケーリングすることができる。

スケーリングは、適当な線形、ガウスまたは他の補間技術により行うことができる。このような空間解像度の低減により、実効輝度パターンを確立するための計算コストをほぼ直線的に低減することができる。低い解像度で計算した実効輝度パターンをスケーリングアップするために使用することができる多くの入手可能な補間方法の計算コストは、ＬＣＤまたは他の第２の光変調器の解像度での実効輝度パターンの計算コストより安い。

上記例を使用して、幅および高さ両方向の解像度を１／１０に低減すると、計算コストが約１／１００に低減する。それは、低減した解像度の画像内のピクセルの全数が、ＬＣＤ層の上に表示される高い解像度の画像内のピクセルの全数の１／１００になるからである。低減した解像度の画像内の各ピクセルは、依然として３５個のＬＥＤから受光し、ピクセル当たり３５回の計算を必要とするが、これらの演算は、ＬＣＤ層上に表示される実際の高い解像度の画像内の各ピクセルに対して計算を別々に行う場合と比較すると、１／
１００のピクセルに対して行われる。
（点広がり関数の分解）
画像レンダリングの計算コストは、また各光源（例えば、各ＬＥＤ）の点広がり関数を、すべての構成要素の再結合がもとの点広がり関数となるようにいくつかの構成要素に分解することにより（例えば、ガウス分解を行うことにより）低減することができる。次に、実効輝度パターンを、各構成要素に対して別々に決定することができる。各構成要素に対して実効輝度パターンを決定すると、全実効輝度パターンを生成するために、これらの実効輝度パターンを結合することができる。この結合は、例えば、合計することにより行うことができる。

構成要素により貢献を受けた実効輝度パターンの計算は、上記のように、ＬＣＤ層の解像度で、または低減した解像度で行うことができる。
ＬＣＤ層の解像度で各構成要素に対して実効輝度パターンを計算した場合でも、速度の利益を得ることができる。何故なら、特に標準点広がり関数（例えば、ガウスの点広がり関数）に基づいて高速計算を行うことができるハードウェア構成要素が市販されているからである。このようなハードウェア構成要素は、ディスプレイのＬＥＤ層内の実際のＬＥＤの非標準点広がり関数用には通常市販されていないので、汎用プロセッサを使用するかなり遅い計算技術を使用する必要がある。

各構成要素に対する実効輝度パターンを決定するために上記の解像度低減技術を使用すると、もっと大きな速度の利点を達成することができる。さらに、より大きな速度の利点を達成するために点広がり関数の異なる構成要素に、異なる空間解像度を適用することができる。例えば、図１（実線）は、急峻な中央部分１０および幅の広い尾部１２を有する例示としてのＬＥＤの点広がり関数を示す。この場合、図に示すように、実際の点広がり関数を、幅の狭い基部ガウス構成要素１４Ａとおよび幅の広い基部ガウス構成要素１４Ｂに分解することができる。

幅の広い基部ガウス構成要素１４Ｂ（点線）は、幅の狭い基部ガウス・セグメント１４Ａ（鎖線）と比較すると、比較的小さな画像強度に貢献する。さらに、幅の広い基部ガウス構成要素１４Ｂは、幅の狭い基部ガウス構成要素１４Ａよりゆっくりと変化する。それ故、幅の狭い基部ガウス構成要素１４Ａに対する実効輝度パターンは、やや高い空間解像度で決定することができ、一方、幅の広い基部ガウス構成要素１４Ｂに対する実効輝度パターンは、かなり低い空間解像度で計算することができる。これにより、幅の狭い基部ガウス構成要素１４Ａ内に含まれている画像強度情報のかなりの部分を保存し、依然として比較的高速を維持することができる。何故なら、幅の狭い基部ガウス・セグメントの実効サポートが小さく、そのため数個のＬＣＤピクセルがこの構成要素によりカバーされるからである。対照的に、幅の広い基部ガウス構成要素１４Ｂは、比較的小さな画像強度情報を含んでいるので、各構成要素に対して入手したパターンを結合することにより形成した全実効輝度パターンの解像度をほとんど劣化しないで、この構成要素を低い解像度で比較的高速で処理することができるからである。
（８ビット切り出し）
画像データは、通常、１６ビット語の形で供給される。ハイエンド（すなわち、もっと高価な）グラフィック・プロセッサは、通常、１６ビット領域で計算を行う。このようなプロセッサは、１６ビット演算を高速で行うことができる専用の１６ビットまたは浮動小数点演算装置を有することができる。実効輝度パターンを８ビット領域で計算することにより、１６ビット演算を高速で行うことができるハイエンド・プロセッサはそれほど必要ではなくなる。このような計算は、もっと安価なプロセッサによりかなり高速で行うことができる。

各ＬＥＤの点広がり関数は、ＬＥＤの中心に対する強度対距離の二次元関数である。こ
のような点広がり関数は、複数の１６ビット・データ語により特徴付けることができる。点広がり関数をルックアップ・テーブルで表す場合には、点広がり関数を定義するために多くの１６ビット値が必要になる。例えば、１つの値を、ＬＥＤを中心とする円上または円内に位置し、点広がり関数のサポートに対応する半径を有する各ＬＣＤピクセルに対して供給することができる。

これら各１６ビット・データ語は、８ビットの上位バイト構成要素および８ビットの下位バイト構成要素を有する（任意の１６ビット値Ａは、Ａ＝Ｂ＊２８＋Ｃになるように、２つの８ビット値ＢおよびＣに分割することができる。ここで、Ｂは「上位バイト」であり、Ｃは「下位バイト」である）。好適には、８ビット値は、入力１６ビット・データにすべての必要なスケーリングおよび操作を行った後でだけ抽出することが好ましい。図２Ａは、１６ビット点広がり関数を示す。図２Ｂおよび図２Ｃは、それぞれ図２Ａの１６ビット点広がり関数の８ビットの上位および下位バイト構成要素を示す。

１６ビット・データ語は、２^０−１から２^１６−１まで（すなわち、０〜６５５３５）の整数値を表すことができる。８ビット・バイトは、２^０−１から２^８−１まで（すなわち、０〜２５５）の整数値を表すことができる。８ビットの上位バイト構成要素を特徴とする点広がり関数の「サポート」（すでに定義した）は、点広がり関数全体のサポートよりも遥かに小さい（狭い）。それは、全点広がり関数を特徴付ける１６ビット・データ語が６５５３５の可能な値のその範囲から値２５５に達した場合に、８ビット上位バイト構成要素が、その２５５の可能な値の最低値（ゼロ）に達したからである。残りの２５５の値は、ゼロに等しい上位バイト構成要素の値を含む下位バイト構成要素により供給される。それ故、画像強度情報をほとんど喪失しないで、幅の狭い基部８ビット上位バイト構成要素に対応する実効輝度パターンを高速で決定することができる。解像度の低減または上記他の技術あるいはその両方は、８ビット上位バイト構成要素に対する実効輝度パターンの決定をさらにスピードアップするのに使用することができる。

８ビット下位バイト構成要素を特徴とする点広がり関数のサポートは、比較的幅が広い。より詳細に説明すると、８ビット下位バイト構成要素は、２５５の可能な値しか有していないが、これらの値は２５５から（点広がり関数全体に対する６５５３５の値から）０に低減し、これら２５５の値は２５５の最も低い強度レベル（すなわち、上位バイト構成要素の値がゼロに等しくなるレベル）に対応する。これら２５５レベルは、その周辺部材の点広がり関数の値を表す。

下位バイト構成要素は、２つの領域に分割することができる。上位バイト構成要素を特徴とする点広がり関数がゼロになる境界内に位置する中央領域はゼロになる。中央領域においては、もとの１６ビット点広がり関数がほぼ平滑な場合には、下位バイト構成要素は、通常、不規則な鋸歯パターンで変化する（図３に示す）。それは、中央領域においては、下位バイト構成要素を特徴とする点広がり関数の一部が、上位バイト構成要素を特徴とする点広がり関数の一部を増大するからである。

例えば、１６ビット値１０２３９から１６ビット値９７２８への遷移を考えてみよう。１６ビット値１０２３９は、３９の上位バイト構成要素値および２５５（すなわち、３９＊２５６＋２５５＝１０２３９）の下位バイト構成要素値を有する。それ故、下位バイト構成要素の点広がり関数への貢献度は、最初は２５５であり、上位バイト構成要素の貢献度は最初は３９である。上位バイト構成要素の貢献度の値は３９のままであるが、下位バイト構成要素の貢献度の値は２５５からもとの１６ビット点広がり関数が値９９８４（すなわち、３９＊２５６＋０になる）を有する点０に滑らかに減少する。次に、点広がり関数への上位バイト構成要素の貢献度の値は３９から３８に滑らかに変化するが、この変化は、点広がり関数に対する下位バイト構成要素の貢献度の値の（０から２５５への）急激
な変化を伴う。

図４を見れば分かるように、もとの点広がり関数の半径Ｒの内側（および点広がり関数への上位バイト構成要素の貢献度の値がゼロでない所）においては、点広がり関数への下位バイト構成要素の貢献度の結果としての鋸歯パターンは、もとの点広がり関数の特徴である。半径Ｒの外側では、点広がり関数への上位バイト構成要素の貢献度の値はゼロになり、下位バイト構成要素の貢献度の値は滑らかに変化する。

点広がり関数の下位バイト構成要素からの貢献度は、望ましくないアーティファクトを避けるために、２つの領域（すなわち、半径Ｒの内部および外部の領域）内で異なる方法で処理することができる。例えば、半径Ｒの内側の領域内に含まれている画像強度情報のかなりの部分を保存するために、好適には、その領域に対する実効輝度パターンを、すでに説明したように、点広がり関数への上位バイト構成要素の貢献度に対する実効輝度パターンを決定するために使用した同じ比較的高い解像度により決定することが好ましい。対照的に、半径Ｒの外側の領域に対する実効輝度パターンは、画像強度情報をほとんど喪失しないで遥かに低い解像度により決定することができる。

３つの点広がり関数セグメント（すなわち、上位バイト構成要素、半径Ｒの内側の下位バイト構成要素の領域、および半径Ｒの外側の下位バイト構成要素の領域）を上記のように処理した後で、ＬＣＤ層の解像度と合わせるように結果が個々にアップ・サンプリングされ、次に、適用する適当な拡大・縮小率（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）により再結合される。再結合は、通常、上位バイト構成要素の値に２５６を掛けた後の、２つの下位バイト構成要素領域の値、および上位バイト構成要素の値の合計を含む。
（補間）
ＬＣＤ層の解像度より低い解像度を使用して実効輝度パターン値を決定した場合には、ＬＣＤ層の解像度に合わせるその値をアップ・サンプリングする必要がある。低い解像度の画像を高い解像度の画像にアップ・サンプリングするための補間技術は周知のものであり、線形およびガウス両方をベースとする技術が通常使用される。このような従来技術の技術は上記の技術と一緒に使用することができるが、特定の表示構成に対して最適化される補間技術を使用することにより、精度または速度あるいはその両方を改善することができる。最適化装置のもっと高い解像度の画像圧縮により、望ましくない補間アーティファクトの導入が最小限度に低減し、画像レンダリング時間が短縮する。極端な場合には、ＬＥＤ層の解像度と合わせるために、実効輝度パターンの解像度を低減するために補間技術を使用することができる。

従来技術の補間技術は、多くの場合、特定の予備補間データとの使用、または特定の補間関数との使用に制限される。実効輝度パターンの解像度をＬＣＤディスプレイの解像度に合わせるために使用する補間技術は、選択した補間関数との予備補間データのコンボルーションが、実際の実効輝度パターンに適当に類似している実効輝度パターンを形成するならば、このような制限に適合する必要はない。

必要な類似性の程度は表示用途により異なる。異なる用途は異なる程度の類似性を必要とする。ある用途の場合には、比較的小さなズレが観察者を我慢できないほど混乱させるが、一方、他の用途（比較的大きなズレが、それでも大部分の観察者が我慢できる品質の画像を形成するテレビジョンまたはコンピュータ・ゲームの画像を含む用途など）の場合には、もっと大きなズレも許容することができる。それ故、実際のＬＥＤ駆動値、または実際のＬＥＤの点広がり関数に直接補間技術を適用する必要はない。

例えば、図５は、ＬＥＤ層の解像度と合わせる目的で実効輝度パターンの解像度を低減するために、反復入手補間技術により入手した結果を示す。ＬＥＤ層の解像度でのピクセ
ル値は、ＬＥＤ駆動値ではなく、このピクセル値は補間前の実効輝度パターンの輝度値である。補間関数は、標準反復法および無作為開始条件により決定することができる。図５に示すように、実効輝度パターン値を含む反復入手補間関数のコンボルーションは、実際の実効輝度パターンにかなり近い結果を生じる。

多くの異なる補間技術を使用することができる。選択した補間関数とその関数と一緒に使用するために選択した入力パラメータが、実際の実効輝度パターンにかなり近い結果を生じるなら、補間関数とＬＥＤの点広がり関数、ＬＥＤ駆動値、またはディスプレイの任意の他の特性との間に相互関係は全然なくてもよい。
（例示としての実施形態）
図６は、本発明のある例示としての実施形態である。図６は、変調された光源層３２および表示層３４からなるディスプレイ３０を示す。光源層３２は、例えば、下記のものを備えることができる。

・ＬＥＤのような制御可能な光源のアレイ。
・一定の強度の光源および光源からの光の強度を空間的に変調するように配置されている光変調器。

・これらのある組合せ。
図の実施形態の場合には、光源層３２はＬＥＤ３３のアレイを備える。
表示層３４は、光源層３２から表示層３４上に入射する光の強度をさらに空間的に変調する光変調器を備える。表示層３４は、例えば、ＬＣＤパネルまたは他の透過型の光変調器を備えることができる。表示層３４は、通常、光源層３２の解像度より高い解像度を有する。光源層３２から表示層３４へ光を運ぶのに適している光学構造３６を光源層３２と表示層３４の間に設置することができる。光学構造３６は、開放空間、光拡散装置、コリメータ等のような要素を含むことができる。

図の実施形態の場合には、データ・プロセッサ４２、および光源層３２を制御するための適切なインタフェース電子回路４４Ａ、および表示層を制御するための適切なインタフェース電子回路４４Ｂを備えるコントローラ４０が、ディスプレイ３０上に表示する画像を指定する画像データ４６を受信する。コントローラ４０は、見ている１人または複数の人が見るための所望の画像を生成するために、光源層３４の光エミッタ（例えば、ＬＥＤ３３）および表示層３４のピクセル３５を駆動する。プロセッサ４２にアクセスすることができるプログラム記憶装置４６は、プロセッサ４２が実行した場合に、プロセッサ４２に本明細書に記載する方法を実行させるソフトウェア命令を含む。

コントローラ４０は、画像データ４８が指定する画像を表示するために、光源層３２および表示層３４を制御するための適当なソフトウェア／ハードウェア・インタフェースを有する適切にプログラムしたコンピュータを備えることができる。

図７は、図６に示す一般的なタイプのディスプレイ上に画像データを表示するための方法５０を示す。方法５０は、ブロック５２で画像データ４８を受信した場合に開始する。ブロック５４においては、光源層３２に対する第１の駆動信号が画像データ４８から入手される。ブロック５４においては、第１の駆動信号を入手するために適当な周知の方法を適用することができる。

ブロック５６において、方法５０は実効輝度パターンを計算する。実効輝度パターンは、第１の駆動信号、および光源層３２の光源に対する周知の点広がり関数から計算することができる。ブロック５６においては、表示層３４の解像度より低い解像度で実効輝度パターンの計算が行われる。例えば、ブロック５６においては、４の約数である解像度、ま
たは表示層３４の解像度より各次元においてもっと小さい解像度（ある実施形態の場合には、各次元において４〜１６の範囲だけ小さい約数）で実効輝度パターンを計算することができる。

ブロック５８においては、ブロック５６で計算した実効輝度パターンが、表示層３４の解像度にアップサンプリングされる。このことは、例えば、任意の適切な補間技術により行うことができる。ブロック６２において、表示層のための第２の駆動信号が、アップサンプリングした実効輝度パターンおよび画像データから決定される。第２の駆動信号も、表示層の既知の特性および任意の所望の画像修正、色修正等を考慮に入れることができる。

ブロック６４において、見るための画像を表示するために、ブロック５４で入手した第１の駆動信号が光源層に適用され、ブロック６２の第２の駆動信号が表示層に適用される。

図８は、実効輝度パターンを計算するための方法７０である。方法７０は、方法５０のブロック５６内で適用することができるし、または他の所で使用することができる。方法７０は、光源層３２の光源に対する点広がり関数の各構成要素に対するＥＬＰを計算することにより開始する（ブロック７２Ａ、７２Ｂおよび７２Ｃ、総称ブロック７２）。ブロック７２は、任意の順序で実行することがもきるし、相互に並列に実行することもできる。図８は、３つのＰＳＦ構成要素７３Ａ、７３Ｂおよび７３Ｃ、および３つの対応するブロック７２を示す。この方法は、２つまたは３つのＰＳＦ構成要素７３により実行することができる。

点広がり関数（ＰＳＦ）の構成要素は、通常、予め定められている。各構成要素の表示は、プロセッサ４２にアクセスすることができる場所に記憶される。各ブロック７２は、光源層３２の各光源に対して、点広がり関数の構成要素を定義する値に光源の輝度を表す値を掛けるステップを含むことができる。ブロック７４において、ブロック７２で決定した実効輝度パターンが、光源層３２に第１の駆動信号を適用することにより得られる実効輝度パターンの全体の推定値を入手するために、例えば加算により結合される。

図９は、実効輝度パターンを計算するために適用することができる方法８０を示す。方法８０は、下記のステップに適用することができる。
・方法５０のブロック５６で実効輝度パターンを計算するステップ、または、
・方法７０のブロック７２で点広がり関数の個々の構成要素に対する実効輝度パターンを計算するステップ、または
・他の用途に適用するステップ。

方法８０は、光源層３２の光源に対する点広がり関数（またはＰＳＦ構成要素）を特徴付けるデータ、および第１の駆動信号の制御の下で光源がどんな強度で動作しているのかを示すデータによりブロック８２から開始する。方法８０は、種々の空間内位置で実効輝度パターンへの光源の貢献度を特徴付ける一組の値を入手するために、これらの値を結合する（例えば、一緒に掛け合わせることにより）。

ブロック８４において、結果として得られる値の高次および低次の構成要素が入手される。ある実施形態の場合には、結果として得られる値は、１６ビット語であり、高次の構成要素は８ビット・バイトであり、低次の構成要素は８ビット・バイトである。

ＥＬＰへの貢献度は、ブロック８６および８８において、高次構成要素および低次構成要素に対して別々に決定される。各光源に対して、８６の高次貢献度内に値を含んでいる
サポートの面積は、通常、ブロック８８の低次貢献度内に値を含んでいるサポートの面積よりかなり小さい。

ブロック８８においては、通常、高次貢献度（ブロック９０）のサポートの面積内に位置する点に対する低次貢献度が、高次貢献度（ブロック９２）のサポートの面積の外側に位置する点に対するものとは別々に計算される。ブロック８６、９０および９２は、任意の順序でまたは同時に実行することができる。

ブロック９４においては、ＥＰＬ全体を入手するために、ブロック８６、９０および９２からの貢献度が結合される。ブロック８６、８０および９２での計算は、高次および低次構成要素が８ビット・バイトまたはもっと小さなバイトである場合には、８ビット領域で（すなわち、８ビット・オペランド上の８ビット演算により）主としてまたは全体的に行うことができる。

本発明のいくつかの実施態様は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを備える。例えば、コンピュータまたは他の表示コントローラ内の１つまたは複数のプロセッサは、プロセッサにアクセスすることができるプログラム・メモリ内のソフトウェア命令を実行することにより、図７、図８または図９の方法を実施することができる。本発明は、プログラム製品の形で提供することもできる。プログラム製品は、データ・プロセッサが実行した場合、データ・プロセッサに本発明の方法を実行させる、命令を含む一組のコンピュータ読み取り可能信号を運ぶ任意の媒体を含むことができる。本発明によるプログラム製品は、種々様々な形のうちの任意の形をとることができる。プログラム製品は、例えば、フロッピー・ディスケット、ハード・ディスク・ドライブを含む磁気データ記憶媒体のような物理媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭ等を含む電子データ記憶媒体、またはデジタルまたはアナログ通信リンクのような通信タイプの媒体を備えることができる。プログラム製品上のコンピュータ読み取り可能信号は、そうしたい場合には、圧縮または暗号化することができる。

構成要素（例えば、部材、部品、組立体、デバイス、プロセッサ、コントローラ、コリメータ、回路等）が上記のように呼ばれる場合には、別段の指示がない限り、その構成要素（「手段」への言及を含む）への言及は、この構成要素の等価のものとして、本発明の図示の例示としての実施形態で機能を実行する開示の構造に構造的に等価でない構成要素を含む、上記構成要素の機能を実行する（すなわち、機能的に等価な）任意の構成要素を含むものと解釈すべきである。

当業者であれば上記説明を読めば理解することができるように、本発明の精神または範囲から逸脱することなしに、本発明を実行する際に種々の変更および修正を行うことができる。例えば、
・光源層は、相互に異なる点広がり関数を有する多数の異なるタイプの光源を備えることができる。

・ディスプレイはカラー・ディスプレイを備えることができ、上記計算を多数の各カラーに対して別々に行うことができる。
第１の例によると、ディスプレイにおける実効輝度パターンを判定するための方法において、前記ディスプレイは、変調された表示層を照明すべく光を発するように設けられた変調された光源層を備え、前記実効輝度パターンは前記表示層上の前記光源層からの光の分布を示し、前記方法は、前記変調された光源層の光の複数の発生源について、
複数の点広がり関数の構成要素に対応する複数の実効輝度パターンを判定するステップであって、
第１のサポート半径を有した第１の点広がり関数の複数の構成要素を、複数の光の発生源にわたって加算することによって第１の実効輝度パターンを得るステップと、
前記第１のサポート半径とは異なる第２のサポート半径を有した第２の点広がり関数の複数の構成要素を、複数の光の発生源にわたって加算することによって第２の実効輝度パターンを得るステップとを少なくとも備える、複数の実効輝度パターンを判定するステップと、
前記複数の実効輝度パターンを結合することによって全実効輝度パターンを判定するステップとを備える、方法を要旨とする。

第２の例は、第１の例において、複数の実効輝度パターンを結合することは、前記複数の実効輝度パターンを加算することを含んでなる。第３の例は、第１又は第２の例において、前記複数の構成要素のうちの２つ以上の構成要素は、互いに異なる空間解像度によって示される。第４の例は、第２の例において、前記第１のサポート半径は前記第２のサポート半径よりも大きく、前記第１の実効輝度パターンを得るには第１の空間解像度を用い、前記第２の実効輝度パターンを得るには第２の空間解像度を用い、前記第１の空間解像度は前記第２の空間解像度よりも低いことを要旨とする。第５の例は第４の例において、前記表示層は一定の表示層空間解像度を有し、前記第２の空間解像度は前記表示層空間解像度と等しいことを要旨とする。第６の例は第４の例において、前記表示層は一定の表示層空間解像度を有し、前記全実効輝度パターンは前記表示層空間解像度よりも低い空間解像度を有し、前記方法は、前記全実効輝度パターンの空間解像度を前記表示層空間解像度まで増加するステップをさらに備える。第７の例は第３〜６の例のいずれかにおいて、前記複数の実効輝度パターンを結合する前に、前記複数の実効輝度パターンの空間解像度を共通の空間解像度に調節するステップをさらに備える。第８の例は第１〜７の例のいずれかにおいて、前記第１及び第２の点広がり関数のそれぞれの構成要素はガウス構成要素であることを要旨とし、第９の例は第８の例において、前記第１及び第２の実効輝度パターンを得るステップは、標準的なガウス関数の点広がり関数に基づく高速計算を行うことに適したハードウェア構成要素を用いた演算処理によって行う。第１０の例は第１〜９の例のいずれかにおいて、前記複数の実効輝度パターンを判定するステップは、前記光の複数の発生源について対応する追加の点広がり関数構成要素を加算することによって１つ以上の追加の実効輝度パターンを得るステップをさらに含んでなり、前記全実効輝度パターンを判定するステップは第１および第２の前記追加の実効輝度パターンを結合するステップを含んでなることを要旨とする。第１１の例は第１０の例において、前記点広がり関数はすべての前記複数の構成要素の合計である。第１２の例は、第１〜１１の例のいずれかにおいて、前記光源層は反射型変調器と結合している可変の光源を含んでなる。第１３の例は、第１〜１１の例のいずれかにおいて、前記光源層は光源の明るさを変化することができる駆動回路により駆動される複数の光源を含んでなることを要旨とする。第１４の例は第１〜１３の例のいずれかにおいて、前記光源層を少なくとも部分的に画像データに基づいて制御するステップをさらに備える。第１５の例はプロセッサによって実行されたときに第１〜１４の例のいずれかの方法をプロセッサに行わせる、コンピュータ実行可能命令を記録した、非一時的コンピュータ読み取り可能媒体を要旨とする。

第１６の例では、変調された表示層を照明すべく光を発するように設けられた変調された光源層を備えるディスプレイを制御するための装置において、前記装置は前記表示層上の前記光源層からの光の分布を示す実効輝度パターンを判定するためのコントローラを含んでなり、前記判定は、前記変調された光源層の光の複数の発生源について、
複数の点広がり関数の構成要素に対応する複数の実効輝度パターンを判定するステップであって、
画像データからの光の複数の発生源に関する駆動値を判定するステップと、
第１のサポート半径を有した第１の点広がり関数の複数の構成要素を、複数の光の発生源にわたって加算することによって第１の実効輝度パターンを得るステップと、
前記第１のサポート半径とは異なる第２のサポート半径を有した第２の点広がり関数の複数の構成要素を、複数の光の発生源にわたって加算することによって第２の実効輝度パターンを得るステップとを少なくとも備える、複数の点広がり関数構成要素に対応する複数の実効輝度パターンを判定するステップと、
前記複数の実効輝度パターンを結合することによって全実効輝度パターンを判定するステップとによって行う、装置を要旨とする。

第１７の例では、第１６の例において、前記コントローラは、少なくとも前記画像データと前記全実効輝度パターンとに基づく、前記表示層の第２の駆動値をさらに判定する。第１８の例は第１６の例において、前記光源層に前記第１の駆動値を適用する、前記光源層に接続可能な第１のインタフェースと、前記表示層に前記第２の駆動値を適用する、前記表示層に接続可能な第２のインタフェースとをさらに備える。第１９の例は、第１８の例において、前記第２のインタフェースに接続している表示層を備える。第２０の例は、第１６〜１９の例のいずれかにおいて、前記光源層は反射型変調器と結合している可変の光源を含んでなることを要旨とする。第２１の例は第１６〜２１の例のいずれかにおいて、前記光源層は光源の明るさを変化することができる駆動回路により駆動される複数の光源を含んでなる。第２２の例は第１６〜１９の例のいずれかにおいて、前記コントローラは前記全実効輝度パターンを画成するデータに補間を行うことによって、前記全実効輝度パターンの前記空間解像度を増加することを要旨とする。第２３の例は第１６〜２２の例のいずれかにおいて、前記コントローラにアクセス可能であり、かつ前記複数の光の発生源についての前記点広がり関数の複数の構成要素を画成する情報を記憶しているデータ記憶部をさらに備えるものである。第２４の例では第２３の例においてそれぞれの前記構成要素はガウス構成要素である。第２５の例は第２４の例において前記ガウス構成要素を直接に処理する関数を与えるハードウェア・プロセッサをさらに備える。

多数の例示としての態様および実施形態について説明してきたが、当業者であればそのいくつかの修正、置換、追加およびサブ組合せを思い付くことができるだろう。それ故、添付の特許請求の範囲およびその後の特許請求の範囲は、その真の範囲内にこのようなすべての修正、置換、追加およびサブ組合せを含むものと解釈すべきである。

Claims (14)

1. 実効輝度パターンを判定するための方法において、
   複数の光源のうちのそれぞれの光源からの光が光源に対応する中心の位置に相対してどのように広がるのかを示す点広がり関数を特徴づける、複数のデータ語であって、前記データ語は前記中心の位置に対する相対位置での強度を示す、複数のデータ語を与えるステップであって、前記データ語のそれぞれは、サポート半径Ｒを有する上位構成要素と、下位構成要素とを有し、前記サポート半径Ｒは前記中心の位置からの径方向の距離であり、かつ前記サポート半径Ｒの外側では前記データ語の上位構成要素の値がゼロとなる、複数のデータ語を与えるステップと、
   前記実効輝度パターンに対する貢献度の値を前記上位構成要素及び下位構成要素について得るために、前記上位構成要素と前記下位構成要素を別々に処理するステップと、
   前記上位構成要素からの貢献度の値及び前記下位構成要素からの貢献度の値を結合するステップとを備え、
   前記上位構成要素からの貢献度の値及び前記下位構成要素からの貢献度の値を結合するステップは、前記サポート半径の内側にある前記下位構成要素の第１の部分と、前記第１の部分の外側にある前記下位構成要素の第２の部分とを別々に処理するステップを備え、前記上位構成要素からの貢献度の値及び前記下位構成要素からの貢献度の値を結合するステップは、前記上位構成要素からの貢献度の値と、前記下位構成要素の第１の部分からの貢献度の値と、前記下位構成要素の第２の部分からの貢献度の値とを結合することからなる、方法。
2. 前記下位構成要素の前記第２の部分の処理は前記上位構成部分の処理に用いられる解像度よりも低い解像度で行われる、請求項１に記載の方法。
3. 前記上位構成要素の処理と前記下位構成要素の前記第１の部分の処理は同一の解像度で行われる、請求項２に記載の方法。
4. 表示層の解像度よりも低い解像度で前記上位構成要素と前記下位構成要素を処理するステップと、前記上位構成要素と下位構成要素の貢献度の値を結合する前に前記表示層の解
   像度に合わせるために前記上位構成要素と前記下位構成要素の解像度をアップ・サンプリングするステップとをさらに備える、請求項１〜３のいずれかに記載の方法。
5. 前記複数の光源を含んでなる光源層の実効輝度パターンを前記表示層の解像度よりも低い第１の空間解像度に決定するステップと、前記実効輝度パターンの前記空間解像度を前記表示層の解像度に対応する第２の空間解像度まで上げるステップとをさらに備える、請求項４に記載の方法。
6. 前記点広がり関数の値は１６ビットからなり、前記点広がり関数の値の集合の前記上位構成要素の部分と下位構成要素の部分の値はそれぞれ８ビットからなる、請求項１〜５のいずれか一項に記載の方法。
7. 前記上位構成要素と前記下位構成要素のそれぞれは８ビット以下から構成される、請求項１〜５のいずれか一項に記載の方法。
8. 前記上位構成要素と前記下位構成要素の処理は８ビット領域で行われる、請求項１〜５のいずれか一項に記載の方法。
9. 前記点広がり関数の集合のうちの前記上位構成部分と前記下位構成部分の実効輝度パターンへの貢献度の値の決定は、点広がり関数の上位構成部分に係る第１のサポートの面積よりも、点広がり関数の下位構成部分に係る第２のサポートの面積が広くなるように行われる、請求項１〜８のいずれか一項に記載の方法。
10. 前記点広がり関数の集合の上位構成要素と下位構成要素の実効輝度パターンへの貢献度の値の決定は、
    前記点広がり関数の値のうち、上位構成要素の部分に係る第１のサポートの面積と下位構成要素の部分に係る第２のサポートの面積であって前記上記構成要素の部分のサポートの面積よりも広い第２のサポートの面積が重なる部分と、
    前記点広がり関数の上位構成部分の値についてのサポートの面積の外側にある、前記点広がり関数の下位構成部分の前記第２のサポートの面積の部分と
    のそれぞれの貢献度の値を別々に決定することからなる、請求項１に記載の方法。
11. 前記点広がり関数の値の集合の下位構成部分の実効輝度パターンの貢献度の値を、前記点広がり関数の値の上位構成部分のサポートの面積の内側と外側で異なる解像度をもって決定する、請求項１０に記載の方法。
12. 半径Ｒの外側で前記点広がり関数の上位構成部分の値が０となるように半径Ｒを決定することによって、点広がり関数の値のうちの上位構成部分についてのサポートの面積を特定する、請求項１〜１１のいずれか一項に記載の方法。
13. 複数の光源と表示層とを備えたディスプレイの制御装置において、
    複数のデータ語を含んでなる、記憶されたデータであって、複数の光源のうちのそれぞれの光源からの光が光源に対応する中心の位置に相対してどのように広がるのかを示す前記光源の点広がり関数を特徴づけ、かつ前記データ語は前記中心の位置に対する相対位置での強度を示す、データと、
    コントローラであって、
    前記光源の第１の駆動値を取得する処理と、
    前記第１の駆動値のもとで前記光源のそれぞれがどの程度の強さで稼働するかを示すデータを、前記光源の点広がり関数を特徴づけるためのデータと結合することによって、サポート半径Ｒを有する上位構成要素と、下位構成要素とを含んでなり、前記サポート
    半径Ｒは前記中心の位置からの径方向の距離であり、かつ前記サポート半径Ｒの外側では前記データ語の上位構成要素の値がゼロとなるデータを入手する処理と、
    前記上位構成要素と下位構成要素を別々に処理して、前記上位構成要素と下位構成要素について実行輝度パターンの貢献度の値を入手する処理と、
    前記上位構成要素からの貢献度の値と前記下位構成要素からの貢献度の値とを結合して実行輝度パターンを生成する処理と、
    前記実効輝度パターンに少なくとも部分的に基づく、前記表示層の第２の駆動値を決定する処理を実行するためのコントローラであって、前記上位構成要素からの貢献度の値及び前記下位構成要素からの貢献度の値を結合する処理は、前記サポート半径の内側にある前記下位構成要素の第１の部分と、前記第１の部分の外側にある前記下位構成要素の第２の部分とを別々に処理する処理を含んでなり、前記上位構成要素からの貢献度の値及び前記下位構成要素からの貢献度の値を結合する処理は、前記上位構成要素からの貢献度の値と、前記下位構成要素の第１の部分からの貢献度の値と、前記下位構成要素の第２の部分からの貢献度の値とを結合することからなる、コントローラと、
    前記第１の駆動値を前記光源に適用するために前記光源に接続可能な第１のインタフェースと、
    前記第２の駆動値を前記表示層に適用するために前記表示層に接続可能な第２のインタフェースとを備える、制御装置。
14. 前記コントローラのプロセッサに、主として８ビット領域で駆動させるための、ソフトウェアの命令を含んでなる、請求項１３に記載の制御装置。

Images