JP5945559B2 - 複数の変調器ディスプレイおよび関連する方法 - Google Patents

Description

本発明は、コンピュータモニタ、テレビ受信機、データプロジェクタなどの電子ディスプレイに関する。本発明は、さらに具体的には、第１のピクセルアレイからの光が第２のピクセルアレイによって変調されて画像を生成するようなディスプレイに関する。

デュアル変調器ディスプレイは、第２のピクセルアレイに制御可能な光パターンを生成する第１のピクセルアレイを有する。デュアル変調器ディスプレイの例が、いずれも高ダイナミックレンジディスプレイデバイス（ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＤＩＳＰＬＡＹ ＤＥＶＩＣＥＳ）と題する国際公開第０２／０６９０３０号パンフレット（国際出願番号ＰＣＴ／ＣＡ２００２／０００２５５）および国際公開第０３／０７７０１３号パンフレット（国際出願番号ＰＣＴ／ＣＡ２００３／０００３５０）に記載されている。一部の実施形態において、第２のピクセルアレイで光のパターンを生成するために、所望の画像を指定する画像データが第１のピクセルアレイを動作させるコントローラに供給される。光のパターンは所望の画像を近似する。コントローラは、第２のピクセルアレイを動作させて光のパターンを変調し、光のパターンよりも所望の画像に近い画像を生成する。一部の実施形態において、第１のピクセルアレイは、第２のピクセルアレイよりも低い解像度を有する（すなわち、第１のピクセルアレイよりも第２のピクセルアレイにより多くのピクセルがある）。第１のピクセルアレイは、たとえば、空間光変調器の個別に制御可能な光源ピクセルのアレイなどを備えていてもよい。第２のピクセルアレイは、反射型空間光変調器または透過型空間光変調器を備えていてもよい。

一部の実施形態において、第１のピクセルアレイは発光ダイオード（ＬＥＤ）のアレイを備えており、第２のピクセルアレイは液晶ディスプレイ（ＬＣＤ）パネルを備えている。

「デュアル変調器」ディスプレイ構造は、ハイエンドディスプレイでの使用に適している可能性がある（ハイエンドディスプレイの例には、Ｘ線およびその他の非常に重要な画像を観察するためのディスプレイ、すなわちハイエンドシネマアプリケーションなどがある）。このようなアプリケーションにおいて、表示される画像にはできる限り所望の画像に近い画像を再生させることが望ましい。このようなアプリケーションにおいて、所望の画像から知覚されるほどのずれがあることは望ましくない。

「完全な」デュアル変調器ディスプレイでは、第１の組のピクセルはゼロから非常に明るい光まで無段階に変えられる光出力を有することになり、第２の組のピクセルはゼロの光を伝達することからすべての入射光を通過させることまでを無段階に制御することが可能になる。現実の世界では、第１および第２の組のピクセルとしての使用に実用的な構成要素には限界がある。たとえば、第１または第２の組のピクセルがＬＣＤ（液晶ディスプレイ）のピクセルを備えている場合、ピクセルは、１００％未満の最大伝送、０％を超える最小伝送を有し、各ピクセルの伝送は、典型的に、値の離散集合の中から選択可能である。同様に、第１の組のピクセルが個別に制御可能な光源（たとえば、ＬＥＤなど）のアレイを備えている場合、光源は一定の最大値まで段階的に調整しうる光出力を有することが典型的である。

一つの問題は、第２の組のピクセル上の光パターンが第２の組のピクセルによって高い精度まで補正されうるよう所望の画像を近似するように、第１の組のピクセルの制御方法を決定することである。

本発明の一態様は、デュアル変調器ディスプレイにおける第１のピクセルアレイのピクセルに対する制御値を生成する方法を提供する。該方法は、所望の光パターンと、所望の画像を規定する画像データからの制御値の初期集合とを生成すること、所望の光パターンと、ピクセルに対応する位置での制御値の集合に応じて生成されることが予測される光パターンとの差を減少させる性質にある変化Δｄ_ｊを、ピクセルに対して決定することによって、制御値の初期集合を精密化することを備える。

本発明のさらなる態様および本発明の具体的な実施形態の特徴が以下に記載される。

デュアル変調器ディスプレイの略図である。 所望の画像と、第１のピクセルアレイによって生成される光パターンとを示す曲線を含むグラフである。 図２Ａの画像に対して第２のピクセルアレイによって生成される高空間周波数成分である。 所望の画像と、所望の画像に対する準最適適合である第１のピクセルアレイによって生成される光パターンとを示す曲線を含む別のグラフである。 図２Ｃの画像に対して第２のピクセルアレイによって生成される高空間周波数成分である。 本発明による方法を示すフローチャートである。 本発明による方法を示すフローチャートである。 ベイリンググレアの影響を示す略図である。 本発明の実施形態によるコントローラの機能要素を示すブロック図である。 本発明の実施形態による制御信号を生成するシステムの機能要素を示すブロック図である。

図面は、本発明の非限定的な実施形態を示す。

以下の説明を通じて、本発明をより十分に理解できるように詳細情報が記述されている。ただし、本発明はこれらの詳細情報なしで実施されてもよい。他の例では、本発明を不必要に分かりにくくすることがないように、周知の要素は示されていないか、もしくは詳しく説明されていない。したがって、本明細書および図面は、限定的な意味ではなく、例示的な意味であると見なされるべきである。

本発明者らは、以下が必要であるものと判断している。
・デュアル変調器ディスプレイ
・デュアル変調器ディスプレイ用コントローラ
・デュアル変調器ディスプレイを動作させる方法
・デュアル変調器ディスプレイのピクセルを制御する制御値を生成する方法
・デュアル変調器ディスプレイを動作させるソフトウェアを含み、画像を表示すると同時に、第１および第２のピクセルアレイの能力によって課せられた制限にかかわらず、画像情報の喪失を減少させるデュアル変調器ディスプレイのピクセルに対する制御値を生成するプログラム製品
たとえば、図１に示された事例を検討する。ディスプレイ１０は、ピクセル１２Ａの第１のアレイ１２と、ピクセル１４Ａの第２のアレイ１４とを備える。コントローラ１６は、画像データ１８を受け取り、制御信号１９Ａおよび１９Ｂを生成して、それぞれ第１および第２のピクセルアレイのピクセルを制御する。第１のアレイ１２は、たとえば、発光ダイオード（ＬＥＤ）のアレイなどの光源を備えていてもよい。第２のアレイ１４は、たとえば、ＬＣＤパネルを備えていてもよい。

コントローラ１６は、画像データから信号１９Ａおよび１９Ｂを得る。信号１９Ａは、たとえば、第１のアレイ１２のピクセル１２Ａに対する制御値ｄの集合を備えていてもよい。信号１９Ｂは、たとえば、第２のアレイ１４のピクセル１４Ａに対する制御値ｐの集合を備えていてもよい。

コントローラ１６からの制御信号１９Ａに応じて、第１のアレイ１２は光を発する。第１のアレイ１２のピクセル１２Ａによって発せられる光は、第２のアレイ１４上に光のパターン２０を生成する。パターン２０は、画像データ１８によって指定される所望の画像の近似である。第１のアレイ１２は、第２のアレイ１４よりもピクセルが著しく少ないので、より高い空間周波数を有する所望の画像の態様は、主に制御信号１９Ｂによって表わされることになる。パターン２０は、比較的低い空間周波数を有する所望の画像の態様を追跡することになる。

パターン２０の特性は、第１のアレイ１２のピクセル１２Ａによって発せられる光の量のほかに、ピクセル１２Ａの点広がり関数にも依存する。第１のアレイ１２と第２のアレイ１４との間に、ディフューザー、レンズ、コリメーターなどの光学部品（図示せず）が設けられてもよい。このような光学部品のパターン２０への影響は、ピクセル１２Ａの点広がり関数によって考慮されてもよい。

パターン２０は、第２のアレイ１４の各ピクセル１４Ａにおける強度値Ｂ_ｉによって特徴付けられる（ここで、ｉは個々のピクセル１４Ａを識別する添え字である）。制御信号１９Ａを画像データ１８から導く方法は、ディスプレイ１０によって生成される画質に影響することがある。制御信号１９Ａによって「良好な」パターン２０が得られると、第２の変調器１４はパターン２０の光を変調して所望の画像を非常に正確に再生することができる。一方、制御信号１９Ａが準最適なパターン２０を生成する場合、知覚されるアーチファクトのない所望の画像に適合するように第２の変調器１４にパターン２０を変調させる制御信号１９Ｂを決定することは可能でないかもしれない。

たとえば、所望の画像の領域において、パターン２０で再生できないほど高い空間周波数を有する縞模様を、所望の画像が描く事例を検討する。この縞模様は、より低い空間周波数で変化する背景光強度に重畳される。図２Ａの曲線３０は、縞模様を横断する方向における所望の画像の強度変化を示す。曲線３２は、実例のパターン２０における光の強度変化を示す。パターン２０の光が曲線３０の低空間周波数成分によく適合するように変化する強度を有する場合（曲線３２によって示されるように）、第２のアレイ１４は、図２Ｂに示されるように、所望の画像の高空間周波数成分を生成するように設定することができるので、得られる画像は所望の画像を忠実に再生する。

一方、状況によって、パターン２０の光は、曲線３０の低空間周波数成分にそれほどよく適合しないように変化する強度を有することもある。これは、たとえば、パターン２０の低空間周波数が所望の画像の低空間周波数成分よりも低いというような、第１のアレイ１２のピクセル１２Ａの点広がり関数の状況において起こりうる。図２Ｃの曲線３３は、別の実例のパターン２０における光の強度変化を示すもので、曲線３０の低空間周波数成分とパターン２０とのこうした不整合を示す。このような状況において、第２のアレイ１４は、図２Ｄに示されるように、所望の画像の高空間周波数成分を正確に生成することができないので、得られる画像は、所望の画像を忠実に再生することができない場合がある。高空間周波数情報の喪失は、ピクセル１４Ａを制御する信号を量子化した結果として起こりうる。たとえば、Ｂ_ｉがピクセル１４Ａの所望の光出力よりも著しく大きい場合、ピクセル１４Ａに対する値ｐ_ｉはゼロに丸められてもよい。Ｂ_ｉがピクセル１４Ａの所望の光出力に等しいかあるいは所望の光出力よりも小さい場合、ピクセル１４Ａに対する値ｐ_ｉは最大値でクランプされてもよい。いずれにせよ、得られる画像は画像データ１８における情報のすべてを含むわけではない。

本明細書に記載されるタイプ（このタイプでは、第１のピクセルアレイからの光のパターンが画像データの最高空間周波数成分を含まない）のデュアル変調器ディスプレイから最良の画質を得るためには、光パターン２０のある程度の最適化を必要とする場合があることが分かる。

図３は、本発明の実施形態によって、画像データ１８から信号１９Ａおよび１９Ｂを得る方法４０のステップを示す。画像データ１８は、値

の集合

を備える。一部の実施形態において、値は明度である。このような実施形態において、値は、画像が表示されるディスプレイ１０と同じ色度、白色点、および原色を有する色空間で最も都合よく表わされる。

ブロック４２は、第１のアレイ１２のピクセル１２Ａに対する制御信号１９Ａの初期集合を導く。実例の実施形態において、ブロック４２は、図３Ａに示されるようなプロセス５０を含む。プロセス５０は、画像データ１８から目標光パターン

を導く。目標光パターン

は、第２のピクセルアレイ１４の各ピクセル１４Ａに対応する値

を備えていてもよい。これらの値は、たとえば、測光単位で表わされてもよい。一部の実施形態において、値

は、輝度などの測光単位の単色値である。ブロック５２は、画像が表示されるディスプレイ１０によって輝度値が表示可能な範囲から外れないように輝度値をクランプすることを備えていてもよい。

画像データ１８がカラー画像を指定する場合、ブロック５３は、画像データ１８のモノクロ（単一チャネル輝度）表現を抽出することを備えていてもよい。これは、第２のピクセルアレイの各ピクセルに対して３色チャネル（たとえば、赤、緑、および青）の最大値を取り込むことによって実現されてもよい。

ブロック５４は、画像データ１８のモノクロ表現の関数を計算することによって

に対する値を決定する。一部の実施形態において、この関数は、画像データ１８のモノクロ表現における対応するピクセル値の分数乗を決定することを備える。この分数乗は、第１のアレイと第２のアレイとの間にダイナミックレンジを割り当てるために選定される。一部の実施形態において、ブロック５４は、画像データ１８のモノクロ表現における値の平方根（１／２乗）を取ることを備える。第１のピクセルアレイと第２のピクセルアレイとの間のダイナミックレンジの最適分配は、第１のアレイと第２のアレイとの間のダイナミックレンジの比に依存する。カナダ国バンクーバー市のＢｒｉｇｈｔｓｉｄｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ社から入手できるモデルＤＲ３７Ｐディスプレイなど、一部のデュアル変調器ディスプレイにおいて、第１のアレイと第２のアレイとの間のダイナミックレンジの比は約１：１であり、約１／２の分数乗が信号１９Ａを得るための望ましい基準である。

電源を完全に切ることができる単一光源は、無限のダイナミックレンジを有するものと見なすことができる。ただし、重複する点広がり関数を有するこのような光源の集合内にある光源のダイナミックレンジは、光源の点広がり関数と隣接する光源の光出力とによって決定される。

第１および第２のピクセルアレイ上のピクセル値を同程度の大きさになるように維持することは、アレイの一方が大きいピクセル値を与えられて他方のアレイが非常に小さいピクセル値を与えられる事例よりも好ましい。なぜなら、量子化アーチファクトは小さいピクセル値に対して比較的大きいからだ。また、同じ強度の隣接するピクセルに対して値の種々の組合せが使用される場合、実際のハードウェアシステムに存在する不備な配列によって著しいアーチファクトが生じる可能性がある。

計算上、

および

に対する値を範囲［０，１］で表わすと都合がよい。この表現への変換は、画像データを正規化することによって行なわれうる。ブロック５４において、正規化画像データの適切な関数が計算されうる。この後、結果は調整されて

に対する値を所望の単位で提供する。

ｍ＞ｎとして、第１のアレイ１２がｎ個のピクセル１２Ａを有し、第２のアレイ１４がｍ個のピクセル１４Ａを有する場合、所望のパターン２０を生じるアレイ１２のピクセル１２Ａに対する値を決定するという問題は、ｍ×ｎの連立方程式として表わされる。第１のアレイ１２が低空間周波数を有する場合（すなわち、第１のアレイ１２の点広がり関数が高空間周波数成分を有しない場合）、パターン２０も低空間周波数を有しているものと予期される。このような場合、

に対する値をより低い解像度までダウンサンプリングすることによって、著しいアーチファクトを導入せずに計算が削減されうる（第１のアレイ１２の解像度と同じ低い解像度にすることが好都合である）。結果として生じた問題は、ｎ×ｎの連立方程式として表わされる。したがって、

に対する値は、第１のアレイ１２の対応するピクセル１２Ａに最も近い第２のアレイ１４のピクセル１４Ａの各グループに対して、単一値

を有するｎ個の値

の集合を備えていてもよい。

ブロック５６において、結果として得られるデータは場合によって、第１のアレイ１２の解像度と同じである可能性のある解像度までダウンサンプリングされる。ダウンサンプリングは、様々な方法で実施されてもよい。たとえば、
・ ダウンサンプリングは、適切にフィルタ処理されたサイズ変更機能によってソフトウェアで実施されてもよい。
・ ダウンサンプリングは、第１のピクセルアレイのピクセルの位置に対応する位置の近くで、ピクセル値の平均値として適切に構成されたフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの論理回路で実施されてもよい。
・ ダウンサンプリングは、ピクセル値のブロック平均値を再帰的に取ることによって、グラフィックスプロセッサで実施されてもよい。

ブロック５８は、所望の光パターン２０（第１のアレイ１２の解像度での）を指定する

の値を返す。

方法４０は、ブロック４４で引き継がれて、ブロック５８によって返された値

に近い値か、あるいは値

と同じ値を有する光パターン２０を生じる第１のアレイ１２のピクセルに対する制御値を引き続き決定する。これは、下記の最小化問題を解くことによって実現されうる。

式中、ｄはピクセル１２Ａに対する制御値の集合であり、Ｗはディラックのデルタ関数がピクセル１２Ａに位置する場合のピクセル１２Ａに対する点広がり関数の畳み込みである。

計算結果は、第１のアレイ１２の全ピクセルについて即時に解かずに、アレイ１２よりも小さい近傍における第１のアレイ１２のピクセルを考慮することによって、保存されうる。これは、典型的なデュアル変調器ディスプレイでは、第１のアレイ１２のピクセル１２Ａがピクセル１２Ａから遠い座標にある第２のアレイ１４のピクセル１４Ａに多くの光を与えないために行なわれうる。

また、人間の視覚システムの特性と第２のピクセルアレイ１４のダイナミックレンジとは、第２のピクセルアレイ１４のピクセル１４Ａにおいて所望量の光を得るために調整可能な第１のアレイ１２のピクセルを制限する。人間の視覚システムは、より明るい領域にかなり近い、それほど明るくない領域の輝度変化を検出することができない。この効果は「ベイリンググレア」として知られている。ベイリンググレアは、一つには、目の中で光が散乱することに起因して起きる。

図４はベイリンググレアを示す。所望の画像がライン７５によって示されている。画像７５はより不鮮明な領域７５Ｂに隣接した明るい領域７５Ａを有する。３つのピクセル１２Ａによって発せられる光が、曲線７７Ａ、７７Ｂ、および７７Ｃによって示される。明るい領域７５Ａによって生じるベイリンググレアは、領域７６に影響を与える。領域７６内で、人間の目はレベル７６Ａ（明るい領域７５Ａからの距離に応じて低下する）を下回る輝度差を見分けることができない。領域７６外では、局所的に望まれる値を超えた第１のアレイ１２の強度の増加が検出されることになる。領域７６内の第１のアレイ１２のピクセルは、画像を知覚できるほど変えずに強度を増加している可能性がある。たとえば、光出力７７Ｂは、得られる画像に目に見えるほどの影響を与えずに（７７Ｂ’のピーク強度はまだ曲線７６Ａを下回っているので）７７Ｂ’によって示される値まで高めることができる。

重み付け行列Ｗ（式（１）参照）は密であるが、第２のピクセルアレイ１４の所与のピクセル１４Ａにおける光量を制御するために自由に変更しうるピクセル１２Ａの数はかなり制限される。得られる制御値ｄの行列は、ピクセル１２Ａに対する制御信号値ｄ_ｊ（ｊは特定のピクセル１２Ａを識別する添え字）を得るために、正確に、あるいは適切な方法で近似的に解くことができる比較的粗な帯状行列である。

一実施形態において、ｄ_ｊは次式によって与えられる。

式中、

は添え字ｊ（ｊ番目のピクセル）によって識別されるピクセル１２Ａに対応する領域にある第２のアレイ１４のピクセル１４Ａにおける目標光パターンの値であり、

は添え字ｉ（ｉ番目のピクセル）によって識別されるピクセル１２Ａに対応する領域にある第２のアレイ１４のピクセル１４Ａにおける目標光パターンの値であり、Ｎ（δ_ｊ）はｊ番目のピクセルの近傍にあるピクセル１２Ａを含み、ｗ_ｊｊはｊ番目のピクセルに対応する領域にあるピクセル１４Ａにおけるｊ番目のピクセルに関する点広がり関数に対する値であり、ｗ_ｊｉはｊ番目のピクセルに対応する領域にあるピクセル１４Ａにおけるｉ番目のピクセルに関する点広がり関数に対する値である。

上記のように得られた制御信号に由来する光パターン２０は最適でないかもしれない。実際の光パターンは、ピクセル１４Ａに対応する値Ｂによって特徴付けられる。一般的には、

である。典型的に、画質は、最適な光パターンをよりよく近似する光パターンを生成するために、ｄ_ｊに対する値を微調整することによって改善することができる。また、画質は、より高い空間周波数の詳細および色の表現に第２のアレイ１４のビット深度のより多くを適用しうるようにｄ_ｊに対する値を微調整することによって改善することもできる。補正された制御値は、方法４０のブロック４６で決定される。

ブロック４２で得られた

に対する初期値が最適値に適度に近いものと仮定すると、ｄ_ｊの値をわずかに変化させるだけで最適化されるはずである。本明細書では、このような変化はΔｄ_ｊと呼ばれる。これらの変化は、ピクセル１２Ａを一つずつ処理する「欲張り」アルゴリズムを適用することによって決定することができる。このアルゴリズムは、ピクセル１２Ａに対応する位置でのＢと

の差を減少させようとする。

一部の実施形態において、第１のアレイ１２のｊ番目のピクセルに対するΔｄ_ｊは、ｊ番目のピクセルにｄ_ｊ＋Δｄ_ｊの制御値が与えられるとき、ｊ番目のピクセルに対応する領域内の第２のアレイ１４のピクセル１４Ａに丸められたりクランプされたりしない制御値ｐが与えられるように決定されてもよい。こうすると、第２のアレイ１４は、信号１９Ｂの量子化に起因する情報の喪失なしで所望の画像の高空間周波数成分を忠実に再生することができる。

一実施形態において、アルゴリズムは次式を満たすΔｄ_ｊに対する値を決定することを備える。

式中、αは定数（これは第２のピクセルアレイ１４の制御信号に対する所望の平均値と見なしてもよい）であり、

、Ｗ、およびｄは先に定義した通りであり、Ｗ_ｊはディラックのデルタ関数がピクセル１２Ａに位置する場合の現在処理されているそのピクセル１２Ａに対する点広がり関数の畳み込みである。

Ｂを式（３）のＷｄに代入すると、問題を次式の解を求めることとして表わすことができる。

式中、Ｂ^（ｊ）は光パターン２０を特徴付ける値（前処理されたピクセル１２Ａに対する変化Δｄ_ｊの影響を含む）の集合である。

式（４）はピクセル１２Ａの座標（ｘ，ｙ）によって表わすことができ、次式が得られる。

式中、Ｓ_ｊ（ｘ，ｙ）は位置（ｘ，ｙ）でのｊ番目のピクセル１２Ａの点広がり画像に対するテクスチャスプラットであり、Ｍ_{ｊ（ｘ，ｙ）}は現在考慮中のピクセル１２Ａの位置を取り囲む領域に値１を有し、それ以外の領域（この領域は、たとえば、規定半径の円形領域であってもよい）に値０を有するマスキング関数である。式（５）はΔｄ_ｊについて解くことができ、次式が得られる。

Ｂ^（ｊ）は、既に決定されている任意のΔｄ_ｊを含むｄの値（計算の都合上、範囲［０，１］で表わされる）から計算してもよい。ピクセル１２Ａに対する点広がり関数は典型的に低空間周波数によって変化するので、Ｂ^（ｊ）の計算は低い解像度で実施して、後でアップサンプリングしてもよい。これを行なう場合、低い解像度の画像のピクセルをピクセル１２Ａと一直線になるようにして丸め誤差を回避することが望ましい。

Ｂ^（ｊ）は様々な方法で計算することができる。たとえば、一部の実施形態において、Ｂ^（ｊ）は畳み込みとして計算される。一部のこのような実施形態において、必要に応じてそれぞれの制御値（ｄ_ｊまたはｄ＋Δｄ_ｊ）に設定されたピクセル１２Ａの位置に個々のピクセルを有する真っ黒な画像（ピクセル値がすべてゼロ）は、測光単位で調整されたピクセル１２Ａに対する点広がり関数によって畳み込まれる。このような実施形態は、ソフトウェアで都合よく実施することができる。

他の実施形態において、各ピクセル１４Ａの光量は、そのピクセル１４Ａから寄与ピクセル１２Ａまでの距離を計算し、この各寄与ピクセル１２Ａに対して、そのピクセル１４Ａでの寄与ピクセル１２Ａに対する点広がり関数の値を得るために表内の対応する距離を調べることによって決定される。各点広がり関数の値は、必要に応じて、ピクセル１２Ａに対する現在の制御値（ｄ_ｊまたはｄ＋Δｄ_ｊ）によって変調される（たとえば、乗じられる）。このような実施形態は、適切に構成されたＦＰＧＡなどの論理回路で都合よく実施することができる。

他の実施形態では、スプラッティング法を適用し、適用可能な点広がり関数のテクスチャを用いて画面に配列された四辺形をフレームバッファの中に描画する。各テクスチャは、必要に応じて、対応する制御値（ｄ_ｊまたはｄ＋Δｄ_ｊ）によって変調される。結果を蓄積するために、アルファブレンディングを適用してもよい。このような実施形態は、グラフィックプロセッサユニット（ＧＰＵ）で都合よく実施することができる。

ピクセル１２Ａに適用可能な点広がり関数の末尾は非常に長くなる可能性がある（すなわち、具体的なピクセル１２Ａからの光は、第１および第２のピクセルアレイの座標空間においてピクセル１２Ａから比較的遠いピクセル１４Ａに達する可能性がある）。精度と計算オーバーヘッドとの妥協には、点広がり関数を妥当な距離で切り捨てることを必要とするかもしれない。これを行なう場合、点広がり関数に有意な不連続性を残すのではなく、切捨て点の領域で点広がり関数をゼロに調和させることが望ましい。

点広がり関数の切捨ては、切捨て距離外のピクセル１４Ａに対して本来あるべき強度よりも小さい計算強度をもたらす可能性がある。ディスプレイのピーク輝度に比べて有意ではないものの、この差異は暗領域での知覚可能な不整合の一因となる可能性がある。点広がり関数の切捨て部分の空間周波数は非常に低いので、バックライト画像の各ピクセルに項ｕを加えることによって、切捨ての結果として考慮されない光を表わすように補償することが可能である。ｕの値は、制御値ｄの集合の一部分（または、他の適切な関数）となるように選定してもよい。ｕに対する適切な値は、実際の点広がり関数とこの点広がり関数の切捨てられたシミュレーションとのエネルギー差に基づいていてもよい。

式（６）を解くプロセスは、スキャンライン順に（すなわち、第１のピクセルアレイ１２の１つの隅で始まり、一度にピクセルの１つの列に沿って進む）ピクセル１２Ａに作用することを備えていてもよい。現在のピクセル１２Ａに対応する点広がり関数Ｓ_ｊでは、

およびＢの対応する領域が選択されて、それぞれの要素が乗じられた後、加算されてΔｄ_ｊを生成する。この後、対応する制御値ｄ＋Δｄ_ｊは制御値ｄに書き込まれ、結果的に、Ｂは値Δｄ_ｊＳ_ｊをＢに蓄積することによって修正される。

Ｂをさらにリファインするために、必要に応じて、前述のプロセスは２回以上繰り返してもよい。

ピクセル１２Ａに対する制御値ｄをリファインする上記の計算では、実際の光パターンの値Ｂの正しい集合が既知である（たとえば、式（６）はＢを含む）と仮定している。しかし、ほとんどすべての場合、Δｄ_ｊの計算が特定のピクセル１２Ａに対して実行されている時点で、Δｄ_ｊはまだ他のピクセル１２Ａに対して計算されていないことになる。Δｄ_ｊは通常小さいものの（ブロック４２において

に対する良好な近似が得られる限り）、累積誤差は有意である可能性がある。

Δｄ_ｊが既に処理されている領域とΔｄ_ｊがまだ処理されていない領域とを区別することができるように、ピクセル１２Ａを既知の順序で処理する場合、この誤差を補償することが可能である。たとえば、ピクセル１２Ａが第１のアレイ１２の左上隅で始まるスキャンライン順に処理される事例を検討する。この事例において、現在のピクセル１２Ａの上方および左側のピクセル１２Ａは既に更新されているが、現在のピクセル１２Ａの下方および右側のピクセル１２Ａはまだ更新されていない。Δｄ_ｋが一部のｋ＞ｊに対してたとえ未知であっても、所望の画像

およびＢ^（ｋ）に対する値は既知である。ｋ番目のピクセル１２Ａによって発せられる光が

とＢ^（ｋ）の差に等しい量だけ変化するようにｋ番目のピクセル１２Ａに対する制御値は変化するものと仮定することができる。

式（５）に補正処置を実行する画像フィルタを追加すると次式を得ることができる。

式中、Ｆは画像フィルタである。式（７）をΔｄ_ｊについて解くと次式を得ることができる。

式（８）は、たとえば、前述のように解いてもよい。必要なのは、既に補正されている（すなわち、Δｄ_ｊが計算されていてかつ対応する制御値に加えられている）ピクセル１２Ａに対して正値を有しまだ補正されていないピクセル１２Ａに対して負値を有するフィルタ関数Ｆだけである。

表示された画像を調整するためにαの値を設定することができる。α＝１の値は、ピクセル１２Ａを

と同じ強度になるようにして動作を目標の

にできる限り適合させる。誤差拡散は、所望の画像を実現するために第２の反復として実施することができる。α＝０．５の値は、第１のアレイ１２を

の２倍の明るさになるようにして、ｐ_ａｖｇ＝０．５をもたらす。これは、典型的に、補正に利用できるピクセル１４Ａに対する制御値のビット数を最大にし、第２のアレイ１４に対する制御値ｐの量子化に起因するアーチファクトを最小にする。

局所的な近傍に依存するαの値を選定するなど、より複雑な方式も、可能であり、光パターン２０の機能別トーンスケーリングを提供するために採用することができる。

制御値ｄは、ディスプレイ１０の第１のアレイ１２の対応するピクセル１２Ａを駆動するために信号１９Ａで供給されてもよい。第２のアレイ１４のピクセル１４Ａに対する制御値ｐは、たとえば、以下によって決定されてもよい。
・ 第１のアレイ１２のピクセルに制御値ｄを適用することから得られるパターン２０の光の分布Ｂを推定すること
・ 次式に従って値ｐを計算すること

図５は、ディスプレイ１０を制御する実例のコントローラ１６におけるデータの実例の流れを示す。図５の機能ブロックは、汎用データプロセッサ、つまり論理回路（たとえば、構成済みＦＰＧＡ）、グラフィックスプロセッサ、またはこれらの組合せで実行されるソフトウェアで実現されてもよい。画像データ１８は、コントローラ１６で受け取られる。所望の画像

は、画像データ１８から抽出される。所望の光パターン生成器６０は、第１のアレイ１２によって生成される所望の光パターン

を生成する。第１のアレイ制御値生成器６２は、制御値ｄを生成する。第１のアレイ制御値生成器６２は、前述のような方法に従って制御値ｄおよび調整値Δｄを生成してもよい。

制御信号生成器６４Ａは、第１のアレイ制御回路６５Ａに供給される制御信号１９Ａを生成する。第１のアレイ制御回路６５Ａは、第１のアレイ制御値ｄに従って第１のアレイ１２のピクセルを操作する。制御信号１９Ａは、第１のアレイ制御回路６５Ａに直ちに供給されてもよく、遅延後に第１のアレイ制御回路６５Ａに送られてもよい。たとえば、信号１９Ａは、媒体（図示せず）に記録されて、後に第１のアレイ制御回路６５Ａにプレイバックされてもよい。

また、第１のアレイ制御値ｄは、光パターンシミュレータ６６に供給される。光パターンシミュレータ６６は、シミュレートされた光パターンＢを決定する。第２のアレイ制御値生成器６８は、シミュレートされた光パターンＢおよび所望の画像

に基づいて第２のアレイ制御値ｐを生成する。また、シミュレータ６６によって決定される光パターンＢは、たとえば、前述のように、Δｄ_ｊの計算に使用するためのＢ^（ｊ）を生成するために第１のアレイ制御値生成器６２によって使用されてもよい。

制御信号生成器６４Ｂは、第２のアレイ制御回路６５Ｂに供給される制御信号１９Ｂを生成する。第２のアレイ制御回路６５Ｂは、第２のアレイ制御値ｐに従って第２のアレイ１４のピクセルを操作する。データ１９Ｂは、第２のアレイ制御回路６５Ｂに直ちに供給されてもよく、信号１９Ａに関連して前述したように遅延後に供給されてもよい。

図６は、デュアル変調器ディスプレイにおける第１のピクセルアレイに対する制御信号を生成する実例のシステム７０を示す。図６の機能ブロックは、汎用データプロセッサ、つまり論理回路（たとえば、構成済みＦＰＧＡ）、グラフィックスプロセッサ、またはこれらの組合せで実行されるソフトウェアで実現されてもよい。所望の画像

は、初期制御値生成器７２に提供される。初期制御値生成器７２は、初期制御値ｄを生成する。初期制御値生成器７２は、前述のような方法に従って初期制御値ｄを生成してもよい。初期制御値生成器７２は、初期制御値ｄを生成する過程で所望の光パターン

を生成してもよい。

制御値ｄは、光パターンシミュレータ７４に提供される。光パターンシミュレータ７４は、シミュレートされた光パターンＢを決定する。シミュレートされた光パターンＢは、所望の画像

とともに制御値調整値生成器７６に提供される。制御値調整値生成器７６は、制御信号調整値Δｄを生成する。制御値調整値生成器７６は、前述のような方法に従って各制御値ｄ_ｊに対する制御信号調整値Δｄ_ｊを生成してもよい。制御信号調整値Δｄは、初期制御値ｄと結合されて調整された制御値ｄ＋Δｄを生成する。

本発明の一部の実施では、プロセッサに本発明の方法を実施させるソフトウェア命令を実行するコンピュータプロセッサが備えられる。たとえば、ディスプレイコントローラ内の１つまたは複数のプロセッサ、またはデュアル変調器ディスプレイで使用される制御信号１９Ａおよび１９Ｂを含む信号を出力するデバイス内の１つまたは複数のプロセッサは、これらのプロセッサにアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって図３および図３Ａの方法を実施してもよい。また、本発明は、プログラム製品の形で提供されてもよい。プログラム製品は、データプロセッサによって実行されるときにデータプロセッサに本発明の方法を実行させる命令を備えるコンピュータ可読信号の集合を伝送する媒体を備えていてもよい。本発明に従ったプログラム製品は、様々な形態のどのようなものであってもよい。プログラム製品は、たとえば、フロッピー（登録商標）ディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体などの媒体を備えていてもよい。プログラム製品上のコンピュータ可読信号は、光学的に圧縮または暗号化されてもよい。

構成部品（たとえば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）について上記で言及したが、特に明記しない限り、当該構成部品への言及（「手段」への言及を含む）は、当該構成部品の等効物、記載された構成部品の機能を実行する任意の構成部品（すなわち、機能的に等価である）として含み、本発明で説明された例示的実施形態における機能を実行する開示構造物に構造的に等価でない構成部品を含むものと解釈されるべきである。

前述の開示に照らして当業者には明らかなように、本発明の実施に際して、本発明の趣旨または範囲から逸脱することなく多くの変更形態または修正形態が可能である。たとえば、
・ 制御信号１９Ａおよび１９Ｂは、画像データ１８（これは、たとえば、ビデオデータを備えていてもよい）に応じてリアルタイムで生成されてもよく、事前に生成されてもよい。

したがって、本発明の範囲は、以下の特許請求の範囲で規定される要旨に従って解釈されるべきである。

Claims (24)

1. 画像データにより規定される所望の画像を表示する方法であって、
   所望の画像を規定する画像データから、複数のピクセルの行と複数のピクセルの列とを含む第１のピクセルアレイによって二次元の第２のピクセルアレイに投影される目標光パターンを生成することであって、目標光パターンは、所望の画像を近似し、かつ前記第２のピクセルアレイのピクセルに対する強度値によって特徴付けられる、前記目標光パターンを生成すること、
   一集合の制御値を適用して前記第１のピクセルアレイのピクセルを駆動することにより生じる光パターンを予測すること、
   予測された光パターンよりも前記目標光パターンによりよく近似する光パターンを生成するような前記制御値に対する調整値を決定し、前記調整値を前記制御値と結合して調整された制御値を生成すること、
   前記第１のピクセルアレイを前記調整された制御値に従って駆動して、光のパターンを前記第２のピクセルアレイに投影すること、
   前記第２のピクセルアレイを動作させて光のパターンを変調し、光のパターンよりも所望の画像に近い画像を生成すること
   を備える方法。
2. 前記制御値を補正することにより、前記第２のピクセルアレイの増加されたビット深度を適用してより高い空間周波数における細部および色の表現を可能にする光パターンが生成される、請求項１に記載の方法。
3. 前記第２のピクセルアレイは、前記第１のピクセルアレイよりも多くのピクセルを含む、請求項１又は２に記載の方法。
4. 前記制御値に対する調整値を決定することは、一度に複数の列のピクセルの一つの列に沿って進むスキャンライン順に前記第１のピクセルアレイのピクセルに対応する前記制御値を処理することを含む、請求項１乃至３のいずれか１項に記載の方法。
5. 前記第１のピクセルアレイは、個々に制御可能な光源のアレイを含む、請求項１乃至４
   のいずれか１項に記載の方法。
6. 前記光源は、発光ダイオードを含む、請求項５に記載の方法。
7. 前記制御値に対する調整値を決定することは、前記第１のピクセルアレイのピクセルを一つずつ処理し、前記第１のピクセルアレイの各処理されたピクセルに対し、処理されたピクセルと対応する第２のピクセルアレイ上の位置における予測された光パターンと目標光パターンとの間の差を減少させようとするアルゴリズムを適用することを含む、請求項１乃至６のいずれか１項に記載の方法。
8. 前記制御値に対する調整値を決定することは、まだ決定されていない調整値によって生じる既に決定されている調整値との間の誤差を補償するために、既に処理されている前記第１のピクセルアレイのピクセルとまだ処理されていない前記第１のピクセルアレイのピクセルとを区別するフィルタを使用することを含む、請求項１乃至７のいずれか１項に記載の方法。
9. 前記制御値に対する調整値を決定することは、前記第１のピクセルアレイの複数のピクセルによる調整値に対する複数の寄与を加算することを含み、前記フィルタを使用することは、既に処理されているピクセルに対する一つの符号と、まだ補正されていないピクセルに対する逆符号とを有するフィルタ関数を前記複数の寄与の各々に乗算することを含む、請求項８に記載の方法。
10. 前記一集合の制御値を適用して前記第１のピクセルアレイのピクセルを駆動することにより生じる光パターンを予測すること、
    予測された光パターンよりも前記目標光パターンによりよく近似する光パターンを生成するような前記制御値に対する調整値を決定し、前記調整値を前記制御値と結合して調整された制御値を生成すること
    を２回以上繰り返すことを実行することを備える請求項１乃至９のいずれか１項に記載の方法。
11. 画像データはビデオデータを備え、前記方法はリアルタイムで実行される、請求項１乃至１０のいずれか１項に記載の方法。
12. 光パターンを予測することは、画像データの解像度よりも低い解像度において行われる、請求項１乃至１１のいずれか１項に記載の方法。
13. 光パターンを予測することは、前記一集合の制御値が提供されるとき、前記第１のピクセルアレイの前記ピクセルの強度を前記ピクセルの点広がり関数によって畳み込むことを含む、請求項１乃至１２のいずれか１項に記載の方法。
14. 前記ピクセルの少なくとも１つの点広がり関数を切り捨てること、切捨てられた点広がり関数を有する前記第１のピクセルアレイの各ピクセルについて、切捨て境界の外側のピクセルに対する予測された光パターンに値ｕを加えることを備える、請求項１３に記載の方法。
15. 前記第１のピクセルアレイによって照射される第２のピクセルアレイのピクセルにおいて生成されることが予測される光パターンの強度が、前記所望の画像の対応する位置における強度よりも前記第２のピクセルアレイのピクセルの変調範囲内の量だけ大きくなるように、前記目標光パターンと、前記一集合の制御値とを生成することを備える、請求項１乃至１４のいずれか１項に記載の方法。
16. 前記調整値は、前記第１のピクセルアレイのピクセルに調整された制御値が与えられるとき、前記第１のピクセルアレイのピクセルに対応する領域内の前記第２のピクセルアレイのピクセルに対する制御値が丸められないように、前記第１のピクセルアレイのピクセルにより出力される光を低減する調整値を含む、請求項１乃至１５のいずれか１項に記載の方法。
17. 画像データにより規定される所望の画像を表示するディスプレイであって、
    複数のピクセルの行と複数のピクセルの列とを含み、空間的に変化する光のパターンを二次元の第２のピクセルアレイに投影するように構成された第１のピクセルアレイと、
    コントローラとを備え、前記コントローラは、
    所望の画像を規定する画像データから、前記第１のピクセルアレイによって投影されるべき目標光パターンであって、所望の画像を近似し、かつ前記第２のピクセルアレイのピクセルに対する強度値によって特徴付けられる目標光パターンを生成し、
    一集合の制御値を適用して前記第１のピクセルアレイのピクセルを駆動することにより生じる光パターンを予測し、
    予測された光パターンよりも前記目標光パターンによりよく近似する光パターンを生成するような前記制御値に対する調整値を決定し、前記調整値を前記制御値と結合して調整された制御値を生成し、
    前記第１のピクセルアレイを前記調整された制御値に従って駆動して、光のパターンを前記第２のピクセルアレイに投影し、
    前記第２のピクセルアレイを動作させて光のパターンを変調し、光のパターンよりも所望の画像に近い画像を生成するように構成されている、ディスプレイ。
18. 前記第２のピクセルアレイは、前記第１のピクセルアレイよりも多くのピクセルを含む、請求項１７に記載のディスプレイ。
19. 前記コントローラは、一度に複数の列のピクセルの一つの列に沿って進むスキャンライン順に前記第１のピクセルアレイのピクセルに対応する前記制御値を処理することにより前記制御値に対する調整値を決定するように構成されている、請求項１７又は１８に記載のディスプレイ。
20. 前記第１のピクセルアレイは、個々に制御可能な光源のアレイを含む、請求項１７乃至１９のいずれか１項に記載のディスプレイ。
21. 前記光源は、発光ダイオードを含む、請求項２０に記載のディスプレイ。
22. 前記コントローラは、前記第１のピクセルアレイのピクセルを一つずつ処理し、前記第１のピクセルアレイの各処理されたピクセルに対し、処理されたピクセルと対応する第２のピクセルアレイ上の位置における予測された光パターンと目標光パターンとの間の差を減少させようとするアルゴリズムを適用することにより前記制御値に対する調整値を決定するように構成されている、請求項１７至２１のいずれか１項に記載のディスプレイ。
23. 前記コントローラは、前記第１のピクセルアレイの複数のピクセルによる調整値に対する複数の寄与を加算することにより前記制御値に対する調整値を決定するように構成され、前記コントローラは、既に処理されている前記第１のピクセルアレイのピクセルとまだ処理されていない前記第１のピクセルアレイのピクセルとを区別するフィルタを含み、前記コントローラは、前記複数の寄与を加算する前に前記複数の寄与に前記フィルタを適用するように構成されている、請求項１７乃至２２のいずれか１項に記載のディスプレイ。
24. 前記コントローラは、前記一集合の制御値を適用して前記第１のピクセルアレイのピクセルを駆動することにより生じる光パターンを予測すること、
    予測された光パターンよりも前記目標光パターンによりよく近似する光パターンを生成するような前記制御値に対する調整値を決定し、前記調整値を前記制御値と結合して調整された制御値を生成すること
    を２回以上繰り返すことを実行するように構成されている請求項１７乃至２３のいずれか１項に記載のディスプレイ。