JP7150091B2 - マルチ変調ディスプレイにおいて局所暗化するシステム及び方法 - Google Patents

Description

本発明は、マルチ変調ディスプレイシステムに関し、特に、マルチ変調ディスプレイシステムで画像データ及びビデオデータをレンダリングするシステム及び方法に関する。

プロジェクタシステムは現在、ダイナミックレンジ及び光効率的な使用が改善されて構築されている。デュアル及びマルチ変調プロジェクタディスプレイが当技術分野で既知である。しかし、そのようなディスプレイシステムでの光処理のモデリングの改善から生じるそのようなディスプレイシステムの更なる改善が、レンダリング及び性能の両方で可能である。

デュアル及びマルチ変調プロジェクタ・ディスプレイ・システム及び技法が開示される。一実施形態では、プロジェクタ・ディスプレイ・システムは、光源と、コントローラと、光源から光を受け取り、入力画像のハーフトーン画像をレンダリングする第１の変調器と、点広がり関数（ＰＳＦ）を用いて上記ハーフトーン画像をぼやけさせるブラーリング（blurring）光学システムと、ブラーハーフトーン画像を受信し、パルス幅変調画像をレンダリングする第２の変調器であって、パルス幅変調画像は投射されて、所望のスクリーン画像を形成し得る、第２の変調器とを備える。入力画像からバイナリハーフトーン画像を形成し、第１の変調器と第２の変調器との位置合わせずれを補正し、例えば経時的にプロジェクタシステムを較正して、画像を連続して改善するシステム及び技法も開示される。

一実施形態では、プロジェクタ・ディスプレイ・システムであって、レーザ光源と、入力画像データを受信し、制御信号を出力するコントローラと、上記レーザ光源から光を受け取る第１の変調器であって、上記制御信号を上記コントローラから受信して、上記入力画像のハーフトーン画像をレンダリング可能である第１の変調器と、上記第１の変調器から受信した上記ハーフトーン画像をぼやけさせるブラーリング光学システムと、上記ブラーハーフトーン画像を上記ブラーリング光学システムから受信し、上記制御信号を上記コントローラから受信してパルス幅変調画像をレンダリング可能な第２の変調器であって、上記パルス幅変調画像は、所望のスクリーン画像を形成するように投射可能である、第２の変調器とを備える、プロジェクタ・ディスプレイ・システム。

別の実施形態では、プロジェクタ・ディスプレイ・システムにおいて入力画像データから所望のスクリーン画像を投射する方法であって、上記プロジェクタ・ディスプレイ・システムは、光源と、入力画像データを受信し、制御信号を出力するコントローラと、上記コントローラから制御信号を受信し、上記光源から光を受け取る前置変調器と、上記前置変調器から光を受け取るブラーリング光学システムと、制御信号を上記コントローラから受信し、光を上記ブラーリング光学システムから受け取る主変調器とを備え、方法は、上記入力画像データからバイナリハーフトーン画像を作成すること、上記バイナリハーフトーン画像からブラーバイナリハーフトーン画像を作成すること、上記ブラーバイナリハーフトーン画像からパルス幅変調画像を作成すること、上記パルス幅変調画像から所望のスクリーン画像を投射することを含む、方法。

更に別の実施形態では、プロジェクタ・ディスプレイ・システムを較正する方法であって、上記プロジェクタ・ディスプレイ・システムは、光源と、入力画像データを受信し、制御信号を出力するコントローラと、上記コントローラから制御信号を受信し、上記光源から光を受け取る前置変調器と、上記前置変調器から光を受け取るブラーリング光学システムと、制御信号を上記コントローラから受信し、光を上記ブラーリング光学システムから受け取る主変調器とを備え、方法は、入力画像データを受信すること、ハーフトーン画像を計算すること、ライトフィールドモデルを適用することであって、上記ライトフィールドモデルは、上記ブラーリング光学システムのＰＳＦモデルに基づく、適用すること、上記主変調器の主画像を計算すること、上記主変調器からスクリーン画像を表示すること、画像捕捉デバイスを用いて上記スクリーン画像を捕捉すること、捕捉スクリーン画像を前置格子とともに登録すること、登録された捕捉スクリーン画像を上記入力画像データと比較すること、所望の量を超える差がある場合、上記ＰＳＦモデルへの補正を計算すること、更なる較正に対して改善されたＰＳＦモデルを適用することを含む、方法。

本システムの他の特徴及び利点は、本願内で提示される図面と併せて読まれる場合、詳細な説明において以下に提示される。
例示的な実施形態は、図面の参照図に示される。本明細書で開示される実施形態及び図が限定ではなく例示として見なされるべきであることが意図される。

マルチ変調ディスプレイシステムの一実施形態と、本願のシステム、方法、及び技法が存在し得る環境とを示す。 図１に与えられるようなデュアル、マルチ変調ディスプレイシステムによって影響を受け得る光学処理／画像処理の高レベル図の一実施形態を示す。 Ａは、適切なバイナリハーフトーン画像を生成する方法の一実施形態を示し、Ｂは適切なハーフトーン画像を生成する方法の別の実施形態を示す。 Ｃ及びＤは、適切なハーフトーン画像を生成する方法の別の実施形態を示す。 パルス幅ＤＭＤを生成する技法の一実施形態を示す。 前置－主マップ、ライトフィールドモデル、及び主－前置マップを使用して、登録された主ライトフィールドを生成する流れ図の一実施形態である。 捕捉され、モデリングされ、使用されて、カラー（例えば、赤、緑、又は青）ライトフィールドを計算し得るＰＳＦのアレイを示す。 Ａ－Ｆは、本願の様々な処理モジュールを通しての入力画像の例示的なレンダリングを示す。 システムの画像レンダリングプロセスの一実施形態を示す。 システムの潜在的な連続補正／改善の改良プロセスとの一実施形態を示す。 点広がり関数（ＰＳＦ）分布例を示す。 本願の実施形態によって処理し得る例示的な一画像を示す。 本願の実施形態によって処理し得る例示的な一画像を示す。 本願の実施形態によって処理し得る例示的な一画像を示す。 本願の実施形態によって処理し得る例示的な一画像を示す。 例示的な入力画像データに基づく画像処理の２つのチャートを示す。 例示的な入力画像データに基づく画像処理の２つのチャートを示す。

本明細書で使用される場合、「コントローラ」、「システム」、「インターフェース」等の用語は、ハードウェア、ソフトウェア（例えば、実行中）、及び／又はファームウェアのコンピュータ関連エンティティを指すことが意図される。例えば、コントローラは、プロセッサで実行中のプロセス、プロセッサ、オブジェクト、実行可能ファイル、プログラム、及び／又はコンピュータであり得る。コントローラは、プロセッサと、システムメモリとを備え得、メモリは、プロセッサによって読み取られると、本明細書に開示される１つ又は複数の方法及び／又は技法を行わせるプロセッサ可読命令を含み得る。１つ又は複数のコントローラは、プロセス内に存在することができ、コントローラは、１つのコンピュータ／プロセッサに局所化されてもよく、且つ／又は２つ以上のコンピュータ／プロセッサに分散されてもよい。コントローラは、ハードウェア、ソフトウェア（例えば、実行中）、及び／又はファームウェアの通信関連エンティティを指すことも意図され得、通信を行うのに十分な有線又は無線ハードウェアを更に備え得る。

以下の説明全体を通して、より十分な理解を当業者に提供するために、具体的な詳細が記載される。しかし、周知の要素は、本開示を不必要に曖昧にしないように、詳細に示されておらず、又は詳述されていない。したがって、説明及び図面は、限定の意味ではなく例示の意味で見なされるべきである。

前置き
プロジェクタ及び他のディスプレイシステムの分野では、画像レンダリング性能及びシステム効率の両方を改善することが望ましい。本願の幾つかの実施形態は、ライトフィールドモデリングをデュアル又はマルチ変調ディスプレイシステムに利用することにより、これらの改善を行うシステム、方法、及び技法を記載している。一実施形態では、光源モデルが開発され、有利な効果に使用される。既知の入力画像の表示画像のカメラ写真が評価されて、光モデルを改善し得る。幾つかの実施形態では、反復プロセスが改善を蓄積し得る。幾つかの実施形態では、これらの技法は、移動している画像に対して使用されて、ライブで調整を行い、画像レンダリング性能を改善し得る。

デュアル変調プロジェクタ及びディスプレイシステムは、本願の出願人が所有する特許及び特許出願に記載されており、それらには、
（１）２０１２年２月２８日にワード（Ｗａｒｄ）らに発行された「バイナリ光変調段階を有する直列変調ディスプレイ（ＳＥＲＩＡＬ ＭＯＤＵＬＡＴＩＯＮ ＤＩＳＰＬＡＹ ＨＡＶＩＮＧ ＢＩＮＡＲＹ ＬＩＧＨＴ ＭＯＤＵＬＡＴＩＯＮ ＳＴＡＧＥ）」という名称の米国特許第８，１２５，７０２号明細書、
（２）２０１３年６月１３日に公開されたホワイトヘッド（Ｗｈｉｔｅｈｅａｄ）らへの「投射ディスプレイ（ＰＲＯＪＥＣＴＩＯＮ ＤＩＳＰＬＡＹＳ）」という名称の米国特許出願第２０１３０１４８０３７号明細書、
（３）２０１１年９月２２に公開されたウォーレナー（Ｗａｌｌｅｎｅｒ）への「クラスタ化された光源を使用するカスタムＰＳＦ（ＣＵＳＴＯＭ ＰＳＦｓ ＵＳＩＮＧ ＣＬＵＳＴＥＲＥＤ ＬＩＧＨＴ ＳＯＵＲＣＥＳ）」という名称の米国特許出願第２０１１０２２７９００号明細書、
（４）２０１３年５月２日に公開されたシールズ（Ｓｈｉｅｌｄｓ）への「高ダイナミックレンジディスプレイシステムで高コントラスト画像を正確に表現するシステム及び方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＣＣＵＲＡＴＥＬＹ ＲＥＰＲＥＳＥＮＴＩＮＧ ＨＩＧＨ ＣＯＮＴＲＡＳＴ ＩＭＡＧＥＲＹ ＯＮ ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ）」という名称の米国特許出願第２０１３０１０６９２３号明細書、
（５）２０１１年１１月１７日に公開されたユーリンジプラス（Ｅｒｉｎｊｉｐｐｕｒａｔｈ）への「フィルタレスＬＣＤを使用して、コントラスト及び解像度を増大する高ダイナミックレンジディスプレイ（ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＤＩＳＰＬＡＹＳ ＵＳＩＮＧ ＦＩＬＴＥＲＬＥＳＳ ＬＣＤ（Ｓ） ＦＯＲ ＩＮＣＲＥＡＳＩＮＧ ＣＯＮＴＲＡＳＴ ＡＮＤ ＲＥＳＯＬＵＴＩＯＮ）」という名称の米国特許出願第２０１１０２７９７４９号明細書、及び
（６）２０１２年５月３１日に公開されたクワン（Ｋｗｏｎｇ）への「色補正及び輝度補正に空間的に変化する反射率／吸収勾配を用いるリフレクタ（ＲＥＦＬＥＣＴＯＲＳ ＷＩＴＨ ＳＰＡＴＩＡＬＬＹ ＶＡＲＹＩＮＧ ＲＥＦＬＥＣＴＡＮＣＥ／ＡＢＳＯＲＰＴＩＯＮ ＧＲＡＤＩＥＮＴＳ ＦＯＲ ＣＯＬＯＲ ＡＮＤ ＬＵＭＩＮＡＮＣＥ ＣＯＭＰＥＮＳＡＴＩＯＮ）」という名称の米国特許出願第２０１２０１３３６８９号明細書
が含まれる。これらは全て、参照により本明細書に援用される。

例示的な物理的構造
一般に、単一のデジタルマイクロミラーデバイス（ＤＭＤ：Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を有するプロジェクタは、限られたコントラスト比を有する傾向があり得る。より大きなコントラスト比を得るためには、２つ以上のＤＭＤ及び／又は他のリフレクタ（例えば、ＭＥＭＳ）が直列に配置され得る。ＤＭＤは時分割又はパルス幅変調器として動作し得るため、直列になった２つ以上のＤＭＤ及び／又はリフレクタ（両方ともパルス幅変調器として機能する）を動作させるには、精密な時分割位置合わせと、時分割シーケンシングのピクセル毎の対応性とが求められる。そのような位置合わせ及び対応性は、実際には困難であり得る。したがって、本願の多くの実施形態では、プロジェクタ及び／又はディスプレイシステムは、所望の性能を発揮するために、異なるデュアル変調方式を利用し得る。

例示的なプロジェクタ・ディスプレイ・システムの関連で更に詳細に考察するが、第１のＤＭＤ／リフレクタ（「前変調器」又は「前置変調器」と呼ばれる）が、所望の時間期間（例えば、１フレーム又はその部分）にわたって保持し得るハーフトーン画像によって光源を空間的に変調し得る。このハーフトーン画像はブラーリング処理されて、空間的に帯域幅が低減したライトフィールドを作成し得、このライトフィールドは第２のＤＭＤ／リフレクタに適用し得る。第２のＤＭＤ／リフレクタ（主変調器と呼ばれる）は、ブラーライトフィールド（blurred light field）をパルス幅変調し得る。この構成は、上述し
た両要件（例えば、精密な時分割位置合わせ及び／又はピクセル毎の対応性）を回避する傾向を有し得る。幾つかの実施形態では、２つ以上のＤＭＤ／リフレクタは、時間的にフレーム位置合わせされ、大まかに空間的にフレーム位置合わせされ得る。幾つかの実施形態では、前置ＤＭＤ／リフレクタからのブラーライトフィールドは主ＤＭＤ／リフレクタに実質的に重なり得る。他の実施形態では、例えば、レンダリング性能の増大を支援するために空間位置合わせは既知であり、考慮され得る。

本願は、デュアル、マルチ変調投射システムの関連で提示されるが、本願の技法及び方法がデュアル、マルチ変調ディスプレイシステムに用途を見出すであろうことを理解されたい。例えば、バックライト、第１の変調器（例えば、ＬＣＤ等）、及び第２の変調器（例えば、ＬＣＤ等）を備えるデュアル変調ディスプレイシステムは、適切なブラーリング光学構成要素及び画像処理方法及び技法を利用して、投射システムの関連で本明細書で考察される性能及び効率を発揮し得る。

図１は２段階又はデュアル変調ディスプレイシステムを示すが、本願の方法及び技法が３つ以上の変調器（マルチ変調器）ディスプレイシステムでも用途を見出し得ることも理解されたい。本願の範囲は、これらの様々な代替の実施形態を包含する。

図１は、本願の目的に対して適切なデュアル変調プロジェクタ・ディスプレイ・システム１００の一実施形態である。ディスプレイ１００は、光源１０２を備え得、光源は、１つの光源（例えば、ランプ等）又は複数の点光源（例えば、レーザ、ＬＥＤ等）を含み得る。デジタル動画プロジェクタの関連では、図１の光源１０２は、レーザ光源（例えば、１０２－１、１０２－２、１０２－３、１０２－１’、１０２－２’、１０２－３’）の１つ又は複数のバンクを含み得る。ここでは、結合された場合、白色光（例えば、赤、緑、及び青）をレンダリングし得る複数のカラー光源があり得る。

光源１０２からの光は、光学段１０４に送られ得る。光学段１０４は、ＲＧＢレーザ源からの光を結合する結合器１０４－１と、光の均一性を改善し得る統合ロッド１０４－２とを備え得る。その後、光１０３は、拡散器１０６を通って送られて、光に角度の多様性を提供し得る。第１の変調器／前変調器１０８は、この光を入力し得、本明細書で更に説明するように、コントローラ１２０の制御下で前変調器画像処理を提供し得る。

一実施形態では（及び図１に示されるように）、第１の前変調器１０８は、ＤＭＤアレイであり得る。しかし、１組の光学素子が別個のカラーチャネルを処理し得る（例えば赤チャネル、緑チャネル、及び青チャネルに、例えば１０８－１、１０８－２、及び１０８－３）。単なる例示を目的として、前変調器１０８は、標準プリズム設計を使用して３．０ｃｍ（１．２’’）２ＫミラーＤＭＤであり得る。前変調器１０８は、バイナリハーフトーン画像を表示するように制御され得る。例えば、この場合、ピクセルは完全にＯＮであるか、又は完全にオフである（オフ状態の光はオフ状態光１０５に破棄し得る）。他の実施形態では、アナログ微小電子機械システム（ＭＥＭＳ）及び／又は他のアナログ及び／又はデジタルリフレクタが、光を再分布させて異なるタイプの画像を形成するように適宜制御され得る。

このハーフトーン画像１０７は、点広がり関数（ＰＳＦ）光学段１１２に通され得る。ＰＳＦ光学段は、多くの異なる光学素子１１０、１１４等（例えば、レンズ、拡散器、リフレクタ等）を備え得る。本願の目的では、ＰＳＦ光学段がハーフトーン画像を前変調器１０８から受信し、ハーフトーン画像（１０９）の所望のデフォーカスを第２の変調器／主変調器１１６に提供することで十分であろう。第１の変調器１０８と同様に、第２の変調器はＤＭＤアレイであり得る。しかし、１組の光学素子が別個のカラーチャネルを処理し得る（例えば赤チャネル、緑チャネル、及び青チャネルに、例えば１１６－１、１１６－２、及び１１６－３）。単に別の例示的な目的として、前変調器１０８は、標準プリズム設計を使用して３．６ｃｍ（１．４’’）４ＫミラーＤＭＤであり得る。

主変調器１１６は、光１０９を受け取り得、コントローラ１２０によって制御し得る。コントローラ１２０は、ハーフトーン化と、ＰＳＦとを組み合わせた効果を推定し、且つ／又はモデリングして、ピクセル単位で主変調器１１６での局所明度を特定するライトフィールドシミュレーションを利用し得る。ＭＥＭＳリフレクタを利用する実施形態等の他の実施形態では、コントローラ１２０は同様に、ライトフィールド形成をモデリングし得る。このモデルから、コントローラ１２０は、主変調器１１６のピクセル値を計算、推定、又は他の方法で特定して、最終的な投射／レンダリング画像を生成するようにライトフィールドを変更し得る。その後、光１１３は投射光学系１１８を通り、最終的な投射／レンダリング画像をプロジェクタスクリーン（図示せず）に形成し得る。オフ光はオフ状態光１１１に破棄し得る。

多くの実施形態では、デフォーカスハーフトーン画像と主変調器画像との積である最終的な画像が生成され得る。そのような最終的な画像では、コントラストは１５，０００，０００：１の範囲であり得る。

光学処理／画像処理の一実施形態
本願の目的に対して適切な例示的なプロジェクタ・ディスプレイ・システムを考察したが、これより、画像処理及びシステム効率において改善を行い得る画像処理の幾つかの方法及び技法を開示する。

一実施形態では、プロジェクタシステムは、バイナリハーフトーン画像を作成し得、バイナリハーフトーン画像は光学構成要素によって平滑化されて、所望のディスプレイ画像の帯域幅を制限したものを作成し得る。光学構成要素ＰＳＦの形状は、平滑化関数の属性を決め得る。ＰＳＦの形状は、システムの表示性能及び計算要件に影響し得る。多くの実施形態では、ＰＳＦの形状は、以下の属性及び／又は以下の指針のうちの１つ又は複数を有し得る。

（１）ＰＳＦは、最も疎なハーフトーンパターンを比較的平坦な場に平滑化し得る。これは、ＰＳＦのサイズに大まかな下限を課し得る。
（２）大きなＰＳＦほど、デュアル変調がアクティブである空間周波数を低減し得、より大きな「ハロー」を生じさせ得る（本明細書において更に考察するように）。これは、より大きな計算コストを必要とし得る。

（３）ＰＳＦは、限られた帯域幅及び限られた立ち上がり時間を有し得る。帯域幅及び立ち上がり時間が大きいほど、大きな補償精度を必要とし得、計算近似を制限し得る。
（４）ＰＳＦはコンパクトであり得、ＰＳＦの空間的な広がりは制限し得る。ＰＳＦはゼロに減衰し得る。遅い減衰又は強いＰＳＦ「テール」は、画像コントラストを制限し、計算要件を増大させ得る。

（５）ＰＳＦは、実質的に半径方向対称であり得る。任意の非対称性は、計算において確認し得る。
一実施形態では、光学的にぼやけたＰＳＦは実質的に、ガウス関数又は回転二乗余弦関数又は空間的広がりが限られた何らかの他の実質的に半径方向対称なピークの関数等の形状をとり得る。図１０は、ＳＰＦ分布の一例（１０００）を示す。これは、テール１００４に見られるように、徐々に減衰し得るガウス様ピーク構造１００２をとり得る。多くの実施形態では、ＰＳＦは、限られた空間周波数、限られた立ち上がり時間、及び／又は限られた空間の広がりをとるべきである。空間周波数及び立ち上がり時間は通常、相関し得る。過度の空間周波数又は立ち上がり時間は、より密なサンプリング及びより高いモデリング精度を必要とし得、計算要件を増大させる。ＰＳＦが画像フレーム上で変化する場合、１組のＰＳＦが使用され得、ＰＳＦ補間方法が利用され得る。ＰＳＦ位置に伴って変化する高い空間周波数を有するＰＳＦは、適切な補間により密なモデルセットを必要とし得、計算要件及び較正複雑性を増大させる。ＰＳＦパルスに鮮鋭なスパイク又はリッジを有することが望ましくないことがある。また、ＰＳＦが、周縁部で急に終わるのではなく、徐々に減衰すべきであることが望ましいこともある。平滑な形状は、より低い空間周波数及びより長い立ち上がり時間を有する。ＰＳＦの空間的な広がりは、計算演算子のサイズを決め得る。広い減衰「テール」を有するＰＳＦは、演算子サイズを増大させ、したがって、計算要件を増大させる。

単なる例示的な一実施形態では、ＰＳＦは、例えば、５×５ディザパターンに適用されるブラー関数を表す。したがって、ＰＳＦは、１の５×５格子を含み、他の全てのハーフトーンピクセルはゼロであるハーフトーン画像から比較的平坦な場を生成するのに十分に大きくし得る。ブラー関数がガウス形等を実質的に有する場合、その直径は１０ピクセル～２０ピクセルの範囲であり得る。この例では、ＰＳＦの形状を制限する下限及び上限が指定可能である。下限は二乗余弦パルスであり得、上限はガウスパルスであり得る。

単なる一例では、ＬＢを下限とし、ＵＢを上限とする。「ｒ」をＰＳＦの中心からの距離とし、Ｎをディザパターンの辺のサイズとし、これらは両方ともピクセル単位である。次に、パルス振幅は、以下のように、各パルスのエネルギーが１に正規化されるように、定数Ｋ_１及びＫ_２によってスケーリングし得る。

ＬＢ（ｒ）＝Ｋ_１（１／２＋１／２ ｃｏｓ（πｒ／Ｎ）） ｒ＜Ｎの場合
ＬＢ（ｒ）＝０ ｒ≧Ｎの場合
ＵＢ（ｒ）＝Ｋ_２ｅｘｐ（－（ｒ／Ｎ）＾２）
留意し得るように、下限はゼロに減衰し、上限はガウスとして減衰する。減衰は、ＰＳＦテールへの多すぎる光の蓄積を回避するために重要である。多くの他のＰＳＦ形状及び関数が可能であり、本願の範囲がそのような全ての変形を包含することが理解されよう。

図２を参照すると、図２は、図１に示される等のデュアル、マルチ変調器ディスプレイシステムを用いて行い得る光学処理／画像処理の動作の高レベルフローチャート２００の一実施形態を示す。均一な光２０１が、ディスプレイシステムに入力され得、第１の変調器２０２（例えば、ハーフトーンＤＭＤ又は他の変調器）が、ハーフトーン画像をブラー光学系２０４に提供する。その後、ブラー画像は、第２の変調器２０６（例えば、パルス幅ＤＭＤ又は他の変調器）によって受信され得、ブラー画像を更に変調して、スクリーン画像２０３を生成する。一実施形態では、フローチャート２００は、コントローラのシステムメモリに記憶し得る１組のプロセッサ可読命令の手順を示す。コントローラは、画像データを受信し、ハーフトーン画像を生成し（例えば、２０２において）、ハーフトーン画像をぼやけさせ（例えば、２０４において）、画像を更に変調して（例えば、２０６において）、最終的な画像を生成し得る。

図１のディスプレイシステムの関連では、各ＤＭＤデバイスへのコードワードは、生成された画像の制御に利用可能な２つの変数として利用され得る。一実施形態では、ブラー関数は、光学系によって実行され得、全ての画像で一定であると仮定し得る。様々なディスプレイシステム設計では、ブラー関数の設計及びハーフトーン画像化及び／又は符号化の方法は関連し、ディスプレイの性能に影響し得る。そのような例示的な一つのシステムでは、ハーフトーン画像化及び／又は符号化及びブラー関数の適切な選択を決定するために、以下の目的／仮定が考慮され得る。

（１）ディスプレイのコントラスト比は、何れかの単独のＤＭＤのコントラスト比よりも大きくし得る。しかし、ハーフトーン化及びブラー関数により、ディスプレイの最高コントラストは、画像の高空間周波数構成要素には達成されないことがある。したがって、幾らかの明クリッピング又は暗クリッピングが表示画像に存在し得る。ライトフィールドモデリング誤差に起因する視覚的劣化は、望ましくは最小であり得る。

（２）明クリッピングなし：一実施形態では、主変調器／ＤＭＤに入射するブラーライトフィールドはどこでも、入力画像、所望のスクリーン画像よりも大きくし得る。主変調器／ＤＭＤはライトフィールドを減衰し得る。幾つかの実施形態では、ブラーライトフィールドよりも大きい幾つかの画像ピクセルは明クリッピングされ得る。明クリッピングが目標ではないことがあるが、ブラーハーフトーン画像は、略あらゆる場所で所望のスクリーン画像よりも実質的に明るくなり得、かつ所望のスクリーン画像よりも明るさが低いブラーハーフトーン画像の部分があり得、明クリッピングが可能である。

（３）限られた暗クリッピング：一実施形態では、ブラーライトフィールドは主ＤＭＤによって減衰して、所望のスクリーン画像を生成し得る。主ＤＭＤは限られたコントラスト比を有するため、システムは、ブラーライトフィールドを主ＤＭＤのコントラスト比で除算したものよりも大きな画像ピクセルのみを生成し得る。幾つかの実施形態では、これ未満の画像ピクセルは暗クリッピングし得る。

（４）小さなハロー：ハローは、暗い背景上の明るい物体の周囲の暗クリッピングである。暗い背景上の小さく明るい物体は明クリッピングされないため、明るい物体でのブラーライトフィールドは、その明るい物体よりも大きくなり得る。ライトフィールドは低減された空間帯域幅を有するため、明るい物体のごく近くは暗くないことがある。明るい物体に近いライトフィールドのレベルは、主ＤＭＤによって可能な限り低減し得るが、それでもなお所望のスクリーンレベルよりも大きく、暗クリッピングを生じさせることがある。幾つかの場合、暗クリッピングは、トゥルーブラックを超えるレベルを表し得、暗細部の損失及びコントラストの消失を示すことが多い。ハローは、暗クリッピングによって生じる主な視覚的アーチファクトであるが、暗クリッピングは、ブラーライトフィールドが高コントラスト高周波数パターンを表すことができない任意の局所領域で生じるおそれがある。局所領域の空間的広がりは、ライトフィールドの帯域幅によって決まり得、ライトフィールドの帯域幅はブラーカーネル又はＰＳＦのサイズによって決まり得る。

（５）適切な局所コントラスト：ライトフィールドの帯域幅は、ブラーＰＳＦのサイズによって決まり得る。ＰＳＦが小さいほど、高い帯域幅のライトフィールドが可能である。しかし、より小さなＰＳＦは、より密なハーフトーンパターンと対でなければならない。より密なハーフトーンパターンには、より小さなディザパターンが関連付けられ得、より少数の離散レベル及びより高い最初の非ゼロレベルを有し得る。

（６）上記目的は競合し得る。したがって、多くの変形及び／又は実施形態が可能であり、且つ／又は望ましいことがある。これについては、ＤＭＤコントラスト比、ＰＳＦサイズ、及び局所コントラスト考慮事項に関して本明細書において更に考察する。

ハーフトーン画像化及びライトフィールドモデリング実施形態
実際のディスプレイでは、前置ＤＭＤによって作成されたブラーライトフィールドフレームは、主ＤＭＤフレームと位置合わせされないことがある。ライトフィールド画像はわずかに回転、シフト、又はスケーリングされて、フレーム縁部においてオーバースキャンを提供することがある。ライトフィールド画像は、ブラー光学系及び他の光学系に起因してゆがむこともある。そのような可能性により、前置ＤＭＤ上の点を主ＤＭＤ上の点にマッピングする前置－主マップが測定され、マッピングとして（例えば、ルックアップテーブル（ＬＵＴ）等として）適用され得る。実際のディスプレイでは、前置－主位置合わせは、平均前置画像レベルに起因してドリフトすることがある。位置合わせは、前置画像レベルの変化に応答してゆっくりと変化し得、容易に予測されないことがある。主ＤＭＤは望ましくは、ライトフィールドのモデルを使用することにより、スクリーン画像を生成するようにブラーライトフィールドを補償すべきである。ライトフィールドモデルの正確性は、補償のために、ブラーライトフィールドモデルを前置ピクセル格子から主ピクセル格子に転送するのに使用される前置－主マップの正確性にかなり依存し得る。不正確なマップは、スクリーン画像の強烈なアーチファクトを生じさせるおそれがある。前置－主位置合わせドリフトは、通常、ハーフトーン画像の作成に使用されるアルゴリズムに大きく影響する、ディスプレイの望ましくない属性である。

一実施形態では、スクリーン画像の形成に使用される制御アルゴリズムは、そのような所望のスクリーン画像を形成する前置及び主ＤＭＤコードワードを選び得る。この実施形態では、前置ＤＭＤコードワードの選択は、ブラーライトフィールドの選択に類似し、主ＤＭＤコードワードを大方決め、その理由は、これらが望ましくは、所望のスクリーン画像を生成するようにライトフィールドを補償すべきであるためである。ブラーライトフィールドはどこでも、明クリッピングを回避するために入力画像よりも大きくなり得、主ＤＭＤコントラスト比で除算される場合、暗クリッピングを回避するためにどこでも入力画像未満であるべきである。同等に、ブラーライトフィールドはどこでも、入力画像の帯域制限上限よりも大きく、主ＤＭＤのコントラスト比を乗算した帯域制限下限未満であるべきである。帯域制限要件は、ハーフトーン符号化及びブラー関数によって課される。

幾つかの画像領域では、画像の特徴は、上限条件及び下限条件が満たされ得るようなものであり得る。他の画像領域では、画像の特徴は両方を満たさないことがある。両方の事例でのライトフィールドの選択を提示する。両条件を満たすことができない場合、通常、様々なライトフィールド選択肢が存在する。両条件を満たすことができない場合、条件のうちの少なくとも１つに違反するライトフィールドが選ばれ得る。一実施形態では、通常、下限の違反のほうが好ましいことがあり、これは、明クリッピングが暗クリッピングよりも視覚的に明らかである傾向があるためであるが、画像の特徴に応じて、いずれか一方又は両方の条件に違反し得る。

幾つかの実施形態では、ＰＳＦ形状変化及び前置－主位置合わせドリフトは両方とも、ライトフィールドの選択に大きく影響し得る。特定の画像領域では、上限条件及び下限条件を満たす１組のライトフィールドに、領域にわたって略一定のライトフィールドが存在し得る。他よりもいくらか大きく空間的に変化するライトフィールドが存在することもある。変化するライトフィールドは、位置合わせ位置を正確に表さない前置－主マップ又はＰＳＦ形状を正確に表さないことがあるＰＳＦモデルに起因するモデリング誤差の影響を受けやすいことがある。平坦なライトフィールドは、これらの影響を比較的受けない。

一実施形態では、ライトフィールドを選ぶために使用されるアルゴリズムは、２つの競合する目標を達成するように設計され得る。一方の目標は、明及び暗クリッピングに起因する画像誤差の回避であり得、他方の目標は、ライトフィールドモデリング誤差による誤補償に起因する画像誤差の回避であり得る。上限及び下限条件に違反しないライトフィールドが存在する場合、アルゴリズムは、最小に変化するライトフィールドを選び得る。しかし、条件に違反するが、それよりもはるかに変化が少ないライトフィールドを選ぶことも可能である。この選択は、結果として生じる明又は暗クリッピングが、より多く変化するライトフィールドの不正確なモデリングによって存在する画像誤差よりも視覚的に好ましいため、より良好であり得る。

ライトフィールドを決定するために、アルゴリズムは、以下の規則に従って進み得る。
（１）任意の画像領域で、画像領域が暗クリッピングに起因して視覚的に過度に劣化し得る場合を除き、ライトフィールドを最大レベルに設定する。そのような劣化は、観測、ヒューリスティック、又は任意の他の適切な様式で特定し得る。

（２）最大レベル以外のレベルを要求する任意の画像領域で、レベルを可能な限り最大レベル近くに設定し、明クリッピング又は暗クリッピングに起因して領域を過度に劣化させることなく、ライトフィールドの変動を可能な限り最小化する。

これらの規則は、以下の理由及び／又は条件に従って利用され、且つ／又は変更され得る。
（１）一定レベルに設定されたライトフィールドを有する画像領域は、前置－主位置合わせずれ又はＰＳＦ形状変化に起因する補償誤差の影響を受けにくい。

（２）ディスプレイは、最大レベルで較正し得る。ライトフィールドがこのレベルに保持される場合、前置－主マップは位置合わせを正確に表し得、ＰＳＦモデルはＰＳＦ形状を正確に表し得る。ライトフィールドを可能な限りこのレベルに保つことは、位置合わせ及びＰＳＦモデルのずれを低減する。ライトフィールドが一定ではない画像領域では、ライトフィールドモデル誤差に起因する補償誤差は制限され得る。これらの誤差は、画像を過度に劣化させる傾向がある。

（３）多くの画像領域は、あまり高いコントラストを有さず、目立たない暗クリッピングを用いて最大レベルで達成し得る。
（４）補償誤差は、より暗い領域で見える程度が低い傾向を有する。ライトフィールドが最小レベルに設定することができない場合、画像領域は恐らくかなり暗い。

ハーフトーンＤＭＤ符号化実施形態
一実施形態では、前変調器／ハーフトーンＤＭＤは空間的に、均一なライトフィールドを変調して、ハーフトーン画像を生成し得る。例えば、ハーフトーン画像では、全てのピクセルは、フレーム時間全体又はその部分にわたりオン又はオフのいずれかである。結果として生成されるハーフトーン画像（適宜ブラーリングされる）は、特に明クリッピングの回避が望まれる場合、主変調器／パルス幅ＤＭＤで十分な光レベルを生成し得る。パルス幅ＤＭＤは光レベルのみを低減し得るため、ブラーハーフトーン画像はどこでも所望のスクリーン画像（例えば、入力画像）よりも実質的に大きくあるべきである。黒い背景上の非常に明るいドット等の画像特徴により、明クリッピング又は暗クリッピングのいずれかの不可避の状況が強いられ得る幾つかの状況では、いくらかの明クリッピングが意図的に許可され得、ブラーハーフトーン画像は、入力、特にドット以下である。

一実施形態では、低光レベルを達成し、ハローを回避するために、ブラーハーフトーン画像は、所望のスクリーン画像よりもわずかに高く設定し得る。したがって、ブラーハーフトーン画像は所望のスクリーン画像への帯域制限最小上限で実質的にあり得る。例えば、帯域幅が光学ぼけによって制限される。最小上限ではないこともあるが、同様の性能を有し得る。この緩和は、真の最小の達成が、可能であるがより困難であり得るため、望ましいことがある。この実施形態では、「明クリッピングなし」属性が実質的に維持されることで十分であり得る。

この実施形態では、ハーフトーン画像は、空間ディザパターンを使用することによって形成し得る。ディザパターンは、ピクセルの矩形ブロックにわたって定義し得、パターンをタイリング（tiling）することによって画像フレーム全体にわたって繰り返し得る。ブラーカーネルはパターンを平滑化するため、パターンのサイズは、ブラーカーネルのサイズに関連し得る。カーネルのサイズは、最小非ゼロ光レベルも決め得る。例えば、ディザパターンの１つのピクセルをオンにし、他の全てピクセルをオフにすることで、最小レベルが生成され得る。

以下の表１は、レベルインデックスを示す例示的な１つの１０×１０パターンを示す。所与のレベルインデックスで、付番されたピクセル及びその番号未満の番号の全てのピクセルはオンにされ、一方、その番号を超える番号の全てのピクセルはオフである。所与のレベルパターンがブラーリングされる場合、その結果は平坦ではない傾向があり、変調場は何らかの最小を有し得る。以下の表２は、表１の各レベルインデックスの正規化最小光レベル（前のインデックスに対する光レベル）を示す。他のパターンサイズ及び他の空間ディザリングパターンも可能であり、本願によって包含されることが理解されよう。

この実施形態では、任意の特定の入力ピクセルについて、ブラーハーフトーン画像の対応するピクセルのレベルはより高くあるべきである。そのピクセルで所望のより高いレベルを達成するために、ブラーカーネルの空間的広がり内の入力画像の全ての近傍ピクセルは評価され得る。例えば、所望のレベル未満のレベルを有する任意の近傍ピクセルはオンにされ得る。この情報の一実施形態は以下のように実施され得る。

（１）任意の特定の入力ピクセルについて、完全フレームライトフィールドのレベルがピクセルレベルよりも大きいようなレベルインデックスを選ぶ。例えば、ブラーリングされた場合、ピクセルレベルを超えるハーフトーンパターンを生成するレベルインデックスを選ぶ（例えば、フレーム全体に）ことが可能である。

（２）この完全フレームハーフトーンパターンを所与として、ＰＳＦが光を特定のピクセルに寄与しない全てのピクセルは、特定のピクセルでのレベルに影響を及ぼさずにオフにし得る。

この方法が、特定のレベルを有するハーフトーンタイルを生成し得、ハーフトーンに濃淡むらがある外観を与えることに留意されたい。むしろ、個々のピクセルは、インデックス及び画像特徴への近接性に応じてオン又はオフにし得る。他の実施形態では、誤差拡散及び／又は局所ブルーノイズを行うことが可能であり得る。例えば、ハーフトーン格子は、対応するピクセルによって局所的に閾値処理され得る。

一実施形態は、配列ディザリングによって実施され得るが、拡張とリンクして、上限を達成し得ることを理解されたい。平滑さは、例えば、ディザパターンでオンの唯一のピクセル等、最低レベルでの考慮事項であり得る。異なる平滑性効果のために、ブルーノイズディザリング及び／又はＦＭディザリング等の他の手法を適用することが可能であり得る。別の例では、黒色背景上の最高明度未満の小さな明るい物体を考える。この場合、導入されるハローは所望よりも広くなり得る。拡張エリアは、小さな明るい物体で十分に埋められ得ない。全て小さな明るい物体を有するよりコンパクトなエリアは、ディスプレイのハロー幅が目のグレア幅よりも大きいため、より低い程度のハローを示し得る。小さな明るい物体の明度を下げることは、ハローの明度を低減するのみならず、ハロー幅を低減し得る。

図３Ａは、適切なバイナリハーフトーン画像を生成する方法の一実施形態を示す。ハーフトーン画像モジュール３００は、入力画像データ３０１を受信し得、３０２において、画像データをブラーカーネルの広がりまで拡張して、拡張入力画像ｘ（ｍ，ｎ）を生成し得る。その結果生成されるバイナリハーフトーン画像ｂ（ｍ，ｎ）は、ｘ（ｍ，ｎ）＞ｈｔＬｅｖｅｌ（ｍ，ｎ）の場合、ｂ（ｍ，ｎ）＝１に設定され得、ここで、ｈｔＬｅｖｅｌ（ｍ，ｎ）はマップとして表２の値として与えられ得る。例えば、バイナリハーフトーン画像ｂ（ｍ，ｎ）は、画像フレーム全体にわたってタイリングされる。バイナリハーフトーン画像はｂ（ｍ，ｎ）として返され得る。図３Ａに示されるような実施形態は、特殊な条件及び／又は簡略化された条件下のライトフィールドの場合（例えば、ライトフィールドが完全にオンになっている場合）、利用し得る。

一実施形態では、拡張演算子が利用されて、最小上限に近いものが達成され得る。他の実施形態は、カーネル下の要素の最大を提供し得る非線形フィルタを利用し得る。
上限及び下限を利用する実施形態
ライトフィールドが完全オン以外である（例えば、光は、本明細書で考察する理由により、完全オン未満の何らかのグレースケール値である）状況では、上限及び下限を利用することが望ましいことがある。

図３Ｂは、バイナリハーフトーン画像の上限を特定する一方法を示す。入力画像３０１はブロック３０２に入力され得、ブロック３０２はブラーカーネルの広がりまで拡張する。その中間結果は、３０４ｂにおいて閾値を受け得る（すなわち、ｂ（ｍ，ｎ）は、ｈｔＬｅｖｅｌ（ｍ，ｎ）よりも高い場合、ｘ（ｍ，ｎ）に設定され得る）。このブロックは、３０３ｂにおいて、上限バイナリハーフトーン画像を設定する。

一実施形態では、上限バイナリハーフトーン画像がこの方法によって見つけられる場合、入力画像ピクセルが明クリッピングされない可能性が高い。しかし、幾つかのピクセルは暗クリッピングされ得る。

図３Ｃは、バイナリハーフトーン画像の下限を特定する一方法を示す。下限バイナリハーフトーン画像は、上限画像と同様にして見つけられる。同じディザパターン及び閾値マップが、各閾値に１レベルのオフセットが追加された状態で使用し得る。入力画像を拡張させるのではなく、入力画像は縮小され得る。縮小とは拡張と同様のプロセスであるが、縮小は暗ピクセルの周囲で行われ得る。例えば、システムが画像を反転させ、次に拡張を通常通り実行し、次に、結果として生成された画像を再び反転させる場合、その結果は画像の縮小である。拡張の場合、円盤等の何らかの形状によって画定されるピクセル近傍の幾らかの領域では、その他のピクセルがこのピクセルよりも高い場合、その他のピクセルをこのピクセルのレベルに設定することが可能である。縮小の場合、同じことを行うことが可能であるが、その他のピクセルがこのピクセルのレベル未満である場合、その他のピクセルをこのピクセルのレベルに設定する。拡張は、ピクセルを局所領域の最大に設定する傾向があり、縮小はピクセルを局所領域の最小に設定する傾向がある。その後、対応する拡張画像ピクセルが閾値よりも大きい場合、ハーフトーンピクセルをオンにするのではなく、対応する拡張画像ピクセルが閾値未満の場合、ハーフトーンピクセルはオフにされ得る。

図３Ｃでは、入力画像３０１は、主ＤＭＤ３０５のコントラスト比で乗算されて（３０６において）、主ＤＭＤが下限を達成し得るライトフィールドレベルを確立する。画像は、３０２ｃにおいて縮小され得、３０４ｃに示されるように閾値処理され得る。入力画像のこのスケーリングは、画像レベルを大幅に増大させ、一般的な画像で非常に多くの場合、レベルを最大ライトフィールドレベルよりも高くする。ライトフィールドは、これが該当するあらゆる場所で最大レベルに設定し得る。

下限バイナリハーフトーン画像がこの方法によって見つけられる場合、入力画像ピクセルは暗クリッピングされない可能性が高いが、幾つかの入力画像ピクセルは明クリッピングされ得る。

上限及び下限を結合してハーフトーン画像及びライトフィールドを形成
本明細書に記載の規則に従い、上限及び下限バイナリハーフトーン画像は結合されて、ハーフトーン画像及びライトフィールドを形成し得る。図３Ｄに示されるように、上限画像３０３ｂ及び下限画像３０３ｃは、バイナリハーフトーン画像（３０３ｄ）が上限画像及び下限画像のうちの大きい方になり得るように、点毎にＯＲ演算し得る（３０２ｄにおいて）。

上限及び下限バイナリハーフトーン画像がこの方法によって結合される場合、入力画像ピクセルが明クリッピングされる可能性は低いが、幾つかの入力画像ピクセルは暗クリッピングされ得る。ブラーライトフィールドレベルは、明クリッピングが存在せず、暗クリッピングが、ライトフィールドの空間帯域幅の制限に起因して存在し得るように、上限及び下限方法によって許される最大レベルに設定され得る。

代替の上限／下限方法の実施形態
代替の実施形態では、画質を改善し得る幾つかの強化が適用され得る。例えば、上述した方法では、厳密な上限ライトフィールド画像が生成され得る。しかし、幾つかの画像領域では、１つの上限強化を可能にするために、暗クリッピングが少なくなることと引き換えに限られた明クリッピングが好ましいことがある。画像特徴の例は、可視のハローが存在するような非常に暗い背景上の小さな明るいドットである。

幾つかの下限強化のために、上述した方法が厳密な下限ライトフィールド画像を作成し得ることに留意されたい。しかし、大半の画像では、厳密な下限は必要ない。目のベーリンググレアに起因して、観測者は多くの非常に低レベルのピクセルをより高いレベルであると知覚することになる。多くの場合、幾つかの低レベルピクセルを上げることは、知覚されることができるが、画像、特に明エリア内の暗ピクセルを目に見えて劣化させない。

画像領域では、最も暗いピクセルのレベルは、最大ライトフィールドレベルに設定することができる画像エリアの量を直接決める。主ＤＭＤのみによって達成可能なレベル未満のピクセルを表示することは、ライトフィールドを下げることを必要とする。前置－主位置合わせ又はＰＳＦ形状変化に起因する画像誤差の代わりに、幾らかの量の暗クリッピングが好ましいことがある。幾らかの暗クリッピングを引き換えにして最大ライトフィールドエリアを増やすことは、多くの場合、好ましいトレードオフである。

可能な一増強は、ベーリンググレア関数を使用して、暗クリッピングが知覚できないように、下限をどの程度上げることができるかを特定することである。この方法は、より多くの画像エリアでライトフィールドが最大であるようにライトフィールドを上げる傾向がある。

別の可能な強化は、厳密な下限ではなく「セーフコントラスト比」を使用することである。厳密な下限と比較して、この方法は、ライトフィールドがより多くの画像エリアで最高であるようにライトフィールドを上げる傾向がある。主ＤＭＤコントラスト比を乗算した下限を使用して、ライトフィールドがなり得る最大を特定するのではなく、局所領域のコントラスト比は、暗クリッピングが視覚的に知覚されないという仮定で暗クリッピングを許すために十分又は「セーフ」であるように選ばれる。加点に主ＣＲを乗算したものの代わりに、局所領域の平均に「セーフコントラスト比」を乗算したものが、ライトフィールドがなり得る最大である。主ＤＭＤコントラスト比を使用するのではなく、より低い「セーフコントラスト比」を使用することにより、恐らくは高空間周波数暗クリッピングを代償として、前置－主位置合わせ又はＰＳＦ形状変化からの画像誤差を低減する傾向があり得る。加えて、より小さな縮小演算子の使用は、前置－主位置合わせ又はＰＳＦ形状変化に起因する画像誤差を低減するに当たり有用であり得る。

ライトフィールドモデル及びパルス幅ＤＭＤの実施形態
主変調器／パルス幅ＤＭＤは、ブラーハーフトーン画像ライトフィールドを変調して、所望のスクリーン画像を生成する。パルス幅ＤＭＤは光のみを減衰させることができる。したがって、ライトフィールドは、明クリッピングを回避するために、所望のスクリーン画像上の上限であり得る。加えて、暗クリッピングを回避するために、ライトフィールドは最小上限であり得る。ブラーハーフトーン画像ライトフィールドは、光学プロセスのモデルを使用して計算、推定、又は他の方法でモデリングし得る。一実施形態では、光学プロセスはブラーのみであると推定し得る。例えば、前変調器－主変調器の位置合わせは無視し得る。幾つかの実施形態では、これは全体的な位置合わせ誤差であり得る。

図４は、パルス幅ＤＭＤ補償画像を生成する技法の一実施形態を示す。バイナリハーフトーン画像（例えば図３からの３０３）は、ブラーモデル４０２に入力し得、４０４において、逆数をとり得る。パルス幅ＤＭＤ補償画像は、モデリングされたブラーハーフトーン画像ライトフィールドで入力画像を除算することにより（例えば、入力画像３０１をブラーハーフトーン画像ライトフィールドの逆数で乗算する（４０６において）ことにより）、特定し得る。

変化するＰＳＦ形状に適応する実施形態
実際のディスプレイでは、所与の前置ピクセルのＰＳＦ形状は、前置フレームでの位置に依存し得る。ブラー光学系は、全ての前置位置を同じようにブラーリングするわけではないことがある。局所エリアでのピクセルのＰＳＦは、非常に小さいと仮定し得、全てのピクセルは同じエネルギーを有する（例えば、前置に入射する均一なライトフィールドを所与として）と仮定し得る。しかし、実際のディスプレイでは、各ＰＳＦは異なる傾向が有り得る。一実施形態では、２Ｋフレームの場合、各ＰＳＦは、別個にモデリングされ得、且つ／又は画像エリアの局所部分に適用され得る。例えば、計算的に捕捉し、記憶し、モデリングし、使用し得る２００万のＰＳＦが生成される。他の実施形態は、簡易化モデルを提供して、この複雑性を低減し得る。局所領域内のＰＳＦは同様である傾向があるため、単一のＰＳＦモデルが使用されて、全てのＰＳＦ（例えば、少なくとも局所エリア及び／又は画像エリアの局所部分での）を表す。そのような潜在的に局所化されたＰＳＦモデルが測定され、又は他の方法でモデリングされて、適切なＰＳＦモデルを提供し得る。

ライトフィールドモデルの実施形態
主ＤＭＤは、ブラーライトフィールドを補償して、最終的なスクリーン画像を生成する。一実施形態では、ライトフィールド補償は、主ＤＭＤピクセル格子に対して実行し得る。この補償プロセスでは、ブラーライトフィールドは主ピクセル格子で表すことができる。しかし、ライトフィールドは、前置ピクセル格子上にあるハーフトーン画像をブラーリングすることによって形成される。加えて、前置変調器及び主変調器は位置合わせされていないことがある。

適切な補償プロセスを行うために、２つの可能な代替の実施形態選択肢がある。第１の実施形態は、前置格子上のライトフィールドをモデリングし、次に、それを主格子にマッピングすることであり得る。第２の実施形態は、主格子上の各前置ピクセルに関連付けられたＰＳＦをモデリングすることにより、主格子上のライトフィールドをモデリングすることである。本願は両方の代替の実施形態を包含するが、これより、第１の実施形態（すなわち、前置格子上のライトフィールドをモデリングし、それを主格子にマッピングすること）について説明する。一実施形態では、幾何学的及び／又は光学的歪みを確認して、主格子上の点をマッピングすることが可能であり得る。

この第１の実施形態は、以下の理由により選択され得る。
（１）ＰＳＦは局所エリア内で形状を実質的に維持し得るため。したがって、ライトフィールドは、エリア全体に単一のＰＳＦを使用して、ハーフトーン画像への標準畳み込みプロセスにより、前置上の局所エリアでモデリングされ得る。

（２）前置－主位置合わせずれのため、主変調器上の局所エリア内のＰＳＦは、異なるサンプル位相を有し得、これらは確認される必要があり得る。幾つかの実施形態では、前置変調器及び主変調器は、位置合わせされていないことがあるため、本質的に前置格子位置合わせされたＰＳＦモデルを主格子に移動させる幾らかのサンプル位相シフトがあり得る。

（３）主変調器でモデリングされる場合、ＰＳＦ形状は局所エリア内で変化しないにも関わらず、サンプル位相変化により、畳み込みを計算する際、異なるＰＳＦが使用される必要があり得る。

（４）ＰＳＦは本質的に、前置参照される。前置変調器の場合よりも主変調器の場合のほうが多くのＰＳＦがモデリングされ記録される必要がある。
（５）ライトフィールドのモデリングは、計算的にコストが高い傾向があり得る。実際の実施では、ＰＳＦは、サブサンプリングされて、近似される必要が有り得る。これは、前置格子で実行される場合、より単純であり得る。

（６）モデリングされたライトフィールドの前置から主へのマッピングは、計算的なコストを有するが、主変調器上のライトフィールドをモデリングするコストよりも低いコストであり得る。

（７）前置変調器上のライトフィールドのモデリングは、モデリングされたライトフィールドを前置変調器から主変調器にマッピングすることによって行い得る。このマップが正確であることが望ましいことがある。特定のディスプレイでは、前置－主位置合わせは固定される。マップが誤差を有する場合、誤差は固定され得る。例えば、誤差は、較正プロセス中のＰＳＦへの変更により確認され得る。例えば、マップのオフセット誤差は、そのフレーム位置でのＰＳＦモデルでのオフセットによって対応し得る。

加えて、前置－主位置合わせずれにより、入力画像は、ハーフトーン画像の計算プロセス中、前置格子にマッピングされ得る。このプロセスは、主変調器へのライトフィールドのマッピングほどの正確性は求めないことがある。図５は、上述した第１の実施形態を示す。システム（コントローラ指示下）は、入力画像３０１を受信し得る。主－前置マッピング５０２が適用されてから、５０４において、ハーフトーン画像を計算し得る。５０６において、ライトフィールドモデルが適用され得、次に、５０８において、前置－主マップが適用されて、登録された主ライトフィールド５０３を生成し得る。幾つかの実施形態では、主変調器はある解像度（例えば、４Ｋ）であり得、前置変調器は別の解像度（例えば、２Ｋ）であり得るが、処理は他のマッピングを行うことが可能であり得る。例えば、処理は、２Ｋ／２Ｋマッピングを行い得るが、２Ｋ主変調器は、プロジェクタシステムによって４Ｋにアップコンバートし得る。当然ながら、他のマッピングも可能である。

ライトフィールドモデル計算のためのフレーム分割
上述したように、ＰＳＦは局所エリア内で実質的に変更されないことがあるため、ライトフィールドを計算するために、同じＰＳＦモデルが局所エリアで使用され得る。したがって、画像フレームは、矩形領域に分割され得、各領域は、その領域内のＰＳＦを最良に表すＰＳＦを使用して処理し得る。各領域がモデリングされた後、領域は一緒に結合されて、完全フレームライトフィールドを形成し得る。継ぎ目が可視である場合、より多数の領域が使用され得るか、又は重複領域が計算され、次に一緒にブレンドされ得る。図６は、捕捉され、モデリングされ、カラー（例えば、赤、緑、又は青）ライトフィールドの計算に使用され得るＰＳＦのアレイを示す。フレームは、ＰＳＦが各領域の中心にあるように分割し得る。

ハーフトーンパターンの時間的再位置決め
一実施形態では、ハーフトーンディザパターンは、画像フレームにわたりタイリングし得る。フレームでのパターンの位置又は位相の選択は、それに従って可変である。スクリーン画像は、ライトフィールドモデリング又は他の原因に起因して誤差を有し得るため、ディザパターンは、例えば、誤差が区別可能なように、各フレームを再位置決めし得る。例えば、ディザパターンは、パターンインデックスに従って各フレームを再位置決めし得る。誤差はディザパターンタイルサイズに伴って周期性を有し得るため、インデックスに従ってパターンを周囲に移動させることは、誤差を満足のいくように隠すことを行い得る。ディザパターンは、最も疎なハーフトーンビットパターンによって生じるライトフィールドモデリング誤差を隠すようにも再位置決めし得、これらのビットパターンは、ブラーリングされる際、より密なビットパターンよりも変化するライトフィールドを生成する傾向があるため、最も目に付く誤差を生じさせるおそれがある。

ＰＳＦ調整及びディスプレイ較正の概説
実際には、実際のディスプレイは、ＰＳＦ形状を調整させる必要があり得、較正される必要がある。一実施形態では、ＰＳＦ調整は、例えば、光学構成要素を操作することにより、較正前に実行し得る。適切なＰＳＦ調整後、較正プロセスは、各カラーチャネルに対して行われて、前置－主マップ及びＰＳＦモデルセットを測定し、記録し得る。較正では、較正が表示されている間、カメラが使用されて、スクリーンの写真を撮影し得る。

一実施形態では、前置－主マップを測定するために、２つの異なる較正画像の写真が撮影され得る。第１の較正画像は、主が完全に開かれた状態で前置上のドットアレイを表示することによって形成されるＰＳＦアレイ画像であり得る。ドットの前置ピクセル位置は既知である。この組合せは、図６に示されるように、ＰＳＦのアレイのスクリーン画像を示す。第２の較正画像は、主上のドットアレイ及び前置上の全てのドットを表示することによって形成されるドットアレイ画像であり得る。ドットの主ピクセル位置は既知である。この組合せは、ドットアレイのスクリーン画像を示す。

これらの２つの画像の写真は、カメラを動かさずに撮影し得る。ドットの前置及び主ピクセル位置は既知であるため、カメラ－前置マップ及びカメラ－主マップが見出される。次に、これらの２つのマップは複合されて、カラーチャネルの前置マップ－主マップを形成し得る。カメラが各カラーチャネルで撮影された写真間で動かされない場合、異なるカラーチャネルのカメラマップ－主マップが使用されて、主ＤＭＤを互いに位置合わせし得、カラーチャネルを互いと位置合わせし得る。

初期ＰＳＦモデルセットを見出すために、図６に示されるように、第１の較正画像が使用され得る。カメラ－主マップが使用されて、ＰＳＦを前置格子にマッピングし得、前置格子において、ＰＳＦは記録されて、ＰＳＦモデルセットを形成する。モデルは前置格子と呼ばれ、その理由は、モデルがブラーライトフィールドのモデルの構築に使用される場所が前置格子であるためである。ブラーライトフィールドを構築するために、セット内の各ＰＳＦは、局所処理領域内の全てのＰＳＦを表す。このようにＰＳＦのモデルを取得することは、大きな誤差を有するモデルを容易に生じさせるおそれがある。

較正プロセス中、前置－主位置合わせ及びＰＳＦ形状は、好ましくは、一定に保たれるべきである。アルゴリズムは前置画像を最大レベル（白色）に保とうとするため、白色前置画像が使用されて、位置合わせ及び形状変化を一定に保つ。較正プロセスが開始される前、ディスプレイは、白色前置画像を用いて調整される。ドットテストパターンは白色前置を有さないことがあり、したがって、ドットパターンは、写真を撮影するのに十分な時間だけ表示され、次に、白色前置画像が再適用されて、一定条件を維持する。

追加のディスプレイ較正の実施形態
説明したように、ディスプレイ較正は、ＰＳＦモデルセットを作成するプロセスを含み得る。初期ＰＳＦは、スクリーンに表示された個々のＰＳＦの写真を撮影することによって取得し得る。しかし、このようにしてＰＳＦのモデルを取得することは、大きな誤差を有するモデルの生成に繋がるおそれがある。ＰＳＦモデルは、主ＤＭＤに入射する実際のライトフィールドのモデリングに使用され得るため、正確に実際のＰＳＦを表すことが望ましいことがある。幾つかのデュアルＤＭＤ変調器プロジェクタシステムでは、これらのシステムは、急な傾きを有する比較的小さなＰＳＦを有し得、これらは正確なモデルを必要とし得る。一実施形態では、モデルがスクリーン画像の表示に使用される際に生じる誤差を評価することにより、既存のＰＳＦモデルを改善するプロセスとして、ＰＳＦモデル改良を行うことが可能であり得る。

一実施形態では、単一のＰＳＦがカメラによって捕捉し得る。このＰＳＦ画像は、それを生成したハーフトーンピクセルのＰＳＦの予備モデルとして使用し得る。予備モデルは、実際のＰＳＦの完全な表現ではないことがあるため、ハーフトーン画像によって生成されるライトフィールドのモデリングに使用される場合、ライトフィールドは誤差を有し得る。

特定の画像では、ライトフィールドは、オンであるハーフトーンピクセルによって生成される全てのＰＳＦの重ね合わせによって形成され得る。そのようなＰＳＦモデル誤差は、ハーフトーン画像内のオンピクセルの分布に依存するライトフィールド誤差を生じさせ得る。画像によっては、他の画像よりもＰＳＦ誤差の影響を受けやすいものがある。一般に、比較的平坦なライトフィールドを生成する画像は、ＰＳＦモデル誤差の影響を受けにくいことがあり、可変ライトフィールドを生成する画像はより受けやすいことがある。

図７Ａ～図７Ｆは、ＰＳＦモデリング及び改良を示す例示的な画像である。図７Ａは、入力画像内で照明される単一のエリアを示す。図７Ｂは、本明細書に開示される様々な実施形態により、図７Ａの入力画像に応答して生成されたハーフトーン画像を示す。この例では、ハーフトーン画像はサンプル２Ｋ格子に配置される。このハーフトーン画像が、ディスプレイシステムによって実質的に既知であることに留意されたい。図７Ｃは、光学システムによりブラーリングされた、前置格子上の単一ピクセルのＰＳＦを示す。図７Ｄは、ブラーリングされた、図７Ｂのハーフトーン画像を示す。

図７Ｅは、主ＤＭＤ補償画像を示す。入力画像が明るい中心のドット／領域によって表されることに留意されたい。一方、ハローは、明るい中心のドット／領域の周囲の環状領域を形成して、ブラーライトフィールドを補償する。図７Ｆは、スクリーン画像を形成するために、図７Ｅの舗償が適用された後、生成されるスクリーン画像を示す。システムは本明細書において上述したような２つの誤差を補正中であり得るため、スクリーン画像が半径方向対称ではないことがあることに留意されたい。理想的には、スクリーン画像は、入力画像と同じに見えるべきであるが、図７Ｆにおいてアーチファクトを示す。この例では、主ＤＭＤ補償は補正されたと仮定され、アーチファクトは、不正確なＰＳＦモデルによって生じる不適切にモデリングされたライトフィールドの結果である。

ＰＳＦ改良実施形態
説明したように、目に見えるアーチファクトは、カメラによって捕捉し得る。捕捉画像が前置ライトフィールド及びハーフトーン画像とともに登録されると、その登録は、アーチファクトを低減する傾向があり得るＰＳＦへの補正を見つけるために使用し得る。アーチファクトの捕捉画像も誤差を有し得、実際のアーチファクトの完全な表現ではないことがある。したがって、ＰＳＦ補正は、ＰＳＦモデルを改善し得るが、アーチファクトを完全にはなくさないことがある。改善されたＰＳＦを使用して、画像は再処理され得、スクリーン画像はアーチファクトの低減を示すはずである。これらのステップは繰り返すことができ、それにより、アーチファクトが見えなくなるまでアーチファクトを繰り返し低減する。

図８及び図９は、ＰＳＦモデル改良プロセス及び／又はモジュールの可能な一実施形態を示す。そのようなＰＳＦモデル改良プロセス／モジュールが１回、複数回（又は恐らく動作の過程において所望の画像をレンダリングする精度を改善し得る連続改善プロセスの一環として）利用され得ることが理解され得る。８０２において、システムが開始されると、初期ＰＳＦモデル（８１３）が使用されて、スクリーン画像を表示し得る。本明細書に開示された様々な実施形態を追跡して、８０４において、入力画像データ８０１が使用されて、ハーフトーン画像を計算し得、ハーフトーン画像８０３を生成する。このハーフトーン画像は、最新のＰＳＦモデル８１３と一緒に使用されて、ライトフィールド画像８０５を計算し、且つ／又はモデリングし得る。一実施形態では、そのようなライトフィールド画像は、ＰＳＦ及びハーフトーン画像を畳み込むことによって生成し得る。ライトフィールド画像８０５が使用されて、主画像を計算して（８０８において）、主画像８０７を生成する。主画像が使用されて、スクリーン画像を表示して（８１０において）、スクリーン画像８０９を生成する。

画像がスクリーン画像としてレンダリングされると、８１２において、カメラ写真が撮影され得、スクリーン画像が前置ピクセル格子とともに登録されて（８１２において）、登録されたスクリーン画像８１１を生成する。この登録されたスクリーン画像は、入力画像との比較（８１４における）に使用し得る。コントローラ／プロセッサは、８１６において、登録されたスクリーン画像と入力画像とに任意の差があるか否かを問い合わせ得る。これらの差は、閾値処理され、且つ／又は計算されて、差が所望の量よりも大きいか否か（例えば、スクリーン画像の閲覧者にとって見え得るか否か）を判断し得る。代替的には、差は人間の閲覧者によって判断し得る。所望の量以下である場合、プロセスは８２２において終了し得るか、又は補正プロセスとして続けて、連続プロセスを実行し得るか、又は所望の時間期間で実行され得る。

８１６において、検出された差がある場合、システムは、ＰＳＦ補正を見出し、且つ／又は計算し、８２０において、ＰＳＦモデルを改善し得る。図９は、ＰＳＦ補正を計算するプロセスの一実施形態である。９０２において、プロセス／モジュールは、登録されたスクリーン画像を主画像によって除算し得る。これは、８０５においてライトフィールド推定を生成する。次に、このライトフィールド推定は、９０４において、ライトフィールド画像と比較し得る。これは、ライトフィールド誤差推定９０１を生成する。この推定は、ハーフトーン画像と一緒に逆畳み込みされて、且つ／又は逆数として計算されて、適切なＰＳＦ補正を見つけ得る（８１３において）。次に、このＰＳＦ補正は、図８で使用される新しいＰＳＦモデルを形成し得る。

一般に、カメラ写真から導出される画像は、カメラ捕捉プロセスでの不確実性により、推定である。ライトフィールドは、ハーフトーン画像内の全てのオンピクセルのＰＳＦの重ね合わせによって生成し得る。逆畳み込みプロセスは、アーチファクトに寄与する全てのオンピクセルに同じＰＳＦを仮定することにより、推定ライトフィールド誤差からＰＳＦ補正を見つけようとする。

競合する考慮事項からの代替の実施形態
上述したように、特定の仮定及び目的が、本明細書で記載される新しい画像レンダリング技法の生成に使用され得る。述べたように、異なる仮定及び目的は代替の実施形態に繋がり得る。そのような代替の実施形態は、ＤＭＤコントラスト比、ＰＳＦサイズ、及び局所コントラストに基づき得る。例えば、最初の非ゼロ前置レベルは、ＰＳＦの場を重ね合わせて、比較的平坦なライトフィールドを達成することによって達成し得る。比較的平坦な場は、ＰＳＦが十分に密に離間される場合、達成し得る。この理由は、大きく離間されすぎると、所望の場のレベルよりも大きくなり得るピーク及びバレーを有する場を生じさせ得るからである。ＰＳＦサイズ及び形状を所与として、比較的平坦な場の作成に望まれるＰＳＦ間隔は、最初の非ゼロ前置レベルを達成するためにオンにし得るハーフトーンピクセルの間隔を決め得る。この間隔は、最初の非ゼロレベル及び離散線形前置レベルの数を決め得る。

例えば、１０×１０ピクセル格子で繰り返されて、比較的平坦な場を達成するＰＳＦでは、１００個の前置ピクセルのうちの１つをオンにする必要があり得る。最初の非ゼロレベルは１／１００になり、ハーフトーンタイルサイズは１０×１０になり、離散レベルの数は１０１になる。

最初の非ゼロレベルという名称は、第１のレベルであるゼロが０／１００であることを間接的に示す。実際には、そうではないことがある。全ての非ゼロレベルとは異なり、このレベルはハーフトーンの割合によって決まるのではなく、前置ＤＭＤコントラスト比（ＣＲ）によって決まることがある。レベルは１／前置ＣＲであり、最良の性能のレベルではない可能性が高いことがある。

小さく明るい特徴でのハローのサイズを制限するために、小さなＰＳＦ及び補足の小さなハーフトーンタイルサイズが選ばれ得る。しかし、小さなタイルサイズは、離散前置レベルの数を制限する。これは、より高いレベルでは問題ではないことがあるが、より低いレベル、特に最初の非ゼロレベル未満のレベルでは局所コントラストを過度に制限するおそれがある。ゼロレベルの使用は前置ＤＭＤ ＣＲに依存し、より大きなＣＲがよりよいわけではないことがある。また、最初の非ゼロレベルに応じて、所望の完全システムＣＲの達成、ブラックの達成に、ゼロレベルが必要とされることがある。

幾つかの画像特徴は、前置ライトフィールドによって表すことができる空間周波数よりも高い空間周波数を有し得る。これらの画像特徴では、前置ライトフィールドは一定であり得、変調されない。前置ライトフィールドのレベルは、画像特徴の極大によって決まり得、このレベルは、明クリッピングを回避するために、極大よりも大きな離散前置レベルで有り得る。主ＤＭＤは、前置ライトフィールドを低減して、局所画像特徴の全てのレベルを生成し得る。前置ゼロレベル（前置ＣＲによって決まる）、最初の非ゼロレベル（ハーフトーンタイルサイズによって決まる）、及び主ＤＭＤ ＣＲに応じて、主ＤＭＤは、最も低いレベルを生成するのに十分なコントラストを有さず、外観に影響を及ぼすのに十分なほど、その画像特徴の局所コントラストを制限することがある。

例示的な画像
図１１Ａは、本システム及び本明細書に記載される方法及び／又は技法によってレンダリングされる所望のソース画像を示す例示的な一画像１１０２である。示されるように、画像は、壁に細部を有する暗い領域を有する教会内部の１つである。加えて、これもまた内部に多くの細部を示す明るく照らされた窓領域がある。図１１Ｂ及び図１１Ｃは、本明細書に記載されるような上限ハーフトーン画像及びブラー上限画像をそれぞれ示す。図１１Ｄは、本システムの一実施形態によって生成し得るような最終的なレンダリング画像を示す。

別の例示的な１組の画像では、図１２Ａ及び図１２Ｂは、本明細書に記載されるプロセスの幾つかの非限定的な単なる一例を示す。この場合、記載される数量をより明確に示すために、画像サーフェスよりもむしろ画像例の一次元水平線が使用される。輝度は、最大ブラーライトフィールドレベルである１に正規化される。図１２Ａは、入力画像線と、その帯域制限上限及び下限とを示す。下限はまた、主ＤＭＤのコントラスト比（ここでは、主ＣＲ＝１０００）によってスケーリングされて示され、これは、主ＤＭＤがなお下限を達成可能なようなライトフィールドがとり得る最高レベルである。図１２Ｂは、上限の最大及びスケーリングされた下限であるライトフィールドを示し、この値は１に制限され、その理由は１が最大ライトフィールドレベルであるためである。このライトフィールドは、この例で使用される規則を所与として可能な限り高い最大レベルにある。

本発明の原理を示す、添付図と共に読まれた本発明の１つ又は複数の実施形態の詳細な説明がここで与えられた。本発明がそのような実施形態と併せて説明されるが、本発明がいかなる実施形態にも限定されないことが理解されるべきである。本発明の範囲は特許請求の範囲によってのみ限定され、本発明は、多くの代替、変更、及び均等物を包含する。多くの具体的な詳細は、本発明の完全な理解を提供するためにこの説明で記載された。これらの詳細は、例のために提供されており、本発明は、これらの特定の詳細の幾つか又は全てなしで、特許請求の範囲に従って実施し得る。明確にするために、本発明に関連する技術分野で既知の技術資料については、本発明が不必要に曖昧にならないように詳述しなかった。
以下に、上記実施形態から把握できる技術思想を付記として記載する。
［付記１］
プロジェクタ・ディスプレイ・システムにおいて入力画像データから所望のスクリーン画像を投射する方法であって、前記プロジェクタ・ディスプレイ・システムは、光源と、入力画像データを受信し、制御信号を出力するコントローラと、前記コントローラから制御信号を受信し、前記光源から光を受け取る前置変調器と、前記前置変調器から光を受け取るブラーリング光学システムと、制御信号を前記コントローラから受信し、光を前記ブラーリング光学システムから受け取る主変調器とを備え、前記方法は、
前記入力画像データからバイナリハーフトーン画像を作成すること、
前記バイナリハーフトーン画像からブラーバイナリハーフトーン画像を作成すること、
前記ブラーバイナリハーフトーン画像からパルス幅変調画像を作成すること、
前記パルス幅変調画像から所望のスクリーン画像を投射すること
を含み、
前記入力画像データからバイナリハーフトーン画像を作成することは、
前記所望のスクリーン画像よりも実質的に明るいバイナリハーフトーン画像を作成することを更に含み、
前記所望のスクリーン画像よりも実質的に明るいバイナリハーフトーン画像を作成することは、
前記入力画像データの明クリッピングを行うように、前記所望のスクリーン画像よりも明るさが低いバイナリハーフトーン画像を作成することを更に含む、方法。
［付記２］
プロジェクタ・ディスプレイ・システムにおいて入力画像データから所望のスクリーン画像を投射する方法であって、前記プロジェクタ・ディスプレイ・システムは、光源と、入力画像データを受信し、制御信号を出力するコントローラと、前記コントローラから制御信号を受信し、前記光源から光を受け取る前置変調器と、前記前置変調器から光を受け取るブラーリング光学システムと、制御信号を前記コントローラから受信し、光を前記ブラーリング光学システムから受け取る主変調器とを備え、前記方法は、
前記入力画像データからバイナリハーフトーン画像を作成すること、
前記バイナリハーフトーン画像からブラーバイナリハーフトーン画像を作成すること、
前記ブラーバイナリハーフトーン画像からパルス幅変調画像を作成すること、
前記パルス幅変調画像から所望のスクリーン画像を投射すること
を含み、
前記入力画像データからバイナリハーフトーン画像を作成することは、
前記入力画像データから空間ディザパターンを作成することを更に含む、方法。
［付記３］
前記入力画像データから空間ディザパターンを作成することは、
ブラーカーネル範囲まで前記入力画像データを拡張させること、
拡張画像データを閾値処理して、バイナリ値にすること
を更に含む、付記２に記載の方法。
［付記４］
プロジェクタ・ディスプレイ・システムにおいて入力画像データから所望のスクリーン画像を投射する方法であって、前記プロジェクタ・ディスプレイ・システムは、光源と、入力画像データを受信し、制御信号を出力するコントローラと、前記コントローラから制御信号を受信し、前記光源から光を受け取る前置変調器と、前記前置変調器から光を受け取るブラーリング光学システムと、制御信号を前記コントローラから受信し、光を前記ブラーリング光学システムから受け取る主変調器とを備え、前記方法は、
前記入力画像データからバイナリハーフトーン画像を作成すること、
前記バイナリハーフトーン画像からブラーバイナリハーフトーン画像を作成すること、
前記ブラーバイナリハーフトーン画像からパルス幅変調画像を作成すること、
前記パルス幅変調画像から所望のスクリーン画像を投射すること
を含み、
前記バイナリハーフトーン画像からブラーバイナリハーフトーン画像を作成することは、前記ブラーリング光学システムの点広がり関数（ＰＳＦ）を用いて前記バイナリハーフトーン画像を平滑化することを更に含む、方法。
［付記５］
ＰＳＦは、空間の広がりが限られたＰＳＦ、帯域制限ＰＳＦ、実質的に半径方向対称のＰＳＦ、ガウス関数、二乗余弦関数、及び空間の広がりが限られた実質的に半径方向対称であるピークの関数を含む群のうちの１つを含む、付記４に記載の方法。
［付記６］
プロジェクタ・ディスプレイ・システムにおいて入力画像データから所望のスクリーン画像を投射する方法であって、前記プロジェクタ・ディスプレイ・システムは、光源と、入力画像データを受信し、制御信号を出力するコントローラと、前記コントローラから制御信号を受信し、前記光源から光を受け取る前置変調器と、前記前置変調器から光を受け取るブラーリング光学システムと、制御信号を前記コントローラから受信し、光を前記ブラーリング光学システムから受け取る主変調器とを備え、前記方法は、
前記入力画像データからバイナリハーフトーン画像を作成すること、
前記バイナリハーフトーン画像からブラーバイナリハーフトーン画像を作成すること、
前記ブラーバイナリハーフトーン画像からパルス幅変調画像を作成すること、
前記パルス幅変調画像から所望のスクリーン画像を投射すること
を含み、
主変調器の位置合わせ誤差に対して任意の前置変調器を補償することを更に含む、方法。［付記７］
プロジェクタ・ディスプレイ・システムにおいて入力画像データから所望のスクリーン画像を投射する方法であって、前記プロジェクタ・ディスプレイ・システムは、光源と、入力画像データを受信し、制御信号を出力するコントローラと、前記コントローラから制御信号を受信し、前記光源から光を受け取る前置変調器と、前記前置変調器から光を受け取るブラーリング光学システムと、制御信号を前記コントローラから受信し、光を前記ブラーリング光学システムから受け取る主変調器とを備え、前記方法は、
前記入力画像データからバイナリハーフトーン画像を作成すること、
前記バイナリハーフトーン画像からブラーバイナリハーフトーン画像を作成すること、
前記ブラーバイナリハーフトーン画像からパルス幅変調画像を作成すること、
前記パルス幅変調画像から所望のスクリーン画像を投射すること
を含み、
ブラーモデルを前記バイナリハーフトーン画像に適用すること、
ブラーモデリングされたバイナリハーフトーン画像の逆数をとること、
前記ブラーモデリングされたバイナリハーフトーン画像を前記入力画像データと乗算すること
を更に含む、方法。
［付記８］
前記バイナリハーフトーン画像にブラーモデルを適用することは、
ブラーモデルを適用することであって、前記ブラーモデルは１組のＰＳＦモデルに基づき、各ＰＳＦモデルは画像エリアの局所部分に適用される、適用することを更に含む、付記７に記載の方法。
［付記９］
主変調器の位置合わせ誤差に対して任意の前置変調器を補償することは、
主－前置の位置合わせマッピングを前記入力画像データに適用すること、
ハーフトーン画像を計算すること、
ライトフィールドモデルを適用すること、
前置－主位の置合わせマッピングを適用して、登録された主ライトフィールドを生成すること、
前記登録された主ライトフィールドを前記主変調器に送信すること
を更に含む、付記６に記載の方法。
［付記１０］
プロジェクタ・ディスプレイ・システムを較正する方法であって、前記プロジェクタ・ディスプレイ・システムは、光源と、入力画像データを受信し、制御信号を出力するコントローラと、前記コントローラから制御信号を受信し、前記光源から光を受け取る前置変調器と、前記前置変調器から光を受け取るブラーリング光学システムと、制御信号を前記コントローラから受信し、光を前記ブラーリング光学システムから受け取る主変調器とを備え、前記方法は、
入力画像データを受信すること、
ハーフトーン画像を計算すること、
ライトフィールドモデルを適用することであって、前記ライトフィールドモデルは、前記ブラーリング光学システムのＰＳＦモデルに基づく、適用すること、
前記主変調器の主画像を計算すること、
前記主変調器からスクリーン画像を表示すること、
画像捕捉デバイスを用いて前記スクリーン画像を捕捉すること、
捕捉スクリーン画像を前置格子とともに登録すること、
登録された捕捉スクリーン画像を前記入力画像データと比較すること、
所望の量を超える差がある場合、前記ＰＳＦモデルへの補正を計算すること、
更なる較正に対して改善されたＰＳＦモデルを適用すること
を含む、方法。
［付記１１］
前記ＰＳＦモデルへの補正を計算することは、
登録されたスクリーン画像を前記主画像で除算して、推定ライトフィールド画像を生成すること、
前記推定ライトフィールド画像を実際のライトフィールド画像と比較すること、
ライトフィールド誤差を推定すること、
前記ハーフトーン画像を用いてライトフィールド誤差推定を逆畳み込みして、ＰＳＦ補正を計算すること
を更に含む、付記１０に記載の方法。
［付記１２］
プロジェクタ・ディスプレイ・システムであって、
光源と、
入力画像データを受信し、制御信号を出力するコントローラと、
前記光源から光を受け取る第１の変調器であって、前記第１の変調器が、前記制御信号を前記コントローラから受信して入力画像のハーフトーン画像をレンダリング可能である、前記第１の変調器と、
前記第１の変調器から受信した前記ハーフトーン画像をぼやけさせるブラーリング光学システムであって、ブラーハーフトーン画像は、所望のスクリーン画像よりも実質的に明るい、前記ブラーリング光学システムと、
前記ブラーハーフトーン画像を前記ブラーリング光学システムから受信し、前記制御信号を前記コントローラから受信してパルス幅変調画像をレンダリング可能な第２の変調器であって、前記パルス幅変調画像は、前記所望のスクリーン画像を形成するように投射可能である、前記第２の変調器と
を備え、
前記ブラーハーフトーン画像は、暗クリッピングにより、画像を劣化させずに可能な限り明るい、プロジェクタ・ディスプレイ・システム。
［付記１３］
ブラーハーフトーンは前記所望のスクリーン画像に主ＤＭＤのコントラスト比を乗算したものよりも明るさが実質的に低い、付記１２に記載のプロジェクタ・ディスプレイ・システム。
［付記１４］
前記ブラーハーフトーン画像は局所的に平均化されたスクリーン画像にセーフコントラスト比を乗算したものよりも明るさが実質的に低い、付記１２に記載のプロジェクタ・ディスプレイ・システム。
［付記１５］
前記ブラーハーフトーン画像は、暗クリッピングにより前記画像を劣化させずに可能な限り明るい、付記１３又は付記１４に記載のプロジェクタ・ディスプレイ・システム。

Claims (12)

1. プロジェクタ・ディスプレイ・システム（１００）を較正する方法（８００）であって、前記プロジェクタ・ディスプレイ・システムは、光源（１０２）と、入力画像データを受信し、制御信号を出力するコントローラ（１２０）と、前記コントローラから制御信号を受信し、前記光源から光を受け取り、ハーフトーン画像を表示する前置変調器（１０８）と、前記前置変調器から前記ハーフトーン画像を受け取り、ブラーハーフトーン画像を生成するブラーリング光学システム（１１２）と、制御信号を前記コントローラから受信し、前記ブラーハーフトーン画像を前記ブラーリング光学システムから受け取って、スクリーン画像を表示する主変調器（１１６）とを備え、前記方法は、
   入力画像データ（８０１）を受信するステップと、
   前記入力画像データ（８０１）に基づいて前記ハーフトーン画像（８０３）を計算するステップ（８０４）と、
   前記ハーフトーン画像およびライトフィールドモデルを使用して前記ブラーハーフトーン画像としてのライトフィールド画像（８０５）を生成するステップ（８０６）と、前記ライトフィールドモデルは、前記ブラーリング光学システムの点広がり関数（以下、ＰＳＦとする）モデル（８１３）に基づくものであり、
   前記ライトフィールド画像（８０５）を使用して、前記主変調器の主画像（８０７）を計算するステップ（８０８）と、
   前記主画像を使用して、前記主変調器から前記スクリーン画像（８０９）を表示するステップ（８１０）と、
   画像捕捉デバイスを用いて前記スクリーン画像を捕捉するステップ（８１２）と、
   捕捉スクリーン画像を前記前置変調器の前置ピクセル格子とともに登録するステップと、
   登録された捕捉スクリーン画像を前記入力画像データと比較するステップ（８１４）と、
   所望の量を超える差がある場合、前記ＰＳＦモデルへの補正を計算するステップ（８２０）と、
   更なる較正のために改善されたＰＳＦモデルを適用するステップと
   を含む、方法。
2. 前記ＰＳＦモデルへの補正を計算するステップは、
   登録されたスクリーン画像を前記主画像で除算して、推定ライトフィールド画像を生成すること（９０２）と、
   前記推定ライトフィールド画像を前記ライトフィールド画像（８０５）と比較すること（９０４）と、
   ライトフィールド誤差（９０１）を推定すること（９０１）と、
   前記ハーフトーン画像を用いて推定されたライトフィールド誤差（９０１）を逆畳み込みして、ＰＳＦ補正を計算すること（９０６）とを含む、請求項１に記載の方法。
3. 前記主変調器から前記スクリーン画像を表示するステップ（８１０）は、
   前記主変調器を用いて前記ライトフィールド画像（８０５）からパルス幅変調画像を作成すること、
   前記パルス幅変調画像から前記スクリーン画像を投射すること、
   をさらに含む、請求項１または２に記載の方法。
4. 前記ブラーハーフトーン画像は、前記スクリーン画像よりも実質的に明るい、請求項３に記載の方法。
5. 前記ブラーハーフトーン画像よりも明るい前記入力画像データは、輝度を制限するためにクリッピングされる、請求項４に記載の方法。
6. 前記ハーフトーン画像を計算するステップ（８０４）は、
   前記入力画像データに空間ディザパターンを適用することを更に含む、請求項１に記載の方法。
7. 前記入力画像データに前記空間ディザパターンを適用することは、
   画像エリア内の局所領域の空間的な広がりを定義するブラーカーネル範囲が最大となるまで前記入力画像データを拡張した後、前記空間ディザパターンを適用すること、
   拡張画像データを閾値処理して、バイナリ値にすること
   を含む、請求項６に記載の方法。
8. 前記ハーフトーン画像からブラーハーフトーン画像を作成することは、
   前記ブラーリング光学システムのＰＳＦを用いて前記ハーフトーン画像を平滑化することを含む、請求項１に記載の方法。
9. ＰＳＦは、空間の広がりが限られたＰＳＦ、帯域制限ＰＳＦ、実質的に半径方向対称のＰＳＦ、ガウス関数、二乗余弦関数、及び空間の広がりが限られた実質的に半径方向対称であるピークの関数を含む群のうちの１つを含む、請求項８に記載の方法。
10. 主変調器に対する前置変調器の位置合わせ誤差を補償するステップを更に含む、請求項３に記載の方法。
11. ブラーモデルを前記ハーフトーン画像に適用するステップと、前記ブラーモデルは複数のＰＳＦモデルに基づくものであり、各ＰＳＦモデルは画像エリア内の複数の局所領域の各々に適用され、
    ブラーモデリングされたハーフトーン画像の反転画像を生成するステップと、
    前記ブラーモデリングされたハーフトーン画像の前記反転画像を前記入力画像データと乗算するステップとを更に含む、請求項３に記載の方法。
12. 主変調器に対する前置変調器の位置合わせ誤差を補償するステップは、
    主－前置の位置合わせマッピングを前記入力画像データに適用すること、
    前記ハーフトーン画像を計算すること、
    前記ハーフトーン画像および前記ライトフィールドモデルを使用して前記ライトフィールド画像を生成すること、
    前置－主の位置合わせマッピングを適用して、登録された主ライトフィールドを生成すること、
    前記登録された主ライトフィールドを前記主変調器に送信すること
    を含む、請求項１０に記載の方法。

Images