JP5396536B2 - マルチプロジェクタシステム及び方法 - Google Patents

Description

背景
マルチプロジェクタシステムが、合成表示をもたらすように、スクリーン又は壁のような共通の表示場所に複数のビデオ画像を投影するために開発された。合成表示は、単一の画像が複数のプロジェクタを用いて生成されるものであり、この場合、各プロジェクタが全体画像の一部または構成要素を生成する。これら表示システムは、複数のサブフレームが完全に重なる、全く重ならない、又はそれらの間でいくらか重なることを可能にするように、或いは複数の別個の合成画像を提供することを可能にするように構成され得る。マルチプロジェクタシステムの更に別の応用形態は、三次元（「３Ｄ」）立体画像の生成である。

継ぎ目のない（シームレス）画像を形成するために、適切な補償パラメータ（例えば、幾何学的な形態、色、輝度など）を測定するためにカメラを使用するマルチプロジェクタディスプレイが開発された。補償パラメータは、一般的に１つの視点だけで取得されたカメラの測定値から推定される。しかしながら、過度の補償の形での顕著なアーティファクトが、非ランベルト面（例えば、ゲイン＞１）であるスクリーンに対して、及びカメラの位置と異なる視角に対して現れる可能性があり、それにより感知される画質および係るディスプレイの有用性が減少する。この所見は、前面投影型、背面投影型、及び立体３Ｄディスプレイを含む多くの種類のマルチプロジェクタディスプレイに当てはまる可能性がある。

本開示の様々な特徴および利点は、本開示の特徴を一例として示す添付図面に関連してなされる以下の詳細な説明から明らかになるであろう。

複数のプロジェクタを用いて合成画像を生成するように構成された画像表示システムの一実施形態のブロック図である。 真正面から見られた場合の合成表示スクリーンの相対的輝度（明るさ）を示す図である。 或る角度から見られた場合の合成表示の相対的輝度を示し、ホットスポット及びより暗い領域を示す図である。 マルチプロジェクタシステムの実施形態、及びその実施形態により生成される合成表示の図である。 マルチプロジェクタシステムの実施形態、及びプロジェクタが複数のサブグループに分割されて単一の３Ｄ立体合成画像を生成するディスプレイの図である。 マルチプロジェクタシステムにおいて、ホットスポット及び視点に依存するアーティファクトを低減するための方法の実施形態におけるステップを概説する流れ図である。 頭部／凝視追跡を用いて、マルチプロジェクタシステムにおいてホットスポット及び視点に依存するアーティファクトを低減するための方法の代替の実施形態におけるステップを概説する流れ図である。 ディスプレイの補償のために視聴位置を求めるための頭部および／または凝視追跡システムを有する投影システムのディスプレイを示す図である。

詳細な説明
ここで、図面に示された例示的な実施形態を参照し、本明細書において特定の用語が係る実施形態を説明するために使用される。それにも関わらず、それによって本開示の範囲の制限が意図されていないことは理解されるであろう。当業者および本開示の所有者に想起される、本明細書で示された特徴要素の代替および更なる変更、並びに本明細書で示された原理の更なる応用形態は、本開示の範囲内にあると考えられるべきである。

本明細書で使用される限り、「上」、「下」、「前」、「後」、「前部にある」、「後部にある」などの方向性の用語は、記載されている図面の向きを基準にして使用される。本明細書で開示された様々な実施形態のコンポーネントが多数の異なる向きに配置され得るので、方向性の用語は例示のためだけに使用されており、制限することは意図されていない。

本明細書で使用される限り、用語「サブフレーム」は、単一のプロジェクタにより生成された表示画像のその一部を意味する。複数のプロジェクタからの複数のサブフレームにより生成された完全な表示画像は、「合成画像」と呼ばれる。理解されるべきは、合成画像は、マルチプロジェクタシステムにおけるプロジェクタのサブグループ（即ち、プロジェクタの全てより少ない）により生成され得る。

図１は、従来技術のマルチプロジェクタ画像表示システム１００の実施形態を示すブロック図である。画像表示システム１００は、画像データ１０２を処理し、対応する表示画像１１４を生成する。表示画像１１４は、任意の絵のような文字、図式的な記号、又はテクスチャ文字、記号、イラスト、又は他の情報の表現を含むように定義される。

一実施形態において、画像表示システム１００は、画像フレームバッファ１０４、サブフレーム生成器１０８、プロジェクタ１１２Ａ〜１１２Ｃ（まとめてプロジェクタ１１２と呼ぶ）、カメラ１２２、及び較正ユニット１２４を含む。画像フレームバッファ１０４は、画像データ１０２を受け取ってバッファリングし、画像フレーム１０６を形成する。サブフレーム生成器１０８は、画像フレーム１０６を処理して、対応する画像サブフレーム１１０Ａ〜１１０Ｃ（まとめてサブフレーム１１０と呼ぶ）を画定する。一実施形態において、各画像フレーム１０６について、サブフレーム生成器１０８は、プロジェクタ１１２Ａ用の１つのサブフレーム１１０Ａ、プロジェクタ１１２Ｂ用の１つのサブフレーム１１０Ｂ、及びプロジェクタ１１２Ｃ用の１つのサブフレーム１１０Ｃを生成する。サブフレーム１１０Ａ〜１１０Ｃは、それぞれプロジェクタ１１２Ａ〜１１２Ｃにより受け取られ、それぞれ画像フレームバッファ１１３Ａ〜１１３Ｃ（まとめて画像フレームバッファ１１３と呼ぶ）に格納される。プロジェクタ１１２Ａ〜１１２Ｃはそれぞれ、サブフレーム１１０Ａ〜１１０Ｃを目標表面１１６上に投影し、ユーザにより視聴するための表示画像１１４を生成する。

画像フレームバッファ１０４は、１つ又は複数の画像フレーム１０６の画像データ１０２を格納するためのメモリを含む。かくして、画像フレームバッファ１０４は、１つ又は複数の画像フレーム１０６のデータベースを構成する。また、画像フレームバッファ１１３も、サブフレーム１１０を格納するためのメモリを含む。画像フレームバッファ１０４及び１１３の例は、不揮発性メモリ（例えば、ハードディスクドライブ又は他の永続的な記憶装置）を含み、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ））を含んでもよい。

サブフレーム生成器１０８は、画像フレーム１０６を受け取って処理し、複数の画像サブフレーム１１０を画定する。サブフレーム生成器１０８は、画像フレーム１０６の画像データに基づいてサブフレーム１１０を生成する。一実施形態において、サブフレーム生成器１０８は、一実施形態において画像フレーム１０６の解像度より低い、プロジェクタ１１２の解像度に一致する解像度を有する画像サブフレーム１１０を生成する。サブフレーム１１０はそれぞれ、画像フレーム１０６のサブセットを表す個々の画素からなる複数の列と複数の行を含む。

プロジェクタ１１２は、サブフレーム生成器１０８から画像サブフレーム１１０を受け取り、一実施形態において、画像サブフレーム１１０を目標表面１１６上に、重なる位置に及び／又は空間的にオフセットした位置に同時に投影して、表示画像１１４を生成する。一実施形態において、表示システム１００は、複数のプロジェクタ１１２からのより低い解像度のサブフレーム１１０を重ねて表示することにより、高い解像度の表示画像１１４が人間の眼に見えるように構成される。これらの重なるサブフレームは、互いに対して空間的にシフトされ得るか又は任意の幾何学的変換を有することができる。一実施形態において、重なるサブフレーム１１０の投影は、強化された解像度（即ち、サブフレーム１１０自体より高い解像度）に見える。別の実施形態において、プロジェクタのサブフレームは、タイリング（即ち、隣接するプロジェクタの画像を最小限に重ねる）を通じて、効果的により高い解像度の表示を提供する。更に別の実施形態において、プロジェクタのサブフレームは、任意に組み合わされて、重なる及びタイリングされた構成を形成する。投影されたサブフレーム１１０により生成された結果としての表示画像１１４が、サブフレーム１１０が導出された高い解像度の画像（例えば、画像フレーム１０６）が直接的に表示された場合にどんなふうに見えるかという様相に近づくように、サブフレーム１１０の適切な値を求めるための手法が開発された。

当業者には理解されるように、サブフレーム生成器１０８により実行される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実現され得る。具現化形態は、マイクロプロセッサ、プログラム可能論理回路、又はステートマシンを介して行われ得る。システムのコンポーネントは、１つ又は複数のコンピュータ可読媒体デバイス上のソフトウェアに存在することができる。本明細書で使用されるような用語「コンピュータ可読媒体」は、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読み出し専用メモリ、及びランダムアクセスメモリのような揮発性または不揮発性の、任意の種類のメモリを含むように定義される。

また、図１には、画像フレームバッファ１２０を有する基準プロジェクタ１１８も示される。基準プロジェクタ１１８は図１において隠れ線で示され、その理由は一実施形態において、プロジェクタ１１８が実際のプロジェクタではなく、むしろ最適なサブフレーム１１０を生成するために画像形成モデルで使用される仮想の高解像度基準プロジェクタであるからである。一実施形態において、１つの実際のプロジェクタ１１２の場所は、基準プロジェクタ１１８の場所であるように定義され得る。また、表示システム１００は、各プロジェクタ１１２と基準プロジェクタ１１８との間の幾何学的マッピングを自動的に求めるために使用され得るカメラ１２２と較正ユニット１２４も含むことができる。

画像表示システム１００は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せを含むことができる。一実施形態において、画像表示システム１００の１つ又は複数のコンポーネント（例えば、フレームバッファ１０４、サブフレーム生成器１０８、及び較正ユニット１２４）は、コンピュータ、コンピュータサーバ、又は一連の論理演算を行うことができ、システムメモリを有するマイクロプロセッサを用いる他のシステムに含まれる。係るシステムは一般に、本明細書において、マルチプロジェクタシステムの「コントローラ」と呼ばれる。更に、処理はシステムの全体にわたって分散されることができ、この場合、個々の部分は、ネットワーク化された環境または複数の計算ユニット環境（例えば、クラスタ化されたコンピュータ）においてのような、別個のシステムコンポーネントで実現される。

上述したように、カメラ１２２は、較正ユニット１２４に結合され、継ぎ目のない画像を形成するために、幾何学的な形態、色、輝度などの補償パラメータを求めるために使用される。補償パラメータは、一般的に１つの視点だけで取得されたカメラの測定値から推定される。ランベルト面のスクリーン（例えば、ゲイン≦１、又は視角に関係なく等しい反射率）の場合、この単一のサンプルは、全ての視角の標本とすることができ、かくして感知される画質の劣化はない。

しかしながら、過度の補償の形での顕著なアーティファクトが、非ランベルト面であるスクリーンに対して、及びカメラの位置と異なる視角に対して現れる可能性があり、それにより係るディスプレイの感知される画質が減少する。これは特に、異なる光路を有する複数のプロジェクタを用いる場合に明らかであり、それにより表示面に対するそれらの異なる入射角は、ホットスポット生成につながる。この所見は、相補的な偏光眼鏡（一般に非ランベルト面のスクリーンを使用する）又は能動的シャッター眼鏡を介することに関わらず、前面投影型、背面投影型（視点に依存するホットスポット生成の深刻な問題を有する可能性がある）、多視点ディスプレイ、及び立体３Ｄを含む任意の種類のマルチプロジェクタディスプレイに当てはまる。また、相互反射する非平面の表面で係る影響を認めることもできる。

図２には、実質的に真正面から見られた場合、又は較正カメラの視点と実質的に同じである見通しの利く地点から見られた場合のマルチプロジェクタシステムの表示スクリーン２００の図が示される。ワイドスクリーンの合成画像２０４の中央領域２０２は、ほぼ視覚的に均一である。人間の目はゆっくり変化する変化にあまり敏感ではないので、画像２０４の端部２０６ａ、２０６ｂの方へのような、僅かなけられ又は輝度の変化は許容され得る。

しかしながら、表示画像が、真正面とは大幅に異なる、又は較正カメラの見通しの利く地点とは異なる或る角度から見られた場合、ホットスポット及び視点に依存するアーティファクトが現れる可能性がある。図３には、スクリーン３０２が或る角度から見られた場合の合成表示画像３００の相対的輝度の図が示される。この観点から考えると、画像の多くの部分３０４が所望の輝度をほぼ有することが看取され得る。しかしながら、画像の最も右側および左側の端部に幾つかの僅かに暗くなった領域３０６ａ、３０６ｂに加えて、画像は、右側の近くに極めて明るい領域またはホットスポット３０８、及び画像にわたる幾つかの他の暗くなった領域３１０を含む。

有利には、マルチプロジェクタシステムにおいてホットスポット及び視点に依存するアーティファクトを低減するためのシステム及び方法が開発された。本明細書で開示されたシステム及び方法は、較正カメラの視点から最も継ぎ目のない表示を達成する代わりに、マルチプロジェクタディスプレイの複数の視点からのカメラ測定値を使用し、より広い視角にわたってより最適な表示結果を形成するために当該測定値を自動的に統合する（integrate：積分する）。かくして、プロジェクタのホットスポット生成および視点に依存するアーティファクトの出現は、所望の視角の範囲にわたって軽減され得る。

図４には、表示面４０６に単一の合成画像４０４を生成するように全て向きを設定された１２個のプロジェクタ４０２ａ〜４０２ｌを含むマルチプロジェクタシステム４００の実施形態が示される。理解されるべきは、図４に示された実施形態は１２個のプロジェクタを含むが、本明細書で開示されたシステム及び方法は、２つ以上のプロジェクタを有する任意のマルチプロジェクタシステムに適用される。この例に示されるように、１２個のプロジェクタは４０８ａ〜４０８ｌと表記された１２個のサブフレームを生成し、当該サブフレームは、この図において互いに組み合わされて、単一の大判の合成画像４０４を提供する。図４において、重ね合わされたサブフレーム４０８が互いから空間的にオフセットして示されているが、これは説明のためであり、合成画像４０４を生成するためにサブフレームの実際の配置に必ずしも対応しない。また、理解されるべきは、マルチプロジェクタシステムにおけるプロジェクタの実際の物理的場所またはグループ化は変更できる。例えば、図４のプロジェクタ４０２は４個からなる３つのグループに物理的に構成され、ディスプレイ上のサブフレームは概して４つからなる３つのグループになっているが、プロジェクタは異なる物理的位置に構成されることができ、１２個のプロジェクタ４０２ａ〜４０２ｌの何れかが、１２個のサブフレーム４０８ａ〜４０８ｌの任意の１つを生成するように構成され得る。

１２個のプロジェクタ４０２はコントローラシステムにより制御され、当該コントローラシステムは、コンピュータ、コンピュータサーバ、又は上述したような合成画像を生成するためにプロジェクタを駆動することができ、プロセッサ及びシステムメモリを有するマイクロプロセッサを用いた他のシステムとすることができる。コントローラは概して４１０で示される。しかしながら、上述したように、コントローラシステムは、第１のコントローラコンピュータ４１０、及び第１のコントローラコンピュータとネットワーク相互接続された又はクラスタ化された、第２のコントローラ装置４１２のような複数の計算装置を含むことができる。

図１及び図４のマルチプロジェクタシステムは、全ての使用可能なプロジェクタを用いて単一の合成画像を生成するように示される。しかしながら、看取されるように、マルチプロジェクタシステムのプロジェクタのグループをサブグループに分割することが望ましいかもしれない。係るシステムは、立体／３Ｄ表示を提供するために使用され得る。サブグループに分割されたプロジェクタを含むマルチプロジェクタシステムの一実施形態が図５に示される。この実施形態は、２つの視覚チャネルが同じ物理的な表示面５０２に重ね合わされた立体／３Ｄディスプレイ５００を提供する。特に、このシステムは、２つのサブグループ５０６ａ、５０６ｂに分割された１２個のプロジェクタ５０４を含む。第１のサブグループ５０６ａは「左」チャネルに対応し、視聴者の左目に送られるべき内容を投影するが、第２のサブグループ５０６ｂは「右」目のチャネルに対応する。双方のチャネルが共通のディスプレイ５０２上で互いに重ね合わされ、左目の合成表示５０８、及び右目の合成表示５１０を提供し、これら合成表示のそれぞれは、マルチプロジェクタシステムのプロジェクタ５０４の半分からの画像により生成されている。プロジェクタはコントローラシステム５１２により駆動され、当該コントローラシステム５１２は、上述したように少なくとも１つの較正カメラ５１４からフィードバックを受け取る。各サブグループ５０６に対する任意の様々な利用可能な３Ｄ表示技術（例えば、偏光眼鏡など）を用いて、結果としてのシステムは、高い画質を備えた大判の立体表示を提供するが、複数の比較的安価なプロジェクタを用いている。他の実施形態は、複数の別個のスクリーンを含むことができ、これらは、重ね合わされた画像、タイル状の画像、立体画像などを提供することができ、輝度（明るさ）、コントラスト、色などのような様々な特性に最適化され得る。

有利には、図４のシステム４００は、コントローラ４１０又はクラスタ化されたコントローラのグループの制御下でのプロジェクタ４０２の調整を可能にするために、較正ユニット（図１の１２４）へのフィードバックのための複数の較正カメラ位置４１４、４１６、４１８を含む。同様に、図５に示されたシステム５００は、複数の較正カメラ位置５１４、５１６、及び５１８を含む。これらカメラは異なる視点に配置される。例えば、中央のカメラは、実質的に真正面の視点からそれぞれの表示を見るために配置され、第２のカメラはスクリーンに対して右側に２５°の視点に配置され、第３のカメラは左側に４０°に配置される。理解されるべきは、これらの位置は単なる例示である。任意の数のカメラ位置／向きを使用することができ、当該位置／向きは任意とすることができる。本明細書で開示されたシステム及び方法は、マルチプロジェクタディスプレイの複数の視点からのカメラ測定値を使用し、当該測定値を自動的に統合して、より広い視角にわたるより最適な表示結果を形成する。これにより、プロジェクタのホットスポット生成および視点に依存するアーティファクトの出現は、所望の視角の範囲にわたって軽減される。

図６には、マルチプロジェクタシステムにおいてホットスポット及び視点に依存するアーティファクトを低減するための方法に関する一実施形態のステップを概説する流れ図が示される。この方法において、表示システムは、プロジェクタの集合、複数のグラフィックスカード、互いにクラスタ化された１つ又は複数のＰＣ、複数の較正カメラ位置、及び１つ又は複数の表示面からなる図１、図４、又は図５の何れかに示されて説明されたようなマルチプロジェクタ表示システムであると仮定される。方法は、３つの大まかな段階、即ち、測定段階、モデル化段階、及びレンダリング段階を有する。

最初のステップは、測定段階の部分であり、複数の視点から投影特性を測定すること（ステップ６００）を含む。任意の数のカメラ視点について（これは、複数の較正カメラで同時に、又は異なる視点に移動する単一のカメラで逐次的に、又はそれらの組み合わせで行われ得る）、各プロジェクタは、様々なパラメータ（幾何学的な形態、色、輝度などを含む）を符号化するために１つ又は複数のパターンを投影する。マイクロプロセッサ制御システムは、各プロジェクタについて及び各カメラ視点について測定値を記録する。

次のステップは、モデル化段階の部分である。最初に、各プロジェクタについて、全てのカメラ視点からの測定されたプロジェクタのパラメータが、共通の座標系（例えば、基準としてのカメラの１つに対する位置の座標、又は何らかの他の基準点）に再マッピングされる（ステップ６０２）。そして、結果は、視点に依存する投影パラメータを推定するために、測定されたパラメータの関数として表される（ステップ６０４）。例えば、全ての測定された輝度のプロファイル（特性）は、視角に対するパラメータ化を介して所与のプロジェクタの共通の座標系に再マッピングされる。次いで、１つの手法は、視点に依存する影響の大部分を除去する単一の代表的な輝度プロファイルを形成するために、画素位置毎に重み付けされた平均値または中央値（メジアン）をとることである。別の実施形態は、視角に依存するプロジェクタパラメータの重み付けされた反射率関数を画像形成モデルへ組み込む。結局、非ランベルト面スクリーンの視点に依存する影響およびホットスポット生成の影響を低減するプロジェクタパラメータのより多くの代表的なセットが推定される。

このステップの１つの拡張は、３Ｄ位置およびカメラの視点とプロジェクタの位置関係を推定することである。この場合、測定されたパラメータの実際の３Ｄの幾何学的形態を因数化し、測定されたプロジェクタパラメータのパラメータ化関数を形成することができる（例えば、視角の関数としての輝度プロファイル）。この手法は、表示面の面法線およびより一般的な伝達関数（例えば、双方向反射関数（ＢＲＤＦ）、反射フィールド）の推定につながることができる。

ひとたびプロジェクタパラメータが推定されれば、マルチプロジェクタディスプレイの追加の補償パラメータが、当業者に知られているステップを用いて推定またはモデル化され得る（ステップ６０６）。これらモデル化および測定ステップの例は、各プロジェクタ又はサブグループの投影輝度をできる限り均一にするように較正することを含む。１つの手法において、マルチプロジェクタシステムの画像パイプラインは、高性能画像形成モデル、並びに根本要素および他の補正箇所を含むプロジェクタ間の幾何学的配置、輝度、色、黒色オフセットなどを測定することを含む、較正カメラ（単数または複数）を通じたフィードバックを介した自動測定ステップを使用する。これらのモデル化および測定ステップの実施形態は、N. Damera-Venkata、N.L. Chang、J.M. DiCarlo著、「A Unified Paradigm for Scalable Multi-Projector Displays」、IEEE Transactions on Visualization and computer Graphics、2007年11月〜12月、並びに米国特許第７，３０６，３４１号及び米国特許第７，４４３，３６４号、米国特許出願公開第２００７／００９１２７７号、米国特許出願公開第２００７／００９７３３４号、米国特許出願公開第２００８／０００２１６０号、米国特許出願公開第２００８／００２４４６９号、米国特許出願公開第２００８／００２４６８３号、及び米国特許出願公開第２００８／０１４３９７８号に概説されており、それらの開示内容は、参照により本明細書に組み込まれる。

最適化中、より多くの視点において因数化することも可能である。例えば、一実施形態において、複数の測定値を用いて、重み付けされた反射率関数（パラメトリック又はノンパラメトリックとするこができ、必要に応じて補間される）を推定し、それにより最終表示の所望の視角がより重く重み付けされて、これらの視角にわたる補償パラメータのより最適なセットが得られる。この重み付けされた反射率関数を用いて、全ての関連した画像の補償／レンダリングパラメータの値を直接的に求めることができる。別の実施形態において、各プロジェクタの特性測定値を用いて、各視角に対する対応する補償パラメータを計算し、これらの補償パラメータは視角の重み付けされた関数に組み合わされる。また、複数の視点のパラメータを組み合わせることは、値の中央値をとることにより、又は何らかの他の順位統計により行われ得る。要するに、反射率関数が、重み付けされた平均値、中央値、切り捨て平均値、又は本明細書で説明された任意の他のタイプの組み合わせ、又は当業者に知られているものにより求められることに関わらず、システムは、複数の視点からの反射率の値の確固たる組み合わせである当該反射率関数を生じさせる。

最後のステップは、レンダリング段階の部分である。推定された補償またはレンダリングパラメータは、各プロジェクタについて計算および／または更新され（ステップ６０８）、当該推定された補償パラメータは、上記で挙げられた文献で説明されるように、後続の画像のためにリアルタイムで各プロジェクタに表示内容を送るために適用される（ステップ６１０）。言い換えれば、何らかの内容を表示することが望まれる場合、計算されたレンダリングパラメータは、結果としての画像がホットスポット及び視点に依存するアーティファクトの低減と共に所望の特性を達成するように、各プロジェクタの画像を如何にして調整するかを決定するために全ての所望のフレームに適用される。矢印６１２により示されるように、プロセスは次いで、繰り返してレンダリングパラメータを計算して表示データを各プロジェクタに送るために、ステップ６０８と６１０を繰り返すことができる。代案として、矢印６１４により示されるように、プロセスは、必要に応じて再較正するために、ステップ６００に戻ることができる。この方法の結果として、結果としての表示は、以前に比べてより少ない視点に依存するアーティファクト及びより少ないホットスポット生成を有することができる。

別の実施形態において、本明細書で開示された方法は、凝視／頭部追跡能力を組み込むように拡張され得る。この方法の一実施形態におけるステップが図７に示される。図６に関して概説され説明された方法と同様に、この実施形態も、測定段階、モデル化段階、及びレンダリング段階を含む。最初のステップは、測定段階の部分であり、上述したのと同じように、複数の視点から投影特性を測定すること（ステップ７００）を含む。やはり、これは、複数の較正カメラで同時に、又は異なる視点に移動する単一のカメラで逐次的に、又はそれらの組み合わせで行われ得る。各プロジェクタは、様々なパラメータを符号化するために１つ又は複数のパターンを投影し、マイクロプロセッサ制御システムは、各プロジェクタについて及び各カメラ視点について測定値を記録する。

次のステップは上述したモデル化段階を開始し、測定されたパラメータの関数としての結果を生成するために共通の座標系に投影パラメータをマッピングすることにより投影パラメータを最初にモデル化し（ステップ７０２）、視点に依存する投影パラメータを推定する（ステップ７０４）ことを含む。一実施形態において、これらのステップは上記で概説されたように行われ、例えば、各プロジェクタについて測定された輝度プロファイルの全てを共通の座標系に再マッピングし、視点に依存する影響を除去する単一の代表的な輝度プロファイルを形成するために、画素位置毎に重み付けされた平均値または中央値をとることにより行われる。代案として、測定された輝度プロファイルを用いて、画像形成モデルにおいて視角に依存する重み付けされた反射率関数を形成することができる。この重み付けされた反射率関数を用いて、全ての関連した画像の補償／レンダリングパラメータの値を直接的に求めることができる。代案として、システムは、各視角について投影パラメータを推定し、それらを組み合わせることができる（例えば、重み付けされた平均値として）。また、複数の視点のパラメータを組み合わせることは、値の中央値をとることにより、又は何らかの他の順位統計により行われ得る。やはり、重み付けされた平均値、中央値、切り捨て平均値、又は本明細書で説明された任意の他のタイプの組み合わせ、又は当業者に知られているものによることに関わらず、システムは、複数の視点からの反射率の値の確固たる組み合わせである反射率関数を生じさせる。ひとたびプロジェクタパラメータが推定されれば、マルチプロジェクタディスプレイの追加の補償パラメータも、上述したステップを用いて推定またはモデル化され得る。

最後のステップは、レンダリング段階の部分である。レンダリング段階の間、推定された補償またはレンダリングパラメータは、各プロジェクタについて計算および／または更新され（ステップ７０８）、当該推定された補償パラメータは、上述されたように、後続の画像のためにリアルタイムで各プロジェクタに表示内容を送るために適用される（ステップ７１０）。理解されるべきは、補償パラメータは、オンザフライで計算され得るか、又はそれらは予め計算されて、視角に基づいてルックアップテーブルに格納され得る。しかしながら、頭部または凝視の追跡に関する追加のステップ（ステップ７０６）がこの実施形態に追加される。このように、レンダリングステップは、複数の視角に対して較正し、且つ視角の関数として学習（training：トレーニング）パラメータを推定するために変更される。レンダリング中、頭部追跡装置は、ユーザの視角を推定し、その視点からの最良の結果につながる適切な補償パラメータを更新する（内容も、運動視差補正表示を生成するために更新され得る）。補償パラメータは予め計算され得るか、さもなければユーザの視角を受け取る際にオンザフライで計算され得る。代案として、複数の別個の視点に対する投影パラメータが予め計算されてメモリに格納され得る。次いで、所与の検出された場所に対する投影パラメータは、中間の画像の格納された値の間を補間することにより取得され得る。この手法は、全ての視点についてパラメータを格納する必要性を取り除く。

頭部追跡または凝視追跡は、当業者により知られた様々な技術を使用することができ、当該技術は、人の目の動きを追跡するために赤外線（ＩＲ）を用いたカメラ、姿勢および向きを求めるために信号を三角法で測ることにより動作する頭部装着型器具などを含む。係る追跡システムは、例えば、任天堂により製作された、よく知られたWii（登録商標）ゲームシステムで使用されるコンポーネントのタイプを用いて構成され得る。視聴者の顔の位置と向き、及び目の視線の方向も検出する顔検出システムのような、凝視追跡に対する他の手法が使用されてもよい。

頭部追跡システムを有するディスプレイの一実施形態が、図８に示される。表示画像８００が表示スクリーン８０２に投影される。表示スクリーンの上には、頭部追跡センサ８０４がある。マルチプロジェクタシステムがこの図で示されていないが、マルチプロジェクタシステムを用いて、表示画像８００を生成することができる。図５に示されたマルチプロジェクタシステム５００は、頭部または凝視追跡センサ５２０を含む。

図８に戻ると、典型的な視聴者８０６は、一対の光源（ライト）８１０ａ、８１０ｂを保持するヘッドバンド８０８（又は、帽子、眼鏡などのような他の装置）を装着している。光源は、赤外線光源とすることができ、カメラ８０４は、光源から発する光を検出することができる赤外線カメラとすることができる。ヘッドバンド８０８を装着することにより、視聴者８０６の場所および頭部の向きは、強度（より近い光源がより大きな強度を提供する）、サイズ、位置（右、左、上、下）、相対的間隔（互いにより近い一対の光源は、視聴者がより遠い、又は回転した頭部を示すことができる）、及び光源８１０の相対的角度（傾いた頭部を表す）に基づいて、求められ得る。かくして、視聴者８０６ａの位置は、頭部に装着された光源からカメラ８０４までの、視聴者８０６ｂの位置とは異なる光路（波線８１２ａにより表される）を提供し、視聴者８０６ｂの位置は異なる光路（波線８１２ｂにより表される）を提供する。

この頭部追跡システムにより、関連した制御システムが、カメラ８０４及びディスプレイ８０２に対する視聴者の位置を推定することが可能になる。理解されるべきは、図８に示された凝視／頭部追跡構成は、本明細書で開示されたシステム及び方法と共に使用され得る多くの考えられる凝視または頭部追跡システムの１つに過ぎないことである。図７に戻って参照すると、較正技術は、ステップ７０６で検出された視聴者の位置に基づいて推定された視角に対する較正データ（即ち、マルチプロジェクタ測定およびモデル化ステップ７０２、７０４）を記録する。また、視角をパラメータ化し、且つ視角の関数としてこれら結果をパラメータ化することも可能であり、さもなければ推定された視角に最も近い較正データに単にロードすることができる。

矢印７１２により示されるように、プロセスは、視聴者の位置および／または凝視の方向を繰り返し検出して、レンダリングパラメータを計算し、各プロジェクタに表示データを送るために、ステップ７０６〜７１０を繰り返すことができる。代案として、矢印７１４により示されるように、プロセスは、必要に応じて再較正するためにステップ７００に戻ることができる。この方法の結果として、結果としての表示は、以前に比べてより少ない視点に依存するアーティファクト及びより少ないホットスポット生成を有することができる。

このシステム及び方法は、非ランベルト面のマルチプロジェクタディスプレイで現れる可能性がある、視点に依存するアーティファクト及びホットスポット生成を軽減するために、複数の場所からのカメラ測定値を利用する。それは、偏光３Ｄディスプレイ及び背面投影型マルチプロジェクタディスプレイに特に望ましい、視角のより広い範囲にわたる表示の改善された結果を提供する。更に、このシステム及び方法は、表示を改善するための自動測定および較正技術を容易にする。

理解されるべきは、上述された構成は、本明細書で開示された原理の応用形態の実例である。当業者には明らかなように、多くの変更を、特許請求の範囲に記載されたような本開示の原理と概念から逸脱せずに行うことができる。

Claims (15)

1. マルチプロジェクタシステムにおいて、視点に依存するアーティファクトを低減するための方法であって、その方法が、プロセッサ及びシステムメモリを有するコンピュータ装置により実行されるものにおいて、
   ａ）前記マルチプロジェクタシステムの複数のプロジェクタのそれぞれの投影特性に関するデータを、複数の視点から測定し、前記コンピュータに入力するステップであって、前記複数のプロジェクタが画像フレームの合成画像を生成する、ステップと、
   ｂ）前記コンピュータが、各プロジェクタについて、前記複数の視点からの前記投影特性を共通座標系に再マッピングするステップと、
   ｃ）前記再マッピングされた投影特性に基づいて、各プロジェクタについて視点に依存する投影パラメータを、コンピュータが推定するステップと、
   ｄ）前記視点に依存するアーティファクトを低減するように、前記推定された視点に依存する投影パラメータに基づいて、各プロジェクタのレンダリングパラメータをコンピュータが計算するステップとを含む、方法。
2. 前記複数の視点から前記投影特性を測定するステップが、異なる場所に配置された複数のカメラを用いて、前記投影特性を測定することを含む、請求項１に記載の方法。
3. 前記複数の視点から前記投影特性を測定するステップが、異なる場所の間で逐次的に移動する単一のカメラを用いて、前記投影特性を測定することを含む、請求項１に記載の方法。
4. 前記各プロジェクタのレンダリングパラメータを計算するステップが、複数の視点からの測定された輝度プロファイルを組み合わせて、視角に依存する反射率関数を形成することを含む、請求項１から３の何れかに記載の方法。
5. 前記推定された視点に依存する投影パラメータを用いて、前記ステップ（ｄ）を繰り返して実行するステップを更に含む、請求項１から４の何れかに記載の方法。
6. 前記ステップ（ａ）〜（ｄ）を周期的に繰り返すステップを更に含む、請求項１から４の何れかに記載の方法。
7. ｅ）前記画像に関して視聴者の見る／凝視方向を追跡するステップを更に含み、
   前記ステップ（ｄ）が、
   前記見る／凝視方向に基づいて、前記視点に依存するアーティファクトを低減するように各プロジェクタのレンダリングパラメータを計算するステップを更に含む、請求項１から３の何れかに記載の方法。
8. 前記推定された視点に依存する投影パラメータを格納し、前記推定された視点に依存する投影パラメータに基づいて前記レンダリングパラメータを周期的に更新するステップを更に含む、請求項１から７の何れかに記載の方法。
9. プロセッサ及びシステムメモリを含む計算装置に以下のステップ、即ち
   ａ）画像フレームの合成画像を生成する複数のプロジェクタの投影特性の、複数の視点からの測定値を表すデータを受け取るステップと、
   ｂ）各プロジェクタについて、前記複数の視点からの前記投影特性を共通座標系に再マッピングするステップと、
   ｃ）前記再マッピングされた投影特性に基づいて、各プロジェクタについて、視点に依存する投影パラメータを推定するステップと、
   ｄ）プロジェクタへの投影データストリームを変換して視点に依存するアーティファクトを低減するように、前記推定された視点に依存する投影パラメータに基づいて各プロジェクタのレンダリングパラメータを計算するステップと
   を実行させるためのコンピュータプログラム。
10. 前記複数の視点から前記投影特性を測定するステップが、（ｉ）異なる場所に配置された複数のカメラを用いて、前記投影特性を測定すること、及び（ii）異なる場所の間で逐次的に移動する単一のカメラを用いて、前記投影特性を測定することからなるグループから選択されたステップを含む、請求項９に記載のコンピュータプログラム。
11. 計算装置に以下のステップ、即ち
    ｅ）前記画像に関して視聴者の見る／凝視方向を追跡するステップ
    を実行させることを更に含み、
    前記ステップ（ｄ）が、
    前記見る／凝視方向に基づいて、前記視点に依存するアーティファクトを低減するように各プロジェクタのレンダリングパラメータを計算するステップを更に含む、請求項９又は１０に記載のコンピュータプログラム。
12. 前記レンダリングパラメータを計算するステップが、複数の視点からの測定された輝度プロファイルを組み合わせて、視角に依存する反射率関数を形成することを含む、請求項９又は１０に記載のコンピュータプログラム。
13. 投影システムであって、
    画像フレームの合成画像を生成するために、それぞれが表示場所に画像を投影するように向きを設定された複数のプロジェクタと、
    カメラが複数の見通しの利く地点から前記表示場所の画像を取得することを可能にするように選択される複数のカメラ場所と、
    コンピュータプロセッサ及びシステムメモリを含み、前記プロジェクタに結合されたコントローラとを含み、前記コントローラが、各カメラ場所でのカメラからの画像データを受け取り、各プロジェクタの前記データにより表された投影特性を測定し、各プロジェクタについて前記複数の見通しの利く地点からの前記投影特性を共通座標系に再マッピングし、前記再マッピングされた投影特性に基づいて、各プロジェクタについて視点に依存する投影パラメータを推定し、視点に依存するアーティファクトを低減するために、前記推定された視点に依存する投影パラメータに基づいて、各プロジェクタの投影データストリームのレンダリングパラメータを計算するように構成されている、投影システム。
14. 各カメラ場所においてフィードバックカメラを更に含む、請求項１３に記載の投影システム。
15. 前記表示場所が複数の表示場所からなり、プロジェクタの別個のグループのそれぞれが、前記複数の表示場所の１つにサブ画像を投影するように向きを設定されている、請求項１３又は１４に記載の投影システム。

Images