JP5214616B2 - ３次元ディスプレイシステム - Google Patents

Description

(関連出願の相互参照)
本出願は、名称「３次元イメージング及びディスプレイシステム」で２００５年１０月２１日に出願された同時係属の米国特許出願第１１／２５５，３４８号に関連する主題を含む。本特許出願は、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ，Ｉｎｃに譲受され、整理番号Ｐ３８３０ＵＳ１で識別される。
（技術分野）
本発明は、一般的に、視覚ディスプレイシステムに関し、より具体的には、３次元ディスプレイシステムに関する。

最新の３次元（「３Ｄ」）ディスプレイ技術は、コンピュータグラフィクスだけでなく他の多様な環境及び技術においても益々普及し実用的になっている。成長しつつある実施例には、医学的診断、フライトシミュレーション、航空管制、戦場シミュレーション、気象診断、エンターテインメント、広告、教育、アニメーション、バーチャルリアリティ、ロボット、生体力学上の研究、サイエンティフィックビジュアライゼーションなどが含まれる。

この関心及び普及の増大は多くの要因に起因する。私たちの日常生活では、印刷物及びテレビの両方で合成コンピュータグラフィック画像に囲まれている。最近では家庭のパーソナルコンピュータで同様の画像を生成することができる。また、クレジットカード上のホログラム及びシリアルの箱の上のレンティキュラーディスプレイを目にすることがたびたびある。

勿論、３Ｄビューイングへの関心は新しいものではない。人々は、前世紀の変わり目に、少なくともステレオスコープの登場以来この経験を受け入れてきた。前世紀の中頃に３Ｄ映画の流行によって新しい興奮、関心、及び熱中がもたらされた後、ホログラフィーの魅力が続き、最近ではバーチャルリアリティが出現した。

最近のコンピュータ及びコンピュータグラフィクスの進歩により、空間３Ｄ画像がより実用的で利用し易くなった。対話型ディスプレイ用に十分迅速に立体画像ペアを生成するためのコンピュータ処理能力は、例えばデスクトップワークステーションにおいて存在する。ハイエンドのコンピュータ処理能力領域では、複雑な対象物データベースを対話形式で操作及び動画化できるようにする同様の技術的進歩により、高品質３Ｄディスプレイ用に大量の画像データをレンダリングできるようになる。

「３Ｄコンピュータグラフィクス」と従来的に呼ばれる３Ｄシーンの２次元投影では、多変量データの幾つかのタイプの検査、ナビゲーション、及び理解には不十分であることが認識されつつある。３Ｄレンダリングの恩恵が無いと、優れた透視描写を有する高品質画像でも現実的でなく平面的に見える。このようなアプリケーション環境では、立体視、運動視差、及び（恐らくはあまり優れていない程度までの）眼球調節の人間のデプスキューが、画像理解及びリアル感を可能にするために有意味で重要なものとして認識されつつある。

ビューイングに必要なハードウェアなどの３Ｄディスプレイ技術の他の態様では、バーチャルリアリティの広範な分野によって、より良好な立体頭部搭載及びブーム搭載ディスプレイ、並びに現実の錯覚を生じさせるのに必要なレート及び品質でシーンをレンダリングする関連のハードウェア及びソフトウェアがコンピュータ及び光学系業界にもたらされた。しかしながら、バーチャルリアリティへの試行はほとんど、現在のところ単独で且つ煩わしいものであり、ユーザは、ユーザの各々にのみ個々に３Ｄ世界を提示するヘルメット、特別なメガネ、或いは他のデバイスを着用することが多い。

このような立体ディスプレイの一般的な形式は、シャッター付き又は受動的偏光アイウェアを使用しており、観察者は、２つの表示画像の１つ、すなわち各眼に対して独占的に１つの画像をブロックするアイウェアを着用する。この実施例には受動的偏光メガネ、及び迅速に交互するシャッター付きメガネが含まれる。

これらの取り組みはほぼ成功を収めたが、観察者は一般に眼を覆って器具を装着することを好まないので、広く受け入れられてはいない。更に、これらの取り組みは実用的ではなく、１人又はそれ以上の偶然の通行人、共同制作者のグループ、或いは個別化された投影が要求される場合のような聴衆全体に３Ｄ画像を投影するには本質的に使用可能ではない。同一の投影が提示される場合でも、このような状況は、従来の自動立体ディスプレイなどの比較的開発が不十分な異なる技術を必要としてきた。

従って、ヘッドギアの排除を検討することは、観察者が特別な収容設備又はデバイスを使用又は着用する必要もなく観察者に対する立体ビューイング経験を自動的に与える自動立体ディスプレイの開発の動機付けとなった。自動立体ディスプレイは、メガネ、ゴーグル、又は他の個人的に着用される物理的ビューイング補助具を使用することなく視聴者に空間画像を提示しようとする。自動立体ディスプレイは、現実の対象物の光学的特徴への最良の経験的近似を提供するという可能性を保持しているので魅力的である。

実際に３次元で現われる画像を表示するための多くの自動立体方式が提案されてきた。現在物理的に実現可能な自動立体ディスプレイは、一般に３つの広いカテゴリー、すなわち再イメージングディスプレイ、ボリュームディスプレイ、及び視差ディスプレイに分類することができる。

再イメージングディスプレイは通常、３次元対象物から光を取り込み、空間内の新しいロケーションに再放射する。ボリュームディスプレイは、空間ボリュームをスパンし、その空間の個々の部分を照明する。視差ディスプレイは、一方向に変化する強度の光を放射する表面である。各タイプのディスプレイは、商業用ディスプレイシステムで使用されており、各々は固有の長所と短所とを有する。

より一般的なディスプレイ手法は、ボリューム型及び視差型の２つの主なカテゴリーに含まれる傾向がある。

ボリュームタイプの自動立体ディスプレイは、光を放出するか或いは光を放出しているように見える光源として働くポイントの集合をボリューム内に生成することにより３Ｄ像を生成する。これらのポイントが等方的に光を放出する場合、結果として生じる画像は、ゴースト又は透明に見える。従って、深さ方向に整列されたボリューム要素は互いにブロックしているようには認識されないので、典型的なボリュームディスプレイは真の３Ｄ照射野を作成しない。すなわち、画像はオクルージョンを表示しない。

視差タイプの自動立体ディスプレイは、内部で画像のステレオ分離を行い、これによって観察者は、付加的なアイウェアを使用することが不要になる。観察者が空間内の固定位置に留まる限り各眼に対して異なる画像を提示する、このタイプの幾つかのディスプレイシステムが開発されている。これらの多くは視差障壁法の変形形態であり、微細な垂直格子又はレンティキュラーレンズアレイがディスプレイ画面の前方に配置されている。観察者の眼が空間内の一定の位置に固定されたままである場合、各眼は、格子又はレンズアレイを通してディスプレイ画素の１つのセット（偶数又は奇数）だけを見ることができ、他のセットは見ることができない。よって、この幾何学的配置は、各眼が画像のその別個のビューを表示する画素のセットに対応する、固有のそれぞれの画像だけを確実に見ることができるようにする。視聴者のそれぞれの右眼及び左眼によって個々に見られる２つの画像ビューは、人間の視覚系が別々に見た画像を単一の３Ｄ画像として同時に解釈するように構成されている。これは、観察者がどのようなパーソナル補助器具も着用又は使用することを必要とせずに行われる。しかしながら、視差障壁法は通常、観察者が１つのロケーションに静止したままにする必要がある。更に、多くの場合、これらのディスプレイは、水平方向であるが垂直方向ではない視差を提供する２次元照射野を生成する。

自動立体ディスプレイの最新の可能性のある実際的な形態は、ホログラムである。ホログラフィック及び疑似ホログラフィックディスプレイは、視聴者に対してオリジナルの光波面を効率的に再作成又はシミュレートすることによって、多くの異なるビューを同時に提示する部分照射野を出力する。結果として生じる像は、極めてフォトリアリスティックで、オクルージョン及び他のビューポイント依存の効果（例えば反射）を示すと共に、視聴者の物理的位置には依存しない。実際に、視聴者は、動き回って画像の異なる態様を観察することができる。ホログラフィック画像はまた、多くの観察者が同じ画像を同時に見ることを可能にする潜在能力を有する。

遙かに実際的ではあるが、動的に提示されるホログラフィック画像はまた、２ビュー立体ディスプレイに一般的に必要とされるよりもかなり大きな計算処理能力及び帯域幅を必要とする。オリジナルの波面、又はその許容可能な複製をリアルタイムで商業的に許容可能なコストで動的に再作成するための有効な手段が特に必要とされている。

従って、観察者に煩わしくない完全な移動の自由を可能にする、高度に有効的で、実用的、効率的、複雑でなく、更に安価な自動立体３Ｄディスプレイに対する必要性が依然としてある。更に、垂直並びに水平移動方向の両方において真の視差経験を提供する実用的な自動立体３Ｄディスプレイに対する必要性が依然としてある。

複数の視聴者についても独立して且つ同時に対応できるような実用的な自動立体３Ｄディスプレイに対して、並行した必要性が継続的にある。各視聴者が、存在している他の視聴者のいずれか、同じビューイング環境内の全て、及び完全に自由に移動する全てによって同時に見られるものとは全く異なる可能性がある独自にカスタマイズされた自動立体３Ｄ画像を各視聴者に提供できるこうした同時ビューイングを提供するように、この必要性を実現することができる場合には特定の利点が与えられる。

更に、困難な未解決の技術的な課題を除いて特別なユーザアピールがあることに起因して、現実のホログラフィック経験を提供する実用的な自動立体３Ｄディスプレイに対して特有の必要性が引き続きある。上述のような複数の同時及び個別化されたビューイングを可能にするホログラフィック又は疑似ホログラフィックビューイングシステムについての必要性に対する解決策は驚くべきものである。

更に別の差し迫った必要性は、３Ｄユーザ入力の提供と共にビューイング経験を最適化するためのフィードバックを組み合わせ、従って、特別なビューイングゴーグル又はヘッドギアを必要とせずに３Ｄ空間における仮想３Ｄ対象物のビューイング及び操作を可能にする邪魔にならない３Ｄビューイングデバイスを目的としたものである。

増加の一途を辿る商業的競争圧力、益々高まる消費者期待、及び市場における重要な製品差別化に対する機会減少の観点から、これらの問題に対して答えを見つけることは益々重要になっている。更に、コスト抑制、効率改善、性能向上、更にこうした競争圧力への対応に対して依然として必要性が高まっていることにより、これらの問題への解決策を見つける重要な必要性が一層火急のこととなっている。

これらの問題に対する解決策は、長い間追求されてきたが、従来の成果ではどのような解決策も教示又は示唆されておらず、従って、これらの問題に対する解決策が当業者には長い間得ることができなかった。

米国特許出願第１１／２５５，３４８号公報

本発明は、予め決められた角度的応答性に優れた反射表面関数を備えた投影スクリーンを有する３次元ディスプレイシステムを提供する。３次元画像は、予め決められた角度的応答性に優れた反射表面関数と協働してそれぞれ変調されて、プログラム可能偏向角度を備えたプログラム可能ミラーを定める。

本発明の幾つかの実施形態は、上述の態様に加えて或いはその代替として、他の態様を含む。本態様は、添付図面と共に以下の詳細な説明を読むと当業者には明らかになるであろう。

本発明の実施形態による３次元ディスプレイシステムを示す機能ブロック図及び概略図である。 投影スクリーンの表面上の単一の画素を示す図である。 表面関数を有する投影スクリーンを示す図である。 投影スクリーンの表面関数の関数としてプロジェクタから観察者までの光経路を示す図である。 距離ｘの関数としての法線の角度及び適正な目標法線角度を示すグラフである。 距離ｘの関数としての変調関数を示すグラフである。 変調関数の物理的意義を示すグラフ表示である。 デジタル信号プロセッサに表示される観察者の簡略形状を示す図である。 本発明の実施形態による３次元ディスプレイシステムを示すフローチャートである。

以下の実施形態は、当業者が本発明を実施及び利用できる程十分に詳細に説明される。他の実施形態は本開示に基づいて明らかになり、本発明の範囲から逸脱することなくシステム、プロセス、又は機械的な変更を行い得る点を理解されたい。

以下の説明では、本発明を完全に理解するために多数の特定の詳細が提示される。しかしながら、本発明は、これらの特定の詳細なしに実施できることは明らかであろう。本発明を曖昧にしないために、幾つかの公知の回路、システム構成、及び動作ステップは詳細には開示されない。

同様に、本システムの実施形態を示す図面は、半図面であり且つ縮尺通りではなく、特に、寸法の一部は表示を明確にするためのものであり、各図では大幅に誇張して示されている。同様に、図面中の矢視は、説明を容易にするために一般に同じ方向を示し、各図のこの描写はほとんどの部分について任意である。一般に本発明はあらゆる向で機能することができる。

更に、複数の実施形態が共通して幾つかの機能を有して開示され説明される場合、その例証、説明、及び理解を明確且つ容易にするために、類似及び同様の特徴部は通常、互いに同じ参照符号で記述されることになる。

説明の目的のために、本明細書で使用される用語「水平」とは、観察者の方向に関係なく、観察者の眼の平面に対して平行な平面として定義される。用語「垂直」とは、上記で定義された水平に対し直角の方向を指す。「上に」、「よりも上方に」、「よりも下方に」、「底部」、「頂部」「側部」（「側壁」と同様）、「より高い」、「より低い」、「上部」、「にわたって」、及び「下に」などの用語は、水平平面を基準として定義される。

本発明は、邪魔にならず煩わしくない３Ｄ自動立体ビューイング経験と共に３Ｄヒューマンインターフェース機能をもたらす３次元（「３Ｄ」）ディスプレイシステムを提供する。観察者はヘッドギアを着用する必要はない。１つの実施形態では、本発明のシステムは、立体３Ｄディスプレイ及びビューイング経験を提供し、別の実施形態では、現実的なホログラフィック３Ｄディスプレイ経験を提供する。

本発明の幾つかの実施形態によれば、１又はそれ以上の観察者の位置もまたリアルタイムで追跡され、これによって観察者に投影される３Ｄ画像を各観察者に個々に連続してカスタマイズすることができるようになる。また、観察者のリアルタイム位置追跡により、現実的な垂直並びに水平視差を有する３Ｄ画像が可能になる。更に、各３Ｄ画像は、観察者の個々に変化するビューイング位置に応じて調節することができ、これによって、個人毎にカスタマイズされ個別化された３Ｄ画像を動的且つ変化し易い環境で見ることができるようにする。更に、位置的追跡及び位置的応答性に優れた画像調節により、真のホログラフィックビューイング経験の合成が可能になる。

従って、本発明の実施形態によれば、例えば以下の構成単位を含む自動立体ディスプレイシステムが開示される。
・アナログミラー、ポリゴンスキャナ又は類似のデバイス、及びドライバ回路を含む２次元（「２Ｄ」）プロジェクタ；
・３Ｄ撮像装置（２Ｄプロジェクタの一部とすることができる）；
・表面関数を有する投影スクリーン；
・ディスプレイインターフェース；
・デジタル信号プロセッサ（「ＤＳＰ」）；
・３Ｄレンダリング機能を備えたホスト中央処理装置（「ＣＰＵ」）；

これら及び他の関連の構成単位及び構成要素は、独立型要素として構成することができ、或いは当該特定の実装の必要に応じて又はこれに適切な１又はそれ以上の組立体の形で共に組み合わせることができる点は理解されるであろう。

ここで図１を参照すると、本発明の実施形態による３次元（「３Ｄ」）ディスプレイシステム１００の機能ブロック図及び概略図が示されている。ホストＣＰＵ１０２は、従来理解されているように、オペレーティングシステム（「ＯＳ」）１０４、３Ｄ／立体レンダリングエンジン１０６、グラフィクカード１０８、及び他のコンポーネント（図示せず）を含む。

３Ｄ／立体レンダリングエンジン１０６は、以下に更に説明されるように３Ｄ画像（例えば、立体又は疑似ホログラフィック）をレンダリングし、当該特定の実装に従って、ファームウェア、ソフトウェア、又はハードウェアで実装することができる。従って、３Ｄ／立体レンダリングエンジン１０６は、グラフィクカード１０８などのグラフィクカードの一部、グラフィクスチップの一部、グラフィクスチップのグラフィクスプロセッサユニット（「ＧＰＵ」）上で実行されるコード、特定用途向け集積回路（「ＡＳＩＣ」）、ホストＣＰＵ１０２上で実行される特定のコードなどとすることができる。実装の選択は、本開示及び当該特定の実装の関連する特徴に基づいて当業者には明らかになるであろう。

３Ｄ／立体レンダリングエンジン１０６によってレンダリングされた３Ｄ画像は、デジタルビデオインターフェース（「ＤＶＩ」）規格に基づく相互接続のような、好適な相互接続を介して３Ｄ／立体ディスプレイ１１０に送られる。相互接続は、無線（例えば、８０２．１１ｘＷｉ−Ｆｉ規格、超広帯域（「ＵＷＢ」）、又は他の好適なプロトコルを使用したもの）、或いは有線（例えば、アナログ形式、或いは遷移時間最短差動信号伝送方式（「ＴＭＤＳ」）又は低電圧差動信号方式（「ＬＶＤＳ」）などによってデジタルで送信される）のいずれかとすることができる。

３Ｄ／立体ディスプレイ１１０内部のディスプレイインターフェース及び画像スプリッタ１１２は、３Ｄ／立体レンダリングエンジン１０６からの３Ｄ画像を２つの３Ｄ副像、すなわち左副像１１４と右副像１１６とに分割する。左及び右副像１１４及び１１６は、それぞれの画像変調器１１８及び１２０において変調されて（ターンオン及びオフを含む）、図２に示されるように、プロジェクタ１２２による左及び右副像１１４及び１１６それぞれの観察者の左眼及び右眼２０８及び２１０への光投影を可能にし且つ制御する。次いで観察者の脳は、２つの投影された光副像１１４及び１１６を３Ｄ画像に結合し、観察者に３Ｄビューイング経験を提供する。

観察者のそれぞれの左眼及び右眼への偏向は、本発明の実施形態による投影スクリーン１２４を使用して達成される。投影スクリーン１２４は、本発明に従って本明細書に開示され教示されるように、適切に変調された画像データと共に、プログラム可能偏向角度を有するプログラム可能ミラーであるミラーデバイス１２６を形成する。大まかに言えば、この組み合わせは、それぞれの眼の空間ロケーションの関数として観察者の特定の左眼及び右眼に投影スクリーンから光を反射させるように動作するので、投影スクリーンを空間フィルタであるプログラム可能ミラーとして構成し、そうでなければ光がフィルタ除去されたかのように光を反射しない。

従って、本明細書で広く使用される用語「プログラム可能ミラー」とは、本明細書に開示されるように、投影スクリーン１２４とこれに投影されて且つここから反射される変調画像データとが、投影画像の単一の画素のロケーションのような投影スクリーン１２４上の特定の限定ロケーションにおいてプログラム可能に変更することができる偏向角度を有することを意味するように定義される。更に一般的には、「プログラム可能ミラー」とは、偏向角度が、投影スクリーン１２４全体と同じ程度の反射ポイント（例えば画素）の各々において個々にプログラム可能に制御及び変更できることを意味するよう定義される。従って、この定義により、投影スクリーン１２４は、固定の偏向角度を持たない。むしろ、偏向角度（例えば、観察者の左眼２０８に対する角度と、観察者の右眼２１０に対する角度）は、必要に応じて変更するようリアルタイムでプログラムし、観察者の眼の位置の変化（例えば、頭の傾き、頭部位置、観察者位置などの変化に起因するもの）に追従することができる。

３Ｄ撮像装置１３０と共にデジタル信号プロセッサ（「ＤＳＰ」）１２８を用いて、投影スクリーン１２４に対する観察者１３２（すなわちユーザ）の正確なロケーションを決定する。投影スクリーン１２４に対する観察者の頭部位置、頭の傾き、及び眼の離隔距離など、観察者１３２に関する特徴はまた、ＤＳＰ１２８及び３Ｄ撮像装置１３０によって決定付けられる。これらの決定に基づいて、画像変調器１１８及び１２０の変調関数及び／又はプロジェクタ１２２の偏向角度に対して適切な変更が行われ、ミラーデバイス１２６のプログラム可能偏向角度を変えて、観察者１３２に３Ｄゴーグル又は他の邪魔なビューイング手段を必要とせずに最良の３Ｄビューイング経験を提供する。

３Ｄ撮像装置１３０は、当業者には理解されるように、各観察者１３２の位置及び特徴を位置付けて決定付ける何らかの好適なスキャナ又は他の公知のデバイスとすることができる。このような特徴は、例えば、観察者１３２の身長、頭の方向（回転及び傾き）、腕及び手の位置などを含むことができる。１つの実施形態では、３Ｄ撮像装置は、プロジェクタ１２２によって投影され、以下に更に説明されるようにこの目的において投影スクリーン１２４から反射される光を利用することになる。特に有効且つ費用対効果の高い３Ｄ撮像装置は、例えば、２００５年１０月２１日出願の本発明の譲受人に譲渡された同時係属の米国特許出願第１１／２５５，３４８号の教示を利用することによって任意選択的に実施することができる。

幾つかの実施形態では、３Ｄ撮像装置１３０は、プロジェクタ１２２の不可欠の部分として構成することができる。例えば、プロジェクタ１２２は、観察者１３２並びに投影スクリーン１２４を制御可能に直接照明するよう構成することができる。次いで、適切に位置付けられた光センサ１３４は、観察者１３２から反射される照明光をピックアップするように位置付けられる。３Ｄ撮像装置１３０（又は説明するように任意選択的にプロジェクタ１２２）が、公知の予め決められた角度及び高さで照明光を制御可能に投影するので、光センサ１３４は、例えば、好適な全方向性光センサとすることができる。次いで、観察者１３２の位置は、３Ｄ撮像装置１３０からの投影された照明光の角度及び高度によって、及び３Ｄ撮像装置１３０から光センサ１３４までの照明光の測定された飛行時間（「ＴＯＦ」）から特定することができる。また、光センサ１３４は、例証を容易にする目的で別個のユニットとして示されているが、代替的に、例えば３Ｄ撮像装置１３０などの他のシステムコンポーネントのいずれかに組み込むことができる。同様に、３Ｄ撮像装置１３０及び／又は光センサ１３４は、有利には、プロジェクタ１２２に組み込み及び／又は統合することができ、任意選択的にその共通のコンポーネントを相互に共有する。

３Ｄ撮像装置１３０及び光センサ１３４はまた、観察者入力の手段を提供することができる。例えば、観察者１３２が位置付けられる投影スクリーン１２４の前方のボリュームは、投影スクリーン１２４上に３Ｄディスプレイとしてエコーされる仮想ディスプレイボリューム１３６として３Ｄディスプレイシステム１００により構成することができる。次に、仮想ディスプレイボリューム１３６は、観察者入力用に使用することができる。１つの実施形態では、観察者１３２は、例えばボタンの３Ｄ表示を作動させて、仮想アクティブデスクトップ（図示せず）上に幾つかの特徴をアクティブにすることができる。このようなアクティブデスクトップは、仮想ディスプレイボリューム１３６において仮想的に表示され、投影スクリーン１２４上の３Ｄ投影により、観察者１３２がすぐ近くに近接して仮想ディスプレイボリューム１３６内に３Ｄ画像として観察者１３２に表示されることになる。本開示の観点で当業者によって理解されるように、他のヒューマンインターフェース動作も同様に可能である。

ここで図２を参照すると、投影スクリーン１２４（図１）の表面上に単一の画素２０２の描写２００が示されている。プロジェクタ１２２から投影スクリーン１２４上の画素２０２に進み、次いで観察者の左眼及び右眼２０８及び２１０それぞれに戻る経路をたどる左及び右光ビーム２０４及び２０６が示されている。観察者の左眼２０８に入射している左光ビーム２０４は、画素ロケーションＸ_Lでの投影光の反射であり、観察者の右眼２１０に入射している右光ビーム２０６は、画素ロケーションＸ_Rでの投影光の反射である。１つの実施形態では、画素表面は、磨かれた銀又はアルミニウムなどの反射材料で処理されている。

この実施形態においてはドーム形の各画素２０２において、投影光ビーム２０４及び２０６がそれぞれ、反射して観察者のそれぞれの左眼及び右眼２０８及び２１０に入る、１つのロケーションＸ_L及び１つのロケーションＸ_Rが厳密に存在する。これは、プロジェクタ１２２からの照明光ビームの入射角が、入射光ビームが反射されたポイントでの画素２０２表面の法線２１２に対する反射角度に等しい理由による。（法線２１２は、入射光ビームが反射されるポイントでの画素２０２の表面に直角な線である。）反射の当該ロケーション又はポイント（例えば、Ｘ_L又はＸ_R）において、画素２０２の小部分だけが、観察者の対応する左眼２０８又は右眼２１０に向けて光を反射させている。画素２０２の他のいずれかの部分に衝突するプロジェクタからの光は、観察者のその特定の眼以外の他の場所に反射されることになる。

従って、法線２１２が画素２０２の表面のスロープに直角であり、スロープは画素２０２全体にわたって一定ではないので、理想的には唯一のロケーションである各Ｘ_L及びＸ_Rそれぞれが存在し、ここで光が観察者１３２の対応する左眼２０８及び右眼２１０に反射される。観察者１３２が別の位置に移動する場合、反射の新しいロケーション又はポイントＸ_L及びＸ_Rは、観察者の眼に光が適切に反射され続けるようにする必要がある。同様に、更に他の位置での別の観察者は各々、画素２０２上の固有の反射ロケーションＸ_L及びＸ_Rを必要とすることになる。

従って、プロジェクタ１２２が投影スクリーン１２４（図１）をスキャンしたときに左及び右の光ビーム２０４及び２０６を適切に変調する（ターンオン及びオフする）ことによって、固有の画像をプロジェクタ１２２により観察者１３２の左眼及び右眼２０８及び２１０にそれぞれ送ることができる。これは、例えばプロジェクタ１２２が固有のロケーションＸ_Lに向けて投影しているその瞬間に投影スクリーン１２４上の各画素２０２に左眼の画像情報を投影し、プロジェクタ１２２が固有のロケーションＸ_Rに向けて投影しているその瞬間に右眼の画像情報を投影することによって達成することができる。

このようにして使用される場合、投影スクリーン１２４は、プログラム可能偏向角度を有するプログラム可能ミラーデバイスとして機能し且つ該デバイスとなる。すなわち、特定のそれぞれの偏向角度（例えば、観察者１３２のそれぞれの左眼及び右眼２０８及び２１０に投影する角度）に関連付けられた固有の画素ロケーションＸ_L及びＸ_Rに投影するようプロジェクタ１２２をプログラムすることによって、投影スクリーン１２４の偏向角度は、このプログラミングに従って固有に選択及び制御される。よって、投影スクリーン１２４（その構成に依存する）は、全方向性反射表面（例えば）からプログラム可能偏向角度を有するプログラム可能ミラーデバイスに変換される。

以下に図示され説明されるように、１つの実施形態では、投影スクリーン１２４に対して正弦表面関数を選択することが有用である。本明細書で使用される用語「正弦表面関数」とは、投影スクリーン１２４の少なくとも１つの軸に沿った変位の関数として正弦的に変化する投影スクリーン１２４上の表面トポグラフィーとして定義される。

次に図３を参照すると、表面関数３０２を有する投影スクリーン１２４の描写３００が示されている。この実施形態での表面関数３０２は、正弦表面関数であり、表面トポロジーは、図３に全体的に示されるように正弦的に変化し、入射光ビーム３０４に対して常に変化している既知の予測可能な偏向角度δ₀を表す。従って、投影スクリーン１２４の平面３０８に対して測定された反射光ビーム３０６の偏向角度δ₀は、投影スクリーン１２４上のロケーション又は座標の正弦関数である。描写３００では、投影スクリーン１２４の関連する法線２１２が、水平変位の関数ｘとして示されており、同様にｘと共に正弦的に変化する。

この実施形態での表面関数３０２は正弦波として描かれているが、より一般的な意味の表面関数３０２は、公知の又は明確に定義されている限りあらゆる適切な関数とすることができる点は理解されるであろう。以下でより詳細に説明されるように、表面関数３０２は、予め決められた（すなわち、公知の及び明確に定義された）、反射型（すなわち、その上に衝突する光を反射する）の、及び角度応答性に優れた関数として定義される。角度的応答性は、光の実際の衝突角度が一定のままである場合でも、衝突光が反射される角度は、衝突光が向けられる表面関数上のロケーション（すなわち、関数として）に応じて変化する（すなわち、一定ではない）ことを意味するように定義される。光の反射角度は、従って、光が照準とする又は配向されるロケーションに既知の予測可能な方法で応答する（「角度的に応答する」）。従って、投影スクリーン１２４は、予め決められた角度的応答性に優れた反射表面関数を定義する空間フィルタ（表面関数３０２）を有する。

周期的表面関数及び滑らかなスロープ変動（例えば、曲線トポグラフィー）を有する表面関数が好ましいが、関数が明確に定義されている限り、のこぎり歯関数、三角関数、不規則関数、非調波関数、又はいずれかの好適な任意関数を有することが可能である。投影スクリーン１２４をスキャンして、結果として生じる反射を例えば相関テーブルにマップすることによって、数学的に明確に定義することができ、或いは操作上明確に定義することができる。

続いて図３を参照し、次いで図４を参照すると、ｘの関数としての反射光ビーム３０６の偏向角度δ₀を以下のように求めることができる。

投影スクリーン１２４の表面関数３０２は、次のように投影スクリーン１２４の厚み（従って表面高度）ｚ（ｘ）をスクリーン表面３１０に沿った水平変位ｘ（表面関数３０２を具体化する）に関連付ける。

（式１）
上式で、
Ｚ₀は、投影スクリーン１２４のＺ_OFF（「Ｚ−Ｏｆｆｓｅｔ」）と最大厚み（Ｚ_OFF＋Ｚ₀）との間の差（従って、Ｚ₀は本質的に表面関数の振幅）であり；
Ｚ_OFFは、投影スクリーン１２４の平均厚み；
Ｚ（ｘ）は、ロケーションｘでの投影スクリーン１２４の厚み；
λｐは、１つの画素２０２（図２）の長さである（従って、λｐは、表面関数の１つの完全な周期を表す正弦波の３６０°の１サイクルである）。

ｘの関数として接線又はスロープ３１２を計算するために、（式１）は、ｘに対して微分される：

（式２）

次いで、角度β^*が計算される。

（式３）

角度βは、投影スクリーン１２４の平面３０８に対する法線２１２の角度である。位置ｘの関数として法線２１２の角度βを得るため、βを次式のように計算することができる。

（式４）

ここで図４を参照すると、投影スクリーン１２４の表面関数３０２の関数として、プロジェクタ１２２から観察者１３２までの光経路４０２（入射光ビーム３０４と反射光ビーム３０６とから成る）の描写４００が示されている。

角度δｐ及びδ₀は次式のように計算することができる。

（式５）
及び

（式６）

式５及び６を用いると、ｘ軸に対する法線の角度を計算できる。角度δ_OPはδ_Pとδ_Oとの間の正確に中点であるので、ｘの関数としての法線は次式のようになる。

（式７）

δ_OP（式７）とβ（ｘ）（式４）の関数が交わるロケーションは、以下のＭＡＴＬＡＢ（登録商標）（マサチューセッツ州Ｎａｔｉｃｋ所在のＭａｔｈＷｏｒｋｓ）スクリプトで示される変調関数を与える。

投影スクリーン１２４のサイズ、画素２０２、投影距離、ビューイング距離などは、当該特定の利用に依存することになるが、上記のＭＡＴＬＡＢ（登録商標）スクリプトのパラメータは、１つのこのような実施形態を表している。この実施形態では、プロジェクタ１２２は、投影スクリーン１２４から５００ｍｍ且つ表示された画像（図示せず）の左端から２５０ｍｍ離れ、表示された画像は５００ｍｍの幅があり、観察者は、投影スクリーン１２４から５００ｍｍ及び表示された画像の左端から１２５ｍｍ離れ、画素２０２は、１ｍｍの深さと２５ｍｍの間隔を有する。

ＭＡＴＬＡＢ（登録商標）スクリプトの上の序文には、δ_OP（ｘ）（式７）とβ（ｘ）（式４）の関数が交わるロケーションが、以下に説明される変調関数を提供すると記載されている。

ここで図５を参照すると、ｘの関数として法線２１２（図３）の角度であるβ（ｘ）の曲線５０２を示すグラフ５００が図示されている。

また図５に示されるのは、δ_OP（ｘ）の曲線５０４（基本的にはこの実施形態では直線）である。曲線５０４は、δ_OPが距離ｘの関数として漸次的に変化することを示している。δ_OP（ｘ）は、距離ｘの関数として反射ビーム３０６を観察者１３２の眼に照準するように適正な法線２１２（図４）の角度に対応すると考えられる。（図４を参照のこと）。

ここで図６を参照すると、距離ｘの関数として変調関数６０２のグラフ６００が示されている。変調関数６０２は、β（ｘ）とδ_OP（ｘ）の交点（図５に示される）で１の値を有し、他は０の値を有する。観察者の左眼に対する変調関数と観察者の右眼に対する変調関数とが存在する。変調関数は、入射ビーム３０４（図４）のそれぞれの正確な角度δ_P（例えば、変調関数値＝１）でプロジェクタ１２２をターンオンさせるのに用いられ、該角度で投影スクリーン１２４の表面関数３０２上（例えば、図２に示されるようなロケーションＸ_L及びＸ_Rで）に衝突して、入射ビームを観察者１３２のそれぞれの左眼及び右眼２０８及び２１０に直接反射させる。すなわち、各左又は右変調関数は、対応する左又は右眼のみに到達する適正な瞬間にそれぞれの左又は右像の投影を制御しターンオンする。あるときには、プロジェクタ１２２はオフであり（例えば、変調関数値＝０）、投影は行われず、観察者の眼に到達することを狙っていないときに投影ビーム（すなわち、入射ビーム３０４）をマスキング又はゲートアウトする。

勿論、適正な反射ポイント（例えば、Ｘ_L及びＸ_R）を照準にしていない場合には観察者の眼に直接反射されないので、投影ビーム（例えば、入射ビーム３０４）は、説明されたように必ずしもマスクアウトする必要がないことは理解されるであろう。しかしながら、商業的に実用性のある反射表面は完全ではなく、反射は通常、鏡面であるがある程度の拡散反射を示すので、マスキングすることが好ましい。投影ビームが説明された適正な反射ポイント以外のロケーションに衝突する場合には、このような拡散反射は画像品質を劣化させる可能性がある。

同様の考察は、入射ビーム３０４が、適正な反射ポイントＸ_LＸ_R間の距離よりも小さい幅を有するだけでなく、公称上当該距離の１／２を超えないような、かなり小さいことが好ましいことを示唆している。

ここで図７を参照すると、図６に示される変調関数６０２の物理的意義を示すグラフ表現７００が示されている。具体的には図７は、変調関数６０２と投影スクリーン１２４の表面関数３０２との関係、及びプロジェクタ１２２からの入射光ビーム３０４(図４)の結果として得られる制御及び同期される伝送及び抑制を示す。

１つの実施形態では、入射光ビーム３０４は、投影スクリーン１２４の表面全体にわたって周期的に掃引される。入射光ビーム３０４の周期的掃引によって、投影スクリーン１２４の表面全体が掃引されると、その経路が、時間の経過と共に規則的に（すなわち周期的に）変化するようになる。従って、入射光ビーム３０４の位置又は変位（ｘ、ｙ）は時間ｔの関数である（説明を簡単にするために、ｙは示されていない）。

これに伴い、図７は、投影スクリーン１２４全体にわたってスキャンしたときに、時間ｔを入射光ビーム３０４の物理的な移動又は変位ｘに関係付ける。ｔとｘとの間のこの相関関係によって、観察者１３２に投影される画像における単一の画素は、表面関数３０２の１つの画素に関係付けることができる。次いで、画像を変調関数６０２で適正に変調することによって、画素の特定の部分をマップアウトし、該特定部分をその近傍で所望の反射が観察者１３２の選択された眼に対して起こる特定の法線２１２に関係付けることが可能である。１つの実施形態では、入射光ビーム３０４は、入射光ビーム３０４が投影スクリーン１２４の表面全体にわたり周期的に掃引するときに、これに応じて変調関数６０２によってスイッチオン及びオフにされる。結果として、正確なそれぞれの３Ｄ画像情報が観察者１３２の左眼及び右眼２０８及び２１０（図２）に投影されるようになる。

代表的な画像データ信号を描いた画像データ信号７０２が図７の上部に示されている。画像データ信号７０２は、例えば、左副像１１４（図１）用の成分７０２Ｌと、右副像１１６用の成分７０２Ｒとを含むことができる。対応する画像変調器１１８及び１２０は、左及び右副像１１４及び１１６を変調して、変調関数６０２が１の値を有するときには常にそれぞれの画像データ信号７０２（すなわち、７０２Ｌ及び７０２Ｒ）をプロジェクタ１２２にわたすように変調関数６０２によって制御される。同様に、変調関数６０２が０の値を有する場合、信号はプロジェクタ１２２にわたされない。これにより、入射ビーム３０４の角度が適正である正確な瞬間にだけ、画像データ信号７０２をプロジェクタ１２２による投影に対して表面関数３０２と協働して変調して、それぞれの別個の光経路４０２を定義し、該経路は、画像データ７０２及びそこにある左及び右副像（７０２Ｌ及び７０２Ｒによって表される１１４及び１１６）をそれぞれ空間的に配向して、投影スクリーン１２４から観察者１３２のそれぞれの左眼及び右眼２０８及び２１０のロケーションに個々に且つ実質的に独占的に反射するようにさせる。画像データ信号７０２の投影部分は、変調関数６０２によって調整されたときに、これに応じて投影部分７０４Ｌ及び７０４Ｒとして図７に示される。

図７の一番下には、投影スクリーン１２４の表面関数３０２の対応する部分が示されている。ｘ、ｔ、変調関数６０２、及び観察者の左眼２０８に対する対応する法線２１２Ｌと観察者の右眼２１０に対する法線２１２Ｒとの間の関係が表されている。上記で説明されたように、各法線２１２は相関性があり、これによって入射光ビーム３０４を観察者のそれぞれの左眼及び右眼に反射するための適正な角度及び投影ターゲットのロケーションを指定する。説明されるように、変調関数６０２が変調関数値１によってプロジェクタ１２２をスイッチ「オン」にするのは、これらのロケーション（ｘ）及び対応する時間（ｔ）においてである。

従って、変調関数６０２で画像データ７０２を適正に変調することによって、左眼２０８及び右眼２１０に対するそれぞれの空間反射が作成される。角度的応答性に優れた反射表面関数３０２と協働して、左及び右副像１１４及び１１６をそれぞれ角度及び強度変調することによって、プログラム可能偏向角度を備えたプログラム可能ミラー１２６が設けられて定義される。

同様に、以下で更に説明されるように、３Ｄディスプレイシステム１００は、イメージング目的で空間反射を生成することができる。入射光ビーム３０４又は反射光ビーム３０６を用いて、対象物をイメージングすることができる。更に具体的には、これらのビームを用いて、所与の偏向角度に対する所与の対象物の距離を決定することができる。この特定のモードでは、３Ｄディスプレイシステム１００は、その視野をイメージングし、デバイスの視野におけるスキャンビームの垂直及び水平変位の関数として対象物の距離を表すマップを作成する。１つの実施形態では、例えば、ビームがプロジェクタ１２２を離れた後、ビームは、プログラム可能ミラー１２６によって対象物（例えば、観察者１３２）上に偏向され、次いで対象物から光センサ１３４内に入る。変調された光ビームの経路遅延に基づいて、ＤＳＰ１２８は、光ビームが移動した距離、従って、特定の対象物がスキャンされた距離を計算することができる。この特徴により、観察者１３２に最良の可能な立体ビューイング経験を与えるための最適偏向角度の計算が可能になる。

本開示に基づいて、変調関数６０２が画像データ７０２の変調に限定されないことは理解されるであろう。変調関数６０２はまた、水平及び／又は垂直方向におけるスキャンビーム（例えば、入射光ビーム３０４）のスキャン速度を変調するのにも使用することができる。１つの実施形態では、例えばこのような実装は、プロジェクタを連続的に「オン」に維持して、当該画素ロケーションと選択され目標とされる観察者の眼との間でその瞬間に投影される対応する画素に対する各それぞれの法線２１２ロケーションに直接入射光ビーム３０４を単に「ジャンプ」させる。

更に、変調関数６０２は、投影スクリーン１２４を一定の速度でスキャンしたときに適切な目標偏向角度δ_Oになるように投影スクリーン１２４の表面上に符号化することができる点は、理解されるであろう。これは、例えば、観察者１３２がほとんど固定ロケーションにいる状態の場合に有利となる。このような特定の状況では、スキャンビームは連続して続けることができる。

本発明の開示に従って上記で示されたように、プログラム可能偏向角度δ_Oを備えたミラーは、本発明の開示に従って変調された投影画像ビームと組み合わせて本明細書で開示されるように投影スクリーンを構成することで提供することができる。

図１に関連して上述されたように、システム１００は、観察者１３２などの物理的対象物によって反射された光を評価するピックアップセンサ（３Ｄ撮像装置１３０及び光センサ１３４（図１）など）を組み込むことによって、１又はそれ以上の既存の対象物又は観察者をイメージングするのに使用することができる。これにより、当該対象物の位置及び形状の特徴を決定することが可能になる。特定の特徴を決定することは、例えば、公知の画像認識技術を使用して容易に行うことができる。これにより、システム１００は、例えば、観察者の頭の左側を左眼２０８に対する左偏向角度に関連付け、観察者の頭の右側を右眼２１０に対する右偏向角度に関連付けることが可能になる。

観察者１３２に対して、左及び右像に対して投影される光ビームの適正な偏向角度δ_Oを調節して、観察者のそれぞれの左眼及び右眼２０８及び２１０に左及び右像が確実に達するようにするために、このような位置及び形状特徴が必要とされることは理解されるであろう。観察者の位置及び形状特徴を決定するためのこのようなイメージング機能は、システム１００におけるフィードバック機構（例えば、３Ｄ撮像装置１３０及び光センサ１３４）を形成し、これにより観察者が投影スクリーン１２４の近傍で移動することができ、システム１００がこうした移動に対応して、観察者を連続的に追跡し追従することができるようになる。言い換えると、観察者の移動を追跡してフィードバックを提供し、観察者が移動し位置を変えるにつれて観察者の左眼及び右眼に３Ｄ画像を正確且つ直接的に配向し続けるよう、適切なリアルタイム調節ができるようにする。

また、このようなフィードバックを用いて、頭の方向（回転及び傾き）、腕、手、及び指の位置などの観察者の特徴を定義し追跡することができ、その結果、種々の観察者作動による制御入力に対してのシステム入力を提供するフィードバックとして、これらの特徴を解釈することができる。次いで、これらの制御入力を用いて、３Ｄディスプレイシステム１００のオペレーションを制御し、仮想ディスプレイボリューム１３６などにおける仮想対象物を制御及び／又は操作することができる。

例えば、３Ｄディスプレイシステム１００は、仮想ディスプレイボリューム１３６内で観察者１３２に対し邪魔にならない３Ｄ仮想デスクトップ（図示せず）を提示することができる。その結果、観察者１３２は、仮想対象物が実際に存在する（存在するように見える）かのように仮想ディスプレイボリューム１３６に手を伸ばし、仮想対象物を「把持」し、「プッシュ」し、或いは操作することによって、デスクトップ内の対象物を操作することができる。仮想対象物の操作は、フィードバック機構が仮想対象物のロケーションにおいて指の動きのような観察者の動きを認識し、これに応答して仮想対象物のディスプレイを再構成することに起因して生じる。

従って、更に一般的には、仮想ディスプレイボリューム１３６は、３Ｄ対話のための仮想ボリュームとして機能する。このような３Ｄ対話及びユーザインターフェース（「ＵＩ」）は、３Ｄ立体投影及びビューイング、又は３Ｄホログラフィック（或いは、以下に更に説明されるような疑似ホログラフィック）投影及びビューイングと併用することができる。

１つの検出及びフィードバック実施形態では、例えば、光センサ１３４による検出のためにプロジェクタ１２２からの光で観察者１３２を照明する場合、プロジェクタ１２２によって投影された各画像フレームは、次の３つのサブフレームに分割することができる。
・観察者１３２の左眼２０８（図２）に対して指定された３Ｄ立体画像の左３Ｄ副像（すなわち左副像１１４）のフレームである、投影左像サブフレーム；
・観察者１３２の右眼２１０に対して指定された３Ｄ立体画像の右３Ｄ副像（すなわち、右副像１１６）のフレームである投影右像サブフレーム；
・観察者の実際のロケーション及び方向を決定し位置特定するために観察者１３２を照明するフレームである投影スキャン画像サブフレーム。

このような実施形態では、スキャン画像サブフレームの投影は、左及び右３Ｄ副像の投影に協働して行われる。

スキャン画像サブフレームを用いて、観察者が追跡されている目標エリア全体を掃引することができ、或いは観察者の一般の位置が既知である場合、スキャン画像サブフレーム中の投影ビームは、より具体的にその既知の一般の位置に配向されて観察者１３２を照明することができる。或いは、観察者１３２は、投影スクリーン１２４からの光を観察者に反射させることによって間接的に照明することができる。次いで観察者１３２からの反射された光を用いて、観察者１３２の３Ｄプロフィールを作成し、観察者１３２と投影スクリーン１２４との間の関連性を定義することができる。この関連性は、例えば観察者と投影スクリーン間の距離ｚ、及び距離ｚの投影スクリーン１２４の平面に平行な対応するｘ、ｙ平面における種々の観察者特徴のｘ、ｙ、ｚロケーション（眼のロケーションなど）として定義することができる。スキャン画像サブフレームの数及びレートは固定とすることができ、或いは観察者１３２の動きの程度及び速度に応じて及び応答して適応させることができる。

前述のように、投影スクリーン１２４の近傍の既存の対象物及び／又は観察者のイメージングは、プロジェクタ１２２によって、或いは３Ｄ撮像装置１３０などの別の撮像装置によって提供することができ、光センサ１３４をこれに組み込むことができ、或いはこれとは別個に配置してもよい。

ここで図８を参照すると、公知のように好適な画像認識法を使用する３Ｄ撮像装置１３０によってイメージングされた後、観察者の形状がＤＳＰ１２８（図１）に表示できるように簡略化された観察者１３２の形状８００が示されている。ＤＳＰ１２８における好適な画像認識は、観察者１３２の左及び右肩８０２及び８０４を識別する。また、観察者の頭部の左側及び右側８０６及び８０８は、観察者の左眼及び右眼２０８及び２１０の対応するロケーションを有するものとして識別される（３Ｄ撮像装置１３０に可視でない場合、左及び右側８０６及び８０８のような、他の頭部特徴の識別ロケーションから補間することによって識別することができる）。眼の位置の補間を可能にする好適なデータ及び手順は、例えばＤＳＰ１２８を用いて記憶することができる。

図８は、上述のｘ、ｙ、及びｚ軸に関係付ける観察者の簡略化された形状８００を示す。これに関して、観察者１３２は、観察者の背後に３Ｄ撮像装置１３０があり、投影スクリーン１２４（図１を参照）と近接した状態で投影スクリーン１２４（図８に示されていない）に向き合っているものとして認識される。

このようにして利用された場合、イメージングされた観察者１３２の簡略形状８００を用いて、観察者の頭の左及び右側８０６及び８０８の正確なロケーションを決定して、観察者の左眼及び右眼２０８及び２１０の位置を適正に決定（例えば、補間）する。眼の位置情報をシステム１００によって使用して、決定された（補間された）眼の位置に観察者の左眼及び右眼２０８及び２１０が到達するように、左及び右像の偏向角度δ_Oがそれぞれ適正に調節される。更に、観察者１３２が動くと、システム１００はこの動きを追跡し、観察者の眼のロケーションの動きを追跡し、更に新しい眼の位置を正確に決定（補間）して、追跡された動きに応じて左及び右副像を調節する。以下に更に説明されるように、追跡された動きに応じて左及び右副像を調節することにより、ホログラムに似た像を生成することができる。

本明細書の開示に基づいて、本発明が全体として３Ｄディスプレイシステム１００を一度に使用する複数の観察者に同時に対応できることは、当業者により更に評価され理解されるであろう。このような複数の観察者が存在するときには、３Ｄ撮像装置１３０又は他のスキャンシステム（前述のようなもの）は、複数の観察者の各々の個々の形状及びロケーションを連続して同時に検出し定義する。次いで、変調関数６０２及び画像データ信号７０２は、複数のユーザの各々のロケーション及び方向を追跡するよう適切に修正され、各個々の観察者に関係付けられた適切な固有且つ個々の画像データストリーム及び空間反射を可能にし且つ制御する。このようにして、固有且つ個人的３Ｄ視覚経験を各個々の観察者に同時に提供することが容易に可能であり、各視覚経験（すなわち、投影された画像）は、必要に応じて他者と同じか又は異なるよう選択的である。

更に、観察者と非観察者とを区別するために画像認識を実施することができ、これによって、例えばこれに応じて区別できるようになる幾つかの予め決められた定義特徴を有する所望の目標（すなわち、存在する実際の観察者）にだけ像が投影されるようになる。

更にまた、個々の観察者１３２は個々に区別、検出、及び追跡できるだけでなく、独特の個別特徴（例えば、身長、肩幅、独特な輪郭その他）に基づいて固有に識別することができる。個人化された観察者の選好は記憶され、このような各観察者に関連付けられる。次に、例えば３Ｄディスプレイシステム１００の環境に入ると、本システムは、これらの観察者１３２を認識し、固有の選好及びこれに関連付けられたパラメータに従って当該観察者の経験をカスタマイズする。実施例は、観察者の自動認証、観察者の到着時の個人的挨拶、当該観察者だけにカスタマイズされたデスクトップを提供すること、当該観察者に対しカスタマイズされた制御応答（例えば、頭の動きへの応答）を提供すること、以前停止した３Ｄディスプレイを再開することなどを含む。

本発明の有益且つ有利な特徴は、自動的アラインメント（「自動アラインメント」）である。本発明の自動アラインメント機能は、プロジェクタ１２２、３Ｄ撮像装置１３０（プロジェクタ１２２と分離されている場合）、投影スクリーン１２４、及び観察者１３２の間の自動適正アラインメントを可能にする。１つの実施形態では、自動アラインメント機能は、３Ｄ撮像装置及び光センサがプロジェクタ１２２に組み込まれている場合にはプロジェクタ１２２をセンサとして利用する。別の実施形態では、自動アラインメント機能は、３Ｄ撮像装置１３０及び／又は光センサ１３４のような別個の３Ｄ撮像装置及びセンサを利用する。

自動アラインメント及び較正機能によって、ＤＳＰ１２８及び３Ｄ撮像装置１３０のような３Ｄ撮像装置は、観察者のロケーションを決定するだけでなく、投影スクリーン１２４のロケーションも決定する。これは、観察者１３２のスキャンに類似して投影スクリーン１２４をスキャンすることによって達成される。このようなスキャンは、投影スクリーン１２４、観察者１３２、及びプロジェクタ１２２の正確な相対位置及び寸法を決定する。次にＤＳＰ１２８は、このような自動較正によって決定された更新及び現在のスクリーン位置及び／又は座標に従って変調関数６０２を適切に調節する（較正又は再較正する）。要求され又は必要とされる場合には、自動アラインメント較正を定期的に繰り返し、投影スクリーン１２４又は他のコンポーネントのロケーションが変わった場合にでも引き続き存在するアラインメントを保証することができる。このような自動較正は、観察者１３２に極めて最適なビューイング経験が提供されることを保証する。

本明細書における開示に基づいて、投影スクリーン１２４を適切にスキャンし、投影ビームを光センサなどの特定のロケーションに返す投影角度を記録することによって、投影スクリーン１２４上の個々の画素をも個別に較正できることは理解されるであろう。次に、投影スクリーンの表面関数３０２を認知し、光センサのロケーションを認知することにより、変調関数６０２は、観察者の特定の左眼及び右眼２０８及び２１０のような他のいずれかのロケーションに固有に投影するように、これらに基づいて容易に計算及び指定できる。

本発明の優れた態様は、本発明が真のホログラムを見ることと仮想的に区別できないビューイング経験をもたらすことができることである。このような「疑似ホログラフィック」画像は、観察者の動きを追跡してこれに応答する本発明の機能の直接的な結果である。観察者の眼のロケーションの動きを追跡することによって、左及び右３Ｄ副像が、リアルホログラムに似た画像を生成するよう追跡された眼の動きに応じて調節される。従って、本発明は、連続して３Ｄ画像を観察者に投影でき、表示される種々の仮想対象物の周り及び近傍の空間（例えば、仮想ディスプレイボリューム１３６内）で移動したときに観察者が持つことになる実際のビューイング経験を再作成する。これは、ホログラムによってもたらされるのと同じ経験的ビューイング効果である。これにより観察者は、例えば、仮想対象物の周りを移動し、様々な角度からその複数の側面を観察することが可能になるが、一方、通常の３Ｄ画像では、３Ｄ透視を提示するが、見られた対象物と相対的な（例えばその周りの）移動には対応していない。本発明によって投影された疑似ホログラフィック画像は、空間における観察者の実際の動きを検出及び追従（すなわち追跡）し、更にこのような仮想対象物の周りの実際の動きを模倣するようこれに応答して見られた３Ｄ画像を適正に再作成することによって、真のホログラムと同じ方法で対象物の３Ｄビューを動的に変更する。

本発明の疑似ホログラフィック機能の強力且つ予想外の拡張は、ホログラフィック加速である。ホログラフィック加速により、本明細書に教示されるように、視覚的にはっきりと理解される観察者の動きは、これに対応して観察者の実際の動き又は変位よりも高速に疑似ホログラフィック画像を観察者に対して移動させることによって、選択された係数だけ増大される。例えば、対象物の周りを移動すると、対象物は、観察者により対象物の周りの実際の動きよりも高速に回転しているように見える。直線状に移動するときには、投影画像に対する動きは、観察者の実際の動きよりも速く見える。画像の加速の程度は、例えば観察者によって選択することができ、３Ｄディスプレイシステム１００によって容易に実装される。

仮想ディスプレイボリューム１３６はその範囲が有限であり、観察者が投影スクリーン１２４に向き合っているので、本発明の環境ではホログラフィック加速は特に有利である。例えば、投影スクリーン１２４がフラットである場合、観察者が仮想対象物の周りを最後まで実際に物理的に歩くことは現実的ではない。しかし、ホログラフィック加速を用いると、観察者は、対象物の周りの小さな円弧だけを移動し、この間に、あたかも観察者が大きな円弧を旋回しているかのように対象物が回転するのを観察することによって同じ効果を達成することができる。このようなビューイング経験は、実際のホログラムでは現在は実施可能ではなく、従って、本発明の別個の予想外の利点である。

ここで図９を参照すると、本発明の実施形態による３次元ディスプレイシステム９００のフローチャートが示されている。３次元ディスプレイシステム９００は、ブロック９０２で、予め決められた角度的応答性に優れた反射表面関数を有する投影スクリーンを準備する段階と、ブロック９０４で、予め決められた角度的応答性に優れた反射表面関数と協働して３Ｄ画像をそれぞれ調整して、プログラム可能偏向角度を備えたプログラム可能ミラーを定義する段階とを含む。

本発明は多数の態様を有することが予想外に明らかになった。

基本的な態様は、本発明が、観察者の完全で煩わしくない移動の自由を可能にする、極めて有効、実用的、効率的、複雑でない、及び安価な自動立体ディスプレイを提供することである。

別の重要な態様は、本発明が、垂直並びに水平両方の移動方向における真の視差経験を提供することである。

更に別の重要な態様は、本発明が、複数の観察者に独立して且つ同時に対応できる実用的な自動立体ディスプレイを提供することである。

本発明の特定の重要な態様は、こうした同時ビューイングをもたらし、存在する他の観察者によって同時に見られるものとは全く異なるようにすることができる固有にカスタマイズされた自動立体画像を全て同じビューイング環境内で、全て移動を完全に自由にして各観察者に提示することができるようにするものである。

本発明の別の特に重要な態様は、リアル感のあるホログラフィック経験を提供する実用的な自動立体ディスプレイを可能にし提供することである。更に驚くべきことに、本発明によるホログラフィック又は疑似ホログラフィックビューイング解決策により、複数の同時且つ個別化されたビューイングが可能になる。

本発明の別の重要な態様は、３Ｄ観察者／ユーザ入力の提供と共にビューイング経験を最適化するためのフィードバックを組み合わせた、邪魔にならない３Ｄビューイングシステムを可能にし提供することであり、従って、特別なビューイングゴーグル又はヘッドギアを必要とせずに３Ｄ空間における３Ｄ対象物のビューイング及び操作を可能にする。

本発明の更に別の重要な態様は、コスト低減、システム簡素化、及び性能向上といった従来の傾向をサポートしサービスすることである。

本発明のこれら及び他の有用な態様は、技術状態を少なくとも次のレベルに引き続き進めることにある。

従って、本発明の３Ｄディスプレイシステムが、視覚ディスプレイシステム、及び特に３Ｄ自動立体及び疑似ホログラフィックディスプレイシステムのこれまで知られておらず利用可能でなかった重要な解決策、能力、及び機能態の様を提供することが分かった。結果として得られたシステム構成は、直截的で、費用対効果が高く、複雑でなく、多用途で効果的であり、公知の技術に適合させることによって意外にも非自明的に実施することができ、従って、従来の製造プロセス及び技術と十分に互換性がある。

本発明を特定の最良の態様で説明してきたが、当業者であれば、前述の説明の観点から多くの代替形態、修正形態、及び変形形態が明らかになることは理解されたい。従って、本発明は、同梱の請求項の範囲内にある全てのこれらの代替形態、修正形態、及び変形形態を包含するものとする。本明細書でこれまでに記載され又は添付図面に示された全ての事柄は、非限定的な例証の意味で解釈すべきである。

１００ ３次元（「３Ｄ」）ディスプレイシステム
１０２ ホストＣＰＵ
１０４ オペレーティングシステム
１０６ ３Ｄ／立体レンダリングエンジン
１０８ グラフィクカード
１１０ ３Ｄ／立体ディスプレイ
１１２ ディスプレイインターフェース及び画像スプリッタ
１１４ 左副像
１１６ 右副像
１１８ 画像変調器
１２０ 画像変調器
１２２ プロジェクタ
１２４ 投影スクリーン
１２６ ミラーデバイス
１２８ デジタル信号プロセッサ
１３０ ３Ｄ撮像装置
１３２ 観察者
１３４ 光センサ

Claims (21)

1. 少なくとも１人の観察者（１３２）の右眼及び左眼（２０８、２１０）の位置を追跡する段階と、
   投影スクリーン（１２４）の少なくとも1つの軸に沿って固定され、正弦角度的応答性のある表面関数（３０２）を有する反射投影スクリーン（１２４）に向けて左及び右副像（１１４、１１６）を投影（１２２）し、該左及び右副像（１１４、１１６）を少なくとも１人の観察者（１３２）に対して、それぞれの右眼及び左眼（２０８、２１０）の位置に反射させる、プロジェクタ（１２２）から前記右眼及び左眼（２０８、２１０）の位置に対するプログラム可能な反射角度を形成し、疑似ホログラフィック画像を生成する段階と、
   を含む３次元画像システム（１００）で表示する方法。
2. 仮想ボリューム（１３６）において観察者の特徴（２０８、２１０、８０２、８０４、８０６、８０８）を追跡し、対話型観察者（１３２）起動制御入力に対するフィードバックを提供する段階を含む、
   請求項１に記載の方法。
3. スキャン画像サブフレームを利用して前記観察者（１３２）が追跡される目標エリアを掃引する段階を含む、
   請求項１に記載の方法。
4. ３次元対話のための仮想ボリューム（１３６）として前記投影スクリーン（１２４）の前方に予め決められた仮想ディスプレイボリューム（１３６）を確立する段階を含む
   請求項１に記載の方法。
5. 前記プロジェクタ（１２２）によって前記画像（１１４、１１６）をターンオン及びターンオフして観察者（１３２）の左眼及び右眼（２０８、２１０）への光投影を制御する段階（１１８、１２０）を含む、
   請求項１に記載の方法。
6. 前記プロジェクタ（１２２）のスキャンビーム（３０４）のスキャン速度を調整する段階（１１８、１２０）を更に含む、
   請求項１に記載の方法。
7. 次式：
   

   

   を使用して前記表面関数（３０２）に対する法線（２１２）の角度を決定する段階を含む、請求項１に記載の方法。
8. 次式：
   

   

   を使用して観察者（１３２）の眼（２０８、２１０）に反射ビーム（３０６）を放射するように構成された前記表面関数（３０２）に対する法線（２１２）の角度を決定する段階を含む、請求項１に記載のシステム（１００）。
9. 前記投影スクリーン（１２４）の表面（３１０）に変調関数（６０２）を符号化する段階を更に含む、
   請求項１に記載の方法。
10. 前記投影スクリーン（１２４）の表面（３１０）に変調関数（６０２）を符号化し、一定の速度で前記投影スクリーン（１２４）をスキャンしたときに選択された目標偏向角度になるようにする段階を含む、
    請求項１に記載の方法。
11. 少なくとも１人の観察者（１３２）の右眼及び左眼（２０８、２１０）の位置を追跡する段階が観察者（１３２）と非観察者とを区別する段階と、
    画像（１１４、１１６）を投影する段階（１２２）がさらに観察者（１３２）にだけ画像を投影する段階と、
    を含む、
    請求項１に記載の方法。
12. 前記追跡された動きに応じて前記左及び右副像（１１４、１１６）を調節し、ホログラムに似た画像を生成する段階と、
    を更に含む、
    請求項１に記載の方法。
13. 前記副像（１１４、１１６）を変調する段階（１１８、１２０）が、前記副像（１１４、１１６）が前記観察者（１３２）の眼（２０８、２１０）に到達するように照準されていない場合に、前記副像（１１４、１１６）の投影をマスキング又はゲートアウトする段階を更に含む、
    請求項１に記載の方法。
14. 前記投影スクリーン（１２４）に向けて前記左及び右副像（１１４、１１６）を投影する段階（１２２）が、前記法線（２１２）ロケーションとの間でその瞬間に投影される画素についての各それぞれの法線（２１２）ロケーションに入射光ビーム（３０４）を投影する段階（１２２）を含む、
    請求項１に記載の方法。
15. 前記入射ビームが、前記画素（２０２）の反射ポイントＸ_L及びＸ_R間の距離よりも小さな幅を有する、請求項１４に記載の方法。
16. 個々の観察者（１３２）を固有に識別する段階と、
    個人化された観察者（１３２）の選好を記憶する段階と、
    前記観察者（１３２）に関連付けられた前記選好に従って前記観察者（１３２）の経験をカスタマイズする段階と、
    を更に含む、
    請求項１に記載の方法。
17. 前記投影スクリーン（１２４）をスキャンして前記投影スクリーン（１２４）のロケーションを決定し、
    決定された前記投影スクリーン（１２４）のロケーションに従って前記左及び右副像（１１４、１１６）を調節する、
    ことによって、前記左及び右副像（１１４、１１６）を投影（１２２）するために前記投影スクリーン（１２４）からの反射角度を自動的に決定する段階を含む、
    請求項１２に記載の方法。
18. 前記投影スクリーン（１２４）のロケーションを決定し、
    少なくとも１つの投影副像を予め決められたロケーションに返す少なくとも１つの投影角度を記録し、及び
    これに基づいて前記左及び右副像（１１４、１１６）の投影（１２２）を調節する、
    ことによって、
    前記左及び右副像（１１４、１１６）を投影（１２２）するために前記投影スクリーン（１２４）からの反射角を決定する段階を含む、
    請求項１２に記載の方法。
19. 観察者（１３２）の眼（２０８、２１０）ロケーションの動きを追跡する構成と、
    固定された、正弦角度的応答性のある反射投影スクリーン（１２４）であって、該投影スクリーン（１２４）の少なくとも1つの軸に沿った、正弦角度的応答性のある表面関数（３０２）を有する、反射投影スクリーン（１２４）に向けて左及び右３次元疑似ホログラフィック副像（１１４、１１６）を投影する（１２２）構成と、
    計算可能な反射角度を用いて、前記観察者（１３２）のそれぞれの左眼及び右眼（２０８、２１０）ロケーションに向けて前記左及び右３次元疑似ホログラフィック副像（１１４、１１６）を反射させる構成と、
    前記追跡された動きに応じて前記左及び右副像（１１４、１１６）の投影を調節して、ホログラムに似た疑似ホログラフィック画像を生成する構成と、
    を含む３次元ディスプレイシステム。
20. 前記観察者（１３２）の実際の動きよりも速く前記観察者（１３２）に対して前記疑似ホログラフィック画像（１１４、１１６）を動かすことで前記観察者（１３２）の眼に見える動きを増大させることによって、ホログラフィック加速を提供する構成を含む、請求項１９に記載のシステム。
21. ３次元疑似ホログラフィック投影及びビューイングと共に３次元対話のため仮想ボリューム（１３６）として前記観察者（１３２）の前方に予め決められた仮想ディスプレイボリューム（１３６）を構成する構成を含む、
    請求項１９に記載のシステム。

Images