JP2023505230A - 仮想、拡張、および複合現実システムおよび方法 - Google Patents

Abstract

３次元（「３Ｄ」）ディスプレイデバイスのユーザの焦点深度を決定するための方法が、ユーザの第１の視線経路を追跡するステップを含む。本方法はまた、ユーザの第１の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために３Ｄデータを分析するステップを含む。本方法はさらに、１つのみの仮想オブジェクトが、ユーザの第１の視線経路と交差するとき、１つのみの仮想オブジェクトの深度をユーザの焦点深度として識別するステップを含む。

Description

（著作権表示）
本特許文書の開示の一部は、著作権保護を受けるべき資料を含有する。本著作権所有者は、本特許文書または本特許開示を誰が複写しても、それが特許商標局の特許ファイルまたは記録に現れる通りである限りでは異議はないが、その他の場合には、いかなる著作権も全て保有する。

本開示は、仮想現実、拡張現実、および複合現実結像、可視化、およびディスプレイシステムおよび方法に関する。特に、本開示は、視認者の焦点の深度を決定するための仮想現実、拡張現実、および複合現実結像、可視化、およびディスプレイシステムおよび方法に関する。

現代のコンピューティングおよびディスプレイ技術は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）システムの開発を促進している。ＶＲシステムは、ユーザが体験するためのシミュレートされた環境を作成する。これは、頭部搭載型ディスプレイを通して、コンピュータ生成画像をユーザに提示することによって行われることができる。本画像は、感覚体験を作成し、これは、ユーザをシミュレートされた環境内に没入させる。ＶＲシナリオは、典型的には、コンピュータ生成画像のみの提示を伴うのではなく、また、実際の実世界画像も含む。

ＡＲシステムは、概して、実世界環境をシミュレートされた要素で補完する。例えば、ＡＲシステムは、ユーザに、頭部搭載型ディスプレイを介して、周囲実世界環境のビューを提供してもよい。しかしながら、コンピュータ生成画像はまた、ディスプレイ上に提示され、実世界環境を向上させることもできる。本コンピュータ生成画像は、実世界環境にコンテキスト的に関連する、要素を含むことができる。そのような要素は、シミュレートされたテキスト、画像、オブジェクト等を含むことができる。ＭＲシステムはまた、シミュレートされたオブジェクトを実世界環境の中に導入するが、これらのオブジェクトは、典型的には、ＡＲシステムにおけるものを上回る相互作用度を特徴とする。シミュレートされた要素は、多くの場合、リアルタイムで双方向となることができる。

図１は、例示的ＡＲ／ＭＲ場面２を描写し、ユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム２０を特徴とする、実世界公園設定６が見える。これらのアイテムに加え、コンピュータ生成画像もまた、ユーザに提示される。コンピュータ生成画像は、例えば、実世界プラットフォーム２０上に立っている、ロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１２とを含むことができるが、これらの要素１２、１０は、実際には、実世界環境内に存在しない。

種々の光学システムは、ＶＲ、ＡＲ、またはＭＲシナリオを表示するために、画像を種々の深度に生成する。

ＶＲ／ＡＲ／ＭＲシステムは、ブレンドライトフィールドおよび離散ライトフィールドモードを含む、種々のディスプレイモードで動作することができる。ブレンドライトフィールドモード（「ブレンドモード」）では、ディスプレイが、２つまたはそれを上回る離散深度面に同時またはほぼ同時に表示される画像を含む、合成ライトフィールドを提示する。離散ライトフィールドモード（「離散モード」）では、ディスプレイが、単一深度面に表示される画像を含む、合成ライトフィールドを提示する。照明された深度面は、離散モードで制御可能である。いくつかのＶＲ／ＡＲ／ＭＲシステムは、視認者の焦点位置を決定するための眼追跡サブシステムを含む。そのようなシステムは、視認者の焦点位置に対応する深度面を照明することができる。

ヒトの視知覚系は、複雑であるため、他の仮想または実世界画像要素の中への仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ／ＡＲ／ＭＲ技術を生産することが困難である。３次元（「３Ｄ」）画像ディスプレイシステムは、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）－遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）衝突問題を被る。本問題は、２つの光学深度に関連する生物学的プロセスが、衝突する深度信号をユーザ／視認者の脳に送信するときに生じる。輻輳・開散運動は、光学軸（軸）とある距離における視認者の注意の対象のオブジェクトを整合させるように回転させるための視認者の眼の傾向に関連する。両眼システムでは、光学軸が交差する点は、「輻輳・開散運動点」と呼ばれ得る。輻輳・開散運動の間の視認者の眼の回転量は、視認者の脳によって、推定深度として解釈される。遠近調節は、ある距離における視認者の注意の対象のオブジェクトに合焦させるための視認者の眼の水晶体の傾向に関連する。輻輳・開散運動の間の視認者の眼の焦点は、視認者の脳によって、別の推定深度として解釈される。輻輳・開散運動および遠近調節信号が、視認者の脳によって、同一または類似推定深度として解釈されるとき、３Ｄ視認体験は、視認者にとって自然かつ快適である。他方で、輻輳・開散運動および遠近調節信号が、視認者の脳によって、実質的に異なる推定深度として解釈されるとき、３Ｄ視認体験は、視認者にとって準最適であって、不快感（眼精疲労、頭痛等）および疲労をもたらし得る。そのような問題は、輻輳・開散運動－遠近調節衝突として知られる。

ポータブルＶＲ／ＡＲ／ＭＲシステムはまた、サイズおよび可搬性問題点、バッテリ寿命問題点、システム過熱問題点、処理パワー、メモリ、帯域幅、データソース、コンポーネント待ち時間、および他のシステムおよび光学課題等の他の限界を有し、これは、ＶＲ／ＡＲ／ＭＲシステム性能に悪影響を及ぼし得る。これらの他の限界は、自然な輻輳・開散運動および遠近調節のための３Ｄ画像レンダリング技法を実装するときに、考慮されなければならない。ＶＲ／ＡＲ／ＭＲシステムのこれらのハードウェア関連制限に適応するために、多くの場合、ユーザ／視認者の焦点を決定することが有用である。いくつかのシステムが、ユーザ／視認者の焦点をユーザ／視認者の輻輳・開散運動点にマッピングするが、眼追跡ハードウェアおよび高速ユーザ／視認者眼移動における制限は、本方法を使用して、ユーザ／視認者の焦点の決定の正確度を低減させる。ユーザ／視認者の焦点を決定するステップは、ＶＲ／ＡＲ／ＭＲシステムが限定されたハードウェアリソースを効果的に分配することを可能にする。特に、ユーザ／視認者の焦点の深度を決定することは、ＶＲ／ＡＲ／ＭＲシステムが限定されるハードウェアリソースをユーザ／視認者の焦点と一致する特定の平面に指向することを可能にする。

ユーザ／視認者の焦点の深度を決定する１つの方法は、深度感知を使用して、視野全体の深度マップを生成し、次いで、視野の深度マップを使用して、ユーザ／視認者の焦点の深度を識別するために、眼追跡を使用することである。深度感知は、３次元（「３Ｄ」）空間（例えば、センサ）内の既知の点とオブジェクトの表面上の着目点（「ＰＯＩ」）との間の距離の決定である。深度感知はまた、表面上の複数のＰＯＩの個別の距離を決定するステップが、表面のテクスチャを決定するため、テクスチャ感知としても知られる。深度またはテクスチャ感知は、複合現実システムを含む、多くのコンピュータ視覚システムのために有用である。深度マップを生成するステップは、ハードウェア（例えば、赤外線カメラおよび赤外線光プロジェクタ）および処理パワーの観点から、需要の高いプロセスであり得る。移動するＶＲ／ＡＲ／ＭＲシステムでは、深度マップは、処理パワー、メモリ、通信チャネル等の観点から、ある程度の犠牲を払って、持続的に更新される必要があるであろう。

例えば、輻輳・開散運動－遠近調節衝突を最小限にしながら、３Ｄ画像を視認者／ユーザにレンダリングおよび表示するためのユーザ／視認者の焦点の深度を決定するためのシステムおよび技法、およびそれを行いながら、ポータブルＶＲ／ＡＲ／ＭＲシステムの限定されたグラフィカル処理能力における需要を最小限にするためのシステムおよび技法を含む、画像データを処理し、画像を表示するための改良されたシステムおよび技法が、必要とされる。改良されたシステムおよび技法は、これらの問題点に対処するために必要とされる。本明細書に説明されるシステムおよび方法は、これらおよび他の課題に対処するように構成される。

必要とされるものは、旧来の技法および／または他の検討されるアプローチを改良するための技法または複数の技法である。本背景節に説明されるアプローチのうちのいくつかは、追求され得るアプローチであるが、必ずしも、以前に想起または追求されているアプローチではない。

一実施形態では、３次元（「３Ｄ」）ディスプレイデバイスのユーザの焦点深度を決定するための方法が、ユーザの第１の視線経路を追跡するステップを含む。本方法はまた、ユーザの第１の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために３Ｄデータを分析するステップを含む。方法はさらに、１つのみの仮想オブジェクトが、ユーザの第１の視線経路と交差するとき、１つのみの仮想オブジェクトの深度をユーザの焦点深度として識別するステップを含む。

１つまたはそれを上回る実施形態では、１つまたはそれを上回る仮想オブジェクトはそれぞれ、ユーザから個別の深度において表示される。複数の３Ｄデータを分析するステップは、３Ｄデータに対応する、深度セグメント化データを分析するステップを含んでもよい。本方法はまた、ユーザの輻輳・開散運動焦点深度を生成するために、輻輳・開散運動分析をユーザに実施するステップと、ユーザの焦点深度の正確度を改良するために、ユーザの輻輳・開散運動焦点深度を使用するステップとを含んでもよい。

１つまたはそれを上回る実施形態では、１つを上回る仮想オブジェクトが、ユーザの第１の視線経路と交差するとき、本方法はまた、ユーザの第２の視線経路を追跡するステップを含んでもよい。方法はまた、ユーザの第２の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するための３Ｄデータを分析するステップを含んでもよい。本方法はさらに、１つのみの仮想オブジェクトが、ユーザの第１の視線経路および第２の視線経路の両方と交差するとき、１つのみの２Ｄ画像フレームの深度をユーザの焦点深度として識別するステップを含んでもよい。

別の実施形態では、３次元（「３Ｄ」）ディスプレイデバイスのユーザの焦点深度を決定するための方法が、ユーザの第１の視線経路を追跡するステップを含む。本方法はまた、ユーザの第１の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために、ディスプレイデバイスによって表示される複数の２次元（「２Ｄ」）画像フレームを分析するステップを含む。本方法はさらに、複数の２Ｄ画像フレームの１つのみが、ユーザの第１の視線経路に沿って、仮想オブジェクトを含むとき、１つのみの２Ｄ画像フレームの深度をユーザの焦点深度として識別するステップを含む。

１つまたはそれを上回る実施形態では、複数の２Ｄ画像フレームはそれぞれ、ユーザから個別の深度において表示される。複数の２Ｄ画像フレームを分析するステップは、複数の２Ｄ画像フレームに対応する、深度セグメント化データを分析するステップを含んでもよい。本方法はまた、ユーザの輻輳・開散運動焦点深度を生成するために、輻輳・開散運動分析をユーザに実施するステップと、ユーザの焦点深度の正確度を改良するために、ユーザの輻輳・開散運動焦点深度を使用するステップとを含んでもよい。

１つまたはそれを上回る実施形態では、複数の２Ｄ画像フレームの１つを上回るものが、ユーザの第１の視線経路に沿って、仮想オブジェクトを含むとき、本方法はまた、ユーザの第２の視線経路を追跡するステップを含んでもよい。方法はまた、ユーザの第２の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために、ディスプレイデバイスによって表示される複数の２Ｄ画像フレームを分析するステップを含んでもよい。本方法はさらに、複数の２Ｄ画像フレームの１つのみが、ユーザの第１の視線経路および第２の視線経路の両方に沿って、仮想オブジェクトを含むとき、１つのみの２Ｄ画像フレームの深度をユーザの焦点深度として識別するステップを含んでもよい。

本特許または出願申請書は、カラーで作成された少なくとも１つの図面を含有する。カラー図面を伴う本特許または特許出願公開文書の複写物は、要求および必要な手数料の支払に応じて、特許庁によって提供されるであろう。

下記に説明される図面は、例証目的のためだけのものである。図面は、本開示の範囲を限定することを意図するものではない。本特許または出願申請書は、カラーで作成された少なくとも１つの図面を含有する。カラー図面を伴う本特許または特許出願公開文書の複写物は、必要な手数料の要求および支払に応じて、米国特許および商標局によって提供されるであろう。

図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の列挙されたおよび他の利点および目的を取得する方法をより深く理解するために、本開示のさらなる詳細な説明が、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本開示は、付随の図面の使用を通して、付加的特異性および詳細を伴って説明および解説されるであろう。

図１は、例示的ＡＲシステムを使用したＡＲ／ＭＲ場面のユーザのビューを図示する。

図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用するユーザを図式的に描写する。 図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用するユーザを図式的に描写する。 図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用するユーザを図式的に描写する。 図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用するユーザを図式的に描写する。

図６は、いくつかの実施形態による、多面焦点システムの種々の平面を図式的に描写する。

図７は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを図式的に描写する。

図８Ａおよび８Ｂは、いくつかの実施形態による、側面斜視図（図８Ａ）および背面斜視図（図８Ｂ）からの、複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

図９Ａおよび９Ｂは、側面斜視図（図９Ａ）および背面斜視図（図９Ｂ）からの、離散モードにおける表示のために単一深度面上に投影された複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

図１０Ａは、いくつかの実施形態による、二重面ブレンドモードディスプレイシステムの近および遠遠近調節ゾーンおよび遠近調節重複ゾーンを図式的に描写する。

図１０Ｂは、視認者からの距離とジオプタとの間の関係を図式的に描写する。

図１１は、側面斜視図からの、離散モードにおける表示のために単一深度面上に投影された複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

図１２Ａは、側面斜視図からの、離散モードにおける表示のために単一深度面上に投影された複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

図１２Ｂは、側面斜視図からの、ブレンドモードにおいて表示される複数の仮想深度面を伴う複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

図１３および１４は、いくつかの実施形態による、背面斜視図（図１３）および側面斜視図（図１４）から、ユーザ／視認者の焦点面を決定するためのシステムおよび方法を図式的に描写する。 図１３および１４は、いくつかの実施形態による、背面斜視図（図１３）および側面斜視図（図１４）から、ユーザ／視認者の焦点面を決定するためのシステムおよび方法を図式的に描写する。

図１５は、いくつかの実施形態による、背面斜視図から、離散モードにおける表示のために、単一の決定された深度面上にぼかされ、かつ投影された複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

図１６は、いくつかの実施形態による、ユーザ／視認者の焦点面を決定するための方法を図示する、フローチャートである。

図１７は、いくつかの実施形態による、例証的コンピューティングシステムを図式的に描写する、ブロック図である。

詳細な説明
本開示の種々の実施形態は、単一実施形態または複数の実施形態における、仮想現実（ＶＲ）／拡張現実（ＡＲ）／複合現実（ＭＲ）のためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。

種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように、例証的実施例として提供される、図面を参照して詳細に説明されるであろう。着目すべきこととして、図および下記の実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素は、部分的または完全に、公知のコンポーネント（または方法またはプロセス）を使用して実装されてもよく、本開示の理解のために必要なそのような公知のコンポーネント（または方法またはプロセス）のそれらの部分のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照されるコンポーネントの現在公知および将来的に公知となる均等物を包含する。

本開示による、実施形態は、多くの場合、既製のコンポーネントとカスタムコンポーネントの組み合わせに依拠する、ＶＲ／ＡＲ／ＭＲシステムの実装の問題に対処する。ある場合には、既製のコンポーネントは、展開されることになるＶＲ／ＡＲ／ＭＲシステムのある所望の側面を実装するために必要とされる、特徴または性能特性の全てを保有していない。いくつかの実施形態は、展開されることになるＶＲ／ＡＲ／ＭＲシステムの所望の特徴または性能特性に適応するための能力を追加し、および／またはリソースを別の目的のために再利用するためのアプローチを対象とする。本明細書の付随の図および議論は、ＶＲ／ＡＲ／ＭＲシステムのための例示的環境、本システム、方法、およびコンピュータプログラム製品を提示する。

頭部搭載型視聴覚ディスプレイシステムおよび３Ｄ画像レンダリングシステムは、ＡＲ／ＭＲシステムから独立して実装されてもよいが、下記のいくつかの実施形態は、例証的目的のみのために、ＡＲ／ＭＲシステムに関連して説明される。本明細書に説明される３Ｄ画像レンダリングおよびディスプレイシステムはまた、ＶＲシステムと類似様式で使用されてもよい。
問題の概要およびソリューション

上記に説明されるように、ＶＲ／ＡＲ／ＭＲシステムはまた、サイズおよび可搬性、バッテリ寿命、システム過熱、処理パワー、メモリ、帯域幅、データソース、コンポーネント待ち時間、および他のシステムおよび光学課題等の限界を有し、これは、ＶＲ／ＡＲ／ＭＲシステム性能に悪影響を及ぼし得る。これらの限界は、グラフィカル処理および画像ディスプレイ需要の低減をもたらし、３Ｄ画像レンダリングおよびディスプレイを改良するための対抗課題となり得る。ＶＲ／ＡＲ／ＭＲシステムは、ユーザ／視認者の焦点に対応する深度面を識別することによって、限定された処理およびディスプレイリソースをより効果的に展開することができる。しかしながら、ユーザ／視認者の焦点面を識別するために輻輳・開散運動のみを使用することは、十分に正確であり得ない。他方では、ユーザ／視認者の焦点面を識別する際に使用するための深度マップを生成するステップは、ＶＲ／ＡＲ／ＭＲシステムへの処理およびハードウェア需要を追加し得る。

例えば、潜在的グラフィカル処理およびサイズ／可搬性問題点に起因して、ＶＲ／ＡＲ／ＭＲシステム、特に、頭部装着型システムは、移動する仮想オブジェクト（すなわち、離散モード）の平滑表示のために、最小限のフレームレート（例えば、６０Ｈｚ）において、カラー画像をフレームあたり１つの深度面にレンダリングおよび表示することが可能であるように、十分なコンポーネントのみを含み得る。離散モードで動作するそのようなＶＲ／ＡＲ／ＭＲシステムの実施例は、図８Ａ－９Ｂに示される。図８Ａに図式的に示されるように、３Ｄ画像は、種々の深度面に隣接して３つの仮想オブジェクト（近および遠立方体８１０、８１２および１つの円柱８１４）を含む（深度面０の近傍に隣接する近立方体８１０および遠深度面１に隣接する遠立方体８１２および円柱８１４）。いくつかの実施形態では、近深度面０は、約１．９６ジオプタにあって、遠深度面１は、約０．６７ジオプタにある。図８Ｂは、図８Ａに示される３Ｄ画像の視認者の斜視図である。図８Ｂでは、ユーザ／視認者８１６の眼の追跡は、視認者の眼が近立方体８１０の場所と一致する輻輳・開散運動点８１８に輻輳することを示す。離散モードでは、単一深度面のみが、フレームあたり照明される（すなわち、画像がレンダリングおよび表示される）。図９Ａに図式的に示されるように、輻輳・開散運動点８１８が、深度面０の近傍に隣接する、近立方体８１０の場所と一致するため、３Ｄ画像の全てのコンテンツ（すなわち、近および遠立方体８１０、８１２および円柱８１４）が、近深度面０上に投影される。図９Ｂは、そのコンテンツが近深度面０上に投影された後の３Ｄ画像の視認者の斜視図である。近深度面０のみが、照明され、視認者８１６の眼は、近深度面０に遠近調節する。上記に説明されるように、ユーザ／視認者の焦点とユーザ／視認者の輻輳・開散運動点との等化は、本重要なデータ点のあまり正確ではない決定をもたらし得る。

いくつかの実施形態では、単一深度面上への３Ｄ画像のコンテンツの全ての投影は、最小限の輻輳・開散運動－遠近調節衝突（例えば、最小限のユーザ不快感、眼精疲労、頭痛）のみを誘起する。これは、ヒトの脳が遠近調節と輻輳・開散運動との間で最大約０．７５ジオプタの不整合を許容するであろうように、遠近調節および輻輳・開散運動の緩結合が存在するためである。図１０Ａに示されるように、本±０．７５ジオプタ許容度は、近遠近調節ゾーン１０１０および遠遠近調節ゾーン１０１２に変換される。距離とジオプタとの間の逆関係のため、図１０Ｂに示されるように、遠遠近調節ゾーン１０１２は、より近い遠近調節ゾーン１０１０より大きい。図１０Ａに描写される実施形態では、近深度面０および遠深度面１を用いることで、±０．７５ジオプタ許容度はまた、遠近調節ゾーン重複１０１４内に該当するオブジェクト深度が、例えば、異なるスケールにおいて、異なる明度および／または色値等を伴って、近深度面０および遠深度面１の一方または両方に表示され得る、遠近調節ゾーン重複１０１４をもたらす。３Ｄ画像のコンテンツが全て、近遠近調節ゾーン１０１０または遠遠近調節ゾーン１０１２のいずれか内に位置し、視認者８１６の眼が、その深度面に輻輳する、実施形態では、その深度面上への３Ｄ画像のコンテンツの全ての投影は、最小限の輻輳・開散運動－遠近調節衝突のみを誘起する。

離散モードでの動作は、ＶＲ／ＡＲ／ＭＲシステムが、そのハードウェア制限（例えば、処理、表示、メモリ、通信チャネル等）内で機能しながら、３Ｄ画像を送達することを可能にする。しかしながら、離散モードディスプレイは、システムリソース上の需要を最小限にしながら、照明されるべき単一の深度面の正確な識別を要求する。ブレンドモードで動作するＶＲ／ＡＲ／ＭＲシステムもまた、それらのリソースを、ユーザ／視認者の焦点に対応する、深度面に集中させることによって、システムリソース上の需要を低減させることができる。再び、ブレンドモードディスプレイのための本リソース節約方法は、ユーザ／視認者の焦点面の正確な識別を要求する。

本明細書に説明される実施形態は、種々のＶＲ／ＡＲ／ＭＲシステムと併用するための３Ｄ画像レンダリングおよびディスプレイシステムおよび方法を含む。これらの３Ｄ画像レンダリングおよびディスプレイシステムおよび方法は、消費されるシステムリソースを低減させながら、離散モードおよびブレンドモードディスプレイの両方において使用するためのユーザ／視認者の焦点に対応する、深度面を識別し、それによって、上記に説明される問題点の多くに対処する。
例証的ＶＲ、ＡＲ、および／またはＭＲシステム

続く説明は、それを用いて種々の３Ｄ画像レンダリングおよびディスプレイシステムの実施形態が実践され得る、例証的ＶＲ、ＡＲ、および／またはＭＲシステムに関する。しかしながら、実施形態はまた、他のタイプのディスプレイシステム（他のタイプのＶＲ、ＡＲ、および／またはＭＲシステムを含む）における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。

本明細書に開示されるＶＲ／ＡＲ／ＭＲシステムは、コンピュータ生成画像（ビデオ／画像データ）をユーザに提示する、ディスプレイを含むことができる。いくつかの実施形態では、ディスプレイシステムは、ウェアラブルであって、これは、有利なこととして、より没入型のＶＲ／ＡＲ／ＭＲ体験を提供し得る。ＶＲ、ＡＲ、および／またはＭＲ仮想画像システム１００の種々のコンポーネントが、図２－５に描写される。仮想画像生成システム１００は、エンドユーザ５０によって装着されるフレーム構造１０２と、ディスプレイサブシステム１１０がエンドユーザ５０の眼の正面に位置付けられるように、フレーム構造１０２によって担持されるディスプレイサブシステム１１０と、スピーカ１０６がエンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）がエンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）ように、フレーム構造１０２によって担持されるスピーカ１０６とを含む。ディスプレイサブシステム１１０は、エンドユーザ５０の眼に、高レベルの画質および３次元知覚を伴って、物理的現実に対する拡張として快適に知覚され、かつ２次元コンテンツを提示可能であり得る、光パターンを提示するように設計される。ディスプレイサブシステム１１０は、フレームのシーケンスを高周波数で提示し、単一コヒーレント場面の知覚を提供する。

図示される実施形態では、ディスプレイサブシステム１１０は、それを通してユーザが実オブジェクトから透明（または半透明）要素を介して直接光を視認することができる「光学シースルー」ディスプレイを採用する。透明要素は、多くの場合、「結合器」と称され、ディスプレイからの光を実世界のユーザの視野にわたって重畳する。この目的を達成するために、ディスプレイサブシステム１１０は、部分的に透明なディスプレイを含む。いくつかの実施形態では、透明ディスプレイは、電子的に制御されてもよい。いくつかの実施形態では、透明ディスプレイは、セグメント化された調光を含み、透明ディスプレイの１つまたはそれを上回る部分の透明度を制御してもよい。いくつかの実施形態では、透明ディスプレイは、大域的調光を含み、透明ディスプレイの全体の透明度を制御してもよい。ディスプレイは、エンドユーザ５０の眼と周囲環境の間のエンドユーザ５０の視野に位置付けられ、周囲環境からの直接光がディスプレイを通してエンドユーザ５０の眼へ透過されるようなものである。

図示される実施形態では、画像投影アセンブリは、光を部分的に透明なディスプレイに提供し、それによって、周囲環境からの直接光と組み合わせ、ディスプレイからユーザ５０の眼に透過される。投影サブシステムは、光ファイバ走査ベースの投影デバイスであってもよく、ディスプレイは、導波管ベースのディスプレイであってもよく、その中に投影サブシステムからの走査される光が、投入され、例えば、無限遠により近い単一光学視認距離において（例えば、腕の長さ）における画像、複数の離散光学視認距離または焦点面における画像、および／または複数の視認距離または焦点面にスタックされ、立体３Ｄオブジェクトを表す、画像層を生成する。ライトフィールド内のこれらの層は、ヒト視覚系にともに連続して現れるように十分に近接してスタックされてもよい（すなわち、一方の層は、隣接する層の乱信号円錐域内にある）。加えて、または代替として、写真要素（すなわち、サブ画像）が、２つまたはそれを上回る層を横断して混成され、それらの層がより疎らにスタックされる場合でも、ライトフィールド内の層間の遷移の知覚される連続性を増加させてもよい（すなわち、一方の層は隣接する層の乱信号円錐域外にある）。ディスプレイサブシステム１１０は、単眼または両眼用であってもよい。画像投影システムは、ブレンドモードを生成可能であり得るが、システム制限（例えば、電力、熱、速度等）は、画像投影システムをフレームあたり単一視認距離を伴う離散モードに制限し得る。

仮想画像生成システム１００はまた、エンドユーザ５０の頭部５４の位置および移動および／またはエンドユーザ５０の眼の位置および眼間距離を検出するために、フレーム構造１０２に搭載される１つまたはそれを上回るセンサ（図示せず）を含んでもよい。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）を含んでもよい。これらのセンサの多くは、その上にそれらが添着される、フレーム１０２が、ひいては、ユーザの頭部、眼、および耳に実質的に固定されるという仮定で動作する。仮想画像生成システム１００はまた、ユーザの眼を追跡するために、１つまたはそれを上回るユーザに向いたカメラを含んでもよい。

仮想画像生成システム１００はまた、ユーザ配向検出モジュールを含んでもよい。ユーザ配向モジュールは、エンドユーザ５０の頭部５４の瞬間位置を検出し（例えば、フレーム１０２に結合されるセンサを介して）、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測してもよい。エンドユーザ５０の頭部５４の瞬間位置の検出は、エンドユーザ５０が見ている具体的実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトに関連して生成されるべき具体的仮想オブジェクトのインジケーションを提供し、さらに、仮想オブジェクトが表示されるべき位置のインジケーションを提供する。ユーザ配向モジュールはまた、センサから受信された追跡データに基づいて、エンドユーザ５０の眼を追跡してもよい。

仮想画像生成システム１００はまた、多種多様な形態のいずれかをとり得る、制御サブシステムを含んでもよい。制御サブシステムは、いくつかのコントローラ、例えば、１つまたはそれを上回るマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、他の集積回路コントローラ、例えば、特定用途向け集積回路（ＡＳＩＣ）、ディスプレイブリッジチップ、ディスプレイコントローラ、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。

仮想画像生成システム１００の制御サブシステムは、中央処理ユニット（ＣＰＵ）と、グラフィック処理ユニット（ＧＰＵ）と、１つまたはそれを上回るフレームバッファと、３次元データを記憶するための３次元データベースとを含んでもよい。ＣＰＵは、全体的動作を制御し得る一方、ＧＰＵは、３次元データベース内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ内に記憶し得る。１つまたはそれを上回る付加的集積回路が、フレームのフレームバッファの中への読込および／またはそこからの読取およびディスプレイサブシステム１１０の画像投影アセンブリの動作を制御してもよい。

仮想画像生成システム１００の種々の処理コンポーネントは、分散型サブシステム内に物理的に含有されてもよい。例えば、図２－５に図示されるように、仮想画像生成システム１００は、有線導線または無線コネクティビティ１３６等によって、ローカルディスプレイブリッジ１４２、ディスプレイサブシステム１１０、およびセンサに動作可能に結合される、ローカル処理およびデータモジュール１３０を含んでもよい。ローカル処理およびデータモジュール１３０は、フレーム構造１０２に固定して取り付けられる（図２）、ヘルメットまたは帽子５６に固定して取り付けられる（図３）、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図４）、またはベルト結合式構成においてエンドユーザ５０の腰６０に除去可能に取り付けられる（図５）等、種々の構成で搭載されてもよい。仮想画像生成システム１００はまた、有線導線または無線コネクティビティ１３８、１４０等によって、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２に動作可能に結合される、遠隔処理モジュール１３２および遠隔データリポジトリ１３４を含んでもよく、これらの遠隔モジュール１３２、１３４が、相互に動作可能に結合され、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２に対してリソースとして利用可能であるようになる。

ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２はそれぞれ、電力効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを含んでもよく、その両方とも、センサから捕捉され、および／または可能性として処理または読出後、ディスプレイサブシステム１１０への通過のために、遠隔処理モジュール１３２および／または遠隔データリポジトリ１３４を使用して取得および／または処理されたデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。遠隔処理モジュール１３２は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回る比較的に強力なプロセッサまたはコントローラを含んでもよい。遠隔データリポジトリ１３４は、比較的に大規模なデジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２において実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。

前述の種々のコンポーネント間の結合１３６、１３８、１４０は、有線または光学通信を提供するための１つまたはそれを上回る有線インターフェースまたはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つまたはそれを上回る無線インターフェースまたはポートを含んでもよい。いくつかの実装では、全ての通信は、有線であってもよい一方、他の実装では、全ての通信は、無線であってもよい。なおもさらなる実装では、有線および無線通信の選択肢は、図２－５に図示されるものと異なってもよい。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。

いくつかの実施形態では、ユーザ配向モジュールは、ローカル処理およびデータモジュール１３０および／またはローカルディスプレイブリッジ１４２内に含有される一方、ＣＰＵおよびＧＰＵは、遠隔処理モジュール内に含有される。代替実施形態では、ＣＰＵ、ＧＰＵ、またはその一部は、ローカル処理およびデータモジュール１３０および／またはローカルディスプレイブリッジ１４２内に含有されてもよい。３Ｄデータベースは、遠隔データリポジトリ１３４と関連付けられる、またはローカルで配置されることができる。

いくつかのＶＲ、ＡＲ、および／またはＭＲシステムは、個別の深度面から生じるように現れる画像を生成するための深度面情報を内蔵される、複数の体積位相ホログラム、表面レリーフホログラム、または光誘導光学要素を使用する。換言すると、回折パターンまたは回折光学要素（ＤＯＥ）が、コリメート光（略平面波面を伴う光ビーム）がＬＯＥに沿って実質的に全内部反射されるにつれて、複数の場所において回折パターンと交差し、ユーザの眼に向かって出射するように、光誘導光学要素（ＬＯＥ、例えば、平面導波管）に内蔵される、またはその上にインプリント／エンボス加工され得る。ＤＯＥは、ＬＯＥからそれを通して出射する光が、輻輳され、特定の深度面から生じるように現れるように構成される。コリメート光は、光学集光レンズ（「集光器」）を使用して生成されてもよい。

例えば、第１のＬＯＥは、光学無限遠深度面（０ジオプタ）から生じるように現れる、コリメート光を眼に送達するように構成されてもよい。別のＬＯＥは、２メートル（１／２ジオプタ）の距離から生じるように現れる、コリメート光を送達するように構成されてもよい。さらに別のＬＯＥは、１メートル（１ジオプタ）の距離から生じるように現れる、コリメート光を送達するように構成されてもよい。スタックされたＬＯＥアセンブリを使用することによって、複数の深度面は、作成され得、各ＬＯＥは、特定の深度面から生じるように現れる画像を表示するように構成されることが理解され得る。スタックは、任意の数のＬＯＥを含んでもよいことを理解されたい。しかしながら、少なくともＮ個のスタックされたＬＯＥが、Ｎ個の深度面を生成するために要求される。さらに、Ｎ、２Ｎ、または３Ｎ個のスタックされたＬＯＥが、ＲＧＢカラー画像をＮ個の深度面に生成するために使用されてもよい。

３Ｄ仮想コンテンツをユーザに提示するために、ＶＲ、ＡＲ、および／またはＭＲシステムは、ブレンドまたは離散モードのいずれかにおいて、Ｚ方向に（すなわち、ユーザの眼から離れるように直交して）種々の深度面から生じるように現れるように、仮想コンテンツの画像をユーザの眼の中に投影する。換言すると、仮想コンテンツは、ＸおよびＹ方向において（すなわち、ユーザの眼の中心視軸に直交する２Ｄ平面において）変化し得るだけではなく、また、ユーザが、オブジェクトが非常に近距離または無限距離またはそれらの間の任意の距離にあるように知覚し得るように、Ｚ方向においても変化すると考えられ得る。他の実施形態では、ユーザは、複数のオブジェクトを異なる深度面において同時に知覚し得る。例えば、ユーザには、ユーザから３メートル離れた距離における仮想鳥と、ユーザから腕の長さ（約１メートル）における仮想コーヒーカップとが同時に見え得る。代替として、ユーザには、仮想ドラゴンが、無限遠から現れ、ユーザに向かって走って来るのが見え得る。

多面焦点システムは、ブレンドまたは離散モードのいずれかにおいて、画像をユーザの眼からＺ方向において個別の固定距離に位置する複数の深度面の一部または全部上に投影させることによって、可変深度の知覚を作成する。ここで図６を参照すると、多面焦点システムは、フレームを固定深度面１５０（例えば、図６に示される６つの深度面１５０）に表示し得ることを理解されたい。ＭＲシステムは、任意の数の深度面１５０を含むことができるが、１つの例示的多面焦点システムは、６つの固定深度面１５０をＺ方向に有する。仮想コンテンツを６つの深度面１５０のうちの１つまたはそれを上回るものに生成する際、３Ｄ知覚が、ユーザがユーザの眼から可変距離における１つまたはそれを上回る仮想オブジェクトを知覚するように作成される。ヒトの眼が、遠く離れているように現れるオブジェクトより距離がより近いオブジェクトに対して敏感であることを前提として、より多くの深度面１５０が、図６に示されるように、眼のより近くに生成される。他の実施形態では、深度面１５０は、相互から等距離だけ離れて設置されてもよい。

深度面位置１５０は、ジオプタで測定されてもよく、これは、メートルで測定された焦点距離の逆数と等しい、屈折力の単位である。例えば、いくつかの実施形態では、深度面ＤＰ１は、１／３ジオプタ離れてもよく、深度面ＤＰ２は、０．３ジオプタ離れてもよく、深度面ＤＰ３は、０．２ジオプタ離れてもよく、深度面ＤＰ４は、０．１５ジオプタ離れてもよく、深度面ＤＰ５は、０．１ジオプタ離れてもよく、深度面ＤＰ６は、無限遠（すなわち、０ジオプタ離れている）を表してもよい。他の実施形態は、深度面１５０を他の距離／ジオプタに生成してもよいことを理解されたい。したがって、仮想コンテンツを方略的に設置された深度面１５０に生成する際、ユーザは、仮想オブジェクトを３次元で知覚することが可能である。例えば、ユーザは、別の仮想オブジェクトが、深度面ＤＰ６における無限遠に現れる間、第１の仮想オブジェクトが、深度面ＤＰ１に表示されるとき、近接しているように知覚し得る。代替として、仮想オブジェクトは、最初に、深度面ＤＰ６に表示され、次いで、仮想オブジェクトがユーザに非常に近接して現れるまで、深度面ＤＰ５等に表示されてもよい。上記の実施例は、例証的目的のために有意に簡略化されていることを理解されたい。別の実施形態では、全６つの深度面は、ユーザから離れた特定の焦点距離上に集中されてもよい。例えば、表示されることになる仮想コンテンツが、ユーザから０．５メートル離れたコーヒーカップである場合、全６つの深度面は、コーヒーカップの種々の断面に生成され、ユーザに、コーヒーカップの非常に粒度が高い３Ｄビューを与え得る。

いくつかの実施形態では、ＶＲ、ＡＲ、および／またはＭＲシステムは、多面焦点システムとして作用してもよい。換言すると、全６つのＬＯＥが、６つの固定深度面から生じるように現れる画像が、高速で連続して生成され、光源が、画像情報を、ＬＯＥ１、次いで、ＬＯＥ２、次いで、ＬＯＥ３等に急速に伝達するように、ほぼ同時に照明されてもよい。例えば、光学無限遠における空の画像を含む、所望の画像の一部が、時間１において投入されてもよく、光のコリメーションを留保するＬＯＥ（例えば、図６からの深度面ＤＰ６）が、利用されてもよい。次いで、より近い木の枝の画像が、時間２において投入されてもよく、１０メートル離れた深度面（例えば、図６からの深度面ＤＰ５）から生じるように現れる画像を作成するように構成される、ＬＯＥが、利用されてもよい。次いで、ペンの画像が、時間３において投入されてもよく、１メートル離れた深度面から生じるように現れる画像を作成するように構成される、ＬＯＥが、利用されてもよい。本タイプのパラダイムは、ユーザの眼および脳（例えば、視覚野）が入力を全て同一画像の一部であるように知覚するように、高速時系列方式で繰り返されることができる。

ブレンドモードでは、そのような多面焦点システムは、ポータブルＶＲ、ＡＲ、および／またはＭＲシステムにおいて達成可能であり得ない、ディスプレイおよびプロセッサ速度の観点から、システム要件を有する。これらのシステム制限を克服するために、ブレンドモードシステムは、ユーザ／視認者の焦点深度に隣接する画像をより明確に表示し得る一方、ディスプレイおよびプロセッサ速度の観点から、より低い犠牲を払って、不明確に他の画像を表示する。離散モードでは、そのような多面焦点システムは、ユーザ／視認者の焦点位置に対応する単一深度面への光学深度にかかわらず、全ての３Ｄ画像コンテンツを投影し得る。しかしながら、全ての離散モードディスプレイシステムは、ユーザ／視認者の焦点深度の識別を要求する。

ＶＲ、ＡＲ、および／またはＭＲシステムは、Ｚ軸（すなわち、深度面）に沿って種々の場所から生じるように現れ、３Ｄ体験／シナリオのための画像を生成する、画像を投影してもよい（すなわち、光ビームを発散または収束させることによって）。本願で使用されるように、光ビームは、限定ではないが、光源から照射される光エネルギー（可視および不可視光エネルギーを含む）の指向性投影を含む。種々の深度面から生じるように現れる画像を生成することは、その画像のためのユーザの眼の輻輳・開散運動および遠近調節に準拠し、輻輳・開散運動－遠近調節衝突を最小限にまたは排除する。

ここで図７を参照すると、ＡＲまたはＭＲシステム７００の例示的実施形態（以降、「システム７００」と称される）が、図示される。システム７００は、スタックされた光誘導光学要素（以降、「ＬＯＥ７９０」と称される）を使用する。システム７００は、概して、１つまたはそれを上回る画像生成プロセッサ７１０と、１つまたはそれを上回る光源７２０と、１つまたはそれを上回るコントローラ／ディスプレイブリッジ（ＤＢ）７３０と、１つまたはそれを上回る空間光変調器（ＳＬＭ）７４０と、多面焦点システムとして機能する、スタックされたＬＯＥ７９０の１つまたはそれを上回るセットとを含む。システム７００はまた、眼追跡サブシステム７５０を含んでもよい。

画像生成プロセッサ７１０は、ユーザに表示されるべき仮想コンテンツを生成するように構成される。画像生成プロセッサ７１０は、仮想コンテンツと関連付けられる画像またはビデオを、３Ｄにおいてユーザに投影され得る、フォーマットに変換してもよい。例えば、３Ｄコンテンツを生成する際、仮想コンテンツは、特定の画像の部分が、特定の深度面に表示される一方、その他が、他の深度面に表示されるように、フォーマット化される必要があり得る。一実施形態では、画像は全て、特定の深度面に生成されてもよい。別の実施形態では、画像生成プロセッサ７１０は、ともに視認されると、仮想コンテンツがユーザの眼にコヒーレントかつ快適に現れるように、若干異なる画像を右および左眼に提供するようにプログラムされてもよい。

画像生成プロセッサ７１０はさらに、メモリ７１２と、ＧＰＵ７１４と、ＣＰＵ７１６と、画像生成および処理のための他の回路網とを含んでもよい。画像生成プロセッサ７１０は、システム７００のユーザに提示されるべき所望の仮想コンテンツでプログラムされてもよい。いくつかの実施形態では、画像生成プロセッサ７１０は、システム７００内に格納されてもよいことを理解されたい。他の実施形態では、画像生成プロセッサ７１０および他の回路網は、システム７００に結合される、ベルトパック内に格納されてもよい。いくつかの実施形態では、画像生成プロセッサ７１０またはその１つまたはそれを上回るコンポーネントは、ローカル処理およびデータモジュール（例えば、ローカル処理およびデータモジュール１３０）の一部であってもよい。上記に述べられたように、ローカル処理およびデータモジュール１３０は、フレーム構造１０２に固定して取り付けられる（図２）、ヘルメットまたは帽子５６に固定して取り付けられる（図３）、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図４）、またはベルト結合式構成においてエンドユーザ５０の腰部６０に除去可能に取り付けられる（図５）等、種々の構成において搭載されてもよい。

画像生成プロセッサ７１０が、所望される仮想コンテンツと関連付けられる光を投影する、光源７２０と、１つまたはそれを上回る空間光変調器７４０とに動作可能に結合される。光源７２０は、コンパクトであって、かつ高分解能を有する。光源７２０は、コントローラ／ＤＢ７３０に動作可能に結合される。光源７２０は、種々の幾何学的構成に配置される、色特有ＬＥＤおよびレーザを含んでもよい。代替として、光源７２０は、各１つずつディスプレイの視野の具体的領域にリンクされる、同様の色のＬＥＤまたはレーザを含んでもよい。別の実施形態では、光源７２０は、放出面積および位置のセグメント化のためのマスクオーバーレイを伴う、白熱灯または蛍光灯等の広域エミッタを含んでもよい。光源７２０は、直接、図２Ｂにおけるシステム７００に接続されるが、光源７２０は、光ファイバ（図示せず）を介して、本システム７００に接続されてもよい。本システム７００はまた、光源７２０からの光をコリメートするように構成される、集光器（図示せず）を含んでもよい。

ＳＬＭ７４０は、種々の例示的実施形態では、反射性（例えば、ＬＣＯＳ、ＦＬＣＯＳ、ＤＬＰ ＤＭＤ、またはＭＥＭＳミラーシステム）、透過性（例えば、ＬＣＤ）、または発光性（例えば、ＦＳＤまたはＯＬＥＤ）であってもよい。ＳＬＭ７４０のタイプ（例えば、速度、サイズ等）は、３Ｄ知覚の作成を改良するように選択されることができる。より高いリフレッシュレートで動作されるＤＬＰ ＤＭＤが、定常システム７００の中に容易に組み込まれ得るが、ウェアラブルシステム７００は、より小さいサイズおよび電力のＤＬＰを使用してもよい。ＤＬＰの電力は、３Ｄ深度面／焦点面が作成される方法を変化させる。画像生成プロセッサ７１０は、ＳＬＭ７４０に動作可能に結合され、これは、光源７２０からの光を所望の仮想コンテンツでエンコーディングする。光源７２０からの光は、それがＳＬＭ７４０から反射する、そこから放出する、またはそれを通して通過するとき、画像情報でエンコーディングされてもよい。

ＳＬＭ７４０からの光は、ＳＬＭ７４０によって１つの深度面および／または色のために画像データでエンコーディングされた光ビームが、ユーザの眼への送達のために、単一ＬＯＥ７９０に沿って事実上伝搬されるように、ＬＯＥ７９０に指向される。各ＬＯＥ７９０が、所望される深度面またはＦＯＶ角位置から生じるように現れる画像またはサブ画像をユーザの網膜上に投影するように構成される。光源７２０およびＬＯＥ７９０は、したがって、空間内の種々の深度面または位置から生じるように現れる、画像（同期して、コントローラ／ＤＢ７３０の制御下、ＳＬＭ７４０によってエンコーディングされる）を選択的に投影することができる。光源７２０およびＬＯＥ７９０のそれぞれを使用して、十分に高フレームレート（例えば、６０Ｈｚの事実上完全体積フレームレートにおいて、６つの深度面に関して３６０Ｈｚ）において、画像を順次投影することによって、システム７００は、３Ｄ画像内に同時に存在するように現れる、仮想オブジェクトの３Ｄ画像を種々の深度面に生成することができる。

コントローラ／ＤＢ７３０は、画像生成プロセッサ７１０、光源７２０、およびＳＬＭ７４０と通信し、それに動作可能に結合され、ＳＬＭ７４０に、光源７２０からの光ビームを画像生成プロセッサ７１０からの適切な画像情報でエンコーディングするように命令することによって、画像の同期表示を協調させる。本システムは、画像生成プロセッサ７１０を含むが、コントローラ／ＤＢ７３０もまた、いくつかの実施形態では、例えば、メモリ７１２、ＧＰＵ７１４、および／またはＣＰＵ７１６のプロセスを含む、少なくともいくつかの画像生成プロセスを実施してもよい。いくつかの実施形態では、コントローラ／ＤＢ７３０は、例えば、メモリ７１２、ＧＰＵ７１４、および／またはＣＰＵ７１６等、画像生成プロセッサ７１０内に示される、１つまたはそれを上回るコンポーネントを含んでもよい

システム７００はまた、ユーザの眼を追跡し、ユーザの輻輳・開散運動点およびユーザの眼毎の方向を決定するように構成される、眼追跡サブシステム７５０を含んでもよい。眼追跡サブシステム７５０はまた、画像をより効率的に生成し、および／または離散モードで（例えば、ユーザの輻輳・開散運動点および／またはユーザの眼毎の方向を使用して）画像を表示するために、ユーザ／視認者の焦点に対応する深度面を識別するように構成され得る。一実施形態では、システム７００は、画像が、図９Ａおよび９Ｂに示されるように、ユーザの焦点と一致する、所望の深度面に生成されるように、眼追跡サブシステム７５０からの入力に基づいて、離散モードにおいて、ＬＯＥ７９０のサブセットを照明するように構成される。例えば、ユーザの焦点が、無限遠にある場合（例えば、ユーザの眼が相互に平行であり、他の要因が下記に説明される）、システム７００は、画像が光学無限遠から生じるように現れるように、コリメートされた光をユーザの眼に送達するように構成される、ＬＯＥ７９０を照明してもよい。別の実施例では、眼追跡サブシステム７５０が、ユーザの焦点が１メートル離れていることを決定する場合、その範囲内にほぼ合焦するように構成される、ＬＯＥ７９０が、代わりに、照明されてもよい。深度範囲全体に近似する深度面が、ブレンドモードにおいて、同時に（またはほぼ同時に）照明される、実施形態では、眼追跡サブシステム７５０は、依然として、ユーザの焦点を識別することによって、より効率的な画像をレンダリングすることを有効にし得る。
例証的ユーザ／視認者焦点深度決定システムおよび方法

図１２Ａは、近および遠立方体８１０、８１２、および円柱８１４が、近深度面０に隣接する、近立方体８１０への視認者８１６の焦点を追跡することに応答して、近深度面０上に投影される、離散モードディスプレイを描写する。近深度面０への投影は、近深度面０より遠深度面１により近い、遠立方体８１２および円柱８１４に関してさえ、視認者に近深度面０への遠近調節をもたらす。離散モードで動作するために、本システムは、視認者８１６の焦点（「焦点面」）に対応する、深度面を識別または取得しなければならない。

図１３および１４は、システムを描写し、図１６は、視認者８１６の焦点面を決定するための方法を描写する。ステップ１６１２では（図１６参照）、ディスプレイシステム（例えば、その眼追跡サブシステム）は、視認者８１６の視線経路１３５０を追跡する（図１３および１４参照）。ディスプレイシステムは、視線経路１３５０を追跡するために、眼追跡サブシステム（上記に説明される）を使用してもよい。いくつかの実施形態では、ディスプレイシステムは、１つまたはそれを上回る視線経路を追跡する。例えば、ディスプレイシステムは、視認者８１６の左眼のみ、右眼のみ、または両眼のための視線経路を追跡してもよい。ステップ１６１４において、ディスプレイシステムは、視認者８１６の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために、３Ｄ画像データを分析する。視認者８１６の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために３Ｄ画像データを分析するステップは、３Ｄデータに対応する、深度セグメント化データを分析するステップを含んでもよい。ステップ１６１６において決定されるように、視認者８１６の視線経路と交差する、１つの仮想オブジェクトのみが存在する場合、ディスプレイシステムは、交点において交差する仮想オブジェクトの深度を、ステップ１６１８における視認者８１６の焦点面の深度として識別する。

特に、図１３および１４は、視認者８１６の視線経路１３５０が、近立方体８１０のみを交差することを示す。図１４は、近立方体８１０が、１４１０の深度を有し、遠立方体８１２が、１４１２の深度を有し、円柱８１４が、１４１４の深度を有することを示す。図１４はまた、本システムが、１つまたはそれを上回る深度１４０８において画像を投影することが可能であることを示す。本システムは、近立方体８１０が視認者８１６の視線経路１３０５と交差する仮想オブジェクトのみであることを決定しているため、本システムは、近立方体８１０の深度１４１０を視認者８１６の焦点面の深度として識別する。必要ではないが、視認者８１６の焦点面を決定するための本システムおよび方法は、仮想オブジェクト８１０、８１２、８１４が、すでに視認者８１６に表示されていると、より正確である。そのような実施形態では、視認者８１６の視線経路１３５０は、視認者８１６が、特定の仮想オブジェクト（例えば、近立方体８１０）に合焦する可能性が高いことを示す。

視認者の視線経路が１つを上回る仮想オブジェクトを交差する実施形態（すなわち、ステップ１６１６における「いいえ」）では、ディスプレイシステムは、ステップ１６２０－１６２６における随意の方法に沿って進んでもよい。ステップ１６２０において、ディスプレイシステムは、視認者の第２の視線経路を追跡する。いくつかの実施形態では、第１の視線経路は、ユーザの第１の眼と関連付けられ、第２の視線経路は、ユーザの第２の眼と関連付けられる。ステップ１６２２では、ディスプレイシステムは、視認者の第２の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために、３Ｄ画像データを分析する。ステップ１６２４において決定されるように、視認者の視線経路および第２の視線経路の両方を交差する１つのみの仮想オブジェクトが存在する場合、ディスプレイシステムは、ステップ１６２６において、交差する仮想オブジェクトの深度を視認者の焦点面の深度として識別する。

いくつかの実施形態では、ディスプレイシステムは、視認者の眼の輻輳・開散運動点を決定するために、眼追跡サブシステムを使用してもよい。次いで、ディスプレイシステムは、視認者の焦点面の深度のその識別を確認するために、決定された輻輳・開散運動点を使用してもよい。

離散ディスプレイモード実施形態では、ディスプレイシステムは、３Ｄ画像データに対応する仮想オブジェクトを表示するために、視認者の識別された焦点面（例えば、その深度）を使用してもよい。

図１２Ｂは、いくつかの実施形態による、ブレンドモード合成ライトフィールドを描写する。ブレンドディスプレイモードでは、近および遠立方体８１０、８１２、および円柱８１４は、本システムの光学軸（「Ｚ軸」）に沿って、近および遠立方体８１０、８１２および円柱８１４の個別の場所に隣接する、個別の仮想深度面１２１０、１２１２、１２１４上に「仮想的に投影される」。近および遠深度面０、１のみが、実際には、照明されるため、近および遠立方体８１０、８１２、および円柱８１４のみが、仮想的に投影される。上記に説明されるように、仮想深度面１２１０、１２１２、１２１４上への仮想投影は、近および遠深度面０、１上に投影されたサブ画像のスカラーブレンドを通して、シミュレートされる。仮想深度面１２１０、１２１２、１２１４のそれぞれに投影される２Ｄ画像のレンダリングは、その中にオブジェクトのブレンドを含んでもよい。

視認者の焦点面（例えば、その深度）の識別は、ブレンドディスプレイモードでオブジェクトを表示するために必要ではないが、視認者の焦点面を識別し、ブレンドモードディスプレイシステムがそのハードウェア制限（処理、表示、メモリ、通信チャネル等）内で動作することを可能にする。特に、視認者の焦点面が、ブレンドモードディスプレイシステムが、視認者の焦点面において仮想オブジェクトの表示のためにシステムリソースを効率的に分配することを可能にする場合である。

ブレンドディスプレイモードシステムに関して、本方法は、３Ｄデータを分析し、視認者８１６の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別する代わりに、ディスプレイシステムが、視認者８１６の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために、ブレンドモードディスプレイの２Ｄ画像フレームのみを分析し得るという点で、簡素化されることができる。これは、ディスプレイシステムがより少ないデータを分析することを可能にし、それによって、システム効率性を増加させ、システムリソース需要を低減させる。

上記の実施形態は、ユーザの深度／視認者の焦点を決定するための種々の異なる方法を含む。ユーザ／視認者の焦点深度を決定するステップは、ディスプレイシステムが焦点深度において離散ディスプレイモードでオブジェクトを投影することを可能にし、それによって、ディスプレイシステム上の需要を低減させる。そのような低減された需要は、ディスプレイおよびプロセッサ速度、電力、および熱生成を含む。ユーザ／視認者の焦点深度を決定するステップはまた、ディスプレイシステムが、システムリソースをユーザ／視認者の焦点面上の画像に分配しながら、ブレンドディスプレイモードでオブジェクトを投影することを可能にする。さらに、上記に説明されるユーザ／視認者焦点面決定ステップは、他の焦点面決定技法より効率的であり、速度、電力、および熱生成の観点から、プロセッサ性能を改良する。
システムアーキテクチャ概要

図１７は、本開示の実施形態を実装するために好適な例証的コンピューティングシステム１７００のブロック図である。コンピュータシステム１７００は、情報を通信するためのバス１７０６または他の通信機構を含み、これは、プロセッサ１７０７、システムメモリ１７０８（例えば、ＲＡＭ）、静的記憶デバイス１７０９（例えば、ＲＯＭ）、ディスクドライブ１７１０（例えば、磁気または光学）、通信インターフェース１７１４（例えば、モデムまたはイーサネット（登録商標）カード）、ディスプレイ１７１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス１７１２（例えば、キーボード）、およびカーソル制御等のサブシステムおよびデバイスを相互接続する。

本開示の一実施形態によると、コンピュータシステム１７００は、プロセッサ１７０７がシステムメモリ１７０８内に含有される１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行することによって、具体的動作を実施する。そのような命令は、静的記憶デバイス１７０９またはディスクドライブ１７１０等の別のコンピュータ可読／使用可能媒体からシステムメモリ１７０８の中に読み込まれてもよい。代替実施形態では、有線回路網が、本開示を実装するために、ソフトウェア命令の代わりに、またはそれと組み合わせて使用されてもよい。したがって、本開示の実施形態は、ハードウェア回路網および／またはソフトウェアの任意の具体的組み合わせに限定されない。一実施形態では、用語「論理」は、本開示の全部または一部を実装するために使用される、ソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。

本明細書で使用されるような用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、実行のために命令をプロセッサ１７０７に提供する際に関わる、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ１７１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ１７０８等の動的メモリを含む。

一般的形態のコンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ（例えば、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ）、任意の他のメモリチップまたはカートリッジ、またはそこからコンピュータが読み取ることができる、任意の他の媒体を含む。

本開示のある実施形態では、本開示を実践するための命令のシーケンスの実行は、単一コンピュータシステム１７００によって実施される。本開示の他の実施形態によると、通信リンク１７１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つまたはそれを上回るコンピュータシステム１７００が、相互に協調して本開示を実践するために要求される、命令のシーケンスを実施してもよい。

コンピュータシステム１７００は、通信リンク１７１５および通信インターフェース１７１４を通して、プログラム、すなわち、アプリケーションコードを含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、受信されるにつれて、プロセッサ１７０７によって実行され、および／またはディスクドライブ１７１０または後の実行のための他の不揮発性記憶装置内に記憶されてもよい。記憶媒体１７３１内のデータベース１７３２は、データインターフェース１７３３を介してシステム１７００によってアクセス可能なデータを記憶するために使用されてもよい。

上記に説明されるブレンドモード実施形態は、２つの深度面（例えば、近および遠深度面）を含むが、他の実施形態は、２つを上回る深度面を含んでもよい。深度面の数を増加させることは、それを用いて仮想深度面がシミュレートされる、忠実性を増加させる。しかしながら、本忠実性の増加は、現在のポータブル３Ｄレンダリングおよびディスプレイシステムにおいて利用可能なリソースを超え得る、ハードウェアおよび処理需要の増加によって相殺される。

本開示のある側面、利点、および特徴が、本明細書に説明される。必ずしも、全てのそのような利点が、本開示の任意の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、本開示は、必ずしも、本明細書に教示または提案され得るような他の利点を達成せずに、本明細書に教示されるような１つの利点または利点のグループを達成または最適化する様式において、具現化または実行されてもよい。

実施形態は、付随の図面に関連して説明されている。しかしながら、図は、正確な縮尺で描かれていないことを理解されたい。距離、角度等は、単に、例証的であって、必ずしも、図示されるデバイスの実際の寸法およびレイアウトに対する正確な関係を保つわけではない。加えて、前述の実施形態は、当業者が、本明細書に説明されるデバイス、本システム、方法、および同等物を作製および使用することを可能にするような詳細のレベルにおいて説明されている。様々な変形例も、可能性として考えられる。コンポーネント、要素、および／またはステップは、改変、追加、除去、または再配列されてもよい。

本明細書に説明されるデバイスおよび方法は、有利なこととして、少なくとも部分的に、例えば、コンピュータソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせを使用して実装されることができる。ソフトウェアモジュールは、本明細書に説明される機能を実施するために、コンピュータのメモリ内に記憶される、コンピュータ実行可能コードを含むことができる。いくつかの実施形態では、コンピュータ実行可能コードは、１つまたはそれを上回る汎用コンピュータによって実行される。しかしながら、当業者は、本開示に照らして、汎用コンピュータ上で実行されることになるソフトウェアを使用して実装され得る、任意のモジュールもまた、ハードウェア、ソフトウェア、またはファームウェアの異なる組み合わせを使用して実装されることができることを理解するであろう。例えば、そのようなモジュールは、完全に、集積回路の組み合わせを使用して、ハードウェア内に実装されることができる。代替として、または加えて、そのようなモジュールは、完全または部分的に、汎用コンピュータによってではなく、本明細書に説明される特定の機能を実施するように設計される、特殊コンピュータを使用して実装されることができる。加えて、少なくとも部分的に、コンピュータソフトウェアによって行われる、または行われ得る、方法が、説明される場合、そのような方法は、コンピュータまたは他の処理デバイスによって読み取られると、それに方法を行わせる、非一過性コンピュータ可読媒体上に提供され得ることを理解されたい。

ある実施形態が、明示的に説明されているが、他の実施形態も、本開示に基づいて、当業者に明白となるであろう。

本明細書に説明される種々のプロセッサおよび他の電子コンポーネントは、光を投影するための任意の光学システムと併用するために好適である。本明細書に説明される種々のプロセッサおよび他の電子コンポーネントはまた、音声コマンドを受信するための任意のオーディオシステムと併用するために好適である。

本開示の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本開示のより広義に適用可能な側面を例証するために提供される。種々の変更が、説明される本開示に行われてもよく、本開示の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス作用、またはステップを本開示の目的、精神、または範囲に適合させるために行われてもよい。さらに、当業者によって理解されるであろうように、本明細書で説明および例証される個々の変形例はそれぞれ、本開示の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離される、またはそれらと組み合わせられる、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられた請求項に記載の範囲内であることが意図される。

本開示は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙された順序で行われてもよい。

本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本開示の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般または論理的に採用されるような付加的作用の観点から、本開示の方法ベースの側面に関しても当てはまり得る。

加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）が、本開示の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。

また、説明される変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つまたはそれを上回るものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。

そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。

本開示の範疇は、提供される実施例および／または本明細書に限定されるべきではなく、むしろ、本開示と関連付けられた請求項の言語の範囲によってのみ限定されるべきである。

前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われてもよいことが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (10)

1. ３次元（「３Ｄ」）ディスプレイデバイスのユーザの焦点深度を決定するための方法であって、
   前記ユーザの第１の視線経路を追跡することと、
   前記ユーザの前記第１の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために３Ｄデータを分析することと、
   １つのみの仮想オブジェクトが、前記ユーザの前記第１の視線経路と交差するとき、前記１つのみの仮想オブジェクトの深度を前記ユーザの焦点深度として識別することと
   を含む、方法。
2. 前記１つまたはそれを上回る仮想オブジェクトはそれぞれ、前記ユーザから個別の深度において表示される、請求項１に記載の方法。
3. 前記複数の３Ｄデータを分析することは、３Ｄデータに対応する深度セグメント化データを分析することを含む、請求項１に記載の方法。
4. １つを上回る仮想オブジェクトが、前記ユーザの第１の視線経路と交差するとき、
   前記ユーザの第２の視線経路を追跡することと、
   前記ユーザの第２の視線経路に沿って、前記１つまたはそれを上回る仮想オブジェクトを識別するために３Ｄデータを分析することと、
   １つのみの仮想オブジェクトが、前記ユーザの第１の視線経路および第２の視線経路の両方と交差するとき、１つのみの２Ｄ画像フレームの深度を前記ユーザの焦点深度として識別することと
   をさらに含む、請求項１に記載の方法。
5. 前記ユーザの輻輳・開散運動焦点深度を生成するために、輻輳・開散運動分析を前記ユーザに実施することと、
   前記ユーザの焦点深度の正確度を改良するために、前記ユーザの輻輳・開散運動焦点深度を使用することと
   をさらに含む、請求項１に記載の方法。
6. ３次元（「３Ｄ」）ディスプレイデバイスのユーザの焦点深度を決定するための方法であって、
   前記ユーザの第１の視線経路を追跡することと、
   前記ユーザの前記第１の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために、前記ディスプレイデバイスによって表示される複数の２次元（「２Ｄ」）画像フレームを分析することと、
   前記複数の２Ｄ画像フレームの１つのみが、前記ユーザの第１の視線経路に沿って、仮想オブジェクトを含むとき、前記１つのみの２Ｄ画像フレームの深度を前記ユーザの焦点深度として識別することと
   を含む、方法。
7. 前記複数の２Ｄ画像フレームはそれぞれ、前記ユーザから個別の深度において表示される、請求項６に記載の方法。
8. 前記複数の２Ｄ画像フレームを分析することは、前記複数の２Ｄ画像フレームに対応する深度セグメント化データを分析することを含む、請求項６に記載の方法。
9. 前記複数の２Ｄ画像フレームの１つを上回るものが、前記ユーザの第１の視線経路に沿って、仮想オブジェクトを含むとき、
   前記ユーザの第２の視線経路を追跡することと、
   前記ユーザの第２の視線経路に沿って、１つまたはそれを上回る仮想オブジェクトを識別するために、前記ディスプレイデバイスによって表示される前記複数の２Ｄ画像フレームを分析することと、
   前記複数の２Ｄ画像フレームの１つのみが、前記ユーザの第１の視線経路および第２の視線経路の両方に沿って、仮想オブジェクトを含むとき、前記１つのみの２Ｄ画像フレームの深度を前記ユーザの焦点深度として識別することと
   をさらに含む、請求項６に記載の方法。
10. 前記ユーザの輻輳・開散運動焦点深度を生成するために、輻輳・開散運動分析を前記ユーザに実施することと、
    前記ユーザの焦点深度の正確度を改良するために、前記ユーザの輻輳・開散運動焦点深度を使用することと
    をさらに含む、請求項６に記載の方法。

Images