JP5908491B2 - 拡張現実表示のための自動合焦の改良 - Google Patents

Description

従来技術

[0001] 拡張現実(augmented reality)とは、仮想形像(imagery)を実世界の物理環境または空間と混合することを可能にする技術である。通例、仮想物体および実物体の混合形像を見るために、ユーザーは透過ニアアイ・ディスプレイ(see through near eye display)を着用する。

ニアアイ・ディスプレイは、通例、光学素子と立体素子(stereopsis)との組み合わせを使用して、仮想形像を固定距離において合焦する。ユーザーの合焦能力のために、見えるにしても空間の一部でしか現実および仮想双方の物体を明白に見ることができないことに、ユーザーが制限される可能性がある。

[0002] 本技術は、混合実現または拡張実現ディスプレイのために物体の合焦を改良する実施形態を提供する。ユーザーは、ニアアイ・ディスプレイ・デバイスを介して場面を見る。この場面は、物理環境または空間内に１つ以上の実物体を含み、ユーザーは直接彼または彼女の目でこの環境または空間を見る。透視ディスプレイ・デバイスの場合、ユーザーはこのディスプレイ・デバイスの透明なレンズまたは透視レンズを介して実物体を直接見る。このディスプレイ・デバイスによって、１つ以上の仮想物体が、ユーザーの目の位置の少なくとも一方に投射される。こうして、実場面の表示が、仮想物体によって拡張される。

[0003] 一実施形態では、本技術は、ユーザーによって見られるように位置付けられた可変焦点レンズを含む透視ディスプレイ・デバイスを含む拡張現実システムを提供する。透視ディスプレイ・デバイスに取り付けられたマイクロディスプレイ・アセンブリーによって、仮想画像が生成される。この仮想画像は、ユーザーの少なくとも一方の目の中に投射されるので、ユーザーは、可変焦点レンズを通して見たときに、仮想物体および実物体の双方を見る。１つ以上のプロセッサーが、アクセス可能なメモリー内に格納されているソフトウェアの制御の下で、現在のユーザーの焦点領域を判定する。このプロセッサーは、現在のユーザーの焦点領域において可変焦点レンズを合焦するために、焦点領域調節ユニットを制御する。

[0004] 他の実施形態では、拡張現実システムはズーム機構(zoom feature)を設ける。プロセッサーは、ズーム機構および現在のユーザーの焦点領域に基づいて焦点距離を判定し、焦点領域調節ユニットは、判定された焦点距離に基づいて可変焦点レンズを調節する。

[0005] 他の実施形態では、本技術は、拡張現実システムにおいて物体の焦点を改良する方法を提供する。実物体を含む空間の三次元モデルにおけるユーザーの視野が、現在のユーザーの焦点領域として判定される。ユーザーによって見られるように位置付けられた可変焦点レンズが、現在のユーザーの焦点領域において合焦するように、少なくとも一方の目に対して自動的に調節される。１つ以上の仮想物体が、ユーザーの視野内において実世界の焦点距離において表示される。ユーザーの視野内の物体の1つの画像が視覚的に強調される。一例では、実物体が視覚的に強調される。

[0006] この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化された形式で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を決定するときに補助として使用されることを意図するのでもない。

図１Ａは、拡張現実ディスプレイにおいて焦点の改良を与えるシステムの一実施形態のコンポーネント例を示すブロック図である。 図１Ｂは、ユーザーによって見られるように位置付けられた可変焦点レンズを含む頭部装着ディスプレイ・ユニットの一実施形態の一部の上面図である。 図１Ｃは、ユーザーによって見られるように位置付けられた可変焦点レンズを含む頭部装着ディスプレイ・ユニットの他の実施形態の一部の上面図である。 図２Ａは、ニアアイ・ディスプレイのマイクロディスプレイ・アセンブリーの一部として使用する回転可能レンズ・システムの一例である。 図２Ｂ１は、流体レンズが呈する異なる曲率半径の例である。流体レンズは、マイクロディスプレイ・アセンブリーの一部として使用される。 図２Ｂ２は、流体レンズが呈する異なる曲率半径の例である。流体レンズは、マイクロディスプレイ・アセンブリーの一部として使用される。 図２Ｂ３は、マイクロディスプレイ・アセンブリーの一部として、または透視可変焦点レンズとして使用することができる焦点領域調節ユニットのほかの例である。 図２Ｃは、ニアアイ・ディスプレイのマイクロディスプレイ・アセンブリーの一部として使用する複屈折レンズ・システムの一例である。 図２Ｄは、マイクロディスプレイ・アセンブリーの一部として使用する挿入可能レンズ・システム(insertable lens system) の一例である。 図３は、頭部装着ディスプレイ・ユニットのコンポーネントの一実施形態のブロック図である。 図４は、頭部装着ディスプレイ・ユニットと関連する処理ユニットのコンポーネントの一実施形態のブロック図である。 図５は、頭部装着ディスプレイ・ユニットと共に使用されるハブ計算システムのコンポーネントの一実施形態のブロック図である。 図６は、本明細書において記載するハブ計算システムを実現するために使用することができる計算システムの一実施形態のブロック図である。 図７は、ユーザーに対して合焦する仮想コンテンツの焦点を可変にすることができるマルチユーザー・システムを示すブロック図である。 図８は、拡張現実ディスプレイにおける合焦改良のためのプロセスの一実施形態を説明するフローチャートである。 図９は、空間のモデルを作るプロセスの一実施形態を説明するフローチャートである。 図１０は、モデルを複数の物体に区分するプロセスの一実施形態を説明するフローチャートである。 図１１は、物体を識別するプロセスの一実施形態を説明するフローチャートである。 図１１Ａは、動く物体に応答してモデルを更新するプロセスの一実施形態を説明するフローチャートである。 図１２Ａは、現在のユーザーの焦点領域において可変焦点レンズを調節するプロセスの一実施形態を説明するフローチャートである。 図１２Ｂは、ズーム機構に対して可変焦点レンズを調節するプロセスの一実施形態を説明するフローチャートである。 図１３は、ニアアイ・ディスプレイを見ているユーザーによって仮想物体が見られるときに、この仮想物体に焦点を合わせて表示するプロセスの一実施形態を説明するフローチャートである。 図１４は、ハブがユーザーおよび／または頭部装着ディスプレイ・ユニットの位置および向きを追跡するときのプロセスの一実施形態を説明するフローチャートである。 図１５は、目の位置を追跡するプロセスの一実施形態を説明するフローチャートである。 図１６は、ユーザーの視野およびユーザーの焦点領域を判定するプロセスの一実施形態を説明するフローチャートである。 図１７Ａは、アセンブリーの少なくとも１つのレンズを変位させることによって、マイクロディスプレイ・アセンブリーの焦点領域を変化させるプロセスの一実施形態を説明するフローチャートである。 図１７Ｂは、アセンブリーの少なくとも１つのレンズの偏光を変位させることによって、マイクロディスプレイ・アセンブリーの焦点領域を変化させるプロセスの一実施形態を説明するフローチャートである。 図１７Ｃは、アセンブリーの少なくとも１つの流体レンズの曲率半径を変位させることによって、マイクロディスプレイ・アセンブリーの焦点領域を変化させるプロセスの一実施形態を説明するフローチャートである。 図１８Ａは、拡張現実ディスプレイにおける異なる焦点領域に仮想物体画像を生成するプロセスの一実施形態を説明するフローチャートである。 図１８Ｂは、拡張現実ディスプレイにおける異なる焦点領域に仮想物体画像を生成するプロセスの他の実施形態を説明するフローチャートである。 図１９は、ユーザーの視野において仮想画像によって実物体を強調するプロセスの一実施形態を説明するフローチャートである。

[0037] 本技術は、混合現実または拡張現実ディスプレイのために可変焦点を得る実施形態を提供する。一実施形態では、システムは、拡張現実のためのニアアイ・ディスプレイとして、透過ディスプレイ・デバイスと、この透過ディスプレイ・デバイスと通信可能な処理ユニットとを含む。以下で論ずる実施形態では、透過ディスプレイは、１組のめがね内にあるが、他のＨＭＤフォーマットおよびニアアイ・ディスプレイ・ホルダーも使用することができる。

[0038] ユーザーの自然な視界(sight)が、透過ディスプレイによって見られる場面において実物体を実際にそして直接見るために使用される。言い換えると、ユーザーは、人間の目によって実世界の物体を見る。ソフトウェア、例えば、ゲーミング・アプリケーションを実行するコンテキストに基づいて、本システムは仮想画像をディスプレイ上に投射することができ、これらの仮想画像は、頭部装着ディスプレイ・デバイスを着用している人によって見つつ、この人はディスプレイを介して現実世界の物体も見ることができる。

[0039] １つ以上のセンサーが、ユーザーが見る物理環境をスキャンするために使用され、こうしてスキャンされた環境の三次元モデルを築くことができるデーターを提供する。このモデルは実物体に区分され、そして以下で説明するように、仮想物体画像の位置によって拡張される。

[0040] 加えて、仮想画像をどこに投射すべきか決定するために、ユーザーの頭の位置および向き、ならびに目の位置を検出するために、種々のセンサーが使用される。本システムは、自動的に、ユーザーがどこを見ているのか追跡するので、本システムは、透視ディスプレイ・デバイスの表示によって、ユーザーの視野を解明することができる。ユーザーを追跡するには、深度カメラ、および深度センサー、画像センサー、慣性センサー、眼位センサー等を含む種々のセンサーのうち任意のものを使用することができる。ユーザーの視野の他に、本システムは、視野の中のどの位置にユーザーの焦点が合わされているか、またはユーザーが見ているか判断する。これは、多くの場合、ユーザー焦点領域と呼ばれている。

[0041] 実施形態では、ユーザー焦点領域は、パナムの融合エリア(Panum's fusional area)として知られているボリューム(volume)であり、このエリアでは、人間の目は物体を単一視(single vision)で見る。人間は、双眼視(vinocular vision)または立体視(stereoptic vision)を有する。各目は異なる視点から画像を生成する。このパナムの融合エリアという小さなボリュームのみにおいて、人間は単一視で物体を見る。これは、一般に、物体に焦点が合っていると言われるときに意味することである。このエリアの外側では、物体はぼやけて見えるか、または二重画像として現れる可能性がある。パナムの融合エリアの中央内に、ユーザーの目の焦点を含むホロプター(Horopter)がある。ユーザーの焦点が空間内の一点において合っているとき、この点を以後焦点(focal point)と呼ぶが、この焦点は湾曲線上に位置する。空間におけるこの湾曲線上にある物体は、眼窩において目の網膜上に来る。この湾曲線は、ときとして水平ホロプターと呼ばれることもある。また、垂直ホロプターもあり、これはその湾曲線を通過する線であって、その曲線上の焦点よりも上では目から離れるように傾き、そしてその曲線上の焦点よりも下では目に向かって傾く。ホロプターという用語は、以後使用する場合、その垂直成分および水平成分の双方を指すものとする。

[0042] 一旦システムがユーザーの視野およびユーザーの焦点領域を把握したなら、システムは、ニアアイ・ディスプレイ・デバイスの表示によってどこに１つ以上の仮想物体画像を投射すべきか解明することができる。ニアアイ・ディスプレイ・デバイスのマイクロディスプレイ・アセンブリーが、ユーザーの視野内に仮想物体を生成し、視野内におけるユーザーの焦点領域に仮想物体を置くことができる。

[0043] 異なるユーザーは、異なる焦点距離において異なる合焦能力を有し、彼らの視力または視界の明確さに影響を及ぼす。多くの人は屈折誤差を有し、このために数フィート以上の距離における物体に合焦することが困難になる。これらの人々は近視である。特に、人が老化すると老眼を患い、近い物体に合焦する目の能力が低下するが、これは多くの人とって同様である。したがって、多くの人は、老化するにしたがって老眼鏡が必要になる。屈折誤差を補うために、眼科の専門家によって、研削(ground)、固定焦点めがねが処方される。ユーザーは、彼または彼女のニアアイ・ディスプレイ内に処方レンズを有することができる。しかしながら、これは、通例、距離処方(distance prescription)であって、老眼鏡の処方ではないので、老眼のユーザーは近い物体を明確に見ることはできない。加えて、特に子供および４０歳以上の成人にとって、処方は常に最新ではない。

[0044] 実施形態の中には、透視ディスプレイ・デバイスが、ユーザーによって見られるように位置付けられた可変焦点レンズを含む場合もある。ユーザーが焦点領域において実物体および仮想物体を見ているとき、焦点領域調節ユニットが可変レンズを焦点領域に合焦する。つまり、ユーザーは、焦点領域において、焦点が合った実物体および仮想物体を見る。実施形態の中には、可変焦点レンズがズーム機構を設けることができ、ユーザーにスーパー・ビジョン(super vision)またはスペリア・ビジョン(superior vision)の選択肢を可能にする場合もある。スペリア・ビジョンの一例は、通常の視野、例えば、２０／２０または６／６を有する人ができるよりも、遠くを見ることができる。

[0045] また、実物体を含む物体の可視性または知覚を高めて、物体を知覚するまたは合焦するユーザーの能力を高めるためにも、仮想画像を採用することができる。
[0046] 図１Ａは、拡張現実ディスプレイにおいて合焦改良を行うシステム１０の一実施形態のコンポーネント例を示すブロック図である。システム１０は、ニアアイ頭部装着ディスプレイ・デバイス２のような、ワイヤ６によって処理ユニット４と通信可能な透過ディスプレイ・デバイスを含む。他の実施形態では、頭部装着ディスプレイ・デバイス２は処理ユニット４とワイヤレス通信によって通信する。頭部装着ディスプレイ・デバイス２は、一実施形態では、フレーム１１５におけるめがねの形状となっており、フレーム１１５がユーザーの頭部に装着され、ユーザーがディスプレイを透視しこれによってユーザーの前方にある空間の実際の直接視(direct view)を有することができるようになっている。「実際の直接視」という用語の使用は、作られた物体の画像表現を見るのではなく、人間の目で直接実世界の物体を見る能力を指す。例えば、ガラスを通して室内を見ると、ユーザーはその部屋の実際の直接視を有することができ、一方テレビジョンにおいて部屋のビデオを見ることは、その部屋の実際の直接視ではない。頭部装着ディスプレイ・デバイス２のこれ以上の詳細については、以下で説明する。

[0047] 一実施形態では、処理ユニット４は、ユーザーの手首に着用され、頭部装着ディスプレイ・デバイス２を動作させるために使用される計算パワーの多くを含む。処理ユニット４は、１つ以上のハブ計算システム１２にワイヤレスで通信する（例えば、ＷｉＦｉ、Bluetooth、赤外線、または他のワイヤレス通信手段）。

[0048] ハブ計算システム１２は、コンピューター、ゲーミング・システムまたはコンソール等であってもよい。一実施形態例によれば、このハブ計算システム１２がゲーミング・アプリケーション、ゲーム以外のアプリケーション等のようなアプリケーションを実行するために使用できるように、ハブ計算システム１２はハードウェア・コンポーネントおよび／またはソフトウェア・コンポーネントを含むことができる。一実施形態では、ハブ計算システム１２は、本明細書において記載するプロセスを実行するためにプロセッサー読み取り可能記憶デバイスに格納されている命令を実行することができる、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等のようなプロセッサーを含むことができる。

[0049] 更に、ハブ計算システム１２は、キャプチャー・デバイス２０Ａおよび２０Ｂのような、１つ以上のキャプチャー・デバイスも含む。他の実施形態では、２つよりも多いまたは少ないキャプチャー・デバイスを使用することができる。一実現例では、キャプチャー・デバイス２０Ａおよび２０Ｂは、部屋の異なる部分を取り込むように、異なる方向に照準を向けられる。尚、２つのキャプチャー・デバイスの視野が多少重複し、ハブ計算システム１２が、これらのキャプチャー・デバイスの視野が互いにどのように関係するのか把握できるようにすると有利であると考えられる。このように、複数のキャプチャー・デバイスを使用して、部屋全体（または他の空間）を視認する(view)ことができる。あるいは、１つのキャプチャー・デバイスを動作中にパンニングすることができる場合、ときの経過につれて関連する空間全体がそのキャプチャー・デバイスによって見られるように、このキャプチャー・デバイスを使用することができる。

[0050] キャプチャー・デバイス２０Ａおよび２０Ｂは、例えば、１人以上のユーザーおよび周囲の空間を視覚的に監視するカメラとするとよく、１人以上のユーザーによって行われるジェスチャーおよび／または動き、更には周囲の空間の構造を取り込み、分析し、追跡して、アプリケーションにおいて１つ以上の制御または動作(action)を実行する、および／またはアバターまたは画面上のキャラクターを動画化することができるとよい。

[0051] ハブ計算システム１２は、ゲームまたはアプリケーションの映像部分を供給することができるテレビジョン、モニター、高品位テレビジョン（ＨＤＴＶ）等のようなオーディオビジュアル・デバイス１６に接続されていてもよい。例えば、ハブ計算システム１２は、ゲーム・アプリケーション、ゲーム以外のアプリケーション等と関連するオーディオビジュアル信号を供給することができる、グラフィクス・カードのようなビデオ・アダプター、および／またはサウンド・カードのようなオーディオ・アダプターを含んでもよい。オーディオビジュアル・デバイス１６は、ハブ計算システム１２からオーディオビジュアル信号を受けることができ、次いでこのオーディオビジュアル信号と関連するゲームまたはアプリケーションの映像部分および／またはオーディオを出力することができる。一実施形態によれば、オーディオビジュアル・デバイス１６は、ハブ計算システム１２に、例えば、Ｓ−Ｖｉｄｅｏケーブル、同軸ケーブル、ＨＤＭＩケーブル、ＤＶＩケーブル、ＶＧＡケーブル、コンポーネント・ビデオ・ケーブル、ＲＣＡケーブルなどによって接続されるとよい。一例では、オーディオビジュアル・デバイス１６は内部スピーカを含む。他の実施形態では、オーディオビジュアル・デバイス１６、別のステレオ、またはハブ計算システム１２が外部スピーカ２２に接続される。

[0052] ハブ計算デバイス１０は、キャプチャー・デバイス２０Ａおよび２０Ｂと共に、人間（または他のタイプの）ターゲットを認識、分析、および／または追跡するために使用することができる。例えば、キャプチャー・デバイス２０Ａおよび２０Ｂを使用して、頭部装着ディスプレイ・デバイス２を着用しているユーザーを追跡することができ、ユーザーのジェスチャーおよび／または動きを取り込んでアバターまたは画面上のキャラクターを動画化することができ、および／またはハブ計算システム１２が実行しているアプリケーションに影響を及ぼすために使用することができる制御として、ユーザーのジェスチャーおよび／または動きを解釈することもできる。

[0053] 図１Ｂは、頭部装着ディスプレイ・デバイス２の一部の上面図を示し、テンプル１０２および鼻ブリッジ１０４を含むフレーム１１５の一部を含む。フレーム１１５は、本システムのエレメントを適所に保持するためのサポートとして、そして電気接続のための導体としての機能を有する。頭部装着ディスプレイ・デバイス２の右側だけが図示されている。鼻ブリッジ１０４内には、以下で説明するように、音を記録しそのオーディオ・データーを処理ユニット４に送るマイクロフォン１１０が組み込まれている。頭部装着ディスプレイ・デバイス２の前方には、ビデオ・カメラ１１３に面する物理環境がある。ビデオ・カメラ１１３は、ビデオおよび静止画像を取り込むことができる。これらの画像は、以下で説明するように、処理ユニット４に送られる。

[0054] 頭部装着ディスプレイ・デバイス２のコンポーネントを示すために、フレーム１１５の一部が点線で示されて、その内部に配置されている透視レンズ１１６、１１８、および１１９、ならびに可変焦点レンズ１１９の焦点領域調節ユニット１３９のエレメント１３９ａ、１３９ｂ、１３９ｃが見えるようにしている。サポート・エレメント１３９ｃは、ガラスまたはプラスチックのような、透視材料で作るとよい。この実施形態では、フレーム１１５は、以下で更に論ずる本システムのエレメントのサポートとして、便利なめがねフレームとなる。他の実施形態では、他のサポート構造を使用することができる。このような構造の一例に、バイザーがある。

[0055] レンズ１１９は、可変焦点レンズである。可変焦点レンズの一例に液体レンズがある。この例では、レンズは可撓性表面１１７を含み、この可撓性表面１１７がその形状を変化させることができる。例えば、これは、一層凸に作る、直線状に作る、または一層凹に作ることができる。この例では、透視レンズ１１６および１１８が、埃のような物理環境における要因からの保護、および液体充填可変レンズに落下することの保護を与える。レンズ１１６および１１８は、めがねに使用される標準的なレンズとすればよく、いずれかまたは双方が処方（prescription)を含んでもよい。他の実施形態では、透視デバイスは、１つだけの他の標準的なレンズまたは可変焦点レンズ１１９を含むのでもよく、同様にフレーム１１５内部に、ごみや落下のような環境的要因からの保護としてのガラスまたはプラスチックによって密閉される。曲率半径に作用することによって液体レンズの実施形態の光学パワーまたは焦点長(focal length)に作用する焦点領域調節ユニット１３９の一例は、以下で図２Ｂ１および図２Ｂ２において示す。レンズの光学パワーは、焦点長の逆数、例えば、１／焦点長と定められるので、一方が変化すると、他方に影響を及ぼす。一例では、レンズ１１９は、Ｍｙｌａｒ（登録商標）の１バージョンのような透明なフィルムで作るとよく、あるいは液体は、Ｄｏｗ−Ｃｏｒｎｉｎｇ社のＤＣ−７０３またはＤＣ−７０５のような、シリコン・オイルとするとよい。

[0056] マイクロディスプレイ・アセンブリー１７３は、光処理エレメントと、可変焦点調節器１３５とを含む。光処理エレメントの一例は、マイクロディスプレイ・ユニット１２０である。他の例には、レンズ・システム１２２の１つ以上のレンズというような１つ以上の光学エレメント、ならびに表面１２４ａおよび１２４ｂのような１つ以上の反射エレメントが含まれる。レンズ・システム１２２は、１つのレンズまたは複数のレンズを含むでもよい。

[0057] テンプル１０２に取り付けられた、またはその内側に取り付けられたマイクロディスプレイ・ユニット１２０は、画像ソースを含み、仮想物体の画像を生成する。マイクロディスプレイ・ユニット１２０は、光学的にレンズ・システム１２２ならびに反射面１２４ａおよび１２４ｂと整列されている。この光学的整列は、光軸１３３に沿うとよく、または１本以上の光軸を含む光路１３３に沿ってもよい。マイクロディスプレイ・ユニット１２０は、仮想物体の画像を、レンズ・システム１２２を介して投射する。レンズ・システム１２２は、画像光を反射エレメント１２４ａ（例えば、ミラーまたは他の表面）上に導き、反射エレメント１２４ａは仮想画像の光を、部分的に反射するエレメント１２４ｂに導く。部分的反射エレメント１２４ｂは、仮想画像視野(virtual image vision)１４３を自然のまたは実際の直視野(direct view)１４２とを組み合わせる。これらの視野の組み合わせは、ユーザーの目１４０に導かれる。

[0058] 可変焦点調節器１３５は、マイクロディスプレイ・アセンブリーの光路における１つ以上の光処理エレメント間の変位、またはマイクロディスプレイ・アセンブリー内のエレメントの光学パワー(optical power)を変化させる。光学パワーは、その焦点長の逆数、例えば、１／焦点長と定められ、したがって、一方が変化すると他方に影響を及ぼす。この変化の結果、マイクロディスプレイ・アセンブリー１７３によって生成される画像に対して焦点が合う視野の領域が変化する。

[0059] 変位変化を起こすマイクロディスプレイ・アセンブリー１７３の一例では、変位変化は、アーマチャー１３７内部で導かれる。アーマチャー１３７は、この例では、レンズ・システム１２２およびマイクロディスプレイ１２０のような、少なくとも１つの光処理エレメントを支持する。アーマチャー１３７は、エレメントの物理的動きの間光路１３３に沿った整列を安定させて、選択された変位または選択された光学パワーを得るのに役立つ。例の中には、調節器１３５がアーマチャー１３７内部でレンズ・システム１２２におけるレンズのような１つ以上の光学エレメントを動かすとよい場合もある。他の例では、このアーマチャーは、光処理エレメントの周囲のエリアに溝または空間を有し、光学処理エレメントを動かすことなく、エレメント、例えば、マイクロディスプレイ１２０を超えて滑るようにすることができる。変位の範囲は、通例、数ミリメートル（ｍｍ）程度である。一例では、この範囲は１〜２ｍｍである。他の例では、アーマチャー１３７は、以下の図２Ａから図２Ｄの例において論ずるような、変位以外の他の物理パラメーターの調節を伴う焦点調節技法のために、レンズ・システム１２２に対する支持を与えることができる。

[0060] 一例では、調節器１３５は、圧電モーターのようなアクチュエーターであってもよい。アクチュエーターのための他の技術を使用してもよく、このような技術の例をいくつか挙げると、コイルと永久磁石によって形成されたボイス・コイル、磁気歪みエレメント、および電気歪みエレメントがある。

[0061] マイクロディスプレイ１２０を実現するために使用することができる画像生成技術には複数の異なるものがある。例えば、マイクロディスプレイ１２０は、透過型投射技術を使用して実現することができる。この場合、光源は、白色光によるバックライトを受ける、光学的にアクティブな材料によって変調される。これらの技術は、通常、強力なバックライトおよび高い光エネルギー密度を有するＬＣＤ型ディスプレイを使用して実現される。また、マイクロディスプレイ１２０は、反射技術を使用して実現することもできる。この場合、外部光が反射され光学的にアクティブな材料によって変調される。技術に依存して、白色光源またはＲＧＢ光源のいずれかによって、照明が前方に照らされる。ディジタル光処理（ＤＬＰ）、シリコン上液晶（ＬＣＯＳ）、およびQualcomm, inc.（クアルコム社）からのMirasol（登録商標）表示技術は全て反射技術の例である。これらの技術は、殆どのエネルギーが変調構造(modulated structure)から遠ざかるように反射されるので効率的であり、本明細書において記載するシステムにおいて使用することができる。加えて、マイクロディスプレイ１２０は、発光技術(emissive technology)を使用して実現することもできる。この場合、光はディスプレイによって生成される。例えば、Microvision, Inc.（マイクロビジョン社）からのＰｉｃｏＰ（登録商標）は、レーザー信号を、マイクロ・ミラー制御(steering)によって、透過エレメントとして作用する小さな画面上に出すか、または直接目に向けて送る（例えば、レーザー）。

[0062] また、また、頭部装着ディスプレイ・デバイス２は、ユーザーの目の位置を追跡するシステムも含む。以下で説明するが、このシステムは、ユーザーの視野を判定できるようにユーザーの位置および向きを追跡する。しかしながら、人間は、彼らの前にあるあらゆるものを認知する訳ではない。逆に、ユーザーの目は環境の内一部に向けられる。したがって、一実施形態では、本システムは、ユーザーの視野の測定をリファインするために、ユーザーの目の位置を追跡する技術を含む。例えば、頭部装着ディスプレイ・デバイス２は、目追跡アセンブリー１３４（図１Ｂ参照）を含む。目追跡アセンブリー１３４は、目追跡照明デバイス１３４Ａ、および目追跡カメラ１３４Ｂ（図３参照）を含む。一実施形態では、目追跡照明源１３４Ａは、１つ以上の赤外線（ＩＲ）発光器を含み、ＩＲ光を目に向けて放出する。目追跡カメラ１３４Ｂは、反射したＩＲ光を検知する１つ以上のカメラを含む。

[0063] 瞳の位置は、角膜の反射を検出する既知の撮像技法によって特定することができる。例えば、２００８年７月２２日にOphir et al.,に発行された"Head Mounted Eye Tracking and Display System"（頭部装着目追跡および表示システム）と題する米国特許第７，４０１，９２０号を参照のこと。この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。このような技法は、追跡カメラに対する目の中心の位置を突き止めることができる。一般に、目の追跡には、目の画像を得て、コンピューター映像技法を使用して眼窩内部にある瞳の位置を判定する必要がある。一実施形態では、１つの目の位置を追跡すれば十分である。なぜなら、目は通常一緒に動くからである。しかしながら、各目を別々に追跡することも可能である。

[0064] 一実施形態では、本システムは、矩形配列とした４つの赤外線（ＩＲ）ＬＥＤおよび４つのＩＲ光検出器を使用し、頭部装着ディスプレイ・デバイス２のレンズの角毎に１つずつのＩＲ ＬＥＤおよびＩＲ光検出器がある。ＬＥＤからの光は目で反射する。４つのＩＲ光検出器の各々において検出された赤外線光量によって、瞳の方向を判定する。即ち、目における白および黒の量から、その特定の光検出器に対して目から反射する光の量を判定する。こうして、光検出器は、目における白または黒の量を測定する。４つのサンプルから、本システムは目の方向を判定することができる。

[0065] 他の代替案は、先に論じたように、４つの赤外線ＬＥＤを使用するが、頭部装着ディスプレイ・デバイス２のレンズの側には１つの赤外線撮像デバイスしか使用しない。この撮像デバイスは、小型のミラーおよび／またはレンズ（魚眼）を使用し、この撮像デバイスがめがねのフレームから見ることができる目の７５％までを撮像することができるようにしている。次いで、この撮像デバイスは、先に論じたのと全く同じように、画像を検知し、コンピューター映像を使用して画像を発見する。つまり、図１Ｂは１つのＩＲ発光器を有する１つのアセンブリーを示すが、図１Ｂの構造は、４つのＩＲ送信機および／または４つのＩＲセンサーを有するように調節することができる。４つよりも多いまたは少ないＩＲ送信機および／またはＩＲセンサーを使用することもできる。

[0066] 目の方向を追跡する他の実施形態では、電荷追跡に基づく。この概念は、網膜が測定可能な正の電荷を保持し (carry)、角膜は負の電荷を有するという観察に基づく。目が動き回る間に電位を検出するために、ユーザーの耳にセンサーを装着し（イヤホン１３０の近く）、目が何をしているのかリアル・タイムで効果的に読み出すことができる。目を追跡するための他の実施形態を使用することもできる。

[0067] 制御回路１３６は、頭部装着ディスプレイ・デバイス２の他のコンポーネントをサポートする種々の電子回路を設ける。制御回路１３６のこれ以上の詳細については、以下で図４に関して示すことにする。テンプル１０２の内側に、またはテンプル１０２に取り付けられたイヤホン１３０、慣性センサー１３２、および温度センサー１３８がある。一実施形態では、慣性センサー１３２は、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃ（図３参照）を含む。慣性センサーは、頭部装着ディスプレイ・デバイス２の位置、向き、急激な加速を検知するためである。

[0068] 図１Ｂは、頭部装着ディスプレイ・デバイス２の半分のみを示す。頭部装着ディスプレイ・デバイス全体では、もう１組の透視レンズ、他の不透明フィルター、他の導光光学エレメント、他のマイクロディスプレイ１２０、他のレンズ・システム１２２、部屋に面するカメラ１１３、目追跡アセンブリー１３４、イヤホン１３０、および温度センサー１３８を含む。

[0069] 図１Ｃは、ユーザーによって見られるように位置付けられた可変焦点レンズを含む頭部装着ディスプレイ・デバイスの他の実施形態の一部の上面図である。この例では、可変焦点レンズ１１９は液体レンズである。この実施形態では、反射エレメント１２４が画像を導光光学エレメント１１２に導く。導光光学エレメント１１２は、マイクロディスプレイ１２０からの光を透過させて、頭部装着ディスプレイ・デバイス２を着用しているユーザーの目１４０に向かわせる。また、導光光学エレメント１１２は、矢印１４２によって示されるように、頭部装着ディスプレイ・デバイス２の前方からの光も、導光光学エレメント１１２を介して目１４０に向けて透過させることができ、これによってユーザーがマイクロディスプレイ１２０からの仮想画像を受けることに加えて、頭部装着ディスプレイ・デバイス２の前方にある空間の実際の直接視を有することを可能にする。つまり、導光光学エレメント１１２の壁は、透視性(see−through)である。

[0070] 導光光学エレメント１１２は、反射面１２４を含む。マイクロディスプレイ１２０からの光は、レンズ・システム１２２を通過して、反射面１２４に入射する。反射面１２４は、マイクロディスプレイ１２０からの入射光を反射して、導光光学エレメント１１２を含む平面基板の内側に、内反射によって光が取り込まれるようにする。この基板の表面を数回反射した後、取り込まれた光波は、選択的反射面１２６のアレイに到達する。尚、図面が混みすぎるのを防止するために、５つの表面のうち１つだけに１２６を付していることを注記しておく。反射面１２６は、基板の外側からこれらの反射面上に入射した光波を、ユーザーの目１４０に結合する。異なる光線が進行し異なる角度で基板の内側から反射する(bounce off)と、異なる光線が種々の反射面１２６に異なる角度で衝突する。したがって、異なる光線が、反射面の異なる１つ１つによって、基板から反射される。どの光線をどの表面１２６によって基板から反射させるかという選択は、表面１２６の適した角度を選択することによって管理される。導光光学エレメントのこれ以上の詳細については、米国特許出願公開２００８／０２８５１４０、第１２／２１４，３６６号において見いだすことができる。この出願は、"Substrate−Guide Optical Device"（基板誘導光学デバイス）と題し、２００８年１１月２０日に公開された。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。一実施形態では、各目がそれ自体の導光光学エレメント１１２を有する。頭部装着ディスプレイ・デバイスが２つの導光光学エレメントを有するとき、各目はそれ自体のマイクロディスプレイ１２０を有し、双方の目に同じ画像を表示すること、または２つの目に異なる画像を表示することができる。他の実施形態では、１つの導光光学エレメントが、光を双方の目に反射させることができる。

[0071] この例では、レンズ１１９は可撓性メンブレーン１１７ａ、１１７ｂを両側に有する。図２Ｂ３の例において更に論ずるが、焦点領域調節ユニット１３９ａ、１３９ｂは、リザーバーを有することができ、レンズ１１９に液体を充填するため、そしてレンズ１１９から液体を取り出すためのポンプとして使用することができる。

[0072] 図１Ｃは、頭部装着ディスプレイ・デバイスの半分のみを示す。頭部装着ディスプレイ・デバイス全体では、他の可変焦点レンズ１１９、他の導光光学エレメント１１２、他のマイクロディスプレイ１２０、他のレンズ・システム１２２、部屋に面するカメラ１１３、目追跡アセンブリー１３４、イヤホン１３０、および温度センサー１３８を含む。

[0073] 図２Ａから図２Ｄは、マイクロディスプレイ・アセンブリーの異なる実施形態を示す。各実施形態の委細について論ずる前に、頂点距離変更の説明を行う。前述のように、マイクロディスプレイ・アセンブリー１７３の光処理エレメントの構成から、仮想物体が画像において現れる焦点距離または焦点領域が求められる。この構成を変更すると、仮想物体画像の焦点領域が変化する。光処理エレメントによって決定される焦点領域は、式１／Ｓ_１＋１／Ｓ_２＝１／ｆに基づいて決定および変更することができる。

[0074] 記号ｆは、マイクロディスプレイ・アセンブリー１７３におけるレンズ・システム１２２のような、レンズの焦点長を表す。レンズ・システム１２２は、前節点(front nodal point)および後節点を有する。光線がいずれかの節点に向けて、光軸に対して所与の角度で導かれると、光線は他方の節点から光軸に対して等価な角度で現れる。一例では、レンズ・システム１２２の後節点は、それ自体と図１Ｃまたは図１Ｂにおけるマイクロディスプレイ１２０との間にある。後節点から反射エレメント１２４、１２４ａまでの距離をＳ_２で示すことができる。前節点は、通例、レンズ・システム１２２の数ｍｍ以内にある。目標位置は、ユーザーの物理空間の三次元モデルにおいてマイクロディスプレイ１２０によって生成される仮想画像の位置である。（モデルの作成についてのこれ以上の詳細は、以下の図９〜図１１Ａの論述を参照のこと）。前節点から仮想画像の目標位置までの距離はＳ_１で示すことができる。画像は、レンズのマイクロディスプレイ１２０と同じ側に現れる仮想画像になるので、符号の慣例により、Ｓ_１は負の値を有することになる。

[0075] レンズの焦点長が固定されている場合、仮想物体を異なる深度で合焦するためには、Ｓ_１およびＳ_２を変化させる。例えば、初期位置において、Ｓ_１を無限遠に設定し、Ｓ_２をレンズ・システム１２２の焦点長に等しく設定するとよい。レンズ・システム１２２の焦点長が１０ｍｍであると仮定して、仮想物体をユーザーの視野内約１フィートまたは３０ｃｍに置く例について考える。この場合、Ｓ_１は約−３００ｍｍであり、ｆは１０ｍｍであり、Ｓ_２は現焦点距離である１０ｍｍの初期位置にあり、レンズ・システム１２２の後節点が反射エレメント１２４、１２４ａから１０ｍｍのところにあることを意味する。１／（−３００）＋１／Ｓ_２＝１／１０に基づいて、レンズ１２２と反射エレメント１２４、１２４ａとの間における新たな距離または新たな変位を決定する。ここで、全ての単位はｍｍである。その結果、Ｓ_２は約９．６７ｍｍとなる。

[0076] 一例では、処理ユニット４は、Ｓ_１およびＳ_２について変位値を計算することができ、焦点長ｆを固定のままにして、制御回路１３６に、駆動信号を可変調節器ドライバー２３７（図３参照）に送らせて、例えば、可変仮想焦点調節器１３５にレンズ・システム１２２を光路１３３に沿って移動させることができる。他の実施形態では、レンズ・システム１２２を動かす代わりにまたはそれに加えて、マイクロディスプレイ・ユニット１２０を動かしてもよい。

[0077] 他の実施形態では、レンズ・システム１２２における少なくとも１つのレンズの焦点長を、代わりに変化させるか、または光路１３３に沿った変位の変化と共に変化させるのでもよい。マイクロディスプレイ・アセンブリーの様々な実施形態を、図２Ａから図２Ｄに示す。示されている具体的なレンズの数は、単なる例に過ぎない。同じ原理で動作する他の数または構成のレンズを使用してもよい。更に、前述のように、可調節液体レンズの論述は、仮想物体を合焦させて置くためにマイクロディスプレイ・アセンブリーにおいて使用されるこのようなレンズ、および拡張現実ディスプレイにおいて実物体に焦点を合わせるための透視可変焦点レンズとして使用されるこのようなレンズの双方に該当する。

[0078] 図２Ａは、ニアアイ・ディスプレイのマイクロディスプレイ・アセンブリーの一部として使用するための回転レンズ・システムの一例である。レンズ１２２ａから１２２ｄまでの各々は、異なる焦点距離を有し、可変仮想焦点調節器１３５によって回転可能なディスク・サポート１６０内に支持されている。処理ユニット４は、焦点領域を決定し、その焦点領域を得るために、焦点距離レンズから１つを選択する。図３に関して示すように、制御回路１３６の可変調節器ドライバー２３７は、少なくとも１つの制御信号を可変仮想焦点調節器１３５に送り、選択されたレンズがアセンブリーの光路１３３内に整列するように、ディスクを回転させる。

[0079] 図２Ｂ１および図２Ｂ２は、Hongwen et al., Tunable−focus liquid lens controlled using a servo motor （サーボ・モータを使用して制御する、焦点調節可能な流体レンズ）,OPTICS EXPRESS, 4, September 2006, Vol. 14, No. 18, pp. 8031−8036に示されるような異なる曲率半径を呈する流体レンズの例である。流体レンズは、マイクロディスプレイ・アセンブリーの一部として使用することができる。このレンズの焦点距離は、曲率半径を変化させることによって、変化させることができる。曲率半径Ｒと焦点距離ｆとの間の関係は、ｆ＝Ｒ／ｎ_liquid−１によって示される。レンズの液体または流体の屈折率は、ｎ_liquidである。

[0080] この実施形態は、可撓性の外部メンブレーン１５２、一例ではラバー・メンブレーンをその一部として有するまたは繋がれている環状密封リングのような、サポート１３７を含む。外部メンブレーン１５３は、液体１５６のリザーバーと接触している。レンズ・メンブレーン１５０が、液体レンズ１５８の可撓側の上に載っているか、またはこれを形成する。液体レンズ１５８は、チャネル１５９を介して、液体をリザーバー１５６から受けることができ、そして液体をリザーバー１５６に放出することができる。この引用している例では、可撓性レンズ・メンブレーン１５０は、ポリジメティルシロキサン（ＰＤＭＳ）エラストマー・メンブレーンのような、伸縮性メンブレーンである。液体セルの後ろにあるガラス板１５４が、サポートを設ける。可変仮想焦点調節器１３５は、図３Ｂ２に示すような、可撓性外部メンブレーン１５２の押圧および解放により、リザーバー１５６内にある体積の水が液体レンズ１５８に入ったり出たりさせることにより、液体の体積変化によって可撓性メンブレーン１５０をへこませ、そして伸縮性メンブレーン１５０を弛緩させる。液体体積の変化が、レンズ・メンブレーン１５０の曲率半径の変化を起こし、したがって液体レンズ１５８の焦点長の変化を起こす。曲率半径と体積変化ΔＶとの間の関係は、次のように表すことができる。

ここで、ｒ_０はレンズ・アパーチャーの半径である。
[0081] レンズ１２２が可変焦点レンズであるときのマイクロディスプレイ・アセンブリー１７３の例では、アーマチャー１３７は、ガラス板１５４および可撓性メンブレーン部分１５２を使用してまたは使用しないで、制御回路１３６によって図２Ｂ２に示すように押圧し解放する（図２Ｂ１参照）ように制御される可変仮想焦点調節器１３５のための支持構造１５７を設けることができる。同様に、透視可変レンズ１１９が液体レンズ１５８に類似し、その可撓性表面１１７がメンブレーン１５０に類似する例では、支持エレメント１３９ｃは、ガラス板１５４を使用するまたは使用しない支持構造１５７に類似する。側面サポート１３９ａ、１３９ｂの各々は、側面壁１５７に類似する。側面サポート１３９ａ、１３９ｂの一方または双方は、リザーバー１５６および可撓性外部メンブレーン１５２を含むことができ、制御回路１３６のドライバーの制御の下で、リザーバー１５６に対して可撓性外部メンブレーン１５２を押し込むことができそして解放することができる。他の実施形態では、チャネル１５９を解放および閉鎖して液体の体積を調節することができる。更に、可撓性外部メンブレーン１５２の代わりに、ポンプを使用してもよい。

[0082] 図２Ｂ１および図２Ｂ２は、機械的調節によって可変焦点液体レンズの光学パワーを調節する例を示す。液体レンズを調節する他の方法も使用してもよい。例えば、液体レンズの光学パワーを変化させるために、電気湿潤(electro−wetting)も使用してもよい。Schowengerdt et al.のVariable Fixation Viewing Distance Scanned Light Displays（可変固定目視距離走査光ディスプレイ）と題する米国特許出願２００８／０１１７２８９を参照のこと。

[0083] 図２Ｂ３は、焦点領域調節ユニットの他の例である。これは、マイクロディスプレイ・アセンブリーの一部として、または透視可変焦点レンズとして、液体レンズに使用することができる。レンズ１５８は、図１Ｃにおける可変焦点レンズ１１９のように配置されており、このレンズの両側に、１１７ａおよび１１７ｂのような可撓性メンブレーン１５０ａおよび１５０ｂを有する。焦点領域調節ユニット１３９ａおよび１３９ｂは、各々、サポート１５７ａ、１５７ｂ、リザーバー１５６ａ、１５６ｂ、チャネル１５９ａ、１５９ｂ、および外部可撓性メンブレーン１５２ａ、１５２ｂを含むことができる。焦点領域ユニット・ドライバー２３９の制御の下で、圧電アクチュエーターまたはモーターのようなアクチュエーターまたはモーターによって、外部可撓性メンブレーン１５２ａ、１５２ｂを押圧および解放することができる。他の実施形態では、チャネル１５９ａ、１５９ｂも開放および閉鎖し、ポンプによって動作してレンズ１１９における液体体積を制御することができる。

[0084] 図２Ｃは、ニアアイ・ディスプレイのマイクロディスプレイ・アセンブリーの一部として使用する複屈折レンズ・システムの一例である。複屈折材料は、異方性であり、即ち、方向に依存する。例示的な構造として、光を光線と記述すると、複屈折レンズは、光を通常光線と異常光線とに分解する。１つの異方性軸または光軸について、異なる屈折率、したがって異なる焦点距離が、異なる偏光に対して、つまり、１つは軸に対して平行な偏光、もう１つは軸に対して垂直な偏光に対して、存在することができる。図２Ｃの例では、レンズ１２２ａおよび１２２ｂは複屈折材料で作られたレンズであり、矢印で示すように異なる偏光を有する。この２つのレンズの例では、４つの異なる屈折率または焦点距離を選択のために予め決めることができる。異なる焦点距離には各々、処理ユニット４による選択のために、異なる焦点領域と関連付けることができる。偏光の組み合わせは、図２Ｃに示すように、レンズ１２２ａおよび１２２ｂの垂直偏光、図２Ｃに示すものとは逆の垂直偏光、一方向に同じ偏光を有する２枚のレンズ、そして他方の偏光方向に同じ偏光を有する２枚のレンズとすることができる。一実施形態では、可変仮想焦点調節器は、電圧を各レンズに印加して、選択された偏光を実施することができる。他の実施形態では、物理的な応力を加えて、レンズの偏光を変化させることもできる。

[0085] 図２Ｄは、マイクロディスプレイ・アセンブリーの一部として使用する挿入可能レンズ・システム(insertable lens system)の一例である。この実施形態では、複数のレンズ１２２の各々は、アーマチャー１３７に取り付けられているそれぞれのアーム１２３に取り付けられている。各アーム１２３は、その１つ以上の光学エレメント１２２、例えば、レンズまたはレンズ・システム１２２を、可変仮想焦点調節器１３５の制御下で、マイクロディスプレイ・アセンブリーの光路１３３においてある変位の位置に動かす。例えば、予め設定されている焦点領域に対する所定の変位が使用されている場合、各レンズ１２２は、その近隣からある距離、例えば、０．１ミリメートル（ｍｍ）だけ離れて設定することができる。また、均一でない間隔や、調節可能な変位も使用することができる。あるいは、挿入される各エレメントの焦点距離を、所望の仮想画像距離に作用するように選択することもできる。

[0086] レンズの焦点長を調節する以上の例の各々において、光路１３３に沿った変位を行うこともできる。
[0087] マイクロディスプレイ・アセンブリーおよび焦点領域調節ユニットの処理は、仮想画像がユーザーの焦点領域、例えば、パナムの融合エリア、人間の単一視のエリアに現れるように、そのそれぞれの目の視野(perspective)に対して目毎に実行することができる。

[0088] 図３は、頭部装着ディスプレイ・デバイス２の種々のコンポーネントを示すブロック図である。図４は、処理ユニット４の種々のコンポーネントを説明するブロック図である。頭部装着ディスプレイ・デバイス１２は、そのコンポーネントが図３に示されており、ユーザーの実世界視野(view)と焦点が合う仮想画像を供給するために使用される。加えて、図３の頭部装着ディスプレイ・デバイスのコンポーネントは、種々の状態を追跡する多くのセンサーを含む。頭部装着ディスプレイ・デバイスは、仮想画像についての命令を処理ユニット４から受け、逆にセンサー情報を処理ユニット４に提供する。処理ユニット４は、そのコンポーネントが図５に示されており、頭部装着ディスプレイ３から、そしてハブ計算デバイス１２（図１参照）からもセンサー情報を受ける。この情報に基づいて、処理ユニット４は、焦点が合った仮想画像をどこにそしていつユーザーに供給すべきか判断し、それに応じて命令を図３の頭部装着ディスプレイ・デバイスに送る。

[0089] 尚、図３のコンポーネントの一部（例えば、物理環境対面カメラ１１３、目追跡カメラ１３４Ｂ、可変仮想焦点調節器１３５、マイクロディスプレイ１２０、不透明フィルター１１４、目追跡照明１３４Ａ、イヤホン１３０、および温度センサー１３８）は、これらのデバイスが各々２つずつあり、１つが頭部装着ディスプレイ・デバイス２の左側、そして１つが右側にあることを示すために、陰を付けて（in shadow)図示されていることを注記しておく。図３は、電力管理回路２０２と通信可能な制御回路２００を示す。制御回路２００は、プロセッサー２１０、メモリー２１４（例えば、Ｄ−ＲＡＭ）と通信可能なメモリー・コントローラー２１２、カメラ・インターフェース２１６、カメラ・バッファー２１８、ディスプレイ・ドライバー２２０、ディスプレイ・フォーマッター２２２、タイミング・ジェネレーター２２６、ディスプレイ出力インターフェース２２８、およびディスプレイ入力インターフェース２３０を含む。一実施形態では、制御回路２２０のコンポーネントは全て、互いに、専用線または１つ以上のバスを介して通信可能になっている。他の実施形態では、制御回路２００のコンポーネントは各々、プロセッサー２１０と通信可能になっている。カメラ・インターフェース２１６は、２つの物理環境対面カメラ１１３に対するインターフェースを設け、物理環境直面カメラから受けた画像をカメラ・バッファー２１８に格納する。ディスプレイ・ドライバー２２０は、マイクロディスプレイ１２０を駆動する。ディスプレイ・フォーマッター２２２は、マイクロディスプレイ１２０上に表示されている可動画像についての情報を、１つ以上のコンピューター・システム４、１２、２１０の１つ以上のプロセッサーに提供する。タイミング・ジェネレーター２２６は、システムにタイミング・データーを供給するために使用される。ディスプレイ出力２２８は、物理環境対面カメラ１１３から処理ユニット４に画像を供給するためのバッファーである。ディスプレイ入力２３０は、マイクロディスプレイ１２０に表示しようとする仮想画像のような画像を受けるためのバッファーである。ディスプレイ出力２２８およびディスプレイ入力２３０は、処理ユニット４に対するインターフェースである帯域インターフェース２３２と通信する。

[0090] 電力管理回路２０２は、電圧レギュレーター２３４、目追跡照明ドライバー２３６、可変調節器ドライバー２３７、焦点領域ユニット・ドライバー２３９、オーディオＤＡＣおよび増幅器２３８、マイクロフォン・プリアンプおよびオーディオＡＤＣ２４０、温度センサー・インターフェース２４２、ならびにクロック・ジェネレーター２４４を含む。電圧レギュレーター２３４は電力を処理ユニット４から帯域インターフェース２３２を介して受け、その電力を頭部装着ディスプレイ・デバイス２の他のコンポーネントに供給する。目追跡照明ドライバー２３６は、前述のように、ＩＲ光源を目追跡照明１３４Ａのために設ける。オーディオＤＡＣおよび増幅器２３８は、オーディオ情報をイヤホン１３０から受ける。マイクロフォン・プリアンプおよびオーディオＡＤＣ２４０は、マイクロフォン１１０に対するインターフェースを設ける。温度センサー・インターフェース２４２は、温度センサー１３８に対するインターフェースである。また、電力管理ユニット２０２は、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃに電力を供給し、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃからは逆にデーターを受ける。

[0091] 可変調節器ドライバー２３７は、制御信号、例えば、駆動電流または駆動電圧を調節器１３５に供給し、マイクロディスプレイ・アセンブリーの１つ以上のエレメントを動かして、焦点領域に対する変位を行う。この変位は、処理ユニット４またはハブ・コンピューター１２あるいは双方において実行するソフトウェアによって計算される。ある範囲の変位にわたって、したがって焦点領域の範囲にわたって掃引する実施形態では、可変調節器ドライバー２３７は、タイミング信号をタイミング・ジェネレーター２２６から、または代わりにクロック・ジェネレーター２４４から受け、プログラミングされたレートまたは頻度で動作する。

[0092] 焦点領域ユニット・ドライバー２３９は、制御信号、例えば、ドライバー電流または駆動電圧を、機械的に調節する例では、焦点領域調節ユニット１３９に供給し、ユニット１３９の１つ以上のエレメントを動かして、処理ユニット４またはハブ・コンピューター１２あるいは双方において実行するソフトウェアによって計算された調節値に基づいて可変焦点レンズ１１９の光学パワーを変化させる。例えば、リザーバー１５６と、レンズ１１９内の液体に対するチャネル１５９とを含む側面サポート１３９ａ、１３９ｂの内一方の可撓性メンブレーン１５２を、焦点領域ユニット・ドライバー２３９からの駆動信号に応答する圧電アクチュエーターのようなアクチュエーターによって押圧または解放することができる。

[0093] 図４は、処理ユニット４の種々のコンポーネントを説明するブロック図である。図４は、電力管理回路３０６と通信可能な制御回路３０４を示す。制御回路３０４は、中央処理ユニット３２０、グラフィクス処理ユニット３２２、キャッシュ３２４、ＲＡＭ３２６、メモリー３３０（例えば、Ｄ−ＲＡＭ）と通信可能なメモリー制御３２８、フラッシュ・メモリー３３４（または他のタイプの不揮発性ストレージ）と通信可能なフラッシュ・メモリー・コントローラー３３２、帯域インターフェース３０２および帯域インターフェース２３２を介して頭部装着ディスプレイ・デバイス２と通信可能なディスプレイ出力バッファー３２６、帯域インターフェース３０２および帯域インターフェース２３２を介して頭部装着ディスプレイ・デバイス２と通信可能なディスプレイ入力バッファー３３８、マイクロフォンに接続するために外部マイクロフォン・コネクター３４２と通信可能なマイクロフォン・インターフェース３４０、ワイヤレス通信デバイス３４６に接続するためのＰＣＩエクスプレス・インターフェース、ならびにＵＳＢポート（１つまたは複数）３４８を含む。一実施形態では、ワイヤレス通信コンポーネント３４６は、Ｗｉ−Ｆｉ対応通信デバイス、Bluetooth通信デバイス、赤外線通信デバイス等を含むことができる。ＵＳＢポートは、処理ユニット４をハブ計算デバイス１２にドッキングして、データーまたはソフトウェアを処理ユニット４および充電処理ユニット(charge processing unit 4)にロードするために使用することができる。一実施形態では、ＣＰＵ３２０およびＧＰＵ３２２は、どこに、いつ、そしてどのように仮想画像をユーザーの視野に挿入すべきか判断するための主要な機械(workhorse)である。これ以上の詳細は、以下で示す。

[0094] 電力管理回路３０６は、クロック・ジェネレーター３６０、アナログ／ディジタル変換器３６２、バッテリー充電器３６４、電圧レギュレーター３６６、頭部装着ディスプレイ電源３７６、および温度センサー３７４（処理ユニット４の手首バンド上に配置されている）と通信可能な温度センサー・インターフェース３７２を含む。交流／直流変換器３６２が、ＡＣ供給電力を受け、本システムのためにＤＣ供給電力を発電するために、充電ジャック３７０に接続されている。電圧レギュレーター３６６は、本システムに電力を供給するために、バッテリー３６８と通信可能になっている。バッテリー充電器３６４は、充電ジャック３７０から電気を受けたときに、バッテリー３６８を充電する（電圧レギュレーター３６６を介して）ために使用される。ＨＭＤ電力インターフェース３７６は、電力を頭部装着ディスプレイ・デバイス２に供給する。

[0095] 前述のシステムは、仮想画像がユーザーにとって自然に焦点が合うまたは焦点が外れるように、ユーザーの視野内に仮想画像を挿入するように構成される。種々の実施形態において、仮想画像は、画像が挿入されようとしている環境に基づいて、しかるべき向き、サイズ、および形状に一致するように調節される。一実施形態では、頭部装着ディスプレイ・デバイス２、処理ユニット４、およびハブ計算デバイス１２は、一緒に動作する。これは、これらのデバイスの各々が、どこに、いつ、そしてどのように仮想画像を挿入すべきか判断するためのデーターを得るために使用されるセンサーの部分集合を含むからである。一実施形態では、どこに、いつ、そしてどのように仮想画像を挿入すべきか判断する計算は、ハブ計算デバイス１２によって実行される。他の実施形態では、これらの計算は処理ユニット４によって実行される。他の実施形態では、これらの計算の一部はハブ計算デバイス１２によって実行されるが、他の計算は処理ユニット４によって実行される。他の実施形態では、これらの計算は頭部装着ディスプレイ・デバイス２によって実行することができる。

[0096] 一実施形態例では、ハブ計算デバイス１２は、ユーザーが入っている環境のモデルを作り、その環境内において動いている種々の物体を追跡する。加えて、ハブ計算デバイス１２は、頭部装着ディスプレイ・デバイス２の位置および向きを追跡することによって、頭部装着ディスプレイ・デバイス２の視野を追跡する。モデルおよび追跡情報は、ハブ計算デバイス１２から処理ユニット４に供給される。頭部装着ディスプレイ・デバイス２によって得られたセンサー情報は、処理ユニット４に送られる。すると、処理ユニット４は、頭部装着ディスプレイ・デバイス２からそれが受けた追加のセンサー情報を使用して、ユーザーの視野をリファインし、どのように、どこに、そしていつ仮想画像を挿入すべきかについての命令を頭部装着ディスプレイ・デバイス２に供給する。

[0097] 図５は、ハブ計算システム１２の一実施形態例を、キャプチャー・デバイスと共に示す。一実施形態では、キャプチャー・デバイス２０Ａおよび２０Ｂは同じ構造であり、したがって、図５はキャプチャー・デバイス２０Ａのみを示す。

[0098] 一実施形態例によれば、キャプチャー・デバイス２０Ａは、深度値を含むこともできる深度画像を含む深度情報によって、任意の適した技法によってビデオを取り込むように構成するとよい。任意の適した技法には、例えば、飛行時間、構造化光、ステレオ撮像等が含まれる。一実施形態によれば、キャプチャー・デバイス２０Ａは、深度情報を「Ｚレイヤー」即ち、深度カメラからその見通し線に沿って延びるＺ軸に対して垂直であるとよいレイヤーに編成することができる。

[0099] 図５に示すように、キャプチャー・デバイス２０Ａはカメラ・コンポーネント４２３を含むことができる。一実施形態例によれば、カメラ・コンポーネント４２３は、場面の深度画像を取り込むことができる深度カメラであってもよく、またはこの深度カメラを含むのでもよい。深度画像は、取り込まれた場面の二次元（２−Ｄ）画素エリアを含むことができ、この２−Ｄ画素エリアにおける各画素は、カメラからの取り込まれた場面における物体の距離というような深度値を、例えば、センチメートル、ミリメートル等を単位として表すことができる。

[00100] カメラ・コンポーネント２３は、ＩＲ発光コンポーネント４２５、三次元（３Ｄ）カメラ４２６、および場面の深度画像を取り込むために用いることができるＲＧＢカメラ４２８を含むことができる。例えば、飛行時間分析では、キャプチャー・デバイス２０ＡのＩＲ発光コンポーネント４２５は、キャプチャー・エリアに向けて赤外線光を出すことができ、次いでセンサー（実施形態の中には、図示されていないセンサーを含む場合もある）を使用して、その場面内にある１つ以上のターゲットおよび物体の表面からの後方散乱光を、例えば、３Ｄカメラ４２６および／またはＲＧＢカメラ４２８を用いて検出することができる。実施形態の中には、パルス状赤外線光を用いて、発信光パルスと対応する入射光パルスとの間の時間を測定し、キャプチャー・デバイス２０Ａから場面内にあるターゲットまたは物体上における特定の場所までの物理的距離を判定するために使用することができるようにするとよい場合がある。加えて、他の実施形態例では、発信光波の位相を着信光波の位相と比較して、位相ずれを判定することもできる。次いで、この位相ずれを用いて、キャプチャー・デバイスからターゲットまたは物体上の特定の場所までの物理的距離を判定することができる。

[00101] 他の一実施形態例によれば、飛行時間分析を使用して、例えば、散乱光パルス撮像(shuttered light pulse imaging)を含む種々の技法によって、経時的な光の反射ビームの強度を分析することによって、キャプチャー・デバイス２０Ａからターゲットまたは物体上の特定の場所までの物理的距離を間接的に判定することができる。

[00102] 他の一実施形態例では、キャプチャー・デバイス２０Ａは、構造化光を用いて深度情報を取り込むことができる。このような分析では、パターン光（即ち、格子パターン、縞パターン、または異なるパターンのような既知のパターンとして表示される光）を、例えば、ＩＲ発光コンポーネント４２４によって、場面に向けて投射する。場面において１つ以上のターゲットまたは物体の表面に衝突したときに、パターンが、それに応答して、変形すると考えられる。このようなパターンの変形を、例えば、３Ｄカメラ４２６および／またはＲＧＢカメラ４２８（および／または他のセンサー）によって取り込むことができ、次いで分析して、キャプチャー・デバイスからターゲットまたは物体上における特定の場所までの物理的距離を判定することができる。実施態様の中には、ＩＲ発光コンポーネント４２５がカメラ４２５および４２６から変位されて、カメラ４２５および４２６からの距離を判定するために三角測量法を使用できるようにしたものもある。実施態様の中には、キャプチャー・デバイス２０Ａが、ＩＲ光を検知するために専用のＩＲセンサー、またはＩＲフィルターを有するセンサーを含む場合もある。

[00103] 他の実施形態によれば、キャプチャー・デバイス２０Ａは、２つ以上の物理的に分離されたカメラを含むことができ、これらが異なる角度から場面を捕らえて、視覚的な立体データーを得て、これを解明することによって深度情報を生成することができる。他のタイプの深度画像センサーも、深度画像を作るために使用することができる。

[00104] 更に、キャプチャー・デバイス２０Ａは、マイクロフォン４３０も含むことができる。マイクロフォン４３０は、音を受けて電気信号に変換することができる変換器またはセンサーを含む。マイクロフォン４３０は、オーディオ信号を受けるために使用することもできる。オーディオ信号は、ハブ計算デバイス１２によって供給するのでもよい。

[00105] 一実施形態例では、キャプチャー・デバイス２０Ａは、更に、撮像カメラ・コンポーネント４２３と通信可能であるとよいプロセッサー４３２も含むことができる。プロセッサー４３２は、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができ、例えば、深度画像を受ける命令、しかるべきデーター・フォーマット（例えば、フレーム）を生成する命令、およびデーターをハブ計算デバイス１２に送る命令を含む命令を実行することができる。

[00106] キャプチャー・デバイス２０Ａは、更に、プロセッサー４３２によって実行される命令、３−Ｄカメラおよび／またはＲＧＢカメラによって取り込まれた画像または画像のフレーム、あるいは他の任意の適した情報、画像等を格納することができるメモリー４３４も含むことができる。一実施形態例によれば、メモリー４３４は、ランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、または任意の他の適した記憶コンポーネントを含むことができる。図５に示すように、一実施形態では、メモリー４３４は、画像キャプチャー・コンポーネント４２３およびプロセッサー４３２と通信可能な別個のコンポーネントであってもよい。他の実施形態によれば、メモリー４３４をプロセッサー４３２および／または画像キャプチャー・コンポーネント４２２に統合してもよい。

[00107] キャプチャー・デバイス２０Ａおよび２０Ｂは、通信リンク４３６を介して、ハブ計算デバイス１２と通信することができる。通信リンク４３６は、例えば、ＵＳＢ接続、Firewire接続、イーサネット・ケーブル接続等を含む有線接続、および／またはワイヤレス８０２．１ｂ、ｇ、ａ、またはｎ接続というようなワイヤレス接続とすることができる。一実施形態によれば、ハブ計算デバイス１２は、クロックをキャプチャー・デバイス２０Ａに供給することができる。このクロックは、例えば、通信リンク４３６を介して場面を取り込むときを決定するために使用することができる。加えて、キャプチャー・デバイス２０Ａは、深度情報、ならびに、例えば、３−Ｄカメラ４２６および／またはＲＧＢカメラ４２８によって取り込まれた視覚（例えば、ＲＧＢ）画像をハブ計算デバイス１２に、通信リンク４３６を介して供給する。一実施形態では、深度画像および視覚画像は、毎秒３０フレームで送られる。しかしながら、他のフレーム・レートも使用することができる。ハブ計算デバイス１２は、次に、モデルを作り、このモデル、深度情報、および取り込まれた画像を使用して、例えば、ゲームまたはワード・プロセッサーのようなアプリケーションを制御すること、および／またはアバターまたは画面上のキャラクターを動画化することができる。

[00108] ハブ計算システム１２は、深度画像処理および骨格追跡モジュール４５０を含む。このモジュール４５０は、深度画像を使用して、キャプチャー・デバイス２０Ａの深度カメラ機能によって検出可能な１人以上の人を追跡する。深度画像処理および骨格追跡モジュール４５０は、追跡情報をアプリケーション４５２に提供する。アプリケーション４５２は、ビデオ・ゲーム、生産性アプリケーション、通信アプリケーション、または他のソフトウェア・アプリケーション等とすることができる。また、オーディオ・データーおよびビジュアル画像データーも、アプリケーション４５２および深度画像処理および骨格追跡モジュール４５０に供給される。アプリケーション４５２は、追跡情報、オーディオ・データー、およびビジュアル画像データーを認識エンジン４５４に供給する。他の実施形態では、認識エンジン４５４は、追跡情報を直接深度画像処理および骨格追跡モジュール４５０から受け、オーディオ・データーおよびビジュアル画像データーを直接キャプチャー・デバイス２０Ａおよび２０Ｂから受ける。

[00109] 認識エンジン４５４は、フィルター４６０、４６２、４６４、．．．、４６６の集合体と関連付けられている。各フィルターは、キャプチャー・デバイス２０Ａまたは２０Ｂによって検出可能な任意の人あるいは物体によって行うことができるジェスチャー、行為、または状態に関する情報を含む。例えば、キャプチャー・デバイス２０Ａからのデーターは、フィルター４６０、４６２、４６４、．．．、４６６によって処理して、ユーザーまたはユーザーのグループが１つ以上のジェスチャーまたは他の行為を行ったときを特定することができる。これらのジェスチャーには、アプリケーション４５２の種々の制御、物体、または条件と関連付けることもできる。つまり、ハブ計算デバイス１２は、これらのフィルターと共に認識エンジン４５４を使用して、物体（人を含む）の動きを解釈し追跡することができる。

[00110] キャプチャー・デバイス２０Ａおよび２０Ｂは、ＲＧＢ画像（あるいは他のフォーマットまたは色空間における視覚画像）および深度画像を、ハブ計算デバイス１２に供給する。深度画像は、複数の被観察画素とすることもでき、各被観察画素は観察画素値を有する。例えば、深度画像は、取り込まれた場面の二次元（２−Ｄ）画素エリアを含むことができ、この２−Ｄ画素エリアにおける各画素は、取り込まれた場面における物体のキャプチャー・デバイスからの距離というような、深度値を有することができる。ハブ計算デバイス１２は、ＲＧＢ画像および深度画像を使用して、ユーザーまたは物体の動きを追跡する。例えば、本システムは、深度画像を使用して人のサポートを追跡する。深度画像を使用して人の骨格を追跡するために使用することができる方法は、数多くある。深度画像を使用して骨格を追跡するのに適した一例が、２００９年１０月２１日に出願されたCraig, et al.の米国特許出願第１２／６０３，４３７号、"Pose Tracking Pipeline"（姿勢追跡パイプライン）に示されている（以後、’４３７出願と呼ぶ）。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。’４３７出願のプロセスは、深度画像を取り込み、データーをダウン・サンプリングするステップと、高分散ノイズ・データー(high variance noisy data)を除去および／またはスムージングするステップと、背景を特定および除去するステップと、前景画素の各々を身体の異なる部分に指定するステップを含む。これらのステップに基づいて、本システムは、モデルをこのデーターに当てはめ、骨格を作る。この骨格は、１組の関節と、これらの関節間にある接続とを含む。他の追跡方法を使用することもできる。また、適した追跡技術が以下の４件の米国特許出願にも開示されている。その全てをここで引用することにより、その内容全体が本願にも含まれるものとする。２００９年５月２９日に出願された米国特許出願第１２／４７５，３０８号、"Device for Identifying and Tracking Multiple Humans Over Time"（複数の人間を経時的に特定および追跡するデバイス）、２０１０年１月２９日に出願された米国特許出願第１２／６９６，２８２号、"Visual Based Identity Tracking"（外見に基づく識別追跡）、２００９年１２月１８日に出願された米国特許第１２／６４１，７８８号、"Motion Detection Using Depth Images"（深度画像を使用する動き検出）、および２００９年１０月７日に出願された米国特許第１２／５７５，３８８号、"Human Tracking System"（人間追跡システム）。

[00111] 認識エンジン４５４は、ジェスチャーまたは行為を判定するために複数のフィルター４６０、４６２、４６４、．．．、４６６を含む。フィルターは、ジェスチャー、行為、または状態を定める情報を、そのジェスチャー、行為、または状態についてのパラメーター、またはメタデーターと共に含む。例えば、投げる動作は、一方の手が身体の背後から身体の前方を通過する動きを含み、その動きが深度カメラによって取り込まれると、ユーザーの一方の手が身体の背後から身体の前方を通過する動きを表す情報を含むジェスチャーとして実現することができる。次いで、このジェスチャーに対してパラメーターを設定することができる。ジェスチャーが投げる動作である場合、パラメーターは、手が達しなければならないしきい値速度、手が移動する距離（ユーザー全体のサイズに対して絶対的、または相対的のいずれか）、および認識エンジンによる、ジェスチャーが行われたことの信頼度格付けとするとよい。ジェスチャーに対するこれらのパラメーターは、アプリケーション間、１つのアプリケーションのコンテキスト間、または１つのアプリケーションの１つのコンテキスト内において、経時的に様々に変化するのであってもよい。

[00112] フィルターは、モジュール状または相互交換可能であるとよい。一実施形態では、フィルターは、複数の入力（これらの入力の各々は型を有する）と、複数の出力（これらの出力の各々は型を有する）とを有する。認識エンジンのアーキテクチャーの他の態様を全く変更することなく、第１のフィルターを、この第１のフィルターと同じ数および同じタイプの入力と出力とを有する第の２フィルターと交換することができる。例えば、入力として骨格データーを取り込み、そのフィルターと関連するジェスチャーが行われている確実度と、操縦角度とを出力する駆動用第１フィルターがあってもよい。おそらくは第２駆動フィルターの方が効率的であり必要な処理リソースが少なくて済むために、この第１駆動フィルターを第２駆動フィルターと交換したい場合、第２フィルターが同じ入力および出力、即ち、骨格データー型である１つの入力と、確実度型および角度型である２つの出力を有する限り、単に第１フィルターを第２フィルターと交換することによって、そうすることができる。

[00113] フィルターがパラメーターを有する必要はない。例えば、ユーザーの身長を戻す「ユーザー身長」フィルターが、調整することができるパラメーターを全く考慮しなくてもよい。代わりの「ユーザー身長」フィルターが、ユーザーの身長を判定するときに、ユーザーの靴、髪形、帽子、および姿勢を考慮に入れるべきか否かというような、調整可能なパラメーターを有してもよい。

[00114] フィルターへの入力は、関節において合体する骨によって形成される角度のような、ユーザーの関節位置についての関節データー、シーンからのＲＧＢカラー・データー、およびユーザーの態様の変化率、というような事項を含むことができる。フィルターからの出力は、所与のジェスチャーが行われる確実度、ジェスチャーの動きが行われる速度、およびジェスチャーの動きが行われた時刻というような事項を含むことができる。

[00115] 認識エンジン４５４は、前述のフィルターに機能を設ける基本認識エンジンを有することができる。一実施形態では、認識エンジン４５４が実装する機能は、認識されたジェスチャーおよび他の入力を追跡する経時的入力アーカイブ、隠れマルコフ・モデルの実装（モデル化されるシステムは、未知のパラメーターを有するマルコフ・プロセスであると仮定される。このプロセスでは、現在の状態が、今後の状態を判定するために必要な任意の過去の状態情報をカプセル化するので、この目的のために他の過去の状態情報を維持しなくてもよく、隠れているパラメーターは、観察可能なデーターから判定される）、およびジェスチャー認識の特定の場合(instance)を解決するために必要とされる他の機能を含む。

[00116] フィルター４６０、４６２、４６４、．．．、４６６は、認識エンジン４５４の上にロードされ実装され、認識エンジン４５４によって全てのフィルター４６０、４６２、４６４、．．．、４６６に提供されるサービスを利用することができる。一実施形態では、認識エンジン４５４は、任意のフィルター４６０、４６２、４６４、．．．、４６６の要件を満たすか否か判断するためにデーターを受ける。入力の解析というような、これらの提供されるサービスは、各フィルター４６０、４６２、４６４、．．．、４６６によってではなく、認識エンジン４５４によって１回提供されるので、このようなサービスは、ある時間期間に１回だけ処理されればよいのであって、その期間においてフィルター毎に１回ずつ処理されるのではない。したがって、ジェスチャーを判定するために使用される処理が少なくなる。

[00117] アプリケーション４５２は、認識エンジン４５４に設けられたフィルター４６０、４６２、４６４、．．．、４６６を使用することができ、またはそれ自体のフィルターを設けることもできる。このフィルターは、認識エンジン４５４に差し込まれる。一実施形態では、全てのフィルターは、この差し込み特性を可能にするために、共通のインターフェースを有する。更に、全てのフィルターはパラメーターを利用することができるので、以下の１つのジェスチャー・ツールを使用して、フィルター・システム全体のデバッグおよび調整(tune)を行うことができる。

[00118] 認識エンジン４５４についてのこれ以上の情報は、２００９年４月１３日に出願された米国特許出願第１２／４２２，６６１号、"Gesture Recognizer System Architecture"（ジェスチャー認識システムのアーキテクチャー）において見いだすことができる。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。ジェスチャー認識についてのこれ以上の情報は、２００９年２月２３日に出願された米国特許出願第１２／３９１，１５０号、"Standard Gestures"（標準的ジェスチャー）、および２００９年５月２９日に出願された米国特許第１２／４７４，６５５号、"Gesture Tool"（ジェスチャー・ツール）において見いだすことができる。これら双方の特許出願をここで引用したことにより、それらの内容全体が本願にも含まれるものとする。

[00119] 図６は、ハブ計算デバイス１２を実現するために使用することができる計算システムの一実施形態例を示す。図７に示すように、マルチメディア・コンソール５００は、中央処理ユニット（ＣＰＵ）５０１を有する。ＣＰＵ５０１は、レベル１（Ｌ１）キャッシュ５０２、レベル２（Ｌ２）キャッシュ５０４、およびフラッシュＲＯＭ（リード・オンリー・メモリー）５０６を有する。レベル１キャッシュ５０２およびレベル２キャッシュ５０４は、一時的にデーターを格納し、したがってメモリー・アクセス・サイクル回数を減らすことによって、処理速度およびスループットを向上させる。ＣＰＵ５０１は、１つよりも多いコア、つまり追加のレベル１およびレベル２キャッシュ５０２および５０４を有するものが、設けられてもよい。フラッシュＲＯＭ５０６は、実行可能コードを格納することができる。実行可能コードは、マルチメディア・コンソール５００に最初に電力を投入するときのブート・プロセスの初期フェーズの間にロードされる。

[00120] グラフィクス処理ユニット（ＧＰＵ）５０８およびビデオ・エンコーダー／ビデオ・コデック（コーダー／デコーダー）５１４は、高速および高分解能グラフィクス処理のためのビデオ処理パイプラインを形成する。データーは、グラフィクス処理ユニット５０８からビデオ・エンコーダー／ビデオ・コデック５１４に、バスを通じて伝達される。ビデオ処理パイプラインが、テレビジョンまたはその他の表示装置への送信のために、データーをＡ／Ｖ（オーディオ／ビデオ）ポート５４０に出力する。メモリー・コントローラー５１０がＧＰＵ５０８に接続されており、限定ではないが、ＲＡＭ（ランダム・アクセス・メモリー）のような、種々の形式のメモリー５１２にプロセッサーがアクセスし易くする。

[00121] プロセッサー５００は、Ｉ／Ｏコントローラー５２０、システム管理コントローラー５２２、オーディオ処理ユニット５２３、ネットワーク・インターフェース・コントローラー５２４、第１ＵＳＢホスト・コントローラー５２６、第２ＵＳＢコントローラー５２８、およびフロント・パネルＩ／Ｏサブアセンブリー５３０を含む。これらは、モジュール５１８に実装することが好ましい。ＵＳＢコントローラー５２６および５２８は、ペリフェラル・コントローラー５４２（１）〜５４２（２）、ワイヤレス・アダプター５４８、および外部メモリー・ユニット５４６（例えば、フラッシュ・メモリー、外部ＣＤ／ＤＶＤ ＲＯＭドライブ、リムーバブル・メディア等）のホストとしての役割を果たす。ネットワーク・インターフェース５２４および／またはワイヤレス・アダプター５４８は、ネットワーク（例えば、インターネット、ホーム・ネットワーク等）へのアクセスを与え、イーサネット・カード、モデム、Bluetoothモジュール、ケーブル・モデム等を含む、多種多様の様々な有線またはワイヤレス・アダプター・コンポーネントのうち任意のものでよい。

[00122] システム・メモリー５４３は、ブート・プロセスの間にロードされるアプリケーション・データーを格納するために設けられている。メディア・ドライブ５４４が設けられており、ＤＶＤ／ＣＤドライブ、ブルー・レイ・ドライブ、ハード・ディスク・ドライブ、またはその他のリムーバブル・メディア・ドライブ等を含むことができる。メディア・ドライブ１４４は、マルチメディア・コンソール５００の内部でも外部でもよい。マルチメディア・コンソール５００による実行、プレーバック(playback)等のために、マルチメディア・コンソール５００はアプリケーション・データー５４４にアクセスすることができる。メディア・ドライブ５４４は、シリアルＡＴＡバスまたはその他の高速接続（例えば、ＩＥＥＥ１３９４）のようなバスを通じて、Ｉ／Ｏコントローラー５２０に接続されている。

[00123] システム管理コントローラー５２２は、マルチメディア・コンソール５００の利用可能性を確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット５２３およびオーディオ・コデック５３２は、高信頼度およびステレオ・オーディオ処理を備えた、対応するオーディオ処理パイプラインを形成する。通信リンクが、オーディオ処理ユニット５２３とオーディオ・コデック５２６との間において、オーディオ・データーを伝達することができる。オーディオ処理パイプラインは、外部オーディオ・ユーザーまたはオーディオ能力を有するデバイスによる再生のために、Ａ／Ｖポート５４０にデーターを出力する。

[00124] フロント・パネルＩ／Ｏサブアセンブリー５３０は、電力ボタン５５０およびイジェクト・ボタン５５２の機能をサポートし、更にマルチメディア・コンソール５００の外面上に露出する任意のＬＥＤ（発光ダイオード）またはその他のインディケーターの機能もサポートする。システム電源モジュール５３６は、電力をマルチメディア・コンソール１００のコンポーネントに供給する。ファン５３８は、マルチメディア・コンソール５００内部にある回路を冷却する。

[00125] ＣＰＵ５０１、ＧＰＵ５０８、メモリー・コントローラー５１０、およびマルチメディア・コンソール５００内部にある種々の他のコンポーネントは、１つ以上のバスによって相互接続されている。これらのバスには、シリアルおよびパラレル・バス、メモリー・バス、ペリフェラル・バス、ならびに種々のバス・アーキテクチャーのうち任意のものを用いたプロセッサー・バスまたはローカル・バスが含まれる。一例として、このようなアーキテクチャーは、周辺コンポーネント相互接続（ＰＣＩ）バス、PCI−Expressバス等を含むことができる。

[00126] マルチメディア・コンソール５００に電源を投入すると、アプリケーション・データーをシステム・メモリー５４３からメモリー５１２および／またはキャッシュ５０２、５０４にロードすることができ、ＣＰＵ５０１において実行することができる。アプリケーションは、マルチメディア・コンソール５００において利用可能な異なるメディア・タイプにナビゲートするときに、一貫性のあるユーザー体験を提供するグラフィカル・ユーザー・インターフェースを提示することができる。動作において、アプリケーションおよび／またはメディア・ドライブ５４４内に含まれているその他のメディアをメディア・ドライブから起動または再生して、追加の機能をマルチメディア・コンソール５００に提供することもできる。

[00127] マルチメディア・コンソール５００は、単に単体システムをテレビジョンまたはその他のディスプレイに接続することによって、その単体システムとして動作させることができる。この単体モードでは、マルチメディア・コンソール５００は、１人以上のユーザーがシステムと対話処理すること、ムービーを見ること、音楽を聞くこと等を可能にする。しかしながら、ネットワーク・インターフェース５２４またはワイヤレス・アダプター５４８を通じて利用可能なブロードバンド接続の統合により、マルチメディア・コンソール５００は、更に、それよりも大きなネットワーク共同体における参加者として動作することができる。加えて、マルチメディア・コンソール５００は、処理ユニット４とワイヤレス・アダプター５４８を介して通信することができる。

[00128] マルチメディア・コンソール５００の電源をオンにすると、マルチメディア・コンソールのオペレーティング・システムによって、設定されている量のハードウェア・リソースがシステムの使用のために確保される。これらのリソースは、メモリー、ＣＰＵおよびＧＰＵサイクル、ネットワーキング帯域幅等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。特に、メモリーの確保は、起動カーネル、コンカレント・システム・アプリケーション、およびドライバーを含めるのに十分大きいことが好ましい。確保されたＣＰＵの使用がそのシステム・アプリケーションによって使用されない場合、アイドル状態にあるスレッドが未使用サイクルのうち任意のものを消費するように、ＣＰＵの確保を一定に維持することが好ましい。

[00129] ＧＰＵの確保に関して、ＧＰＵ割り込みを使用することによって、システム・アプリケーション（例えば、ポップアップ）によって生成される軽量メッセージを表示して、ポップアップをオーバーレイにレンダリングするコードをスケジューリングする。オーバーレイに必要とされるメモリー量は、オーバーレイのエリア・サイズに依存し、オーバーレイは画面の解像度と共にスケーリングする(scale)ことが好ましい。コンカレント・システム・アプリケーションによってユーザー・インターフェース全体が用いられる場合、アプリケーションの解像度とは独立した解像度を使用することが好ましい。周波数を変更しＴＶの同期を取り直す必要性をなくすように、スケーラーを使用してこの解像度を設定するとよい。

[00130] マルチメディア・コンソール５００がブートして、システム・リソースが確保された後、コンカレント・システム・アプリケーションが実行してシステム機能を提供する。これらのシステム機能は、前述の確保したシステム・リソースの内部で実行する１組のシステム・アプリケーション内にカプセル化されている。オペレーティング・システム・カーネルは、システム・アプリケーション・スレッドと、ゲーミング・アプリケーション・スレッドとの間でスレッドを識別する。一貫したシステム・リソース・ビューをアプリケーションに提供するために、システム・アプリケーションは、所定の時点および間隔でＣＰＵ５０１において実行するようにスケジューリングされていることが好ましい。このスケジューリングは、コンソールにおいて実行しているゲーミング・アプリケーションに対するキャッシュの分裂(disruption)を最少に抑えるためにある。

[00131] コンカレント・システム・アプリケーションがオーディオを必要とする場合、時間に敏感であるため、オーディオ処理を非同期にゲーミング・アプリケーションにスケジューリングする。マルチメディア・コンソール・アプリケーション管理部（以下で説明する）は、システム・アプリケーションがアクティブのとき、ゲーミング・アプリケーションのオーディオ・レベル（例えば、無音化、減衰）を制御する。

[00132] オプションの入力デバイス（例えば、コントローラー５４２（１）および５４２（２））は、ゲーミング・アプリケーションおよびシステム・アプリケーションによって共有される。入力デバイスは、確保されたリソースではないが、システム・アプリケーションとゲーミング・アプリケーションとの間で切り換えられて、各々がそのデバイスのフォーカス(a focus of the device)を有するようにする。アプリケーション管理部は、好ましくは、ゲーミング・アプリケーションの知識を知ることなく、入力ストリームの切換を制御し、ドライバーがフォーカス・スイッチ(focus switches)に関する状態情報を維持する。キャプチャー・デバイス２０Ａおよび２０Ｂは、コンソール５００のための追加の入力デバイスを、ＵＳＢコントローラー５２６または他のインターフェースを介して、定めることができる。他の実施形態では、ハブ計算システム１２は、他のハードウェア・アーキテクチャーを使用して実現することができる。ハードウェア・アーキテクチャーが１つである必要はない。

[00133] 図３、図４、図５、および図６に示したコンピューター・システム例は、コンピューター読み取り可能記憶媒体の例を含む。このような媒体は、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターというような情報の任意の記憶方法または技術で実現される。コンピューター記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）または他の光ディスク・ストレージ、メモリー・スティックまたはカード、磁気カセット、磁気テープ、磁気ディスク記憶デバイスまたはその他の磁気記憶デバイス、あるいは所望の情報を格納するために使用することができ、コンピューターによってアクセスすることができる任意の他の媒体が含まれるが、これらに限定されるのではない。図におけるコンピューター読み取り可能記憶媒体のいくつかの例には、図３のメモリー２１４、図４のフラッシュ・メモリー３３４、メモリー３３０、ＲＡＭ３２６、およびキャッシュ３２４、図５のメモリー４３４、ならびに図６のＲＯＭ５０６、キャッシュ５０２、５０４、メモリー５１２、システム・メモリー５４３、メモリー・ユニット５４６、およびメディア・ドライブ５４４を含む。

[00134] 図１Ａは、１つのハブ計算デバイス１２（ハブと呼ぶ）と通信可能な１つの頭部装着ディスプレイ・デバイス２および処理ユニット４（纏めて移動体ディスプレイ・デバイスと呼ぶ）を示す。他の実施形態では、複数の移動体ディスプレイ・デバイスを１つのハブと通信可能にすることができる。これらの移動体ディスプレイ・デバイスの各々は、前述のように、ワイヤレス通信を使用してハブと通信する。このような実施形態では、移動体ディスプレイ・デバイスの全てに有用である情報の多くが、ハブにおいて計算および格納され、移動体ディスプレイ・デバイスの各々に送られることが考えられる。例えば、ハブは環境のモデルを生成し、ハブと通信可能な移動体ディスプレイ・デバイスの全てにこのモデルを供給する。加えて、ハブは、移動体ディスプレイ・デバイスの位置および向きを追跡し、更に部屋内において動いている物体の位置および向きを追跡し、その情報を移動体ディスプレイ・デバイスの各々に伝えることができる。

[00135] 他の実施形態では、ユーザーに対して焦点が合うように仮想コンテンツの焦点を可変にすることができるマルチユーザー・システムが、複数のハブを含むことができ、各ハブが１つ以上の移動体ディスプレイ・デバイスを含む。これらのハブは、互いに直接またはインターネット（または他のネットワーク）を介して通信することができる。例えば、図８はハブ５６０、５６２、および５６４を示す。ハブ５６０は、直接ハブ５６２と通信する。ハブ５６０は、ハブ５６４とインターネットを介して通信する。ハブ５６０は、移動体ディスプレイ・デバイス５７０、５７２、．．．、５７４と通信する。ハブ５６２は、移動体ディスプレイ・デバイス５７８、５８０、．．．、５８２と通信する。ハブ５６４は、移動体ディスプレイ・デバイス５８４、５８６、．．．、５８８と通信する。先に論じたように、移動体ディスプレイ・デバイスの各々は、それらそれぞれのハブと、ワイヤレス通信を介して通信する。これらのハブが共通の環境にある場合、これらのハブの各々は環境のモデルの一部を設けることができ、または１つのハブが他のハブのためにモデルを作ることができる。これらのハブの各々は、動いている物体の部分集合を追跡し、その情報を他のハブと共有する。一方、他のハブは、しかるべき移動体ディスプレイ・デバイスとこの情報を共有する。移動体ディスプレイ・デバイスについてのセンサー情報が、それらそれぞれのハブに提供され、次いで他のハブに共有され、最終的に他の移動体ディスプレイ・デバイスに共有される。つまり、ハブ間で共有される情報は、骨格追跡、モデルについての情報、アプリケーションの種々の状態、およびその他の追跡を含むことができる。ハブおよびそれらそれぞれの移動体ディスプレイ・デバイス間で伝えられる情報には、動いている物体の追跡情報、世界モデルについての状態および物理的更新(physics updates)、幾何学的形状および表面模様の情報、ビデオおよびオーディオ、ならびに本明細書において記載される動作を実行するために使用される他の情報が含まれる。

[00136] 図８は、拡張現実ディスプレイにおける合焦改良のためのプロセスの一実施形態を説明するフローチャートである。このプロセスは、以上で論じたコンポーネントによって実行される。ステップ６０２において、本システムが構成される。例えば、アプリケーション（例えば、図５のアプリケーション４５２）が、特定の仮想画像（仮想物体を表す）を、指定された位置において場面の三次元モデルに挿入すべきことを示すように、本システムを構成することができる。空の部屋に仮想物体を詰め込んで、この空の部屋を仮想現実にする例について考える。他の例では、ハブ計算システム１２において実行するアプリケーションが、特定の仮想画像（仮想物体を表す）を、ビデオ・ゲームまたは他のプロセスの一部として、場面に挿入しようとしていることを示す。

[00137] ステップ６０４において、本システムは頭部装着ディスプレイ・デバイス２が配置される空間の立体モデル(volumetric model)を作る。一実施形態では、例えば、ハブ計算デバイス１２は１つ以上の深度カメラからの深度画像を使用して、頭部装着ディスプレイ・デバイス２が配置される環境または空間の三次元モデルを作る。ステップ６０６において、そのモデルが１つ以上の物体(object)に区分される。例えば、ハブ計算デバイス１２が部屋の三次元モデルを作る場合、この部屋は複数の物体をその内部に有する可能性が高い。部屋内の可能性がある物体の例には、人、椅子、テーブル、ソファー等が含まれる。ステップ６０６は、互いに別々の物体を判定することを含む。ステップ６０８において、本システムはこれらの物体を特定する。例えば、ハブ計算デバイス１２は、ある特定の物体がテーブルであり、他の物体が椅子であることを特定するのでもよい。

[00138] 図８のステップ６１０ａにおいて、本システムは、ユーザー空間のモデルに基づいて、ユーザーの視野を判定する。即ち、本システムは、環境または空間のどの部分をユーザーが見ているのか判定する。一実施形態では、ステップ６１０ａは、ハブ計算デバイス１２、処理ユニット４、および頭部装着ディスプレイ・デバイス２を使用する協調作業である。一実現例では、ハブ計算デバイス１２はユーザーおよび頭部装着ディスプレイ・デバイス２を追跡して、頭部装着ディスプレイ・デバイス２の位置および向きの暫定的な判定を行う。頭部装着ディスプレイ・デバイス２のセンサーが、判定された向きをリファインするために使用される。例えば、先に説明した慣性センサー３４は、頭部装着ディスプレイ・デバイス２の向きをリファインするために使用することができる。加えて、先に説明した目追跡プロセスは、ユーザーが特に見ている場所に対応する、最初に判定した視野の部分集合を特定するために使用することができる。この部分集合は、言い換えると(otherwise)、視野におけるユーザー焦点領域または深度焦点として知られている。これ以上の詳細は、図１４、図１５、および図１６に関して以下で説明する。

[00139] ステップ６１０ｂにおいて、処理ユニット４において実行するソフトウェアのような本システムは、ユーザーの視野内におけるユーザーの現在の焦点領域を判定する。図１５および図１６において以下で更に論ずるが、目毎に目追跡カメラ１３４によって取り込まれたデーターに基づいた目追跡処理が、ユーザーの現在の焦点領域を規定することができる。例えば、瞳間の収斂(convergence)は、ユーザーの顔の位置を示すデーターと共に、焦点曲線、即ち、ホロプター上の焦点距離まで三角測量するために使用することができる。焦点領域、即ち、パナムの融合エリアは、この焦点から計算することができる。パナムの融合エリアは、人間の目によって使用される両眼立体視に対する単一視のエリアである。

[00140] ステップ６１１において、焦点領域調節ユニット１３９は、処理ユニット４の制御の下で、制御回路１３６を介して、少なくとも一方の目に対して透視されるように位置付けられている可変焦点レンズ１１９を、現在のユーザー焦点領域内で合焦するように調節する。これ以上の詳細については、図１２Ａおよび図１２Ｂに関して以下で説明する。

[00141] ステップ６１１によって例示したように、可変焦点レンズの焦点長は、ディスプレイ・デバイス２のコンポーネントによって、現在のユーザーの焦点領域内で合焦するように、自動的に調節される。ユーザーが彼または彼女が見ているところを変更するとき、ユーザーは可変焦点レンズの焦点を変化させる行為を行う必要はない。ステップ６１２において、マイクロディスプレイ・アセンブリー１７３は、処理ユニット４の制御の下で、制御回路１３６を介して、ユーザー空間モデルのユーザー視野においてユーザーにとって実世界焦点距離に現れるように、１つ以上の仮想物体を表示する。即ち、本システムは、ユーザーの視野内において、ユーザーが頭部装着ディスプレイ・デバイス２を見ている間にユーザーが見ている焦点深度のところに仮想画像を表示する。仮想物体は、静止物体または動く物体とすることができる。

[00142] ステップ６１４において、ソフトウェアの制御の下で、処理ユニット４は、単独でまたはハブ計算デバイス１２と協同して、任意にユーザーの視野内において物体を強調することもできる。例えば、実物体がユーザーの視野内において仮想物体によって視覚的に強調されて、この物体のユーザーの知覚を強調することができる。このような実物体の仮想画像による強調の一実施形態について、図１９に関して以下で更に論ずる。

[00143] ステップ６１６において、頭部装着ディスプレイ・デバイス２のユーザーが、頭部装着ディスプレイ・デバイス２に表示されている仮想物体に基づいて、ハブ計算デバイス１２（または他の計算デバイス）において実行しているアプリケーションと対話処理する。ステップ６０４〜６１４の各々については、以下で更に詳しく説明する。加えて、これらのステップおよび以下の図におけるステップの各々は、ユーザーがニアアイ・ディスプレイ・デバイス１を使用し彼または彼女の視点を変えるときに彼または彼女の焦点流域を変化させながら、連続的に実行すること、または繰り返すことができる。例えば、ユーザーが動き回ったりあるいは彼または彼女の目を動かすに連れて、以下で更に論ずるように三次元モデルが更新され、ユーザーの視野および焦点領域が繰り返し判定される。空間において動くユーザーまたは物体について行くように、調節が行われる。

[00144] 図９は、空間の三次元モデルを作るプロセスの一実施形態を説明するフローチャートである。例えば、図９のプロセスは、図８のステップ６０４の一実施態様例である。ステップ６４０において、ハブ計算デバイス１２は頭部装着ディスプレイ・デバイス２が存在する空間の複数の視線(perspective)に対する１つ以上の深度画像を受ける。例えば、ハブ計算デバイス１２は、複数の深度カメラから深度画像を得ることができ、あるいはカメラを異なる方向に向けることによって、またはモデルが構築される空間の全視野(full view)を可能にするレンズを有する深度カメラを使用することによって、同じカメラから複数の深度画像を得ることができる。ステップ６４２において、種々の深度画像からの深度データーが共通座標系に基づいて組み合わせられる。例えば、このシステムが深度画像を複数のカメラから受ける場合、本システムは２つの画像を相関付けて共通の座標系を有する（例えば、画像を並べる）。

[00145] 図１０は、空間のモデルを物体に区分するプロセスの一実施形態を説明するフローチャートである。例えば、図１０のプロセスは、図８のステップ６０６の一実現例である。図１０のステップ６８０において、本システムは、先に論じたように、１つ以上の深度画像を１つ以上の深度カメラから受ける。あるいは、本システムは、既に受けている１つ以上の深度画像にアクセスすることもできる。ステップ６８２において、本システムは、１つ以上の仮想画像を前述したカメラから受ける。あるいは、本システムは、既に受けられている１つ以上の仮想画像にアクセスすることもできる。ステップ６８４において、ハブ計算システム１２は、深度画像および／または視覚画像に基づいて１人以上の人を検出する。例えば、本システムは１つ以上の骨格を認識する。ステップ６８６において、ハブ計算デバイス１２は、深度画像および／または視覚画像に基づいてモデル内でエッジを検出する。ステップ６８８において、ハブ計算デバイス１２は、検出したエッジを使用して、別個の物体を互いから識別する。例えば、エッジが物体間の境界であると仮定する。図１９について以下で論ずるように、ニアアイ・ディスプレイ・デバイス２が仮想画像によって実物体の強調を行い、ユーザーが実物体をより良く見るのを助ける実施形態では、処理ユニット４は、選択した実物体についてのエッジ・データーを送るようにハブ計算デバイス１２にメッセージを送り、それが実物体のために視覚的に強調する仮想画像を生成することもできる。他の実施形態では、ハブ計算デバイス１２が、実物体のために視覚的強調を有する仮想画像を生成し、この仮想画像を処理ユニット４に送り、マイクロディスプレイ・ユニット１２０にこれを表示させる。ステップ６９０において、図９のプロセスを使用して作られたモデルが、モデルのどの部分が異なる物体と関連付けられているかを示すために、更新される。

[00146] 図１１は、物体を特定するプロセスの一実施形態を説明するフローチャートである。例えば、図１１のプロセスは、図８のステップ６０８の一実施態様例である。ステップ７１０において、ハブ計算デバイス１２は、特定された人をユーザー識別と照合する。例えば、本システムは、物体の検出された画像と照合することができる仮想画像を有するユーザー・プロファイルを有することができる。あるいは、ユーザー・プロファイルが、深度画像または視覚的画像に基づいて照合することができる人の特徴を記述することができる。他の実施形態では、ユーザーが本システムにログインするのでもよく、ハブ計算デバイス１２がログイン・プロセスを使用して個々のユーザーを特定し、本明細書において記載する対話処理の間にわたってユーザーを追跡することができる。ステップ７１２において、ハブ計算デバイス１２は形状のデーターベースにアクセスする。ステップ７１４において、ハブ計算デバイスは、モデル内の物体をデーターベースにおける同じ数の形状と照合する。ステップ７１６において、一致しない形状が強調され、ユーザーに表示される（例えば、モニター１６を使用する）。ステップ７１８において、ハブ計算デバイス１２は、強調された形状の各々（または部分集合）を特定するユーザー入力を受ける。例えば、ユーザーはキーボード、マウス、音声入力、または他のタイプの入力を使用して、特定されなかった形状の各々が何であるのか示すことができる。ステップ７２０において、ステップ７１８におけるユーザー入力に基づいて、形状のデーターベースが更新される。ステップ７２２において、ステップ６０４において作られそしてステップ６０６において更新された環境のモデルが、更に、物体の各々についてのメタデーターを追加することによって更新される。メタデーターは物体を特定する。例えば、メタデーターは、特定の物体が、丸く輝くテーブル、氏名不詳の男性、緑色の革製ソファー等であることを示すこともできる。

[00147] 図１１Ａは、動く物体（例えば、動く人または他のタイプの物体）に応答して、図９のプロセスによって作られたモデルを更新するプロセスの一実施形態を説明するフローチャートである。ステップ７２８において、本システムは、物体が動いていることを判定する。例えば、本システムは、連続的に深度画像を受ける。深度画像がときの経過と共に変化した場合、物体が動いていることになる。動いている物体が検出されない場合、本システムは深度画像を受け続け、動いている物体を探し続ける。

[00148] 動いている物体がある場合、ステップ７３０において、本システムはその動いている物体を特定する。動いている物体を認識し、認識した物体を図８のステップ６０８において特定した物体のうち１つと相関付けるために、フレーム差分抽出(differencing)または種々の追跡技術のうち任意のものを使用することができる。物体の中には、動いているときに形状を変化させるものもある。例えば、人間が歩くまたは走ると、人間は体形が変化する場合がある。ステップ７３２において、以前に作られた環境のモデルが、動く物体の新たな位置および形状に基づいて更新される。ステップ７３４において、動く物体の
新たな形状が特定され、格納される。図１１Ａのプロセスは、ハブ計算デバイス１２の処理ユニット４によって実行することができる。

[00149] 図１２Ａは、現在のユーザーの焦点領域内において可変焦点レンズを調節するプロセスの一実施形態を説明するフローチャートである。ソフトウェアの制御の下で、処理ユニット４は、単独でまたはハブ計算デバイス１２と協調して、ステップ７５０においてユーザーの目から現在のユーザーの焦点領域において判定された焦点までの焦点距離を判定する。先に論じたように、そして以下でも論ずるが、焦点は、目追跡データーから判定することができる。一例では、各目の位置および各目からの光線が合う終点に対する各目の角度の測定値に基づいて、各目の網膜を近似する開始点から光線を放つことができる。終点は、焦点として選択されてもよい。他の例では、焦点は、ユーザーの頭の位置、場面の物体、および実行中のアプリケーション（例えば、４５２）のコンテキストに基づいて、推論プロセスから焦点を判定することもできる。また、同時定位(localization)およびマッピング（ＳＬＡＭ）技法を使用してもよい。他の例では、１つ以上の焦点判定技法を組み合わせて使用することができる。

[00150] ステップ７５２において、処理ユニット４は、通例、各目のレンズ毎に、しかしいずれの場合でも、少なくとも１つのレンズ１１９（例えば、単眼ＨＭＤ）に対して調節値を選択する。この選択された調節値は、判定された焦点距離(focal distance)を近似する焦点長に対するものである。

[00151] 図１２Ｂは、ズーム能力(zoom capability)に対して可変焦点レンズを調節するプロセスの一実施形態を説明するフローチャートである。ステップ７６０において、処理ユニット４は、ズーム・レベルを要求するユーザー入力を受ける。このユーザー入力は、マイクロフォン１１０によってオーディオとして取り込まれても、深度カメラ２０Ａおよび２０Ｂによって取り込まれるジェスチャーとしてでもよく、ハブ計算デバイス１２によって処理されるとよい。他の実施形態では、ユーザー入力またはコマンドは、少なくとも部分的に、瞬きまたは他の目の動きに基づくユーザー入力観察記録(protocol)に対する目の筋肉についての潜在力(potentials)を測定することによって、判定されるとよい。

[00152] ユーザー入力は、マイクロフォン１１０によってオーディオとして取り込まれても、深度カメラ２０Ａおよび２０Ｂによって取り込まれるジェスチャーとしてでもよく、ハブ計算デバイス１２によって処理されるとよい。処理ユニット４またはハブ計算デバイス１２、あるいは双方の協調で、ステップ７６２において、ズーム・レベルおよび現在の焦点領域に基づいて、焦点距離を判定する。次に、ステップ７６４において、焦点距離(focal distance)を近似する焦点長に対して、調節値が可変焦点レンズに選択され、焦点領域調節ユニット１３９は、ステップ７６６において、選択された調節値に基づいて、可変焦点レンズを調節する。

[00153] 可変焦点レンズ１１９のサイズ、凸状、および凹状の範囲によって許される範囲で、ユーザーはズーム機構を選択することができる。ズーム機構の一例は、通常の視力を有する他の者が１０フィートでしか見ることができないものを、２０フィートにおいて合焦して見る（see in−focus)能力というような、通常の能力よりも優れた合焦能力である。一例では、通常の視力は、２０／２０または老眼でない場合６／６の視力とすることができる。また、ズーム機構は、現在の焦点距離よりも遠いまたは近い特定の距離、あるいは現在の焦点距離の乗数(multiplier)を見ることであってもよい。

[00154] 仮想物体のタイプ、およびユーザーの視野におけるそれらの位置は、デフォルトのパラメーター、ユーザー入力、または双方の組み合わせによって、アプリケーション４５２によって判定される。例えば、ユーザーが、彼がアプリケーション３５２を実行している部屋において、コーヒー・テーブルという実世界物体を選択して、巨礫(boulder)の如く見えるようにすることができる。仮想巨礫の目標位置が、三次元モデル内のコーヒー・テーブルの位置に関係付けられる。他の例では、仮想いるかが部屋中を泳ぐように、ユーザーによって選択されるのでもよい。このいるかの部屋中における仮想的な動きは、いるかオブジェクト(dolphin object)の軌道(trajectory path)によって実現することができ、各表示フレームにおいているかに対する目標位置が更新される。ユーザーが巨礫を見つめていても、いるかは総じてユーザーの焦点領域および視野に入ったり出たりする可能性が高い。ユーザーが彼または彼女の目あるいは頭を動かすと、ユーザーの視野および現在の焦点領域も、これらの動きと共に更新していく。１つ以上の仮想物体が、ユーザーの焦点領域およびユーザーの視野内に、いずれの所与の時点においても配置されてもよい。

[00155] 図１３は、透視ディスプレイを見ているユーザーによって見られるときに、焦点が合うように仮想物体を表示するプロセスの一実施形態を説明するフローチャートである。例えば、図１３のプロセスは、図８のステップ６１２の一実施態様例である。ステップ９５２において、本システムは、ユーザーの現在の視野内に、仮想物体の任意の目標位置があるか否か判定を行う。ハブ計算デバイス１２または処理ユニット４というような１つ以上のコンピューター・システムにおいて実行しているソフトウェアが、視野におけるターゲットの位置を特定する。一実施形態では、計算デバイス１２がモデルを処理ユニット４に供給する。ステップ９５２の一部として、処理ユニット４は、環境のモデル、ならびにユーザーの位置および向きの知識を使用して、任意の仮想物体の目標位置がユーザーの視野内にあるか否か判定を行う。

[00156] ユーザーの現在の視野に仮想物体がない場合、ステップ９６４における処理は、図８または図１９におけるもののような、プロセス実施形態の他のステップの実行(implement)に戻る。ステップ９５４において、ハブ計算デバイス１２、処理ユニット４、または双方において実行しているソフトウェアが、ユーザーの視野において、現在のユーザーの焦点領域内にある各仮想物体を、モデルにおけるその目標位置に基づいて特定する。

[00157] ステップ９５６において、処理ユニット４は、ユーザーの視野に挿入する画像のために、特定した各仮想物体をスケーリングし、向きを決める。この仮想物体のスケーリングおよび向きの決定は、ユーザーの視野におけるその目標位置に基づく。

[00158] ステップ９５８において、処理ユニット４、制御回路１３６、または双方は、マイクロディスプレイ・アセンブリー１７３の焦点領域を変化させることによって、現在のユーザーの焦点領域内に、特定された各仮想物体を置く処理を共有する。任意に、ステップ９６０において、人為的被写体深度技法が、目標位置がユーザーの視野内でユーザーの現在の焦点領域の外側にある仮想物体に、現在の焦点領域からの距離の関数として適用される。人為的被写体深度技法の一例は、人為的ぼけ技法である。

[00159] 人為的ぼけは、被写体深度シェーダー(depth of field shader)または他のガウスぼかしフィルターを適用し、焦点領域からの距離を関数として、焦点が外れている物体をシミュレートすることによって得ることができる。この技法は、全体的にまたは部分的に、ハブ・コンピューター１２、処理ユニット４、または双方において実行するソフトウェアによって実行することができる。説明を容易にするために、処理ユニット４を参照する。仮想物体の目標位置の一部として、画像内の物体の焦点距離が処理ユニット４によって深度値から決定される。また、処理ユニット４は、導光光学エレメント１１２を囲むもののようなディスプレイ・エレメント１１２におけるどの画素が、画像内の仮想物体にマッピングするか判断する。焦点距離に基づいて、ガウス関数によって画像を畳み込み(convolve)、画像の焦点または固定点から離れた画素に適用される変換程、大きなぼけ効果を受けるようにすることによって、少なくとも二次元をカバーするように、１つ以上の加重ガウスぼかしフィルターが適用される。一例では、ガウスぼかしフィルターは、高周波情報を除去するロー・パス・フィルターとして動作する。

[00160] ステップ９６２において、マイクロディスプレイ１２０は、特定された各仮想物体を含む仮想画像を表示する。一例では、ユーザーの視野内に仮想物体を含む仮想画像のマイクロディスプレイ１２０における表示のための命令を、処理ユニット４が制御回路１３６のディスプレイ・ドライバー２２０に送る。次いで、レンズ・システム１２２は、マイクロディスプレイ１２０から受けた仮想画像を、図１Ｃに示すように、反射面１２４ａおよび１２４ｂ上に、そしてユーザーの目に向けて、または図１Ｂまたは図１Ｄにおけるように、導光光学エレメント１１２内に、ユーザーが見るために投射する。一実現例では、ユーザーが頭部装着ディスプレイ・デバイス内を透視しているディスプレイ（例えば、導光光学エレメント１１２）が、画素に分割される。ステップ９６２は、どの画素が目標位置に対応するか判断することを含むことができ、これらの画素がステップ９６２において、特定された各仮想物体を含む仮想画像を表示する。図１３の処理ステップは、ユーザーが彼または彼女の頭を動かすに連れてユーザーの視野およびユーザーの焦点領域が更新されるように、そして、仮想物体が、それに応じて自然に動いてユーザーに対する焦点に合ったり外れたりするように、本システムの動作中連続して実行することができる。

[00161] 図１６は、図８のステップ６１０ａの一実現例である、ユーザーの視野を判定するプロセス、および図８のステップ６１０ｂの一実現例である、ユーザーの焦点領域を判定するプロセスの一実施形態を説明するフローチャートである。図１６のプロセスは、前述したハブ計算デバイス１２および目追跡技術からの情報を拠り所とする。図１４は、図１６のプロセスにおいて使用される追跡情報を提供するためにハブ計算システムによって実行されるプロセスの一実施形態を説明するフローチャートである。図１５は、目を追跡するプロセスの一実施形態を説明するフローチャートであり、その結果が、図１６のプロセスによって使用される。

[00162] 図１４のステップ８１０において、ハブ計算デバイス１２はユーザーの位置を追跡する。例えば、計算デバイス１２は１つ以上の深度画像および１つ以上の視覚画像を使用して、ユーザーを追跡する（例えば、骨格追跡を使用する）。１つ以上の深度画像および１つ以上の視覚画像は、頭部装着ディスプレイ・デバイス２の位置、および頭部装着ディスプレイ・デバイス２の向きをステップ８１２において判定するために使用することができる。ステップ８１４において、ユーザーならびに頭部装着ディスプレイ・デバイス２の位置および向きが、ハブ計算デバイス１２から処理ユニット４に送られる。ステップ８１６において、この位置および方位情報が、処理ユニット４において受け取られる。図１４の処理ステップは、ユーザーが連続的に追跡されるように、本システムの動作中連続的に実行することができる。

[00163] 図１５は、前述の技術を使用して目を追跡する一実施形態を説明するフローチャートである。ステップ８６０において、目に照明を当てる。例えば、目追跡照明１４４Ａからの赤外線光を使用して、目に照明を当てることができる。ステップ８６２において、目からの反射が、１つ以上の目追跡カメラ１３４Ｂを使用して検出される。ステップ８６４において、反射データーが頭部装着ディスプレイ・デバイス２から処理ユニット４に送られる。ステップ８６６において、処理ユニット４は、先に論じたように、反射データーに基づいて目の位置を判定する。ステップ８６８において、処理ユニット４は、反射データーに基づいて、ユーザーの目が見ている焦点深度位置または焦点領域も判定する。図１５の処理ステップは、ユーザーの目が連続的に追跡されて現在のユーザー焦点領域を追跡するためのデーターを提供するように、本システムの動作中連続的に実行することができる。

[00164] 図１６は、ユーザーの視野を判定するプロセス（例えば、図８のステップ６１０ａ）およびユーザーの焦点領域を判定するプロセス（例えば、図８のステップ６１０ｂ）の一実施形態を説明するフローチャートである。ステップ９０２において、処理ユニット４は、ハブから受けた最新の位置および向き情報にアクセスする。図１４のプロセスは、ステップ８１４からステップ８１０への矢印によって示されるように、連続的に実行することができ、したがって、処理ユニット４は周期的に更新された位置および向き情報を、ハブ計算デバイス１２から受ける。しかしながら、処理ユニット４は、ハブ計算デバイス１２から更新情報を受けるよりも高い頻度で仮想画像を描画する必要がある。したがって、処理ユニット４は、ローカルに（例えば、頭部装着ディスプレイ・デバイス２から）検知された情報を拠り所として、ハブ計算デバイス１２からのサンプルの間に、向きに対する更新を与える必要がある。ステップ９０４において、処理ユニット４は、三軸ジャイロ１３２Ｂからのデーターにアクセスする。ステップ９０６において、処理ユニット４は三軸加速度１３２Ｃからのデーターにアクセスする。ステップ９０８において、処理ユニット４は三軸磁力計１３２Ａからのデーターにアクセスする。ステップ９１０において、処理ユニット４は、ハブ計算デバイス１２からの位置および向きデーターを、ジャイロ、加速度計、および磁力計からのデーターによって、リファインする（または、言い換えると、更新する）。ステップ９１２において、処理ユニット４は、頭部装着ディスプレイ・デバイスの位置および向きに基づいて、可能な視野を判定する。

[00165] ステップ９１４において、処理ユニット４は最新の眼位情報にアクセスする。ステップ９１６において、処理ユニット４は、ユーザーによって見られているモデルの部分を、可能な視野の一部として眼位に基づいて判定する。例えば、ユーザーが壁に向かっていることもあり、したがって、頭部装着ディスプレイの視野は、壁に沿ったいずれかの場所を含むこともあり得る。しかしながら、ユーザーの目が右に向けられている場合、ステップ９１６では、ユーザーの視野は壁の右側部分のみであると結論付ける。ステップ９１６の終了時には、処理ユニット４はユーザーの視野を頭部装着ディスプレイ２によって判定し終えている。処理ユニット４は、視野内の仮想物体の目標位置を特定することができる。ステップ９１８において、処理ユニット４は、眼位に基づくモデルの部分によって、現在のユーザーの焦点領域を判定する。処理ユニット４は、現在のユーザーの焦点領域内にある仮想物体のモデル内で目標位置を特定することができる。図１６の処理ステップは、ユーザーが彼または彼女の頭を動かすに連れてユーザーの視野および焦点領域が連続的に更新されるように、そして仮想物体がそれに応じて自然に動いてユーザーに対する焦点に合ったり外れたりするように、本システムの動作中に連続的に実行することができる。

[00166] 図１７Ａは、マイクロディスプレイ・アセンブリーの少なくとも１つのレンズを変位させることによって、マイクロディスプレイ・アセンブリーの焦点領域を変化させるプロセスの一実施形態を説明するフローチャートである。この実施形態は、図１３におけるステップ９６０を実現するために使用することができる。例示的なコンテキストについて、図１Ｂおよび図１Ｃに関して先に説明したようなマイクロディスプレイ・アセンブリーを参照する。このマイクロディスプレイ・アセンブリー１７３は、光路１３３においてレンズ・システム１２２と整列されているマイクロディスプレイ・ユニット１２０を含む。レンズ・システム１２２は、マイクロディスプレイ・ユニット１２０から反射エレメント１２４または反射エレメント１２４ａ、１２４ｂに画像光を導き、更にユーザーの目または他の光学エレメント１１２に入射させる。また、マイクロディスプレイ・アセンブリー１７３は、光処理エレメントの１つを物理的に動かして、選択されたまたは決定された焦点領域を得るために、可変仮想焦点調節器１３５も含む。

[00167] 図２Ａ〜図２Ｄの論述の前に、マイクロディスプレイ・アセンブリー１７３の変位および焦点長は、以下の式、１／Ｓ_１＋１／Ｓ_２＝１／ｆによって関係付けられる。ステップ９８０において、処理ユニット４は、レンズ・システム１２２の前節点と仮想物体の目標位置との間で変位値Ｓ_１を判定する。加えて、ステップ９８２において、処理ユニット４は、反射エレメント１２４、１２４ａとレンズ・システムの後節点との間で、レンズ・システムｆの焦点長に対して、上の式に基づいて変位値Ｓ_２を判定する。処理ユニット４は、ステップ９８４において、制御回路１３６のプロセッサーに、可変調節器ドライバー２３７に少なくとも１つの駆動信号を可変仮想焦点調節器１３５に印加させて、レンズ・システムのうち少なくとも１つのレンズを物理的に動かし、判定した変位値Ｓ_１およびＳ_２を生成する。図１Ｂおよび図１Ｃに示したマイクロディスプレイ・アセンブリー１７３の他に、他の実現例には、図２Ｄの挿入可能なレンズ・システム例を使用するマイクロディスプレイ・アセンブリー１７３がある。その動きは、レンズが定位置にある場合には、アーム１２３を解放する動きであり、そして決定された変位にある場合には、光路１３３内にレンズをロックするために、レンズのアーム１２３を動かす動きである。加えて、挿入されたレンズの焦点長も、Ｓ_１１に対して結果的に得られた値に影響を及ぼす。

[00168] 図１７Ｂは、マイクロディスプレイ・アセンブリーの少なくとも１つのレンズの偏光を変化させることによって、このマイクロディスプレイ・アセンブリーの焦点領域を変化させるプロセスの一実施形態を説明するフローチャートである。この実施形態は、図１３におけるステップ９５８を実現するために使用することができ、図２Ｃに示したようなマイクロディスプレイ・アセンブリー１７３の実施形態と共に使用するのに適している。この実施形態では、レンズ・システムは、マイクロディスプレイ１２０と反射エレメント１２４（図１Ｃ）、１２４ａ（図１Ｂ）との間の光路内に少なくとも１つの複屈折レンズを含む。ステップ９８６において、処理ユニット４は、仮想物体の目標位置および式１／Ｓ_１＋１／Ｓ_２＝１／ｆに基づいて、Ｓ_１に対する変位値を選択する。ステップ９８８において、可変調節器ドライバー２３７は、可変焦点調節器１３５に少なくとも１つの複屈折レンズの偏光を変化させて、この複屈折レンズの焦点長ｆを変化させ、選択したＳ_１を生成するために、少なくとも１つの駆動信号を印加する。各複屈折レンズは、２つの変更軸に対応する２つの離散焦点長(discrete focal length)を有するので、２つのこのようなレンズの組み合わせによって、４つの離散焦点長の選択が与えられる。つまり、ソフトウェアの制御の下で、処理ユニット４または制御回路１３６のプロセッサー２１０は、ｆの値に近似する最も近い利用可能な焦点長を選択する。追加される複屈折レンズ毎に、離散焦点長の数は２倍になる。

[00169] 図１７Ｃは、マイクロディスプレイ・アセンブリーの少なくとも１つの流体レンズの曲率半径を変化させることによって、マイクロディスプレイ・アセンブリーの焦点領域を変化させるプロセスの一実施形態を説明するフローチャートである。この実施形態は、図１３におけるステップ９６０を実現するために使用することができ、図２Ｂ１、図２Ｂ２、および図２Ｂ３に示したような、そのレンズ・システム１２２において少なくとも１つの液体レンズを採用するマイクロディスプレイ・アセンブリーの実施形態と共に使用するのに適している。ステップ９９０において、処理ユニット４は、仮想物体の目標位置および式１／Ｓ_１＋１／Ｓ_２＝１／ｆに基づいて、Ｓ_１に対する変位値を選択する。ステップ９９２において、可変調節器ドライバー２３７は、可変焦点調節器１３５に流体レンズの流体において体積変化を生じさせ、その曲率半径の変化を生じさせてその離散焦点長ｆを変化させて、選択したＳ_１値を生成するために、少なくとも１つの駆動信号を印加する。

[00170] 図１３の実施形態において先に述べたように、ユーザーの視野内にあるがユーザーの焦点領域内にない仮想物体に対して、人為的ぼけ技法を適用することもできる。他の実施形態では、異なる焦点領域において一連の画像を生成することもできる。複数の焦点(foci)の範囲または焦点領域にわたって動かし、各焦点領域において画像を表示することによって、異なる焦点領域画像のレイヤーで構成された画像をユーザーに見させることができる。ユーザーが彼または彼女の焦点を再調節するとき、ユーザーはこれらの領域のうち１つに静定し、これらの領域の残りにおける仮想物体は自然にぼける。焦点領域の範囲にわたる掃引は、所定のレートまたは頻度で行うことができる。これは、人間の時間的画像融合によってこれら全てが一度に現れる如くに見えるように、十分に速く行われる。人為的ぼけのような人為的被写体深度技法の必要性は減少するが、レンダリング負荷はかなり増大する場合がある。

[00171] 焦点領域の範囲にわたる動きは、一実施形態では、マイクロディスプレイ・アセンブリーの光処理エレメント間の変位を変化させることによって、またはアセンブリーにおける光処理エレメントの光パワーをある速度のレートで変化させることによって実現することができる。速度のレートは、少なくとも毎秒３０フレームのフレーム・レート（ｆｐｓ）位にするとよいが、実施形態の中には、６０、１２０、または１８０Ｈｚというような、それよりも高い速度のレートにすることができる場合もある。光路に沿って高い速度のレートでレンズを変位させると、異なる焦点領域において画像が供給される。このレンズは、ときとして、振動レンズまたは発振レンズと呼ばれている。場合によっては、レンズ・システム１２２または画像ソース１２０ではなく、画像領域、例えば、反射面１２４、１２４ａが動かされるが、原理は同じである。

[00172] 図１８Ａは、図８におけるステップ６１２を実現するために使用することができる拡張現実ディスプレイにおける異なる焦点領域において仮想物体画像を生成するプロセスの一実施形態を説明するフローチャートである。図１８Ａにおいて、ハブ計算デバイス１２または処理ユニット４、あるいは双方は、ソフトウェアの制御の下で、図１３のステップ９５０におけるようにユーザーの視野を判定し、ステップ１００４において、ステップ９５２におけるようにユーザーの現在の視野内に仮想物体の目標位置があるか否か判定を行う。ステップ９６４と同様、ユーザーの現在の視野内に仮想物体がない場合、ステップ１００６における処理は、図８または図１９におけるステップのように、本プロセス実施形態の他のステップの実行に戻る。

[00173] ステップ９５６におけるように、処理ユニット４は、ステップ１０１２において、ユーザーの視野に挿入される画像に対して、仮想物体のスケーリングを行い、向きを決める。この仮想物体のスケーリングおよび向きの決定は、視野における目標の位置、およびモデルに基づく仮想物体の既知の形状に基づく。

[00174] ステップ１０１６において、掃引レート期間(sweep rate period)が、タイミング・ジェネレーター２２６または制御回路のクロック・ジェネレーター２４４によって開始される。ステップ１０１８において、掃引期間中に前述の範囲における複数の焦点領域を通過するために、カウンターが初期化される。場合によっては、焦点領域が予め決められている。掃引期間の時間刻み毎に、マイクロディスプレイ・アセンブリーのエレメントの焦点領域が調節され、ステップ１０２２において焦点領域毎にその掃引時間または時間刻みで画像がユーザーに表示される。ステップ１０２４において、カウンターを進めることによって次の焦点領域が選択され、範囲掃引が完了したことをカウンターが示すまで、ステップ１０２０から１０２４までの処理が繰り返される。掃引期間はステップ１０２８において終了する。他の例では、表示のためのフレームの終点で、掃引範囲にわたる掃引を中断することもでき、新たな掃引が次のフレームで開始する。

[00175] 一実施形態では、レンダリング負荷は、焦点領域の内部分集合をレンダリングし、ユーザーの焦点領域の追跡を使用して、レンダリングのための焦点領域の選択を最適化することによって、低減することができる。他の例では、目追跡データーは、ユーザーが見ている焦点位置の深度を判定するためには、十分な正確度を提供しない。推論ロジックによって、ユーザーが焦点を合わせている物体を推論することもできる。一旦ある物体が注目物体として選択されたなら、現在の場面の三次元モデルまたはマッピングを、注目物体までの距離を判定するために使用することができる。

[00176] 図１８Ｂは、図８におけるステップ６１２を実現するために使用することができる拡張現実ディスプレイを見ているユーザーによって見られるときに、焦点が合うように仮想物体を表示するプロセスの他の実施形態を示す。図１８Ｂは、拡張現実ディスプレイにおける異なる焦点領域において仮想物体画像を生成するプロセスの一実施形態を説明するフローチャートである。図１８Ｂにおいて、ハブ計算デバイス１２または処理ユニット４、あるいは双方は、ソフトウェアの制御の下で、ステップ９５２におけるように、１００４において、ユーザーの現在の視野内に任意の仮想物体の目標位置があるか否か判定を行う。ステップ９６４と同様、ユーザーの現在の視野内に仮想物体がない場合、ステップ１００６における処理は、図８または図１９におけるステップのように、本プロセス実施形態の他のステップの実行に戻る。

[00177] ユーザーの視野内に目標位置を有する少なくとも１つの仮想物体がある場合、ステップ９５４におけるようにステップ１００８において、ハブ計算デバイス１２、処理ユニット４、または双方において実行するソフトウェアは、ハブ・コンピューター・システム１２、処理ユニット４、または双方において実行するソフトウェアは、ステップ１０１０において、ユーザーの視野内における仮想物体のうちどれが、現在のユーザーの焦点領域内にあるか、モデルにおける仮想物体の目標位置に基づいて判定する。ステップ９５６におけるように、処理ユニット４は、ステップ１０１２において、ユーザーの視野に挿入する画像に対する仮想物体をスケーリングし、向きを決める。この仮想画像のスケーリングおよび向きの決定は、視野内における目標の位置、およびモデルに基づく仮想物体の既知の形状に基づく。

[00178] ステップ１０１４において、処理ユニット４は、現在のユーザー焦点領域を含む、ある範囲の焦点領域を選択する。処理ユニット４は、実行アプリケーション、例えば、４５２のコンテキストというような、判断基準に基づいて、この焦点領域の範囲を選択することができる。アプリケーションは、仮想物体の選択を、所定の動きの軌道と、それらの出現をトリガーするイベントと共に使用することができる。物体の動きによって物体のモデルが更新される毎に、処理ユニット４は、図９から図１１Ａまでの論述のように、これらの更新を受ける。更新の間に、処理ユニット４はユーザーの頭の位置および向きについてのセンサー・データーを使用して、どの仮想物体に彼または彼女がその時点において焦点を合わせている可能性が高いか判断することができる。処理ユニット４は、場面の三次元モデルに基づいて、仮想物体の軌道が進む複数の焦点領域を選択することができる。したがって、判断基準の一例は、仮想物体が位置する各焦点領域を含むことである。加えて、焦点領域を選択するとき、動く仮想物体の軌道が所定の時間枠の間留まる領域としてもよい。この所定の時間枠は、一例では、仮想物体の正確な位置を示すモデル・データーの次の更新までとするとよい。

[00179] 焦点領域の範囲にわたって掃引する開始焦点領域は、ユーザーの目から、ユーザーの視野において無限遠に最も近いものとするとよい。他の開始位置も使用してもよいが、無限遠において開始すると、不透明フィルター１１４の適用を簡素化することができる。ステップ１０１６において、掃引レート期間が、タイミング・ジェネレーター２２６または制御回路のクロック・ジェネレーター２４４によって開始される。ステップ１０１８において、掃引期間中に前述の範囲における複数の焦点領域を通過するために、カウンターが初期化される。場合によっては、焦点領域が予め決められている。掃引期間の時間刻み毎に、マイクロディスプレイ・アセンブリーのエレメントの焦点領域が調節され、ステップ１０２２において焦点領域毎にその掃引時間または時間刻みで画像がユーザーに表示される。ステップ１０２４において、カウンターを進めることによって次の焦点領域が選択され、範囲掃引が完了したことをカウンターが示すまで、ステップ１０２０から１０２４までの処理が繰り返される。掃引期間はステップ１０２８において終了する。他の例では、表示のためのフレームの終点で、掃引範囲にわたる掃引を中断することもでき、新たな掃引が次のフレームで開始する。

[00180] 先に論じたように、合焦の限界によって、ユーザーがある焦点領域内では実物体も仮想物体も明確に見ることができない場合がある。例えば、老眼は、５０歳以上の老眼のユーザーにとって、約１．５フィート未満の距離において物体を明白に見る能力を妨げる可能性がある。仮想物体および実物体の視覚的強調は、ユーザーの場面の知覚も改良することができる。仮想物体を視覚的に強調することができ、実物体と一致しこれを視覚的に強調する仮想画像も使用することができる。

[00181] 処理ユニット４、ハブ計算デバイス１２、または双方は、強調の判断基準を使用して、ユーザーの視野内においてどの実物体が強調に適するか判断することもできる。１つの要因は、実物体が他の人を表すこととしてもよい。他の要因は、実物体がある距離だけ動いた、あるいはその速度または加速度がしきい値を満たすというように、実物体が動きの判断基準を満たすこととしてもよい。例えば、戦争ゲームでは、実物体が発射体であってもよい。また、戦争ゲームの例では、物体のタイプが、強調の適格性を決めることもできる。例えば、実物体が銃である場合、それを強調するか赤く着色して、通常よりも低い視力のユーザーの注意を引くこともできる。

[00182] 図１９は、ユーザーの視野において実物体を仮想画像によって視覚的に強調するプロセスの一実施形態を説明するフローチャートである。このプロセスは、図８のステップ６１４を実現するために使用することができる。ステップ１０５０において、処理ユニット４は、ユーザーの視野内において、強調判断基準を満たす実物体を特定し、ステップ１０５２において、強調判断基準に基づいて、強調技法を選択する。例えば、加速している実物体は、ハイライトによってそのエッジを強調させ、このハイライトが、その実物体の後を追うのでもよい。他の例では、実物体に未だ焦点が合っていない間に、ユーザーがより良い合焦能力を有する焦点距離において、実物体のエッジの鋭い仮想輪郭を追跡することもできる。仮想的な四角や円というようなもっと簡単な強調を、対称の実物体が位置する視野の部分に表示してもよい。加えて、仮想オーバーレイで実物体を強調するために、カラーを使用してもよい。例えば、暗視モードでは、対象の実物体に、異なるカラーを仮想オーバーレイにおいて使用してもよい。ステップ１０５４において、処理ユニットは、選択した強調技法によって使用された実物体の画像データーを選択する。一例を挙げると、図１０のステップ６８６においてハブ計算デバイス１２によって検出されたエッジ・データーである。

[00183] 処理ユニット４は、ステップ１０５６において、実物体のために仮想画像を生成するために、選択した技法についてのデーターを要求することができ、あるいはハブ計算デバイス１２が、処理ユニット４の要求時に仮想画像を生成することができる。ステップ１０５８において、ユーザーの視野の三次元モデルに基づいて、実物体を追跡するように仮想画像が表示される。

[00184] 仮想物体に対しても、図１９と同様のプロセスを採用して、この仮想物体を視覚的に強調することができる。別の仮想画像がこの仮想物体を追跡してもよく、または強調を含むようにこの仮想物体の画像データーを更新することもできる。

[00185] 以上、構造的特徴および／または方法論的動作に特定な文言で主題について説明したが、添付した特許請求の範囲に定められている主題は、以上で説明した特定の特徴や動作には必ずしも限定されないことは理解されてしかるべきである。逆に、以上で説明した特定の特徴および動作は、特許請求の範囲を実現する形態例として開示されたまでである。

Claims (9)

1. サポート構造と、前記サポート構造で支持される透視ディスプレイを有する透視ディスプレイ・デバイスと、
   前記サポート構造で支持され、深度画像を取得するビデオ・カメラと、
   ソフトウェアとデーターを記憶するメモリと、
   前記メモリにアクセス可能であり、マイクロディスプレイ・アセンブリーに通信可能に結合され、前記ソフトウェアの制御のもとに、取得した前記深度画像と、三次元モデルに基づいて、前記透視ディスプレイを透視して視ることができる、現在の視野を決定するプロセッサーと、
   前記透視ディスプレイ・デバイスに取り付けられる前記マイクロディスプレイ・アセンブリーであって、前記マイクロディスプレイ・アセンブリーは、マイクロディスプレイと、光処理エレメントと、前記マイクロディスプレイと前記光処理エレメントとの間の光路を変更する可変焦点調節器を含むマイクロディスプレイ・アセンブリーと、
   を含む表示される仮想物体の焦点を改良する拡張現実システムであって、
   前記プロセッサーは、更に、
   前記現在の視野内の現在の焦点領域を決定し、
   前記現在の焦点領域内の仮想物体を前記三次元モデル内の仮想物体の位置に基づいて特定し、
   前記可変焦点調節器によって前記マイクロディスプレイと前記光処理エレメントとの間の光路を変更させることによって前記マイクロディスプレイ・アセンブリーに前記現在の焦点領域内の仮想物体の仮想画像を現在の焦点領域に焦点が合うように生成させるものであり、
   前記透視ディスプレイ・デバイスの透視ディスプレイは、前記現在の焦点領域と焦点が合う仮想物体の仮想画像を受け表示できるように光学的に結合されている、
   表示される仮想物体の焦点を改良する拡張現実システム。
2. 前記透視ディスプレイは、透視される位置に置かれた可変焦点レンズを含み、
   前記プロセッサーは、ズーム機能についての入力を受け付け、前記ズーム機能についての入力と前記現在の焦点領域から必要な焦点距離を定め、前記可変焦点レンズを前記焦点距離に対応する焦点長とするための制御値を求め、
   前記制御値に基づいて前記可変焦点レンズを制御する焦点領域調節ユニットを含む、
   請求項１に記載の表示される仮想物体の焦点を改良する拡張現実システム。
3. 前記可変焦点レンズは液体レンズである、請求項２に記載の表示される仮想物体の焦点を改良する拡張現実システム。
4. 前記焦点領域調節ユニットは、前記焦点距離に対応する焦点長となるように前記液体レンズの曲率半径を制御する、請求項３に記載の表示される仮想物体の焦点を改良する拡張現実システム。
5. 前記三次元のユーザーの現在の視野内の現在の焦点領域を決定することは、目の追跡に基づいて現在の焦点領域を決定することを含む、請求項１〜４のいずれか一項に記載の表示される仮想物体の焦点を改良する拡張現実システム。
6. 透視ディスプレイを有する透視ディスプレイ・デバイスと深度画像を取得するビデオ・カメラを含む拡張現実システムにおいて表示される仮想物体の焦点を改良する方法であって、
   取得した前記深度画像と、三次元モデルに基づいて、前記透視ディスプレイを透視して視ることができる、現在の視野を決定し、
   前記現在の視野内の現在の焦点領域を決定し、
   前記現在の焦点領域内の仮想物体を前記三次元モデル内の仮想物体の位置に基づいて特定し、
   マイクロディスプレイ・アセンブリーに前記現在の焦点領域内の仮想物体の仮想画像を現在の焦点領域に焦点が合うように生成させ、
   前記透視ディスプレイによって、前記現在の焦点領域と焦点が合う仮想物体の仮想画像を光学的に受け表示する、
   表示される仮想物体の焦点を改良する方法。
7. 前記三次元のユーザーの現在の視野内の現在の焦点領域を決定することは、目の追跡に基づいて現在の焦点領域を決定することを含む、請求項６に記載の表示される仮想物体の焦点を改良する方法。
8. 請求項６又は７に記載の方法を実行するためのプログラム。
9. 請求項６又は７に記載の方法を実行するためのプログラムを記録した記録媒体。

Images