JP7036879B2 - 仮想画像生成システムにおけるテキストをより効率的に表示するための技法 - Google Patents

Description

本発明は、概して、１人以上のユーザのための双方向仮想および拡張現実環境を促進するように構成されるシステムおよび方法に関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える様式、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実（ＡＲ）シナリオは、典型的には、エンドユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

例えば、図１を参照すると、拡張現実場面４が、描写されており、ＡＲ技術のユーザは、背景における人々、木々、建物を特徴とする実世界公園状設定６と、コンクリートのプラットフォーム８とを見る。これらのアイテムに加え、ＡＲ技術のエンドユーザは、実世界プラットフォーム８上に立っているロボット像１０と、マルハナバチの擬人化のように見え、飛んでいる漫画のようなアバタキャラクタ１２とをエンドユーザが「見ている」と知覚するが、これらの要素１０、１２は、実世界には存在しない。結論からいうと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進するＶＲまたはＡＲ技術を生成することは、困難である。

ＶＲおよびＡＲシステムは、典型的には、エンドユーザの頭部に少なくとも緩く装着され、したがって、ユーザの頭部が移動すると移動する頭部装着型ディスプレイ（またはヘルメット搭載型ディスプレイもしくはスマートグラス）を採用する。エンドユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部の姿勢（すなわち、ユーザの頭部の向きおよび／または場所）の変化を考慮するように更新されることができる。

例として、頭部装着型ディスプレイを装着しているユーザが、３次元（３Ｄ）オブジェクトの仮想表現をディスプレイ上で視認し、３Ｄオブジェクトが現れるエリアの周囲を歩く場合、その３Ｄオブジェクトは、各視点に対して再レンダリングされ、エンドユーザに、実空間を占有するオブジェクトの周囲を歩いているという知覚を与えることができる。頭部装着型ディスプレイが、仮想空間内の複数のオブジェクト（例えば、豊かな仮想世界）を提示するために使用される場合、場面を再レンダリングして、エンドユーザの動的に変化する頭部の場所および向きに一致させ、仮想空間において増加した没入感を提供するために、頭部の姿勢の測定が使用されることができる。

ＡＲ（すなわち、実および仮想要素の同時視認）を可能にする頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される、１つのそのような構成では、カメラが、実際の場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重ね、非透明ディスプレイが、複合画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、エンドユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見ることにより、環境内の実オブジェクトからの光を直接視認することができる。多くの場合、「結合器」と称される透明要素は、実世界のエンドユーザのビューの上にディスプレイからの光を重ねる。

あるＶＲおよびＡＲシステムでは、テキストをユーザによって現在視認されているオブジェクトに隣接して表示することが望ましい。例えば、エンドユーザが、コーヒーショップに入り、図２に図示されるように、実際のまたは仮想メニュー２０上に表示される一杯のコーヒー２２ａ、デニッシュ２２ｂ、およびスムージー２２ｃを視認する場合、記述メッセージ（例えば、「コーヒー、カフェイン抜き、豆乳」）をコーヒーのカップ２２ａに隣接して、記述メッセージ（例えば、ストロベリー味のデニッシュ）をデニッシュ２２ｂに隣接して、記述メッセージ（例えば、ストロベリー、パイナップル、マンゴースムージー）をスムージー２２ｃに隣接してテキスト表示し、一杯のコーヒー２２ａ、デニッシュ２２ｂ、および／またはスムージー２２ｃを注文するかどうかについてエンドユーザの決定を促進することが望ましくあり得、それは、売主との従来の通信を介してそれを注文すること、またはＶＲおよびＡＲシステムを通してエンドユーザによって提供される言語もしくは非言語合図を介して電子注文することを伴い得る。記述メッセージをメッセージが関わる実際のまたは仮想オブジェクトに隣接してテキスト表示することは、理論上、良好に機能するが、現在のディスプレイ技術の分解能は、小さな活字が分解されることができず、したがって、大面積が、大きな活字を表示するために必要とされ、それによって、潜在的に、エンドユーザによって視認される３次元場面を乱雑にするという点において限定される。

したがって、メッセージを仮想現実または拡張現実システム内の仮想または実際のオブジェクトに隣接してより効率的に表示する必要性がある。

本発明の第１の実施形態によると、仮想画像生成システムを動作させる方法は、エンドユーザが３次元場面を可視化することを可能にすることと、（表示され得る）テキスト領域をユーザの視野内に空間的に関連付けることと、テキストメッセージを生成することと、テキストメッセージをテキスト領域内でストリーミングすることとを含む。１つの方法では、テキストメッセージは、テキスト領域内で一度に１つの単語のみがストリーミングされる。別の方法では、テキストメッセージは、テキスト領域内に一度に少なくとも２つの単語が表示されながら、表示される単語の１つのみを強調する。１つの単語を強調することは、残りの表示される単語または複数の単語を上回る輝度強度で１つの単語を表示することを含み得るか、またはテキスト領域は、３次元テキスト領域であり得、その場合、１つの単語は、３次元テキスト領域の前景に表示され得、残りの表示される単語または複数の単語は、３次元テキスト領域の背景に表示され得る。

１つの方法はさらに、エンドユーザが３次元場面において着目オブジェクトを可視化することを可能にすることを含み、その場合、テキスト領域は、着目オブジェクトに空間的に関連付けられ得、テキスト画像は、着目オブジェクトの少なくとも１つの特性を識別し得る（例えば、着目オブジェクトの名称を識別することによって）。着目オブジェクトが移動可能である場合、テキスト領域を着目オブジェクトに空間的に関連付けることは、テキスト領域が着目オブジェクトの移動と連動して移動するように、テキスト領域を着目オブジェクトとリンクさせることを含み得る。方法は、随意に、テキスト領域インジケータを着目オブジェクトに隣接して表示することと、エンドユーザの焦点を感知することと、エンドユーザの焦点がテキスト領域インジケータと一致するとき、テキスト領域をアクティブにすることと（例えば、テキスト領域を視覚的に現れさせることによって）を含む。着目オブジェクトが仮想オブジェクトである場合、エンドユーザが仮想オブジェクトを可視化することを可能にすることは、仮想オブジェクトをエンドユーザに表示することを含み得る。着目オブジェクトが実際のオブジェクトである場合、エンドユーザが実際のオブジェクトを可視化することを可能にすることは、エンドユーザが実際のオブジェクトからの光を直接可視化することを可能にすることを含み得る。

方法は、随意に、ジェスチャコマンド（例えば、頭部の移動または指もしくは手の移動）をエンドユーザから感知することを含み得、その場合、テキストメッセージをストリーミングすることは、ジェスチャコマンドによって制御され得る。例えば、テキストメッセージをストリーミングすることは、ジェスチャコマンドに応答して開始または中止され得る。または、テキストメッセージの各単語のタイミングは、ジェスチャコマンドに応答して制御され得る。または、テキストメッセージのストリーミング速度は、ジェスチャコマンドに応答して増加または減少させられ得る。または、テキストメッセージのストリーミング方向は、ジェスチャコマンドに応答して変化させられ得る。

１つの方法はさらに、ジェスチャ基準を着目オブジェクトに関連付けることを含み、その場合、エンドユーザからのジェスチャコマンドを感知することは、ジェスチャ基準に対してエンドユーザの解剖学的部分（例えば、頭部または指もしくは手）の角度位置を検出することを含み得る。ジェスチャ基準は、着目オブジェクトに隣接するジェスチャ基準オブジェクトとして表示され得、着目オブジェクトと別個であり、異なり得る、または着目オブジェクト自体であり得る。一実施形態では、ジェスチャ基準は、着目オブジェクトを包囲する環状リングである。

方法は、随意に、エンドユーザの眼の瞬きを感知することを含み得、その場合、テキストメッセージをストリーミングすることは、エンドユーザの眼が閉鎖されると一時停止し、エンドユーザの眼が開放されると継続する。方法はさらに、随意に、着目オブジェクトが配置されている焦点面を識別することと、識別された焦点面に基づいて、テキストメッセージのストリーミング速度を調節することとを含み得る。随意に、テキストメッセージをストリーミングすることは、テキストメッセージの単語間の一時停止を変動させることを含み得る。方法はさらに、随意に、テキストメッセージ内の単語がストリーミングされるにつれて、それらと時間的にそれぞれ対応する可聴トーンのパターンを生成することを含み得る。

本発明の第２の実施形態によると、エンドユーザによる使用のための仮想画像生成システムが、提供される。仮想画像生成システムは、エンドユーザが３次元場面を可視化することを可能にするために構成されているディスプレイシステムを備えている。一実施形態では、ディスプレイシステムは、エンドユーザの眼の正面に位置付けられるために構成される。別の実施形態では、ディスプレイシステムは、投影サブシステムと部分的に透明なディスプレイ表面とを含み、その場合、投影サブシステムは、フレームを部分的に透明なディスプレイ表面上に投影させるために構成され得、部分的に透明なディスプレイ表面は、エンドユーザの眼と周囲環境との間の視野内に位置付けられるために構成され得る。別の実施形態では、仮想画像生成システムはさらに、エンドユーザによって装着されるために構成されているフレーム構造を備え、その場合、フレーム構造は、ディスプレイシステムを支持する。

仮想画像生成システムはさらに、テキスト領域（エンドユーザに表示され得る）をエンドユーザの視野内に空間的に関連付けるために構成されている制御システム（例えば、グラフィック制御サブシステムユニット（ＧＰＵ）を備えているもの）を備えている。制御システムはさらに、テキストメッセージを生成し、ディスプレイシステムに、テキストメッセージをテキスト領域内にストリーミングするように命令するために構成される。一実施形態では、ディスプレイシステムは、テキストメッセージを一度に１つの単語のみで表示することによって、テキストメッセージをテキスト領域内でストリーミングするために構成される。別の実施形態では、ディスプレイシステムは、テキストメッセージを一度に少なくとも２つの単語を表示しながら、少なくとも２つの表示される単語のうちの１つのみを強調することによって、テキストメッセージをテキスト領域内でストリーミングするために構成される。１つの単語を強調することは、残りの表示される単語または複数の単語を上回る輝度強度で１つの単語を表示することを含み得るか、またはテキスト領域は、３次元テキスト領域であり得、その場合、１つの単語は、３次元テキスト領域の前景に表示され得、残りの表示される単語または複数の単語は、３次元テキスト領域の背景に表示され得る。

一実施形態では、ディスプレイシステムは、エンドユーザが３次元場面において着目オブジェクトを可視化することを可能にするために構成され、制御システムは、テキスト領域を着目オブジェクトに空間的に関連付けるために構成され、テキスト画像は、着目オブジェクトの少なくとも１つの特性を識別する。着目オブジェクトが仮想オブジェクトである場合、ディスプレイシステムは、仮想オブジェクトをエンドユーザに表示するために構成され得る。着目オブジェクトが実際のオブジェクトである場合、ディスプレイシステムは、エンドユーザが実際のオブジェクトからの光を直接可視化することを可能にするために構成され得る。着目オブジェクトが移動可能である場合、テキスト領域を着目オブジェクトに空間的に関連付けることは、テキスト領域が着目オブジェクトの移動と連動して移動するように、テキスト領域を着目オブジェクトとリンクさせることを含み得る。随意の実施形態では、仮想画像生成システムはさらに、エンドユーザの焦点を感知するために構成される１つ以上のセンサを備え、制御システムは、ディスプレイシステムにテキスト領域インジケータを着目オブジェクトに隣接して表示ように命令し、エンドユーザの焦点がテキスト領域インジケータと一致するとき、テキスト領域をアクティブにする（例えば、テキスト領域を視覚的に現れさせることによって）ために構成される。

仮想画像生成システムは、随意に、エンドユーザからのジェスチャコマンドを感知するために構成されている少なくとも１つのセンサを備え得、その場合、制御システムは、ジェスチャコマンド（例えば、エンドユーザの頭部の移動または指もしくは手の移動）に基づいてテキストメッセージのストリーミングを制御するために構成され得る。例えば、制御システムは、ディスプレイシステムに、ジェスチャコマンドに応答してテキストメッセージのストリーミングを開始または中止するように命令するために構成され得る。または、制御システムは、ジェスチャコマンドに応答してテキストメッセージの各単語のタイミングを制御するために構成され得る。または、制御システムは、ジェスチャコマンドに応答してテキストメッセージのストリーミング速度を増加または減少させるために構成され得る。または、制御システムは、ジェスチャコマンドに応答してテキストメッセージのストリーミング方向を変化させるために構成され得る。

一実施形態では、制御システムはさらに、ジェスチャ基準を着目オブジェクトに関連付けるために構成され得、その場合、センサは、ジェスチャ基準に対するエンドユーザの解剖学的部分（例えば、頭部、指、または手）の角度位置を検出することによって、エンドユーザからのジェスチャコマンドを感知するために構成されるであろう。制御システムはさらに、ディスプレイシステムに、着目オブジェクトに隣接するジェスチャ基準オブジェクトとしてジェスチャ基準を表示するように命令するために構成され得る。ジェスチャ基準は、着目オブジェクトと別個であり、異なり得るか、または着目オブジェクト自体であり得る。一実施形態では、ジェスチャ基準は、着目オブジェクトを包囲する環状リングである。

随意の実施形態では、仮想画像生成システムはさらに、エンドユーザの眼の瞬きを感知するために構成される１つ以上のセンサを備え、その場合、制御システムは、エンドユーザの眼が閉鎖されるとテキストメッセージのストリーミングを一時停止し、エンドユーザの眼が開放されるとテキストメッセージのストリーミングを継続するために構成され得る。別の随意の実施形態では、制御システムはさらに、着目オブジェクトが配置されている焦点面を識別し、識別された焦点面に基づいて、テキストメッセージのストリーミング速度を調節するために構成される。さらに別の随意の実施形態では、制御システムは、テキストメッセージの単語間の一時停止を変動させることによって、テキストメッセージをストリーミングするために構成される。さらに別の随意の実施形態では、仮想画像生成システムはさらに、１つ以上のスピーカを備え、その場合、制御システムは、スピーカに、テキストメッセージ内の単語がストリーミングされるにつれて、それらと時間的にそれぞれ対応する可聴トーンのパターンを生成するように命令するために構成され得る。

本発明の追加のおよび他の目的、特徴、ならびに利点が、発明を実施するための形態、図、および請求項で説明される。
本発明はさらに、例えば、以下を提供する。
（項目１）
仮想画像生成システムを動作させる方法であって、前記方法は、
エンドユーザが３次元場面を可視化することを可能にすることと、
テキスト領域を前記ユーザの視野内に空間的に関連付けることと、
テキストメッセージを生成することと、
前記テキストメッセージを前記テキスト領域内でストリーミングすることと
を含む、方法。
（項目２）
前記テキストメッセージを前記テキスト領域内でストリーミングすることは、前記テキストメッセージを一度に１つの単語のみで表示することを含む、項目１に記載の方法。
（項目３）
前記テキストメッセージを前記テキスト領域内でストリーミングすることは、前記テキストメッセージを一度に少なくとも２つの単語で表示しながら、前記少なくとも２つの表示される単語のうちの１つのみを強調することを含む、項目１に記載の方法。
（項目４）
前記１つの単語のみを強調することは、前記少なくとも２つの表示される単語のうちの残りの単語を上回る輝度強度で前記１つの単語を表示することを含む、項目３に記載の方法。
（項目５）
前記テキスト領域は、３次元テキスト領域であり、前記１つの単語のみを強調することは、前記１つの単語を前記３次元テキスト領域の前景に表示することと、前記少なくとも２つの表示される単語のうちの残りの単語を前記３次元テキスト領域の背景に表示することとを含む、項目３に記載の方法。
（項目６）
前記エンドユーザからのジェスチャコマンドを感知することをさらに含み、前記テキストメッセージをストリーミングすることは、前記ジェスチャコマンドによって制御される、項目１に記載の方法。
（項目７）
前記テキストメッセージをストリーミングすることは、前記ジェスチャコマンドに応答して開始または中止される、項目６に記載の方法。
（項目８）
前記テキストメッセージの各単語のタイミングは、前記ジェスチャコマンドに応答して制御される、項目６に記載の方法。
（項目９）
前記テキストメッセージのストリーミング速度は、前記ジェスチャコマンドに応答して増加または減少させられる、項目６に記載の方法。
（項目１０）
前記テキストメッセージのストリーミング方向は、前記ジェスチャコマンドに応答して変化させられる、項目６に記載の方法。
（項目１１）
前記ジェスチャコマンドは、前記エンドユーザの頭部の移動である、項目６に記載の方法。
（項目１２）
前記ジェスチャコマンドは、前記エンドユーザの指または手の移動である、項目６に記載の方法。
（項目１３）
前記エンドユーザが前記３次元場面において着目オブジェクトを可視化することを可能にすることをさらに含み、前記テキスト領域は、前記着目オブジェクトに空間的に関連付けられ、前記テキスト画像は、前記着目オブジェクトの少なくとも１つの特性を識別する、項目１に記載の方法。
（項目１４）
前記着目オブジェクトは、仮想オブジェクトである、項目１３に記載の方法。
（項目１５）
前記エンドユーザが前記仮想オブジェクトを可視化することを可能にすることは、前記仮想オブジェクトを前記エンドユーザに表示することを含む、項目１３に記載の方法。
（項目１６）
前記着目オブジェクトは、実際のオブジェクトである、項目１３に記載の方法。
（項目１７）
前記エンドユーザが前記実際のオブジェクトを可視化することを可能にすることは、前記エンドユーザが前記実際のオブジェクトからの光を直接可視化することを可能にすることを含む、項目１６に記載の方法。
（項目１８）
前記着目オブジェクトは、移動可能であり、前記テキスト領域を前記着目オブジェクトに空間的に関連付けることは、テキスト領域が前記着目オブジェクトの移動と連動して移動するように、前記テキスト領域を前記着目オブジェクトとリンクさせることを含む、項目１３に記載の方法。
（項目１９）
前記テキストメッセージは、前記着目オブジェクトの名称を識別する、項目１３に記載の方法。
（項目２０）
ジェスチャ基準を前記着目オブジェクトに関連付けることをさらに含み、前記エンドユーザからのジェスチャコマンドを感知することは、ジェスチャ基準に対して前記エンドユーザの解剖学的部分の角度位置を検出することを含む、項目１３に記載の方法。
（項目２１）
前記ジェスチャ基準を前記着目オブジェクトに隣接するジェスチャ基準オブジェクトとして表示することをさらに含む、項目２０に記載の方法。
（項目２２）
前記エンドユーザの解剖学的部分は、前記エンドユーザの頭部である、項目２０に記載の方法。
（項目２３）
前記エンドユーザの解剖学的部分は、前記エンドユーザの指または手である、項目２２に記載の方法。
（項目２４）
前記ジェスチャ基準は、前記着目オブジェクトと別個であり、異なる、項目２０に記載の方法。
（項目２５）
前記ジェスチャ基準は、前記着目オブジェクトを包囲する環状リングである、項目２４に記載の方法。
（項目２６）
前記ジェスチャ基準は、前記着目オブジェクトである、項目２０に記載の方法。
（項目２７）
前記着目オブジェクトが配置されている焦点面を識別することと、
前記識別された焦点面に基づいて、前記テキストメッセージのストリーミング速度を調節することと
をさらに含む、項目１３に記載の方法。
（項目２８）
テキスト領域インジケータを前記着目オブジェクトに隣接して表示することと、
前記エンドユーザの焦点を感知することと、
前記エンドユーザの焦点が前記テキスト領域インジケータと一致するとき、前記テキスト領域をアクティブにすることと
をさらに含む、項目１３に記載の方法。
（項目２９）
前記テキスト領域は、アクティブにされると視覚的に現れる、項目２８に記載の方法。（項目３０）
前記エンドユーザの眼の瞬きを感知することをさらに含み、前記テキストメッセージのストリーミングは、前記エンドユーザの眼が閉鎖されると一時停止し、前記エンドユーザの眼が開放されると継続する、項目１に記載の方法。
（項目３１）
前記テキストメッセージをストリーミングすることは、前記テキストメッセージの単語間の一時停止を変動させることを含む、項目１に記載の方法。
（項目３２）
前記テキストメッセージ内の単語がストリーミングされるにつれて、それらと時間的にそれぞれ対応する可聴トーンのパターンを生成することをさらに含む、項目１に記載の方法。
（項目３３）
前記テキスト領域を前記エンドユーザに表示することをさらに含む、項目１に記載の方法。
（項目３４）
エンドユーザによる使用のための仮想画像生成システムであって、前記システムは、
前記エンドユーザが３次元場面を可視化することを可能にするために構成されているディスプレイシステムと、
テキスト領域を前記エンドユーザの視野に空間的に関連付けることと、テキストメッセージを生成することと、前記ディスプレイシステムに前記テキストメッセージを前記テキスト領域内でストリーミングするように命令することとを行うために構成されている制御システムと
を備えている、仮想画像生成システム。
（項目３５）
前記ディスプレイシステムは、前記エンドユーザの眼の正面に位置付けられるために構成されている、項目３４に記載の仮想画像生成システム。
（項目３６）
前記ディスプレイシステムは、投影サブシステムと部分的に透明なディスプレイ表面とを含み、前記投影サブシステムは、フレームを前記部分的に透明なディスプレイ表面上に投影するために構成され、前記部分的に透明なディスプレイ表面は、前記エンドユーザの眼と周囲環境との間の視野内に位置付けられるために構成されている、項目３４に記載の仮想画像生成システム。
（項目３７）
前記エンドユーザによって装着されるために構成されているフレーム構造をさらに備え、前記フレーム構造は、前記ディスプレイシステムを支持する、項目３４に記載の仮想画像生成システム。
（項目３８）
制御サブシステムは、グラフィック制御サブシステムユニット（ＧＰＵ）を備えている、項目３４に記載の仮想画像生成システム。
（項目３９）
前記ディスプレイシステムは、前記テキストメッセージを一度に１つの単語のみで表示することによって、前記テキストメッセージを前記テキスト領域内でストリーミングするために構成されている、項目３４に記載の仮想画像生成システム。
（項目４０）
前記ディスプレイシステムは、前記テキストメッセージを一度に少なくとも２つの単語で表示しながら、前記少なくとも２つの表示される単語のうちの１つのみを強調することによって、前記テキストメッセージを前記テキスト領域内でストリーミングするために構成されている、項目３４に記載の仮想画像生成システム。
（項目４１）
前記ディスプレイシステムは、前記少なくとも２つの単語のうちの残りの単語を上回る輝度強度で前記１つの単語を表示することによって、前記１つの単語のみを強調するために構成されている、項目４０に記載の仮想画像生成システム。
（項目４２）
前記テキスト領域は、３次元テキスト領域であり、前記ディスプレイシステムは、前記１つの単語を前記３次元テキスト領域の前景に表示し、前記少なくとも２つの単語のうちの残りの単語を前記３次元テキスト領域の背景に表示することによって、前記１つの単語のみを強調するために構成されている、項目４０に記載の仮想画像生成システム。
（項目４３）
前記エンドユーザからのジェスチャコマンドを感知するために構成されている少なくとも１つのセンサをさらに備え、前記制御システムは、前記ジェスチャコマンドに基づいて前記テキストメッセージのストリーミングを制御するために構成されている、項目３４に記載の仮想画像生成システム。
（項目４４）
前記制御システムは、前記ジェスチャコマンドに応答して、前記ディスプレイシステムに前記テキストメッセージのストリーミングを開始または中止するように命令するために構成されている、項目４３に記載の仮想画像生成システム。
（項目４５）
前記制御システムは、前記ジェスチャコマンドに応答して前記テキストメッセージの各単語のタイミングを制御するために構成されている、項目４３に記載の仮想画像生成システム。
（項目４６）
前記制御システムは、前記ジェスチャコマンドに応答して前記テキストメッセージのストリーミング速度を増加または減少させるために構成されている、項目４３に記載の仮想画像生成システム。
（項目４７）
前記制御システムは、前記ジェスチャコマンドに応答して前記テキストメッセージのストリーミング方向を変化させるために構成されている、項目４３に記載の仮想画像生成システム。
（項目４８）
前記ジェスチャコマンドは、前記エンドユーザの頭部の移動である、項目４３に記載の仮想画像生成システム。
（項目４９）
前記ジェスチャコマンドは、前記エンドユーザの指または手の移動である、項目４３に記載の仮想画像生成システム。
（項目５０）
前記ディスプレイシステムは、前記エンドユーザが前記３次元場面において着目オブジェクトを可視化することを可能にするために構成され、前記制御システムは、前記テキスト領域を前記着目オブジェクトに空間的に関連付けるために構成され、前記テキスト画像は、前記着目オブジェクトの少なくとも１つの特性を識別する、項目４３に記載の仮想画像生成システム。
（項目５１）
前記着目オブジェクトは、仮想オブジェクトである、項目５０に記載の仮想画像生成システム。
（項目５２）
前記ディスプレイシステムは、前記仮想オブジェクトを前記エンドユーザに表示することによって、前記エンドユーザが前記仮想オブジェクトを可視化することを可能にするために構成されている、項目５１に記載の仮想画像生成システム。
（項目５３）
前記着目オブジェクトは、実際のオブジェクトである、項目５０に記載の仮想画像生成システム。
（項目５４）
前記ディスプレイシステムは、前記エンドユーザが前記実際のオブジェクトからの光を直接可視化することを可能にすることによって、前記エンドユーザが前記実際のオブジェクトを可視化することを可能にするために構成されている、項目５３に記載の仮想画像生成システム。
（項目５５）
前記着目オブジェクトは、移動可能であり、制御システムは、テキスト領域が前記着目オブジェクトの移動と連動して移動するように、前記テキスト領域を前記着目オブジェクトとリンクさせることによって、前記テキスト領域を前記着目オブジェクトに空間的に関連付けるために構成されている、項目５０に記載の仮想画像生成システム。
（項目５６）
前記テキストメッセージは、前記着目オブジェクトを識別する、項目５０に記載の仮想画像生成システム。
（項目５７）
前記制御システムは、ジェスチャ基準を前記着目オブジェクトに関連付けるためにさらに構成され、前記１つ以上のセンサは、ジェスチャ基準に対して前記エンドユーザの解剖学的部分の角度位置を検出することによって、前記エンドユーザからのジェスチャコマンドを感知するために構成されている、項目５０に記載の仮想画像生成システム。
（項目５８）
前記制御システムは、前記ディスプレイシステムに前記ジェスチャ基準を前記着目オブジェクトに隣接するジェスチャ基準オブジェクトとして表示するように命令するためにさらに構成されている、項目５７に記載の仮想画像生成システム。
（項目５９）
前記エンドユーザの解剖学的部分は、前記エンドユーザの頭部である、項目５７に記載の仮想画像生成システム。
（項目６０）
前記エンドユーザの解剖学的部分は、前記エンドユーザの指または手である、項目５７に記載の仮想画像生成システム。
（項目６１）
前記ジェスチャ基準は、前記着目オブジェクトと別個であり、異なる、項目５７に記載の仮想画像生成システム。
（項目６２）
前記ジェスチャ基準は、前記着目オブジェクトを包囲する環状リングである、項目６１に記載の仮想画像生成システム。
（項目６３）
前記ジェスチャ基準は、前記着目オブジェクトである、項目５７に記載の仮想画像生成システム。
（項目６４）
前記制御システムは、前記着目オブジェクトが配置されている焦点面を識別し、前記識別された焦点面に基づいて、前記テキストメッセージのストリーミング速度を調節するためにさらに構成されている、項目５０に記載の仮想画像生成システム。
（項目６５）
前記エンドユーザの焦点を感知するために構成される１つ以上のセンサをさらに備え、前記制御システムは、前記ディスプレイシステムにテキスト領域インジケータを前記着目オブジェクトに隣接して表示するように命令することと、前記エンドユーザの焦点が前記テキスト領域インジケータと一致するとき、前記テキスト領域をアクティブにすることとを行うために構成されている、項目５０に記載の仮想画像生成システム。
（項目６６）
前記テキスト領域は、アクティブにされると視覚的に現れる、項目６５に記載の仮想画像生成システム。
（項目６７）
前記エンドユーザの眼の瞬きを感知するために構成される１つ以上のセンサをさらに備え、前記制御システムは、前記エンドユーザの眼が閉鎖されると前記テキストメッセージのストリーミングを一時停止し、前記エンドユーザの眼が開放されると前記テキストメッセージのストリーミングを継続するために構成されている、項目３４に記載の仮想画像生成システム。
（項目６８）
前記制御システムは、前記テキストメッセージの単語間の一時停止を変動させることによって、前記テキストメッセージをストリーミングするために構成されている、項目３４に記載の仮想画像生成システム。
（項目６９）
１つ以上のスピーカをさらに備え、前記制御システムは、前記１つ以上のスピーカに、前記テキストメッセージ内の単語がストリーミングされるにつれて、それらと時間的にそれぞれ対応する可聴トーンのパターンを生成するように命令するために構成されている、項目３４に記載の仮想画像生成システム。
（項目７０）
前記ディスプレイシステムは、前記テキスト領域を前記エンドユーザに表示するために構成されている、項目３４に記載の仮想画像生成システム。

図面は、本発明の実施形態の設計および有用性を図示し、類似要素は、共通参照番号によって参照される。本発明の前述および他の利点ならびに目的が得られる方法をより深く理解するために、簡単に前述された本発明のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに説明ならびに記載されるであろう。

図１は、従来技術の拡張現実生成デバイスによってエンドユーザに表示され得る３次元拡張現実場面の写真である。 図２は、従来のコーヒーメニューの平面図である。 図３は、本発明の一実施形態に従って構築される拡張現実システムのブロック図である。 図４は、図３の拡張現実システムによって生成される例示的フレームの平面図である。 図５ａは、図３の拡張現実システムを装着するために使用され得る、１つの技法の図である。 図５ｂは、図３の拡張現実システムを装着するために使用され得る、別の技法の図である。 図５ｃは、図３の拡張現実システムを装着するために使用され得る、さらに別の１つの技法の図である。 図５ｄは、図３の拡張現実システムを装着するために使用され得る、さらに別の１つの技法の図である。 図６ａ－６ｃは、コーヒーメニューの平面図であり、図３の拡張現実システムは、本発明の１つの技法に従って、テキスト領域内のテキストメッセージを着目オブジェクトに隣接してストリーミングする。 図６ａ－６ｃは、コーヒーメニューの平面図であり、図３の拡張現実システムは、本発明の１つの技法に従って、テキスト領域内のテキストメッセージを着目オブジェクトに隣接してストリーミングする。 図６ａ－６ｃは、コーヒーメニューの平面図であり、図３の拡張現実システムは、本発明の１つの技法に従って、テキスト領域内のテキストメッセージを着目オブジェクトに隣接してストリーミングする。 図７ａ－７ｂは、コーヒーメニューの平面図であり、図３の拡張現実システムテキスト領域を着目オブジェクトに隣接してアクティブにする。 図７ａ－７ｂは、コーヒーメニューの平面図であり、図３の拡張現実システムテキスト領域を着目オブジェクトに隣接してアクティブにする。 図８ａ－８ｃは、コーヒーメニュー上の着目オブジェクトの平面図であり、図３の拡張現実システムは、本発明の別の技法に従って、テキスト領域内のテキストメッセージを着目オブジェクトに隣接してストリーミングする。 図９ａ－９ｃは、コーヒーメニュー上の着目オブジェクトの平面図であり、図３の拡張現実システムは、本発明のさらに別の技法に従って、テキスト領域内のテキストメッセージを着目オブジェクトに隣接してストリーミングする 図１０ａ－１０ｃは、コーヒーメニューの平面図であり、図３の拡張現実システムは、本発明のさらに別の技法に従って、テキスト領域内のテキストメッセージを着目オブジェクトに隣接してストリーミングする。 図１１ａ－１１ｂは、コーヒーメニューの平面図であり、図３の拡張現実システムは、本発明の１つの技法に従って、エンドユーザによる頭部の移動に応答して、テキストメッセージのストリーミングを制御する。 図１１ａ－１１ｂは、コーヒーメニューの平面図であり、図３の拡張現実システムは、本発明の１つの技法に従って、エンドユーザによる頭部の移動に応答して、テキストメッセージのストリーミングを制御する。 図１２ａ－１２ｃは、コーヒーメニューの平面図であり、図３の拡張現実システムは、本発明の別の技法に従って、エンドユーザによる頭部の移動に応答して、テキストメッセージのストリーミングを制御する。 図１２ａ－１２ｃは、コーヒーメニューの平面図であり、図３の拡張現実システムは、本発明の別の技法に従って、エンドユーザによる頭部の移動に応答して、テキストメッセージのストリーミングを制御する。 図１２ａ－１２ｃは、コーヒーメニューの平面図であり、図３の拡張現実システムは、本発明の別の技法に従って、エンドユーザによる頭部の移動に応答して、テキストメッセージのストリーミングを制御する。 図１３は、図３の拡張現実システムを動作させ、テキストメッセージを周囲の３次元場面内の着目オブジェクトに隣接してストリーミングおよび制御する方法を図示する、フロー図である。

続く説明は、拡張現実システムにおいて使用されるべきディスプレイシステムおよび方法に関する。しかしながら、本発明は、拡張現実における用途に有用であるが、本発明は、その最も広範な側面では、そのように限定されないこともあることを理解されたい。

図３を参照して、本発明に従って構築された拡張現実システム１００の一実施形態が、ここで説明されるであろう。拡張現実システム１００は、エンドユーザ５０の視野内の実際のオブジェクトと混合された仮想オブジェクトの画像を提供する。拡張現実システム１００および本明細書に教示される種々の技法は、拡張現実以外の用途で採用され得る。例えば、種々の技法は、任意の投影またはディスプレイシステムに適用され得る。または、本明細書に説明される種々の技法は、移動が、頭部ではなく、エンドユーザの手によって行われ得るピコプロジェクタに適用され得る。したがって、多くの場合、拡張現実システムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなシステムに限定されるべきではない。

拡張現実システム１００を動作させるときの２つの基本アプローチが存在する。第１のアプローチは、１つ以上の撮像機（例えば、カメラ）を採用し、周囲環境の画像を捕捉する。拡張現実システム１００は、仮想画像を周囲環境の画像を表すデータの中に混合する。第２のアプローチは、１つ以上の少なくとも部分的に透明な表面を採用し、それを通して周囲環境が見られ、その上に拡張現実システム１００が、仮想オブジェクトの画像を生成する。

拡張現実システム１００および本明細書に教示される種々の技法は、拡張現実システム以外の用途でも採用され得る。例えば、種々の技法は、任意の投影またはディスプレイシステムに適用され得る。例えば、本明細書に説明される種々の技法は、移動が、頭部ではなく、エンドユーザの手によって行われ得る、ピコプロジェクタに適用され得る。したがって、多くの場合、拡張現実システムまたは仮想現実システムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなシステムに限定されるべきではない。

少なくとも拡張現実用途のために、種々の仮想オブジェクトをエンドユーザ５０の視野内のそれぞれの実際のオブジェクトに対して空間的に位置付けることが望ましくあり得る。仮想オブジェクトは、本明細書では、仮想タグまたはコールアウトとも称され、多種多様な形態、基本的に、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造のいずれかをとり得る。仮想オブジェクトの非限定的例として、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計装オブジェクト、または物理的オブジェクトの仮想視覚表現が挙げられ得る。

本発明により関連して、拡張現実システム１００は、テキスト領域を３次元場面内の実際のオブジェクトに空間的に関連付け、それぞれの実際のオブジェクトの少なくとも１つの特性を識別するためのテキストメッセージをテキスト領域のうちの選択されたものの中に生成し、テキストメッセージを選択されたテキスト領域内にストリーミングする。一実施形態では、一度に１つのテキスト領域が、テキストメッセージのストリーミングおよび表示のために選択され、特に、エンドユーザが現在見ている実際のオブジェクトに関連付けられたテキスト領域が、選択される。有利には、実際のオブジェクトに関連付けられたテキスト領域内のテキストメッセージをストリーミングすることは、より小さいエリア内でのテキストメッセージの表示を促進し、それによって、テキストメッセージを表示することにおいてコンパクト性を提供し、それによって、３次元場面の任意の乱雑性を低減させ、ディスプレイの簡略性、相互作用性、および迅速性を提供する。

テキストメッセージは、拡張現実システム内の実際のオブジェクトに関連付けられたテキスト領域内にストリーミングされるものとして説明されるが、テキストメッセージは、拡張現実システムまたは仮想現実システム内の仮想オブジェクトに関連付けられたテキスト領域内でストリーミングされることができることを理解されたい。さらに、テキストメッセージは、拡張現実システム以外の視覚システム内の実際のオブジェクトに関連付けられたテキスト領域内にストリーミングされることができ、例えば、エンドユーザは、単に、ディスプレイテキストメッセージのみ（すなわち、仮想オブジェクトは、表示されない）を実際のオブジェクトに隣接して表示する透明媒体を通して見る。

この目的を達成するために、拡張現実システム１００は、エンドユーザ５０によって装着されるフレーム構造１０２と、ディスプレイシステム１０４がエンドユーザ５０の眼５２の正面に位置付けられるように、フレーム構造１０２によって支持されるディスプレイシステム１０４と、スピーカ１０６がエンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）がエンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）ようにフレーム構造１０２によって支持されるスピーカ１０６とを備えている。ディスプレイシステム１０４は、エンドユーザ５０の眼５２に光ベースの放射パターンを提示するように設計され、光ベースの放射パターンは、高レベルの画質および３次元知覚を伴い、物理的現実に対する拡張として快適に知覚され、かつ２次元コンテンツを提示可能であり得る。ディスプレイシステム１０４は、一連のフレームを高周波数で提示し、単一コヒーレント場面の知覚を提供する。

図示される実施形態では、ディスプレイシステム１０４は、投影サブシステム１０８と、投影サブシステム１０８が画像を投影する、部分的に透明なディスプレイ表面１１０とを備えている。ディスプレイ表面１１０は、エンドユーザ５０の眼５２と周囲環境との間のエンドユーザ５０の視野内に位置付けられる。図示される実施形態では、投影サブシステム１０８は、１つ以上の光ファイバ１１２（例えば、単一モード光ファイバ）を含み、それらの各々は、光が受信される一端１１２ａと、光が部分的に透明なディスプレイ表面１１０に提供される別の端部１１２ｂとを有する。投影サブシステム１０８は、光を生成し（例えば、異なる色の光を定義されたパターンで放出し）、光を光ファイバ１１２の他端１１２ａに通信可能に結合する、１つ以上の光源１１４も含み得る。光源１１４は、それぞれ、多種多様な形態のいずれかをとることができる（例えば、ピクセル情報またはデータのそれぞれのフレームにおいて規定された定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレントなコリメートされた光を生成するように動作可能なＲＧＢレーザの組（例えば、赤色、緑色、および青色光を出力可能なレーザダイオード））。レーザ光は、高色飽和を提供し、非常にエネルギー効率的である。

ディスプレイシステム１０４は、制御信号に応答して所定のパターンで光ファイバ１１２を走査する、走査デバイス１１６をさらに備え得る。例えば、図３を参照すると、ピクセル情報またはデータのフレーム１１８は、１つの図示される実施形態に従って、ピクセル情報またはデータを規定し、画像、例えば、１つ以上の仮想オブジェクトの画像を提示する。フレーム１１８は、水平行または列１２２ａ－１２２ｎに分割されるセル１２０ａ－１２０ｍとともに図式的に図示される。フレーム１１８の各セル１２０は、セル１２０が対応するそれぞれのピクセルのための複数の色の各々のための値および／または強度を規定し得る。例えば、フレーム１１８は、各ピクセルのために、赤色１２４ａのための１つ以上の値、緑色１２４ｂのための１つ以上の値、および青色１２４ｃのための１つ以上の値を規定し得る。値１２４は、色の各々のためのバイナリ表現、例えば、各色のためのそれぞれの４ビット数として規定され得る。フレーム１１８の各セル１２０は、加えて、振幅を規定する値１２４ｄを含み得る。ディスプレイシステム１０４は、走査ファイバ技術を用いて実装されるものとして説明されるが、ディスプレイシステム１０４は、任意のディスプレイ技術、例えば、液晶ディスプレイ（ＬＣＤ）、デジタル光処理（ＤＬＰ）ディスプレイ等に基づいてもよいことを理解されたい。

図３に戻って参照すると、拡張現実システム１００はさらに、エンドユーザ５０の頭部５４の位置および移動ならびに／またはエンドユーザ５０の眼の位置および眼間距離を検出するために、フレーム構造１０２に搭載される１つ以上のセンサ（図示せず）を備えている。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）を含み得る。

例えば、一実施形態では、拡張現実システム１００は、エンドユーザ５０の頭部５４の移動を示す慣性測定値を捕捉するための１つ以上の慣性変換器を含む頭部装着型変換器システム１２６を備えている。そのようなものは、エンドユーザ５０の頭部の移動についての情報を感知、測定、または収集するために使用され得る。例えば、そのようなものは、エンドユーザ５０の頭部５４の測定移動、速度、加速度、および／または位置を検出するために使用され得る。

拡張現実システム１００はさらに、１つ以上の前向きカメラ１２８を備え、それは、エンドユーザ５０が位置する環境についての情報を捕捉するために使用され得る。前向きカメラ１２８は、その環境およびその環境内の特定のオブジェクトに対するエンドユーザ５０の距離および向きを示す情報を捕捉するために使用され得る。頭部装着型であるとき、前向きカメラ１２８は、特に、エンドユーザ５０が位置する環境およびその環境内の特定のオブジェクトに対するエンドユーザ５０の頭部５４の距離および向きを示す情報を捕捉するために好適である。前向きカメラ１２８は、例えば、頭部の移動、頭部の移動の速度、および／または加速度を検出するために採用され得る。前向きカメラ１２８は、例えば、少なくとも部分的に、エンドユーザ５０の頭部５４の向きに基づいて、例えば、エンドユーザ５０の注意の中心を検出または推測するために採用され得る。向きは、任意の方向（例えば、エンドユーザ５０の基準フレームに対して上／下、左、右）において検出され得る。

拡張現実システム１００はさらに、一対の後向きカメラ１２９を備え、エンドユーザ５０の眼５２の移動、瞬き、および焦点深度を追跡する。そのような眼追跡情報は、例えば、光をエンドユーザの眼に投影し、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別され得る。拡張現実システム１００はさらに、ユーザ向き検出モジュール１３０を備えている。ユーザ向きモジュール１３０は、エンドユーザ５０の頭部５４の瞬時位置を検出し、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測し得る。有意には、エンドユーザ５０の頭部５４の瞬時位置の検出は、エンドユーザ５０が見ている特定の実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトのために生成されるべき特定のテキストメッセージの指示を提供し、さらに、テキストメッセージがストリーミングされるべきテキスト領域の指示を提供する。ユーザ向きモジュール１３０は、センサから受信された追跡データに基づいて、エンドユーザ５０の眼５２も追跡する。

拡張現実システム１００はさらに、多種多様な形態のいずれかをとり得る、制御サブシステムを備えている。制御サブシステムは、いくつかのコントローラ、例えば１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、他の集積回路コントローラ、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡＳ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。

図示される実施形態では、拡張現実システム１００は、中央処理ユニット（ＣＰＵ）１３２と、グラフィック処理ユニット（ＧＰＵ）１３４と、１つ以上のフレームバッファ１３６とを備えている。ＣＰＵ１３２は、全体的動作を制御する一方、ＧＰＵ１３４は、遠隔データリポジトリ１５０内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ１３６内に記憶する。図示されないが、１つ以上の追加の集積回路が、フレームのフレームバッファ１３６の中への読み込みおよび／またはそこからの読み取りならびにディスプレイシステム１０４の走査デバイスの動作を制御し得る。フレームバッファ１４６の中への読み込みおよび／またはそこからの読み取りは、動的アドレス指定を採用し得、例えば、フレームは、オーバーレンダリングされる。拡張現実システム１００はさらに、読み取り専用メモリ（ＲＯＭ）１３８と、ランダムアクセスメモリ（ＲＡＭ）１４０とを備えている。拡張現実システム１００はさらに、３次元データベース１４２を備え、そこからＧＰＵ１３４は、フレームをレンダリングするための１つ以上の場面の３次元データにアクセスすることができる。

拡張現実システム１００の種々の処理コンポーネントは、分散型システム内に物理的に含まれ得る。例えば、図５ａ－５ｄに図示されるように、拡張現実システム１００は、有線導線または無線コネクティビティ１４６等によって、ディスプレイシステム１０４およびセンサに動作可能に結合されるローカル処理およびデータモジュール１４４を備えている。ローカル処理およびデータモジュール１４４は、フレーム構造１０２に固定して取り付けられる（図５ａ）、ヘルメットもしくは帽子５６に固定して取り付けられる（図５ｂ）、ヘッドホン内に埋設される、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図５ｃ）、またはベルト結合式構成においてエンドユーザ５０の腰６０に除去可能に取り付けられる（図５ｄ）等、種々の構成で搭載され得る。拡張現実システム１００はさらに、有線導線または無線コネクティビティ１５０、１５２等によって、ローカル処理およびデータモジュール１４４に動作可能に結合される、遠隔処理モジュール１４８および遠隔データリポジトリ１５０を備え、それによって、これらの遠隔モジュール１４８、１５０は、互いに動作可能に結合され、ローカル処理およびデータモジュール１４４に対してリソースとして利用可能である。

ローカル処理およびデータモジュール１４４は、電力効率的プロセッサまたはコントローラならびにフラッシュメモリ等のデジタルメモリを備え得、両方とも、センサから捕捉され、および／または、遠隔処理モジュール１４８および／または遠隔データリポジトリ１５０を使用して取得ならびに／もしくは処理されたデータの処理、キャッシュ、および記憶を補助するために利用され得、データは、おそらく、そのような処理または読み出し後、ディスプレイシステム１０４に渡る。遠隔処理モジュール１４８は、データおよび／または画像情報を分析ならびに処理するように構成される１つ以上の比較的に強力なプロセッサまたはコントローラを備え得る。遠隔データリポジトリ１５０は、比較的に大規模なデジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。一実施形態では、ローカル処理およびデータモジュール１４４において、全データが記憶され、全計算が行われ、それは、任意の遠隔モジュールからの完全に自律的使用を可能にする。

前述の種々のコンポーネント間の結合１４６、１５２、１５４は、有線もしくは光学通信を提供するための１つ以上の有線インターフェースもしくはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースもしくはポートを含み得る。いくつかの実装では、全ての通信は、有線であり得る一方、他の実装では、全ての通信は、無線であり得る。なおもさらなる実装では、有線および無線通信の選択は、図５ａ－５ｄに図示されるものと異なり得る。したがって、有線または無線通信の特定の選択は、限定と見なされるべきではない。

図示される実施形態では、ユーザ向きモジュール１３０は、ローカル処理およびデータモジュール１４４内に含まれる一方、ＣＰＵ１３２およびＧＰＵ１３４は、遠隔処理モジュール１４８内に含まれるが、代替実施形態では、ＣＰＵ１３２、ＧＰＵ１２４、またはその一部は、ローカル処理およびデータモジュール１４４内に含まれ得る。３Ｄデータベース１４２は、遠隔データリポジトリ１５０に関連付けられることができる。

簡単に前述されたように、拡張現実システム１００は、テキスト領域を実際のオブジェクトのうちの１つに隣接して空間的に関連付け、実際のオブジェクトの少なくとも１つの特性を識別するテキストメッセージを生成し、テキストメッセージをテキスト領域内にストリーミングする。例えば、図６ａ－６ｃを参照すると、テキスト領域２００は、着目オブジェクト（この場合、コーヒーのカップ２０ａ、例えば、物理的であり得るか、またはメニュー上の写真であり得るコーヒーのカップ）に空間的に関連付けられ得る。図示される実施形態では、テキスト領域２００は、着目オブジェクト２０ａの直上に位置する長方形ボックスの形態をとるが、代替実施形態では、テキスト領域２００は、任意の好適な形状をとり得る。図示される実施形態では、テキスト領域２００は、エンドユーザ５０に可視である。代替として、テキスト領域２００は、エンドユーザ５０に非可視であり得る。一実施形態では、テキスト領域２００は、テキスト領域２００が着目オブジェクト２０ａの移動（例えば、メニューが移動される）と連動して移動するように、着目オブジェクト２０ａにリンクされる。すなわち、着目オブジェクト２０ａが３次元場面内で移動する場合、テキスト領域２００は、着目オブジェクト２０ａとともに移動するであろう。

拡張現実システム１００は、テキストメッセージ２０２、例えば、「コーヒー、カフェイン抜き、豆乳」をテキスト領域２００内にストリーミングする。そこに示されるように、テキストメッセージ２０２は、単語「コーヒー（Ｃｏｆｆｅｅ）」が最初にテキスト領域２００内に表示され（図６ａ）、次いで、単語「カフェイン抜き（Ｄｅｃａｆ）」が、テキスト領域２００内に表示され（図６ｂ）、最後に、単語「豆乳（Ｓｏｙ）」が、テキスト領域２００内に表示される（図６ｃ）ようにストリーミングされる。テキストメッセージ２０２は、単語「コーヒー」、「カフェイン抜き」、および「豆乳」がテキスト領域２００内に順次繰り返し表示されるように（すなわち、「コーヒー」、「カフェイン抜き」、「豆乳」、「コーヒー」、「カフェイン抜き」、「豆乳」等）、連続ループにおいてストリーミングされることができる。

随意の実施形態では、テキスト領域２００は、エンドユーザ５０によって選択的にアクティブにされ得る。特に、テキスト領域２００は、デフォルトでは、非アクティブ状態であり得、エンドユーザに非可視であり、次いで、アクティブにされ、テキスト領域２００がエンドユーザ５０によって視認されることを可能にする。例えば、図７ａ－７ｂに図示されるように、拡張現実システム１００は、テキスト領域インジケータ２０４（この場合、矢印）を着目オブジェクト２０ａ－２０ｃに隣接して表示し（図７ａ）、エンドユーザ５０の焦点を感知し、エンドユーザ５０の焦点がテキスト領域インジケータ２０４と一致すると（この場合、エンドユーザ５０が着目オブジェクト２０ａに集中すると）、テキスト領域２００をアクティブにし得る（図７ｂ）。

テキストメッセージ２０２は、一度に１つの単語が表示されるように説明されるが、テキストメッセージ２０２は、一度に２つ以上の単語が表示されることができることを理解されたい。例えば、これは、テキストメッセージ２０２内の３つ以上の隣接する単語が、テキスト領域２００内に一緒に同時に表示され得るように十分に短いときに有用であり得る。

テキストメッセージ２０２は、テキストメッセージ２０２内の単語のうちの少なくとも１つがエンドユーザ５０によって見られることができない様式でテキスト領域２００内でストリーミングされるように説明されるが、テキストメッセージ２０２は、単語のうちの少なくとも２つが一度に表示されるが、表示される単語のうちの１つのみが強調されるように、テキスト領域２００内でストリーミングされ得る。

例えば、テキストメッセージ２０２の２つ以上の単語は、同時に表示されながら、他の現在表示されている単語を上回る輝度強度でそれを表示することによって、単語のうちの１つを強調し得る。例えば、図８ａ－８ｃに示されるように、単語「コーヒー」および「カフェイン抜き」が、最初に、テキスト領域２００内で上下に表示されることができ、単語「コーヒー」は、比較的に高輝度強度で強調され、単語「カフェイン抜き」は、比較的に低輝度強度（図８ａ）を伴ってあまり強調されない。単語「コーヒー」、「カフェイン抜き」、および「豆乳」が、次いで、テキスト領域２００内で上下に表示されることができ、単語「カフェイン抜き」は、比較的に高輝度強度で強調され、単語「コーヒー」および「豆乳」は、比較的に低輝度強度であまり強調されない（図８ｂ）。単語「カフェイン抜き」および「豆乳」が、次いで、テキスト領域２００内で上下に表示されることができ、単語「豆乳」は、比較的に高輝度強度で強調され、単語「カフェイン抜き」は、比較的に低輝度強度であまり強調されない（図８ｃ）。

別の例として、３次元テキスト領域が、着目オブジェクト２０ａに空間的に関連付けられ得、その場合、テキストメッセージ２０２内の単語のうちの１つは、テキスト領域２００’の前景に表示することによって強調され得、テキストメッセージ２０２の別の単語または複数の単語は、テキスト領域２００’の背景に表示することによってあまり強調されないこともある。例えば、図９ａ－９ｃに示されるように、単語「コーヒー」、「カフェイン抜き」、および「豆乳」が、最初に、テキスト領域２００’内で前後に表示されることができ、単語「コーヒー」は、それを前景に表示することによって強調され、単語「カフェイン抜き」および「豆乳」は、それらを背景に表示することによってあまり強調されない（図９ａ）。単語「カフェイン抜き」および「豆乳」が、次いで、テキスト領域２００’内で前後に表示され、単語「カフェイン抜き」は、それを前景に表示することによって強調され、単語「豆乳」は、それを背景に表示することによってあまり強調されず（図９ｂ）、単語「豆乳」が、次いで、テキスト領域２００’内に単独で表示される（図９ｃ）。

テキストメッセージ２０２は、代替として、単語「コーヒー」、「カフェイン抜き」、および「豆乳」が、テキスト領域２００’内に順次繰り返し表示されるように、連続ループ内でストリーミングされることができる。この場合、図１０ａ－１０ｃに示されるように、単語「コーヒー」、「カフェイン抜き」、および「豆乳」が、最初に、テキストが領域２００’内で前後に表示されることができ、単語「コーヒー」は、それを前景に表示することによって強調され、単語「カフェイン抜き」および「豆乳」は、それらを背景に表示することによってあまり強調されない（図１０ａ）。単語「カフェイン抜き」、「豆乳」、および「コーヒー」が、次いで、テキスト領域２００’内で前後に表示され、単語「カフェイン抜き」は、それを前景に表示することによって強調され、単語「豆乳」および「コーヒー」は、それらを背景に表示することによってあまり強調されない（図１０ｂ）。単語「豆乳」、「コーヒー」、および「カフェイン抜き」が、次いで、テキスト領域２００’内で前後に表示され、単語「豆乳」は、それを前景に表示することによって強調され、単語「コーヒー」および「豆乳」は、それらを背景に表示することによってあまり強調されない（図１０ｃ）。

着目すべきこととして、テキスト領域２００’内のテキストメッセージ２０２の単語の並べ替えは、個別的に行われ得（すなわち、単語が個別的に現れ、順序付けられた列から消える）、または持続的に行われ得（すなわち、単語が背景から前景に連続的に移動する）。さらに、テキストメッセージ２０２の単語は、異なる輝度強度または異なる深度を伴ってテキストメッセージ２０２の単語を表示することによってテキスト領域内で強調または非強調されるように説明されるが、テキストメッセージ２０２の単語は、テキストメッセージ２０２の残りの単語のものより大きい文字で単語のうちの１つを表示するか、または単語のうちの１つを中実または不透明であるように、テキストメッセージ２０２の残りの単語を透明または半透明であるように表示することによって強調または非強調され得る。

図１１ａ－１１ｂを参照すると、拡張現実システム１００は、ジェスチャ基準オブジェクト２０６を着目オブジェクト２０ａに隣接して表示し、エンドユーザ５０からのジェスチャコマンドが感知されることを可能にする。特に、ジェスチャ基準オブジェクト２０６に対するエンドユーザ５０の解剖学的部分の角度位置が、感知される。図示される実施形態では、ジェスチャするエンドユーザ５０の解剖学的部分は、エンドユーザ５０の頭部５４であり、したがって、エンドユーザ５０の頭部５４がジェスチャ基準オブジェクト２０６に対して向けられる方向が、感知される。代替実施形態では、ジェスチャ基準オブジェクト２０６は、エンドユーザ５０に表示されず、代わりに、非可視ジェスチャ基準が、着目オブジェクト２０ａと同一座標系の中に組み込まれる。この場合、エンドユーザ５０の頭部５４がジェスチャ基準に対して向けられる方向が、感知される。

図示される実施形態では、ジェスチャ基準オブジェクト２０６は、着目オブジェクト２０ａを完全に包囲する環状リングの形態をとる。エンドユーザ５０の頭部５４を環状リング２０６の一部に向けることが、テキストメッセージ２０２のストリーミングを制御する。例えば、エンドユーザ５０がその頭部５４を環状リング２０６を横断して走査させるとき、テキストメッセージ２０２のストリーミングが、頭部５４が、環状リング２０６の片側２０８ａ、例えば、環状リング２０６の左側２０８ａ上の点１１０ａ（図１１ａ）に向けられると開始され、頭部５４が、環状リング２０６の反対側、例えば、環状リング２０６の右側２０８ｂ上の点１１０ｂ（図１１ｂ）に向けられると終了され得る。走査方向は、左から右として図１１ａ－１１ｂに図示されるが、走査は、同様に、異なる方向を伴って（上から下、下から上、および右から左を含む）環状リング２０６に適用され、テキストメッセージ２０２のストリーミングを開始し、次いで、中止することができることを理解されたい。

別の例として、エンドユーザ５０が、その頭部を環状リング２０６を横断して走査させるとき、テキストメッセージ２０２内の各単語のタイミングが、制御され得る。例えば、図１２ａ－１２ｃに示されるように、環状リング２０６は、複数の同心リング、この場合、２つの同心リング２０６ａ、２０６ｂに分割されることができる。エンドユーザ５０が、その頭部５４を環状リング２０６の外側から内側に走査させるとき、頭部５４が環状リング２０６の外側縁２１０ａを横断して走査するにつれて、単語「コーヒー」が、テキスト領域２００内に表示され（図１２ａ）、頭部５４が、同心リング２０６ａ、２０６ｂ間の境界面２１０ｂを横断して走査するにつれて、単語「カフェイン抜き」が、テキスト領域２００内に表示され（図１２ｂ）、頭部５４が、環状リング２０６の内側縁２１０ｃを横断して走査するにつれて、単語「豆乳」が、テキスト領域２００内に表示されるであろう（図１２ｃ）。

対照的に、エンドユーザ５０が、その頭部５４を環状リング２０６の内側から外側に走査させるとき、頭部５４が、環状リング２０６の内側縁２１０ｃを横断して走査するにつれて、単語「豆乳」が、テキスト領域２００内に表示され（図１２ｃ）、頭部５４が、同心リング２０６ａ、２０６ｂ間の境界面２１０ｂを横断して走査するにつれて、単語「カフェイン抜き」が、テキスト領域２００内に表示され（図１２ｂ）、頭部５４が、環状リング２０６の外側縁２１０ａを横断して走査するにつれて、単語「コーヒー」が、テキスト領域２００内に表示されるであろう（図１２ａ）。

環状リング２０６は、テキストメッセージ内の単語の数が３つを上回る場合、さらなる同心リングに分割されることができるか、またはテキストメッセージ内の単語の数が２に等しい場合、全く分割されないこともあることを理解されたい（すなわち、環状リング２０６の内側および外側縁が、それぞれ、２つの単語の表示をトリガするであろう）。環状リング２０６の外側から内側への頭部５４の走査がテキストメッセージ２０２を前方にストリーミングし、環状リング２０６の内側から外側への頭部５４の走査がテキストメッセージ２０２を逆にストリーミングすることも理解されたい。テキストメッセージ２０２のストリーミング速度は、頭部５４を環状リング２０６を横断して比較的に迅速に走査させることによって増加させられ、頭部５４を環状リング２０６横断して比較的に低速で走査させることによって減少させられることも理解されたい。図示される実施形態では、ストリーミング速度調節は、テキストメッセージ２０２の異なる単語の表示をトリガする縁２１０ａ、２１０ｃおよび境界面２１４ｂを横断する頭部５４の走査の関数である。代替として、環状リング２０６が同心リングを含むかどうかにかかわらず、ストリーミング速度調節が、単に、頭部５４が環状リング２０６を走査する速度の関数であることもできる。例えば、図１１ａ－１１ｂに戻って参照すると、頭部５４を環状リング２０６の左側を横断して迅速に走査させることは、テキストメッセージ２０２を比較的に迅速にストリーミングさせ、頭部５４を環状リング２０６の左側を横断して低速で走査させることは、テキストメッセージ２０２を比較的に低速でストリーミングさせるであろう。

図示される実施形態におけるジェスチャ基準オブジェクト２０６は、着目オブジェクト２０ａと別個かつ異なるが、代替実施形態では、ジェスチャ基準オブジェクト２０６は、実際のオブジェクト自体であることができることに留意されたい。図示される実施形態では、ジェスチャコマンドは、エンドユーザ５０の頭部５４によって行われるが、エンドユーザ５０の他の解剖学的部分も、コマンドを発行するために使用されることができることを理解されたい。例えば、エンドユーザ５０の指または手が環状リング２０６に対して向けられる方向が、感知され得る。

拡張現実システム１００は、種々の様式のうちの任意の１つにおいてストリーミングテキストメッセージの読み取りおよび理解を促進し得る。一実施形態では、比較的に多数の単語を伴うテキストメッセージのために、拡張現実システム１００は、隣接する単語のいくつかの対が比較的に短い一時停止をそれらの間に有し、他の隣接する対の単語が比較的に長い一時停止をそれらの間に有するように、テキストメッセージの単語間の一時停止を変動させ得る。例えば、テキストメッセージは、５単語のグループに分割され得、比較的に短い一時停止が、各グループ内の単語間に置かれ、比較的に長い一時停止が、５単語のグループ間に置かれる。

別の実施形態では、拡張現実システム１００は、エンドユーザ５０の眼５２が閉鎖されると、テキストメッセージ２０２のストリーミングが一時停止し、エンドユーザ５０の眼５２が開放されると、継続するように、エンドユーザ５０の眼５２の瞬きを感知し得る。さらに別の実施形態では、拡張現実システム１００は、エンドユーザ５０とエンドユーザ５０が見ている実際のオブジェクトとの間の距離に基づいて、テキストメッセージのストリーミング速度を調節する。例えば、実際のオブジェクトが配置される焦点面が、識別され得、テキストメッセージのストリーミング速度が、焦点面がエンドユーザ５０に比較的に近い場合、比較的に高速であるように設定され、焦点面がエンドユーザ５０から比較的に遠い場合、比較的に低速であるように設定され得る。さらに別の実施形態では、拡張現実システム１００は、テキストメッセージ内の単語がストリーミングされるにつれて、それらと時間的にそれぞれ対応する可聴トーンのパターン（相互間で異なることも、同じでることもある）を生成する。例えば、各単語がエンドユーザ５０に表示されるにつれて、拡張現実システム１００は、可聴トーンを生成し、エンドユーザ５０に伝送する。

拡張現実システム１００の構造および機能が説明されたので、拡張現実システム１００によってテキストメッセージをエンドユーザ５０にストリーミングするために行われる１つの方法３００が、ここで図１３に関して説明されるであろう。最初に、拡張現実システム１００は、エンドユーザ５０が、周囲環境、例えば、コーヒーショップ（ステップ３０２）内で３次元場面を可視化することを可能にする。これは、例えば、ＣＰＵ１３２が、前向きカメラ１２８に、３次元場面の画像データを捕捉するように指示し、ディスプレイシステム１０４に、捕捉された画像データをエンドユーザ５０に表示するように指示する「ビデオシースルー」ディスプレイ、または、エンドユーザが、単に、３次元場面からの光を直接視認することを可能にされる「光学シースルー」ディスプレイにおいて遂行されることができる。

ＣＰＵ１３２は、ＧＰＵ１３４に、エンドユーザ５０の視点からの仮想画像データを生成し、本実施形態では、３次元仮想場面から２次元仮想画像データをレンダリングするようにも命令する（ステップ３０４）。一実施形態では、仮想画像データは、例えば、仮想画像データをレンダリングし、歪めることによる任意の待ち時間問題を最小限にするために、予測頭部位置に基づいて生成され得る。

ＣＰＵ１３２は、次いで、ディスプレイシステム１０４に、仮想画像データを仮想画像としてエンドユーザ５０に表示し、周囲の３次元場面とともに、３次元拡張場面を作成するように命令する（ステップ３０６）。ＣＰＵ１３２は、ディスプレイシステム１０４に、ディスプレイテキスト領域インジケータ２０４を３次元拡張場面内の着目オブジェクト２２の選択されたものに隣接して表示するようにも命令する（ステップ３０８）。ＣＰＵ１３２は、次いで、ユーザ向き検出モジュール１３０を介して、エンドユーザ５０の焦点を感知し（ステップ３１０）、エンドユーザ５０の焦点がテキスト領域インジケータ２０４のうちの１つと一致すると、ディスプレイシステム１０４に、テキスト領域２００を対応する着目オブジェクト２０ａに隣接して表示するように命令することによって、その１つのテキスト領域インジケータ２０４に対応するテキスト領域２００をアクティブにする（ステップ３１２）。

次に、ＣＰＵ１３２は、ジェスチャ基準をアクティブにされるテキスト領域２００に対応する着目オブジェクト２０ａに関連付け（ステップ３１４）、随意に、ディスプレイシステム１０４に、ジェスチャ基準をジェスチャ基準オブジェクト２０６として着目オブジェクト２０ａに隣接して表示するように命令する（ステップ３１６）。ＣＰＵ１３２は、次いで、ユーザ向き検出モジュール１３０を介して、ジェスチャ基準オブジェクト２０６に対するエンドユーザ５０の頭部５４の角度位置を検出する（ステップ３１８）。エンドユーザ５０の頭部５４がジェスチャ基準オブジェクト２０６に向けられると、ＣＰＵ１３２は、次いで、アクティブにされるテキスト領域２００に対応する着目オブジェクト２０ａに関連付けられた特定のテキストメッセージ２０２を生成し（ステップ３２０）、ディスプレイシステム１０４に、テキストメッセージ２０２のストリーミングをアクティブにされるテキスト領域２００内で開始するように命令する（ステップ３２２）。随意に、ＣＰＵ１３２は、ユーザ向き検出モジュール１３０を介して、着目オブジェクト２０ａが配置される焦点面を識別し（ステップ３２４）、識別された焦点面に基づいて、テキストメッセージのストリーミング速度を調節する（例えば、焦点面がエンドユーザ５０から遠いほど、ストリーミング速度は遅くなり、焦点面がエンドユーザ５０から近いほど、ストリーミング速度は速くなる）（ステップ３２６）。

ＣＰＵ１３２は、次いで、ユーザ向き検出モジュール１３０を介して、ジェスチャ基準オブジェクト２０６に対するエンドユーザ５０の頭部５４の角度位置／速度（例えば、ジェスチャ基準オブジェクト２０６上に向けられる頭部５４の場所または頭部５４がジェスチャ基準オブジェクト２０６を走査する速度）を検出する（ステップ３２８）。ＣＰＵ１３２は、エンドユーザ５０の頭部５４の検出された角度位置／速度に基づいて、テキストメッセージ２０２のストリーミング（例えば、速度、前方／後方等）を制御する（ステップ３３０）。ＣＰＵ１３２は、ユーザ向き検出モジュール１３０を介して、エンドユーザ５０の眼５２の瞬きを検出し（ステップ３３２）、眼５２が閉鎖されると、テキストメッセージ２０２のストリーミングを一時停止し、眼５２が開放されると、テキストメッセージ２０２のストリーミングを継続する（ステップ３３４）。

テキストメッセージの生成およびストリーミングは、拡張現実システムの文脈において説明されたが、テキストメッセージは、仮想オブジェクトの表示の有無にかかわらず、実際の着目オブジェクトに隣接してストリーミングされ得ることを理解されたい。例えば、システムは、単に、テキストメッセージを周囲の３次元場面内の実際の着目オブジェクトに隣接してストリーミングするために使用されることができる。また、テキストメッセージは、単に、最も短いテキスト量を使用して着目オブジェクトの標識化を提供する文脈においてストリーミングされるように本明細書に説明されたが、テキストメッセージはまた、中程度のテキスト使用（例えば、インフォグラフィック段落）および長テキストの使用（例えば、書籍の章）例に対する仮想画像生成システムにおいて使用されることができることを理解されたい。

前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広範な精神および範囲から逸脱することなく、本明細書に成され得ることが明白となるであろう。例えば、前述のプロセスフローは、特定の順序のプロセスアクションを参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく変更され得る。明細書および図面は、故に、限定的意味ではなく、例証と見なされるものとする。

Claims (18)

1. 仮想画像生成システムを動作させる方法であって、前記方法は、
   テキスト領域をユーザの視野内の着目実オブジェクトに空間的に関連付けることと、
   前記着目実オブジェクトに関連付けられたジェスチャ基準を生成することと、
   前記着目実オブジェクトの少なくとも１つの特性を識別するテキストメッセージを生成することと、
   前記テキストメッセージを前記テキスト領域内でストリーミングすることであって、前記テキストメッセージの前記ストリーミングは、前記ユーザの眼が閉鎖されると一時停止する、ことと、
   前記ユーザから前記ジェスチャ基準に関連するジェスチャコマンドを感知することと、
   前記ジェスチャコマンドに応答して前記テキストメッセージの前記ストリーミングを制御することと
   を含む、方法。
2. 前記ジェスチャ基準を前記着目実オブジェクトに隣接するジェスチャ基準オブジェクトとして表示することをさらに含む、請求項１に記載の方法。
3. 前記ジェスチャ基準は、前記着目実オブジェクトと別個であり、異なる、請求項１に記載の方法。
4. 前記ジェスチャコマンドは、前記ユーザの解剖学的部分を伴い、
   前記ジェスチャ基準は、前記着目実オブジェクトを包囲する環状リングであり、前記ジェスチャ基準は、複数の領域を備え、前記複数の領域は、相互に異なり、
   前記環状リングの第１の側は、前記複数の領域のうちの１つを形成し、前記環状リングの前記第１の側の反対の前記環状リングの第２の側は、前記複数の領域のうちの別の１つを形成し、
   前記環状リングは、複数の同心リングを備え、前記同心リングのうちの２つの隣接する同心リングの間の境界面は、前記複数の領域のうちの１つを形成する、請求項１に記載の方法。
5. 前記環状リングの内側または外側縁は、前記複数の領域のうちの別の１つを形成する、請求項４に記載の方法。
6. 前記ジェスチャ基準は、前記着目実オブジェクトである、請求項１に記載の方法。
7. 前記テキストメッセージの前記ストリーミングは、前記ユーザの前記解剖学的部分が前記ジェスチャ基準の１つの領域に向けられると前記テキストメッセージの前記ストリーミングを開始させ、前記ユーザの前記解剖学的部分が前記ジェスチャ基準の前記複数の領域のうちの別の１つに向けられると前記テキストメッセージの前記ストリーミングを終了させることによって、前記ジェスチャコマンドに応答して制御される、請求項４に記載の方法。
8. 前記テキストメッセージの前記ストリーミングは、前記ユーザの前記解剖学的部分が前記ジェスチャ基準の１つの領域に向けられると前記テキストメッセージの少なくとも１つの単語を表示させ、前記ユーザの前記解剖学的部分が前記ジェスチャ基準の前記複数の領域のうちの別の１つに向けられると前記テキストメッセージの少なくとも別の単語を表示させることによって、前記ジェスチャコマンドに応答して制御される、請求項４に記載の方法。
9. 前記ジェスチャコマンドは、前記ユーザの前記解剖学的部分が前記ジェスチャ基準を横断して走査させられるにつれて前記ユーザから感知される、請求項４に記載の方法。
10. １つ以上のセンサは、前記ユーザの前記解剖学的部分が前記ジェスチャ基準を横断して走査させられるにつれて前記ユーザから前記ジェスチャコマンドを送信するために構成されている、請求項４に記載の方法。
11. ユーザによる使用のための仮想画像生成システムであって、前記仮想画像生成システムは、
    前記ユーザが視野内の着目実オブジェクトを可視化することを可能にするために構成されているディスプレイシステムと、
    制御システムであって、前記制御システムは、
    テキスト領域を前記着目実オブジェクトに空間的に関連付けることと、
    前記着目実オブジェクトに関連付けられたジェスチャ基準を生成することと、
    前記着目実オブジェクトの少なくとも１つの特性を識別するテキストメッセージを生成することと、
    前記テキストメッセージを前記テキスト領域内でストリーミングするように前記ディスプレイシステムに命令することであって、前記テキストメッセージの前記ストリーミングは、前記ユーザの眼が閉鎖されると一時停止する、ことと
    を行うように構成されている、制御システムと、
    前記ユーザから前記ジェスチャ基準に関連するジェスチャコマンドを感知するように構成されている１つ以上のセンサと
    を備え、
    前記制御システムは、前記ジェスチャコマンドに応答して前記テキストメッセージの前記ストリーミングを制御するためにさらに構成されている、仮想画像生成システム。
12. 前記制御システムは、前記ジェスチャ基準を前記着目実オブジェクトに隣接するジェスチャ基準オブジェクトとして表示するように前記ディスプレイシステムに命令するためにさらに構成されている、請求項１１に記載の仮想画像生成システム。
13. 前記ジェスチャ基準は、前記着目実オブジェクトと別個であり、異なる、請求項１１に記載の仮想画像生成システム。
14. 前記ジェスチャコマンドは、前記ユーザの解剖学的部分を伴い、
    前記ジェスチャ基準は、前記着目実オブジェクトを包囲する環状リングであり、前記ジェスチャ基準は、複数の領域を備え、前記複数の領域は、相互に異なり、
    前記環状リングの第１の側は、前記複数の領域のうちの１つを形成し、前記環状リングの前記第１の側の反対の前記環状リングの第２の側は、前記複数の領域のうちの別の１つを形成し、
    前記環状リングは、複数の同心リングを備え、前記同心リングのうちの２つの隣接する同心リングの間の境界面は、前記複数の領域のうちの１つを形成する、請求項１１に記載の仮想画像生成システム。
15. 前記環状リングの内側または外側縁は、前記複数の領域のうちの別の１つを形成する、請求項１４に記載の仮想画像生成システム。
16. 前記ジェスチャ基準は、前記着目実オブジェクトである、請求項１１に記載の仮想画像生成システム。
17. 前記制御システムは、前記ユーザの前記解剖学的部分が前記ジェスチャ基準の１つの領域に向けられると前記テキストメッセージの前記ストリーミングを開始させ、前記ユーザの前記解剖学的部分が前記ジェスチャ基準の前記複数の領域のうちの別の１つに向けられると前記テキストメッセージの前記ストリーミングを終了させるように前記ディスプレイシステムに命令することによって、前記ジェスチャコマンドに応答して前記テキストメッセージの前記ストリーミングを制御するために構成されている、請求項１４に記載の仮想画像生成システム。
18. 前記制御システムは、前記ユーザの前記解剖学的部分が前記ジェスチャ基準の１つの領域に向けられると前記テキストメッセージの少なくとも１つの単語を表示させ、前記ユーザの前記解剖学的部分が前記ジェスチャ基準の前記複数の領域のうちの別の１つに向けられると前記テキストメッセージの少なくとも別の単語を表示させるように前記ディスプレイシステムに命令することによって、前記ジェスチャコマンドに応答して前記テキストメッセージの前記ストリーミングを制御するために構成されている、請求項１４に記載の仮想画像生成システム。

Images