JP6730286B2

JP6730286B2 - 拡張現実視野オブジェクトフォロワー

Info

Publication number: JP6730286B2
Application number: JP2017534550A
Authority: JP
Inventors: ラムスビー，スコット; トンプソン，ジョー; オズボーン，ダン; クリスピンライト，ショーン; クランプ，ブライアン; ソーンダース，メガン; ウッドクラフトグワン，フォレスト
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2015-01-20
Filing date: 2016-01-14
Publication date: 2020-07-29
Anticipated expiration: 2036-01-14
Also published as: JP2018505472A; EP3248045A1; US10740971B2; WO2016118388A1; US20160210784A1; CN107209386B; CN107209386A

Description

[0001] 立体ディスプレイは、ビューアの左眼および右眼にイメージを同時に提示することができる。同じオブジェクトの異なるビューを右眼および左眼の視野内の異なる位置に提示することによって、オブジェクトの３次元知覚を達成することができる。さらに、立体ディスプレイのユーザがある環境を動き回るのに応じて、オブジェクトの知覚された実世界位置を調整することができる。

[0002] 本概要は、以下の発明を実施するための形態でさらに説明する概念の選択を、簡略化された形で紹介するために提供される。本概要は、請求する主題の主な特徴または不可欠な特徴を識別することを意図しておらず、請求する主題の範囲を限定するために使用することも意図していない。さらに、請求する主題は、本開示のいずれかの部分に示されたいずれかまたはすべての欠点を解決する実装に限定されない。

[0003] 拡張現実オブジェクトを、ユーザの視野の関数として位置決めする例が提示される。一例において、ウェアラブルな頭部装着表示システムは、見掛けの実世界深度および見掛けの実世界位置で、頭部装着表示システムの装着者によって知覚可能な拡張現実オブジェクトを表示するためのニアアイディスプレイと、装着者の視野（FOV）の関数として拡張現実オブジェクトの見掛けの実世界位置を調整するためのコントローラとを含み、関数は、拡張現実オブジェクトの境界領域、および、拡張現実オブジェクトの境界領域と装着者のＦＯＶとの間の１つまたは複数の重複パラメータに基づく。

[0004]ニアアイのシースルー表示デバイスを装着しているユーザを含む、例示的環境を示す図である。 [0005]拡張現実オブジェクトに適用可能な修正ボディロック機能の例示的態様を示す図である。拡張現実オブジェクトに適用可能な修正ボディロック機能の例示的態様を示す図である。拡張現実オブジェクトに適用可能な修正ボディロック機能の例示的態様を示す図である。 [0006]拡張現実オブジェクトを表示するための方法を示すフローチャートである。 [0007]仮想ばね関数に従った拡張現実オブジェクトの例示的な動きを示す図である。 [0008]ユーザの視野の関数として拡張現実オブジェクトに対する様々な例示的調整を示す図である。ユーザの視野の関数として拡張現実オブジェクトに対する様々な例示的調整を示す図である。ユーザの視野の関数として拡張現実オブジェクトに対する様々な例示的調整を示す図である。ユーザの視野の関数として拡張現実オブジェクトに対する様々な例示的調整を示す図である。 [0009]例示的なコンピューティングシステムを示す図である。 [0010]例示的な頭部装着表示デバイスを示す図である。例示的な頭部装着表示デバイスを示す図である。

[0011] ニアアイディスプレイデバイスは、ホログラムと呼ばれることのある拡張現実オブジェクトが、ニアアイディスプレイデバイス周囲の実世界環境内に存在するという錯覚を与えるために、拡張現実イメージを表示するように構成可能である。いくつかの例において、拡張現実オブジェクトは「ワールドロック」することが可能であり、たとえ表示デバイスの装着者が実世界の物理環境を動き回っていても、拡張現実オブジェクトは固定された知覚実世界位置を維持する。デバイスの装着者は実世界空間においてオブジェクトが位置する場所を覚えておくことに苦労する可能性があるため、装着者にとってこうしたワールドロックされたオブジェクトとの対話が困難な場合がある。この問題は、拡張現実オブジェクトがメニュー、コントロールボタンなどのユーザインターフェース要素である場合、オブジェクトとの間に発生する可能性のある対話が頻繁であるため、特に困難である。

[0012] 本明細書で開示する実施形態によれば、選択された拡張現実オブジェクトの知覚される実世界位置は、ニアアイディスプレイデバイスの装着者の視野（FOV）の変化に応じて調整することができる。選択された拡張現実オブジェクトは、表示するべき拡張現実オブジェクトの関心のターゲット領域を定義する関連する関数、ならびに、装着者のＦＯＶが移動している場合、およびＦＯＶが相対的に動かない場合、関心のターゲット領域のどれくらいが表示されるべきかを定義する重複パラメータを有することができる。ＦＯＶの変化に伴う拡張現実オブジェクトの動きは、ＦＯＶが少量変化した場合は、拡張現実オブジェクトを相対的に一定の位置にとどめておくことが可能であり、その後、ＦＯＶが大量に移動した場合は、ＦＯＶと共に拡張現実オブジェクトを急速に引っ張る、仮想ばねによって制御することができる。このようにして、デバイスの装着者は、たとえ装着者が実世界空間を動き回っていても、拡張現実オブジェクトの少なくとも一部に容易にアクセスすることができる。

[0013] 図１は、本明細書では頭部装着ディスプレイ（HMD）１０４として具体化された、ニアアイのシースルー表示デバイスを、ユーザ１０２が装着している例示的環境１００を示す。ＨＭＤは、ユーザ１０２に環境１００のシースルービューを提供する。ＨＭＤは、ユーザに拡張現実イメージも表示する。一例において、ＨＭＤは立体表示デバイスであり、２つの別々の拡張現実イメージが、それぞれ左眼および右眼のＨＭＤディスプレイ上に各々表示される。ＨＭＤの装着者（たとえば、ユーザ１０２）が見た場合、２つの拡張現実イメージは集合的に、環境１００の一部として装着者が知覚可能な拡張現実オブジェクトを形成する。図１は、本明細書では仮想ディスプレイおよびコントロールボタンを含むビデオ会議インターフェースとして示される、例示的な拡張現実オブジェクト１０６を示す。示された拡張現実オブジェクトは環境１００内の他者には見えず、拡張現実オブジェクトはＨＭＤ１０４を介してユーザ１０２のみに見えることが理解されよう。

[0014] ＨＭＤ１０４は、知覚される拡張現実オブジェクトがボディロックおよび／またはワールドロックされるように、拡張現実イメージを表示することができる。ボディロックされた拡張現実オブジェクトは、ＨＭＤ１０４の６自由度ポーズ（すなわち、6DOF：x、y、z、ヨー、ピッチ、ロール）が変化するのに応じて移動する。したがって、ボディロックされた拡張現実オブジェクトは、ユーザ１０２の視野の同じ部分を占有するように見え、たとえユーザが移動、回転などを行っても、ユーザ１０２から同じ距離にあるように見える。

[0015] 他方で、ワールドロックされた拡張現実オブジェクトは、周囲の環境に対して固定された位置にとどまっているように見える。たとえユーザが移動し、ユーザの視点が変化しても、ワールドロックされた拡張現実オブジェクトは周囲の環境に対して同じ位置／向きにあるように見えることになる。例として、拡張現実のチェスの駒は、ユーザがチェス盤を見る見通しの利く場所に関係なく、実世界のチェス盤の同じ升目上にあるよう見える。ワールドロックされた拡張現実オブジェクトをサポートするために、ＨＭＤは、ＨＭＤの６ＤＯＦポーズおよび周囲環境の表面アスペクトの幾何学的マッピング／モデリングを追跡する。

[0016] 図１に示されるように、ユーザ１０２は現在、拡張現実オブジェクト１０６とフルに対話しており、したがってこうした拡張現実オブジェクトは、拡張現実オブジェクトの機能に最適なサイズおよび位置で表示されている。示された例において、拡張現実オブジェクトはビデオ会議インターフェースであるため、拡張現実オブジェクトは、ユーザのＦＯＶの中央近くに、ユーザが仮想ディスプレイおよびコントロールボタンを容易に可視化できるようなサイズで、位置決めされる。

[0017] しかしながら、ユーザが環境１００を動き回った場合、拡張現実オブジェクトを視野の中心に、および／またはこうした比較的大きなサイズで維持することは、環境内に存在する実世界オブジェクトをわかりにくくする、ユーザが実行したいと思っている他のタスクから気を散らす、または他の問題を起こす可能性がある。拡張現実オブジェクトが現在知覚されている実世界位置にロックされたままである場合、ユーザが環境から移動すると、後に拡張現実オブジェクトにアクセスするのが困難な可能性がある。

[0018] 本開示によれば、拡張現実オブジェクト１０６は、拡張現実オブジェクトの少なくとも一部がユーザのＦＯＶ内の所与の位置につなぎ止めたままであるように、修正されたボディロック機能に従って移動させることができる。本明細書で使用される場合、「ユーザのＦＯＶ」という用語は、ユーザの実際の視野を指すか、または、ディスプレイを介したユーザの視野、すなわちディスプレイの視野を指すことができる。いくつかの例では、ＦＯＶは、ユーザのＦＯＶおよびディスプレイＦＯＶのうちの小さい方を指すことができる。

[0019] つなぎ止めは、ユーザのＦＯＶが相対的に少量変化している場合、オブジェクトを同じ見掛けの実世界位置にとどめることができ、その後、ＦＯＶがより大量に変化した場合、オブジェクトを移動させることができるように、仮想ばね関数に従って制御可能である。ユーザのＦＯＶが相対的に大量に変化した場合、オブジェクトの移動は、オブジェクトのほとんどまたはすべてがＦＯＶ内にとどまる、一部のみがＦＯＶ内にとどまる、またはオブジェクトはＦＯＶ内に一切とどまらないように、制御可能である。ＦＯＶの変化が停止（たとえば、ユーザの頭が静止）した場合、オブジェクトは、より小さいサイズ、より小さい割合、および／またはＦＯＶの周辺の位置で、ＦＯＶに戻って配置することができる。オブジェクトがユーザのＦＯＶから外れた時、たとえオブジェクトが現在は表示されていない場合であっても、オブジェクトの見掛けの実世界位置がなおも更新されるように、オブジェクトは依然としてＦＯＶにつなぎ止めたままであってよい。

[0020] 上記の例は、ニアアイのシースルー表示システムに関して説明しているが、他の構成が可能であるため、本明細書で説明する例はシースルー表示システムに限定されないことを理解されよう。たとえば、仮想または拡張現実オブジェクトをユーザのＦＯＶにつなぎ止めることは、取り付けられたデジタルカメラから仮想デジタルコンテンツで合成されたエンクローズドスクリーン内に再投影することで、非シースルーディスプレイ上で実行可能である。別の例では、つなぎ止めは、仮想現実オブジェクトが実世界または仮想環境のビデオフィードと共に提示される、完全な仮想現実システム上で実行可能である。

[0021] 上記で説明されるように、拡張現実オブジェクトの見掛けの実世界位置は、表示デバイスの装着者のＦＯＶの関数として調整することができる。この関数は、拡張現実オブジェクトの境界領域、ならびに、ＦＯＶと拡張現実オブジェクトとの間の１つまたは複数の重複パラメータを含む、様々なパラメータに基づくことができる。図２Ａ〜図２Ｃは、ユーザのＦＯＶが変化する場合、およびＦＯＶが相対的に一定のままである場合のどちらでも、拡張現実オブジェクトの望ましい部分を表示するために、図１の拡張現実オブジェクト１０６に適用可能な、例示的な境界領域と２つの重複パラメータとを示す。

[0022] 第１に図２Ａを参照すると、拡張現実オブジェクト１０６は関連付けられた境界領域２０２を含む。境界領域２０２は、ＦＯＶ包含計算が基にする拡張現実オブジェクトの関心のターゲット領域を定義する。たとえばＦＯＶ包含は、ユーザが能動的に拡張現実オブジェクトと対話している場合、境界領域の全体が表示されるが、境界領域の外部域は、ＦＯＶの外部に移動できるように、設定することができる。示された例では、境界領域２０２は、ビデオ会議の遠隔ユーザが表示される仮想ディスプレイの一部を含む。

[0023] いくつかの例において、境界領域は拡張現実オブジェクトと同じサイズおよび形状とすることができる。すなわち境界領域は、拡張現実オブジェクトのいかなるアスペクトも境界領域から省略されないように、拡張現実オブジェクトの全体を含むことができる。他の例において、境界領域は、図に示されるように、拡張現実オブジェクトよりも面積または容積が小さい空間を含むことができる。さらに他の例において、境界領域は、拡張現実オブジェクトよりも面積または容積が大きい空間を含むことができる。

[0024] 境界領域は、各拡張現実オブジェクトについて、または拡張現実オブジェクトのクラスについて、個別に定義することができる。境界領域は固定の面積／容積として明示的に定義可能であるか、または、境界領域は拡張現実オブジェクトに比例するサイズとして定義可能である。

[0025] 境界領域に加えて、１つまたは複数の重複パラメータも、ＦＯＶ内の拡張現実オブジェクトの配置を規定することができる。図２Ｂは、ＦＯＶが相対的に大量に変化している場合、境界領域とＦＯＶとの間の重複を定義する、移動最小重複パラメータ２０４を示す。いくつかの例において、最小重複パラメータは、表示された拡張現実オブジェクトがＦＯＶから出始めた時にのみ適用可能である。最小重複パラメータは、１本または複数の軸に沿った境界領域の割合として定義することができる。最小重複パラメータは、境界領域より小さいサイズ（１本または複数の軸に沿って１００％より小さい）、より大きいサイズ（１本または複数の軸に沿って１００％より大きい）、または同じサイズ（１本または複数の軸に沿って１００％）とすることができる。

[0026] 最小重複パラメータは、正または負の値とすることができる。最小重複パラメータが正の値である場合、拡張現実オブジェクトの境界領域の少なくとも一部は、ＦＯＶが変化している時にＦＯＶ内にとどまっている。しかしながら、最小重複パラメータが負の値である場合、境界領域はＦＯＶ内にとどまっておらず、したがっていくつかの例では、拡張現実オブジェクトのいずれもユーザに表示されていないことが含まれ得る。たとえば、負の１００％のｘ軸最小重複パラメータは、境界領域を境界領域のｘ軸寸法の１００％だけ視野の外へ移動させることが可能である。

[0027] 図２Ｂに示されるように、最小重複パラメータ２０４は、ｘ軸で境界領域の５０％、およびｙ軸で境界領域の１００％に設定される。したがって、ユーザのＦＯＶが変化し、拡張現実オブジェクトがＦＯＶから出始めた時、ｘ軸で境界領域の少なくとも５０％が表示され、ｙ軸で境界領域の１００％が表示される。ｘ軸で表示される境界領域の５０％は、ＦＯＶが変化する方向に依存する。たとえば、ユーザが右を見ると、ＦＯＶの左縁は拡張現実オブジェクトを押し、境界領域の幅の右５０％はＦＯＶ内に保持されるように見える。このシナリオは、図２Ｂに示されている。しかしながら、ユーザが左を見ると、ＦＯＶの右縁は拡張現実オブジェクトを押し、境界領域の幅の左５０％はＦＯＶ内に保持されるように見える。図２Ｂに示される最小重複パラメータは本来例示的なものであり、他の最小重複パラメータ値が可能である。

[0028] 図２Ｃは、ＦＯＶが変化していないか、または相対的に少量だけ変化している場合（たとえば、ユーザの頭が静止している場合、または、FOVが変化しているが、境界領域をFOVの外に移動させるには十分でない場合）、境界領域とＦＯＶとの間の重複を定義する、静止ターゲット重複パラメータ２０８を示す。示された例において、ターゲット重複パラメータ２０８は最小重複パラメータ２０４より大きく、ｘ軸で境界領域の１２０％、ｙ軸で境界領域の１２０％である。ターゲット重複パラメータ２０８に従ってＦＯＶ２０６内に表示される場合、境界領域２０２の全体が表示される。さらに、境界領域の寸法を超える追加の重複は、境界領域周辺の拡張現実オブジェクトの追加の空間の表示を提供する。最小重複パラメータと同様に、ターゲット重複パラメータは、境界領域がＦＯＶ内に表示されるかまたはＦＯＶ内に表示されないように、正の値（図に示すように）または負の値とすることができる。

[0029] 図２Ｂおよび図２Ｃに示される例では、ユーザが自分の頭を右側に回転させると、境界領域のｘ軸の５０％を表示することができる。ユーザの頭が回転を停止すると、拡張現実デバイスは、移動最小重複パラメータ２０４の使用からターゲット重複パラメータ２０８の使用へと切り替えることができる。したがって拡張現実オブジェクトは、たとえＦＯＶが変化を停止した後であっても、引き続き移動することになる。

[0030] 拡張現実オブジェクトは、仮想ばね関数の１つまたは複数のばねパラメータに従って移動することができる。ばねパラメータの非限定的な例には、ばね定数および抑制係数が含まれる。たとえば、ばね定数は、拡張現実オブジェクトがＦＯＶに対してどの程度厳密に移動するかを規定する。ばね定数が低いと、ＦＯＶが急激に変化する時に、拡張現実オブジェクトをＦＯＶの外にまで延伸させることができる。ばね定数が高いと、拡張現実オブジェクトは、境界領域および重複パラメータから決定された位置のより近くに保持されることになる。抑制係数が高いと、急速に変化しているＦＯＶが変化を停止した時に、拡張現実オブジェクトの振動が防止される。抑制係数が高いと、ＦＯＶが静止した後に、動かないＦＯＶで拡張現実を安定させるのにかかる時間を低減させることにもなる。抑制係数が低いと、振動が可能となり、ＦＯＶ内で拡張現実オブジェクトを即時に安定させることはない。

[0031] 次に図３に進むと、拡張現実オブジェクトを表示するための方法３００が示されている。方法３００は、上記で説明した図１のＨＭＤ１０４などのウェアラブルな頭部装着表示システム、または、下記で説明する図１０Ａの頭部装着表示システム１０００で、実行に移すことができる。

[0032] ３０２で、方法３００は、表示システム上に表示するための拡張現実オブジェクトを取得することを含む。拡張現実オブジェクトは、任意の好適な拡張現実コンテンツを含むことができ、グラフィカルユーザインターフェース、ゲーム、誘導または支援システム、あるいは任意の好適な拡張または没入環境の一部として表示可能である。拡張現実オブジェクトは、リモートサービスから、表示システムのメモリから、あるいは、ユーザ入力、所定のシーケンスで実行されるゲームまたは他のコンテンツ、または他の好適なアクションから、取得することができる。拡張現実オブジェクトは、幾何学的パラメータ（たとえば、拡張現実オブジェクトの形状を定義する３次元頂点）、テクスチャ、および／または他のアスペクトを含むことができる。拡張現実オブジェクトは、好適なデータ構造の任意の組み合わせとして保存可能である。いくつかの例において、拡張現実オブジェクトは、右眼および左眼の拡張現実イメージをレンダリングするために使用可能であり、各々が、それぞれ表示システムの右眼および左眼のディスプレイ上に表示されるように構成される。

[0033] ３０４で、方法は、拡張現実オブジェクトの境界領域、１つまたは複数の重複パラメータ、および／または仮想ばね関数を決定することを含む。図２Ａ〜図２Ｃに関して上記で説明したように、境界領域および重複パラメータは、表示されることになる拡張現実オブジェクトの空間（２次元面積または３次元容積）を協働的に定義する。仮想ばね関数は、ＦＯＶに対する境界領域の動きを定義することができる。境界領域、重複パラメータ、および／または仮想ばね関数は、任意の好適な様式で拡張現実オブジェクトに関連付けることができる。一例として、これらのパラメータは、拡張現実シーンをレンダリングしながらアクセス可能な変数として保存することができる。

[0034] ３０６で、拡張現実オブジェクトは、デフォルトの見掛けの実世界位置に表示される。たとえば拡張現実オブジェクトは、ユーザに対するか、またはユーザ対話のために表示可能な実世界に対する、デフォルト位置を含むことができる。これは、デフォルトの見掛けの実世界深度を含むことができる。さらに、拡張現実オブジェクトはデフォルトサイズで表示することができる。加えて、いくつかの例では、拡張現実オブジェクトは、見掛けの実世界位置、見掛けの実世界深度、およびユーザ入力に従ったサイズのうちの、１つまたは複数で表示することができる。

[0035] ３０８で、方法３００は、ユーザのＦＯＶの関数として拡張現実オブジェクトの見掛けの実世界位置を調整することを含む。調整は、ＦＯＶの関数として見掛けの実世界位置を調整することを含み得、ここで関数は、３１０に示されるように、境界領域および１つまたは複数の重複パラメータに基づく。さらに調整は、３１２に示されるように、さらに仮想ばね関数に基づいて、オブジェクトの見掛けの実世界位置を調整することを含み得る。

[0036] ユーザのＦＯＶの関数として、拡張現実オブジェクトの見掛けの実世界位置を調整するために、表示システムは第１に、表示システムの１つまたは複数のイメージセンサおよび／または位置センサからのフィードバックに基づいて、ユーザのＦＯＶを決定することができる。次に表示システムは、ＦＯＶが少なくともしきい値量だけ移動したかどうかを判別することができる。一例において、ＦＯＶが本当に変化したかどうかを表示システムが判別できるように、しきい値はゼロとすることができる。他の例において、しきい値は５または１０％などのゼロより大きい所定の量とすることができる。さらに他の例では、しきい値は、ＦＯＶの１つまたは複数の境界に対する拡張現実オブジェクトの初期位置に基づくものとすることができる。たとえば表示システムは、拡張現実オブジェクトがＦＯＶを出始めた場合にのみ、ＦＯＶが少なくともしきい値量だけ移動したことを示し得る。他のしきい値も可能である。

[0037] ＦＯＶが少なくともしきい値量だけ移動した場合、表示システムは、図２Ｂに関して上記で説明したように、拡張現実オブジェクトに関連付けられた境界領域および１つまたは複数の重複パラメータに従って、拡張現実オブジェクトを表示することができる。さらに、拡張現実オブジェクトは、あたかもばねにつなぎ止められているかのように、１つまたは複数のばねパラメータに従って移動させることができる。いくつかの実装において、ばねパラメータは、境界領域および重複パラメータによって確立された条件に違反することはできない。言い換えれば、最小重複は、違反することができない厳格な最小値である。他の実装では、ばねパラメータにより、重複に違反することが許される（たとえば、拡張現実オブジェクトは、FOVが急激に変化する場合、FOVを外れてさらに延伸する）。ＦＯＶが変化を停止する（たとえば、ユーザの頭が静止する）と、仮想ばね関数およびターゲット重複パラメータのうちの１つまたは複数に従って、境界領域を見掛けの実世界位置に表示することができる。しかしながら、仮想ばね関数の抑制係数に応じて、境界領域は、指定された位置で安定する前に、ターゲット重複パラメータによって指定された見掛けの実世界位置を一時的に「行き過ぎる」場合がある。いったん拡張現実オブジェクトが安定位置に表示されると、すべてより少ない拡張現実オブジェクトが表示されることをターゲット重複パラメータが定義する、いくつかの例では、ユーザ入力（たとえば、ユーザが拡張現実オブジェクトを凝視すること）に応答して、拡張現実オブジェクトの全体を表示することができる。

[0038] 上記の例では、境界領域は拡張現実オブジェクトの空間を含むように定義されるが、いくつかの例では、境界領域は拡張現実オブジェクトの一部またはすべての正確なバージョンは含まないが、その代わりに、ユーザが拡張現実オブジェクトを識別できるように、拡張現実オブジェクトのコンテンツを表す、イメージ、アイコン、メニューバーなどの拡張現実オブジェクトの表現を含むことができる。

[0039] 図４は、仮想ばね関数に従った拡張現実オブジェクトの例示的な一連の動きを示す略図４００である。略図４００は、一連の時点（たとえば、ｔ_０〜ｔ_４）を表示するタイムライン４０２と、図１の環境１００におけるユーザ１０２などの環境内のユーザの視野４０６（破線によって画定される）を示す、関連付けられたオーバーヘッドマップ４０４とを含む。拡張現実オブジェクトの境界領域４０８が、仮想ばね関数に従ってＦＯＶ４０６内に表示される。図４内のオーバーヘッドマップは可視ばねを示すが、ばねは例示のためにのみ可視であり、表示システムは必ずしもばねを表示しないことを理解されよう。

[0040] 時点ｔ_０でばねはその静止位置にあり、ここではばねに一切の力がかけられていない。ばねは、ＦＯＶに対してある位置にアンカーで固定され、本明細書ではＦＯＶの左境界に沿うものと示される。したがって、境界領域４０８はアンカー位置から第１の距離ｄ１だけ間隔が空けられている。時点ｔ_１で、ＦＯＶは左方向に移動を開始し、したがってアンカーは移動を開始する。しかしながら、ばねは伸張され、結果として境界領域は同じ見掛けの実世界位置にとどまることになる。次に境界領域は、第１の距離より大きい第２の距離ｄ２だけ、アンカー位置から間隔を空けて位置決めされる。ばねの伸張量は、ばね定数、ＦＯＶの変化率、および拡張現実オブジェクトに割り当てられた仮想慣性によって決定することができる。

[0041] 時点ｔ_２で示されるように、ＦＯＶは左へ移動し続け、ばねはより大きな伸張レベルに達し、境界領域はＦＯＶと共に移動する。したがって、境界領域は、アンカー位置から同じ距離ｄ２だけ間隔が空けられるが、境界領域は、時点ｔ_０およびｔ_１よりもさらに左の見掛けの実世界位置に位置決めされる。たとえば境界領域は、時点ｔ_０およびｔ_１では相対的に環境内の壁の近くに位置決めされ、時点ｔ_２では壁から離れてシフトされている。

[0042] 時点ｔ_３で、ＦＯＶは移動を停止する。しかしながら、ばねは圧縮を続行するため、境界領域は左に向かって移動し続けることになる。アンカー位置と境界領域は、第１および第２の距離よりも小さい第３の距離ｄ３だけ間隔が空けられる。時点ｔ_４までに、ばねはその弛緩状態を取り戻し、境界領域はアンカー位置から時点ｔ_０と同じ距離（ｄ１）である。

[0043] 図５は、拡張現実オブジェクト５０４を含む、時点ｔ_０、ｔ_１、ｔ_２、およびｔ_３でのユーザの視点からの図１のＨＭＤ１０４などのＨＭＤを介した、例示的ビュー５０２のタイムラインを示す、別の略図５００を示す。拡張現実オブジェクト５０４は、時点ｔ_０で壁５０６にワールドロックされている。図５は、環境５１４内のユーザ５１２の視野５１０を示す、オーバーヘッドマップ５０８も示す。時点ｔ_１およびｔ_２で、ユーザ５１２は自分の頭を右に回転させ、元のワールドロックされた位置にある拡張現実オブジェクト５０４をもはや見ることができない。しかしながら、時点ｔ_１およびｔ_２でのオーバーヘッドマップ５０８に示されるように、拡張現実オブジェクトの位置５１６は、拡張現実オブジェクトが負の最小重複パラメータ値を有することにより、視野５１０のすぐ外側にとどまるように動的に更新される。時点ｔ_３でユーザ５１２は、更新された位置５１６を視野５１０が含むように、自分の頭を左に回転させて戻す。さらに、時点ｔ_３でビュー５０２内に示されるように、拡張現実イメージは更新された位置５１６に表示される。

[0044] 動的に位置決めされた拡張現実オブジェクトは、ユーザが動的に位置決めされた拡張現実オブジェクト方向に視線を戻した時、便宜上、適切な深度で動的に配置することができる。たとえば、拡張現実オブジェクトを、最も近い実世界の物理表面まで押し戻すか、または、現在のコンテキスト（たとえば、適用シナリオ）に基づいて構成可能な深度まで引き寄せることができる。図５は、拡張現実オブジェクト５０４が最も近い物理表面、この場合は壁５１８まで押し戻された例を示す。

[0045] 図６は、ＨＭＤおよび対応するオーバーヘッドマップ６０４を介した例示的ビュー６０２のタイムラインの別の略図６００を示す。略図６００は、図５に示された同じ拡張現実オブジェクト５０４および同じ環境５１４のビュー、ならびにユーザ５１２の同じ動きを含む。しかしながら、図６では、拡張現実オブジェクト５０４は正の最小重複パラメータ値を有する。したがって、時点ｔ_１およびｔ_２で見られるように、拡張現実オブジェクトはユーザ５１２のＦＯＶ５１０内に部分的にとどまっている。

[0046] 前述のように、拡張現実オブジェクトは、望ましい見掛けの実世界深度で配置することが可能であり、たとえば図５および図６に示されたタイムラインにおいて、拡張現実オブジェクトの見掛けの実世界深度は、拡張現実オブジェクトが壁に接して配置されているように見えるように調整される。深度が自動的に調整される場合、拡張現実オブジェクトまたは拡張現実オブジェクトのアスペクトは、拡張現実オブジェクトが表示される見掛けの実世界距離に関係なく、拡張現実オブジェクトまたはそのアスペクトがユーザの視野の同じ比率を取るように見えるように、固定された角サイズに従って動的に拡縮することができる。例として、ユーザから５フィート（約１．５２４メートル）離れた垂直面上に引かれた水平線は、０．９５度の垂直角拡散を占有し得、水平線は、世界空間座標で１インチ（約２．５４センチメートル）の高さであるように見え、同じ線が、ユーザから１０フィート（約３．０４８メートル）の垂直面上に引かれた場合、線は、依然として０．９５度の垂直角拡散を占有し得るが、世界空間座標では２インチ（約５．０８センチメートル）高さであるように見える。このようにして、拡張現実オブジェクトは、拡張現実オブジェクトの見掛けの実世界深度の範囲全体を通じて、ユーザのＦＯＶの固定比率で維持することができる。

[0047] 動的に位置決めされた拡張現実オブジェクトは、ユーザが視線を戻し、新しい動的に調整された位置にある拡張現実オブジェクトを見た時、より小さく見えるように、動的に拡縮することができる。例として、図７は、更新された位置５１６にユーザが視線を戻した時、サイズが減少した拡張現実オブジェクト５０４’を示す。

[0048] 拡張現実オブジェクトが拡縮される場合、拡張現実オブジェクトは、しきい値持続時間、拡張現実オブジェクトを凝視するなどのユーザトリガに応答して、元のサイズに再度拡縮することができる。図８は、ユーザ５１２がしきい値持続時間（たとえば、ｔ_２−ｔ_１）拡張現実オブジェクト５０４’を凝視する例を示す。凝視によって、縮小された拡張現実オブジェクト５０４’をフルサイズの拡張現実オブジェクト５０４に拡大することがトリガされる。こうした拡大がしきい値持続時間に達した後に１つの離散工程として行うか、または拡大は、図に示されるように２つまたはそれ以上の工程で行うことができる。

[0049] 動的拡縮が使用されるかどうかにかかわらず、動的に移動された拡張現実オブジェクトは、ユーザのトリガがしきい値持続時間内に実行されない場合、前の位置に自動的に戻ることができる。たとえばユーザが、動的に移動された拡張現実オブジェクトをしきい値持続時間内に凝視しない場合、拡張現実オブジェクトは自動的にユーザの視野を離れ、元の位置に戻ることができる。

[0050] 前述の拡縮機能に加えて、任意選択により、拡張現実オブジェクトを容易に対話および閲覧できるようにするために、拡張現実オブジェクトがユーザに向き合うように動的に回転する「ビルボード」効果を用いて、拡張現実オブジェクトを表示することができる。たとえば境界領域は、拡張現実オブジェクトの平面を定義することができるため、拡張現実オブジェクトを回転させて、拡張現実オブジェクトのその平面をＦＯＶ内に維持することができる。いくつかの例において、それ以外の方法でユーザのＦＯＶの関数として調整される拡張現実オブジェクトは、ユーザの要求に応答して、固定された見掛けの実世界位置にピン止めすることができる。

[0051] さらなる例において、ばね機構の物理的性質およびその制御された拡張現実オブジェクトのより強い感覚をユーザに与えるために、拡張現実オブジェクトをアニメーション化する（たとえば、前述の仮想ばね関数によって引き寄せられることに応答して、その移動方向によって定義された軸に沿って回転する）ことができる。

[0052] いくつかの実施形態において、本明細書で説明する方法およびプロセスは、１つまたは複数のコンピューティングデバイスのコンピューティングシステムに結び付けることができる。特に、こうした方法およびプロセスは、コンピュータアプリケーションプログラムまたはサービス、アプリケーションプログラミングインターフェース（API）、ライブラリ、および／または他のコンピュータプログラム製品として実装可能である。

[0053] 図９は、前述の方法およびプロセスのうちの１つまたは複数を実行に移すことが可能なコンピューティングシステム９００の、非限定的な実施形態を概略的に示す。図１のＨＭＤ１０４および／または図１０Ａのディスプレイシステム１０００は、コンピューティングシステム９００の非限定的な例である。コンピューティングシステム９００は簡略化された形で示される。コンピューティングシステム９００は、１つまたは複数のパーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、ゲーミングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス（たとえば、スマートフォン）、および／または他のコンピューティングデバイスの形を取ることができる。

[0054] コンピューティングシステム９００は、論理機械９０２および記憶機械９０４を含む。コンピューティングシステム９００は、任意選択により、表示サブシステム９０６、入力サブシステム９０８、通信サブシステム９１０、および／または図９に示されていない他のコンポーネントを含むことができる。

[0055] 論理機械９０２は、命令を実行するように構成された１つまたは複数の物理デバイスを含む。たとえば、論理機械は、１つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または他の論理構造の一部である、命令を実行するように構成可能である。こうした命令を実装して、タスクを実行し、データ型を実装し、１つまたは複数のコンポーネントの状態を変換し、技術的効果を達成し、あるいは他の方法で望ましい結果に到達することができる。

[0056] 論理機械は、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサを含むことができる。追加または代替として、論理機械は、ハードウェアまたはファームウェア命令を実行するように構成された、１つまたは複数のハードウェアまたはファームウェア論理機械を含むことができる。論理機械のプロセッサは、シングルコアまたはマルチコアであり得、その上で実行される命令は、逐次、並列、および／または分散の処理用に構成可能である。論理機械の個々のコンポーネントは、協調的な処理のためにリモートに配置および／または構成可能な、２つまたはそれ以上の別々のデバイス間で分散可能である。論理機械の態様は、リモートにアクセス可能な、クラウドコンピューティング構成で構成されたネットワーク化されたコンピューティングデバイスによって、視覚化および実行することができる。

[0057] 記憶機械９０４は、本明細書で説明する方法およびプロセスを実装するために論理機械によって実行可能な命令を保持するように構成された、１つまたは複数の物理デバイスを含む。こうした方法およびプロセスが実装される場合、記憶機械９０４の状態は、たとえば異なるデータを保持するように変換可能である。

[0058] 記憶機械９０４は、取り外し可能デバイスおよび／または一体型デバイスを含むことができる。記憶機械９０４は、とりわけ、光学メモリ（たとえば、CD、DVD、HD-DVD、ブルーレイディスクなど）、半導体メモリ（たとえば、RAM、EPROM、EEPROMなど）、および／または磁気メモリ（たとえば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAMなど）を含むことができる。記憶機械９０４は、揮発性、不揮発性、動的、静的、読み取り／書き込み、読み取り専用、ランダムアクセス、逐次アクセス、ロケーションアドレス可能、ファイルアドレス可能、および／またはコンテンツアドレス可能な、デバイスを含むことができる。

[0059] 記憶機械９０４は、１つまたは複数の物理デバイスを含むことを理解されよう。しかしながら、本明細書で説明する命令の態様は、代替として、有限持続時間の間物理デバイスによって保持されない通信媒体（たとえば、電磁信号、光信号など）によって伝搬可能である。

[0060] 論理機械９０２および記憶機械９０４の態様は、１つまたは複数のハードウェア論理コンポーネントに統合することができる。こうしたハードウェア論理コンポーネントは、たとえば、フィールドプログラマブルゲートアレイ（FPGA）、特定プログラム向けおよび特定用途向けの集積回路（PASIC/ASIC）、特定プログラム向けおよび特定用途向けの標準製品（PSSP/ASSP）、システムオンチップ（SOC）、および複合プログラマブル論理デバイス（CPLD）を含むことができる。

[0061] 「モジュール」、「プログラム」、および「エンジン」という用語は、特定の機能を実行するために実装されたコンピューティングシステム９００の態様を説明するために使用可能である。いくつかのケースでは、モジュール、プログラム、またはエンジンは、記憶機械９０４によって保持される命令を実行する論理機械９０２を介してインスタンス化することができる。異なるモジュール、プログラム、および／またはエンジンが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数などからインスタンス化可能であることを理解されよう。同様に、同じモジュール、プログラム、および／またはエンジンが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数などからインスタンス化可能である。「モジュール」、「プログラム」、および「エンジン」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードなどの個々またはグループを包含することができる。

[0062] 本明細書で使用される「サービス」は、複数のユーザセッションにわたって実行可能なアプリケーションプログラムであることを理解されよう。サービスは、１つまたは複数のシステムコンポーネント、プログラム、および／または他のサービスが使用可能である。いくつかの実装において、サービスは１つまたは複数のサーバコンピューティングデバイスを実行することができる。

[0063] 表示サブシステム９０６は、含まれる場合、記憶機械９０４によって保持されるデータの視覚表現を提示するために使用可能である。この視覚表現は、グラフィカルユーザインターフェース（GUI）の形を取ることができる。本明細書で説明する方法およびプロセスが記憶機械によって保持されるデータを変更し、したがって記憶機械の状態を変換する場合、表示サブシステム９０６の状態も同様に、基礎となるデータ内の変更を視覚的に表示するように変換することができる。表示サブシステム９０６は、事実上任意のタイプの技術を利用する１つまたは複数の表示デバイスを含むことができる。こうした表示デバイスは、共有筐体内で論理機械９０２および／または記憶機械９０４と組み合わせることができるか、あるいはこうした表示デバイスは、周辺表示デバイスとすることができる。

[0064] 入力サブシステム９０８は、含まれる場合、キーボード、マウス、タッチスクリーン、またはゲームコントローラなどの、１つまたは複数のユーザ入力デバイスを備えるか、またはこれらとインターフェースすることができる。いくつかの実施形態において、入力サブシステムは、選択されたナチュラルユーザ入力（NUI）コンポーネントを備えるかまたはこれとインターフェースすることができる。こうしたコンポーネントは一体型または周辺装置とすることが可能であり、入力アクションの変換および／または処理は、オンボードまたはオフボードで取り扱うことができる。例示的なＮＵＩコンポーネントは、会話および／または音声認識用のマイクロフォン；機械視覚および／またはジェスチャ認識用の赤外線、カラー、立体、および／または深度カメラ；動き検出および／または意図認識用のヘッドトラッカー、アイトラッカー、加速度計、および／またはジャイロスコープ；ならびに脳活動にアクセスするための電界感知コンポーネントを、含むことができる。

[0065] 通信サブシステム９１０は、含まれる場合、コンピューティングシステム９００を１つまたは複数の他のコンピューティングデバイスと通信可能に結合するように構成可能である。通信サブシステム９１０は、１つまたは複数の異なる通信プロトコルに適合可能な有線および／または無線の通信デバイスを含むことができる。非限定的な例として、通信サブシステムは、無線電話網、あるいは有線または無線のローカルエリアまたはワイドエリアのネットワークを介した通信用に、構成可能である。いくつかの実施形態において、通信サブシステムは、コンピューティングシステム９００が、インターネットなどのネットワークを介して、他のデバイスとの間でメッセージを送信および／または受信できるようにする。

[0066] 図１０Ａは、装着者によって装着または使用されることになる例示的な頭部装着表示システム１０００の態様を示す。表示システム１０００は、図１のＨＭＤ１０４および／または図９のコンピューティングシステム９００の非限定的な例である。表示システムは、透明、半透明、および／または不透明なディスプレイがビューアの片眼または両眼の前で支持される、任意の他の形を取ることができる。さらに、本明細書で説明する実施形態は、モバイルコンピューティングデバイス、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、他のウェアラブルコンピュータなどを含むが、限定されない、任意の他の好適なコンピューティングデバイスと共に使用可能である。たとえば拡張現実イメージを、モバイルフォンのカメラによってキャプチャされる実世界イメージと共に、モバイルフォンのディスプレイ上に表示することができる。

[0067] 図示される表示システムは、フレーム１００２を含む。フレームは、装着者の眼の近くに位置決めされる、立体的なシースルー表示コンポーネントを支持する。表示システム１０００は、実世界イメージと仮想表示イメージとが混合される、拡張現実アプリケーション内で使用可能である。

[0068] 表示システム１０００は、装着者の周囲の明瞭なビューを装着者に与えるために、装着者の視点から完全または部分的に透明であってよい、別々の右および左の表示パネル１００４Ｒおよび１００４Ｌを含む。コントローラ１００６は、表示パネルおよび他の表示システムコンポーネントに、動作可能に結合される。コントローラは、イメージ信号を表示パネルに提供するように、感知信号を受信するように、および、本明細書で説明する様々な制御プロセスを実行に移すように構成された、論理および関連付けられるコンピュータメモリを含む。

[0069] 表示システム１０００は、拡張現実イメージ（ホログラフィオブジェクトとも呼ばれる）などのイメージを、表示システムの装着者の眼に送達できるようにすることが可能である。表示パネルは、透明なディスプレイを介して物理環境を見ている装着者に対する実世界の物理環境の出現を、視覚的に拡張するように構成可能である。一例において、ディスプレイは、グラフィカルユーザインターフェースの１つまたは複数のＵＩオブジェクトを表示するように構成可能である。いくつかの実施形態において、グラフィカルユーザインターフェース上に提示されるＵＩオブジェクトは、実世界環境の前に重ね合される仮想オブジェクトとすることができる。同様に、いくつかの実施形態において、グラフィカルユーザインターフェース上に提示されるＵＩオブジェクトは、ディスプレイを介して見られる実世界環境の実世界オブジェクトの要素を組み込むことができる。他の例では、ディスプレイは、ゲーム、ビデオ、または他の視覚コンテンツに関連付けられた仮想オブジェクトなどの、１つまたは複数の他のグラフィカルオブジェクトを表示するように構成可能である。

[0070] 任意の好適な機構を使用して、表示パネル（集合的にディスプレイ１００４と呼ばれる）を介してイメージを表示することができる。たとえば、ディスプレイ１００４は、レンズ内に配置されたイメージ生成要素（たとえば、有機発光ダイオード（OLED）ディスプレイなど）を含むことができる。別の例として、ディスプレイ１００４は、表示システム１０００のフレーム１００２内に配置された、表示デバイス（たとえば、液晶オンシリコン（LCOS）デバイスまたはOLEDマイクロディスプレイなど）を含むことができる。この例では、レンズは、表示デバイスから装着者の眼まで光を送達するための光ガイドとして働くか、あるいはこれを含むことができる。こうした光ガイドによって、装着者は、装着者が見ている物理環境内に配置された３Ｄホログラフィイメージを知覚することができる一方で、装着者は、物理環境内の物理オブジェクトを直接見ることも可能であり、したがって混合現実環境を作成することが可能である。追加または代替として、ディスプレイ１００４は、それぞれ左眼および右眼用のディスプレイを介して、左眼および右眼に拡張現実イメージを提示することができる。

[0071] 表示システム１０００は、コントローラ１００６に情報を提供するための、様々なセンサおよび関連システムも含むことができる。こうしたセンサは、１つまたは複数の内向きイメージセンサ１０１２ａおよび１０１２ｂ、１つまたは複数の外向きイメージセンサ１００５、慣性計測ユニット（IMU）１００７、および１つまたは複数のマイクロフォン１０１１を含むことができるが、限定されない。１つまたは複数の内向きイメージセンサ１０１２ａおよび１０１２ｂは、装着者の眼から凝視追跡データの形のイメージデータを獲得するように構成可能である（たとえば、センサ１０１２ａは装着者の眼のうちの一方に関するイメージデータを獲得し得、センサ１０１２ｂは装着者の眼のうちの他方に関するイメージデータを獲得し得る）。

[0072] 表示システムは、イメージセンサ１０１２ａおよび１０１２ｂから受け取った情報に基づいて、任意の好適な様式で装着者の眼の各々の凝視方向を決定するように構成可能である。たとえば、赤外線光源などの１つまたは複数の光源１０１４は、装着者の各眼の角膜から光のグリントを反射させるように構成可能である。次いで１つまたは複数のイメージセンサ１０１２ａ、１０１２ｂは、装着者の眼のイメージをキャプチャするように構成可能である。コントローラ１００６は、イメージセンサ１０１２ａ、１０１２ｂから集めたイメージデータから決定されるグリントのイメージおよび瞳のイメージを使用して、各眼の光軸を決定することができる。コントローラ１００６は、この情報を使用して、装着者が凝視している方向を決定するように構成可能である。加えてコントローラ１００６は、ユーザの凝視ベクトルを周囲環境の３Ｄモデル上に投影することによって、装着者が凝視している物理オブジェクトおよび／または仮想オブジェクトの識別を決定するようにも構成可能である。

[0073] １つまたは複数の外向きセンサ１００５は、表示システムが配置されている物理環境の物理環境属性（たとえば、光強度）を測定するように構成可能である。外向きイメージセンサ１００５からのデータを使用して、装着者によって、あるいは視野内の人物または物理オブジェクトによって実行される、ジェスチャベースの入力または他の動きなどの、ディスプレイ１００４の視野内の動きを検出することができる。一例において、外向きイメージセンサ１００５からのデータを使用して、表示デバイス上に表示されるＵＩオブジェクトの選択を示すジェスチャ（たとえば、指でつまむ、拳を握るなど）などの、表示システムの装着者によって実行される選択入力を検出することができる。外向きセンサからのデータを使用して、実世界環境内での表示システム１０００の位置／動作追跡を可能にする、（たとえば、環境特徴のイメージングからの）方向／位置および配向データを決定することもできる。外向きカメラからのデータを使用して、表示システム１０００の視点からの周囲環境の静止イメージおよび／またはビデオイメージを構築することもできる。

[0074] ＩＭＵ１００７は、表示システム１０００の位置および／または配向データを、コントローラ１００６に提供するように構成可能である。一実施形態において、ＩＭＵ１００７は、３軸または３自由度（3DOF）の位置センサシステムとして構成可能である。この例示的な位置センサシステムは、たとえば、３本の直交軸（たとえば、ロール、ピッチ、およびヨー）の周囲の３Ｄ空間内での表示システム１０００の配向の変化を指示または測定するために、３つのジャイロスコープを含むことができる。ＩＭＵのセンサ信号から導出される配向を使用して、シースルーディスプレイを介して、現実的かつ安定した位置および配向を備える１つまたは複数のＡＲイメージを表示することができる。

[0075] 別の例において、ＩＭＵ１００７は、６軸または６自由度（6DOF）の位置センサシステムとして構成可能である。こうした構成は、３本の直交空間軸（たとえば、x、y、およびz）に沿った表示システム１０００の位置の変化、および、３本の直交回転軸（たとえば、ヨー、ピッチ、およびロール）の周囲のデバイス配向の変化を、指示または測定するために、３つの加速度計および３つのジャイロスコープを含むことができる。いくつかの実施形態において、外向きイメージセンサ１００５およびＩＭＵ１００７からの位置および配向データを併用して、表示システム１０００の位置および配向を決定することができる。

[0076] 表示システム１０００は、ＧＰＳまたは他の全地球的航法システムなどの、他の好適な位置決め技法もサポート可能である。さらに、位置センサシステムの特定の例について説明してきたが、任意の他の好適な位置センサシステムが使用可能であることを理解されよう。たとえば、頭部の姿勢および／または動きデータは、任意数のジャイロスコープ、加速度計、慣性計測ユニット、ＧＰＳデバイス、バロメータ、磁気探知器、カメラ（たとえば、可視光カメラ、赤外光カメラ、飛行時間深度カメラ、構造化光深度カメラなど）、通信デバイス（たとえば、WIFIアンテナ／インターフェース）などを含むが、限定されない、装着者が装着しているセンサおよび／または装着者の外部センサの任意の組み合わせからのセンサ情報に基づいて、決定することができる。

[0077] 図１０Ａを続けると、コントローラ１００６は、１つまたは複数の内向きイメージセンサ１０１２ａ、１０１２ｂによって検出される情報に基づいて、複数の視線サンプルを経時的に記録するように構成可能である。各視線サンプルについて、（イメージセンサ１００５および／またはIMU １００７からの）視標追跡情報、およびいくつかの実施形態では頭部追跡情報を使用して、視線がシースルーディスプレイと交差する推定位置を生成するために、その視線サンプルの起点および方向ベクトルを推定することができる。視線サンプルを決定するために使用される視標追跡情報および頭部追跡情報の例は、視線方向、頭部の配向、視線速度、視線加速、視線方向の角度変化、および／または任意の他の好適な追跡情報を含むことができる。いくつかの実施形態において、視線追跡は、表示システム１０００の装着者の両眼について、独立して記録することができる。

[0078] コントローラ１００６は、外向きイメージセンサ１００５からの情報を使用して、周囲環境の３次元モデルを生成または更新するように構成可能である。追加または代替として、外向きイメージセンサ１００５からの情報を、周囲環境のモデルの生成および／または更新の責務を負うリモートコンピュータに送信することができる。いずれのケースでも、拡張現実イメージを所望の実世界位置内に所望の配向で正確に表示できるように、周囲の環境に対する表示システムの相対的な位置および／または配向を評価することができる。さらに、コントローラ１００６は、周囲環境のいずれの部分が現在ＦＯＶ内にあるかを判別することができる。

[0079] 前述のように、表示システム１０００は、オーディオデータをキャプチャする、マイクロフォン１０１１などの１つまたは複数のマイクロフォンを含むこともできる。いくつかの例において、１つまたは複数のマイクロフォン１０１１は、２つまたはそれ以上のマイクロフォンを含むマイクロフォンアレイを備えることができる。たとえば、マイクロフォンアレイは、２つがＨＭＤの右レンズの上に位置決めされ、２つがＨＭＤの左レンズの上に位置決めされた、４つのマイクロフォンを含むことができる。さらに、オーディオ出力を、スピーカ１００９などの１つまたは複数のスピーカを介して装着者に提示することができる。

[0080] コントローラ１００６は、表示システムのディスプレイおよび様々なセンサと通信する、図９に関して上記でより詳細に論じた、論理機械および記憶機械を含むことができる。

[0081] 図１０Ｂは、非限定的な一実施形態における、右または左の表示パネル１００４（１００４Ｒ、１００４Ｌ）の選択された態様を示す。表示パネルは、バックライト１００８および液晶ディスプレイ（LCD）タイプのマイクロディスプレイ１０１０を含む。バックライトは、発光ダイオード（LED）のアンサンブル、たとえば、白色ＬＥＤ、または赤、緑、および青色ＬＥＤの分布を含むことができる。バックライトは、コントローラ１００６からの制御信号に基づいて表示イメージを形成するＬＣＤマイクロディスプレイを介して、その発光を誘導するように構成可能である。ＬＣＤマイクロディスプレイは、矩形グリッドまたは他のジオメトリ上に構成される、多数の、個別にアドレス可能なピクセルを含むことができる。いくつかの実施形態において、ＬＣＤマイクロディスプレイがカラーイメージを形成するように、赤色光を透過させるピクセルと緑色光および青色光を透過させるピクセルとを並列させることができる。他の実施形態において、反射型液晶オンシリコン（LCOS）マイクロディスプレイまたはデジタルマイクロミラーアレイを、図１０ＢのＬＣＤマイクロディスプレイの代わりに使用することができる。代替として、アクティブＬＥＤ、ホログラフィ、または走査ビームのマイクロディスプレイを使用して、右および左の表示イメージを形成することができる。図面は、別々の右および左の表示パネルを示しているが、代わりに、両眼の上に延在する単一の表示パネルを使用することもできる。

[0082] 図１０Ｂの表示パネル１００４は、アイイメージングカメラ１０１２（たとえば、外向きイメージングセンサ１０１２ａまたは１０１２ｂ）、光源１０１４とも呼ばれる軸上照明源、および軸外照明源１０１４’を含む。各照明源は、アイイメージングカメラの高感度波長帯で赤外線（IR）または近赤外線（NIR）照明を発する。各照明源は、発光ダイオード（LED）、ダイオードレーザ、放電照明源などを備えることができる。アイイメージングカメラ１０１２は、任意の好適な対物レンズ系を介して、画角範囲にわたる光を検出し、こうした角度をセンサピクセルアレイの対応するピクセルにマッピングする。コントローラ１００６は、以下でより詳細に説明するように、アイイメージングカメラからの出力を使用して、装着者の視線軸Ｖを追跡するように構成可能である。

[0083] 軸上および軸外の照明は、視線追跡に関して異なる目的のために働く。図１０Ｂに示されるように、軸外照明は、装着者の眼の角膜１０１８から反射する反射グリント１０１６を作成することができる。軸外照明は、瞳１０２０が周囲の虹彩１０２２よりも暗く見える「暗瞳孔」効果のために、眼に照明を当てるために使用することもできる。これに対して、ＩＲまたはＮＩＲ光源からの軸上照明は、瞳が周囲の虹彩よりも明るく見える「明瞳孔」効果を作り出すために使用することができる。より具体的に言えば、軸上照明源１０１４からのＩＲまたはＮＩＲ照明は、眼の網膜１０２４の逆反射組織を照らし、これが瞳を介して光を逆反射させ、瞳の明るいイメージ１０２６を形成する。表示パネル１００４のビーム転換光学素子１０２８は、アイイメージングカメラおよび軸上照明源が、それらを表示パネルの周囲に配置する代わりに、共通光軸Ａを共有できるようにする。

[0084] アイイメージングカメラ１０１２からのデジタルイメージデータは、コントローラ１００６内、またはコントローラがネットワークを介してアクセス可能なリモートコンピュータシステム内の、関連付けられた論理に伝送可能である。そこでイメージデータは、こうした特徴を、瞳中心、瞳輪郭、および／または、角膜からの１つまたは複数の反射グリント１０１６として解決するために、処理することができる。イメージデータ内のこうした特徴の位置は、特徴位置を視線軸Ｖに関係付けるモデル、たとえば多項式モデル内で、入力パラメータとして使用することができる。視線軸が右眼および左眼について決定される実施形態において、コントローラは、装着者の焦点を右視線軸および左視線軸の交差点として計算するように構成することも可能である。

[0085] 例示的なウェアラブル頭部装着表示システムは、見掛けの実世界深度および見掛けの実世界位置で、頭部装着表示システムの装着者によって知覚可能な拡張現実オブジェクトを表示するためのニアアイディスプレイと、装着者の視野（FOV）の関数として拡張現実オブジェクトの見掛けの実世界位置を調整するためのコントローラとを備え、関数は、拡張現実オブジェクトの境界領域、および、拡張現実オブジェクトの境界領域と装着者のＦＯＶとの間の１つまたは複数の重複パラメータに基づく。こうした例は、追加または代替として、境界領域が拡張現実オブジェクトの空間を定義することを含む。こうした例は、追加または代替として、空間が拡張現実オブジェクトのすべてを含むことを含む。こうした例は、追加または代替として、空間がすべてより少ない拡張現実オブジェクトを含むことを含む。こうした例は、追加または代替として、空間が、すべての拡張現実オブジェクトおよび拡張現実オブジェクトの周囲の追加の空間を含むことを含む。こうした例は、追加または代替として、１つまたは複数の重複パラメータが、コントローラがＦＯＶ内で維持するべき境界領域の量を定義することを含む。こうした例は、追加または代替として、ＦＯＶの変化がしきい値量よりも小さい場合、１つまたは複数の重複パラメータは境界領域と装着者のＦＯＶとの間の静止ターゲット重複値を含むことを含む。こうした例は、追加または代替として、ＦＯＶの変化がしきい値量よりも大きい場合、１つまたは複数の重複パラメータは境界領域と装着者のＦＯＶとの間の移動最小重複値を含むことを含む。こうした例は、追加または代替として、静止ターゲット重複値が移動最小重複値よりも大きいこと、および、コントローラが、ＦＯＶの変化がしきい値量よりも大きい場合に対して、ＦＯＶの変化がしきい値量よりも小さい場合、境界領域のより大きな割合を表示することを含む。こうした例は、追加または代替として、移動最小重複値がしきい値重複値よりも小さいこと、および、コントローラが、ＦＯＶの変化がしきい値量よりも大きい場合、拡張現実オブジェクトを表示しないことを含む。こうした例は、追加または代替として、コントローラが、装着者のＦＯＶに基づいて拡張現実オブジェクトの回転をさらに調整することを含む。こうした例は、追加または代替として、コントローラが、仮想ばね関数の１つまたは複数のばねパラメータに従って、拡張現実オブジェクトの見掛けの実世界位置を調整することを含む。こうした例は、追加または代替として、コントローラが、拡張現実オブジェクトがＦＯＶから外れた時、拡張現実オブジェクトの見掛けの実世界位置を調整することを含む。こうした例は、追加または代替として、コントローラが、装着者からの要求に応答して、拡張現実オブジェクトを固定された見掛けの実世界位置で維持することを含む。こうした例は、追加または代替として、装着者のＦＯＶがしきい値量よりも多く変化する場合、コントローラは、拡張現実オブジェクトをより小さな第１の見掛けの実世界サイズで表示し、装着者のＦＯＶがしきい値量よりも少なく変化する場合、コントローラは、拡張現実オブジェクトをより大きな第２の見掛けの実世界サイズで表示することを含む。こうした例は、追加または代替として、コントローラが、拡張現実オブジェクトの見掛けの実世界深度の範囲全体を通じて、拡張現実オブジェクトをＦＯＶの固定比率で維持することを含む。上記の例のいずれかまたはすべては、様々な実装において任意の好適な様式で組み合わせることができる。

[0086] ニアアイディスプレイについての例示的方法は、拡張現実オブジェクトの境界領域を定義すること、ターゲット重複量を境界領域とニアアイディスプレイの装着者の視野（FOV）との間で定義すること、最小重複量を境界領域とＦＯＶとの間で定義すること、ならびに、ＦＯＶが変化する場合、境界領域、ターゲット重複量、および最小重複量に従って、ニアアイディスプレイ上に拡張現実オブジェクトを表示することを含む。こうした例は、追加または代替として、仮想ばね関数の１つまたは複数のばねパラメータに従って、拡張現実オブジェクトを表示することをさらに含む。こうした例は、追加または代替として、装着者のＦＯＶに基づいて拡張現実オブジェクトの回転を調整することをさらに含む。上記の例のいずれかまたはすべては、様々な実装において任意の好適な様式で組み合わせることができる。

[0087] ウェアラブルな頭部装着表示システムのさらなる例は、見掛けの実世界深度および見掛けの実世界位置で、頭部装着表示システムの装着者によって知覚可能な拡張現実オブジェクトを表示するためのニアアイディスプレイと、装着者の視野（FOV）の関数として拡張現実オブジェクトの見掛けの実世界位置を調整するためのコントローラとを備え、関数は、拡張現実オブジェクトの境界領域、ＦＯＶの変化がしきい値量よりも小さい場合、境界領域と装着者のＦＯＶとの間のターゲット重複値、および、ＦＯＶの変化がしきい値量よりも大きい場合、境界領域と装着者のＦＯＶとの間の最小重複値に基づく。上記の例のいずれかまたはすべては、様々な実装において任意の好適な様式で組み合わせることができる。

[0088] 本明細書で説明する構成および／または手法は本来例示的なものであること、および、これらの特定の実施形態または例示は、多数の変形が可能であるため、限定的な意味であると見なされるべきでないことを、理解されよう。本明細書で説明する特定のルーチンまたは方法は、任意数の処理ストラテジーのうちの１つまたは複数を表すことができる。したがって、図示および／または説明する様々な動作は、図示および／または説明する順序で実行、他の順序で実行、並列に実行、または省略が可能である。同様に、前述のプロセスの順序は変更可能である。

[0089] 本開示の主題は、本明細書で説明する、様々なプロセス、システムおよび構成、ならびに他の特徴、機能、動作、および／または特性、ならびにそれらの任意およびすべての等価物の、すべての新規かつ非自明の組み合わせおよび下位組み合わせを含む。

Claims

ウェアラブルな頭部装着表示システムであって、
見掛けの実世界深度および見掛けの実世界位置で、前記頭部装着表示システムの装着者によって知覚可能な拡張現実オブジェクトを表示するためのニアアイディスプレイと、
前記装着者の視野（FOV）の関数として、前記拡張現実オブジェクトの前記見掛けの実世界位置を調整するためのコントローラとを備え、前記関数は、前記拡張現実オブジェクトの境界領域、および、前記拡張現実オブジェクトの前記境界領域と前記装着者の前記ＦＯＶとの間の１つまたは複数の重複パラメータに基づいており、
前記装着者の前記ＦＯＶがしきい値量よりも多く変化する場合、前記コントローラは、前記拡張現実オブジェクトをより小さな第１の見掛けの実世界サイズで表示し、
前記装着者の前記ＦＯＶが前記しきい値量よりも少なく変化する場合、前記コントローラは、前記拡張現実オブジェクトをより大きな第２の見掛けの実世界サイズで表示し、
前記拡張現実オブジェクトが、前記より小さな第１の見掛けの実世界サイズで表示される場合、前記装着者が前記拡張現実オブジェクトを閾値時間凝視することに応答して、前記コントローラは、前記拡張現実オブジェクトを元のサイズで表示する、表示システム。
前記境界領域は前記拡張現実オブジェクトの空間を定義する、請求項１に記載の表示システム。
前記空間は前記拡張現実オブジェクトのすべてを含む、請求項２に記載の表示システム。
前記空間はすべてより少ない前記拡張現実オブジェクトを含む、請求項２に記載の表示システム。
前記空間は、すべての前記拡張現実オブジェクトおよび前記拡張現実オブジェクトの周囲の追加の空間を含む、請求項２に記載の表示システム。
前記１つまたは複数の重複パラメータは、前記コントローラが前記ＦＯＶ内で維持するべき前記境界領域の量を定義する、請求項１に記載の表示システム。
前記１つまたは複数の重複パラメータは、前記ＦＯＶの変化がしきい値量よりも小さい場合の、前記境界領域と前記装着者の前記ＦＯＶとの間の静止ターゲット重複値を含み、前記ＦＯＶの変化が前記しきい値量よりも大きい場合の、前記境界領域と前記装着者の前記ＦＯＶとの間の移動最小重複値を含む、請求項６に記載の表示システム。
前記静止ターゲット重複値は前記移動最小重複値よりも大きく、前記コントローラは、前記ＦＯＶの変化が前記しきい値量よりも小さい場合、前記ＦＯＶの変化が前記しきい値量よりも大きい場合に対して、前記境界領域のより大きな割合を表示する、請求項７に記載の表示システム。
前記移動最小重複値はしきい値重複値よりも小さく、前記コントローラは、前記ＦＯＶの変化が前記しきい値量よりも大きい場合、前記拡張現実オブジェクトを表示しない、請求項７に記載の表示システム。
前記コントローラは、前記装着者の前記ＦＯＶに基づいて前記拡張現実オブジェクトの回転をさらに調整し、前記コントローラは、前記装着者からの要求に応答して、前記拡張現実オブジェクトを固定された見掛けの実世界位置で維持する、請求項１に記載の表示システム。
前記コントローラは、仮想ばね関数の１つまたは複数のばねパラメータに従って、前記拡張現実オブジェクトの前記見掛けの実世界位置を調整する、請求項１に記載の表示システム。
前記コントローラは、前記拡張現実オブジェクトが前記ＦＯＶから外れた時、前記拡張現実オブジェクトの前記見掛けの実世界位置を調整する、請求項１に記載の表示システム。
前記コントローラは、前記拡張現実オブジェクトの見掛けの実世界深度の範囲全体を通じて、前記拡張現実オブジェクトを前記ＦＯＶの固定比率で維持する、請求項１に記載の表示システム。
ニアアイディスプレイのための方法であって、
拡張現実オブジェクトの境界領域を定義すること、
ターゲット重複量を、前記境界領域と前記ニアアイディスプレイの装着者の視野（FOV）との間で定義すること、
最小重複量を、前記境界領域と前記ＦＯＶとの間で定義すること、および、
前記ＦＯＶが変化する場合、前記境界領域、ターゲット重複量、および最小重複量に従って、前記ニアアイディスプレイ上に前記拡張現実オブジェクトを表示すること、
前記装着者の前記ＦＯＶがしきい値量よりも多く変化する場合、前記拡張現実オブジェクトを表示することは、前記拡張現実オブジェクトをより小さな第１の見掛けの実世界サイズで表示することを含み、
前記装着者の前記ＦＯＶが前記しきい値量よりも少なく変化する場合、前記拡張現実オブジェクトを表示することは、前記拡張現実オブジェクトをより大きな第２の見掛けの実世界サイズで表示することを含み、
前記拡張現実オブジェクトが、前記より小さな第１の見掛けの実世界サイズで表示される場合、前記拡張現実オブジェクトを表示することは、前記装着者が前記拡張現実オブジェクトを閾値時間凝視することに応答して、前記拡張現実オブジェクトを元のサイズで表示することを含む、方法。