JP6931068B2 - 向上した拡張現実の体験のための、対になっているローカルユーザインターフェースとグローバルユーザインターフェース - Google Patents

Description

関連出願の相互参照
本出願は、２０１７年２月１０日に出願された、ＰＡＩＲＥＤ ＬＯＣＡＬ ＡＮＤ ＧＬＯＢＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ ＦＯＲ ＡＮ ＩＭＰＲＯＶＥＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＥＸＰＥＲＩＥＮＣＥと題する、米国特許出願第１５／４２９，７８１号の優先権を主張する。この文献は、これにより、すべての目的に関し、本明細書に全体が説明されているかのように、参照することによって組み込まれる。

拡張現実システムに関するユーザインターフェースのカテゴリの１つが、専用の光学ディスプレイデバイスによって生成された、視認可能なバーチャル画像によって形成されている。いくつかのケースでは、デバイスは、ユーザの頭部上か、頭部の周囲にマウントされる。他のケースでは、デバイスは、スマートフォンなどのハンドヘルドデバイスである場合がある。ユーザは通常、ポインティング、スワイプ、または、指、手、もしくは腕の他の制御された動きのようなジェスチャを行うことにより、ユーザインターフェースの１つまたは複数の画像要素と相互作用する。

この種類の現在の拡張現実システムは、通常、ユーザによって視認可能な単一のインターフェースを作り上げる、１つまたは複数のバーチャル画像を形成する。ヘッドマウントディスプレイデバイスのケースでは、システムのコントローラが、ディスプレイデバイスのピクセルを制御することにより、このことを達成する。ディスプレイデバイスを通して、ユーザは、外部の環境を観察する。ユーザインターフェースを形成する画像または複数の画像は、ユーザには、ディスプレイスクリーンを越えたある距離であるが、所望のように都合よく操作するには十分に近くに位置するように見える。現在のシステムは、通常、ユーザの身体の特定の部分の位置を追跡し、それに応じてユーザインターフェースを移動する、いくつかの手段をも採用しており、それにより、インターフェースは、その身体の部分に対して静止したままであるようになっている。これにより、ユーザ自身の位置の変化に関わらず、ユーザが都合よく、インターフェースを視認し、相互作用することが可能になる。多くのケースでは、追跡されるのはユーザの頭部の位置であり、それにより、頭部が傾けられたか回転された場合であっても、ユーザインターフェースが、ユーザの目にとって都合のよい方向、及び、ユーザの目から都合のよい距離に提供されるようになっている。いくつかの他のケースでは、ユーザのウエストの位置が追跡される場合があり、それにより、ユーザが、ある位置から別の位置に歩行する際に、ユーザインターフェースがそれに応じて移動し、ユーザに対して近接したままであるようになっている。

しかし、教育、ビジネス、または娯楽において、拡張現実のアプリケーションを予見することができる。ここでは、ユーザの位置の変化に関わらず、外部環境の物理的な対象または特徴に対して決まっているか静止した位置において、その環境内に位置する１つまたは複数のバーチャル画像で形成された第２のユーザインターフェースを提供することが有用である。関連する所望の特徴は、ユーザが画像を、画像がユーザに対して有効に結びつけられている、「ローカル」インターフェースと呼ばれる場合がある、第１の標準的なユーザインターフェースから、画像が外部の環境に対して有効に結びつけられている、第２の、または「グローバル」ユーザインターフェースにシフトさせること、または、逆の方向に、グローバルインターフェースからローカルインターフェースにシフトさせることを可能にする手段である。

現在利用可能である拡張現実システムでの、ユーザのジェスチャの追跡及び解析は、概して、深さ、形状、及びモーションの必要な情報を取得するために、赤外プロジェクタ及び赤外線カメラを使用することに依存している。これにより、これらシステムの使用の範囲が、非常に明るい光、または、自然の明るい屋外の環境よりむしろ、比較的低い周辺光の環境、通常は屋内に制限されている。そのようなシステムは、ＩＲ撮像を使用せずに重要な情報を収集できる場合、潜在的に著しく向上させることができ、システムを、屋外及び屋内で首尾良く使用することを可能にする。

したがって、屋内または屋外の環境において、広い範囲の周辺光レベルにわたって、ユーザが、都合良く、かつ、直感的に相互作用することができる、対になっているローカルユーザインターフェースとグローバルユーザインターフェースとをユーザに提供する、向上された拡張現実のシステム及び方法に関する要請が存在する。ユーザが、２つのインターフェース間で所望のように画像を移動することを可能にすることが望ましいが、ローカルインターフェースにおける画像のデフォルトの状態は、ユーザの身体または頭部に対して静止したままであり、グローバルインターフェースにおける画像のデフォルトの状態は、外部の物理的な環境に対して静止したままである。別の所望の特徴は、ユーザが、ローカルインターフェースとグローバルインターフェースとの一方または両方において、画像の形状、サイズ、または次元（２Ｄまたは３Ｄ）などの、視認可能な態様を容易に変更することを可能にすることである。

本発明の実施形態は、概して、外部環境内の移動が自由であるユーザの拡張現実の体験を向上させるための方法、システム、及びユーザインターフェースに関する。一実施形態では、本方法は、ローカルユーザインターフェースを形成し、ローカルユーザインターフェースをユーザに対し、第１の視認可能な領域内に表示することと、グローバルユーザインターフェースを形成し、グローバルユーザインターフェースをユーザに対し、第１の視認可能な領域よりもユーザから離れている、第２の視認可能な領域内に表示することと、を含んでいる。ローカルユーザインターフェースは、第１の空間的位置に維持されており、第１の空間的位置は、ユーザの身体の一部に対して静止しており、グローバルユーザインターフェースは、第２の空間的位置に維持されており、第２の空間的位置は、外部環境に対して静止している。

一態様では、ローカルユーザインターフェースは、第１のバーチャル画像要素を備え、ユーザが、第１のバーチャル画像要素を選択すること、及び、ジェスチャにより、外部環境内の所望の位置を示すことに応じて、対応する第２のバーチャル画像要素が、形成されるとともに、ユーザによって視認されるように、所望の位置において、グローバルユーザインターフェース内に表示される。

別の態様では、グローバルユーザインターフェースは、第１のバーチャル画像要素を備え、ユーザが、第１のバーチャル画像要素を選択すること、及び、ジェスチャにより、第１の視認可能な領域内の所望の位置を示すことに応じて、対応する第２のバーチャル画像要素が、形成されるとともに、ユーザによって視認されるように、所望の位置において、ローカルユーザインターフェース内に表示される。

一実施形態では、本システムは、ディスプレイと、このディスプレイに結合された少なくとも１つのプロセッサとを備えている。プロセッサまたは複数のプロセッサは、ローカルユーザインターフェースを形成することと、ローカルユーザインターフェースをユーザに、第１の視認可能な領域内に提供するように、ディスプレイを制御することと、グローバルユーザインターフェースを形成することと、グローバルユーザインターフェースをユーザに対し、第１の視認可能な領域よりもユーザから離れている、第２の視認可能な領域内に提供するように、ディスプレイを制御することと、ユーザの動きに応じて、ディスプレイを、ローカルユーザインターフェースを第１の空間的位置に維持することであって、第１の空間的位置が、ユーザの身体の一部に対して静止している、維持すること、及び、グローバルユーザインターフェースを、第２の空間的位置に維持することであって、第２の空間的位置が、外部環境に対して静止している、維持することを行うように、さらに制御することと、を行うように構成されている。

本明細書に開示の特定の実施形態の性質及び利点のさらなる理解は、本明細書及び添付の図面の、残りの部分を参照することによって実現され得る。

一実施形態に係る、拡張現実システムを示す図である。 一実施形態に係る、ローカルユーザインターフェース及びグローバルユーザインターフェースを示す図である。 一実施形態に係る、システムのヘッドマウントディスプレイを示す図である。 一実施形態に係る、拡張現実システムの概略ブロック図である。

本明細書に記載の実施形態は、ユーザが、迅速かつ直感的に、拡張現実システムと相互作用することを可能にする。これにより、ユーザの外部環境を、ローカルユーザインターフェース内、または、このローカルユーザインターフェースと対になっているグローバルユーザインターフェース内にある場合がある、バーチャル画像で補う。各実施形態は、概して、ローカルユーザインターフェースが、ユーザの身体の一部に対して静止したままであり、一方、グローバルユーザインターフェースが、外部の環境に対して静止したままであるような方法で、対になっているユーザインターフェースをユーザに提供することに関する。

本発明の実施形態によって対処される主要な課題は、現在の拡張現実システムのユーザが、概して、外部の環境の特徴に対し、空間内にバーチャル画像を配置することが不可能であることである。この理由は、提供された単一のユーザインターフェースが、ユーザに近いままであり、通常は、ユーザの身体の一部（通常は頭部）のモーションに追従するためである。したがって、すべてのバーチャル画像は、ユーザの身体とともに「移動」する。しかし、本発明は、ユーザが、ローカルインターフェース内の画像と都合良く相互作用することができるのみならず、ユーザの身体よりむしろ、外部環境の特徴に対して、係留されているか配置された他の画像と相互作用することもできるように、操作可能に結合された対になっているローカルユーザインターフェースとグローバルユーザインターフェースとを提供する。

図１は、本発明のいくつかの実施形態に係る、動作時の拡張現実システム１００を概略的に示している。プロセッサ１０４は、ディスプレイデバイス１０２に操作可能に（通常は、有線接続によって）接続されている。ディスプレイデバイス１０２は、ユーザ１０６の視線に位置する、眼鏡またはゴーグルの形態を取る場合がある。プロセッサ１０４は、バーチャルローカルユーザインターフェース１０８を形成し、ディスプレイデバイス１０２を制御して、そのインターフェースを、視認可能な領域１１０内に提供する。領域１１０は、ユーザ１０６の前方の、ユーザ１０６の近位に位置しており、それにより、ユーザ１０６は、ポインティング、ツイストなどのジェスチャにより、所望のように、インターフェース１０８の要素を容易に選択し、作動させることができるようになっている。いくつかの実施形態では、ジェスチャには、フリースペースのジェスチャよりむしろ、または、フリースペースのジェスチャに加え、ノブ、ジョイスティックなどの物理的デバイスの直接の操作が含まれる場合がある。いくつかの実施形態では、ユーザが凝視する方向は、ユーザインターフェースと相互作用するユーザの手段として、ジェスチャを観察及び解析する代わりに、（ユーザの顔に向けられたカメラを使用して）判定される場合がある。

プロセッサ１０４は、バーチャルグローバルユーザインターフェース１１２をも形成し、ディスプレイデバイス１０２を制御して、そのインターフェースを、視認可能な領域１１４内に提供する。領域１１４は、外部環境において、ユーザから、領域１１０よりも離れて位置している。この外部環境は、概して、現実の３次元の対象を含んでおり、ユーザによって認識されるように、いくつかは領域１１４の後方に置かれているが、他のものは、領域１１４の前方に置かれている。シンプルな立方体形状及び円柱形状が、便宜的に、家具、本、玩具などのアイテムなどの、無限の様々な現実世界の対象の任意のものを示すために、図に示されている。ユーザ１０６は、ローカルインターフェース１０８に関して上述した方法と同じ方法で、グローバルインターフェース１１２の要素と相互作用する場合がある。

プロセッサ１０４は、ユーザが位置を変更する間であっても、ローカルインターフェース１０８がユーザに対して静止したままであるように、ローカルインターフェース１０８の配置を制御する。このことは、ユーザの身体の一部、通常は頭部を追跡し、それに応じて、インターフェース１０８の位置を変更するようにディスプレイデバイスを制御することによって達成される。たとえば、ユーザが自身の頭部を右に向けると、インターフェース１０８は、マッチするように回転する。ユーザが自身の頭部を前方か後方に突き出すか、頭部を傾ける場合、インターフェース１０８は、それに応じて変位されるか傾けられる場合がある。いくつかの実施形態では、ユーザの頭部に関する６つすべての自由度（ｘ軸、ｙ軸、及びｚ軸に沿う自由度、ならびに、ヨー軸、ピッチ軸、及びロール軸周りの回転の自由度）が追跡され、それに応じて、ローカルインターフェースの位置及び方向を制御するために使用される場合がある。

いくつかの実施形態では、身体の別の部分が追跡される場合がある。たとえば、ユーザのウエストにセンサがある場合があり、プロセッサに追跡情報を提供し、それにより、ユーザ１０６が室内を歩くと、ローカルユーザインターフェース１０８も移動し、ユーザとペースを合わせ、また、ユーザに有効に「係留」されているようになっている。

ユーザ１０６の位置とローカルインターフェース１０８の位置とは、縦の破線Ａと縦の破線Ｂとによってそれぞれ概略的に図示されており、これら縦の破線間の傾いた破線は、これら位置の間の「係留された」関係を示している。上述のように、プロセッサ１０４は、ユーザを追跡するセンサ（図示せず）、及び、ディスプレイデバイス１０２と関連して作動して、２つの位置の間の距離を、決まった、所定の値に維持するとともに、必要に応じて、ヨー、ピッチ、及びロールの１つまたは複数を調整する。グローバルユーザインターフェース１１２の位置は、縦の破線Ｃによって図中に概略的に示されている。インターフェース１０８とインターフェース１１２との間、または、インターフェース１１２とユーザとの間に、位置的な「係留」は存在しないが、一対の曲線状の矢印によって示されるように、インターフェースの対の間には、強い機能的または動作的な関係が存在することに留意されたい。この関係は、以下により詳細に記載される。

図２は、本発明の拡張現実システムの実施形態によって生成及び操作される、バーチャルローカルユーザインターフェース２０８及びバーチャルグローバルユーザインターフェース２１４を概略的に示す図である。（視認可能な領域２１０における）ローカルユーザインターフェース２０８は、いくつかの異なる形状のバーチャル画像要素またはアイコン２１６で示されている。いくつかの実施形態では、２つ以上の画像要素２１６が、同じ形状及びサイズであるが、これら画像要素２１６を区別し、それらの個別の機能をユーザに知らせるために、いくつかの方法で、たとえば、文字通りのシンボルで、または色によってコードが付されている場合がある。図に示すケースでは、インターフェース２１４の１つの画像要素が星の形状であり、ユーザによるその画像要素の選択は、視認可能な領域２１２内の、グローバルユーザインターフェース２１４における、対応する星の形状の画像要素を生成する結果となる場合がある。グローバルインターフェース内の星の画像要素は、特定のサイズ、及び、色または表面パターンの２次元的なものとして示されるが、システムは、ユーザに、星の画像要素を３次元的にする、そのサイズ、色、不透明度などを変更するなどの、多くのオプションを与える場合がある。

オプションの別のセットにより、ユーザが、グローバルインターフェース２１４に形成された画像要素のモーションの態様を制御することを可能にする場合がある。たとえば、星の画像要素は、視認可能な領域２１０内の実際の物理的対象の周りで動いて、部分的または全体的に対象の後方に消え、次いで、ふたたび現れるか、対象から「跳ね返る」か、対象と衝突すると粉々に割れるように見えるようにされる場合がある。多くの他の関連するオプションが、容易に予見され得る。

これら視覚的効果は、ユーザと、ローカルインターフェース２０８の要素との間のジェスチャの相互作用、または、ユーザとグローバルインターフェース２１４との間のジェスチャの相互作用によって開始される場合がある。ジェスチャは、ディスプレイデバイスに取り付けられた２つ以上のカメラによって取得された、リアル画像上で行われる画像処理によって検出される。ユーザが、仮想現実システムを通して音楽を聴いているか、音響効果で没入型のゲームをプレイしている、いくつかの用途では、音源のボリューム、ピッチ、または明らかな位置などの音声の特性も、ユーザのジェスチャによって調整または制御される場合がある。

いくつかの実施形態では、視認可能な領域２１２内の画像の表現及びモーション、及び／または、これら画像に関連する音声の態様は、ユーザからの直接の入力を必要とすることなく、プロセッサによって自動的に制御される場合がある。これら画像に関する音響効果も、自動的に制御される場合がある。

視認可能な領域２１０内の実際の対象の位置は、１つまたは複数のカメラを使用して判定される場合がある。２つの横方向にオフセットしたカメラを使用することにより、深さを判定するための、人間の視覚システムによって使用される視差と基本的に同じ原理を使用して、ユーザの位置からの、対象の３次元的な位置を、非常に好都合に、リアルタイムで判定することが可能になる。このことは、各判定に関し、時間的に連続して起こる２つの画像の取得の必要性を避けることから、単一のカメラが深度情報を提供する実施形態には好ましい。

いくつかの実施形態では、グローバルユーザインターフェース２１４内の画像要素と相互作用するユーザのジェスチャは、カメラによって検出され、また、画像処理によって解析される場合があり、対応する画像要素を、ローカルインターフェース２０８内に生成させる。この（逆のプロセスよりむしろ、または逆のプロセスとともに、ローカルインターフェースに効果を生じさせるグローバルインターフェースの動作の）可能性は、図中に両頭矢印によって示されており、一実施例では、インターフェース２１４における星の画像要素の選択が、インターフェース２０８内の対応する星の画像要素を生成する結果となる場合があることを示している。画像要素が、２次元の形態か３次元の形態で形成される場合があり、また、対になっているローカルインターフェースとグローバルインターフェースとのいずれかにおいて、一方から他方に変化する場合がある。

グローバルインターフェース内で生成された画像要素が３次元的であるいくつかのケースでは、ユーザが位置及び向きを変更した場合、ユーザ上の、追跡センサによって提供されるデータは、システムのプロセッサまたは複数のプロセッサによって分析される場合があり、また、それに応じて、グローバルインターフェース内で画像要素によって表示される、仮想的な対象の異なる視野を生成するために、ディスプレイデバイスを制御するために使用される場合がある。たとえば、画像要素が最初に、前面がユーザによって完全に視認可能であるプレイングカードとしてユーザによって読み取られた場合、ユーザは、自身の頭部の向きを変え、カードは、外部環境における任意の決まった対象に対する、その最初の位置にあるままであるように見えるが、カードの縁部、またはその背面が見える場合がある。

グローバルインターフェースに生成された画像要素が３次元であり、その位置及び／または向きを変更する他のケースでは、それに応じて異なっている第２の画像要素の特徴が、ユーザによって認識される。位置及び／または方向の変化は、グローバルユーザインターフェースと相互作用するユーザによる制御、または、ユーザのための拡張現実の体験を実行しているソフトウェアによる制御に応じて生じる場合がある。ユーザによる制御のケースでは、相互作用は、通常はジェスチャであり、その画像は、カメラによって取得され、画像処理によって解析され、また、それに応じて、ディスプレイデバイスを制御するために使用される。

図３は、ディスプレイスクリーン３２０及びカメラ３２２を含む、ヘッドマウントディスプレイデバイス３０２を概略的に示す図である。いくつかの特に望ましい実施形態では、ディスプレイスクリーン３２０は、有機発光ダイオード（ＯＬＥＤ）の技術を使用する。この技術は、有機ＬＥＤからの光を収束及びガイドするための、導波管の光学的特性、及び／または、バルク光学要素を含んでいる。他の実施形態では、他のタイプの光源及び光学的特性が使用される場合がある。頭部の位置センサ３２４及び頭部の方向センサ３２６は、ディスプレイデバイス３０２に組み込まれて示されているが、いくつかの実施形態では、これらの一方または両方は、ユーザによって着用された他のサポートの上に別に取り付けられている場合がある。

図４は、拡張現実システム４００の概略ブロック図である。システム４００は、センサユニット４０２を含んでいる。次に、このセンサユニット４０２は、２つの外側に向いたカメラ（上述のように、３次元の対象の位置をリアルタイムで判定することを可能にする）と、ＧＰＳ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、または他の良好に確立された技術に依存する場合がある、位置判定センサと、ジャイロスコープ、加速度計、または磁気センサなどの方向判定センサと、任意選択的には、（たとえば、ボイスコマンドのための）マイクまたはバイオセンサなどの１つまたは複数の他のセンサとを備えている。内側に向いたカメラは、凝視する方向の判定のために使用される場合がある。いくつかの実施形態では、外向きのカメラなどの、これらセンサの小さいサブセットと、１つの頭部の位置決めセンサとが、センサユニット４０２には十分である場合がある。

センサシステム４００は、制御ユニット４０４をも含む。この制御ユニット４０４は、センサユニット４０２、メモリシステム４０５、及びディスプレイデバイス４０６に操作可能に接続された１つまたは複数のプロセッサを備えている。制御ユニット４０４内のプロセッサまたは複数のプロセッサは、メモリシステム４０５、ネットワークシステム４０８、及び入力インターフェース４１０（電源ボタン、輝度制御ノブなどのシンプルなハードウェアデバイス）からの命令及びデータと関連して動作して、センサユニット４０２から収集された情報を、ユニット４０４の出力制御システムによって使用可能であるデータに変換する。このデータは、次いで、ディスプレイ４０６に供給されて、本発明の、対になっているローカルユーザインターフェースとグローバルユーザインターフェースとを生成する。いくつかのデータも、スピーカなどの補助デバイスに供給される場合があり、また、いくつかは、実行される特定のアプリケーションに従って、ネットワークシステム４０８に提供される場合がある。

本明細書に記載の実施形態は、拡張現実システムのユーザに、様々な利益を提供する。具体的には、各実施形態は、外部環境をバーチャル画像で補うことにより、ユーザが、直感的かつ好都合に、リアルタイムでシステムと相互作用することを可能にする。バーチャル画像は、ローカルユーザインターフェース内か、このローカルユーザインターフェースと対になっているグローバルユーザインターフェース内にある場合があり、それにより、グローバルユーザインターフェースが外部環境内の対象に対して静止したままである一方、ローカルユーザインターフェースが、ユーザの身体の一部に対して、静止したままとなるようになっている。これら利点は、様々なゲーミング、教育、及び商業またはビジネスのアプリケーションのいずれかでのユーザの関与に関わり、維持することにおいて、特に価値がある場合がある。

詳細な説明が、この説明の特定の実施形態に関して記載されてきたが、これら特定の実施形態は、単に説明的ものであり、限定的ものではない。

Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブリ言語などを含み、任意の適切なプログラミング言語を、特定の実施形態のルーチンを実施するために使用することができる。手続型、または、オブジェクト指向型など、様々なプログラミング技術が採用され得る。ルーチンは、単一の処理デバイスまたは複数のプロセッサで実行することができる。ステップ、操作、または計算が、特定の順番で提供される場合があるが、この順番は、異なる特定の実施形態においては、変更される場合がある。いくつかの特定の実施形態では、本明細書では連続するものとして示される複数のステップを、同時に実施することができる。

特定の実施形態は、命令実行システム、装置、システム、またはデバイスによる使用のために、または関連して、コンピュータ可読貯蔵媒体内で実施される場合がある。特定の実施形態は、ソフトウェアもしくはハードウェア、または、ソフトウェアとハードウェアとの両方の組合せで、制御ロジックの形態で実施することができる。制御ロジックは、１つまたは複数のプロセッサによって実行される場合、特定の実施形態に記載されるものを実施するように、操作可能である場合がある。たとえば、ハードウェア貯蔵デバイスなどの有形的媒体は、実行可能な命令を含むことができる、制御ロジックを貯蔵するために使用することができる。

特定の実施形態は、プログラムされた多目的デジタルコンピュータを使用すること、特定用途の集積回路、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイを使用することによって実施される場合があり、光学的、化学的、生物学的、量子的、またはナノ技術のシステム、構成要素、及び機構が使用され得る。概して、特定の実施形態の機能は、当該技術で既知であるような任意の手段によって達成することができる。分配された、ネットワーク化されたシステム、構成要素、及び／または回路を使用することができる。データの通信、または移送は、有線であるか、無線であるか、任意の他の手段によるものである場合がある。

図面／図に示された１つまたは複数の要素を、さらに分けられたか、統合された方式でも実施することができるか、特定のアプリケーションに応じて、有用であるように、特定のケースでは、除去されるか、実施できないものとさえされることをも理解されたい。コンピュータが、上述の方法のいずれかを実施することを可能にするように、機械読取り可能な媒体に貯蔵できるプログラムまたはコードを実施することも、精神及び範囲内にある。

「プロセッサ（ｐｒｏｃｅｓｓｏｒ）」は、データ、信号、または他の情報を処理する、任意の適切なハードウェア及び／またはソフトウェアシステム、機構、または構成要素を含んでいる。プロセッサには、多目的中央処理ユニット、複数処理ユニット、機能を達成するための専用の回路を有するシステム、または他のシステムを含むことができる。処理は、ある地理的位置に限定されるか、時間的に制限される必要はない。たとえば、プロセッサは、「リアルタイム」、「オフライン」、「バッチモード」などで、その機能を実施することができる。処理の一部は、異なる（または同じ）処理システムにより、異なる時点で、また、異なる位置で、実施することができる。処理システムの実施例は、サーバ、クライアント、エンドユーザデバイス、ルータ、スイッチ、ネットワーク化されたストレージなどを含むことができる。コンピュータは、メモリと通信している任意のプロセッサである場合がある。メモリは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、磁気もしくは光学ディスク、または、プロセッサによって実行するための命令を貯蔵するために適切な他の有形的媒体などの、任意の適切なプロセッサ読取り可能な貯蔵媒体である場合がある。

本明細書の記載内、及び、添付の特許請求の範囲を通して使用される場合、「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈によって明確に別様に指示されていない限り、複数の参照を含んでいる。さらに、本明細書の記載内、及び、添付の特許請求の範囲を通して使用される場合、「ｉｎ（内）」の意味は、文脈によって明確に別様に指示されていない限り、「ｉｎ（内）」及び「ｏｎ（上）」を含んでいる。

このため、本明細書に特定の実施形態が記載されてきたが、修正、様々な変更、及び代用の許容範囲は、前述の開示内にあるものと意図されており、また、いくつかの例では、特定の実施形態のいくつかの特徴が、説明されている範囲及び精神から逸脱することなく、他の特徴をそれに応じて使用することなく、採用されることを理解されたい。したがって、多くの変更が、特定の状況または材料を基本的な範囲及び精神に適用するために、行われる場合がある。

Claims (19)

1. 外部環境内の移動が自由であるユーザの拡張現実の体験の向上方法であって、
   ローカルユーザインターフェースを形成し、前記ローカルユーザインターフェースを前記ユーザに対し、第１の視認可能な領域内に表示することと、
   グローバルユーザインターフェースを形成し、前記グローバルユーザインターフェースを前記ユーザに対し、第２の視認可能な領域内に表示することと、を含み、ここで、前記第２の視認可能な領域はユーザにとって前記第１の視認可能な領域とは異なる深さに位置し、前記グローバルユーザインターフェースは前記ローカルユーザインターフェースよりも前記ユーザから離れており、
   前記ローカルユーザインターフェースが、第１の空間的位置に維持されており、前記第１の空間的位置が、前記ユーザの身体の一部に対して静止しており、
   前記グローバルユーザインターフェースが、第２の空間的位置に維持されており、前記第２の空間的位置が、前記外部環境に対して静止しており、
   さらに、前記グローバルユーザインターフェースに、前記ローカルユーザインターフェースにおける対象に対応する仮想的な対象を生成することと、
   前記グローバルユーザインターフェースの前記仮想的な対象が移動するように現れ、又は、前記グローバルユーザインターフェースの前記第２の視認可能な領域内に示される１又は２以上の物理的な対象と相互作用するように、前記グローバルユーザインターフェースの前記仮想的な対象のモーションの態様を前記ユーザに制御可能にすること、
   を含む、前記方法。
2. 前記ローカルユーザインターフェースが、第１のバーチャル画像要素を備え、前記ユーザが、前記第１のバーチャル画像要素を選択すること、及び、ジェスチャにより前記外部環境内の所望の位置を示すことに応じて、対応する第２のバーチャル画像要素が、形成されるとともに、前記ユーザによって視認されるように、前記所望の位置において、前記グローバルユーザインターフェース内に表示される、請求項１に記載の方法。
3. 前記グローバルユーザインターフェースが、第１のバーチャル画像要素を備え、前記ユーザが、前記第１のバーチャル画像要素を選択すること、及び、ジェスチャにより、前記第１の視認可能な領域内の所望の位置を示すことに応じて、対応する第２のバーチャル画像要素が、形成されるとともに、前記ユーザによって視認されるように、前記所望の位置において、前記ローカルユーザインターフェース内に表示される、請求項１に記載の方法。
4. 前記第２のバーチャル画像要素が３次元的であり、それにより、前記ユーザが位置及び方向を変更した場合、それに応じて、前記第２のバーチャル画像要素の異なる特徴が、前記ユーザによって認識される、請求項２に記載の方法。
5. 前記第２のバーチャル画像要素が３次元的であり、それにより、前記第２のバーチャル画像要素が、前記グローバルユーザインターフェースと相互作用する前記ユーザによる制御、または、前記拡張現実の体験を実行するソフトウェアによる制御に応じて、位置及び方向を変更した場合、それに応じて、前記第２のバーチャル画像要素の異なる特徴が、前記ユーザによって認識される、請求項２に記載の方法。
6. 前記第２のバーチャル画像要素が、前記ユーザにより、不透明であるものと認識される、請求項２に記載の方法。
7. 前記第２のバーチャル画像要素が、前記ユーザによる意図的なジェスチャに応じて前記外部環境内で移動し、前記グローバルユーザインターフェースと相互作用する、請求項２に記載の方法。
8. 前記ローカルユーザインターフェースを前記表示すること、及び、前記グローバルユーザインターフェースを前記表示することが、前記ユーザによって着用された、光学的ヘッドマウントディスプレイデバイスを使用して実施される、請求項１に記載の方法。
9. 前記光学的ヘッドマウントディスプレイデバイスが、
   ＯＬＥＤディスプレイと、
   頭部の位置センサと、
   頭部の方向センサと、
   前記ユーザから外に向けられた第１のカメラ及び第２のカメラと、を備え、
   前記第１のカメラ及び前記第２のカメラが、電磁スペクトルの可視領域で画像を取得する、請求項８に記載の方法。
10. 前記外部環境における、前記ユーザによって視認される現実の対象の、前記ユーザからの距離が、前記第１のカメラ及び前記第２のカメラによって取得された画像の画像処理によって判定される、請求項９に記載の方法。
11. 前記光学的ヘッドマウントディスプレイデバイスが、前記ユーザに向けられた第３のカメラをさらに備え、前記第３のカメラが、前記電磁スペクトルの前記可視領域において、前記ユーザの眼球の画像を取得する、請求項９に記載の方法。
12. 外部環境内の移動が自由であるユーザの拡張現実の体験を向上させるためのシステムであって、
    ディスプレイデバイスと、
    前記ディスプレイデバイスに結合された、少なくとも１つのプロセッサと、を備え、
    前記少なくとも１つのプロセッサは、
    ローカルユーザインターフェースを形成することと、
    前記ローカルユーザインターフェースを前記ユーザに、第１の視認可能な領域内に提供するように前記ディスプレイデバイスを制御することと、
    グローバルユーザインターフェースを形成することと、
    前記グローバルユーザインターフェースを前記ユーザに対し、第２の視認可能な領域内に提供するように、前記ディスプレイデバイスを制御することと、ここで、前記第２の視認可能な領域はユーザにとって前記第１の視認可能な領域とは異なる深さに位置し、前記グローバルユーザインターフェースは前記ローカルユーザインターフェースよりも前記ユーザから離れており、
    前記ユーザの動きに応じて、前記ディスプレイデバイスを、
    前記ローカルユーザインターフェースを第１の空間的位置に維持することであって、前記第１の空間的位置が、前記ユーザの身体の一部に対して静止している、前記維持し、
    前記グローバルユーザインターフェースを、第２の空間的位置に維持することであって、前記第２の空間的位置が、前記外部環境に対して静止している、前記維持し、
    前記グローバルユーザインターフェースに、前記ローカルユーザインターフェースにおける対象に対応する仮想的な対象を生成し、
    前記グローバルユーザインターフェースの前記仮想的な対象が移動するように現れ、又は、前記グローバルユーザインターフェースの前記第２の視認可能な領域内に示される１又は２以上の物理的な対象と相互作用するように、前記グローバルユーザインターフェースの前記仮想的な対象のモーションの態様を前記ユーザに制御可能にする、
    よう制御を行うように構成された、前記システム。
13. 前記ローカルユーザインターフェースが、第１のバーチャル画像要素を備え、前記ユーザが、前記第１のバーチャル画像要素を選択すること、及び、ジェスチャにより、前記外部環境内の所望の位置を示すことに応じて、対応する第２のバーチャル画像要素が、形成されるとともに、前記ユーザによって視認されるように、前記所望の位置において、前記グローバルユーザインターフェース内に表示される、請求項１２に記載のシステム。
14. 前記グローバルユーザインターフェースが、第１のバーチャル画像要素を備え、前記ユーザが、前記第１のバーチャル画像要素を選択すること、及び、ジェスチャにより、前記第１の視認可能な領域内の所望の位置を示すことに応じて、対応する第２のバーチャル画像要素が、形成されるとともに、前記ユーザによって視認されるように、前記所望の位置において、前記ローカルユーザインターフェース内に表示される、請求項１２に記載のシステム。
15. 前記ローカルユーザインターフェースを前記表示すること、及び、前記グローバルユーザインターフェースを前記表示することが、前記ユーザによって着用された、光学的ヘッドマウントディスプレイデバイスを使用して実施され、前記光学的ヘッドマウントディスプレイデバイスが、
    ＯＬＥＤディスプレイと、
    頭部の位置センサと、
    頭部の方向センサと、
    前記ユーザから外に向けられた第１のカメラ及び第２のカメラと、を備え、
    前記第１のカメラ及び前記第２のカメラが、電磁スペクトルの可視領域で画像を取得する、請求項１２に記載のシステム。
16. 外部環境内の移動が自由であるユーザの拡張現実の体験を向上させるための、１つまたは複数のプロセッサによって実行可能である１つまたは複数の命令を含む非一時的なコンピュータ可読貯蔵デバイスであって、前記１つまたは複数の命令が、実行される場合、
    ローカルユーザインターフェースを形成し、前記ローカルユーザインターフェースを前記ユーザに対し、第１の視認可能な領域内に表示することと、
    グローバルユーザインターフェースを形成し、前記グローバルユーザインターフェースを前記ユーザに対し、第２の視認可能な領域内に表示することと、ここで、前記第２の視認可能な領域はユーザにとって前記第１の視認可能な領域とは異なる深さに位置し、前記グローバルユーザインターフェースは前記ローカルユーザインターフェースよりも前記ユーザから離れており、
    前記ローカルユーザインターフェースが、第１の空間的位置に維持されており、前記第１の空間的位置が、前記ユーザの身体の一部に対して静止しており、前記グローバルユーザインターフェースが、第２の空間的位置に維持されており、前記第２の空間的位置が、前記外部環境に対して静止しており、
    前記グローバルユーザインターフェースに、前記ローカルユーザインターフェースにおける対象に対応する仮想的な対象を生成することと、
    前記グローバルユーザインターフェースの前記仮想的な対象が移動するように現れ、又は、前記グローバルユーザインターフェースの前記第２の視認可能な領域内に示される１又は２以上の物理的な対象と相互作用するように、前記グローバルユーザインターフェースの前記仮想的な対象のモーションの態様を前記ユーザに制御可能にすることと、
    を実施するように操作可能である、前記非一時的なコンピュータ可読貯蔵デバイス。
17. 前記ローカルユーザインターフェースが、第１のバーチャル画像要素を備え、前記ユーザが、前記第１のバーチャル画像要素を選択すること、及び、ジェスチャにより、前記外部環境内の所望の位置を示すことに応じて、対応する第２のバーチャル画像要素が、形成されるとともに、前記ユーザによって視認されるように、前記所望の位置において、前記グローバルユーザインターフェース内に表示され、
    前記グローバルユーザインターフェースが、第１のバーチャル画像要素を備え、前記ユーザが、前記第１のバーチャル画像要素を選択すること、及び、ジェスチャにより、前記第１の視認可能な領域内の所望の位置を示すことに応じて、対応する第２のバーチャル画像要素が、形成されるとともに、前記ユーザによって視認されるように、前記所望の位置において、前記ローカルユーザインターフェース内に表示される、請求項１６に記載の非一時的なコンピュータ可読貯蔵デバイス。
18. 前記ローカルユーザインターフェースを前記表示すること、及び、前記グローバルユーザインターフェースを前記表示することが、前記ユーザによって着用された、光学的ヘッドマウントディスプレイデバイスを使用して実施され、前記光学的ヘッドマウントディスプレイデバイスが、
    ＯＬＥＤディスプレイと、
    頭部の位置センサと、
    頭部の方向センサと、
    前記ユーザから外に向けられた第１のカメラ及び第２のカメラと、を備え、
    前記第１のカメラ及び前記第２のカメラが、電磁スペクトルの可視領域で画像を取得する、請求項１６に記載の非一時的なコンピュータ可読貯蔵デバイス。
19. ローカルユーザインターフェース及びグローバルユーザインターフェースを形成するための手段と、
    前記ローカルユーザインターフェースを、第１の視認可能な領域内において、外部環境内の移動の自由を有するユーザに対して表示するための手段と、
    前記グローバルユーザインターフェースを前記ユーザに対し、第２の視認可能な領域内に表示するための手段と、ここで、前記第２の視認可能な領域はユーザにとって前記第１の視認可能な領域とは異なる深さに位置し、前記グローバルユーザインターフェースは前記ローカルユーザインターフェースよりも前記ユーザから離れており、前記ローカルユーザインターフェースが、第１の空間的位置に維持されており、前記第１の空間的位置が、前記ユーザの身体の一部に対して静止しており、前記グローバルユーザインターフェースが、第２の空間的位置に維持されており、前記第２の空間的位置が、前記外部環境に対して静止しており、
    前記グローバルユーザインターフェースに、前記ローカルユーザインターフェースにおける対象に対応する仮想的な対象を生成する手段と、
    前記グローバルユーザインターフェースの前記仮想的な対象が移動するように現れ、又は、前記グローバルユーザインターフェースの前記第２の視認可能な領域内に示される１又は２以上の物理的な対象と相互作用するように、前記グローバルユーザインターフェースの前記仮想的な対象のモーションの態様を前記ユーザに制御可能にする手段と、
    を備えた装置。

Images