JP6246829B2 - ヘッドマウントディスプレイのリソース管理 - Google Patents

Description

本発明は、ヘッドマウントディスプレイのリソース管理に関する。

ヘッドマウントディスプレイデバイスといった拡張現実デバイスは、種々の形態の入力データを生成する複数のセンサを含み得る。それぞれのセンサは、入力データのキャプチャおよび処理において電力を消費する。そうしたセンサは、例えば、マイクロフォン、画像センサ、深度カメラ、視標追跡センサ、および、位置センサを含んでよい。これらのセンサの連続的なオペレーションは、著しい量の電力を消費し、潜在的にヘッドマウントディスプレイデバイスのバッテリー寿命を低減することがある。加えて、いくつかの例において、一つまたはそれ以上のセンサからのデータはネットワークにわたり送信され得る。そうした入力データの連続的な送信は、また、ネットワークリソースと同様に、著しい量の電力を消費し得る。

許容可能なバッテリー寿命に加えて、拡張現実デバイスのユーザは、また、首尾一貫した、高品質の拡張現実体験を望んでいる。

一つまたはそれ以上のセンサの電源オフ又は配送される電力を削減することは、電力消費及び/又はネットワークデマンドを低減することができるが、一方、そうした電力変動は、また、拡張現実デバイスによって提供される拡張現実体験の質を低下させることもある。

上記の問題を解決するために、ヘッドマウントディスプレイデバイスを含むリソース管理システムおよび関連する方法が提供される。一つの実施例において、ヘッドマウントディスプレイデバイスは、ユーザによって装着されるように構成されており、かつ、動作可能にコンピューティングデバイスに対して接続されている。ヘッドマウントディスプレイデバイスは、また、複数のセンサとホログラフィックオブジェクトを表示するためのディスプレイシステムを含んでいる。

リソース管理システムは、さらに、コンピューティングデバイスのプロセッサによって実行されるリソース管理プログラムを含んでいる。リソース管理プログラムは、選択されたレベルのセンサフィデリティ（ｆｉｄｅｌｉｔｙ）を達成するために、複数のセンサのうち選択されたセンサがデフォルト電力モードで動作するように構成されている。リソース管理プログラムは、また、一つまたはそれ以上のセンサからユーザ関連情報を受け取るように構成されている。ユーザ関連情報は、オーディオ情報、ユーザ注視情報、ユーザ位置情報、ユーザ動作情報、ユーザ画像情報、および、ユーザの生理学上の情報からなるグループから選択されたものである。

リソース管理プログラムは、さらに、ターゲット情報がユーザ関連情報において検出されたか否かを判断するように構成されている。ターゲット情報が検出された場合、リソース管理プログラムは、選択されたセンサが、デフォルト電力モードよりも少ない電力を使用する低減電力モードにおいて動作するように調整するように構成されている。それにより、低減されたレベルのセンサフィデリティを達成している。

この概要は、以降の詳細な説明においてさらに説明されるコンセプトから選択したものを簡素化された形態において紹介するために提供されている。この概要は、特許請求される技術的事項の主要な特徴または必須の機能を特定することを意図するものではなく、特許請求される技術的事項の範囲を限定するために使用されることを意図するものでもない。さらに、特許請求される技術的事項は、本発明開示のあらゆる部分において示されるいかなる又は全ての欠点を解決する実施について限定されるものではない。

図１は、本発明開示の一つの実施例に従った、リソース管理システムの模式図である。 図２は、本発明開示の一つの実施例に従った、ヘッドマウントディスプレイデバイスの一つの例を示している。 図３は、物理的環境において、図２のヘッドマウントディスプレイデバイスを使用している２人のユーザ、および、本発明開示の一つの実施例に従った、図１のリソース管理システムの模式図である。 図４Ａは、本発明開示の一つの実施例に従って、ヘッドマウントディスプレイデバイスにおいてリソースを管理するための方法に係るフローチャートである。 図４Ｂは、本発明開示の一つの実施例に従って、ヘッドマウントディスプレイデバイスにおいてリソースを管理するための方法に係るフローチャートである。 図４Ｃは、本発明開示の一つの実施例に従って、ヘッドマウントディスプレイデバイスにおいてリソースを管理するための方法に係るフローチャートである。 図５は、コンピューティングシステムの一つの実施例の簡素化された模式図である。

図１は、ヘッドマウントディスプレイ（ＨＭＤ）システムにおけるリソースを管理するためのリソース管理システム１０に係る一つの実施例の模式図である。リソース管理システム１０は、コンピューティングデバイス２２のマスストレージ１８に保管され得るリソース管理プログラム１４を含んでいる。リソース管理プログラム１４は、メモリ２６の中にロードされ、コンピューティングデバイス２２のプロセッサ３０によって実行されて、以下により詳細に説明される方法及びプロセスのうち一つまたはそれ以上を実行し得る。コンピューティングデバイス２２は、さらに、電源３２を含んでよい。コンピューティングデバイスのコンポーネントに対して電力を供給するためのバッテリーといったものである。

一つの実施例において、リソース管理システム１０は、コンピューティングデバイス２２のマスストレージ１８に保管され得る拡張現実ディスプレイプログラム２８を含んでいる。拡張現実ディスプレイプログラム２８は、第１のＨＭＤデバイス３４といった、ディスプレイデバイス上における表示のための仮想環境３６を生成し得る。仮想環境３６は、ホログラフィックオブジェクトといった、一つまたはそれ以上の仮想オブジェクトを含み得る。いくつかの実施例においては、仮想環境３６が生成され、インタラクティブビデオゲーム、モーションピクチャ体験、または、他の好適な電子的ゲームまたは体験に係る形態において拡張現実体験を提供し得る。別の実施例においては、拡張現実ディスプレイプログラム２８及び/又はリソース管理プログラム１４が、離れて保管され、ネットワーク３８といった、コンピューティングデバイスが動作可能に接続されているネットワークをわたり、コンピューティングデバイス２２によってアクセスされ得る。

コンピューティングデバイス２２は、以下の形態であってもよい。デスクトップコンピューティングデバイス、スマートフォンといったモバイルコンピューティングデバイス、ラップトップ、ノートブック、タブレットコンピュータ、ネットワークコンピュータ、ホームエンターテイメントコンピュータ、インタラクティブテレビ、ゲームシステム、または、他の好適なタイプのコンピューティングデバイス、である。コンピューティングデバイス２２に係るコンポーネントおよびコンピューティング態様に関する追加的な詳細は、図５に示されるコンピューティングシステムを参照して以下により詳細に説明される。

コンピューティングデバイス２２は、第１のＨＭＤデバイス３４と、有線接続を使用して動作可能に接続され得る。もしくは、ＷｉＦｉ、ブルートゥース（登録商標）、または、他のあらゆる好適な無線通信プロトコルを介した無線接続を使用してもよい。加えて、図１に示される実施例は、第１のＨＭＤデバイス３４とは別個のコンポーネントとしてコンピューティングデバイス２２を示している。他の実施例においては、コンピューティングデバイス２２が第１のＨＭＤデバイス３４の中に統合され得ることが、正しく理解されよう。

コンピューティングデバイス２２は、また、ネットワーク３８を介して、一つまたはそれ以上の追加デバイスと動作可能に接続され得る。一つの実施例において、コンピューティングデバイス２２は、ネットワーク３８を介して、第２のＨＭＤデバイス４２と通信することができる。ネットワーク３８は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、有線ネットワーク、無線ネットワーク、パーソナルエリアネットワーク、または、これらの組合せの形態であってよく、インターネットを含んでよい。

ここで図２に関しては、また、透明ディスプレイ５０を用いたウエアラブルメガネの形態において、ＨＭＤデバイス２００が提供される。他の実施例において、ＨＭＤデバイス２００は、観察者の眼の前に透明、半透明、または、不透明なディスプレイが支持されている他の好適な形態であってよいことが正しく理解されよう。図１に示されるＨＭＤデバイス３４は、以下により詳細に説明されるようなＨＭＤデバイス２００、または、他のあらゆる好適なＨＭＤデバイスの形態であってよいことも、正しく理解されよう。加えて、種々のフォームファクタを有するディスプレイデバイスに係る他の多くのタイプおよび構成も使用され得る。例えば、拡張現実体験を提供するハンドヘルドディスプレイデバイスが、使用されてもよい。

図１と図２を参照すると、この実施例において、第１のＨＭＤデバイス３４は、ディスプレイシステム４６、および、画像がユーザの眼に対して配送されるようにする透明ディスプレイ５０を含んでいる。透明ディスプレイ５０は、透明ディスプレイを通じて物理的環境を観察しているユーザに対して、物理的環境の外観を視覚的に拡張するように構成され得る。例えば、物理的環境の外観は、透明ディスプレイ５０を介して表示されるグラフィカルコンテンツ（それぞれが色と輝度を有している一つまたはそれ以上のそれぞれのピクセル）によって拡張され得る。

透明ディスプレイ５０は、また、仮想オブジェクト表現を表示している一つまたはそれ以上の透明ピクセルを通じて、ユーザが、物理的な、実世界のオブジェクトを観察できるように構成されてもよい。一つの実施例において、透明ディスプレイ５０は、レンズ２０４の中に配置された画像生成エレメントを含み得る（例えば、シースルーの有機発光ダイオード（ＯＬＥＤ）ディスプレイ、といったもの）。別の実施例として、透明ディスプレイ５０は、レンズ２０４の端に光変調器を含み得る。この実施例において、レンズ２０４は、光変調器からユーザの眼まで光を伝送する光ガイドとして役に立つ。そうした光ガイドによって、ユーザは、ユーザが観察している物理的環境の中に配置された３Ｄ仮想画像を知覚することができる。一方で、ユーザは、物理的環境における物理的オブジェクトを観察することもできる。

他の実施例において、透明ディスプレイ５０は、ＨＭＤデバイス２００を装着しているユーザの眼に届く前に、物理的環境から受け取った光の選択的なフィルタリングをサポートし得る。そうしたフィルタリングは、ピクセル毎ベースまたはピクセルグループに対して実行され得る。一つの実施例において、透明ディスプレイ５０は、一つまたはそれ以上の照明されたピクセルの形態における光を加える第１のディスプレイレイヤ（ｌａｙｅｒ）と、物理的環境から受け取った環境光をフィルタする第２のディスプレイレイヤを含んでよい。これらのレイヤは、異なるディスプレイ解像度、ピクセル密度、及び/又は、ディスプレイ能力を有してよい。

第２のディスプレイレイヤは、一つまたはそれ以上の不透明レイヤ５２を含んでよく、その中でブロック画像が生成され得る。一つまたはそれ以上の不透明レイヤ５２は、透明ディスプレイ５０の中に統合的に形成されてよい。他の実施例において、一つまたはそれ以上の不透明レイヤ５２は、透明ディスプレイ５０に隣接して別個に設置または取付けられてよい。別個のバイザーの形態といったものである。

第１のＨＭＤデバイス３４は、また、種々のシステム及びセンサを含み得る。例えば、第１のＨＭＤデバイス３４は、少なくとも一つの内向きセンサ２０８（図２参照）を使用する視標追跡センサシステム５４を含み得る。内向きセンサ２０８は、ユーザの眼から視標追跡情報の形式において画像データを獲得するように構成されている画像センサであってよい。この情報の獲得と使用についてユーザの同意が得られれば、視標追跡センサシステム５４は、ユーザの眼の位置及び/又は移動を追跡するために、この情報を使用し得る。視標追跡センサシステム５４は、そして、どこで、及び/又は、どの物理的オブジェクトまたは仮想オブジェクトをユーザが注視しているかを判断し得る。内向きセンサ２０８は、また、可視スペクトラム及び/又は赤外光をキャプチャするための一つまたはそれ以上の光学センサを含み得る。そうしたセンサは、例えば、ＨＭＤデバイス３４に対するユーザ顔面の近傍を判断するために使用され得る。

第１のＨＭＤデバイス３４は、また、光学センサといった、少なくとも一つの外向きセンサ２１２を使用する光学センサシステム５８を含み得る。外向きセンサ２１２は、視野の中での動きを検出し得る。ジェスチャベースの入力、もしくは、ユーザにより、または、視野の中における人間または物理的オブジェクトによって実行される他の動きといったものである。外向きセンサ２１２は、また、物理的環境および環境の中の物理的オブジェクトからの画像情報と深度情報をキャプチャし得る。例えば、外向きセンサ２１２は、深度カメラ、可視光カメラ、赤外光カメラ、及び/又は、位置追跡カメラ、を含んでよい。いくつかの実施例において、外向きセンサ２１２は、物理的環境における実世界の照明状況からの可視スペクトラム及び/又は赤外光を観察するための一つまたはそれ以上の光学センサを含み得る。そうしたセンサは、例えば、ＲＧＢ環境光及び/又は白黒環境光を検出し得る電荷結合素子画像センサを含んでよい。

上述のように、第１のＨＭＤデバイス３４は、一つまたはそれ以上の深度カメラを介した深度センシングを含み得る。それぞれの深度カメラは、例えば、立体視システムの左および右カメラを含み得る。一つまたはそれ以上のこれらの深度カメラからの時間分析画像は、お互いに対して、及び/又は、可視スペクトラムカメラといった別の光学センサからの画像に対して記録され、かつ、深度分析ビデオを生成するように結合され得る。

いくつかの実施例において、深度カメラは、構造化照明深度カメラの形態であってよい。数多くの、個別の特徴（例えば、ラインまたはポイント）を有する構造化（ｓｔｒｕｃｔｕｒｅｄ）赤外照明を投射するように構成されたものである。深度カメラは、シーン（ｓｃｅｎｅ）から反射された構造化照明を、構造化照明が投射されるシーンの上に結像するように構成され得る。結像されたシーンの種々の領域における隣接した特徴間でのスペーシングに基づいて、シーンの深度マップが構成され得る。

他の実施例において、深度カメラは、パルス化（ｐｕｌｓｅｄ）赤外照明をシーンの上に投影するように構成されている飛行時間（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）深度カメラの形態であってよい。この深度カメラは、シーンから反射されたパルス化照明を検出するように構成され得る。２つまたはそれ以上のこれらの深度カメラは、パルス化照明に同期された電子シャッタを含み得る。２つまたはそれ以上の深度カメラに対する統合回数は異なってよい。光源からシーンまで、そして、深度カメラまでの、パルス化照明に係るピクセル分析の飛行時間が、２つの深度カメラの対応するピクセルにおいて受け取られた相対的な光量から識別可能なようにである。第１のＨＭＤデバイス３４は、また、構造化照明及び/又は飛行時間深度解析をアシストするための赤外線プロジェクタを含み得る。

他の実施例においては、ユーザ及び/又は物理的環境における人間からのジェスチャベースおよび他の動作入力は、また、一つまたはそれ以上の深度カメラを介して検出され得る。例えば、外向きセンサ２１２は、深度画像を作成するために既知の相対的位置にある２つまたはそれ以上の光学センサを含み得る。既知の相対的位置にあるこれらの光学センサから結果として生じる動作を使用して、そうした深度画像が生成され、ジェスチャベースおよび他の動作入力に対してマップされ得る。さらに他の実施例においては、レーザーリターン、超音波、赤外線、及び/又は、あらゆる他の深度検出技術が、使用されてよく、かつ、本発明開示の範囲内にある。

外向きセンサ２１２は、ユーザが置かれている物理的環境の画像をキャプチャすることができる。以下により詳細に説明されるように、そうした画像は、物理的環境情報６０の一部であり、第１のＨＭＤデバイス３４によって受け取られ、コンピューティングデバイス２２に提供され得る。一つの実施例において、拡張現実ディスプレイプログラム２８は、３Ｄモデリングシステムを含んでよく、そうした入力を使用して、キャプチャされた物理的環境をモデル化する仮想環境３６を生成する。

第１のＨＭＤデバイス３４は、また、一つまたはそれ以上の動作センサを使用する位置センサシステム６２を含んでよく、第１のＨＭＤデバイスの位置追跡及び/又は方向検出ができるようにして、物理的環境の中でＨＭＤデバイスの位置を決定する。一つの実施例において、位置センサシステム６２は、６軸または６自由度の位置センサシステムとして構成されている慣性計測装置を含み得る。位置センサシステムのこの実施例は、例えば、３つの加速度計および３つのジャイロスコープを含んでよく、３次元空間の中での３つの直交軸（例えば、ｘ、ｙ、ｚ）に沿った第１のＨＭＤデバイス３４の位置における変化、および、３つの直交軸（例えば、ロール、ピッチ、ヨー）に沿ったＨＭＤデバイスの方向における変化を示し、または、測定する。

位置センサシステム６２は、ＧＰＳまたは他のグローバルナビゲーションシステムといった、他の好適な位置決め技術をサポートし得る。例えば、位置センサシステム６２は、無線レシーバ（例えば、ＧＰＳレシーバまたは携帯レシーバ）を含んでよく、衛星及び/又は地球上の基地局からの無線信号放送を受信する。これらの無線信号は、第１のＨＭＤデバイス３４の地理的な位置を特定するために使用され得る。

第１のＨＭＤデバイス３４によって受信された無線信号から得られた位置決め情報は、動作センサ２１６から得られた位置決め情報と組合わされて、第１のＨＭＤデバイス３４の位置及び/又は方向の指標を提供することができる。位置センサシステムの所定の実施例について説明されてきたが、他の好適な位置センサシステムも使用され得ることが正しく理解されよう。

動作センサ２１６は、また、ユーザ入力デバイスとしても使用され得る。首および頭、または、体のジェスチャを介して、ユーザが、第１のＨＭＤデバイス３４とインタラクションできるようにである。さらに、いくつかの実施例において、動作センサ２１６は、比較的に低電力消費であり得る。これらの場合、動作センサ２１６からの情報は、より大きな電力消費であるより複雑なセンサシステムからの情報の代わりに使用され得る。より複雑なセンサシステムは、システムリソースを保護するために、電源ダウンまたは電源オフされ得る。動作センサの限定的でない実施例は、加速度計、ジャイロスコープ、コンパス、および、方向センサを含んでおり、これらのあらゆる組合せ又は部分的組合せが含まれてよい。

第１のＨＭＤデバイスは、また、一つまたはそれ以上のマイクロフォン２２０を含むマイクロフォンシステム６４を含み得る。いくつかの実施例において、かつ、以下により詳細に説明されるように、マイクロフォン２２０のアレイ（ａｒｒａｙ）が、ユーザからのオーディオ入力、及び/又は、ユーザの周りの物理的環境からのオーディオ入力を受け取ることができる。追加的または代替的に、ＨＭＤデバイス３４から分離した一つまたはそれ以上のマイクロフォンがオーディオ入力を受け取るために使用され得る。

他の実施例において、オーディオは、ＨＭＤデバイス３４上の一つまたはそれ以上のスピーカ２２４を介してユーザに対して提供され得る。そうしたオーディオは、例えば、音楽、インストラクション、及び/又は、拡張現実ディスプレイプログラム２８または他のソースからの他の通信を含み得る。

他の実施例において、第１のＨＭＤデバイス３４は、また、通信システム６６および関連するトランシーバ２２８を含み得る。Ｗｉ−Ｆｉ信号、ブルートゥース信号、等といった無線信号を放送し、他のデバイスからそうした信号を受信するためである。これらの無線信号は、例えば、デバイス間でデータ交換し、及び/又は、ネットワークを作成するために使用され得る。

第１のＨＭＤデバイス３４は、また、ロジックサブシステムとストレージサブシステムを有するプロセッサ２３２を含み得る。図５に関して以降にさらに詳細に説明されるように、ＨＭＤデバイスの種々の入力及び出力デバイスと通信している。簡潔には、ストレージサブシステムは、ロジックサブシステムによって実行可能なインストラクションを含んでよく、例えば、センサからの入力を受信し、通信システム６６を介して（未処理または処理された形式において）コンピューティングデバイス２２に対して転送し、かつ、透明ディスプレイ５０を介してユーザに対して画像を提供する。

第１のＨＭＤデバイス３４は、また、バッテリー７０または好適なポータブル電源を含んでよく、ＨＭＤデバイスの種々のコンポーネントに対して電力を提供する。

第１のＨＭＤデバイス３４と関連のセンサ、および、上記され図１と図２において図示された他のコンポーネントは、実施例として提供されていることが正しく理解されよう。これらの実施例は、あらゆるやり方において限定的であること意図するものではない。あらゆる他の好適なセンサ、コンポーネント、及び/又は、センサとコンポーネントの組合せが使用され得るようにである。従って、第１のＨＭＤデバイス３４は、本発明開示の範囲から逸脱することなく、追加的及び/又は代替的なセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイス、等を含み得ることが理解されるべきである。さらに、第１のＨＭＤデバイス３４と種々のセンサおよびサブコンポーネントの物理的な構成は、本発明開示の範囲から逸脱することなく、種々の異なる形態であり得る。

これから図３も参照すると、実施例の説明、および、リソース管理システム１０とＨＭＤデバイス３４を利用している使用例が提供される。図３は、物理的環境の中に居る第１のユーザ３０４と第２のユーザ３０８の模式図である。この実施例において、物理的環境は、壁３１２、壁に掛けられた絵３１６、テーブル３２０および本棚３２４といった、物理的オブジェクトを含む部屋３００である。第１のユーザは、第１のＨＭＤデバイス３４を装着し、第２のユーザは第２のＨＭＤデバイス４２を装着してよい（図１も参照のこと）。第２のＨＭＤデバイス４２は、上記の第１のＨＭＤデバイス３４と実質的に同等な構成とオペレーションを有し得る。両方のＨＭＤデバイスは、ＨＭＤデバイス２００の形態であってよい。

第１のＨＭＤデバイス３４のディスプレイシステム４６は、第１のユーザ３０４の眼に、テーブル３２０上に居る仮想魔法使い３２６の形態において、ホログラフィックオブジェクトを表示し得る。同様に、第２のＨＭＤデバイス４２のディスプレイシステムは、その魔法使いがテーブル３２０上に現れるように、第２のユーザ３０８の眼に、仮想魔法使い３２６を表示し得る。このようにして、図３は、仮想環境３６に従って、部屋の中に配置された仮想魔法使い３２６が居るものとして、部屋３００を示している。仮想環境は、第１のＨＭＤデバイス３４または第２のＨＭＤデバイス４２の拡張現実ディスプレイプログラム２８によって生成されるものである。

以下のことが正しく理解されよう。仮想環境３６は、物理的環境をモデル化し得ること、および、仮想環境は、ユーザの指標追跡情報、物理的環境からの照明情報、深度情報、画像情報、および、第１のＨＭＤデバイス３４及び/又は第２のＨＭＤデバイス４２から受け取った位置及び/又は方向情報のうち、一つまたはそれ以上に基づき得ることである。一つの実施例において、そうした情報は、部屋３００の３Ｄマップを有し、かつ、一つまたはそれ以上のホログラフィックオブジェクトを含む仮想環境３６を生成するために、コンパイルされ得る。

以下に説明される種々の使用例においてさらに示されるように、リソース管理プロセス１４は、選択されたレベルのセンサフィデリティを達成するようにデフォルト電力モードにおいて第１のＨＭＤデバイス３４に係る選択されたセンサを操作するように構成されてよい。一つの実施例において、選択されたセンサは、光学センサシステム５８、位置センサシステム６２、視標追跡センサシステム５４、または、マイクロフォンシステム６４からのものであり得る。所与のセンサに対するセンサフィデリティの選択されたレベルは、既定のセンサ解像度、センサ周波数またはサンプリングレート、もしくは、他の好適なオペレーション品質に応じたものであってよい。

第１のＨＭＤデバイス３４は、視標追跡センサシステム５４、光学センサシステム５８、位置センサシステム６２、及び/又は、マイクロフォンシステム６４を介して、ユーザ関連情報７２を受け取ることができる。リソース管理プログラム１４は、第１のＨＭＤデバイス３４からユーザ関連情報７２を受け取るように構成され得る。一つの実施例において、ユーザ関連情報は、以下のものを含み得る。オーディオ情報、ユーザ注視情報、ユーザ位置情報、ユーザ動作情報、ユーザ画像情報、及び/又は、ユーザの生理学上の情報である。このユーザ関連情報を使用して、リソース管理プロセス１４は、ユーザ関連情報の中にターゲット情報が検出されたか否かを判断するように構成され得る。ターゲット情報が検出された場合、リソース管理プログラム１４は、選択されたセンサが、デフォルト電力モードよりも少ない電力を使用する低減電力モードにおいて動作するよう調整するように構成され得る。センサの低減電力モードは、センサフィデリティの低減されたレベルに対応してよい。

いくつかの実施例において、ターゲット情報は、以下のものを含み得る。コンテクストを特定するオーディオ情報、ホログラフィックオブジェクト又は物理的オブジェクト上に固定されているユーザ注視、既定の場所におけるユーザ位置、動作閾値以下のユーザ動作、ユーザの体部位を示す画像情報、及び/又は、意識（ａｗａｒｅｎｅｓｓ）閾値以下のユーザ意識を示す意識関連のユーザの生理学上の情報、である。

一つの実施例において、第１のユーザ３０４は、第１のＨＭＤデバイス３４を装着して、ショッピングモールからユーザの自宅へドライブしている。ドライブの間は、第１のＨＭＤデバイス３４の位置センサシステム６２におけるＧＰＳセンサが、デフォルト電力モードで動作されてよい。デフォルト電力モードは、デフォルトの場所精度を生じるデフォルトの場所サンプリングレートに対応してよい。そうしたデフォルトの場所精度は、第１のＨＭＤデバイス３４を介してユーザ３０４に対して、例えば、種々の場所に拠るサービスを提供するためには十分であり得る。

ユーザ３０４は、自宅に到着して、ユーザの家の内側を歩くことができる。この点において、リソース管理プログラム１４は、ユーザがユーザの自宅の既定の場所に居ることを示しているＧＰＳセンサからのユーザ位置情報を受け取ることができる。リソース管理プログラム１４が、このターゲット情報を検出した場合、リソース管理プログラムは、ＧＰＳセンサが、低減された場所サンプリングレートおよび低減された場所精度に対応する低減電力モードにおいて動作するように調整し得る。一つの実施例において、低減電力モードは、ＧＰＳセンサがオフされる電源オフ状態に対応してよい。有利なことに、このようにＧＰＳセンサについて選択的に電力を低減することによって、第１のＨＭＤデバイス３４の電力消費が低減され、かつ、例えば対応するバッテリー寿命が増加され得る。

ユーザがユーザの家の中に居る場合、ＧＰＳセンサによって生成される位置情報は、ユーザの家の中でユーザ３０４によって典型的に楽しまれている拡張現実体験のいくつかに対して、限定された値を提供し得ることが正しく理解されよう。従って、ユーザの家の既定の場所がターゲット情報として選択されてよく、かつ、ユーザ３０４によって知覚される際に拡張現実体験の品質を劣化させないやり方で、ＧＰＳセンサについて対応する低減電力モードが使用されてよい。加えて、かつ、他の使用例について以下により詳細に説明されるように、他のセンサ及び対応する他のターゲット情報に対する追加の低減電力モードが、同様に、ユーザが知覚する拡張現実体験の品質低下を避けるように設計されたやり方で使用されてよい。

図３に関して、別の実施例においては、第１のユーザ３０４は、ユーザの家の部屋３００の中で座っていてよい。第１のユーザ３０４は、第１のＨＭＤデバイス３４を介して表示され、仮想魔法使い３２６が主演している３Ｄ映画体験に夢中になっている。この実施例において、ターゲット情報は、動作閾値以下のユーザ動作を含んでよい。例えば、動作閾値は、既定の時間量においてユーザが横切ることのない第１のユーザ３０４周辺の境界として定義され得る。一つの実施例において、境界は、第１のユーザ３０４を取り囲む半径１メートルの円であり、かつ、既定の時間量は３０秒間であってよい。本発明開示の範囲から逸脱することなく、あらゆる好適な境界の距離または構成、および、あらゆる好適な既定の時間量が使用され得ることが、正しく理解されよう。異なる境界の距離および時間量が、異なる場所及び/又はコンテクストに対して、より好適であり得ることも、正しく理解されよう。

この実施例においては、ユーザが在る場所に３０秒以上座っている場合、リソース管理プログラム１４は、ユーザ動作が動作閾値以下であることを検出するように構成されている。動作閾値化の動作の検出に基づいて、リソース管理プログラム１４は、低減電力モードで動作するように位置センサシステム６２を調整してよい。例えば、低減電力モードは、低サンプリングレートで動作しているか、または、電源オフされているＧＰＳセンサに応じたものであってよい。

他の実施例において、および、動作閾値化の動作の検出に基づいて、リソース管理プログラム１４は、低減電力モードで動作するように、一つまたはそれ以上の他のセンサを調整してよい。例えば、光学センサシステム５８における可視光カメラが、デフォルトのリフレッシュレート、例えば、３０Ｈｚより遅いリフレッシュレートに対応する低減電力モードに調整され得る。

別の実施例において、第１のユーザ３０４は、注視ライン３３０によって示されるように、仮想魔法使い３２６を注視しているか、または、注視ライン３３４によって示されるように、絵３１６を注視している。この実施例において、ターゲット情報は、ホログラフィックオブジェクトまたは物理的オブジェクト上に固定されているユーザ注視を含んでよい。２秒間といった、既定の時間量以上にホログラフィックオブジェクトまたは物理的オブジェクト上に向けられた注視が留まっている場合に、ユーザ注視は、固定されていると判断され得る。本発明開示の範囲を逸脱することなく、例えば、１秒間、３秒間、１０秒間、１分間、または、他のあらゆる好適な時間量、といった他の既定の時間量が使用され得ることが正しく理解されよう。加えて、リソース管理プログラム１４は、ユーザ３０４が仮想魔法使い３２６または絵３１６を注視していると判断するために、視標追跡センサシステム５４から受け取った視標追跡情報を使用し得る。

この実施例においては、リソース管理プログラム１４が既定の時間量より多くユーザがオブジェクトを注視していることを検出した場合、リソース管理プログラムは、低減電力モードにおいて動作するよう光学センサシステム５８を調整するように構成されてよい。例えば、低減電力モードは、デフォルトのリフレッシュレートより遅いリフレッシュレートで動作している可視光カメラ、または、デフォルトのリフレッシュレートより遅いリフレッシュレートで動作している深度カメラに対応し得る。別の実施例において、低減電力モードは、デフォルトのリフレッシュレートより遅いリフレッシュレートでユーザ３０４の効き側でない眼に係る画像を記録しているか、または、効き側でない眼に係る画像の記録を止めている内向きセンサ２０８の画像センサに対応してよい。別の実施例において、低減電力モードは、両眼注視レイインターセクション（ｒａｙ ｉｎｔｅｒｓｅｃｔｉｏｎ）とは対照的に、ホログラフィックオブジェクトを用いた単眼注視レイインターセクションを使用したユーザ３０４のフォーカス検出に対応してよい。

さらに別の実施例において、ユーザ３０４は、複雑で、高コントラスト領域を含んでいる視覚的に詳細なシーンを表している場所に居る。この実施例において、ターゲット情報は、ユーザが注視している視覚的に複雑で、高コントラストなシーンを含んでよい。ユーザがこのシーンを注視していることをリソース管理プログラム１４が検出した場合、プログラムは、シーンの可視性を改善するようディスプレイシステム４６を調整するように構成されてよい。例えば、ディスプレイシステム４６は、一つまたはそれ以上の仮想映像の輝度を増加し、より複雑でないフォントを使用し、キャラクタのより複雑なレンダリングを活用し、及び/又は、新たな又は相補的な背景を導入するように調整され得る。加えて、リソース管理プログラム１４は、また、位置センサシステム６２におけるＧＰＳセンサといった、一つまたはそれ以上のセンサに対する電力を減らすように構成されてもよい。

別の実施例において、マイクロフォンシステム６４は、コンテクストを特定するオーディオ情報の形態においてターゲット情報を受け取ってよい。そうしたオーディオ情報は、現在のコンテクスト及び/又はユーザ３０４の場所を特定するために、リソース管理プログラム１４によって解釈され得る。このようにして、かつ、コンテクストを特定するオーディオ情報に基づいて、リソース管理プログラム１４は、第１のＨＭＤデバイス３４に係る一つまたはそれ以上のセンサが低減電力モードにおいて動作するよう調整するように構成されてよい。例えば、第１のユーザ３０４がバスに乗っており、リソース管理プログラム１４は、バスのエンジンおよびバスの運転手のアナウンスのサウンドを解釈して、第１のユーザがバスの中に居ると判断することができる。このコンテクストを特定するオーディオ情報に基づいて、リソース管理プログラム１４は、例えば、光学センサシステム５８における深度カメラを低減電力モードにおいて動作させ得る。

別の実施例において、マイクロフォンシステム６４は、ユーザの声を含んでいる。オーディオ情報の形態においてターゲット情報を受け取ってよい。一つの実施例において、ユーザ３０４は、再充電することなく、例えば５時間といった、連続した時間量について第１のＨＭＤデバイス３４を使用したいとユーザが望んでいることをリソース管理プログラム１４に対して伝えることができる。そうしたオーディオ情報を使用して、リソース管理プログラム１４は、一つまたはそれ以上のセンサが低減電力モードにおいて動作するよう調整することによって、次の５時間にわたり第１のＨＭＤデバイス３４の電力要求を管理し得る。

別の実施例において、第１のＨＭＤデバイス３４に係る一つまたはそれ以上のセンサは、意識関連のユーザの生理学上の情報の形態においてターゲット情報を受け取ってよい。意識閾値以下のユーザ意識を示す情報である。例えば、第１のユーザ３０４の眼の動きが、視標追跡センサシステム５４によって追跡され得る。リソース管理プログラム１４は、第１のユーザ３０４のユーザ意識のレベルを評価するために、そうした視標追跡情報を使用し得る。

例えば、そして、再び図３を参照すると、第１のＨＭＤデバイス３４が、ユーザ３０４に対して、仮想魔法使い３２６を含んでいる３Ｄ映画を表示している。リソース管理プログラム１４は、ユーザの眼の動きのパターンを分析して、３Ｄ映画におけるユーザ意識または興味が意識閾値以下であると判断することができる。一つの実施例において、意識閾値は、ユーザ３０４が魔法使い３２６から視線をそらす頻度と相関し得る。例えば、意識閾値は、ユーザ３０４が、３分間以上のスパンで毎分２０秒以上魔法使い３２６から視線をそらしていることを含んでよい。本発明開示の範囲から逸脱することなく、あらゆる他の好適な時間期間が使用され得ることが正しく理解されよう。リソース管理プログラム１４が、ユーザ意識がこの閾値以下であると判断した場合、リソース管理プログラム１４は、一つまたはそれ以上のセンサが低減電力モードにおいて動作するよう調整し得る。

種々の他のタイプおよび形態の意識関連のユーザの生理学上の情報が、第１のＨＭＤデバイス３４の他のセンサによって受け取られ得ることが正しく理解されよう。そうした他の意識関連のユーザの生理学上の情報は、これらに限定されるわけではないが、心拍数、脈拍、ヘモグロビン飽和量、皮膚導電率、呼吸、発汗、および、脳波活動を含んでよい。そうした情報は、また、ユーザ意識または興味を判断するために、リソース管理プログラム１４によって使用され得る。

さらに別の実施例において、第１のＨＭＤデバイス３４に係る光学センサシステム５８の一つまたはそれ以上のセンサは、ユーザの体部位を示すユーザ画像情報の形態においてターゲット情報を受け取ることができる。例えば、第１のユーザ３０４は、ユーザの腕を空中であいまいに振ることによって、混雑した街の道路上でタクシーを呼び止めようとしている。光学センサシステム５８における深度カメラは、ユーザの腕の振りの画像データをキャプチャすることができる。リソース管理プログラム１４は、深度カメラの画像データを分析して、ユーザが緊急シグナリング活動にあると判断し得る。従って、リソース管理プログラム１４は、そうしたシグナリング活動に必須でないセンサの一つまたはそれ以上を低減電力モードにおいて動作するように調整し得る。

別の実施例においては、ユーザが一つまたはそれ以上のセンサを使用することなく一般的に行うタスクをユーザ３０４が実行している場合、一つまたはそれ以上のセンサに対する電力が低減されてよい。例えば、ユーザ３０４が運転している場合、仮想メニューをナビゲーションするための音声入力の使用履歴を有してよく、それに対応して、手のジェスチャをほとんど使用することはない。従って、ユーザ３０４が運転しており、仮想メニューを使用していると、リソース管理プログラム１４が判断した場合、プログラムは、低減電力モードにおいて動作するように光学センサシステムにおける深度カメラを調整し得る。異なるユーザは異なる使用パターンを有し得ること、および、リソース管理プログラム１４は、所与のユーザの使用パターンに従ってセンサの動作をカスタマイズし得ることが、正しく理解されよう。

別の実施例において、そして、図１を参照すると、リソース管理プログラム１４は、第１のＨＭＤデバイス３４に係る一つまたはそれ以上のセンサから物理的環境情報６０を受け取るように構成されてよい。リソース管理プログラム１４は、そして、物理的環境６０においてターゲット情報が検出されたか否かを判断することができる。図３を参照すると、一つの実施例において、物理的環境情報は、部屋３００からの物理的オブジェクト画像を含み得る。例えば、光学センサシステム５８は、テーブル３２０、絵３１６、壁３１２、および、本棚３２４を示している画像データを受け取ることができる。そうした画像データを使用して、リソース管理プログラム１４は、ユーザ３０４がユーザの家の部屋３００の中に居ることを判断し得る。従って、リソース管理プログラム１４は、低減電力モードにおいて動作するように、位置センサシステム６２におけるＧＰＳセンサを調整し得る。

他の実施例において、リソース管理プログラム１４は、第１のＨＭＤデバイス３４を介して、他のタイプおよび形態の物理的環境情報６０を受け取るように構成されてよいことが、正しく理解されよう。そうした他のタイプおよび形態の物理的環境情報６０は、これらに限定されるわけではないが、オーディオ情報、環境光レベル、物理的オブジェクト位置、方向と表面情報、および、温度といった環境状況情報を含んでよい。

別の実施例において、リソース管理プログラム１４は、第１のＨＭＤデバイス３４に対して外部にある第２のＨＭＤデバイス４２からネットワーク３８を介して物理的環境情報６０を受け取るように構成されてよい。図３において示された実施例において、第２のユーザ３０８によって装着されている第２のＨＭＤデバイス４２は、物理的環境情報６０を受け取り、ネットワーク３８を介して、そうした情報をコンピューティングデバイス２２およびリソース管理プログラム１４に対して送信することができる。

一つの実施例において、第１のユーザ３０４と第２のユーザ３０８は、部屋３００の中に歩いて入ることができる。第１のユーザ３０４によって装着された第１のＨＭＤデバイス３４と第２のユーザ３０８によって装着された第２のＨＭＤデバイス４２の両方は、部屋３００における物理的オブジェクトから同様な画像データをキャプチャし得る。第２のＨＭＤデバイス４２は、キャプチャした画像データを第１のＨＭＤデバイス３４に対して送信することができる。有利なことに、第２のＨＭＤデバイス４２から画像データを受信することに基づいて、リソース管理プログラム１４は、第１のＨＭＤデバイス３４における光学センサシステム５８に係る一つまたはそれ以上のセンサを、低減電力モードにおいて動作するように調整し得る。

いくつかの実施例においては、２つまたはそれ以上のＨＭＤデバイスが通信して、どちらのＨＭＤデバイスがデータをキャプチャして送信し、かつ、どちらのＨＭＤデバイスがデータを受信するかを決定し得ることが正しく理解されよう。一つの実施例においては、データをキャプチャして他のデバイスに送信するために、最もバッテリー寿命が残っているＨＭＤデバイスが選択され得る。他の実施例においては、データをキャプチャして送信するためにどのＨＭＤデバイスが選択され得るかを決定するために、他の好適なクライテリアが使用されてよい。他のセンサによってキャプチャされた他のタイプの物理的環境データは、また、一つのＨＭＤデバイスによってキャプチャされて送信され、かつ、キャプチャデバイスから一つまたはそれ以上の他のＨＭＤデバイスによって受信され得ることが、正しく理解されよう。

他の実施例において、第１のＨＭＤデバイス及び/又は第２のＨＭＤデバイスは、ＨＭＤデバイスに対して外部にある他のデバイスおよびソースからネットワーク３８を介して、物理的環境情報及び/又は他の情報を受け取ることができる。例えば、第１のＨＭＤデバイス３４は、近くのインドアに在るビーコンからＧＰＳ位置情報を受信し得る。別の実施例において、第１のＨＭＤデバイス３４は、デバイスがペアとなっているスマートフォンまたはタブレットコンピュータから情報を受信することができる。

さらに別の実施例において、光学センサシステム５８における光学センサは、物理的オブジェクト画像データの形態において物理的環境情報６０をキャプチャすることができる。リソース管理プログラム１４は、光学センサが閾値量の物理的オブジェクト画像データをキャプチャしたか否かを判断するように構成されてよい。例えば、閾値量の画像データは、１００ＭＢの画像データであり得る。この実施例においては、光学センサが物理的オブジェクトに係る１００ＭＢの画像データをキャプチャした場合、リソース管理プログラム１４は、光学センサを、低減電力モードにおいて、および、対応する低減されたレベルのフィデリティにおいて動作するように調整し得る。他のタイプの物理的オブジェクト情報が閾値量に達したか否かを判断するために他のセンサも、また、モニタされ、その上、そうしたセンサが低減電力モードにおいて動作するように調整され得ることが、正しく理解されよう。画像データに係るあらゆる他の好適な閾値量は、この発明開示の範囲から逸脱することなく使用され得ること、および、そうした閾値量は、場所または他のコンテクスト関連要因に基づいて調整され得ることも、正しく理解されよう。

さらに別の実施例において、リソース管理プログラム１４は、ターゲットオーディオを検出するように構成されてよい。ターゲットオーディオが検出されない間に、第１のＨＭＤデバイス３４の一つまたはそれ以上のマイクロフォン２２０は、デフォルトの、より遅いポーリング（ｐｏｌｌｉｎｇ）周波数において動作されてよい。ターゲットオーディオがマイクロフォン２２０によって受け取られ、かつ、リソース管理プログラム１４によって検出された場合、プログラムは、マイクロフォンを、より遅いポーリング周波数より大きなより速いポーリング周波数において動作するように調整し得る。有利なことに、この実施例において、リソース管理プログラム１４は、ターゲットオーディオが検出されない限り、マイクロフォン２２０についてデフォルト電力モードを使用してよい。いくつかの実施例において、ターゲットオーディオは、ユーザ３０４の認識したスピーチ、緊急放送メッセージ、既定の第三者の認識したスピーチ、ユーザの配偶者または子供のスピーチといったもの、または、あらゆる他の好適なターゲットオーディオを含んでよい。

さらに別の実施例においては、視標追跡センサシステム５４の指標追跡センサを使用して、リソース管理プログラム１４が、ホログラフィックオブジェクトまたは物理的オブジェクトに対するユーザ注視を検出してよい。図３を参照すると、一つの実施例において、ユーザ３０４は、壁３１２の絵３１６を注視している。ユーザ注視の検出に基づいて、および、ユーザ３０４が仮想魔法使い３２６を見ていないとして、リソース管理プログラム１４は、第１のＨＭＤデバイス３４のディスプレイシステム４６の照明出力を低減し得る。より特定的に、リソース管理プログラム１４は、ディスプレイシステム４６によって生成される仮想魔法使い３２６の輝度を低減してよく、それにより、ディスプレイシステム４６によって消費される電力を低減している。別の実施例において、リソース管理プログラム１４は、より多くの環境光がユーザ３０４の眼に届かないようにブロックするために、ディスプレイシステム４６における不透明レイヤ５２を利用してよい。このようにして、仮想魔法使い３２６と他のホログラフィックオブジェクトは、低減された輝度で表示されてよく、それによって、ディスプレイシステム４６によって消費される電力を低減している。

別の実施例においては、光学センサシステム５８の深度センサが、デフォルトの検知レベルで動作されてよく、既定のサイズのデフォルト照明エリアを照明することを含んでいる。深度センサからの画像データを使用して、リソース管理プログラム１４は、第１のユーザ３０４の前面の現在の照明エリアのサイズが、デフォルト照明エリアの既定のサイズより小さいことを判断し得る。従って、リソース管理プログラム１４は、現在の照明エリアのより小さいサイズに応じて、深度センサの照明出力を低減するように構成されてよい。このようにして、深度センサの照明システムによって消費される電力も、また、低減され得る。

別の実施例において、リソース管理システム１０は、他のオペレーティングモードを含んでよい。センサデータ収集および関連するフィデリティを電力管理について優先するように選択されるファースト（ｆａｓｔ）レスポンスモードといったものである。この実施例においては、リソース管理システム１０またはユーザがファーストレスポンスモードを選択する場合、保持するリソース管理プログラム１４をそうしたモードがオーバーライドしてよく、もしくは、一つまたはそれ以上のセンサによって消費される電力を増加し、それによって、センサのフィデリティを増してよい。例えば、ユーザが新たな環境の中に移動する場合、ユーザが居る新たな物理的空間をより良くキャプチャするために、一つまたはそれ以上の光学センサの解像度、周波数、及び/又は、電力が増加され得る。他の実施例においては、より高いフレームレート（より低い解像度）において粗い手のジェスチャを検出するためのより低い解像度の深度表示を達成するために、ピクセルビニング（ｐｉｘｅｌ ｂｉｎｎｉｎｇ）が使用され得る、もしくは、より高い解像度が、サーフェス再構成のために、より低いフレームレートにおいて使用され得る。

別の実施例において、リソース管理プログラム１４は、ユーザがＨＭＤデバイスをユーザの頭から取り外したことを判断するように構成され得る。リソース管理プログラム１４は、そして、低減電力モードで動作するように、一つまたはそれ以上のセンサを調整する。例えば、第１のユーザ３０４がＨＭＤデバイス４２を取り外して、サーフェス上に置いた場合、位置センサシステム６２は、何の動作も検出しなくてよい。例えば３０秒間といった、何の動作もない既定期間の後で、リソース管理プログラム１４は、低減電力モードで動作するように、位置センサシステム６２を調整し得る。

別の実施例において、リソース管理プログラム１４は、ユーザが寝入っているか、寝ているかを判断するように構成され得る。リソース管理プログラム１４は、そして、低減電力モードで動作するように、一つまたはそれ以上のセンサを調整する。例として、例えば３０秒間といった、既定の時間期間を越えて、内向きセンサ２０８は、第１のユーザ３０４の閉じられたまぶたを示している画像情報を提供することがある。この情報に基づいて、リソース管理プログラム１４は、第１のユーザ３０４が寝ていると判断することができ、それに応じて、低減電力モードで動作するように、一つまたはそれ以上のセンサを調整し得る。

別の実施例において、例えば１分間といった、既定の時間期間を越えて、位置センサシステム６２は、第１のユーザの頭が繰り返し下向きにこっくりしていることを示している位置データを提供することがある。この情報に基づいて、リソース管理プログラム１４は、第１のユーザ３０４が寝入っていると判断することができ、それに応じて、低減電力モードで動作するように、一つまたはそれ以上のセンサを調整し得る。

別の実施例においては、ターゲット情報は、また、ユーザが体験している仮想環境の中で検出され得る。例えば、ユーザが実行している拡張現実アプリケーションによって知らされる所定のユーザのコンテクストが与えられると、リソース管理プログラム１４は、仮想環境からのターゲット情報に基づいて、一つまたはそれ以上のセンサを調整し得る。

図４Ａ、４Ｂおよび４Ｃは、本発明開示の一つの実施例に従って、ＨＭＤデバイスにおいてリソースを管理するための方法４００に係るフローチャートである。方法４００に係る以降の説明は、上述され、かつ、図１および図２に示されたリソース管理システム１０のソフトウェアおよびハードウェアコンポーネントに関して提供される。方法４００は、また、他の好適なハードウェアおよびソフトウェアコンポーネントを使用して、他のコンテクストにおいても実行され得ることが、正しく理解されよう。

図４Ａを参照すると、４０４において、方法４００は、ユーザによって装着されるように構成されたＨＭＤデバイス３４を提供するステップを含んでいる。ＨＭＤデバイスは、コンピューティングデバイス２２に動作可能に接続され、複数のセンサとホログラフィックオブジェクトを表示するためのディスプレイシステム４６を含んでいる。４０８において、方法４００は、選択されたレベルのセンサフィデリティを達成するために、複数のセンサのうち選択されたセンサがデフォルト電力モードで動作するステップを含んでいる。４１２において、方法４００は、複数のセンサのうち一つまたはそれ以上からユーザ関連情報を受け取るステップを含んでいる。ユーザ関連情報は、オーディオ情報、ユーザ注視情報、ユーザ位置情報、ユーザ動作情報、ユーザ画像情報、および、ユーザの生理学上の情報からなるグループから選択されたものである。

４１４において、方法４００は、ユーザ関連情報においてターゲット情報が検出されたか否かを判断するステップを含んでいる。４１６において、方法４００は、任意的に、コンテクストを特定するオーディオ情報、ホログラフィックオブジェクト又は物理的オブジェクト上に固定されているユーザ注視、既定の場所におけるユーザ位置、動作閾値以下のユーザ動作、ユーザの体部位を示す画像情報、および、意識閾値以下のユーザ意識を示す意識関連のユーザの生理学上の情報からなるグループから、ターゲット情報を選択するステップを含んでいる。４１８において、かつ、ターゲット情報が検出された場合、方法４００は、デフォルト電力モードよりも少ない電力を使用する低減電力モードで動作するように、選択されたセンサを調整するステップを含み、それによって、低減したレベルのセンサフィデリティを達成している。

４２０において、方法４００は、任意的に、複数のセンサのうち一つまたはそれ以上から物理的環境情報を受け取るステップを含んでいる。ここで、図４Ｂを参照すると、４２２において、方法４００は、任意的に、物理的環境情報においてターゲット情報が検出されたか否かを判断するステップを含んでいる。４２４において、かつ、ターゲット情報が検出された場合、方法４００は、任意的に、デフォルト電力モードよりも少ない電力を使用する低減電力モードで動作するように、選択されたセンサを調整するステップを含み、それによって、低減したレベルのセンサフィデリティを達成している。

４２６において、方法４００は、任意的に、ＨＭＤデバイスに対して外部にある外部ソースからネットワークを介して物理的環境情報を受け取るステップを含んでいる。４２８において、かつ、外部ソースからの物理的環境情報の受け取りに基づいて、方法４００は、任意的に、低減電力モードで動作するように選択されたセンサを調整するステップを含んでいる。４３０において、物理的環境情報は、任意的に、物理的オブジェクト画像データを含んでいる。４３２において、複数のセンサのうち一つまたはそれ以上は、任意的に、光学センサを含んでいる。４３４において、方法４００は、任意的に、光学センサが、物理的オブジェクト画像データの閾値量をキャプチャしたか否かを判断するステップを含んでいる。４３６において、かつ、物理的オブジェクト画像データの閾値量がキャプチャされた場合、方法４００は、任意的に、デフォルト電力モードよりも少ない電力を使用する低減電力モードで動作するように、光学センサを調整するステップを含み、それによって、低減したレベルのセンサフィデリティを達成している。

４３８において、選択されたセンサは、任意的に、位置センサを含んでおり、かつ、ターゲット情報は、任意的に、動作閾値以下のユーザ動作を含んでいる。ここで図４Ｃを参照すると、４４０において、方法４００は、任意的に、位置センサを使用して、ユーザ動作が動作閾値以下であることを検出するステップを含んでいる。４４２において、かつ、動作閾値以下のユーザ動作の検出に基づいて、方法４００は、任意的に、低減電力モードで動作するよう位置センサを調整するステップを含んでいる。

４４４において、複数のセンサは、任意的に、マイクロフォンを含んでいる。４４６において、方法４００は、任意的に、ターゲットオーディオが検出されない場合に、より遅いポーリング周波数においてマイクロフォンを動作するステップを含んでいる。４４８において、かつ、ターゲットオーディオが検出された場合、方法４００は、任意的に、より遅いポーリング周波数より大きなより速いポーリング周波数において動作するようマイクロフォンを調整するステップを含んでいる。

４５０において、複数のセンサは、視標追跡センサを含んでおり、かつ、ターゲット情報は、任意的に、ホログラフィックオブジェクトまたは物理的オブジェクトのうち一つに対するユーザ注視を含んでいる。４５２において、方法４００は、任意的に、視標追跡センサを使用して、ホログラフィックオブジェクトまたは物理的オブジェクトのうち一つに対するユーザ注視を検出するステップを含んでいる。４５４において、かつ、ユーザ注視の検出に基づいて、方法４００は、任意的に、ＨＭＤデバイスのディスプレイシステムの照明出力を低減するステップを含んでいる。

図５は、上述の方法およびプロセスの一つまたはそれ以上を実行することができるコンピューティングシステム５００に係る限定的でない実施例の模式図である。コンピューティングデバイス２２は、コンピューティングシステム５００の形態であってよい。コンピューティングシステム５００は、簡素化された形態で示されている。本発明開示の範囲から逸脱することなく、仮想的にあらゆるコンピュータアーキテクチャが使用され得ることが、理解されよう。異なる実施例において、コンピューティングシステム５００は、以下の形態であってよい。メインフレームコンピュータ、サーバーコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、ゲームデバイス、等である。上述のように、いくつかの実施例において、コンピューティングシステム２２は、ＨＭＤデバイスの中に統合されてよい。

図５に示されるように、コンピューティングシステム５００は、ロジックサブシステム５０４およびストレージサブシステム５０８を含んでいる。コンピューティングシステム５００は、任意的に、ディスプレイサブシステム５１２、通信サブシステム５１６、センササブシステム５２０、入力サブシステム５２２、及び/又は、図５に示されていない他のサブシステムまたはコンポーネントを含んでよい。コンピューティングシステム５００は、また、コンピュータで読取り可能な媒体を含んでよい。コンピュータで読取り可能な媒体は、コンピュータで読取り可能なストレージ媒体およびコンピュータで読取り可能な通信媒体を含んでいる。コンピューティングシステム５００は、また、任意的に、例えば、キーボード、マウス、ゲームコントローラ、及び/又は、タッチスクリーンといった、他のユーザ入力デバイスを含んでよい。さらに、いくつかの実施例においては、ここにおいて説明された方法およびプロセスが、コンピュータアプリケーション、コンピュータサービス、コンピュータＡＰＩ、コンピュータライブラリ、及び/又は、一つまたはそれ以上のコンピュータを含むコンピューティングシステムにおける他のコンピュータプログラムとして、実施されてよい。

ロジックサブシステム５０４は、一つまたはそれ以上のインストラクションを実行するように構成されている一つまたはそれ以上の物理的デバイスを含み得る。例えば、ロジックサブシステムは、一つまたはそれ以上のインストラクションを実行するように構成されてよく、インストラクションは、一つまたはそれ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データストラクチャ、または、他のロジカルコンストラクト（ｌｏｇｉｃａｌ ｃｏｎｓｔｒｕｃｔ）の一部である。そうしたインストラクションは、タスクを実行し、データタイプを実施し、一つまたはそれ以上のデバイスの状態を変換し、または、そうでなければ、所望の結果に至るように実施され得る。

ロジックサブシステム５０４は、ソフトウェアインストラクションを実行するように構成されている一つまたはそれ以上のプロセッサを含み得る。追加的または代替的に、ロジックサブシステムは、ハードウェアまたはファームウェアインストラクションを実行するように構成されている一つまたはそれ以上のハードウェアまたはファームウェアのロジックマシンを含み得る。ロジックサブシステムのプロセッサは、シングルコアまたはマルチコアであってよく、そこで実行されるプログラムは、並行または分散処理のために構成されてよい。ロジックサブシステムは、任意的に、２つまたはそれ以上のデバイスの至る所に配分される個々のコンポーネントを含んでよく、離れて配置され、及び/又は、調和された処理のために構成され得る。ロジックサブシステムの一つまたはそれ以上の態様は、クラウドコンピューティングコンフィグレーションにおいて構成された離れてアクセス可能なネットワークコンピューティングデバイスによって、仮想化され、実行されてよい。

ストレージサブシステム５０８は、データ、及び/又は、ここにおいて説明された方法およびプロセスを実施するためにロジックサブシステム５０４によって実行可能なインストラクションを保管するように構成されている一つまたはそれ以上の物理的、永続的なデバイスを含んでよい。そうした方法およびプロセスが実施される場合、ストレージサブシステム５０８の状態が変換され得る（例えば、異なるデータを保管する）。

ストレージサブシステム５０８は、取り外し可能な媒体、及び/又は、設置型デバイスを含んでよい。ストレージサブシステム５０８は、光メモリデバイス（例えば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスク、等）、半導体メモリデバイス（例えば、ＲＡＭ、ＥＰＲＯＭ，ＥＥＰＲＯＭ、等）、及び/又は、磁気メモリデバイス（例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、ＭＲＡＭ、等）、などを含んでよい。ストレージサブシステム５０８は、以降の特性のうち一つまたはそれ以上を伴うデバイスを含んでよい。それらは、揮発性、不揮発性、読出し／書込み、読出し専用、ランダムアクセス、シーケンシャルアクセス、ロケーションアドレス可、ファイルアドレス可、および、コンテンツアドレス可である。

いくつかの実施例において、ロジックサブシステム５０４およびストレージサブシステム５０８の態様は、一つまたはそれ以上の共通デバイスの中に統合されてよく、それを通じて、ここにおいて説明された機能性が、少なくとも部分的に行われ得る。そうしたハードウェアロジックコンポーネントは、例えば、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、プログラムおよびアプリケーション特定集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、プログラムおよびアプリケーション特定標準プロダクト（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）システム、および、複合プログラム可ロジックデバイス（ＣＰＬＤ）を含んでよい。

図５は、また、取り外し可能なコンピュータで読取り可能なストレージ媒体５２４の形態においてストレージサブシステム５０８の態様として示されており、ここにおいて説明された方法およびプログラムを実施するように実行可能なデータ及び/又はインストラクションを保管するために使用され得る。取り外し可能なコンピュータで読取り可能なストレージ媒体５２４は、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスク、ＥＥＰＲＯＭ、及び/又は、フロッピー（登録商標）ディスク、等の形態であってよい。

ストレージサブシステム５０８は、一つまたはそれ以上の物理的、永続的デバイスを含むことが正しく理解されよう。対照的に、いくつかの実施例においては、ここにおいて説明されたインストラクションの態様が、純粋信号（例えば、電磁気信号、光信号、等）によって一時的な形でプロパゲート（ｐｒｏｐａｇａｔｅ）され得る。純粋信号は、物理的デバイスによって、少なくとも有限の持続時間に保持されるものではない。さらに、データ、及び/又は、本発明開示に関する情報の他の形態は、純粋信号によってプロパゲートされ得る。

含まれる場合、ディスプレイサブシステム５１２は、ストレージサブシステム５０８によって保持されたデータの視覚的表現を表示するために使用され得る。上記の方法およびプロセスが、ストレージサブシステム５０８によって保持されたデータを変更し、かつ、従って、ストレージサブシステムの状態を変換すると、ディスプレイサブシステム５１２の状況も、同様に、根本のデータにおける変化を視覚的に表示するよう変換され得る。ディスプレイサブシステム５１２は、あらゆるタイプの技術を仮想的に使用している一つまたはそれ以上のディスプレイデバイスを含み得る。そうしたディスプレイデバイスは、共有の筐体においてロジックサブシステム５０４及び/又はストレージサブシステム５０８と組合わされてよく、もしくは、そうしたディスプレイデバイスは、ペリフェラルディスプレイデバイスであってよい。ディスプレイサブシステム５１２は、例えば、第１のＨＭＤデバイス３４のディスプレイシステム４６、透明ディスプレイ５０、および、不透明レイヤ５２を含み得る。

含まれる場合、通信サブシステム５１６は、コンピューティングシステム５００を、一つまたはそれ以上のネットワーク及び/又は一つまたはそれ以上の他のコンピューティングデバイスと通信可能に接続するように構成され得る。通信サブシステム５１６は、一つまたはそれ以上の異なる通信プロトコルと互換性のある有線及び/又は無線の通信デバイスを含み得る。限定的でない実施例として、通信サブシステム５１６は、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線ワイドエリアネットワーク、有線ワイドエリアネットワーク、等を介した通信のために構成されてよい。いくつかの実施例において、通信サブシステムによって、コンピューティングシステム５００は、インターネットといったネットワークを介して、他のデバイスへ、及び/又は、他のデバイスから、メッセージを送信及び/又は受信することができる。

センササブシステム５２０は、上述のように、異なる物理的現象（例えば、可視光、赤外光、音響、加速度、方向、位置、等）を検知するように構成されている一つまたはそれ以上のセンサを含み得る。例えば、センササブシステム５２０は、一つまたはそれ以上の、視標追跡センサ、画像センサ、マイクロフォン、加速度計といった動作センサ、タッチパッド、タッチスクリーン、及び/又は、あらゆる他の好適なセンサ、を含んでよい。センササブシステム５２０は、例えば、ロジックサブシステム５０４に対して観察情報を提供するように構成され得る。上述のように、視標追跡情報、画像情報、オーディオ情報、環境光情報、深度情報、位置情報、動作情報、及び/又は、あらゆる他の好適なセンサデータといった観察情報は、上記の方法およびプロセスを実行するために使用され得る。

いくつかの実施例において、センササブシステム５２０は、深度カメラ（例えば、図２の外向きセンサ２１２）を含んでよい。深度カメラは、例えば、立体視システムの左および右カメラを含み得る。両方のカメラからの時間分析画像が、お互いに記録され、深度分析ビデオを生成するように結合され得る。他の実施例において、深度カメラは、上述のように、構造化照明深度カメラまたは飛行時間カメラであってよい。

いくつかの実施例において、センササブシステム５２０は、デジタルカメラといった、可視光カメラを含み得る。本発明開示の範囲から逸脱することなく、仮想的にあらゆるタイプのデジタルカメラ技術が使用され得る。限定的でない実施例として、可視光カメラは、電荷結合素子画像センサを含んでよい。

含まれる場合、入力サブシステム５２２は、一つまたはそれ以上のセンサまたはユーザ入力デバイスを含み、または、それらとインターフェイスし得る。ゲームコントローラ、ジェスチャ入力検出デバイス、音声認識器、慣性測定装置、キーボード、マウス、または、タッチスクリーンといったものである。いくつかの実施例において、入力サブシステム５２２は、ナチュラルユーザインプット（ＮＵＩ）コンポーネントを含み、または、インターフェイスし得る。そうしたコンポーネントは、統合され又は周辺機器であってよく、入力動作の変換及び/又は処理は、オンボードまたはオフボードで扱われてよい。ＮＵＩコンポーネントの実施例は、スピーチ及び/又は音声認識のためのマイクロフォン、機械ビジョン及び/又はジェスチャ識別のための赤外線、カラー、立体視、及び/又は深度カメラ、動作検出及び/又は意志認識のための頭部追跡器、眼追跡器、加速度計、及び/又は、ジャイロスコ−プ、同様に、脳活動にアクセスするための電場検知コンポーネント、を含み得る。

用語「プログラム」は、一つまたはそれ以上の所定の機能を実行するために実施されるリソース管理システム１０の態様を記述するために使用され得る。いくつかの場合に、そうしたプログラムは、ストレージサブシステム５８によって保持されるインストラクションを実行しているロジックサブシステム５０４を介してインスタンス化され得る。異なるプログラムが、同一のアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、ファンクション、等からインスタンス化され得ることが理解されるべきである。同様に、同一のプログラムは、異なるアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、ファンクション、等によってインスタンス化され得る。用語「プログラム」は、実行ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード、等を包含するように意図されている。

ここにおいて説明されたコンフィグレーション及び/又はアプローチは、性質的に典型的なものであること、および、これらの所定の実施例は限定的な意味に考えられるべきでないことが理解されるべきである。数多くの変形が可能だからである。ここにおいて説明された所定のルーチンまたは方法は、あらゆる数の処理ストラテジのうちの一つまたはそれ以上を表し得る。そのように、説明された種々のアクトは、説明されたシーケンスにおいて、他のシーケンスにおいて、並行に、または、いくつかの場合が省略されて実施され得る。

本発明開示に係る技術的事項は、ここにおいて開示された種々のプロセス、システムとコンフィグレーション、および他の特徴、機能、及び/又は、特性に係る全ての新規かつ非自明な組合せ及びサブコンビネーションを含んでいる。それらのあらゆる全ての均等物も同様である。

Claims (8)

1. ユーザによって装着され、かつ、コンピューティングデバイスに対して動作可能に接続されるように構成されているヘッドマウントディスプレイデバイスであり、複数のセンサおよびホログラフィックオブジェクトを表示するためのディスプレイシステムを含むヘッドマウントディスプレイデバイスと、
   前記コンピューティングデバイスのプロセッサによって実行されるリソース管理プログラムと、を含み、
   前記リソース管理プログラムは、
   前記複数のセンサのうち選択されたセンサを、選択されたレベルのセンサフィデリティを達成するようにデフォルト電力モードで動作し、
   前記複数のセンサのうち一つまたはそれ以上からユーザ関連情報を受け取り、前記ユーザ関連情報は、オーディオ情報、ユーザ注視情報、ユーザ位置情報、ユーザ動作情報、ユーザ画像情報、および、ユーザの生理学上の情報からなるグループから選択されたものであり、
   前記ユーザ関連情報においてターゲット情報が検出されたか否かを判断し、かつ、
   前記ターゲット情報が検出された場合、前記デフォルト電力モードよりも少ない電力を使用する低減電力モードで動作するように、前記選択されたセンサを調整し、それによって、低減したレベルのセンサフィデリティを達成し、さらに、
   前記複数のセンサのうち一つまたはそれ以上から物理的環境情報を受け取り、かつ、
   前記物理的環境情報において前記ターゲット情報が検出されたか否かを判断し、
   前記複数のセンサのうち一つまたはそれ以上は、光学センサを含み、
   前記物理的環境情報は、物理的オブジェクト画像データを含み、
   前記リソース管理プログラムは、さらに、
   前記光学センサが、前記物理的オブジェクト画像データの閾値量をキャプチャしたか否かを判断し、
   前記物理的オブジェクト画像データの前記閾値量がキャプチャされた場合、前記光学センサのデフォルト電力モードよりも少ない電力を使用する低減電力モードで動作するように、前記光学センサを調整する、
   リソース管理システム。
2. 前記複数のセンサは、光学センサ、位置センサ、視標追跡センサ、および、マイクロフォン、を含むグループから選択される、
   請求項１に記載のリソース管理システム。
3. 前記選択されたセンサは、位置センサを含み、
   前記ターゲット情報は、動作閾値以下のユーザ動作を含み、
   前記リソース管理プログラムは、さらに、
   前記位置センサを使用して、前記ユーザ動作が前記動作閾値以下であることを検出し、かつ、
   前記動作閾値以下の前記ユーザ動作の検出に基づいて、低減電力モードで動作するように、前記位置センサを調整する、
   請求項１に記載のリソース管理システム。
4. ユーザによって装着され、かつ、コンピューティングデバイスに対して動作可能に接続されるように構成されているヘッドマウントディスプレイデバイスを提供するステップであり、前記ヘッドマウントディスプレイデバイスは、複数のセンサおよびホログラフィックオブジェクトを表示するためのディスプレイシステムを含む、ステップと、
   前記複数のセンサのうち選択されたセンサを、選択されたレベルのセンサフィデリティを達成するようにデフォルト電力モードで動作するステップと、
   前記複数のセンサのうち一つまたはそれ以上からユーザ関連情報を受け取るステップであり、前記ユーザ関連情報は、オーディオ情報、ユーザ注視情報、ユーザ位置情報、ユーザ動作情報、ユーザ画像情報、および、ユーザの生理学上の情報からなるグループから選択される、ステップと、
   前記ユーザ関連情報においてターゲット情報が検出されたか否かを判断するステップと、を含み、
   前記ターゲット情報が検出された場合、前記デフォルト電力モードよりも少ない電力を使用する低減電力モードで動作するように、前記選択されたセンサを調整し、それによって、低減したレベルのセンサフィデリティを達成し、さらに、
   前記複数のセンサのうち一つまたはそれ以上から物理的環境情報を受け取るステップと、
   前記物理的環境情報において前記ターゲット情報が検出されたか否かを判断するステップと、を含み、
   前記複数のセンサのうち一つまたはそれ以上は、光学センサを含み、
   前記物理的環境情報は、物理的オブジェクト画像データを含み、さらに、
   前記光学センサが、前記物理的オブジェクト画像データの閾値量をキャプチャしたか否かを判断するステップと、
   前記物理的オブジェクト画像データの前記閾値量がキャプチャされた場合、前記光学センサのデフォルト電力モードよりも少ない電力を使用する低減電力モードで動作するように、前記光学センサを調整するステップと、
   を含む、
   ヘッドマウントディスプレイデバイスにおけるリソースを管理する方法。
5. 前記ターゲット情報は、コンテクストを特定するオーディオ情報、ホログラフィックオブジェクト又は物理的オブジェクト上に固定されているユーザ注視、既定の場所におけるユーザ位置、動作閾値以下のユーザ動作、ユーザの体部位を示す画像情報、および、意識閾値以下のユーザ意識を示す意識関連のユーザの生理学上の情報、を含むグループから選択される、
   請求項４に記載の方法。
6. 前記複数のセンサは、マイクロフォンを含み、
   前記方法は、さらに、
   ターゲットオーディオが検出されない場合、前記マイクロフォンをより遅いポートリング周波数で動作するステップと、
   前記ターゲットオーディオが検出された場合、前記より遅いポーリング周波数より大きなより速いポーリング周波数において前記マイクロフォンを動作するステップと、
   を含む、請求項４に記載の方法。
7. 前記複数のセンサは、視標追跡センサを含み、
   前記ターゲット情報は、ホログラフィックオブジェクトまたは物理的オブジェクトのうち一つに対するユーザ注視を含み、
   前記方法は、さらに、
   視標追跡センサを使用して、ホログラフィックオブジェクトまたは物理的オブジェクトのうち一つに対するユーザ注視を検出するステップと、
   前記ユーザ注視の検出に基づいて、前記ヘッドマウントディスプレイデバイスの前記ディスプレイシステムの照明出力を低減するステップと、
   を含む、請求項４に記載の方法。
8. 前記複数のセンサは、位置センサを含み、
   前記ターゲット情報は、動作閾値以下のユーザ動作を含み、
   前記方法は、さらに、
   位置センサを使用して、前記ユーザ動作が前記動作閾値以下であることを検出するステップと、
   動作閾値以下のユーザ動作の検出に基づいて、前記低減電力モードで動作するように、前記位置センサを調整するステップと、
   を含む、請求項４に記載の方法。

Images