JP7436484B2 - 人工現実のためのレイテンシ減少 - Google Patents

Description

関連出願の相互参照
本出願は、２０１９年３月８日に出願された米国特許出願第６２／８１５，８１１号および２０２０年１月２８日に出願された米国特許出願第１６／７７４，８６３号の優先権を主張するものであり、これら出願の内容は、その全体がすべての目的のために参照により本明細書に組み込まれる。

本開示は、一般に、限定するものではないが、人工現実のための通信におけるレイテンシを減少させることを含む、人工現実をレンダリングするための通信に関する。

仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）などの人工現実は、没入型の体験をユーザに提供する。一例では、ヘッドウェアラブルディスプレイ（ＨＷＤ）を装着するユーザは、ユーザの頭部を回転することができ、ＨＷＤの場所およびユーザの注視方向に対応する仮想物体の画像が、ユーザが人工現実の空間（たとえば、ＶＲ空間、ＡＲ空間、またはＭＲ空間）内で移動しているかのようにユーザが感じることを可能にするために、ＨＷＤ上に表示可能である。

一実装形態では、仮想物体の画像は、ＨＷＤに通信可能に結合されたコンソールによって生成される。一例では、ＨＷＤは、ＨＷＤの場所および／または方位を検出するさまざまなセンサを含み、検出されたＨＷＤの場所および／または方位を、ワイヤード接続またはワイヤレス接続を通じてコンソールに送信する。コンソールは、検出されたＨＷＤの場所および／または方位に応じて、ユーザの、人工現実の空間の視野（ｖｉｅｗ）を決定し、ユーザの視野に対応する人工現実の空間の画像を示す画像データを生成することができる。コンソールは画像データをＨＷＤに送信することができ、これによって、ユーザの視野に対応する人工現実の空間の画像がユーザに提示可能である。一態様では、ＨＷＤの場所およびＨＷＤを装着するユーザの注視方向を検出し、画像をユーザにレンダリングするプロセスは、フレーム時間（たとえば、１１ｍｓ未満）内で実施されるべきである。ＨＷＤを装着するユーザの動きとユーザの動きに対応して表示される画像との間のレイテンシは、激しい震動を引き起こすことがあり、その結果、動揺病が生じることがあり、ユーザエクスペリエンスを劣化させ得る。

以下でより詳細に説明されるように、本発明は、添付の特許請求の範囲に記載の方法、システム、およびヘッドウェアラブルディスプレイを対象とする。

本明細書において開示されるさまざまな実施形態は、人工現実をレンダリングするためにデータを通信する方法に関する。いくつかの実施形態では、この方法は、コンソールによって、人工現実の画像を示す画像データをヘッドウェアラブルディスプレイへワイヤレス送信するための第１のセッションの予想送信終了時間を決定することを含む。いくつかの実施形態では、この方法は、コンソールによって、人工現実の画像と関連づけられた追加データを生成する予想処理終了時間を決定することを含む。いくつかの実施形態では、この方法は、コンソールによって、予想送信終了時間と予想処理終了時間を比較することを含む。いくつかの実施形態では、この方法は、予想処理終了時間が予想送信終了時間未満であることを踏まえて、コンソールによって、画像データとともに追加データを第１のセッション中にヘッドウェアラブルディスプレイに送信することを含む。

いくつかの実施形態では、方法は、コンソールによって、ヘッドウェアラブルディスプレイから、ヘッドウェアラブルディスプレイの場所および方位を示す情報を受信することを含む。いくつかの実施形態では、この方法は、コンソールによって、受信された情報に応じて人工現実の画像を示す画像データを生成することを含む。いくつかの実施形態では、この方法は、コンソールによって、人工現実の画像と関連づけられた追加データを生成することを含む。いくつかの実施形態では、この方法は、予想処理終了時間が予想送信終了時間未満であることを踏まえて、コンソールによって、画像データとともに追加データを同じ送信機会ウィンドウまたはシステム間隔内にヘッドウェアラブルディスプレイに送信することを含む。

いくつかの実施形態では、この方法は、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、コンソールによって、予想処理終了時間に応じて、第１のセッションを延長することと、コンソールによって、延長された第１のセッション中にヘッドウェアラブルディスプレイに、画像データとともに追加データを送信することとを含む。いくつかの実施形態では、コンソールによって、予想処理終了時間に応じて、第１のセッションを延長することは、コンソールによって、第１のセッションを延長するように第１のセッションの変調および符号化方式を調整することを含む。

いくつかの実施形態では、方法は、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、コンソールによって、第１のセッション中にヘッドウェアラブルディスプレイに、予想処理終了時間を示すタイミング情報を送信することと、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、コンソールによって、第１のセッション後の第２のセッションを通じて、追加データをヘッドウェアラブルディスプレイに送信することとを含む。いくつかの実施形態では、ヘッドウェアラブルディスプレイは、第１のセッションと第２のセッションとの間のコンソールとのワイヤレス通信を不可能にするように構成される。

いくつかの実施形態では、方法は、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、コンソールによって、追加データのサブセットを生成するために１つまたは複数のプロセスを選択することと、コンソールによって、追加データのサブセットを生成するために選択された１つまたは複数のプロセスを実施することと、コンソールによって、第１のセッション中にヘッドウェアラブルディスプレイに、画像データとともに追加データのサブセットを送信することとを含む。いくつかの実施形態では、追加データのサブセットは、少なくとも、物理空間内のヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報、ヘッドウェアラブルディスプレイのユーザの手の形状、場所、もしくは方位を示す手モデルデータ、またはヘッドウェアラブルディスプレイのユーザの注視方向を示すアイトラッキングデータを含む。

本明細書において開示されるさまざまな実施形態は、人工現実をレンダリングするためのデータを通信するシステムに関する。いくつかの実施形態では、このシステムは、ワイヤレス通信インターフェースを含む。いくつかの実施形態では、このシステムは、人工現実の画像を示す画像データをヘッドウェアラブルディスプレイへワイヤレス送信するための第１のセッションの予想送信終了時間を決定し、人工現実の画像と関連づけられた追加データを生成する予想処理終了時間を決定し、予想送信終了時間と予想処理終了時間を比較し、予想処理終了時間が予想送信終了時間未満であることを踏まえて、画像データとともに追加データを第１のセッション中にヘッドウェアラブルディスプレイに送信するようにワイヤレス通信インターフェースを構成するように構成されたプロセッサを含む。

いくつかの実施形態では、プロセッサは、ヘッドウェアラブルディスプレイの場所および方位を示す情報をヘッドウェアラブルディスプレイから受信するようにワイヤレス通信インターフェースを構成し、受信された情報に応じて人工現実の画像を示す画像データを生成し、人工現実の画像と関連づけられた追加データを生成するようにさらに構成される。いくつかの実施形態では、プロセッサは、予想処理終了時間が予想送信終了時間未満であることを踏まえて、画像データとともに追加データを同じ送信機会ウィンドウまたはシステム間隔内にヘッドウェアラブルディスプレイに送信するようにワイヤレス通信インターフェースを構成するようにさらに構成される。

いくつかの実施形態では、プロセッサは、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、予想処理終了時間に応じて、第１のセッションを延長し、延長された第１のセッション中にヘッドウェアラブルディスプレイに、画像データとともに追加データを送信するようにワイヤレス通信インターフェースを構成するようにさらに構成される。いくつかの実施形態では、プロセッサは、第１のセッションを延長するように第１のセッションの変調および符号化方式を調整することによって、予想処理終了時間に応じて、第１のセッションを延長するように構成される。

いくつかの実施形態では、プロセッサは、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、第１のセッション中にヘッドウェアラブルディスプレイに、予想処理終了時間を示すタイミング情報を送信するようにワイヤレス通信インターフェースを構成し、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、第１のセッション後の第２のセッションを通じて、追加データをヘッドウェアラブルディスプレイに送信するようにワイヤレス通信インターフェースを構成するようにさらに構成される。いくつかの実施形態では、ヘッドウェアラブルディスプレイは、第１のセッションと第２のセッションとの間のワイヤレス通信インターフェースとのワイヤレス通信を不可能にするように構成される。

いくつかの実施形態では、プロセッサは、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、追加データのサブセットを生成するために１つまたは複数のプロセスを選択し、追加データのサブセットを生成するために選択された１つまたは複数のプロセスを実施し、画像データとともに追加データのサブセットを第１のセッション中にヘッドウェアラブルディスプレイに送信するようにワイヤレス通信インターフェースを構成するようにさらに構成される。いくつかの実施形態では、追加データのサブセットは、少なくとも、物理空間内のヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報、ヘッドウェアラブルディスプレイのユーザの手の形状、場所、もしくは方位を示す手モデルデータ、またはヘッドウェアラブルディスプレイのユーザの注視方向を示すアイトラッキングデータを含む。

本明細書において開示されるさまざまな実施形態は、ヘッドウェアラブルディスプレイに関する。いくつかの実施形態では、このヘッドウェアラブルディスプレイは、ワイヤレス通信インターフェースと、プロセッサとを含む。いくつかの実施形態では、このプロセッサは、コンソールから、第１のセッション中に、人工現実の画像を示す画像データと、人工現実の画像と関連づけられた追加データをコンソールが生成するための予想処理終了時間を示すタイミング情報とを受信するようにワイヤレス通信インターフェースを構成する。いくつかの実施形態では、プロセッサは、予想処理終了時間までスリープモードでワイヤレス通信インターフェースを構成する。いくつかの実施形態では、このプロセッサは、コンソールから、予想処理終了時間後の第２のセッション中に、追加データを受信するようにワイヤレス通信インターフェースを構成する。いくつかの実施形態では、このプロセッサは、人工現実の画像および追加データに応じて人工現実を提示する。いくつかの実施形態では、追加データは、物理空間内のヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報を含む。

添付の図面は、一定の縮尺で描画されることを意図したものではない。さまざまな図面における同じ参照番号および指定は、同じ要素を示す。わかりやすいように、あらゆる構成要素があらゆる図面で標示可能であるとは限らない。

本開示の例示的な実装形態による、人工現実システムを含むシステム環境の図である。 本開示の例示的な実装形態による、ヘッドウェアラブルディスプレイの図である。 本開示の例示的な実装形態による、コンテンツプロバイダの図である。 本開示の例示的な実装形態による、ヘッドウェアラブルディスプレイとコンソールとの間の通信の例示的なタイミング図である。 本開示の例示的な実装形態による、コンソールが画像データおよび追加データをヘッドウェアラブルディスプレイに送信する例示的なプロセスを図示する図である。 本開示の例示的な実装形態による、ヘッドウェアラブルディスプレイが画像データおよび追加データをコンソールから受信する例示的なプロセスを図示する図である。 本開示の例示的な実装形態による、コンピューティング環境のブロック図である。

いくつかの実施形態を詳細に例証する図に戻る前に、本開示は、本明細書に記載されるまたは図に例証される詳細または方法論に限定されないことが理解されるべきである。本明細書において使用される用語は説明のみを目的としたものであり、限定とみなされるべきではないことも、理解されるべきである。

本明細書において開示されるものは、減少されたレイテンシとともに人工現実の追加データをコンソールデバイスからヘッドウェアラブルディスプレイ（ＨＷＤ）に送信することによって人工現実空間（たとえば、ＡＲ空間、ＶＲ空間、またはＭＲ空間）を遠隔でレンダリングするためのシステムおよび方法に関する。追加データは、人工現実の画像以外の、人工現実を提示またはレンダリングすることと関連づけられた情報であってよい。追加データとしては、物体情報、奥行き情報、手モデルデータ、フィードバック情報などがあり得る。いくつかの実施形態では、コンソールは、１つまたは複数の割り振られたセッション内で人工現実の画像を示す画像データを送信する。たとえば、コンソールは、セッション内で人工現実の画像データの一部分または画像データ全体を送信し得、次いで、算定されたセンサデータを送信するその後のセッションまで、ＨＷＤとの通信を不可能にし得る。一態様では、２つのセッション間の通信を不可能にすることによって、コンソールおよびＨＷＤの電力消費量が節約可能である。いくつかの実施形態では、人工現実の画像データ以外の、人工現実を提示またはレンダリングすることと関連づけられた追加データは、画像データのためのセッション中の送信の準備が整っていないことがあり、その後の画像データのためのその後のセッション中に送信され、それによって、追加データの送信の遅延を引き起こすことがある。しかしながら、追加データの送信の遅延は、ＨＷＤのユーザの動きを検出することからのレイテンシを引き起こし、検出された動きに対応する人工現実を提示することがある。そのようなレイテンシは、激しい震動を引き起こし、人工現実におけるユーザエクスペリエンスを劣化させることがある。一態様では、人工現実を提示する際のレイテンシを減少させるために、コンソールは、本明細書において開示されるさまざまな手法を通じて追加データを適応的に送信してよい。

１つの手法では、セッション（たとえば、送信機会（ＴＸ ＯＰ）ウィンドウ、および／または現在のシステム間隔）が、追加データの送信が可能であるまたはこれに適している場合、コンソールは、画像データのためのセッション中の人工現実の画像を示す画像データと関連づけられた追加データを送信し得る。たとえば、コンソールは、画像データのためのセッションの終了の前に追加データが送信可能であるかどうかを決定し得る。画像データと関連づけられた追加データが、画像データのためのセッションの終了の前に送信可能である場合、コンソールは、セッション内に画像データとともに追加データをＨＷＤに送信し得る。

１つの手法では、セッションが、追加データの送信が不可能であるまたはこれに適していない場合、コンソールは、セッションを調整してもよいし、追加データを調整してもよいし、両方を調整してもよい。一例では、コンソールは、セッションを延長してよく、延長されたセッション内で追加データを送信してよい。一例では、コンソールは、追加データの異なるサブセットの優先順位またはランキングに応じて、追加データのサブセットを選択し、セッション内に追加データの選択されたサブセットを送信することがある。コンソールは、追加データの他のサブセットの送信を省略または回避してもよいし、その後のセッション中に追加データの他のサブセットを送信してもよい。

１つの手法では、セッションが、追加データの送信が不可能であるまたはこれに適していない場合、コンソールは、画像のためのセッションとその後の画像のためのその後のセッションとの間に（たとえば、これらの一方または両方において）追加データを送信することができる。たとえば、コンソールは、追加データの送信のための予想時間を示すタイミング情報をＨＷＤに送信することができる。コンソールは、セッション内でタイミング情報（追加データの一部分に対応し得る）をＨＷＤに送信してよい。セッションの後および予想時間の前に、コンソールとＨＷＤとの間の通信が不可能にされることがある。予想時間において、またはその後で、コンソールとＨＷＤとの間の通信は、タイミング情報に応じて可能にされることができ、コンソールは、追加データのうちのいくらかまたはすべてをＨＷＤに送信することができる。

図１は、例示的な人工現実システム環境１００のブロック図である。いくつかの実施形態では、人工現実システム環境１００は、ユーザによって装着されたＨＷＤ１５０と、人工現実のコンテンツをＨＷＤ１５０に提供するコンソール１１０とを含む。ＨＷＤ１５０は、ヘッドマウントディスプレイ（ＨＭＤ）、ヘッドマウントデバイス（ＨＭＤ）、ヘッドウェアラブルデバイス（ＨＷＤ）、頭部装着ディスプレイ（ＨＷＤ）、または頭部装着デバイス（ＨＷＤ）と呼ばれることがあり、これを含んでもよいし、この一部であってもよい。ＨＷＤ１５０は、その場所および／またはＨＷＤ１５０の方位、ならびにユーザの身体／手／顔の形状、場所、および／または方位を検出し、検出されたＨＷＤ１５０の場所および／もしくは方位ならびに／または身体／手／顔の形状、場所、および／もしくは方位を示す追跡情報をコンソール１１０に提供し得る。コンソール１１０は、検出されるＨＤＭ１５０の場所および／または方位、ユーザの検出された身体／手／顔の形状、場所、および／または方位、および／または人工現実のためのユーザ入力に応じた人工現実の画像を示す画像データを生成し、提示のために画像データをＨＷＤ１５０に送信し得る。いくつかの実施形態では、人工現実システム環境１００は、図１に図示されるものよりも多い、これよりも少ない、またはこれとは異なる構成要素を含む。いくつかの実施形態では、人工現実システム環境１００の１つまたは複数の構成要素の機能は、本明細書において説明されるのとは異なる様式で構成要素間に分散可能である。たとえば、コンソール１１０の機能のうちのいくらかは、ＨＷＤ１５０によって実施されてよい。たとえば、ＨＷＤ１５０の機能のうちのいくらかは、コンソール１１０によって実施されてよい。いくつかの実施形態では、コンソール１１０は、ＨＷＤ１５０の一部として一体化される。

いくつかの実施形態では、ＨＷＤ１５０は、ユーザによって装着可能であり、人工現実体験をユーザに提示または提供することができる、電子構成要素である。ＨＷＤ１５０は、人工現実体験をユーザに提供するために、１つまたは複数の画像、映像、オーディオ、またはそれらの何らかの組み合わせをレンダリングし得る。いくつかの実施形態では、オーディオは、ＨＷＤ１５０、コンソール１１０、または両方からオーディオ情報を受信し、このオーディオ情報に基づいてオーディオを提示する外部デバイス（たとえば、スピーカおよび／またはヘッドフォン）を介して、提示される。いくつかの実施形態では、ＨＷＤ１５０は、センサ１５５と、アイトラッカー１６０と、ハンドトラッカー１６２と、通信インターフェース１６５と、画像レンダラ１７０と、電子ディスプレイ１７５と、レンズ１８０と、補償器１８５とを含む。これらの構成要素は、ＨＷＤ１５０の場所およびＨＷＤ１５０を装着するユーザの注視方向を検出し、ＨＷＤ１５０の検出された場所および／または方位に対応する、人工現実における視野の画像をレンダリングするように一緒に動作してよい。他の実施形態では、ＨＷＤ１５０は、図１に図示されるものよりも多い、これよりも少ない、またはこれとは異なる構成要素を含む。

いくつかの実施形態では、センサ１５５は、ＨＷＤ１５０の場所および方位を検出する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。センサ１５５の例としては、１つもしくは複数のイメージングセンサ、１つもしくは複数の加速度計、１つもしくは複数のジャイロスコープ、１つもしくは複数の磁力計、またはモーションおよび／もしくは場所を検出する別の適切なタイプのセンサがあり得る。たとえば、１つまたは複数の加速度計は、並進運動（たとえば、前後、上下、左右）を測定することができ、１つまたは複数のジャイロスコープは、回転運動（たとえば、ピッチ、ヨー、ロール）を測定することができる。いくつかの実施形態では、センサ１５５は、並進運動および回転運動を検出し、ＨＷＤ１５０の方位および場所を決定する。一態様では、センサ１５５は、ＨＷＤ１５０の以前の方位および場所に対する並進運動および回転運動を検出し、検出された並進運動および／または回転運動を蓄積または統合することによってＨＷＤ１５０の新しい方位および／または場所を決定することができる。ＨＷＤ１５０が２０度回転したことを検出したことを受けて、ＨＷＤ１５０が基準方向から２５度の方向に方位づけられる一例を仮定すると、センサ１５５は、ＨＷＤ１５０が現在、基準方向から４５度の方向に向いているまたは方位づけられることを決定することがある。ＨＷＤ１５０が第２の方向に３フィート移動したことを検出したことを受けて、ＨＷＤ１５０が基準点から第１の方向に２フィート離れて配置された別の例を仮定すると、センサ１５５は、ＨＷＤ１５０が現在、第１の方向の２フィートと第２の方向の３フィートのベクトル乗算のところに配置されていることを決定することがある。

いくつかの実施形態では、アイトラッカー１６０は、ＨＷＤ１５０のユーザの注視方向を決定する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。いくつかの実施形態では、ＨＷＤ１５０、コンソール１１０、またはそれらの組み合わせは、人工現実のための画像データを生成するために、ＨＷＤ１５０のユーザの注視方向を組み合わせてよい。いくつかの実施形態では、アイトラッカー１６０は２つのアイトラッカーを含み、各アイトラッカー１６０は、対応する眼の画像をキャプチャし、眼の注視方向を決定する。一例では、アイトラッカー１６０は、眼のキャプチャされた画像に応じて、眼の角度回転、眼の並進、眼の回旋の変化、および／または眼の形状の変化を決定し、決定された眼の角度回転、並進、および回旋の変化に応じて、ＨＷＤ１５０に対する相対的な注視方向を決定する。１つの手法では、アイトラッカー１６０は、所定の基準パターンまたは構造化されたパターンを眼の一部分の上に照射または投影し、ＨＷＤ１５０に対する眼の相対的な注視方向を決定するように、眼のその一部分の上に投射されたパターンを分析するために、眼の画像をキャプチャすることがある。いくつかの実施形態では、アイトラッカー１６０は、ユーザの注視方向を決定するために、ＨＷＤ１５０の方位とＨＷＤ１５０に対する相対的な注視方向を組み合わせる。ＨＷＤ１５０が基準方向から３０度の方向に方位づけられ、ＨＷＤ１５０の相対的な注視方向がＨＷＤ１５０に対して－１０度（すなわち３５０度）である一例を仮定すると、アイトラッカー１６０は、ユーザの注視方向は基準方向から２０度であることを決定し得る。いくつかの実施形態では、ＨＷＤ１５０のユーザは、アイトラッカー１６０を有効または無効にするように（たとえば、ユーザ設定を介して）ＨＷＤ１５０を構成することができる。いくつかの実施形態では、ＨＷＤ１５０のユーザは、アイトラッカー１６０を有効または無効にするように促される。

いくつかの実施形態では、ハンドトラッカー１６２は、ユーザの手を追跡する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。いくつかの実施形態では、ハンドトラッカー１６２は、イメージングセンサ（たとえば、カメラ）と、手の形状、場所、および方位を検出することができる画像プロセッサとを含むか、またはこれらに結合される。ハンドトラッカー１６２は、検出された手の形状、場所、および方位を示すハンドトラッキング測定値を生成することがある。

いくつかの実施形態では、通信インターフェース１６５は、コンソール１１０と通信する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。通信インターフェース１６５は、通信リンクを通じてコンソール１１０の通信インターフェース１１５と通信し得る。通信リンクは、ワイヤレスリンクであってよい。ワイヤレスリンクの例としては、セルラー通信リンク、近距離通信リンク、Ｗｉ－Ｆｉ、ブルートゥース、６０ＧＨｚワイヤレスリンク、または任意の通信のワイヤレス通信リンクがあり得る。通信リンクを通じて、通信インターフェース１６５は、決定されたＨＷＤ１５０の場所および／もしくは方位、決定されたユーザの注視方向、ならびに／またはハンドトラッキング測定値を示すデータをコンソール１１０に送信し得る。その上、通信リンクを通じて、通信インターフェース１６５は、レンダリングされることになる画像を示すまたはこれに対応する画像データと、画像と関連づけられた追加データをコンソール１１０から受信し得る。

いくつかの実施形態では、画像レンダラ１７０は、たとえば、人工現実の空間の視野の変化に応じて、表示のための１つまたは複数の画像を生成する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。いくつかの実施形態では、画像レンダラ１７０は、本明細書において説明されるさまざまな機能を実施する命令を実行するプロセッサ（またはグラフィカル処理ユニット（ＧＰＵ））として実装される。画像レンダラ１７０は、通信インターフェース１６５を通じて、レンダリングされることになる人工現実の画像を記述する画像データと、画像と関連づけられた追加データを受信し、電子ディスプレイ１７５を通じて画像をレンダリングし得る。いくつかの実施形態では、コンソール１１０からの画像データは符号化されることがあり、画像レンダラ１７０は、画像をレンダリングするために画像データを復号することがある。いくつかの実施形態では、画像レンダラ１７０は、人工現実空間内の仮想物体を示す物体情報と、仮想物体の奥行き（またはＨＷＤ１５０からの距離）を示す奥行き情報を、追加データ内でコンソール１１０から受信する。一態様では、人工現実の画像、物体情報、コンソール１１０からの奥行き情報、および／またはセンサ１５５からの更新されたセンサ測定値に応じて、画像レンダラ１７０は、更新されたＨＷＤ１５０の場所および／または方位に対応するように人工現実の画像を更新するためのシェーディング、再投影、および／またはブレンディングを実施し得る。ユーザが、更新されたセンサ測定値に応答して画像全体を再作成するのではなく、初期センサ測定後に頭部を回転させると仮定すると、画像レンダラ１７０は、更新されたセンサ測定値に応じて人工現実内の更新された視野に対応する画像の小さい部分（たとえば、１０％）を生成し、その部分を、再投影を通じてコンソール１１０からの画像データ内の画像に付加し得る。画像レンダラ１７０は、付加されたエッジに対してシェーディングおよび／またはブレンディングを実施し得る。したがって、更新されたセンサ測定値に応じて人工現実の画像を再作成することなく、画像レンダラ１７０は、人工現実の画像を生成することができる。いくつかの実施形態では、画像レンダラ１７０は、ユーザの手に対応する手モデルの形状、場所、および方位を示す手モデルデータを受信し、手モデルを人工現実の画像の上に被せる。そのような手モデルは、ユーザが人工現実内でのさまざまな相互作用を提供することを可能にするために視覚的フィードバックとして提示されることがある。

いくつかの実施形態では、電子ディスプレイ１７５は、画像を表示する電子構成要素である。電子ディスプレイ１７５は、たとえば、液晶ディスプレイまたは有機発光ダイオードディスプレイであってよい。電子ディスプレイ１７５は、ユーザが見通すことを可能にする透明ディスプレイであってよい。いくつかの実施形態では、ＨＷＤ１５０がユーザによって装着されるとき、電子ディスプレイ１７５は、ユーザの眼に近接して（たとえば、３インチ未満に）配置される。一態様では、電子ディスプレイ１７５は、画像レンダラ１７０によって生成される画像に応じて、ユーザの眼の方へ光を発するまたは投影する。

いくつかの実施形態では、レンズ１８０は、電子ディスプレイ１７５から受け取られた光を変える機械的な構成要素である。レンズ１８０は、電子ディスプレイ１７５からの光を大きくし、光と関連づけられた光学誤差を補正する。レンズ１８０は、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、または電子ディスプレイ１７５からの光を変える任意の適切な光学構成要素であってよい。レンズ１８０を通して、電子ディスプレイ１７５からの光は、電子ディスプレイ１７５が眼に極めて近接しているにもかわわらず、電子ディスプレイ１７５によって表示される画像をユーザが見ることができるように、瞳孔に到達することができる。

いくつかの実施形態では、補償器１８５は、いかなるひずみまたは収差をも補償するために補償を実施する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。一態様では、レンズ１８０は、色収差、糸巻き形ひずみ、樽形ひずみなどの光学収差をもたらす。補償器１８５は、レンズ１８０によって引き起こされるひずみを補償するように画像レンダラ１７０からレンダリングされることになる画像に適用されるために補償（たとえば、先行ひずませ）を決定し、決定された補償を画像レンダラ１７０から画像に適用し得る。補償器１８５は、先行ひずまされた画像を電子ディスプレイ１７５に提供し得る。

いくつかの実施形態では、コンソール１１０は、ＨＷＤ１５０にレンダリングされることになるコンテンツを提供する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせである。一態様では、コンソール１１０は、通信インターフェース１１５と、コンテンツプロバイダ１３０とを含む。これらの構成要素は、ＨＷＤ１５０の場所およびＨＷＤ１５０のユーザの注視方向に対応する人工現実の視野（たとえば、ユーザのＦＯＶ）を決定するように一緒に動作することがあり、決定された視野に対応する人工現実の画像を示す画像データを生成することができる。加えて、これらの構成要素は、画像と関連づけられた追加データを生成するように一緒に動作することがある。追加データは、人工現実の画像以外の、人工現実を提示またはレンダリングすることと関連づけられた情報であってよい。追加データの例としては、手モデルデータ、物理空間内のＨＷＤ１５０の場所および方位を仮想空間に変換するためのマッピング情報（または、同時位置推定およびマッピング（ＳＬＡＭ）データ）、アイトラッキングデータ、モーションベクトル情報、奥行き情報、エッジ情報、物体情報などがある。コンソール１１０は、人工現実の提示のために画像データおよび追加データをＨＷＤ１５０に提供することがある。他の実施形態では、コンソール１１０は、図１に図示されるものよりも多い、これよりも少ない、またはこれとは異なる構成要素を含む。いくつかの実施形態では、コンソール１１０は、ＨＷＤ１５０の一部として一体化される。

いくつかの実施形態では、通信インターフェース１１５は、ＨＷＤ１５０と通信する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせである。通信インターフェース１１５は、通信リンク（たとえば、ワイヤレスリンク）を通じてコンソール１１０の通信インターフェース１１５と通信するために、通信インターフェース１６５への対応物構成要素であってよい。通信リンクを通じて、通信インターフェース１１５は、決定されたＨＷＤ１５０の場所および／もしくは方位、決定されたユーザの注視方向、ならびに／またはハンドトラッキング測定値を示すデータをＨＷＤ１５０から受信し得る。その上、通信リンクを通じて、通信インターフェース１１５は、レンダリングされることになる画像を記述する画像データと、人工現実の画像と関連づけられた追加データをＨＷＤ１５０に送信し得る。

コンテンツプロバイダ１３０は、ＨＷＤ１５０の場所および／または方位に応じてレンダリングされることになるコンテンツを生成する構成要素を含むまたはこれに対応することができる。いくつかの実施形態では、コンテンツプロバイダ１３０は、レンダリングされることになるコンテンツを生成するために、ＨＷＤ１５０のユーザの注視方向と、ハンドトラッキング測定値に基づいた人工現実内のユーザ相互作用を組み込み得る。一態様では、コンテンツプロバイダ１３０は、ＨＷＤ１５０の場所および／または方位に応じて人工現実の視野を決定する。たとえば、コンテンツプロバイダ１３０は、物理空間内のＨＷＤ１５０の場所を人工現実空間内の場所にマップし、人工現実空間内のマップされた場所からマップされた方位に対応する方向に沿って人工現実空間の視野を決定する。コンテンツプロバイダ１３０は、人工現実空間の決定された視野の画像を記述する画像データを生成し、この画像データを、通信インターフェース１１５を通じてＨＷＤ１５０に送信する。コンテンツプロバイダ１３０はまた、ハンドトラッキング測定値に応じてＨＷＤ１５０のユーザの手に対応する手モデルを生成し、人工現実空間内の手モデルの形状、場所、および方位を示す手モデルデータを生成し得る。いくつかの実施形態では、コンテンツプロバイダ１３０は、画像と関連づけられた、モーションベクトル情報、奥行き情報、エッジ情報、物体情報、手モデルデータなどを含む追加データを生成し、画像データとともに追加データを、通信インターフェース１１５を通じてＨＷＤ１５０に送信し得る。コンテンツプロバイダ１３０は、画像を記述する画像データを符号化してよく、符号化されたデータをＨＷＤ１５０に送信することができる。いくつかの実施形態では、コンテンツプロバイダ１３０は、周期的に（たとえば、１１ｍｓごとに）、画像データを生成して、ＨＷＤ１５０に提供する。一態様では、通信インターフェース１１５は、以下で図３から図６を参照して説明されるように、追加データをＨＷＤ１５０に適応的に送信することができる。

図２は、例示的な一実施形態による、ＨＷＤ１５０の図である。いくつかの実施形態では、ＨＷＤ１５０は、前部剛体２０５と、バンド２１０とを含む。前部剛体２０５は、電子ディスプレイ１７５（図２に図示されず）と、レンズ１８０（図２に図示されず）と、センサ１５５と、アイトラッカー１６０Ａと１６０Ｂと、通信インターフェース１６５と、画像レンダラ１７０とを含む。図２によって図示される実施形態では、通信インターフェース１６５、画像レンダラ１７０、およびセンサ１５５は、前部剛体２０５内に配置され、ユーザに見えないことがある。他の実施形態では、ＨＷＤ１５０は、図２に図示されるものとは異なる構成を有する。たとえば、通信インターフェース１６５、画像レンダラ１７０、アイトラッカー１６０Ａ、１６０Ｂ、および／またはセンサ１５５は、図２に図示されるものとは異なる場所にあってよい。

図３は、本開示の例示的な実装形態による、コンテンツプロバイダ１３０の図である。いくつかの実施形態では、コンテンツプロバイダ１３０は、画像データジェネレータ３１０と、追加データジェネレータ３２０と、通信インターフェースコントローラ３３０とを含む。これらの構成要素は、人工現実の視野の画像を示す画像データと、人工現実の画像データと関連づけられた追加データを生成し、画像および追加データをＨＷＤ１５０に送信するように一緒に動作し得る。いくつかの実施形態では、コンテンツプロバイダ１３０は、図３に図示されるものよりも多い、これよりも少ない、またはこれとは異なる構成要素を含む。いくつかの実施形態では、コンテンツプロバイダ１３０のいくつかの構成要素の機能は、ＨＷＤ１５０によって実施可能である。

いくつかの実施形態では、画像データジェネレータ３１０は、ＨＷＤ１５０からセンサ測定値に応じて人工現実の画像を示す画像データを生成する、ハードウェア構成要素（たとえば、プロセッサ、回路）、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素の組み合わせに対応するまたはこれを含む。１つの手法では、画像データジェネレータ３１０は、物理空間内のＨＷＤ１５０の場所および／または方位に対応する、人工現実空間内の場所および／または方位をマップする。次いで、画像データジェネレータ３１０は、マップされた人工現実空間内の方位に応じて、マップされた人工現実空間内の場所から人工現実空間の視野を決定し得る。画像データジェネレータ３１０は、決定された人工現実空間の視野の画像を示す画像データを生成し得る。たとえば、センサ測定値が、ＨＷＤ１５０のユーザが頭を時計回り方向に９０度回転させたことを示す場合、画像データジェネレータ３１０は、人工現実空間内での９０度の時計回りの回転に対応する画像を生成し得る。

いくつかの実施形態では、追加データジェネレータ３２０は、ＨＷＤ１５０からセンサ測定値に応じて追加データを生成する、ハードウェア構成要素（たとえば、プロセッサ）、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素の組み合わせに対応するまたはこれを含む。追加データは、人工現実の画像以外の、人工現実を提示またはレンダリングすることと関連づけられた情報であってよい。追加データとしては、物体情報、奥行き情報、手モデルデータなどがあり得る。物体情報は、人工現実内の対話型仮想物体、または非対話型仮想物体を示してよく、奥行き情報は、人工現実内でのユーザまたはＨＷＤに対する仮想物体の奥行きまたは距離を示してよい。追加データジェネレータ３２０は、人工現実空間内のマップされた場所および方位に応じて、人工現実空間内の仮想物体の物体情報および奥行き情報を生成し得る。追加データジェネレータ３２０は、検出された、ＨＷＤ１５０からの手の形状、場所、および方位を示すハンドトラッキング測定値に応じて、仮想手モデルの形状、場所、および方位を示す手モデルデータも生成し得る。加えて、追加データジェネレータ３２０は、物理空間内のＨＷＤ１５０の場所および方位を人工現実空間にマップするまたは変換するためのマッピング情報を生成し得る。加えて、追加データジェネレータ３２０は、ＨＷＤ１５０のユーザの位置、方位、および／または方向を示すハンドトラッキングデータを生成し得る。

いくつかの実施形態では、通信インターフェースコントローラ３３０は、通信インターフェース１１５を構成する構成要素に対応するまたはこれを含む。一態様では、通信インターフェースコントローラ３３０は、１つまたは複数のセッション中にＨＷＤ１５０と通信するように通信インターフェース１１５を構成する。１つまたは複数のセッションは、あらかじめ決定されてよく、通信インターフェースコントローラ３３０によって調整可能であってよい。一例では、通信インターフェースコントローラ３３０は、検出されたＨＷＤ１５０の場所および方位ならびに／またはユーザの注視方向のセンサ測定値を示すデータを受信するように通信インターフェース１１５を構成する。一例では、通信インターフェースコントローラ３３０は、人工現実の画像を示す画像データを送信するように通信インターフェース１１５を構成する。セッション間に、通信インターフェースコントローラ３３０は、スリープモードで動作または存在し、ＨＷＤ１５０との通信を不可能にするように通信インターフェース１１５を構成してよい。ＨＷＤ１５０とコンソール１１０との間の通信を不可能にすることによって、コンソール１１０およびＨＷＤ１５０は、電力消費量を減少させ得る。しかしながら、通信インターフェース１１５を有効および無効にすることによって、追加データの送信が遅延されることがあり、これによって、ＨＷＤ１５０によるユーザへの人工現実の提示が遅延され、ユーザエクスペリエンスが劣化され得る。一態様では、通信インターフェースコントローラ３３０は、人工現実の提示のレイテンシを減少させ、シームレスな体験をＨＷＤ１５０のユーザに提供するために、追加データを適応的に送信するように、通信インターフェース１１５を構成する。

１つの手法では、通信インターフェースコントローラ３３０は、画像データの送信のためのセッションが追加データの送信に適しているまたは追加データの送信が可能であるかどうかを決定する。いくつかの実施形態では、通信インターフェースコントローラ３３０は、予想送信終了時間（Ｔ_ＵＬ）および予想処理終了時間（Ｔ_ＥＳＴ）を推定、投影、計算、決定、および／または取得し、予想送信終了時間Ｔ_ＵＬと予想処理終了時間Ｔ_ＥＳＴを比較することによって、セッションが追加データの送信に適しているまたは追加データの送信が可能であるかどうかを決定する。一態様では、予想送信終了時間Ｔ_ＵＬは、人工現実の画像を示す画像データのＨＷＤ１５０へのワイヤレス送信のためのセッション（たとえば、データ転送または送信セッション）を完了する予想時間である。通信インターフェースコントローラ３３０は、（たとえば、たとえばある時間インスタンスにおいて／によって利用可能であるまたは生成される）画像データのサイズまたはワイヤレスチャネルの量およびデータレート（たとえば、ある時間インスタンスにおける、たとえば、平均または瞬間的データレート）に応じて、予想送信終了時間（Ｔ_ＵＬ）を決定し得る。一態様では、予想処理終了時間Ｔ_ＥＳＴは、人工現実の画像と関連づけられた追加データの生成（たとえば、収集、計算、形成）を追加データジェネレータ３２０が完了する予想時間である。通信インターフェースコントローラ３３０は、追加データを生成するプロセスの数、および追加データを生成するプロセスを実行するために利用可能なプロセッサまたはリソースの数に応じて、予想処理終了時間Ｔ_ＥＳＴを決定し得る。たとえば、通信インターフェースコントローラ３３０は、追加データジェネレータ３２０の利用可能なプロセッサが追加データを生成するプロセスを実行する時間の量を決定することがある。予想送信終了時間（Ｔ_ＵＬ）が予想処理終了時間（Ｔ_ＥＳＴ）よりも大きい場合、通信インターフェースコントローラ３３０は、セッションは追加データの送信に適しているまたは追加データの送信が可能であることを決定し得る。予想送信終了時間（Ｔ_ＵＬ）が予想処理終了時間（Ｔ_ＥＳＴ）よりも小さい場合、通信インターフェースコントローラ３３０は、セッションは追加データの送信に適していないまたは追加データの送信が不可能である（たとえば、セッションは、同じシステム間隔内で追加データを通信するために、持続時間があまりに短いまたはあまりに多い画像データをすでに通信している）ことを決定し得る。

１つの手法では、セッションが、追加データの送信が可能であるまたはこれに適している場合、通信インターフェースコントローラ３３０は、セッション内で画像データおよび追加データを送信するように通信インターフェース１１５を構成することがある。一例では、通信インターフェースコントローラ３３０は、画像データを送信するように通信インターフェース１１５を構成し、画像データの送信後かつ予想送信終了時間Ｔ_ＵＬの前に、追加データを送信するように通信インターフェース１１５を構成することがある。

１つの手法では、セッションが、追加データの送信が不可能であるまたはこれに適していない場合、通信インターフェースコントローラ３３０は、セッションを調整することがある。一態様では、通信インターフェースコントローラ３３０は、予想送信終了時間Ｔ_ＵＬを増加させるようにセッションを延長し、延長されたセッション内に追加データを送信するように通信インターフェース１１５を構成する。たとえば、予想送信終了時間Ｔ_ＵＬが予想処理終了時間Ｔ_ＥＳＴよりも小さい場合、通信インターフェースコントローラ３３０は、予想送信終了時間Ｔ_ＵＬを延長するためにデータレートまたは帯域幅を減少させるように変調および符号化方式を調整してよい。予想処理終了時間Ｔ_ＥＳＴが５ｍｓであり、１Ｇｂｐｓデータレートをもつ初期ＭＣＳ選択に基づく予想送信終了時間Ｔ_ＵＬが１ｍｓである例を仮定すると、通信インターフェースコントローラ３３０は、延長された予想送信終了時間Ｔ_ＵＬが５ｍｓであってよいように、２００ＭｂｐｓであるようにＭＣＳ選択を調整してよい。一例では、通信インターフェースコントローラ３３０は、延長された送信終了時間Ｔ_ＵＬをもつ調整されたセッション内で画像データおよび追加データを送信するように通信インターフェース１１５を構成することがある。

１つの手法では、画像データのためのセッションが、追加データの送信が不可能であるまたはこれに適していない場合、通信インターフェースコントローラ３３０は、送信のために追加データを調整してよい。一態様では、通信インターフェースコントローラ３３０は、追加データの優先順位またはランキングの異なるサブセットに応じて、追加データのサブセットを選択し、セッション内に追加データの選択されたサブセットを送信するように通信インターフェース１１５を構成することがある。たとえば、通信インターフェースコントローラ３３０は、画像と関連づけられた他のデータより、人工現実の画像と関連づけられたＳＬＡＭデータまたは手モデルデータを選択することがある。通信インターフェースコントローラ３３０は、追加データの他のサブセットの送信を省略または回避するように通信インターフェース１１５を構成することがある。あるいは、通信インターフェースコントローラ３３０は、その後のセッション中に追加データの他のサブセットを送信するように通信インターフェース１１５を構成してよい。いくつかの実施形態では、通信インターフェースコントローラ３３０は、追加データジェネレータ３２０が追加データの選択されたサブセットを生成するための１つまたは複数のプロセスを優先するように、追加データの他のサブセットを生成するための１つまたは複数のプロセスを省略または回避するように追加データジェネレータ３２０を構成することがある。したがって、予想処理終了時間Ｔ_ＥＳＴは減少可能であり、通信インターフェースコントローラ３３０は、（同じ）セッション内で（たとえば、同じ送信機会（ＴＸ ＯＰ）ウィドウおよび／またはシステム間隔内で）画像データおよび選択された追加データのサブセット送信するように、通信インターフェース１１５を構成し得る。

１つの手法では、セッションが、追加データの送信が不可能であるまたはこれに適していない場合、通信インターフェースコントローラ３３０は、画像のためのセッションとその後の画像のためのその後のセッションとの間に追加データを送信するように通信インターフェース１１５を構成することができる。たとえば、通信インターフェースコントローラ３３０は、通信インターフェース１１５に、予想処理終了時間Ｔ_ＥＳＴを示すタイミング情報をＨＷＤ１５０に送信させることができる。タイミング情報は、セッション内で画像データとともに送信されてよい。セッションの後で予想処理終了時間Ｔ_ＥＳＴの前に、通信インターフェースコントローラ３３０は、通信インターフェース１１５を無効にすることがある。同様に、セッションの後で予想時間の前に、ＨＷＤ１５０は、タイミング情報に応えて、その通信インターフェース１６５を無効にすることがある。予想時間に、通信インターフェースコントローラ３３０は、通信インターフェース１１５を有効にすることができ、ＨＷＤ１５０は、通信インターフェース１６５を有効にすることができる。両方の通信インターフェース１１５、１６５が有効にされるとき、通信インターフェースコントローラ３３０は、追加データをＨＷＤ１５０に送信するように通信インターフェース１１５を構成してよい。追加データの送信後、通信インターフェースコントローラ３３０は、その後の画像の送信のためのその後のセッションまで、通信インターフェース１１５を無効にすることがある。同様に、追加データの送信後、ＨＷＤ１５０は、その後の画像のためのその後のセッションまで、その通信インターフェース１６５を無効にすることがある。

図４は、本開示の例示的な実装形態による、ＨＷＤ１５０とコンソール１１０との間の通信の例示的なタイミング図４００である。一例では、ＨＷＤ１５０は、セッション４１０内で、物理空間内のＨＷＤ１５０の場所および／または方位を示すセンサ測定値を取得する。ＨＷＤ１５０は、たとえば、セッション４１０内でＨＷＤ１５０のユーザの手の場所および／または方位を示すハンドトラッキング測定値を生成または取得することもある。セッション４１０の後のセッション４２０内に、ＨＷＤ１５０は、センサ測定値およびハンドトラッキング測定値を、ワイヤレスリンクを通じてコンソール１１０に送信することがある。セッション４２０の後のセッション４３０内に、コンソール１１０は、画像データを生成し、その画像データを、ワイヤレスリンクを通じてＨＷＤ１５０に送信することがある。一例では、コンソール１１０は、画像をいくつかの部分に分割することができ、対応するまたは異なるセッション内で異なる部分のための画像データを送信することができる。

場合によっては、コンソール１１０は、上記で図４を参照して説明されたように、追加データをＨＷＤ１５０に適応的に送信することがある。たとえば、コンソール１１０は、セッションが追加データを送信することが可能であるまたはこれに適している場合、セッション４３０内で画像データとともに追加データを送信することがある。セッションが、追加データを送信することが不可能であるまたはこれに適していない場合、コンソール１１０は、セッション４３０を延長してもよいし、送信のための追加データのサブセットを選択してもよいし、それらの組み合わせであってもよい。セッション４３０の後、コンソール１１０およびＨＷＤ１５０は、その後の画像のためのその後のセッション４９０まで、通信を不可能にする（たとえば、休止する、停止する、抑制する）ことがある。通信を不可能にすることによって、コンソール１１０およびＨＷＤ１５０の電力消費量が減少可能である。

いくつかの実施形態では、コンソール１１０は、予想処理終了時間Ｔ_ＥＳＴを示すタイミング情報をＨＷＤ１５０に送信し、ＨＷＤ１５０に、その通信インターフェース１６５を、予想処理終了時間Ｔ_ＥＳＴまでスリープモードであり、追加データを受信するために予想処理終了時間Ｔ_ＥＳＴで起動するように構成させることがある。追加データを受信した後、ＨＷＤ１５０は、その通信インターフェース１６５を、その後の画像のためのその後のセッション４９０までスリープモードで構成することがある。その後のセッション４９０の前に、ＨＷＤ１５０は、コンソール１１０からの画像データおよび追加データに基づいて人工現実の画像を提示することがある。いくつかの実施形態では、ＨＷＤ１５０は、その後のセッション４９０の前にＨＷＤ１５０の更新された場所および／または方位に対応する画像を提示するために、ＨＷＤ１５０の更新された場所および／または方位の測定値に応じて、再投影および／またはブレンディングを実施することがある。

図５は、本開示の例示的な実装形態による、コンソール１１０が画像データおよび追加データをＨＷＤ１５０に送信する例示的なプロセス５００を図示する。いくつかの実施形態では、プロセス５００は、図５に図示されるものよりも多い、これよりも少ない、またはこれとは異なるステップを含む。たとえば、いくつかの実施形態では、ステップ５３８、５４０、５５５、５６０、５７０、５８５のうちの２つ以上が、任意の組み合わせで実施されてよい。

１つの手法では、コンソール１１０は、人工現実の画像を示す画像データのＨＷＤ１５０へのワイヤレス送信のためのセッションを完了する予想送信終了時間（Ｔ_ＵＬ）を決定する５１０。コンソール１１０は、画像データのサイズまたは量およびコンソール１１０とＨＷＤ１５０との間のワイヤレス通信チャネルのデータレートに応じて予想送信終了時間Ｔ_ＵＬを決定してよい。たとえば、コンソール１１０は、予想送信終了時間Ｔ_ＵＬを取得、推定、または決定するために、画像データのサイズまたは量をデータレートで分割することがある。

１つの手法では、コンソール１１０は、人工現実の画像と関連づけられた追加データの生成をコンソール１１０が完了する予想処理終了時間（Ｔ_ＥＳＴ）を決定する５２０。追加データは、人工現実の画像以外の、人工現実を提示またはレンダリングすることと関連づけられた情報（たとえば、制御情報、タイミング情報、構成情報、ハンドシェーキング／肯定応答情報）であってよい。コンソール１１０は、追加データを生成するプロセスの数、および追加データを生成するプロセスを実行するために利用可能なプロセッサまたはリソースの数に応じて、予想処理終了時間Ｔ_ＥＳＴを決定し得る。たとえば、コンソール１１０は、利用可能なプロセッサが追加データを生成するプロセスを実行する時間の量を決定することがある。いくつかの実施形態では、コンソール１１０は、追加データを生成するためのプロセスを実行する前に、または追加データの一部分を生成するための１つもしくは複数のプロセスを実行する間に、予想処理終了時間Ｔ_ＥＳＴを決定する。

１つの手法では、コンソール１１０は、画像データのワイヤレス送信のためのセッションが追加データの送信が可能であるまたはこれに適しているかどうかを決定するために、予想送信終了時間Ｔ_ＵＬと予想処理終了時間Ｔ_ＥＳＴを比較する５３０。予想送信終了時間（Ｔ_ＵＬ）が予想処理終了時間（Ｔ_ＥＳＴ）よりも大きいまたはこれに等しい場合、コンソール１１０は、セッションは追加データの送信が可能であるまたはこれに適していることを決定し得る。予想送信終了時間（Ｔ_ＵＬ）が予想処理終了時間（Ｔ_ＥＳＴ）よりも小さい場合、コンソール１１０は、セッションは追加データの送信が不可能であるまたはこれに適していないことを決定し得る。画像データのワイヤレス送信のためのセッションが追加データの送信が可能であるまたはこれに適している（または予想送信終了時間Ｔ_ＵＬおよび予想処理終了時間Ｔ_ＥＳＴ）ことを踏まえて、コンソール１１０は、セッション内で画像データとともに（たとえば、ピギーバッキングに追従して、またはその直後に）追加データをＨＷＤ１５０に送信し得る。画像データおよび追加データにより、ＨＷＤ１５０は、ＨＷＤ１５０のユーザに人工現実を提示し得る。

画像データのワイヤレス送信のためのセッションが追加データの送信が不可能であるまたはこれに適していない（すなわち、予想送信終了時間Ｔ_ＵＬが予想処理終了時間Ｔ_ＥＳＴよりも小さい）ことを踏まえて、コンソール１１０は、セッション（および／または対応するアップリンク送信時間／持続時間）が調整可能であるかどうかを決定してよい５３５。たとえば、コンソール１１０は、予想送信終了時間Ｔ_ＵＬ（および／または対応するアップリンク送信時間／持続時間）が予想処理終了時間Ｔ_ＥＳＴに等しいまたはこれよりも大きいように延長可能であるかどうかを決定してよい。セッションが調整可能である場合、コンソール１１０は、予想送信終了時間Ｔ_ＵＬ（および／または対応するアップリンク送信時間／持続時間）を増加させるようにセッションを調整してよい５３８。たとえば、コンソール１１０は、予想送信終了時間Ｔ_ＵＬ（および／または対応するアップリンク送信時間／持続時間）を増加させるために、コンソール１１０からＨＷＤ１５０への送信のデータレートを低くするように、ＭＣＳ設定を変更することがある。セッション（および／または対応するアップリンク送信時間／持続時間）を調整した後、コンソール１１０は、調整されたセッション内で画像データとともに追加データを送信してよい５４０。

セッションが調整可能でない場合、コンソール１１０は、追加データのための別のセッションが利用可能であるかどうかを決定してよい５５０。別のセッションは、追加データのための一時的な送信セッションであってよい。別のセッションが利用可能である場合、コンソール１１０は、たとえば、画像データのためのセッション中に、予想処理終了時間Ｔ_ＥＳＴを示すタイミング情報をＨＷＤ１５０に送信し５５５、予想処理終了時間Ｔ_ＥＳＴにおいてまたはその後で別のセッション中に追加データを送信してよい５６０。画像データのためのセッションと追加データのための別のセッションとの間に、ＨＷＤ１５０とコンソール１１０との間の通信は、電力消費量を減少させるために不可能にされてよい。その上、別のセッション中の追加データの送信の後、ＨＷＤ１５０とコンソール１１０との間の通信は、その後の画像データのためのその後のセッションまで不可能にされてよい。

追加データのための別のセッションが利用可能でない場合、コンソール１１０は、追加データのサブセットを生成する１つまたは複数のプロセスを選択し５７０、セッション内で画像データとともに追加データのサブセットをＨＷＤ１５０に送信してよい５８５。一態様では、コンソール１１０は、追加データの異なるサブセットの優先順位またはランキングに応じて、追加データのサブセットを生成する１つまたは複数のプロセスを選択することがある。いくつかの実施形態では、コンソール１１０は、セッション内で画像データとともにＨＷＤ１５０に送信可能である追加データのサイズまたは量を適応的に決定し、決定されたサイズまたは決定された量を有する追加データのサブセットを決定する。コンソール１１０は、追加データの選択されたサブセットを生成する１つまたは複数のプロセスを実施することがある。コンソール１１０は、後のセッションのために、追加データの選択されていないサブセットを生成する他のプロセスを省略または遅延させることがある。コンソール１１０は、セッション内で画像データとともに追加データの選択されたサブセットを送信することがある。一例では、コンソール１１０は、画像と関連づけられた他のデータより、人工現実の画像と関連づけられたＳＬＡＭデータまたは手モデルデータを選択することがある。コンソール１１０は、追加データの他のサブセットの送信を省略または回避してよい。

図６は、本開示の例示的な実装形態による、ＨＷＤ１５０が画像データおよび追加データをコンソール１１０から受信する例示的なプロセス６００を図示する。いくつかの実施形態では、プロセス６００は、図６に図示されるものよりも多い、これよりも少ない、またはこれとは異なるステップを含む。

１つの手法では、ＨＷＤ１５０は、コンソール１１０からワイヤレスリンクを通じて、セッション内で人工現実の画像を示す画像データを受信する６１０。１つの手法では、ＨＷＤ１５０は、予想処理終了時間Ｔ_ＥＳＴを示すタイミング情報をコンソール１１０から受信する６２０。ＨＷＤ１５０は、セッション内で画像データおよびタイミング情報を受信してよい。

１つの手法では、ＨＷＤ１５０は、セッションの後で予想処理終了時間Ｔ_ＥＳＴの前にコンソール６３０との通信を不可能にする６３０。予想処理終了時間Ｔ_ＥＳＴにおいて、またはその後に、ＨＷＤ１５０は、コンソール１１０との通信を可能にし６４０、コンソール１１０からワイヤレスリンクを通じて追加データを受信してよい６５０。追加データを受信した後、ＨＷＤ１５０は、その後の画像のためのその後のセッションまでコンソール１１０との通信を不可能にしてよい。画像データおよび追加データにより、ＨＷＤ１５０は、ＨＷＤ１５０のユーザに人工現実を提示してよい６６０。有利には、画像データと関連づけられた追加データは、人工現実の提示を遅延させることなく、コンソール１１０からＨＷＤ１５０に適応的に送信可能である。その上、ＨＷＤ１５０は、コンソール１１０との通信のための電力消費量を減少させながら、シームレスな体験をユーザに提供することができる。

本明細書において説明されるさまざまな動作は、コンピュータシステム上で実装可能である。図７は、本開示を実装するために使用可能である代表的なコンピューティングシステム７１４のブロック図を図示する。いくつかの実施形態では、図１のコンソール１１０、ＨＷＤ１５０、または両方は、コンピューティングシステム７１４によって実装される。コンピューティングシステム７１４は、たとえば、スマートフォン、他の携帯電話、タブレットコンピュータ、ウェアラブルなコンピューティングデバイス（たとえば、スマートウォッチ、眼鏡、ヘッドウェアラブルディスプレイ）、デスクトップコンピュータ、ラップトップコンピュータなどのコンシューマデバイスとして実装可能である、または分散されたコンピューティングデバイスとともに実装可能である。コンピューティングシステム７１４は、ＶＲ体験、ＡＲ体験、ＭＲ体験を提供するように実装可能である。いくつかの実施形態では、コンピューティングシステム７１４は、プロセッサ７１６、ストレージデバイス７１８、ネットワークインターフェース７２０、ユーザ入力デバイス７２２、およびユーザ出力デバイス７２４などの、従来のコンピュータ構成要素を含むことができる。

ネットワークインターフェース７２０は、ワイドエリアネットワーク（たとえば、インターネット）への接続を提供することができ、ワイドエリアネットワークには、リモートサーバシステムのＷＡＮインターフェースも接続される。ネットワークインターフェース７２０は、ワイヤードインターフェース（たとえば、イーサネット）および／またはＷｉ－Ｆｉ、ブルートゥース、もしくはセルラーデータネットワーク規格（たとえば、３Ｇ、４Ｇ、５Ｇ、６０ ＧＨｚ、ＬＴＥなど）などのさまざまなＲＦデータ通信規格を実装するワイヤレスインターフェースを含むことができる。

ユーザ入力デバイス７２２は、ユーザが信号をコンピューティングシステム７１４に提供することができる任意のデバイス（または、任意の複数のデバイス）を含むことができる。コンピューティングシステム７１４は、信号を、特定のユーザ要求または情報を示すものと解することができる。ユーザ入力デバイス７２２は、キーボード、タッチパッド、タッチスクリーン、マウスまたは他のポインティングデバイス、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、マイクロホン、センサ（たとえば、モーションセンサ、アイトラッキングセンサなど）などのいずれかまたはすべてを含むことができる。

ユーザ出力デバイス７２４は、コンピューティングシステム７１４が情報をユーザに提供することができる任意のデバイスを含むことができる。たとえば、ユーザ出力デバイス７２４は、コンピューティングシステム７１４によって生成されたまたはこれに配信された画像を表示するディスプレイを含むことができる。ディスプレイは、サポート用電子機器（たとえば、デジタル－アナログコンバータまたはアナログ－デジタルコンバータ、信号プロセッサなど）とともに、さまざまな画像生成技術、たとえば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）を含む発光ダイオード（ＬＥＤ）、投影システム、陰極線管（ＣＲＴ）などを組み込むことができる。入出力両用デバイスとして機能するタッチスクリーンなどのデバイスが使用可能である。出力デバイス７２４は、ディスプレイに加えて、またはこの代わりに、提供可能である。例としては、インジケータライト、スピーカ、触覚「ディスプレイ」デバイス、プリンタなどがある。

いくつかの実装形態は、コンピュータ可読記憶媒体（たとえば、非一時的なコンピュータ可読媒体）内にコンピュータプログラム命令を記憶する、マイクロプロセッサ、ストレージ、およびメモリなどの電子構成要素を含む。本明細書において説明される特徴の多くは、コンピュータ可読憶媒体上の符号化されたプログラム命令のセットとして指定されるプロセスとして実装可能である。これらのプログラム命令が１つまたは複数のプロセッサによって実行されるとき、これらのプログラム命令は、プロセッサに、プログラム命令において示されるさまざまな動作を実施させる。プログラム命令またはコンピュータコードの例としては、コンパイラによって作り出されるものなどの機械コード、およびインタープリタを使用してコンピュータ、電子構成要素、またはマイクロプロセッサによって実行される高水準コードを含むファイルがある。適切なプログラミングを通じて、プロセッサ７１６は、サーバもしくはクライアントによって実施されると本明細書において説明される機能のいずれか、またはメッセージ管理サービスと関連づけられた他の機能を含む、コンピューティングシステム７１４のためのさまざまな機能を提供することができる。

コンピューティングシステム７１４は例証的であり、変形形態および修正形態が可能であることは諒解されるであろう。本開示に関連して使用されるコンピュータシステムは、本明細書では具体的に説明されていない他の能力を有することができる。さらに、コンピューティングシステム７１４は、特定のブロックに関して説明されているが、これらのブロックは、説明の便宜上定義されたものであり、構成要素部品の特定の物理的配列を暗示することを意図したものではないことが理解されるべきである。たとえば、異なるブロックは、同じ施設内、同じサーバラック内、または同じマザーボード上に配置可能である。さらに、ブロックは、物理的に別個の構成要素に対応する必要はない。ブロックは、たとえば、プロセッサをプログラムすることまたは適正な制御回路を提供することによってさまざまな動作を実施するように構成可能であり、さまざまなブロックは、初期構成がどのように取得されるかに応じて、再構成可能であってもよいし、再構成可能でなくてもよい。本開示の実装形態は、回路とソフトウェアの任意の組み合わせを使用して実装された電子デバイスを含む種々の装置内で実現可能である。

これまで、いくつかの例証的な実装形態について説明してきたので、前述のものは例証的であり、限定的ではなく、例として提示されてきたことが明らかである。特に、本明細書において提示される例の多くは、方法行為またはシステム要素の特定の組み合わせを伴うが、それらの行為およびそれらの要素は、同じ目的を成し遂げるために、他のやり方で組み合わせ可能である。一実装形態に関連して論じられる行為、要素、および特徴は、他の実装形態または実装形態における類似の役割から除外されることを意図したものではない。

本明細書において開示される実施形態に関連して説明されるさまざまなプロセス、動作、例証的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアおよびデータ処理構成要素は、汎用シングルチップもしくはマルチチッププロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブル論理デバイス、個別的なゲートもしくはトランジスタ論理、個別的なハードウェア構成要素、または本明細書において説明される機能を実施するように設計されたそれらの任意の組み合わせとともに実装または実施されてよい。汎用プロセッサは、マイクロプロセッサであってもよいし、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってもよい。プロセッサはまた、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに関連した１つもしくは複数のマイクロプロセッサ、または他の任意のそのような構成などの、コンピューティングデバイスの組み合わせとして実装されてもよい。いくつかの実施形態では、特定のプロセスおよび方法は、所与の機能に特有の回路によって実施されてよい。メモリ（たとえば、メモリ、メモリユニット、ストレージデバイスなど）は、本開示において説明されるさまざまなプロセス、レイヤ、およびモジュールを完了するまたは容易にするためのデータおよび／またはコンピュータコードを記憶するための１つまたは複数のデバイス（たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスクストレージなど）を含んでよい。メモリは、揮発性メモリまたは不揮発性メモリであってもよいし、これを含んでもよく、データベース構成要素、オブジェクトコード構成要素、スクリプト構成要素、またはさまざまな活動をサポートするための他の任意のタイプの情報構造および本開示において説明される情報構造を含んでよい。例となる実施形態によれば、メモリは、処理回路を介してプロセッサに通信可能なように接続され、本明細書において説明される１つまたは複数のプロセスを（たとえば、処理回路および／またはプロセッサによって）実行するためのコンピュータコードを含む。

本開示は、さまざまな動作を成し遂げるための方法、システム、および任意の機械可読媒体上のプログラム製品を企図する。本開示の実施形態は、既存のコンピュータプロセッサを使用して実装されてもよいし、この目的もしくは別の目的のために組み込まれた、適正なシステムのための特殊目的コンピュータプロセッサによって実装されてもよいし、ハードワイヤードシステムによって実装されてもよい。本開示の範囲内の実施形態としては、機械実行可能な命令またはデータ構造を搬送するまたはこれらをその上に記憶させるための機械可読媒体を含むプログラム製品がある。そのような機械可読媒体は、汎用コンピュータもしくは特殊目的コンピュータまたはプロセッサをもつ他の機械によってアクセス可能である任意の利用可能な媒体であってよい。例として、そのような機械可読媒体としては、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、または他の光ディスクストレージ、磁気ディスクストレージデバイスもしくは他の磁気ストレージデバイス、または機械実行可能な命令もしくはデータ構造の形で所望のプログラムコードを搬送もしくは記憶するために使用可能であり、汎用コンピュータもしくは特殊目的コンピュータもしくはプロセッサをもつ他の機械によってアクセス可能である他の任意の媒体があり得る。上記の組み合わせも、機械可読媒体の範囲内に含まれる。機械実行可能な命令としては、たとえば、汎用コンピュータ、特殊目的コンピュータ、または特殊目的処理機械に、ある機能または機能のグループを実施させる命令およびデータがある。

本明細書において使用される言い回しおよび用語は、説明のためのものであり、限定とみなされるべきでない。本明細書における「含む（ｉｎｃｌｕｄｉｎｇ）」、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」、「伴う（ｉｎｖｏｌｖｉｎｇ）」、「～によって特徴づけられる（ｃｈａｒａｃｔｅｒｉｚｅｄ ｂｙ）」、「～ことを特徴とする（ｃｈａｒａｃｔｅｒｉｚｅｄ ｉｎ ｔｈａｔ）」、およびそれらの変形の使用は、その後に列挙される項目、それらの等価物、および追加の項目、ならびにその後に列挙される項目からなる代替実装形態を排他的に包含することを意味する。一実装形態では、本明細書において説明されるシステムおよび方法は、説明された１つの要素、行為、もしくは構成要素、説明された複数の要素、行為、もしくは構成要素のすべての各組み合わせ、または説明された要素、行為、もしくは構成要素のすべてからなる。

本明細書における単数形で参照されるシステムおよび方法の実装形態または要素または行為へのいかなる参照も、複数のこれらの要素を含む実装形態を包括することができ、本明細書における複数形での任意の実装形態または要素または行為に対するいかなる参照は、単一の要素のみを含む実装形態をも包括することができる。単数形または複数形での参照は、現在開示されるシステムもしくは方法、それらの構成要素、行為、または要素を単一または複数の構成に限定することを意図したものではない。任意の行為または要素への参照が任意の情報、行為、または要素に基づくことは、行為または要素が任意の情報、行為、または要素に少なくとも部分的に基づく実装形態を含むことができる。

本明細書において開示される任意の実装形態は、他の任意の実装形態または実施形態と組み合わせ可能であり、「実装形態」、「いくつかの実装形態」、「一実装形態」などへの参照は、必ずしも相互に排他的であるとは限らず、実装形態に関連して説明される特定の特徴、構造、または特性は少なくとも１つの実装形態または実施形態に含まれ得ることを示すことを意図したものである。本明細書において使用されるそのような用語は、必ずしもすべてが同じ実装形態を参照するとは限らない。いかなる実装形態も、本明細書において開示される態様および実装形態と合致する任意の様式で、包括的または排他的に、他の任意の実装形態と組み合わせ可能である。

図面、詳細な説明、または任意の請求項における技術的特徴の後に参照符号が続く場合、参照符号は、図面、詳細な説明、および特許請求の範囲の理解しやすさを増加させるために含まれている。したがって、参照符号も、それらの欠如も、任意の請求項要素の範囲に対するいかなる限定的な効果も持たない。

本明細書において説明されるシステムおよび方法は、それらの特性から逸脱することなく他の特定の形態で具現化され得る。「ほぼ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、「約（ａｂｏｕｔ）」、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、または程度の他の用語への参照は、別段に明示的に指示されない限り、所与の測定値、単位、または範囲からの±１０％の変動を含む。結合された要素は、互いと直接的に、または介在要素と、電気的に、機械的に、または物理的に結合可能である。したがって、本明細書において説明されるシステムおよび方法の範囲は、前述の説明ではなく、添付の特許請求の範囲によって示され、請求項の意味および等価性の範囲に入る変更は、その中に包括される。

「結合される」という用語およびそれらの変形は、直接的または間接的に互いへの２つの部材の連結を含む。そのような連結は、静止（たとえば、永続的または固定）であってもよいし、移動可能（たとえば、取り外し可能または解放可能）であってもよい。そのような連結は、互いと直接的にまたはこれに２つの部材を用いて達成されてもよいし、別々の介在部材および互いと結合された任意の追加の中間部材を使用して互いと結合された２つの部材を用いて達成されてもよいし、２つの部材のうちの１つをもつ単一の一体型本体として一体的に形成された介在部材を使用して互いと結合された２つの部材を用いて達成されてもよい。「結合される（ｃｏｕｐｌｅｄ）」またはそれらの変形が追加の用語によって修飾される（たとえば、直接的に結合される）場合、上記で提供された「結合された」の一般的な定義は、追加の用語の平易な言葉の意味によって修飾され（たとえば、「直接的に結合される」は、別々の介在部材なしの２つの部材の連結を意味する）、上記で提供された「結合される」の一般的な定義よりも狭い定義をもたらす。そのような結合は、機械的であってもよいし、電気的であってもよいし、流動性であってもよい。

「または」への参照は、「または」を使用して説明されるいかなる用語も、説明された単一の用語、説明された複数の用語、および説明された用語のすべてのいずれも示すことができるように、包含的であると解釈可能である。「‘Ａ’および‘Ｂ’のうちの少なくとも１つ」への参照は、‘Ａ’のみ、‘Ｂ’のみ、ならびに‘Ａ’と‘Ｂ’の両方を含むことができる。「備える、含む」または他の排他的でない（ｏｐｅｎ）用語に関連して使用されるそのような参照は、追加の項目を含むことができる。

さまざまな要素、パラメータの値、取り付け配列、材料の使用、色、方位のサイズ、寸法、構造、形状、および比率の変動などの、説明された要素および行為の修正形態は、本明細書において開示される主題の教示および利点から著しく逸脱することなく生じ得る。たとえば、一体的に形成されると図示される要素は、複数の部品または要素から構築可能であり、要素の位置は逆転可能または別の方法で変化可能であり、個別的な要素または位置の性質または数は改変または変化可能である。他の置換、修正、変更、および省略も、本開示の範囲から逸脱することなく、開示される要素および動作の設計、動作条件、および配列において行われ得る。

本明細書における、要素の位置（たとえば、「上部（ｔｏｐ）」、「下部（ｂｏｔｔｏｍ）」、「上方（ａｂｏｖｅ）」、「下方（ｂｅｌｏｗ）」）への参照は、図におけるさまざまな要素の方位を説明するために使用されているに過ぎない。さまざまな要素の方位は、例となる他の実施形態に応じて異なってよく、そのような変形形態は、本開示によって包含されることを意図したものである。

Claims (15)

1. コンソールによって、人工現実の画像を示す画像データをヘッドウェアラブルディスプレイへワイヤレス送信するための第１のセッションの予想送信終了時間を決定することと、
   前記コンソールによって、前記人工現実の前記画像と関連づけられた追加データを生成する予想処理終了時間を決定することと、
   前記コンソールによって、前記予想送信終了時間と前記予想処理終了時間を比較することと、
   前記予想処理終了時間が前記予想送信終了時間未満であることを踏まえて、前記コンソールによって、前記画像データとともに前記追加データを前記第１のセッション中に前記ヘッドウェアラブルディスプレイに送信することと
   を含む方法。
2. 前記コンソールによって、前記ヘッドウェアラブルディスプレイから、前記ヘッドウェアラブルディスプレイの場所および方位を示す情報を受信することと、
   前記コンソールによって、受信された前記情報に応じて前記人工現実の前記画像を示す前記画像データを生成することと、
   前記コンソールによって、前記人工現実の前記画像と関連づけられた前記追加データを生成することと
   をさらに含む、請求項１に記載の方法。
3. 前記予想処理終了時間が前記予想送信終了時間未満であることを踏まえて、前記コンソールによって、前記画像データとともに前記追加データを同じ送信機会ウィンドウまたはシステム間隔内で前記ヘッドウェアラブルディスプレイに送信することと
   をさらに含む、請求項１に記載の方法。
4. 前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記コンソールによって、前記予想処理終了時間に応じて、前記第１のセッションを延長することと、
   前記コンソールによって、延長された前記第１のセッション中に、前記画像データとともに前記追加データを前記ヘッドウェアラブルディスプレイに送信することと
   をさらに含み、任意選択で、前記コンソールによって、前記予想処理終了時間に応じて、前記第１のセッションを延長することが、
   前記コンソールによって、前記第１のセッションを延長するように前記第１のセッションの変調および符号化方式を調整すること
   を含む、請求項１に記載の方法。
5. 前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記コンソールによって、前記第１のセッション中に前記ヘッドウェアラブルディスプレイに、前記予想処理終了時間を示すタイミング情報を送信することと、
   前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記コンソールによって、前記第１のセッション後の第２のセッションを通じて前記追加データを前記ヘッドウェアラブルディスプレイに送信することと
   をさらに含み、任意選択で、前記ヘッドウェアラブルディスプレイが、前記第１のセッションと前記第２のセッションとの間の前記コンソールとのワイヤレス通信を不可能にするように構成される、
   請求項１に記載の方法。
6. 前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記コンソールによって、前記追加データのサブセットを生成するために１つまたは複数のプロセスを選択することと、
   前記コンソールによって、前記追加データの前記サブセットを生成するために選択された前記１つまたは複数のプロセスを実施することと、
   前記コンソールによって、前記第１のセッション中に、前記画像データとともに前記追加データの前記サブセットを前記ヘッドウェアラブルディスプレイに送信することとをさらに含み、任意選択で、前記追加データの前記サブセットが、
   物理空間内の前記ヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報、
   前記ヘッドウェアラブルディスプレイのユーザの手の形状、場所、もしくは方位を示す手モデルデータ、または
   前記ヘッドウェアラブルディスプレイの前記ユーザの注視方向を示すアイトラッキングデータ、
   のうちの少なくとも１つを含む、請求項１に記載の方法。
7. ワイヤレス通信インターフェースと、
   人工現実の画像を示す画像データをヘッドウェアラブルディスプレイへワイヤレス送信するための第１のセッションの予想送信終了時間を決定し、
   前記人工現実の前記画像と関連づけられた追加データを生成する予想処理終了時間を決定し、
   前記予想送信終了時間と前記予想処理終了時間を比較し、
   前記予想処理終了時間が前記予想送信終了時間未満であることを踏まえて、前記画像データとともに前記追加データを前記第１のセッション中に前記ヘッドウェアラブルディスプレイに送信するように前記ワイヤレス通信インターフェースを構成する
   ように構成されたプロセッサと
   を備えるシステム。
8. 前記プロセッサが、
   前記ヘッドウェアラブルディスプレイの場所および方位を示す情報を前記ヘッドウェアラブルディスプレイから受信するように前記ワイヤレス通信インターフェースを構成し、
   受信された前記情報に応じて前記人工現実の前記画像を示す前記画像データを生成し、
   前記人工現実の前記画像と関連づけられた前記追加データを生成する
   ようにさらに構成される、請求項７に記載のシステム。
9. 前記プロセッサが、
   前記予想処理終了時間が前記予想送信終了時間未満であることを踏まえて、前記画像データとともに前記追加データを同じ送信機会ウィンドウまたはシステム間隔内で前記ヘッドウェアラブルディスプレイに送信するように前記ワイヤレス通信インターフェースを構成する
   ようにさらに構成される、請求項７に記載のシステム。
10. 前記プロセッサが、
    前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記予想処理終了時間に応じて、前記第１のセッションを延長し、
    延長された前記第１のセッション中に、前記画像データとともに前記追加データを前記ヘッドウェアラブルディスプレイに送信するように前記ワイヤレス通信インターフェースを構成する
    ようにさらに構成され、任意選択で、前記プロセッサが、前記予想処理終了時間に応じて、
    前記第１のセッションを延長するように前記第１のセッションの変調および符号化方式を調整すること
    によって、前記第１のセッションを延長するように構成される、
    請求項７に記載のシステム。
11. 前記プロセッサが、
    前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記第１のセッション中に前記ヘッドウェアラブルディスプレイに、前記予想処理終了時間を示すタイミング情報を送信するように前記ワイヤレス通信インターフェースを構成し、
    前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記第１のセッション後の第２のセッションを通じて前記追加データを前記ヘッドウェアラブルディスプレイに送信するように前記ワイヤレス通信インターフェースを構成する
    ようにさらに構成され、任意選択で、前記ヘッドウェアラブルディスプレイが、前記第１のセッションと前記第２のセッションとの間の前記ワイヤレス通信インターフェースとのワイヤレス通信を不可能にするように構成される、請求項７に記載のシステム。
12. 前記プロセッサが、
    前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記追加データのサブセットを生成するために１つまたは複数のプロセスを選択し、
    前記追加データの前記サブセットを生成するために選択された前記１つまたは複数のプロセスを実施し、
    前記画像データとともに前記追加データの前記サブセットを前記第１のセッション中に前記ヘッドウェアラブルディスプレイに送信するように前記ワイヤレス通信インターフェースを構成する
    ようにさらに構成される、請求項７に記載のシステム。
13. 前記追加データの前記サブセットが、
    物理空間内の前記ヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報、
    前記ヘッドウェアラブルディスプレイのユーザの手の形状、場所、もしくは方位を示す手モデルデータ、または
    前記ヘッドウェアラブルディスプレイの前記ユーザの注視方向を示すアイトラッキングデータ、
    のうちの少なくとも１つを含む、請求項１２に記載のシステム。
14. ワイヤレス通信インターフェースと、
    コンソールから、第１のセッション中に、人工現実の画像を示す画像データと、前記人工現実の前記画像と関連づけられた追加データを前記コンソールが生成するための予想処理終了時間を示すタイミング情報とを受信するように前記ワイヤレス通信インターフェースを構成し、
    前記予想処理終了時間までスリープモードで前記ワイヤレス通信インターフェースを構成し、
    前記コンソールから、前記予想処理終了時間後の第２のセッション中に、前記追加データを受信するように前記ワイヤレス通信インターフェースを構成し、
    前記人工現実の前記画像および前記追加データに応じて前記人工現実を提示する
    ように構成されたプロセッサと
    を備えるヘッドウェアラブルディスプレイ。
15. 前記追加データが、物理空間内の前記ヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報を含む、請求項１４に記載のヘッドウェアラブルディスプレイ。

Images