JP7436484B2 - 人工現実のためのレイテンシ減少 - Google Patents

人工現実のためのレイテンシ減少 Download PDF

Info

Publication number
JP7436484B2
JP7436484B2 JP2021533785A JP2021533785A JP7436484B2 JP 7436484 B2 JP7436484 B2 JP 7436484B2 JP 2021533785 A JP2021533785 A JP 2021533785A JP 2021533785 A JP2021533785 A JP 2021533785A JP 7436484 B2 JP7436484 B2 JP 7436484B2
Authority
JP
Japan
Prior art keywords
end time
session
console
additional data
expected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021533785A
Other languages
English (en)
Other versions
JP2022522584A (ja
Inventor
ウィリアム アボット,
ガン ルー,
チー ク,
ニコラス ダニエル トレイル,
ドン チェン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of JP2022522584A publication Critical patent/JP2022522584A/ja
Application granted granted Critical
Publication of JP7436484B2 publication Critical patent/JP7436484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/04Wireless resource allocation
    • H04W72/044Wireless resource allocation based on the type of the allocated resource
    • H04W72/0446Resources in time domain, e.g. slots or frames
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H04L1/0011Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding applied to payload information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00Arrangements affording multiple use of the transmission path
    • H04L5/003Arrangements for allocating sub-channels of the transmission path
    • H04L5/0044Arrangements for allocating sub-channels of the transmission path allocation of payload
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/30Connection release

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

関連出願の相互参照
本出願は、2019年3月8日に出願された米国特許出願第62/815,811号および2020年1月28日に出願された米国特許出願第16/774,863号の優先権を主張するものであり、これら出願の内容は、その全体がすべての目的のために参照により本明細書に組み込まれる。
本開示は、一般に、限定するものではないが、人工現実のための通信におけるレイテンシを減少させることを含む、人工現実をレンダリングするための通信に関する。
仮想現実(VR)、拡張現実(AR)、または複合現実(MR)などの人工現実は、没入型の体験をユーザに提供する。一例では、ヘッドウェアラブルディスプレイ(HWD)を装着するユーザは、ユーザの頭部を回転することができ、HWDの場所およびユーザの注視方向に対応する仮想物体の画像が、ユーザが人工現実の空間(たとえば、VR空間、AR空間、またはMR空間)内で移動しているかのようにユーザが感じることを可能にするために、HWD上に表示可能である。
一実装形態では、仮想物体の画像は、HWDに通信可能に結合されたコンソールによって生成される。一例では、HWDは、HWDの場所および/または方位を検出するさまざまなセンサを含み、検出されたHWDの場所および/または方位を、ワイヤード接続またはワイヤレス接続を通じてコンソールに送信する。コンソールは、検出されたHWDの場所および/または方位に応じて、ユーザの、人工現実の空間の視野(view)を決定し、ユーザの視野に対応する人工現実の空間の画像を示す画像データを生成することができる。コンソールは画像データをHWDに送信することができ、これによって、ユーザの視野に対応する人工現実の空間の画像がユーザに提示可能である。一態様では、HWDの場所およびHWDを装着するユーザの注視方向を検出し、画像をユーザにレンダリングするプロセスは、フレーム時間(たとえば、11ms未満)内で実施されるべきである。HWDを装着するユーザの動きとユーザの動きに対応して表示される画像との間のレイテンシは、激しい震動を引き起こすことがあり、その結果、動揺病が生じることがあり、ユーザエクスペリエンスを劣化させ得る。
以下でより詳細に説明されるように、本発明は、添付の特許請求の範囲に記載の方法、システム、およびヘッドウェアラブルディスプレイを対象とする。
本明細書において開示されるさまざまな実施形態は、人工現実をレンダリングするためにデータを通信する方法に関する。いくつかの実施形態では、この方法は、コンソールによって、人工現実の画像を示す画像データをヘッドウェアラブルディスプレイへワイヤレス送信するための第1のセッションの予想送信終了時間を決定することを含む。いくつかの実施形態では、この方法は、コンソールによって、人工現実の画像と関連づけられた追加データを生成する予想処理終了時間を決定することを含む。いくつかの実施形態では、この方法は、コンソールによって、予想送信終了時間と予想処理終了時間を比較することを含む。いくつかの実施形態では、この方法は、予想処理終了時間が予想送信終了時間未満であることを踏まえて、コンソールによって、画像データとともに追加データを第1のセッション中にヘッドウェアラブルディスプレイに送信することを含む。
いくつかの実施形態では、方法は、コンソールによって、ヘッドウェアラブルディスプレイから、ヘッドウェアラブルディスプレイの場所および方位を示す情報を受信することを含む。いくつかの実施形態では、この方法は、コンソールによって、受信された情報に応じて人工現実の画像を示す画像データを生成することを含む。いくつかの実施形態では、この方法は、コンソールによって、人工現実の画像と関連づけられた追加データを生成することを含む。いくつかの実施形態では、この方法は、予想処理終了時間が予想送信終了時間未満であることを踏まえて、コンソールによって、画像データとともに追加データを同じ送信機会ウィンドウまたはシステム間隔内にヘッドウェアラブルディスプレイに送信することを含む。
いくつかの実施形態では、この方法は、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、コンソールによって、予想処理終了時間に応じて、第1のセッションを延長することと、コンソールによって、延長された第1のセッション中にヘッドウェアラブルディスプレイに、画像データとともに追加データを送信することとを含む。いくつかの実施形態では、コンソールによって、予想処理終了時間に応じて、第1のセッションを延長することは、コンソールによって、第1のセッションを延長するように第1のセッションの変調および符号化方式を調整することを含む。
いくつかの実施形態では、方法は、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、コンソールによって、第1のセッション中にヘッドウェアラブルディスプレイに、予想処理終了時間を示すタイミング情報を送信することと、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、コンソールによって、第1のセッション後の第2のセッションを通じて、追加データをヘッドウェアラブルディスプレイに送信することとを含む。いくつかの実施形態では、ヘッドウェアラブルディスプレイは、第1のセッションと第2のセッションとの間のコンソールとのワイヤレス通信を不可能にするように構成される。
いくつかの実施形態では、方法は、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、コンソールによって、追加データのサブセットを生成するために1つまたは複数のプロセスを選択することと、コンソールによって、追加データのサブセットを生成するために選択された1つまたは複数のプロセスを実施することと、コンソールによって、第1のセッション中にヘッドウェアラブルディスプレイに、画像データとともに追加データのサブセットを送信することとを含む。いくつかの実施形態では、追加データのサブセットは、少なくとも、物理空間内のヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報、ヘッドウェアラブルディスプレイのユーザの手の形状、場所、もしくは方位を示す手モデルデータ、またはヘッドウェアラブルディスプレイのユーザの注視方向を示すアイトラッキングデータを含む。
本明細書において開示されるさまざまな実施形態は、人工現実をレンダリングするためのデータを通信するシステムに関する。いくつかの実施形態では、このシステムは、ワイヤレス通信インターフェースを含む。いくつかの実施形態では、このシステムは、人工現実の画像を示す画像データをヘッドウェアラブルディスプレイへワイヤレス送信するための第1のセッションの予想送信終了時間を決定し、人工現実の画像と関連づけられた追加データを生成する予想処理終了時間を決定し、予想送信終了時間と予想処理終了時間を比較し、予想処理終了時間が予想送信終了時間未満であることを踏まえて、画像データとともに追加データを第1のセッション中にヘッドウェアラブルディスプレイに送信するようにワイヤレス通信インターフェースを構成するように構成されたプロセッサを含む。
いくつかの実施形態では、プロセッサは、ヘッドウェアラブルディスプレイの場所および方位を示す情報をヘッドウェアラブルディスプレイから受信するようにワイヤレス通信インターフェースを構成し、受信された情報に応じて人工現実の画像を示す画像データを生成し、人工現実の画像と関連づけられた追加データを生成するようにさらに構成される。いくつかの実施形態では、プロセッサは、予想処理終了時間が予想送信終了時間未満であることを踏まえて、画像データとともに追加データを同じ送信機会ウィンドウまたはシステム間隔内にヘッドウェアラブルディスプレイに送信するようにワイヤレス通信インターフェースを構成するようにさらに構成される。
いくつかの実施形態では、プロセッサは、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、予想処理終了時間に応じて、第1のセッションを延長し、延長された第1のセッション中にヘッドウェアラブルディスプレイに、画像データとともに追加データを送信するようにワイヤレス通信インターフェースを構成するようにさらに構成される。いくつかの実施形態では、プロセッサは、第1のセッションを延長するように第1のセッションの変調および符号化方式を調整することによって、予想処理終了時間に応じて、第1のセッションを延長するように構成される。
いくつかの実施形態では、プロセッサは、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、第1のセッション中にヘッドウェアラブルディスプレイに、予想処理終了時間を示すタイミング情報を送信するようにワイヤレス通信インターフェースを構成し、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、第1のセッション後の第2のセッションを通じて、追加データをヘッドウェアラブルディスプレイに送信するようにワイヤレス通信インターフェースを構成するようにさらに構成される。いくつかの実施形態では、ヘッドウェアラブルディスプレイは、第1のセッションと第2のセッションとの間のワイヤレス通信インターフェースとのワイヤレス通信を不可能にするように構成される。
いくつかの実施形態では、プロセッサは、予想処理終了時間が予想送信終了時間よりも長いことを踏まえて、追加データのサブセットを生成するために1つまたは複数のプロセスを選択し、追加データのサブセットを生成するために選択された1つまたは複数のプロセスを実施し、画像データとともに追加データのサブセットを第1のセッション中にヘッドウェアラブルディスプレイに送信するようにワイヤレス通信インターフェースを構成するようにさらに構成される。いくつかの実施形態では、追加データのサブセットは、少なくとも、物理空間内のヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報、ヘッドウェアラブルディスプレイのユーザの手の形状、場所、もしくは方位を示す手モデルデータ、またはヘッドウェアラブルディスプレイのユーザの注視方向を示すアイトラッキングデータを含む。
本明細書において開示されるさまざまな実施形態は、ヘッドウェアラブルディスプレイに関する。いくつかの実施形態では、このヘッドウェアラブルディスプレイは、ワイヤレス通信インターフェースと、プロセッサとを含む。いくつかの実施形態では、このプロセッサは、コンソールから、第1のセッション中に、人工現実の画像を示す画像データと、人工現実の画像と関連づけられた追加データをコンソールが生成するための予想処理終了時間を示すタイミング情報とを受信するようにワイヤレス通信インターフェースを構成する。いくつかの実施形態では、プロセッサは、予想処理終了時間までスリープモードでワイヤレス通信インターフェースを構成する。いくつかの実施形態では、このプロセッサは、コンソールから、予想処理終了時間後の第2のセッション中に、追加データを受信するようにワイヤレス通信インターフェースを構成する。いくつかの実施形態では、このプロセッサは、人工現実の画像および追加データに応じて人工現実を提示する。いくつかの実施形態では、追加データは、物理空間内のヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報を含む。
添付の図面は、一定の縮尺で描画されることを意図したものではない。さまざまな図面における同じ参照番号および指定は、同じ要素を示す。わかりやすいように、あらゆる構成要素があらゆる図面で標示可能であるとは限らない。
本開示の例示的な実装形態による、人工現実システムを含むシステム環境の図である。 本開示の例示的な実装形態による、ヘッドウェアラブルディスプレイの図である。 本開示の例示的な実装形態による、コンテンツプロバイダの図である。 本開示の例示的な実装形態による、ヘッドウェアラブルディスプレイとコンソールとの間の通信の例示的なタイミング図である。 本開示の例示的な実装形態による、コンソールが画像データおよび追加データをヘッドウェアラブルディスプレイに送信する例示的なプロセスを図示する図である。 本開示の例示的な実装形態による、ヘッドウェアラブルディスプレイが画像データおよび追加データをコンソールから受信する例示的なプロセスを図示する図である。 本開示の例示的な実装形態による、コンピューティング環境のブロック図である。
いくつかの実施形態を詳細に例証する図に戻る前に、本開示は、本明細書に記載されるまたは図に例証される詳細または方法論に限定されないことが理解されるべきである。本明細書において使用される用語は説明のみを目的としたものであり、限定とみなされるべきではないことも、理解されるべきである。
本明細書において開示されるものは、減少されたレイテンシとともに人工現実の追加データをコンソールデバイスからヘッドウェアラブルディスプレイ(HWD)に送信することによって人工現実空間(たとえば、AR空間、VR空間、またはMR空間)を遠隔でレンダリングするためのシステムおよび方法に関する。追加データは、人工現実の画像以外の、人工現実を提示またはレンダリングすることと関連づけられた情報であってよい。追加データとしては、物体情報、奥行き情報、手モデルデータ、フィードバック情報などがあり得る。いくつかの実施形態では、コンソールは、1つまたは複数の割り振られたセッション内で人工現実の画像を示す画像データを送信する。たとえば、コンソールは、セッション内で人工現実の画像データの一部分または画像データ全体を送信し得、次いで、算定されたセンサデータを送信するその後のセッションまで、HWDとの通信を不可能にし得る。一態様では、2つのセッション間の通信を不可能にすることによって、コンソールおよびHWDの電力消費量が節約可能である。いくつかの実施形態では、人工現実の画像データ以外の、人工現実を提示またはレンダリングすることと関連づけられた追加データは、画像データのためのセッション中の送信の準備が整っていないことがあり、その後の画像データのためのその後のセッション中に送信され、それによって、追加データの送信の遅延を引き起こすことがある。しかしながら、追加データの送信の遅延は、HWDのユーザの動きを検出することからのレイテンシを引き起こし、検出された動きに対応する人工現実を提示することがある。そのようなレイテンシは、激しい震動を引き起こし、人工現実におけるユーザエクスペリエンスを劣化させることがある。一態様では、人工現実を提示する際のレイテンシを減少させるために、コンソールは、本明細書において開示されるさまざまな手法を通じて追加データを適応的に送信してよい。
1つの手法では、セッション(たとえば、送信機会(TX OP)ウィンドウ、および/または現在のシステム間隔)が、追加データの送信が可能であるまたはこれに適している場合、コンソールは、画像データのためのセッション中の人工現実の画像を示す画像データと関連づけられた追加データを送信し得る。たとえば、コンソールは、画像データのためのセッションの終了の前に追加データが送信可能であるかどうかを決定し得る。画像データと関連づけられた追加データが、画像データのためのセッションの終了の前に送信可能である場合、コンソールは、セッション内に画像データとともに追加データをHWDに送信し得る。
1つの手法では、セッションが、追加データの送信が不可能であるまたはこれに適していない場合、コンソールは、セッションを調整してもよいし、追加データを調整してもよいし、両方を調整してもよい。一例では、コンソールは、セッションを延長してよく、延長されたセッション内で追加データを送信してよい。一例では、コンソールは、追加データの異なるサブセットの優先順位またはランキングに応じて、追加データのサブセットを選択し、セッション内に追加データの選択されたサブセットを送信することがある。コンソールは、追加データの他のサブセットの送信を省略または回避してもよいし、その後のセッション中に追加データの他のサブセットを送信してもよい。
1つの手法では、セッションが、追加データの送信が不可能であるまたはこれに適していない場合、コンソールは、画像のためのセッションとその後の画像のためのその後のセッションとの間に(たとえば、これらの一方または両方において)追加データを送信することができる。たとえば、コンソールは、追加データの送信のための予想時間を示すタイミング情報をHWDに送信することができる。コンソールは、セッション内でタイミング情報(追加データの一部分に対応し得る)をHWDに送信してよい。セッションの後および予想時間の前に、コンソールとHWDとの間の通信が不可能にされることがある。予想時間において、またはその後で、コンソールとHWDとの間の通信は、タイミング情報に応じて可能にされることができ、コンソールは、追加データのうちのいくらかまたはすべてをHWDに送信することができる。
図1は、例示的な人工現実システム環境100のブロック図である。いくつかの実施形態では、人工現実システム環境100は、ユーザによって装着されたHWD150と、人工現実のコンテンツをHWD150に提供するコンソール110とを含む。HWD150は、ヘッドマウントディスプレイ(HMD)、ヘッドマウントデバイス(HMD)、ヘッドウェアラブルデバイス(HWD)、頭部装着ディスプレイ(HWD)、または頭部装着デバイス(HWD)と呼ばれることがあり、これを含んでもよいし、この一部であってもよい。HWD150は、その場所および/またはHWD150の方位、ならびにユーザの身体/手/顔の形状、場所、および/または方位を検出し、検出されたHWD150の場所および/もしくは方位ならびに/または身体/手/顔の形状、場所、および/もしくは方位を示す追跡情報をコンソール110に提供し得る。コンソール110は、検出されるHDM150の場所および/または方位、ユーザの検出された身体/手/顔の形状、場所、および/または方位、および/または人工現実のためのユーザ入力に応じた人工現実の画像を示す画像データを生成し、提示のために画像データをHWD150に送信し得る。いくつかの実施形態では、人工現実システム環境100は、図1に図示されるものよりも多い、これよりも少ない、またはこれとは異なる構成要素を含む。いくつかの実施形態では、人工現実システム環境100の1つまたは複数の構成要素の機能は、本明細書において説明されるのとは異なる様式で構成要素間に分散可能である。たとえば、コンソール110の機能のうちのいくらかは、HWD150によって実施されてよい。たとえば、HWD150の機能のうちのいくらかは、コンソール110によって実施されてよい。いくつかの実施形態では、コンソール110は、HWD150の一部として一体化される。
いくつかの実施形態では、HWD150は、ユーザによって装着可能であり、人工現実体験をユーザに提示または提供することができる、電子構成要素である。HWD150は、人工現実体験をユーザに提供するために、1つまたは複数の画像、映像、オーディオ、またはそれらの何らかの組み合わせをレンダリングし得る。いくつかの実施形態では、オーディオは、HWD150、コンソール110、または両方からオーディオ情報を受信し、このオーディオ情報に基づいてオーディオを提示する外部デバイス(たとえば、スピーカおよび/またはヘッドフォン)を介して、提示される。いくつかの実施形態では、HWD150は、センサ155と、アイトラッカー160と、ハンドトラッカー162と、通信インターフェース165と、画像レンダラ170と、電子ディスプレイ175と、レンズ180と、補償器185とを含む。これらの構成要素は、HWD150の場所およびHWD150を装着するユーザの注視方向を検出し、HWD150の検出された場所および/または方位に対応する、人工現実における視野の画像をレンダリングするように一緒に動作してよい。他の実施形態では、HWD150は、図1に図示されるものよりも多い、これよりも少ない、またはこれとは異なる構成要素を含む。
いくつかの実施形態では、センサ155は、HWD150の場所および方位を検出する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。センサ155の例としては、1つもしくは複数のイメージングセンサ、1つもしくは複数の加速度計、1つもしくは複数のジャイロスコープ、1つもしくは複数の磁力計、またはモーションおよび/もしくは場所を検出する別の適切なタイプのセンサがあり得る。たとえば、1つまたは複数の加速度計は、並進運動(たとえば、前後、上下、左右)を測定することができ、1つまたは複数のジャイロスコープは、回転運動(たとえば、ピッチ、ヨー、ロール)を測定することができる。いくつかの実施形態では、センサ155は、並進運動および回転運動を検出し、HWD150の方位および場所を決定する。一態様では、センサ155は、HWD150の以前の方位および場所に対する並進運動および回転運動を検出し、検出された並進運動および/または回転運動を蓄積または統合することによってHWD150の新しい方位および/または場所を決定することができる。HWD150が20度回転したことを検出したことを受けて、HWD150が基準方向から25度の方向に方位づけられる一例を仮定すると、センサ155は、HWD150が現在、基準方向から45度の方向に向いているまたは方位づけられることを決定することがある。HWD150が第2の方向に3フィート移動したことを検出したことを受けて、HWD150が基準点から第1の方向に2フィート離れて配置された別の例を仮定すると、センサ155は、HWD150が現在、第1の方向の2フィートと第2の方向の3フィートのベクトル乗算のところに配置されていることを決定することがある。
いくつかの実施形態では、アイトラッカー160は、HWD150のユーザの注視方向を決定する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。いくつかの実施形態では、HWD150、コンソール110、またはそれらの組み合わせは、人工現実のための画像データを生成するために、HWD150のユーザの注視方向を組み合わせてよい。いくつかの実施形態では、アイトラッカー160は2つのアイトラッカーを含み、各アイトラッカー160は、対応する眼の画像をキャプチャし、眼の注視方向を決定する。一例では、アイトラッカー160は、眼のキャプチャされた画像に応じて、眼の角度回転、眼の並進、眼の回旋の変化、および/または眼の形状の変化を決定し、決定された眼の角度回転、並進、および回旋の変化に応じて、HWD150に対する相対的な注視方向を決定する。1つの手法では、アイトラッカー160は、所定の基準パターンまたは構造化されたパターンを眼の一部分の上に照射または投影し、HWD150に対する眼の相対的な注視方向を決定するように、眼のその一部分の上に投射されたパターンを分析するために、眼の画像をキャプチャすることがある。いくつかの実施形態では、アイトラッカー160は、ユーザの注視方向を決定するために、HWD150の方位とHWD150に対する相対的な注視方向を組み合わせる。HWD150が基準方向から30度の方向に方位づけられ、HWD150の相対的な注視方向がHWD150に対して-10度(すなわち350度)である一例を仮定すると、アイトラッカー160は、ユーザの注視方向は基準方向から20度であることを決定し得る。いくつかの実施形態では、HWD150のユーザは、アイトラッカー160を有効または無効にするように(たとえば、ユーザ設定を介して)HWD150を構成することができる。いくつかの実施形態では、HWD150のユーザは、アイトラッカー160を有効または無効にするように促される。
いくつかの実施形態では、ハンドトラッカー162は、ユーザの手を追跡する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。いくつかの実施形態では、ハンドトラッカー162は、イメージングセンサ(たとえば、カメラ)と、手の形状、場所、および方位を検出することができる画像プロセッサとを含むか、またはこれらに結合される。ハンドトラッカー162は、検出された手の形状、場所、および方位を示すハンドトラッキング測定値を生成することがある。
いくつかの実施形態では、通信インターフェース165は、コンソール110と通信する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。通信インターフェース165は、通信リンクを通じてコンソール110の通信インターフェース115と通信し得る。通信リンクは、ワイヤレスリンクであってよい。ワイヤレスリンクの例としては、セルラー通信リンク、近距離通信リンク、Wi-Fi、ブルートゥース、60GHzワイヤレスリンク、または任意の通信のワイヤレス通信リンクがあり得る。通信リンクを通じて、通信インターフェース165は、決定されたHWD150の場所および/もしくは方位、決定されたユーザの注視方向、ならびに/またはハンドトラッキング測定値を示すデータをコンソール110に送信し得る。その上、通信リンクを通じて、通信インターフェース165は、レンダリングされることになる画像を示すまたはこれに対応する画像データと、画像と関連づけられた追加データをコンソール110から受信し得る。
いくつかの実施形態では、画像レンダラ170は、たとえば、人工現実の空間の視野の変化に応じて、表示のための1つまたは複数の画像を生成する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。いくつかの実施形態では、画像レンダラ170は、本明細書において説明されるさまざまな機能を実施する命令を実行するプロセッサ(またはグラフィカル処理ユニット(GPU))として実装される。画像レンダラ170は、通信インターフェース165を通じて、レンダリングされることになる人工現実の画像を記述する画像データと、画像と関連づけられた追加データを受信し、電子ディスプレイ175を通じて画像をレンダリングし得る。いくつかの実施形態では、コンソール110からの画像データは符号化されることがあり、画像レンダラ170は、画像をレンダリングするために画像データを復号することがある。いくつかの実施形態では、画像レンダラ170は、人工現実空間内の仮想物体を示す物体情報と、仮想物体の奥行き(またはHWD150からの距離)を示す奥行き情報を、追加データ内でコンソール110から受信する。一態様では、人工現実の画像、物体情報、コンソール110からの奥行き情報、および/またはセンサ155からの更新されたセンサ測定値に応じて、画像レンダラ170は、更新されたHWD150の場所および/または方位に対応するように人工現実の画像を更新するためのシェーディング、再投影、および/またはブレンディングを実施し得る。ユーザが、更新されたセンサ測定値に応答して画像全体を再作成するのではなく、初期センサ測定後に頭部を回転させると仮定すると、画像レンダラ170は、更新されたセンサ測定値に応じて人工現実内の更新された視野に対応する画像の小さい部分(たとえば、10%)を生成し、その部分を、再投影を通じてコンソール110からの画像データ内の画像に付加し得る。画像レンダラ170は、付加されたエッジに対してシェーディングおよび/またはブレンディングを実施し得る。したがって、更新されたセンサ測定値に応じて人工現実の画像を再作成することなく、画像レンダラ170は、人工現実の画像を生成することができる。いくつかの実施形態では、画像レンダラ170は、ユーザの手に対応する手モデルの形状、場所、および方位を示す手モデルデータを受信し、手モデルを人工現実の画像の上に被せる。そのような手モデルは、ユーザが人工現実内でのさまざまな相互作用を提供することを可能にするために視覚的フィードバックとして提示されることがある。
いくつかの実施形態では、電子ディスプレイ175は、画像を表示する電子構成要素である。電子ディスプレイ175は、たとえば、液晶ディスプレイまたは有機発光ダイオードディスプレイであってよい。電子ディスプレイ175は、ユーザが見通すことを可能にする透明ディスプレイであってよい。いくつかの実施形態では、HWD150がユーザによって装着されるとき、電子ディスプレイ175は、ユーザの眼に近接して(たとえば、3インチ未満に)配置される。一態様では、電子ディスプレイ175は、画像レンダラ170によって生成される画像に応じて、ユーザの眼の方へ光を発するまたは投影する。
いくつかの実施形態では、レンズ180は、電子ディスプレイ175から受け取られた光を変える機械的な構成要素である。レンズ180は、電子ディスプレイ175からの光を大きくし、光と関連づけられた光学誤差を補正する。レンズ180は、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、または電子ディスプレイ175からの光を変える任意の適切な光学構成要素であってよい。レンズ180を通して、電子ディスプレイ175からの光は、電子ディスプレイ175が眼に極めて近接しているにもかわわらず、電子ディスプレイ175によって表示される画像をユーザが見ることができるように、瞳孔に到達することができる。
いくつかの実施形態では、補償器185は、いかなるひずみまたは収差をも補償するために補償を実施する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせを含む。一態様では、レンズ180は、色収差、糸巻き形ひずみ、樽形ひずみなどの光学収差をもたらす。補償器185は、レンズ180によって引き起こされるひずみを補償するように画像レンダラ170からレンダリングされることになる画像に適用されるために補償(たとえば、先行ひずませ)を決定し、決定された補償を画像レンダラ170から画像に適用し得る。補償器185は、先行ひずまされた画像を電子ディスプレイ175に提供し得る。
いくつかの実施形態では、コンソール110は、HWD150にレンダリングされることになるコンテンツを提供する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせである。一態様では、コンソール110は、通信インターフェース115と、コンテンツプロバイダ130とを含む。これらの構成要素は、HWD150の場所およびHWD150のユーザの注視方向に対応する人工現実の視野(たとえば、ユーザのFOV)を決定するように一緒に動作することがあり、決定された視野に対応する人工現実の画像を示す画像データを生成することができる。加えて、これらの構成要素は、画像と関連づけられた追加データを生成するように一緒に動作することがある。追加データは、人工現実の画像以外の、人工現実を提示またはレンダリングすることと関連づけられた情報であってよい。追加データの例としては、手モデルデータ、物理空間内のHWD150の場所および方位を仮想空間に変換するためのマッピング情報(または、同時位置推定およびマッピング(SLAM)データ)、アイトラッキングデータ、モーションベクトル情報、奥行き情報、エッジ情報、物体情報などがある。コンソール110は、人工現実の提示のために画像データおよび追加データをHWD150に提供することがある。他の実施形態では、コンソール110は、図1に図示されるものよりも多い、これよりも少ない、またはこれとは異なる構成要素を含む。いくつかの実施形態では、コンソール110は、HWD150の一部として一体化される。
いくつかの実施形態では、通信インターフェース115は、HWD150と通信する、電子構成要素または電子構成要素とソフトウェア構成要素の組み合わせである。通信インターフェース115は、通信リンク(たとえば、ワイヤレスリンク)を通じてコンソール110の通信インターフェース115と通信するために、通信インターフェース165への対応物構成要素であってよい。通信リンクを通じて、通信インターフェース115は、決定されたHWD150の場所および/もしくは方位、決定されたユーザの注視方向、ならびに/またはハンドトラッキング測定値を示すデータをHWD150から受信し得る。その上、通信リンクを通じて、通信インターフェース115は、レンダリングされることになる画像を記述する画像データと、人工現実の画像と関連づけられた追加データをHWD150に送信し得る。
コンテンツプロバイダ130は、HWD150の場所および/または方位に応じてレンダリングされることになるコンテンツを生成する構成要素を含むまたはこれに対応することができる。いくつかの実施形態では、コンテンツプロバイダ130は、レンダリングされることになるコンテンツを生成するために、HWD150のユーザの注視方向と、ハンドトラッキング測定値に基づいた人工現実内のユーザ相互作用を組み込み得る。一態様では、コンテンツプロバイダ130は、HWD150の場所および/または方位に応じて人工現実の視野を決定する。たとえば、コンテンツプロバイダ130は、物理空間内のHWD150の場所を人工現実空間内の場所にマップし、人工現実空間内のマップされた場所からマップされた方位に対応する方向に沿って人工現実空間の視野を決定する。コンテンツプロバイダ130は、人工現実空間の決定された視野の画像を記述する画像データを生成し、この画像データを、通信インターフェース115を通じてHWD150に送信する。コンテンツプロバイダ130はまた、ハンドトラッキング測定値に応じてHWD150のユーザの手に対応する手モデルを生成し、人工現実空間内の手モデルの形状、場所、および方位を示す手モデルデータを生成し得る。いくつかの実施形態では、コンテンツプロバイダ130は、画像と関連づけられた、モーションベクトル情報、奥行き情報、エッジ情報、物体情報、手モデルデータなどを含む追加データを生成し、画像データとともに追加データを、通信インターフェース115を通じてHWD150に送信し得る。コンテンツプロバイダ130は、画像を記述する画像データを符号化してよく、符号化されたデータをHWD150に送信することができる。いくつかの実施形態では、コンテンツプロバイダ130は、周期的に(たとえば、11msごとに)、画像データを生成して、HWD150に提供する。一態様では、通信インターフェース115は、以下で図3から図6を参照して説明されるように、追加データをHWD150に適応的に送信することができる。
図2は、例示的な一実施形態による、HWD150の図である。いくつかの実施形態では、HWD150は、前部剛体205と、バンド210とを含む。前部剛体205は、電子ディスプレイ175(図2に図示されず)と、レンズ180(図2に図示されず)と、センサ155と、アイトラッカー160Aと160Bと、通信インターフェース165と、画像レンダラ170とを含む。図2によって図示される実施形態では、通信インターフェース165、画像レンダラ170、およびセンサ155は、前部剛体205内に配置され、ユーザに見えないことがある。他の実施形態では、HWD150は、図2に図示されるものとは異なる構成を有する。たとえば、通信インターフェース165、画像レンダラ170、アイトラッカー160A、160B、および/またはセンサ155は、図2に図示されるものとは異なる場所にあってよい。
図3は、本開示の例示的な実装形態による、コンテンツプロバイダ130の図である。いくつかの実施形態では、コンテンツプロバイダ130は、画像データジェネレータ310と、追加データジェネレータ320と、通信インターフェースコントローラ330とを含む。これらの構成要素は、人工現実の視野の画像を示す画像データと、人工現実の画像データと関連づけられた追加データを生成し、画像および追加データをHWD150に送信するように一緒に動作し得る。いくつかの実施形態では、コンテンツプロバイダ130は、図3に図示されるものよりも多い、これよりも少ない、またはこれとは異なる構成要素を含む。いくつかの実施形態では、コンテンツプロバイダ130のいくつかの構成要素の機能は、HWD150によって実施可能である。
いくつかの実施形態では、画像データジェネレータ310は、HWD150からセンサ測定値に応じて人工現実の画像を示す画像データを生成する、ハードウェア構成要素(たとえば、プロセッサ、回路)、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素の組み合わせに対応するまたはこれを含む。1つの手法では、画像データジェネレータ310は、物理空間内のHWD150の場所および/または方位に対応する、人工現実空間内の場所および/または方位をマップする。次いで、画像データジェネレータ310は、マップされた人工現実空間内の方位に応じて、マップされた人工現実空間内の場所から人工現実空間の視野を決定し得る。画像データジェネレータ310は、決定された人工現実空間の視野の画像を示す画像データを生成し得る。たとえば、センサ測定値が、HWD150のユーザが頭を時計回り方向に90度回転させたことを示す場合、画像データジェネレータ310は、人工現実空間内での90度の時計回りの回転に対応する画像を生成し得る。
いくつかの実施形態では、追加データジェネレータ320は、HWD150からセンサ測定値に応じて追加データを生成する、ハードウェア構成要素(たとえば、プロセッサ)、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素の組み合わせに対応するまたはこれを含む。追加データは、人工現実の画像以外の、人工現実を提示またはレンダリングすることと関連づけられた情報であってよい。追加データとしては、物体情報、奥行き情報、手モデルデータなどがあり得る。物体情報は、人工現実内の対話型仮想物体、または非対話型仮想物体を示してよく、奥行き情報は、人工現実内でのユーザまたはHWDに対する仮想物体の奥行きまたは距離を示してよい。追加データジェネレータ320は、人工現実空間内のマップされた場所および方位に応じて、人工現実空間内の仮想物体の物体情報および奥行き情報を生成し得る。追加データジェネレータ320は、検出された、HWD150からの手の形状、場所、および方位を示すハンドトラッキング測定値に応じて、仮想手モデルの形状、場所、および方位を示す手モデルデータも生成し得る。加えて、追加データジェネレータ320は、物理空間内のHWD150の場所および方位を人工現実空間にマップするまたは変換するためのマッピング情報を生成し得る。加えて、追加データジェネレータ320は、HWD150のユーザの位置、方位、および/または方向を示すハンドトラッキングデータを生成し得る。
いくつかの実施形態では、通信インターフェースコントローラ330は、通信インターフェース115を構成する構成要素に対応するまたはこれを含む。一態様では、通信インターフェースコントローラ330は、1つまたは複数のセッション中にHWD150と通信するように通信インターフェース115を構成する。1つまたは複数のセッションは、あらかじめ決定されてよく、通信インターフェースコントローラ330によって調整可能であってよい。一例では、通信インターフェースコントローラ330は、検出されたHWD150の場所および方位ならびに/またはユーザの注視方向のセンサ測定値を示すデータを受信するように通信インターフェース115を構成する。一例では、通信インターフェースコントローラ330は、人工現実の画像を示す画像データを送信するように通信インターフェース115を構成する。セッション間に、通信インターフェースコントローラ330は、スリープモードで動作または存在し、HWD150との通信を不可能にするように通信インターフェース115を構成してよい。HWD150とコンソール110との間の通信を不可能にすることによって、コンソール110およびHWD150は、電力消費量を減少させ得る。しかしながら、通信インターフェース115を有効および無効にすることによって、追加データの送信が遅延されることがあり、これによって、HWD150によるユーザへの人工現実の提示が遅延され、ユーザエクスペリエンスが劣化され得る。一態様では、通信インターフェースコントローラ330は、人工現実の提示のレイテンシを減少させ、シームレスな体験をHWD150のユーザに提供するために、追加データを適応的に送信するように、通信インターフェース115を構成する。
1つの手法では、通信インターフェースコントローラ330は、画像データの送信のためのセッションが追加データの送信に適しているまたは追加データの送信が可能であるかどうかを決定する。いくつかの実施形態では、通信インターフェースコントローラ330は、予想送信終了時間(TUL)および予想処理終了時間(TEST)を推定、投影、計算、決定、および/または取得し、予想送信終了時間TULと予想処理終了時間TESTを比較することによって、セッションが追加データの送信に適しているまたは追加データの送信が可能であるかどうかを決定する。一態様では、予想送信終了時間TULは、人工現実の画像を示す画像データのHWD150へのワイヤレス送信のためのセッション(たとえば、データ転送または送信セッション)を完了する予想時間である。通信インターフェースコントローラ330は、(たとえば、たとえばある時間インスタンスにおいて/によって利用可能であるまたは生成される)画像データのサイズまたはワイヤレスチャネルの量およびデータレート(たとえば、ある時間インスタンスにおける、たとえば、平均または瞬間的データレート)に応じて、予想送信終了時間(TUL)を決定し得る。一態様では、予想処理終了時間TESTは、人工現実の画像と関連づけられた追加データの生成(たとえば、収集、計算、形成)を追加データジェネレータ320が完了する予想時間である。通信インターフェースコントローラ330は、追加データを生成するプロセスの数、および追加データを生成するプロセスを実行するために利用可能なプロセッサまたはリソースの数に応じて、予想処理終了時間TESTを決定し得る。たとえば、通信インターフェースコントローラ330は、追加データジェネレータ320の利用可能なプロセッサが追加データを生成するプロセスを実行する時間の量を決定することがある。予想送信終了時間(TUL)が予想処理終了時間(TEST)よりも大きい場合、通信インターフェースコントローラ330は、セッションは追加データの送信に適しているまたは追加データの送信が可能であることを決定し得る。予想送信終了時間(TUL)が予想処理終了時間(TEST)よりも小さい場合、通信インターフェースコントローラ330は、セッションは追加データの送信に適していないまたは追加データの送信が不可能である(たとえば、セッションは、同じシステム間隔内で追加データを通信するために、持続時間があまりに短いまたはあまりに多い画像データをすでに通信している)ことを決定し得る。
1つの手法では、セッションが、追加データの送信が可能であるまたはこれに適している場合、通信インターフェースコントローラ330は、セッション内で画像データおよび追加データを送信するように通信インターフェース115を構成することがある。一例では、通信インターフェースコントローラ330は、画像データを送信するように通信インターフェース115を構成し、画像データの送信後かつ予想送信終了時間TULの前に、追加データを送信するように通信インターフェース115を構成することがある。
1つの手法では、セッションが、追加データの送信が不可能であるまたはこれに適していない場合、通信インターフェースコントローラ330は、セッションを調整することがある。一態様では、通信インターフェースコントローラ330は、予想送信終了時間TULを増加させるようにセッションを延長し、延長されたセッション内に追加データを送信するように通信インターフェース115を構成する。たとえば、予想送信終了時間TULが予想処理終了時間TESTよりも小さい場合、通信インターフェースコントローラ330は、予想送信終了時間TULを延長するためにデータレートまたは帯域幅を減少させるように変調および符号化方式を調整してよい。予想処理終了時間TESTが5msであり、1Gbpsデータレートをもつ初期MCS選択に基づく予想送信終了時間TULが1msである例を仮定すると、通信インターフェースコントローラ330は、延長された予想送信終了時間TULが5msであってよいように、200MbpsであるようにMCS選択を調整してよい。一例では、通信インターフェースコントローラ330は、延長された送信終了時間TULをもつ調整されたセッション内で画像データおよび追加データを送信するように通信インターフェース115を構成することがある。
1つの手法では、画像データのためのセッションが、追加データの送信が不可能であるまたはこれに適していない場合、通信インターフェースコントローラ330は、送信のために追加データを調整してよい。一態様では、通信インターフェースコントローラ330は、追加データの優先順位またはランキングの異なるサブセットに応じて、追加データのサブセットを選択し、セッション内に追加データの選択されたサブセットを送信するように通信インターフェース115を構成することがある。たとえば、通信インターフェースコントローラ330は、画像と関連づけられた他のデータより、人工現実の画像と関連づけられたSLAMデータまたは手モデルデータを選択することがある。通信インターフェースコントローラ330は、追加データの他のサブセットの送信を省略または回避するように通信インターフェース115を構成することがある。あるいは、通信インターフェースコントローラ330は、その後のセッション中に追加データの他のサブセットを送信するように通信インターフェース115を構成してよい。いくつかの実施形態では、通信インターフェースコントローラ330は、追加データジェネレータ320が追加データの選択されたサブセットを生成するための1つまたは複数のプロセスを優先するように、追加データの他のサブセットを生成するための1つまたは複数のプロセスを省略または回避するように追加データジェネレータ320を構成することがある。したがって、予想処理終了時間TESTは減少可能であり、通信インターフェースコントローラ330は、(同じ)セッション内で(たとえば、同じ送信機会(TX OP)ウィドウおよび/またはシステム間隔内で)画像データおよび選択された追加データのサブセット送信するように、通信インターフェース115を構成し得る。
1つの手法では、セッションが、追加データの送信が不可能であるまたはこれに適していない場合、通信インターフェースコントローラ330は、画像のためのセッションとその後の画像のためのその後のセッションとの間に追加データを送信するように通信インターフェース115を構成することができる。たとえば、通信インターフェースコントローラ330は、通信インターフェース115に、予想処理終了時間TESTを示すタイミング情報をHWD150に送信させることができる。タイミング情報は、セッション内で画像データとともに送信されてよい。セッションの後で予想処理終了時間TESTの前に、通信インターフェースコントローラ330は、通信インターフェース115を無効にすることがある。同様に、セッションの後で予想時間の前に、HWD150は、タイミング情報に応えて、その通信インターフェース165を無効にすることがある。予想時間に、通信インターフェースコントローラ330は、通信インターフェース115を有効にすることができ、HWD150は、通信インターフェース165を有効にすることができる。両方の通信インターフェース115、165が有効にされるとき、通信インターフェースコントローラ330は、追加データをHWD150に送信するように通信インターフェース115を構成してよい。追加データの送信後、通信インターフェースコントローラ330は、その後の画像の送信のためのその後のセッションまで、通信インターフェース115を無効にすることがある。同様に、追加データの送信後、HWD150は、その後の画像のためのその後のセッションまで、その通信インターフェース165を無効にすることがある。
図4は、本開示の例示的な実装形態による、HWD150とコンソール110との間の通信の例示的なタイミング図400である。一例では、HWD150は、セッション410内で、物理空間内のHWD150の場所および/または方位を示すセンサ測定値を取得する。HWD150は、たとえば、セッション410内でHWD150のユーザの手の場所および/または方位を示すハンドトラッキング測定値を生成または取得することもある。セッション410の後のセッション420内に、HWD150は、センサ測定値およびハンドトラッキング測定値を、ワイヤレスリンクを通じてコンソール110に送信することがある。セッション420の後のセッション430内に、コンソール110は、画像データを生成し、その画像データを、ワイヤレスリンクを通じてHWD150に送信することがある。一例では、コンソール110は、画像をいくつかの部分に分割することができ、対応するまたは異なるセッション内で異なる部分のための画像データを送信することができる。
場合によっては、コンソール110は、上記で図4を参照して説明されたように、追加データをHWD150に適応的に送信することがある。たとえば、コンソール110は、セッションが追加データを送信することが可能であるまたはこれに適している場合、セッション430内で画像データとともに追加データを送信することがある。セッションが、追加データを送信することが不可能であるまたはこれに適していない場合、コンソール110は、セッション430を延長してもよいし、送信のための追加データのサブセットを選択してもよいし、それらの組み合わせであってもよい。セッション430の後、コンソール110およびHWD150は、その後の画像のためのその後のセッション490まで、通信を不可能にする(たとえば、休止する、停止する、抑制する)ことがある。通信を不可能にすることによって、コンソール110およびHWD150の電力消費量が減少可能である。
いくつかの実施形態では、コンソール110は、予想処理終了時間TESTを示すタイミング情報をHWD150に送信し、HWD150に、その通信インターフェース165を、予想処理終了時間TESTまでスリープモードであり、追加データを受信するために予想処理終了時間TESTで起動するように構成させることがある。追加データを受信した後、HWD150は、その通信インターフェース165を、その後の画像のためのその後のセッション490までスリープモードで構成することがある。その後のセッション490の前に、HWD150は、コンソール110からの画像データおよび追加データに基づいて人工現実の画像を提示することがある。いくつかの実施形態では、HWD150は、その後のセッション490の前にHWD150の更新された場所および/または方位に対応する画像を提示するために、HWD150の更新された場所および/または方位の測定値に応じて、再投影および/またはブレンディングを実施することがある。
図5は、本開示の例示的な実装形態による、コンソール110が画像データおよび追加データをHWD150に送信する例示的なプロセス500を図示する。いくつかの実施形態では、プロセス500は、図5に図示されるものよりも多い、これよりも少ない、またはこれとは異なるステップを含む。たとえば、いくつかの実施形態では、ステップ538、540、555、560、570、585のうちの2つ以上が、任意の組み合わせで実施されてよい。
1つの手法では、コンソール110は、人工現実の画像を示す画像データのHWD150へのワイヤレス送信のためのセッションを完了する予想送信終了時間(TUL)を決定する510。コンソール110は、画像データのサイズまたは量およびコンソール110とHWD150との間のワイヤレス通信チャネルのデータレートに応じて予想送信終了時間TULを決定してよい。たとえば、コンソール110は、予想送信終了時間TULを取得、推定、または決定するために、画像データのサイズまたは量をデータレートで分割することがある。
1つの手法では、コンソール110は、人工現実の画像と関連づけられた追加データの生成をコンソール110が完了する予想処理終了時間(TEST)を決定する520。追加データは、人工現実の画像以外の、人工現実を提示またはレンダリングすることと関連づけられた情報(たとえば、制御情報、タイミング情報、構成情報、ハンドシェーキング/肯定応答情報)であってよい。コンソール110は、追加データを生成するプロセスの数、および追加データを生成するプロセスを実行するために利用可能なプロセッサまたはリソースの数に応じて、予想処理終了時間TESTを決定し得る。たとえば、コンソール110は、利用可能なプロセッサが追加データを生成するプロセスを実行する時間の量を決定することがある。いくつかの実施形態では、コンソール110は、追加データを生成するためのプロセスを実行する前に、または追加データの一部分を生成するための1つもしくは複数のプロセスを実行する間に、予想処理終了時間TESTを決定する。
1つの手法では、コンソール110は、画像データのワイヤレス送信のためのセッションが追加データの送信が可能であるまたはこれに適しているかどうかを決定するために、予想送信終了時間TULと予想処理終了時間TESTを比較する530。予想送信終了時間(TUL)が予想処理終了時間(TEST)よりも大きいまたはこれに等しい場合、コンソール110は、セッションは追加データの送信が可能であるまたはこれに適していることを決定し得る。予想送信終了時間(TUL)が予想処理終了時間(TEST)よりも小さい場合、コンソール110は、セッションは追加データの送信が不可能であるまたはこれに適していないことを決定し得る。画像データのワイヤレス送信のためのセッションが追加データの送信が可能であるまたはこれに適している(または予想送信終了時間TULおよび予想処理終了時間TEST)ことを踏まえて、コンソール110は、セッション内で画像データとともに(たとえば、ピギーバッキングに追従して、またはその直後に)追加データをHWD150に送信し得る。画像データおよび追加データにより、HWD150は、HWD150のユーザに人工現実を提示し得る。
画像データのワイヤレス送信のためのセッションが追加データの送信が不可能であるまたはこれに適していない(すなわち、予想送信終了時間TULが予想処理終了時間TESTよりも小さい)ことを踏まえて、コンソール110は、セッション(および/または対応するアップリンク送信時間/持続時間)が調整可能であるかどうかを決定してよい535。たとえば、コンソール110は、予想送信終了時間TUL(および/または対応するアップリンク送信時間/持続時間)が予想処理終了時間TESTに等しいまたはこれよりも大きいように延長可能であるかどうかを決定してよい。セッションが調整可能である場合、コンソール110は、予想送信終了時間TUL(および/または対応するアップリンク送信時間/持続時間)を増加させるようにセッションを調整してよい538。たとえば、コンソール110は、予想送信終了時間TUL(および/または対応するアップリンク送信時間/持続時間)を増加させるために、コンソール110からHWD150への送信のデータレートを低くするように、MCS設定を変更することがある。セッション(および/または対応するアップリンク送信時間/持続時間)を調整した後、コンソール110は、調整されたセッション内で画像データとともに追加データを送信してよい540。
セッションが調整可能でない場合、コンソール110は、追加データのための別のセッションが利用可能であるかどうかを決定してよい550。別のセッションは、追加データのための一時的な送信セッションであってよい。別のセッションが利用可能である場合、コンソール110は、たとえば、画像データのためのセッション中に、予想処理終了時間TESTを示すタイミング情報をHWD150に送信し555、予想処理終了時間TESTにおいてまたはその後で別のセッション中に追加データを送信してよい560。画像データのためのセッションと追加データのための別のセッションとの間に、HWD150とコンソール110との間の通信は、電力消費量を減少させるために不可能にされてよい。その上、別のセッション中の追加データの送信の後、HWD150とコンソール110との間の通信は、その後の画像データのためのその後のセッションまで不可能にされてよい。
追加データのための別のセッションが利用可能でない場合、コンソール110は、追加データのサブセットを生成する1つまたは複数のプロセスを選択し570、セッション内で画像データとともに追加データのサブセットをHWD150に送信してよい585。一態様では、コンソール110は、追加データの異なるサブセットの優先順位またはランキングに応じて、追加データのサブセットを生成する1つまたは複数のプロセスを選択することがある。いくつかの実施形態では、コンソール110は、セッション内で画像データとともにHWD150に送信可能である追加データのサイズまたは量を適応的に決定し、決定されたサイズまたは決定された量を有する追加データのサブセットを決定する。コンソール110は、追加データの選択されたサブセットを生成する1つまたは複数のプロセスを実施することがある。コンソール110は、後のセッションのために、追加データの選択されていないサブセットを生成する他のプロセスを省略または遅延させることがある。コンソール110は、セッション内で画像データとともに追加データの選択されたサブセットを送信することがある。一例では、コンソール110は、画像と関連づけられた他のデータより、人工現実の画像と関連づけられたSLAMデータまたは手モデルデータを選択することがある。コンソール110は、追加データの他のサブセットの送信を省略または回避してよい。
図6は、本開示の例示的な実装形態による、HWD150が画像データおよび追加データをコンソール110から受信する例示的なプロセス600を図示する。いくつかの実施形態では、プロセス600は、図6に図示されるものよりも多い、これよりも少ない、またはこれとは異なるステップを含む。
1つの手法では、HWD150は、コンソール110からワイヤレスリンクを通じて、セッション内で人工現実の画像を示す画像データを受信する610。1つの手法では、HWD150は、予想処理終了時間TESTを示すタイミング情報をコンソール110から受信する620。HWD150は、セッション内で画像データおよびタイミング情報を受信してよい。
1つの手法では、HWD150は、セッションの後で予想処理終了時間TESTの前にコンソール630との通信を不可能にする630。予想処理終了時間TESTにおいて、またはその後に、HWD150は、コンソール110との通信を可能にし640、コンソール110からワイヤレスリンクを通じて追加データを受信してよい650。追加データを受信した後、HWD150は、その後の画像のためのその後のセッションまでコンソール110との通信を不可能にしてよい。画像データおよび追加データにより、HWD150は、HWD150のユーザに人工現実を提示してよい660。有利には、画像データと関連づけられた追加データは、人工現実の提示を遅延させることなく、コンソール110からHWD150に適応的に送信可能である。その上、HWD150は、コンソール110との通信のための電力消費量を減少させながら、シームレスな体験をユーザに提供することができる。
本明細書において説明されるさまざまな動作は、コンピュータシステム上で実装可能である。図7は、本開示を実装するために使用可能である代表的なコンピューティングシステム714のブロック図を図示する。いくつかの実施形態では、図1のコンソール110、HWD150、または両方は、コンピューティングシステム714によって実装される。コンピューティングシステム714は、たとえば、スマートフォン、他の携帯電話、タブレットコンピュータ、ウェアラブルなコンピューティングデバイス(たとえば、スマートウォッチ、眼鏡、ヘッドウェアラブルディスプレイ)、デスクトップコンピュータ、ラップトップコンピュータなどのコンシューマデバイスとして実装可能である、または分散されたコンピューティングデバイスとともに実装可能である。コンピューティングシステム714は、VR体験、AR体験、MR体験を提供するように実装可能である。いくつかの実施形態では、コンピューティングシステム714は、プロセッサ716、ストレージデバイス718、ネットワークインターフェース720、ユーザ入力デバイス722、およびユーザ出力デバイス724などの、従来のコンピュータ構成要素を含むことができる。
ネットワークインターフェース720は、ワイドエリアネットワーク(たとえば、インターネット)への接続を提供することができ、ワイドエリアネットワークには、リモートサーバシステムのWANインターフェースも接続される。ネットワークインターフェース720は、ワイヤードインターフェース(たとえば、イーサネット)および/またはWi-Fi、ブルートゥース、もしくはセルラーデータネットワーク規格(たとえば、3G、4G、5G、60 GHz、LTEなど)などのさまざまなRFデータ通信規格を実装するワイヤレスインターフェースを含むことができる。
ユーザ入力デバイス722は、ユーザが信号をコンピューティングシステム714に提供することができる任意のデバイス(または、任意の複数のデバイス)を含むことができる。コンピューティングシステム714は、信号を、特定のユーザ要求または情報を示すものと解することができる。ユーザ入力デバイス722は、キーボード、タッチパッド、タッチスクリーン、マウスまたは他のポインティングデバイス、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、マイクロホン、センサ(たとえば、モーションセンサ、アイトラッキングセンサなど)などのいずれかまたはすべてを含むことができる。
ユーザ出力デバイス724は、コンピューティングシステム714が情報をユーザに提供することができる任意のデバイスを含むことができる。たとえば、ユーザ出力デバイス724は、コンピューティングシステム714によって生成されたまたはこれに配信された画像を表示するディスプレイを含むことができる。ディスプレイは、サポート用電子機器(たとえば、デジタル-アナログコンバータまたはアナログ-デジタルコンバータ、信号プロセッサなど)とともに、さまざまな画像生成技術、たとえば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)を含む発光ダイオード(LED)、投影システム、陰極線管(CRT)などを組み込むことができる。入出力両用デバイスとして機能するタッチスクリーンなどのデバイスが使用可能である。出力デバイス724は、ディスプレイに加えて、またはこの代わりに、提供可能である。例としては、インジケータライト、スピーカ、触覚「ディスプレイ」デバイス、プリンタなどがある。
いくつかの実装形態は、コンピュータ可読記憶媒体(たとえば、非一時的なコンピュータ可読媒体)内にコンピュータプログラム命令を記憶する、マイクロプロセッサ、ストレージ、およびメモリなどの電子構成要素を含む。本明細書において説明される特徴の多くは、コンピュータ可読憶媒体上の符号化されたプログラム命令のセットとして指定されるプロセスとして実装可能である。これらのプログラム命令が1つまたは複数のプロセッサによって実行されるとき、これらのプログラム命令は、プロセッサに、プログラム命令において示されるさまざまな動作を実施させる。プログラム命令またはコンピュータコードの例としては、コンパイラによって作り出されるものなどの機械コード、およびインタープリタを使用してコンピュータ、電子構成要素、またはマイクロプロセッサによって実行される高水準コードを含むファイルがある。適切なプログラミングを通じて、プロセッサ716は、サーバもしくはクライアントによって実施されると本明細書において説明される機能のいずれか、またはメッセージ管理サービスと関連づけられた他の機能を含む、コンピューティングシステム714のためのさまざまな機能を提供することができる。
コンピューティングシステム714は例証的であり、変形形態および修正形態が可能であることは諒解されるであろう。本開示に関連して使用されるコンピュータシステムは、本明細書では具体的に説明されていない他の能力を有することができる。さらに、コンピューティングシステム714は、特定のブロックに関して説明されているが、これらのブロックは、説明の便宜上定義されたものであり、構成要素部品の特定の物理的配列を暗示することを意図したものではないことが理解されるべきである。たとえば、異なるブロックは、同じ施設内、同じサーバラック内、または同じマザーボード上に配置可能である。さらに、ブロックは、物理的に別個の構成要素に対応する必要はない。ブロックは、たとえば、プロセッサをプログラムすることまたは適正な制御回路を提供することによってさまざまな動作を実施するように構成可能であり、さまざまなブロックは、初期構成がどのように取得されるかに応じて、再構成可能であってもよいし、再構成可能でなくてもよい。本開示の実装形態は、回路とソフトウェアの任意の組み合わせを使用して実装された電子デバイスを含む種々の装置内で実現可能である。
これまで、いくつかの例証的な実装形態について説明してきたので、前述のものは例証的であり、限定的ではなく、例として提示されてきたことが明らかである。特に、本明細書において提示される例の多くは、方法行為またはシステム要素の特定の組み合わせを伴うが、それらの行為およびそれらの要素は、同じ目的を成し遂げるために、他のやり方で組み合わせ可能である。一実装形態に関連して論じられる行為、要素、および特徴は、他の実装形態または実装形態における類似の役割から除外されることを意図したものではない。
本明細書において開示される実施形態に関連して説明されるさまざまなプロセス、動作、例証的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアおよびデータ処理構成要素は、汎用シングルチップもしくはマルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他のプログラマブル論理デバイス、個別的なゲートもしくはトランジスタ論理、個別的なハードウェア構成要素、または本明細書において説明される機能を実施するように設計されたそれらの任意の組み合わせとともに実装または実施されてよい。汎用プロセッサは、マイクロプロセッサであってもよいし、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってもよい。プロセッサはまた、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアに関連した1つもしくは複数のマイクロプロセッサ、または他の任意のそのような構成などの、コンピューティングデバイスの組み合わせとして実装されてもよい。いくつかの実施形態では、特定のプロセスおよび方法は、所与の機能に特有の回路によって実施されてよい。メモリ(たとえば、メモリ、メモリユニット、ストレージデバイスなど)は、本開示において説明されるさまざまなプロセス、レイヤ、およびモジュールを完了するまたは容易にするためのデータおよび/またはコンピュータコードを記憶するための1つまたは複数のデバイス(たとえば、RAM、ROM、フラッシュメモリ、ハードディスクストレージなど)を含んでよい。メモリは、揮発性メモリまたは不揮発性メモリであってもよいし、これを含んでもよく、データベース構成要素、オブジェクトコード構成要素、スクリプト構成要素、またはさまざまな活動をサポートするための他の任意のタイプの情報構造および本開示において説明される情報構造を含んでよい。例となる実施形態によれば、メモリは、処理回路を介してプロセッサに通信可能なように接続され、本明細書において説明される1つまたは複数のプロセスを(たとえば、処理回路および/またはプロセッサによって)実行するためのコンピュータコードを含む。
本開示は、さまざまな動作を成し遂げるための方法、システム、および任意の機械可読媒体上のプログラム製品を企図する。本開示の実施形態は、既存のコンピュータプロセッサを使用して実装されてもよいし、この目的もしくは別の目的のために組み込まれた、適正なシステムのための特殊目的コンピュータプロセッサによって実装されてもよいし、ハードワイヤードシステムによって実装されてもよい。本開示の範囲内の実施形態としては、機械実行可能な命令またはデータ構造を搬送するまたはこれらをその上に記憶させるための機械可読媒体を含むプログラム製品がある。そのような機械可読媒体は、汎用コンピュータもしくは特殊目的コンピュータまたはプロセッサをもつ他の機械によってアクセス可能である任意の利用可能な媒体であってよい。例として、そのような機械可読媒体としては、RAM、ROM、EPROM、EEPROM、または他の光ディスクストレージ、磁気ディスクストレージデバイスもしくは他の磁気ストレージデバイス、または機械実行可能な命令もしくはデータ構造の形で所望のプログラムコードを搬送もしくは記憶するために使用可能であり、汎用コンピュータもしくは特殊目的コンピュータもしくはプロセッサをもつ他の機械によってアクセス可能である他の任意の媒体があり得る。上記の組み合わせも、機械可読媒体の範囲内に含まれる。機械実行可能な命令としては、たとえば、汎用コンピュータ、特殊目的コンピュータ、または特殊目的処理機械に、ある機能または機能のグループを実施させる命令およびデータがある。
本明細書において使用される言い回しおよび用語は、説明のためのものであり、限定とみなされるべきでない。本明細書における「含む(including)」、「備える、含む(comprising)」、「有する(having)」、「含む(containing)」、「伴う(involving)」、「~によって特徴づけられる(characterized by)」、「~ことを特徴とする(characterized in that)」、およびそれらの変形の使用は、その後に列挙される項目、それらの等価物、および追加の項目、ならびにその後に列挙される項目からなる代替実装形態を排他的に包含することを意味する。一実装形態では、本明細書において説明されるシステムおよび方法は、説明された1つの要素、行為、もしくは構成要素、説明された複数の要素、行為、もしくは構成要素のすべての各組み合わせ、または説明された要素、行為、もしくは構成要素のすべてからなる。
本明細書における単数形で参照されるシステムおよび方法の実装形態または要素または行為へのいかなる参照も、複数のこれらの要素を含む実装形態を包括することができ、本明細書における複数形での任意の実装形態または要素または行為に対するいかなる参照は、単一の要素のみを含む実装形態をも包括することができる。単数形または複数形での参照は、現在開示されるシステムもしくは方法、それらの構成要素、行為、または要素を単一または複数の構成に限定することを意図したものではない。任意の行為または要素への参照が任意の情報、行為、または要素に基づくことは、行為または要素が任意の情報、行為、または要素に少なくとも部分的に基づく実装形態を含むことができる。
本明細書において開示される任意の実装形態は、他の任意の実装形態または実施形態と組み合わせ可能であり、「実装形態」、「いくつかの実装形態」、「一実装形態」などへの参照は、必ずしも相互に排他的であるとは限らず、実装形態に関連して説明される特定の特徴、構造、または特性は少なくとも1つの実装形態または実施形態に含まれ得ることを示すことを意図したものである。本明細書において使用されるそのような用語は、必ずしもすべてが同じ実装形態を参照するとは限らない。いかなる実装形態も、本明細書において開示される態様および実装形態と合致する任意の様式で、包括的または排他的に、他の任意の実装形態と組み合わせ可能である。
図面、詳細な説明、または任意の請求項における技術的特徴の後に参照符号が続く場合、参照符号は、図面、詳細な説明、および特許請求の範囲の理解しやすさを増加させるために含まれている。したがって、参照符号も、それらの欠如も、任意の請求項要素の範囲に対するいかなる限定的な効果も持たない。
本明細書において説明されるシステムおよび方法は、それらの特性から逸脱することなく他の特定の形態で具現化され得る。「ほぼ(approximately)」、「約(about)」、「実質的に(substantially)」、または程度の他の用語への参照は、別段に明示的に指示されない限り、所与の測定値、単位、または範囲からの±10%の変動を含む。結合された要素は、互いと直接的に、または介在要素と、電気的に、機械的に、または物理的に結合可能である。したがって、本明細書において説明されるシステムおよび方法の範囲は、前述の説明ではなく、添付の特許請求の範囲によって示され、請求項の意味および等価性の範囲に入る変更は、その中に包括される。
「結合される」という用語およびそれらの変形は、直接的または間接的に互いへの2つの部材の連結を含む。そのような連結は、静止(たとえば、永続的または固定)であってもよいし、移動可能(たとえば、取り外し可能または解放可能)であってもよい。そのような連結は、互いと直接的にまたはこれに2つの部材を用いて達成されてもよいし、別々の介在部材および互いと結合された任意の追加の中間部材を使用して互いと結合された2つの部材を用いて達成されてもよいし、2つの部材のうちの1つをもつ単一の一体型本体として一体的に形成された介在部材を使用して互いと結合された2つの部材を用いて達成されてもよい。「結合される(coupled)」またはそれらの変形が追加の用語によって修飾される(たとえば、直接的に結合される)場合、上記で提供された「結合された」の一般的な定義は、追加の用語の平易な言葉の意味によって修飾され(たとえば、「直接的に結合される」は、別々の介在部材なしの2つの部材の連結を意味する)、上記で提供された「結合される」の一般的な定義よりも狭い定義をもたらす。そのような結合は、機械的であってもよいし、電気的であってもよいし、流動性であってもよい。
「または」への参照は、「または」を使用して説明されるいかなる用語も、説明された単一の用語、説明された複数の用語、および説明された用語のすべてのいずれも示すことができるように、包含的であると解釈可能である。「‘A’および‘B’のうちの少なくとも1つ」への参照は、‘A’のみ、‘B’のみ、ならびに‘A’と‘B’の両方を含むことができる。「備える、含む」または他の排他的でない(open)用語に関連して使用されるそのような参照は、追加の項目を含むことができる。
さまざまな要素、パラメータの値、取り付け配列、材料の使用、色、方位のサイズ、寸法、構造、形状、および比率の変動などの、説明された要素および行為の修正形態は、本明細書において開示される主題の教示および利点から著しく逸脱することなく生じ得る。たとえば、一体的に形成されると図示される要素は、複数の部品または要素から構築可能であり、要素の位置は逆転可能または別の方法で変化可能であり、個別的な要素または位置の性質または数は改変または変化可能である。他の置換、修正、変更、および省略も、本開示の範囲から逸脱することなく、開示される要素および動作の設計、動作条件、および配列において行われ得る。
本明細書における、要素の位置(たとえば、「上部(top)」、「下部(bottom)」、「上方(above)」、「下方(below)」)への参照は、図におけるさまざまな要素の方位を説明するために使用されているに過ぎない。さまざまな要素の方位は、例となる他の実施形態に応じて異なってよく、そのような変形形態は、本開示によって包含されることを意図したものである。

Claims (15)

  1. コンソールによって、人工現実の画像を示す画像データをヘッドウェアラブルディスプレイへワイヤレス送信するための第1のセッションの予想送信終了時間を決定することと、
    前記コンソールによって、前記人工現実の前記画像と関連づけられた追加データを生成する予想処理終了時間を決定することと、
    前記コンソールによって、前記予想送信終了時間と前記予想処理終了時間を比較することと、
    前記予想処理終了時間が前記予想送信終了時間未満であることを踏まえて、前記コンソールによって、前記画像データとともに前記追加データを前記第1のセッション中に前記ヘッドウェアラブルディスプレイに送信することと
    を含む方法。
  2. 前記コンソールによって、前記ヘッドウェアラブルディスプレイから、前記ヘッドウェアラブルディスプレイの場所および方位を示す情報を受信することと、
    前記コンソールによって、受信された前記情報に応じて前記人工現実の前記画像を示す前記画像データを生成することと、
    前記コンソールによって、前記人工現実の前記画像と関連づけられた前記追加データを生成することと
    をさらに含む、請求項1に記載の方法。
  3. 前記予想処理終了時間が前記予想送信終了時間未満であることを踏まえて、前記コンソールによって、前記画像データとともに前記追加データを同じ送信機会ウィンドウまたはシステム間隔内で前記ヘッドウェアラブルディスプレイに送信することと
    をさらに含む、請求項1に記載の方法。
  4. 前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記コンソールによって、前記予想処理終了時間に応じて、前記第1のセッションを延長することと、
    前記コンソールによって、延長された前記第1のセッション中に、前記画像データとともに前記追加データを前記ヘッドウェアラブルディスプレイに送信することと
    をさらに含み、任意選択で、前記コンソールによって、前記予想処理終了時間に応じて、前記第1のセッションを延長することが、
    前記コンソールによって、前記第1のセッションを延長するように前記第1のセッションの変調および符号化方式を調整すること
    を含む、請求項1に記載の方法。
  5. 前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記コンソールによって、前記第1のセッション中に前記ヘッドウェアラブルディスプレイに、前記予想処理終了時間を示すタイミング情報を送信することと、
    前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記コンソールによって、前記第1のセッション後の第2のセッションを通じて前記追加データを前記ヘッドウェアラブルディスプレイに送信することと
    をさらに含み、任意選択で、前記ヘッドウェアラブルディスプレイが、前記第1のセッションと前記第2のセッションとの間の前記コンソールとのワイヤレス通信を不可能にするように構成される、
    請求項1に記載の方法。
  6. 前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記コンソールによって、前記追加データのサブセットを生成するために1つまたは複数のプロセスを選択することと、
    前記コンソールによって、前記追加データの前記サブセットを生成するために選択された前記1つまたは複数のプロセスを実施することと、
    前記コンソールによって、前記第1のセッション中に、前記画像データとともに前記追加データの前記サブセットを前記ヘッドウェアラブルディスプレイに送信することとをさらに含み、任意選択で、前記追加データの前記サブセットが、
    物理空間内の前記ヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報、
    前記ヘッドウェアラブルディスプレイのユーザの手の形状、場所、もしくは方位を示す手モデルデータ、または
    前記ヘッドウェアラブルディスプレイの前記ユーザの注視方向を示すアイトラッキングデータ、
    のうちの少なくとも1つを含む、請求項1に記載の方法。
  7. ワイヤレス通信インターフェースと、
    人工現実の画像を示す画像データをヘッドウェアラブルディスプレイへワイヤレス送信するための第1のセッションの予想送信終了時間を決定し、
    前記人工現実の前記画像と関連づけられた追加データを生成する予想処理終了時間を決定し、
    前記予想送信終了時間と前記予想処理終了時間を比較し、
    前記予想処理終了時間が前記予想送信終了時間未満であることを踏まえて、前記画像データとともに前記追加データを前記第1のセッション中に前記ヘッドウェアラブルディスプレイに送信するように前記ワイヤレス通信インターフェースを構成する
    ように構成されたプロセッサと
    を備えるシステム。
  8. 前記プロセッサが、
    前記ヘッドウェアラブルディスプレイの場所および方位を示す情報を前記ヘッドウェアラブルディスプレイから受信するように前記ワイヤレス通信インターフェースを構成し、
    受信された前記情報に応じて前記人工現実の前記画像を示す前記画像データを生成し、
    前記人工現実の前記画像と関連づけられた前記追加データを生成する
    ようにさらに構成される、請求項7に記載のシステム。
  9. 前記プロセッサが、
    前記予想処理終了時間が前記予想送信終了時間未満であることを踏まえて、前記画像データとともに前記追加データを同じ送信機会ウィンドウまたはシステム間隔内で前記ヘッドウェアラブルディスプレイに送信するように前記ワイヤレス通信インターフェースを構成する
    ようにさらに構成される、請求項7に記載のシステム。
  10. 前記プロセッサが、
    前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記予想処理終了時間に応じて、前記第1のセッションを延長し、
    延長された前記第1のセッション中に、前記画像データとともに前記追加データを前記ヘッドウェアラブルディスプレイに送信するように前記ワイヤレス通信インターフェースを構成する
    ようにさらに構成され、任意選択で、前記プロセッサが、前記予想処理終了時間に応じて、
    前記第1のセッションを延長するように前記第1のセッションの変調および符号化方式を調整すること
    によって、前記第1のセッションを延長するように構成される、
    請求項7に記載のシステム。
  11. 前記プロセッサが、
    前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記第1のセッション中に前記ヘッドウェアラブルディスプレイに、前記予想処理終了時間を示すタイミング情報を送信するように前記ワイヤレス通信インターフェースを構成し、
    前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記第1のセッション後の第2のセッションを通じて前記追加データを前記ヘッドウェアラブルディスプレイに送信するように前記ワイヤレス通信インターフェースを構成する
    ようにさらに構成され、任意選択で、前記ヘッドウェアラブルディスプレイが、前記第1のセッションと前記第2のセッションとの間の前記ワイヤレス通信インターフェースとのワイヤレス通信を不可能にするように構成される、請求項7に記載のシステム。
  12. 前記プロセッサが、
    前記予想処理終了時間が前記予想送信終了時間よりも長いことを踏まえて、前記追加データのサブセットを生成するために1つまたは複数のプロセスを選択し、
    前記追加データの前記サブセットを生成するために選択された前記1つまたは複数のプロセスを実施し、
    前記画像データとともに前記追加データの前記サブセットを前記第1のセッション中に前記ヘッドウェアラブルディスプレイに送信するように前記ワイヤレス通信インターフェースを構成する
    ようにさらに構成される、請求項7に記載のシステム。
  13. 前記追加データの前記サブセットが、
    物理空間内の前記ヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報、
    前記ヘッドウェアラブルディスプレイのユーザの手の形状、場所、もしくは方位を示す手モデルデータ、または
    前記ヘッドウェアラブルディスプレイの前記ユーザの注視方向を示すアイトラッキングデータ、
    のうちの少なくとも1つを含む、請求項12に記載のシステム。
  14. ワイヤレス通信インターフェースと、
    コンソールから、第1のセッション中に、人工現実の画像を示す画像データと、前記人工現実の前記画像と関連づけられた追加データを前記コンソールが生成するための予想処理終了時間を示すタイミング情報とを受信するように前記ワイヤレス通信インターフェースを構成し、
    前記予想処理終了時間までスリープモードで前記ワイヤレス通信インターフェースを構成し、
    前記コンソールから、前記予想処理終了時間後の第2のセッション中に、前記追加データを受信するように前記ワイヤレス通信インターフェースを構成し、
    前記人工現実の前記画像および前記追加データに応じて前記人工現実を提示する
    ように構成されたプロセッサと
    を備えるヘッドウェアラブルディスプレイ。
  15. 前記追加データが、物理空間内の前記ヘッドウェアラブルディスプレイの場所および方位を仮想空間に変換するためのマッピング情報を含む、請求項14に記載のヘッドウェアラブルディスプレイ。
JP2021533785A 2019-03-08 2020-03-05 人工現実のためのレイテンシ減少 Active JP7436484B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962815811P 2019-03-08 2019-03-08
US62/815,811 2019-03-08
US16/774,863 US11405913B2 (en) 2019-03-08 2020-01-28 Latency reduction for artificial reality
US16/774,863 2020-01-28
PCT/US2020/021118 WO2020185493A1 (en) 2019-03-08 2020-03-05 Latency reduction for artificial reality

Publications (2)

Publication Number Publication Date
JP2022522584A JP2022522584A (ja) 2022-04-20
JP7436484B2 true JP7436484B2 (ja) 2024-02-21

Family

ID=70166135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533785A Active JP7436484B2 (ja) 2019-03-08 2020-03-05 人工現実のためのレイテンシ減少

Country Status (6)

Country Link
US (2) US11405913B2 (ja)
EP (1) EP3935438B1 (ja)
JP (1) JP7436484B2 (ja)
KR (1) KR20210134966A (ja)
CN (1) CN113544568B (ja)
WO (1) WO2020185493A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11844023B2 (en) 2021-02-12 2023-12-12 Meta Platforms Technologies, Llc Systems and methods of adaptive power saving for wireless traffic
WO2022173868A1 (en) * 2021-02-12 2022-08-18 Meta Platforms Technologies, Llc Systems and methods of adaptive power saving for wireless traffic

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005372A (ja) 2015-06-05 2017-01-05 キヤノン株式会社 通信装置およびその制御方法
JP2018106663A (ja) 2016-12-26 2018-07-05 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
WO2018135364A1 (ja) 2017-01-18 2018-07-26 株式会社ソニー・インタラクティブエンタテインメント 通信装置、生成データサイズ制御方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238669B (zh) * 2010-04-29 2016-05-04 北京三星通信技术研究有限公司 一种通过家用基站HeNB进行X2切换的方法
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
KR101769353B1 (ko) * 2012-03-22 2017-08-18 한국전자통신연구원 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법
US20170053455A1 (en) * 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Asynchronous 3D annotation of a Video Sequence
US20170084084A1 (en) * 2015-09-22 2017-03-23 Thrillbox, Inc Mapping of user interaction within a virtual reality environment
US10171866B2 (en) * 2016-03-29 2019-01-01 Seiko Epson Corporation Display system, display device, head-mounted display device, display control method, control method for display device, and computer program
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10152775B1 (en) * 2017-08-08 2018-12-11 Rockwell Collins, Inc. Low latency mixed reality head wearable device
CN107680047A (zh) * 2017-09-05 2018-02-09 北京小鸟看看科技有限公司 一种虚拟现实场景渲染方法、图像处理器和头戴显示设备
US10861215B2 (en) * 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
US11277856B2 (en) * 2019-03-08 2022-03-15 Facebook Technologies, Llc Systems and methods for dynamic scheduling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005372A (ja) 2015-06-05 2017-01-05 キヤノン株式会社 通信装置およびその制御方法
JP2018106663A (ja) 2016-12-26 2018-07-05 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
WO2018135364A1 (ja) 2017-01-18 2018-07-26 株式会社ソニー・インタラクティブエンタテインメント 通信装置、生成データサイズ制御方法及びプログラム

Also Published As

Publication number Publication date
KR20210134966A (ko) 2021-11-11
US20200344754A1 (en) 2020-10-29
EP3935438B1 (en) 2023-07-12
US11405913B2 (en) 2022-08-02
JP2022522584A (ja) 2022-04-20
CN113544568A (zh) 2021-10-22
EP3935438A1 (en) 2022-01-12
CN113544568B (zh) 2023-04-25
WO2020185493A1 (en) 2020-09-17
US11723003B2 (en) 2023-08-08
US20220369313A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US11723003B2 (en) Latency reduction for artificial reality
US11838369B1 (en) EDCA optimization for artificial reality links
US11651570B2 (en) Adaptive rate control for artificial reality
JP2023553283A (ja) 無線通信用のtwtにおけるクワイエット要素のためのシステムおよび方法
US11678324B2 (en) Systems and methods for dynamic scheduling
US20220247513A1 (en) Systems and methods for beamforming
CN116018845A (zh) 不同通信协议之间的切换
JP2023547778A (ja) ソフトアクセスポイントのための時間スロット予約
TW202243523A (zh) 用於在無線頻譜中實行共存操作之系統和方法
TW202201073A (zh) 透過基於信號對干擾雜訊比的疊代分佈式波束選擇的干擾減輕
US12035236B2 (en) Systems and methods for quiet element in TWT for wireless communication
JP2023541570A (ja) エネルギー検出閾値を管理するシステムおよび方法
WO2022169750A1 (en) Systems and methods for coexistence of wi-fi communication and narrowband communication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240208

R150 Certificate of patent or registration of utility model

Ref document number: 7436484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150