JP2023512937A

JP2023512937A - 無線仮想拡張現実システムでのレイテンシの隠蔽

Info

Publication number: JP2023512937A
Application number: JP2022543703A
Authority: JP
Inventors: ミロノフミハイル; コルスニクゲンナジー; シニアヴィンパーベル
Original assignee: ATI Technologies ULC
Current assignee: ATI Technologies ULC
Priority date: 2020-01-31
Filing date: 2021-01-25
Publication date: 2023-03-30
Also published as: CN114981880A; EP4097713A1; KR20220133892A; WO2021152447A1; US20210240257A1; EP4097713A4

Abstract

無線仮想現実（ＶＲ）及び拡張現実（ＡＲ）アプリケーションのレイテンシを隠すシステム、装置及び方法が開示される。無線ＶＲ又はＡＲシステムは、ビデオフレームのレンダリング、エンコード、及び、ヘッドマウントディスプレイ（ＨＭＤ）に結合された受信機への送信を行う送信機を含む。１つのシナリオでは、受信機は、システムがフレームをレンダリングし、フレームを表示するのに準備するために必要な総レイテンシを測定する。受信機は、総レイテンシに基づいて、ユーザの将来の頭のポーズを予測する。次に、送信機にあるレンダリングユニットは、予測された将来の頭のポーズに基づいて、ヘッドセットの視野（ＦＯＶ）よりも大きいレンダリングされたＦＯＶを備えた新しいフレームをレンダリングする。受信機は、実際の頭のポーズと予測された将来の頭のポーズとの差によって決定される量だけ新しいフレームを回転させて、表示用の新しいフレームの回転バージョンを生成する。【選択図】図６

Description

（関連技術の説明）
ユーザに対する没入型環境を作り出すために、仮想現実（ＶＲ）及び拡張現実（ＡＲ）ビデオストリーミングアプリケーションは、通常、高解像度及び高フレームレートを必要とし、これは高データレートに相当する。ＶＲ及びＡＲヘッドセット又はヘッドマウントディスプレイ（ＨＭＤ）の場合、高速で一貫したフレームレートでレンダリングすることで、スムーズで没入型のエクスペリエンスが提供される。しかしながら、シーンの複雑さによってはレンダリング時間が変動する場合があり、レンダリングされたフレームがプレゼンテーションに遅れて配信されることがある。さらに、ユーザがＶＲ又はＡＲシーン内で向きを変えると、レンダリングユニットは、シーンがレンダリングされる視点を変更する。

多くの場合、ユーザは、自分の動きとそれに対応するディスプレイに表示される画像の更新との間に遅延を感じることがある。この遅延は、システムに固有のレイテンシによって引き起こされ、レイテンシとは、ユーザの動きがキャプチャされてから、この動きを反映する画像がＨＭＤの画面に表示されるまでの時間を指す。例えば、システムがフレームをレンダリングしている間にユーザが頭を動かすと、ユーザの新しい頭のポーズ（head pose）に基づいて、フレームにレンダリングされている風景の位置が不正確になる可能性がある。一実施形態では、「頭のポーズ」という用語は、頭の位置（例えば、三次元空間におけるＸ、Ｙ、Ｚ座標）及び頭の向きの両方として定義される。頭の向きは、四元数として、オイラー角と呼ばれる３つの角度のセットとして、又は、他の方法で指定できる。

無線ＶＲ／ＡＲシステムは、通常、有線システムと比較して追加のレイテンシをもたらす。この追加のレイテンシを隠すための特別な技術がないと、ＨＭＤに表示される画像は、頭が動いた場合にジャダー（judder）及び遅延が発生し、没入感が失われ、吐き気と眼精疲労を引き起こす。

本明細書に記載される方法及びメカニズムの利点は、添付の図面と併せて以下の説明を参照することによって、より良く理解され得る。

システムの一実施形態のブロック図である。システムの一実施形態のブロック図である。ＶＲ／ＡＲアプリケーションのためのレンダリング環境の一例の図である。ＶＲ／ＡＲアプリケーションにおける遅い頭の動きを妨げるための技術の一例の図である。遅い頭の動きに基づいて、無線ＶＲ／ＡＲアプリケーションのために表示されているフレームを調整する一例の図である。無線ＶＲ／ＡＲシステムのレイテンシを隠す方法の一実施形態を示す一般化されたフロー図である。無線ＶＲ／ＡＲが最初から最後までフレームをレンダリング及び表示するための総レイテンシを測定する方法の一実施形態を示す一般化されたフロー図である。ユーザの将来の頭のポーズを予測するためのモデルを更新する方法の一実施形態を示す一般化されたフロー図である。将来の頭のポーズの予測の誤差に基づいて、レンダリングＦＯＶのサイズを動的に調整する方法の一実施形態を示す全般的なフローチャートである。レンダリングＦＯＶを動的に調整する方法の一実施形態を示す一般化されたフロー図である。

以下の説明では、本明細書で提示される方法及びメカニズムの十分な理解をもたらすために、多数の特定の詳細が示されている。しかしながら、当業者は、これらの特定の詳細を用いないで、様々な実施形態を実施し得ることを認識するはずである。いくつかの例では、本明細書で説明する手法を不明瞭にすることを回避するために、周知の構造、構成要素、信号、コンピュータプログラム命令及び技術が詳細に示されていない。説明を簡潔及び明瞭にするために、図面に示す要素が必ずしも縮尺通りに描かれていないことを理解されたい。例えば、いくつかの要素の寸法は、他の要素に対して誇張される場合がある。

無線仮想及び拡張現実アプリケーションのレイテンシを隠すための様々なシステム、装置、方法及びコンピュータ可読媒体が本明細書に開示されている。一実施形態では、仮想現実（ＶＲ）又は拡張現実（ＡＲ）システムは、ビデオフレームのレンダリング、エンコード、及び、ヘッドマウントディスプレイ（ＨＭＤ）に結合された受信機への送信を行う送信機を含む。１つのシナリオでは、受信機は、システムがフレームをレンダリングし、表示用にフレームを準備するために必要な総レイテンシを測定する。受信機は、レイテンシの測定値とユーザの頭の動きの予測とに基づいて、ユーザの将来の頭のポーズを予測する。次に、受信機は、予測された将来の頭のポーズのインジケーションを送信機のレンダリングユニットに伝達する。次に、レンダリングユニットは、予測された将来の頭のポーズに基づいて、ヘッドセットの視野（ＦＯＶ）よりも大きいレンダリングされたＦＯＶを備えた新しいフレームをレンダリングする。次に、レンダリングユニットは、レンダリングされた新しいフレームを受信機に伝達して表示する。受信機は、新しいフレームを表示する準備として、ユーザの実際の頭のポーズを測定する。次に、受信機は、実際の頭のポーズと予測された頭のポーズとの差を計算する。受信機は、差によって決定される量だけ新しいフレームを回転させて、新しいフレームの回転バージョンを生成する（例えば、レンダリング開始後にユーザが頭を動かした方法に一致するように、視野が垂直方向及び／又は水平方向にシフトされる）。次に、受信機は、新しいフレームの回転バージョンを表示する。

図１を参照すると、システム１００の一実施形態のブロック図が示されている。一実施形態では、システム１００は、送信機１０５と、チャネル１１０と、受信機１１５と、ヘッドマウントディスプレイ（ＨＭＤ）１２０と、を含む。他の実施形態では、システム１００は、図１に示す以外の構成要素を含むことができることに留意されたい。一実施形態では、チャネル１１０は、送信機１０５と受信機１１５との間の無線接続である。別の実施形態では、チャネル１１０は、送信機１０５と受信機１１５との間のネットワーク接続を表す。送信機１０５と受信機１１５との間の接続を提供するために、実施形態に応じて、任意のタイプ及び数のネットワークを使用することができる。例えば、送信機１０５は、１つの特定の実施形態におけるクラウドサービスプロバイダの一部である。

一実施形態では、送信機１０５は、エンコードされて受信機１１５に送信されるビデオシーケンスを受信する。別の実施形態では、送信機１０５は、エンコードされて受信機１１５に送信されるビデオシーケンスをレンダリングするレンダリングユニットを含む。一実施形態では、レンダリングユニットは、グラフィックス情報（例えば、生の画像データ）から、レンダリングされた画像を生成する。「画像」、「フレーム」及び「ビデオフレーム」という用語は、本明細書では交換可能に使用できることに留意されたい。一実施形態では、ＨＭＤ１２０に表示される各画像内で、画像の右目部分がＨＭＤ１２０の右側１２５Ｒに送られ、画像の左目部分がＨＭＤ１２０の左側１２５Ｌに送られる。一実施形態では、受信機１１５は、ＨＭＤ１２０から分離されており、受信機１１５は、有線又は無線接続を使用してＨＭＤ１２０と通信する。別の実施形態では、受信機１１５は、ＨＭＤ１２０内に統合されている。

システム１００によって実行されている様々な操作のレイテンシを隠すために、将来の頭のポーズを予測し、予測された未来の頭のポーズに基づいてディスプレイよりも広い視野（ＦＯＶ）をレンダリングし、予測された将来の頭のポーズと、最終フレームが表示のために準備されているときの実際の頭のポーズとの間の差に基づいて、最終フレームを調整するための様々な技術がシステム１００によって使用される。一実施形態では、ユーザの頭のポーズは、ＨＭＤ１２０内の１つ以上の頭追跡センサ１４０に基づいて決定される。一実施形態では、受信機１１５は、システム１００の総レイテンシを測定し、現在の頭のポーズの測定値及び測定された総レイテンシに基づいて、ユーザの将来の頭のポーズを予測する。言い換えれば、受信機１１５は、測定された総レイテンシに基づいて、次のフレームが表示される時点を決定し、受信機１１５は、ユーザの頭及び／又は目がその時点で何処に向けられるかを予測する。一実施形態では、「総レイテンシ」という用語は、ユーザの頭のポーズの測定を行ってから、この頭のポーズを反映する画像を表示するまでの時間として定義される。様々な実施形態では、シーンの複雑さによっては、レンダリングに必要となる時間の量が変動する場合があり、レンダリングされたフレームがプレゼンテーションに遅れて配信されることがある。レンダリング時間が変動するにつれて総レイテンシが変化し、システム１００の総レイテンシを追跡するために受信機１１５によって得られる測定値の重要性が増す。

予測を行った後に、受信機１１５は、予測された将来の頭のポーズのインジケーションを送信機１０５に送信する。一実施形態では、予測された将来の頭のポーズの情報は、チャネル１１０とは別の通信インタフェース１４５を使用して、受信機１１５から送信機１０５に送信される。別の実施形態では、予測された将来の頭のポーズの情報は、チャネル１１０を使用して、受信機１１５から送信機１０５に送信される。一実施形態では、送信機１０５は、予測された将来の頭のポーズに基づいてフレームをレンダリングする。また、送信機１０５は、ヘッドセットＦＯＶよりも広いＦＯＶを備えたフレームをレンダリングする。送信機１０５は、フレームをエンコードして受信機１１５に送信し、受信機１１５は、フレームをデコードする。受信機１１５が、デコードされたフレームを表示するために準備している場合、受信機１１５は、ユーザの現在の頭のポーズを決定し、予測された将来の頭のポーズと現在の頭のポーズとの間の差を計算する。次に、受信機１１５は、差に基づいてフレームを回転させ、回転したフレームをディスプレイに送る。これら及び他の技術は、本開示の残りの部分を通してさらに詳細に説明される。

送信機１０５及び受信機１１５は、任意のタイプの通信デバイス及び／又はコンピューティングデバイスを表す。例えば、様々な実施形態では、送信機１０５及び／又は受信機１１５は、携帯電話、タブレット、コンピュータ、サーバ、ＨＭＤ、別のタイプのディスプレイ、ルータ、又は、他のタイプのコンピューティングデバイス若しくは通信デバイスであってもよい。一実施形態では、システム１００は、レンダリングされた仮想環境のフレームを送信機１０５から受信機１１５に無線で送信するための仮想現実（ＶＲ）アプリケーションを実行する。他の実施形態では、本明細書で説明する方法及びメカニズムを利用したシステム１００によって、他のタイプのアプリケーション（例えば、拡張現実（ＡＲ）アプリケーション）が実装されてもよい。

図２を参照すると、システム２００の一実施形態のブロック図が示されている。システム２００は、相互に無線で通信するように動作可能な少なくとも第１の通信デバイス（例えば、送信機２０５）及び第２の通信デバイス（例えば、受信機２１０）を含む。また、送信機２０５及び受信機２１０は、送受信機と呼ばれる場合もあることに留意されたい。一実施形態では、送信機２０５及び受信機２１０は、非認可の６０ギガヘルツ（ＧＨｚ）周波数帯域を通じて無線で通信する。例えば、この実施形態では、送信機２０５及び受信機２１０は、ＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｓ（ＩＥＥＥ）８０２．１１ａｄ標準規格（すなわち、ＷｉＧｉｇ）に従って通信する。他の実施形態では、送信機２０５及び受信機２１０は、他の周波数帯域を通じて、及び／又は、標準規格若しくは他に従っているかどうかに関わらず、他の無線通信プロトコルに準拠することによって、無線で通信する。例えば、使用することができる他の無線通信プロトコルには、これらに限定されないが、Ｂｌｕｅｔｏｏｔｈ（登録商標）、種々の無線ローカルエリアネットワーク（ＷＬＡＮ）で利用されるプロトコル、ＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｓ（ＩＥＥＥ）８０２．１１の規格に基づいたＷＬＡＮ（すなわち、ＷｉＦｉ（登録商標））、モバイル通信規格（例えば、ＣＤＭＡ、ＬＴＥ、ＧＳＭ、ＷｉＭＡＸ）等が含まれる。

送信機２０５及び受信機２１０は、任意のタイプの通信デバイス及び／又はコンピューティングデバイスを表す。例えば、様々な実施形態では、送信機２０５及び／又は受信機２１０は、携帯電話、タブレット、コンピュータ、サーバ、ヘッドマウントディスプレイ（ＨＭＤ）、テレビ、別のタイプのディスプレイ、ルータ、又は、他のタイプのコンピューティングデバイス若しくは通信デバイスであってもよい。一実施形態では、システム２００は、レンダリングされた仮想環境のフレームを送信機２０５から受信機２１０に無線で送信するための仮想現実（ＶＲ）アプリケーションを実行する。他の実施形態では、本明細書で説明する方法及びメカニズムを利用したシステム２００によって、他のタイプのアプリケーションが実装されてもよい。

一実施形態では、送信機２０５は、少なくとも無線周波数（ＲＦ）送受信機モジュール２２５と、プロセッサ２３０と、メモリ２３５と、アンテナ２４０と、を含む。ＲＦ送受信機モジュール２２５は、ＲＦ信号を送受信する。一実施形態では、ＲＦ送受信機モジュール２２５は、６０ＧＨｚ帯域において１つ以上のチャネルを介して信号を無線で送受信するように動作可能なミリ波送受信機モジュールである。ＲＦ送受信機モジュール２２５は、無線伝送のためにベースバンド信号をＲＦ信号に変換し、ＲＦ送受信機モジュール２２５は、送信機２０５によるデータの抽出のためにＲＦ信号をベースバンド信号に変換する。ＲＦ送受信機モジュール２２５は、例示の目的で単一のユニットとして示されていることに留意されたい。実施形態に応じて、ＲＦ送受信機モジュール２２５が、任意の数の異なるユニット（例えば、チップ）により実装され得ることを理解されたい。同様に、プロセッサ２３０及びメモリ２３５は、それぞれが送信機２０５の一部として実装される、任意の数及びタイプのプロセッサ及びメモリデバイスを表す。一実施形態では、プロセッサ２３０は、ビデオストリームのフレームをレンダリングするレンダリングユニット２３１と、受信機２１０にビデオストリームを送信する前にビデオストリームをエンコードする（すなわち、圧縮する）エンコーダ２３２と、を含む。他の実施形態では、レンダリングユニット２３１及び／又はエンコーダ２３２は、プロセッサ２３０とは別に実装される。様々な実施形態では、レンダリングユニット２３１及びエンコーダ２３２は、ハードウェア及び／又はソフトウェアの任意の適切な組み合わせを使用して実装される。

また、送信機２０５は、ＲＦ信号を送受信するためのアンテナ２４０を含む。アンテナ２４０は、無線信号の送受信の方向性を変更するように構成可能なフェーズドアレイ、単一要素のアンテナ、スイッチビームアンテナのセット等の１つ以上のアンテナを表す。一例として、アンテナ２４０は、１つ以上のアンテナアレイを含み、アンテナアレイ内の各々のアンテナについての振幅又は位相は、アレイ内の他のアンテナとは独立して構成することができる。アンテナ２４０が送信機２０５の外部にあるものとして示されているが、様々な実施形態では、アンテナ２４０が送信機２０５の内部に含まれてもよいことを理解されたい。さらに、送信機２０５は、図を曖昧にすることを回避するために示されていない任意の数の他の構成要素をも含んでもよいことを理解されたい。送信機２０５と同様に、受信機２１０内に実装される構成要素は、送信機２０５について上述した構成要素と同様に、少なくともＲＦ送受信機モジュール２４５と、プロセッサ２５０と、デコーダ２５２と、メモリ２５５と、アンテナ２６０と、を含む。受信機２１０が、他の構成要素（例えば、ディスプレイ）も含む、又は、これらの他の構成要素に結合され得ることを理解されたい。

図３を参照すると、ＶＲ／ＡＲアプリケーションのためのレンダリング環境の一例の図が示されている。図３の左上において、視野（ＦＯＶ）３０２は、ＶＲ／ＡＲアプリケーションにおけるフレームの一例に従ってレンダリングされている風景を示し、ＦＯＶ３０２は、ユーザが真正面を向いている状態でのユーザの現在の頭のポーズに従って方向付けられる。図３の左下にある古いフレーム３０６は、ＶＲ／ＡＲアプリケーションの風景に基づいて、及び、ＦＯＶ３０２によってキャプチャされた時点でのユーザの頭の位置及び向きに基づいて、ユーザに表示される風景を示している。

次に、図３の右上において、ＦＯＶ３０４は、ユーザが頭を動かすことに基づく新しいＦＯＶを示している。しかしながら、フレームのレンダリングが開始された後に頭の動きが発生した場合、フレームのレンダリングを更新するのに間に合うように頭の動きがキャプチャされなかったため、図３の右下にある古いフレーム３０８がユーザに表示される。これは、ユーザが期待するように風景が変化しないため、ユーザの視聴エクスペリエンスに不快な影響を及ぼす。したがって、このネガティブな視聴エクスペリエンスを防止及び／又は相殺するための技術が望まれる。頭を動かすユーザの例が図３に示されている一方で、フレームのレンダリングが開始された後にユーザが目の視線方向を動かす場合、同様の効果が発生する可能性があることに留意されたい。

本明細書では、頭のポーズの例を使用してユーザの視線方向を説明しているが、ユーザの体の他の部分の位置を検出するために異なるタイプのセンサを使用できることを理解されたい。例えば、いくつかのアプリケーションでは、センサが、ユーザの眼球運動を検出できる。別の例では、ユーザが風景と相互作用すると考えられるオブジェクトを持っている場合、センサは、このオブジェクトの動きを検出できる。例えば、一実施形態では、オブジェクトは、懐中電灯として機能することができ、オブジェクトが指している方向をユーザが変更すると、ユーザは、照らされた風景内の別の領域を見ることを期待する。新しい領域が期待どおりに照らされていない場合、ユーザは、矛盾に気づき、全体的なエクスペリエンスが低下する。他のタイプのＶＲ／ＡＲアプリケーションは、ユーザがディスプレイに表示されるのを見ること期待する他のオブジェクトや効果を利用できる。これらの他のタイプのＶＲ／ＡＲアプリケーションも、本明細書で提示する技術の恩恵を受けることができる。

図４を参照すると、ＶＲ／ＡＲアプリケーションにおける頭の動きの遅れを妨げるための技術の一例の図が示されている。図４の左上にあるＦＯＶ４０２は、ＶＲ／ＡＲアプリケーションでレンダリングされているシーンに対するユーザの頭の元の位置及び向きを示している。図４の左下にある古いフレーム４０６は、レンダリングされており、ユーザの現在の頭のポーズに基づいてＨＭＤ上でユーザに表示されるフレームを示している。したがって、古いフレーム４０６は、レンダリングが開始される直前にキャプチャされたユーザの頭のポーズに基づいて、ＦＯＶ４０２のためにレンダリングされている風景の適切な配置を反映している。

図４の右上にあるＦＯＶ４０４は、レンダリングが開始された後のユーザによる頭の動きを示している。しかしながら、ユーザの頭の動きに基づいて風景を更新するために何もしなければ、古いフレーム４０８が依然としてユーザに表示される。一実施形態では、タイムワープ技術を使用して、遅い動きに基づいて、ユーザに提示されるフレームを調整する。したがって、図４の右下の古いフレーム４０８の隣のタイムワープフレーム４１０は、タイムワープ技術を使用して、更新されたＦＯＶ４０４を表示される風景に反映させることを示している。タイムワープフレーム４１０を生成するために使用されるタイムワープ技術は、コンテンツギャップを埋め、没入感を維持するために再投影技術を使用することを含む。再投影は、タイムワープフレーム４１０の欠落部分を合成するために前のフレームからのピクセルデータに様々な技術を適用することを含む。タイムワープ技術は、ヘッドセットのセンサからの最新の頭のポーズデータを使用してユーザのＦＯＶをシフトし、前のフレームを表示したまま、ユーザが頭を動かした場合にスムーズな動きの錯覚を提供する。しかしながら、一般的なタイムワープ技術では、頭の動きの方向のフレームマージンが不完全になり、通常では黒で塗りつぶされ、ヘッドセットの有効なＦＯＶが低下する。

図５を参照すると、遅い頭の動きに基づいて、無線ＶＲ／ＡＲアプリケーションのために表示されているフレームを調整する一例の図が示されている。ＦＯＶ５０２は、ユーザの現在の頭のポーズのＶＲ／ＡＲアプリケーションの風景の一例として図５の左上に示されている。図５の左下にある古いフレーム５０６は、ユーザの現在の頭のポーズに基づいてレンダリングされるフレームを示している。しかしながら、レンダリングされている風景は、実際には左右両方向に拡張して、レンダリング開始後にユーザが頭を動かした場合に最終フレームに使用できる追加の領域を提供できる。

図５の右上において、ＦＯＶ５０４は、ユーザが頭を動かした後の更新されたＦＯＶを示している。是正措置が取られていない場合、ユーザは、古いフレーム５０６を見ることになる。図５の右下に示されている古いフレーム５１０は、遅い頭の動きを補正するために一実施形態で使用される技術を示している。この場合、図５の左下のオーバースキャン領域５０８に示されるフレームの周りの余分な領域がレンダリングされ、ＨＭＤに送信される。図５の右下のタイムワープフレーム５１４において、フレームの境界は、オーバースキャン領域５１２内のピクセルを使用して右にシフトされ、ユーザの新しい頭のポーズに合わせて調整される。タイムワープフレーム５１４の破線によって示されるように、古いフレーム５１０の境界を右にシフトすることによって、レンダリングされてＨＭＤに送られた元のフレーム５０６の右側のオーバースキャン領域５０８内の余分な領域が使用され、ユーザに表示される。図５に示すように、タイムワープ技術は、オーバースキャン技術と組み合わされて、もはや用いられないヘッド位置でレンダリングされたフレームの代わりに画像を合成する。これらの技術の組み合わせは、よりスムーズな動きの錯覚を作り出す。

図６を参照すると、無線ＶＲ／ＡＲシステムのレイテンシを隠す方法６００の一実施形態が示されている。説明のために、本実施形態でのステップ及び図７～図１０でのステップを順番に示す。しかしながら、説明する方法の様々な実施形態では、説明する要素のうち１つ以上が、同時に実行されてもよいし、図示した順序とは異なる順序で実行されてもよいし、完全に省略されてもよいことに留意されたい。他の追加の要素も必要に応じて実行される。本明細書に記載される様々なシステム又は装置の何れも、方法６００を実施するように構成されている。

受信機は、無線ＶＲ／ＡＲシステムの総レイテンシを測定する（ブロック６０５）。一実施形態では、総レイテンシは、所定の頭のポーズが測定される第１の時点から、所定の頭のポーズを反映するフレームが表示される第２の時点まで測定される。無線ＶＲ／ＡＲシステムのレイテンシを測定する一例は、（図７の）方法７００に関連する説明において、以下にさらに詳細に説明される。いくつかの場合では、平均総レイテンシがいくつかのフレームサイクルにわたって計算され、ブロック６０５で使用される。別の実施形態では、最後に計算された総レイテンシがブロック６０５で使用される。

ヘッドセットは、総レイテンシの測定値に基づいて、ユーザの将来の頭のポーズを適応的に予測する（ブロック６１０）。言い換えれば、ヘッドセットは、次のフレームが表示される時点でユーザの視線が何処に向けられるかを予測する。次のフレームが表示される時点は、現在の時刻にレイテンシの測定値を加算することによって計算される。一実施形態では、ヘッドセットは、過去の頭のポーズデータを使用して、次のフレームが表示される時点まで前方に外挿（extrapolate）して、ユーザの将来の頭のポーズの予測を生成する。次に、ヘッドセットは、予測された頭のポーズのインジケーションをレンダリングユニットに送信する（ブロック６１５）。

その後、レンダリングユニットは、予測された将来の頭のポーズを使用して、ヘッドセットの視野（ＦＯＶ）よりも大きいＦＯＶを備えた新しいフレームをレンダリングする（ブロック６２０）。一実施形態では、新しくレンダリングされたフレームのＦＯＶは、水平方向においてヘッドセットのＦＯＶよりも大きい。別の実施形態では、新しくレンダリングされたフレームのＦＯＶは、垂直方向及び水平方向の両方でヘッドセットのＦＯＶよりも大きい。次に、新しくレンダリングされたフレームがヘッドセットに送信される（ブロック６２５）。その後、ヘッドセットは、新しいフレームがヘッドセットに表示されるために準備されている時点でのユーザの実際の頭のポーズを測定する（ブロック６３０）。次に、ヘッドセットは、実際の頭のポーズと予測された将来の頭のポーズとの差を計算する（ブロック６３５）。その後、ヘッドセットは、差によって決定される量だけ新しいフレームを調整する（ブロック６４０）。ブロック６４０で実行される新しいフレームへの調整は、回転（rotation）とも呼ばれ得ることに留意されたい。この調整は、２次元の直線運動、３次元の回転運動、又は、線形運動と回転運動との組み合わせに適用できる。

次に、新しいフレームの調整されたバージョンがディスプレイに送られる（ブロック６４５）。また、実際の頭のポーズと予測された頭のポーズとの差は、ユーザの将来の頭のポーズを予測するモデルを更新するために使用される（ブロック６５０）。実際の頭のポーズと予測された頭のポーズとの差を使用して、ユーザの将来の頭のポーズを予測するモデルを更新する一例は、図８の方法８００に関連する説明に記載されている。ブロック６５０の後に、方法６００は終了する。方法６００は、ヘッドセット上にレンダリング及び表示されるフレームごとに実行できることに留意されたい。

図７を参照すると、無線ＶＲ／ＡＲが、最初から最後までフレームをレンダリング及び表示するための総レイテンシを測定する方法７００の一実施形態が示されている。受信機は、ユーザの位置を測定し、測定時間のインジケーションを記録する（ブロック７０５）。ユーザの位置は、ユーザの頭のポーズ、ユーザの目の視線方向、又は、ユーザの体の他の部分の位置を参考にすることができる。例えば、いくつかの実施形態では、受信機は、手のジェスチャ又は体の他の部分（例えば、足、脚）の位置を検出する。一実施形態では、測定時間のインジケーションは、タイムスタンプである。別の実施形態では、測定時間のインジケーションは、実行中のカウンタの値である。受信機がユーザの位置を測定する時間を記録する他の方法が可能であり、企図されている。

次に、受信機は、ユーザの将来の位置を予測し、予測された将来の位置をレンダリングユニットに送信する（ブロック７１０）。レンダリングユニットは、ディスプレイのＦＯＶよりも大きいＦＯＶを備えた新しいフレームをレンダリングし、新しいフレームは、ユーザの予測された将来の位置に基づいてレンダリングされる（ブロック７１５）。次に、レンダリングユニットは、新しいフレームをエンコードして、エンコードされた新しいフレームを受信機に送信する（ブロック７２０）。その後、ヘッドセットは、エンコードされた新しいフレームをデコードする（ブロック７２５）。次に、デコードされた新しいフレームを表示用に準備する場合に、受信機は、現在の時刻を、記録されたタイムスタンプと比較する（ブロック７３０）。現在の時刻と、ユーザ位置測定時に取得された記録されたタイムスタンプとの差が、総レイテンシの測定値として使用される（ブロック７３５）。ブロック７３５の後に、方法７００は終了する。

図８を参照すると、ユーザの将来の頭のポーズを予測するためのモデルを更新する方法８００の一実施形態が示されている。モデルは、ユーザの現在の頭のポーズの測定値を受信する（ブロック８０５）。モデルは、ＶＲ／ＡＲシステムの総レイテンシの測定値も受信する（ブロック８１０）。モデルは、ユーザの現在の頭のポーズ及び総レイテンシに基づいて、次のフレームが表示される時点での将来の頭のポーズの予測を行う（ブロック８１５）。後に、次のフレームが表示用に準備されている場合にユーザの実際の頭のポーズが測定される場合に、モデルの予測と実際の頭のポーズとの間の差が計算される（ブロック８２０）。その後、その差が、モデルへの誤差入力として提供される（ブロック８２５）。次に、モデルは、誤差入力に基づいて、１つ以上の設定を更新する（ブロック８３０）。一実施形態では、モデルは、誤差フィードバックに応じてネットワークの重みを調整するために後方伝搬（backward propagation）を使用するニューラルネットワークである。ブロック８３０の後に、方法８００はブロック８０５に戻る。方法８００による次の反復では、モデルは、１つ以上の更新された設定を使用して、後続の予測を行う。

図９を参照すると、将来の頭のポーズの予測の誤差に基づいて、レンダリングＦＯＶのサイズを動的に調整する方法９００の一実施形態が示されている。受信機は、将来の頭のポーズの複数の予測のために誤差を追跡する（ブロック９０５）。受信機は、将来の頭のポーズの最新のＮ個の予測について平均誤差を計算する。ここで、Ｎは正の整数である（ブロック９１０）。次に、レンダリングユニットは、平均誤差に少なくとも部分的に基づいて決定されるサイズを有する、レンダリングされたＦＯＶを生成し、ここで、レンダリングされたＦＯＶのサイズがディスプレイのサイズよりも大きい量は、平均誤差に比例する（ブロック９１５）。ブロック９１５の後に、方法９００は終了する。方法９００を実行することにより、誤差が増加した場合に、レンダリングされたＦＯＶのサイズが増加し、受信機は、最終フレームを調整することができ、これは、最終フレームが、予測された将来の頭のポーズと実際の頭のポーズとの間の比較的大きな誤差を考慮して、表示する準備ができているからである。逆に、誤差が比較的小さい場合、レンダリングユニットは、比較的小さい、レンダリングされたＦＯＶを生成し、これにより、生成されて受信機に送信されるピクセル数が減り、ＶＲ／ＡＲシステムがより効率的になる。これは、誤差が小さい場合に表示するフレームの準備に伴うレイテンシと消費電力とを削減するのを助ける。

図１０を参照すると、レンダリングＦＯＶを動的に調整する方法１０００の一実施形態が示されている。受信機は、前のフレームについて、第１の実際の頭のポーズと第１の予測された将来の頭のポーズとの間の第１の差を検出する（ブロック１００５）。次に、受信機は、第１の差のインジケーションをレンダリングユニットに伝達する（ブロック１０１０）。その後、レンダリングユニットは、第１の差のインジケーションを受信したことに応じて、第１のレンダリングされたＦＯＶを備えた第１のフレームをレンダリングする（ブロック１０１５）。一実施形態では、第１のレンダリングされたＦＯＶのサイズは、第１の差に比例する。

次に、後の時点で、受信機は、第２の実際の頭のポーズと第２の予測された将来の頭のポーズとの間の第２の差を検出し、第２の差は第１の差よりも大きい（ブロック１０２０）。その後、受信機は、第２の差のインジケーションをレンダリングユニットに伝達する（ブロック１０２５）。次に、レンダリングユニットは、第２の差のインジケーションを受信したことに応じて、第２のレンダリングされたＦＯＶを備えた第２のフレームをレンダリングし、第２のレンダリングされたＦＯＶのサイズは、第１のレンダリングされたＦＯＶのサイズよりも大きい（ブロック１０３０）。ブロック１０３０の後に、方法１０００は終了する。

様々な実施形態では、ソフトウェアアプリケーションのプログラム命令を使用して、本明細書で説明する方法及び／又はメカニズムを実装する。例えば、汎用又は特殊目的プロセッサによって実行可能なプログラム命令が企図される。様々な実施形態では、このようなプログラム命令は、高レベルプログラミング言語で表すことができる。他の実施形態では、プログラム命令は、高レベルプログラミング言語からバイナリ形式、中間形式又は他の形式にコンパイルされてもよい。代わりに、ハードウェアの振る舞い又は設計を記述したプログラム命令が書き込まれてもよい。このようなプログラム命令をＣ等の高レベルプログラミング言語によって表現することができる。代わりに、Ｖｅｒｉｌｏｇ等のハードウェア設計言語（ＨＤＬ）を使用することができる。様々な実施形態では、プログラム命令は、様々な非一時的なコンピュータ可読記憶媒体に記憶される。記憶媒体は、プログラム実行のためにプログラム命令をコンピューティングシステムに提供するために、使用中にコンピューティングシステムによってアクセス可能である。一般的に言えば、そのようなコンピューティングシステムは、少なくとも１つ以上のメモリと、プログラム命令を実行するように構成された１つ以上のプロセッサと、を含む。

上述した実施形態が、実施形態の非限定的な例にすぎないことを強調しておきたい。上記の開示を十分に理解した場合に、多くの変形及び修正が当業者に明らかになる。以下の特許請求の範囲は、全てのそのような変形及び修正を包含するものと解釈されることが意図される。

Claims

システムであって、
受信機と、
レンダリングユニットと、
ディスプレイデバイスと、を備え、
前記受信機は、
前記システムが表示用のフレームをレンダリングして準備するための総レイテンシを測定することと、
前記総レイテンシの測定値及びユーザの現在の頭のポーズに少なくとも部分的に基づいて、前記ユーザの将来の頭のポーズを予測することと、
を行うように構成されており、
前記レンダリングユニットは、
予測された将来の頭のポーズに基づいて、ディスプレイの視野（ＦＯＶ）よりも大きいレンダリングされたＦＯＶを備えた新しいフレームをレンダリングするように構成されており、
前記ディスプレイデバイスは、
前記新しいフレームを表示するように構成されている、
システム。
前記受信機は、
前記ユーザの実際の頭のポーズを決定することと、
前記実際の頭のポーズと前記予測された将来の頭のポーズとの間の差を計算することと、
前記差に基づく量だけ前記新しいフレームを回転させて、前記新しいフレームの回転バージョンを生成することと、
前記新しいフレームの回転バージョンを表示することと、
を行うように構成されている、
請求項１のシステム。
前記受信機は、前記実際の頭のポーズと前記予測された将来の頭のポーズとの間の差に基づいてモデルを更新するように構成されており、
前記モデルは、将来の頭のポーズの予測を生成する、
請求項１のシステム。
前記受信機は、
実際の頭のポーズと前記予測された将来の頭のポーズとの間の差を計算することと、
前記差に基づいて、後続のフレームのレンダリングされたＦＯＶのサイズを動的に調整することと、
を行うように構成されている、
請求項１のシステム。
前記受信機は、以前の実際の頭のポーズと以前の予測された将来の頭のポーズとの間の差に少なくとも部分的に基づいて、前記新しいフレームをレンダリングするための前記レンダリングされたＦＯＶのサイズを決定するように構成されている、
請求項１のシステム。
前記システムは、
第１の実際の頭のポーズと第１の予測された将来の頭のポーズとの間の第１の差を検出することと、
前記第１の差の検出に応じて、第１のレンダリングされたＦＯＶを備えた第１のフレームをレンダリングすることと、
第２の実際の頭のポーズと第２の予測された将来の頭のポーズとの間の第２の差を検出することであって、前記第２の差は前記第１の差よりも大きい、ことと
前記第２の差を検出したことに応じて、第２のレンダリングされたＦＯＶを備えた第２のフレームをレンダリングすることであって、前記第２のレンダリングされたＦＯＶのサイズは、前記第１のレンダリングされたＦＯＶのサイズよりも大きい、ことと、
を行うように構成されている、
請求項５のシステム。
前記総レイテンシは、所定の頭のポーズが測定される第１の時点から、前記所定の頭のポーズに対応するフレームが表示される第２の時点まで測定される、
請求項１のシステム。
受信機が、フレームをレンダリングし、前記フレームを表示するのに準備するための総レイテンシを測定することと、
前記受信機が、前記総レイテンシの測定値及びユーザの現在の頭のポーズに少なくとも部分的に基づいて、前記ユーザの将来の頭のポーズを予測することと、
予測された将来の頭のポーズに基づいて、ディスプレイの視野（ＦＯＶ）よりも大きいレンダリングされたＦＯＶを備えた新しいフレームをレンダリングすることと、
レンダリングされた新しいフレームを表示するために伝達することと、を含む、
方法。
前記ユーザの実際の頭のポーズを決定することと、
実際の頭のポーズと前記予測された将来の頭のポーズとの間の差を計算することと、
前記差に基づく量だけ前記新しいフレームを回転させて、前記新しいフレームの回転バージョンを生成することと、
前記新しいフレームの回転バージョンを表示することと、を含む、
請求項８の方法。
実際の頭のポーズと前記予測された将来の頭のポーズとの間の差に基づいてモデルを更新することを含み、
前記モデルは、将来の頭のポーズの予測を生成する、
請求項８の方法。
前記実際の頭のポーズと前記予測された将来の頭のポーズとの間の差を計算することと、
前記差に基づいて、後続のフレームのレンダリングされたＦＯＶのサイズを動的に調整することと、を含む、
請求項８の方法。
以前の実際の頭のポーズと以前の予測された将来の頭のポーズとの間の差に少なくとも部分的に基づいて、前記新しいフレームをレンダリングするための前記レンダリングされたＦＯＶのサイズを決定することを含む、
請求項８の方法。
第１の実際の頭のポーズと第１の予測された将来の頭のポーズとの間の第１の差を検出することと、
前記第１の差の検出に応じて、第１のレンダリングされたＦＯＶを備えた第１のフレームをレンダリングすることと、
第２の実際の頭のポーズと第２の予測された将来の頭のポーズとの間の第２の差を検出することであって、前記第２の差は前記第１の差よりも大きい、ことと、
前記第２の差を検出したことに応じて、第２のレンダリングされたＦＯＶを備えた第２のフレームをレンダリングすることであって、前記第２のレンダリングされたＦＯＶのサイズは、前記第１のレンダリングされたＦＯＶのサイズよりも大きい、ことと、を含む、
請求項１２の方法。
前記総レイテンシは、所定の頭のポーズが測定される第１の時点から、前記所定の頭のポーズに対応するフレームが表示される第２の時点まで測定される、
請求項８の方法。
装置であって、
受信機と、
レンダリングユニットと、
エンコーダと、を備え、
前記受信機は、
前記装置がフレームをレンダリングして前記フレームを表示用に準備するための総レイテンシを測定することと、
前記総レイテンシの測定値及びユーザの現在の頭のポーズに少なくとも部分的に基づいて、前記ユーザの将来の頭のポーズを予測することと、
を行うように構成されており、
前記レンダリングユニットは、
予測された将来の頭のポーズのインジケーションを受信することと、
前記予測された将来の頭のポーズに基づいて、ディスプレイの視野（ＦＯＶ）よりも大きいレンダリングされたＦＯＶを備えた新しいフレームをレンダリングすることと、
を行うように構成されており、
前記エンコーダは、
レンダリングされた新しいフレームをエンコードして、エンコードされたフレームを生成することと、
前記レンダリングされた新しいフレームを表示するために前記受信機に伝達することと、
を行うように構成されている、
装置。
前記受信機は、
前記新しいフレームを表示するための準備として、前記ユーザの実際の頭のポーズを決定することと、
前記実際の頭のポーズと前記予測された将来の頭のポーズとの間の差を計算することと、
前記差に基づく量だけ前記新しいフレームを回転させて、前記新しいフレームの回転バージョンを生成することと、
前記新しいフレームの回転バージョンを表示することと、
を行うように構成されている、
請求項１５の装置。
前記受信機は、実際の頭のポーズと前記予測された将来の頭のポーズとの間の差に基づいてモデルを更新するように構成されており、
前記モデルは、将来の頭のポーズの予測を生成する、
請求項１５の装置。
前記受信機は、
実際の頭のポーズと前記予測された将来の頭のポーズとの間の差を計算することと、
前記差に基づいて、後続のフレームのレンダリングされたＦＯＶのサイズを動的に調整することと、
を行うように構成されている、
請求項１５の装置。
前記受信機は、以前の実際の頭のポーズと以前の予測された将来の頭のポーズとの間の差に少なくとも部分的に基づいて、前記新しいフレームをレンダリングするための前記レンダリングされたＦＯＶのサイズを決定するように構成されている、
請求項１５の装置。
前記装置は、
第１の実際の頭のポーズと第１の予測された将来の頭のポーズとの間の第１の差を検出することと、
前記第１の差を検出したことに応じて、第１のレンダリングされたＦＯＶを備えた第１のフレームをレンダリングすることと、
第２の実際の頭のポーズと第２の予測された将来の頭のポーズとの間の第２の差を検出することであって、前記第２の差は前記第１の差よりも大きい、ことと、
前記第２の差を検出したことに応じて、第２のレンダリングされたＦＯＶを備えた第２のフレームをレンダリングすることであって、前記第２のレンダリングされたＦＯＶのサイズは、前記第１のレンダリングされたＦＯＶのサイズよりも大きい、ことと、
を行うように構成されている、
請求項１９の装置。