JP2023507085A - ヘッドマウントディスプレイとホストコンピュータとの間の分割レンダリング - Google Patents

ヘッドマウントディスプレイとホストコンピュータとの間の分割レンダリング Download PDF

Info

Publication number
JP2023507085A
JP2023507085A JP2022534368A JP2022534368A JP2023507085A JP 2023507085 A JP2023507085 A JP 2023507085A JP 2022534368 A JP2022534368 A JP 2022534368A JP 2022534368 A JP2022534368 A JP 2022534368A JP 2023507085 A JP2023507085 A JP 2023507085A
Authority
JP
Japan
Prior art keywords
data
hmd
host computer
pixel
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022534368A
Other languages
English (en)
Other versions
JPWO2021126854A5 (ja
Inventor
マライカ、ヤッサー
Original Assignee
バルブ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バルブ コーポレーション filed Critical バルブ コーポレーション
Publication of JP2023507085A publication Critical patent/JP2023507085A/ja
Publication of JPWO2021126854A5 publication Critical patent/JPWO2021126854A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

個々のフレームのレンダリングワークロードを、ヘッドマウントディスプレイ（ＨＭＤ）とアプリケーションを実行しているホストコンピュータとの間で分割することができる。フレームのレンダリングワークロードを分割するために、ＨＭＤは、ホストコンピュータに頭部追跡データを送信し得、これは、ホストコンピュータによって、フレームに関連付けられたピクセルデータおよびピクセルデータに加え、余分なデータを生成するために使用され得る。余分なデータは、限定されないが、姿勢データ、深度データ、動きベクトルデータ、および／または余分なピクセルデータを含み得る。ＨＭＤは、ピクセルデータおよび余分なデータの少なくとも一部を受信し、ＨＭＤの更新された姿勢を決定し、更新された姿勢および受信された余分なデータに基づいてピクセルデータに再投影調整を適用して、修正されたピクセルデータを取得し得、修正されたピクセルデータは、ＨＭＤのディスプレイパネル上に画像を提示するために使用される。【選択図】図１

Description

関連出願の相互参照
本書は、参照によりその全体が本明細書に組み込まれる、２０１９年１２月１７日に出願された「ＳＰＬＩＴ ＲＥＮＤＥＲＩＮＧ ＢＥＴＷＥＥＮ Ａ ＨＥＡＤ－ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ （ＨＭＤ） ＡＮＤ Ａ ＨＯＳＴ ＣＯＭＰＵＴＥＲ」と題する米国特許出願第１６／７１７，９４０号の優先権を主張するＰＣＴ出願である。
仮想現実（ＶＲ）システムは、ビデオゲーム業界の内部および外部の両方で使用されている。従来のＶＲシステムのセットアップには、有線データ接続を介してホストコンピュータに物理的にテザリングされるＶＲヘッドセットが含まれる。この従来のセットアップでは、ホストコンピュータは、ビデオゲームなどのグラフィックスベースのアプリケーションを実行する。ビデオゲームでは、グラフィックスレンダリング動作の全部でないにしても、そのほとんどがホストコンピュータによって処理され、ＶＲヘッドセットは、ホストコンピュータから受信されたピクセルデータを表示するだけである。このセットアップは、ホストコンピュータの高演算容量および有線接続の低レイテンシを活用して、ヘッドセットのグラフィックス処理能力に関して「シンクライアント」デバイスのように機能する軽量なＶＲヘッドセットに高品質の画像を表示する。しかしながら、そのようなＶＲヘッドセットは、ホストコンピュータに物理的に接続されているため、ユーザのモビリティは、ＶＲヘッドセットを使用している間に制限される。さらに、このようなＶＲシステムのセットアップおよび取り外しは、ケーブルの接続および切り離しの要求から必要以上に困難である。
スペクトルの反対側では、オールインワン（またはスタンドアロン）ＶＲヘッドセットは、別個の機械を介さずに、画像を表示するためのグラフィックス処理動作の全体を実行する。スタンドアロンＶＲヘッドセットは、ホストコンピュータにテザリングされる必要がないため、より高いモビリティをユーザに提供するが、快適であり、かつ高品質のグラフィックスをレンダリングすることができるオールインワンＶＲヘッドセットを製造することは困難だと言える。例えば、高品質のグラフィックスをレンダリングするために、計算集約的で高消費電力のグラフィックス処理動作を実行することを任務とするスタンドアロンＶＲヘッドセットは、非常に速く熱くなる傾向があり、それらはまた、煩雑かつ／または重く、長時間装着することを不快にする傾向がある。これらの欠点を軽減するために、いくつかのスタンドアロンＶＲヘッドセットは、より低解像度、より低ダイナミックレンジ、および／または限定された基本的なテクスチャのセットでグラフィックスをレンダリングする、より低品質のグラフィックス処理コンポーネントを使用することによって、快適さのための品質に引き換え、これにより、ヘッドセットに搭載されているグラフィックス処理動作が計算集約的になりにくくなり、高温になりすぎず、したがって装着がより快適になる軽量のヘッドセットを可能にする。しかしながら、ＶＲで高品質のグラフィックスを体験したいユーザは、品質と快適さとの両方を提供することができない、今日のスタンドアロンＶＲヘッドセットに不満を抱いている。
本明細書では、これらのシステムおよび他のシステムを改善および強化するための技術的解決法を提供する。
詳細な説明を、添付の図面を参照して説明する。各図において、参照番号の左端数字は、参照番号が最初に現れる図を識別する。異なる図における同じ参照番号の使用は、類似または同一の構成要素または特徴を示す。
本明細書に開示される実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）とホストコンピュータとの間でフレームのレンダリングワークロードを分割するための例示的な技法を示す図である。 本明細書に開示される実施形態による、個々のフレームのそれぞれのレンダリングワークロードを示す２つの例示的なタイムラインを示す図であり、それぞれのレンダリングワークロードは、ホストコンピュータとＨＭＤとの間で分割されている。 本明細書に開示される実施形態による、ＨＭＤとホストコンピュータとの間でフレームのレンダリングワークロードを分割することによってフレームをレンダリングするための例示的なプロセスのフロー図を示す。 本明細書に開示される実施形態による、ホストコンピュータによって生成された動きベクトルデータに基づいて、ＨＭＤに再投影調整を適用するための例示的なプロセスのフロー図を示す。 本明細書に開示される実施形態による、ホストコンピュータ上で実行しているアプリケーションによって生成された余分なピクセルデータに基づいて、再投影調整を適用するための例示的なプロセスのフロー図を示す。 本明細書に開示される実施形態による、ホストコンピュータ上で実行しているアプリケーションによって生成された深度データに基づいて、再投影調整を適用するための例示的なプロセスのフロー図を示す。 本明細書に開示される実施形態による、ＨＭＤがハンドヘルドコントローラから直接手部追跡データを受信し、手部追跡データを使用してアプリケーションレンダリングシーン上に仮想手部をオーバーレイするための例示的なプロセスのフロー図を示す。 本明細書に開示される実施形態による、ＨＭＤとホストコンピュータとの間でフレームのレンダリングワークロードを分割するシステムの代替的なセットアップを示す。 本明細書に開示される実施形態による、ＨＭＤとホストコンピュータとの間でフレームのレンダリングワークロードを分割するシステムの代替的なセットアップを示す。 本明細書に開示される技法を実装することができる、ＨＭＤ（例えば、ＶＲヘッドセット）などのウェアラブルデバイスの例示的な構成要素を示す。
ヘッドマウントディスプレイ（ＨＭＤ）は、ユーザが仮想現実（ＶＲ）環境または拡張現実（ＡＲ）環境に没入する目的で、ユーザによって装着され得る。ＨＭＤの１つ以上のディスプレイパネルは、アプリケーション（例えば、ビデオゲーム）によって生成されたデータに基づいて画像を提示する。アプリケーションは、ＨＭＤに通信可能に結合されたホストコンピュータ上で実行され、アプリケーションは、一連のフレームの個々のフレームについてのピクセルデータを生成する。ピクセルデータは、ＨＭＤに送信され、ＨＭＤに含まれる光学系を通してユーザによって視認される画像を提示し、これにより、ユーザに、ユーザがＶＲまたはＡＲ環境に没入しているかのように画像を知覚させる。
本明細書に記載されるのは、とりわけ、ホストコンピュータがレンダリングワークロードの第１の部分を実行し、ＨＭＤがレンダリングワークロードの第２の部分を実行するように、ＨＭＤとホストコンピュータとの間で個々のフレームのレンダリングワークロードを分割するための技法およびシステムである。所与のフレームについて、ＨＭＤは、頭部追跡データをホストコンピュータに送信するように構成され、ホストコンピュータは、頭部追跡データを使用して、フレームのピクセルデータおよびピクセルデータに加え、余分なデータを生成するように構成されている。余分なデータには、限定されないが、姿勢データ、深度データ、動きベクトルデータ、視差オクルージョンデータ、および／または余分なピクセルデータを含めることができる。例えば、ホストコンピュータは、頭部追跡データを使用して、ＨＭＤのディスプレイパネルの発光素子がフレームのために点灯する時間にＨＭＤがとるであろう、予測姿勢を示す姿勢データを生成し得る。ホストコンピュータは、追加的または代替的に、姿勢データに少なくとも部分的に基づいて深度データおよび／または余分なピクセルデータを生成することをアプリケーションに指示し得る。ホストコンピュータはまた、レンダリングされているシーン内の頭部追跡データおよび／または移動に少なくとも部分的に基づいて、動きベクトルデータを生成し得る。この余分なデータの一部またはすべては、ホストコンピュータからＨＭＤに送信され得、ＨＭＤは、ピクセルデータに再投影調整を適用することなどによって、ピクセルデータを修正する目的で、それが受信する余分なデータの少なくとも一部を使用し得る。「再投影」とは、ＨＭＤの元の姿勢予測におけるわずかな不正確さを補償し、および／または、わずかに不正確な元の姿勢予測と同じ効果を有する、フレームレートに達していないアプリケーションを補償し得る、技法である。例えば、ＨＭＤの姿勢の更新された予測を考慮した様式でアプリケーションレンダリングされたフレームを変換することによって（例えば、回転および再投影の計算を通して）、アプリケーションレンダリングされたフレームのピクセルデータを使用して再投影されたフレームを生成することができる。したがって、再投影調整（および場合によっては他の調整）を適用して得られた修正されたピクセルデータは、所与のフレームのためのＨＭＤのディスプレイパネルに画像を提示するために使用され得、このプロセスは、一連のフレームについて反復し得る。
いくつかの実施形態では、フレームをレンダリングするために生成、送信、および／または利用される余分なデータ（ピクセルデータも）は、フレームごとに異なり得る。例えば、ホストコンピュータは、個々のフレームについて、レンダリングワークロードの第１の部分の一部として生成されることになる余分なデータのタイプおよび／または範囲、および／またはＨＭＤに送信されることになる余分なデータのタイプおよび／または範囲を動的に決定し得る。一方、ＨＭＤは、個々のフレームについて、レンダリングワークロードの第２の部分の一部として利用するために、ホストコンピュータから受信した余分なデータのタイプおよび／または範囲を動的に決定し得る。
ホストコンピュータとＨＭＤとの間で所与のフレームのレンダリングワークロードを分割することは、ホストコンピュータおよびＨＭＤが互いに無線で接続され得るシステムを実装することを可能にし、ホストコンピュータ上で完全に頼りになる今日の高レイテンシ無線通信プロトコルおよびＨＭＤでは現在実行不可能であるものを実装することを可能にする。レンダリングワークロードを分割することは、ホストコンピュータの高演算能力が依然として本明細書に開示されるシステムに活用され得るため、長期間にわたって装着することも快適であるＨＭＤに高品質のＶＲまたはＡＲ体験を提供することを可能にする。さらに、本明細書に開示されるＨＭＤは、ホストコンピュータから物理的にテザリングされていない状態であることが可能であり、かつそのままであることが可能であり、テザリングされたＨＭＤと比較して、ユーザがＨＭＤなどを誤って取り外すことなどを心配することなく、ＨＭＤを装着しながら空間を歩き回ることが可能であるという点で、ユーザにより大きなモビリティを提供する。高忠実度、高解像度のＶＲグラフィックスに対するユーザの要求を考えると、これらの要求に従う無線ＶＲシステムは、無線で転送されるデータの量が多いために、無線通信リンクを介したデータ転送においてより高いレイテンシにさらされる傾向がある。これは、所与のフレームをレンダリングするためにアプリケーションによって使用されるＨＭＤの姿勢予測が、それ自体が有線接続のより高いデータ転送速度に有用であり得る従来の物理的にテザリングされたＨＭＤの姿勢予測と比較して、本明細書に開示されるシステムにおいてさらに前もって行われることを意味する。フレームの点灯時間よりもさらに前もって行われる姿勢予測は、物理的にテザリングされたＨＭＤの後期姿勢予測と比較して、姿勢予測により多くの誤差があることを意味し、これは、次いで、本明細書に開示されるＨＭＤが、適切な画像がＨＭＤ上に表示されるように、ホストコンピュータから受信されたピクセルデータを修正する（例えば、ホストコンピュータから受信されたピクセルデータの誤差を訂正する）ために、計算集約的なグラフィックス処理動作を実行するようにタスクされることを意味する。一般に、ホストコンピュータから受信した余分なデータで武装したＨＭＤは、ホストコンピュータとＨＭＤとの間の無線通信リンクを介した比較的低いデータ転送速度を説明し、かつ受信したピクセルデータを、ＨＭＤのディスプレイパネル上に提示された結果として得られる画像の品質を改善する方法で修正するために、より良好な位置にある。加えて、本明細書に記載の分割レンダリング技法およびシステムは、ホストコンピュータおよびＨＭＤのそれぞれの上で異なるレンダリング頻度（またはフレームレート）を可能にすることができる。
したがって、開示されたＨＭＤは、今日のＨＭＤの比較的低いレイテンシの有線接続と比較して、無線接続の比較的高いレイテンシにかかわらず、ホストコンピュータとＨＭＤとの間で無線でデータを転送することを可能にする、所与のフレームのレンダリングワークロードの一部分を実行するように構成されている。ＨＭＤは、ホストコンピュータによって生成されたデータの誤差を修正するために使用されるＨＭＤに搭載されたグラフィックス処理ロジックを使用して、無線通信リンクのより高いレイテンシを補償することができる。加えて、この搭載されたグラフィックス処理ロジックは、おそらく限られた使用シナリオにおいて、ＨＭＤをスタンドアロンデバイスとして使用することを可能にする。例えば、本明細書に開示されるＨＭＤは、スタンドアロンモードで使用されて、それらの画像内のより基本的なグラフィックスをレンダリングするビデオゲームをプレイすることができ、それによって、フレームをレンダリングするための計算集約的ではないグラフィックス処理動作を必要とする。別の例として、本明細書に開示されるＨＭＤは、全てホストコンピュータに依存することなく、ＨＭＤ上でムービーおよび／またはビデオクリップを再生するためにスタンドアロンモードで使用することができる。しかしながら、本明細書に開示されるＨＭＤのユーザが、より豊富なグラフィックスでビデオゲームをプレイしたい場合、ユーザは、有線または無線通信リンクのいずれかを介してＨＭＤをホストコンピュータに接続することによって、ホストコンピュータの追加のグラフィックス処理能力を活用するために、接続された態様でＨＭＤを動作させ得る。有線通信リンクは、ホストコンピュータの追加の電力容量を活用することによって（例えば、ＨＭＤがバッテリ電力を使い果たさないように）、より豊富なグラフィックスでビデオゲームを長期間プレイすることを望むユーザによって依然として利用され得る。例えば、今日のオールインワンシステムと比較して、ユーザは、ホストコンピュータとＨＭＤとの間の利用可能な無線接続によって可能になるモビリティの増加と共に、接続されたホストコンピュータによって提供される高忠実度グラフィックス経験から利益を得ることができる。
本明細書には、本明細書に開示される技術およびプロセスを実装するためのコンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体もまた、開示される。本明細書に開示される技術およびシステムは、例として、ビデオゲームアプリケーション、特にＶＲゲームアプリケーションの文脈で議論されているが、本明細書に説明される技術およびシステムは、非限定的に、非ＶＲアプリケーション（例えば、ＡＲアプリケーション）、および／または産業機械アプリケーション、防衛アプリケーション、ロボットアプリケーションなどの非ゲームアプリケーションを含む、他のアプリケーションに利益を提供し得ることを理解されたい。
図１は、ヘッドマウントディスプレイ（ＨＭＤ）とホストコンピュータとの間でフレームのレンダリングワークロード１００を分割するための例示的な技法を示す図である。図１は、ユーザ１０４によって装着されたヘッドマウントディスプレイ（ＨＭＤ）１０２を、ホストコンピュータ１０６と共に描写している。図１は、例えば、バックパック内で運ばれるラップトップ１０６（１）、または例えば、ユーザ１０４の世帯に位置し得るパーソナルコンピュータ（ＰＣ）１０６（Ｎ）の形態でのホストコンピュータ１０６の例示的な実装形態を描写している。しかしながら、これらの例示的なタイプのホストコンピュータ１０６は、本開示に非限定的であることを理解されたい。例えば、ホストコンピュータ１０６は、これらに限定されないが、ＰＣ、ラップトップコンピュータ、デスクトップコンピュータ、ポータブルデジタルアシスタント（ＰＤＡ）、モバイルフォン、タブレットコンピュータ、セットトップボックス、ゲームコンソール、サーバコンピュータ、ウェアラブルコンピュータ（例えば、スマートウォッチなど）、またはデータを送受信することができる任意の他の電子デバイスを含む、任意のタイプおよび／または任意の数のコンピューティングデバイスとして実装することができる。ホストコンピュータ１０６は、ＨＭＤ１０２を装着するユーザ１０４の世帯など、ＨＭＤ１０２と同じ環境に配置され得る。代替的に、ホストコンピュータ１０６は、ＨＭＤ１０２の地理的位置に関して遠隔地理的位置に位置するサーバコンピュータの形態でホストコンピュータ１０６など、ＨＭＤ１０２に関して遠隔に位置することができる。リモートホストコンピュータ１０６の実装形態では、ホストコンピュータ１０６は、インターネットなどの広域ネットワークを介してＨＭＤ１０２に通信可能に結合され得る。ローカルホストコンピュータ１０６の実装形態では、ホストコンピュータ１０６は、ＨＭＤ１０２と環境（例えば、世帯）内に配置され得、それによって、ホストコンピュータ１０６およびＨＭＤ１０２は、直接的に、または仲介ネットワークデバイスを介してローカルエリアネットワーク（ＬＡＮ）を通して通信可能に一緒に結合され得る。
図１に示すように、所与のフレームについて、ホストコンピュータ１０６は、第１の部分レンダリングワークロード１００（１）（例えば、所与のフレームについてのレンダリングワークロード１００の第１の部分）を実行するように構成され、ＨＭＤ１０２は、第２の部分レンダリングワークロード１００（２）（例えば、所与のフレームについてのレンダリングワークロード１００の第２の部分）を実行するように構成されている。このようにして、ＨＭＤ１０２およびホストコンピュータ１０６は、共に通信可能に結合され、ＨＭＤ１０２のディスプレイパネル１０８上に対応する画像を提示するために最終的に使用されるピクセルデータを生成することによって、所与のフレームをレンダリングするために協働的に共に働くように構成されている。
図１の例のＨＭＤ１０２は、ディスプレイパネルのステレオ対のうちの左ディスプレイパネルおよび右ディスプレイパネルなどの、単一のディスプレイパネル１０８または複数のディスプレイパネル１０８を含み得る。ＨＭＤ１０２の１つ以上のディスプレイパネル１０８は、ＨＭＤ１０２を装着しているユーザ１０４によって視認可能である一連の画像フレーム（以下、「フレーム」と呼ぶ）を提示するために使用され得る。ＨＭＤ１０２は、任意の数のディスプレイパネル１０８（例えば、３つ以上のディスプレイパネル、一対のディスプレイパネル、または単一のディスプレイパネル）を含み得ることを理解されたい。したがって、「ディスプレイパネル」という用語は、本明細書の単数形に使用される際、２パネルＨＭＤ１０２の一対のディスプレイパネルのいずれかのディスプレイパネル１０８を指し得るか、または任意の数のディスプレイパネル（例えば、単一パネルＨＭＤ１０２またはマルチパネルＨＭＤ１０２）を有するＨＭＤ１０２の単一のディスプレイパネル１０８を指し得る。２パネルＨＭＤ１０２では、ステレオフレームバッファは、例えば、ＨＭＤ１０２の両方のディスプレイパネル上で２１６０×１２００ピクセル（例えば、ディスプレイパネル当たり１０８０×１２００ピクセル）をレンダリングし得る。
ＨＭＤ１０２のディスプレイパネル１０８は、ディスプレイパネル１０８上でのフレームの提示中に発光素子（例えば、発光ダイオード（ＬＥＤ））を利用して光を放出する発光ディスプレイなど、任意の適切なタイプのディスプレイ技術を利用して、光を放出し得る。一実施例として、ＨＭＤ１０２のディスプレイパネル１０８は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、無機発光ダイオード（ＩＬＥＤ）ディスプレイ、またはＨＭＤアプリケーションのための任意の他の適切なタイプのディスプレイ技術を含み得る。
ＨＭＤ１０２のディスプレイパネル１０８は、固定リフレッシュレートまたはリフレッシュレートの範囲にわたって動的に変化する可変リフレッシュレートであり得る９０ヘルツ（Ｈｚ）リフレッシュレートなどの任意の適切なリフレッシュレートで動作し得る。ディスプレイの「リフレッシュレート」は、ディスプレイが画面を再描画する１秒当たりの回数である。１秒当たりに表示されるフレームの数は、固定リフレッシュレートをした場合、ディスプレイのリフレッシュレートによって制限され得る。したがって、一連のフレームは、一連のフレームのうちの１つのフレームが画面の更新ごとに表示されるように、処理され（例えば、レンダリングされ）、ディスプレイ上に画像として表示され得る。すなわち、ディスプレイパネル１０８上に一連の画像を提示するために、ディスプレイパネル１０８は、一連のフレーム内で、ディスプレイのリフレッシュレートでフレーム間に遷移し得、画面のリフレッシュごとにピクセルを点灯させる。いくつかの実施形態では、フレームレートは、抑制されることができ、および／またはアプリケーションは、ターゲットフレームレートに到達することができず、（再投影に基づく）ファントムフレームは、適用によりレンダリングされたフレーム間に挿入することができる。
ＨＭＤ１０２のディスプレイシステムは、グローバルフラッシュタイプのディスプレイ駆動方式、ローリングバンドタイプのディスプレイ駆動方式、または任意の他の適切なタイプのディスプレイ駆動方式など、任意の適切なタイプのディスプレイ駆動方式を実装し得る。グローバルフラッシュタイプのディスプレイ駆動方式では、ディスプレイの発光素子アレイは、画面のリフレッシュの度に同時に点灯し、それによってリフレッシュレートでグローバルに点滅する。ローリングバンドタイプのディスプレイ駆動方式では、ディスプレイの発光素子の個々のサブセットは、点灯期間中に点灯のローリングバンド内で独立して順次点灯することができる。これらのタイプのディスプレイ駆動方式は、発光素子が個々にアドレス指定可能であることによって可能にされ得る。ディスプレイパネル１０８上のピクセルアレイおよび発光素子アレイが行および列に配置されている場合（ただし、１個の発光素子対応ごとに１ピクセルであるとは限らない）、発光素子の個々の行および／または個々の列は、順番にアドレス指定され得、および／または発光素子の連続する行の個々のグループおよび／または連続する列の個々のグループは、ローリングバンドタイプのディスプレイ駆動方式のために順番にアドレス指定され得る。
一般に、本明細書で使用される場合、「ピクセルを点灯させる」とは、そのピクセルに対応する発光素子を点灯させることを意味する。例えば、ＬＣＤは、バックライトの発光素子を点灯させて、ディスプレイの対応するピクセルを点灯させる。さらに、本明細書で使用される場合、「ピクセルのサブセット」は、個々のピクセルまたは複数のピクセル（例えば、ピクセルのグループ）を含み得る。ディスプレイパネル１０８を駆動するために、ＨＭＤ１０２は、とりわけ、ディスプレイコントローラ、ディスプレイ駆動回路、およびディスプレイパネル１０８を駆動するための類似の電子機器を含み得る。ディスプレイ駆動回路は、ディスプレイパネル１０８の発光素子アレイに、柔軟な印刷回路上の金属トレースなどの導電路を介して結合され得る。一例では、ディスプレイコントローラは、ディスプレイ駆動回路に通信可能に結合され、信号、情報、および／またはデータをディスプレイ駆動回路に提供するように構成されてもよい。ディスプレイ駆動回路によって受信された信号、情報、および／またはデータは、ディスプレイ駆動回路に特定の方法で発光素子を点灯させ得る。すなわち、ディスプレイコントローラは、どの発光素子を点灯させるか、いつ発光素子を点灯させるか、および発光素子によって発光される光出力のレベルについて決定してもよく、その目的を達成するために、適切な信号、情報、および／またはデータをディスプレイ駆動回路に伝達してもよい。
例示された実装形態では、ＨＭＤ１０２は、１つ以上のプロセッサ１１０およびメモリ１１２（例えば、コンピュータ可読媒体１１２）を含む。いくつかの実装形態では、プロセッサ１１０は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）１１４、ＣＰＵおよびＧＰＵ１１４の両方、マイクロプロセッサ、デジタルシグナルプロセッサ、または当該技術分野で既知の他の処理ユニットもしくは構成要素を含み得る。代替的にまたは追加的に、本明細書に記載されている機能性は、１つ以上のハードウェアロジックコンポーネントによって、少なくとも部分的に実行され得る。例えば、非限定的に、使用され得るハードウェアロジックコンポーネントの例示的なタイプとしては、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、複合プログラマブル論理デバイス（ＣＰＬＤ）などが挙げられる。加えて、プロセッサ１１０の各々は、プログラムモジュール、プログラムデータ、および／または１つ以上のオペレーティングシステムも記憶し得る、その独自のローカルメモリを保有し得る。
メモリ１１２は、揮発性および不揮発性メモリ、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術で実装された取り外し可能および取り外し不可能な媒体が挙げられ得る。そのようなメモリとしては、限定されるものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多目的ディスク（ＤＶＤ）もしくは他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、ＲＡＩＤストレージシステム、または所望の情報を記憶するために使用され得、コンピューティングデバイスによってアクセスされ得る、任意の他の媒体が挙げられる。メモリ１１２は、コンピュータ可読記憶媒体（「ＣＲＳＭ」）として実装され得、それは、メモリ１１２上に記憶された命令を実行するために、プロセッサ１１０によってアクセス可能である任意の利用可能な物理媒体であってもよい。１つの基本的な実装形態では、ＣＲＳＭは、ランダムアクセスメモリ（「ＲＡＭ」）およびフラッシュメモリを含み得る。他の実装形態では、ＣＲＳＭには、読み出し専用メモリ（「ＲＯＭ」）、電気的に消去可能なプログラマブル読み出し専用メモリ（「ＥＥＰＲＯＭ」）、または所望の情報を記憶するために使用され得、プロセッサ１１０によってアクセスされ得る、任意の他の有形媒体が含まれ得るが、これらに限定されない。
一般に、ＨＭＤ１０２は、本明細書に説明される技術、機能、および／または動作を実装するように構成されるロジック（例えば、ソフトウェア、ハードウェア、および／またはファームウェアなど）を含み得る。コンピュータ可読媒体１１２は、命令、データストアなどの、様々なモジュールを含むものとして示され、これらのモジュールは、本明細書に説明される技術、機能、および／または動作を実施するためにプロセッサ１１０上で実行するように構成され得る。コンピュータ可読媒体１１２に記憶され、かつプロセッサ１１０上で実行可能なものとして、コンポジタ１１６の形態の例示的な機能モジュールが示されているが、同じ機能が、代替的に、ハードウェア、ファームウェア内に、またはシステムオンチップ（ＳＯＣ）および／もしくは他のロジックとして実装されてもよい。さらに、追加のまたは異なる機能モジュールが、コンピュータ可読媒体１１２に記憶され、かつプロセッサ１１０上で実行可能であり得る。コンポジタ１１６は、第２の部分レンダリングワークロード１００（２）の一部としてホストコンピュータ１０６から受信したピクセルデータを修正し、かつ対応する画像がＨＭＤ１０２のディスプレイパネル１０８上に提示され得るように、修正されたピクセルデータをフレームバッファ（例えば、ステレオフレームバッファ）に出力するように構成されている。
ＨＭＤ１０２は、頭部追跡システム１１８および通信インターフェース１２０をさらに含み得る。頭部追跡システム１１８は、１つ以上のセンサ（例えば、ＨＭＤ１０２上に搭載された赤外線（ＩＲ）光センサ）および１つ以上の追跡ビーコン（例えば、ＨＭＤ１０２と環境内に配置されたＩＲ光エミッタ）を利用して、ユーザ１０４の頭部の動きまたは移動（頭部の回転を含む）を追跡し得る。この例示的な頭部追跡システム１１８は、非限定的であり、他のタイプの頭部追跡システム１１８（例えば、カメラベース、慣性測定ユニット（ＩＭＵ）ベースなど）を利用することができる。頭部追跡システム１１８は、フレームがレンダリングされているときに、ランタイム中に通信インターフェース１２０を介してホストコンピュータ１０６に送信することができる頭部追跡データ１２２を生成するように構成されている。
ＨＭＤ１０２の通信インターフェース１２０は、有線および／または無線コンポーネント（例えば、チップ、ポートなど）を含んで、直接的にもまたは無線アクセスポイント（ＷＡＰ）などの１つ以上の中間デバイスを介して、ホストコンピュータ１０６との間で有線および／または無線データ送信／受信を容易にし得る。例えば、通信インターフェース１２０は、ホストコンピュータ１０６および／または別のデバイスとの無線接続を容易にするためにアンテナに結合された無線ユニットを含み得る。そのような無線ユニットは、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線周波数（ＲＦ）などの１つ以上の種々の無線技術を実装し得る。通信インターフェース１２０は、ホストコンピュータ１０６および／または別のデバイス（例えば、他の無線ネットワークと通信するプラグインネットワークデバイス）との有線接続を容易にするための１つ以上の物理ポートをさらに含み得る。
例示された実装形態では、ホストコンピュータ１０６は、１つ以上のプロセッサ１２４およびメモリ１２６（例えば、コンピュータ可読媒体１２６）を含む。いくつかの実装形態では、プロセッサ１２４は、ＣＰＵ、ＧＰＵ１２８、ＣＰＵおよびＧＰＵ１２８の両方、マイクロプロセッサ、デジタルシグナルプロセッサ、または当該技術分野で既知の他の処理ユニットもしくはコンポーネントを含み得る。代替的にまたは追加的に、本明細書に記載されている機能性は、１つ以上のハードウェアロジックコンポーネントによって、少なくとも部分的に実行することができる。例えば、非限定的に、使用することができる例示的なタイプのハードウェアロジックコンポーネントとしては、ＦＰＧＡ、ＡＳＩＣ、ＡＳＳＰ、ＳＯＣ、ＣＰＬＤなどが挙げられる。加えて、プロセッサ１２４の各々は、プログラムモジュール、プログラムデータ、および／または１つ以上のオペレーティングシステムも記憶し得る、その独自のローカルメモリを保有し得る。
メモリ１２６は、揮発性および不揮発性メモリ、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術で実装された取り外し可能および取り外し不可能な媒体が挙げられ得る。そのようなメモリは、これらに限定されるものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤ、もしくは他の光メモリ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、ＲＡＩＤストレージシステム、または所望の情報を記憶するために使用することができ、かつコンピューティングデバイスからアクセスすることができる任意の他の媒体を含む。メモリ１２６は、ＣＲＳＭとして実装され得、それは、メモリ１２６上に記憶された命令を実行するために、プロセッサ１２４によってアクセス可能である任意の利用可能な物理媒体であってもよい。１つの基本的な実装形態では、ＣＲＳＭには、ＲＡＭおよびフラッシュメモリを含み得る。他の実装形態では、ＣＲＳＭには、ＲＯＭ、ＥＥＰＲＯＭ、または所望の情報を記憶するために使用され得、プロセッサ１２４によってアクセスされ得る、任意の他の有形媒体が含まれ得るが、これらに限定されない。
一般に、ホストコンピュータ１０６は、本明細書に説明される技術、機能、および／または動作を実装するように構成されるロジック（例えば、ソフトウェア、ハードウェア、および／またはファームウェアなど）を含み得る。コンピュータ可読媒体１２６は、命令、データストアなどの、様々なモジュールを含むものとして示され、これらのモジュールは、本明細書に説明される技術、機能、および／または動作を実施するためにプロセッサ１２４上で実行するように構成され得る。ビデオゲーム１３０（１）などのアプリケーション１３０、およびレンダリングコンポーネント１３２の形態の例示的な機能モジュールが、コンピュータ可読媒体１２６に記憶され、プロセッサ１２４上で実行可能であるように示される。いくつかの実施形態では、レンダリングコンポーネント１３２の機能は、ハードウェア、ファームウェア、またはシステムオンチップ（ＳＯＣ）、および／または他のロジックとして、代替的に実装されてもよい。さらに、追加のまたは異なる機能モジュールが、コンピュータ可読媒体１２６に記憶され、かつプロセッサ１２４上で実行可能であり得る。
ホストコンピュータ１０６は、有線および／または無線コンポーネント（例えば、チップ、ポートなど）を含んで、直接的に、またはＷＡＰなどの１つ以上の中間デバイスを介して、ＨＭＤ１０２との有線および／または無線データ送受信を容易にする通信インターフェース１３４をさらに含み得る。例えば、通信インターフェース１３４は、ＨＭＤ１０２および／または別のデバイスとの無線接続を容易にするためにアンテナに結合された無線ユニットを含み得る。そのような無線ユニットは、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦなどの１つ以上の種々の無線技術を実装し得る。通信インターフェース１３４は、ＨＭＤ１０２および／または別のデバイス（例えば、他の無線ネットワークと通信するプラグインネットワークデバイス）との有線接続を容易にするための１つ以上の物理ポートをさらに含み得る。
ＨＭＤ１０２は、ＶＲゲームシステムで使用するためなど、ＶＲシステムで使用するためのＶＲヘッドセットを表し得、その場合、ビデオゲーム１３０（１）は、ＶＲビデオゲーム１３０（１）を表し得ることを理解されたい。しかしながら、ＨＭＤ１０２は、追加的に、または代替的に、ＡＲアプリケーションで使用するためのＡＲヘッドセット、またはゲーム関連ではない（例えば、産業アプリケーション）ＶＲおよび／またはＡＲアプリケーションで使用可能なヘッドセットとして実装され得る。ＡＲでは、ユーザ１０４は、実世界環境上に重ね合わされた仮想オブジェクトを見るが、ＶＲでは、ユーザ１０４は、典型的には実世界環境を見ることはなく、ＨＭＤ１０２のディスプレイパネル１０８および光学系（例えば、レンズ）を介して知覚されるような仮想環境に完全に没入する。一部のＶＲシステムでは、ユーザ１０４の現実世界の環境のパススルー画像は、仮想画像と併せて表示されて、ＶＲシステム内に拡張ＶＲ環境を作成し得、それによって、ＶＲ環境は、現実世界の画像で拡張される（例えば、仮想世界上にオーバーレイされる）ことを理解されたい。本明細書で説明する例は、主にＶＲベースのＨＭＤ１０２に関係するが、ＨＭＤ１０２は、ＶＲアプリケーションでの実装形態に限定されないことを理解されたい。
一般に、ホストコンピュータ１０６上で実行するアプリケーション１３０は、グラフィックスベースのアプリケーション１３０（例えば、ビデオゲーム１３０（１））であり得る。アプリケーション１３０は、一連のフレームに関するピクセルデータを生成するように構成され、ピクセルデータは、最終的に、ＨＭＤ１０２のディスプレイパネル１０８上に対応する画像を提示するために使用される。ランタイム中、所与のフレームについて、レンダリングコンポーネント１３２は、フレームのための予測「点灯時間」を決定し得る。フレームのためのこの予測「点灯時間」は、ＨＭＤ１０２のディスプレイパネル１０８の発光素子がフレームのために点灯する時間を表す。この予測は、とりわけ、ホストコンピュータ１０６とＨＭＤ１０２との間の無線通信リンクの固有のレイテンシ、ならびにフレームバッファからのピクセルの予測されるレンダリング時間および／または既知のスキャンアウト時間を考慮することができる。言い換えれば、無線通信リンクについての予測は、有線通信リンクについての予測とは異なり得る。例えば、レンダリングコンポーネント１３２は、有線通信リンクの場合、将来の第１の時間量である点灯時間を予測し得る（例えば、将来の約２２ミリ秒）が、一方で、レンダリングコンポーネント１３２は、無線通信リンクの場合、無線接続に対して有線接続を介してデータを転送するときのレイテンシの固有の違いに起因して、将来の第２の、より大きな時間量である点灯時間を予測し得る（例えば、将来の約４４ミリ秒）。
ホストコンピュータ１０６はまた、ＨＭＤ１０２から、ＨＭＤ１０２の頭部追跡システム１１８によって生成された頭部追跡データ１２２（例えば、第１の頭部追跡データ１２２）を受信し得る。この頭部追跡データ１２２は、ターゲットフレームレートおよび／またはＨＭＤ１０２のリフレッシュレートに対応する周波数などの任意の適切な周波数、または１０００Ｈｚ（または１ミリ秒ごとの１つのセンサの読み取り）などの異なる（例えば、より速い）周波数で生成および／または送信され得る。レンダリングコンポーネント１３２は、頭部追跡データ１２２に少なくとも部分的に基づいて、ＨＭＤ１０２が予測点灯時間に存在する予測姿勢を決定するように構成されている。次いで、レンダリングコンポーネント１３２は、予測姿勢に基づいてフレームをレンダリングする（例えば、フレームについてピクセルデータを生成する）ために、予測姿勢を示す姿勢データを実行アプリケーション１３０に提供し得、レンダリングコンポーネント１３２は、アプリケーション１３０から、フレームと関連付けられたピクセルデータ１３６を取得し得る。このピクセルデータ１３６は、ＨＭＤ１０２のディスプレイパネル１０８のピクセルアレイに対応し得る。例えば、姿勢データに基づいてアプリケーション１３０によって出力されるピクセルデータ１３６は、ＨＭＤ１０２のディスプレイパネル１０８上のピクセルアレイについてピクセルごとの値（例えば、色値）の二次元アレイを含み得る。例示的な例では、ディスプレイパネル１０８のステレオ対は、ＨＭＤ１０２の両方のディスプレイパネル上の２１６０×１２００ピクセル（例えば、ディスプレイパネル当たり１０８０×１２００ピクセル）のアレイを含み得る。この例示的な実施例では、ピクセルデータ１３６は、２１６０×１２００ピクセル値（または２，５９２，０００ピクセル値）を含み得る。いくつかの実施形態では、ピクセルデータ１３６は、色およびアルファ値の単一のセットによって表される各ピクセルのデータを含み得る（例えば、赤チャネルの１つの色値、緑チャネルの１つの色値、青チャネルの１つの色値、および１つ以上のアルファチャネルの１つ以上の値）。
ホストコンピュータ１０６のロジックはまた、ピクセルデータ１３６と共に（または、それに加え、）余分なデータ１３８を生成し得、この余分なデータ１３８の少なくとも一部は、第２の部分レンダリングワークロード１００（２）におけるＨＭＤ１０２を支援するためにＨＭＤ１０２に送信され得る。例えば、余分なデータ１３８は、ピクセルデータ１３６と共にパッケージ化され、ＨＭＤ１０２に送信され得、余分なデータ１３８の少なくとも一部は、ＨＭＤ１０２のロジックによって使用されて、ＨＭＤ１０２のディスプレイパネル１０８上のフレームに対応する画像を提示する目的でピクセルデータ１３６を修正することができる。余分なデータ１３８は、限定されないが、レンダリングコンポーネント１３２によって生成された姿勢データ、深度データ、動きベクトルデータ、視差オクルージョンデータ、および／または余分なピクセルデータを含み得る。例えば、フレームをレンダリングするために姿勢データを実行アプリケーション１３０に提供することにおいて、レンダリングコンポーネント１３２は、さらに、アプリケーション１３０に、フレームおよび／または余分なピクセルデータ（本明細書で「境界外ピクセルデータ」または「追加ピクセルデータ」と呼ばれることがある）について深度データ（例えば、Ｚバッファデータ）を生成するように指示し得、それに応答して、レンダリングコンポーネント１３２は、アプリケーション１３０から、フレームに関連付けられた深度データおよび／または余分なピクセルデータを取得し得る。追加的または代替的に、レンダリングコンポーネント１３２は、ＨＭＤ１０２から受信された頭部追跡データ１２２に少なくとも部分的に基づいて、動きベクトルデータを生成し得る。例えば、動きベクトルデータは、２つの異なる時点で生成された頭部追跡データの比較（例えば、数ミリ秒で区切られた頭部追跡データの比較）に基づいて生成され得る。ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックは、ホストコンピュータ１０６とＨＭＤ１０２との間の無線接続の固有のレイテンシを説明したレンダリングコンポーネント１３２によって事前に行われた姿勢予測の誤差を訂正するために、ピクセルデータ１３６を修正する目的のために、余分なデータ１３８の一部または全部を利用することができる。例えば、コンポジタ１１６は、ホストコンピュータ１０６から受信された余分なデータ１３８に少なくとも部分的に基づいて、再投影調整を適用し得る。第２の部分レンダリングワークロード１００（２）の一部としてコンポジタ１１６によって行われる他の調整は、限定されないが、幾何学的歪み、色収差、再投影などのための調整を含み得る。余分なデータ１３８が第２の部分レンダリングワークロード１００（２）の一部として利用することができる方法は、以下の図を参照してより詳細に以下で説明される。
図２は、本明細書に開示される実施形態による、個々のフレームのそれぞれのレンダリングワークロードを示す２つの例示的なタイムライン２００（１）および２００（２）を示す図であり、それぞれのレンダリングワークロードは、ホストコンピュータ１０６とＨＭＤ１０２との間で分割されている。図２の例は、ホストコンピュータ１０６と関連付けられた第１のタイムライン２００（１）に関して、フレーム「Ｆ」、フレーム「Ｆ＋１」、およびフレーム「Ｆ＋２」の３つの例示的なフレームを示している。この第１のタイムライン２００（１）は、ホストコンピュータ１０６のＧＰＵ１２８を使用して、ホストコンピュータ１０６上のアプリケーション１３０を実行することによって、フレームをどのように直列にレンダリングすることができるかを示す。ここで、アプリケーション１３０は、フレームＦを、第１の部分レンダリングワークロード１００（１）（ａ）の一部としてレンダリングし、次いで、フレームＦ＋１を、第２の部分レンダリングワークロード１００（１）（ｂ）の一部としてレンダリングし、次いで、フレームＦ＋２を、第３の部分レンダリングワークロード１００（１）（ｃ）の一部として、第１のタイムライン２００（１）上で、左から右に、順番に、レンダリングする。第１のタイムライン２００（１）上の楕円は、アプリケーション１３０が実行を続けるにつれて、任意の数のフレームに対してこれが継続され得ることを示す。第１のタイムライン２００（１）はまた、水平タイムライン２００（１）に直交するように配向された垂直線によって、アプリケーション１３０がターゲットフレームレート（例えば、垂直線が約１１．１１ミリ秒で分離される９０Ｈｚのフレームレート）をターゲットにしていることを暗示する。図２の例では、ホストコンピュータ１０６上で実行されるアプリケーション１３０は、たまたま３つの例示的な一連のフレームにわたってターゲットフレームレートに到達しているが、アプリケーション１３０は、場合によっては（例えば、多数の移動オブジェクトまたは複雑なテクスチャを有するシーンの場合）、所与のフレーム２０２をレンダリングするために割り当てられた時間よりも長く時間をかけてもよいため、常にそうではない場合がある。このシナリオは、アプリケーション１３０がターゲットフレームレートに到達することができなかったと呼ぶこともある。
ＨＭＤ１０２に関連付けられた図２の第２のタイムライン２００（２）は、個々のフレームについてのＨＭＤ１０２のコンポジタ１１６の部分レンダリングワークロード１００（２）（ａ）、１００（２）（ｂ）、および１００（２）（ｃ）を示す。所与のフレームについてのＨＭＤ１０２のコンポジタ１１６の個々のレンダリングワークロード１００（２）は、ＨＭＤ１０２のディスプレイパネル１０８上に最終画像が提示される前に、ホストコンピュータ１０６上で実行するアプリケーション１３０によって生成されるピクセルデータ１３６に適用される調整を表し得る。そのような調整は、ＨＭＤ１０２上に最終画像をレンダリングする前に、ホストコンピュータ１０６から受信されたピクセルデータ１３６に適用される、幾何学的歪み、色収差、再投影などのための調整を含み得るが、これらに限定されない。これらの調整のうちの少なくともいくつかは、本明細書に記載されるように、姿勢データ、深度データ、余分なピクセルデータ、視差オクルージョンデータ、および／または動きベクトルデータなどの、ホストコンピュータ１０６から受信された余分なデータ１３８を利用し得る。したがって、図２に示されるフレームは、ビデオゲームアプリケーション１３０（１）または任意の他のタイプのグラフィックスベースアプリケーションを表し得るアプリケーション１３０から出力されるという意味で「実際の」フレームを表すことを意味する。対照的に、アプリケーション１３０が所与のフレームのターゲットフレームレートに到達することができなかった場合、またはフレームレートがＨＭＤ１０２のディスプレイパネル１０８のリフレッシュレートよりも低いレートに抑制された場合、ＨＭＤ１０２のコンポジタ１１６は、先行フレームについて先行受信されたピクセルデータ１３６を使用して、（例えば、再投影を使用して）先行フレームの姿勢予測およびＨＭＤ１０２によって行われた更新された姿勢の予測に基づいて「ファントム」フレームを生成し得る。いずれにせよ、部分レンダリングワークロード１００（２）の結果は、フレームバッファ（例えば、ステレオフレームバッファ）に出力され得る修正されたピクセルデータの生成である。「実際の」フレームと「ファントム」フレームとの間のこの区別は、実際のフレームがＨＭＤ１０２上で調整されないことを暗示するものではなく、この意味で、ＨＭＤ側で生成されたフレームはすべて、効果的に合成される（すなわち、ホストコンピュータ１０６上で実行されるアプリケーション１３０によって出力される元のフレームと同じではない）。
図２の第２のタイムライン２００（２）はまた、各フレームのスキャンアウト時間２０２（ａ）、２０２（ｂ）、および２０２（ｃ）、ならびに各フレームの点灯時間２０４（ａ）、２０４（ｂ）、および２０４（ｃ）を示す。所与のフレームのためのスキャンアウト時間２０２の間に、（修正されたピクセルデータの）ピクセル値のサブセットは、ディスプレイポート（例えば、高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標）））を介してディスプレイパネル１０８にスキャンアウトされ、所与のフレームのための点灯時間２０４の間に、ディスプレイパネル１０８の発光素子は、ディスプレイパネル１０８のピクセルを点灯させるために点灯される。図２は、ＬＣＤパネルと共に使用されて、ＨＭＤ１０２のリフレッシュレートでディスプレイパネル１０８の発光素子から光を同時に放出し得る、グローバルフラッシュタイプのディスプレイ駆動方式の例を示している。例示的な例では、ＨＭＤ１０２が９０Ｈｚのリフレッシュレートで動作している場合、各フレームの点灯時間２０４は、およそ１１．１１ミリ秒で分離され得る。
図２は、ホストコンピュータ１０６およびＨＭＤ１０２のそれぞれのレンダリングサイクルが同期されているように見える（それらは同期することができる）ことを描写しているが、本明細書に記載の技法およびシステムは、２つのデバイス間のフレームの同期を必要としないことを理解されたい。一般に、ＨＭＤ１０２のコンポジタ１１６は、データ（例えば、ピクセルデータ１３６および余分なデータ１３８）がホストコンピュータ１０６から受信されるとすぐに、および／またはＨＭＤ１０２が、ホストコンピュータ１０６のアプリケーション１３０がフレームを見逃した可能性があること、またはパケットがトランジット中にドロップされた可能性があることなどを決定するとすぐに、所与のフレームのそのレンダリングワークロード１００（２）を開始し得る。無線通信リンクの様々な条件、それぞれのデバイス上の処理負荷、および／または他の要因により、ホストコンピュータ１０６およびＨＭＤ１０２のそれぞれのレンダリングサイクルは、時には、互いに対して同期ずれ／非同期化され得る。したがって、ホストコンピュータ１０６およびＨＭＤ１０２は、所与のフレームのレンダリングワークロードを、それぞれのデバイス上で実行される部分ワークロードに分割することによって、協働的な方法で協働するように構成されているが、デバイスがワークロードのそれぞれの部分を実行するために互いに独立して動作し得ることを理解することができる。
本明細書に記載のプロセスは、ロジックフローグラフ内のブロックの集合として例解され、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせ（つまり、ロジック）に実装することができる一連の動作を表す。ソフトウェアの文脈では、ブロックは、コンピュータ実行可能命令を表し、コンピュータ実行可能命令は、１つ以上のプロセッサによって実行されると、列挙された動作を実行する。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が記載される順序は、限定として解釈されることを意図するものではなく、任意のいくつかの記載されたブロックは、プロセスを実装するために任意の順序でおよび／または並行して組み合わされ得る。
図３は、本明細書に開示される実施形態による、ＨＭＤ１０２とホストコンピュータ１０６との間でフレームのレンダリングワークロード１００を分割することによってフレームをレンダリングするための例示的なプロセス３００のフロー図を示している。考察目的で、前図を参照してプロセス３００を説明する。
３０２において、ＨＭＤ１０２は、ＨＭＤ１０２に通信可能に結合されたホストコンピュータ１０６に、ＨＭＤ１０２の頭部追跡システム１１８によって生成された第１の頭部追跡データ１２２を送信し得る。ホストコンピュータ１０６およびＨＭＤ１０２が通信可能に結合される方法は、実装形態によって異なり得る。ホストコンピュータ１０６がＨＭＤ１０２に無線で結合される実装形態では、第１の頭部追跡データ１２２は、ＨＭＤ１０２からホストコンピュータ１０６に（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはプロプライエタリプロトコルを含む任意の適切な無線通信プロトコルを使用して）無線で送信され得る。ホストコンピュータ１０６が有線接続（例えば、データケーブル）を介してＨＭＤ１０２に結合される実装形態では、第１の頭部追跡データ１２２は、ＨＭＤ１０２からデータケーブルなどの有線接続を介してホストコンピュータ１０６に送信され得る。さらに、ホストコンピュータ１０６がＨＭＤ１０２に関して遠隔地理的位置に位置する場合、第１の頭部追跡データ１２２は、ブロック３０２において、ＨＭＤ１０２からインターネットなどの広域ネットワークを介してホストコンピュータ１０６に送信され得る。
３０４において、ホストコンピュータ１０６は、ＨＭＤ１０２から、第１の頭部追跡データ１２２を受信し得る。ブロック３０２に関して言及されたように、第１の頭部追跡データ１２２は、実装形態に応じて、無線で、有線接続を介して、広域ネットワークを介してなど、様々な方法で受信され得る。ホストコンピュータ１０６が第１の頭部追跡データ１２２を受信するこの時点で、ホストコンピュータ１０６は、ＨＭＤ１０２上に表示されるビジュアルビデオゲームコンテンツを作成する目的で、一連のフレームの第１のフレームをレンダリングすることを任務とするビデオゲーム１３０（１）などのアプリケーション１３０を実行し得る。
３０６において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、ＨＭＤ１０２のディスプレイパネル１０８の発光素子が第１のフレームのために点灯する時間を表す予測点灯時間を決定し得る。すなわち、ホストコンピュータ１０６のロジックは、第１のフレームのために提示される画像に関連付けられた光子が実際にユーザの１０４の目に到達するであろう時間を決定し得る。レンダリングコンポーネント１３２は、アプリケーション１３０がピクセルデータ１３６を生成するのに要する時間、ピクセルデータ１３６がホストコンピュータ１０６からＨＭＤ１０２に送信されるのに要する時間、および対応する画像がＨＭＤ１０２のディスプレイパネル１０８上に最終的に提示される前に、ピクセルデータ１３６がＨＭＤ１０２上で修正およびスキャンアウトされるのに要する時間、を考慮しなければならないため、この予測点灯時間は、将来（例えば、将来の約４４ミリ秒）の時間である。
３０８において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、ブロック３０４において受信された第１の頭部追跡データ１２２に少なくとも部分的に基づいて、ＨＭＤ１０２がブロック３０６において決定された予測点灯時間にとるであろう、予測姿勢を決定し得る。例えば、ＨＭＤ１０２の頭部追跡システム１１８は、ＨＭＤ１０２の最大６自由度（例えば、３Ｄ位置、ロール、ピッチ、およびヨー）を追跡するように構成され得、これは、ＨＭＤ１０２の予測姿勢（例えば、ＨＭＤ１０２の将来の姿勢に起因する予測頭部移動を考慮する）を決定するために、頭部追跡データ１２２としてホストコンピュータ１０６に送信され得る。
３１０において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、第１のフレームをレンダリングする目的でホストコンピュータ１０６上で実行するアプリケーション１３０に、ブロック３０８において決定された予測姿勢を示す姿勢データを提供し得る。例えば、アプリケーション１３０は、レンダリングコンポーネント１３２から姿勢データを受信するための関数を呼び出し得、レンダリングコンポーネント１３２は、アプリケーション１０６に、シーンのレンダリングに使用される仮想カメラ姿勢に対応する姿勢データにしたがって、アプリケーション１３０が第１のフレームをレンダリングすることができるように、要求された姿勢データ（第１のフレームのためのターゲット点灯時間に予測され、ＨＭＤ１０２から受信される頭部追跡データ１２２に少なくとも部分的に基づいて予測される）を提供し得る。いくつかの実施形態では、レンダリングコンポーネント１３２は、フレームのためのピクセルデータ１３６だけでなく、深度データおよび／または余分なピクセルデータなどの余分なデータを生成するようにアプリケーション１３０に指示し得る。
３１２において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、アプリケーション１３０から、第１のフレームに関連付けられたデータ（例えば、ピクセルデータ１３６）を取得（または受信）し得る。ピクセルデータ１３６は、本明細書で説明されるように、ＨＭＤ１０２のディスプレイパネル１０８のピクセルアレイ内の個々のピクセルのためのピクセル値を含み得る。述べたように、レンダリングコンポーネント１３２が、ピクセルデータ１３６に加え、余分なデータ１３８を生成するようにアプリケーション１３０に要求した実施形態では、レンダリングコンポーネント１３２は、ブロック３１２において、ディスプレイパネル１０８のピクセルアレイの境界の外側の余分なピクセル値を含む深度データ（例えば、Ｚバッファデータ）および／または余分なピクセルデータなどの余分なデータ１３８を取得（または受信）し得る。例えば、ディスプレイパネル１０８が２１６０×１２００ピクセルアレイを有する場合、ピクセルデータ１３６は、ピクセルの２１６０×１２００アレイ内のピクセル値に対応し得、一方で、余分なピクセルデータは、２１６０×１２００アレイの境界の外側にあるピクセルに対応し得る。したがって、ピクセルデータ１３６および余分なピクセルデータは、例えば、２４００×１４００ピクセルのより大きなアレイなどのより多くの数のピクセル値を構成し得る。
３１４において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、第１のフレームと関連付けられた画像をレンダリングする目的でＨＭＤ１０２に送信するデータを圧縮および／またはシリアライズし得る。このデータは、余分なデータ１３８がアプリケーション１３０によって、レンダリングコンポーネント１３２によって、および／またはホストコンピュータ１０６の任意の他のコンポーネントによって生成されたかどうかにかかわらず、生成されたピクセルデータ１３６および任意の余分なデータ１３８を含み得る。ブロック３１４における圧縮は、事後に歪んだ画像とは対照的に、事前に歪んだ画像に対して最適化され得る。例えば、レンダリングワークロードの全体がホストコンピュータ上で実行されるシステムでは、ヘッドセットに送信されるピクセルデータの任意の圧縮は、ステレオ圧縮アーチファクトを軽減する圧縮アルゴリズムを利用し得る。プロセス３００において、アプリケーション１３０によって生成されたピクセルデータ１３６は、「事前に歪んでおり」、すなわち、再投影調整、幾何学的歪み調整、色収差調整などの調整が圧縮後に適用されることになるため、ブロック３１４において利用される圧縮アルゴリズムは、ステレオ圧縮アーチファクトを考慮する必要がない場合がある。いくつかの実施形態では、アプリケーション１３０によって出力されるピクセルデータ１３６は、前景ピクセルおよび背景ピクセル（および潜在的に中間ピクセル層）に分類されてもよく、異なる圧縮アルゴリズムまたはスキームが、異なるピクセル層に使用されてもよい。すなわち、前景ピクセルは、背景ピクセルが圧縮されるのとは異なる方法で（例えば、異なる圧縮アルゴリズムを使用して）圧縮することができる。
３１６において、ホストコンピュータ１０６は、ピクセルデータ１３６および余分なデータ１３８を含むデータをＨＭＤ１０２に送信し得る。ブロック３１６において送信された余分なデータ１３８は、これらに限定されないが、第１の頭部追跡データ１２２に基づいて生成され、かつアプリケーション１３０によって使用されて、第１のフレームのためのピクセルデータ１３６を生成する姿勢データ１３８（１）、アプリケーション１３０によって生成された深度データ１３８（２）、アプリケーション１３０によって生成された余分なピクセルデータ１３８（３）、頭部追跡データ１２２に基づいて、および／またはレンダリングされているシーン内の仮想オブジェクトの移動に基づいて、レンダリングコンポーネント１３２によって生成された動きベクトルデータ１３８（４）、視差オクルージョンデータ１３８（５）、および／またはキューブマップデータ（例えば、ＨＭＤ１０２が、任意のデータを有しない暗いピクセルを提示することに加えて、他のオプションを有するように、迅速な大規模な頭部移動のために）を含み得る。繰り返すが、ピクセルデータ１３６および余分なデータ１３８は、実装形態に応じて、無線で、有線接続を介して、広域ネットワークを介してなど、様々な方法でＨＭＤ１０２に送信され得る。
３１８において、ＨＭＤ１０２は、ホストコンピュータ１０６から、第１のフレームと関連付けられたピクセルデータ１３６、およびピクセルデータ１３６に加え、余分なデータ１３８を受信し得る。繰り返すが、ピクセルデータ１３６および余分なデータ１３８は、実装形態に応じて、無線で、有線接続を介して、広域ネットワークなどを介して、様々な方法でホストコンピュータ１０６から受信され得る。さらに、圧縮され、かつシリアライズされたデータがブロック３１８においてホストコンピュータ１０６から受信されると、ブロック３１８においてデータは、シリアライズ解除され、解凍され得る。
３２０において、ＨＭＤ１０２のロジック（例えば、コンポジタ１１６）は、ＨＭＤ１０２の頭部追跡システム１１８によって生成された第２の頭部追跡データ１２２に少なくとも部分的に基づいて、ＨＭＤ１０２が第１のフレームのための点灯時間にとるであろう、更新された姿勢を決定し得、これは、ＨＭＤ１０２のディスプレイパネル１０８の発光素子が第１のフレームのために点灯する時間を表す。ブロック３２０における決定は、第１のフレームのための点灯時間に時間的に近いため、ブロック３２０における姿勢予測は、点灯時間のさらに前にあったブロック３０８において決定された姿勢予測よりも正確である（例えば、誤差が少ない）。いくつかの実施形態では、ブロック３２０におけるＨＭＤ１０２の更新された姿勢の決定は、ホストコンピュータ１０６から受信された、またはＨＭＤ１０２上でローカルに生成された動きベクトルデータ１３８（４）に少なくとも部分的に基づいてもよい。例えば、頭部追跡データ１２２から生成された動きベクトルデータ１３８（４）は、ユーザ１０４の予測頭部移動を示し得、ＨＭＤ１０２のコンポジタ１１６は、とりわけ、動きベクトルデータ１３８（４）を使用して、ＨＭＤ１０２の更新された姿勢の予測を、改善された精度で行い得る。
３２２において、ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックは、ホストコンピュータ１０６から受信されたピクセルデータ１３６を修正して、修正されたピクセルデータを取得し得る。ブロック３２２のサブブロックによって示されるように、ピクセルデータ１３６のこの修正は、様々なサブ操作を伴い得る。
サブブロック３２４において、ＨＭＤ１０２のロジック（例えば、コンポジタ１１６）は、ピクセルデータ１３６に再投影調整を適用して、第１のフレームに関連付けられた修正されたピクセルデータを取得し得る。サブブロック３２４において適用される再投影調整は、ホストコンピュータ１０６から受信された余分なデータ１３８に少なくとも部分的に基づいてもよい。例えば、ブロック３０８において決定された（および姿勢データ１３８（１）で示された）元の予測姿勢と、ブロック３２０において決定された更新された姿勢との比較は、比較姿勢の間のデルタ（または差異）を明らかにし得、再投影調整は、このデルタを補償するための回転計算を含み得る（例えば、２つの姿勢決定の間のデルタに応じて、ピクセルデータ１３６を一方向にまたは別の方向にシフトおよび／または回転させることによって）。
いくつかの実施形態では、ホストコンピュータ１０６から受信された余分なデータ１３８は、第１のフレームに関連付けられた深度データ１３８（２）を含み、サブブロック３２４において適用された再投影調整は、深度データ１３８（２）に少なくとも部分的に基づいてもよい。例えば、深度バッファ（またはＺバッファ）からなどの深度データ１３８（２）は、シーン内の閉塞されたオブジェクトを示し得る。したがって、深度データ１３８（２）は、とりわけ、シーン内のオブジェクトの視差を調整するために使用され得る（例えば、世界空間で遠く離れている船は、クローズアップオブジェクトが同じ頭部の移動で動くほど頭部の移動で動かない場合がある）。シーン内の仮想オブジェクトに対応するピクセルの深度を知ることは、サブブロック３２４におけるＨＭＤ１０２への再投影中にそのような視差を調整する方法を知ることに役立つ。ＨＭＤ側で深度データ１３８（２）を使用する他の方法は、以下でより詳細に説明される。いくつかの実施形態では、ホストコンピュータ１０６から受信された余分なデータ１３８は、第１のフレームに関連付けられた余分なデータ１３８（３）を含み、サブブロック３２４において適用された再投影調整は、余分なデータ１３８（３）に少なくとも部分的に基づいてもよい。例えば、急速／大規模な頭部の移動が発生している場合、ＨＭＤ１０２によって決定されるように、ピクセルデータ１３６のピクセル値の少なくとも一部は、余分なピクセルデータ１３８（３）の余分なピクセル値で置き換えられて、ユーザ１０４の現在の頭部の移動に対応するシーンの一部分をレンダリングし得る。いくつかの実施形態では、ホストコンピュータ１０６から受信された余分なデータ１３８は、第１のフレームに関連付けられた動きベクトルデータ１３８（４）を含み、サブブロック３２４において適用される再投影調整は、動きベクトルデータ１３８（４）に少なくとも部分的に基づいてもよい。
サブブロック３２６において、ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックは、ピクセルデータ１３６に幾何学的歪み調整を適用して、ブロック３２２において第１のフレームと関連付けられた修正されたピクセルデータを取得し得る。幾何学的歪み調整は、ＨＭＤ１０２のニアアイ光学サブシステム（例えば、レンズおよび他の光学系）の歪みを補償し得る。同様の理由で、サブブロック３２８において、ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックは、ピクセルデータ１３６に色収差調整を適用して、ブロック３２２において第１のフレームに関連付けられた修正されたピクセルデータを取得し得る。
サブブロック３３０において、ピクセルデータ１３６は、ピクセルデータ１３６によって表されるシーン上に１つ以上の仮想手部を重ねることによって修正されて、ブロック３２２において第１のフレームに関連付けられた修正されたピクセルデータを取得し得る。例えば、ＨＭＤ１０２は、ＨＭＤ１０２とほぼ同様に、３Ｄ空間における移動および位置が追跡される１つ以上のハンドヘルドコントローラに通信可能に結合され得、ＨＭＤ１０２は、ハンドヘルドコントローラから（例えば、ハンドヘルドコントローラからＨＭＤ１０２への直接無線データ伝送を介して）手部追跡データを受信し得る。手部追跡データは、ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックによって処理されて、シーン上の仮想手部をレンダリングすることができ、仮想手部は、シーンのコンテンツ上にオーバーレイされる。
サブブロック３３２において、ＨＭＤ１０２のロジック（例えば、コンポジタ１１６）は、修正されたピクセルデータをフレームバッファに出力し得る。繰り返すが、一対のディスプレイパネル１０８を有するＨＭＤ１０２に関して、この修正されたピクセルデータは、一対のディスプレイパネル１０８上に表示される一対の画像を表すフレームに対応し得、それに応じて、ステレオフレームバッファに出力され得る。
３３４において、ＨＭＤ１０２のロジックは、ブロック３３２においてフレームバッファに出力された修正されたピクセルデータに基づいて、第１の画像をＨＭＤ１０２のディスプレイパネル１０８上に提示させ得る。これは、修正されたピクセルデータをＨＭＤ１０２のディスプレイパネル１０８にスキャンアウトし、ディスプレイパネル１０８の発光素子を点灯させて、ディスプレイパネル１０８上のピクセルを点灯させることを含み得る。
図４は、本明細書に開示される実施形態による、ホストコンピュータ１０６によって生成された動きベクトルデータ１３８（４）に基づいて、ＨＭＤ１０２に再投影調整を適用するための例示的なプロセス４００のフロー図を示している。考察目的で、前図を参照してプロセス４００を説明する。
４０２において、ＨＭＤ１０２は、頭部追跡データ１２２をホストコンピュータ１０６に送信し得る。この頭部追跡データ１２２は、アプリケーション１３０のターゲットフレームレートに対応する周波数および／またはＨＭＤ１０２のリフレッシュレートなどの任意の適切な周波数、または異なる（例えば、より速い）周波数で生成および／または送信され得、頭部追跡データ１２２は、ＨＭＤ１０２を装着しているユーザ１０４の頭部の移動を示し得る。したがって、ホストコンピュータ１０６は、ブロック４０２において、時間、ｔ１で生成された第１の頭部追跡データ１２２、時間、ｔ２で生成された第２の頭部追跡データ１２２などの、経時的な頭部追跡データ１２２の複数のインスタンスを受信し得る。さらに、ホストコンピュータ１０６は、いつでも利用可能な頭部追跡データ１２２の複数のインスタンスを有するように、経時的に受信した頭部追跡データ１２２の履歴を維持し得る。ホストコンピュータ１０６は、少なくともいくつかの過去の頭部追跡データ１２２を保持しながら、メモリリソースを節約するために、所定の年数よりも古い頭部追跡データ１２２を破棄することができる。
４０４において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、ＨＭＤ１０２から受信された頭部追跡データ１２２に少なくとも部分的に基づいて、動きベクトルデータ１３８（４）を生成し得る。例えば、ホストコンピュータ１０６は、第１の頭部追跡データ１２２を受信し得、第１の頭部追跡データ１２２を受信する前に第２の頭部追跡データ１２２を受信し得、これらの頭部追跡データ１２２の組の間で比較を行い、動きベクトルデータ１３８（４）を生成することができる。いくつかの実施形態では、動きベクトルデータ１３８（４）は、追加的に、または代替的に、アプリケーションによってレンダリングされた複数のフレームに関連付けられたピクセルデータから生成することができる。例えば、アプリケーション１３０によって以前にレンダリングされた一対のフレームは、ホストコンピュータ１０６のＧＰＵ１２８への入力として提供され得、ＧＰＵ１２８のデコーダが、例えば、一対のフレームにおける類似性（例えば、類似の色値、類似の輝度値など）を探し、一対のフレームにおける類似性の対応する位置に動きベクトルをマッピングすることなどによって、入力フレームに少なくとも部分的に基づいて動きベクトルデータ１３８（４）を生成し得る。いくつかの実施形態では、ホストコンピュータ１０６のロジックは、シーン内の仮想オブジェクトの動きではなく、頭部の移動に起因する動きで残されるように、シーン内の仮想オブジェクトの移動に関する動きをフィルタリングするように構成され得る。
４０６において、ＨＭＤ１０２は、ホストコンピュータ１０６から動きベクトルデータ１３８（４）を受信し得る。例えば、この動きベクトルデータ１３８（４）は、画像をＨＭＤ１０２上に提示する所与のフレームについてのピクセルデータ１３６と共に（例えば、それと共にパッケージされて）余分なデータ１３８として送信され得る。したがって、ブロック４０６において、またはわずかに異なる（例えば、より早いまたはより遅い）時間で、ＨＭＤ１０２は、所与のフレームについてのピクセルデータ１３６を受信し得る。
４０８において、ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックは、ブロック４０６において受信された動きベクトルデータ１３８（４）に少なくとも部分的に基づいて、ピクセルデータ１３６に再投影調整を適用して、所与のフレームに関連付けられた修正されたピクセルデータ４１０を取得し得る。動きベクトルデータ１３８（４）は、本明細書で説明されるように、元の予測姿勢およびＨＭＤ１０２の更新された姿勢の決定を示す姿勢データに加えて考慮され得る。したがって、動きベクトルデータ１３８（４）は、ＨＭＤ１０２の姿勢を予測し、それによって再投影調整（例えば、ピクセルデータ１３６を一方向にまたは別の方向にシフトおよび／または回転するための回転計算）を適用する目的で、姿勢データ１３８（１）に補完的であり得る。代替的に、動きベクトルデータ１３８（４）は、例えば、動きベクトルデータ１３８（４）を、レンダリングするシーンの画面空間に対応する動きベクトルフィールドに変換し、それらのピクセル値に対応する動きベクトルの大きさおよび方向に基づいてピクセル値をシフトすることによって、ピクセルデータ１３６に直接適用され得る。
図５は、本明細書に開示される実施形態による、ホストコンピュータ１０６上で実行しているアプリケーション１３０によって生成された余分なピクセルデータ１３８（３）に基づいて、再投影調整を適用するための例示的なプロセス５００のフロー図を示している。考察目的で、前図を参照してプロセス５００を説明する。
５０２において、ＨＭＤ１０２は、頭部追跡データ１２２をホストコンピュータ１０６に送信し得る。この頭部追跡データ１２２は、アプリケーション１３０のターゲットフレームレートに対応する周波数および／またはＨＭＤ１０２のリフレッシュレートなどの任意の適切な周波数、または異なる（例えば、より速い）周波数で生成および／または送信され得、頭部追跡データ１２２は、ＨＭＤ１０２を装着しているユーザ１０４の頭部の移動を示し得る。
５０４において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、ビデオゲーム１３０（１）などのホストコンピュータ１０６上で実行されるアプリケーション１３０に、ＨＭＤ１０２のディスプレイパネル１０８上のピクセルアレイに対応するピクセルデータ１３６に加え、余分なピクセルデータ１３８（３）を生成するように指示し得る。例えば、ディスプレイパネル１０８が２１６０×１２００ピクセルアレイを有する場合、ピクセルデータ１３６は、ピクセルの２１６０×１２００アレイ内のピクセル値に対応し得、一方で、余分なピクセルデータ１３８（３）は、２１６０×１２００アレイの境界の外側にあるピクセルに対応し得る。したがって、ブロック５０４において要求されるピクセルデータ１３６および余分なピクセルデータ１３８（３）は、例えば、２４００×１４００ピクセルのより大きなアレイなどのより多くの数のピクセル値を構成し得る。ブロック５０４において余分なピクセルデータ１３８（３）を生成するようにアプリケーション１３０に指示する決定は、ブロック５０４のサブブロックによって示されるように、所与のフレームのための動的決定であり得る。
サブブロック５０６において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、閾値移動量を超えるＨＭＤ１０２の移動量を示す、ブロック５０２において受信された頭部追跡データ１２２に少なくとも部分的に基づいて、（例えば、アプリケーション１３０に生成するように指示することによって）余分なピクセルデータ１３８（３）を生成することを決定し得る。例えば、頭部追跡データ１２２の２つのインスタンスは、ある期間（例えば、数ミリ秒の期間）にわたるＨＭＤ１０２の移動量を決定するために比較され得、その移動量が閾値移動量よりも大きい場合、レンダリングコンポーネント１３２は、所与のフレームについて余分なピクセルデータ１３８（３）を生成すると決定し得る。一方、ＨＭＤ１０２の移動量が閾値移動量以下である場合、レンダリングコンポーネント１３２は、所与のフレームについて余分なピクセルデータ１３８（３）を生成しないことを決定し得る。これは、図５のサブブロック５０６の右側に示されており、レンダリングコンポーネント１３２は、アプリケーション１３０に、ピクセルデータ１３６のみをレンダリングするように（および、ＨＭＤの移動量が閾値移動量以下である場合、任意の余分なピクセルデータ１３８（３）をレンダリングしないように、かつＨＭＤの移動量が閾値移動量を上回る場合、アプリケーション１３０に、ピクセルデータ１３６および余分なピクセルデータ１３８（３）をレンダリングするように指示するように構成されている。これは、現在頭部の動きがほとんどない場合、余分なピクセルデータ１３８（３）が使用される可能性が低いと決定することによってリソースを節約することを可能にし、現在大量のおよび／または急速な頭部の移動があるインスタンスのために余分なピクセルデータ１３８（３）の生成を確保することを可能にする。
サブブロック５０８において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、ブロック５０２において受信された頭部追跡データ１２２によって示されるＨＭＤ１０２の移動量に少なくとも部分的に基づいて、余分なピクセルデータ１３８（３）内のある数の余分なピクセル値をレンダリングすることを（例えば、アプリケーション１３０にレンダリングするように指示することによって）決定し得る。これは、図５のサブブロック５０８の右側に図示されており、レンダリングコンポーネント１３２は、ＨＭＤの移動量が第１のより少ない移動量である場合に、アプリケーション１３０に、余分なピクセルデータ１３８（３）内の第１の数の余分なピクセル値をレンダリングするように指示し、ＨＭＤの移動量が第２のより多い移動量である場合に、アプリケーション１３０に、余分なピクセルデータ１３８（３）内の第２のより多い数の余分なピクセル値をレンダリングするように指示するように構成されている。例えば、頭部の移動がより少ない場合には、レンダリングコンポーネント１３２は、合計２３００×１３００ピクセルをレンダリングするようにアプリケーション１３０に指示し得、頭部の移動がより多い場合には、レンダリングコンポーネント１３２は、合計２５００×１５００ピクセル（すなわち、ピクセルデータ１３６の固定数の「画面上」ピクセル値について、より多くの余分なピクセル値）をレンダリングするようにアプリケーション１３０に指示し得る。言い換えれば、余分なピクセルのバッファは、頭部の移動の程度に基づいて拡張または縮小し得る。これはまた、十分な量の余分なピクセルデータ１３８（３）を生成することによって、ホストコンピュータ１０６上のリソースを節約する技法であるが、余分な量の余分なピクセルデータ１３８（３）は生成しない。
サブブロック５１０において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、アプリケーション１３０に知られているおよび／またはアプリケーション１３０によって生成された動きベクトルデータ１３８（４）または予測データのうちの少なくとも１つに少なくとも部分的に基づいて、（例えば、アプリケーション１３０に生成するように指示することによって）特定の余分なピクセルデータ１３８（３）を生成することを決定し得る。例えば、動きベクトルデータ１３８（４）が、ＨＭＤ１０２のディスプレイパネル１０８の前面側を見ているビューを参照して、上向きおよび左向きの方向での頭部の移動を示す場合、レンダリングコンポーネント１３２は、アプリケーション１３０に、ピクセルデータ１３６の最上位ピクセルの上方に、およびピクセルデータ１３６の最左端ピクセルの左側に、余分なピクセルデータ１３８（３）を生成し、かつホストコンピュータ１０６のリソースを保存するピクセルデータ１３６の最右端ピクセルおよび最下位ピクセルの右側または下方にそれぞれ余分なピクセルデータ１３８（３）を生成するのを控えるように指示することを決定し得る。言い換えれば、ユーザ１０４が自分の頭部を右および／または下に移動させる可能性が低い場合、シーン内の最右端ピクセルの右側におよびシーン内の最下位ピクセルの下方の余分なピクセルは、ユーザ１０４がそれらのピクセルを見る必要がある可能性が低いためにレンダリングされる必要はない。同様に、動きベクトルデータ１３８（４）が、ＨＭＤ１０２のディスプレイパネル１０８の前面側を見ているビューを参照して、下向きおよび右向きの方向での頭部の移動を示す場合、レンダリングコンポーネント１３２は、アプリケーション１３０に、ピクセルデータ１３６の最下位ピクセルの下方に、およびピクセルデータ１３６の最右端ピクセルの右側に、余分なピクセルデータ１３８（３）を生成し、かつホストコンピュータ１０６のリソースを保存するピクセルデータ１３６の最左端ピクセルおよび最上位ピクセルの左側または上方にそれぞれ余分なピクセルデータ１３８（３）を生成するのを控えるように指示することを決定し得る。これは、図５のサブブロック５１０の右側に図示的に示されている。
いくつかの実施形態では、ブロック５１０において、どの「境界外」ピクセルをレンダリングするかの決定は、アプリケーション１３０から取得された予測データから決定され得る。例えば、実行アプリケーション１３０から取得された情報に基づいて、レンダリングコンポーネント１３２が、ある爆発が画面の左側で間もなく発生することを知っている（または高い可能性で予測する）場合、レンダリングコンポーネント１３２は、高い可能性で、左向きの方向（すなわち、その爆発に向かって）の将来の頭部の移動を予測することができる。したがって、所与のフレームについて、レンダリングコンポーネント１３２は、サブブロック５１０において、ユーザ１０４が爆発を見ることに反応して、予測されるように、自分の頭部を左に移動させる場合、境界外ピクセルが、そのフレームについて画像を提示するために利用され得るように、左向きの頭部の移動を見込んで、シーン内の最左端ピクセルを超えて「境界外」ピクセルをレンダリングするようにアプリケーション１３０に指示し得る。
サブブロック５１２において、ホストコンピュータ１０６（例えば、レンダリングコンポーネント１３２）のロジックは、第１の解像度でピクセルデータ１３６を生成し（例えば、アプリケーション１３０に生成するように指示することによって）、第１の解像度よりも低い第２の解像度で余分なピクセルデータ１３８（３）を生成することを決定し得る。これは、大規模または急速な頭部の移動がある場合に、余分なピクセルデータ１３８（３）が再投影されたフレームを作成するために使用されること、そうでなければ使用されない場合があること、ならびに余分なピクセルデータ１３８（３）が大規模または急速な頭部の移動の間に使用されるため、ユーザ１０４の目の前のシーンが動いているときに、より低い解像度がユーザ１０４によって気づかれる可能性が低いこと、が予想されるリソースを節約するためのさらに別の技法である。言い換えれば、期待しない頭部の移動がある場合には、余分なピクセルデータ１３８（３）内の「境界外」のピクセルが使用されることが期待されるが、そうでなければ破棄され、これは、余分なピクセルデータ１３８（３）に基づいて画像の提示中に頭部の移動が生じる可能性が高く、ユーザは、目がシーンを追跡するのに忙しく、かつシーン内の細かい詳細が頭部の移動の間にしばしば気づかれないため、頭部の移動の間に低解像度の画像を許容することができることを意味する。
５１４において、レンダリングコンポーネント１３２がアプリケーション１３０から余分なピクセルデータ１３８（３）を取得した後、ＨＭＤ１０２は、ホストコンピュータ１０６から余分なピクセルデータ１３８（３）を受信し得る。例えば、この余分なピクセルデータ１３８（３）は、画像をＨＭＤ１０２上に提示する所与のフレームについてのピクセルデータ１３６と共に（例えば、それと共にパッケージされて）余分なデータ１３８として送信され得る。したがって、ブロック５１４において、またはわずかに異なる（例えば、より早いまたはより遅い）時間で、ＨＭＤ１０２は、所与のフレームについてのピクセルデータ１３６を受信し得る。
５１６において、ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックは、ブロック５１４において受信された余分なピクセルデータ１３８（３）に少なくとも部分的に基づいて、ピクセルデータ１３６に再投影調整を適用して、所与のフレームに関連付けられた修正されたピクセルデータ５１８を取得し得る。余分なピクセルデータ１３８（３）は、ＨＭＤ１０２のディスプレイパネル１０８のピクセルアレイの境界の外側の余分なピクセル値を含み得、ピクセルデータ１３６に含まれるピクセル値の少なくとも一部を、余分なピクセルデータ１３８（３）に含まれる余分なピクセル値の少なくとも一部と置き換えることによって、再投影に使用され得る。例えば、再投影調整がピクセルデータ１３６を左向きにシフトさせる場合、ピクセルデータ１３６の最右端ピクセルの右側の余分なピクセルデータ１３８（３）が修正されたピクセルデータ５１８に出力され得る。これらの「境界外」ピクセル値（例えば、ディスプレイパネル１０８に対応するピクセルの左端、右端、上端、および／または下端を超えるピクセル値）は、暗いピクセルを表示する代わりに、コンテンツが最終画像に表示されることを可能にする。これは、実際に最終画像に表示されるピクセル数よりも多くのピクセルがレンダリングされることを意味するが、この冗長性測定は、例えば、ＨＭＤ１０２とホストコンピュータ１０６との間の無線通信リンク内のレイテンシを補償する。とはいっても、プロセス５００を参照して説明されるリソース節約技法は、データ転送のレイテンシを考慮してとられる冗長対策にかかわらず、コンピューティングデバイスのパフォーマンスを改善し得る。
図６は、本明細書に開示される実施形態による、ホストコンピュータ１０６上で実行しているアプリケーション１３０によって生成された深さデータ１３８（２）に基づいて、再投影調整を適用するための例示的なプロセス６００のフロー図を示している。考察目的で、前図を参照してプロセス６００を説明する。
６０２において、ＨＭＤ１０２は、頭部追跡データ１２２をホストコンピュータ１０６に送信し得る。この頭部追跡データ１２２は、アプリケーション１３０のターゲットフレームレートに対応する周波数および／またはＨＭＤ１０２のリフレッシュレートなどの任意の適切な周波数、または異なる（例えば、より速い）周波数で生成および／または送信され得、頭部追跡データ１２２は、ＨＭＤ１０２を装着しているユーザ１０４の頭部の移動を示し得る。
６０４において、レンダリングコンポーネント１３２は、アプリケーション１３０に、所与のフレームと関連付けられた深さデータ１３８（２）を生成するように指示し得、レンダリングコンポーネント１３２は、それをアプリケーション１３０から取得し得る。深度データ１３８（２）（または、Ｚバッファデータ）は、シーン内の閉塞されたオブジェクトを示してもよく、世界空間内のユーザの位置に対するそれらの深度を示してもよい。
６０６において、ＨＭＤ１０２は、ホストコンピュータ１０６から深度データ１３８（２）を受信し得る。例えば、この深度データ１３８（２）は、画像がＨＭＤ１０２上に提示される所与のフレームについてのピクセルデータ１３６と共に（例えば、それと共にパッケージされて）余分なデータ１３８として送信され得る。したがって、ブロック６０６において、またはわずかに異なる（例えば、より早いまたはより遅い）時間で、ＨＭＤ１０２は、所与のフレームについてのピクセルデータ１３６を受信し得る。
６０８において、ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックは、ブロック６０６において受信された深度データ１３８（２）に少なくとも部分的に基づいて、ピクセルデータ１３６に再投影調整を適用して、所与のフレームに関連付けられた修正されたピクセルデータ６１０を取得し得る。ブロック６０８のサブブロックによって示されるように、深度データ１３８（２）に基づくピクセルデータ１３６の修正は、サブ操作を伴い得る。
サブブロック６１２において、ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックは、深度データ１３８（２）に少なくとも部分的に基づいて、ピクセルデータ１３６に含まれるピクセル値の第１のサブセットを前景ピクセル６１４として、ピクセルデータ１３６に含まれるピクセル値の第２のサブセットを背景ピクセル６１６として分類し得る。ブロック６１２において、１つ以上の中間層が、前景と背景との間の中間層などのピクセルを分類するために使用され得る。したがって、ピクセルデータ１３６に含まれるピクセルは、任意の適切な粒度で複数の層に分類され得る。
サブブロック６１８において、ブロック６０８における再投影調整の適用は、前景ピクセル６１４として分類されるピクセル値の第１のサブセットを修正することと、背景ピクセル６１６として分類されるピクセル値の第２のサブセットを修正することを控えることと、を含み得る。言い換えれば、ＨＭＤ１０２のコンポジタ１１６は、所与のピクセルに対して、そのピクセルが分類される層（例えば、前景対背景）に応じて、異なる調整を適用してもよく、または調整を適用しなくてもよい。これは、背景コンテンツ内のわずかな不正確さがユーザ１０４によってどれだけ気づかれないかを見て、背景ピクセル６１６に再投影調整を適用する際にコンピューティングリソースを無駄にしないようにするためのさらに別のリソース節約技法である。プロセス６００で説明されるこの技法は、深度データ１３８（２）から決定されるように、分類されたピクセルの異なる層に対して再投影調整が適用される異なる更新レートを定義することによって可能にされ得る。例えば、シーンの背景のオブジェクトに対応する背景ピクセルは、シーンの前景のオブジェクトに対応する前景ピクセルよりも少ない頻度で（再投影のために）更新され得る。例えば、ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックは、３０Ｈｚで背景ピクセル６１６に再投影調整を行い、一方で、９０Ｈｚなどのより高い周波数で前景ピクセル６１４に再投影調整を行い得る。９０Ｈｚのフレームレートについては、これは、前景ピクセル６１４が、毎フレームでの再投影調整のために修正される一方で、背景ピクセル６１６は、一連のフレームでの３番目のフレームごとに再投影調整のために修正されることを意味し、これは、２つの連続するフレームが、リソースを節約するために、背景ピクセルに対する再投影調整を含まないことを意味する。これは、背景ピクセル６１６に対する再投影調整の概念に少なくとも部分的に基づいており、ＨＭＤ１０２の元の姿勢予測における同一の誤差を考慮すると、前景ピクセル６１４に対する再投影調整よりも小規模な調整であることが期待される。
図７は、本明細書に開示される実施形態による、ＨＭＤ１０２がハンドヘルドコントローラから直接手部追跡データを受信し、手部追跡データを使用してアプリケーションレンダリングシーン上に仮想手部をオーバーレイするための例示的なプロセス７００のフロー図を示している。考察目的で、前図を参照してプロセス７００を説明する。
７０２において、ＨＭＤ１０２は、ＨＭＤ１０２に通信可能に結合されている少なくとも１つのハンドヘルドコントローラ７０４から、手部追跡データ７０６を受信し得る。ハンドヘルドコントローラ７０４は、ＨＭＤ１０２の移動および／または位置を追跡することができるのとほぼ同様に、３Ｄ空間における移動および／または位置が追跡されるハンドヘルドＶＲコントローラなどのビデオゲームコントローラを表し得る。ハンドヘルドコントローラ７０４が、ホストコンピュータ１０６でシーン上に仮想手部をオーバーレイするために、ホストコンピュータ１０６に手部追跡データ７０６を送信する代わりに、ハンドヘルドコントローラ７０４に、手部追跡データ７０６がＨＭＤ１０２によって受信される前に、手部追跡データ７０６をホストコンピュータ１０６に送信することなく、ハンドヘルドコントローラ７０４の移動および／または位置を示す手部追跡データ７０６を直接的にＨＭＤ１０２に送信させることによって、レイテンシ低減措置を取ることができる。手部追跡データ７０６は、ハンドヘルドコントローラ７０４に取り付けられた追跡センサによって生成されたデータ、および場合によってはハンドヘルドコントローラ７０４に対する指部の位置／距離を示すためにハンドヘルドコントローラ７０４の近接センサ（例えば、静電容量センサ）によって生成された近接センサデータを含み得る。
７０８において、ＨＭＤ１０２（例えば、コンポジタ１１６）のロジックは、手部追跡データ７０６に少なくとも部分的に基づいて、所与のフレームについてのピクセルデータ１３６を修正して、ピクセルデータ１３６によって表されるシーン７１２上にオーバーレイされた１つ以上の仮想手部７１０を含んで、所与のフレームと関連付けられた修正されたピクセルデータを取得し得る。例えば、サブブロック７１４において、ＨＭＤ１０２のコンポジタ１１６は、アプリケーション１３０によって生成されたピクセル値をコンポジタ１１６によって生成されたピクセル値と置き換えて、仮想手部７１０を提示することによって、アプリケーション１３０によってレンダリングされたシーン上の７１０上に１つ以上の仮想手部をオーバーレイし得る。したがって、ＨＭＤ１０２は、ＨＭＤ１０２がハンドヘルドコントローラ７０４から直接的に受信する手部追跡データ７０６に基づいて、シーン７１２上で仮想手部７１０をレンダリングすることができる。これは、データがホストコンピュータ１０６に、次いでホストコンピュータ１０６からＨＭＤ１０２に送信される必要がない場合、ハンドヘルドコントローラ７０４の姿勢予測は、遠くまで前もって行われる必要がないため、仮想手部７１０のレンダリングの再投影調整を最小限に抑えることを可能にし得る。
図８Ａおよび８Ｂは、本明細書に開示される実施形態による、ＨＭＤ１０２とホストコンピュータ１０６との間のフレームのレンダリングワークロード１００を分割するシステムの２つの代替的なセットアップを示している。簡単に図１を参照すると、例示的な実装形態は、ホストコンピュータ１０６が、ユーザ１０４によって装着されるＨＭＤ１０２と環境内に配置される。例えば、ホストコンピュータ１０６は、ホストコンピュータ１０６がＨＭＤ１０２と同じ部屋または異なる部屋に位置しているかどうかにかかわらず、ユーザ１０４がハウス内でＨＭＤ１０２を使用している間、ユーザ１０４のハウス内に位置し得る。代替的に、モバイルコンピューティングデバイス（例えば、タブレットまたはラップトップ）の形態のホストコンピュータ１０６は、ユーザ１０４の背面のバックパック内で運ばれてもよく、それによって、より大きなモビリティを可能にする。例えば、ユーザ１０４は、そのようなシステムを使用しながら、公共の公園内に位置することができる。
図８Ａは、ホストコンピュータ１０６が、ＨＭＤ１０２に対して地理的に離れた場所に位置する１つ以上のサーバコンピュータを表す、代替の実装形態を示している。この場合、ＨＭＤ１０２は、無線ＡＰ（ＷＡＰ）、基地局などのアクセスポイント（ＡＰ）８００を介してホストコンピュータ１０６に通信可能に結合され得る。例示的な例では、データは、ホストコンピュータ１０６とＨＭＤ１０２との間で、ＡＰ８００を介して、例えばインターネットを介してデータをストリーミングすることによって、交換される（例えば、ストリーミングされる）。
図８Ｂは、ホストコンピュータ１０６が、ラップトップまたはタブレットコンピュータなどの中間コンピューティングデバイス８０２を介してＨＭＤ１０２に通信可能に結合される、さらに別の代替の実装形態を示している。図８Ａと８Ｂとの間の差異は、図８ＡのＡＰ８００が、レンダリングを行わないデータルーティングデバイスとして単純に作用し得、一方で、図８Ｂの中間コンピューティングデバイス８０２は、レンダリングワークロード１００の一部分を実行し得る。すなわち、ホストコンピュータ１０６とＨＭＤ１０２との間でレンダリングワークロード１００を分岐させる代わりに、レンダリングワークロード１００は、ホストコンピュータ１０６、中間コンピューティングデバイス８０２、およびＨＭＤ１０２といった３つのデバイスなどの３つ以上のデバイスの間で区分けされ得る。図８Ｂのシナリオにおいて、ホストコンピュータ１０６は、本明細書に記載されるように、ピクセルデータ１３６を生成し得、中間コンピューティングデバイス８０２は、ピクセルデータ１３６を修正するためのレンダリング動作の第１のセットを実行し得、ＨＭＤ１０２は、修正されたピクセルデータを修正するためのレンダリング動作の最終セットを実行し得る。
図９は、本明細書に開示される実施形態による、ＨＭＤ１０２（例えば、ＶＲヘッドセット）などのウェアラブルデバイス、および本明細書に開示される技法が実装され得るホストコンピュータ１０６の例示的な構成要素を示している。ＨＭＤ１０２は、動作中にホストコンピュータ１０６に通信可能に結合される接続デバイスとして、および／またはスタンドアロンデバイスとして実装され得る。いずれかの動作モードでは、ＨＭＤ１０２は、ユーザ１０４によって（例えば、ユーザ１０４の頭部に）装着されることになる。いくつかの実施形態では、ＨＭＤ１０２は、ユーザ１０４が、ユーザ１０４の頭部の周囲に収まるようにサイズ決めされる固設機構（例えば、調整可能バンド）を使用して、ＨＭＤ１０２をユーザの頭部に固設することを可能にすることなどによって、頭部に装着可能であり得る。いくつかの実施形態では、ＨＭＤ１０２は、ニアアイまたはニアツーアイディスプレイを含む仮想現実（ＶＲ）または拡張現実（ＡＲ）ヘッドセットを含む。したがって、「ウェアラブルデバイス」、「ウェアラブル電子デバイス」、「ＶＲヘッドセット」、「ＡＲヘッドセット」、および「ヘッドマウントディスプレイ（ＨＭＤ）」という用語は、本明細書では互換的に使用されて、図９のデバイス１０２を指し得る。しかしながら、これらのタイプのデバイスは、ＨＭＤ１０２の単なる例であることを理解されたい、ＨＭＤ１０２は、様々な他のフォームファクタで実装され得ることを理解されたい。図９に示される構成要素の一部または全部が、ＨＭＤ１０２上に実装され得ることも理解されたい。したがって、いくつかの実施形態では、ＨＭＤ１０２に実装されているものとして示される構成要素のサブセットは、ホストコンピュータ１０６またはＨＭＤ１０２から分離された別のコンピューティングデバイスに実装され得る。
例示された実装形態では、ＨＭＤ１０２は、１つ以上のＧＰＵ１１４を含み得る前述のプロセッサ１１０と、プロセッサ１１０、ディスプレイパネル１０８、頭部追跡システム１１８、および通信インターフェース１２０によって実行可能であるコンポジタ１１６を記憶するメモリ１１２と、を含む。
コンピュータ可読媒体１１２に記憶され、かつプロセッサ１１０上で実行可能なものとして、追加的な機能モジュールが示されているが、同じ機能が、代替的に、ハードウェア、ファームウェア内に、またはＳＯＣおよび／もしくは他のロジックとして実装されてもよい。例えば、オペレーティングシステムモジュール９００は、他のモジュールの便宜のために、ＨＭＤ１０２内でハードウェアを管理し、ＨＭＤ１０２に結合されるように構成され得る。加えて、いくつかの事例では、ＨＭＤ１０２は、メモリ１１２に記憶されているか、またはさもなければＨＭＤ１０２にアクセス可能な１つ以上のアプリケーション９０２を含み得る。例えば、アプリケーション９０２は、これらに限定されないが、ビデオゲームアプリケーション（例えば、処理の計算集約性が低いグラフィックスを有する基本的なビデオゲーム）、ビデオプレイバックアプリケーション（例えば、ＨＭＤ１０２および／またはクラウドに記憶されたビデオコンテンツライブラリにアクセスするアプリケーション）などを含み得る。ＨＭＤ１０２は、任意の数またはタイプのアプリケーション９０２を含み得、本明細書に記載される特定の例に限定されない。
一般的に、ＨＭＤ１０２は、入力デバイス９０４および出力デバイス９０６を有する。入力デバイス９０４は、制御ボタンを含み得る。いくつかの実装形態では、１つ以上のマイクロフォンが、ユーザ音声入力などのオーディオ入力を受信するための入力デバイス９０４として機能し得る。いくつかの実装形態では、１つ以上のカメラまたは他のタイプのセンサ（例えば、慣性測定ユニット（ＩＭＵ））が、ユーザ１０４の手および／または頭部の動きなどの、ジェスチャ入力を受信するための入力デバイス９０４として機能し得る。いくつかの実施形態において、追加の入力デバイス９０４が、キーボード、キーパッド、マウス、タッチスクリーン、ジョイスティックなどの形態で提供され得る。他の実施形態において、ＨＭＤ１０２は、キーボード、キーパッド、または他の同様の形態の機械的入力を省略してもよい。代わりに、ＨＭＤ１０２は、入力デバイス９０４の比較的単純な形態、ネットワークインターフェース（無線または有線ベース）、電源、および処理／メモリ機能で実装され得る。例えば、１つ以上の入力部品の限定されたセット（例えば、構成を開始する、電源をオン／オフするなどのための専用ボタン）が用いられ得、ＨＭＤ１０２は、その後に使用され得る。一実装形態では、入力デバイス９０４は、音量を増加／減少させるための基本的な音量制御ボタン、ならびに電源およびリセットボタンなどの制御機構を含み得る。
出力デバイス９０６は、ディスプレイパネル１０８を含み得、これは、本明細書に記載されるように、１つまたは複数のディスプレイパネル１０８（例えば、ディスプレイパネル１０８のステレオ対）を含み得る。出力デバイス９０６は、非限定的に、発光素子（例えば、ＬＥＤ）、触覚感覚を生み出すためのバイブレータ、スピーカ（例えば、ヘッドフォン）などをさらに含み得る。例えば、電源がオンであるときなどの状態を示すための単純な発光素子（例えば、ＬＥＤ）も存在し得る。
ＨＭＤ１０２は、ネットワークおよび／またはホストコンピュータ１０６などの第２のデバイスへの無線接続を容易にするために、アンテナ９１０に結合された無線ユニット９０８を含むが、これらに限定されない、通信インターフェース１２０をさらに含み得る。無線ユニット９０８は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線周波数（ＲＦ）などの、様々な無線技術のうちの１つ以上を実装し得る。ＨＭＤ１０２は、ホストコンピュータ１０６などのネットワークおよび／または第２のデバイスへの有線接続を容易にする物理ポートをさらに含み得ることを理解されたい。
ＨＭＤ１０２は、１つ以上の光学要素を使用して、ディスプレイパネル１０８からユーザの眼に光を向ける光学サブシステム９１２をさらに含み得る。光学サブシステム９１２は、非限定的に、アパーチャ、レンズ（例えば、フレネルレンズ、凸レンズ、凹レンズなど）、フィルタなどを含む、異なる光学素子の様々なタイプおよび組み合わせを含み得る。いくつかの実施形態では、光学サブシステム９１２内の１つ以上の光学要素は、反射防止コーティングなどの１つ以上のコーティングを有し得る。光学サブシステム９１２による画像光の拡大は、ディスプレイパネル１０８が、より大型のディスプレイよりも物理的により小型で、軽量で、より低消費電力であることを可能にする。加えて、画像光の拡大は、表示されたコンテンツ（例えば、画像）の視野（ＦＯＶ）を増加させ得る。例えば、表示されたコンテンツのＦＯＶは、表示されたコンテンツが、ユーザのＦＯＶのほぼすべて（例えば、対角１２０～１５０度）、場合によってはすべてを使用して提示されるようなものである。ＡＲアプリケーションは、より狭いＦＯＶ（例えば、約４０度のＦＯＶ）を有していてもよい。光学サブシステム９１２は、非限定的に、樽型歪み、ピンクッション歪み、長手方向色収差、横収差、球面収差、像面湾曲、非点収差などの、１つ以上の光学誤差を補正するように設計され得る。いくつかの実施形態では、表示のためにディスプレイパネル１０８に提供されるコンテンツは、事前に歪められており（本明細書に記載された、適用された幾何学的歪み調整および／または色収差調整）、光学サブシステム９１２は、コンテンツに基づいて生成された、ディスプレイパネル１０８からの画像光を受光する場合にその歪みを補正する。
ＨＭＤ１０２は、動き、位置、および方向データを生成するために使用されるセンサなどの、１つ以上のセンサ９１４をさらに含み得る。これらのセンサ９１４は、ジャイロスコープ、加速度計、磁力計、ビデオカメラ、カラーセンサ、または他の動き、位置、および方向センサであり得るか、またはそれらを含み得る。センサ９１４はまた、動き、位置、および方向データを生成するためにカメラまたはカラーセンサによって外部から視認され得る一連の能動または受動マーカなどの、センサのサブ部分を含み得る。例えば、ＶＲヘッドセットは、その外部に、外部カメラで見た場合、または光（例えば、赤外光または可視光）で照らした場合に、反射器または光（例えば、赤外光または可視光）などの複数のマーカを含み得、動き、位置、および方向データを生成するために、ソフトウェアによる解釈のための１つ以上の基準点を提供し得る。ＨＭＤ１０２は、ＨＭＤ１０２の環境内の基地局によって投影または散布される光（例えば、赤外光または可視光）に対して感応性である光センサを含み得る。
一例では、センサ９１４は、慣性測定ユニット（ＩＭＵ）９１６を含み得る。ＩＭＵ９１６は、加速度計、ジャイロスコープ、磁力計、および／または動きの検出、ＩＭＵ９１６と関連付けられた誤差の補正、もしくはそれらのいくつかの組み合わせに適切な他のセンサから受信された測定信号に基づいて、較正データを生成する電子デバイスであり得る。測定信号に基づいて、ＩＭＵ９１６のような、そのような動きベースのセンサは、ＨＭＤ１０２の初期位置に対するＨＭＤ１０２の推定された位置を示す較正データを生成し得る。例えば、複数の加速度計が並進運動（前方／後方、上／下、左／右）を測定し、複数のジャイロスコープが回転運動（例えば、ピッチ、ヨー、およびロール）を測定してもよい。ＩＭＵ９１６は、例えば、測定信号を迅速にサンプリングし、サンプリングされたデータからＨＭＤ１０２の推定された位置を計算し得る。例えば、ＩＭＵ９１６は、経時的に加速度計から受信された測定信号を統合して速度ベクトルを推定し得、経時的に速度ベクトルを統合して、ＨＭＤ１０２上の基準点の推定された位置を決定する。基準点は、ＨＭＤ１０２の位置を説明するために使用され得る点である。基準点は、一般的に、空間内の点として定義され得るが、様々な実施形態では、基準点は、ＨＭＤ１０２内の点（例えば、ＩＭＵ９１６の中心）として定義される。代替的に、ＩＭＵ９１６は、サンプリングされた測定信号を外部コンソール（または他のコンピューティングデバイス）に提供し、外部コンソールが較正データを決定する。
センサ９１４は、センサデータを高レートで提供するために、比較的高い周波数で動作し得る。例えば、センサデータは、１０００Ｈｚのレート（または１ミリ秒ごとに１つのセンサの読み取り）で生成され得る。このようにして、１秒間に１０００回の読み取りが行われる。センサがこの速度で（またはそれ以上の速度で）これだけのデータを生成する場合、動きを予測するために使用されるデータセットは、数十ミリ秒ほどの比較的短い期間でも非常に大きくなる。
言及されるように、いくつかの実施形態では、センサ９１４は、３Ｄ空間内のＨＭＤ１０２の位置および／または方向、姿勢などを追跡する目的で、ＨＭＤ１０２の環境内の基地局によって放出される光に対して感応性である光センサを含み得る。位置および／または方向の計算は、光パルスのタイミング特性、およびセンサ９１４によって検出される光の有無に基づき得る。
ＨＭＤ１０２は、眼追跡データを生成する眼追跡システム９１８をさらに含み得る。眼追跡システム９１８は、限定されないが、ユーザの眼の画像データ（または情報）を捕捉するためにＨＭＤ１０２の内部のカメラまたは他の光学センサを含み得、眼追跡システム９１８は、捕捉されたデータ／情報を使用して、ねじれおよび回転の大きさ（すなわち、ロール、ピッチ、およびヨー）ならびに各眼の注視方向を含む、動きベクトル、瞳孔間距離、眼間距離、ＨＭＤ１０２に対する各眼の三次元（３Ｄ）位置を決定し得る。一例では、赤外光が、ＨＭＤ１０２内で放出され、各眼から反射される。反射光は、眼追跡システム９１８のカメラによって受光または検出され、各眼によって反射された赤外光の変化から眼の回転を抽出するために分析される。ユーザ１０４の眼を追跡するための多くの方法が、眼追跡システム９１８によって使用され得る。したがって、眼追跡システム９１８は、各眼の最大６自由度（すなわち、３Ｄ位置、ロール、ピッチ、およびヨー）を追跡し得、追跡された量の少なくともサブセットが、注視点（すなわち、ユーザが見ている仮想シーン内の３Ｄ場所または位置）を推定するためにユーザ１０４の２つの眼から組み合わせられ得、その注視点は、ユーザ１０４が、ディスプレイパネル１０８のピクセルの個々のサブセット（例えば、行）または連続サブセットのグループ（例えば、連続行のグループ）に関してどこを見ているかを予測するためにディスプレイパネル１０８の位置にマッピングされ得る。例えば、眼追跡システム９１８は、過去の測定値からの情報、ユーザ１０４の頭部の位置を識別する測定値、およびディスプレイパネル１０８によって提示されるシーンを記述する３Ｄ情報を統合し得る。したがって、ユーザ１０４の眼の位置および方向の情報は、ユーザ１０４が見ている、ＨＭＤ１０２によって提示された仮想シーン内の注視点を決定し、その注視点を、ＨＭＤ１０２のディスプレイパネル１０８上の位置にマッピングするために使用される。
ＨＭＤ１０２は、頭部追跡システム１１８をさらに含み得る。頭部追跡システム１１８は、上記のように、センサ９１４のうちの１つ以上を利用して、ユーザ１０４の頭部の回転を含む頭部の動きを追跡し得る。例えば、頭部追跡システム１１８は、ＨＭＤ１０２の最大６自由度（すなわち、３Ｄ位置、ロール、ピッチ、およびヨー）を追跡し得る。これらの計算は、一連のフレームの各フレームで行われ得るため、アプリケーション１３０は、頭部の位置および方向に応じて、次のフレーム内でシーンをどのようにレンダリングするかを決定することができる。いくつかの実施形態では、頭部追跡システム１１８は、現在および／または過去のデータに基づいて、および／またはディスプレイシステム内のピクセルの個々のサブセットの既知／暗黙のスキャンアウトレイテンシに基づいて、ＨＭＤ１０２の将来の姿勢（位置および／または方向）を予測するために使用可能な頭部追跡データ１２２を生成するように構成されている。これは、ユーザ１０４がディスプレイパネル１０８上で光（したがって、画像）を実際に見る前に、アプリケーション１３０がフレームをレンダリングするように求められるためである。したがって、次のフレームは、より早い時点で行われた、頭部の位置および／または配向のこの将来の予測に基づいて、レンダリングすることができる。頭部追跡システム１１８によって提供される回転データは、任意の適切な測定単位で、ＨＭＤ１０２の回転方向およびＨＭＤ１０２の回転量の両方を決定するために使用され得る。例えば、回転方向は、左、右、上、および下に対応する正または負の水平方向および正または負の垂直方向の観点で単純化されて出力され得る。回転量は、度、ラジアンなどの単位であり得る。角速度が、ＨＭＤ１０２の回転速度を決定するために計算されてもよい。
例示された実装形態では、ホストコンピュータは、１つ以上のＧＰＵ１２８を含み得る前述のプロセッサ１２４、ならびにプロセッサ１２８によって実行可能なアプリケーション１３０およびレンダリングコンポーネント１３２を記憶するメモリ１２６、ならびに通信インターフェース１３４を含み得る。
メモリ１２６には、他のモジュールの便益のために、ホストコンピュータ１０６内でハードウェアを管理し、ホストコンピュータ１０６に結合されるように構成されたオペレーティングシステム９２０が含まれ得る。ホストコンピュータ１０６はまた、メモリ１２６内にインストールされたビデオゲームクライアント９２２も有し得る。このビデオゲームクライアント９２２は、ビデオゲーム（またはビデオゲームプログラム）などのプログラムを起動および実行するように構成されている実行可能クライアントアプリケーションを表し得る。言い替えると、ビデオゲームクライアント９２２には、ＨＭＤ１０２およびホストコンピュータ１０６を含むシステム上でビデオゲームをプレイするために使用可能なゲームソフトウェアが含まれ得る。ビデオゲームクライアント９２２がインストールされた状態で、ホストコンピュータ１０６は、コンピュータネットワーク（例えば、インターネット）経由で遠隔システムからビデオゲームを受信（例えば、ダウンロード、ストリーミングなど）し、ビデオゲームクライアント９２２を介してビデオゲームを実行するための能力を有し得る。この目的のために、ホストコンピュータ１０６上でのダウンロードおよび実行のために別々に購入することができる直接購入モデル、サブスクリプションベースモデル、ビデオゲームがある期間のレンタルまたはリースされるコンテンツ配信モデルなどの任意のタイプのコンテンツ配信モデルを利用することができる。したがって、ホストコンピュータ１０６は、ビデオゲームライブラリ９２４内に、ビデオゲーム１３０（１）など１つ以上のビデオゲームを含み得る。これらのビデオゲームは、ビデオゲームクライアント９２２をロードすることによって、取り出され、そして実行され得る。一例では、ユーザ１０４は、ビデオゲームクライアント９２２をロードし、ビデオゲーム１３０（１）を選択してビデオゲーム１３０（１）の実行を開始することによって、購入してビデオゲームライブラリ９２４にダウンロードした複数のビデオゲームのうちの１つをプレイすることを選択し得る。ビデオゲームクライアント９２２は、ユーザが資格情報（例えば、ユーザアカウント、パスワードなど）を使用してビデオゲームサービスにログインすることを可能にし得る。
ホストコンピュータ１０６は、ネットワークおよび／またはＨＭＤ１０２などの第２のデバイスへの無線接続を容易にするために、アンテナ９２８に結合された無線ユニット９２６を含むが、これらに限定されない、通信インターフェース１３４をさらに含み得る。無線ユニット９２６は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線周波数（ＲＦ）などの、様々な無線技術のうちの１つ以上を実装し得る。ホストコンピュータ１０６は、ネットワークおよび／またはＨＭＤ１０２などの第２のデバイスへの有線接続を容易にする物理ポートをさらに含み得ることを理解されたい。
一般的に、ホストコンピュータ１０６は、入力デバイス９３０および出力デバイス９３２を有する。入力デバイス９３０は、キーボード、キーパッド、マウス、タッチスクリーン、ジョイスティック、制御ボタン、マイク、カメラなどを含み得る。出力デバイス９３２は、非限定的に、ディスプレイ、発光素子（例えば、ＬＥＤ）、触覚感覚を生み出すためのバイブレータ、スピーカ（例えば、ヘッドフォン）などを含み得る。
本主題は、構造的特徴に固有の言語で説明されているが、添付の特許請求の範囲で定義された主題が必ずしも説明された特定の特徴に限定されないことを理解されたい。むしろ、特定の特徴は、特許請求の範囲を実装する例示的な形態として開示される。

Claims (20)

  1. ヘッドマウントディスプレイ（ＨＭＤ）であって、
    発光素子のアレイを有する１つ以上のディスプレイパネルと、
    頭部追跡システムと、
    プロセッサと、
    前記プロセッサによって実行されると、前記ＨＭＤに、
    前記ＨＭＤに通信可能に結合されたホストコンピュータに、前記頭部追跡システムによって生成された第１の頭部追跡データを送信することと、
    前記ホストコンピュータから、かつ前記第１の頭部追跡データに少なくとも部分的に基づいて、第１のフレームに関連付けられたピクセルデータおよび前記ピクセルデータに加え、余分なデータを受信することであって、前記余分なデータが、
    前記ホストコンピュータ上で実行されるアプリケーションによって前記ピクセルデータを生成するために使用された、前記ＨＭＤの予測姿勢を示す姿勢データと、
    前記第１のフレームに関連付けられた深度データと、を含む、受信することと、
    前記頭部追跡システムによって生成された第２の頭部追跡データに少なくとも部分的に基づいて、前記発光素子が前記第１のフレームのために点灯する時間に前記ＨＭＤがとるであろう、更新された姿勢を決定することと、
    前記深度データおよび前記予測姿勢と前記更新された姿勢との間の比較に少なくとも部分的に基づいて、前記ピクセルデータに再投影調整を適用して、前記第１のフレームに関連付けられた修正されたピクセルデータを取得することと、
    前記修正されたピクセルデータに少なくとも部分的に基づいて、第１の画像を前記１つ以上のディスプレイパネル上に提示することと、を行わせる、コンピュータ実行可能命令を記憶するメモリと、を備える、ＨＭＤ。
  2. 前記ホストコンピュータが、前記ＨＭＤに無線で結合され、
    前記第１の頭部追跡データが、前記ホストコンピュータに無線で送信され、
    前記ピクセルデータおよび前記余分なデータが、前記ホストコンピュータから無線で受信される、請求項１に記載のＨＭＤ。
  3. 前記ピクセルデータが、前記１つ以上のディスプレイパネルのピクセルアレイに対応するピクセル値を含み、前記コンピュータ実行可能命令が、前記プロセッサによって実行されると、前記ＨＭＤに、
    前記深度データに少なくとも部分的に基づいて、前記ピクセル値の第１のサブセットを前景ピクセルとして、前記ピクセル値の第２のサブセットを背景ピクセルとして分類すること、をさらに行わせ、
    前記深度データに少なくとも部分的に基づいて、前記再投影調整を前記ピクセルデータに適用することが、
    前記ピクセル値の前記第１のサブセットを修正することと、
    前記ピクセル値の前記第２のサブセットの修正を控えることと、を含む、請求項１に記載のＨＭＤ。
  4. 前記ピクセルデータが、前記１つ以上のディスプレイパネルのピクセルアレイに対応するピクセル値を含み、
    前記余分なデータが、前記１つ以上のディスプレイパネルの前記ピクセルアレイの境界の外側の余分なピクセル値を含む余分なピクセルデータをさらに含み、
    前記再投影調整を前記ピクセルデータに適用することが、前記ピクセル値の少なくとも一部を前記余分なピクセル値の少なくとも一部で置き換えることを含む、請求項１に記載のＨＭＤ。
  5. 前記余分なデータが、前記第１の頭部追跡データに少なくとも部分的に基づいて、前記ホストコンピュータによって生成された動きベクトルデータをさらに含み、
    前記再投影調整を前記ピクセルデータに適用することが、前記動きベクトルデータに少なくとも部分的に基づいている、請求項１に記載のＨＭＤ。
  6. 前記コンピュータ実行可能命令が、前記プロセッサによって実行されると、前記ＨＭＤに、
    前記ＨＭＤに通信可能に結合された少なくとも１つのハンドヘルドコントローラから、手部追跡データを受信することと、
    前記手部追跡データに少なくとも部分的に基づいて、前記ピクセルデータを修正して、前記ピクセルデータによって表されるシーン上にオーバーレイされた１つ以上の仮想手部を含ませ、前記第１のフレームに関連付けられた前記修正されたピクセルデータを取得することと、をさらに行わせる、請求項１に記載のＨＭＤ。
  7. 発光素子のアレイを有する１つ以上のディスプレイパネルを含むヘッドマウントディスプレイ（ＨＭＤ）によって実装される方法であって、前記方法が、
    ホストコンピュータに、前記ＨＭＤの頭部追跡システムによって生成された第１の頭部追跡データを送信することと、
    前記ホストコンピュータから、かつ前記第１の頭部追跡データに少なくとも部分的に基づいて、第１のフレームに関連付けられたピクセルデータおよび余分なデータを受信することであって、前記余分なデータが、
    前記ホストコンピュータ上で実行されるアプリケーションによって前記ピクセルデータを生成するために使用された、前記ＨＭＤの予測姿勢を示す姿勢データと、
    前記第１のフレームに関連付けられた深度データと、を含む、受信することと、
    前記頭部追跡システムによって生成された第２の頭部追跡データに少なくとも部分的に基づいて、前記発光素子が前記第１のフレームのために点灯する時間に前記ＨＭＤがとるであろう、更新された姿勢を決定することと、
    前記深度データおよび前記予測姿勢と前記更新された姿勢との間の比較に少なくとも部分的に基づいて、前記ピクセルデータに再投影調整を適用して、前記第１のフレームに関連付けられた修正されたピクセルデータを取得することと、
    前記修正されたピクセルデータに少なくとも部分的に基づいて、第１の画像を前記１つ以上のディスプレイパネル上に提示することと、を含む、方法。
  8. 前記ホストコンピュータが、前記ＨＭＤに無線で結合され、
    前記第１の頭部追跡データが、前記ホストコンピュータに無線で送信され、
    前記ピクセルデータおよび前記余分なデータが、前記ホストコンピュータから無線で受信される、請求項７に記載の方法。
  9. 前記ピクセルデータが、前記１つ以上のディスプレイパネルのピクセルアレイに対応するピクセル値を含み、前記方法が、
    前記深度データに少なくとも部分的に基づいて、前記ピクセル値の第１のサブセットを前景ピクセルとして、前記ピクセル値の第２のサブセットを背景ピクセルとして分類すること、をさらに含み、
    前記再投影調整を前記ピクセルデータに前記適用することが、
    前記ピクセル値の前記第１のサブセットを修正することと、
    前記ピクセル値の前記第２のサブセットの修正を控えることと、を含む、請求項７に記載の方法。
  10. 前記ピクセルデータが、前記１つ以上のディスプレイパネルのピクセルアレイに対応するピクセル値を含み、
    前記余分なデータが、前記１つ以上のディスプレイパネルの前記ピクセルアレイの境界の外側の余分なピクセル値を含む余分なピクセルデータをさらに含み、
    前記再投影調整を前記ピクセルデータに前記適用することが、前記ピクセル値の少なくとも一部を前記余分なピクセル値の少なくとも一部で置き換えることを含む、請求項７に記載の方法。
  11. 前記余分なデータが、前記第１の頭部追跡データに少なくとも部分的に基づいて生成された動きベクトルデータをさらに含み、
    前記再投影調整を前記ピクセルデータに前記適用することが、前記動きベクトルデータに少なくとも部分的に基づいている、請求項７に記載の方法。
  12. 前記ＨＭＤに通信可能に結合された少なくとも１つのハンドヘルドコントローラから、手部追跡データを受信することと、
    前記手部追跡データに少なくとも部分的に基づいて、前記ピクセルデータを修正して、前記ピクセルデータによって表されるシーン上にオーバーレイされた１つ以上の仮想手部を含ませ、前記第１のフレームに関連付けられた前記修正されたピクセルデータを取得することと、をさらに含む、請求項７に記載の方法。
  13. ホストコンピュータであって、
    プロセッサと、
    前記プロセッサによって実行されると、前記ホストコンピュータに、
    ヘッドマウントディスプレイ（ＨＭＤ）から、前記ＨＭＤの頭部追跡システムによって生成された第１の頭部追跡データを受信することと、
    前記ＨＭＤの１つ以上のディスプレイパネルの発光素子が一連のフレームのうちの第１のフレームのために点灯する時間を表す予測点灯時間を決定することと、
    前記第１の頭部追跡データに少なくとも部分的に基づいて、前記ＨＭＤが前記予測点灯時間にとるであろう、予測姿勢を決定することと、
    前記第１のフレームをレンダリングするためのアプリケーションに前記予測姿勢を示す姿勢データを提供することであって、前記アプリケーションが、前記ホストコンピュータ上で実行する、提供することと、
    前記アプリケーションから、前記第１のフレームに関連付けられたピクセルデータを取得することと、
    前記第１の頭部追跡データおよび前記頭部追跡システムによって生成された第２の頭部追跡データに少なくとも部分的に基づいて、動きベクトルデータを生成することであって、前記第２の頭部追跡データが、前記第１の頭部追跡データの前に前記ＨＭＤから受信されている、生成することと、
    前記ＨＭＤに、前記ピクセルデータおよび余分なデータを送信することであって、前記余分なデータが、少なくとも前記姿勢データおよび前記動きベクトルデータを含む、送信することと、を行わせる、コンピュータ実行可能命令を記憶するメモリと、を備える、ホストコンピュータ。
  14. 前記ＨＭＤが、前記ホストコンピュータに無線で結合され、
    前記第１の頭部追跡データが、前記ＨＭＤから無線で受信され、
    前記ピクセルデータおよび前記余分なデータが、前記ＨＭＤに無線で送信される、請求項１３に記載のホストコンピュータ。
  15. 前記コンピュータ実行可能命令が、前記プロセッサによって実行されると、前記ホストコンピュータに、
    前記アプリケーションから、前記第１のフレームに関連付けられた深度データを受信すること、を行わせ、
    前記余分なデータが、前記深度データをさらに含む、請求項１３に記載のホストコンピュータ。
  16. 前記ピクセルデータが、前記ＨＭＤの前記１つ以上のディスプレイパネルのピクセルアレイに対応するピクセル値を含み、前記コンピュータ実行可能命令が、前記プロセッサによって実行されると、前記ホストコンピュータに、
    前記アプリケーションから、前記ＨＭＤの前記１つ以上のディスプレイパネルの前記ピクセルアレイの境界の外側の余分なピクセル値を含む余分なピクセルデータを受信すること、をさらに行わせ、
    前記余分なデータが、前記余分なピクセルデータをさらに含む、請求項１３に記載のホストコンピュータ。
  17. 前記コンピュータ実行可能命令が、前記プロセッサによって実行されると、前記ホストコンピュータに、前記ピクセルデータを第１の解像度で生成し、前記余分なピクセルデータを前記第１の解像度よりも低い第２の解像度で生成するように前記アプリケーションに指示すること、をさらに行わせる、請求項１６に記載のホストコンピュータ。
  18. 前記コンピュータ実行可能命令が、前記プロセッサによって実行されると、前記ホストコンピュータに、閾値移動量を超える前記ＨＭＤの移動量を示す前記第１の頭部追跡データに少なくとも部分的に基づいて前記余分なピクセルデータを生成するように前記アプリケーションに指示すること、をさらに行わせる、請求項１６に記載のホストコンピュータ。
  19. 前記コンピュータ実行可能命令が、前記プロセッサによって実行されると、前記ホストコンピュータに、前記第１の頭部追跡データによって示された前記ＨＭＤの移動量に少なくとも部分的に基づいて、前記余分なピクセルデータ内のある数の前記余分なピクセル値をレンダリングするように前記アプリケーションに指示すること、をさらに行わせる、請求項１６に記載のホストコンピュータ。
  20. 前記コンピュータ実行可能命令が、前記プロセッサによって実行されると、前記ホストコンピュータに、
    前記アプリケーションによって生成された前記動きベクトルデータまたは予測データのうちの少なくとも１つに少なくとも部分的に基づいて、前記余分なピクセルデータを生成するように前記アプリケーションに指示すること、をさらに行わせる、請求項１６に記載のホストコンピュータ。
JP2022534368A 2019-12-17 2020-12-15 ヘッドマウントディスプレイとホストコンピュータとの間の分割レンダリング Pending JP2023507085A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/717,940 US11303875B2 (en) 2019-12-17 2019-12-17 Split rendering between a head-mounted display (HMD) and a host computer
US16/717,940 2019-12-17
PCT/US2020/065126 WO2021126854A1 (en) 2019-12-17 2020-12-15 Split rendering between a head-mounted display (hmd) and a host computer

Publications (2)

Publication Number Publication Date
JP2023507085A true JP2023507085A (ja) 2023-02-21
JPWO2021126854A5 JPWO2021126854A5 (ja) 2023-12-15

Family

ID=76318353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022534368A Pending JP2023507085A (ja) 2019-12-17 2020-12-15 ヘッドマウントディスプレイとホストコンピュータとの間の分割レンダリング

Country Status (6)

Country Link
US (1) US11303875B2 (ja)
EP (1) EP4045965A4 (ja)
JP (1) JP2023507085A (ja)
KR (1) KR20220116150A (ja)
CN (1) CN114730093A (ja)
WO (1) WO2021126854A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
JP2022056043A (ja) * 2020-09-29 2022-04-08 セイコーエプソン株式会社 表示システム、表示方法及びプログラム
US11651544B2 (en) * 2021-04-30 2023-05-16 Varjo Technologies Oy Systems and methods employing multiple graphics processing units for producing images
EP4142285A4 (en) * 2021-05-17 2023-11-15 Qingdao Pico Technology Co., Ltd. HEAD-MOUNTED DISPLAY DEVICE AND HEAD-MOUNTED DISPLAY SYSTEM
US20230102820A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Parallel renderers for electronic devices
US11796803B2 (en) * 2022-03-21 2023-10-24 Lenovo (Singapore) Pte. Ltd. Movement of graphical objects based on user moving between viewing display locations
US20240121370A1 (en) * 2022-09-30 2024-04-11 Samsung Electronics Co., Ltd. System and method for parallax correction for video see-through augmented reality
KR20240048207A (ko) * 2022-10-06 2024-04-15 한국전자기술연구원 사용자의 상황 정보 예측 기반 확장현실 디바이스의 영상 스트리밍 방법 및 장치
CN117294832B (zh) * 2023-11-22 2024-03-26 湖北星纪魅族集团有限公司 数据处理方法、装置、电子设备和计算机可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9588593B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
GB2545435B (en) * 2015-12-15 2019-10-30 Advanced Risc Mach Ltd Data processing systems
US9928662B2 (en) 2016-05-09 2018-03-27 Unity IPR ApS System and method for temporal manipulation in virtual environments
US10379611B2 (en) 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
US10489915B2 (en) * 2017-04-01 2019-11-26 Intel Corporation Decouple multi-layer render fequency
US10565964B2 (en) * 2017-04-24 2020-02-18 Intel Corporation Display bandwidth reduction with multiple resolutions
US10649521B2 (en) * 2017-04-24 2020-05-12 Intel Corporation Compensating for high head movement in head-mounted displays
JP2019028368A (ja) * 2017-08-02 2019-02-21 株式会社ソニー・インタラクティブエンタテインメント レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
GB201715209D0 (en) 2017-09-20 2017-11-01 Oxsight Ltd Method of and system for enhancing an image
US10592002B2 (en) * 2018-06-14 2020-03-17 Dell Products, L.P. Gesture sequence recognition using simultaneous localization and mapping (SLAM) components in virtual, augmented, and mixed reality (xR) applications
US10929982B2 (en) * 2019-01-25 2021-02-23 Google Llc Face pose correction based on depth information

Also Published As

Publication number Publication date
KR20220116150A (ko) 2022-08-22
US20210185294A1 (en) 2021-06-17
EP4045965A1 (en) 2022-08-24
WO2021126854A1 (en) 2021-06-24
US11303875B2 (en) 2022-04-12
CN114730093A (zh) 2022-07-08
EP4045965A4 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
US11303875B2 (en) Split rendering between a head-mounted display (HMD) and a host computer
US11533489B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US9892565B2 (en) Reprojection OLED display for augmented reality experiences
CN108292489B (zh) 信息处理装置和图像生成方法
CN108351691B (zh) 用于虚拟图像的远程渲染
KR102234819B1 (ko) 후기 단계 재투사
US11314322B2 (en) Display system with dynamic light output adjustment for maintaining constant brightness
CN110249317B (zh) 用于实时图像变换的无未命中高速缓存结构
US10672368B2 (en) No miss cache structure for real-time image transformations with multiple LSR processing engines
JP2022517991A (ja) 眼追跡に基づく動的レンダリング時間ターゲット化
JP2021533498A (ja) アプリケーションレンダリング性能に基づく予測およびスロットル調整
KR20160149252A (ko) 시선 위치에 기초한 안정 평면 결정

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231205