JP7395577B2 - 再投影フレームのモーションスムージング - Google Patents

再投影フレームのモーションスムージング Download PDF

Info

Publication number
JP7395577B2
JP7395577B2 JP2021519155A JP2021519155A JP7395577B2 JP 7395577 B2 JP7395577 B2 JP 7395577B2 JP 2021519155 A JP2021519155 A JP 2021519155A JP 2021519155 A JP2021519155 A JP 2021519155A JP 7395577 B2 JP7395577 B2 JP 7395577B2
Authority
JP
Japan
Prior art keywords
pixel data
frame
motion vectors
array
gpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021519155A
Other languages
English (en)
Other versions
JPWO2020076526A5 (ja
JP2022504475A (ja
Inventor
ヴラコス、アレックス
ライビー、アーロン
Original Assignee
バルブ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バルブ コーポレーション filed Critical バルブ コーポレーション
Publication of JP2022504475A publication Critical patent/JP2022504475A/ja
Publication of JPWO2020076526A5 publication Critical patent/JPWO2020076526A5/ja
Application granted granted Critical
Publication of JP7395577B2 publication Critical patent/JP7395577B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0457—Improvement of perceived resolution by subpixel rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

関連出願の相互参照
これは、２０１８年１０月９日に出願された「再投影フレームのモーションスムージング」というタイトルの米国特許出願第１６／１５５，６８６号の優先権を主張するＰＣＴ出願であり、参照によりその全体が本明細書に組み込まれる。
[背景技術]
仮想現実（ＶＲ）システムは、ビデオゲーム業界の内外の双方で使用されている。ＶＲヘッドセットに内蔵されているようなＶＲシステム用ディスプレイは、通常、ＶＲアプリケーションに好適である最小リフレッシュレートで動作する。例えば、９０ヘルツ（Ｈｚ）は、ＶＲディスプレイの一般的なリフレッシュレートである。「ライブレンダリング」シナリオでは、ビデオゲームなどのグラフィックベースのアプリケーションは、ディスプレイのリフレッシュレートに適合するフレームレートでレンダリングするためのフレームを出力する。つまり、アプリケーションから受信された新たなフレーム（本明細書では「実際のフレーム」と称する）は、画面がリフレッシュされるたびに表示される。このようなライブレンダリングシナリオは、アプリケーションが「フレームレートに達した」と称されることがよくある。
実際には、様々な理由でアプリケーションは常にフレームレートに達するとは限らない。例えば、アプリケーションがフレームを断続的にドロップする場合があり、および／またはアプリケーションが一時的により遅いレートでフレームを出力する場合がある（例えば、理想的なフレームレートが９０フレーム／秒の場合は４５フレーム／秒）。アプリケーションがフレームレートに達していない状況では、「回転のみの再投影」と呼ばれる技術を使用して、ユーザの頭部回転を考慮するように、欠落しているフレームを再投影フレームで置き換えることができ、それによってユーザにはアプリケーションがフレームレートに達しているかのように見える。例えば、再投影しない場合、アプリケーションからのフレームレートが不足すると、ゲーム内でスタッタまたはヒッチが発生する場合がある。ユーザが仮想環境に完全に没入しているＶＲアプリケーションでは、アプリケーションがフレームレートに達せず、欠落したフレームを補うための再投影がない場合、ユーザは不快になる可能性がある。したがって、再投影は、アプリケーションがフレームレートに達していないときにユーザ体験をより良好にする技術である。アプリケーションが理想的なフレームレートの半分でフレームを出力している例を検討する（例えば、９０フレーム／秒が理想的なフレームレートである場合は、４５フレーム／秒）。この例では、最も直近にレンダリングされた実際のフレームの画素データを使用して、シーンを変換する再投影フレームを作成し（例えば、回転および再投影の計算を通して）、再投影されたシーンをユーザの現在の頭の向きに適合させることで、１つおきにフレームを再投影させることができる。これにより、フレームレートに達しないアプリケーションを補うために再投影フレームが使用されているときでも、ユーザの頭部が回転した場合に、予想通りにシーンが動いているようにユーザには見える。
回転のみの再投影はゲーム内のスタッタまたはヒッチを防止するが、少なくとも低持続性ディスプレイを使用するＶＲシステム（例えば、ディスプレイがフレーム時間のうちのごく僅かな間照光されている場合）では、頭部回転中にそれ自体の望ましくない視覚的アーティファクトを生成する。例えば、回転のみの再投影は、頭部の回転を考慮するが、フレーム間でシーン内を移動またはアニメ化する仮想オブジェクトを考慮しない。これは、移動しているかまたはアニメ化しているオブジェクトに関して、「ジャダー」と呼ばれる望ましくない視覚的アーティファクトを発生させる可能性がある。ジャダーは、移動しているオブジェクト（例えば、画面上を移動する弾丸またはボール）が２つの場所の間で（またはそれ自体から離れて）フレーム間で跳ね返るように見える、「ダブルゴースト効果」をユーザに知覚させる。したがって、再投影が使用されている間にユーザがその頭を回転させると、シーン内の任意の移動またはアニメ化しているオブジェクトがジャダーすることになる。
本明細書では、これらのシステムおよび他のシステムを改善および強化するための技術的解決法を提供する。
詳細な説明を、添付の図面を参照して説明する。図では、参照符号の左端の数字は、参照符号が最初に現れる図を指す。異なる図における同じ参照符号の使用は、類似または同一の構成要素または機能を示す。
図１は、ヘッドマウントディスプレイ（ＨＭＤ）などのディスプレイ上にフレームをレンダリングするために再投影が使用されているときに、シーン内のオブジェクトの移動またはアニメーション化を説明するための例示的なモーションスムージング技術を示す図である。
図２は、例示的なレンダリングメッシュと、再投影フレームのモーションスムージングにおいてレンダリングメッシュがどのように使用されることができるかを示す図である。
図３は、本明細書に開示される実施形態にかかる、モーションスムージング技術の一部としてグラフィックス処理ユニット（ＧＰＵ）によって生成された動きベクトルを使用して再投影フレームを生成するための例示的なプロセスのフロー図である。
図４は、本明細書に開示される実施形態にかかる、ピクセルデータが動きベクトル推定のためにＧＰＵに入力される前に、以前にレンダリングされたフレームのピクセルデータを位置合わせするための例示的なプロセスのフロー図である。
図５は、本明細書に開示される実施形態にかかる、以前にレンダリングされたフレームのいくつかのピクセルデータを除外し、ピクセルデータの残りの部分を動きベクトル推定のためのＧＰＵへの入力として提供するための例示的なプロセスのフロー図である。
図６は、本明細書に開示される実施形態にかかる、以前にレンダリングされたフレームのピクセルデータを位置合わせし、以前にレンダリングされたフレームのピクセルデータのパネルマスク部分を除外し、ピクセルデータの残りの部分を動きベクトル推定のためのＧＰＵへの入力として提供するための例示的なプロセスのフロー図である。
図７は、本明細書に開示される実施形態にかかる、モーションスムージング技術の一部として再投影フレームを生成するために使用される前に、ＧＰＵから出力される動きベクトルを閾値化するための例示的なプロセスのフロー図である。
図８は、本明細書に開示される実施形態にかかる、モーションスムージング技術の一部として再投影フレームを生成するために使用される前に、ＧＰＵから出力される動きベクトルを減衰させるための例示的なプロセスのフロー図である。
図９は、本明細書に開示される実施形態にかかる、モーションスムージング技術の一部として再投影フレームを生成するために使用される前に、ＧＰＵから出力される動きベクトルを減衰させるために使用されることができる減衰テクスチャを生成するための例示的なプロセスのフロー図である。
図１０は、本明細書に開示される実施形態にかかる、結果として生じる動きベクトルのセットがモーションスムージング技術の一部として再投影フレームを生成するために使用される前に、色変化がほとんどまたは全くない領域に対応する動きベクトルをゼロにするための例示的なプロセスのフロー図である。
図１１は、本明細書に開示される実施形態にかかる、結果として生じる動きベクトルのセットがモーションスムージング技術の一部として再投影フレームを生成するために使用される前に、１つ以上のフィルタを使用して動きベクトル場を「クリーンアップ」するための例示的なプロセス１１００のフロー図である。
図１２は、本明細書に開示される実施形態にかかる、ピクセルデータが動きベクトル推定のためにＧＰＵに入力される前に、以前にレンダリングされたフレームを回転させるための例示的なプロセスのフロー図である。
図１３は、本明細書に開示される実施形態にかかる、以前にレンダリングされたフレームの輝度データおよび彩度データに基づいて生成される動きベクトルの配列の間で選択するための例示的なプロセスのフロー図である。
図１４は、本明細書に開示される実施形態にかかる、動きベクトルの複数の配列を取得し、アレイ間の差異を判定し、モーションスムージングについて判定された差異に基づいて動きベクトルの最終配列を生成するための例示的なプロセスのフロー図である。
図１５は、本明細書に開示される実施形態にかかる、画像領域の異なる部分について異なる解像度で動きベクトルの複数の配列を取得するための例示的なプロセスのフロー図である。
図１６は、本明細書に開示される技術が実装されることがきる、ＶＲヘッドセットなどのウェアラブルデバイスの例示的な構成要素を示している。
本明細書には、とりわけ、ヘッドマウントディスプレイ（ＨＭＤ）などのディスプレイ上にフレームをレンダリングするために再投影が使用されているときに、シーン内のオブジェクトの移動またはアニメーション化を説明するモーションスムージング技術が記載される。本明細書に記載されるモーションスムージング技術は、オブジェクトを移動またはアニメーション化するための前述のジャダーアーティファクトなど、オブジェクトを移動またはアニメーション化することに関して望ましくない視覚的アーティファクトを軽減する。ＨＭＤは、ディスプレイ上に画像をレンダリングするときに開示されたモーションスムージング技術を実装することができるディスプレイの例示的なタイプである。ＨＭＤは、ユーザが仮想現実（ＶＲ）環境または拡張現実（ＡＲ）環境に没入する目的で、ユーザによって着用されることができる。ＨＭＤの１つ以上のディスプレイパネルは、アプリケーション（例えば、ビデオゲーム）によって出力されたフレームに基づいて画像をレンダリングし、これらの画像は、ＨＭＤに含まれる光学系を通してユーザに表示され、ユーザがＶＲまたはＡＲ環境に没入しているかのようにユーザに画像を知覚させる。
記載されるように、ＨＭＤは、「再投影」と呼ばれる技術を利用して、フレームレートに達していないアプリケーションを補償することができる。例えば、再投影フレームは、実際のフレーム間でレンダリングされて理想的なフレームレートを達成することができ、各再投影フレームは、アプリケーションから受信された最近レンダリングされた実際のフレーム（例えば、最も直近にレンダリングされた実際のフレーム）の画素データを使用して生成されることができる。再投影フレームでは、以前の実際のフレームでレンダリングされたシーンが、ユーザの頭部の回転を考慮したやり方で変換される（例えば、回転および再投影の計算を介して）。
本明細書には、フレーム間を移動またはアニメーション化するオブジェクトの動きをさらに説明する再投影フレームを生成するために使用されるモーションスムージング技術が記載される。本明細書に記載されるモーションスムージング技術は、コンピュータビジョンアルゴリズムを使用して、動きベクトルの形態で複数のフレームにわたるオブジェクトの動き（例えば、方向および大きさ）を推定する。動きベクトルは、グラフィックスプロセッシングユニット（ＧＰＵ）のビデオ符号化器（例えば、ビデオ符号化チップ）を使用して取得されることができる。例えば、ＧＰＵのビデオ符号化器は、以前にレンダリングされた複数のフレームのピクセルデータを分析して、動きベクトルの配列を生成することができ、これらの動きベクトルを使用して、再投影フレームのピクセルデータをオブジェクトの移動またはアニメーション化を説明する方法で変更することができる。別の言い方をすれば、ＧＰＵから受信した動きベクトルを使用して、移動するオブジェクトのジャダーが軽減されるようにオブジェクトがレンダリングされる再投影フレーム内のどこに配置されるべきかを（以前にレンダリングされたフレーム内のオブジェクトの動きから）外挿推定することができる。
例示的なモーションスムージングプロセスでは、第１のフレームおよび第２のフレームに関連する第１のピクセルデータおよび第２のピクセルデータは、それぞれ、グラフィックスプロセッシングユニット（ＧＰＵ）への入力として提供されることができる。第１のフレームおよび第２のフレームは、アプリケーションから受信され、過去にレンダリングされることができる（例えば、アプリケーションから最近レンダリングされた２つの実際のフレーム）。ＧＰＵのビデオ符号化器は、入力ピクセルデータを処理して動きベクトルの配列を生成することができる。第３のピクセルデータは、第２のフレームに関連する第２のピクセルデータに少なくとも部分的に基づいて、再投影フレーム（将来のレンダリングされるフレームである）に対して生成されることができ、この第３のピクセルデータは、ＧＰＵから受信した動きベクトルの配列に少なくとも部分的に基づいて、さらに変更されることができる。再投影フレームのこの変更された第３のピクセルデータは、シーン内のオブジェクトの移動またはアニメーション化に関するジャダーを排除しない場合であっても軽減するために、「モーションスムージング」される。そして、モーションスムージングされた再投影フレームは、変更された第３のピクセルデータに少なくとも部分的に基づいてディスプレイにレンダリングされ、アプリケーションがフレームレートに達していない場合であっても、オブジェクトがシーン内で期待通りに移動またはアニメーション化される、よりリアルな表示エクスペリエンスを提供することができる。したがって、ＧＰＵから受信した動きベクトルの配列は、第１のピクセルデータおよび第２のピクセルデータをフレームバッファに出力した後、変更された第３のピクセルデータがフレームバッファに出力されるため、将来のフレーム（再投影フレーム）に外挿推定するために使用される。このようにして、第１のフレームは、第２のフレームの前にレンダリングされ、第２のフレームは、再投影フレームの前にレンダリングされる。この外挿技術は、フレーム間の補間と対比されることができ、本明細書に記載される技術およびシステムは、フレーム間を補間するために動きベクトルを使用するのではなく、ＧＰＵから受信した動きベクトルを使用して将来のフレームに外挿することに関係することを理解されたい。
本明細書には、例えば、ディスプレイシステム（例えば、ＨＭＤ）を含むシステムなど、本明細書に開示される技術およびプロセスを実装するように構成されたシステム、ならびに本明細書に開示される技術およびプロセスを実装するためのコンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体が開示される。本明細書に開示される技術およびシステムは、例として、ビデオゲームアプリケーション、特にＶＲゲームアプリケーションの文脈で議論されているが、本明細書に記載される技術およびシステムは、非限定的に、非ＶＲアプリケーション（例えば、ＡＲアプリケーション）、および／または産業機械アプリケーション、防衛アプリケーション、ロボットアプリケーションなどの非ゲームアプリケーションを含む、他のアプリケーションに利益を提供することができることを理解されたい。
図１は、ヘッドマウントディスプレイ（ＨＭＤ）１００などのディスプレイ上にフレームをレンダリングするために再投影が使用されているときに、シーン内のオブジェクトの移動またはアニメーション化を説明するための例示的なモーションスムージング技術を示す図である。ＨＭＤ１００は、開示されたモーションスムージング技術を実装することができる例示的な「ディスプレイシステム」として本明細書に提示されるが、「ディスプレイシステム」の他のタイプおよび／または実装は、本明細書に記載のモーションスムージング技術を実装することができることを理解されたい。したがって、本明細書における「ＨＭＤ」への任意の言及は、ＨＭＤが本明細書に記載された技術を実装するための単なる例示的なタイプのディスプレイであることが理解されるべきであるが、「ディスプレイ」または「ディスプレイシステム」という用語によって置き換えることができることを理解されたい。
図１の例のＨＭＤ１００は、ステレオペアのディスプレイパネルの左ディスプレイパネルおよび右ディスプレイパネルなどの、複数のディスプレイパネルを含むことができる。これらのディスプレイパネルは、ＨＭＤ１００を着用しているユーザ１０２によって視認可能である一連の画像フレーム（以下、「フレーム」と呼ぶ）を提示するために使用されることができる。例は、２パネルＨＭＤ１００を用いて説明されているが、ＨＭＤ１００は、単一のディスプレイパネルまたは３つ以上のディスプレイパネルを含むことができることを理解されたい。したがって、「ディスプレイパネル」という用語は、本明細書に使用される際、２パネルＨＭＤ１００の一対のディスプレイパネルのいずれかのディスプレイパネルを指すことができるか、または任意の数のディスプレイパネル（例えば、単一パネルＨＭＤ１００またはマルチパネルＨＭＤ１００）を有するＨＭＤ１００の単一のディスプレイパネルを指すことができる。２パネルＨＭＤ１００では、ステレオフレームバッファは、例えば、ＨＭＤ１００の双方のディスプレイパネル上で２１６０×１２００ピクセル（例えば、ディスプレイパネルあたり１０８０×１２００ピクセル）をレンダリングすることができる。
ＨＭＤ１００は、ＨＭＤ１００のディスプレイパネル（複数可）上でのフレームの提示中に発光要素を利用して光を放出する発光ディスプレイなど、任意の好適なタイプのディスプレイ技術を利用するディスプレイパネルを含むことができる。一例として、ＨＭＤ１００のディスプレイパネルは、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、無機発光ダイオード（ＩＬＥＤ）ディスプレイ、またはＨＭＤアプリケーションに対して好適なディスプレイ技術を利用する任意の他の好適なタイプのディスプレイを含むことができる。
ＨＭＤ１００は、ＶＲゲームシステムで使用するためなど、ＶＲシステムで使用するためのＶＲヘッドセットを表すことができる。しかしながら、ＨＭＤ１００は、追加的に、または代替的に、ＡＲアプリケーションで使用するためのＡＲヘッドセットとして実装されることができる。ＡＲでは、ユーザ１０２は、実世界環境上に重ね合わされた仮想オブジェクトを見るが、ＶＲでは、ユーザ１０２は、実世界環境を見ることはなく、ＨＭＤ１００のディスプレイパネルおよび光学系（例えば、レンズ）を介して知覚されるような仮想環境に完全に没入する。本明細書に記載される例は、主にＶＲベースのＨＭＤ１００に関係するが、ＨＭＤ１００は、ＶＲアプリケーションでの実装に限定されないことを理解されたい。
一般に、－ＨＭＤ１００自体、またはＨＭＤ１００に関連付けられ、かつ結合されたコンピューティングデバイス（例えば、パーソナルコンピュータ（ＰＣ）、ゲームコンソールなど）などの－コンピューティングデバイス上で実行されるアプリケーションは、ＨＭＤ１００のディスプレイパネル（複数可）上に最終的にレンダリングされる一連のフレーム１０４を出力するように構成されることができる。いくつかの実施形態では、フレーム１０４がＨＭＤ１００のディスプレイパネル上にレンダリングされる前に標的にレンダリングされることができるように、オフスクリーンレンダリングが利用される。したがって、「レンダリング」は、本明細書に使用される際、ディスプレイ以外の標的への、ディスプレイ自体におけるレンダリングの前のレンダリング、および／またはディスプレイ上でのレンダリング（例えば、異なる標的へのオフスクリーンレンダリングなしの、またはその後の）を含むことができる。
図１の例は、一連のフレーム１０４として順番にレンダリングされる３つの例示的なフレーム１０４（１）、１０４（２）、および１０４（３）を示している。図１の例では、オブジェクト１０６は、フレーム１０４（１）～１０４（３）の過程で、シーンを左方向に（すなわち、右から左に）移動していることが示されている。フレーム１０４（２）および１０４（３）内のオブジェクト１０６の破線の輪郭は、オブジェクト１０６が以前にレンダリングされたフレーム１０４内に配置された場所を表す。ここでは、フレーム１０４（１）が最初にレンダリングされ、次にフレーム１０４（２）が２番目にレンダリングされ、次にフレーム１０４（３）が３番目にレンダリングされる。
一連のフレーム１０４内のフレーム１０４の少なくともいくつかは、ビデオゲームアプリケーションなどのアプリケーション、または任意の他のタイプのグラフィックスベースのアプリケーションから出力されるという意味で、「実際の」フレームとすることができる。アプリケーションは、個々のフレーム１０４をレンダリングするためにピクセルデータ１０８をフレームバッファに出力するグラフィックスパイプラインで実行されることができる。ピクセルデータ１０８は、いくつかの実施形態では、ピクセルごとの値（例えば、色値）の２次元配列を含むことができる。いくつかの実施形態では、ピクセルデータ１０８は、さらに、深度値、輝度値などの追加のデータまたはメタデータを含む。いくつかの実施形態では、ピクセルデータ１０８は、単一の色およびアルファ値のセット（例えば、赤チャネルの１つの色値、緑チャネルの１つの色値、青チャネルの１つの色値、および１つ以上のアルファチャネルの１つ以上の値）によって表される各ピクセルのデータを含むことができる。このピクセルデータ１０８は、フレームバッファに出力されて、ＨＭＤ１００のディスプレイパネル（複数可）上の画像に所望の視覚効果を提示することができる。
実行時に、ＨＭＤ１００の頭部追跡モジュールは、ユーザ１０２の頭部位置／姿勢に応じて、一連のフレーム１０４内の次のフレーム１０４をどのようにレンダリングするかについてアプリケーションに通知するためにアプリケーションに提供されるＨＭＤ１００の位置および姿勢に関するデータを生成することができる。これは、オブジェクト（移動オブジェクト１０６などの、静的および移動オブジェクトの双方）を含む仮想環境を見回しているとユーザ１０４に信じさせるやり方で、アプリケーションがＨＭＤ１００上で画像をレンダリングするためにピクセルデータ１０８を出力することを可能にする。アプリケーションがフレームレートに達している場合、静的および移動オブジェクトの双方が、ユーザ１０２の頭部の動きとともに、予想される様式で、シーン内で移動するように知覚される。本明細書に記載されるモーションスムージング技術は、移動オブジェクトに関して同様の視覚が達成されるように、フレームレートに達しないアプリケーションを補償する方法である。
図１の例では、第１のフレーム１０４（１）は、アプリケーションから受信される第１の「実際の」フレームを表すことができ、第２のフレーム１０４（２）は、アプリケーションから受信されかつ第１のフレーム１０４（１）の後にレンダリングされる第２の「実際の」フレームを表すことができ、第３のフレーム１０４（３）は、第２のフレーム１０４（２）に関連するピクセルデータ１０８（２）から生成される再投影フレームを表すことができる。したがって、図１の「第３のフレーム１０４（３）」は、本明細書では「再投影フレーム１０４（３）」と呼ばれることもある。ＨＭＤ１００は、一連のフレーム１０４を処理することができ、第１のフレーム１０４（１）および第２のフレーム１０４（２）をレンダリングした後、ＨＭＤ１００のロジックは、グラフィックスプロセッシングユニット（ＧＰＵ）１１０（例えば、ＨＭＤ１００のＧＰＵ１１０）への入力として、第１のフレーム１０４（１）に関連する第１のピクセルデータ１０８（１）、および第２のフレーム１０４（２）に関連する第２のピクセルデータ１０８（２）を提供するように構成されることができる。
ＧＰＵ１１０のビデオ符号化器（例えば、ビデオ符号化チップ）は、ＧＰＵ１１０に入力された第１のピクセルデータ１０８（１）および第２のピクセルデータ１０８（２）に基づいて動きベクトル１１２の配列を生成することができる。動きベクトル１１２の配列を生成するために、ＧＰＵ１１０のビデオ符号化器は、入力として提供された各フレーム１０４のピクセルデータ１０８間のピクセルごとの値（例えば、輝度値）を比較することができる。追加的に、または代替的に、ＧＰＵ１１０のビデオ符号化器は、入力として提供された各フレーム１０４のピクセルデータ１０８の間のマクロブロック（例えば、１６ピクセルのブロック（すなわち、４×４ピクセルのマクロブロック）、６４ピクセルのブロック（すなわち、８×８ピクセルのマクロブロック））を比較することができる。このようにして、ＧＰＵ１１０は、任意の適切な解像度で、フレーム１０４の対の間でピクセルデータ１０８の一部を比較することができる。いくつかの実施形態では、入力ピクセルデータ１０８（１）および１０８（２）は、ダウンサンプリングされたフレームをＧＰＵ１１０に入力するために、より低い解像度にダウンサンプリングされる。
ＧＰＵ１１０から出力される動きベクトル１１２の配列は、本明細書では「動きベクトル場１１２」と呼ばれることがある。この動きベクトル場１１２はまた、任意の適切な解像度で出力されることができるか、および／または任意の適切な解像度にダウンサンプリング／アップサンプリングされることができる。例えば、動きベクトル１１２の配列は、ピクセルごとに単一の動きベクトル１１２、ピクセルのグループごとに単一の動きベクトル１１２（例えば、４×４マクロブロック、８×８マクロブロック、ピクセルの任意の成形パッチなどについての１つの動きベクトル１１２）、または所与のフレーム１０４の全てのピクセルに対する単一の動きベクトル１１２でさえも含むことができる。一般に、動きベクトル１１２は、方向のＸおよびＹ成分、および大きさ（通常、２Ｄ矢印の長さによって表される）を有する２次元（２Ｄ）矢印である。動きベクトル１１２の大きさは、ＸおよびＹ成分方向の双方のピクセル数など、任意の適切な測定単位で指定されることができる。
ＧＰＵ１１０のビデオ符号化器による入力ピクセルデータ１０８の比較に基づいて、第２のフレーム１０４（２）の一部が第１のフレーム１０４（１）の一部（例えば、その閾値輝度値内で）に類似している場合、および各フレーム１０４内の同様の部分が所定距離（例えば、ＸおよびＹ成分方向のピクセル数）だけオフセットされる場合、これは、動きベクトル１１２の配列に含まれる動きベクトル１１２によって表されることができる。フレーム１０４（１）および１０４（２）内のオブジェクト１０６に対応するピクセル値が、ＧＰＵ１１０のビデオ符号化器によって類似（例えば、ピクセルデータ１０８のピクセル値に基づくいくつかの類似性メトリックを満たす部分の一致）であると判定される例を考える。このオブジェクト１０６の動きベクトル１１２は、オブジェクト１０６の動きと同じ方向を指す方向を有することができ、または動きベクトル１１２は、オブジェクト１０６の動きの方向とは反対の方向を指すことができる。換言すれば、動きベクトル１１２は、後続のフレーム１０４（２）内のオブジェクト１０６の位置からオフセットされた、前のフレーム１０４（１）内のオブジェクト１０６の位置を参照する方向を指すことができる。したがって、動きベクトル１１２は、第２のフレーム１０４（２）の座標から第１のフレーム１０４（１）の座標へのオフセットを提供する。オフセットは、オブジェクト１０６などの移動またはアニメーション化するオブジェクトに関して、第１のフレーム１０４（１）の画像から第２のフレーム１０４（２）の画像への変換を記述する。
前述のように、図１の第３のフレーム１０４（３）は、再投影フレームを表すことができ、これは、第３のフレーム１０４（３）のピクセルデータ１０８（３）が、以前にレンダリングされた実際のフレーム（この場合、第２のフレーム１０４（２））に関連するピクセルデータ１０８（２）から導出されることができることを意味する。換言すれば、再投影フレーム１０４（３）のピクセルデータ１０８（３）は、アプリケーション（例えば、ビデオゲームアプリケーション）から受信されるのではなく、アプリケーションによって生成されたフレームのピクセルデータ１０８から生成され、また、アプリケーションがフレームレートに達していないときに、欠落しているフレームのギャップを「埋める」ために使用される。この場合、再投影フレーム１０４（３）のピクセルデータ１０８（３）は、図１の例では、第２のフレーム１０４（２）が再投影フレーム１０４（３）の前に最も直近にレンダリングされたフレーム１０４であるため、第２のフレーム１０４（２）に関連するピクセルデータ１０８（２）から生成される。いくつかの実施形態では、回転および再投影変換が計算され、再投影フレームについての第３のピクセルデータ１０８（３）を生成するために、第２のフレーム１０４（２）に関連する第２のピクセルデータ１０８（２）を変更するために使用されることができ、これは、第２のフレーム１０４（２）がレンダリングされてからＨＭＤ１００の回転を説明するような方法で、第２のフレーム１０４（２）でレンダリングされたシーンを効果的に回転、変換、および／または移動する。例えば、ユーザ１０２は、この頭部の動きに合わせてシーンが提示されるように、再投影フレーム１０４（３）の第３のピクセルデータ１０８（３）の生成において説明される第２のフレーム１０４（２）がレンダリングされるときから自身の頭部を回転させることができる。
そして、図１のモーションスムージング技術は、動きベクトル１１２の配列に少なくとも部分的に基づいて第３のピクセルデータ１０８（３）を変更して、再投影フレーム１０４（３）の変更された第３のピクセルデータ１０８（３）’を取得する。いくつかの実施形態では、変更された第３のピクセルデータ１０８（３）’への第３のピクセルデータ１０８（３）のこの変更は、第３のピクセルデータ１０８（３）のピクセル値を、特定のピクセルまたはピクセルのグループに対応する非ゼロ動きベクトル１１２に基づいて異なる位置に移動することを含む。移動は、方向および量によって行うことができる（例えば、水平（＋／－）および垂直（＋／－）方向に複数のピクセルを移動する）。次に、再投影フレーム１０４（３）は、変更された第３のピクセルデータ１０８（３）’に少なくとも部分的に基づいて、ディスプレイ上に（例えば、ＨＭＤ１００のディスプレイパネル上に）レンダリングされる。したがって、動きベクトル１１２（以前にレンダリングされた実際のフレーム１０４（１）および１０４（２）のピクセルデータ１０８から生成された動きベクトル１１２）に基づいて変更された、再投影フレーム１０４（３）は、オブジェクト１０６を予想される位置にレンダリングするために「モーションスムージング」される。
図２は、例示的なレンダリングメッシュ２００と、再投影フレームのモーションスムージングにおいてレンダリングメッシュ２００がどのように使用されることができるかを示す図である。例えば、ＧＰＵ１１０によって出力された動きベクトル１１２の配列に基づいて、レンダリングメッシュ２００を使用して、図１の再投影フレーム１０４（３）の第３のピクセルデータ１０８（３）を変更することができる。この例では、ＨＭＤ１００のロジックは、レンダリングメッシュ２００を生成することができ、レンダリングメッシュ２００の頂点２０２は、動きベクトル１１２の配列にしたがって移動することができる。例えば、頂点２０２は、非ゼロの動きベクトル１１２の方向に、そして非ゼロの動きベクトル１１２の大きさに対応する量だけ移動されることができる。例えば、図１に示される左方向に移動するオブジェクト１０６を例として取り上げると、動きベクトル１１２は、レンダリングメッシュ２００の文脈で適用されて、頂点２０２を左（または負のＸ）方向に特定の数のピクセル（動きベクトル１１２の大きさに対応する）だけ移動させることができる。
レンダリングメッシュ２００は、複数の頂点２０２（１）、２０２（２）、・・・、２０２（Ｎ）（まとめて２０２）を有するテッセレーションメッシュとして示されている。レンダリングメッシュ２００のテッセレーションは、任意の適切な幾何学的パターンとすることができる。図２の例示的なレンダリングメッシュ２００は、三角形２０４の繰り返しパターンとして示されているが、正方形（「四角形」と呼ばれることもある）、六角形（例えば、ハニカムパターン）などを含むがこれらに限定されない任意の適切な幾何学的形状がレンダリングメッシュ２００に使用されることができる。この例では、正方形（または四角形）の左下隅から正方形（または四角形）の右上隅までの対角線を使用して、特定の方向を有する繰り返し三角形２０４のレンダリングメッシュ２００を作成する。図２に示される向きの代わりに、正方形（または四角形）の左上隅から正方形（または四角形）の右下隅までの対角線を使用して、正方形（または四角形）を三角形２０４に分割することによって、レンダリングメッシュ２００の異なる向きを作成することができる。いくつかの実施形態では、これらの異なる向きの混合はまた、正方形（または四角形）の左下隅から正方形（または四角形）の右上隅までの対角線を使用して１つおきの正方形を分割し、正方形（または四角形）の左上隅から正方形（または四角形）の右下隅までの対角線を使用して、その間の正方形を分割することなどによって、単一のレンダリングメッシュ２００に使用されることもできる。いくつかの実施形態では、ＨＭＤ１００のロジックは、ＧＰＵ１１０から受信した動きベクトル場１１２に基づいて、これらの複数の向きのうちのどの向きをレンダリングメッシュ２００の生成に使用するかを動的に判定するように構成されることができる。これは、レンダリングメッシュ２００内の幾何学的形状（例えば、三角形２０４）に最適な向きを選択するために行われることができ、これは、最も滑らかに見え、モーションスムージングされた画像をもたらす。
レンダリングメッシュ２００はまた、任意の適切な解像度で生成されることができる。例えば、最高解像度のレンダリングメッシュ２００は、ピクセルごとに２つの隣接する三角形２０４とすることができ、ここで、各正方形（または四角形）は、単一のピクセルにマッピングされる。より低い解像度は、１６ピクセルのグループなど、ピクセルのグループごとに２つの隣接する三角形２０４とすることができる。あるいは、ピクセルは、任意の適切な解像度でレンダリングメッシュ２００の頂点２０２にマッピングされることができる。例えば、各頂点２０２は、最高の解像度で単一のピクセルに関連付けられることができるか、または各頂点２０２は、より低い解像度で１６ピクセルのグループなどのピクセルのグループに関連付けられることができる。いくつかの実施形態では、レンダリングメッシュ２００の解像度は、動きベクトル１１２の配列内の単一の動きベクトル１１２が頂点２０２または正方形（または四角形）（例えば、２つの隣接する三角形２０４）にマッピングするように、動きベクトル１１２の配列の解像度と同じ解像度である。レンダリングメッシュ２００と動きベクトル１１２の配列との間の一致する解像度を達成することは、ＧＰＵ１１０から、レンダリングメッシュ２００の解像度と一致する特定の解像度で動きベクトル１１２の配列を要求すること、動きベクトル１１２の配列をダウンサンプリングまたはアップサンプリングして、レンダリングメッシュ２００と解像度を一致させること、またはＧＰＵ１１０によって出力される動きベクトル１１２の配列の解像度に一致する解像度でレンダリングメッシュ２００を生成することなどによって、様々な方法で達成されることができる。
図２は、４つの非ゼロ動きベクトル１１２（１）、１１２（２）、１１２（３）、および１１２（４）が、レンダリングメッシュ２００の４つの頂点２０２に対応する例を示している。これらの４つの動きベクトル１１２（１）～（４）は、図１に示される移動オブジェクト１０６に基づいてＧＰＵ１１０が検出した動きベクトル１１２に対応することができる。したがって、例示的な動きベクトル１１２（１）～（４）は、オブジェクト１０６の方向性運動に対応する左方向を指すことができるが、前述のように、方向性は、オブジェクト１０６の方向性運動の方向性と反対（例えば、右方向）とすることができる。動きベクトル１１２の方向性は、モーションスムージングアルゴリズムにおいて考慮されて、ピクセルデータ１０８を所望の方向に変更することができる。動きベクトル１１２の場が４つの例示的な動きベクトル１１２（１）～（４）を含み、動きベクトル１１２の配列内の残りの動きベクトル１１２の全てがゼロベクトルである基本的な例を考える。この例では、再投影フレーム１０４（３）のピクセルデータ１０８（３）は、移動された頂点２０６（１）、２０６（２）、２０６（３）、および２０６（４）としてレンダリングメッシュ２００内の異なる位置（図２の下部に示されている）に非ゼロの動きベクトル１１２（１）～（４）に対応する頂点２０２を移動することによって、非ゼロの動きベクトル１１２（１）～（４）に基づいて変更されることができる。図２の下部は、モーションスムージングが適用された後のレンダリングメッシュ２００を示しており、移動された頂点２０６（１）～（４）は、モーションスムージング前の頂点２０２の位置と比較して、レンダリングメッシュ２００内の異なる位置にある。動きベクトル１１２がこのように適用されると、移動された頂点２０６（１）～（４）は、レンダリングメッシュ２００内の幾何学的形状（例えば、三角形２０４）の特定の部分を引き伸ばすまたは歪めることなどにより、レンダリングメッシュ２００の１つ以上の部分を歪ませる。図２の例では、図２の下部に示されるように、三角形２０４のいくつかは、モーションスムージングの結果として引き伸ばされて、引き伸ばされた三角形２０８を作成する。移動された頂点２０６（１）～（４）に対応する（再投影フレーム１０４（３）のピクセルデータ１０８（３）の）ピクセル値は、レンダリングメッシュ２００内で移動された頂点２０６（１）～（４）の位置に対応する異なるピクセル位置にレンダリングされる。移動された頂点２０６（１）～（４）と移動されていない頂点２０２との間のピクセル位置は、（例えば、移動された頂点２０６（１）～（４）と移動されていない頂点２０２との間のピクセル値を補間することによってなど、勾配を適用することによって）混合されることができる。いくつかの実施形態では、深度バッファを利用して、再投影フレーム１０４（３）の変更されたピクセルデータ１０８（３）’のフレームバッファに出力されるピクセル値の最終セットを判定することができる。すなわち、動きベクトル１１２をレンダリングメッシュ２００に適用した結果として、移動された頂点２０６（１）～（４）に対応する画像内の位置に複数のピクセル値が存在することができる。この場合、「より遠い」（より大きな）深度値に関連付けられているその位置に別のピクセル値をレンダリングする代わりに、「より近い」（より小さな）深度値に関連付けられているピクセル値をレンダリングすることができる。
本明細書に記載のプロセスは、ロジックフローグラフ内のブロックの集合として示され、これは、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせ（すなわち、ロジック）に実装されることができる一連の動作を表す。ソフトウェアの文脈において、ブロックは、１つ以上のプロセッサによって実行されると、記載された動作を実行するコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行するかまたは特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が記載される順序は、限定として解釈されることを意図するものではなく、記載される任意の数のブロックは、プロセスを実装するために任意の順序で、および／または並列に組み合わせることができる。
図３は、本明細書に開示される実施形態にかかる、モーションスムージング技術の一部としてＧＰＵによって生成された動きベクトルを使用して再投影フレームを生成するための例示的なプロセス３００のフロー図である。考察目的で、プロセス３００が前の図を参照して記載される。
３０２において、ディスプレイシステムのロジック（例えば、ＨＭＤ１００のロジック）は、ＧＰＵ１１０への入力として、以前にレンダリングされたフレーム１０４に関連するピクセルデータ１０８を提供することができる。例えば、２つの最近レンダリングされたフレーム１０４に関連するピクセルデータ１０８は、ＧＰＵ１１０（例えば、ＨＭＤ１００のＧＰＵ１１０）への入力として提供されることができる。これらのフレーム１０４は、過去にレンダリングされた第１のフレーム１０４（１）、および第１のフレーム１０４（１）の後に過去にレンダリングされた第２のフレーム１０４（２）などのアプリケーション（例えば、ビデオゲームアプリケーション）から受信した実際のフレームとすることができる。したがって、第２のフレーム１０４（２）は、アプリケーションから受信された最後にレンダリングされたフレームを表すことができ、ブロック３０２において入力として提供されるピクセルデータ１０８は、連続してレンダリングされたフレームのピクセルデータ１０８である必要はないが、第１のフレーム１０４（１）および第２のフレーム１０４（２）は、一連のフレーム１０４において連続してレンダリングされることができる。例えば、中間フレーム１０４は、第１のフレーム１０４（１）と第２のフレーム１０４（２）との間にレンダリングされることができ、ブロック３０２において入力として提供されるピクセルデータ１０８は、第１のフレーム１０４（１）および第２のフレーム１０４（２）に関係することができる。
３０４において、動きベクトル１１２の配列がＧＰＵ１１０から受信されることができる。ブロック３０４において受信された動きベクトル１１２の配列は、第１のフレーム１０４（１）に関連する第１のピクセルデータ１０８（１）および第２のフレーム１０４（２）に関連する第２のピクセルデータ１０８（２）に少なくとも部分的に基づいて（例えば、第１のピクセルデータ１０８（１）と第２のピクセルデータ１０８（２）との間の比較に基づいて）、ＧＰＵ１１０のビデオ符号化器によって生成されることができる。ＧＰＵ１１０のビデオ符号化器は、比較されたピクセル値間の差が閾値の差よりも小さいかどうかを判定することなどによって、ピクセル値（またはピクセル値のグループ）間の類似性を探す適切なコンピュータビジョンおよび／またはビデオ符号化アルゴリズムを使用するように構成されることができる。そのような類似性メトリック内の全ては、２つのフレーム１０４の間でピクセルデータ１０８に一致すると見なされることができる。
３０６において、ロジックは、第２のフレーム１０４（２）の第２のピクセルデータ１０８（２）に少なくとも部分的に基づいて、再投影フレーム１０４（３）の第３のピクセルデータ１０８（３）を生成することができる。この場合、第２のフレーム１０４（２）は、再投影フレーム１０４（３）の直前にレンダリングされたフレーム１０４を表す。
３０８において、ロジックは、動きベクトル１１２の配列に少なくとも部分的に基づいて第３のピクセルデータ１０８（３）を変更して、再投影フレーム１０４（３）の変更された第３のピクセルデータ１０８（３）’を取得することができる。サブブロック３１０および３１２によって示されるように、再投影フレーム１０４（３）のピクセルデータ１０８（３）の変更は、レンダリングメッシュ２００を利用することができる。
したがって、３１０において、ロジックは、再投影フレーム１０４（３）のレンダリングメッシュ２００を生成することができる。レンダリングメッシュ２００は、複数の頂点２０２を有するテッセレーションメッシュを含むことができる。いくつかの実施形態では、レンダリングメッシュ２００の解像度は、動きベクトル１１２とレンダリングメッシュ２００の「要素」（例えば、レンダリングメッシュ２００の頂点２０２、レンダリングメッシュ２００の正方形（または四角形）などの要素）との間に１対１の対応が存在するように、動きベクトル１１２の配列の解像度と一致することができる。動きベクトル場１１２とレンダリングメッシュ２００との間の一致する解像度を取得することは、ＧＰＵ１１０が特定の解像度で動きベクトル場１１２を出力することを要求する、動きベクトル場１１２の解像度をダウンサンプリングまたはアップサンプリングする、および／またはＧＰＵ１１０によって出力された動きベクトル場１１２の解像度と一致する解像度でレンダリングメッシュ２００を生成するなど、本明細書に記載の技術のいずれかを含むことができる。
３１２において、ロジックは、レンダリングメッシュ２００の（複数の頂点２０２のうちの）頂点２０２を、移動された頂点２０６としてレンダリングメッシュ２００内の異なる位置に移動させることができる。頂点２０２は、（ｉ）非ゼロの動きベクトル１１２の方向に、および（ｉｉ）非ゼロの動きベクトル１１２の大きさに対応する量だけ移動されることができる。したがって、ブロック３０８における第３のピクセルデータ１０８（３）の変更は、例えば、再投影フレーム１０４（３）の変更された第３のピクセルデータ１０８（３）’を取得するために移動された頂点２０６にしたがって第３のピクセルデータ１０８（３）のピクセル値を移動することなどによって、レンダリングメッシュ２００の移動された頂点２０６にしたがうことができる。例えば、第３のピクセルデータ１０８（３）のピクセル値は、レンダリングメッシュ２００内の移動された頂点２０６にしたがって、変更された第３のピクセルデータ１０８（３）内の新たな位置に対して４ピクセル左に、そして４ピクセル上に移動されることができる。
いくつかの実施形態では、ブロック３０２において入力された以前にレンダリングされたフレーム１０４の異なるセットに基づいてブロック３０４において複数の動きベクトル場１１２を受信することができ、再投影フレームについてのブロック３０８におけるモーションスムージングにおいて使用するための複数の動きベクトル場１１２に基づいて、追加の動き関連パラメータを判定することができる。例えば、ブロック３０４において受信された動きベクトル１１２の配列をもたらす前の２つのフレーム１０４（１）および１０４（２）に加えて、図３のアルゴリズムは、いくつかの実施形態では、入力として第１のフレーム１０４（１）および第１のフレーム１０４（１）の前にレンダリングされた「ゼロ番目の」フレーム１０４（０）をＧＰＵ１１０に提供し、その異なるペアの入力フレーム１０４に基づいて動きベクトル１１２の追加の配列を受信することなどによって、１つ以上の追加のフレームに戻ることができる。次に、動きベクトルの複数の配列を比較して、フレーム間を移動しているオブジェクトの加速度などの動き関連パラメータを判定することができ、これらの動き関連パラメータは、モーションスムージング調整に関してピクセル値を多かれ少なかれ移動させるように、第３のピクセルデータ１０８（３）に適用される最終的な動きベクトル１１２の大きさを変更（例えば、増加／減少）することなどによってブロック３０８において適用されることができる。
３１４において、ロジックは、変更された第３のピクセルデータ１０８（３）’に少なくとも部分的に基づいて、ディスプレイ上（例えば、ＨＭＤ１００のディスプレイパネル上）に再投影フレーム１０４（３）をレンダリングすることができる。ブロック３１４においてレンダリングされる結果として生じる再投影フレーム１０４（３）は、ＧＰＵ１１０から受信された動きベクトル１１２にしたがって第３のピクセルデータ１０８（３）の変更によって「モーションスムージング」される。ＧＰＵ１１０は、１つ以上のＧＰＵ１１０を表すことができることを理解されたい。例えば、複数のＧＰＵ１１０を利用して、ＨＭＤ１００のステレオディスプレイパネル上に所与のフレーム１０４をレンダリングすることができ、これらのＧＰＵ１１０に入力されるフレーム１０４のピクセルデータ１０８は、それに応じて分割されることができる（例えば、ピクセルデータ１０８の左半分は、第１のＧＰＵ１１０への入力として提供されることができ、ピクセルデータ１０８の右半分は、第２のＧＰＵ１１０への入力として提供されることができる）。
図４は、本明細書に開示される実施形態にかかる、ピクセルデータが動きベクトル推定のためにＧＰＵに入力される前に、以前にレンダリングされたフレームのピクセルデータを位置合わせするための例示的なプロセス４００のフロー図である。考察目的で、プロセス４００は、前の図を参照して記載される。さらにまた、図３および図４のオフページ参照「Ａ」によって示されるように、プロセス４００は、図３のブロック３０４における動作の前に実行される動作を表すことができ、プロセス４００は、いくつかの実施形態では、ブロック３０４～３１４の動作を継続することができる。
４０２において、ＨＭＤ１００のロジックは、ＨＭＤ１００の頭部追跡モジュールによって提供される回転データに基づいて、ＨＭＤ１００が、ピクセルデータ１０８がＧＰＵ１１０に入力として提供される以前にレンダリングされたフレーム１０４をレンダリングする間に、第１の方向から第２の方向に回転したことを判定する。これは、図１の例に示されており、ユーザ１０２は、時間ｔ１と時間ｔ２との間で頭部を右方向に回転させたものとして示され、これは、第１のフレーム１０４（１）および第２のフレーム１０４（２）をレンダリングする時間に対応することを意味する。連続するフレーム１０４の間の図１に示される回転量は、説明のために誇張されている。
４０４において、以前にレンダリングされたフレーム１０４は、それらのフレーム１０４のピクセルデータ１０８がＧＰＵ１１０への入力として提供される前に位置合わせされることができる。これは、フレーム１０４間のＨＭＤ１００の移動のために行われ、これにより、オブジェクト（静止オブジェクトおよび移動オブジェクトの双方）が２つのフレーム１０４（１）および１０４（２）をレンダリングする過程で位置間を移動した可能性がある。１つのフレーム１０４（１）を他のフレーム１０４（２）と位置合わせすることにより、またはその逆により、シーン内の特定の静的オブジェクトを表すピクセルデータ１０８は、一般に、静的オブジェクトに対応するピクセルデータ１０８が、ＧＰＵ１１０のビデオ符号化器によって移動オブジェクトと間違えられないように、２つのフレーム１０４（１）および１０４（２）の間のほぼ同じ位置に移動されることができる。ブロック４０４における位置合わせは、以下のうちの少なくとも１つを変更することを含むことができる：（ｉ）第２のフレーム１０４（２）をレンダリングするときにＨＭＤ１００の第２の向きを有する第１のフレーム１０４（１）内のシーンを位置合わせする変更された第１のピクセルデータ４０８（１）を取得するための第１のピクセルデータ１０８（１）（第１のフレーム１０４（１）に関連する）、または（ｉｉ）第１のフレーム１０４（１）をレンダリングするときに第２のフレーム１０４（２）内のシーンをＨＭＤ１００の第１の向きに位置合わせする変更された第２のピクセルデータを取得するための第２のピクセルデータ１０８（２）（第２のフレーム１０４（２）に関連する）。図４の下部の図は、前者の場合を示している－第１のピクセルデータ１０８（１）が変更されて、第１のフレーム１０４（１）内のシーンをＨＭＤ１００の第２の向きに位置合わせする変更された第１のピクセルデータ４０８（１）を取得する。しかしながら、第１のピクセルデータ１０８（１）または第２のピクセルデータ１０８（２）のいずれかが、位置合わせの目的で変更されることができることが理解されるべきである。
４０６において、ロジックは、ＧＰＵ１１０への入力として、以前にレンダリングされたフレーム１０４の１つの変更されたピクセルデータおよび他のフレーム１０４の元のピクセルデータ１０８を提供することができる。図４の図に示される例は、ＧＰＵ１１０への入力として、変更された第１のピクセルデータ４０８（１）および元の第２のピクセルデータ１０８（２）を提供することを示している。前述のように、プロセス４００は、ブロック４０６からプロセス３００のブロック３０４まで継続することができる（オフページ参照「Ａ」によって示されるように）。したがって、動きベクトル１１２の配列は、ブロック４０６においてＧＰＵ１１０への入力として提供されたピクセルデータに基づいて、ブロック３０４においてＧＰＵ１１０から受信されることができ、図３のモーションスムージングアルゴリズムの残りの動作は、モーションスムージングされた再投影フレーム１０４（３）をレンダリングするために実行されることができる。
図５は、本明細書に開示される実施形態にかかる、以前にレンダリングされたフレームのいくつかのピクセルデータを除外し、ピクセルデータの残りの部分を動きベクトル推定のためのＧＰＵへの入力として提供するための例示的なプロセス５００のフロー図である。考察目的で、プロセス５００は、前の図を参照して記載される。さらにまた、図３および図５のオフページ参照「Ａ」によって示されるように、プロセス５００は、図３のブロック３０４における動作の前に実行される動作を表すことができ、プロセス５００は、いくつかの実施形態では、ブロック３０４～３１４の動作を継続することができる。
５０２において、ＨＭＤ１００のロジックは、ＨＭＤ１００の頭部追跡モジュールによって提供される回転データに基づいて、ＨＭＤ１００が、ＧＰＵ１１０に入力として提供される以前にレンダリングされたフレーム１０４をレンダリングする間に、第１の方向から第２の方向に回転したことを判定する。以前にレンダリングされたフレーム１０４は、図１に示される第１のフレーム１０４（１）および第２のフレーム１０４（２）とすることができる。
５０４において、ロジックは、利用可能なピクセルデータ１０８の一部をＧＰＵ１１０への入力として提供することができる。ＧＰＵ１１０への入力として提供される利用可能なピクセルデータ１０８の部分は、例えば、それぞれがＨＭＤ１００のディスプレイパネルの１つ以上のエッジにあるピクセルのサブセット以外のピクセルに対応する第１のピクセルデータ１０８（１）の部分５０６（１）および第２のピクセルデータ１０８（２）の部分５０６（２）を含むことができる。例えば、図５に示されるように、ＧＰＵ１１０への入力として提供されるピクセルデータ１０８の部分５０６は、ディスプレイパネル（図５に黒で示される）の左端および右端にあるピクセルデータ１０８の残りの部分を除外する。換言すれば、ディスプレイパネルの左端および右端のピクセルデータ１０８は、ＧＰＵ１１０に提供されないため、ＧＰＵ１１０は、その動き推定努力を、ディスプレイパネルの左端と右端との間のピクセルデータ１０８の中央部分５０６に集中させる。正および／または負の垂直方向のＨＭＤ１００回転の場合、ピクセルデータ１０８の除外された部分は、画像の上端および下端とすることができる。いずれにせよ、画像の端部でピクセルデータ１０８の一部を除外し、ピクセルデータ１０８の残りの部分５０６をＧＰＵ１１０に排他的に提供することは、事実上、画像の端部においてゼロ動きベクトル１１２をもたらし、これは、それがなければ移動オブジェクト１０６の特徴ではない外れ値動きベクトル１１２をもたらす可能性がある望ましくない視覚的アーティファクトが画像の端部の近くに現れる状況において有用とすることができる。前述のように、プロセス５００は、ブロック５０４からプロセス３００のブロック３０４まで継続することができ、ブロック５０４においてＧＰＵ１１０への入力として提供されるピクセルデータに基づいて、動きベクトル１１２の配列がＧＰＵ１１０から受信され、図３のモーションスムージングアルゴリズムは、モーションスムージングされた再投影フレーム１０４（３）をレンダリングするために実行されることができる。
図６は、本明細書に開示される実施形態にかかる、以前にレンダリングされたフレームのピクセルデータを位置合わせし、以前にレンダリングされたフレームのピクセルデータのパネルマスク部分を除外し、ピクセルデータの残りの部分を動きベクトル推定のためのＧＰＵへの入力として提供するための例示的なプロセス６００のフロー図である。考察目的で、プロセス６００は、前の図を参照して記載される。さらにまた、図３および図６のオフページ参照「Ａ」によって示されるように、プロセス６００は、図３のブロック３０４における動作の前に実行される動作を表すことができ、プロセス６００は、いくつかの実施形態では、ブロック３０４～３１４の動作を継続することができる。
６０２において、ＨＭＤ１００のロジックは、ＨＭＤ１００の頭部追跡モジュールによって提供される回転データに基づいて、ＨＭＤ１００が、ＧＰＵ１１０に入力として提供される以前にレンダリングされたフレーム１０４をレンダリングする間に、第１の方向から第２の方向に回転したことを判定する。以前にレンダリングされたフレームは、図１に示される第１のフレーム１０４（１）および第２のフレーム１０４（２）とすることができる。
６０４において、ロジックは、第１のフレーム１０４（１）に関連する第１のピクセルデータ１０８（１）を変更して、第１のフレーム１０４（１）内のシーンをＨＭＤ１００の第２の向きに位置合わせする変更された第１のピクセルデータ６０８（１）を取得することができる。図６の例では、第１のピクセルデータ１０８（１）の一部は、各フレームによってＨＭＤ１００のディスプレイパネルの周辺にレンダリングされたパネルマスク（黒で示される）に対応するデータを表す。したがって、変更された第１のピクセルデータ６０８（１）のパネルマスク部分６１４（１）（すなわち、図６に黒で示されている部分）は、変更された第１のピクセルデータ６０８（１）のパネルマスクに対応するデータを表す。
６０６において、ロジックは、第２のフレーム１０４（２）に関連する第２のピクセルデータ１０８（２）を変更して、第２のフレーム内のシーンをＨＭＤ１００の第１の向きに位置合わせする変更された第２のピクセルデータ６０８（２）を取得することができる。この場合も、第２のピクセルデータ１０８（２）の一部は、各フレームによってＨＭＤ１００のディスプレイパネルの周辺にレンダリングされたパネルマスク（黒で示されている）に対応するデータを表す。したがって、変更された第２のピクセルデータ６０８（２）のパネルマスク部分６１４（２）（すなわち、図６に黒で示されている部分）は、変更された第２のピクセルデータ６０８（２）のパネルマスクに対応するデータを表す。
６１０において、ロジックは、変更された第１のピクセルデータ６０８（１）のパネルマスク部分６１４（１）を変更された第２のピクセルデータ６０８（２）のパネルマスク部分６１４（２）と組み合わせて、パネルマスク６１６に対応する共通の値を有するピクセルのサブセットを判定することができる。これは、ある種のベン図と考えることができ、パネルマスク６１６に対応するピクセルのサブセットは、変更された第１のピクセルデータ６０８（１）および変更された第２のピクセルデータ６０８（２）における変更されたパネルマスクの結合バージョンである。
６１２において、ロジックは、ＧＰＵ１１０への入力として、それぞれがパネルマスク６１６に対応するピクセルのサブセット以外のピクセルに対応する第１のピクセルデータ１０８（１）の特定の部分（例えば、中央部分）および第２のピクセルデータ１０８（２）の特定の部分（例えば、中央部分）を提供することができる。これは、ＧＰＵ１１０が、パネルマスク６１６のピクセルによってカバーされる以前にレンダリングされた各フレーム内のピクセルデータ１０８の部分の動き推定を無視することを可能にし、ＧＰＵ１１０は、その動き推定の努力を中央の各フレーム１０４のピクセルデータ１０８の非パネルマスク部分に集中させることができる。前述のように、プロセス６００は、ブロック６１２からプロセス３００のブロック３０４まで継続することができ、ブロック６１２においてＧＰＵ１１０への入力として提供されるピクセルデータに基づいて、動きベクトル１１２の配列がＧＰＵ１１０から受信され、図３のモーションスムージングアルゴリズムは、モーションスムージングされた再投影フレーム１０４（３）をレンダリングするために実行されることができる。
図７は、本明細書に開示される実施形態にかかる、モーションスムージング技術の一部として再投影フレームを生成するために使用される前に、ＧＰＵから出力される動きベクトルを閾値化するための例示的なプロセス７００のフロー図である。考察目的で、プロセス７００が前の図を参照して記載される。
７０２において、ディスプレイシステムのロジック（例えば、ＨＭＤ１００のロジック）は、ＧＰＵ１１０への入力として、以前にレンダリングされたフレーム１０４に関連するピクセルデータ１０８を提供することができる。ブロック７０２において実行される動作は、プロセス３００のブロック３０２に関して説明されたものと同様とすることができる。
７０４において、ロジックは、ＧＰＵ１１０から動きベクトル１１２の配列を受信することができる。ブロック７０４において実行される動作は、プロセス３００のブロック３０４に関して説明されたものと同様とすることができる。
７０６において、ロジックは、動きベクトル１１２の配列内の個々の動きベクトルの大きさ（または長さ）を第１の閾値の大きさと比較して、第１の閾値の大きさよりも大きい大きさを有する動きベクトル１１２の第１のサブセットを判定することができる。第１の閾値の大きさは、仮想オブジェクト１０６の動きまたはアニメーション以外のものであるフレーム間の変化を表すことができる、大きな大きさの外れ値動きベクトル１１２のこのサブセットの影響を軽減するために利用されることができる。異常に大きな動きベクトルは、様々な理由で発生することができる。ＧＰＵ１１０は、第２のフレーム１０４（２）の右上のピクセルが第１のフレーム１０４（１）の左下のピクセルと十分に類似していることを発見することができ、この動きベクトル１１２がフレーム１０４間の仮想オブジェクト１０６の動きまたはアニメーションを表さない場合であっても、結果として生じる動きベクトル１１２を、配列内の他の動きベクトル１１２と比較して比較的大きな大きさで出力することができる。場合によっては、ビデオゲームは、シーンがフレーム１０４間で劇的に変化する異なる位置にユーザがテレポートすることを可能にし、ＧＰＵ１１０のビデオ符号化器によって大きな動きベクトル１１２を生成させることができる。これらの場合、および他の場合には、これらの大きな動きベクトル１１２を閾値化することが有用とすることができる。
７０７において、複数の以前にレンダリングされたフレーム１０４が第１のフレーム１０４（１）および第２のフレーム１０４（２）を含む場合、ロジックは、第１のフレーム１０４（１）がレンダリングされた第１の時間と第２のフレーム１０４（２）がレンダリングされた第２の時間との間の期間（またはギャップ）を判定することができる。
７０９において、ブロック７０６における比較において使用される第１の閾値の大きさは、第１の時間と第２の時間との間の期間に少なくとも部分的に基づいて選択されることができる。例示的な例では、単位時間あたりのユーザの視点からの移動度で測定される第１の閾値の大きさは、２つのフレーム１０４（１）と１０４（２）との間の１１．１ミリ秒の時間あたり６度の移動である。したがって、２つのフレーム１０４（１）および１０４（２）が離れている時間が長いほど、第１の閾値の大きさが大きくなり、したがって、動きベクトル１１２がより長く（大きさで）許容される。これは、特定の速度を超えるモーションが発生すると、モーションスムージングが効果的でなくなり、（例えば、シーンの一部を「スイミー」に見せることによって）実際に視覚的なアーティファクトが発生する可能性があるためである。
７０８において、ロジックは、大きさが第１の閾値の大きさで制限されるように、第１の閾値の大きさよりも大きい大きさを有すると判定された動きベクトル１１２の第１のサブセットの大きさを減少させることができる。これは、動きベクトル１１２の第１の変更された配列を作成する。換言すれば、第１の閾値の大きさを超える動きベクトル１１２について、ロジックは、動きベクトル１１２の第１の変更された配列が第１の閾値の大きさ以下の大きさを含みかつ第１の閾値の大きさよりも大きい大きさを含まないように、それらの動きベクトル１１２の大きさを第１の閾値の大きさに制限（または限定）するように構成される。いくつかの実施形態では、動きベクトル１１２の大きさを第１の閾値の大きさで制限し、モーションスムージングのために非ゼロの動きベクトルの全てを使用する代わりに、ロジックは、モーションスムージングにおいて全く使用されないように、第１の閾値の大きさと一致するまたはそれを超える大きさを有する動きベクトル１１２の第１のサブセットを破棄することができる。
７１０において、ロジックは、動きベクトル１１２の配列内の個々の動きベクトルの大きさ（または長さ）を第２の閾値の大きさと比較して、第２の閾値の大きさよりも小さい大きさを有する動きベクトル１１２の第２のサブセットを判定することができる。第２の閾値の大きさは、低い大きさの外れ値動きベクトル１１２のこのサブセットの影響を軽減するために利用されることができ、これは、正確ではあるが、絶対的なゼロの動きの程度まで正確ではない、ユーザの一定の頭部の動きおよび／または頭部の追跡によって引き起こされることが多いフレーム間の変化を表すことができる。このため、ＧＰＵ１１０の出力は、長さゼロの動きベクトル１１２を提供することはめったにない。むしろ、上記のように、周囲の頭部の動きおよび／または追跡ジッタのために、ＧＰＵ１１０の出力がかなりの量のノイズを有することがより一般的である。換言すれば、２つの連続するフレーム間のピクセルが１００％一致することはめったにない。例示的な例では、動きのピクセルで測定される第２の閾値の大きさは、動きの２ピクセルの閾値である。この例では、動きの大きさ（または長さ）が２ピクセル未満の動きベクトルは、低い大きさの外れ値ベクトルと見なされる。
７１２において、ロジックは、第２の閾値の大きさよりも小さい大きさを有すると判定された動きベクトル１１２の第２のサブセットの大きさ（例えば、動きの２ピクセル未満の長さを有する低い大きさの外れ値動きベクトル）をゼロの長さ／大きさに減少させることができる。これは、第２の閾値の大きさよりも小さい大きさの動きベクトルを含まない動きベクトル１１２の第２の変更された配列を作成する。これは、本明細書では、動きベクトル１１２に小さな不感帯を適用することと呼ばれることがある。
７１４において、ロジックは、第１の閾値の大きさで制限された大きさを有しかつ第２の閾値よりも小さい大きさの動きベクトル１１２がない動きベクトル１１２の第２の変更された配列に基づいて、再投影フレームのピクセルデータ１０８（３）を変更することができる。いくつかの実施形態では、例えば、動きベクトルの第１のサブセットが第１の閾値の大きさで制限される代わりに破棄される場合、動きベクトル１１２の破棄された第１のサブセット以外の動きベクトル１１２の残りのサブセットは、ブロック７１４において再投影フレームについてのピクセルデータ１０８（３）を変更するために使用される。ピクセルデータ１０８（３）の変更は、本明細書に記載された技術のいずれかを含むことができる（例えば、プロセス３００のブロック３０８～３１２を参照して記載されたもの）。
７１６において、ロジックは、再投影フレーム１０４（３）の変更されたピクセルデータ１０８（３）に少なくとも部分的に基づいて、ディスプレイ上（例えば、ＨＭＤ１００のディスプレイパネル上）に再投影フレーム１０４（３）をレンダリングすることができる。ブロック７１６において実行される動作は、プロセス３００のブロック３１４に関して説明されたものと同様とすることができる。
図８は、本明細書に開示される実施形態にかかる、モーションスムージング技術の一部として再投影フレームを生成するために使用される前に、ＧＰＵから出力される動きベクトルを減衰させるための例示的なプロセス８００のフロー図である。考察目的で、プロセス８００が前の図を参照して記載される。
８０２において、ディスプレイシステムのロジック（例えば、ＨＭＤ１００のロジック）は、ＧＰＵ１１０への入力として、以前にレンダリングされたフレーム１０４に関連するピクセルデータ１０８を提供することができる。ブロック８０２において実行される動作は、プロセス３００のブロック３０２に関して説明されたものと同様とすることができる。
８０４において、ロジックは、ＧＰＵ１１０から動きベクトル１１２の配列を受信することができる。ブロック８０４において実行される動作は、プロセス３００のブロック３０４に関して説明されたものと同様とすることができる。
８０６において、ロジックは、動きベクトル１１２の個々のものの大きさを減衰させる（例えば、短縮、減少など）目的で、動きベクトル１１２の配列上にオーバーレイされた減衰テクスチャを生成することができる（例えば、それらの動きベクトル１１２の品質に対する低い信頼がある場合）。減衰テクスチャは、減衰テクスチャが複数のテクセル（例えば、テクセルのグリッド）を含むように、任意の適切な解像度で生成されることができる。減衰テクスチャの解像度は、複数の動きベクトルが減衰テクスチャの個々のテクセル内にあるように、動きベクトル１１２の配列の解像度よりも低い解像度とすることができる。一例では、減衰テクスチャは、ユーザの視野（ＦＯＶ）の中心のテクセルが約６度×６度（水平および垂直）であるような解像度を有することができる。テクセルあたりの度数が減衰テクスチャ全体で一定ではない可能性があるため、テクセルあたりの解像度（水平および垂直）は、概算とすることができる。例えば、ＨＭＤ１００のＦＯＶは、面積がおよそ１００度×１００度（例えば、プラスマイナス約１０度）に及ぶことができる。解像度が減衰テクスチャのテクセルごとに変化するが、解像度が約６～１０度×６～１０度のテクセルを提供するように、減衰テクスチャは、非線形投影行列に基づいて生成されることができる。さらにまた、減衰テクスチャの各テクセルには、減衰値を割り当てることができる（例えば、０．０から１．０の範囲内）。所与のテクセルに割り当てられた減衰値は、そのテクセル内の動きベクトル１１２の大きさが減少（短縮）される量を制御する。例えば、１．０の減衰値は、減衰なしに対応することができ、したがって、１．０の減衰値を動きベクトル１１２に適用することは、その大きさの観点から動きベクトル１１２がそのままである（例えば、減少しない、短縮されないなど）ことを意味する。しかしながら、０．０の減衰値は、完全な減衰に対応することができ、したがって、０．０の減衰値を動きベクトル１１２に適用することは、動きベクトル１１２がその大きさに関してゼロに減少することを意味する。０．０から１．０の間の減衰値は、部分的な減衰に対応することができ、したがって、例えば０．５の減衰値を動きベクトル１１２に適用することは、動きベクトルが元の長さ（大きさ）の５０％（半分）に減少することを意味する。したがって、減衰テクスチャは、動きベクトル１１２の大きさを減少（短縮）することができるが、動きベクトル１１２の大きさを増加（延長）することはできない。
図８は、２つの連続してレンダリングされたフレーム１０４の間の画面の下部の輝度（または色）の突然の変化に基づいてブロック８０８において生成されることができる例示的な減衰テクスチャ８０７を示している。例えば、ビデオゲームをプレイしている間、ＨＭＤ１００のユーザは、ハンドヘルドコントローラ上のボタンを選択することができ、これにより、次のレンダリングされたフレーム１０４の画面の下半分に大きな青いメッシュを出現させる。この例示的なシナリオでは、ＧＰＵ１１０は、このフレーム１０４および以前にレンダリングされたフレーム１０４を入力として処理するときに、シーンの上部にレンダリングされた空のピクセルを、画面の下半分にある大きな青いメッシュのピクセルの輝度値に最も一致する輝度値で見つけることができる。これにより、ＧＰＵ１１０は、シーンの下部に突然非常に大きさが大きく、シーン内の実際の動きを表さない動きベクトル１１２を有する動きベクトル場１１２を出力する。例示的な減衰テクスチャ８０７では、白色のテクセルは、１．０の減衰値を表すことができる一方で、黒色のテクセルは、０．０の減衰値を表すことができ、灰色のテクセルのテクセルは、０．０から１．０までの減衰値を表すことができる。
８０８において、ロジックは、ブロック８０６において生成された減衰テクスチャを使用して、動きベクトル１１２の配列内の個々の動きベクトルの大きさを減少（例えば、スケールダウン）することができる（例えば、減衰テクスチャの減衰値を使用して減衰値に対応する量だけ動きベクトル１１２の大きさを減少させる）。これは、減衰テクスチャにおいて１．０未満の少なくとも１つの減衰値を仮定して、動きベクトル１１２の変更された配列を作成する。目的は、フレーム１０４間で閾値量を超えて変化した動きベクトル１１２を縮小することであり、これは、これらの動きベクトル１１２がシーン内の実際の動きを表さず、動きを表すと誤解されるべきではないことを示している可能性が最も高い。減衰テクスチャは、単一のフレーム内でそれらの領域の動きベクトルが（大きさの観点で）極端である画面の領域を見つけるために使用され、これは、動きベクトルが実際の動きを表すと信頼できないこと、またはそれらがシーン内の実際の動きを表す場合、そのような動きがモーションスムージングには速すぎて、とにかく顕著な影響を与えることができず、これらの動きベクトルを使用してモーションスムージングを試みるよりも、ゼロ動きベクトルを使用することが好ましいことのいずれかを示す。ディスプレイのリフレッシュレートが通常９０Ｈｚほどであり、フレーム間のその短時間で非常に遠くに何かを移動させることが困難であるため、現実的には、フレームごとに動きがある場合は常に、動きは、通常、以前のフレームとそれほど変わらない。したがって、多くの場合、減衰テクスチャによって減衰されたこれらの極端な動きベクトル１１２は、実際の動きを表さない。
サブブロック８０９によって示されるように、いくつかの実施形態では、ブロック８０８において減衰テクスチャを使用して動きベクトルの大きさを減少させることは、減衰テクスチャを使用して動きベクトルの大きさを減少させる前に、減衰テクスチャに最小Ｎ×Ｎフィルタを適用することを含むことができる。ここで、Ｎは、任意の適切な数とすることができる。Ｎ＝３は、最小３×３フィルタ（すなわち、３×３ブロックのテクセル）を使用する。Ｎ＝３の例を使用して、ブロック８０９において減衰テクスチャに最小３×３フィルタを適用する際に、ロジックは、減衰テクスチャ８０７からテクセルごとに、対応するテクセルを中心とするテクセルの各３×３ブロック（例えば、対応するテクセルとその８つの隣接するテクセルとを含むテクセルのブロック）の９つの減衰値のうちの最小値をフェッチすることができる。非ゼロの減衰値が割り当てられているが、隣接するテクセルにゼロの減衰値が割り当てられている減衰テクスチャの任意の対応するテクセルが対応するテクセルの減衰値ゼロをその対応するテクセルの対応する動きベクトルに適用され、それによって、対応するテクセルが減衰テクスチャ８０７において非ゼロの減衰値を割り当てられているにもかかわらず、対応するテクセルの動きベクトルをゼロに減少させるため、ブロック８０９においてこの最小Ｎ×Ｎフィルタを適用することは、通常、さらに多くの動きベクトル１１２をゼロにする。換言すれば、隣接するテクセルにゼロの減衰値が割り当てられた場合、減衰テクスチャの所与のテクセル内の動きベクトル１１２はゼロにされ、これは、隣接するテクセルが多くの大きな大きさの動きベクトルを有することを意味する。図８は、最小Ｎ×Ｎフィルタを減衰テクスチャ８０７に適用した結果である例示的な減衰テクスチャ８１１を示している。結果として得られる減衰テクスチャ８１１は、減衰テクスチャ８０７よりも多くの黒色のテクセルを含み、これは、結果として生じる減衰テクスチャ８１１を使用して、より多くの動きベクトルがゼロにされることを意味する。
８１０において、ロジックは、減衰テクスチャにおいて１．０未満の減衰値に対しておそらくいくつかの大きさが減衰された動きベクトル１１２の変更された配列に基づいて、再投影フレームのピクセルデータ１０８（３）を変更することができる。ピクセルデータ１０８（３）の変更は、本明細書に記載された技術のいずれかを含むことができる（例えば、プロセス３００のブロック３０８～３１２を参照して記載されたもの）。
８１２において、ロジックは、再投影フレーム１０４（３）の変更されたピクセルデータ１０８（３）に少なくとも部分的に基づいて、ディスプレイ上（例えば、ＨＭＤ１００のディスプレイパネル上）に再投影フレーム１０４（３）をレンダリングすることができる。ブロック８１２において実行される動作は、プロセス３００のブロック３１４に関して説明されたものと同様とすることができる。
図９は、本明細書に開示される実施形態にかかる、図８のプロセス８００を参照して説明された減衰テクスチャなどの減衰テクスチャを生成するための例示的なプロセス９００のフロー図である。したがって、プロセス９００は、プロセス８００のブロック８０６において減衰テクスチャを生成するために実行されることができる動作のサブプロセスを表すことができる。考察目的で、プロセス９００が前の図を参照して記載される。
９０２において、ＧＰＵ１１０のビデオ符号化器によって生成された動きベクトル１１２の配列を受信した後、ディスプレイシステムのロジック（例えば、ＨＭＤ１００のロジック）は、動きベクトル１１２の複数の以前に取得された配列に少なくとも部分的に基づいて、減衰テクスチャの各テクセルのデルタベクトルのセットを判定することができる。例えば、動きベクトル１１２の配列の履歴は、一連のフレームが処理されるときに維持されることができ、動きベクトル１１２の最後の２つの配列（例えば、動きベクトル１１２の２つの最新の配列）は、ブロック９０２におけるデルタベクトル（例えば、２つの配列内の対応する動きベクトルの対の間の差（例えば、大きさに関して）を示す差ベクトル）のセットを判定するために比較されることができる。
９０４において、ロジックは、閾値の大きさよりも大きい大きさを有する減衰テクスチャの各テクセル内のデルタベクトルのパーセンテージを計算することができる。例えば、ロジックは、ブロック９０４において、減衰テクスチャの所与のテクセル内のデルタベクトルを評価し、テクセル内の「外れ値」ベクトルを、閾値の大きさよりも大きいデルタ（例えば、大きさ）を有するデルタベクトルとして識別し、テクセル内の外れ値ベクトルのパーセンテージを計算することができる。フレームあたり（または１１．１ミリ秒の時間あたり）約３度の移動／動き（ユーザの視点から）の閾値など、ブロック９０４において「外れ値」ベクトルを識別する目的で、任意の適切な閾値を使用することができる。換言すれば、ブロック９０４において使用される閾値は、図７のプロセス７００のブロック７０７および７０９を参照して上述したように、第１のフレーム１０４（１）がレンダリングされた第１の時間と第２のフレーム１０４（２）がレンダリングされた第２の時間との間の期間（またはギャップ）に基づくことができる。
９０６において、ロジックは、減衰テクスチャの各テクセルについて、「外れ値」デルタベクトルであるテクセル内のデルタベクトルのパーセンテージが、２５％などの閾値パーセンテージを満たすか、または超えるかどうかを判定することができる。ブロック９０６において、「外れ値」デルタベクトルであるテクセル内のデルタベクトルのパーセンテージが閾値パーセンテージを満たすかまたは超える場合、プロセス９００は、ブロック９０６からブロック９０８への「はい」ルートをたどることができる。
９０８において、ロジックは、閾値パーセンテージを満たすかまたは超える「外れ値」デルタベクトルの数を有するテクセルについて、減衰値をゼロとして計算することができる。換言すれば、ロジックは、所与のテクセルのデルタベクトルの特定の量（例えば、２５％以上）が最大長よりも大きい場合、そのテクセルの減衰値をゼロとして計算することができる。プロセス８００に記載されているように、ゼロの減衰値を所与のテクセル内の動きベクトル１１２に適用すると、それらの動きベクトル１１２の大きさをゼロに減少させる（例えば、そのテクセル内の動きベクトルを完全に減衰させる）。
９０６において、「外れ値」デルタベクトルの閾値パーセンテージ未満を有するテクセルについて、プロセス９００は、ブロック９０６からブロック９１０への「いいえ」ルートをたどることができ、ロジックは、ブロック９０４において、それらのテクセルの減衰値を、計算されたパーセンテージに少なくとも部分的に基づく減衰値として計算することができる。例えば、特定のテクセルの閾値の大きさよりも大きいデルタベクトルのパーセンテージが閾値のパーセンテージ（例えば、２５％）よりも小さい場合、減衰値は、閾値パーセンテージよりも小さい値の範囲内で計算されるパーセンテージ（例えば、０％～２５％の範囲内）に線形にマッピングされる値として設定されることができる。ブロック９１０において計算された減衰値は、（減衰テクスチャが動きベクトル場１１２に適用されるとき）ゼロ化されていない残りのベクトルのノイズを低減するのに効果的である。
９１２において、計算された減衰値は、以前にレンダリングされたフレーム１０４に基づいて、そのテクセルの既存の減衰値と比較されることができる。減衰値がブロック９１２の既存の値よりも小さい場合、プロセス９００は、ブロック９１２からブロック９１４への「はい」ルートをたどることができ、テクセルの減衰値は、ブロック９０８または９１０において計算された減衰値に設定される。例えば、以前のフレームの減衰テクスチャのそのテクセルに減衰がなかった場合、既存の減衰値は、１．０に等しくすることができ、ブロック９０８または９１０において計算された新たな減衰値が１．０未満である場合、この例では、減衰値は、所与のテクセル内の動きベクトルを減衰させるために、新たに計算された減衰値に設定される。
９１２において、計算された減衰値が問題のテクセルの既存の値以上である場合、プロセス９００は、ブロック９１２からブロック９１６への「いいえ」ルートをたどることができ、既存の減衰値は、時間とともに減衰なしに対応する最大減衰値（例えば、１．０）に向かって増加する。例えば、状況によってはフレームごとに変化する不規則な動きベクトルが発生する可能性があるため、新たな減衰値は、減衰テクスチャのテクセルの以前の（古い）減衰値と「混合」されることができ、これは、計算された減衰値がその期間のテクセルの既存の減衰値を決して下回らないと仮定すると、減衰値が一定期間（例えば、１秒の期間）にわたって減衰なしに増加することを意味する。
図１０は、本明細書に開示される実施形態にかかる、結果として生じる動きベクトルのセットがモーションスムージング技術の一部として再投影フレームを生成するために使用される前に、色変化がほとんどまたは全くない領域に対応する動きベクトルをゼロにするための例示的なプロセス１０００のフロー図である。考察目的で、プロセス１０００が前の図を参照して記載される。
１００２において、ディスプレイシステムのロジック（例えば、ＨＭＤ１００のロジック）は、ＧＰＵ１１０への入力として、以前にレンダリングされたフレーム１０４に関連するピクセルデータ１０８を提供することができる。ブロック１００２において実行される動作は、プロセス３００のブロック３０２に関して説明されたものと同様とすることができる。
１００４において、ロジックは、ＧＰＵ１１０から動きベクトル１１２の配列を受信することができる。ブロック１００４で実行される動作は、プロセス３００のブロック３０４に関して説明されたものと同様とすることができる。
１００６において、ロジックは、ＧＰＵ１１０に入力された複数の以前にレンダリングされたフレーム１０４の間で（ＲＧＢベクトルに関して）色ピクセル値を比較して、動きベクトル１１２の配列内の動きベクトルごとの色差値を判定することができる。これらの色差値は、閾値色差と比較され、それらの色差値が閾値色差よりも小さいため、フレーム間の色変化がほとんどまたは全くないものに関連する動きベクトル１１２のサブセットを判定することができる。いくつかの実施形態では、ロジックは、ＲＧＢピクセル値をベクトルとして扱う。次に、色の差異（例えば、デルタベクトル）を判定するために、以前にレンダリングされたフレーム１０４間の対応するＲＧＢベクトルが比較される。動きベクトル１１２の配列内の各動きベクトル１１２は、ピクセルのブロック（例えば、ピクセルの８×８ブロック）に対応することができるため、そのような色比較は、フレーム１０４間のピクセルの８×８ブロック内のいくつかのまたは全てのＲＧＢピクセル値を比較することによって、動きベクトルごとに実行されることができる。いくつかの実施形態では、ロジックは、特定の動きベクトル１１２に関連付けられているフレーム１０４間の色変化の量（例えば、色差値）を判定するために、単一の動きベクトル１１２に対応するピクセルの各８×８ブロック内のピクセルの他の全ての行およびピクセルの他の全ての列の色値を比較する。したがって、所与の動きベクトル１１２に対応するピクセルのブロックに関して、フレーム間の色比較は、処理リソースを節約するために、対応するピクセルのブロック内のピクセルの一部（例えば、２５％）を比較することを含むことができる。
１００８において、ロジックは、色差値が閾値色差よりも小さい動きベクトル１１２のサブセットの大きさをゼロの長さ／大きさまで減少させることができる。これは、以前にレンダリングされたフレーム間で色の変化がほとんどまたは全くなかったシーンの領域にいかなる動きベクトルも含まない動きベクトル１１２の変更された配列を作成する（ゼロ動き色差と呼ばれることもある）。これは、例えば、テキストが単色の背景の前にある場合に、テキストが端部の周りでぼやけたり波打ったりして見えるのを防ぐのに役立つことができる。また、シーン内のライトやその他のユーザインターフェース要素が徐々に明るくなったり暗くなったりするたびに、視覚的に邪魔なアーティファクトが表示されるのを防ぐのにも役立つことができる。
１０１０において、ロジックは、動きベクトル１１２の変更された配列に基づいて、再投影フレームのピクセルデータ１０８（３）を変更することができ、これは、色が以前にレンダリングされたフレーム１０４間で実質的に同じである領域に動きベクトル１１２をもはや含まない。ピクセルデータ１０８（３）の変更は、本明細書に記載された技術のいずれかを含むことができる（例えば、プロセス３００のブロック３０８～３１２を参照して記載されたもの）。
１０１２において、ロジックは、再投影フレーム１０４（３）の変更されたピクセルデータ１０８（３）に少なくとも部分的に基づいて、ディスプレイ上（例えば、ＨＭＤ１００のディスプレイパネル上）に再投影フレーム１０４（３）をレンダリングすることができる。ブロック１０１２において実行される動作は、プロセス３００のブロック３１４に関して説明されたものと同様とすることができる。
図１１は、本明細書に開示される実施形態にかかる、結果として生じる動きベクトルのセットがモーションスムージング技術の一部として再投影フレームを生成するために使用される前に、１つ以上のフィルタを使用して動きベクトル場を「クリーンアップ」するための例示的なプロセス１１００のフロー図である。考察目的で、プロセス１１００が前の図を参照して記載される。
１１０２において、ディスプレイシステムのロジック（例えば、ＨＭＤ１００のロジック）は、ＧＰＵ１１０への入力として、以前にレンダリングされたフレーム１０４に関連するピクセルデータ１０８を提供することができる。ブロック１１０２で実行される動作は、プロセス３００のブロック３０２に関して説明されたものと同様とすることができる。
１１０４において、ロジックは、ＧＰＵ１１０から動きベクトル１１２の配列を受信することができる。ブロック１１０４で実行される動作は、プロセス３００のブロック３０４に関して説明されたものと同様とすることができる。
１１０６において、ロジックは、Ｎ×Ｎスカラー中央値フィルタを動きベクトル１１２の配列に適用して、動きベクトル１１２の第１の変更された配列を取得することができる。ここで、Ｎは、５×５スカラー中央値フィルタを適用するＮ＝５などの任意の適切な数とすることができる。Ｎ＝５の例では、選択された動きベクトルを囲む動きベクトル１１２の５×５のセットを見ることによって、動きベクトル１１２の配列内の各動きベクトルに５×５スカラー中央値フィルタが適用される。選択された動きベクトルの場合、選択されたベクトルを囲む５×５の領域は、２５個の動きベクトルを有する。選択された動きベクトルに適用されるスカラー中央値フィルタは、中央値ｘ成分値（２５個のｘ成分値のうち）と中央値ｙ成分値（２５個のｙ成分値のうち）とを計算した後、中央値ｘ成分値と中央値ｙ成分値とを合成し、スカラー中央値ベクトルを取得し、選択された動きベクトルは、スカラー中央値ベクトルに置き換えられることができる。このプロセスは、動きベクトル１１２の配列内の各ベクトルに対して反復する。この場合も、Ｎに任意の適切な値が使用されることができ、Ｎ＝５は、単なる例である。ブロック１１０６においてスカラー中央値フィルタを適用することは、動きベクトル場１１２のノイズを低減し、外れ値の動きベクトルを除去するのに役立つ。ブロック１１０６においてスカラー中央値フィルタを使用することはまた、より計算集約的であるより複雑な距離アルゴリズムに依存するであろう、ベクトル中央値フィルタなどのより複雑なフィルタを適用するよりも計算的に速い。
１１０８において、ロジックは、Ｍ×Ｍ平均最大ぼかしフィルタを動きベクトル１１２の第１の変更された配列に適用して、動きベクトル１１２の第２の変更された配列を取得することができる。ここで、Ｍは、３×３の平均最大ぼかしフィルタを適用するであろう、Ｍ＝３などの任意の適切な数とすることができる。平均最大ぼかしフィルタは、２つの別々のフィルタ（平均ベクトルフィルタおよび最大長ベクトルフィルタ）を独立して適用し、次に、これら２つの、独立して適用されたフィルタから結果のベクトルのベクトル平均を取得する。Ｍ＝３を使用する例では、選択された動きベクトルを囲む動きベクトル１１２の３×３セットを見ることによって、３×３の平均最大ぼかしフィルタが動きベクトル１１２の配列内の各動きベクトルに適用される。選択された動きベクトルの場合、選択されたベクトルを囲む３×３の領域は、９つの動きベクトルを有する。最初に、選択された動きベクトルに平均ベクトルフィルタが適用され、平均ｘ成分値（９つのｘ成分値のうち）と平均ｙ成分値（９つのｙ成分値のうち）とが計算され、次に、平均ｘ成分値と平均ｙ成分値とを合成して平均ベクトルを取得する。次に、最大長のベクトルフィルタが、選択された動きベクトルに独立して適用され、これは、（９つの動きベクトルのうち）最長のベクトルを判定する。次に、平均ベクトルと最長ベクトルのベクトル平均をとることによって結果のベクトルが判定され、選択された動きベクトルは、結果のベクトルに置き換えられることができる。このプロセスは、動きベクトル１１２の配列内の各ベクトルに対して反復する。この場合も、Ｍに任意の適切な値が使用されることができ、Ｍ＝３は、単なる例である。ブロック１１０８において平均最大ぼかしフィルタを適用することは、動きベクトルのグループのサブエリアにおける不連続性を除去する平滑化された動きベクトル場を提供する。いくつかの実施形態では、ブロック１１０８において平均最大ぼかしフィルタを適用することは、本明細書に記載されるように、動きベクトル場１１２がモーションスムージングに使用される前の動きベクトル場１１２に対する最後の「クリーンアップ」ステップである。例えば、動きベクトルの閾値化、減衰テクスチャの使用、色差がほとんどまたは全くない領域のベクトルのゼロ化など、本明細書に記載の他の技術と組み合わせて使用される場合、これらの様々な動作は、平均最大ぼかしフィルタを適用する前に実行されることができる。
１１１０において、ロジックは、フィルタリングされた動きベクトルを有する動きベクトル１１２の変更された配列に基づいて、再投影フレームのピクセルデータ１０８（３）を変更することができる。ピクセルデータ１０８（３）の変更は、本明細書に記載された技術のいずれかを含むことができる（例えば、プロセス３００のブロック３０８～３１２を参照して記載されたもの）。
１１１２において、ロジックは、再投影フレーム１０４（３）の変更されたピクセルデータ１０８（３）に少なくとも部分的に基づいて、ディスプレイ上（例えば、ＨＭＤ１００のディスプレイパネル上）に再投影フレーム１０４（３）をレンダリングすることができる。ブロック１１１２において実行される動作は、プロセス３００のブロック３１４に関して説明されたものと同様とすることができる。
図７～図１１のプロセスに記載された様々な技術（ＧＰＵ１１０によって出力される動きベクトル場を変更するための様々な技術）は、任意の組み合わせおよび／または任意の順序で使用されることができることが理解されるべきである。例えば、図７を参照して記載された技術は、図８および図９を参照して記載された技術と組み合わせて使用されることができ、これらの技術のいくつかまたは全ては、図１０を参照して記載された技術と組み合わせて使用されることができ、これらの技術のいくつかまたは全ては、図１１を参照して記載された技術と組み合わせて使用されることができる。すなわち、最適化された動きベクトル場を取得するロバストな技術は、動きベクトル場のロバストな変更においてともに図７～図１１を参照して記載された技術の全てを利用することができる。
図１２は、本明細書に開示される実施形態にかかる、ピクセルデータが動きベクトル推定のためにＧＰＵに入力される前に、以前にレンダリングされたフレームを回転させるための例示的なプロセス１２００のフロー図である。考察目的で、プロセス１２００が前の図を参照して記載される。
１２０２において、ディスプレイシステムのロジック（例えば、ＨＭＤ１００のロジック）は、ピクセルデータ１０８がＧＰＵ１１０への入力として提供される複数の以前にレンダリングされたフレーム１０４のうちの第１のフレーム１０４（１）を所定回転量だけ回転させて、第１の回転フレーム１２０４（１）を取得することができる。
１２０６において、ロジックは、複数の以前にレンダリングされたフレーム１０４のうちの第２のフレーム１０４（２）を所定回転量だけ回転させて、第２の回転フレーム１２０４（２）を取得することができる。
１２０８において、ロジックは、ＧＰＵ１１０への入力として、回転されたフレーム１２０４（１）および１２０４（２）のピクセルデータを提供することができる。プロセス１２００は、プロセス３００のブロック１２０８からブロック３０４まで継続することができる（オフページ参照「Ａ」によって示されるように）。したがって、動きベクトル１１２の配列は、ブロック１２０８においてＧＰＵ１１０への入力として提供されたピクセルデータに基づいて、ブロック３０４においてＧＰＵ１１０から受信されることができ、図３のモーションスムージングアルゴリズムの残りの動作は、モーションスムージングされた再投影フレーム１０４（３）をレンダリングするために実行されることができる。
プロセス１２００は、シーン内の水平および／または垂直の建築上の端部の影響が、移動またはアニメーション化するオブジェクトを真に表していない「奇妙な」動きベクトルを引き起こすのを軽減することができる。複数の以前にレンダリングされたフレーム１０４（１）および１０４（２）は、それぞれ、ブロック１２０２および１２０６で同じ回転量だけ回転されることができるか、または各フレーム１０４（１）および１０４（２）は、ブロック１２０２および１２０６で異なる回転量だけ回転されることができる。いくつかの実施形態では、ブロック１２０２および１２０６における各フレームの回転量は事前定義されている（例えば、入力フレーム１０４（１）および１０４（２）を４５度回転させる）。フレーム１０４（１）および１０４（２）を４５度回転させると、シーン内の水平および垂直端部が斜めに配向されることができ、その結果、これらの斜め端部は、多くの「奇妙な」動きベクトルをＧＰＵ１１０のビデオ符号化器によって生成させることができる。いくつかの実施形態では、ブロック１２０２および１２０６での各フレームの回転量は、各フレーム１０４のランダムな回転量とすることができる。これは、４５度に位置合わせすることができる任意の端部を一時的に非表示にすることができる。
図１３は、本明細書に開示される実施形態にかかる、以前にレンダリングされたフレームの輝度データおよび彩度データに基づいて生成される動きベクトルの配列の間で選択するための例示的なプロセス１３００のフロー図である。考察目的で、プロセス１３００が前の図を参照して記載される。さらにまた、図３および図１３のオフページ参照「Ｂ」によって示されるように、プロセス１３００は、図３のブロック３０６における動作の前に実行される動作を表すことができ、プロセス１３００は、いくつかの実施形態では、ブロック３０６～３１４の動作を継続することができる。
１３０２において、ディスプレイシステムのロジック（例えば、ＨＭＤ１００のロジック）は、ＧＰＵ１１０への入力として、以前にレンダリングされたフレーム１０４に関連する輝度データを提供することができる。例えば、第１のフレーム１０４（１）に関連付けられた第１のピクセルデータ１０８（１）は、第１の輝度データ、第１の彩度データ、および／または追加のタイプのデータを含むことができる。同様に、第２のフレーム１０４（２）に関連付けられた第２のピクセルデータ１０８（２）は、第２の輝度データ、第２の彩度データなどの同様のタイプのデータを含むことができる。したがって、第１の輝度データおよび第２の輝度データは、ブロック１３０２においてＧＰＵ１１０への入力として提供されることができる。
１３０４において、ロジックは、ＧＰＵ１１０から、第１の輝度データおよび第２の輝度データに少なくとも部分的に基づいてＧＰＵ１１０のビデオ符号化器によって生成された動きベクトル１１２の第１の配列を受信することができる。
１３０６において、ロジックは、ＧＰＵ１１０への入力として、第１のフレーム１０４（１）に関連付けられた第１の彩度データおよび第２のフレーム１０４（２）に関連付けられた第２の彩度データを提供することができる。
１３０８において、ロジックは、ＧＰＵ１１０から、第１の彩度データおよび第２の彩度データに少なくとも部分的に基づいてＧＰＵ１１０のビデオ符号化器によって生成された動きベクトル１１２の第２の配列を受信することができる。
１３１０において、ロジックは、動きベクトル１１２の第１の配列および動きベクトル１１２の第２の配列の分析に基づいて、動きベクトル１１２の第１の配列または動きベクトル１１２の第２の配列のうちの１つを動きベクトルの選択された配列として選択することができる。例えば、選択アルゴリズムは、例として、動きベクトル１１２の各フィールド内の動きベクトル１１２の大きさおよび／または方向に基づいて、最も不規則でないものを選択することができる。例えば、明るい点滅光（例えば、仮想爆発）が第２のフレーム１０４（２）で発生する場合、輝度データは、ＧＰＵ１１０に、ある閾値の大きさを超える大きさの動きベクトル１１２を出力させることができるが、以前にレンダリングされた同じフレーム１０４は、ＧＰＵ１１０に、非常に大きな大きさのそのような動きベクトルを含まない動きベクトル１１２を出力させることができる。この場合、彩度データから生成された動きベクトル１１２の配列は、ブロック１３１０において選択されることができる。これは、選択アルゴリズムの一例に過ぎず、他のアルゴリズムが使用されることもできる。前述のように、プロセス１３００は、プロセス３００のブロック１３１０からブロック３０６まで継続することができ、再投影フレーム１０４（３）のピクセルデータ１０８（３）は、ブロック１３１０からの動きベクトル１１２の選択された配列に基づいて変更される。
図１４は、本明細書に開示される実施形態にかかる、動きベクトルの複数の配列を取得し、アレイ間の差異を判定し、モーションスムージングについて判定された差異に基づいて動きベクトルの最終配列を生成するための例示的なプロセス１４００のフロー図である。考察目的で、プロセス１４００が前の図を参照して記載される。さらにまた、図３および図１４のオフページ参照「Ｂ」によって示されるように、プロセス１４００は、図３のブロック３０６における動作の前に実行される動作を表すことができ、プロセス１４００は、いくつかの実施形態では、ブロック３０６～３１４の動作を継続することができる。
１４０２において、ディスプレイシステムのロジック（例えば、ＨＭＤ１００のロジック）は、ＧＰＵ１１０への入力として、以前にレンダリングされたフレーム１０４に関連する第１のピクセルデータ１０８（１）を提供することができる。ブロック１４０２で実行される動作は、プロセス３００のブロック３０２に関して説明されたものと同様とすることができる。
１４０４において、ロジックは、ブロック１４０２において入力として提供された第１のピクセルデータ１０８（１）に基づいて、ＧＰＵ１１０から動きベクトルの第１の配列１１２（１）を受信することができる。
１４０６において、ロジックは、ＧＰＵ１１０への入力として、以前にレンダリングされたフレーム１０４に関連する第２のピクセルデータ１０８を提供することができる。
１４０８において、ロジックは、ＧＰＵ１１０から、第２のピクセルデータ１０８（２）に少なくとも部分的に基づいて、動きベクトルの第２の配列１１２（２）を受信することができる。
１４１０において、ロジックは、第１の配列１１２（１）と第２の配列１１２（２）との間の動きベクトル１１２の方向および／または大きさの差異を判定することができる。例えば、第１の配列１１２（１）の動きベクトル１１２と第２の配列１１２（２）の対応する動きベクトル１１２との間で比較を行って、動きベクトルの方向または大きさのいずれかまたは双方に関して動きベクトルが異なるかどうかを判定することができ、そうである場合には、それらが異なる量を判定することができる。
１４１２において、ロジックは、ブロック１４１０において判定されるように、動きベクトルの第１の配列１１２（１）または動きベクトルの第２の配列１１２（２）との間の差異に少なくとも部分的に基づいて、動きベクトル１１２の最終配列を生成することができる。例えば、動きベクトル１１２の最終配列は、第１の配列１１２（１）または第２の配列１１２（２）内の動きベクトルの個々のものを減衰させることから、または各配列１１２（１）および１１２（２）の対応する動きベクトルの平均を表す平均化された動きベクトルを減衰することから生じる動きベクトルのセットを表すことができる。前述のように、プロセス１４００は、ブロック１４１２からプロセス３００のブロック３０６まで継続することができ、再投影フレーム１０４（３）のピクセルデータ１０８（３）は、ブロック１４１２において生成された動きベクトル１１２の最終配列に基づいて変更される。
プロセス１４００がどのように使用されることができるかの例示的な例として、動きベクトルの第１の配列１１２（１）が、それらの元の（「ｙ－ｕｐ」）向きにおける入力フレーム１０４（１）および１０４（２）のピクセルデータ１０８に基づいてブロック１４０４において受信され、動きベクトルの第２の配列１１２（２）が、４５度回転された入力フレーム１０４（１）および１０４（２）のピクセルデータ１０８に基づいてブロック１４０８において受信される例を考える。入力画像フレーム１０４を回転させるこの概念は、図１０を参照して説明された。したがって、この例示的な例では、第１のフレーム１０４（１）および第２のフレーム１０４（２）のピクセルデータ１０８は、動きベクトルの第１の配列１１２（１）を生成するためにブロック１４０２において入力として提供されることができ、第１の回転フレーム１００４（１）および第２の回転フレーム１００４（２）のピクセルデータ１０８は、動きベクトルの第２の配列１１２（２）を生成するためにブロック１４０６において入力として提供されることができる。この例示的な例では、動きベクトルの２つの配列１１２（１）および１１２（２）は、再位置合わせされ（例えば、第２の配列１１２（２）を逆方向に４５度回転させることによって）、次に比較されて、配列１１２（１）および１１２（２）の双方の対応するベクトル間の角度の差異（方向）および／または長さの差異（大きさ）を調べることによって不一致を判定することができる。実際の動き（例えば、シーン内のオブジェクトの移動またはアニメーション化）が、回転した入力フレーム１０４に対して非常に類似した動きベクトルの配列を生成することができる一方で、誤って検出された動きが、動きベクトルの非常に異なる配列を生成することができる場合があり得る。この例示的な例では、動きベクトル１１２の最終配列は、各配列１１２（１）および１１２（２）内の２つの対応するベクトルの平均の長さを２つの正規化されたベクトルの内積によって減衰させることによって、ブロック１４１２において生成されることができる。いくつかの実施形態では、図８および図９を参照して説明したもののような減衰テクスチャは、ブロック１４１２において利用されて、最終配列を生成することができる。例えば、プロセス９００のブロック９０２において判定されたデルタベクトルのセットは、ブロック１４０４において受信された動きベクトルの第１の配列１１２（１）とブロック１４０８において受信された動きベクトルの第２の配列１１２（２）との間のデルタに基づくことができ、結果として生じる減衰テクスチャは、ブロック１４１２において使用されて、第１の配列１１２（１）、第２の配列１１２（２）、または２つの配列１１２（１）および１１２（２）との間のベクトルの組み合わせ（例えば、平均）を減衰させることができる。
プロセス１４００が使用されることができる方法の別の例示的な例として、複数の以前にレンダリングされたフレーム１０４の入力テクスチャに対して第１のミップレベル（ミップマップレベル）が生成され、この第１のミップレベルについての対応するピクセルデータ１０８がブロック１４０２においてＧＰＵ１１０への入力として提供されて動きベクトルの第１の配列１１２（１）を生成する例を考える。一方、第２のミップレベルは、複数の以前にレンダリングされたフレーム１０４の入力テクスチャに対して生成されることができ、この第２のミップレベルに対応するピクセルデータ１０８は、動きベクトルの第２の配列１１２（２）を生成するためにブロック１４０６においてＧＰＵ１１０への入力として提供されることができる。これは、さらに、任意の数のミップレベルに対して実行されて、任意の数の対応する動きベクトルの配列を生成することもできる。いくつかの実施形態では、ブロック１４１０の前に３つまたは４つの動きベクトル１１２の配列が受信されるように、入力テクスチャの３つまたは４つのミップレベルが生成されることができる。いくつかの実施形態では、各ミップレベルは、前のミップレベルの幅および高さの半分である（例えば、面積の２５％）。ブロック１４１０において、この例示的な例では、異なるミップレベルから生成された配列１１２のペア間の差異が判定されることができ、ブロック１４１２において、判定された差異に基づいて動きベクトル１１２の最終配列が生成されることができる。例えば、ロジックは、異なるミップレベルの動きベクトル１１２の複数の配列にわたる異常を検出することができ、異常な動きベクトルを減衰させる（例えば、ゼロに減少させる）ことができる。入力フレーム１０４の異なるミップレベルを使用して動きベクトル１１２の異なる配列を生成するこの例は、シーン内に繰り返しパターンの広い領域（例えば、壁紙）があり、移動またはアニメーション化するオブジェクトがない場合であっても、ＧＰＵ１１０のビデオ符号化器が動きベクトルの解像度に対する繰り返しパターンの周波数に起因して動きが多いと考えて、大きな動きベクトルを多く生成する可能性がある状況において役立つことができる。したがって、プロセス１４００は、異なるミップレベルの動きベクトル１１２の配列を生成するために使用される場合、繰り返しパターンの異なる周波数にわたる異常を検出するのに役立つことができ、検出される場合、減衰テクスチャを使用して、それらの動きベクトル１１２を減衰する（例えば、ゼロにする）ことができる。
プロセス１４００が使用されることができる方法のさらに別の例として、複数の配列１１２（１）および１１２（２）が異なる解像度で取得され、その差異が、ブロック１４１０において、第１の配列１１２（１）内の単一の動きベクトルを、第２の配列１１２（２）内の複数の対応する動きベクトルと（例えば、方向および／または大きさに関して、第２の配列１１２（２）内の複数の対応する動きベクトルの平均と）比較することによって判定される例を考える。異なる解像度で動きベクトル１１２の配列を使用すると、ブロック１４１２において、動きベクトルの最終配列を生成するのに有用な差異を生み出すことができる。
図１５は、本明細書に開示される実施形態にかかる、画像領域の異なる部分について異なる解像度で動きベクトルの複数の配列を取得するための例示的なプロセス１５００のフロー図である。考察目的で、プロセス１５００が前の図を参照して記載される。さらにまた、図３および図１５のオフページ参照「Ｂ」によって示されるように、プロセス１５００は、図３のブロック３０６における動作の前に実行される動作を表すことができ、プロセス１５００は、いくつかの実施形態では、ブロック３０６～３１４の動作を継続することができる。
１５０２において、ディスプレイシステムのロジック（例えば、ＨＭＤ１００のロジック）は、ＧＰＵ１１０への入力として、以前にレンダリングされたフレーム１０４に関連するピクセルデータ１０８を提供することができる。ブロック１５０２で実行される動作は、プロセス３００のブロック３０２に関して説明されたものと同様とすることができる。
１５０４において、ロジックは、ＧＰＵ１１０から動きベクトルの第１の配列１１２（１）を受信することができ、動きベクトルの第１の配列１１２（１）は、第１の解像度で受信されるか、さもなければ第１の解像度にアップサンプリングまたはダウンサンプリングされる。
１５０６において、ロジックは、動きベクトルの第１の配列１１２（１）に少なくとも部分的に基づいて、ディスプレイにまたがる画像領域１５０５の第１の部分１５０５（Ａ）における動きの欠如を検出することができ、動きベクトルの第１の配列１１２（１）に少なくとも部分的に基づいて、画像領域１５０５の第２の部分１５０５（Ｂ）内のオブジェクト１０６の動きを検出することができる。例えば、非ゼロの動きベクトルは、画像領域１５０５の右半分で検出されることができる一方で、画像領域１５０５の左半分は、非ゼロの動きベクトルのないゼロ値の動きベクトルを含むことができる。
１５０８において、ロジックは、ＧＰＵ１１０への入力として、第１のピクセルデータ１０８（１）の第１の部分（第１のフレーム１０４（１）に関連する）および第２のピクセルデータ１０８（２）の第１の部分（第２のフレーム１０４（２）に関連する）を提供することができる。第１のピクセルデータ１０８（１）の第１の部分および第２のピクセルデータ１０８（２）の第１の部分は、それぞれ、ブロック１５０６において動きの欠如が検出された画像領域１５０５の第１の部分１５０５（Ａ）に対応することができる。
１５１０において、ロジックは、ＧＰＵ１１０から、第１のピクセルデータ１０８（１）の第１の部分および第２のピクセルデータ１０８（２）の第１の部分に少なくとも部分的に基づいて、ＧＰＵ１１０のビデオ符号化器によって生成された動きベクトルの第２の配列１１２（２）を受信することができる。動きベクトルのこの第２の配列１１２（２）は、動きベクトルの第１の配列１１２（１）の第１の解像度よりも高い解像度である第２の解像度で生成されることができる。動きの欠如が検出された画像領域１５０５の第１の部分１５０５（Ａ）についてより高い解像度の動きベクトル場１１２（２）を取得することは、より高い解像度での動きベクトル場１１２（２）が大規模な動きが検出されなかった画像領域１５０５の第１の部分１５０５（Ａ）における小規模な動きを検出するのに役立つことができるという概念に基づくことができる。
１５１２において、ロジックは、ＧＰＵ１１０への入力として、第１のピクセルデータ１０８（１）の第２の部分（第１のフレーム１０４（１）に関連する）および第２のピクセルデータ１０８（２）の第２の部分（第２のフレーム１０４（２）に関連する）を提供することができる。第１のピクセルデータ１０８（１）の第２の部分および第２のピクセルデータ１０８（２）の第２の部分は、それぞれ、ブロック１５０６においてオブジェクト１０６の動きが検出された画像領域１５０５の第２の部分１５０５（Ｂ）に対応することができる。
１５１４において、ロジックは、ＧＰＵ１１０から、第１のピクセルデータ１０８（１）の第２の部分および第２のピクセルデータ１０８（２）の第２の部分に少なくとも部分的に基づいて、ＧＰＵ１１０のビデオ符号化器によって生成された動きベクトルの第３の配列１１２（３）を受信することができる。動きベクトルのこの第３の配列１１２（３）は、動きベクトルの第２の配列１１２（２）の第２の解像度よりも低い解像度である第３の解像度で生成されることができる。動きが検出された画像領域１００５の第２の部分１００５（Ｂ）のこの比較的低解像度の動きベクトル場１１２（３）は、第１の動きベクトル場１１２（１）の第１の解像度で大規模な動きが既に検出されている画像領域１５０５の第２の部分１５０５（Ｂ）の動きを検出するために高解像度の動きベクトル場が必要なくてもよいという概念に基づくことができる。
１５１６において、ロジックは、モーションスムージングのために、動きベクトルの第２の配列１１２（２）および動きベクトルの第３の配列１１２（２）を使用することができる。プロセス１５００は、ブロック１５１６からプロセス３００のブロック３０６まで継続することができ、再投影フレーム１０４（３）のピクセルデータ１０８（３）は、ブロック１５１６からの動きベクトル１１２に基づいて変更される。一例では、モーションスムージングのためにブロック１５１６において動きベクトルの複数の配列を使用することは、プロセス１４００のブロック１４１２を参照して説明された動作を含むことができる。
図１６は、具現化されることができる本明細書に開示される実施形態にかかる、ＶＲヘッドセットなどのＨＭＤ１６００の例示的な構成要素を示している。ＨＭＤ１６００は、前の図で参照したＨＭＤ１００と同一または同様とすることができ、したがって、図１６に示されるＨＭＤ１６００の構成要素は、ＨＭＤ１００に実装されることができる。ＨＭＤ１６００は、ユーザ１０２によって（例えば、ユーザ１０２の頭部に）着用されることになるスタンドアロンデバイスとして実装されることができる。いくつかの実施形態では、ＨＭＤ１６００は、ユーザ１０２が、ユーザ１０２の頭部の周囲に収まるようにサイズ決めされる固設機構（例えば、調整可能バンド）を使用して、ＨＭＤ１６００をユーザの頭部に固設することを可能にすることなどによって、頭部に装着可能とすることができる。いくつかの実施形態では、ＨＭＤ１６００は、ニアアイまたはニアツーアイディスプレイ（複数可）を含む仮想現実（ＶＲ）または拡張現実（ＡＲ）ヘッドセットを含む。したがって、「ウェアラブルデバイス」、「ウェアラブル電子デバイス」、「ＶＲヘッドセット」、「ＡＲヘッドセット」、および「ヘッドマウントディスプレイ（ＨＭＤ）」という用語は、本明細書では互換的に使用されて、図１６のデバイス１６００を指すことができる。しかしながら、これらのタイプのデバイスは、ＨＭＤ１６００の単なる例であることが理解されるべきであり、ＨＭＤ１６００は、様々な他の形態因子で実装されることができることを理解されたい。
例示された実装では、ＨＭＤ１６００は、１つ以上のプロセッサ１６０２およびメモリ１６０４（例えば、コンピュータ可読媒体１６０４）を含む。いくつかの実装では、プロセッサ（複数可）１６０２は、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）（複数可）１１０、ＣＰＵおよびＧＰＵ１１０の双方、マイクロプロセッサ、デジタルシグナルプロセッサ、または当該技術分野で公知の他の処理ユニットもしくは構成要素を含むことができる。代替的に、または追加的に、本明細書で機能的に説明される機能は、少なくとも部分的に、１つ以上のハードウェアロジック構成要素によって実施されることができる。例えば、限定されるものではないが、使用できるハードウェアロジック構成要素の例示的なタイプは、フィールドプログラマブルゲート配列（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システム・オン・チップシステム（ＳＯＣ）、コンプレックスプログラマブルロジック装置（ＣＰＬＤ）などを含む。さらに、各プロセッサ１６０２は、プログラムモジュール、プログラムデータ、および／または１つ以上のオペレーティングシステムも記憶することができる独自のローカルメモリを有することができる。
メモリ１６０４は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの、情報の記憶のための任意の方法または技術で実装される、揮発性および不揮発性メモリ、着脱可能および着脱不能媒体を含むことができる。そのようなメモリは、これらに限定されるものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光メモリ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、ＲＡＩＤストレージシステム、または所望の情報を記憶するために使用することができ、かつコンピューティングデバイスからアクセスすることができる任意の他の媒体を含む。メモリ１６０４は、コンピュータ可読記憶媒体（「ＣＲＳＭ」）として実装され得、これは、メモリ１６０４に記憶された命令を実行するためにプロセッサ（複数可）１６０２によってアクセス可能な任意の利用可能な物理媒体とすることができる。１つの基本的な実装形態では、ＣＲＳＭは、ランダムアクセスメモリ（「ＲＡＭ」）およびフラッシュメモリを含んでもよい。他の実装形態において、ＣＲＳＭは、これらに限定されるものではないが、読み取り専用メモリ（「ＲＯＭ」）、電気的に消去可能なプログラム可能な読み取り専用メモリ（「ＥＥＰＲＯＭ」）、または所望の情報を記憶するために使用することができ、かつプロセッサ（複数可）１６０２によってアクセスすることができる任意の他の有形媒体を含むことができる。
一般に、ＨＭＤ１６００は、本明細書に説明される技術、機能、および／または動作を実装するように構成されるロジック（例えば、ソフトウェア、ハードウェア、および／またはファームウェアなど）を含むことができる。コンピュータ可読媒体１６０４は、命令、データストアなどの、様々なモジュールを含むものとして示され、これらのモジュールは、本明細書に説明される技術、機能、および／または動作を実施するためにプロセッサ（複数可）１６０２上で実行するように構成されることができる。コンピュータ可読媒体１６０４に記憶され、かつプロセッサ（複数可）１６０２上で実行可能なものとして、数個の例示的な機能モジュールが示されているが、同じ機能が、代替的に、ハードウェア、ファームウェア内に、またはシステムオンチップ（ＳＯＣ）および／もしくは他のロジックとして実装されてもよい。
オペレーティングシステムモジュール１６０６は、他のモジュールの便宜のために、ＨＭＤ１６００内でＨＭＤ１６００に連結されたハードウェアを管理するように構成されることができる。さらに、いくつかの事例では、ＨＭＤ１６００は、メモリ１６０４に記憶されているか、または別様にＨＭＤ１６００にアクセス可能な１つ以上のアプリケーション１６０８を含むことができる。この実装では、アプリケーション（複数可）１６０８は、ゲームアプリケーション１６１０を含む。しかしながら、ＨＭＤ１６００は、任意の数またはタイプのアプリケーションを含んでもよく、ここに示される特定の例に限定されない。ゲームアプリケーション１６１０は、ユーザ１０２によってプレイ可能であるビデオベースのインタラクティブゲーム（例えば、ＶＲゲーム）のゲームプレイを開始し、ＨＭＤ１６００のディスプレイパネル上にレンダリングされるべきフレーム（例えば、実際のフレーム１０４）を出力するように構成されることができる。合成器１６１１は、ＨＭＤ１６００の他のロジックと組み合わせて、本明細書に記載のモーションスムージング技術を実行して、モーションスムージングされた再投影フレーム１０４をレンダリングするように構成されることができる。
一般に、ＨＭＤ１６００は、入力デバイス１６１２および出力デバイス１６１４を有する。入力デバイス１６１２は、制御ボタンを含むことができる。いくつかの実装では、１つ以上のマイクロフォンが、ユーザ音声入力などのオーディオ入力を受信するための入力デバイス１６１２として機能することができる。いくつかの実装では、１つ以上のカメラまたは他のタイプのセンサ（例えば、慣性測定ユニット（ＩＭＵ））が、ユーザ１０２の手および／または頭部の動きなどの、ジェスチャ入力を受信するための入力デバイス１６１２として機能することができる。いくつかの実施形態では、追加の入力デバイス１６１２が、キーボード、キーパッド、マウス、タッチスクリーン、ジョイスティックなどの形態で提供されることができる。他の実施形態では、ＨＭＤ１６００は、キーボード、キーパッド、または他の同様の形態の機械的入力を省略してもよい。代わりに、ＨＭＤ１６００は、入力デバイス１６１２の比較的単純な形態、ネットワークインターフェース（無線または有線ベース）、電源、および処理／メモリ機能で実装されることができる。例えば、１つ以上の入力構成要素の限定されたセット（例えば、構成を開始する、電源をオン／オフするなどのための専用ボタン）が用いられることができ、ＨＭＤ１６００は、その後に使用されることができる。一実装では、入力デバイス（複数可）１６１２は、音量を増加／減少させるための基本的な音量制御ボタン（複数可）、ならびに電源およびリセットボタンなどの制御機構を含むことができる。
出力デバイス１６１４は、ディスプレイ１６１６を含むことができ、これは、１つ以上のディスプレイパネル（例えば、ディスプレイパネルのステレオペア）を含むことができる。出力デバイス１６１４は、非限定的に、ライト要素（例えば、ＬＥＤ）、触覚感覚を生み出すためのバイブレータ、スピーカ（複数可）（例えば、ヘッドフォン）などをさらに含むことができる。例えば、電源がオンになっているときなどの状態を示すための単純な光要素（例えば、ＬＥＤ）も存在することができる。
ＨＭＤ１６００は、ネットワークへの無線接続を容易にするために、アンテナ１６２０に連結された無線ユニット１６１８をさらに含むことができる。無線ユニット１６１８は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、無線周波数（ＲＦ）などの、様々な無線技術のうちの１つ以上を実装することができる。ＨＭＤ１６００は、ネットワーク、接続された周辺デバイス（ＰＣ、ゲームコンソールなどを含む）、または他の無線ネットワークと通信するプラグインネットワークデバイスへの有線接続を容易にするための物理ポートをさらに含むことができることを理解されたい。
ＨＭＤ１６００は、１つ以上の光学要素を使用して、電子ディスプレイ（複数可）１６１６からユーザの眼（複数可）に光を向ける光学サブシステム１６２２をさらに含むことができる。光学サブシステム１６２２は、非限定的に、アパーチャ、レンズ（例えば、フレネルレンズ、凸レンズ、凹レンズなど）、フィルタなどを含む、異なる光学要素の様々なタイプおよび組み合わせを含むことができる。いくつかの実施形態では、光学サブシステム１６２２内の１つ以上の光学要素は、反射防止コーティングなどの１つ以上のコーティングを有することができる。光学サブシステム１６２２による画像光の拡大は、電子ディスプレイ（複数可）１６１６が、より大型のディスプレイよりも物理的により小型で、軽量で、より低消費電力であることを可能にする。さらに、画像光の拡大は、表示されたコンテンツ（例えば、画像）の視野（ＦＯＶ）を増加させることができる。例えば、表示されたコンテンツのＦＯＶは、表示されたコンテンツが、ユーザのＦＯＶのほぼ全て（例えば、対角１２０～１５０度）、場合によっては全てを使用して提示されるようなものである。ＡＲアプリケーションは、より狭いＦＯＶ（例えば、約４０度のＦＯＶ）を有していてもよい。光学サブシステム１６２２は、非限定的に、樽型歪み、ピンクッション歪み、縦色収差、横色収差、球面収差、コマ収差、像面湾曲、非点収差などの、１つ以上の光学誤差を補正するように設計されることができる。いくつかの実施形態では、表示のために電子ディスプレイ（複数可）１６１６に提供されるコンテンツは、事前に歪められており、光学サブシステム１６２２は、コンテンツに基づいて生成された、電子ディスプレイ（複数可）１６１６からの画像光を受光するときにその歪みを補正する。
ＨＭＤ１６００は、動き、位置、および配向データを生成するために使用されるセンサなどの、１つ以上のセンサ１６２４をさらに含むことができる。これらのセンサ１６２４は、ジャイロスコープ、加速度計、磁力計、ビデオカメラ、カラーセンサ、または他の動き、位置、および配向センサとすることができるか、またはそれらを含むことができる。センサ１６２４はまた、動き、位置、および配向データを生成するためにカメラまたはカラーセンサによって外部から視認されることができる一連の能動または受動マーカなどの、センサの二次的部分を含むことができる。例えば、ＶＲヘッドセットは、その外部に、外部カメラで見たとき、または光（例えば、赤外光または可視光）で照らしたときに、反射器またはライト（例えば、赤外光または可視光）などの複数のマーカを含むことができ、動き、位置、および配向データを生成するために、ソフトウェアによる解釈のための１つ以上の基準点を提供することができる。ＨＭＤ１６００は、ＨＭＤ１６００の環境内の基地局によって投影または散布される光（例えば、赤外光または可視光）に対して感応性である光センサを含むことができる。
一例では、センサ（複数可）１６２４は、慣性測定ユニット（ＩＭＵ）１６２６を含むことができる。ＩＭＵ１１２６は、加速度計、ジャイロスコープ、磁力計、および／または動きの検出、ＩＭＵ１６２６と関連付けられた誤差の補正、もしくはそれらのいくつかの組み合わせに好適な他のセンサから受信された測定信号に基づいて、較正データを生成する電子デバイスとすることができる。測定信号に基づいて、ＩＭＵ１６２６などの、そのような動きベースのセンサは、ＨＭＤ１６００の初期位置に対するＨＭＤ１６００の推定された位置を示す較正データを生成することができる。例えば、複数の加速度計が並進運動（前方／後方、上／下、左／右）を測定し、複数のジャイロスコープが回転運動（例えば、ピッチ、ヨー、ロール）を測定してもよい。ＩＭＵ１６２６は、例えば、測定信号を迅速にサンプリングし、サンプリングされたデータからＨＭＤ１６００の推定された位置を計算することができる。例えば、ＩＭＵ１６２６は、経時的に加速度計から受信された測定信号を統合して速度ベクトルを推定することができ、経時的に速度ベクトルを統合して、ＨＭＤ１６００上の基準点の推定された位置を判定する。基準点は、ＨＭＤ１６００の位置を説明するために使用されることができる点である。基準点は、一般に、空間内の点として定義されることができるが、様々な実施形態では、基準点は、ＨＭＤ１６００内の点（例えば、ＩＭＵ１６２６の中心）として定義される。代替的に、ＩＭＵ１６２６は、サンプリングされた測定信号を外部コンソール（または他のコンピューティングデバイス）に提供し、外部コンソールが較正データを判定する。
センサ１６２４は、センサデータを高速で提供するために、比較的高い周波数で動作することができる。例えば、センサデータは、１０００Ｈｚのレート（または１ミリ秒ごとに１つのセンサ読み取り）で生成されることができる。このようにして、１秒間に１０００回の読み取りが行われる。センサがこの速度で（またはそれ以上の速度で）これだけのデータを生成する場合、動きを予測するために使用されるデータセットは、数十ミリ秒ほどの比較的短い期間でも非常に大きくなる。
言及されるように、いくつかの実施形態では、センサ１６２４は、３Ｄ空間内のＨＭＤ１６００の位置および／または配向、姿勢などを追跡する目的で、ＨＭＤ１６００の環境内の基地局によって放出される光に対して感応性である光センサを含むことができる。位置および／または配向の計算は、光パルスのタイミング特性、およびセンサ１６２４によって検出される光の有無に基づくことができる。
ＨＭＤ１６００は、眼追跡モジュール１６２８をさらに含むことができる。ＨＭＤ１６００の内部のカメラまたは他の光学センサは、ユーザの眼の画像情報を捕捉することができ、眼追跡モジュール１６２８は、捕捉された情報を使用して、ねじれおよび回転の大きさ（すなわち、ロール、ピッチ、およびヨー）ならびに各眼の注視方向を含む、瞳孔間距離、眼間距離、ＨＭＤ１６００に対する各眼の３次元（３Ｄ）位置を判定することができる（例えば、歪み調整の目的で）。一例では、赤外光が、ＨＭＤ１６００内で放出され、各眼から反射される。反射光は、ＨＭＤ１６００のカメラによって受光または検出され、各眼によって反射された赤外光の変化から眼球回転を抽出するために分析される。ユーザ１０２の眼を追跡するための多くの方法が、眼追跡モジュール１６２８によって使用されることができる。したがって、眼追跡モジュール１６２８は、各眼の最大６自由度（すなわち、３Ｄ位置、ロール、ピッチ、およびヨー）を追跡することができ、追跡された量の少なくともサブセットが、注視点（すなわち、ユーザが見ている仮想シーン内の３Ｄ場所または位置）を推定するためにユーザ１０２の２つの眼から組み合わせられることができる。例えば、眼追跡モジュール１６２８は、過去の測定値からの情報、ユーザ１０２の頭部の位置を識別する測定値、および電子ディスプレイ（複数可）１６１６によって提示されるシーンを記述する３Ｄ情報を統合することができる。したがって、ユーザ１０２の眼の位置および配向の情報は、ユーザ１０２が見ている、ＨＭＤ１６００によって提示された仮想シーン内の注視点を判定するために使用される。
ＨＭＤ１６００は、頭部追跡モジュール１６３０をさらに含むことができる。頭部追跡モジュール１６３０は、上記のように、センサ１６２４のうちの１つ以上を利用して、ユーザ１０２の頭部の回転を含む頭部の動きを追跡することができる。例えば、頭部追跡モジュール１６３０は、ＨＭＤ１６００の最大６自由度（すなわち、３Ｄ位置、ロール、ピッチ、およびヨー）を追跡することができる。これらの計算は、一連のフレーム１０４のフレーム１０４ごとに行われることができるため、アプリケーション１６０８は、頭部の位置および配向に応じて、次のフレーム１０４（再投影フレーム１０４の場合でも）内でシーンをどのようにレンダリングするかを判定することができる。いくつかの実施形態では、頭部追跡モジュール１６３０は、現在および／または過去のデータに基づいて、ＨＭＤ１６００の将来の位置および／または配向を予測するように構成されている。これは、ユーザ１０２がディスプレイ（複数可）１６１６上で光（したがって、画像）を実際に見る前に、アプリケーションがフレーム１０４をレンダリングするように求められるためである。したがって、次のフレーム１０４は、フレーム１０４をレンダリングする前のおよそ２５～３０ミリ秒（ｍｓ）などのより早い時点で行われた、頭部の位置および／または配向のこの将来の予測に基づいて、レンダリングされることができる。頭部追跡モジュール１６３０によって提供される回転データは、任意の好適な測定単位で、ＨＭＤ１６００の回転方向およびＨＭＤ１６００の回転量の双方を判定するために使用されることができる。例えば、回転方向は、左、右、上、および下に対応する正または負の水平方向および正または負の垂直方向の観点で単純化されて出力されることができる。回転量は、度、ラジアンなどの単位であり得る。角速度が、ＨＭＤ１６００の回転速度を判定するために計算されてもよい。
本主題は構造的特徴に特有の言語で説明されているが、添付の特許請求の範囲に定義された主題は、必ずしも説明された特定の特徴に限定されるものではないことを理解されたい。むしろ、特定の特徴は、特許請求の範囲を実装する例解的な形態として開示される。
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
方法であって、
ヘッドマウントディスプレイ（ＨＭＤ）のグラフィックスプロセッシングユニット（ＧＰＵ）への入力として、
アプリケーションから受信した第１のフレームに関連付けられた第１のピクセルデータと、
前記アプリケーションから受信した第２のフレームに関連付けられた第２のピクセルデータと、を提供することであって、
前記第２のフレームが、最後にレンダリングされたフレームであり、前記第１のフレームが、前記第２のフレームの前にレンダリングされたものであることと、
前記ＧＰＵから、前記第１のピクセルデータと前記第２のピクセルデータとの間の比較に少なくとも部分的に基づいて、前記ＧＰＵのビデオ符号化器によって生成された動きベクトルの配列を受信することと、
前記第２のピクセルデータに少なくとも部分的に基づいて、再投影フレームの第３のピクセルデータを生成することと、
前記再投影フレームのレンダリングメッシュを生成することであって、前記レンダリングメッシュが、前記動きベクトルの配列の解像度と一致する解像度で複数の頂点を有するテッセレーションされたメッシュを含むことと、
前記動きベクトルの配列の中の非ゼロ動きベクトルに少なくとも部分的に基づいて、前記非ゼロ動きベクトルの方向の前記複数の頂点のうちの頂点を、移動された頂点として前記レンダリングメッシュ内の異なる位置に移動することと、
前記レンダリングメッシュの前記移動された頂点にしたがって前記第３のピクセルデータを変更して、前記再投影フレームの変更された第３のピクセルデータを取得することと、
前記変更された第３ピクセルデータに少なくとも部分的に基づいて、前記ＨＭＤのディスプレイパネルに前記再投影フレームをレンダリングすることと、を備える、方法。
［２］
前記第２のピクセルデータがフレームバッファに出力される前に、前記第１のピクセルデータが前記フレームバッファに出力され、前記第１のフレームを前記第２のフレームの前にレンダリングさせ、前記変更された第３のピクセルデータが前記フレームバッファに出力される前に、前記第２のピクセルデータが前記フレームバッファに出力され、前記第２のフレームを前記再投影フレームの前にレンダリングさせる、［１］に記載の方法。
［３］
前記ＨＭＤの前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＨＭＤの前記ＧＰＵへの前記入力として、それぞれが前記ディスプレイパネルの１つ以上の端部にあるピクセルのサブセット以外のピクセルに対応する前記第１のピクセルデータの一部および前記第２のピクセルデータの一部を提供することを備える、［１］に記載の方法。
［４］
前記第１のピクセルデータの一部および前記第２のピクセルデータの一部が、それぞれ、前記ディスプレイパネルの周辺にレンダリングされたパネルマスクに対応するデータを表し、前記方法が、さらに、
前記ＨＭＤの頭部追跡モジュールによって提供される回転データに基づいて、前記ＨＭＤが前記第１のフレームのレンダリングと前記第２のフレームのレンダリングとの間で第１の向きから第２の向きに回転したことを判定することと、
前記第１のピクセルデータを変更して、前記第１のフレーム内のシーンを前記ＨＭＤの前記第２の向きに位置合わせする変更された第１のピクセルデータを取得することであって、前記変更された第１のピクセルデータの一部が、前記パネルマスクに対応するデータを表すことと、
前記第２のピクセルデータを変更して、前記第２のフレーム内のシーンを前記ＨＭＤの前記第１の向きに位置合わせする変更された第２のピクセルデータを取得することであって、前記変更された第２のピクセルデータの一部が、前記パネルマスクに対応するデータを表すことと、
前記変更された第１のピクセルデータの一部を前記変更された第２のピクセルデータの一部と組み合わせて、前記パネルマスクに対応する共通のピクセル値を有するピクセルのサブセットを判定することと、を備え、
前記ＨＭＤの前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＨＭＤの前記ＧＰＵへの前記入力として、それぞれが前記ピクセルのサブセット以外のピクセルに対応する前記第１のピクセルデータの特定の部分および第２のピクセルデータの特定の部分を提供することを備える、［１］に記載の方法。
［５］
方法であって、
グラフィックスプロセッシングユニット（ＧＰＵ）への入力として、
アプリケーションから受信した第１のフレームであって、過去にレンダリングされた前記第１のフレームに関連付けられた第１のピクセルデータと、
前記アプリケーションから受信した第２のフレームであって、前記第１のフレームの後に過去にレンダリングされた前記第２のフレームに関連付けられた第２のピクセルデータと、を提供することと、
前記ＧＰＵから、前記第１のピクセルデータおよび前記第２のピクセルデータに少なくとも部分的に基づいて前記ＧＰＵのビデオ符号化器によって生成された動きベクトルの配列を受信することと、
前記第２のピクセルデータに少なくとも部分的に基づいて、再投影フレームの第３のピクセルデータを生成することと、
前記動きベクトルの配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更して、前記再投影フレームの変更された第３のピクセルデータを取得することと、
前記変更された第３のピクセルデータに少なくとも部分的に基づいて、ディスプレイ上に前記再投影フレームをレンダリングすることと、を備える、方法。
［６］
前記第２のピクセルデータがフレームバッファに出力される前に、前記第１のピクセルデータが前記フレームバッファに出力され、前記第１のフレームを前記第２のフレームの前にレンダリングさせ、前記変更された第３のピクセルデータが前記フレームバッファに出力される前に、前記第２のピクセルデータが前記フレームバッファに出力され、前記第２のフレームを前記再投影フレームの前にレンダリングさせる、［５］に記載の方法。
［７］
さらに、
前記再投影フレームのレンダリングメッシュを生成することであって、前記レンダリングメッシュが、複数の頂点を有するテッセレーションされたメッシュを含むことと、
前記動きベクトルの配列の中の非ゼロの動きベクトルに少なくとも部分的に基づいて、前記複数の頂点のうちの頂点を、移動された頂点として前記レンダリングメッシュ内の異なる位置に移動することであって、前記頂点が、（ｉ）前記非ゼロの動きベクトルの方向に、および（ｉｉ）非ゼロの動きベクトルの大きさに対応する量だけ移動されることと、を備え、
前記動きベクトルの配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更することが、前記レンダリングメッシュの前記移動された頂点にしたがって前記第３のピクセルデータのピクセル値を移動して、前記再投影フレームの前記変更された第３のピクセルデータを取得することを備える、［５］に記載の方法。
［８］
前記ディスプレイがヘッドマウントディスプレイ（ＨＭＤ）であり、前記方法が、さらに、
前記ＨＭＤの頭部追跡モジュールによって提供される回転データに基づいて、前記ＨＭＤが前記第１のフレームのレンダリングと前記第２のフレームのレンダリングとの間で第１の向きから第２の向きに回転したことを判定することと、
前記第１のフレーム内のシーンを前記ＨＭＤの前記第２の向きに位置合わせする変更された第１のピクセルデータを取得するために前記第１のピクセルデータ、または
前記第２のフレーム内のシーンを前記ＨＭＤの前記第１の向きに位置合わせする変更された第２のピクセルデータを取得するために前記第２のピクセルデータ、のうちの少なくとも１つを変更することと、を備え、
前記ＨＭＤの前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＨＭＤの前記ＧＰＵへの前記入力として、前記変更された第１のピクセルデータまたは前記変更された第２のピクセルデータのうちの少なくとも１つを提供することを備える、［５］に記載の方法。
［９］
前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＧＰＵへの前記入力として、それぞれが前記ディスプレイの１つ以上の端部にあるピクセルのサブセット以外のピクセルに対応する前記第１のピクセルデータの一部および前記第２のピクセルデータの一部を提供することを備える、［５］に記載の方法。
［１０］
前記ディスプレイがヘッドマウントディスプレイ（ＨＭＤ）であり、前記第１のピクセルデータの一部および前記第２のピクセルデータの一部が、それぞれ、前記ＨＭＤのディスプレイパネルの周辺にレンダリングされたパネルマスクに対応するデータを表し、前記方法が、さらに、
前記ＨＭＤの頭部追跡モジュールによって提供される回転データに基づいて、前記ＨＭＤが前記第１のフレームのレンダリングと前記第２のフレームのレンダリングとの間で第１の向きから第２の向きに回転したことを判定することと、
前記第１のピクセルデータを変更して、前記第１のフレーム内のシーンを前記ＨＭＤの前記第２の向きに位置合わせする変更された第１のピクセルデータを取得することであって、前記変更された第１のピクセルデータの一部が、前記パネルマスクに対応するデータを表すことと、
前記第２のピクセルデータを変更して、前記第２のフレーム内のシーンを前記ＨＭＤの前記第１の向きに位置合わせする変更された第２のピクセルデータを取得することであって、前記変更された第２のピクセルデータの一部が、前記パネルマスクに対応するデータを表すことと、
前記変更された第１のピクセルデータの一部を前記変更された第２のピクセルデータの一部と組み合わせて、前記パネルマスクに対応する共通のピクセル値を有するピクセルのサブセットを判定することと、を備え、
前記ＨＭＤの前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＨＭＤの前記ＧＰＵへの前記入力として、それぞれが前記ピクセルのサブセット以外のピクセルに対応する前記第１のピクセルデータの特定の部分および第２のピクセルデータの特定の部分を提供することを備える、［５］に記載の方法。
［１１］
さらに、
前記動きベクトルの配列の大きさを閾値の大きさと比較することと、
前記動きベクトルの配列の動きベクトルのサブセットが前記閾値の大きさよりも大きい大きさを有することを判定することと、
前記動きベクトルのサブセットの大きさを減らして、動きベクトルの変更された配列を取得することと、を備え、
前記動きベクトルの配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更することが、前記動きベクトルの変更された配列に基づいて前記第３のピクセルデータを変更することを備える、［５］に記載の方法。
［１２］
前記第１のフレームおよび前記第２のフレームが、一連のフレームにおいて連続してレンダリングされた、［５］に記載の方法。
［１３］
前記第１のピクセルデータが、第１の彩度データを含み、前記第２のピクセルデータが、第２の彩度データを含み、前記動きベクトルの配列が、前記第１の彩度データおよび前記第２の彩度データに少なくとも部分的に基づいて前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第１の配列であり、前記方法が、さらに、
前記ＧＰＵへの第２の入力として、
前記第１のフレームに関連付けられた第１の輝度データと、
前記第２のフレームに関連付けられた第２の輝度データと、を提供することと、
前記ＧＰＵから、前記第１の輝度データおよび前記第２の輝度データに少なくとも部分的に基づいて、前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第２の配列を受信することと、
前記動きベクトルの第１の配列および前記動きベクトルの第２の配列の分析に基づいて、前記動きベクトルの第１の配列または前記動きベクトルの第２の配列の１つを動きベクトルの選択された配列として選択することと、を備え、
前記第３のピクセルデータを変更するために使用される前記動きベクトルの配列が、前記動きベクトルの選択された配列を含む、［５］に記載の方法。
［１４］
前記動きベクトルの配列が動きベクトルの第１の配列であり、前記方法が、さらに、
第１の回転量だけ前記第１のフレームを回転させて第１の回転フレームを取得することと、
第２の回転量だけ前記第２のフレームを回転させて第２の回転フレームを取得することと、
前記ＧＰＵへの第２の入力として、
前記第１の回転フレームに関連付けられた第３のピクセルデータと、
前記第２の回転フレームに関連付けられた第４のピクセルデータと、を提供することと、
前記ＧＰＵから、前記第３のピクセルデータおよび前記第４のピクセルデータに少なくとも部分的に基づいて、動きベクトルの第２の配列を受信することと、
前記動きベクトルの第１の配列および前記動きベクトルの第２の配列における動きベクトルの方向または大きさの少なくとも１つの差異を判定することと、
前記差異に少なくとも部分的に基づいて動きベクトルの最終配列を生成することと、を備え、
前記動きベクトルの配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更することが、前記動きベクトルの最終配列に少なくとも部分的に基づいている、［５］に記載の方法。
［１５］
前記動きベクトルの配列が、第１の解像度での動きベクトルの第１の配列であり、前記方法が、さらに、
前記動きベクトルの第１の配列に少なくとも部分的に基づいて、前記ディスプレイにまたがる画像領域の第１の部分における動きの欠如を検出することと、
前記動きベクトルの第１の配列に少なくとも部分的に基づいて、前記画像領域の第２の部分におけるオブジェクトの動きを検出することと、
前記ＧＰＵへの追加入力として、
前記画像領域の前記第１の部分に対応する前記第１のピクセルデータの第１の部分と、
前記画像領域の前記第１の部分に対応する前記第２のピクセルデータの第１の部分と、
前記画像領域の前記第２の部分に対応する前記第１のピクセルデータの第２の部分と、
前記画像領域の前記第２の部分に対応する前記第２のピクセルデータの第２の部分と、を提供することと、
前記ＧＰＵから、前記第１のピクセルデータの前記第１の部分および前記第２のピクセルデータの前記第１の部分に少なくとも部分的に基づいて、前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第２の配列を受信することであって、前記動きベクトルの第２の配列が、前記第１の解像度よりも高い解像度である第２の解像度で生成されることと、
前記ＧＰＵから、前記第１のピクセルデータの前記第２の部分および前記第２のピクセルデータの前記第２の部分に少なくとも部分的に基づいて、前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第３の配列を受信することであって、前記動きベクトルの第３の配列が、前記第２の解像度よりも低い解像度である第３の解像度で生成されることと、を備え、
前記動きベクトルの配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更することが、前記動きベクトルの第２の配列および前記動きベクトルの第３の配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更することを備える、［５］に記載の方法。
［１６］
前記第３のピクセルデータを変更することが、さらに、深度バッファを利用して、前記変更された第３のピクセルデータのフレームバッファのピクセル値の最終セットを判定することを備える、［５］に記載の方法。
［１７］
さらに、
前記動きベクトルの配列にオーバーレイされた減衰テクスチャを生成することと、
前記減衰テクスチャを使用して前記動きベクトルの配列の１つ以上の動きベクトルの大きさを減少させて、動きベクトルの変更された配列を取得することと、を備え、
前記動きベクトルの配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更することが、前記動きベクトルの変更された配列に基づいて前記第３のピクセルデータを変更することを備える、［５］に記載の方法。
［１８］
システムであって、
ディスプレイと、
グラフィックスプロセッシングユニット（ＧＰＵ）と、
ロジックであって、
前記ＧＰＵへの入力として、
アプリケーションから受信した第１のフレームに関連付けられた第１のピクセルデータであって、前記第１のフレームが、以前にレンダリングされている、第１のピクセルデータと、
前記アプリケーションから受信した第２のフレームに関連付けられた第２のピクセルデータであって、前記第２のフレームが、前記第１のフレームの後に以前にレンダリングされている、第２のピクセルデータと、を提供し、
前記ＧＰＵから、前記第１のピクセルデータおよび前記第２のピクセルデータに少なくとも部分的に基づいて前記ＧＰＵのビデオ符号化器によって生成された動きベクトルの配列を受信し、
前記第２のピクセルデータに少なくとも部分的に基づいて、再投影フレームの第３のピクセルデータを生成し、
前記動きベクトルの配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更して、前記再投影フレームの変更された第３のピクセルデータを取得し、
前記変更された第３のピクセルデータに少なくとも部分的に基づいて、前記ディスプレイ上に前記再投影フレームをレンダリングする、ように構成されたロジックと、を備える、システム。
［１９］
前記ロジックが、さらに、
前記第２のピクセルデータがフレームバッファに出力される前に、前記第１のピクセルデータを前記フレームバッファに出力し、前記第１のフレームを前記第２のフレームの前にレンダリングさせ、
前記変更された第３のピクセルデータが前記フレームバッファに出力される前に、前記第２のピクセルデータを前記フレームバッファに出力し、前記第２のフレームを前記再投影フレームの前にレンダリングさせる、ように構成されている、［１８］に記載のシステム。
［２０］
前記ロジックが、さらに、
前記再投影フレームのレンダリングメッシュであって、複数の頂点を有するテッセレーションされたメッシュを含む前記レンダリングメッシュを生成し、
前記動きベクトルの配列の中の非ゼロの動きベクトルに少なくとも部分的に基づいて、前記複数の頂点のうちの頂点を、移動された頂点として前記レンダリングメッシュ内の異なる位置に移動し、前記頂点が、（ｉ）前記非ゼロの動きベクトルの方向に、および（ｉｉ）前記非ゼロの動きベクトルの大きさに対応する量だけ移動される、ように構成されており、
前記動きベクトルの配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更することが、前記レンダリングメッシュの前記移動された頂点にしたがって前記第３のピクセルデータのピクセル値を移動して、前記再投影フレームの前記変更された第３のピクセルデータを取得することを備える、［１８］に記載のシステム。
［２１］
前記ディスプレイがヘッドマウントディスプレイ（ＨＭＤ）であり、前記ロジックが、さらに、
前記ＨＭＤの頭部追跡モジュールによって提供される回転データに基づいて、前記ＨＭＤが前記第１のフレームのレンダリングと前記第２のフレームのレンダリングとの間で第１の向きから第２の向きに回転したことを判定し、
前記第１のフレーム内のシーンを前記ＨＭＤの前記第２の向きに位置合わせする変更された第１のピクセルデータを取得するために前記第１のピクセルデータ、または
前記第２のフレーム内のシーンを前記ＨＭＤの前記第１の向きに位置合わせする変更された第２のピクセルデータを取得するために前記第２のピクセルデータ、のうちの少なくとも１つを変更するように構成されており、
前記ＨＭＤの前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＨＭＤの前記ＧＰＵへの前記入力として、前記変更された第１のピクセルデータまたは前記変更された第２のピクセルデータのうちの少なくとも１つを提供することを備える、［１８］に記載のシステム。
［２２］
前記ロジックが、さらに、
前記第１のピクセルデータと前記第２のピクセルデータとの間の色ピクセル値を比較して、前記動きベクトルの配列内の個々の動きベクトルに対応する個々の色差値を判定し、
閾値色差よりも小さい色差値に関連付けられている動きベクトルのサブセットを判定し、
前記動きベクトルのサブセットの大きさをゼロに減らして、動きベクトルの変更された配列を取得する、ように構成されており、
前記動きベクトルの配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更することが、前記動きベクトルの変更された配列に基づいて前記第３のピクセルデータを変更することを備える、［１８］に記載のシステム。
［２３］
前記第１のピクセルデータが、第１の彩度データを含み、前記第２のピクセルデータが、第２の彩度データを含み、前記動きベクトルの配列が、前記第１の彩度データおよび前記第２の彩度データに少なくとも部分的に基づいて前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第１の配列であり、前記ロジックが、さらに、
前記ＧＰＵへの第２の入力として、
前記第１のフレームに関連付けられた第１の輝度データと、
前記第２のフレームに関連付けられた第２の輝度データと、を提供し、
前記ＧＰＵから、前記第１の輝度データおよび前記第２の輝度データに少なくとも部分的に基づいて、前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第２の配列を受信し、
前記動きベクトルの第１の配列および前記動きベクトルの第２の配列の分析に基づいて、前記動きベクトルの第１の配列または前記動きベクトルの第２の配列の１つを動きベクトルの選択された配列として選択するように構成されており、
前記第３のピクセルデータを変更するために使用される前記動きベクトルの配列が、前記動きベクトルの選択された配列を含む、［１８］に記載のシステム。
［２４］
前記ロジックが、さらに、
動きベクトルの変更された配列を取得するために前記動きベクトルの配列に対するスカラー中央値フィルタ、または
前記動きベクトルの変更された配列を取得するために前記動きベクトルの配列に対する平均最大ぼかしフィルタ、のうちの少なくとも１つを適用するように構成されており、
前記動きベクトルの配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更することが、前記動きベクトルの変更された配列に基づいて前記第３のピクセルデータを変更することを備える、［１８］に記載のシステム。

Claims (24)

  1. 方法であって、
    ヘッドマウントディスプレイ（ＨＭＤ）のグラフィックスプロセッシングユニット（ＧＰＵ）への入力として、
    アプリケーションから受信した第１のフレームに関連付けられた第１のピクセルデータと、
    前記アプリケーションから受信した第２のフレームに関連付けられた第２のピクセルデータと、を提供することであって、
    前記第２のフレームが、最後にレンダリングされたフレームであり、前記第１のフレームが、前記第２のフレームの前にレンダリングされたものであることと、
    前記ＧＰＵから、前記第１のピクセルデータと前記第２のピクセルデータとの間の比較に少なくとも部分的に基づいて、前記ＧＰＵのビデオ符号化器によって生成された動きベクトルの配列を受信することと、
    前記第２のピクセルデータに少なくとも部分的に基づいて、再投影フレームの第３のピクセルデータを生成することと、
    前記再投影フレームのレンダリングメッシュを生成することであって、前記レンダリングメッシュが、前記動きベクトルの配列の解像度と一致する解像度で複数の頂点を有するテッセレーションされたメッシュを含むことと、
    前記動きベクトルの配列の中の非ゼロ動きベクトルに少なくとも部分的に基づいて、前記非ゼロ動きベクトルの方向の前記複数の頂点のうちの頂点を、移動された頂点として前記レンダリングメッシュ内の異なる位置に移動することと、
    前記レンダリングメッシュの前記移動された頂点にしたがって前記第３のピクセルデータを変更して、前記再投影フレームの変更された第３のピクセルデータを取得することと、
    前記変更された第３ピクセルデータに少なくとも部分的に基づいて、前記ＨＭＤのディスプレイパネルに前記再投影フレームをレンダリングすることと、を備える、方法。
  2. 前記第２のピクセルデータがフレームバッファに出力される前に、前記第１のピクセルデータが前記フレームバッファに出力され、前記第１のフレームを前記第２のフレームの前にレンダリングさせ、前記変更された第３のピクセルデータが前記フレームバッファに出力される前に、前記第２のピクセルデータが前記フレームバッファに出力され、前記第２のフレームを前記再投影フレームの前にレンダリングさせる、請求項１に記載の方法。
  3. 前記ＨＭＤの前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＨＭＤの前記ＧＰＵへの前記入力として、それぞれが前記ディスプレイパネルの１つ以上の端部にあるピクセルのサブセット以外のピクセルに対応する前記第１のピクセルデータの一部および前記第２のピクセルデータの一部を提供することを備える、請求項１に記載の方法。
  4. 前記第１のピクセルデータの一部および前記第２のピクセルデータの一部が、それぞれ、前記ディスプレイパネルの周辺にレンダリングされたパネルマスクに対応するデータを表し、前記方法が、さらに、
    前記ＨＭＤの頭部追跡モジュールによって提供される回転データに基づいて、前記ＨＭＤが前記第１のフレームのレンダリングと前記第２のフレームのレンダリングとの間で第１の向きから第２の向きに回転したことを判定することと、
    前記第１のピクセルデータを変更して、前記第１のフレーム内のシーンを前記ＨＭＤの前記第２の向きに位置合わせする変更された第１のピクセルデータを取得することであって、前記変更された第１のピクセルデータの一部が、前記パネルマスクに対応するデータを表すことと、
    前記第２のピクセルデータを変更して、前記第２のフレーム内のシーンを前記ＨＭＤの前記第１の向きに位置合わせする変更された第２のピクセルデータを取得することであって、前記変更された第２のピクセルデータの一部が、前記パネルマスクに対応するデータを表すことと、
    前記変更された第１のピクセルデータの一部を前記変更された第２のピクセルデータの一部と組み合わせて、前記パネルマスクに対応する共通のピクセル値を有するピクセルのサブセットを判定することと、を備え、
    前記ＨＭＤの前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＨＭＤの前記ＧＰＵへの前記入力として、それぞれが前記ピクセルのサブセット以外のピクセルに対応する前記第１のピクセルデータの特定の部分および第２のピクセルデータの特定の部分を提供することを備える、請求項１に記載の方法。
  5. 方法であって、
    グラフィックスプロセッシングユニット（ＧＰＵ）への入力として、
    アプリケーションから受信した第１のフレームであって、過去にレンダリングされた前記第１のフレームに関連付けられた第１のピクセルデータと、
    前記アプリケーションから受信した第２のフレームであって、前記第１のフレームの後に過去にレンダリングされた前記第２のフレームに関連付けられた第２のピクセルデータと、を提供することと、
    前記ＧＰＵから、前記第１のピクセルデータおよび前記第２のピクセルデータに少なくとも部分的に基づいて前記ＧＰＵのビデオ符号化器によって生成された動きベクトルの配列を受信することと、
    前記動きベクトルの配列にオーバーレイされた減衰テクスチャを生成することと、
    前記減衰テクスチャを使用して前記動きベクトルの配列の１つ以上の動きベクトルの大きさを減少させて、動きベクトルの変更された配列を取得することと、
    前記第２のピクセルデータに少なくとも部分的に基づいて、再投影フレームの第３のピクセルデータを生成することと、
    前記動きベクトルの変更された配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更して、前記再投影フレームの変更された第３のピクセルデータを取得することと、
    前記変更された第３のピクセルデータに少なくとも部分的に基づいて、ディスプレイ上に前記再投影フレームをレンダリングすることと、を備える、方法。
  6. 前記第２のピクセルデータがフレームバッファに出力される前に、前記第１のピクセルデータが前記フレームバッファに出力され、前記第１のフレームを前記第２のフレームの前にレンダリングさせ、前記変更された第３のピクセルデータが前記フレームバッファに出力される前に、前記第２のピクセルデータが前記フレームバッファに出力され、前記第２のフレームを前記再投影フレームの前にレンダリングさせる、請求項５に記載の方法。
  7. さらに、
    前記再投影フレームのレンダリングメッシュを生成することであって、前記レンダリングメッシュが、複数の頂点を有するテッセレーションされたメッシュを含むことと、
    前記動きベクトルの変更された配列の中の非ゼロの動きベクトルに少なくとも部分的に基づいて、前記複数の頂点のうちの頂点を、移動された頂点として前記レンダリングメッシュ内の異なる位置に移動することと、を備え、
    前記動きベクトルの変更された配列に少なくとも部分的に基づいて前記第３のピクセルデータを変更することが、前記レンダリングメッシュの前記移動された頂点にしたがって前記第３のピクセルデータのピクセル値を移動して、前記再投影フレームの前記変更された第３のピクセルデータを取得することを備える、請求項５に記載の方法。
  8. 前記ディスプレイがヘッドマウントディスプレイ（ＨＭＤ）であり、前記方法が、さらに、
    前記ＨＭＤの頭部追跡モジュールによって提供される回転データに基づいて、前記ＨＭＤが前記第１のフレームのレンダリングと前記第２のフレームのレンダリングとの間で第１の向きから第２の向きに回転したことを判定することと、
    前記第１のフレーム内のシーンを前記ＨＭＤの前記第２の向きに位置合わせする変更された第１のピクセルデータを取得するために前記第１のピクセルデータ、または
    前記第２のフレーム内のシーンを前記ＨＭＤの前記第１の向きに位置合わせする変更された第２のピクセルデータを取得するために前記第２のピクセルデータ、のうちの少なくとも１つを変更することと、を備え、
    前記ＨＭＤの前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＨＭＤの前記ＧＰＵへの前記入力として、前記変更された第１のピクセルデータまたは前記変更された第２のピクセルデータのうちの少なくとも１つを提供することを備える、請求項５に記載の方法。
  9. 前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＧＰＵへの前記入力として、それぞれが前記ディスプレイの１つ以上の端部にあるピクセルのサブセット以外のピクセルに対応する前記第１のピクセルデータの一部および前記第２のピクセルデータの一部を提供することを備える、請求項５に記載の方法。
  10. 前記ディスプレイがヘッドマウントディスプレイ（ＨＭＤ）であり、前記第１のピクセルデータの一部および前記第２のピクセルデータの一部が、それぞれ、前記ＨＭＤのディスプレイパネルの周辺にレンダリングされたパネルマスクに対応するデータを表し、前記方法が、さらに、
    前記ＨＭＤの頭部追跡モジュールによって提供される回転データに基づいて、前記ＨＭＤが前記第１のフレームのレンダリングと前記第２のフレームのレンダリングとの間で第１の向きから第２の向きに回転したことを判定することと、
    前記第１のピクセルデータを変更して、前記第１のフレーム内のシーンを前記ＨＭＤの前記第２の向きに位置合わせする変更された第１のピクセルデータを取得することであって、前記変更された第１のピクセルデータの一部が、前記パネルマスクに対応するデータを表すことと、
    前記第２のピクセルデータを変更して、前記第２のフレーム内のシーンを前記ＨＭＤの前記第１の向きに位置合わせする変更された第２のピクセルデータを取得することであって、前記変更された第２のピクセルデータの一部が、前記パネルマスクに対応するデータを表すことと、
    前記変更された第１のピクセルデータの一部を前記変更された第２のピクセルデータの一部と組み合わせて、前記パネルマスクに対応する共通のピクセル値を有するピクセルのサブセットを判定することと、を備え、
    前記ＨＭＤの前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＨＭＤの前記ＧＰＵへの前記入力として、それぞれが前記ピクセルのサブセット以外のピクセルに対応する前記第１のピクセルデータの特定の部分および第２のピクセルデータの特定の部分を提供することを備える、請求項５に記載の方法。
  11. さらに、
    前記動きベクトルの配列の大きさを閾値の大きさと比較することと、
    前記動きベクトルの配列の動きベクトルのサブセットが前記閾値の大きさよりも大きい大きさを有することを判定することと、
    前記動きベクトルのサブセットの大きさを減らして、前記動きベクトルの変更された配列を取得することと、を備える、請求項５に記載の方法。
  12. 前記第１のフレームおよび前記第２のフレームが、一連のフレームにおいて連続してレンダリングされた、請求項５に記載の方法。
  13. 前記第１のピクセルデータが、第１の彩度データを含み、前記第２のピクセルデータが、第２の彩度データを含み、前記動きベクトルの配列が、前記第１の彩度データおよび前記第２の彩度データに少なくとも部分的に基づいて前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第１の配列であり、前記方法が、さらに、
    前記ＧＰＵへの第２の入力として、
    前記第１のフレームに関連付けられた第１の輝度データと、
    前記第２のフレームに関連付けられた第２の輝度データと、を提供することと、
    前記ＧＰＵから、前記第１の輝度データおよび前記第２の輝度データに少なくとも部分的に基づいて、前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第２の配列を受信することと、
    前記動きベクトルの第１の配列および前記動きベクトルの第２の配列の分析に基づいて、前記動きベクトルの第１の配列または前記動きベクトルの第２の配列の１つを動きベクトルの選択された配列として選択することと、を備え、
    前記第３のピクセルデータを変更するために使用される前記動きベクトルの変更された配列が、前記動きベクトルの選択された配列に基づいている、請求項５に記載の方法。
  14. 前記動きベクトルの配列が動きベクトルの第１の配列であり、前記方法が、さらに、
    第１の回転量だけ前記第１のフレームを回転させて第１の回転フレームを取得することと、
    第２の回転量だけ前記第２のフレームを回転させて第２の回転フレームを取得することと、
    前記ＧＰＵへの第２の入力として、
    前記第１の回転フレームに関連付けられた第３のピクセルデータと、
    前記第２の回転フレームに関連付けられた第４のピクセルデータと、を提供することと、
    前記ＧＰＵから、前記第３のピクセルデータおよび前記第４のピクセルデータに少なくとも部分的に基づいて、動きベクトルの第２の配列を受信することと、
    前記動きベクトルの第１の配列および前記動きベクトルの第２の配列における動きベクトルの方向または大きさの少なくとも１つの差異を判定することと、
    前記差異に少なくとも部分的に基づいて動きベクトルの最終配列を生成することと、を備え、
    前記第３のピクセルデータを変更するために使用される前記動きベクトルの変更された配列が、前記動きベクトルの最終配列に基づいている、請求項５に記載の方法。
  15. 前記動きベクトルの配列が、第１の解像度での動きベクトルの第１の配列であり、前記方法が、さらに、
    前記動きベクトルの第１の配列に少なくとも部分的に基づいて、前記ディスプレイにまたがる画像領域の第１の部分における動きの欠如を検出することと、
    前記動きベクトルの第１の配列に少なくとも部分的に基づいて、前記画像領域の第２の部分におけるオブジェクトの動きを検出することと、
    前記ＧＰＵへの追加入力として、
    前記画像領域の前記第１の部分に対応する前記第１のピクセルデータの第１の部分と、
    前記画像領域の前記第１の部分に対応する前記第２のピクセルデータの第１の部分と、
    前記画像領域の前記第２の部分に対応する前記第１のピクセルデータの第２の部分と、
    前記画像領域の前記第２の部分に対応する前記第２のピクセルデータの第２の部分と、を提供することと、
    前記ＧＰＵから、前記第１のピクセルデータの前記第１の部分および前記第２のピクセルデータの前記第１の部分に少なくとも部分的に基づいて、前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第２の配列を受信することであって、前記動きベクトルの第２の配列が、前記第１の解像度よりも高い解像度である第２の解像度で生成されることと、
    前記ＧＰＵから、前記第１のピクセルデータの前記第２の部分および前記第２のピクセルデータの前記第２の部分に少なくとも部分的に基づいて、前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第３の配列を受信することであって、前記動きベクトルの第３の配列が、前記第２の解像度よりも低い解像度である第３の解像度で生成されることと、を備え、
    前記第３のピクセルデータを変更するために使用される前記動きベクトルの変更された配列が、前記動きベクトルの第２の配列および前記動きベクトルの第３の配列に基づいて前記第３のピクセルデータを変更することを備える、請求項５に記載の方法。
  16. 前記第３のピクセルデータを変更することが、さらに、深度バッファを利用して、前記変更された第３のピクセルデータのフレームバッファのピクセル値の最終セットを判定することを備える、請求項５に記載の方法。
  17. システムであって、
    ディスプレイと、
    グラフィックスプロセッシングユニット（ＧＰＵ）と、
    ロジックであって、
    前記ＧＰＵへの入力として、
    アプリケーションから受信した第１のフレームに関連付けられた第１のピクセルデータであって、前記第１のフレームが、以前にレンダリングされている、第１のピクセルデータと、
    前記アプリケーションから受信した第２のフレームに関連付けられた第２のピクセルデータであって、前記第２のフレームが、前記第１のフレームの後に以前にレンダリングされている、第２のピクセルデータと、を提供し、
    前記ＧＰＵから、前記第１のピクセルデータおよび前記第２のピクセルデータに少なくとも部分的に基づいて前記ＧＰＵのビデオ符号化器によって生成された動きベクトルの配列を受信し、
    前記第２のピクセルデータに少なくとも部分的に基づいて、再投影フレームの第３のピクセルデータを生成し、
    前記再投影フレームのレンダリングメッシュを生成し、
    前記動きベクトルの配列のうちの非ゼロの動きベクトルに少なくとも部分的に基づいて、移動した頂点として、前記レンダリングメッシュのうちの異なる位置に前記レンダリングメッシュの頂点を移動し、
    前記レンダリングメッシュの前記移動した頂点に少なくとも部分的に基づいて前記第３のピクセルデータを変更して、前記再投影フレームの変更された第３のピクセルデータを取得し、
    前記変更された第３のピクセルデータに少なくとも部分的に基づいて、前記ディスプレイ上に前記再投影フレームをレンダリングする、ように構成されたロジックと、を備える、システム。
  18. 前記ロジックが、さらに、
    前記第２のピクセルデータがフレームバッファに出力される前に、前記第１のピクセルデータを前記フレームバッファに出力し、前記第１のフレームを前記第２のフレームの前にレンダリングさせ、
    前記変更された第３のピクセルデータが前記フレームバッファに出力される前に、前記第２のピクセルデータを前記フレームバッファに出力し、前記第２のフレームを前記再投影フレームの前にレンダリングさせる、ように構成されている、請求項１７に記載のシステム。
  19. 前記レンダリングメッシュは、前記頂点を含む複数の頂点を有するテッセレーションされたメッシュと、
    （ｉ）前記非ゼロの動きベクトルの方向に、および（ｉｉ）前記非ゼロの動きベクトルの大きさに対応する量だけ移動される、前記頂点と、
    前記レンダリングメッシュの前記移動された頂点にしたがって前記第３のピクセルデータのピクセル値を移動して、前記再投影フレームの前記変更された第３のピクセルデータを取得することを備える、前記レンダリングメッシュの前記移動された頂点に少なくとも部分的に基づいて前記第３のピクセルデータを変更することと、を含む、請求項１７に記載のシステム。
  20. 前記ディスプレイがヘッドマウントディスプレイ（ＨＭＤ）であり、前記ロジックが、さらに、
    前記ＨＭＤの頭部追跡モジュールによって提供される回転データに基づいて、前記ＨＭＤが前記第１のフレームのレンダリングと前記第２のフレームのレンダリングとの間で第１の向きから第２の向きに回転したことを判定し、
    前記第１のフレーム内のシーンを前記ＨＭＤの前記第２の向きに位置合わせする変更された第１のピクセルデータを取得するために前記第１のピクセルデータ、または
    前記第２のフレーム内のシーンを前記ＨＭＤの前記第１の向きに位置合わせする変更された第２のピクセルデータを取得するために前記第２のピクセルデータ、のうちの少なくとも１つを変更するように構成されており、
    前記ＨＭＤの前記ＧＰＵへの前記入力として、前記第１のピクセルデータおよび前記第２のピクセルデータを提供することが、前記ＨＭＤの前記ＧＰＵへの前記入力として、前記変更された第１のピクセルデータまたは前記変更された第２のピクセルデータのうちの少なくとも１つを提供することを備える、請求項１７に記載のシステム。
  21. 前記ロジックが、さらに、
    前記第１のピクセルデータと前記第２のピクセルデータとの間の色ピクセル値を比較して、前記動きベクトルの配列内の個々の動きベクトルに対応する個々の色差値を判定し、
    閾値色差よりも小さい色差値に関連付けられている動きベクトルのサブセットを判定し、
    前記動きベクトルのサブセットの大きさをゼロに減らして、動きベクトルの変更された配列を取得する、ように構成されており、
    前記非ゼロの動きベクトルの配列に少なくとも部分的に基づいて前記レンダリングメッシュの前記頂点を移動することが、前記動きベクトルの変更された配列のうちの非ゼロの動きベクトルに基づいて前記第３のピクセルデータを変更することを備える、請求項１７に記載のシステム。
  22. 前記第１のピクセルデータが、第１の彩度データを含み、前記第２のピクセルデータが、第２の彩度データを含み、前記動きベクトルの配列が、前記第１の彩度データおよび前記第２の彩度データに少なくとも部分的に基づいて前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第１の配列であり、前記ロジックが、さらに、
    前記ＧＰＵへの第２の入力として、
    前記第１のフレームに関連付けられた第１の輝度データと、
    前記第２のフレームに関連付けられた第２の輝度データと、を提供し、
    前記ＧＰＵから、前記第１の輝度データおよび前記第２の輝度データに少なくとも部分的に基づいて、前記ＧＰＵの前記ビデオ符号化器によって生成された動きベクトルの第２の配列を受信し、
    前記動きベクトルの第１の配列および前記動きベクトルの第２の配列の分析に基づいて、前記動きベクトルの第１の配列または前記動きベクトルの第２の配列の１つを動きベクトルの選択された配列として選択するように構成されており、
    前記レンダリングメッシュの前記頂点を移動するために使用される前記非ゼロの動きベクトルの配列が、非ゼロの動きベクトルのうちの前記動きベクトルの選択された配列を含む、請求項１７に記載のシステム。
  23. 前記ロジックが、さらに、
    動きベクトルの変更された配列を取得するために前記動きベクトルの配列に対するスカラー中央値フィルタ、または
    前記動きベクトルの変更された配列を取得するために前記動きベクトルの配列に対する平均最大ぼかしフィルタ、のうちの少なくとも１つを適用するように構成されており、
    前記非ゼロの動きベクトルに少なくとも部分的に基づいて前記レンダリングメッシュの前記頂点を移動することが、前記動きベクトルの変更された配列のうちの非ゼロの動きベクトルに基づいて前記第３のピクセルデータを変更することを備える、請求項１７に記載のシステム。
  24. 前記第１のピクセルデータと前記第２のピクセルデータとの間の色ピクセル値を比較して、前記動きベクトルの配列内の個々の動きベクトルに対応する個々の色差値を決定することと、
    閾値色差未満の色差値に関連付けられた動きベクトルのサブセットを決定し、
    前記動きベクトルのサブセットの大きさをゼロまで減少させて、前記動きベクトルの変更された配列を取得することと、をさらに含む、請求項５に記載の方法。
JP2021519155A 2018-10-09 2019-09-27 再投影フレームのモーションスムージング Active JP7395577B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/155,686 US10733783B2 (en) 2018-10-09 2018-10-09 Motion smoothing for re-projected frames
US16/155,686 2018-10-09
PCT/US2019/053528 WO2020076526A1 (en) 2018-10-09 2019-09-27 Motion smoothing for re-projected frames

Publications (3)

Publication Number Publication Date
JP2022504475A JP2022504475A (ja) 2022-01-13
JPWO2020076526A5 JPWO2020076526A5 (ja) 2022-10-03
JP7395577B2 true JP7395577B2 (ja) 2023-12-11

Family

ID=70052297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021519155A Active JP7395577B2 (ja) 2018-10-09 2019-09-27 再投影フレームのモーションスムージング

Country Status (6)

Country Link
US (1) US10733783B2 (ja)
EP (1) EP3857885A4 (ja)
JP (1) JP7395577B2 (ja)
KR (1) KR102641272B1 (ja)
CN (1) CN113170136B (ja)
WO (1) WO2020076526A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US10319064B2 (en) 2017-04-10 2019-06-11 Intel Corporation Graphics anti-aliasing resolve with stencil mask
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US10861215B2 (en) * 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
US11381825B2 (en) * 2018-11-27 2022-07-05 Advanced Micro Devices, Inc. Variable rate rendering based on motion estimation
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11039061B2 (en) 2019-05-15 2021-06-15 Microsoft Technology Licensing, Llc Content assistance in a three-dimensional environment
US11030822B2 (en) * 2019-05-15 2021-06-08 Microsoft Technology Licensing, Llc Content indicators in a 3D environment authoring application
US11138804B2 (en) 2019-08-02 2021-10-05 Fmr Llc Intelligent smoothing of 3D alternative reality applications for secondary 2D viewing
US11948242B2 (en) 2019-08-02 2024-04-02 Fmr Llc Intelligent smoothing of 3D alternative reality applications for secondary 2D viewing
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
US11363247B2 (en) 2020-02-14 2022-06-14 Valve Corporation Motion smoothing in a distributed system
US20220345678A1 (en) * 2021-04-21 2022-10-27 Microsoft Technology Licensing, Llc Distributed Virtual Reality
US11587208B2 (en) * 2021-05-26 2023-02-21 Qualcomm Incorporated High quality UI elements with frame extrapolation
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion
EP4224289A1 (en) * 2022-02-08 2023-08-09 Nokia Technologies Oy Mediated reality
CN118057460A (zh) * 2022-11-21 2024-05-21 荣耀终端有限公司 图像处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035706A1 (en) 2005-06-20 2007-02-15 Digital Display Innovations, Llc Image and light source modulation for a digital display system
JP2012073350A (ja) 2010-09-28 2012-04-12 Canon Inc 映像制御装置、及び映像制御方法
US20140307787A1 (en) 2013-04-15 2014-10-16 Santa Clara University Method and apparatus of depth prediction mode selection
US20180041768A1 (en) 2015-02-24 2018-02-08 Lg Electronics Inc. Polygon unit-based image processing method, and device for same
US20190045213A1 (en) 2017-08-03 2019-02-07 Intel Corporation Reference frame reprojection for improved video coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466185B2 (en) 1998-04-20 2002-10-15 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
JP4408779B2 (ja) * 2004-09-15 2010-02-03 キヤノン株式会社 画像処理装置
CA2676219C (en) 2007-01-23 2017-10-24 Euclid Discoveries, Llc Computer method and apparatus for processing image data
JP2008252591A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
US8208551B2 (en) * 2007-10-31 2012-06-26 Broadcom Corporation Method and system for hierarchically layered adaptive median motion vector smoothing
US20120021828A1 (en) 2010-02-24 2012-01-26 Valve Corporation Graphical user interface for modification of animation data using preset animation samples
US8624891B2 (en) 2011-01-17 2014-01-07 Disney Enterprises, Inc. Iterative reprojection of images
US9277129B2 (en) 2013-06-07 2016-03-01 Apple Inc. Robust image feature based video stabilization and smoothing
CN105794210B (zh) * 2013-12-06 2019-05-10 联发科技股份有限公司 视频编码系统中用于边界像素的运动补偿预测方法及装置
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US10037620B2 (en) * 2015-05-29 2018-07-31 Nvidia Corporation Piecewise linear irregular rasterization
GB2539042B (en) * 2015-06-05 2019-08-21 Imagination Tech Ltd Tessellation method using displacement factors
WO2017031268A1 (en) * 2015-08-19 2017-02-23 Valve Corporation Systems and methods for detection and/or correction of pixel luminosity and/or chrominance response variation in displays
US10026212B2 (en) * 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US10129523B2 (en) * 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
US10297086B2 (en) * 2016-07-04 2019-05-21 Liquid Cinema Inc. System and method for processing digital video
US10861215B2 (en) * 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035706A1 (en) 2005-06-20 2007-02-15 Digital Display Innovations, Llc Image and light source modulation for a digital display system
JP2012073350A (ja) 2010-09-28 2012-04-12 Canon Inc 映像制御装置、及び映像制御方法
US20140307787A1 (en) 2013-04-15 2014-10-16 Santa Clara University Method and apparatus of depth prediction mode selection
US20180041768A1 (en) 2015-02-24 2018-02-08 Lg Electronics Inc. Polygon unit-based image processing method, and device for same
US20190045213A1 (en) 2017-08-03 2019-02-07 Intel Corporation Reference frame reprojection for improved video coding

Also Published As

Publication number Publication date
KR102641272B1 (ko) 2024-02-27
KR20210071015A (ko) 2021-06-15
EP3857885A4 (en) 2022-06-22
EP3857885A1 (en) 2021-08-04
US20200111195A1 (en) 2020-04-09
JP2022504475A (ja) 2022-01-13
US10733783B2 (en) 2020-08-04
CN113170136A (zh) 2021-07-23
WO2020076526A1 (en) 2020-04-16
CN113170136B (zh) 2024-04-23

Similar Documents

Publication Publication Date Title
JP7395577B2 (ja) 再投影フレームのモーションスムージング
CN115088254A (zh) 分布式系统中的运动平滑
US11151776B2 (en) Prediction and throttling adjustments based on application rendering performance
US9832451B2 (en) Methods for reduced-bandwidth wireless 3D video transmission
EP2854099B1 (en) Information processing device and information processing method
CN113272715B (zh) 基于眼睛跟踪的动态渲染时间确定
US10121221B2 (en) Method and apparatus to accelerate rendering of graphics images
US10948730B2 (en) Dynamic panel masking
US11343486B2 (en) Counterrotation of display panels and/or virtual cameras in a HMD
JP7150134B2 (ja) ヘッドマウントディスプレイおよび画像表示方法
CN114026603B (zh) 渲染计算机生成现实文本
US20230306676A1 (en) Image generation device and image generation method
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
CN111612915A (zh) 渲染对象以匹配相机噪声

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231129

R150 Certificate of patent or registration of utility model

Ref document number: 7395577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150