JP7033617B2 - 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること - Google Patents

複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること Download PDF

Info

Publication number
JP7033617B2
JP7033617B2 JP2020005290A JP2020005290A JP7033617B2 JP 7033617 B2 JP7033617 B2 JP 7033617B2 JP 2020005290 A JP2020005290 A JP 2020005290A JP 2020005290 A JP2020005290 A JP 2020005290A JP 7033617 B2 JP7033617 B2 JP 7033617B2
Authority
JP
Japan
Prior art keywords
pixel
screen
metadata
active
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020005290A
Other languages
English (en)
Other versions
JP2020091877A (ja
Inventor
バーゴフ、トビアス
Original Assignee
ソニー・インタラクティブエンタテインメント エルエルシー
ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー・インタラクティブエンタテインメント エルエルシー, ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド filed Critical ソニー・インタラクティブエンタテインメント エルエルシー
Publication of JP2020091877A publication Critical patent/JP2020091877A/ja
Priority to JP2021050413A priority Critical patent/JP7112549B2/ja
Application granted granted Critical
Publication of JP7033617B2 publication Critical patent/JP7033617B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

［関連出願の相互参照］
本出願は、本出願と同じ日に出願され、その全体の内容が参照により本明細書に組込まれる、「ＭＥＴＨＯＤ ＦＯＲ ＥＦＦＩＣＩＥＮＴ ＣＯＮＳＴＲＵＣＴＩＯＮ ＯＦ ＨＩＧＨ ＲＥＳＯＬＵＴＩＯＮ ＤＩＳＰＬＡＹ ＢＵＦＦＥＲＳ（高解像度ディスプレイ・バッファの効果的な製造方法）」という名称のＴｏｂｉａｓ Ｂｅｒｇｈｏｆｆによる、同一出願人による同時係属中の米国特許出願第１４／２４６，０６４号（代理人文書番号第ＳＣＥＡ１３０５５ＵＳ００）に関連する。
本出願は、２０１４年４月５日に出願され、その全体の内容が参照により本明細書に組込まれる、「ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＥＮＨＡＮＣＥＭＥＮＴ ＢＹ ＴＲＡＣＫＩＮＧ ＯＢＪＥＣＴ ＡＮＤ／ＯＲ ＰＲＩＭＩＴＩＶＥ ＩＤＥＮＴＩＦＩＥＲＳ（物体追跡及び／またはプリミティブ識別子によるグラフィック処理向上）」という名称のＴｏｂｉａｓ Ｂｅｒｇｈｏｆｆによる、同一出願人による同時係属中の米国特許出願第１４／２４６，０６７号（代理人文書番号第ＳＣＥＡ１３０５６ＵＳ００）に関連する。
本出願は、２０１４年４月５日に出願され、その全体の内容が参照により本明細書に組込まれる、「ＧＲＡＤＩＥＮＴ ＡＤＪＵＳＴＭＥＮＴ ＦＯＲ ＴＥＸＴＵＲＥ ＭＡＰＰＩＮＧ ＴＯ ＮＯＮ－ＯＲＴＨＯＮＯＲＭＡＬ ＧＲＩＤ（非正規直交性格子に対するテキスチャマッピングの傾き調整）」という名称のＭａｒｋ Ｅｖａｎ Ｃｅｒｎｙによる、同一出願人による同時係属中の米国特許出願第１４／２４６，０６８号（代理人文書番号第ＳＣＥＡ１３０５７ＵＳ００）に関連する。
本出願は、２０１４年４月５日に出願され、その全体の内容が参照により本明細書に組込まれる、「ＶＡＲＹＩＮＧ ＥＦＦＥＣＴＩＶＥ ＲＥＳＯＬＵＴＩＯＮ ＢＹ ＳＣＲＥＥＮ ＬＯＣＡＴＩＯＮ ＢＹ ＡＬＴＥＲＩＮＧ ＲＡＳＴＥＲＩＺＡＴＩＯＮ ＰＡＲＡＭＥＴＥＲＳ（ラスター化パラメータを変更することによりスクリーンの位置によって変化する有効解像度）」という名称のＭａｒｋ Ｅｖａｎ Ｃｅｒｎｙによる、同一出願人による同時係属中の米国特許出願第１４／２４６，０６３号（代理人文書番号第ＳＣＥＡ１３０５９ＵＳ００）に関連する。
本出願は、２０１４年４月５日に出願され、その全体の内容が参照により本明細書に組込まれる、「ＶＡＲＹＩＮＧ ＥＦＦＥＣＴＩＶＥ ＲＥＳＯＬＵＴＩＯＮ ＢＹ ＳＣＲＥＥＮ ＬＯＣＡＴＩＯＮ ＩＮ ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＢＹ ＡＰＰＲＯＸＩＭＡＴＩＮＧ ＰＲＯＪＥＣＴＩＯＮ ＯF ＶＥＲＴＩＣＥＳ ＯＮＴＯ ＣＵＲＶＥＤ ＶＩＥＷＰＯＲＴ（湾曲したビューポートに近似の頂点の投影によるグラフィック処理におけるスクリーンの位置によって変化する有効解像度）」という名称のＭａｒｋ Ｅｖａｎ Ｃｅｒｎｙによる、同一出願人による同時係属中の米国特許出願第１４／２４６，０６６号（代理人文書番号第ＳＣＥＡ１３０６０ＵＳ００）に関連する。
本出願は、２０１４年４月５日に出願され、その全体の内容が参照により本明細書に組込まれる、「ＧＲＡＤＩＥＮＴ ＡＤＪＵＳＴＭＥＮＴ ＦＯＲ ＴＥＸＴＵＲＥ ＭＡＰＰＩＮＧ ＦＯＲ ＭＵＬＴＩＰＬＥ ＲＥＮＤＥＲ ＴＡＲＧＥＴＳ ＷＩＴＨ ＲＥＳＯＬＵＴＩＯＮ ＴＨＡＴ ＶＡＲＩＥＳ ＢＹ ＳＣＲＥＥＮ ＬＯＣＡＴＩＯＮ（スクリーンの位置によって異なる解像度のターゲットの複数レンダリングのテキスチャマッピングの傾き調整）」という名称のＭａｒｋ Ｅｖａｎ Ｃｅｒｎｙによる、同一出願人による同時係属中の米国特許出願第１４／２４６，０６２号（代理人文書番号第ＳＣＥＡ１３０６１ＵＳ００）に関連する。
［技術分野］
本開示の態様は、コンピュータグラフィクスに関する。特に、本開示は、スクリーンの位置によって解像度を変更することに関する。
グラフィクス処理は、通常、２つのプロセッサ、中央処理ユニット（ＣＰＵ）とグラフィクス処理ユニット（ＧＰＵ）の連携を必要とする。ＧＰＵは、ディスプレイに出力するために意図されたフレームバッファ内での画像の生成を加速するように設計された専用電子回路である。ＧＰＵは、埋め込みシステム、携帯電話、パーソナルコンピュータ、タブレットコンピュータ、可搬型ゲームデバイス、ワークステーション、及びゲームコンソールにおいて使用される。ＧＰＵは、通常、コンピュータグラフィクスを操作するときに効率的であるように設計される。ＧＰＵは、しばしば、並列性が高い処理アーキテクチャを有し、並列性が高い処理アーキテクチャは、データの大きなブロックの処理が並列に行われるアルゴリズムについて汎用ＣＰＵに比べてＧＰＵを効率的にする。
ＣＰＵは、描画コマンドと一般に呼ばれるＧＰＵ命令を送信してもよく、描画コマンドは、特定のグラフィクス処理タスクを実装するよう、例えば、画像内の直前のフレームに対して変化した特定のテキスチャをレンダーするようＧＰＵに指令する。これらの描画コマンドは、グラフィクスのアプリケーションプログラミングインタフェース（ＡＰＩ）を有するＣＰＵによって連携されて、特定のアプリケーションの仮想環境の状態に対応するグラフィクスレンダリングコマンドを出してもよい。
特定のプログラムについてテキスチャをレンダーするため、ＧＰＵは、一連の処理タスクを「グラフィクスパイプライン」で実施して、仮想環境内のビジュアルをディスプレイ上でレンダーされる可能性がある画像に変換してもよい。典型的なグラフィクスパイプラインは、仮想空間内の仮想オブジェクトに対する或るレンダリングまたはシェーディング演算、ディスプレイに出力するのに適したピクセルデータを生成するシーン内での仮想オブジェクトの変換及びラスター化、並びに、被レンダー画像をディスプレイ上に出力する前の、ピクセル（またはフラグメント）に対する更なるレンダリングタスクを実施することを含んでもよい。
画像の仮想オブジェクトは、仮想シーン内でオブジェクトの形状を共に作るプリミティブとして知られる形状によって仮想空間内でしばしば記述される。例えば、レンダーされる３次元仮想世界内のオブジェクトは、３次元空間内の座標によって規定される頂点を有する一連の別個の三角形プリミティブに分解されてもよく、それにより、これらのポリゴンはオブジェクトの表面を構成する。各ポリゴンは、所与のポリゴンを他のポリゴンから区別するためにグラフィクス処理システムによって使用される可能性がある関連するインデックスを有してもよい。同様に、各頂点は、所与の頂点を他の頂点から区別するために使用される可能性がある関連するインデックスを有してもよい。グラフィクスパイプラインは、これらのプリミティブに或る演算を実施して、仮想シーンについてのビジュアルを生成し、このデータを、ディスプレイのピクセルによる再生に適する２次元フォーマットに変換してもよい。本明細書で使用される用語、グラフィクスプリミティブ情報（または単に「プリミティブ情報」）は、グラフィクスプリミティブを表すデータを指すために使用される。こうしたデータは、頂点情報（例えば、頂点位置または頂点インデックスを表すデータ）、及び、ポリゴン情報、例えばポリゴンインデックス、及び、特定の頂点を特定のポリゴンに関連付ける情報を含むが、それに限定されない。
グラフィクスパイプラインの一部として、ＧＰＵは、シェーダとして一般に知られるプログラムを実装することによってレンダリングタスクを実施してもよい。典型的なグラフィクスパイプラインは、頂点シェーダであって、頂点ごとにプリミティブの或る特性を操作してもよい、頂点シェーダ、並びに、ピクセルシェーダ（「フラグメントシェーダ」としても知られる）であって、グラフィクスパイプラインにおいて頂点シェーダから下流に演算し、また、ピクセルデータをディスプレイに送信する前にピクセルごとに或る値を操作してもよい、ピクセルシェーダを含んでもよい。フラグメントシェーダは、テキスチャをプリミティブに適用することに関連する値を操作してもよい。パイプラインは、同様に、頂点シェーダの出力を使用してプリミティブの新しいセットを生成する幾何形状シェーダ、並びに、或る他の一般的な計算タスクを実施するためＧＰＵによって実装される場合があるコンピュートシェーダ（ＣＳ）等の、パイプライン内の種々のステージにおける他のシェーダを含んでもよい。
広い視野（ＦＯＶ）を有するグラフィカルディスプレイデバイスが開発されてきた。こうしたデバイスは、頭部搭載型ディスプレイ（ＨＭＤ）デバイスを含む。ＨＭＤデバイスにおいて、小さなディスプレイデバイスがユーザの頭部に装着される。ディスプレイデバイスは、一方の目（単眼ＨＭＤ）または両目（両眼ＨＭＤ）の前にディスプレイ光学部品を有する。ＨＭＤデバイスは、通常、デバイスの向きを検知する可能性があるセンサを含み、ユーザの頭部が移動するにつれて、ディスプレイ光学部品によって示されるシーンを変更する。従来通りに、広いＦＯＶディスプレイのためにシーンをレンダーするほとんどのステージは、シーンの全ての部分が、単位面積当たり同じ数のピクセルを有する平面レンダリングによって実施される。
現実的な体験を提供するため、広いＦＯＶのディスプレイデバイスによって提示されるグラフィクスが、高品質でありかつ効率的にレンダーされることが望ましい。
本開示が浮かび上がるのはこの文脈においてである。
本発明の教示は、添付図面と共に以下の詳細な説明を考えることによって容易に理解される可能性がある。
広い視野（ＦＯＶ）のディスプレイの或るパラメータを示す略図である。 広いＦＯＶのディスプレイの異なる部分についての異なる立体角を示す図である。 本開示の態様による異なる広いＦＯＶのディスプレイの異なる領域内のピクセルの相対的重要性の例を示す図である。 本開示の態様による或るＦＯＶのディスプレイのスクリーンの異なる領域についての異なるピクセル解像度の例を示す図である。 本開示の態様によるグラフィクス処理システムのブロック図である。 本開示の態様によるグラフィクス処理パイプラインのブロック図である。 本開示の態様による複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによってスクリーンの位置によって有効解像度を変動させる例を概略的に示す図である。 本開示の態様による複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによってスクリーンの位置によって有効解像度を変動させる例を概略的に示す図である。 本開示の態様による複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによってスクリーンの位置によって有効解像度を変動させる例を概略的に示す図である。 本開示の態様によるスクリーンの位置によって変動するピクセルアクティブサンプルカウントを実装するメタデータ構成の例を示す略図である。 本開示の態様によるスクリーンの位置によって変動するピクセルアクティブサンプルカウントを実装するメタデータ構成の代替の例を示す略図である。
以下の詳細な説明は、例証のために多くの特定の詳細を含むが、以下の詳細に対する多くの変形及び変更が本発明の範囲内にあることを当業者は認識するであろう。したがって、以下で述べる本発明の例示的な実施形態は、特許請求される発明に対する一般性を失うことなく、また、特許請求される発明に制限を課すことなく述べられる。
前置き
図１Ａ～１Ｃは、大きなＦＯＶのディスプレイに関する過去に認識されていない問題を示す。図１Ａは９０°ＦＯＶディスプレイを示し、図１Ｂは１１４°ＦＯＶディスプレイを示す。従来の大きなＦＯＶのディスプレイにおいて、３次元幾何形状は、ビュー平面に対する平面投影を使用してレンダーされる。しかし、高いＦＯＶのビュー平面上に幾何形状をレンダーすることが非常に非効率であることがわかっている。図１Ｃにおいて見られるように、ビュー平面１０１の縁領域１１２及び中央領域１１４は、同じエリアであるが、観察者１０３によって見られるように、非常に異なる立体角を示す。その結果、スクリーンの縁に近いピクセルは、中央に近いピクセルに比べてずっと意味のない情報を保持する。従来的にシーンをレンダーするとき、これらの領域は、同じ数のピクセルを有し、同じサイズの領域をレンダーするのに費やされる時間は同じである。
図２Ａ～２Ｃは、異なるサイズの視野について２つの次元における大きなＦＯＶのディスプレイの異なる部分の相対的重要性を示す。図２Ａは、チェッカーボードが１１４°の角度を張る場合に、ビュー方向に垂直な平面チェッカーボードの各正方形についての立体角の変動を表す。換言すれば、図２Ａは、１１４°ＦＯＶディスプレイに対する従来の平面投影レンダリングの非効率性を表す。図２Ｂは、９０°ＦＯＶディスプレイについての同じ情報を表す。こうした平面投影レンダリングにおいて、投影は、縁にある画像２０１内のタイル２０２及び角にあるタイル２０３を、中央にあるタイル２０４と比較してより小さな立体角に圧縮する。この圧縮、また、画像２０１内の各タイルがスクリーン空間内に同じ数のピクセルを有することによって、中央タイル２０４と比較して縁タイル２０２をレンダーするためにほぼ４倍の非効率性因子が存在する。これによって、縁タイル２０２の従来のレンダリングが、中央タイル２０４の場合に比べて、単位立体角当たりほぼ４倍の処理を必要とすることが意味される。角タイル２０３の場合、非効率因子はほぼ８倍である。全画像２０１にわたって平均されると、非効率因子はほぼ２．５倍である。
非効率性は、ＦＯＶのサイズに依存する。例えば、図２Ｂに示す９０°ＦＯＶディスプレイの場合、非効率因子は、縁タイル２０２をレンダーする場合ほぼ２倍であり、角タイル２０３をレンダーする場合ほぼ３倍であり、画像２０１をレンダーする場合ほぼ１．７倍である。
この状況を見る別の方法は、図２Ｃに示され、図２Ｃでは、スクリーン１０２は、張られた単位立体角当たりのピクセル数の観点からのほぼ等しい「重要性」の長方形に分割された。各長方形は、ディスプレイを通して見られる最終画像に対してほぼ同じ寄与をする。縁長方形２０２及び角長方形２０３の重要性を平面投影がどのように歪ませるかが見られる可能性がある。実際には、角長方形２０３は、視覚的ピクセル密度（立体角当たりのピクセル数として表現される）をディスプレイの中央に向かって高くするように選択する場合があるディスプレイ光学部品のせいで、中央長方形に対して少ない寄与をする場合がある。
先の観測結果に基づいて、広いＦＯＶのディスプレイについての画像２１０が、図２Ｄに示すように、中央領域２１５より縁領域２１２、２１４、２１６、２１８において小さく、また、縁領域２１２、２１４、２１６、２１８より角領域２１１、２１３、２１７、及び２１９において小さいピクセル密度を有することが有利である。広いＦＯＶのディスプレイのスクリーン上の従来のグラフィカル画像を、基礎にあるグラフィカル画像データまたはデータフォーマットまたはデータの処理を著しく修正する必要なしで、スクリーンにわたってピクセル密度を変動させるのと同じ効果を得るようにレンダーすることが同様に有利である。本開示の態様によれば、これらの利点は、大きなＦＯＶのディスプレイデバイスのスクリーンの異なる領域についてそれ用のピクセルシェーダが呼び出されるアクティブカラーサンプルの数を変動させることによってグラフィクスパイプラインにおいて得られる可能性がある。
これを実装するため、グラフィクスパイプラインの一部は、スクリーンの異なる領域においてピクセル当たりのアクティブカラーサンプルの数を指定するメタデータを使用する。メタデータは、画像ではなくスクリーンに関連する。画像データが変化するのではなく、グラフィクスパイプラインにおいて、ピクセルシェーダ実行が、アクティブカラーサンプルに対してだけ行われる。例えば、画像データにおいて、ピクセル当たり４つのカラーサンプルが存在してもよい。スクリーンのフル解像度領域の場合、メタデータは、アクティブカウントを４であると指定してもよく、その場合、ピクセルシェーダは、４つ全てのカラーサンプルについて呼び出される。３／４解像度領域において、アクティブカウントは３であってよく、その場合、ピクセルシェーダは、４つのうちの３つ（例えば、最初の３つ）のカラーサンプルについて呼び出される。１／２解像度領域において、アクティブカウントは２であることになり、ピクセルシェーダは、カラーサンプルの２つについて呼び出される。１／４解像度領域において、アクティブカウントは１であることになり、ピクセルシェーダは、４つのカラーサンプルの１つだけについて呼び出されることになる。
システム及び装置
本開示の態様は、可変ピクセルサンプル解像度を有するグラフィクス処理を実装するように構成されるグラフィクス処理システムを含む。例として、また、制限としてではなく、図３Ａは、本開示の態様によるグラフィクス処理を実装するために使用されてもよいコンピュータシステム３００のブロック図を示す。本開示の態様によれば、システム３００は、埋め込みシステム、携帯電話、パーソナルコンピュータ、タブレットコンピュータ、可搬型ゲームデバイス、ワークステーション、ゲームコンソール等であってよい。
システム３００は、一般に、中央処理ユニット（ＣＰＵ）３０２、グラフィクスプロセッサユニット（ＧＰＵ）３０４、及び、ＣＰＵとＧＰＵの両方がアクセス可能であるメモリ３０８を含んでもよい。ＣＰＵ３０２及びＧＰＵ３０４はそれぞれ、１つまたは複数のプロセッサコア、例えば、単一コア、２つのコア、４つのコア、８つのコア、またはそれより多くのコアを含んでもよい。メモリ３０８は、アドレス指定可能なメモリ、例えば、ＲＡＭ、ＤＲＡＭ等を提供する集積回路の形態であってよい。メモリ３０８は、グラフィクスリソースを格納し、また、グラフィクスレンダリングパイプライン用のデータのグラフィクスバッファ３０５を一時的に格納してもよいグラフィクスメモリ３２８を含んでもよい。グラフィクスバッファ３０５は、例えば、頂点パラメータ値を格納する頂点バッファ、頂点インデックスを保持するインデックスバッファ、グラフィクスコンテンツの深度値を格納する深度バッファ（例えば、Ｚバッファ）、ステンシルバッファ、ディスプレイに送信される完成フレームを格納するフレームバッファ、及び他のバッファを含んでもよい。図３Ａに示す例において、グラフィクスメモリ３２８は、主メモリの一部として示される。代替の実施態様において、グラフィクスメモリは、おそらくはＧＰＵ３０４に統合された別個の構成要素である可能性がある。
例として、また、制限としてではなく、ＣＰＵ３０２及びＧＰＵ３０４はデータバス３０９を使用してメモリ３０８にアクセスしてもよい。或る場合には、システム３００が２つ以上の異なるバスを含むことが有用である場合がある。メモリ３０８は、ＣＰＵ３０２及びＧＰＵ３０４によってアクセスされる可能性があるデータを含んでもよい。ＧＰＵ３０４は、グラフィクス処理タスクを並列に実施するように構成される複数のコンピュートユニットを含んでもよい。各コンピュートユニットは、ローカルデータシェア等のそれ自身の専用ローカルメモリストアを含んでもよい。
ＣＰＵは、グラフィクス、コンパイラ、及びグラフィクスＡＰＩを含んでもよいＣＰＵコード３０３ｃを実行するように構成されてもよい。グラフィクスＡＰＩは、ＧＰＵによって実装されたプログラムに描画コマンドを出すように構成される可能性がある。ＣＰＵコード３０３Ｃは、同様に、物理学シミュレーション及び他の機能を実装してもよい。ＧＰＵ３０４は、先に論じたように動作するように構成されてもよい。特に、ＧＰＵは、先に論じた、コンピュートシェーダＣＳ、頂点シェーダＶＳ、及びピクセルシェーダＰＳ等のシェーダを実装してもよいＧＰＵコード３０３Ｇを実行してもよい。コンピュートシェーダＣＳと頂点シェーダＶＳとの間でのデータの通過を容易にするため、システムは、フレームバッファＦＢを含んでもよい１つまたは複数のバッファ３０５を含んでもよい。ＧＰＵコード３０３Ｇは、同様に任意選択で、ピクセルシェーダまたは幾何形状シェーダ等の他の型のシェーダ（示さず）を実装してもよい。各コンピュートユニットは、ローカルデータシェア等のそれ自身の専用ローカルメモリストアを含んでもよい。ＧＰＵ３０４は、グラフィクスパイプラインの一部としてテキスチャをプリミティブに適用するために或る演算を実施するように構成されるテキスチャユニット３０６を含んでもよい。
本開示の態様によれば、ＣＰＵコード３０３ｃ及びＧＰＵコード３０３ｇ及びシステム３００の他の要素は、ディスプレイデバイスの複数の領域の中でディスプレイデバイス３１６の特定の領域についてアクティブサンプル構成を指定するメタデータＭＤを、グラフィクスパイプラインのラスター化ステージが受信するように構成される。ラスター化ステージは、特定の領域内の１つまたは複数のピクセルについてピクセルデータを受信する。ピクセルデータは、全表面にわたって同じサンプルカウント（各ピクセルのカラーサンプルの数）を指定する。アクティブサンプルカウントは、カラーサンプルカウント以下であり、カラーサンプルカウントは２つ以上である。特定の領域内の各ピクセルについて、ラスター化ステージは、アクティブサンプルについてだけピクセルシェーダＰＳを呼び出す。メタデータＭＤは、異なるピクセルサンプル解像度（ディスプレイの単位面積当たりのピクセルサンプルの数）を有する領域について異なるアクティブサンプル構成を指定する。こうして、ピクセルサンプル解像度は、ディスプレイデバイス３１６の異なる領域について変動する可能性があり、また、グラフィクス処理負荷は、ディスプレイの低解像度領域について、単に高解像度領域に比べてこれらの領域のアクティブサンプルカウントを減少させることによって低減される可能性がある。
幾つかの実施態様において、メタデータＭＤは、各領域についてアクティブサンプルのマスクを含む。ＧＰＵ３０４は、マスクとプリミティブによってカバーされるサンプルとの間で論理ＡＮＤを実施して、ピクセルシェーダがそれについて呼び出されるプリミティブについてアクティブサンプルを決定する。
代替の実施態様において、メタデータＭＤは、ディスプレイデバイスの複数の領域の中でディスプレイデバイス３１６の特定の領域についてアクティブサンプルカウントを指定する。アクティブサンプルカウントは、カラーサンプルカウント以下であり、カラーサンプルカウントは２つ以上である。特定の領域内の各ピクセルについて、ラスター化ステージは、アクティブサンプルカウントに等しいピクセルの或る数のカラーサンプルについてだけピクセルシェーダＰＳを呼び出し、通常、シーケンシャルなカラーサンプルは、或る一貫して規定されたサンプル順序で最初のカラーサンプルから始める。
幾つかの実施態様において、ＣＰＵコード３０３ｃ、ＧＰＵコード３０３ｇ、及びテキスチャユニット３０６は、スクリーンの位置依存の可変ピクセル解像度と共にテキスチャマッピング演算に対する修正を実装するため、或るテキスチャマッピング演算を実装するように更に構成されてもよい。例えば、ピクセルシェーダＰＳ及びテキスチャユニット３０６は、１つまたは複数のテキスチャマッピング演算の座標のセットを提供するためプリミティブについてピクセル位置ＸＹについて１つまたは複数のテキスチャ座標ＵＶを生成し、テキスチャ座標ＵＶ（おそらくは、スクリーンにわたる様々なサンプル密度に対処する補正を含む）から勾配値Ｇｒを計算し、テキスチャがプリミティブを適用する詳細のレベル（ＬＯＤ）を決定するように構成される可能性がある。
例として、また、制限としてではなく、ＧＰＵの或る構成要素、例えば、或る型のシェーダまたはテキスチャユニット３０６は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはシステムオンチップ（ＳｏＣまたはＳＯＣ）等の専用ハードウェアとして実装されてもよい。
本明細書で使用されるように、また、当業者によって一般に理解されるように、特定用途向け集積回路（ＡＳＩＣ）は、汎用的使用のために意図されるのではなく特定使用のためにカスタマイズされる集積回路である。
本明細書で使用されるように、また、当業者によって一般に理解されるように、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）は、製造後にカスタマーまたは設計者によって構成されるように設計された－したがって、「フィールドプログラマブル」集積回路である。ＦＰＧＡ構成は、一般に、ＡＳＩＣのために使用される言語と同様のハードウェア記述言語（ＨＤＬ）を使用して指定される。
本明細書で使用されるように、また、当業者によって一般に理解されるように、システム・オン・ア・チップまたはシステム・オン・チップ（ＳｏＣまたはＳＯＣ）は、コンピュータまたは他の電子システムの全ての構成要素を単一チップに統合する集積回路（ＩＣ）である。ＳｏＣまたはＳＯＣは、デジタル信号、アナログ信号、及び混合信号、並びにしばしば無線周波数機能を、全て単一チップ基板上に含んでもよい。典型的な用途は、埋め込みシステムの領域においてである。
典型的なＳｏＣは、以下のハードウェア構成要素を含む。
１つまたは複数のプロセッサコア（例えば、マイクロコントローラ、マイクロプロセッサ、またはデジタル信号プロセッサ（ＤＳＰ）コア）。
メモリブロック、例えば、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電子的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、及びフラッシュメモリ。
発振器または位相ロックループ等のタイミングソース。
カウンタタイマ、リアルタイムタイマ、またはパワーオンリセット発生器等の周辺機器。
外部インタフェース、例えば、ユニバーサルシリアルバス（ＵＳＢ）等の業界標準、ファイヤワイヤ、イーサネット（登録商標）、ユニバーサル非同期受信機／送信機（ＵＳＡＲＴ）、シリアルペリフェラルインタフェース（ＳＰＩ）バス。
アナログ・デジタル変換器（ＡＤＣ）及びデジタル・アナログ変換器（ＤＡＣ）を含むアナログインタフェース。
電圧調節器及び電力管理回路
これらの構成要素は、独占的または業界標準バスによって接続される。ダイレクトメモリアクセス（ＤＭＡ）コントローラは、外部インタフェースとメモリとの間で直接、データをルーティングし、プロセッサコアをバイパスさせ、それにより、ＳｏＣのデータスループットを増加させる。
典型的なＳｏＣは、上述したハードウェア構成要素と、実行可能命令（例えば、ソフトウェアまたはファームウェア）であって、プロセッサコア（複数可）、周辺機器、及びインタフェースを制御する、実行可能命令の両方を含む。
本開示の態様によれば、シェーダまたはテキスチャユニット３０６の一部または全ての機能は、代替的に、ソフトウェアプログラマブル汎用コンピュータプロセッサによって実行される、適切に構成されたソフトウェア命令によって実装されてもよい。こうした命令は、コンピュータ可読媒体、例えば、メモリ３０８またはストレージデバイス３１５内で具現化されてもよい。
システム３００は、同様に、例えば、バス３０９によってシステムの他の構成要素と通信してもよい、よく知られている支持機能３１０を含んでもよい。こうした支持機能は、入力／出力（Ｉ／Ｏ）要素３１１、電力供給（Ｐ／Ｓ）３１２、クロック（ＣＬＫ）３１３、及びキャッシュ３１４を含んでもよいが、それに限定されない。キャッシュ３１４に加えて、ＧＰＵ３０４は、それ自身のＧＰＵキャッシュ３１４Ｇを含んでもよく、ＧＰＵは、ＧＰＵ３０４上で実行されるプログラムがＧＰＵキャッシュ３１４Ｇを通して読み出せるまたは書込めるように構成されてもよい。
システム３００は、被レンダーグラフィクス３１７をユーザに提示するためディスプレイデバイス３１６を含んでもよい。代替の実施態様において、ディスプレイデバイス３１６は、システム３００と共に働く別個の構成要素である。ディスプレイデバイス３１６は、フラットパネルディスプレイ、頭部搭載型ディスプレイ（ＨＭＤ）、陰極線管（ＣＲＴ）スクリーン、プロジェクタ、または、目に見えるテキスト、数値、グラフィカルシンボル、または画像を表示する可能性がある他のデバイスの形態であってよい。特に有用な実施態様において、ディスプレイデバイス３１６は、湾曲スクリーンを有する大きな視野（ＦＯＶ）のデバイスである。ディスプレイデバイス３１６は、本明細書で述べる種々の技法に従って処理される被レンダーグラフィック画像３１７を表示する。
システム３００は、任意選択で、プログラム及び／またはデータを格納するため、ディスクドライブ、ＣＤ－ＲＯＭドライブ、フラッシュメモリ、テープドライブ等のようなマスストレージデバイス３１５を含んでもよい。システム３００は、同様に任意選択で、システム３００とユーザとの間の相互作用を容易にするためユーザインタフェースユニット３１８を含んでもよい。ユーザインタフェースユニット３１８は、キーボード、マウス、ジョイスティック、ライトペン、ゲームコントローラ、または、グラフィカルユーザインタフェース（ＧＵＩ）と共に使用されてもよい他のデバイスを含んでもよい。システム３００は、同様に、デバイスが、ネットワーク３２２を通じて他のデバイスと通信することを可能にするネットワークインタフェース３２０を含んでもよい。ネットワーク３２２は、例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネット等のワイドエリアネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク等のパーソナルエリアネットワーク、または他の型のネットワークであってよい。これらの構成要素は、ハードウェア、ソフトウェア、またはファームウェア、或は、これらのうちの２つ以上の何らかの組合せであってよい。
グラフィクスパイプライン
本開示の態様によれば、システム３００は、グラフィクスレンダリングパイプラインの所定の部分を実装するように構成される。図３Ｂは、本開示の態様によるグラフィクスレンダリングパイプライン３３０の例を示す。
レンダリングパイプライン３３０は、仮想空間（本明細書で「世界空間（ｗｏｒｌｄ ｓｐａｃｅ）」と呼ばれることがある）内で２次元または好ましくは３次元幾何形状を有するシーンを描く画像としてグラフィクスをレンダーするように構成されてもよい。パイプラインの早期ステージは、シーンが、ラスター化され、ディスプレイデバイス３１６上で出力するのに適した離散的画素のセットとしてスクリーン空間に変換される前に、仮想空間において実施される演算を含んでもよい。パイプライン全体を通して、グラフィクスメモリ３２８に含まれる種々のリソースが、パイプラインステージで利用されてもよく、また、ステージに対する入力及び出力は、画像の最終値が決定される前にグラフィクスメモリに含まれるバッファに一時的に格納されてもよい。
レンダリングパイプラインは、頂点のセットによって規定された１つまたは複数の仮想オブジェクトを含んでもよい入力データ３３２に作用してもよく、１つまたは複数の仮想オブジェクトは、仮想空間内でセットアップされ、シーン内の座標に関して規定される幾何形状を有する。パイプラインの早期ステージは、図３Ｂにおいて頂点処理ステージ３３４として幅広く分類されるものを含んでもよく、また、これは、仮想空間内でオブジェクトの頂点を処理するため種々の計算を含んでもよい。これは、頂点シェーディング計算３３６を含んでもよく、頂点シェーディング計算３３６は、位置の値、（例えば、Ｘ－Ｙ座標及びＺ深度値）、カラー値、ライティング値、テキスチャ座標等のようなシーン内の頂点の種々のパラメータ値を操作してもよい。好ましくは、頂点シェーディング計算３３６は、１つまたは複数のプログラマブル頂点シェーダによって実施される。頂点処理ステージは、仮想空間内で新しい頂点及び新しい幾何形状を生成するために任意選択で使用されてもよい、テッセレーション及び幾何形状シェーダ計算３３８等の更なる頂点処理計算を任意選択で含んでもよい。頂点処理３３４と呼ばれるステージが終了すると、パイプラインのこのステージにおいて、シーンは、それぞれが頂点パラメータ値３３９のセットを有する頂点のセットによって規定される。
パイプライン３３０は、その後、シーン幾何形状を、シーン空間及び離散的画素、すなわちピクセルのセットに変換することに関連するラスター化処理ステージ３４０に進んでもよい。仮想空間幾何形状は、仮想空間からシーンの観察窓（または「ビューポイント」）へのオブジェクト及び頂点の投影を本質的に計算してもよい演算を通してスクリーン空間幾何形状に変換されてもよい。頂点は、プリミティブのセットとして規定されてもよい。
図３Ｂに示すラスター化処理ステージ３４０は、シーン内で頂点の各セットによって規定されるプリミティブをセットアップしてもよいプリミティブ組立て演算３４２を含んでもよい。各頂点は、インデックスによって規定されてもよく、各プリミティブは、グラフィクスメモリ３２８内のインデックスバッファに格納されてもよいこれらの頂点インデックスに関して規定されてもよい。プリミティブは、好ましくは、それぞれ３つの頂点によって規定される少なくとも三角形を含んでもよいが、同様に、点プリミティブ、線プリミティブ、及び他の多角形形状を含んでもよい。プリミティブ組立て演算３４２中に、或るプリミティブは、任意選択で、選択されてもよい。例えば、そのインデックスが或る巻回順序を示すプリミティブは、後向きであると考えられてもよく、また、シーンから選択されてもよい。
プリミティブが組立てられた後、ラスター化処理ステージは、スキャン変換演算３４４を含んでもよく、スキャン変換演算３４４は、各ピクセルにおいてプリミティブをサンプリングし、サンプルがプリミティブによってカバーされると更なる処理のためにプリミティブからフラグメント（ピクセルと呼ばれることがある）を生成してもよい。任意選択で、各ピクセルの複数のサンプルは、スキャン変換演算３４４中にプリミティブなしで採取され、それらのサンプルは、アンチエイリアシングのために使用されてもよい。或る実施態様において、異なるピクセルは異なるようにサンプリングされてもよい。例えば、幾つかの縁ピクセルは、中央ピクセルよりも低いサンプリング密度を含んで、頭部搭載型ディスプレイ（ＨＭＤ）等の或る型のディスプレイデバイス３１６について或る態様のレンダリングを最適化してもよい。スキャン変換３４４中にプリミティブから生成されるフラグメント（または「ピクセル」）は、ピクセルを生成したプリミティブの頂点の頂点パラメータ値３３９からピクセルの位置に対して補間されてもよいパラメータ値を有してもよい。ラスター化ステージ３４０は、パラメータ補間演算３４６ステージを含んで、これらの被補間フラグメントパラメータ値３４９を計算してもよく、被補間フラグメントパラメータ値３４９は、パイプラインの後のステージにおける更なる処理のための入力として使用されてもよい。
本開示の態様によれば、プリミティブ組立て３４２とスキャン変換３４４との間で、スクリーンの異なるサブセクションが異なるピクセル解像度を有することに対処する或る演算が行われる。特定の実施態様において、プリミティブの頂点についてのスクリーンの位置がわかると、粗いラスター化３４３が行われて、プリミティブがオーバラップする全ての予め規定されたスクリーンサブセクション（本明細書で、粗いラスター化タイルと呼ばれることがある）を見出す可能性がある。プリミティブがオーバラップする各サブセクションについて、有効解像度がそのサブセクションについて修正されることを可能にするサブセクション依存メタデータＭＤ、例えば、アクティブサンプルカウントまたは他のパラメータが受信される。スキャン変換３４４及び後続の処理ステージは、関連する１つまたは複数のサブセクションについて指定された数のアクティブサンプルに対してだけピクセル処理を実施することによって最終ピクセル値を生成する。
グラフィクスパイプライン３３０は、図３Ｂの３５０で全体的に示す更なるピクセル処理演算を含んで、被補間パラメータ値３４９を更に操作し、ディスプレイ３１６のための最終ピクセル値にフラグメントがどのように寄与するかを決定する更なる演算を実施してもよい。これらのピクセル処理タスクの幾つかは、フラグメントの被補間パラメータ値３４９を更に操作するために使用されてもよいピクセルシェーディング計算３５２を含んでもよい。ピクセルシェーディング計算は、プログラマブルピクセルシェーダによって実施されてもよく、ピクセルシェーダ呼出し３４８は、ラスター化処理ステージ３４０中にプリミティブのサンプリングに基づいて始動されてもよい。先に述べたように、ピクセルシェーダ呼出し３４８は、同様に、プリミティブがその中でレンダーされるディスプレイデバイス３１６の特定の領域内の各ピクセルについてアクティブサンプルカウントを指定するメタデータＭＤに基づいて始動されてもよい。特定の領域内の各ピクセルについて、ピクセルシェーダ呼出し３４８は、アクティブサンプルカウントに等しいピクセルの或る数のカラーサンプルについてだけ起こる。
図４Ａは、ディスプレイスクリーン３１６の異なる領域４０１について異なるアクティブカラーサンプルを指定するようにメタデータＭＤがどのように構成される可能性があるかについての例を示す。幾つかの実施態様において、各領域は、ディスプレイの固定サイズ部分に対応してもよい。他の実施態様において、各領域は、ディスプレイの可変サイズ部分に対応してもよい。更なる実施態様において、メタデータＭＤは、垂直及び水平方向にピクセルの範囲によって各領域４０１を規定する可能性がある。なお更なる実施態様において、メタデータＭＤは、或るサイズ、例えば、３２ピクセル×３２ピクセルの粗いラスター化タイルによって各領域を規定する可能性がある。特定の領域に関連するメタデータは、その領域についてアクティブカラーサンプルカウントを指定する情報を含む。例として、また、制限としてではなく、メタデータは、メモリ３０８及び／またはグラフィクスメモリ３２８内のテーブルの形態で格納されてもよい。
例として、また、制限としてではなく、ディスプレイスクリーン３１６の各領域４０１の各ピクセル４０３は、８つの深度サンプル及び４つのカラーサンプルを有するように規定される可能性がある。任意の特定の領域についてのメタデータは、その領域の所望の解像度に応じて、その領域について１、２、３、または４のアクティブカラーサンプルカウントを指定する可能性がある。図４Ａに示す例において、スクリーン３１６の中央領域は、フル解像度を持つことを所望されるため、メタデータＭＤは、これらの領域について４のアクティブカラーサンプルカウントを指定する。
こうした実施態様において、グラフィクスパイプライン３３０内の処理の多くは、通常通りに起こる。例えば、プリミティブ組立て３４２並びにスキャン変換３４４及びパラメータ補間３４６等のラスター化処理３４０の他の部分は、従来通りに実装されることになる。スクリーンは、単一ピクセルフォーマットを有する、例えば、カラーサンプルカウント、深度サンプルカウント、位置、及び他のパラメータを指定することになる。本開示の態様の新しい特徴は、各領域４０１のピクセルシェーダ呼出し３４８の場合、メタデータＭＤがアクティブカラーサンプルカウントを指定し、ピクセルシェーダが、アクティブカラーサンプルカウントに等しい回数、呼び出されることである。
或る実施態様において、ピクセルシェーダ呼出し３４８は、デフォルトとしてアンロールされ、深度サンプルが常に書込まれる。呼出しが常にアンロールされる場合、ピクセルシェーディング計算３５２は、ピクセルをマルチサンプリングすることと対照的に、各アクティブカラーサンプルについて呼び出されることによってピクセルをスーパーサンプリングする。
例えば、メタデータＭＤが、中央領域４０１Ｃについてピクセル当たり４つのカラーサンプルを、また、縁領域４０１Ｅ内でピクセル当たり２つのカラーサンプルを指定する場合、それは、縁領域４０１Ｅと比較して中央領域４０１Ｃにおいて水平及び垂直方向に２倍の解像度になることと同等である。
図４Ｂは、ピクセル画像当たり単一サンプルの例を示し、２ピクセル×２ピクセルクワッド４０６は、４つのピクセルを完全に記述する４つのカラーサンプルを示す。深度サンプルは、例においてこの点でカラーサンプルと区別されない。三角形４０５について、４つのピクセル位置のうちの３つのピクセル位置が三角形によってカバーされるため、この１つのクワッドは、カバーされた３つのサンプルを有する単一フラグメントとして、ピクセルシェーディング計算３５２のためにピクセルシェーダＰＳに渡される。ピクセルシェーダＰＳは、４つのカラーサンプルをシェーディングし、４つのカラーサンプルのうちの３つをフレームバッファＦＢに格納する。
図４Ｃにおいて、対照的に、ピクセル当たり４つのカラーサンプルが存在するため、図示する１６のサンプルは２×２ピクセルに対応するだけであり、一方、図４Ｂの例において、それは、４×４ピクセルであった。この図は、ピクセルシェーダ呼出しが、カバーされた各サンプルに関して起こるようにアクティブピクセルがアンロールされるときに、３つのフラグメントが生成され、各フラグメントがカバーされた１つのサンプルを含むことを示す。
アクティブサンプルカウントは、メタデータＭＤによって指定されるサンプルを選択的にディセーブルすることによって変動する可能性がある。例えば、各ピクセルの右上及び左下が非アクティブにレンダーされる場合、１つのアクティブサンプル位置だけがカバーされ、したがって、図４Ｃに示す３つのフラグメントの中央だけがピクセルシェーダＰＳに渡される。
幾つかの実施態様において、メタデータは、ディスプレイ３１６の光学部品及びＦＯＶについて固定される。こうしたメタデータ構成の例は、図４Ｄに概略的に示される。図４Ｄは、ディスプレイスクリーン３１６の異なるサブセクション４０１について異なるアクティブピクセルサンプル（またはアクティブカラーサンプル）をメタデータＭＤがどのように指定するように構成される可能性があるかの例を示す。図４Ｄに示す例において、スクリーン３１６の中央サブセクションは、フル解像度を持つように所望され、中央から遠いサブセクションは、徐々に低い解像度を有する。例として、また、制限としてではなく、ディスプレイスクリーン３１６の各領域４０１の各ピクセル４０３は、固定数の深度サンプル及びカラーサンプル、例えば、８つの深度サンプル及び４つのカラーサンプルを持つように規定される可能性がある。任意の特定の領域についてのメタデータは、その領域の所望の解像度に応じて、その領域について１、２、３、または４のアクティブカラーサンプルカウントを指定する可能性がある。
代替の実施態様において、メタデータは、目追跡のために中心窩レンダリングを実装するために変動する可能性がある。こうした実施態様において、システム３００は、ユーザの注視、すなわち、ユーザの目が見ている場所を追跡し、この情報を、ユーザが見ている対応するスクリーンの位置に関連付けるためのハードウェアを含む。こうしたハードウェアの一例は、ディスプレイデバイス３１６のスクリーンに対してわかっている位置にありかつユーザの全体的な方向に向くデジタルカメラを含む可能性がある。デジタルカメラは、ユーザインタフェース３１８または別個の構成要素の一部である可能性がある。ＣＰＵコード３０３Ｃは、画像解析ソフトウェアを含む可能性があり、画像解析ソフトウェアは、カメラからの画像を解析して、（ａ）ユーザが画像内にいるかどうか、（ｂ）ユーザがカメラに向いているかどうか、（ｃ）ユーザがスクリーンに向いているかどうか、（ｄ）ユーザの目が観察可能であるかどうか、（ｅ）ユーザの頭部に対するユーザの目の瞳孔の向き、及び（ｆ）カメラに対するユーザの頭部の向きを決定する。スクリーンに対するカメラのわかっている位置及び向き、ユーザの頭部に対するユーザの目の瞳孔の向き、及びカメラに対するユーザの頭部の向きから、画像解析ソフトウェアは、ユーザがスクリーンを見ているかどうかを、またそうである場合、ユーザが見ているスクリーンの部分４０１についてのスクリーン空間座標を決定する可能性がある。ＣＰＵコード３０３Ｃは、その後、これらのスクリーン座標をＧＰＵコード３０３Ｇに渡し、ＧＰＵコード３０３Ｇは、部分４０１を含む１つまたは複数のサブセクションを決定する可能性がある。ＧＰＵコードは、その後、相応してメタデータＭＤを修正する可能性があるため、ピクセル解像度は、図４Ｅに示すように、部分４０１を含む１つまたは複数のサブセクションにおいて最高になり、部分４０１から遠く離れるサブセクションにおいて徐々に低くなる。
再び図３Ｂを参照すると、ピクセルシェーディング計算３５２は、レンダーターゲット、または複数ある場合には複数レンダーターゲット（ＭＲＴ）と呼ばれることがある、グラフィクスメモリ３２８内の１つまたは複数のバッファ３０５に出力値を出力してもよい。ＭＲＴは、ピクセルシェーダが、２つ以上のレンダーターゲットであって、それぞれが同じスクリーン寸法を有するが、おそらくは異なるピクセルフォーマットを有する、２つ以上のレンダーターゲットに任意選択で出力することを可能にする。レンダーターゲットフォーマット制限は、任意の１つのレンダーターゲットが最大４つの独立した出力値（チャネル）を受入れる可能性があるだけであること、及び、これら４つのチャネルのフォーマットが互いに密に結びついていることをしばしば意味する。ＭＲＴは、単一ピクセルシェーダが異なるフォーマットの混合でより多くの値を出力することを可能にする。レンダーターゲットのフォーマットは、レンダーターゲットが、スクリーン空間ピクセルについて複数の値を格納するが、種々の性能理由から、レンダーターゲットのフォーマットが最近のハードウェア世代においてより専門的になっており、テキスチャユニットによって読込まれることにデータが適合する前にデータをリフォーマットする「リゾルブ」と呼ばれるものを（常にではないが）ときどき必要とする点で、「テキスチャのようである」。
ピクセル処理３５０は、一般に、ラスター演算（ＲＯＰ）として一般に知られるものを含んでもよいレンダー出力演算３５６に到達してもよい。ラスター化演算（ＲＯＰ）は、複数のレンダーターゲット（ＭＲＴ）の中の各レンダーターゲットについて１回、ピクセルについて複数回実行されるだけである。出力演算３５６中に、最終ピクセル値３５９は、フレームバッファ内で決定されてもよく、フレームバッファは、任意選択で、融合フラグメント、適用ステンシル、深度試験、及び或るサンプルごとの処理タスクを含んでもよい。最終ピクセル値３５９は、全てのアクティブレンダーターゲット（ＭＲＴ）に対する収集済み出力を含む。ＧＰＵ３０４は、最終ピクセル値３５９を使用して、完成フレーム３６０を構成し、完成フレーム３６０は、任意選択で、ディスプレイデバイス３１６のピクセル上でリアルタイムに表示されてもよい。
出力演算３５０は、同様にテキスチャマッピング演算３５４を含んでもよく、テキスチャマッピング演算３５４は、或る程度まで１つまたは複数のシェーダ（例えば、ピクセルシェーダＰＳ、コンピュートシェーダＣＳ、頂点シェーダＶＳ、または他の型のシェーダ）によって、また、或る程度までテキスチャユニット３０６によって実施されてもよい。シェーダ計算３５２は、スクリーン空間座標ＸＹからテキスチャ座標ＵＶを計算すること、及び、テキスチャ座標をテキスチャ演算３５４に送信すること、及びテキスチャデータＴＸを受信することを含む。テキスチャ座標ＵＶは、スクリーン空間座標ＸＹから任意の方式で計算される可能性があるが、通常、被補間入力値から、またはときどきは直前のテキスチャ演算の結果から計算される。勾配Ｇｒは、しばしば、テキスチャユニット３０６（テキスチャ演算ハードウェアユニット）によってテキスチャ座標のクワッドから直接計算されるが、任意選択で、ピクセルシェーダ計算３５２によって明示的に計算され、テキスチャユニット３０６に頼るのではなくテキスチャ演算３５４に渡されて、デフォルト計算を実施する可能性がある。
テキスチャ演算３５６は、一般に、ピクセルシェーダＰＳ及びテキスチャユニット３０６の或る組合せによって実施される可能性がある以下のステージを含む。最初に、ピクセル位置ＸＹについて１つまたは複数のテキスチャ座標ＵＶが、生成され、各テキスチャマッピング演算について座標セットを提供するために使用される。その後、勾配値Ｇｒが、テキスチャ座標ＵＶから計算され（おそらくは、サンプル位置の非直交性についての補正を有する）、テキスチャがプリミティブを適用する詳細のレベル（ＬＯＤ）を決定するために使用される。
更なる態様
本開示の更なる態様は、グラフィクス処理方法を含み、方法は、
ディスプレイデバイスの複数の領域の中でディスプレイデバイスの特定の領域についてのアクティブサンプル構成を指定するメタデータを受信すること、
特定の領域内の１つまたは複数のピクセルについて、各ピクセルの同じ数のカラーサンプルを指定する、ピクセルデータを受信すること、及び、
特定の領域内の各ピクセルについて、アクティブサンプル構成によってアクティブサンプルであると指定されるカラーサンプルについてだけピクセルシェーダを呼び出すことを含む。
本開示の更なる態様は、ディスプレイデバイスのスクリーンの異なる領域が異なるピクセル解像度を有する、グラフィクス処理方法を含む。
別の更なる態様は、コンピュータ可読媒体であり、コンピュータ可読媒体は、コンピュータ可読媒体内で具現化されるコンピュータ実行可能命令を有し、コンピュータ実行可能命令は、実行されると、以下の方法の一方または両方を実装する。
更なる態様は、以下の方法の一方または両方を実施する電磁のまたは他の信号搬送コンピュータ可読命令である。
更なる態様は、通信ネットワークからダウンロード可能である及び／またはコンピュータ可読及び／またはマイクロプロセッサ実行可能媒体上に格納されるコンピュータプログラム製品であって、先の方法の一方または両方を実装するプログラムコード命令を含むことを特徴とする、コンピュータプログラム製品である。
別の更なる態様は、先の方法の一方または両方を実装するように構成されるグラフィクス処理システムである。
上記は本発明の好ましい実施形態の完全な説明であるが、種々の代替物、修正物、及び等価物を使用することが可能である。したがって、本発明の範囲は、先の説明を参照して決定されるべきでなく、代わりに、添付特許請求の範囲を参照して、その均等物の全範囲と共に決定されるべきである。本明細書で述べる任意に特徴（好ましくても、好ましくなくても）は、本明細書で述べる任意の他の特徴（好ましくても、好ましくなくても）と組合されてもよい。添付特許請求の範囲において、[不定冠詞「Ａ」または「Ａｎ」]は、別途明白に述べられる場合を除いて、冠詞に続く品目の１つまたは複数の量を指す。添付特許請求の範囲は、ミーンズ・プラス・ファンクション制限が、句「のための手段（ｍｅａｎｓ ｆｏｒ）」を使用して所与の特許請求項において明示的に列挙されない限り、ミーンズ・プラス・ファンクション制限を含むものとして解釈されない。

Claims (29)

  1. ディスプレイデバイスに結合されたグラフィクス処理ユニットを有するグラフィクス処理システムによるグラフィクス処理方法であって、
    前記ディスプレイデバイスのスクリーンの複数の領域の中にある、前記スクリーンの特定の領域についてのアクティブサンプル構成を指定するメタデータを受信することであって、前記メタデータは、異なる解像度を有する前記スクリーンの複数の領域について異なるアクティブサンプル構成を指定するものである、前記メタデータを受信することと、
    前記特定の領域内の１つまたは複数のピクセルについてピクセルデータを受信することであって、前記ピクセルデータは、各ピクセルについて同じ数のカラーサンプルを指定するものであり、前記ピクセルデータによって指定される各ピクセルについてのカラーサンプルの数は、前記スクリーンの全表面にわたって同じである、前記ピクセルデータを受信することと、
    プリミティブによってカバーされる前記特定の領域内の各ピクセルについて、前記アクティブサンプル構成によってアクティブサンプルであると指定されるピクセルのカラーサンプルについてだけピクセルシェーダを呼び出すことであって、前記ピクセルシェーダのピクセルシェーディング計算は、前記プリミティブによってカバーされる前記特定の領域内の各ピクセルの各アクティブカラーサンプルについて呼び出されることによって各ピクセルをスーパーサンプリングすることであり、前記メタデータは、前記特定の領域についてのアクティブサンプルのマスクを指定し、アクティブサンプルについてだけ前記ピクセルシェーダを呼び出すことは、前記マスクと、プリミティブによってカバーされるサンプルのセットとの間で論理ＡＮＤを実施し、前記ピクセルシェーダが呼び出される前記プリミティブについて前記アクティブサンプルを決定することを含み、前記プリミティブによってカバーされるサンプルは、１つまたは複数のカラーサンプルを含む、前記ピクセルシェーダを呼び出すこととを含む、方法。
  2. 前記メタデータは、前記スクリーンの中心の近くに位置する前記複数の領域の１つまたは複数の領域についてのアクティブサンプルカウントが、前記スクリーンの周辺の近くに位置する前記複数の領域の１つまたは複数の領域についてのアクティブサンプルカウントより大きいように構成される、請求項１に記載の方法。
  3. 前記メタデータは、前記スクリーンの中心の近くに位置する前記複数の領域の１つまたは複数の領域についてのアクティブサンプルカウントが、前記スクリーンの縁の近くに位置する前記複数の領域の１つまたは複数の領域についてのアクティブサンプルカウントより大きいように構成され、前記スクリーンの前記縁の近くに位置する前記１つまたは複数の領域についての前記アクティブサンプルカウントは、前記スクリーンの角の近くに位置する前記複数の領域の１つまたは複数の領域についてのアクティブサンプルカウントより大きい、請求項１に記載の方法。
  4. 前記ディスプレイデバイスは、９０°以上の視野を特徴とする、請求項１に記載の方法。
  5. 前記ディスプレイデバイスは、頭部搭載型ディスプレイデバイスである、請求項１に記載の方法。
  6. ユーザが見ている前記ディスプレイデバイスのスクリーンの部分を決定することを更に含み、前記メタデータは、前記ユーザが見ている前記部分を含む前記スクリーンの１つまたは複数のサブセクションについてピクセル解像度が最も高くなるように前記ピクセル解像度を変えるように構成される、請求項１に記載の方法。
  7. 前記メタデータは、所与の光学部品及び前記ディスプレイデバイスの所与の視野について静的である、請求項１に記載の方法。
  8. 前記メタデータは、前記スクリーンの異なる領域について異なるアクティブカラーサンプルを指定するように構成される、請求項１に記載の方法。
  9. 前記複数の領域の各領域は、前記スクリーンの固定サイズ部分に対応する、請求項１に記載の方法。
  10. 前記複数の領域の各領域は、前記スクリーンの可変サイズ部分に対応する、請求項１に記載の方法。
  11. 前記メタデータは、前記複数の領域の各領域を垂直及び水平方向にピクセルの範囲によって画定する、請求項１に記載の方法。
  12. 前記メタデータは、前記複数の領域の各領域を或るサイズの粗いラスター化タイルによって画定する、請求項１に記載の方法。
  13. 前記複数の領域の特定の領域に関連する前記メタデータの部分は、前記特定の領域についてのアクティブカラーサンプルカウントを指定する情報を含む、請求項１に記載の方法。
  14. 前記メタデータは、メモリ及び／またはグラフィクスメモリ内のテーブルの形態で格納される、請求項１に記載の方法。
  15. グラフィクス処理システムであって、
    グラフィクス処理ユニット（ＧＰＵ）を備え、前記グラフィクス処理ユニット（ＧＰＵ）は、
    ディスプレイデバイスのスクリーンの複数の領域の中にある、前記スクリーンの特定の領域についてのアクティブサンプル構成を指定するメタデータを受信することであって、前記メタデータは、異なる解像度を有する前記スクリーンの複数の領域について異なるアクティブサンプル構成を指定するものである、前記メタデータを受信することと、
    前記特定の領域内の１つまたは複数のピクセルについてピクセルデータを受信することであって、前記ピクセルデータは、各ピクセルについて同じ数のカラーサンプルを指定するものであり、前記ピクセルデータによって指定される各ピクセルについてのカラーサンプルの数は、前記スクリーンの全表面にわたって同じである、前記ピクセルデータを受信することと、
    プリミティブによってカバーされる前記特定の領域内の各ピクセルについて、前記アクティブサンプル構成によってアクティブサンプルであると指定されるピクセルのカラーサンプルについてだけピクセルシェーダを呼び出すことであって、前記ピクセルシェーダのピクセルシェーディング計算は、前記プリミティブによってカバーされる前記特定の領域内の各ピクセルの各アクティブカラーサンプルについて呼び出されることによって各ピクセルをスーパーサンプリングすることであり、前記メタデータは、前記特定の領域についてのアクティブサンプルのマスクを指定し、前記グラフィクス処理ユニットは、前記マスクと、プリミティブによってカバーされるサンプルのセットとの間で論理ＡＮＤを実施することにより前記ピクセルシェーダがアクティブサンプルについてだけ前記ピクセルシェーダを呼び出すように構成され、前記ピクセルシェーダが呼び出される前記プリミティブについて前記アクティブサンプルが決定され、前記プリミティブによってカバーされるサンプルは、１つまたは複数のカラーサンプルを含む、前記ピクセルシェーダを呼び出すこととを実行するように構成される、システム。
  16. 前記メタデータは、前記スクリーンの中心の近くに位置する前記複数の領域の１つまたは複数の領域についてのアクティブサンプルカウントが、前記スクリーンの周辺の近くに位置する前記複数の領域の１つまたは複数の領域についてのアクティブサンプルカウントより大きいように構成される、請求項１５に記載のシステム。
  17. 前記メタデータは、前記スクリーンの中心の近くに位置する前記複数の領域の１つまたは複数の領域についてのアクティブサンプルカウントが、前記スクリーンの縁の近くに位置する前記複数の領域の１つまたは複数の領域についてのアクティブサンプルカウントより大きいように構成され、前記スクリーンの前記縁の近くに位置する前記１つまたは複数の領域についての前記アクティブサンプルカウントは、前記スクリーンの角の近くに位置する前記複数の領域の１つまたは複数の領域についてのアクティブサンプルカウントより大きい、請求項１５に記載のシステム。
  18. 前記ディスプレイデバイスを更に備え、前記ディスプレイデバイスは、９０°以上の視野を特徴とする、請求項１５に記載のシステム。
  19. 前記ディスプレイデバイスを更に備え、前記ディスプレイデバイスは、頭部搭載型ディスプレイデバイスである、請求項１５に記載のシステム。
  20. ユーザが見ている前記ディスプレイデバイスのスクリーンの部分を決定するように構成され、前記メタデータは、前記ユーザが見ている前記部分を含む前記スクリーンの１つまたは複数のサブセクションについてピクセル解像度が最も高くなるように前記ピクセル解像度を変えるように構成される、請求項１５に記載のシステム。
  21. 所与の光学部品及び前記ディスプレイデバイスの所与の視野について静的メタデータを使用するように構成される、請求項１５に記載のシステム。
  22. 前記メタデータは、前記スクリーンの異なる領域について異なるアクティブカラーサンプルを指定するように構成される、請求項１５に記載のシステム。
  23. 前記複数の領域の各領域は、前記スクリーンの固定サイズ部分に対応する、請求項１５に記載のシステム。
  24. 前記複数の領域の各領域は、前記スクリーンの可変サイズ部分に対応する、請求項１５に記載のシステム。
  25. 前記メタデータは、前記複数の領域の各領域を垂直及び水平方向にピクセルの範囲によって画定する、請求項１５に記載のシステム。
  26. 前記メタデータは、前記複数の領域の各領域を或るサイズの粗いラスター化タイルによって画定する、請求項１５に記載のシステム。
  27. 前記複数の領域の特定の領域に関連する前記メタデータの部分は、前記特定の領域についてのアクティブカラーサンプルカウントを指定する情報を含む、請求項１５に記載のシステム。
  28. メモリ及び／またはグラフィクスメモリを更に備え、前記メタデータは、前記メモリ及び／または前記グラフィクスメモリ内のテーブルの形態で格納される、請求項１５に記載のシステム。
  29. コンピュータ実行可能命令が記録された非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、実行されると、ディスプレイデバイスに結合されたグラフィクス処理ユニットを有するグラフィクス処理システムにグラフィクス処理方法を実行させ、前記方法は、
    前記ディスプレイデバイスのスクリーンの複数の領域の中にある、前記スクリーンの特定の領域についてのアクティブサンプル構成を指定するメタデータを受信することであって、前記メタデータは、異なる解像度を有する前記スクリーンの複数の領域について異なるアクティブサンプル構成を指定するものである、前記メタデータを受信することと、
    前記特定の領域内の１つまたは複数のピクセルについてピクセルデータを受信することであって、前記ピクセルデータは、各ピクセルについて同じ数のカラーサンプルを指定するものであり、前記ピクセルデータによって指定される各ピクセルについてのカラーサンプルの数は、前記スクリーンの全表面にわたって同じである、前記ピクセルデータを受信することと、
    プリミティブによってカバーされる前記特定の領域内の各ピクセルについて、前記アクティブサンプル構成によってアクティブサンプルであると指定されるピクセルのカラーサンプルについてだけピクセルシェーダを呼び出すことであって、前記ピクセルシェーダのピクセルシェーディング計算は、前記プリミティブによってカバーされる前記特定の領域内の各ピクセルの各アクティブカラーサンプルについて呼び出されることによって各ピクセルをスーパーサンプリングすることであり、前記メタデータは、前記特定の領域についてのアクティブサンプルのマスクを指定し、アクティブサンプルについてだけ前記ピクセルシェーダを呼び出すことは、前記マスクと、プリミティブによってカバーされるサンプルのセットとの間で論理ＡＮＤを実施し、前記ピクセルシェーダが呼び出される前記プリミティブについて前記アクティブサンプルを決定することを含み、前記プリミティブによってカバーされるサンプルは、１つまたは複数のカラーサンプルを含む、前記ピクセルシェーダを呼び出すこととを含む、非一時的コンピュータ可読媒体。
JP2020005290A 2014-04-05 2020-01-16 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること Active JP7033617B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021050413A JP7112549B2 (ja) 2014-04-05 2021-03-24 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/246,061 US10068311B2 (en) 2014-04-05 2014-04-05 Varying effective resolution by screen location by changing active color sample count within multiple render targets
US14/246,061 2014-04-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016560642A Division JP6652257B2 (ja) 2014-04-05 2015-03-23 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2020046386A Division JP7004759B2 (ja) 2014-04-05 2020-03-17 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP2021050413A Division JP7112549B2 (ja) 2014-04-05 2021-03-24 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Publications (2)

Publication Number Publication Date
JP2020091877A JP2020091877A (ja) 2020-06-11
JP7033617B2 true JP7033617B2 (ja) 2022-03-10

Family

ID=54210194

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016560642A Active JP6652257B2 (ja) 2014-04-05 2015-03-23 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP2020005290A Active JP7033617B2 (ja) 2014-04-05 2020-01-16 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP2020046386A Active JP7004759B2 (ja) 2014-04-05 2020-03-17 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP2021050413A Active JP7112549B2 (ja) 2014-04-05 2021-03-24 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016560642A Active JP6652257B2 (ja) 2014-04-05 2015-03-23 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020046386A Active JP7004759B2 (ja) 2014-04-05 2020-03-17 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP2021050413A Active JP7112549B2 (ja) 2014-04-05 2021-03-24 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Country Status (5)

Country Link
US (2) US10068311B2 (ja)
EP (1) EP3129979A4 (ja)
JP (4) JP6652257B2 (ja)
KR (1) KR101922482B1 (ja)
WO (1) WO2015153165A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11302054B2 (en) 2014-04-05 2022-04-12 Sony Interactive Entertainment Europe Limited Varying effective resolution by screen location by changing active color sample count within multiple render targets
US10068311B2 (en) * 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
EP3129958B1 (en) 2014-04-05 2021-06-02 Sony Interactive Entertainment LLC Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US10783696B2 (en) 2014-04-05 2020-09-22 Sony Interactive Entertainment LLC Gradient adjustment for texture mapping to non-orthonormal grid
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US10037620B2 (en) 2015-05-29 2018-07-31 Nvidia Corporation Piecewise linear irregular rasterization
US11403099B2 (en) 2015-07-27 2022-08-02 Sony Interactive Entertainment LLC Backward compatibility by restriction of hardware resources
US9805176B2 (en) * 2015-07-30 2017-10-31 Toshiba Tec Kabushiki Kaisha Shared system and terminal device
US9799134B2 (en) 2016-01-12 2017-10-24 Indg Method and system for high-performance real-time adjustment of one or more elements in a playing video, interactive 360° content or image
US10275239B2 (en) 2016-03-30 2019-04-30 Sony Interactive Entertainment Inc. Deriving application-specific operating parameters for backwards compatiblity
US10303488B2 (en) 2016-03-30 2019-05-28 Sony Interactive Entertainment Inc. Real-time adjustment of application-specific operating parameters for backwards compatibility
US10915333B2 (en) 2016-03-30 2021-02-09 Sony Interactive Entertainment Inc. Deriving application-specific operating parameters for backwards compatiblity
CN109477607A (zh) * 2016-06-06 2019-03-15 深圳市大疆灵眸科技有限公司 用于跟踪的图像处理
WO2017210826A1 (en) 2016-06-06 2017-12-14 Sz Dji Osmo Technology Co., Ltd. Carrier-assisted tracking
GB2553353B (en) * 2016-09-05 2021-11-24 Advanced Risc Mach Ltd Graphics processing systems and graphics processors
CN106651991B (zh) * 2016-09-12 2023-10-31 广州久邦世纪科技有限公司 一种智能贴图实现方法及其系统
GB2560306B (en) * 2017-03-01 2020-07-08 Sony Interactive Entertainment Inc Image processing
WO2018183405A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
WO2018190826A1 (en) * 2017-04-12 2018-10-18 Hewlett-Packard Development Company, L.P. Transfer to head mounted display
US10685473B2 (en) * 2017-05-31 2020-06-16 Vmware, Inc. Emulation of geometry shaders and stream output using compute shaders
JP2019028368A (ja) * 2017-08-02 2019-02-21 株式会社ソニー・インタラクティブエンタテインメント レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
CN109388448B (zh) * 2017-08-09 2020-08-04 京东方科技集团股份有限公司 图像显示方法、显示系统以及计算机可读存储介质
US10650586B2 (en) * 2017-08-10 2020-05-12 Outward, Inc. Automated mesh generation
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
EP3598393B1 (en) * 2018-07-16 2023-11-08 Huawei Technologies Co., Ltd. Rendering using a per-tile msaa level
KR102166106B1 (ko) * 2018-11-21 2020-10-15 스크린엑스 주식회사 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템
US11169383B2 (en) 2018-12-07 2021-11-09 Avegant Corp. Steerable positioning element
CN113412442A (zh) * 2019-01-07 2021-09-17 阿维甘特公司 控制系统和渲染管道
KR102649783B1 (ko) 2019-03-29 2024-03-20 아브간트 코포레이션 도파관을 사용한 조향 가능한 하이브리드 디스플레이
NO346115B1 (en) 2019-12-20 2022-02-28 Novotech As 3D rendering
US11624921B2 (en) 2020-01-06 2023-04-11 Avegant Corp. Head mounted system with color specific modulation
GB2591802B (en) 2020-02-07 2022-03-23 Imagination Tech Ltd Graphics processing method and system for rendering items of geometry based on their size
GB2591803B (en) * 2020-02-07 2022-02-23 Imagination Tech Ltd Graphics processing method and system for rendering items of geometry based on their size
US20230232005A1 (en) * 2022-01-18 2023-07-20 Cisco Technology, Inc. Representing color indices by use of constant partitions
CN114473709B (zh) * 2022-02-21 2023-04-28 宁波维真显示科技股份有限公司 一种3dled修边处理装置及方法
GB2624205A (en) * 2022-11-10 2024-05-15 Imagination Tech Ltd Graphics processing system and method of rendering

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002503855A (ja) 1998-02-17 2002-02-05 サン・マイクロシステムズ・インコーポレーテッド 可変解像度スーパーサンプリングによるグラフィックス・システム
JP2009520307A (ja) 2005-12-19 2009-05-21 エヌヴィディア コーポレイション グラフィックスプロセッサの並列アレイアーキテクチャ
JP2013137756A (ja) 2011-12-05 2013-07-11 Arm Ltd コンピュータグラフィックスを処理する方法およびコンピュータグラフィックスを処理するための装置

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US5224208A (en) 1990-03-16 1993-06-29 Hewlett-Packard Company Gradient calculation for texture mapping
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5602391A (en) 1995-02-23 1997-02-11 Hughes Electronics Quincunx sampling grid for staring array
US5777913A (en) * 1995-12-27 1998-07-07 Ericsson Inc. Resolution enhancement of fixed point digital filters
USH1812H (en) * 1997-10-24 1999-11-02 Sun Microsystems, Inc. Method for encoding bounding boxes of drawing primitives to be rendered for multi-resolution supersampled frame buffers
US6496187B1 (en) * 1998-02-17 2002-12-17 Sun Microsystems, Inc. Graphics system configured to perform parallel sample to pixel calculation
EP1055199B1 (en) * 1998-02-17 2002-05-22 Sun Microsystems, Inc. Estimating graphics system performance for polygons
US6469700B1 (en) 1998-06-24 2002-10-22 Micron Technology, Inc. Per pixel MIP mapping and trilinear filtering using scanline gradients for selecting appropriate texture maps
WO2000011603A2 (en) 1998-08-20 2000-03-02 Apple Computer, Inc. Graphics processor with pipeline state storage and retrieval
JP2000155850A (ja) 1998-11-20 2000-06-06 Sony Corp テクスチャ・マッピング装置及びこれを具備したレンダリング装置、並びに情報処理装置
US6417861B1 (en) 1999-02-17 2002-07-09 Sun Microsystems, Inc. Graphics system with programmable sample positions
US6781606B2 (en) 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
US6731298B1 (en) 2000-10-02 2004-05-04 Nvidia Corporation System, method and article of manufacture for z-texture mapping
US6906723B2 (en) 2001-03-29 2005-06-14 International Business Machines Corporation Generating partials for perspective corrected texture coordinates in a four pixel texture pipeline
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US7555157B2 (en) 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
US7155698B1 (en) 2001-09-11 2006-12-26 The Regents Of The University Of California Method of locating areas in an image such as a photo mask layout that are sensitive to residual processing effects
US7046245B2 (en) 2001-10-10 2006-05-16 Sony Computer Entertainment America Inc. System and method for environment mapping
US7081893B2 (en) 2001-10-10 2006-07-25 Sony Computer Entertainment America Inc. System and method for point pushing to render polygons in environments with changing levels of detail
US6738069B2 (en) 2001-12-31 2004-05-18 Intel Corporation Efficient graphics state management for zone rendering
US6906714B2 (en) 2002-06-21 2005-06-14 Intel Corporation Accelerated visualization of surface light fields
US6891548B2 (en) 2002-08-23 2005-05-10 Hewlett-Packard Development Company, L.P. System and method for calculating a texture-mapping gradient
TWI238975B (en) 2003-02-20 2005-09-01 Via Tech Inc Method of performing cubic mapping with texturing
US7619626B2 (en) 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
US7336277B1 (en) 2003-04-17 2008-02-26 Nvidia Corporation Per-pixel output luminosity compensation
JP3966832B2 (ja) 2003-04-28 2007-08-29 株式会社東芝 描画処理装置、及び、描画処理方法
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
EP1496475B1 (en) 2003-07-07 2013-06-26 STMicroelectronics Srl A geometric processing stage for a pipelined graphic engine, corresponding method and computer program product therefor
US6967663B1 (en) 2003-09-08 2005-11-22 Nvidia Corporation Antialiasing using hybrid supersampling-multisampling
US8085273B2 (en) 2003-11-19 2011-12-27 Lucid Information Technology, Ltd Multi-mode parallel graphics rendering system employing real-time automatic scene profiling and mode control
US8144156B1 (en) 2003-12-31 2012-03-27 Zii Labs Inc. Ltd. Sequencer with async SIMD array
US8090383B1 (en) 2004-02-17 2012-01-03 Emigh Aaron T Method and system for charging for a service based on time spent at a facility
EP1728216B1 (en) 2004-03-15 2019-09-11 Philips Intellectual Property & Standards GmbH Image visualization
US7554538B2 (en) * 2004-04-02 2009-06-30 Nvidia Corporation Video processing, such as for hidden surface reduction or removal
US7426724B2 (en) 2004-07-02 2008-09-16 Nvidia Corporation Optimized chaining of vertex and fragment programs
US7425966B2 (en) 2004-10-07 2008-09-16 Nvidia Corporation Pixel center position displacement
US7339594B1 (en) 2005-03-01 2008-03-04 Nvidia Corporation Optimized anisotropic texture sampling
JP4660254B2 (ja) 2005-04-08 2011-03-30 株式会社東芝 描画方法及び描画装置
US7289119B2 (en) 2005-05-10 2007-10-30 Sony Computer Entertainment Inc. Statistical rendering acceleration
US7511717B1 (en) 2005-07-15 2009-03-31 Nvidia Corporation Antialiasing using hybrid supersampling-multisampling
US20070018988A1 (en) 2005-07-20 2007-01-25 Michael Guthe Method and applications for rasterization of non-simple polygons and curved boundary representations
US8300059B2 (en) 2006-02-03 2012-10-30 Ati Technologies Ulc Method and apparatus for selecting a mip map level based on a min-axis value for texture mapping
US8207975B1 (en) 2006-05-08 2012-06-26 Nvidia Corporation Graphics rendering pipeline that supports early-Z and late-Z virtual machines
US7907792B2 (en) 2006-06-16 2011-03-15 Hewlett-Packard Development Company, L.P. Blend maps for rendering an image frame
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
EP2078229A2 (en) 2006-11-02 2009-07-15 Sensics, Inc. Systems and methods for a head-mounted display
US8232991B1 (en) 2006-11-03 2012-07-31 Nvidia Corporation Z-test result reconciliation with multiple partitions
US8233004B1 (en) 2006-11-06 2012-07-31 Nvidia Corporation Color-compression using automatic reduction of multi-sampled pixels
US8149242B2 (en) 2006-11-10 2012-04-03 Sony Computer Entertainment Inc. Graphics processing apparatus, graphics library module and graphics processing method
JP5063990B2 (ja) 2006-11-15 2012-10-31 任天堂株式会社 ゲームプログラムおよびゲーム装置
US7876332B1 (en) 2006-12-20 2011-01-25 Nvidia Corporation Shader that conditionally updates a framebuffer in a computer graphics system
JP5268271B2 (ja) 2007-03-23 2013-08-21 株式会社東芝 画像表示装置および画像表示方法
US20090033659A1 (en) 2007-07-31 2009-02-05 Lake Adam T Real-time luminosity dependent subdivision
US8044956B1 (en) 2007-08-03 2011-10-25 Nvidia Corporation Coverage adaptive multisampling
US8441497B1 (en) 2007-08-07 2013-05-14 Nvidia Corporation Interpolation of vertex attributes in a graphics processor
US7916155B1 (en) 2007-11-02 2011-03-29 Nvidia Corporation Complementary anti-aliasing sample patterns
JP5050786B2 (ja) 2007-11-05 2012-10-17 富士通セミコンダクター株式会社 描画処理装置、描画処理方法および描画処理プログラム
US8922565B2 (en) 2007-11-30 2014-12-30 Qualcomm Incorporated System and method for using a secondary processor in a graphics system
US8643644B2 (en) 2008-03-20 2014-02-04 Qualcomm Incorporated Multi-stage tessellation for graphics rendering
GB0810311D0 (en) 2008-06-05 2008-07-09 Advanced Risc Mach Ltd Graphics processing systems
US8605087B2 (en) 2008-07-03 2013-12-10 Nvidia Corporation Hybrid multisample/supersample antialiasing
US8428326B2 (en) 2008-10-23 2013-04-23 Immersion Corporation Systems and methods for ultrasound simulation using depth peeling
GB0819570D0 (en) 2008-10-24 2008-12-03 Advanced Risc Mach Ltd Methods of and apparatus for processing computer graphics
US8780131B2 (en) 2008-12-19 2014-07-15 Xerox Corporation Systems and methods for text-based personalization of images
US20100214294A1 (en) 2009-02-20 2010-08-26 Microsoft Corporation Method for tessellation on graphics hardware
US8330767B2 (en) 2009-03-24 2012-12-11 Advanced Micro Devices, Inc. Method and apparatus for angular invariant texture level of detail generation
US8669999B2 (en) 2009-10-15 2014-03-11 Nvidia Corporation Alpha-to-coverage value determination using virtual samples
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8803902B2 (en) 2009-12-03 2014-08-12 Intel Corporation Computing level of detail for anisotropic filtering
JP5786110B2 (ja) * 2009-12-11 2015-09-30 ライカ バイオシステムズ イメージング インコーポレイテッドＡｐｅｒｉｏ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ． デジタル病理画像分析における信号対雑音比の改善
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8619085B2 (en) 2010-03-08 2013-12-31 Broadcom Corporation Method and system for compressing tile lists used for 3D rendering
CN103026706B (zh) 2010-07-21 2016-04-20 杜比实验室特许公司 用于多层帧兼容视频传输的系统及方法
US20130300740A1 (en) 2010-09-13 2013-11-14 Alt Software (Us) Llc System and Method for Displaying Data Having Spatial Coordinates
KR101719485B1 (ko) 2010-09-20 2017-03-27 삼성전자주식회사 그래픽 처리 유닛에서의 사전 픽셀 제거를 위한 장치 및 방법
US8593475B2 (en) 2010-10-13 2013-11-26 Qualcomm Incorporated Systems and methods for dynamic procedural texture generation management
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8982136B2 (en) 2011-05-16 2015-03-17 Qualcomm Incorporated Rendering mode selection in graphics processing units
JP5885398B2 (ja) 2011-05-20 2016-03-15 キヤノン株式会社 画像処理装置、画像処理方法
US9019280B2 (en) 2011-07-22 2015-04-28 Qualcomm Incorporated Area-based rasterization techniques for a graphics processing system
KR101926570B1 (ko) 2011-09-14 2018-12-10 삼성전자주식회사 포스트 프레그먼트 쉐이더를 사용하는 그래픽 처리 방법 및 장치
US10089774B2 (en) 2011-11-16 2018-10-02 Qualcomm Incorporated Tessellation in tile-based rendering
JP5979507B2 (ja) 2011-11-24 2016-08-24 パナソニックＩｐマネジメント株式会社 頭部装着型ディスプレイ装置
US10535185B2 (en) 2012-04-04 2020-01-14 Qualcomm Incorporated Patched shading in graphics processing
US8581929B1 (en) 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US9495781B2 (en) 2012-06-21 2016-11-15 Nvidia Corporation Early sample evaluation during coarse rasterization
US9424685B2 (en) 2012-07-31 2016-08-23 Imagination Technologies Limited Unified rasterization and ray tracing rendering environments
US9142005B2 (en) 2012-08-20 2015-09-22 Nvidia Corporation Efficient placement of texture barrier instructions
US10134102B2 (en) 2013-06-10 2018-11-20 Sony Interactive Entertainment Inc. Graphics processing hardware for using compute shaders as front end for vertex shaders
US10096079B2 (en) 2013-06-10 2018-10-09 Sony Interactive Entertainment Inc. Fragment shaders perform vertex shader computations
US10176621B2 (en) 2013-06-10 2019-01-08 Sony Interactive Entertainment Inc. Using compute shaders as front end for vertex shaders
US10102603B2 (en) 2013-06-10 2018-10-16 Sony Interactive Entertainment Inc. Scheme for compressing vertex shader output parameters
US10976986B2 (en) * 2013-09-24 2021-04-13 Blackberry Limited System and method for forwarding an application user interface
US10068311B2 (en) * 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
EP3129958B1 (en) 2014-04-05 2021-06-02 Sony Interactive Entertainment LLC Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US9495790B2 (en) 2014-04-05 2016-11-15 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping to non-orthonormal grid
US9836816B2 (en) 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
US9652882B2 (en) 2014-04-05 2017-05-16 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
US9760113B2 (en) 2015-02-20 2017-09-12 Sony Interactive Entertainment America Llc Backward compatibility through use of spoof clock and fine grain frequency control
US10235219B2 (en) 2015-07-27 2019-03-19 Sony Interactive Entertainment America Llc Backward compatibility by algorithm matching, disabling features, or throttling performance
US11403099B2 (en) 2015-07-27 2022-08-02 Sony Interactive Entertainment LLC Backward compatibility by restriction of hardware resources
US9892024B2 (en) 2015-11-02 2018-02-13 Sony Interactive Entertainment America Llc Backward compatibility testing of software in a mode that disrupts timing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002503855A (ja) 1998-02-17 2002-02-05 サン・マイクロシステムズ・インコーポレーテッド 可変解像度スーパーサンプリングによるグラフィックス・システム
JP2009520307A (ja) 2005-12-19 2009-05-21 エヌヴィディア コーポレイション グラフィックスプロセッサの並列アレイアーキテクチャ
JP2013137756A (ja) 2011-12-05 2013-07-11 Arm Ltd コンピュータグラフィックスを処理する方法およびコンピュータグラフィックスを処理するための装置

Also Published As

Publication number Publication date
JP2020091877A (ja) 2020-06-11
US10068311B2 (en) 2018-09-04
EP3129979A1 (en) 2017-02-15
JP2020170506A (ja) 2020-10-15
US10614549B2 (en) 2020-04-07
JP7112549B2 (ja) 2022-08-03
JP7004759B2 (ja) 2022-01-21
KR20170012201A (ko) 2017-02-02
JP6652257B2 (ja) 2020-02-19
EP3129979A4 (en) 2017-11-08
US20150287165A1 (en) 2015-10-08
KR101922482B1 (ko) 2018-11-27
WO2015153165A1 (en) 2015-10-08
US20180374195A1 (en) 2018-12-27
JP2017517025A (ja) 2017-06-22
JP2021108154A (ja) 2021-07-29

Similar Documents

Publication Publication Date Title
JP7033617B2 (ja) 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP6903183B2 (ja) 曲面ビューポート上に頂点の投影を近似することによる、グラフィックス処理における画面位置に基づく有効解像度の変化
US11301956B2 (en) Varying effective resolution by screen location by altering rasterization parameters
JP6563048B2 (ja) スクリーンの位置によって異なる解像度のターゲットの複数レンダリングのテクスチャ・マッピングの傾き調整
JP2020113301A (ja) 非正規直交グリッドへのテクスチャマッピングのためのグラデーションの調整
US11302054B2 (en) Varying effective resolution by screen location by changing active color sample count within multiple render targets

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200323

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210324

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210324

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210331

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210406

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210604

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210608

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210907

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220104

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220201

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220228

R150 Certificate of patent or registration of utility model

Ref document number: 7033617

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150