TW201539373A - 用於具有隨螢幕位置變化之解析度的多個再現目標的紋理映射之梯度調整 - Google Patents

用於具有隨螢幕位置變化之解析度的多個再現目標的紋理映射之梯度調整 Download PDF

Info

Publication number
TW201539373A
TW201539373A TW104108777A TW104108777A TW201539373A TW 201539373 A TW201539373 A TW 201539373A TW 104108777 A TW104108777 A TW 104108777A TW 104108777 A TW104108777 A TW 104108777A TW 201539373 A TW201539373 A TW 201539373A
Authority
TW
Taiwan
Prior art keywords
texture
gradient
pixel
unit
coordinates
Prior art date
Application number
TW104108777A
Other languages
English (en)
Other versions
TWI570665B (zh
Inventor
馬可 舍尼
Original Assignee
新力電腦娛樂美國有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新力電腦娛樂美國有限責任公司 filed Critical 新力電腦娛樂美國有限責任公司
Publication of TW201539373A publication Critical patent/TW201539373A/zh
Application granted granted Critical
Publication of TWI570665B publication Critical patent/TWI570665B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/36Level of detail
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232Special driving of display border areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/08Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/12Frame memory handling
    • G09G2360/121Frame memory handling using a cache memory

Abstract

在具有著色器及紋理單元的電腦圖形處理單元(GPU)中,該像素著色器經組配來接收或產生每像素樣本位置紋理坐標之一或多個集合。該像素著色器及該紋理單元在該該像素著色器與該紋理單元之間經組配來計算用於一或多個基元的紋理空間梯度值,且產生並應用每像素梯度標度因子,該等每像素梯度標度因子經組配來修改該等梯度值,以在具有不同像素解析度的顯示裝置之區部之間平滑地過渡該等梯度值。

Description

用於具有隨螢幕位置變化之解析度的多個再現目標的紋理映射之梯度調整 [相關申請案之交互參照]
本申請案係關於與本申請案在相同日期申請的標題為「METHOD FOR EFFICIENT CONSTRUCTION OF HIGH RESOLUTION DISPLAY BUFFERS」之Tobias Berghoff的共同讓渡的同在申請中之美國專利申請案號_______,(代理人案號SCEA13055US00),該美國專利申請案之全部內容以引用方式併入本文中。
本申請案係關於與本申請案在相同日期申請的標題為「GRAPHICS PROCESSING ENHANCEMENT BY TRACKING OBJECT AND/OR PRIMITIVE IDENTIFIERS」之Tobias Berghoff的共同讓渡的同在申請中之美國專利申請案號_______,(代理人案號SCEA13056US00),該美國專利申請案之全部內容以引用方式併入本文中。
本申請案係關於與本申請案在相同日期申請的標題為「GRADIENT ADJUSTMENT FOR TEXTURE MAPPING TO NON-ORTHONORMAL GRID」之Mark Evan Cerny的共同讓渡的同在申請中之美國專利申請案號_______,(代理人案號SCEA13057US00),該美國專利申請案之全部內容以引用方式併入本文中。
本申請案係關於與本申請案在相同日期申請的標題為「VARYING EFFECTIVE RESOLUTION BY SCREEN LOCATION BY CHANGING ACTIVE COLOR SAMPLE COUNT WITHIN MULTIPLE RENDER TARGETS」之Tobias Berghoff的共同讓渡的同在申請中之美國專利申請案號_______,(代理人案號SCEA13058US00),該美國專利申請案之全部內容以引用方式併入本文中。
本申請案係關於與本申請案在相同日期申請的標題為「VARYING EFFECTIVE RESOLUTION BY SCREEN LOCATION BY ALTERING RASTERIZATION PARAMETERS」之Mark Evan Cerny的共同讓渡的同在申請中之美國專利申請案號_______,(代理人案號SCEA13059US00),該美國專利申請案之全部內容以引用方式併入本文中。
本申請案係關於與本申請案在相同日期申請的標題為「VARYING EFFECTIVE RESOLUTION BY SCREEN LOCATION IN GRAPHICS PROCESSING BY APPROXIMATING PROJECTION OF VERTICES ONTO CURVED VIEWPORT」之Mark Evan Cerny的共同讓渡的同在申請中之美國專利申請案號_______,(代理人案號 SCEA13060US00),該美國專利申請案之全部內容以引用方式併入本文中。
本揭示案之態樣係關於電腦圖形。具體而言,本揭示案係關於用於紋理映射的梯度之調整。
圖形處理通常涉及兩個處理器亦即中央處理單元(CPU)及圖形處理單元(GPU)之協調。GPU為經設計來加速在圖框緩衝器中創建意欲輸出至顯示器之影像的專門電子電路。GPU用於嵌式系統、行動電話、個人電腦、平板電腦、可攜式遊戲裝置、工作站及遊戲控制台中。GPU通常經設計來有效操縱電腦圖形。GPU通常具有高度平行的處理架構,此處理架構使GPU對於平行地進行大資料塊之處理的演算法比通用CPU更有效。
CPU可發送通常被稱為繪圖命令的GPU指令,該等GPU指令指示GPU實行特定圖形處理任務,例如再現已相對於影像中之先前圖框改變的特定紋理。此等繪圖命令可由CPU使用圖形應用程式設計介面(API)協調,以便發佈圖形再現命令,該等圖形再現命令對應於特定應用程式之虛擬環境的狀態。
為了再現用於特定程式的紋理,GPU可在「圖形管線」中執行一系列處理任務,以將虛擬環境中之 視覺元素轉換成可再現至顯示器上的影像。典型圖形管線可包括對虛擬空間中之虛擬物件執行某些再現或著色操作、場景中之虛擬物件之用以產生適合於輸出顯示的像素資料的變換及光柵化,及在顯示器上輸出所再現成的影像之前像素(或片段)上的額外再現任務。
影像之虛擬物件通常根據稱為基元的形狀在虛擬空間中加以描述,該等基元一起構成虛擬場景中之物件之形狀。例如,三維虛擬世界中將要再現的物件可經簡化為一系列相異三角形基元,該等相異三角形基元具有根據該等基元在三維空間中之坐標定義的頂點,藉此此等多邊形構成物件之表面。每一多邊形可具有可由圖形處理系統用以區別給定多邊形與其他多邊形的相關聯索引。同樣地,每一頂點可具有可用以區別給定頂點與其他頂點的相關聯索引。圖形管線可對此等基元執行某些操作,以產生用於虛擬場景的視覺元素且將此資料變換成適合於由顯示器之像素再現的二維格式。如本文所使用的圖形基元資訊(或簡稱「基元資訊」)一詞用以代表表示圖形基元的資料。此資料包括(但不限於)頂點資訊(例如,表示頂點定位或頂點索引的資料)及多邊形資訊(例如,多邊形索引),及將特定頂點與特定多邊形相關聯的資訊。
GPU可藉由實行通常稱為著色器的程式來執行圖形管線之再現任務。典型圖形管線可包括:頂點著色器,其可以每頂點為基礎操縱基元之某些性質;以及像素著色器(亦稱為「片段著色器」),其在圖形管線中於頂點 著色器下游操作且可在將像素資料傳輸至顯示器之前以每像素為基礎操縱某些值。片段著色器可操縱與將紋理應用於基元有關的值。管線亦可包括在管線中之各種階段處的其他著色器,諸如使用頂點著色器之輸出來產生一組新基元的幾何形狀著色器,以及可由GPU實行來執行某些其他一般計算任務的計算著色器(CS)。
將紋理映射至基元的過程之部分涉及自螢幕空間中之像素位置計算紋理空間中之梯度。梯度計算通常假定像素位置係基於正方形正交網格。
本揭示案正是在此情境中出現的。
100‧‧‧系統
102‧‧‧中央處理單元
103C‧‧‧CPU代碼
103G‧‧‧GPU代碼
104‧‧‧圖形處理單元
105‧‧‧緩衝器
106‧‧‧紋理單元
108‧‧‧記憶體
109‧‧‧匯流排
110‧‧‧支援功能
111‧‧‧輸入/輸出元件
112‧‧‧電源
113‧‧‧時鐘
114‧‧‧快取記憶體
114G‧‧‧GPU快取記憶體
115‧‧‧大量儲存裝置
116‧‧‧顯示裝置
118‧‧‧使用者介面
120‧‧‧網路介面
122‧‧‧網路
128‧‧‧圖形記憶體
201‧‧‧區部
202‧‧‧區部
203‧‧‧區部
204‧‧‧區部
205‧‧‧區部
206‧‧‧區部
207‧‧‧區部
208‧‧‧區部
209‧‧‧區部
211‧‧‧像素
212‧‧‧像素
E0‧‧‧四元組
E1‧‧‧四元組
藉由結合隨附圖式考慮以下詳細描述,可容易地理解本揭示案之教示,在圖式中:圖1A為根據本揭示案之態樣之圖形處理系統的方塊圖。
圖1B為圖形處理管線的方塊圖。
圖2A至圖2D描繪根據本揭示案之一態樣的具有不同解析度之區部的顯示器之一部分。
圖2E例示根據本揭示案之一態樣的每像素梯度標度修正的一般化實例。
【發明內容及實施方式】
儘管以下詳細描述含有許多特定細節以用於 例示之目的,但是一般技術者將瞭解,對以下細節之許多變化及變更在本發明之範疇內。因此,以下所述本發明之示範性實施例係在對所請求發明沒有任何一般性損失的情況下且對所請求發明不強加限制的情況下闡述。
引言
在某些圖形應用程式中,位元映像紋理經「塗裝」至多邊形上。在此狀況下,由輸出裝置繪製的每一像素值係根據自紋理取樣的一或多個像素判定。如本文所使用,位元映像通常代表資料檔案或結構,該資料檔案或結構表示電腦監視器、紙或其他顯示裝置上的像素之大體上矩形網格,或色彩點。每一像素之色彩經單獨定義。例如,有色像素可藉由三個位元組定義一一個位元組各自用於紅色、綠色及藍色。位元映像通常與由裝置紋理取樣單元支援的資料格式逐位元一致,該等資料格式可通常包括一系列選項,包括每通道或區塊壓縮各種位元深度,可能以與該位元映像將儲存在顯示器之視訊記憶體中的相同格式或可作為裝置無關位元映像。位元映像的特徵在於以像素為單位的影像之寬度及高度以及每像素位元之數目,該數目判定該位元映像可表示的色彩之數目。
將紋理位元映像傳送至表面的過程通常涉及紋理MIP映射(亦稱為mipmap)之使用。名稱中之字母「MIP」為拉丁語multum in parvo的縮寫字,意指「小空間中的多數」。此類mipmap為伴隨主紋理的位元映像影 像之預先計算的最佳化集合,意欲提高再現速度且減少混淆假影。
mipmap集合之每一位元映像影像為主紋理之一版本,但以某一降低的細節層次(LOD)。儘管當視圖足以完全詳細地再現主紋理時將仍使用該主紋理,但是當自遠方或以小大小觀察紋理時,再現最終影像的圖形硬體切換至適合的mipmap層次(或在兩個最近層次之間內插)。再現速度提高,因為相較於在簡單紋理的情況下,正處理的紋理像素(「紋理影像元件」)之數目可低得多且該等紋理像素在記憶體中之分佈更同調。可減少假影,因為mipmap影像已經有效抗混淆,從而減輕即時再現硬體的一些負擔。
mipmap層次之間的混合通常涉及某一形式的紋理濾波。如本文所使用,紋理濾波代表用以將紋理影像元件(紋理之像素)映射至3D物件上之點的方法。簡單紋理濾波演算法可取得物件上之點且查找與該定位最近的紋理影像元件。所得點隨後自該一個紋理影像元件獲取該點之色彩。此簡單技術有時被稱為最近相鄰濾波。更複雜的技術組合每點一個以上紋理影像元件。最常用的演算法實際上為使用mipmap的雙線性濾波及三線性濾波。各向異性濾波及較高次方法(諸如二次濾波或三次濾波)導致甚至更高品質的影像。
紋理通常為正方形且具有等於2之冪的邊長。若例如紋理具有256乘256像素的基本大小,則相關 聯mipmap集合可含有一系列8個影像,各自為前一影像之大小的一半:128×128像素、64×64、32×32、16×16、8×8、4×4、2×2及1×1(單個像素)。若例如此紋理映射至螢幕空間之40×40像素部分上,則將使用64×64 mipmap及32×32 mipmap之內插。如本文所使用,「螢幕空間」一詞通常代表由圖形管線中之顯示緩衝器使用的坐標集。
判定適當mipmap層次的過程中之關鍵操作涉及針對來自螢幕空間(有時被稱為XY坐標空間)的像素位置之對應區域判定紋理坐標空間(有時被稱為UV坐標空間)中覆蓋的區域。一般而言,內插或所計算出的紋理UV坐標之螢幕空間梯度係自在場景之相關部分中的XY空間像素位置處取樣的U值及V值計算。在一些實行方案中,藉由計算發生在螢幕X坐標改變且螢幕Y固定時的紋理坐標之變化(有時被稱為du_dx、dv_dx),及發生在螢幕Y坐標改變且螢幕X固定時的紋理坐標之變化(有時被稱為du_dy、dv_dy)針對每一螢幕空間方向X及Y判定紋理坐標梯度。此紋理坐標梯度計算可選擇性地包括用於樣本網格之非正交性的修正。對於非各向異性紋理查找,使用此兩個之中具有較大量級的梯度來選擇細節層次(LOD)。對於各向異性紋理,使用較小量級梯度來選擇LOD,且在對應於較大量級梯度的線上對紋理取樣。
應注意,以上計算可一般化為1個、2個、3個或更多紋理坐標維。典型硬體取決於紋理維數而計算U-空間中之1D梯度或UV-空間中之2D梯度或UVW-空間 中之3D梯度。因此,本揭示案之態樣不限於涉及兩個紋理坐標維的實行方案。
然而,判定適當MIP細節層次之過程係基於以下假定:紋理將要應用的螢幕空間之相關部分為樣本之規則佈置,亦即,螢幕像素內之樣本點跨整體螢幕空間在垂直方向及水平方向上均勻地間隔。然而,視覺假影可起因於樣本模式中例如在螢幕區域之間的界限處的不連續性,該等螢幕區域在螢幕空間中具有不同樣本間隔。在此類界限處,在界限之任一側上的局部正確紋理濾波可存取顯著不同的MIP細節層次,從而在跨界限的輸出影像之外觀中產生值得注意的變化。在此類情形下,必須在界限之每一側上調整梯度,以便產生平滑變化的紋理濾波且藉此降低界限之可見性。
系統及設備
本揭示案之態樣包括圖形處理系統,該等圖形處理系統經組配來實行紋理映射中之梯度調整。藉由實例而非限制的方式,圖1A例示根據本揭示案之態樣的可用以實行圖形處理的電腦系統100的方塊圖。根據本揭示案之態樣,系統100可為嵌式系統、行動電話、個人電腦、平板電腦、可攜式遊戲裝置、工作站、遊戲控制台等。
系統100通常可包括中央處理器單元(CPU)102、圖形處理器單元(GPU)104及CPU及GPU兩 者可存取的記憶體108。CPU 102及GPU 104可各自包括一或多個處理器核心,例如,單個核心、兩個核心、四個核心、八個核心或更多。記憶體108可呈積體電路形式,該積體電路提供可存取記憶體,例如,RAM、DRAM等。記憶體108可包括圖形記憶體128,該圖形記憶體可儲存圖形資源且暫時儲存對於圖形再現管線的資料之圖形緩衝器105。圖形緩衝器105可包括例如用於儲存頂點參數值的頂點緩衝器、用於保存頂點索引的索引緩衝器、用於儲存圖形內容之深度值的深度緩衝器(例如,Z-緩衝器)、模板緩衝器、用於儲存將要發送至顯示器的完成圖框的圖框緩衝器,及其他緩衝器。在圖1A中所示的實例中,圖形記憶體128展示為主記憶體之部分。在替代性實行方案中,圖形記憶體可為單獨組件,可能整合至GPU 104中。
藉由實例而非限制的方式,CPU 102及GPU 104可使用資料匯流排109存取記憶體108。在一些狀況下,系統100包括兩個或兩個以上不同匯流排可為有用的。記憶體108可含有可由CPU 102及GPU 104存取的資料。GPU 104可包括複數個計算單元,該複數個計算單元經組配來平行地執行圖形處理任務。每一計算單元可包括其自有的專用區域記憶體儲存器,諸如,區域資料共享。
CPU可經組配來執行CPU代碼103C,該CPU代碼可包括利用圖形、編譯器及圖形API的應用程式。圖形API可經組配來將繪圖命令發佈至由GPU實行的程 式。CPU代碼103C亦可實行醫學模擬及其他功能。GPU 104可經組配來如以上所論述地操作。具體而言,GPU可執行GPU代碼103G,該GPU代碼可實行著色器,諸如計算著色器CS、頂點著色器VS及像素著色器PS,如以上所論述。為促進資料在計算著色器CS與頂點著色器VS之間的傳遞,系統可包括一或多個緩衝器105,該一或多個緩衝器可包括圖框緩衝器FB。GPU代碼103G亦可選擇性地實行其他類型的著色器(未示出),諸如像素著色器或幾何形狀著色器。每一計算單元可包括其自有的專用區域記憶體儲存器,諸如,區域資料共享。GPU 104可包括一或多個紋理單元106,該一或多個紋理單元經組配來作為圖形管線之部分而執行用於將紋理應用於基元的某些操作。
根據本揭示案之態樣,像素著色器PS及紋理單元106經組配來針對一或多個對應像素樣本位置產生一或多個紋理坐標UV且潛在地亦產生用於每一坐標的紋理空間梯度值Gr。此等梯度值可潛在地針對樣本網格之非正交性加以修正。雖然此等梯度值Gr提供局部正確的紋理濾波,但是在一些組態中,在具有不同像素樣本組態的螢幕區域之間可存在突然過渡,該等突然過渡可在輸出影像中作為紋理濾波外觀中之突變而變得可見。根據本揭示案之態樣,像素著色器PS可計算螢幕空間梯度標度因子Sc且向紋理單元106供應螢幕空間梯度標度因子Sc,紋理單元106可將該等螢幕空間梯度標度因子作為線性螢幕 軸線對準的標度變換應用於梯度Gr,以獲得調整後梯度值Gr’。此等梯度標度因子Sc可用以一直通往螢幕區域界限而逐漸修改梯度值Gr,以便在具有不同像素解析度的顯示裝置116之區部之間平滑地過渡該等梯度值。
藉由實例而非限制的方式,紋理單元106可實行為專用硬體,諸如特定應用積體電路(ASIC)、現場可規劃閘陣列(FPGA)或系統單晶片(SoC或SOC)。
如本文所使用且如熟習此項技術者通常所理解,特定應用積體電路(ASIC)為針對特定用途定製而非意欲用於通用用途的積體電路。
如本文所使用且熟習此項技術者通常所理解,現場可規劃閘陣列(FPGA)為設計來由消費者或設計者在製造之後組配-因此「現場可規劃」的積體電路。FPGA組態通常使用類似於用於ASIC的硬體描述語言的硬體描述語言(HDL)加以指定。
如本文所使用且如熟習此項技術者通常所理解,系統單晶片(SoC或SOC)為將電腦或其他電子系統之所有組件整合至單個晶片中的積體電路(IC)。其可含有數位功能、模擬功能、混合信號功能,且經常含有射頻功能-全部在單個晶片基板上。典型應用為在嵌式系統之領域中。
典型SoC包括以下硬體組件:一或多個處理器核心(例如,微控制器、微處理器或數位信號處理器(DSP)核心。
記憶體區塊,例如,唯讀記憶體(ROM)、隨機存取記憶體(RAM)、電氣可抹除可規劃唯讀記憶體(EEPROM)及快閃記憶體。
定時源,諸如振盪器或鎖相迴路。
周邊設備,諸如計數計時器、即時計時器或開機重設產生器。
外部介面,例如,工業標準,諸如通用串列匯流排(USB)、火線、乙太網路、通用異步接收器/發射器(USART)、串列周邊介面(SPI)匯流排。
類比介面,包括類比至數位轉換器(ADC)及數位至類比轉換器(DAC)。
電壓調節器及功率管理電路。
此等組件由專屬匯流排或工業標準匯流排連接。直接記憶體存取(DMA)控制器直接在外部介面與記憶體之間路由資料,從而繞過處理器核心且藉此提高SoC之資料通量。
典型SoC包括以上所述硬體組件及可執行指令(例如,軟體或韌體)兩者,該等可執行指令控制處理器核心、周邊設備及介面。
根據本揭示案之態樣,紋理單元106之功能中之一些或全部可替代地藉由由軟體可規劃通用電腦處理器執行的適當組配的軟體指令來實行。此類指令可體現於電腦可讀媒體例如記憶體108或儲存裝置115中。
系統100亦可包括熟知支援功能110,該等支 援功能可例如經由匯流排109與系統之其他組件通訊。此類支援功能可包括(但不限於)輸入/輸出(I/O)元件111、電源(P/S)112、時鐘(CLK)113及快取記憶體114。除快取記憶體114之外,GPU 104可包括其自有GPU快取記憶體114G,且GPU可經組配以使得在GPU 104上運行的程式可完全讀取或完全寫入GPU快取記憶體114G
系統100可選擇性地包括諸如磁碟驅動機、CD-ROM驅動機、快閃記憶體、磁帶驅動機等的大容量儲存裝置115,以儲存程式及/或資料。系統100亦可選擇性地包括用以將再現圖形117呈現給使用者的顯示裝置116及用以促進系統100與使用者之間的交互作用的使用者介面單元118。顯示裝置116可呈平板顯示器、頭戴式顯示器(HMD)、陰極射線管(CRT)螢幕、投影機或可顯示可見本文、數字、圖形符號或影像的其他裝置的形式。顯示器116可顯示根據本文所述各種技術處理的再現圖形影像117。使用者介面118可包括鍵盤、滑鼠、操縱桿、光筆、遊戲控制器或可結合圖形使用者介面(GUI)使用的其他裝置。系統100亦可包括網路介面120以允許裝置經由網路122與其他裝置通訊。網路122可為例如區域網路(LAN)、廣域網路諸如網際網路、個人區域網路,諸如藍芽網路或其他類型的網路。此等組件可實行於硬體、軟體或韌體,或該硬體、軟體或韌體中之兩個或兩個個以上之一些組合中。
圖形管線
根據本揭示案之態樣,系統100經組配來實行圖形再現管線之部分。圖1B例示根據本揭示案之態樣的圖形再現管線130之實例。
再現管線130可經組配來再現如描繪場景的影像的圖形,該場景在虛擬空間(本文中有時被稱為「世界空間」)中具有二維幾何形狀或較佳三維幾何形狀。管線之早期階段可包括在場景經光柵化且轉換至螢幕空間以作為適合於在顯示裝置116上輸出的一組離散畫面元件之前於虛擬空間中執行的操作。貫穿管線,含於圖形記憶體128中的各種資源可在管線階段處加以利用,且至階段的輸入及輸出可在影像之最終值經判定之前暫時儲存在含於圖形記憶體中的緩衝器中。
再現管線可對輸入資料132操作,該輸入資料可包括由一組頂點定義的一或多個虛擬物件,該組頂點係在虛擬空間中設置且具有關於場景中之坐標定義的幾何形狀。管線之早期階段可包括在圖1B中廣泛地分類為頂點處理階段134的階段,且此可包括各種計算以處理虛擬空間中之物件之頂點。此可包括頂點著色計算136,該等頂點著色計算可操縱場景中之頂點之各種參數值,諸如定位值(例如,X-Y坐標及Z深度值)、色彩值、採光值、紋理坐標等。較佳地,頂點著色計算136由一或多個可規劃頂點著色器執行。頂點處理階段可選擇性地包括額外頂點處理計算,諸如,鑲嵌及幾何形狀著色器計算138,該等 鑲嵌及幾何形狀著色器計算可選擇性地用以產生虛擬空間中之新頂點及新幾何形狀。一旦被稱為頂點處理134的階段完成,在管線中之此階段處,場景即由一組頂點定義,該組頂點各自具有一組頂點參數值139。
管線130隨後可繼續進行與將場景幾何形狀轉換成螢幕空間及一組離散畫面元件(亦即,像素)相關聯的光柵化處理階段140。虛擬空間幾何形狀可藉由操作變換成螢幕空間幾何形狀,該等操作可實質上計算物件及頂點自虛擬空間至場景之觀察視窗(或「視埠」)的投影。頂點可定義一組基元。
圖1B中所描繪的光柵化處理階段140可包括基元組裝操作142,該等基元組裝操作可設置由場景中之每一組頂點定義的基元。每一頂點可由索引定義,且每一基元可關於此等頂點索引加以定義,該等頂點索引可儲存在圖形記憶體128中之索引緩衝器中。基元可較佳地包括由三個頂點定義的至少三角形,但該三個頂點各自亦可包括點基元、線基元及其他多邊形形狀。在基元組裝階段142期間,可選擇性地剔出某些基元。例如,索引指示一定捲繞順序的該等基元可被視為向後的且可自場景剔出。
藉由實例而非限制的方式,在基元呈由三維虛擬空間中之頂點定義的三角形之形式的情況下,基元組裝判定每一個三角形位於顯示器116之螢幕上何處。裁剪及螢幕空間變換操作通常由基元組裝單元142執行。
在基元經組裝之後,光柵化處理階段可包括 掃描轉換操作144,該等掃描轉換操作可對每一像素處的基元取樣,且在樣本由基元覆蓋時,自基元產生片段(有時被稱為像素)以用於進一步處理。掃描轉換操作包括取得已轉換至螢幕空間坐標的基元及判定哪些像素為該基元之部分的操作。在一些實行方案中,在掃描轉換操作144期間在基元內取得用於每一像素的多個樣本,此舉可用於抗混淆目的。在某些實行方案中,不同像素可不同地加以取樣。例如,一些邊緣像素可含有比中心像素較低的取樣密度,以最佳化用於某些類型的顯示裝置116諸如頭戴式顯示器(HMD)的再現之某些態樣。在掃描轉換144期間自基元產生的片段(或「像素」)可具有參數值,該等參數值可自創建該等片段的基元之頂點的頂點參數值139內插至像素之位置。光柵化階段140可包括參數內插操作146階段以計算此等內插片段參數值149,該等內插片段參數值可用作輸入以用於在管線之較後階段處的進一步處理。
管線130可包括進一步像素處理操作,在圖1B中大體上在150處指示,以進一步操縱內插參數值149,且執行判定片段如何有助於用於顯示器的最終像素值的進一步操作。此等像素處理任務中一些可包括像素著色計算152,該等像素著色計算可用以進一步操縱片段之內插參數值149。像素著色計算可由可規劃像素著色器執行,且可基於基元在光柵化處理階段140期間之取樣來發起像素著色器調用148。像素著色計算152可將值輸出至圖形記憶體128中之一或多個緩衝器105,該一或多個緩 衝器有時被稱為再現目標,或若有多個緩衝器,則被稱為多個再現目標(MRT)。
MRT允許像素著色器選擇性地輸出至一個以上再現目標,各自具有相同螢幕維但潛在地具有不同像素格式。再現目標格式限制通常意味任何一個再現目標僅可接受多達四個獨立輸出值(通道),且該四個通道之格式彼此緊密相關。MRT允許單個像素著色器以不同格式之混合輸出許多值。再現目標之格式「類似紋理」,因為該等格式儲存每螢幕空間像素值,但是出於各種效能理由,再現目標格式在近來硬體產生中變得更專門化,有時(並非始終)需要所謂的「解析」來在資料與由紋理單元106讀入相容之前重新格式化該資料。
像素處理150可通常以再現輸出操作156結束,該等再現輸出操作可包括通常稱為光柵操作(ROP)的操作。光柵化操作(ROP)簡單地運行每像素多次,多個再現目標(MRT)之中的每一再現目標一次。在再現輸出操作156期間,最終像素值159可在圖框緩衝器中經判定,此舉可選擇性地包括合併片段、應用模板、深度測試及某些每樣本處理任務。最終像素值159包括至所有有效再現目標(MRT)的所收集輸出。GPU 104使用最終像素值159來構成完成的圖框160,該完成的圖框可選擇性地即時顯示在顯示裝置116之像素上。
輸出操作150亦可包括紋理映射操作154,該等紋理映射操作可在某種程度上由一或多個像素著色器 PS且在某種程度上由紋理單元106執行。像素著色器計算152包括自螢幕空間坐標XY計算紋理坐標UV,及將紋理坐標發送至紋理操作154,及接收紋理資料TX。紋理坐標UV可以任意方式自螢幕空間坐標XY計算,但通常自內插輸入值計算,或有時自先前紋理操作之結果計算。梯度Gr通常係由紋理單元106(紋理操作硬體單元)自紋理坐標之四元組(quad)直接計算,但可選擇性地由像素著色器計算152明確地計算且經傳遞至紋理操作154,而非依賴紋理單元106以執行預設計算。
紋理操作154通常包括以下階段,該等階段可由像素著色器PS及紋理單元106之一些組合執行。首先,每像素位置XY一或多個紋理坐標UV經產生且用來提供用於每一紋理映射操作的坐標集。隨後,產生用於像素樣本位置的紋理空間梯度值Gr,潛在地包括用於樣本網格之非正交性的修正。最後,梯度Gr藉由由像素著色器PS供應的每像素螢幕空間梯度標度因子Sc修改,以便產生用於紋理濾波操作的最終紋理空間梯度Gr’。梯度標度因子Sc可經選擇以產生在顯示裝置116之具有不同像素解析度或樣本分佈的區部之間平滑過渡的梯度值Gr’。
在一些實行方案中,像素著色器PS可產生每一像素位置XY紋理坐標UV及梯度標度因子Sc,且將用於每一紋理映射操作的坐標集提供至紋理單元106,該紋理單元可產生紋理空間梯度值Gr且修改該等紋理空間梯度值以產生修正紋理空間梯度值Gr’。
在其他實行方案中,像素著色器PS可自像素位置XY計算紋理空間坐標UV、顯式差分Gr,且計算梯度標度因子Sc,並將所有此等值傳遞至紋理單元606且向紋理單元606指示該紋理單元必須仍正常地執行用於非正交性的任何修正,隨後應用梯度標度因子Sc以得到調整後梯度值Gr’。
在其他替代性實行方案中,像素著色器PS可計算紋理空間坐標UV及顯式修正梯度Gr’,且將該等紋理空間坐標及顯式修正梯度傳遞至紋理單元,從而向紋理單元106指示任何所需修正已在軟體中應用,且當將選擇LOD時應使用修正梯度Gr’。
每像素梯度調整
本揭示案之態樣係針對梯度Gr之調整,該等梯度由紋理單元106用來判定用於將要在圖形管線中應用於基元的紋理的mipmap層次(LOD)。基本概念例示於圖2E中。圖2E描繪兩個正交四元組(E0及E1)中之四個像素樣本的紋理UV坐標。在四元組E0中,XY空間中之所有樣本點位於水平地且垂直地具有一個螢幕像素之間距的正交網格上。
在四元組E0中,UV空間中之紋理梯度Gr係自紋理坐標UV簡單地計算。紋理梯度Gr可根據分別為(u0,v0)、(u1,v1)及(u2,v2)的左上像素、右上像素及左下像素之紋理坐標UV以數學方式表達如下:
du_dx=u1-u0
dv_dx=v1-v0
du_dy=u2-u0
dv_dy=v2-v0
若像素著色器PS並未選擇使用軟體計算出的值置換du_dx=u1-u0等之此等計算,則該等計算可由紋理單元硬體106執行。紋理梯度Gr隨後由紋理單元106用來判定至樣本的mipmap LOD層次。
根據本揭示案之態樣,梯度Gr du_dx、dv_dx、du_dy、dv_dy以每像素為基礎經調整以解決跨顯示器的像素解析度之不連續性。例如,在某些顯示器組態(例如,頭戴式顯示器(HMD)應用程式)中,將不同解析度使用於顯示器之不同部分為有利的。在此類狀況下,極其有利的是,以每像素為基礎標度梯度以消除不同解析度的相鄰區部之間的界限處或附近的紋理濾波之變化。基本概念例示於圖2A至圖2C中。
如圖2A及圖2B中所示,顯示區域可劃分成不同像素解析度之兩個或兩個以上區部201、202、203、204、205、206、207、208及209。每一區部可具有與由顯示器之區部對向的立體角有關的解析度,例如,在頭戴式顯示器(HMD)之狀況下。藉由實例而非限制的方式,中央區部205可具有標稱或標準像素解析度R0。邊緣區部202、204、206、208可具有一半標準解析度½R0,例如,此等區部中之一半像素將「關閉」或並未再現於顯示器 上。拐角區部201、203、207及209可具有四分之一標準解析度¼R0,例如,此等區部中之像素中之四分之三將「關閉」或並未再現於顯示器上。圖2B展示根據每一區部之解析度繪製成不同大小的此等不同區部。
梯度可需要針對相鄰區部之間的界限附近的像素加以調整。例如,在圖2C中,已移除標記區段之間的界限的線。然而,相鄰區部之間的紋理濾波中之不連續性使界限可見。GPU可經組配來針對區部之間的界限附近的像素調整梯度以消除不連續性,從而使該等界限不太可見。例如,如圖2D中所示,用於圖2C中之列D-D’中之全解析度中央區部205中之選定像素211、212的水平梯度可經標度,以便朝向二分之一解析度邊緣區部204、206產生逐漸更模糊的紋理濾波,使得跨邊界緊密相鄰的兩個像素將存取近似相同的MIP LOD層次。
或者,二分之一解析度邊緣區部204、206中之梯度亦可經標度,以便朝向全解析度中央區部205變得逐漸更清晰。
用以解決不同解析度的梯度之一般化調整可參考圖2E來理解,圖2E在UV空間中描繪用於跨水平螢幕區域中之界限的兩個相鄰像素四元組E0及E1(亦由圖2C中之螢幕空間中之相應標記的矩形指示)的紋理坐標。在圖2E中,在E0與E1之間的樣本之水平密度的平分產生用於E1的(du_dx,dv_dx),該(du_dx,dv_dx)具有針對E0計算出的(du_dx,dv_dx)之長度的近似兩倍。此轉而可 導致對於四元組E1相較於對於E0的較低細節層次的選擇。應注意,對於四元組E0及四元組E1的此等梯度計算為局部正確的,因為每一者將正確地選擇將使用近似一個紋理像素(「紋理影像元件」)覆蓋每一螢幕像素的mipmap LOD,但紋理濾波中之此突變可在跨具有如E0的樣本模式之四元組與具有如E1的模式之該等四元組之間的界限的輸出影像之外觀中產生可見變化。此界限之可見性可藉由選擇調整靠近界限的像素中之梯度值以便產生mipmap LOD之平滑變化的選擇來降低。
UV空間中之梯度(du_dx,dv_dx),(du_dy,dv_dy)正常針對每一四元組加以計算,此舉在一些其他狀況下可包括用於區域樣本分佈之非正交性的修正。梯度隨後可以每像素為基礎乘以每像素梯度標度因子scalex、scaleY,以產生紋理單元用以判定適當mipmap層次的最終調整後梯度(du_dx’,dv_dx’)、(du_dy’,dv_dy’):
du_dx’=du_dx * scaleX
du_dy’=du_dy * scaleY
dv_dx’=dv_dx * scaleX
dv_dy’=dv_dy * scaleY
梯度標度因子scaleX及scaleY將由像素著色器PS計算且經傳遞至紋理單元106,該紋理單元將使用該等梯度標度因子來計算最終調整後梯度。
應理解,將以上梯度標度修正同樣地應用於每一紋理坐標U及V,且因此可簡單地延伸至一維坐標 (U)、二維坐標(UV)或三維坐標(UVW)。
用於梯度標度因子scaleX、scaleY的適合值可藉由迭代應用於最接近不同像素解析度之相鄰區部之界限的選定像素的梯度標度因子值來憑經驗判定。用於梯度標度因子的適合值之範圍可自相鄰區部之相對像素解析度判定。例如,沿列D-D’,像素解析度自區部204中之½R改變至區部205中之R,且再次改變至區部206中之½R。梯度標度值scaleX將在區部205中最接近與區部204及206的界限的若干像素上自大致1過渡至大致2。在圖2E中,可看出,將梯度scaleX因子2應用於來自區部205的四元組E0將導致大致匹配對於來自區部206的相鄰四元組E1計算出的梯度的(du_dx’,dv_dx’),因此在標度修正梯度及紋理濾波LOD選擇中創建連續性。類似地,梯度標度值scaleX、scaleY將在區部208中最接近與區部207及209的界限的若干像素上自大致1之值過渡至大致2之值。梯度標度因子可在若干像素(例如,大致4個像素至大致8個像素)上於兩個值之間變化。
紋理單元106可使用最終調整後梯度來選擇適當LOD以應用於來自最終調整後梯度的一或多個基元。
額外態樣
本揭示案之一額外態樣包括圖形處理方法,該圖形處理方法包含:接收或產生每像素樣本位置紋理坐 標之一或多個集合;計算用於一或多個基元的紋理空間梯度值;以及產生及應用每像素梯度標度因子,該等每像素梯度標度因子經組配來修改梯度值以在具有不同像素解析度的顯示裝置之區部之間平滑地過渡該等梯度值。
另一額外態樣為圖形處理系統,該圖形處理系統經組配來實行前述方法。
又一額外態樣為電腦可讀媒體,該電腦可讀媒體中體現有電腦可執行指令,該等電腦可執行指令在被執行時實行前述方法。
另一態樣為電磁信號或其他信號,該電磁信號或其他信號攜載用於進行前述方法的電腦可讀指令。
又一態樣為可自通訊網路下載且/或儲存在電腦可讀媒體及/或微處理器可執行媒體上的電腦程式產品,其特徵在於,該電腦程式產品包含用於實行前述方法的程式碼指令。
雖然以上為本發明之較佳實施例之完整描述,但是有可能使用各種替選方案、修改及等效物。因此,本發明之範疇不應參考以上描述來判定,而是應參考隨附申請專利範圍以及申請專利範圍之等效物之完整範疇來判定。本文所述的任何特徵(無論是否較佳)皆可與本所述的任何其他特徵(無論是否較佳)組合。在以下申請專利範圍中,不定冠詞「一」係指接在該冠詞後面的項目中之一或多者之數量,除非另有明確說明。隨附申請專利範圍不應解釋為包括構件加功能限制,除非在給定請求項中使 用用語「用於......之構件」明確地敘述此限制。

Claims (24)

  1. 一種電腦圖形系統,其包含:一圖形處理單元(GPU),其具有一像素著色器及一紋理單元;其中該像素著色器經組配來接收或產生每像素樣本位置紋理坐標之一或多個集合,且其中該像素著色器及該紋理單元在該像素著色器與該紋理單元之間經組配來計算用於一或多個基元的紋理空間梯度值,且產生並應用每像素梯度標度因子,該等每像素梯度標度因子經組配來修改該等梯度值以在具有不同像素解析度的一顯示裝置之區部之間平滑地過渡該等梯度值。
  2. 如申請專利範圍第1項之系統,其中該等紋理空間梯度值包括用於一螢幕空間樣本分佈之非正交性的修正。
  3. 如申請專利範圍第1項之系統,其中該紋理單元為一特定應用積體電路(ASIC)、現場可規劃閘陣列(FPGA)或系統單晶片(SOC)。
  4. 如申請專利範圍第1項之系統,其中該紋理單元進一步經組配來自複數個細節層次為將要應用於來自該等調整後梯度值的一或多個基元的一紋理選擇一細節層次。
  5. 如申請專利範圍第4項之系統,其中該紋理單元進一步經組配來將該紋理應用於該一或多個基元。
  6. 如申請專利範圍第5項之系統,其進一步包含一顯示單元,該顯示單元耦接至該GPU,其中該顯示單元經 組配來顯示影像,該等影像包括應用於該一或多個基元的該紋理。
  7. 如申請專利範圍第1項之系統,其中該紋理單元自由該像素著色器供應的該等紋理坐標計算紋理空間梯度值,且產生並應用該等每像素梯度標度因子以獲得標度修正梯度值。
  8. 如申請專利範圍第1項之系統,其中該像素著色器計算該等每像素梯度標度因子,且將該等每像素梯度標度因子與該等紋理坐標一起提供至該紋理單元。
  9. 如申請專利範圍第8項之系統,其中該紋理單元自由該像素著色器供應的該等紋理坐標計算紋理空間梯度值,且隨後將該等所供應梯度標度因子應用於該等紋理空間梯度以獲得調整後梯度值。
  10. 如申請專利範圍第1項之系統,其中該像素著色器自該等紋理坐標計算該等紋理空間梯度,且將該等紋理空間梯度與該等紋理坐標一起傳遞至該紋理單元,其中該像素著色器向該紋理單元指示該紋理單元必須針對該樣本網格之任何非正交性修正該等紋理梯度值。
  11. 如申請專利範圍第10項之系統,其中該像素著色器亦判定該等每像素梯度標度因子且將該等每像素梯度標度因子提供至該紋理單元,其中該像素著色器通知該紋理單元該紋理單元必須將該等梯度標度因子應用於該等梯度以獲得該等調整後梯度。
  12. 如申請專利範圍第1項之系統,其中該像素著色 器自該等紋理坐標計算該等調整後紋理梯度,且將該等調整後紋理梯度連同該等紋理空間坐標一起傳遞至該紋理單元,其中該像素著色器向該紋理單元指示當將為將要應用於一基元的一紋理選擇一細節層次時應使用該等調整後梯度。
  13. 一種圖形處理方法,在一電腦圖形處理單元(GPU)中,該電腦圖形處理單元具有一像素著色器及一紋理單元,該紋理單元實行於硬體中,該圖形處理方法包含:該像素著色器產生每像素位置一或多個紋理坐標,以提供用於一或多個紋理映射操作的一坐標集;在該像素著色器與該紋理單元之間自該等紋理坐標計算梯度值;在該像素著色器與該紋理單元之間判定梯度標度因子,該等梯度標度因子經組配來將對應梯度值調整至對應調整後梯度值;以及在該像素著色器與該紋理單元之間將該等梯度標度因子應用於該等梯度值,其中該等調整因子經組配來修改該等梯度值以在具有不同像素解析度的一顯示裝置之區部之間平滑地過渡該等梯度值。
  14. 如申請專利範圍第13項之方法,其中該等紋理空間梯度值包括用於一螢幕空間樣本分佈之非正交性的修正。
  15. 如申請專利範圍第13項之方法,其進一步包含使用該紋理單元自複數個細節層次為將要應用於來自該等 調整後梯度值的一或多個基元的一紋理選擇一細節層次。
  16. 如申請專利範圍第13項之方法,其進一步包含使用該紋理單元將該紋理應用於該一或多個基元。
  17. 如申請專利範圍第16項之方法,其進一步包含使用一顯示單元顯示影像,該等影像包括應用於該一或多個基元的該紋理。
  18. 如申請專利範圍第17項之方法,其中該像素著色器產生每像素位置該等紋理坐標,且將用於每一紋理映射操作的一坐標集提供至該紋理單元。
  19. 如申請專利範圍第18項之方法,其中該紋理單元自由該像素著色器供應的該等紋理坐標計算紋理梯度,且產生並應用該等梯度標度因子以獲得該等修正梯度值。
  20. 如申請專利範圍第13項之方法,其中該像素著色器計算該等梯度標度因子,且將該等梯度標度因子與該等紋理坐標一起提供至該紋理單元。
  21. 如申請專利範圍第20項之方法,其中該紋理單元自由該像素著色器供應的該等紋理坐標計算紋理空間梯度值,且隨後將該等所供應梯度標度因子應用於該等紋理空間梯度以獲得調整後梯度值。
  22. 如申請專利範圍第13項之方法,其中該像素著色器自該等紋理坐標計算該等紋理空間梯度,且將該等紋理空間梯度與該等紋理坐標一起傳遞至該紋理單元,其中該像素著色器向該紋理單元指示該紋理單元必須針對該樣本網格之任何非正交性修正該等紋理梯度值。
  23. 如申請專利範圍第22項之方法,其中該像素著色器亦判定該等梯度標度因子且將該等梯度標度因子提供至該紋理單元,其中該像素著色器通知該紋理單元該紋理單元必須將該等梯度標度因子應用於該等梯度以獲得該等調整後梯度。
  24. 如申請專利範圍第13項之方法,其中該像素著色器自該等紋理坐標計算該等調整後紋理梯度,且將該等調整後紋理梯度連同該等紋理空間坐標一起傳遞至該紋理單元,其中該像素著色器向該紋理單元指示當將為將要應用於一基元的一紋理選擇一細節層次時應使用該等調整後梯度。
TW104108777A 2014-04-05 2015-03-19 電腦圖形系統及圖形處理方法 TWI570665B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/246,062 US9652882B2 (en) 2014-04-05 2014-04-05 Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location

Publications (2)

Publication Number Publication Date
TW201539373A true TW201539373A (zh) 2015-10-16
TWI570665B TWI570665B (zh) 2017-02-11

Family

ID=54210220

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105138883A TWI629663B (zh) 2014-04-05 2015-03-19 電腦圖形系統及圖形處理方法
TW104108777A TWI570665B (zh) 2014-04-05 2015-03-19 電腦圖形系統及圖形處理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW105138883A TWI629663B (zh) 2014-04-05 2015-03-19 電腦圖形系統及圖形處理方法

Country Status (6)

Country Link
US (2) US9652882B2 (zh)
EP (2) EP3129973B1 (zh)
JP (2) JP6293923B2 (zh)
KR (2) KR101916341B1 (zh)
TW (2) TWI629663B (zh)
WO (1) WO2015153170A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063302A (zh) * 2015-04-22 2022-02-18 易赛特股份有限公司 光学像差校正的方法和装置
TWI786233B (zh) * 2017-12-05 2022-12-11 美商高通公司 關於以微磚為基礎之低解析度深度儲存之方法、器件與非暫時性電腦可讀儲存媒體

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495790B2 (en) 2014-04-05 2016-11-15 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping to non-orthonormal grid
US9836816B2 (en) 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
US10068311B2 (en) 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9652882B2 (en) 2014-04-05 2017-05-16 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
US9865074B2 (en) 2014-04-05 2018-01-09 Sony Interactive Entertainment America Llc Method for efficient construction of high resolution display buffers
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
WO2015154004A1 (en) 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US11302054B2 (en) 2014-04-05 2022-04-12 Sony Interactive Entertainment Europe Limited Varying effective resolution by screen location by changing active color sample count within multiple render targets
US10783696B2 (en) 2014-04-05 2020-09-22 Sony Interactive Entertainment LLC Gradient adjustment for texture mapping to non-orthonormal grid
US9760113B2 (en) 2015-02-20 2017-09-12 Sony Interactive Entertainment America Llc Backward compatibility through use of spoof clock and fine grain frequency control
US9588593B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures
US10089790B2 (en) 2015-06-30 2018-10-02 Ariadne's Thread (Usa), Inc. Predictive virtual reality display system with post rendering correction
US9588598B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Efficient orientation estimation system using magnetic, angular rate, and gravity sensors
US9607428B2 (en) * 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US11403099B2 (en) 2015-07-27 2022-08-02 Sony Interactive Entertainment LLC Backward compatibility by restriction of hardware resources
US10235219B2 (en) 2015-07-27 2019-03-19 Sony Interactive Entertainment America Llc Backward compatibility by algorithm matching, disabling features, or throttling performance
US9606362B2 (en) 2015-08-07 2017-03-28 Ariadne's Thread (Usa), Inc. Peripheral field-of-view illumination system for a head mounted display
US9990008B2 (en) 2015-08-07 2018-06-05 Ariadne's Thread (Usa), Inc. Modular multi-mode virtual reality headset
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US9916682B2 (en) * 2015-10-28 2018-03-13 Intel Corporation Variable precision shading
US10726619B2 (en) 2015-10-29 2020-07-28 Sony Interactive Entertainment Inc. Foveated geometry tessellation
US9892024B2 (en) 2015-11-02 2018-02-13 Sony Interactive Entertainment America Llc Backward compatibility testing of software in a mode that disrupts timing
JP6728370B2 (ja) 2016-01-22 2020-07-22 株式会社ソニー・インタラクティブエンタテインメント 下位互換性のためのレガシーバス動作のシミュレーション
CN108885552B (zh) 2016-01-22 2023-03-14 索尼互动娱乐股份有限公司 用于向后兼容性的欺骗cpuid
US10303488B2 (en) 2016-03-30 2019-05-28 Sony Interactive Entertainment Inc. Real-time adjustment of application-specific operating parameters for backwards compatibility
US10915333B2 (en) 2016-03-30 2021-02-09 Sony Interactive Entertainment Inc. Deriving application-specific operating parameters for backwards compatiblity
US10275239B2 (en) 2016-03-30 2019-04-30 Sony Interactive Entertainment Inc. Deriving application-specific operating parameters for backwards compatiblity
US10453170B2 (en) * 2016-09-09 2019-10-22 Intel Corporation Minimum/maximum and bitwise and/or based coarse stencil test
CN106482739B (zh) * 2016-11-30 2020-07-17 英华达(上海)科技有限公司 自动导引运输车导航方法
US10650566B2 (en) 2017-02-15 2020-05-12 Microsoft Technology Licensing, Llc Multiple shader processes in graphics processing
US10403032B2 (en) 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10776997B2 (en) 2017-08-24 2020-09-15 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
GB2566468B (en) * 2017-09-13 2020-09-09 Advanced Risc Mach Ltd Graphics processing
US10755383B2 (en) 2017-09-29 2020-08-25 Apple Inc. Multi-space rendering with configurable transformation parameters
KR101869912B1 (ko) 2017-12-26 2018-06-21 세종대학교 산학협력단 포비티드 영상 디스플레이 장치, 이에 의해 수행되는 포비티드 영상 디스플레이 방법 및 이를 저장하는 기록매체
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10504278B1 (en) * 2018-09-28 2019-12-10 Qualcomm Incorporated Blending neighboring bins
KR102589969B1 (ko) 2018-11-05 2023-10-16 삼성전자주식회사 지연 쉐이딩에서 보간을 수행하는 그래픽스 처리 장치, 그래픽스 처리 시스템 및 그래픽스 처리 방법
US10540802B1 (en) * 2019-01-31 2020-01-21 Advanced Micro Devices, Inc. Residency map descriptors
JP7450863B2 (ja) * 2020-04-02 2024-03-18 ソニーグループ株式会社 テクスチャマッピング用途のためのブロック圧縮テクスチャの超解像
CN113093903B (zh) * 2021-03-18 2023-02-07 聚好看科技股份有限公司 一种图像显示方法及显示设备
US11978149B2 (en) 2021-06-21 2024-05-07 The Weather Company, Llc UV map using weight painting
GB2615362B (en) * 2022-02-08 2024-03-13 Sony Interactive Entertainment Inc Image processing system and method
EP4224407A1 (en) * 2022-02-08 2023-08-09 Sony Interactive Entertainment Inc. Image processing system and method
CN115063517A (zh) * 2022-06-07 2022-09-16 网易(杭州)网络有限公司 游戏中的闪光效果渲染方法及装置、存储介质和电子设备

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US5224208A (en) 1990-03-16 1993-06-29 Hewlett-Packard Company Gradient calculation for texture mapping
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5422653A (en) 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5602391A (en) 1995-02-23 1997-02-11 Hughes Electronics Quincunx sampling grid for staring array
US5777913A (en) 1995-12-27 1998-07-07 Ericsson Inc. Resolution enhancement of fixed point digital filters
USH1812H (en) 1997-10-24 1999-11-02 Sun Microsystems, Inc. Method for encoding bounding boxes of drawing primitives to be rendered for multi-resolution supersampled frame buffers
US6313838B1 (en) 1998-02-17 2001-11-06 Sun Microsystems, Inc. Estimating graphics system performance for polygons
US6469700B1 (en) 1998-06-24 2002-10-22 Micron Technology, Inc. Per pixel MIP mapping and trilinear filtering using scanline gradients for selecting appropriate texture maps
AU5688199A (en) 1998-08-20 2000-03-14 Raycer, Inc. System, apparatus and method for spatially sorting image data in a three-dimensional graphics pipeline
JP2000155850A (ja) * 1998-11-20 2000-06-06 Sony Corp テクスチャ・マッピング装置及びこれを具備したレンダリング装置、並びに情報処理装置
US6417861B1 (en) 1999-02-17 2002-07-09 Sun Microsystems, Inc. Graphics system with programmable sample positions
US6781606B2 (en) 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
JP2002024844A (ja) * 2000-07-11 2002-01-25 Hitachi Ltd 電子透かし管理方法及びその実施装置並びにその処理プログラムを記録した記録媒体
US6731298B1 (en) 2000-10-02 2004-05-04 Nvidia Corporation System, method and article of manufacture for z-texture mapping
US6906723B2 (en) 2001-03-29 2005-06-14 International Business Machines Corporation Generating partials for perspective corrected texture coordinates in a four pixel texture pipeline
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US7555157B2 (en) 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
US7155698B1 (en) 2001-09-11 2006-12-26 The Regents Of The University Of California Method of locating areas in an image such as a photo mask layout that are sensitive to residual processing effects
EP1442390B1 (en) 2001-10-10 2017-09-13 Sony Computer Entertainment America LLC System and method for environment mapping
US7081893B2 (en) 2001-10-10 2006-07-25 Sony Computer Entertainment America Inc. System and method for point pushing to render polygons in environments with changing levels of detail
US6738069B2 (en) 2001-12-31 2004-05-18 Intel Corporation Efficient graphics state management for zone rendering
US6906714B2 (en) 2002-06-21 2005-06-14 Intel Corporation Accelerated visualization of surface light fields
US6891548B2 (en) 2002-08-23 2005-05-10 Hewlett-Packard Development Company, L.P. System and method for calculating a texture-mapping gradient
TWI238975B (en) 2003-02-20 2005-09-01 Via Tech Inc Method of performing cubic mapping with texturing
US7619626B2 (en) 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
US7336277B1 (en) 2003-04-17 2008-02-26 Nvidia Corporation Per-pixel output luminosity compensation
JP3966832B2 (ja) 2003-04-28 2007-08-29 株式会社東芝 描画処理装置、及び、描画処理方法
US7495638B2 (en) * 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
US6967663B1 (en) 2003-09-08 2005-11-22 Nvidia Corporation Antialiasing using hybrid supersampling-multisampling
US8085273B2 (en) 2003-11-19 2011-12-27 Lucid Information Technology, Ltd Multi-mode parallel graphics rendering system employing real-time automatic scene profiling and mode control
US8144156B1 (en) 2003-12-31 2012-03-27 Zii Labs Inc. Ltd. Sequencer with async SIMD array
US8090383B1 (en) 2004-02-17 2012-01-03 Emigh Aaron T Method and system for charging for a service based on time spent at a facility
US7817829B2 (en) 2004-03-15 2010-10-19 Koninklijke Philips Electronics N.V. Image visualization
US7554538B2 (en) 2004-04-02 2009-06-30 Nvidia Corporation Video processing, such as for hidden surface reduction or removal
US7426724B2 (en) 2004-07-02 2008-09-16 Nvidia Corporation Optimized chaining of vertex and fragment programs
US7425966B2 (en) 2004-10-07 2008-09-16 Nvidia Corporation Pixel center position displacement
US7339594B1 (en) * 2005-03-01 2008-03-04 Nvidia Corporation Optimized anisotropic texture sampling
JP4660254B2 (ja) 2005-04-08 2011-03-30 株式会社東芝 描画方法及び描画装置
US7289119B2 (en) 2005-05-10 2007-10-30 Sony Computer Entertainment Inc. Statistical rendering acceleration
US7511717B1 (en) 2005-07-15 2009-03-31 Nvidia Corporation Antialiasing using hybrid supersampling-multisampling
US20070018988A1 (en) 2005-07-20 2007-01-25 Michael Guthe Method and applications for rasterization of non-simple polygons and curved boundary representations
US8300059B2 (en) * 2006-02-03 2012-10-30 Ati Technologies Ulc Method and apparatus for selecting a mip map level based on a min-axis value for texture mapping
US7436411B2 (en) 2006-03-29 2008-10-14 Intel Corporation Apparatus and method for rendering a video image as a texture using multiple levels of resolution of the video image
US8207975B1 (en) 2006-05-08 2012-06-26 Nvidia Corporation Graphics rendering pipeline that supports early-Z and late-Z virtual machines
US7907792B2 (en) 2006-06-16 2011-03-15 Hewlett-Packard Development Company, L.P. Blend maps for rendering an image frame
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
WO2008055262A2 (en) 2006-11-02 2008-05-08 Sensics, Inc. Systems and methods for a head-mounted display
US8243069B1 (en) 2006-11-03 2012-08-14 Nvidia Corporation Late Z testing for multiple render targets
US8233004B1 (en) 2006-11-06 2012-07-31 Nvidia Corporation Color-compression using automatic reduction of multi-sampled pixels
US8149242B2 (en) 2006-11-10 2012-04-03 Sony Computer Entertainment Inc. Graphics processing apparatus, graphics library module and graphics processing method
JP5063990B2 (ja) 2006-11-15 2012-10-31 任天堂株式会社 ゲームプログラムおよびゲーム装置
US7876332B1 (en) 2006-12-20 2011-01-25 Nvidia Corporation Shader that conditionally updates a framebuffer in a computer graphics system
JP5268271B2 (ja) 2007-03-23 2013-08-21 株式会社東芝 画像表示装置および画像表示方法
US7948500B2 (en) * 2007-06-07 2011-05-24 Nvidia Corporation Extrapolation of nonresident mipmap data using resident mipmap data
US20090033659A1 (en) 2007-07-31 2009-02-05 Lake Adam T Real-time luminosity dependent subdivision
US8044956B1 (en) 2007-08-03 2011-10-25 Nvidia Corporation Coverage adaptive multisampling
US8441497B1 (en) 2007-08-07 2013-05-14 Nvidia Corporation Interpolation of vertex attributes in a graphics processor
US7916155B1 (en) 2007-11-02 2011-03-29 Nvidia Corporation Complementary anti-aliasing sample patterns
JP5050786B2 (ja) * 2007-11-05 2012-10-17 富士通セミコンダクター株式会社 描画処理装置、描画処理方法および描画処理プログラム
US8922565B2 (en) 2007-11-30 2014-12-30 Qualcomm Incorporated System and method for using a secondary processor in a graphics system
US8643644B2 (en) 2008-03-20 2014-02-04 Qualcomm Incorporated Multi-stage tessellation for graphics rendering
GB0810311D0 (en) 2008-06-05 2008-07-09 Advanced Risc Mach Ltd Graphics processing systems
US8605087B2 (en) 2008-07-03 2013-12-10 Nvidia Corporation Hybrid multisample/supersample antialiasing
US8428326B2 (en) 2008-10-23 2013-04-23 Immersion Corporation Systems and methods for ultrasound simulation using depth peeling
GB0819570D0 (en) 2008-10-24 2008-12-03 Advanced Risc Mach Ltd Methods of and apparatus for processing computer graphics
US8780131B2 (en) 2008-12-19 2014-07-15 Xerox Corporation Systems and methods for text-based personalization of images
US20100214294A1 (en) 2009-02-20 2010-08-26 Microsoft Corporation Method for tessellation on graphics hardware
US8330767B2 (en) * 2009-03-24 2012-12-11 Advanced Micro Devices, Inc. Method and apparatus for angular invariant texture level of detail generation
US8669999B2 (en) 2009-10-15 2014-03-11 Nvidia Corporation Alpha-to-coverage value determination using virtual samples
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8803902B2 (en) * 2009-12-03 2014-08-12 Intel Corporation Computing level of detail for anisotropic filtering
EP2510494B1 (en) 2009-12-11 2021-12-22 Leica Biosystems Imaging, Inc. Improved signal to noise ratio in digital pathology image analysis
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8619085B2 (en) 2010-03-08 2013-12-31 Broadcom Corporation Method and system for compressing tile lists used for 3D rendering
CN105847780B (zh) 2010-07-21 2018-01-09 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
WO2012037157A2 (en) 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
KR101719485B1 (ko) 2010-09-20 2017-03-27 삼성전자주식회사 그래픽 처리 유닛에서의 사전 픽셀 제거를 위한 장치 및 방법
US8593475B2 (en) 2010-10-13 2013-11-26 Qualcomm Incorporated Systems and methods for dynamic procedural texture generation management
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8982136B2 (en) 2011-05-16 2015-03-17 Qualcomm Incorporated Rendering mode selection in graphics processing units
JP5885398B2 (ja) 2011-05-20 2016-03-15 キヤノン株式会社 画像処理装置、画像処理方法
US9019280B2 (en) 2011-07-22 2015-04-28 Qualcomm Incorporated Area-based rasterization techniques for a graphics processing system
KR101926570B1 (ko) 2011-09-14 2018-12-10 삼성전자주식회사 포스트 프레그먼트 쉐이더를 사용하는 그래픽 처리 방법 및 장치
US10089774B2 (en) 2011-11-16 2018-10-02 Qualcomm Incorporated Tessellation in tile-based rendering
JP5979507B2 (ja) 2011-11-24 2016-08-24 パナソニックIpマネジメント株式会社 頭部装着型ディスプレイ装置
GB2497302B (en) 2011-12-05 2017-04-12 Advanced Risc Mach Ltd Methods of and apparatus for processing computer graphics
US10535185B2 (en) 2012-04-04 2020-01-14 Qualcomm Incorporated Patched shading in graphics processing
US8581929B1 (en) 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US9495781B2 (en) 2012-06-21 2016-11-15 Nvidia Corporation Early sample evaluation during coarse rasterization
US9424685B2 (en) 2012-07-31 2016-08-23 Imagination Technologies Limited Unified rasterization and ray tracing rendering environments
US9142005B2 (en) 2012-08-20 2015-09-22 Nvidia Corporation Efficient placement of texture barrier instructions
US10176621B2 (en) 2013-06-10 2019-01-08 Sony Interactive Entertainment Inc. Using compute shaders as front end for vertex shaders
US10096079B2 (en) 2013-06-10 2018-10-09 Sony Interactive Entertainment Inc. Fragment shaders perform vertex shader computations
US10134102B2 (en) 2013-06-10 2018-11-20 Sony Interactive Entertainment Inc. Graphics processing hardware for using compute shaders as front end for vertex shaders
US10102603B2 (en) 2013-06-10 2018-10-16 Sony Interactive Entertainment Inc. Scheme for compressing vertex shader output parameters
US10976986B2 (en) 2013-09-24 2021-04-13 Blackberry Limited System and method for forwarding an application user interface
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US9652882B2 (en) 2014-04-05 2017-05-16 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
US9495790B2 (en) 2014-04-05 2016-11-15 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping to non-orthonormal grid
WO2015154004A1 (en) 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US9836816B2 (en) 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
US9760113B2 (en) 2015-02-20 2017-09-12 Sony Interactive Entertainment America Llc Backward compatibility through use of spoof clock and fine grain frequency control
US10235219B2 (en) 2015-07-27 2019-03-19 Sony Interactive Entertainment America Llc Backward compatibility by algorithm matching, disabling features, or throttling performance
US11403099B2 (en) 2015-07-27 2022-08-02 Sony Interactive Entertainment LLC Backward compatibility by restriction of hardware resources
US9892024B2 (en) 2015-11-02 2018-02-13 Sony Interactive Entertainment America Llc Backward compatibility testing of software in a mode that disrupts timing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063302A (zh) * 2015-04-22 2022-02-18 易赛特股份有限公司 光学像差校正的方法和装置
CN114063302B (zh) * 2015-04-22 2023-12-12 易赛特股份有限公司 光学像差校正的方法和装置
TWI786233B (zh) * 2017-12-05 2022-12-11 美商高通公司 關於以微磚為基礎之低解析度深度儲存之方法、器件與非暫時性電腦可讀儲存媒體

Also Published As

Publication number Publication date
TWI629663B (zh) 2018-07-11
KR20180122048A (ko) 2018-11-09
JP2018129051A (ja) 2018-08-16
TW201730847A (zh) 2017-09-01
EP3129973A4 (en) 2017-10-25
JP6563048B2 (ja) 2019-08-21
EP3748584B1 (en) 2022-08-10
US10102663B2 (en) 2018-10-16
KR102101626B1 (ko) 2020-04-17
TWI570665B (zh) 2017-02-11
KR20160130258A (ko) 2016-11-10
JP6293923B2 (ja) 2018-03-14
EP3129973B1 (en) 2020-07-15
EP3748584A1 (en) 2020-12-09
WO2015153170A1 (en) 2015-10-08
US9652882B2 (en) 2017-05-16
JP2017517054A (ja) 2017-06-22
US20170243390A1 (en) 2017-08-24
KR101916341B1 (ko) 2018-11-08
EP3129973A1 (en) 2017-02-15
US20150287230A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
TWI570665B (zh) 電腦圖形系統及圖形處理方法
US11301956B2 (en) Varying effective resolution by screen location by altering rasterization parameters
JP6678209B2 (ja) 非正規直交グリッドへのテクスチャマッピングのためのグラデーションの調整
US11238639B2 (en) Gradient adjustment for texture mapping to non-orthonormal grid