TWI789452B - 執行基於採樣繪圖的圖形處理器及其操作方法 - Google Patents

執行基於採樣繪圖的圖形處理器及其操作方法 Download PDF

Info

Publication number
TWI789452B
TWI789452B TW107139258A TW107139258A TWI789452B TW I789452 B TWI789452 B TW I789452B TW 107139258 A TW107139258 A TW 107139258A TW 107139258 A TW107139258 A TW 107139258A TW I789452 B TWI789452 B TW I789452B
Authority
TW
Taiwan
Prior art keywords
frame
sample candidate
candidate map
graphics processor
pattern
Prior art date
Application number
TW107139258A
Other languages
English (en)
Other versions
TW201931300A (zh
Inventor
陳昇熏
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201931300A publication Critical patent/TW201931300A/zh
Application granted granted Critical
Publication of TWI789452B publication Critical patent/TWI789452B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一種執行基於採樣繪圖的圖形處理器的操作方法涉及藉由使用具有第一圖案的第一樣本候選圖對第一圖框的一些片段進行加陰影處理來進行的中間繪圖。亦可藉由使用具有第二圖案的第一樣本候選圖對第二圖框的一些片段進行加陰影處理來執行進一步中間繪圖。可對所述第二圖框的其他片段進行附加採樣，其中該些其他片段可基於對所述第一圖框的加陰影處理結果與所述第二圖框的加陰影處理結果進行的比較來確定。可藉由對被附加採樣的所述片段進行加陰影處理來執行最終繪圖。

Description

執行基於採樣繪圖的圖形處理器及其操作方法
本發明概念大體而言是有關於圖形處理，且更具體而言是有關於一種執行基於採樣繪圖的圖形處理器及其操作方法。
繪圖系統可包括圖形處理器(例如，圖形處理單元(graphic processing unit，GPU))作為執行圖形操作的裝置。GPU可執行片段加陰影處理以計算欲被繪圖的視訊圖框的片斷值(其中片段可對應於畫素)。此種片段加陰影處理由於其複雜度高而佔據總圖形處理操作的大部分。
減少對給定圖框進行的片段加陰影處理的處理量的一種方式是對構成圖框的片段中的僅一些片段進行加陰影處理。圖框的其餘片段的色值(color value)可藉由在受到加陰影處理的片段之間進行內插或者藉由「平流(advection)」來獲得，「平流(advection)」涉及到重新使用來自前一圖框的畫素資料。由於內插或平流是較加陰影處理簡單的處理任務，因此採用此種方式會減少處理量。藉由此種方法，受到加陰影處理的片段是被稱為「經 採樣」的片段，而其他片段被稱為未經採樣的。儘管藉由此種方式減少了處理，然而若採樣率過低，則繪圖品質可能受損。若採樣率過高，則GPU的資源無法得到高效使用。
本發明概念提供一種實作片段採樣方法來繪圖的圖形處理器，所述圖形處理器能夠在減少片段加陰影處理的量的同時改善加陰影處理的準確度。
根據本發明概念的態樣，提供一種操作圖形處理器的方法，所述方法涉及藉由使用具有第一圖案的第一樣本候選圖對第一圖框的一些片段進行加陰影處理來執行中間繪圖。可藉由使用具有第二圖案的第一樣本候選圖對第二圖框的一些片段進行加陰影處理來執行進一步中間繪圖。所述方法可對所述第二圖框的基於對所述第一圖框的加陰影處理結果與所述第二圖框的加陰影處理結果進行的比較而確定的其他片段進行附加採樣。藉由對被附加採樣的所述片段進行加陰影處理來執行最終繪圖。
根據本發明概念的另一態樣，提供一種圖形處理器，所述圖形處理器包括：中間繪圖處理器，根據樣本候選圖的採樣資訊對當前圖框的多個片段中的一些片段執行加陰影處理；樣本候選圖修改電路，被配置成基於對前一圖框的加陰影處理結果與當前圖框的加陰影處理結果進行的比較來改變所述樣本候選圖的所述採樣資訊，藉此產生經改變的樣本候選圖。最終繪圖處理器對未受到所述中間繪圖處理器進行的加陰影處理的片段中藉由所述 經改變的樣本候選圖進行附加採樣的所述當前圖框的片段執行加陰影處理。
在再一態樣中，一種非暫時性電腦可讀取記錄介質儲存指令，所述指令在由至少一個處理器執行時實施對視訊的圖框進行繪圖的方法。此處，所述方法可包括藉由對構成當前圖框的畫素的子集進行加陰影處理而對當前圖框進行的中間繪圖。畫素的子集是基於樣本候選圖選擇的，且包括處於畫素柵格的第一位置處的第一畫素及處於所述畫素柵格的第二位置處的第二畫素。作為中間繪圖的結果，所述第一畫素具有第一畫素值且所述第二畫素具有第二畫素值。所述方法更獲得在前一圖框至所述當前圖框的繪圖中計算的畫素的畫素值；並基於以下比較來判斷是對處於畫素柵格的所述第一位置與所述第二位置之間的第三位置處的當前圖框的第三畫素進行內插處理還是加陰影處理：(i)被映射到所述畫素柵格的鄰近所述第一位置及所述第二位置中的每一者的第四位置的畫素的所述前一圖框的畫素值與(ii)所述第一畫素值及/或所述第二畫素值。
10、400、600:繪圖系統
100、200、300、420、500、620:圖形處理器
101:記憶體
110:SCM修改裝置/樣本候選圖修改裝置/SCM修改電路
120、422、540、622:片段處理器
201:外部記憶體/記憶體
210:光柵器
211、530、621:SCM修改裝置
220:著色器核
230:紋理處理單元
240:畫素處理單元
250:圖塊緩衝器
310:SCM產生器/元件
320:中間繪圖處理器/元件
330:SCM修改裝置/元件/SCM修改電路
340:最終繪圖處理器/元件
410、610:主機
411、611:應用
412、612:裝置驅動器
421:SCM修改裝置/SCM修改電路
423:內插準確度確定裝置/內插準確度確定電路
510、SPG:樣本圖案產生器
520:SCM產生器
550:內插準確度確定裝置
613:相似度確定器
614:頻率特性確定器
700:行動裝置
710:應用處理器(AP)
711:中央處理單元(CPU)
712:圖形處理單元(GPU)
713:數據機處理器
714:記憶體控制單元
720:記憶體裝置
CMD:命令
Ctrl_C/F:採樣控制訊號
Data、DATA:圖形資料
Data_F:最終繪圖結果
Data_Frame:圖框資料
Data_I:加陰影處理結果
F_E 1、F_O 1、F_E PV、F_O PV、Frag_C、Frag_F1~F3、Frag_F4、Frag_I、Frag_R:片段值
Frag_P:片段值/值
Frame_C、T_C:一批畫素/畫素批次
Frame_Even:偶數圖框
Frame_Odd:奇數圖框
Frame1:第一圖框
Frame2:第二圖框
Frame3:第三圖框
Frame4:第四圖框
Info_A:確定資訊
Info_Pat:圖案資訊
P0:第一位置/位置
P1:第二位置/位置
P2:第三位置/片段位置/位置
P3:第四位置/位置/片段位置
P4:第五位置/位置
P5:第六位置
PE:畫素提取器
R:圖元
Reg_1、Reg_2、Reg_3:區
S11、S12、S13、S14、S15、S16、S17、S18、S21、S22、S23、S24、S25、S26、S31、S32、S33、S34、S35、S36、S37、S38、S41、S42、S43、S44、S45、S46、S47:操作
SCM_1:第一樣本候選圖/樣本候選圖
SCM_2:第二樣本候選圖
結合附圖閱讀以下詳細說明，將更清楚地理解本發明概念的實施例，在附圖中：圖1是示出根據本發明概念示例性實施例的繪圖系統的方塊圖。
圖2是示出根據圖1所示實施例的樣本候選圖修改操作的概 念的圖。
圖3是示出在圖形處理器中處理三維(three-dimensional，3D)圖形的過程的圖。
圖4是示出根據本發明概念示例性實施例的圖形處理器的實作方式的實例的方塊圖。
圖5A、圖5B及圖5C是示出對圖元(primitive)中的片段進行加陰影處理的實例的圖。
圖6是示出其中對圖5A、圖5B及圖5C所示實施例應用樣本候選圖修改操作的實例的圖。
圖7A、圖7B及圖8是示出使用至少兩個圖框的資料執行樣本候選圖修改的實例的圖。
圖9及圖10是示出根據本發明概念示例性實施例的操作圖形處理器的方法的流程圖。
圖11是示出根據本發明概念示例性實施例的圖形處理器的實作方式的實例的方塊圖。
圖12是示出應用本發明概念實施例的圖形處理器的總體操作流程的圖。
圖13、圖14及圖15是示出根據本發明概念各種實施例的相應的繪圖系統的方塊圖。
圖16是示出採樣模式的可變操作的實例的圖。
圖17A示出根據遞色技術(dithering technique)在四個圖框中的不同的樣本候選圖。
圖17B示出應用於樣本候選圖修改裝置且由樣本候選圖修改裝置處理的資料類型的實例。
圖18是示出根據本發明概念示例性實施例的包括記憶體裝置的行動設備的實作方式的實例的方塊圖。
在下文中，將參考附圖詳細闡述本發明概念的實施例。
本文中所用的「片段」對應於圖形操作處理(graphic operation processing)的基本單位。片段可為圖元的畫素。在下文中，用語「片段」與「畫素」可互換地使用。舉例而言，可將片段加陰影稱為畫素加陰影，且可將片段採樣稱為畫素採樣。
圖1是示出根據本發明概念示例性實施例的繪圖系統10的方塊圖。繪圖系統10可包括圖形處理器100及記憶體101。圖形處理器100可在繪圖系統10中執行圖形操作以執行繪圖。作為實例，圖形處理器100可接收三維(3D)物件並輸出二維(two-dimensional，2D)繪圖影像作為所述三維物件的繪圖處理結果。圖形處理器可由各種類型的處理器來實作，其中典型實例是如圖1及以下其他實例中所例示的圖形處理單元(graphic processing unit，GPU)。
圖形處理器100可被配置成執行基於圖塊繪圖(tile-based rendering，TBR)，且為此，圖形處理器100可包括可並行地處理圖形資料的圖形管道(graphics pipeline)。每一個圖形管道皆可包括用於圖形操作的各種類型的配置，且可由硬體及/或軟體配置而 成。
儘管圖1中未示出，然而繪圖系統10可更包括用於控制總體系統操作的中央處理單元(central processing unit，CPU)以及用於在各個組件之間進行通訊的各種類型的匯流排，例如周邊組件互連(Peripheral Component Interconnect，PCI)匯流排及快速PCI匯流排。繪圖系統10亦可包括例如桌上型電腦、筆記本電腦、智慧型電話、個人數位助理(personal digital assistant，PDA)、可攜式媒體播放器、視訊遊戲機、電視(television，TV)視訊轉換盒(set-top box)、平板裝置、電子書閱讀器或可穿戴裝置，但並非僅限於此且可對應於各種類型的電子系統。
圖形處理器100可基於各種應用程式介面(Application Program Interface，API)標準(例如，開放圖形庫(Open Graphic Library，OpenGL)、DirectX及計算統一裝置架構(Compute Unified Device Architecture，CUDA))接收繪圖相關資訊且可執行各種圖形操作(例如，加陰影處理及紋理化處理)。另外，記憶體101可與圖形處理器100整合於同一半導體晶片中或者可被實作為不同的半導體晶片，且可對應於隨機存取記憶體(例如，動態隨機存取記憶體(dynamic random access memory，DRAM)或靜態隨機存取記憶體(static random access memory，SRAM))或者可對應於記憶體裝置(例如，唯讀記憶體(read-only memory，ROM)、電可抹除可程式化唯讀記憶體(electrically erasable programmable read-only memory，EEPROM)或快閃記憶體)。記憶體101可儲 存欲被圖形處理器100處理的圖形資料或者可儲存已經過圖形處理器100處理的圖形資料(例如，圖框資料)。
作為操作實例，圖形處理器100可接收一或多個頂點並藉由對所接收的頂點進行操作處理來產生圖元。圖形處理器100可產生表示圖元的一組片段。圖形處理器100可執行片段加陰影處理以計算片段的值。
片段加陰影處理可由於其複雜度高而佔據總圖形操作量的大部分。如前面所論述，為降低片段加陰影的複雜度，可應用一種方法藉由對給定圖框(或圖塊/圖元)的片段中的僅一些片段執行採樣及加陰影處理以及對所述圖框的其他片段執行「平流」或內插操作來計算片斷值。由於內插及平流的處理器密集程度可分別低於加陰影處理，因此採用此種方式會減少處理量。在以下的說明中，受到加陰影處理的片段是被稱為「經採樣」的片段，而藉由內插或平流來確定值的片段被稱為未經採樣的、非採樣的或「推導(derived)」片段。當採樣率低時，可藉由在經採樣的片段之間進行內插來確定片段的值，所述經採樣的片段具有藉由實際加陰影處理而獲得的值。在此種情形中，由於藉由內插處理計算的片斷值可大大不同於所述片斷的實際值(即，原本可藉由加陰影處理獲得的值)，因此可能會發生影像品質劣化。
根據本發明概念的示例性實施例，圖形處理器100可包括樣本候選圖(sample candidate map，SCM)修改裝置110及片段處理器120。舉例而言，在圖元單位中，圖元可包括多個片段， 且圖形處理器100可對所述多個片段中的僅一些片段進行採樣且對所述僅一些片段選擇性地執行加陰影處理。作為實例，可在圖形處理器100中產生樣本候選圖(例如，第一樣本候選圖SCM_1)，所述樣本候選圖具有用於對一些片段進行採樣的採樣資訊的圖案。可藉由基於第一樣本候選圖SCM_1的加陰影處理來計算被映射到圖案的採樣資訊的經採樣的片段的加陰影處理結果(例如，片段值)。未由樣本候選圖指定為欲被採樣的片段的片段的值可藉由在經採樣的片段之間進行內插來獲得。
根據本發明概念，為減少由於潛在的不準確內插情形而引起的影像劣化的出現，可對樣本候選圖進行動態修改。作為實例，可假設：若與樣本候選圖的相互鄰近的但不連續的樣本位置對應的各片段的值的差異高於臨限值，則可能出現不準確內插的情形。在此種情形中，經採樣的片段可能是具有明顯不同顏色(或亮度)的不同物件的片段或(對單個物件應用的)紋理的不同部分的片段。在此種情況中，在經採樣的片段之間進行的內插可能會為所述經採樣的片段之間的推導片段生成不準確的值。為此，SCM修改裝置110可偵測此種潛在狀況並對樣本候選圖進行修改以在原本將引起不準確的內插片段的位置處添加樣本片段。此外，代替僅對當前圖框的鄰近第二樣本位置的第一樣本位置處的經採樣的片段的值進行比較或者除了僅對當前圖框的鄰近第二樣本位置的第一樣本位置處的經採樣的片段的值進行比較之外，SCM修改裝置110亦可藉由對當前圖框中的處於第一位置處的經 採樣的片段的片段值與被映射到當前圖框的第一位置與第二位置之間的位置的前一圖框的經採樣的片段的片斷值進行比較來偵測潛在狀況(如在平流方法中一樣)。如在下文中進一步解釋，此種方式可實現更準確的邊緣偵測以便選擇附加樣本位置來修改樣本候選圖。
為此，SCM修改裝置110可藉由對SCM修改裝置110先前接收的第一樣本候選圖SCM_1的採樣資訊進行修改來產生第二樣本候選圖SCM_2。作為實作方式的實例，第一樣本候選圖SCM_1可包含表示圖元、圖塊或圖框中的多個片段中欲被進行加陰影處理的片段(例如，第一片段)的位置的採樣資訊。第二樣本候選圖SCM_2可包含表示除了第一片段之外的片段中欲被進行附加加陰影處理的片段(例如，第二片段)的位置的採樣資訊。作為實例，第二樣本候選圖SCM_2可包含表示圖元、圖塊或圖框中的多個片段中第一片段及第二片段的位置的資訊。作為另一實例，第二樣本候選圖SCM_2可採用包含僅表示圖元、圖塊或圖框中的多個片段中第二片段的位置的資訊的形式來實作。
在本發明概念的實施例中，圖形處理器100可對多個片段依序執行二或更多次用於繪圖的加陰影處理，以使得基於第一樣本候選圖SCM_1的加陰影處理可為所指定的中間繪圖處理且基於第二樣本候選圖SCM_2的加陰影處理可為所指定的最終繪圖處理。在以下論述中，用語「加陰影處理」與「繪圖處理」可互換使用，且舉例而言，可將中間繪圖處理稱為中間加陰影處理且可 將最終繪圖處理稱為最終加陰影處理。同時，圖形處理器100可包括用於產生第一樣本候選圖SCM_1的第一SCM產生裝置(未示出)。由於SCM修改裝置110產生第二樣本候選圖SCM_2，因此可將SCM修改裝置110稱為第二SCM產生裝置。
根據實施例，SCM修改裝置110可基於各種類型的資訊(例如，片段值Frag_C及Frag_P)來執行修改操作。舉例而言，SCM修改裝置110可接收藉由在欲被繪圖並藉由顯示裝置顯示的視訊的當前圖框中進行的加陰影處理而計算的片段值Frag_C以及藉由在所述視訊的前一圖框中進行的加陰影處理而計算的片段值Frag_P，並藉由基於片段值Frag_C及片段值Frag_P進行操作來執行修改操作。舉例而言，可對Frag_C的值與Frag_P的值進行比較以確定在相互鄰近但不連續的樣本位置之間是否存在邊緣等而使得應插入附加樣本。Frag_P可為來自前一圖框的可能藉由平流而重複用於當前圖框的非採樣的片段的片段值。作為實例，若在前一圖框與當前圖框二者中被繪圖的物件的圖框間運動很小(亦即，在各個圖框之間存在實質上靜止的場景狀況)，則可假設處於畫素柵格的共同位置處的片段可在所述兩個圖框中具有相同的值Frag_P。在更複雜的情形中，若物件的圖框間運動量是明顯的且已知的，則可使用運動向量將畫素柵格的第一位置處的片段的片段值Frag_P映射到當前圖框中的畫素柵格的第二位置。在此種情形中，在前一圖框中確定的第一位置處的片段值Frag_P可在當前圖框中的第二位置處重複使用。
第一樣本候選圖SCM_1的採樣資訊可具有各種類型的圖案。舉例而言，在當前圖框中進行的中間繪圖處理中使用的第一樣本候選圖SCM_1的圖案(第一圖案)可不同於在前一圖框中進行的中間繪圖處理中使用的第一樣本候選圖SCM_1的圖案(第二圖案)。(圖案差異可能歸因於用於減少視覺偽影(visual artifact)的遞色技術，此在稍後進行論述)。在修改操作中使用的片段值Frag_C及Frag_P可為藉由中間繪圖處理計算的值，且因此，當慮及至少以上所述各個圖框之間的實質上靜止的狀況的情形時，由Frag_C表示的當前圖框中的片段的位置可不同於在修改操作中使用的由Frag_P表示的前一圖框中的片段的位置。
當第一樣本候選圖SCM_1由於其採樣率低而具有粗略圖案時，藉由中間繪圖處理來計算值的各個片段之間的間距可相對大。在此種情形中，在對未被執行中間繪圖處理的片段執行內插處理之前，可執行以上樣本候選圖修改操作來進一步選擇需要最終繪圖處理的片段，且根據本發明概念的實施例，可使用至少兩個圖框的片段值來提高需要最終繪圖處理的片段的選擇準確度。
舉例而言，根據本發明概念的示例性實施例，即使當第一樣本候選圖SCM_1在任意一個圖框中具有粗略圖案時，亦可使用當前圖框的片段值與前一圖框的片段值來執行樣本候選圖修改操作，且因此可基於具有相對短的間距的位置的片段值來執行修改操作。舉例而言，由於可根據實質上精細的圖案使用片段值來執行樣本候選圖修改操作，因此可提高需要實際加陰影處理的片 段(例如，邊緣)的選擇準確度。
當根據以上操作產生第二樣本候選圖SCM_2時，可將第二樣本候選圖SCM_2以及欲被處理的圖形資料Data提供至片段處理器120。片段處理器120可對藉由第二樣本候選圖SCM_2進行採樣的片段執行加陰影處理並根據所述加陰影處理計算片段值。當前圖框的圖框資料Data_Frame可藉由以上過程產生並儲存於記憶體101中。
圖2是示出根據圖1所示實施例的樣本候選圖修改操作的概念的圖。第一樣本候選圖SCM_1可包含具有預定圖案的採樣資訊。舉例而言，如圖2所示，可針對多個片段在水平方向上對每四個片段中的一個片段進行採樣。可在垂直方向上對每兩個列中的一個列應用採樣，且各被採樣列之間的採樣位置可錯列。圖2所示第一樣本候選圖SCM_1可被闡述為具有對每4*4大小中的兩個片段進行採樣的圖案。圖2亦示出樣本候選圖SCM_1的至少一部分可與當前圖框(例如，圖塊)的一批畫素T_C(Frame_C)相關並應用於所述一批畫素T_C(Frame_C)。第二樣本候選圖SCM_2的至少一部分亦可與同一批畫素T_C(Frame_C)相關。因此，樣本候選圖SCM_1的每一個加陰影的及未加陰影的方格皆可被設想為覆蓋所述畫素批次T_C(Frame_C)的相應畫素。
SCM修改裝置110可藉由對第一樣本候選圖SCM_1的採樣資訊進行修改來產生第二樣本候選圖SCM_2。另外，根據以上實例，SCM修改裝置110可接收藉由在當前圖框中進行加陰影處 理而計算的片段值Frag_C以及藉由在前一圖框中進行加陰影處理而計算的片段值Frag_P。
SCM修改裝置110可基於片段值Frag_C及Frag_P執行操作，並基於所述操作來確定對其他片段進行加陰影處理的必要性。作為實例，以下將參考水平方向上的第一位置P0處的片段、第二位置P1處的片段及第三位置P2處的片段進行說明。
可藉由基於第一樣本候選圖SCM_1對當前圖框進行片段加陰影處理來計算第一位置P0處的片段的片段值Frag_C(P0)及第二位置P1處的片段的片段值Frag_C(P1)，且接著可將片段值Frag_C(P0)及片段值Frag_C(P1)提供至SCM修改裝置110。(圖例Frag_C可被理解為表示不同位置P0、P1等處的一組片段值；且對於圖例Frag_P而言同樣如此。)另外，在前一圖框中，可能已藉由遞色技術對不同位置處的片段執行了加陰影處理，且作為靜止的圖框至圖框狀況實例，可將前一圖框的第三位置P2的片段值Frag_P提供至SCM修改裝置110。根據實施例，藉由第一樣本候選圖SCM_1進行採樣的片段的位置可基於遞色而在圖框與圖框之間變化，且因此在前一圖框中經中間繪圖處理的片段的位置與在當前圖框中經中間繪圖處理的片段的位置可彼此不同。此外，即使在各個圖框之間物件的運動很明顯，仍可將對前一圖框計算的片段值映射到當前圖框的對應位置以使得前一圖框片段值仍可用於修改樣本候選圖。
SCM修改裝置110可使用第一位置P0到第三位置P2的 片段值來執行樣本候選圖修改操作。舉例而言，可對第一位置P0的片段值Frag_C與第三位置P2的片段值Frag_P進行比較，且亦可對第二位置P1的片段值Frag_C與第三位置P2的片段值Frag_P進行比較。可對樣本候選圖進行修改以使得可根據比較結果對第一位置P0與第二位置P1之間的片段進行採樣。
作為實例，可基於第一位置P0的片段值Frag_C與第三位置P2的片段值Frag_P之間的比較結果及/或第二位置P1的片段值Frag_C與第三位置P2的片段值Frag_P之間的比較結果來對樣本候選圖進行修改。當片段值Frag_C與Frag_P之間的差高於預定臨限值時，影像改變可為大的及/或可存在邊緣。在此種情形中，可對樣本候選圖進行修改以使得可對第一位置P0與第二位置P1之間的區Reg_1中的片段進行採樣。(應注意，片段值Frag_P(P2)可基於平流而用於位置P2處的當前圖框的片段，以使得可避免在當前圖框中對位置P2處的片段進行採樣。)另一方面，當片段值Frag_C(P0)與片段值Frag_P(P2)之間的差及片段值Frag_C(P1)與片段值Frag_C(P2)之間的差分別低於臨限值時，影像改變可為小的且可避免對區Reg_1之間的所有片段進行採樣。舉例而言，基於當前圖框的片段值Frag_C及前一圖框的片段值Frag_P，可藉由加陰影處理或內插處理(如前面所述對位置P2可選地使用平流處理)來計算區Reg_1中的片段的值。
同時，在圖2中，藉由使用當前圖框的第四位置P3及第五位置P4的片段值Frag_C以及前一圖框的第六位置P5的片段值 Frag_P，可判斷是否對區Reg_2中的片段進行附加採樣。採用相似的方式，可判斷是否對圖2所示所有片段執行附加採樣。
在以上實施例中，可藉由各種準則來選擇欲被進行附加採樣的片段。作為實例，可執行基於片段值Frag_C及Frag_P的邊緣偵測演算法，且可根據所述邊緣偵測演算法的邊緣偵測結果來對樣本候選圖進行修改。
同時，在圖2所示實例中，在一個實施例中可一同對第一位置P0與第二位置P1之間的各個片段的採樣資訊進行修改或者在替代實施例中可分別對所述各個片段的採樣資訊進行修改。舉例而言，基於片段值Frag_C(P0)及Frag_P(P2)，可對或者可不對第一位置P0與第三位置P2之間的片段的採樣資訊進行修改。然而，可獨立地改變第二位置P1與第三位置P2之間的片段的採樣資訊。
圖3是示出在圖形處理器中處理三維圖形的過程的圖。處理三維圖形的過程可包括幾何轉換處理過程、光柵化過程及畫素加陰影處理過程。
在系統中，應用程式可藉由裝置驅動器將描述繪圖方法的一系列命令以及欲被繪圖的資料一同提供至圖形處理器。圖形處理器可接收並解釋命令並藉由固定的硬體或可程式化硬體執行實際繪圖。繪圖過程可包括各種處理操作。
首先，操作S11可為產生頂點的操作。可產生頂點來表示三維圖形中所包括的物件。另外，操作S12可為對所產生的頂 點進行加陰影的操作，且對頂點進行加陰影可藉由指定在操作S11中產生的頂點的位置來執行。另外，操作S13可為產生圖元的操作，且圖元可為使用至少一個頂點形成的點、線或多邊形。作為實例，圖元可由藉由對頂點進行連接而形成的三角形表示。
操作S14可為對所產生的圖元執行光柵化的操作，且對圖元進行光柵化可意指將圖元劃分成片段。片段是對圖元執行圖形處理的基本單位。由於圖元僅包含關於相關聯的頂點的資訊，因此對三維圖形進行的圖形處理可藉由在光柵化操作中在各個頂點之間產生片段來執行，在所述光柵化操作中將片段投影至與畫素柵格對應的二維平面以便於在由畫素構成的平面顯示螢幕上對應地顯示二維影像。
操作S15可為對片段進行加陰影的操作。構成圖元的片段可對應於構成圖塊的畫素。畫素的顏色可在畫素加陰影中確定。
操作S16可為用於確定畫素的顏色的紋理化操作。紋理化可為使用作為事先準備的影像的紋理確定畫素的顏色的過程。由於計算及確定每一畫素的顏色以表示現實世界的各種顏色及圖案形狀可能會增加圖形處理時間及圖形處理所需的資料操作量，因此可使用事先準備的紋理來確定畫素的顏色。舉例而言，可藉由以下步驟來確定畫素的顏色：儲存物件的表面顏色作為單獨的二維影像(被稱為紋理)以及根據物件在螢幕上的位置及大小來放大及縮小所儲存的紋理，或者使用具有各種解析度的紋理來對紋素值(texel value)進行混合。
操作S17可為測試及混合操作。藉由例如深度測試等過程，對於與圖塊中相同位置對應的畫素，可藉由確定最終欲被顯示的畫素值來確定與一個圖塊對應的畫素值。可對藉由以上過程產生的多個圖塊進行混合以產生與一個圖框對應的三維圖形。操作S18可為將藉由操作S11至S17產生的圖框儲存於圖框緩衝器中以及藉由顯示裝置顯示儲存於圖框緩衝器中的圖框的操作。
根據本發明概念實施例的樣本候選圖修改操作可在圖3所示圖形處理過程中執行。根據實施例，在光柵化操作(S14)中，可執行樣本候選圖產生及修改操作來選擇欲被進行加陰影處理的片段。舉例而言，在光柵化操作(S14)中，可根據因圖框而異的圖案產生第一樣本候選圖SCM_1；可根據以上實施例使用當前圖框的片段值及前一圖框的片段值來執行樣本候選圖修改操作；且可將藉由第二樣本候選圖SCM_2採樣的片段提供至執行加陰影處理的裝置(硬體或處理核)。
圖4是示出根據本發明概念示例性實施例的圖形處理器的實作方式的實例的方塊圖。作為實例，圖4所示圖形處理器200可對應於GPU。
參考圖4，圖形處理器200可包括光柵器210、著色器核(shader core)220、紋理處理單元230、畫素處理單元240及圖塊緩衝器250。圖形處理器200可藉由匯流排來與外部記憶體201交換資料。另外，圖形處理器200可更包括用於處理三維圖形的各種其他組件(圖中未示出)。
作為實例，圖形處理器200可使用基於圖塊繪圖(TBR)方法。為產生與一個圖框對應的三維圖形，圖形處理器200可將被劃分成預定大小的多個圖塊傳遞過光柵器210、著色器核220及畫素處理單元240並將處理結果儲存於圖塊緩衝器250中。圖形處理器200可使用由光柵器210、著色器核220及畫素處理單元240構造而成的多個管道對構成圖框的所有圖塊執行並行處理。當對與一個圖框對應的多個圖塊進行處理時，圖形處理器200可將儲存於圖塊緩衝器250中的處理結果傳送至記憶體201的圖框緩衝器(圖中未示出)。
光柵器210可對藉由以上幾何轉換過程產生的圖元執行光柵化。另外，著色器核220可自光柵器210接收經光柵化的圖元並對構成圖塊的畫素(或片段)執行以上畫素加陰影(或片段加陰影)處理。另外，在畫素加陰影過程中，著色器核220可使用藉由使用紋理產生的畫素值來產生立體的且真實的三維圖形。
同時，著色器核220可與以上畫素加陰影處理一起進一步執行頂點加陰影處理。作為實例，當著色器核220執行頂點加陰影處理時，可產生表示物件的圖元並將所述圖元輸出至光柵器210。
另外，著色器核220可請求紋理處理單元230輸出與畫素對應的畫素值，且紋理處理單元230可輸出藉由對預先準備的紋理進行處理而產生的畫素值。所述紋理可儲存於紋理處理單元230內部或外部的預定空間中或者儲存於圖形處理器200外部的 記憶體201中。當用於產生由著色器核220請求的畫素值的紋理未處於紋理處理單元230內部的預定空間內時，紋理處理單元130可自記憶體201或者紋理處理單元230外部的空間提取紋理並使用所述紋理。
藉由例如深度測試等過程，對於與一個圖塊中的同一位置對應的畫素，畫素處理單元240可藉由確定最終欲被顯示的畫素值來確定與一個圖塊對應的所有畫素值。圖塊緩衝器250可儲存自畫素處理單元240接收的與一個圖塊對應的所有畫素值。當對構成一個圖框的所有圖塊進行的圖形處理過程完成時，儲存於圖塊緩衝器250中的處理結果可被傳送至記憶體201的圖框緩衝器。
在以上實施例中，在光柵器210中可包括SCM修改裝置211。作為實例，光柵器210可藉由接收預定圖案資訊來產生第一樣本候選圖且亦可藉由根據以上實施例的修改操作來產生第二樣本候選圖。另外，光柵器210可接收儲存於記憶體201中的前一圖框的片段值Frag_P並基於片段值Frag_P執行修改操作。光柵器210可將多個片段中的經採樣的片段選擇性地提供至著色器核220。根據實施例，光柵器210可包括多個硬體單元(例如，處理核)，且第一樣本候選圖產生操作與第二樣本候選圖產生操作可由同一硬體或由不同的硬體單元執行。
同時，著色器核220可執行以上實施例中的中間繪圖處理及最終繪圖處理。根據實施例，著色器核220可包括多個硬體 單元(例如，處理核)，且中間繪圖處理與最終繪圖處理可由同一硬體或由不同的硬體單元執行。
在下文中，將闡述根據本發明概念實施例的採樣及加陰影處理的具體實例。
圖5A、圖5B及圖5C是籠統地示出對圖元的片段進行的加陰影處理的實例的圖。圖5A、圖5B及圖5C示出其中未被執行候選圖修改操作的實例。
圖5A示出4*4大小的片段作為任意一個圖元R的一些片段，其中可根據預定採樣率對圖元的片段執行採樣。作為實例，圖5A示出根據相對精細的圖案執行的採樣，其中在水平方向及垂直方向上對每兩個片段中的一個片段進行採樣。可根據具有精細的圖案的第一樣本候選圖對位置P0至P3處的片段進行採樣，且可對經採樣的片段執行加陰影處理。圖5B示出在對較大批量的片段(例如，基於圖5A所示採樣的圖塊)執行加陰影處理時，8*8大小的片段中受到加陰影處理的片段的位置。
參考圖5C，可藉由內插來計算未被執行加陰影處理的片段的值。舉例而言，可藉由基於與一個位置處的片段相鄰的一或多個片段的值進行內插來計算所述一個位置處的所述片段的值。舉例而言，未被執行加陰影處理的片段(未經採樣的片段)的值可參考與所述片段相鄰的片段的值來被填充相似的值，且以上內插處理可被稱為孔填充。舉例而言，如圖5C所示，座標位於一列未經採樣的片段及一行未經採樣的片段中的未經採樣的片段的值 可基於四個位置鄰近的經採樣的片段的平均值。
圖6是示出其中對圖5A、圖5B及圖5C所示實施例應用樣本候選圖修改操作的實例的圖。圖6示出僅使用當前圖框的資料而不使用前一圖框的繪圖結果來修改樣本候選圖的實例。
如圖6所示，可根據第一樣本候選圖以預定比率對片段進行採樣，且可藉由中間加陰影處理來計算經採樣的片段的值。另外，對於其他未經採樣的片段，可藉由樣本候選圖修改操作來選擇欲被進行附加採樣的片段。
樣本候選圖修改操作可使用藉由對當前圖框進行的中間繪圖處理而計算的片段的值來執行，且舉例而言，可基於第一位置P0的片段值與第二位置P1的片段值之間的差來判斷是否對第五位置P4的片段進行附加採樣。(若所述差高於指示位置之間的物件邊緣等的預定臨限值，則可確定對位置P4中的片段進行附加採樣，但若所述差低於所述臨限值，則不對位置P4處的片段進行採樣。)相似地，可基於第三位置P2的片段值與第四位置P3的片段值之間的差來判斷是否對第六位置P5的片段進行附加採樣。圖6示出其中根據以上方法在4*4大小的片段中對第二行及第四行中的所有片段進行採樣的情形，且未進行加陰影處理的其他片段的值可藉由孔填充處理來計算。
根據圖5A、圖5B及圖5C所示實施例，當圖中相互鄰近但不連續的經採樣的片段之間(例如，片段位置P2與P3之間或片段位置P2與P0之間)的片段的值未發生改變或逐漸改變時， 藉由內插處理計算的值可等於或相似於實際值。另一方面，當相互鄰近的經採樣的片段之間的片段的值發生大的改變時，藉由內插處理獲得的結果的有效性可能不可靠。另一方面，在圖6所示實施例中，由於未在中間繪圖處理之後立即執行孔填充而是可藉由樣本候選圖修改過程再次判斷未經採樣的片段是否適用於內插處理，因此與圖5A、圖5B及圖5C相較，繪圖操作的品質可進一步得到改善。
圖7A及圖7B示出使用至少兩個圖框的資料執行樣本候選圖修改的實例。在圖7A及圖7B中，當使用兩個圖框的資料時，所述圖框被分類成奇數圖框Frame_Odd及偶數圖框Frame_Even，且在圖7A及圖7B中示出了每一個圖框中第一樣本候選圖SCM_1的圖案。此為提供在時間上接連的圖框之間以重複的序列進行遞色的樣本候選圖圖案的實例。在其他實例中(例如隨後論述的圖17A所示實例)，遞色圖案可跨越三或更多個圖框。舉例而言，當使用三或更多個圖框的資料來進行候選圖修改時，所述三或更多個圖框的第一樣本候選圖SCM_1的圖案可彼此不同。樣本候選圖遞色技術可減少視覺偽影，尤其在各個圖框之間存在緩慢或微小的物件運動時。
參考圖7A，第一樣本候選圖SCM_1的採樣率可小於圖6所示實施例的採樣率。作為實例，在圖7A所示實例中，可對每4*4大小的片段中的僅兩個片段進行採樣。在奇數圖框Frame_Odd的繪圖處理中，由於第一樣本候選圖SCM_1的採樣資訊具有第一 圖案，因此可在4*4大小的片段中對位於第二列及第三行中的片段以及位於第四列及第一行中的片段進行採樣。另一方面，在偶數圖框Frame_Even的繪圖處理中，由於第一樣本候選圖SCM_1的採樣資訊具有第二圖案，因此可在4*4大小的片段中對位於第二列及第一行中的片段以及位於第四列及第三行中的片段進行採樣。然而，此僅為一個實例，且亦可根據各種其他方法來設定奇數圖框Frame_Odd及偶數圖框Frame_Even的第一樣本候選圖SCM_1的圖案。舉例而言，如在圖7A中一樣，可將奇數圖框Frame_Odd的第一樣本候選圖SCM_1及偶數圖框Frame_Even的第一樣本候選圖SCM_1設定成使得奇數圖框Frame_Odd與偶數圖框Frame_Even可彼此互補。
在下文中，將在假設當前圖框對應於偶數圖框Frame_Even的條件下來闡述本發明概念的操作實例。首先，在處理偶數圖框Frame_Even時，可根據具有第二圖案的第一樣本候選圖SCM_1來執行中間繪圖處理，且因此可計算位於與第二圖案對應的位置處的片段的值。另外，在使用片段的預先計算的值來修改第一樣本候選圖SCM_1時，可使用與前一奇數圖框Frame_Odd中的第一圖案對應的位置處的片段的值以及藉由對當前偶數圖框Frame_Even進行的中間繪圖處理而計算的與第二圖案對應的位置處的片段的值。
圖7B中示出了在樣本候選圖修改中使用的對奇數圖框Frame_Odd的片段值Pv與偶數圖框Frame_Even的片段值Pv進行 組合的實例。舉例而言，即使當對於一個圖框而言由於採樣率低而使片段值Pv之間的距離相對長時，當根據本發明概念示例性實施例使用兩個圖框的片段值Pv時，片段值Pv之間的距離亦可為短的。因此，可更準確地確定可能需要實際加陰影處理來實現片段值準確度的片段，且可對經附加採樣的片段執行最終繪圖處理。亦應注意，在圖7B中，來自前一圖框的片段值(例如，在當前圖框是偶數圖框時奇數圖框的片段值F_O PV)可實際用於在對當前圖框進行的繪圖中對應位置處的片段。然而，若欲被繪圖的視訊中在前一圖框與當前圖框之間存在物件的移動，則在將前一圖框的片段映射至當前圖框時可慮及所述移動。即使在不慮及運動的情況下，若前一圖框的影像因場景改變或快速移動而與當前圖框明顯不同，則前一圖框的片段可與當前圖框的鄰近片段明顯不同，此可能需要對樣本候選圖進行修改。
圖8是示出根據本發明概念示例性實施例的第一樣本候選圖SCM_1及作為第一樣本候選圖SCM_1的修改的第二樣本候選圖SCM_2的圖。圖8示出根據圖7A及圖7B所示實施例的偶數圖框Frame_Even中的樣本候選圖的修改實例。
參考圖8，圖形處理器可產生具有第一圖案的第一樣本候選圖SCM_1以對片段進行中間繪圖處理。作為實例，與欲被採樣的片段對應的圖案可具有值「1」，且與未被採樣的片段對應的圖案可具有值「0」。
之後，可藉由對第一樣本候選圖SCM_1進行重新評估來 產生第二樣本候選圖SCM_2。作為實例，可使用當前圖框中第一位置P0及第二位置P1的片段值以及至少一個前一圖框中第一位置P0與第二位置P1之間的片段值來判斷是否對第一位置P0與第二位置P1之間的區Reg_1的片段進行採樣。圖8示出其中對與第一位置P0與第二位置P1之間的區Reg_1的片段對應的圖案進行改變及附加採樣的實例。另外，圖8示出其中第三位置P2與第四位置P3之間的區Reg_2的片段未被採樣、而第四位置P3與第五位置P4之間的區Reg_3的片段被附加採樣的實例。
根據圖7A、圖7B及圖8所示實施例，由於即使在與以上圖6所示實例相較採樣率小時亦使用至少兩個圖框的片段值對樣本候選圖進行修改，因此可防止對需要實際加陰影處理的片段的確定準確度降低。舉例而言，根據圖7A、圖7B及圖8所示實施例，可藉由減少不必要地執行中間繪圖處理的片段的數目來提高處理速度及/或對處理資源的利用率，同時可使繪圖品質的劣化最小化。
另外，根據本發明概念的實施例，可選擇性地執行上述根據圖5A、圖5B及圖5C至圖8所示實施例的操作。作為實例，圖形處理器可藉由來自主機的控制或者藉由圖形處理器自己的控制來調整第一樣本候選圖的採樣率，藉此調整欲被進行加陰影處理的片段的量。舉例而言，多個經繪圖處理的圖框中的一些圖框可根據圖5A、圖5B及圖5C所示實例進行處理，一些其他圖框可根據圖6所示實例進行處理，且一些其他圖框可根據圖7A、圖7B 及圖8所示實例進行處理。舉例而言，在採樣模式中，當第一樣本候選圖的採樣率大於預定參考值時可應用圖6所示實施例，且當第一樣本候選圖的採樣率小於預定參考值時可應用圖7A、圖7B及圖8所示實施例。
作為另外一種選擇，圖形處理器可藉由來自主機的控制或藉由圖形處理器自己的控制來設定採樣模式的接通/關閉，且當採樣模式關閉時，可對圖框(或圖塊或圖元)中的所有片段進行加陰影處理。
圖9及圖10是分別示出根據本發明概念示例性實施例的操作圖形處理器的相應方法的流程圖。
參考圖9，可藉由根據第一樣本候選圖SCM_1對圖框的多個片段中的一些片段進行加陰影來執行中間繪圖處理(S21)。之後，可對前一圖框的繪圖結果(例如，中間繪圖結果)及當前圖框的繪圖結果進行運算以選擇欲被進行附加加陰影處理的片段(S22)。另外，可根據運算結果來判斷是否有必要對包括一或多個片段的每一區進行附加採樣(S23)。
作為判斷的結果，可改變第一樣本候選圖SCM_1中與需要附加採樣的片段對應的圖案的排列方式(S24)。另一方面，可維持與第一樣本候選圖SCM_1中與不需要附加採樣的片段對應的圖案的值(S25)。另外，可藉由根據藉由以上過程產生的第二樣本候選圖SCM_2對附加片段進行加陰影來執行最終繪圖處理(S26)。
參考圖10，可根據被輸入至圖形處理器的圖框產生具有不同圖案(在不同的操作模式中具有不同圖案或者由於在各個圖框之間對圖案進行的遞色而具有不同圖案)的第一樣本候選圖SCM_1，且當接收到第一圖框時可產生具有第一圖案的第一樣本候選圖SCM_1(S31)。可使用具有第一圖案的第一樣本候選圖SCM_1來對一些片段執行中間繪圖處理(S32)，且可藉由最終加陰影及內插操作對第一圖框執行最終繪圖處理(S33)。
當接收到第二圖框時，可產生具有第二圖案的第一樣本候選圖SCM_1(S34)(用於遞色)。另外，可使用相對於第二圖框具有第二圖案的第一樣本候選圖SCM_1來對一些片段執行中間繪圖處理(S35)，且可將第一圖框中的片段的中間繪圖結果與第二圖框中鄰近片段的中間繪圖結果彼此進行比較(S36)。另外，可藉由基於比較結果改變第一樣本候選圖SCM_1的採樣資訊來產生第二樣本候選圖SCM_2(S37)，且可使用第二樣本候選圖SCM_2來執行最終繪圖處理(S38)。
圖11是示出根據本發明概念示例性實施例的圖形處理器的實作方式的實例的方塊圖。在圖11中，為便於說明僅示出用於執行樣本候選圖產生及改變的配置以及用於處理繪圖的配置；然而，在圖形處理器中可更包括用於圖形處理的各種其他配置。
參考圖11，圖形處理器300可包括SCM產生器310、中間繪圖處理器320、SCM修改裝置330及最終繪圖處理器340。根據實施例，圖11中所示組件可包括硬體(例如，處理核)。儘管 在圖11中中間繪圖處理器320與最終繪圖處理器340被示出為單獨的硬體單元，然而根據其他實施例可由同一硬體來執行中間繪圖處理與最終繪圖處理。各個元件310、320、330、340可為積體電路的一部分。
SCM產生器310可接收圖案資訊Info_Pat並使用圖案資訊Info_Pat產生第一樣本候選圖SCM_1。圖案資訊Info_Pat可包含表示多個片段之中欲被進行中間繪圖處理的片段的位置的資訊。圖案資訊Info_Pat可自主機被提供至圖形處理器300。作為另外一種選擇，圖形處理器300中可儲存有各種圖案資訊，且圖案資訊Info_Pat可根據來自主機的命令而在圖形處理器300中產生。作為另外一種選擇，作為另一實施例，圖形處理器300可確定當前欲對圖框進行繪圖的次序並根據圖框產生具有不同圖案的圖案資訊Info_Pat(例如，基於如上所述遞色方案)。
中間繪圖處理器320可接收多個片段的資料及第一樣本候選圖SCM_1並對與第一樣本候選圖SCM_1的第一圖案對應的片段選擇性地執行加陰影處理。中間繪圖處理器320的加陰影處理結果Data_I可被提供至SCM修改裝置330，且來自中間繪圖處理器320的加陰影處理結果Data_I可包含與第一圖案對應的位置的片段值。
SCM修改裝置330可更接收前一圖框的片段值Frag_P，且片段值Frag_P可包含中間繪圖處理結果，所述中間繪圖處理結果是基於具有前一圖框中的第二圖案的第一樣本候選圖SCM_1。 SCM修改裝置330可藉由改變第一樣本候選圖SCM_1來產生第二樣本候選圖SCM_2，所述改變是藉由基於前一圖框的片段值Frag_P及來自中間繪圖處理器320的處理結果的操作進行的。最終繪圖處理器340可接收第二樣本候選圖SCM_2及中間繪圖處理器320的加陰影處理結果Data_I並藉由對未被執行中間繪圖處理的片段中的一些片段進行加陰影處理來產生最終繪圖結果Data_F。
當以上光柵器選擇性地對欲被進行加陰影處理的片段進行採樣時，在圖11所示實施例中的光柵器中可包括SCM產生器310及SCM修改裝置330。作為另外一種選擇，中間繪圖處理器320及最終繪圖處理器340中的每一者可被界定為包括用於執行光柵化功能的配置。
圖12是示出應用本發明概念實施例的圖形處理器的總體操作流程的圖。圖形處理器可藉由應用程式自主機接收繪圖資料(或圖形資料)及命令，其中繪圖資料可包含圖元資訊及/或紋理資訊。圖形處理器可藉由預繪圖過程將資料及命令處理成可繪圖形式(S41)。應注意，根據圖形處理器而定可跳過所述預繪圖過程，但當執行基於圖塊繪圖時，可在預繪圖過程中執行分塊處理。
之後，可基於預繪圖過程的結果執行計算深度的過程(S42)，且可根據計算結果產生深度資料。根據應用程式或圖形處理器而定，可跳過所述深度計算過程。當包含深度資料時，根據實施例可如上所述使用深度資料來產生第一樣本候選圖。
可在圖形處理器中產生具有預定圖案的採樣資訊或者可自主機傳送所述採樣資訊並接著將所述採樣資訊提供至SCM產生器。作為實作方式的實例，在圖形處理器中可設置有樣本圖案產生器SPG，其中樣本圖案產生器SPG可能夠產生不同的圖案資訊。參考以上實施例中所述的實例，樣本圖案產生器SPG可作為另外一種選擇根據圖框的次序向SCM產生器提供具有第一圖案的圖案資訊以及具有第二圖案的圖案資訊。根據圖框的次序，樣本圖案產生器SPG可將具有第一圖案的圖案資訊及具有第二圖案的圖案資訊中的一者提供至SCM產生器且將另一者提供至畫素提取器PE。
SCM產生器可產生第一樣本候選圖以使得可根據所接收到的樣本圖案對片段進行採樣(S43)，且可將所產生的第一樣本候選圖提供至中間繪圖處理器。根據實施例，SCM產生器可藉由進一步使用深度資料來產生第一樣本候選圖。舉例而言，由於深度差大的片段在最終繪圖過程中可具有不同的值或者各個值之間存在大的差的可能性可為高的，因此SCM產生器可基於深度資料對採樣資訊進行調整。舉例而言，當圖元中所包括的多個片段的深度之間的差大時，第一樣本候選圖可被產生成使得所述多個片段全部可受到加陰影處理。作為另外一種選擇，圖元中所包括的多個片段可被分類成多個區，且第一樣本候選圖可被產生成使得區中所包括的所有片段皆可基於每一區中的深度差受到加陰影處理。
可使用預繪圖結果、深度資料及藉由以上過程產生的第一樣本候選圖來執行中間繪圖處理(S44)。根據第一樣本候選圖，可藉由加陰影處理來計算多個片段的值，而其他片段可對應於未受到加陰影處理的孔。
同時，根據本發明概念的實施例，可藉由對第一樣本候選圖進行修改來產生第二樣本候選圖(S45)。作為實例，SCM修改裝置在接收當前圖框的中間繪圖處理結果的同時可更接收自前一圖框提取的片段值。圖12所示畫素提取器PE可接收前一圖框的圖案資訊及片段值，提取與圖案資訊對應的片段的值並將所述值提供至SCM修改裝置。SCM修改裝置可藉由根據以上實施例的基於前一圖框的片段值及當前圖框的片段值的操作產生第二樣本候選圖。
最終繪圖處理器340可使用中間繪圖資料、深度資料及第二樣本候選圖執行最終繪圖處理(S46)。藉由最終繪圖處理，可對片段執行附加加陰影處理。根據最終繪圖處理產生的資料仍可包括孔，且可藉由孔填充處理來產生最終影像(S47)。
根據上述實施例，可將自前一圖框提取的片段值用於樣本候選圖修改過程，且可使用當前圖框中受到加陰影處理的片段值來執行用於孔填充處理的內插操作。另外，可將根據以上流程產生的當前圖框的最終影像資料用於下一圖框的繪圖處理過程中的樣本候選圖修改過程。在再一實施例中，可在當前圖框之前執行對未來的(下一)圖框的處理以使得在未來的圖框中計算的片 段值可如上所述用於與前一片段相同的目的(例如，在反向圖框方向處理實施例中)。
圖13是示出根據本發明概念另一實施例的繪圖系統400的方塊圖。繪圖系統400可包括主機410及圖形處理器420。主機410可包括應用411及裝置驅動器412。另外，圖形處理器420可包括SCM修改裝置421、片段處理器422及內插準確度確定裝置423。
作為儲存於電腦可讀取介質上的應用程式，應用411可藉由裝置驅動器412向圖形處理器420提供命令CMD及圖形資料DATA。另外，舉例而言，應用411或裝置驅動器412可控制與在圖形處理器420中進行的繪圖處理相關的採樣模式且可將採樣控制訊號Ctrl_C/F傳送至圖形處理器420。圖形處理器420的內插準確度確定裝置423可確定由內插處理產生的片段值的準確度並將確定資訊Info_A提供至主機410。
當採樣控制訊號Ctrl_C/F指示採樣關閉模式時，圖形處理器420可對所有片段執行加陰影處理而不執行以上實施例中的採樣操作。另一方面，當採樣控制訊號Ctrl_C/F指示採樣接通模式時，圖形處理器420可根據以上實施例產生具有預定圖案的樣本候選圖，修改樣本候選圖並執行中間繪圖處理及最終繪圖處理。
內插準確度確定裝置423可根據預定時間段來確定內插準確度。作為實例，可針對每一圖框或針對多個圖框確定內插準確度。在後一種情形中，可對每K個圖框對內插準確度進行採樣， 其中K是預定的整數。內插準確度可藉由各種方法來確定。作為實例，對於相同位置的片段，可藉由對由內插產生的片段值Frag_I與藉由實際加陰影處理產生的片段值Frag_R進行比較來確定內插準確度。當由內插產生的片段值Frag_I與藉由加陰影處理產生的片段值Frag_R之間的差為大的時，可表示需要被進行加陰影處理的片段的值可藉由內插來計算且繪圖處理特性可為低的。
確定資訊Info_A可包含各種資訊。作為實例，內插準確度確定裝置423可基於片段值Frag_R與Frag_I執行比較處理並基於所述比較處理來計算內插準確度以產生確定資訊Info_A。作為另外一種選擇，作為另一實施例，確定資訊Info_A可僅包含基於片段值Frag_R及Frag_I的操作結果，且主機410可使用確定資訊Info_A來確定內插準確度。主機410可基於確定資訊Info_A來產生採樣控制訊號Ctrl_C/F。
圖14是示出根據本發明概念另一實施例的圖形處理器的方塊圖。圖14示出其中圖形處理器500在內部確定內插準確度並基於所述內插準確度調整第一樣本候選圖的採樣率的實例。
參考圖14，圖形處理器500可包括樣本圖案產生器510、SCM產生器520、SCM修改裝置530、片段處理器540及內插準確度確定裝置550。樣本圖案產生器510可產生具有預定圖案的圖案資訊並將所述圖案資訊提供至SCM產生器520，且SCM產生器520可基於所述圖案資訊產生第一樣本候選圖。另外，圖形處理器500可自主機接收用於控制採樣模式的接通/關閉的採樣控制訊號 Ctrl_C/F以及命令CMD及圖形資料DATA。
樣本圖案產生器510可針對每一圖框產生具有不同圖案的圖案資訊。根據實施例，樣本圖案產生器510可產生圖案資訊，所述圖案資訊具有基於來自內插準確度確定裝置550的確定資訊Info_A調整的採樣率。舉例而言，當內插準確度相對高(或大於預定值)時，可確定每一圖框的相似度為高的，且因此樣本圖案產生器510可產生採樣率減小的圖案資訊。另一方面，當內插準確度相對低時，樣本圖案產生器510可產生採樣率相對高的圖案資訊。
根據實施例，當採樣率低時，可使用多個圖框的片段值執行樣本候選圖修改操作。另一方面，當採樣率高時，可藉由內插來執行孔填充處理而不執行樣本候選圖修改操作，或者可基於當前圖框的片段值藉由樣本候選圖修改操作來執行最終繪圖處理。
圖15是示出根據本發明概念另一實施例的繪圖系統600的方塊圖。繪圖系統600可包括主機610及圖形處理器620，且主機610可包括應用611、裝置驅動器612、相似度確定器613及頻率特性確定器614。圖形處理器620可包括SCM修改裝置621及片段處理器622。
根據實施例，主機610可確定欲被輸出的圖框的特性並基於所述特性來控制圖形處理器620的採樣操作。作為實例，相似度確定器613可確定欲被進行圖形處理的多個圖框之間的相似 度，且主機610可基於所述相似度確定將採樣控制訊號Ctrl_C/F提供至圖形處理器620。採樣控制訊號Ctrl_C/F可控制採樣模式的接通或關閉，且根據實施例，採樣控制訊號Ctrl_C/F可更包含用於調整採樣率的資訊。作為實例，可在主機610中預設並儲存多個圖框之間的相似程度的臨限值準則(threshold criterion)，且相似度確定器613可基於預設的資訊判斷當前欲被進行繪圖處理的圖框是否相對於前面的圖框具有高的相似度。舉例而言，臨限值準則可基於一系列圖框之間的運動向量。若存在小的運動量，則相似度可被視為高的，但若運動快速，則相似度可被視為低的。
頻率特性確定器614可確定圖框的特性。作為實例，頻率特性確定器614可確定當前的或前一個受到繪圖處理的圖框的特性(例如，邊緣分佈程度)。當在當前的或前一個圖框中存在許多邊緣時，在隨後的圖框中存在許多邊緣的可能性高。在此種情形中，主機610可將採樣控制訊號Ctrl_C/F提供至圖形處理器620以關閉採樣模式或提高採樣率。
圖16是示出採樣模式的可變操作的實例的圖。在此實例中，圖形處理器可採用各種採樣模式運作，且在對多個圖框執行繪圖處理時，採樣模式可發生變化。採樣模式的改變可受主機的控制或者可由圖形處理器自己執行。作為另外一種選擇，作為另一種實例，採樣模式的接通/關閉可受主機控制，而採樣模式中的採樣率可藉由圖形處理器自己來調整。
當圖框的內容大大改變或者在圖框中存在許多邊緣時， 或者當受到內插處理的片段值與受到實際加陰影處理的片段值之間的差為高的(例如，平均而言高於臨限值)時，圖形處理器可採用採樣關閉模式(或全採樣模式)來運作。在此種情形中，可對所有片段執行加陰影處理。
之後，可根據例如圖框之間的相似度增大等各種準則來接通採樣模式，且圖形處理器可首先採用精細採樣模式運作。根據實施例，一些片段可藉由具有大的採樣率的第一樣本候選圖而受到中間加陰影處理，且可對其他片段執行根據以上實施例的樣本候選圖修改操作。另外，在精細採樣模式中，可使用當前受到繪圖處理的圖框的片段值執行樣本候選圖修改操作。
另外，採樣模式可改變成粗略採樣模式。在此種情形中，一些片段可藉由具有小的採樣比率的第一樣本候選圖而受到中間加陰影處理，且可對其他片段執行根據以上實施例的樣本候選圖修改操作。另外，根據以上實施例，在粗略採樣模式中，可使用根據對當前圖框及前一圖框進行的加陰影處理的片段值來執行樣本候選圖修改操作。
圖17A及17B是示出其中使用三或更多個圖框的資料執行樣本候選圖修改操作的實例的圖。圖17A及圖17B示出其中使用四個圖框的資料的實例；然而，在本發明概念的實施例中亦可使用各種其他數目的圖框。
參考圖17A，可對每一4*4大小的片段中的一個片段進行採樣及加陰影。另外，四個連貫圖框的第一樣本候選圖可具有 不同的圖案以使得遞色方案跨越四個圖框並減少視覺偽影。作為實例，第一圖框Frame1至第四圖框Frame4的第一樣本候選圖SCM_1可被設定成使得它們的圖案不彼此交疊。
參考圖17B，樣本候選圖修改裝置可接收第四圖框Frame4的第一樣本候選圖SCM_1作為當前圖框並接收第四圖框Frame4的受到中間繪圖處理的片段值Frag_F4。另外，樣本候選圖修改裝置可使用第一圖框Frame1至第三圖框Frame3的片段值Frag_F1至Frag_F3作為前面的圖框。根據實施例，第一圖框Frame1至第四圖框Frame4的片段值Frag_F1至Frag_F4可儲存於圖形處理器外部的外部記憶體中，且片段值Frag_F1至Frag_F4可自外部記憶體讀取且接著被提供至樣本候選圖修改裝置110。
圖18是示出根據本發明概念示例性實施例的包括記憶體裝置的行動設備的實作方式的實例的方塊圖。
參考圖18，行動設備700可對應於繪圖系統且可包括應用處理器710及記憶體裝置720。應用處理器710可被實作為系統晶片(system on chip，SoC)。SoC可包括系統匯流排(圖中未示出)，且可包括連接至系統匯流排的各種智慧財產(Intellectual Property，IP)裝置，所述系統匯流排應用具有預定匯流排標準的協定。如圖18所示，作為IP裝置的實例，應用處理器(AP)710可包括中央處理單元(CPU)711、GPU 712、數據機處理器713及記憶體控制單元(Memory Ctrl)714。另外，由於應用處理器710執行數據機通訊功能，因此應用處理器710可被稱為數據機應 用(ModAP)。
可應用高階精簡指令集電腦(Reduced Instruction Set Computer，RISC)機器(Advanced RISC Machine，ARM)公司的高階微控制器匯流排架構(Advanced Microcontroller Bus Architecture，AMBA)協定作為系統匯流排的標準。AMBA協定的匯流排類型可包括高階高效能匯流排(Advanced High-Performance Bus，AHB)、高階周邊匯流排(Advanced Peripheral Bus，APB)、高階可擴展介面(Advanced eXtensible Interface，AXI)、AXI4、及AXI一致性擴展(AXI Coherency Extension，ACE)。另外，亦可應用例如以下等其他類型的協定：索尼克公司(SONIC Inc.)的u網路(uNetwork)、國際商業機器公司(International Business Machines，IBM)的核連接(CoreConnect)、及開放式核協定國際合作夥伴(Open Core Protocol International Partnership，OCP-IP)的開放式核協定(Open Core Protocol，OCP)。
GPU 712可執行以上實施例中所闡述的繪圖處理。因此，GPU 712可包括樣本候選圖修改裝置。一或多個圖框資料Data_Frame可藉由記憶體控制單元714儲存於記憶體裝置720中。另外，樣本候選圖修改裝置可使用自記憶體裝置720讀取的當前圖框的資料以及前一圖框的資料來執行以上實施例中的修改操作。
以上闡述的各種裝置可為硬體電路系統並形成積體電路 的一部分。舉例而言，可藉由積體電路的至少一個處理元件來實作樣本候選圖(SCM)修改裝置110。因此，具有處理功能或其他功能的各種裝置作為另外一種選擇可被稱為電路。舉例而言，SCM修改裝置110、330或421、內插準確度確定裝置423作為另外一種選擇可分別被稱為SCM修改電路110、330或421及內插準確度確定電路423。上述處理器、產生器或驅動器中的任意者可分別被稱為處理器電路、產生器電路及驅動器電路。
根據本發明概念的上述方法可在硬體、韌體中實作或者藉由使用可儲存於記錄介質(例如，光碟唯讀記憶體(compact disk read only memory，CD ROM)、隨機存取記憶體(random access memory，RAM)、軟碟、硬碟或磁光碟)中的軟體或電腦代碼或者經由網路下載的原來儲存於遠端記錄介質或非暫時性機器可讀取介質上且欲被儲存於本地記錄介質上的電腦代碼來實作，以使得可使用通用電腦或專用處理器或者在可程式化或專用硬體(例如，應用專用積體電路(application specific integrated circuit，ASIC)或現場可程式化閘陣列(field programmable gate array，FPGA))中使用儲存於記錄介質上的此種軟體來達成本文所述方法。如在此項技術中將理解，電腦、處理器、微處理器控制器或可程式化硬體包括可儲存或接收軟體或電腦代碼的記憶體組件(例如，RAM、ROM、快閃記憶體等)，所述軟體或電腦代碼在由電腦、處理器或硬體存取及執行時實作本文所述處理方法。另外，將認識到，當通用電腦存取用於實作本文所示處理的代碼時， 執行所述代碼會使通用電腦變換成用於執行本文所述處理的專用電腦。
以上已參考圖式闡述了本發明概念的示例性實施例。儘管本文中使用具體用語來闡述本實施例，然而所述用語僅用於闡述本發明概念的技術理念而並非旨在限制本發明概念的由以下申請專利範圍所闡述的範圍。因此，此項技術中具有通常知識者應理解，可自其衍生出各種潤飾及其他等效實施例。因此，本發明概念的精神及範圍應由隨附申請專利範圍界定。
儘管已參考本發明概念的實施例具體顯示並闡述了本發明概念，然而應理解，在不背離以下申請專利範圍的精神及範圍的條件下可對本文作出形式及細節上的各種改變。
10‧‧‧繪圖系統
100‧‧‧圖形處理器
101‧‧‧記憶體
110‧‧‧SCM修改裝置/樣本候選圖修改裝置/SCM修改電路
120‧‧‧片段處理器
Data‧‧‧圖形資料
Data_Frame‧‧‧圖框資料
Frag_C‧‧‧片段值
Frag_P‧‧‧片段值/值
SCM_1‧‧‧第一樣本候選圖/樣本候選圖
SCM_2‧‧‧第二樣本候選圖

Claims (24)

  1. 一種操作圖形處理器的方法，所述方法包括：藉由使用具有第一圖案的第一樣本候選圖對第一圖框的一些片段進行加陰影處理來執行中間繪圖；藉由使用具有第二圖案的第一樣本候選圖對第二圖框的一些片段進行加陰影處理來執行中間繪圖；基於對所述第一圖框的加陰影處理結果與所述第二圖框的加陰影處理結果進行的比較藉由使用第二樣本候選圖對所述第二圖框的其他片段進行附加採樣，所述第二樣本候選圖是藉由改變具有所述第一圖案的所述第一樣本候選圖或具有所述第二圖案的所述第一樣本候選圖的採樣資訊所產生；以及執行最終繪圖，所述最終繪圖包括使用所述第二樣本候選圖對所採樣的片段進行加陰影處理。
  2. 如申請專利範圍第1項所述的方法，更包括：對所述第二圖框的在對所述第二圖框的所述中間繪圖及所述最終繪圖中未受到加陰影處理的其餘片段執行內插處理。
  3. 如申請專利範圍第1項所述的方法，其中所述最終繪圖包括：在所述對所述第一圖框執行所述中間繪圖之後，對所述第一圖框的其他片段進行加陰影處理；以及對所述第一圖框的在對所述第一圖框的所述中間繪圖及所述最終繪圖中未受到加陰影處理的其餘片段執行內插處理。
  4. 如申請專利範圍第1項所述的方法，其中藉由具有所述第一圖案的所述第一樣本候選圖進行採樣的所述第一圖框中的片段的位置不同於藉由具有所述第二圖案的所述第一樣本候選圖進行採樣的所述第二圖框中的片段的位置。
  5. 如申請專利範圍第1項所述的方法，更包括選擇採樣關閉模式、精細採樣模式、及粗略採樣模式中的任一者，其中當選擇所述粗略採樣模式時，使用所述第一圖框的所述加陰影處理結果及所述第二圖框的所述加陰影處理結果對所述第二圖框的所述其他片段進行附加採樣。
  6. 如申請專利範圍第5項所述的方法，更包括：將操作模式改變成所述採樣關閉模式；接收第三圖框；以及藉由對所述第三圖框的所有片段進行加陰影處理來執行繪圖。
  7. 如申請專利範圍第5項所述的方法，更包括：將操作模式改變成所述精細採樣模式；接收第三圖框；藉由使用具有第三圖案的第一樣本候選圖對所述第三圖框的一些片段進行加陰影處理來執行中間繪圖；以及藉由使用所述第三圖框的加陰影處理結果對所述第三圖框的其他片段進行附加採樣及加陰影處理來執行最終繪圖，其中所述第三圖案具有較所述第二圖案高的採樣率。
  8. 一種圖形處理器，包括：中間繪圖處理器，根據樣本候選圖的採樣資訊對當前圖框的多個片段中的一些片段執行加陰影處理；樣本候選圖修改電路，被配置成基於對前一圖框的加陰影處理結果與當前圖框的加陰影處理結果進行的比較來改變所述樣本候選圖的所述採樣資訊，藉此產生經改變的樣本候選圖；以及最終繪圖處理器，對未受到所述中間繪圖處理器進行的加陰影處理的片段中根據所述經改變的樣本候選圖進行附加採樣的所述當前圖框的片段執行加陰影處理。
  9. 如申請專利範圍第8項所述的圖形處理器，更包括內插處理器，所述內插處理器對未受到所述中間繪圖處理器及所述最終繪圖處理器進行的加陰影處理的片段執行孔填充。
  10. 如申請專利範圍第8項所述的圖形處理器，更包括樣本候選圖產生器，所述樣本候選圖產生器根據所接收的圖案資訊產生所述樣本候選圖。
  11. 如申請專利範圍第10項所述的圖形處理器，其中所述樣本候選圖在對奇數圖框的繪圖處理中具有第一圖案且在對偶數圖框的繪圖處理中具有與所述第一圖案不同的第二圖案，且所述前一圖框對應於所述奇數圖框且所述當前圖框對應於所述偶數圖框。
  12. 如申請專利範圍第11項所述的圖形處理器，更包括樣 本圖案產生器，所述樣本圖案產生器根據圖框次序將具有所述第一圖案或所述第二圖案的圖案資訊提供至所述樣本候選圖產生器。
  13. 如申請專利範圍第12項所述的圖形處理器，更包括畫素提取器，所述畫素提取器根據所述前一圖框的所述加陰影處理結果接收片段值，當具有所述第二圖案的所述圖案資訊被提供至所述樣本候選圖產生器時自所述樣本圖案產生器接收具有所述第一圖案的所述圖案資訊，且將與所述前一圖框的所述第一圖案對應的片段值提供至所述樣本候選圖修改電路。
  14. 如申請專利範圍第10項所述的圖形處理器，更包括內插準確度確定電路，所述內插準確度確定電路藉由欲由內插處理計算出的值與藉由對所述當前圖框的同一片段進行加陰影處理而計算出的值進行比較來執行內插準確度確定，其中所述樣本候選圖產生器根據所述內插準確度確定的結果來調整所述樣本候選圖的採樣率。
  15. 如申請專利範圍第10項所述的圖形處理器，其中所述樣本候選圖產生器因應於來自主機的命令而調整所述樣本候選圖的採樣率。
  16. 如申請專利範圍第8項所述的圖形處理器，其中當所述樣本候選圖的採樣率小於參考值時所述樣本候選圖修改電路使用所述前一圖框的所述加陰影處理結果及所述當前圖框的所述加陰影處理結果來修改所述樣本候選圖，且當所述樣本候選圖的所 述採樣率大於所述參考值時，所述樣本候選圖修改電路使用所述當前圖框的所述加陰影處理結果來修改所述樣本候選圖。
  17. 一種圖形處理器，包括：樣本候選圖修改電路，被配置成接收用於針對欲被繪圖的視訊的給定圖框選擇多個片段中的一些片段的第一樣本候選圖，並藉由基於對所述視訊的至少兩個圖框的加陰影處理結果進行的比較而改變所述第一樣本候選圖的採樣資訊來產生第二樣本候選圖；以及片段處理器，藉由對根據所述第一樣本候選圖進行採樣的片段進行加陰影處理來執行中間繪圖處理並藉由對根據所述第二樣本候選圖進行附加採樣的片段進行加陰影處理來執行最終繪圖處理。
  18. 如申請專利範圍第17項所述的圖形處理器，其中所述片段處理器包括：中間繪圖處理器，執行所述中間繪圖處理；以及最終繪圖處理器，執行所述最終繪圖處理。
  19. 如申請專利範圍第17項所述的圖形處理器，更包括樣本候選圖產生器，所述樣本候選圖產生器接收圖案資訊並根據所述圖案資訊產生所述第一樣本候選圖，其中當所述第一樣本候選圖的採樣率小於參考值時所述樣本候選圖修改電路使用前一圖框的加陰影處理結果及當前圖框的加陰影處理結果來修改所述第一樣本候選圖，且當所述第一樣本候 選圖的所述採樣率大於所述參考值時，所述樣本候選圖修改電路使用所述當前圖框的所述加陰影處理結果來修改所述第一樣本候選圖。
  20. 如申請專利範圍第19項所述的圖形處理器，其中所述樣本候選圖產生器因應於來自外部主機的命令而調整所述第一樣本候選圖的所述採樣率。
  21. 如申請專利範圍第19項所述的圖形處理器，更包括內插準確度確定裝置，所述內插準確度確定裝置藉由對由內插處理計算出的值與藉由對所述當前圖框的同一片段進行加陰影處理而計算出的值進行比較來執行內插準確度確定，其中所述樣本候選圖產生器根據所述內插準確度確定的結果來調整所述第一樣本候選圖的所述採樣率。
  22. 如申請專利範圍第17項所述的圖形處理器，其中所述圖形處理器自外部主機接收採樣控制訊號，所述採樣控制訊號指示採樣模式的接通或關閉，且當所述採樣模式對應於關閉時，所述第一樣本候選圖具有用於對所述第一樣本候選圖的所有片段進行採樣的採樣資訊。
  23. 如申請專利範圍第17項所述的圖形處理器，更包括光柵器，所述光柵器向所述片段處理器提供所述多個片段中的一些片段，其中所述樣本候選圖修改電路包括於所述光柵器中。
  24. 如申請專利範圍第17項所述的圖形處理器，其中 所述片段處理器包括多個處理核，且所述中間繪圖處理是由所述多個處理核中的一些處理核執行，且所述最終繪圖處理是由所述多個處理核中的一些其他處理核執行。
TW107139258A 2017-12-28 2018-11-06 執行基於採樣繪圖的圖形處理器及其操作方法 TWI789452B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170182640A KR102545172B1 (ko) 2017-12-28 2017-12-28 샘플링 기반의 렌더링을 수행하는 그래픽 프로세서 및 그 동작방법
KR10-2017-0182640 2017-12-28
??10-2017-0182640 2017-12-28

Publications (2)

Publication Number Publication Date
TW201931300A TW201931300A (zh) 2019-08-01
TWI789452B true TWI789452B (zh) 2023-01-11

Family

ID=66816973

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107139258A TWI789452B (zh) 2017-12-28 2018-11-06 執行基於採樣繪圖的圖形處理器及其操作方法

Country Status (6)

Country Link
US (1) US10762696B2 (zh)
JP (1) JP7221679B2 (zh)
KR (1) KR102545172B1 (zh)
CN (1) CN109978750B (zh)
DE (1) DE102018125472B4 (zh)
TW (1) TWI789452B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102589969B1 (ko) 2018-11-05 2023-10-16 삼성전자주식회사 지연 쉐이딩에서 보간을 수행하는 그래픽스 처리 장치, 그래픽스 처리 시스템 및 그래픽스 처리 방법
US11089320B2 (en) * 2019-03-27 2021-08-10 Nvidia Corp. Adaptive pixel sampling order for temporally dense rendering
CN112419147B (zh) * 2020-04-14 2023-07-04 上海哔哩哔哩科技有限公司 图像渲染方法及装置
US11899588B2 (en) 2020-09-14 2024-02-13 Samsung Electronics Co., Ltd. Systems, methods, and devices for discarding inactive intermediate render targets
US11922556B2 (en) * 2021-04-12 2024-03-05 Nvidia Corporation Ray-traced light resampling using screen space visibility
US20220383573A1 (en) * 2021-05-19 2022-12-01 Disney Enterprises, Inc. Frame interpolation for rendered content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140706A1 (en) * 2001-03-30 2002-10-03 Peterson James R. Multi-sample method and system for rendering antialiased images
CN101866476A (zh) * 2009-04-17 2010-10-20 Arm有限公司 生成和解析图形处理流水线内的像素值
CN101923727A (zh) * 2009-06-10 2010-12-22 三星电子株式会社 混合渲染装置和方法
US9830714B2 (en) * 2014-06-27 2017-11-28 Samsung Electronics Co., Ltd. Graphics processing with advection to reconstruct missing sample data points

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0426170D0 (en) * 2004-11-29 2004-12-29 Falanx Microsystems As Processing of computer graphics
US8044956B1 (en) 2007-08-03 2011-10-25 Nvidia Corporation Coverage adaptive multisampling
US8203558B2 (en) * 2008-01-28 2012-06-19 Apple Inc. Dynamic shader generation
GB2497302B (en) * 2011-12-05 2017-04-12 Advanced Risc Mach Ltd Methods of and apparatus for processing computer graphics
US9607356B2 (en) 2013-05-02 2017-03-28 Arm Limited Graphics processing systems
US9710894B2 (en) 2013-06-04 2017-07-18 Nvidia Corporation System and method for enhanced multi-sample anti-aliasing
KR102122454B1 (ko) 2013-10-02 2020-06-12 삼성전자주식회사 이전 타일의 이미지를 이용하여 현재 프레임을 렌더링하는 방법 및 장치
US9495790B2 (en) * 2014-04-05 2016-11-15 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping to non-orthonormal grid
GB2525223B (en) 2014-04-16 2020-07-15 Advanced Risc Mach Ltd Graphics processing systems
KR102370617B1 (ko) 2015-04-23 2022-03-04 삼성전자주식회사 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140706A1 (en) * 2001-03-30 2002-10-03 Peterson James R. Multi-sample method and system for rendering antialiased images
CN101866476A (zh) * 2009-04-17 2010-10-20 Arm有限公司 生成和解析图形处理流水线内的像素值
CN101923727A (zh) * 2009-06-10 2010-12-22 三星电子株式会社 混合渲染装置和方法
US9830714B2 (en) * 2014-06-27 2017-11-28 Samsung Electronics Co., Ltd. Graphics processing with advection to reconstruct missing sample data points

Also Published As

Publication number Publication date
DE102018125472A1 (de) 2019-07-04
US20190206121A1 (en) 2019-07-04
JP7221679B2 (ja) 2023-02-14
DE102018125472B4 (de) 2023-12-07
JP2019121381A (ja) 2019-07-22
CN109978750A (zh) 2019-07-05
KR20190080274A (ko) 2019-07-08
US10762696B2 (en) 2020-09-01
TW201931300A (zh) 2019-08-01
KR102545172B1 (ko) 2023-06-19
CN109978750B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
TWI789452B (zh) 執行基於採樣繪圖的圖形處理器及其操作方法
US10102663B2 (en) Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
US11301956B2 (en) Varying effective resolution by screen location by altering rasterization parameters
US10134175B2 (en) Gradient adjustment for texture mapping to non-orthonormal grid
US10783696B2 (en) Gradient adjustment for texture mapping to non-orthonormal grid
KR20170025099A (ko) 렌더링 방법 및 장치
US20230082839A1 (en) Rendering scalable raster content
KR20120138185A (ko) 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법
US11776179B2 (en) Rendering scalable multicolored vector content