TW202143175A - 用於量化會聚方向為基的射線分類 - Google Patents

用於量化會聚方向為基的射線分類 Download PDF

Info

Publication number
TW202143175A
TW202143175A TW109133110A TW109133110A TW202143175A TW 202143175 A TW202143175 A TW 202143175A TW 109133110 A TW109133110 A TW 109133110A TW 109133110 A TW109133110 A TW 109133110A TW 202143175 A TW202143175 A TW 202143175A
Authority
TW
Taiwan
Prior art keywords
ray
data
graphics
rays
logic
Prior art date
Application number
TW109133110A
Other languages
English (en)
Other versions
TWI844734B (zh
Inventor
卡洛 塞爾森
普拉庫馬 瑟提
加伯 利克特
卡錫克 韋戴納森
斯芬 沃普
Original Assignee
美商英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商英特爾股份有限公司 filed Critical 美商英特爾股份有限公司
Publication of TW202143175A publication Critical patent/TW202143175A/zh
Application granted granted Critical
Publication of TWI844734B publication Critical patent/TWI844734B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12Replacement control
    • G06F12/121Replacement control using replacement algorithms
    • G06F12/128Replacement control using replacement algorithms adapted to multidimensional cache systems, e.g. set-associative, multicache, multiset or multilevel
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/42Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026PCI express
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Generation (AREA)

Abstract

用於基於量化射線方向來群集射線的設備及方法。例如,一種設備之一實施例包含:一種設備,包含:一射線產生器,用以產生複數射線;射線方向評估電路/邏輯,用以產生用於該等複數射線之各者的近似射線方向資料;射線分類電路/邏輯,用以至少部分地基於該近似射線方向資料來將該等射線分類成複數射線佇列。

Description

用於量化會聚方向為基的射線分類
本發明一般係有關圖形處理器之領域。更特別地,本發明係有關於一種用於量化會聚方向為基的射線分類之設備及方法。
射線追蹤係一種技術,其中光傳送係透過物理為基的演現(rendering)來模擬。廣泛地用於電影演現,其被視為針對即時性能係太過資源密集的,直到一些年前。在射線追蹤中的關鍵操作之一係處理射線場景相交的可見性查詢,已知為「射線遍歷」,其係藉由遍歷並相交包圍體階層(bounding volume hierarchy,BVH)中之節點來計算射線場景相交。
於以下說明中,為了解釋之目的,提出數個特定細節以提供下述本發明的實施例之透徹瞭解。然而,熟悉此項技術人士將清楚其本發明之實施例可被實行而無這些特定細節之部分。於其他例子中,眾所周知的結構及裝置被顯示以方塊圖形式,來避免混淆本發明的實施例之主要原則。 範例圖形處理器架構及資料類型系統概述
圖1為一種處理系統100之方塊圖,依據一實施例。系統100可被使用於單一處理器桌上型系統、多處理器工作站系統、或伺服器系統,其具有大量處理器102或處理器核心107。在一實施例中,系統100係結合入系統單晶片(SoC)積體電路內之處理平台,以使用於行動裝置、手持式裝置、或嵌入式裝置,諸如在具有通至區域或廣域網路之有線或無線連接性的物聯網(IoT)裝置內。
在一實施例中,系統100可包括、耦合與、或被集成入:基於伺服器的遊戲平台;遊戲控制台,包括遊戲和媒體控制台;行動裝置遊戲控制台、手持式遊戲控制台、或線上遊戲控制台。在一些實施例中,系統100係行動電話、智慧型手機、平板計算裝置或行動網際網路連接裝置(諸如具有低內部儲存容量的膝上型電腦)之部分。處理系統100亦可包括、耦合與、或被集成入:穿戴式裝置(諸如智慧型手錶穿戴式裝置);以擴增實境(AR)或虛擬實境(VR)特徵強化的智慧型眼鏡或服裝,用以提供視覺、聽覺或觸覺輸出來補充真實世界視覺、聽覺或觸覺經驗,或者另提供文字、音頻、圖形、視頻、全像影像或視頻、或觸覺回饋;其他擴增實境(AR)裝置;或其他虛擬實境(VR)裝置。於一些實施例中,處理系統100包括電視或機上盒裝置或者為其部分。在一實施例中,系統100可包括、耦合與、或被集成入自動駕駛車輛,諸如公車、拖車、汽車、機車或電動腳踏車、飛機或滑翔機(或其任何組合)。自動駕駛車輛可使用系統100以處理在該車輛周圍所感測的環境。
於某些實施例中,一或多個處理器102各包括一或多個處理器核心107,用以處理指令,其(當被執行時)係履行針對系統或使用者軟體之操作。於某些實施例中,一或多個處理器核心107之至少一者被組態成處理特定指令集109。於某些實施例中,指令集109可協助複雜指令集計算(CISC)、精簡指令集計算(RISC)、或經由極長指令字元(VLIW)之計算。一或多個處理器核心107可處理不同的指令集109,其可包括用以協助其他指令集之仿真的指令。處理器核心107亦可包括其他處理裝置,諸如數位信號處理器(DSP)。
於某些實施例中,處理器102包括快取記憶體104。根據該架構,處理器102可具有單一內部快取或者多階內部快取。於某些實施例中,快取記憶體被共用於處理器102的各個組件之間。於某些實施例中,處理器102亦使用外部快取(例如,第3階(L3)快取或最後階快取(LLC))(未顯示),其可使用已知的快取同調性技術而被共用於處理器核心107之間。暫存器檔106可被額外地包括於處理器102中,且可包括不同類型的暫存器,用以儲存不同類型的資料(例如,整數暫存器、浮點暫存器、狀態暫存器、及指令指針暫存器)。某些暫存器可為通用暫存器,而其他暫存器可特別針對處理器102之設計。
於某些實施例中,一或多個處理器102被耦合與一或多個介面匯流排110,以傳輸通訊信號(諸如位址、資料、或控制信號)於處理器102與系統100中的其他組件之間。介面匯流排110(在一實施例中)可為處理器匯流排,諸如直接媒體介面(DMI)匯流排之版本。然而,處理器匯流排不限於DMI匯流排,而可包括一或多個周邊組件互連匯流排(例如,PCI、PCI Express)、記憶體匯流排、或其他類型的介面匯流排。在一實施例中,處理器102包括集成記憶體控制器116及平台控制器集線器130。記憶體控制器116促進記憶體裝置與系統100的其他組件之間的通訊,而平台控制器集線器(PCH) 130提供經由本地I/O匯流排的連接至I/O裝置。
記憶體裝置120可為動態隨機存取記憶體(DRAM)裝置、靜態隨機存取記憶體(SRAM)裝置、快閃記憶體裝置、相變記憶體裝置、或具有用以作用為程序記憶體之適當性能的某些其他記憶體裝置。於一實施例中,記憶體裝置120可操作為針對系統100之系統記憶體,用以儲存資料122及指令121,以便在當一或多個處理器102執行應用程式或程序時使用。記憶體控制器116亦耦合與選擇性的外部圖形處理器118,其可與處理器102中之一或多個圖形處理器108通訊以履行圖形及媒體操作。於一些實施例中,圖形、媒體、及或計算操作可由加速器112所輔助,該加速器係可經組態以履行一特殊組的圖形、媒體、或計算操作之共處理器。例如,在一實施例中,加速器112係一矩陣乘法加速器,用以最佳化機器學習或計算操作。在一實施例中,加速器112係一射線追蹤加速器,其可用以與圖形處理器108一起履行射線追蹤操作。在一實施例中,外部加速器119可被使用以取代加速器112或與加速器112一起使用。
在一些實施例中,顯示裝置111可連接至處理器102。顯示裝置111可為內部顯示裝置(如在行動電子裝置或膝上型電腦裝置中)或經由顯示介面(例如,顯示埠,等等)所安裝的外部顯示裝置之一或多個。在一實施例中,顯示裝置111可為頭戴式顯示(HMD),諸如用於虛擬實境(VR)應用或擴增實境(AR)應用之立體顯示裝置。
在一些實施例中,平台控制器集線器130致能周邊經由高速I/O匯流排而連接至記憶體裝置120及處理器102。I/O周邊包括(但不限定於)音頻控制器146、網路控制器134、韌體介面128、無線收發器126、接觸感測器125、資料儲存裝置124(例如,非揮發性記憶體、揮發性記憶體、硬碟驅動、快閃記憶體、NAND、3D NAND、3D XPoint,等等)。資料儲存裝置124可經由儲存介面(例如,SATA)或經由周邊匯流排,諸如周邊組件互連匯流排(例如,PCI、PCI Express),來連接。接觸感測器125可包括接觸螢幕感測器、壓力感測器、或指紋感測器。無線收發器126可為Wi-Fi收發器、藍牙收發器、或行動收網路收發器,諸如3G、4G、5G、或長期演進(LTE)收發器。韌體介面128致能與系統韌體的通訊,且可為(例如)統一可延伸韌體介面(UEFI)。網路控制器134可致能網路連接至有線網路。在一些實施例中,高性能網路控制器(未顯示)係與介面匯流排110耦合。音頻控制器146(在一實施例中)係多頻道高清晰度音頻控制器。在一實施例中,系統100包括選擇性舊有I/O控制器140,用於耦合舊有(例如,個人系統2(PS/2))裝置至該系統。平台控制器集線器130亦可連接至一或多個通用串列匯流排(USB)控制器142連接輸入裝置,諸如鍵盤及滑鼠143組合、相機144、或其他USB輸入裝置。
將理解:所示之系統100為範例性而非限制性,因為其被不同地組態之其他類型的資料處理系統亦可被使用。例如,記憶體控制器116及平台控制器集線器130之例子可被集成入一離散的外部圖形處理器,諸如外部圖形處理器118。在一實施例中,平台控制器集線器130及/或記憶體控制器116可於一或多個處理器102之外部。例如,系統100可包括外部記憶體控制器116及平台控制器集線器130,其可組態成記憶體控制器集線器及周邊控制器集線器,在一與處理器102通訊的系統晶片組內。
例如,電路板(「雪橇(sled)」)可被使用,在其上放置諸如CPU、記憶體及其他組件等組件,該等電路板係設計以利增加的熱性能。在一些範例中,處理組件(諸如處理器)被置放在雪橇之頂部側上,而近記憶體(諸如DIMM)被置放在雪橇之底部側上。由於此設計所提供的增進氣流,該等組件可操作在比典型系統中更高的頻率及電力位準,藉此增加性能。再者,雪橇係組態成與機櫃中之電力及資料通訊纜線盲目地嚙合,藉此增進其被快速地移除、升級、再安裝、及/或替換的能力。類似地,位於雪橇上的個別組件(諸如處理器、加速器、記憶體、及資料儲存驅動)係組態成被輕易地升級,由於其彼此間增加的間隔。在說明性實施例中,組件額外地包括硬體證實特徵,用以證明其真實性。
資料中心可利用單一網路架構(「組織」),其支援包括乙太網路(Ethernet)及Omni-Path之多個其他網路架構。雪橇可經由光纖而被耦合至開關,該等光纖提供比典型雙絞線電纜(例如,類別5、類別5e、類別6,等等)更高的頻寬及更低的潛時。由於高頻寬、低潛時互連及網路架構,資料中心可(在使用時)集中資源,諸如記憶體、加速器(例如,GPU、圖形加速器、FPGA、ASIC、神經網路及/或人工智慧加速器,等等)、及實體上分離的資料儲存驅動,並基於所需以將其提供至計算資源(例如,處理器),致能計算資源存取經集中資源(如其為本地的)。
電源供應或來源可提供電壓及/或電流至系統100或文中所述之任何組件或系統。於一範例中,電源供應包括AC至DC(交流至直流)轉接器以插入牆壁插座。此AC電力可為可再生能量(例如,太陽能)電源。於一範例中,電源包括DC電源,諸如外部AC至DC轉換器。於一範例中,電源或電源供應包括無線充電硬體,用以經由接近而對一充電場充電。於一範例中,電源可包括內部電池、交流供應、基於移動的電源供應、太陽能電源供應、或燃料電池源。
圖2A-2D繪示由文中所述之實施例所提供的計算系統及圖形處理器。具有如文中任何其他圖形之元件的相同參考數字(或名稱)之圖2A-2D的元件可操作或作用以類似於文中其他處所述的任何方式,但不限定於此。
圖2A為處理器200之實施例的方塊圖,處理器200具有一或多個處理器核心202A-202N、集成記憶體控制器214、及集成圖形處理器208。處理器200可包括額外核心高達(並包括)額外核心202N(由虛線方盒所表示)。處理器核心202A-202N之各者包括一或多個內部快取單元204A-204N。於某些實施例中,各處理器核心亦得以存取一或多個共用快取單元206。內部快取單元204A-204N及共用快取單元206係代表處理器200內之快取記憶體階層。快取記憶體階層可包括至少一階指令和資料快取於各處理器核心內以及一或多個階共用中階快取,諸如第2階(L2)、第3階(L3)、第4階(L4)、或其他階快取,其中在外部記憶體前之最高階快取被歸類為LLC。於某些實施例中,快取同調性邏輯係維持介於各個快取單元206及204A-204N之間的同調性。
於某些實施例中,處理器200亦可包括一組一或多個匯流排控制器單元216及系統代理核心210。一或多個匯流排控制器單元216管理一組周邊裝置匯流排,諸如一或多個PCI、PCI Express匯流排。系統代理核心210提供針對各個處理器組件之管理功能。於某些實施例中,系統代理核心210包括一或多個集成記憶體控制器214,用以管理對於各個外部記憶體裝置(未顯示)之存取。
於某些實施例中,一或多個處理器核心202A-202N包括支援同時多線程。於此實施例中,系統代理核心210包括用以於多線程處理期間協調並操作核心202A-202N之組件。系統代理核心210可額外地包括電力控制單元(PCU),其包括用以調節處理器核心202A-202N及圖形處理器208之電力狀態的邏輯和組件。
於某些實施例中,處理器200額外地包括用以執行圖形處理操作之圖形處理器208。於某些實施例中,圖形處理器208耦合與該組共用快取單元206、及系統代理核心210,包括一或多個集成記憶體控制器214。在一些實施例中,系統代理核心210亦包括顯示控制器211係,用以驅動圖形處理器輸出至一或多個耦合的顯示。在一些實施例中,顯示控制器211可為分離的模組,其係經由至少一互連而與圖形處理器耦合,或者可被集成於圖形處理器208內。
在一些實施例中,環為基的互連單元212被用以耦合處理器200之內部組件。然而,可使用替代的互連單元,諸如點對點互連、切換式互連、或其他技術,包括本領域中眾所周知的技術。於某些實施例中,圖形處理器208係經由I/O鏈結213而與環互連212耦合。
範例I/O鏈結213代表多種I/O互連之至少一者,包括封裝上I/O互連,其係協助介於各個處理器組件與高性能嵌入式記憶體模組218(諸如eDRAM模組)之間的通訊。於某些實施例中,處理器核心202A-202N及圖形處理器208之各者可使用嵌入式記憶體模組218為共用的最後階快取。
於某些實施例中,處理器核心202A-202N為執行相同指令集架構之同質核心。於另一實施例中,處理器核心202A-202N針對指令集架構(ISA)為異質的,其中處理器核心202A-202N之一或多者係執行第一指令集;而其他核心之至少一者係執行該第一指令集之子集或不同的指令集。在一實施例中,處理器核心202A-202N針對微架構為異質的,其中具有相對較高功率消耗之一或多個核心係與具有較低功率消耗之一或多個電力核心耦合。在一實施例中,處理器核心202A-202N就計算能力而言是異質的。此外,處理器200可被實施於一或多個晶片上;或者當作一種SoC積體電路,其具有所示的組件(除了其他組件之外)。
圖2B係圖形處理器核心219之硬體邏輯的方塊圖,依據文中所述之一些實施例。具有如文中任何其他圖形之元件的相同參考數字(或名稱)之圖2B的元件可操作或作用以類似於文中其他處所述的任何方式,但不限定於此。圖形處理器核心219(有時候稱為核心切片)可為模組式圖形處理器內之一個或多個圖形核心。圖形處理器核心219示範一圖形核心切片,而如文中所述之圖形處理器可根據目標電力及性能包封以包括多個圖形核心切片。各圖形處理器核心219可包括與多個子核心221A-221F耦合的固定功能區塊230,該等子核心(亦稱為子切片)包括通用及固定功能邏輯之模組式區塊。
在一些實施例中,固定功能區塊230包括幾何/固定功能管線231,其可由圖形處理器核心219中(例如,較低性能及/或較低功率圖形處理器實施方式中)的所有子核心所共用。在各個實施例中,幾何/固定功能管線231包括3D固定功能管線(例如,如圖3及圖4中之3D管線312,描述於下)、視頻前端單元、執行緒產生器(spawner)和執行緒調度器、及統一返回緩衝器管理器,其係管理統一的返回緩衝器(例如,圖4中之統一返回緩衝器418,如以下所描述)。
在一實施例中,固定功能區塊230亦包括圖形SoC介面232、圖形微控制器233、及媒體管線234。圖形SoC介面232提供介於圖形處理器核心219與系統單晶片積體電路內的其他處理器核心之間的介面。圖形微控制器233係可編程子處理器,其係可組態以管理圖形處理器核心219之各種功能,包括執行緒調度、排程、及先佔。媒體管線234(例如,圖3及圖4之媒體管線316)包括邏輯,用以協助多媒體資料(包括影像及視頻資料)之解碼、編碼、預處理、及/或後處理。媒體管線234經由針對子核心221-221F內之計算或取樣邏輯的請求以實施媒體操作。
在一實施例中,SoC介面232致能圖形處理器核心219與通用應用程式處理器核心(例如,CPU)及/或SoC內之其他組件通訊,包括記憶體階層元件,諸如共用最後階快取記憶體、系統RAM、及/或嵌入式晶片上或封裝上DRAM。SoC介面232亦可致能與SoC內之固定功能裝置的通訊,諸如相機成像管線,並致能使用及/或實施總體記憶體原子,其可被共用於圖形處理器核心219與SoC內的CPU之間。SoC介面232亦可實施圖形處理器核心219之電力管理控制並致能介於圖形核心219的時鐘域與SoC內的其他時鐘域之間的介面。在一實施例中,SoC介面232致能從命令串流器及總體執行緒調度器(其係組態成提供命令及指令至圖形處理器內的一或多個圖形核心之各者)接收命令緩衝器。該等命令及指令可被調度至媒體管線234(當媒體操作應被履行時)、或幾何及固定功能管線(例如,幾何及固定功能管線231、幾何及固定功能管線237)(當圖形處理操作應被履行時)。
圖形微控制器233可組態成履行用於圖形處理器核心219之各種排程及管理工作。在一實施例中,圖形微控制器233可對子核心221A-221F內之執行單元(EU)陣列222A-222F、224A-224F內的各種圖形平行引擎履行圖形及/或計算工作量排程。在此排程模型中,在包括圖形處理器核心219之SoC的CPU核心上所執行的主機軟體可提呈多個圖形處理器門鈴之一者的工作量,其引動對於適當圖形引擎的排程操作。排程操作包括:判定接下來運行哪個工作量、提呈一工作量至命令串流器、先佔一引擎上運作的現存工作量、監視工作量進展及當完成一工作量時通知主機軟體。在一實施例中,圖形微控制器233亦可促進圖形處理器核心219之低功率或閒置狀態,為圖形處理器核心219提供節省並復原圖形處理器核心219內之暫存器的能力,橫跨獨立自作業系統及/或系統上之圖形驅動程式軟體的低功率狀態變遷。
圖形處理器核心219可具有多於或少於所繪示的子核心221A-221F,最多N個模組式子核心。針對各組N個子核心,圖形處理器核心219亦可包括共用功能邏輯235、共用及/或快取記憶體236、幾何/固定功能管線237、以及額外固定功能邏輯238,用以加速各種圖形及計算處理操作。共用功能邏輯235可包括與圖4之共用功能邏輯420相關聯的邏輯單元(例如,取樣器、數學、及/或執行緒間通訊邏輯),其可由圖形處理器核心219內之各N個子核心所共用。共用及/或快取記憶體236可為針對圖形處理器核心219內之該組N個子核心221A-221F的最後階快取,且亦可作用為可由多個子核心所存取的共用記憶體。幾何/固定功能管線237可被包括以取代固定功能區塊230內之幾何/固定功能管線231,並可包括相同或類似的邏輯單元。
在一實施例中,圖形處理器核心219包括額外固定功能邏輯238,其可包括供由圖形處理器核心219使用的各種固定功能加速邏輯。在一實施例中,額外固定功能邏輯238包括用於唯位置著色的額外幾何管線。在唯位置著色中,兩個幾何管線存在,在幾何/固定功能管線238、231內的全幾何管線、及揀選(cull)管線,其係可被包括在額外固定功能邏輯238內的額外幾何管線。在一實施例中,揀選管線係全幾何管線之向下修整版本。全管線及揀選管線可執行相同應用之不同例子,各例子具有分離的背景。唯位置著色可隱藏經丟棄三角之長揀選行程,致能著色在一些例子中較早地完成。例如以及在一實施例中,額外固定功能邏輯238內之揀選管線邏輯可與主應用程式並行地執行位置著色器,且通常比全管線更快速地產生關鍵結果,因為揀選管線僅提取並遮蔽頂點的位置屬性,而不履行柵格化及像素之演現至框緩衝器。揀選管線可使用所產生的關鍵結果以計算所有三角形的可見性資訊而不管那些三角形式否被揀選。全管線(其在此例子中可被稱為重播管線)可消耗可見性資訊以跳過經揀選的三角形來僅遮蔽其最終被傳遞至柵格化相位的可見三角形。
在一實施例中,額外固定功能邏輯238亦可包括機器學習加速邏輯,諸如固定功能矩陣乘法邏輯,用於包括機器學習訓練或推理之最佳化的實施方式。
在各圖形內,子核心221A-221F包括一組執行資源,其可被用以回應於藉由圖形管線、媒體管線、或著色器程式的請求而履行圖形、媒體、及計算操作。圖形子核心221A-221F包括多個EU陣列222A-222F、224A-224F,執行緒調度及執行緒間通訊(TD/IC)邏輯223A-223F、3D(例如,紋理)取樣器225A-225F、媒體取樣器206A-206F、著色器處理器227A-227F、及共用本地記憶體(SLM) 228A-228F。EU陣列222A-222F、224A-224F各包括多個執行單元,其係能夠履行浮點及整數/固定點邏輯操作以服務圖形、媒體、或計算操作(包括圖形、媒體、或計算著色器程式)的通用圖形處理單元。TD/IC邏輯223A-223F履行一子核心內之執行單元的本地執行緒調度及執行緒控制操作,並促進在該子核心之該等執行單元上所執行的執行緒之間的通訊。3D取樣器225A-225F可將紋理或其他3D圖形相關的資料讀入記憶體。3D取樣器可基於經組態的樣本狀態及與既定紋理相關聯的紋理格式來不同地讀取紋理資料。媒體取樣器206A-206F可基於與媒體資料相關聯的類型及格式以履行類似的讀取操作。在一實施例中,各圖形子核心221A-221F可替代地包括統一3D及媒體取樣器。在子核心221A-221F之各者內的執行單元上執行的執行緒可利用各子核心內的共用本地記憶體228A-228F,用以致能在一執行緒群內所執行的執行緒使用晶片上記憶體之共同池來執行。
圖2C繪示圖形處理單元(GPU) 239,其包括專屬組的圖形處理資源,其被配置於多核心群組240A-240N內。雖然僅提供單一多核心群組240A之細節,但將理解:其他的多核心群組240B-240N可配備有相同或類似組的圖形處理資源。
如所繪示,多核心群組240A可包括一組圖形核心243、一組張量核心244、及一組射線追蹤核心245。排程器/調度器241係排程並調度圖形執行緒以供在各種核心243、244、245上的執行。一組暫存器檔242係儲存由核心243、244、245所使用的運算元值,當執行圖形執行緒時。這些可包括(例如)用於儲存整數值的整數暫存器、用於儲存浮點值的浮點暫存器、用於儲存經封裝資料元件(整數及/或浮點資料元件)的向量暫存器及用於儲存張量/矩陣值的磚暫存器。在一實施例中,磚暫存器被實施為結合組的向量暫存器。
一或多個結合的第1階(L1)快取及共用記憶體單元247係儲存圖形資料(諸如紋理資料)、頂點資料、像素資料、射線資料、包圍體資料,等等,本地地在各多核心群組240A內。一或多個紋理單元247亦可被用以履行紋理化操作,諸如紋理映射及取樣。由多核心群組240A-240N之全部或子集所共用的第2階(L2)快取253係儲存用於多個並行圖形執行緒的圖形資料及/或指令。如所繪示,L2快取253可被共用橫跨複數多核心群組240A-240N。一或多個記憶體控制器248將GPU 239耦合至記憶體249,其可為系統記憶體(例如,DRAM)及/或專屬圖形記憶體(例如,GDDR6記憶體)。
輸入/輸出(I/O)電路250將GPU 239耦合至一或多個I/O裝置252,諸如數位信號處理器(DSP)、網路控制器、或使用者輸入裝置。晶片上互連可被用以將I/O裝置252耦合至GPU 239及記憶體249。I/O電路250之一或多個I/O記憶體管理單元(IOMMU) 251將I/O裝置252直接地耦合至系統記憶體249。在一實施例中,IOMMU 251管理多組頁表以將虛擬位址映射至系統記憶體249中之實體位址。在此實施例中,I/O裝置252、CPU 246、及GPU 239可共用相同的虛擬位址空間。
於一實施方式中,IOMMU 251支援虛擬化。於此情況下,其可管理第一組頁表以將訪客/圖形虛擬位址映射至訪客/圖形實體位址及第二組頁表以將訪客/圖形實體位址映射至系統/主機實體位址(例如,在系統記憶體249內)。第一組及第二組頁表之各者的基礎位址可被儲存在控制暫存器中且在背景切換時被調換出(例如,使得新背景被提供以針對相關組頁表的存取)。雖未繪示在圖2C中,核心243、244、245及/或多核心群組240A-240N之各者可包括變換後備緩衝(TLB)以快取訪客虛擬至訪客實體變換、訪客實體至主機實體變換、及訪客虛擬至主機實體變換。
在一實施例中,CPU 246、GPU 239、及I/O裝置252被集成在單一半導體晶片及/或晶片封裝上。所繪示的記憶體249可被集成在相同晶片上或可經由晶片外介面而被耦合至記憶體控制器248。於一實施方式中,記憶體249包含GDDR6記憶體,其係共用如其他實體系統階記憶體的相同虛擬位址空間,雖然本發明之基本原理不限於此特定實施方式。
在一實施例中,張量核心244包括複數執行單元,其被明確地設計以履行矩陣操作,其係用以履行深度學習操作的基礎計算操作。例如,同時矩陣乘法操作可被用於神經網路訓練及推理。張量核心244可使用多種運算元精確度來履行矩陣處理,該等運算元精確度包括單一精確度浮點(例如,32位元)、半精確度浮點(例如,16位元)、整數字元(16位元)、位元組(8位元)、及半位元組(4位元)。在一實施例中,神經網路實施方式提取各經演現場景的特徵,潛在地結合來自多個框的細節,以建構高品質最終影像。
在深度學習實施方式中,平行矩陣乘法工作可被排程以利在張量核心244上執行。特別地,神經網路之訓練需要大量的矩陣內積運算。為了處理N × N × N矩陣乘法的內積公式,張量核心244可包括至少N個內積處理元件。在矩陣乘法開始之前,一個完整矩陣被載入磚暫存器,而第二矩陣之至少一行被載入N個循環之各循環。各循環,有N個經處理的內積。
矩陣元件可根據特定實施方式而被儲存以不同的精確度,包括16位元字元、8位元位元組(例如,INT8)及4位元半位元組(例如,INT4)。不同的精確度模式被指定給張量核心244以確保其最有效率的精確度被用於不同的工作量(例如,諸如可容忍量化至位元組及半位元組的推理工作量)。
在一實施例中,射線追蹤核心245係加速即時射線追蹤及非即時射線追蹤實施方式兩者的射線追蹤操作。特別地,射線追蹤核心245包括射線遍歷/相交電路,用於使用包圍體階層(BVH)來履行射線遍歷並識別介於裝入該等BVH體內的射線與基元之間的交點。射線追蹤核心245亦可包括用於履行深度測試及揀選的電路(例如,使用Z緩衝器或類似配置)。於一實施方式中,射線追蹤核心245履行遍歷及相交操作,配合文中所述之影像去雜訊技術,其至少一部分可被執行在張量核心244上。例如,在一實施例中,張量核心244實施深度學習神經網路以履行由射線追蹤核心245所產生的框之去雜訊。然而,CPU 246、圖形核心243、及/或射線追蹤核心245亦可實施去雜訊及/或深度學習演算法之全部或一部分。
此外,如上所述,一種用於去雜訊之分散式方法可被採用,其中GPU 239是在透過網路或高速互連而耦合至其他計算裝置的一計算裝置中。在此實施例中,互連計算裝置係共用神經網路學習/訓練資料以增進速度,整體系統以該速度學習來履行針對不同類型的影像框及/或不同的圖形應用程式之去雜訊。
在一實施例中,射線追蹤核心245處理所有BVH遍歷及射線-基元相交,使圖形核心243免除被過載以每射線數千個指令。在一實施例中,各射線追蹤核心245包括第一組特殊化電路,用於履行定界框測試(例如,用於遍歷操作)、及第二組特殊化電路,用於履行射線三角相交測試(例如,已被遍歷的相交射線)。因此,在一實施例中,多核心群組240A可僅啟動一射線探測,而射線追蹤核心245獨立地履行射線遍歷及相交並返回命中資料(例如,命中、未命中、多重命中,等等)至執行緒背景。其他核心243、244被饋送以履行其他圖形或計算工作,而同時射線追蹤核心245履行遍歷及相交操作。
在一實施例中,各射線追蹤核心245包括遍歷單元(用以履行BVH測試操作)及相交單元(其履行射線-基元相交測試)。相交單元產生「命中」、「未命中」、或「多重命中」回應,其係提供至適當執行緒。在遍歷及相交操作期間,其他核心(例如,圖形核心243及張量核心244)之執行資源被釋放以履行其他形式的圖形工作。
在以下所述之一實施例中,併合柵格化/射線追蹤方法被使用,其中工作被分佈在圖形核心243與射線追蹤核心245之間。
在一實施例中,射線追蹤核心245(及/或其他核心243、244)包括針對射線追蹤指令集之硬體支援,諸如Microsoft’s DirectX Ray Tracing (DXR),其包括DispatchRays命令、以及射線產生、最接近命中、任何命中、及未中著色器,其致能針對各物件之獨特組著色器及紋理的指派。可由射線追蹤核心245、圖形核心243及張量核心244所支援的另一射線追蹤平台係Vulkan 1.1.85。然而,應注意:本發明之主要原理不限於任何特定的射線追蹤ISA。
通常,各種核心245、244、243可支援射線追蹤指令集,其包括指令/功能,用於射線產生、最接近命中、任何命中、射線-基元相交、根據基元及階層式定界框建構、未中、訪問、及例外。更明確地,一個實施例包括射線追蹤指令,用以履行以下功能:
射線產生-射線產生指令可被執行於各像素、樣本、或其他使用者定義的工作指派。
最接近命中-最接近命中指令可被執行以找出一場景內具有基元之射線的最接近交點。
任何命中-任何命中指令識別一場景內的射線與基元之間的多個相交,潛在地用以識別新的最接近交點。
相交-相交指令履行射線-基元相交測試並輸出結果。
根據基元定界框建構-此指令建立一定界框在既定基元或基元群組周圍(例如,當建立新的BVH或其他加速資料結構時)。
未中-指示其一射線係錯過一場景、或一場景的指定區內之所有幾何。
訪問-指示一射線所將遍歷的子體(children volumes)。
例外-包括各種類型的例外處置器(例如,針對各種錯誤狀況而調用)。
圖2D係通用圖形處理單元(GPGPU) 270之方塊圖,其可被組態成圖形處理器及/或計算加速器,依據文中所述之實施例。GPGPU 270可經由一或多個系統及/或記憶體匯流排而與主機處理器(例如,一或多個CPU 246)及記憶體271、272互連。在一實施例中,記憶體271係系統記憶體,其可與一或多個CPU 246共用;而記憶體272係專用於GPGPU 270之裝置記憶體。在一實施例中,GPGPU 270及裝置記憶體272內之組件可被映射入記憶體位址,其係可存取至一或多個CPU 246。針對記憶體271及272之存取可經由記憶體控制器268來促成。在一實施例中,記憶體控制器268包括內部直接記憶體存取(DMA)控制器269或可包括用以履行其否則將由DMA控制器所履行之操作的邏輯。
GPGPU 270包括多個快取記憶體,包括L2快取253、L1快取254、指令快取255、及共用記憶體256,其至少一部分亦可被分割為快取記憶體。GPGPU 270亦包括多個計算單元260A-260N。各計算單元260A-260N包括一組向量暫存器261、純量暫存器262、向量邏輯單元263、及純量邏輯單元264。計算單元260A-260N亦可包括本地共用記憶體265及程式計數器266。計算單元260A-260N可與恆定快取267耦合,該恆定快取可被用以儲存恆定資料,其為在GPGPU 270上所執行之內核或著色器程式的運行期間將不會改變的資料。在一實施例中,恆定快取267係純量資料快取而經快取資料可被直接地提取入純量暫存器262。
在操作期間,一或多個CPU 246可將命令寫入其已被映射入可存取位址空間中之GPGPU 270中的暫存器或記憶體中。命令處理器257可讀取來自暫存器或記憶體之命令並判定那些命令將如何被處理在GPGPU 270內。執行緒調度器258可接著被用以調度執行緒至計算單元260A-260N來履行那些命令。各計算單元260A-260N可獨立於其他計算單元來執行執行緒。額外地,各計算單元260A-260N可被獨立地組態以供條件式計算並可條件式地輸出計算之結果至記憶體。當所提呈的命令完成時,命令處理器257可中斷一或多個CPU 246。
圖3A-3C繪示由文中所述之實施例所提供的額外圖形處理器及計算加速器之方塊圖。具有如文中任何其他圖形之元件的相同參考數字(或名稱)之圖3A-3C的元件可操作或作用以類似於文中其他處所述的任何方式,但不限定於此。
圖3A為圖形處理器300之方塊圖,該圖形處理器可為一種分離的圖形處理單元、或者可為一種與複數處理核心集成的圖形處理器、或其他半導體裝置(諸如,但不限定於,記憶體裝置或網路介面)。於某些實施例中,圖形處理器係經由記憶體映射的I/O介面而通訊至圖形處理器上之暫存器;並與其置入處理器記憶體內之命令通訊。於某些實施例中,圖形處理器300包括用以存取記憶體之記憶體介面314。記憶體介面314可為針對本地記憶體、一或多個內部快取、一或多個共用外部快取、及/或針對系統記憶體之介面。
於某些實施例中,圖形處理器300亦包括顯示控制器302,用以驅動顯示輸出資料至顯示裝置318。顯示控制器302包括針對一或多個重疊平面之硬體,用於多層視頻或使用者介面元件的顯示及組成。顯示裝置318可為內部或外部顯示裝置。在一實施例中,顯示裝置318為頭戴式顯示裝置,諸如虛擬實境(VR)顯示裝置或擴增實境(AR)顯示裝置。在一些實施例中,圖形處理器300包括視頻編碼解碼器引擎306,用以將媒體編碼、解碼、或轉碼至、自或介於一或多個媒體編碼格式之間,包括(但不限定於)動畫專家群(MPEG)格式(諸如MPEG-2)、先進視頻編碼(AVC)格式(諸如H.264/MPEG-4 AVC、H.265/HEVC、開放媒體聯盟(Alliance for Open Media,AOMedia) VP8、VP9)以及電影電視工程師協會(SMPTE) 421M/VC-1、及聯合圖像專家群(JPEG)格式(諸如JPEG、和動畫JPEG (MJPEG)格式。
於某些實施例中,圖形處理器300包括區塊影像轉移(BLIT)引擎304,用以履行二維(2D)柵格化器操作,包括(例如)位元邊界區塊轉移。然而,於一實施例中,2D圖形操作係使用圖形處理引擎(GPE)310之一或多個組件而被履行。於某些實施例中,GPE 310為計算引擎,用以履行圖形操作,包括三維(3D)圖形操作及媒體操作。
於某些實施例中,GPE 310包括3D管線312,用以履行3D操作,諸如使用其作用於3D基元形狀(例如,矩形、三角形,等等)上之處理功能以演現三維影像及場景。3D管線312包括可編程及固定功能元件,其係履行該元件內之各種工作及/或生產執行緒至3D/媒體子系統315。雖然3D管線312可被用以履行媒體操作,但GPE 310之實施例亦包括媒體管線316,其被明確地用以履行媒體操作,諸如視頻後製處理及影像強化。
於某些實施例中,媒體管線316包括固定功能或可編程邏輯單元,用以履行一或多個特殊化媒體操作,諸如視頻解碼加速、視頻去交錯、及視頻編碼加速,以取代(或代表)視頻編碼解碼引擎306。於某些實施例中,媒體管線316額外地包括執行緒生產單元,用以生產執行緒以供執行於3D/媒體子系統315上。所生產的執行緒係履行針對3D/媒體子系統315中所包括之一或多個圖形執行單元上的媒體操作之計算。
於某些實施例中,3D/媒體子系統315包括邏輯,用以執行由3D管線312及媒體管線316所生產的執行緒。於一實施例中,該些管線係傳送執行緒執行請求至3D/媒體子系統315,其包括執行緒調度邏輯,用以將各個請求仲裁並調度至可用的執行緒執行資源。執行資源包括圖形執行單元之陣列,用以處理3D及媒體執行緒。於某些實施例中,3D/媒體子系統315包括用於執行緒指令及資料之一或多個內部快取。於某些實施例中,子系統亦包括共用記憶體,包括暫存器及可定址記憶體,用以共用執行緒之間的資料並儲存輸出資料。
圖3B繪示具有填磚架構之圖形處理器320,依據文中所述之實施例。在一實施例中,圖形處理器320包括圖形處理引擎叢集322,其具有在圖形引擎磚310A-310D內之圖3A的圖形處理引擎310之多個例子。各圖形引擎磚310A-310D可經由一組磚互連323A-323F來互連。各圖形引擎磚310A-310D亦可經由記憶體互連325A-325D而被連接至記憶體模組或記憶體裝置326A-326D。記憶體裝置326A-326D可使用任何圖形記憶體科技。例如,記憶體裝置326A-326D可為圖形雙資料速率(GDDR)記憶體。記憶體裝置326A-326D(在一實施例中)係高頻寬記憶體(HBM)模組,其可與其各別圖形引擎磚310A-310D一起在晶粒上。在一實施例中,記憶體裝置326A-326D為堆疊記憶體裝置,其可被堆疊在其各別圖形引擎磚310A-310D之頂部上。在一實施例中,各圖形引擎磚310A-310D及相關記憶體326A-326D駐存在分離的小晶片上,其係接合至基礎晶粒或基礎基材,如圖11B-11D中更詳細地描述。
圖形處理引擎叢集322可與晶片上或封裝上組織互連324連接。組織互連324可致能圖形引擎磚310A-310D與組件(諸如視頻編碼解碼器306及一或多個複製引擎304)之間的通訊。複製引擎304可被用以移動資料出、入、及介於記憶體裝置326A-326D與其在圖形處理器320外部的記憶體(例如,系統記憶體)之間。組織互連324亦可被用以互連圖形引擎磚310A-310D。圖形處理器320可選擇性地包括顯示控制器302,用以致能與外部顯示裝置318之連接。圖形處理器亦可組態成圖形或計算加速器。在加速器組態中,顯示控制器302及顯示裝置318可被省略。
圖形處理器320可經由主機介面328而連接至主機系統。主機介面328可致能圖形處理器320、系統記憶體、及/或其他系統組件之間的通訊。主機介面328可為(例如)PCI Express匯流排或其他類型的主機系統介面。
圖3C繪示計算加速器330,依據文中所述之實施例。計算加速器330可包括與圖3B之圖形處理器320的架構上類似性且係針對計算加速來最佳化。計算引擎叢集332可包括一組計算引擎磚340A-340D,其包括針對平行或基於向量的通用計算操作而最佳化之執行邏輯。在一些實施例中,計算引擎磚340A-340D不包括固定功能圖形處理邏輯,雖然(在一實施例中)計算引擎磚340A-340D之一或多者可包括用以履行媒體加速的邏輯。計算引擎磚340A-340D亦可經由記憶體互連325A-325D而連接至記憶體326A-326D。記憶體326A-326D及記憶體互連325A-325D可為如在圖形處理器320中的類似科技,或可為不同的。圖形計算引擎磚340A-340D亦可經由一組磚互連323A-323F而被互連,且可藉由組織互連324而與其連接及/或互連。在一實施例中,計算加速器330包括大型L3快取336,其可組態成裝置寬的快取。計算加速器330亦可經由主機介面328而連接至主機處理器及記憶體,以一種如圖3B之圖形處理器320的類似方式。
圖形處理引擎
圖4為一種圖形處理器之圖形處理引擎410的方塊圖,依據一些實施例。在一實施例中,圖形處理引擎(GPE) 410係圖3A中所示之GPE 310的版本,且亦可表示圖3B之圖形引擎磚310A-310D。具有如文中任何其他圖形之元件的相同參考數字(或名稱)之圖4的元件可操作或作用以類似於文中其他處所述的任何方式,但不限定於此。例如,圖3A之3D管線312及媒體管線316被顯示。媒體管線316在GPE 410之某些實施例中是選擇性的,且可能不被明確地包括於GPE 410內。例如以及於至少一實施例中,分離的媒體及/或影像處理器被耦合至GPE 410。
於某些實施例中,GPE 410係耦合與(或包括)命令串流器403,其係提供命令串流至3D管線312及/或媒體管線316。於某些實施例中,命令串流器403係耦合與記憶體,其可為系統記憶體、或內部快取記憶體及共用快取記憶體之一或多者。於某些實施例中,命令串流器403係接收來自記憶體之命令並將該些命令傳送至3D管線312及/或媒體管線316。該些命令被直接提取自環緩衝器,其係儲存3D管線312及媒體管線316之命令。於一實施例中,環緩衝器可額外地包括批次命令緩衝器,其係儲存多數命令之批次。3D管線312之命令亦可包括針對記憶體中所儲存之資料的參考,諸如(但不限定於)用於3D管線312之頂點和幾何資料及/或用於媒體管線316之影像資料和記憶體物件。3D管線312及媒體管線316係藉由以下方式來處理該些命令及資料:經由個別管線內之邏輯以履行操作、或將一或多個執行緒調度至圖形核心陣列414。在一實施例中,圖形核心陣列414包括圖形核心(例如,圖形核心415A、圖形核心415B)之一或多個區塊,各區塊包括一或多個圖形核心。各圖形核心包括一組圖形執行資源,其包括通用及圖形特定執行邏輯,用以履行圖形和計算操作、以及固定功能紋理處理及/或機器學習和人工智慧加速邏輯。
於各個實施例中,3D管線312可包括固定功能及可編程邏輯,用以處理一或多個著色器程式,諸如頂點著色器、幾何著色器、像素著色器、片段著色器、計算著色器、或其他著色器程式,藉由處理該些指令並將執行緒調度至圖形核心陣列414。圖形核心陣列414提供執行資源之統一區塊,以用於處理這些著色器程式。圖形核心陣列414的圖形核心415A-414B內之多用途執行邏輯(例如,執行單元)包括針對各種3D API著色器語言之支援並可執行與多數著色器相關的多數同時執行緒。
在一些實施例中,圖形核心陣列414包括執行邏輯,用以履行媒體功能,諸如視頻及/或影像處理。在一實施例中,執行單元包括通用邏輯,其係可編程以履行平行通用計算操作,除了圖形處理操作之外。通用邏輯可履行處理操作,平行地或聯合圖1之處理器核心107或如圖2A中之核心202A-202N內的通用邏輯。
由圖形核心陣列414上所執行之執行緒所產生的輸出資料可將資料輸出至統一返回緩衝器(URB)418中之記憶體。URB 418可儲存多數執行緒之資料。於某些實施例中,URB 418可被用以傳送資料於圖形核心陣列414上所執行的執行緒之間。於某些實施例中,URB 418可額外地被用於圖形核心陣列上的執行緒與共用功能邏輯420內的固定功能邏輯之間的同步化。
於某些實施例中,圖形核心陣列414為可擴縮的,以致其該陣列包括可變數目的圖形核心,其係根據GPE 410之目標功率及性能位準而各具有可變數目的執行單元。於一實施例中,執行資源為動態可擴縮的,以致其執行資源可被致能或除能如所需。
圖形核心陣列414係耦合與共用功能邏輯420,其包括多數資源,其被共用於圖形核心陣列中的圖形核心之間。共用功能邏輯420內的共用功能為硬體邏輯單元,其係提供特殊化補充功能給圖形核心陣列414。於各個實施例中,共用功能邏輯420包括(但不限定於)取樣器421、數學422、及執行緒間通訊(ITC)423邏輯。此外,某些實施例係實施共用功能邏輯420內之一或多個快取425。
共用功能被至少實施在其中針對既定特殊化功能之需求即使包括於圖形核心陣列414內仍不足時的情況下。取代地,該特殊化功能之單一例示被實施為共用功能邏輯420中之獨立單體且被共用於圖形核心陣列414內的執行資源之間。精確組的功能(其被共用於圖形核心陣列414之間且被包括於圖形核心陣列414內)係橫跨實施例而改變。在一些實施例中,由圖形核心陣列414所廣泛使用的共用功能邏輯420內之特定共用功能可被包括在圖形核心陣列414內之共用功能邏輯416內。在各個實施例中,圖形核心陣列414內之共用功能邏輯416可包括共用功能邏輯內之一些或所有邏輯。在一實施例中,共用功能邏輯420內之所有邏輯元件可被複製在圖形核心陣列414之共用功能邏輯416內。在一實施例中,共用功能邏輯420被排除支持圖形核心陣列414內之共用功能邏輯416。
執行單元
圖5A-5B繪示執行緒執行邏輯500,其包括圖形處理器核心中所採用之處理元件的陣列,依據文中所述之實施例。具有如文中任何其他圖形之元件的相同參考數字(或名稱)之圖5A-5B的元件可操作或作用以類似於文中其他處所述的任何方式,但不限定於此。圖5A-5B繪示執行緒執行邏輯500之概圖,其可表示以圖2B之各子核心221A-221F所繪示的硬體邏輯。圖5A係表示通用圖形處理器內之執行單元,而圖5B係表示其可用於計算加速器內之執行單元。
如圖5A中所繪示,在一些實施例中,執行緒執行邏輯500包括著色器處理器502、執行緒調度器504、指令快取506、可擴縮執行單元陣列(包括複數執行單元508A-508N)、取樣器510、共用本地記憶體511、資料快取512、及資料埠514。在一實施例中,可擴縮執行單元陣列可藉由根據工作量之計算需求以致能或除能一或多個執行單元(例如,執行單元508A、508B、508C、508D、至508N-1及508N)來動態地擴縮。於一實施例中,所包括的組件係經由互連組織(其係鏈結至該些組件之各者)而被互連。於某些實施例中,執行緒執行邏輯500包括一或多個連接至記憶體,諸如系統記憶體或快取記憶體,透過一或多個指令快取506、資料埠514、取樣器510、及執行單元508A-508N。在一些實施例中,各執行單元(例如,508A)為獨立可編程通用計算單元,其能夠執行多數同步硬體執行緒而同時針對各執行緒平行地處理多數資料元件。於各個實施例中,執行單元508A-508N之陣列為可擴縮以包括任何數目的個別執行單元。
於某些實施例中,執行單元508A-508N主要被用以執行著色器程式。著色器處理器502可處理各種著色器程式並經由執行緒調度器504以調度與該些著色器程式相關的執行緒。於一實施例中,執行緒調度器包括邏輯,用以仲裁來自圖形和媒體管線之執行緒起始請求並將該些請求的執行緒例示於執行單元508A-508N中的一或多個執行單元上。例如,幾何管線可調度頂點、鑲嵌、或幾何著色器至執行緒執行邏輯以供處理。於某些實施例中,執行緒調度器504亦可處理來自執行中著色器程式之運行時間執行緒生產請求。
於某些實施例中,執行單元508A-508N支援一指令集,其包括對於許多標準3D圖形著色器指令之本機支援,以致其來自圖形庫(例如,Direct 3D及OpenGL)之著色器程式被執行以最少轉換。執行單元支援頂點和幾何處理(例如,頂點程式、幾何程式、頂點著色器)、像素處理(例如,像素著色器、片段著色器)及通用處理(例如,計算和媒體著色器)。執行單元508A-508N之各者能夠多重發送單指令多資料(SIMD)執行,而多線程操作係致能在面對較高潛時記憶體存取時之有效率的執行環境。各執行單元內之各硬體執行緒具有專屬的高頻寬暫存器檔及相關的獨立執行緒狀態。執行係每時脈多重發送至管線,其得以進行整數、單和雙精確度浮點操作、SIMD分支能力、邏輯操作、超越操作、及其他各種操作。當等待來自記憶體之資料或共用功能之一時,執行單元508A-508N內之相依性邏輯係致使等待執行緒休眠直到該請求的資料已被返回。當該等待執行緒正在休眠時,硬體資源可被用於處理其他執行緒。例如,於與頂點著色器操作相關的延遲期間,執行單元可履行操作於:像素著色器、片段著色器、或其他類型的著色器程式,包括不同的頂點著色器。各個實施例可應用於藉由單指令多執行緒(SIMT)之使用以取代SIMD之使用或附加於SIMD之使用的使用執行。對於SIMD核心或操作之參考亦可應用於SIMT或應用於結合SIMT之SIMD。
執行單元508A-508N中之各執行單元係操作於資料元件之陣列上。資料元件之數目為「執行大小」、或針對該指令之通道數。執行通道為針對指令內之資料元件存取、遮蔽、及流程控制的執行之邏輯單元。通道數可獨立自針對特定圖形處理器之實體算術邏輯單元(ALU)或浮點單元(FPU)的數目。於某些實施例中,執行單元508A-508N支援整數及浮點資料類型。
執行單元指令集包括SIMD指令。各個資料元件可被儲存為暫存器中之經封裝資料類型,且執行單元將根據該些元件之資料大小以處理各個元件。例如,當操作於256位元寬的向量時,該向量之256位元被儲存於暫存器中且執行單元係操作於該向量上而成為四個分離的54位元經封裝資料元件(四字元(QW)大小資料元件)、八個分離的32位元經封裝資料元件(雙字元(DW)大小資料元件)、十六個分離的16位元經封裝資料元件(字元(W)大小資料元件)、或三十二個分離的8位元經封裝資料元件(位元組(B)大小資料元件)。然而,不同的向量寬度及暫存器大小是可能的。
在一實施例中,一或多個執行單元可被結合入熔凝執行單元509A-509N,其具有熔凝EU所常見的執行緒控制邏輯(507A-507N)。多個EU可被熔凝入EU群組。熔凝EU群組中之各EU可組態成執行分離的SIMD硬體執行緒。熔凝EU群組中之EU的數目可依據實施例而改變。此外,各種SIMD寬度可根據EU而被履行,包括(但不限定於)SIMD8、SIMD16、及SIMD32。各熔凝圖形執行單元509A-509N包括至少兩個執行單元。例如,熔凝執行單元509A包括第一EU 508A、第二EU 508B、及執行緒控制邏輯507A,其為第一EU 508A及第二EU 508B所共有的。執行緒控制邏輯507A控制熔凝圖形執行單元509A上所執行的執行緒,允許熔凝執行單元509A-509N內之各EU使用共同指令指針暫存器來執行。
一或多個內部指令快取(例如,506)被包括於執行緒執行邏輯500中以快取執行單元之執行緒指令。於某些實施例中,一或多個資料快取(例如,512)被包括以快取執行緒執行期間之執行緒資料。在執行邏輯500上執行的執行緒亦可明確地將管理資料儲存在共用本地記憶體511中。於某些實施例中,取樣器510被包括以提供針對3D操作之紋理取樣及針對媒體操作之媒體取樣。於某些實施例中,取樣器510包括特殊化紋理或媒體取樣功能,用以處理取樣程序期間之紋理或媒體資料,在提供已取樣資料至執行單元前。
於執行期間,圖形及媒體管線係經由執行緒生產和調度邏輯以傳送執行緒起始請求至執行緒執行邏輯500。一旦幾何物件之群組已被處理並柵格化為像素資料,則著色器處理器502內之像素處理器邏輯(例如,像素著色器邏輯、片段著色器邏輯,等等)被調用以進一步計算輸出資訊並致使結果被寫入至輸出表面(例如,顏色緩衝器、深度緩衝器、模板緩衝器,等等)。於某些實施例中,像素著色器或片段著色器係計算各個頂點屬性之值,其將被內插涵蓋該柵格化物件。於某些實施例中,著色器處理器502內之像素處理器邏輯接著執行應用程式編程介面(API)供應的像素或片段著色器程式。為了執行著色器程式,著色器處理器502經由執行緒調度器504以將執行緒調度至執行單元(例如,508A)。在一些實施例中,著色器處理器502係使用取樣器510中之紋理取樣邏輯以存取記憶體中所儲存之紋理映圖中的紋理資料。紋理資料及輸入幾何資料上的算術操作係計算各幾何片段之像素顏色資料、或丟棄一或多個像素而不做進一步處理。
在一些實施例中,資料埠514係提供記憶體存取機制給執行緒執行邏輯500,用以輸出經處理資料至記憶體以供進一步於圖形處理器輸出管線上之處理。於某些實施例中,資料埠514包括或耦合至一或多個快取記憶體(例如,資料快取512),用以經由資料埠而快取資料以供記憶體存取。
在一實施例中,執行邏輯500亦可包括射線追蹤器505,其可提供射線追蹤加速功能。射線追蹤器505可支援射線追蹤指令集,其包括用於射線產生的指令/功能。射線追蹤指令集可類似於或不同於在圖2C中由射線追蹤核心245所支援的射線追蹤指令集。
圖5B繪示執行單元508之範例內部細節,依據實施例。圖形執行單元508可包括指令提取單元537、一般暫存器檔陣列(GRF) 524、架構暫存器檔陣列(ARF) 526、執行緒仲裁器522、傳送單元530、分支單元532、一組SIMD浮點單元(FPU) 534、及(在一實施例中)一組專屬整數SIMD ALU 535。GRF 524及ARF 526包括該組一般暫存器檔及架構暫存器檔,其係與其可在圖形執行單元508中為現用的各同步硬體執行緒相關聯。在一實施例中,根據執行緒架構狀態被維持在ARF 526中,而在執行緒執行期間所使用的資料被儲存在GRF 524中。各執行緒之執行狀態(包括各執行緒之指令指針)可被保持在ARF 526中之執行緒特定的暫存器中。
在一實施例中,圖形執行單元508具有一架構,其係同步多線程(SMT)與細粒交錯多線程(IMT)之組合。該架構具有模組式組態,其可基於每執行單元之同步執行緒的目標數目及暫存器的數目而在設計時刻被精細調諧,其中執行單元資源被劃分橫跨用以執行多個同步執行緒的邏輯。可由圖形執行單元508所執行的邏輯執行緒之數目不限於硬體執行緒之數目,且多個邏輯執行緒可被指派給各硬體執行緒。
在一實施例中,圖形執行單元508可共發送多個指令,其可各為不同的指令。圖形執行單元執行緒508之執行緒仲裁器522可調度該等指令至傳送單元530、分支單元532、或SIMD FPU 534之一,以供執行。各執行緒可存取GRF 524內的128個通用暫存器,其中各暫存器可儲存32個位元組,可存取為32位元資料元件之SIMD 8元件向量。在一實施例中,各執行單元執行緒具有針對GRF 524內之4 K位元組的存取,雖然實施例不如此限制,且更多或更少的暫存器資源可被提供在其他實施例中。在一實施例中,圖形執行單元508被分割為七個硬體執行緒,其可獨立地履行計算操作,雖然每執行單元的執行緒之數目亦可依據實施例而改變。例如,在一實施例中,高達16個硬體執行緒被支援。在其中七個執行緒可存取4 K位元組的實施例中,GRF 524可儲存總共28 K位元組。在其中16個執行緒可存取4 K位元組的情況下,GRF 524可儲存總共64 K位元組。彈性定址模式可允許暫存器被定址在一起,用以有效地建立較寬的暫存器或用以表示跨步矩形區塊資料結構。
在一實施例中,記憶體操作、取樣器操作、及其他較長潛時系統通訊係經由「傳送」指令(其係由訊息遞送單元530所執行)而被調度。在一實施例中,分支指令被調度至專屬分支單元532以促進SIMD發散及最終收斂。
在一實施例中,圖形執行單元508包括一或多個SIMD浮點單元(FPU) 534,用以履行浮點操作。在一實施例中,FPU 534亦支援整數計算。在一實施例中,FPU 534可SIMD執行高達M數目的32位元浮點(或整數)操作、或SIMD執行高達2M 16位元整數或16位元浮點操作。在一實施例中,FPU之至少一者提供擴充的數學能力以支援高通量超越數學功能及雙精確度54位元浮點。在一些實施例中,一組8位元整數SIMD ALU 535亦存在,且可被明確地最佳化以履行與機器學習計算相關聯的操作。
在一實施例中,圖形執行單元508之多個例子的陣列可被例示在一圖形子核心群集(例如,子切片)中。為了可擴縮性,產品架構可選擇每子核心群集之確實數目的執行單元。在一實施例中,執行單元508可執行橫跨複數執行通道的指令。在進一步實施例中,在圖形執行單元508上所執行的各執行緒被執行在不同通道上。
圖6繪示一額外執行單元600,依據一實施例。執行單元600可為計算最佳化的執行單元,用於(例如)如圖3C中之計算引擎磚340A-340D,但不限於此。執行單元600之變體亦可被用於如圖3B中之圖形引擎磚310A-310D。在一實施例中,執行單元600包括執行緒控制單元601、執行緒狀態單元602、指令提取/預提取單元603、及指令解碼單元604。執行單元600額外地包括暫存器檔606,其儲存可被指派給執行單元內之硬體執行緒的暫存器。執行單元600額外地包括傳送單元607及分支單元608。在一實施例中,傳送單元607及分支單元608可類似地操作如圖5B之圖形執行單元508的傳送單元530及分支單元532。
執行單元600亦包括計算單元610,其包括多個不同類型的功能性單元。在一實施例中,計算單元610包括ALU單元611,其包括算術邏輯單元之陣列。ALU單元611可組態成履行64位元、32位元、及16位元整數及浮點運算。整數及浮點運算可被同時地履行。計算單元610亦可包括脈動陣列612、及數學單元613。脈動陣列612包括其可被用以依一脈動方式履行向量或其他資料平行操作的資料處理單元之W寬且D深的網路。在一實施例中,脈動陣列612可組態成履行矩陣運算,諸如矩陣內積運算。在一實施例中,脈動陣列612支援16位元浮點運算、以及8位元和4位元整數運算。在一實施例中,脈動陣列612可組態成加速機器學習操作。在此類實施例中,脈動陣列612可組態以支援bfloat 16位元浮點格式。在一實施例中,數學單元613可被包括以履行特定子集的數學運算,用一種有效率且比ALU單元611更低功率的方式。數學單元613可包括其可被發現在由其他實施例所提供之圖形處理引擎的共用功能邏輯中的數學邏輯之變體(例如,圖4之共用功能邏輯420的數學邏輯422)。在一實施例中,數學單元613可組態成履行32位元及64位元浮點運算。
執行緒控制單元601包括用以控制執行單元內之執行緒的執行之邏輯。執行緒控制單元601包括用以開始、停止、及先佔執行單元600內之執行緒的執行之執行緒仲裁邏輯。執行緒狀態單元602可被用以儲存其被指派以在執行單元600上執行的執行緒之執行緒狀態。儲存執行單元600內之執行序狀態係致能執行緒之快速先佔(當那些執行緒變為被阻擋或閒置時)。指令提取/預提取單元603可從更高階執行邏輯之指令快取(例如,如圖5A中之指令快取506)提取指令。指令提取/預提取單元603亦可基於目前執行中執行緒之分析以發送針對將被載入指令快取中之指令的預提取請求。指令解碼單元604可被用以解碼將由計算單元所執行的指令。在一實施例中,指令解碼單元604可被使用為次要解碼器,用以將複雜指令解碼入組分微操作。
執行單元600額外地包括暫存器檔606,其可由在執行單元600上所執行的硬體執行緒所使用。暫存器檔606中之暫存器可被劃分橫跨用以執行執行單元600的計算單元610內之多個同步執行緒的邏輯。可由圖形執行單元600所執行的邏輯執行緒之數目不限於硬體執行緒之數目,且多個邏輯執行緒可被指派給各硬體執行緒。暫存器檔606之大小可基於所支援的硬體執行緒之數目而隨著實施例改變。在一實施例中,暫存器重新命名可被用以動態地配置暫存器至硬體執行緒。
圖7為闡明圖形處理器指令格式700之方塊圖,依據某些實施例。於一或多個實施例中,圖形處理器執行單元係支援一種具有多數格式之指令的指令集。實線方盒係闡明其一般地被包括於執行單元指令中之組件,而虛線則包括其為選擇性的或者其僅被包括於該些指令之子集中的組件。於某些實施例中,所述且所示的指令格式700為巨集指令,由於其為供應至執行單元之指令;如相反於微操作,其係得自指令解碼(一旦該指令被處理後)。
於某些實施例中,圖形處理器執行單元係本機地支援128位元指令格式710之指令。64位元壓緊指令格式730可用於某些指令,根據選定的指令、指令選項、及運算元之數目。本機128位元指令格式710係提供存取至所有指令選項,而某些選項及操作被侷限於64位元格式730。可用於64位元格式730之本機指令隨實施例而改變。於某些實施例中,該指令係使用指標欄位713中之一組指標值而被部分地壓緊。執行單元硬體係參考一組根據指標值之壓緊表,並使用壓緊表輸出以重新建構128位元指令格式710之本機指令。指令之其他大小及格式可被使用。
針對各格式,指令運算碼712係定義其該執行單元應履行之操作。執行單元係平行地執行各指令,涵蓋各運算元之多資料元件。例如,回應於加法指令,執行單元係履行同步加法運算,涵蓋其代表紋理元件或圖片元件之各顏色通道。預設地,執行單元係履行各指令,涵蓋運算元之所有資料通道。於某些實施例中,指令控制欄位714致能對於某些執行選項之控制,諸如通道選擇(例如,斷定)及資料通道順序(例如,拌合)。針對128位元指令格式710之指令,執行大小欄位716係限制其將被平行地執行之資料通道的數目。於某些實施例中,執行大小欄位716不得用於64位元緊縮指令格式730。
某些執行單元指令具有高達三運算元,包括兩個來源運算元(src0 720、src1 722)、及一目的地718。於某些實施例中,執行單元支援雙目的地指令,其中該些目的地之一被暗示。資料調處指令可具有第三來源運算元(例如,SRC2 724),其中指令運算碼712係判定來源運算元之數目。指令的最後來源運算元可為以該指令傳遞的即刻(例如,硬編碼)值。
於某些實施例中,128位元指令格式710包括存取/位址模式欄位726,其係指明(例如)直接暫存器定址模式或是間接暫存器定址模式被使用。當直接暫存器定址模式被使用時,一或多個運算元之暫存器位址係直接地由該指令中之位元所提供。
於某些實施例中,128位元指令格式710包括存取/位址模式欄位726,其係指明該指令之位址模式及/或存取模式。於一實施例中,存取模式被用以定義該指令之資料存取對準。某些實施例支援存取模式,包括16位元組對準的存取模式及1位元組對準的存取模式,其中存取模式之位元組對準係判定指令運算元之存取對準。例如,當於第一模式時,該指令可使用位元組對準的定址於來源和目的地運算元;而當於第二模式時,該指令可使用16位元組對準的定址於所有來源和目的地運算元。
於一實施例中,存取/位址模式欄位726之位址模式部分係判定該指令是應使用直接或者間接定址。當直接暫存器定址模式被使用時,該指令中之位元係直接地提供一或多個運算元之暫存器位址。當間接暫存器定址模式被使用時,一或多個運算元之暫存器位址可根據該指令中之位址暫存器值及位址即刻欄位而被計算。
於某些實施例中,指令係根據運算碼712位元欄位而被群集以簡化運算碼解碼740。針對8位元運算碼,位元4、5、及6容許執行單元判定運算碼之類型。所示之精確地運算碼群集僅為一範例。於某些實施例中,移動和邏輯運算碼群組742包括資料移動和邏輯指令(例如,移動(mov)、比較(cmp))。於某些實施例中,移動和邏輯群組742係共用五個最高有效位元(MSB),其中移動(mov)指令為0000xxxxb之形式而邏輯指令為0001xxxxb之形式。流程控制指令群組744(例如,呼叫、跳躍(jmp))包括以0010xxxxb(例如,0x20)之形式的指令。雜項指令群組746包括指令之混合,其包括以0011xxxxb(例如,0x30)之形式的同步化指令(例如,等待、傳送)。平行數學指令群組748包括以0100xxxxb(例如,0x40)之形式的組件式算術指令。平行數學群組748係平行地履行算術運算涵蓋資料通道。向量數學群組750包括以0101xxxxb(例如,0x50)之形式的算術指令(例如,dp4)。向量數學群組係履行算術,諸如對於向量運算元之內積計算。在一實施例中,所繪示的運算碼解碼740可被用以判定一執行單元之哪個部分將被用以執行已解碼指令。例如,一些指令可被指定為將由脈動陣列所履行的脈動指令。其他指令(諸如射線追蹤指令(未顯示))可被發送至執行邏輯之一切片或分割內的射線追蹤核心或射線追蹤邏輯。
圖形管線
圖8為一種圖形處理器800之另一實施例的方塊圖。具有如文中任何其他圖形之元件的相同參考數字(或名稱)之圖8的元件可操作或作用以類似於文中其他處所述的任何方式,但不限定於此。
在一些實施例中,圖形處理器800包括幾何管線820、媒體管線830、顯示引擎840、執行緒執行邏輯850、及演現輸出管線870。在一些實施例中,圖形處理器800為一種包括一或多個通用處理核心之多核心處理系統內的圖形處理器。圖形處理器係由暫存器寫入至一或多個控制暫存器(未顯示)所控制,或者經由其發送至圖形處理器800(經由環互連802)之命令來控制。於某些實施例中,環互連802將圖形處理器800耦合至其他處理組件,諸如其他圖形處理器或通用處理器。來自環互連802之命令係由命令串流器803所解讀,該命令串流器將指令供應至幾何管線820或媒體管線830之個別組件。
於某些實施例中,命令串流器803指引頂點提取器805之操作,其係從記憶體讀取頂點資料並執行由命令串流器803所提供的頂點處理命令。於某些實施例中,頂點提取器805提供頂點資料至頂點著色器807,其係履行對於各頂點之座標空間變換及照亮操作。於某些實施例中,頂點提取器805及頂點著色器807係執行頂點處理指令,藉由經執行緒調度器831以調度執行緒至執行單元852A-852B。
於某些實施例中,執行單元852A-852B為具有用以履行圖形及媒體操作之指令集的向量處理器之陣列。於某些實施例中,執行單元852A-852B具有裝附的L1快取851,其係專用於各陣列或者共用於多陣列之間。快取可被組態成資料快取、指令快取、或單一快取,其被分割以含有資料及指令在不同的分割中。
於某些實施例中,幾何管線820包括鑲嵌組件,用以履行3D物件之硬體加速鑲嵌。於某些實施例中,可編程殼體(hull)著色器811係組態鑲嵌操作。可編程領域著色器817提供鑲嵌輸出之後端評估。鑲嵌器813係操作於殼體著色器811之方向並含有特殊用途邏輯,用以根據其被當作輸入而提供至幾何管線820之粗略幾何模型來產生一組詳細幾何物件。於某些實施例中,假如未使用鑲嵌,則鑲嵌組件(例如,殼體著色器811、鑲嵌器813、及領域著色器817)可被忽略。
於某些實施例中,完整幾何物件可由幾何著色器819來處理,經由其被調度器至執行單元852A-852B之一或多個執行緒;或者可直接地前進至截波器829。於某些實施例中,幾何著色器係操作於整個幾何物件上,而非如圖形管線中的先前階段中之頂點或頂點的補丁。假如鑲嵌被除能,則幾何著色器819係接收來自頂點著色器807之輸入。於某些實施例中,幾何著色器819可由幾何著色器程式所編程,以履行幾何鑲嵌(假如鑲嵌單元被除能的話)。
在柵格化之前,截波器829係處理頂點資料。截波器829可為固定功能截波器或者具有截波及幾何著色器功能之可編程截波器。於某些實施例中,演現輸出管線870中之柵格化器及深度測試組件873係調度像素著色器以將幾何物件轉換為每像素表示。於某些實施例中,像素著色器邏輯被包括於執行緒執行邏輯850中。於某些實施例中,應用程式可忽略柵格化器及深度測試組件873,並經由串流輸出單元823以存取未柵格化的頂點材料。
圖形處理器800具有互連匯流排、互連組織、或某些其他互連機制,其容許資料及訊息傳遞於處理器的主要組件之間。於某些實施例中,執行單元852A-852B及相關邏輯單元(例如,L1快取851、取樣器854、紋理快取858,等等)係經由資料埠856而互連,以履行記憶體存取並與處理器之演現輸出管線組件通訊。於某些實施例中,取樣器854、快取851、858及執行單元852A-852B各具有分離的記憶體存取路徑。在一實施例中,紋理快取858亦可被組態成取樣器快取。
於某些實施例中,演現輸出管線870含有柵格化器及深度測試組件873,其係將頂點為基的物件轉換為相關之像素為基的表示。在一些實施例中,柵格化器邏輯包括視窗器/遮蔽器單元,用以履行固定功能三角及直線柵格化。相關的演現快取878及深度快取879亦可用於某些實施例中。像素操作組件877係履行像素為基的操作於資料上;雖然於某些例子中,與2D操作相關的像素操作(例如,利用混合之位元區塊影像轉移)係由2D引擎841所履行、或者於顯示時刻由顯示控制器843所取代(使用重疊顯示平面)。在一些實施例中,共用L3快取875可用於所有圖形組件,其容許資料之共用而不使用主系統記憶體。
在一些實施例中,圖形處理器媒體管線830包括媒體引擎837及視頻前端834。在一些實施例中,視頻前端834接收來自命令串流器803之管線命令。在一些實施例中,媒體管線830包括分離的命令串流器。在一些實施例中,視頻前端834處理媒體命令,在傳送該命令至媒體引擎837之前。在一些實施例中,媒體引擎837包括執行緒生產功能,用以生產執行緒以便經由執行緒調度器831來調度至執行緒執行邏輯850。
在一些實施例中,圖形處理器800包括顯示引擎840。在一些實施例中,顯示引擎840位於處理器800外部並經由環互連802(或某其他互連匯流排或組織)而與圖形處理器耦合。在一些實施例中,顯示引擎840包括2D引擎841及顯示控制器843。在一些實施例中,顯示引擎840含有特殊用途邏輯,其能夠獨立自3D管線而操作。在一些實施例中,顯示控制器843耦合與顯示裝置(未顯示),其可為系統集成顯示裝置(如於膝上型電腦中)、或經由顯示裝置連接器而裝附的外部顯示裝置。
在一些實施例中,幾何管線820及媒體管線830係可組態以根據多數圖形及媒體編程介面來履行操作,而非專用於任一應用程式編程介面(API)。於某些實施例中,圖形處理器之驅動程式軟體將其專用於特定圖形或媒體庫的API呼叫轉換為其可由圖形處理器所處理的命令。於某些實施例中,提供支援給開放式圖形庫(OpenGL)、開放式計算語言(OpenCL)、及/或Vulkan圖形和計算API,其均來自Khronos集團。於某些實施例中,亦可提供支援給來自微軟公司的Direct3D庫。於某些實施例中,這些庫之組合可被支援。亦可提供支援給開放式來源電腦視覺庫(OpenCV)。具有可相容3D管線之未來API亦將被支援,假如可從未來API之管線執行映射至圖形處理器之管線的話。
圖形管線編程
圖9A為繪示圖形處理器命令格式900之方塊圖,依據一些實施例。圖9B為繪示圖形處理器命令序列910之方塊圖,依據一實施例。圖9A中之實線方盒係繪示其一般地被包括於圖形命令中之組件,而虛線則包括其為選擇性的或者其僅被包括於圖形命令之子集中的組件。圖9A之範例圖形處理器命令格式900包括資料欄位,用以識別該命令之客戶902、命令操作碼(運算碼)904、及資料906。子運算碼905及命令大小908亦被包括於某些命令中。
於某些實施例中,客戶902係指明其處理該命令資料之圖形裝置的客戶單元。於某些實施例中,圖形處理器命令剖析器係檢查各命令之客戶欄位以調適該命令之進一步處理並將命令資料發送至適當的客戶單元。於某些實施例中,圖形處理器客戶單元包括記憶體介面單元、演現單元、2D單元、3D單元、及媒體單元。各客戶單元具有其處理該些命令之相應處理管線。一旦該命令由客戶單元所接收,客戶單元便讀取運算碼904及(假如存在的話)子運算碼905以判定應履行的操作。客戶單元係使用資料欄位906中之資訊以履行該命令。針對某些命令,明確命令大小908被預期以指明命令之大小。於某些實施例中,命令剖析器自動地根據命令運算碼以判定至少某些命令的大小。於某些實施例中,命令係經由多數雙字元而被對準。其他命令格式可被使用。
圖9B中之流程圖係繪示範例圖形處理器命令序列910。於某些實施例中,一種資料處理系統(其特徵在於圖形處理器之實施例)的軟體或韌體係使用所顯示之命令序列的版本以設定、執行、及終止一組圖形操作。範例命令序列被顯示並描述以僅供範例之目的,因為實施例並不限定於這些特定命令或此命令序列。此外,該些命令可被發送為命令序列中之命令的批次,以致其圖形處理器將以至少部分並行性來處理命令之序列。
於某些實施例中,圖形處理器命令序列910可開始以管線清除命令912,用以致使任何現用圖形管線完成該管線之目前擱置的命令。於某些實施例中,3D管線922及媒體管線924不會並行地操作。管線清除被履行以致使現用圖形管線完成任何擱置的命令。回應於管線清除,圖形處理器之命令剖析器將暫停命令處理直到現用繪圖引擎完成擱置的操作且相關讀取快取被無效化。選擇性地,演現快取中被標記為「髒」的任何資料可被清除至記憶體。於某些實施例中,管線清除命令912可被使用於管線同步化,或者在將圖形處理器置入低功率狀態之前。
於某些實施例中,管線選擇命令913被使用在當命令序列需要圖形處理器明確地切換於管線之間時。於某些實施例中,管線選擇命令913僅需要一次於執行背景內,在發送管線命令之前,除非該背景將發送命令給兩管線。於某些實施例中,需要管線清除命令912緊接在經由管線選擇命令913的管線切換之前。
於某些實施例中,管線控制命令914係組態圖形管線以供操作且被用以編程3D管線922及媒體管線924。於某些實施例中,管線控制命令914係組態現用管線之管線狀態。於一實施例中,管線控制命令914被用於管線同步化,並清除來自現用管線內之一或多個快取記憶體的資料,在處理命令之批次以前。
於某些實施例中,返回緩衝器狀態命令916被用以組態一組返回緩衝器以供個別管線寫入資料。某些管線操作需要一或多個返回緩衝器之配置、選擇、或組態,其中該些操作將中間資料寫入該些返回緩衝器(於處理期間)。於某些實施例中,圖形處理器亦使用一或多個返回緩衝器以儲存輸出資料並履行跨越執行緒通訊。於某些實施例中,返回緩衝器狀態916包括選擇返回緩衝器的大小及數量以使用於一組管線操作。
命令序列中之餘留命令係根據針對操作之現用管線而不同。根據管線判定920,命令序列被調整至3D管線922(以3D管線狀態930開始)或媒體管線924(於媒體管線狀態940開始)。
用以組態3D管線狀態930之命令包括3D狀態設定命令,針對頂點緩衝器狀態、頂點元件狀態、恆定顏色狀態、深度緩衝器狀態、及其他狀態變數,其應被組態在3D基元命令被處理之前。這些命令之值係至少部分地根據使用中之特定3D API而被判定。於某些實施例中,3D管線狀態930命令亦能夠選擇性地除能或忽略某些管線元件,假如那些元件將不被使用的話。
於某些實施例中,3D基元932命令被用以提呈3D基元以供由3D管線所處理。經由3D基元932命令而被傳遞至圖形處理器之命令及相關參數被遞送至圖形管線中之頂點提取功能。頂點提取功能係使用3D基元932命令資料以產生頂點資料結構。頂點資料結構被儲存於一或多個返回緩衝器中。於某些實施例中,3D基元932命令被用以經由頂點著色器而履行頂點操作於3D基元上。為了處理頂點著色器,3D管線922調度著色器執行緒至圖形處理器執行單元。
於某些實施例中,3D管線922係經由執行934命令或事件而被觸發。於某些實施例中,暫存器寫入觸發命令執行。於某些實施例中,執行係經由命令序列中之「去(go)」或「踢(kick)」命令而被觸發。在一實施例中,命令執行係使用管線同步化命令而被觸發以清除該命令序列通過圖形管線。3D管線將履行針對3D基元之幾何處理。一旦操作完成,所得的幾何物件被柵格化且像素引擎為所得像素上色。用以控制像素著色及像素後端操作之額外命令亦可被包括以用於那些操作。
於某些實施例中,圖形處理器命令序列910係遵循媒體管線924路徑,當履行媒體操作時。通常,針對媒體管線924之編程的特定使用及方式係取決於待履行之媒體或計算操作。特定媒體解碼操作可被卸載至媒體管線,於媒體解碼期間。在一些實施例中,媒體管線亦可被忽略;而媒體解碼可使用由一或多個通用處理核心所提供的資源而被整體地或部分地履行。在一實施例中,媒體管線亦包括用於通用圖形處理器單元(GPGPU)操作之元件,其中圖形處理器被用以履行SIMD向量操作,使用其並非明確地相關於圖形基元之演現的計算著色器程式。
在一些實施例中,媒體管線924被組態以如3D管線922之類似方式。用以組態媒體管線狀態940之一組命令被調度或置入命令佇列,在媒體物件命令942之前。在一些實施例中,媒體管線狀態940之命令包括用以組態媒體管線元件(其將被用以處理媒體物件)之資料。此包括用以組態媒體管線內之視頻解碼及視頻編碼邏輯的資料,諸如編碼或解碼格式。在一些實施例中,媒體管線狀態940之命令亦支援使用一或多個針對「間接」狀態元件(其含有狀態設定之批次)之指針。
在一些實施例中,媒體物件命令942係供應指針至媒體物件以供藉由媒體管線之處理。媒體物件包括記憶體緩衝器,其含有待處理之視頻資料。在一些實施例中,所有媒體管線狀態需為有效,在發送媒體物件命令942之前。一旦管線狀態被組態且媒體物件命令942被排列,則媒體管線924係經由執行命令944或同等執行事件(例如,暫存器寫入)而被觸發。來自媒體管線924之輸出可接著被後製處理,藉由3D管線922或媒體管線924所提供的操作。在一些實施例中,GPGPU操作被組態並執行以如媒體操作之類似方式。
圖形軟體架構
圖10繪示針對資料處理系統1000之範例圖形軟體架構,依據一些實施例。在一些實施例中,軟體架構包括3D圖形應用程式1010、作業系統1020、及至少一處理器1030。在一些實施例中,處理器1030包括圖形處理器1032及一或多個通用處理器核心1034。圖形應用程式1010及作業系統1020各執行於資料處理系統之系統記憶體1050中。
於某些實施例中,3D圖形應用程式1010含有一或更多著色器程式(其包括著色器指令1012)。著色器語言指令可為高階著色器語言,諸如Direct3D之高階著色器語言(HLSL)、OpenGL著色器語言(GLSL),等等。應用程式亦包括可執行指令1014,以一種適於由通用處理器核心1034所執行的機器語言。應用程式亦包括由頂點資料所定義的圖形物件1016。
於某些實施例中,作業系統1020是來自微軟公司的Microsoft® Windows®作業系統、專屬UNIX類作業系統、或開放式來源UNIX類作業系統(其係使用Linux內核之變體)。作業系統1020可支援圖形API 1022,諸如Direct3D API、OpenGL API、或Vulkan API。當使用Direct3D API時,作業系統1020係使用前端著色器編譯器1024以將HLSL之任何著色器指令1012編譯為較低階著色器語言。該編譯可為及時(JIT)編譯或者該應用程式可履行著色器預編譯。於某些實施例中,高階著色器被編譯為低階著色器,於3D圖形應用程式1010之編譯期間。於某些實施例中,著色器指令1012被提供以中間形式,諸如由Vulkan API所使用之標準可攜式中間表示(SPIR)的版本。
於某些實施例中,使用者模式圖形驅動程式1026含有後端著色器編譯器1027,用以將著色器指令1012轉換為硬體特定的表示。當使用OpenGL API時,以GLSL高階語言之著色器指令1012被傳遞至使用者模式圖形驅動程式1026以供編譯。於某些實施例中,使用者模式圖形驅動程式1026係使用作業系統內核模式功能1028以與內核模式圖形驅動程式1029通訊。於某些實施例中,內核模式圖形驅動程式1029係與圖形處理器1032通訊以調度命令及指令。
IP核心實施方式
至少一實施例之一或多個形態可由機器可讀取媒體上所儲存的代表性碼來實施,該代表性碼係代表及/或定義積體電路(諸如處理器)內之邏輯。例如,機器可讀取媒體可包括其代表處理器內之各種邏輯的指令。當由機器所讀取時,該些指令可致使該機器製造該邏輯以履行文中所述之技術。此等表示(已知為「IP核心」)為針對積體電路之邏輯的可再使用單元,其可被儲存於有形的、機器可讀取媒體上而成為硬體模型,其係描述積體電路之結構。硬體模型可被供應至各個消費者或製造機構,其將硬體模型載入至其製造積體電路之製造機器上。積體電路可被製造以致其電路係履行配合文中所述之任何實施例而描述的操作。
圖11A為方塊圖,其繪示可被用以製造積體電路(用來履行依據實施例之操作)的IP核心開發系統1100。IP核心開發系統1100可被用以產生模組式、可再使用設計,其可被結合入更大的設計或者被用以建構完整的積體電路(例如,SOC積體電路)。設計機構1130可產生IP核心設計之軟體模擬1110,以高階編程語言(例如,C/C++)。軟體模擬1110可被用以設計、測試、及驗證IP核心之行為,使用模擬模型1112。模擬模型1112可包括功能、行為、及/或時序模擬。暫存器轉移階(RTL)設計1115可接著被產生或合成自模擬模型1112。RTL設計1115為積體電路之行為的摘要,其係模擬硬體暫存器之間的數位信號之流程,該些硬體暫存器包括使用所模擬的數位信號而履行的相關邏輯。除了RTL設計1115之外,在邏輯階或電晶體階上之低階設計亦可被產生、設計、或合成。因此,初始設計及模擬之特定細節可改變。
RTL設計1115或同等物可由設計機構所進一步合成為硬體模型1120,其可為硬體描述語言(HDL)、或實體設計資料之某其他表示。HDL可被進一步模擬器或測試以驗證IP核心設計。IP核心設計可被儲存以供遞送至第三方製造機構1165,其係使用非揮發性記憶體1140(例如,硬碟、快閃記憶體、或任何非揮發性儲存媒體)。替代地,IP核心設計可透過有線連接1150或無線連接1160而被傳輸(例如,經由網際網路)。製造機構1165可接著製造積體電路,其係至少部分地根據IP核心設計。所製造的積體電路可組態成依據至少一文中所述之實施例來履行操作。
圖11B繪示積體電路封裝組合1170之橫斷面視圖側視圖,依據文中所述之一些實施例。積體電路封裝組合1170繪示如文中所述之一或多個處理器或加速器裝置的實施方式。封裝組合1170包括連接至基材1180之硬體邏輯1172、1174的多個單元。邏輯1172、1174可被至少部分地實施在可組態或固定功能邏輯硬體中,且可包括文中所述之任何處理器核心、圖形處理器、或其他加速器裝置的一或多個部分。邏輯1172、1174之各單元可被實施在半導體晶粒內並經由互連結構1173而與基材1180耦合。互連結構1173可組態成在邏輯1172、1174與基材1180之間發送電信號,並可包括互連(諸如,但不限定於)凸塊或柱。在一些實施例中,互連結構1173可被組態成發送電信號,諸如(例如)輸入/輸出(I/O)信號及/或與邏輯1172、1174之操作相關聯的電力或接地信號。在一些實施例中,基材1180係基於環氧樹脂的疊層基材。基材1180可包括其他適合類型的基材,在其他實施例中。封裝組合1170可經由封裝互連1183而被連接至其他電氣裝置。封裝互連1183可被耦合至基材1180之表面以發送電信號至其他電氣裝置,諸如主機板、其他晶片組、或多晶片模組。
在一些實施例中,邏輯1172、1174之單元係與橋1182電耦合,該橋被組態成在邏輯1172、1174之間發送電信號。橋1182可為稠密互連結構,其提供針對電信號的路由。橋1182可包括由玻璃或適當半導體材料所組成的橋基材。電發送特徵可被形成在橋基材上以提供介於邏輯1172、1174之間的晶片至晶片連接。
雖然邏輯1172、1174及橋1182之兩個單元被繪示,但文中所述之實施例可包括在一或多個晶粒上的更多或更少邏輯單元。一或多個晶粒可藉由零或多個橋來連接,因為當邏輯被包括在單一晶粒上時橋1182可被排除。另一方面,邏輯之多個晶粒或單元可由一或多個橋來連接。此外,多個邏輯單元、晶粒、及橋可被連接在一起於其他可能組態中,包括三維組態。
圖11C繪示封裝組合1190,其包括連接至基材1180(例如,基礎晶粒)之硬體邏輯小晶片的多個單元。如文中所述的圖形處理單元、平行處理器、及/或計算加速器可被組成自分開製造的不同矽小晶片。在此背景下,小晶片為至少部分地封裝的積體電路,其包括可與其他小晶片組合成較大封裝之邏輯的不同單元。具有不同IP核心邏輯之不同組的小晶片可被組合入單一裝置中。此外,小晶片可使用現用中介層科技而被集成入基礎晶粒或基礎小晶片中。文中所述之觀念致能在GPU內之不同形式的IP之間的互連及通訊。IP核心可使用不同的製程科技來製造且在製造期間組成,其避免將多個IP(特別在具有數個特殊IP的大型SoC上)聚集至相同製造程序的複雜度。致能多個製程科技之使用係增進了用以市場化的時間,並提供成本效率高的方式來產生多個產品SKU。此外,分離的IP更符合被獨立地功率閘通,不被使用在既定工作量上的組件可被關斷,減少了功率消耗。
硬體邏輯小晶片可包括特殊用途硬體邏輯小晶片1172、邏輯或I/O小晶片1174、及/或記憶體小晶片1175。硬體邏輯小晶片1172及邏輯或I/O小晶片1174可被至少部分地實施在可組態或固定功能邏輯硬體中,且可包括文中所述之任何處理器核心、圖形處理器、或其他加速器裝置的一或多個部分。記憶體小晶片1175可為DRAM(例如,GDDR、HBM)記憶體或快取(SRAM)記憶體。
各小晶片可被製造為分離的半導體晶粒並經由互連結構1173而與基材1180耦合。互連結構1173可組態成在基材1180內的各個小晶片與邏輯之間發送電信號。互連結構1173可包括互連,諸如(但不限定於)凸塊或柱。在一些實施例中,互連結構1173可被組態成發送電信號,諸如(例如)輸入/輸出(I/O)信號及/或與邏輯、I/O及記憶體小晶片之操作相關聯的電力或接地信號。
在一些實施例中,基材1180係基於環氧樹脂的疊層基材。基材1180可包括其他適合類型的基材,在其他實施例中。封裝組合1190可經由封裝互連1183而被連接至其他電氣裝置。封裝互連1183可被耦合至基材1180之表面以發送電信號至其他電氣裝置,諸如主機板、其他晶片組、或多晶片模組。
在一些實施例中,邏輯或I/O小晶片1174及記憶體小晶片1175可經由橋1187而被電耦合,該橋被組態成在邏輯或I/O小晶片1174與記憶體小晶片1175之間發送電信號。橋1187可為稠密互連結構,其提供針對電信號的路由。橋1187可包括由玻璃或適當半導體材料所組成的橋基材。電發送特徵可被形成在橋基材上以提供介於邏輯或I/O小晶片1174與記憶體小晶片1175之間的晶片至晶片連接。橋1187亦可被稱為矽橋或互連橋。例如,橋1187(在一些實施例中)為嵌入式多晶粒互連橋(Embedded Multi-die Interconnect Bridge,EMIB)。在一些實施例中,橋1187可僅為從一小晶片至另一小晶片的直接連接。
基材1180可包括用於I/O 1191、快取記憶體1192、及其他硬體邏輯1193的硬體組件。組織1185可被嵌入基材1180中以致能基材1180內的各個邏輯小晶片與邏輯1191、1193之間的通訊。在一實施例中,I/O 1191、組織1185、快取、橋、及其他硬體邏輯1193可被集成入一基礎晶粒,其被層疊在基材1180之頂部上。
在各個實施例中,封裝組合1190可包括更少或更多數目的組件及小晶片,其係藉由組織1185或一或多個橋1187而被互連。封裝組合1190內之小晶片可被配置於3D或2.5D配置中。通常,橋結構1187可被用以促進介於(例如)邏輯或I/O小晶片與記憶體小晶片之間的點對點互連。組織1185可被用以互連各個邏輯及/或I/O小晶片(例如,小晶片1172、1174、1191、1193)與其他邏輯及/或I/O小晶片。在一實施例中,基材內之快取記憶體1192可作用為封裝組合1190之總體快取、分散式總體快取之部分、或者為組織1185之專屬快取。
圖11D繪示包括可互換小晶片1195之封裝組合1194,依據一實施例。可互換小晶片1195可被組裝入一或多個基礎小晶片1196、1198上之標準化槽中。基礎小晶片1196、1198可被耦合經由橋互連1197,其可類似於文中所述之其他橋互連且可為(例如)EMIB。記憶體小晶片亦可經由橋互連而被連接至邏輯或I/O小晶片。I/O及邏輯小晶片可經由互連組織來通訊。基礎小晶片可各以針對邏輯或I/O或記憶體/快取之一者的標準化格式來支援一或多個槽。
在一實施例中,SRAM及電力傳遞電路可被製造入基礎小晶片1196、1198之一或多者中,其可使用相對於可互換小晶片1195(其被堆疊在基礎小晶片之頂部上)的不同製程科技來製造。例如,基礎小晶片1196、1198可使用較大的製程科技來製造,而可互換小晶片可使用較小的製程科技來製造。可互換小晶片1195之一或多者可為記憶體(例如,DRAM)小晶片。可基於針對其使用封裝組合1194之產品的電力、及/或性能來選擇不同的記憶體密度給封裝組合1194。此外,具有不同數目之類型的功能性單元之邏輯小晶片可基於針對該產品的電力、及/或性能而在組裝的時刻選擇。此外,含有不同類型之IP邏輯核心的小晶片可被插入可互換小晶片槽中,致能其可混合並匹配不同科技IP區塊的併合處理器設計。
範例系統單晶片積體電路
圖12-13繪示範例積體電路及相關的圖形處理器,其可使用一或多個IP核心來製造,依據文中所述之各個實施例。除了所繪示者之外,可包括其他的邏輯和電路,包括額外圖形處理器/核心、周邊介面控制器、或通用處理器核心。
圖12為闡明範例系統單晶片積體電路1200(其可使用一或多個IP核心來製造)之方塊圖,依據一實施例。範例積體電路1200包括一或多個應用程式處理器1205(例如,CPU)、至少一圖形處理器1210;並可額外地包括影像處理器1215及/或視頻處理器1220,其任一者可為來自相同或多數不同設計機構之模組式IP核心。積體電路1200包括周邊或匯流排邏輯,包括USB控制器1225、UART控制器1230、SPI/SDIO控制器1235、及I2S/I2C控制器1240。此外,積體電路可包括顯示裝置1245,其係耦合至一或多個高解析度多媒體介面(HDMI)控制器1250及行動裝置工業處理器介面(MIPI)顯示介面1255。可藉由快閃記憶體子系統1260(包括快閃記憶體及快閃記憶體控制器)以提供儲存。記憶體介面可經由記憶體控制器1265而被提供,以存取至SDRAM或SRAM記憶體裝置。某些積體電路額外地包括嵌入式安全性引擎1270。
圖13-14為繪示用於SoC內之範例圖形處理器的方塊圖,依據文中所述之實施例。圖13繪示系統單晶片積體電路(其可使用一或多個IP核心來製造)的範例圖形處理器1310,依據一實施例。圖13B繪示系統單晶片積體電路(其可使用一或多個IP核心來製造)的額外範例圖形處理器1340,依據一實施例。圖13之圖形處理器1310為低功率圖形處理器核心之範例。圖13B之圖形處理器1340為較高性能圖形處理器核心之範例。圖形處理器1310、1340之各者可為圖12之圖形處理器1210的變體。
如圖13中所示,圖形處理器1310包括頂點處理器1305及一或多個片段處理器1315A-1315N(例如,1315A,1315B,1315C,1315D,至1315N-1,及1315N)。圖形處理器1310可經由分離的邏輯以執行不同的著色器程式,以致其頂點處理器1305被最佳化以執行針對頂點著色器程式之操作,而一或多個片段處理器1315A-1315N係執行針對片段或像素著色器程式之片段(例如,像素)著色操作。頂點處理器1305係履行3D圖形管線之頂點處理級並產生基元及頂點資料。片段處理器1315A-1315N係使用由頂點處理器1305所產生的基元及頂點資料以產生框緩衝器,其被顯示於顯示裝置上。於一實施例中,片段處理器1315A-1315N被最佳化以執行片段著色器程式(如針對OpenGL API中所提供者),其可被用以履行如像素著色器程式(如針對Direct 3D API中所提供者)之類似操作。
圖形處理器1310額外地包括一或多個記憶體管理單元(MMU)1320A-1320B、快取1325A-1325B、及電路互連1330A-1330B。一或多個MMU 1320A-1320B係提供針對圖形處理器1310之虛擬至實體位址映射,包括針對頂點處理器1305及/或片段處理器1315A-1315N,其可參考記憶體中所儲存的頂點或影像/紋理資料,除了一或多個快取1325A-1325B中所儲存的頂點或影像/紋理資料以外。於一實施例中,一或多個MMU 1320A-1320B可被與該系統內之其他MMU同步化,包括與圖12之一或多個應用程式處理器1205、影像處理器1215、及/或視頻處理器1220相關的一或多個MMU,以致其各處理器1205-1220可加入共用的或統一的虛擬記憶體系統。一或多個電路互連1330A-1330B係致能圖形處理器1310與SoC內之其他IP核心介接,經由SoC之內部匯流排或經由直接連接,依據實施例。
如圖14中所示,圖形處理器1340包括圖13A之圖形處理器1310的一或多個MMU 1320A-1320B、快取1325A-1325B、及電路互連1330A-1330B。圖形處理器1340包括一或多個著色器核心1355A-1355N(例如,1455A,1355B,1355C,1355D,1355E,1355F,至1355N-1,及1355N),其係提供統一的著色器核心架構,其中單一核心或核心類型可執行所有類型的可編程著色器碼(包括著色器程式碼)以實施頂點著色器、片段著色器及/或計算著色器。所存在之著色器核心的確實數目可於實施例及實施方式之間變化。此外,圖形處理器1340包括核心間工作管理器1345,其係作用為執行緒調度器(用以將執行緒調度至一或多個著色器核心1355A-1355N)及填磚單元1358(用以加速針對磚片為基的演現之填磚操作),其中針對一場景之演現操作被細分於影像空間中,例如,用以利用一場景內之局部空間同調性或者最佳化內部快取之使用。
如上所示,為了將頂點成分量化成NV位元有號空間,各頂點成分的指數被減去該軸的全局指數。該成分值被接著向下移位以此差異。此當然可能丟棄該成分之下部分中的一些精確度。為了擷取此喪失,藉由在此移位後將最小值向下捨入及將最大值向上捨入來產生AABB。為了維持簡單性,頂點被量化至單元AABB,即使在量化期間沒有錯誤。 射線追蹤架構
在一個實施方式中,圖形處理器包括用於履行即時射線追蹤之電路及/或程式碼。在一些實施例中,射線追蹤核心之專屬集合被包括在圖形處理器中以履行文中所述之各個射線追蹤操作,包括射線遍歷及/或射線相交操作。除了射線追蹤核心之外,一個實施例包括用於履行可編程著色操作之圖形處理圖形處理核心的多個集合以及用於履行對於張量資料的矩陣操作之張量核心的多個集合。
圖15繪示一個此類圖形處理單元(GPU)1505之範例部分,其包括配置在多核心群組1500A-N中之專屬組圖形處理資源。雖然僅提供單一多核心群組1500A之細節,但應理解:其他多核心群組1500B-N可配備有相同或類似組圖形處理資源。
如所繪示,多核心群組1500A可包括一組圖形核心1530、一組張量核心1540、及一組射線追蹤核心1550。排程器/調度器1510係排程並調度圖形執行緒以供在各種核心1530、1540、1550上的執行。一組暫存器檔1520係儲存由核心1530、1540、1550所使用的運算元值,當執行圖形執行緒時。這些可包括(例如)用於儲存整數值的整數暫存器、用於儲存浮點值的浮點暫存器、用於儲存經封裝資料元件(整數及/或浮點資料元件)的向量暫存器及用於儲存張量/矩陣值的磚暫存器。在一實施例中,磚暫存器被實施為結合組的向量暫存器。
一或多個第1階(L1)快取及紋理單元1560係儲存圖形資料(諸如紋理資料)、頂點資料、像素資料、射線資料、包圍體資料,等等,本地地在各多核心群組1500A內。由多核心群組1500A-N之全部或子集所共用的第2階(L2)快取1580係儲存用於多個並行圖形執行緒的圖形資料及/或指令。如所繪示,L2快取1580可橫跨複數多核心群組1500A-N而被共用。一或多個記憶體控制器1570將GPU 1505耦合至記憶體1598,其可為系統記憶體(例如,DRAM)及/或專屬圖形記憶體(例如,GDDR6記憶體)。
輸入/輸出(IO)電路1595將GPU 1505耦合至一或多個IO裝置1595,諸如數位信號處理器(DSP)、網路控制器、或使用者輸入裝置。晶片上互連可被用以將I/O裝置1590耦合至GPU 1505及記憶體1598。IO電路1595之一或多個IO記憶體管理單元(IOMMU)1570將IO裝置1590直接地耦合至系統記憶體1598。在一實施例中,IOMMU 1570管理多組頁表以將虛擬位址映射至系統記憶體1598中之實體位址。在此實施例中,IO裝置1590、CPU 1599、及GPU 1505可共用相同的虛擬位址空間。
於一實施方式中,IOMMU 1570支援虛擬化。於此情況下,其可管理第一組頁表以將訪客/圖形虛擬位址映射至訪客/圖形實體位址及第二組頁表以將訪客/圖形實體位址映射至系統/主機實體位址(例如,在系統記憶體1598內)。第一組及第二組頁表之各者的基礎位址可被儲存在控制暫存器中且在背景切換時被調換出(例如,使得新背景被提供以針對相關組頁表的存取)。雖未繪示在圖15中,核心1530、1540、1550及/或多核心群組1500A-N之各者可包括變換後備緩衝(TLB)以快取訪客虛擬至訪客實體變換、訪客實體至主機實體變換、及訪客虛擬至主機實體變換。
在一實施例中,CPU 1599、GPU 1505、及IO裝置1590被集成在單一半導體晶片及/或晶片封裝上。所繪示的記憶體1598可被集成在相同晶片上或可經由晶片外介面而被耦合至記憶體控制器1570。於一實施方式中,記憶體1598包含GDDR6記憶體,其係共用如其他實體系統階記憶體的相同虛擬位址空間,雖然本發明之基本原理不限於此特定實施方式。
在一實施例中,張量核心1540包括複數執行單元,其被明確地設計以履行矩陣操作,其係用以履行深度學習操作的基礎計算操作。例如,同時矩陣乘法操作可被用於神經網路訓練及推理。張量核心1540可使用多種運算元精確度來履行矩陣處理,該等運算元精確度包括單一精確度浮點(例如,32位元)、半精確度浮點(例如,16位元)、整數字元(16位元)、位元組(8位元)、及半位元組(4位元)。在一實施例中,神經網路實施方式提取各經演現場景的特徵,潛在地結合來自多個框的細節,以建構高品質最終影像。
在深度學習實施方式中,平行矩陣乘法工作可被排程以利在張量核心1540上執行。特別地,神經網路之訓練需要大量的矩陣內積運算。為了處理N × N × N矩陣乘法的內積公式,張量核心1540可包括至少N個內積處理元件。在矩陣乘法開始之前,一個完整矩陣被載入磚暫存器,而第二矩陣之至少一行被載入N個循環之各循環。各循環,有N個經處理的內積。
矩陣元件可根據特定實施方式而被儲存以不同的精確度,包括16位元字元、8位元位元組(例如,INT8)及4位元半位元組(例如,INT4)。不同的精確度模式被指定給張量核心1540以確保其最有效率的精確度被用於不同的工作量(例如,諸如可容忍量化至位元組及半位元組的推理工作量)。
在一實施例中,射線追蹤核心1550係加速即時射線追蹤及非即時射線追蹤實施方式兩者的射線追蹤操作。特別地,射線追蹤核心1550包括射線遍歷/相交電路,用於使用包圍體階層(BVH)來履行射線遍歷並識別介於裝入該等BVH體內的射線與基元之間的交點。射線追蹤核心1550亦可包括用於履行深度測試及揀選的電路(例如,使用Z緩衝器或類似配置)。於一實施方式中,射線追蹤核心1550履行遍歷及相交操作,配合文中所述之影像去雜訊技術,其至少一部分可被執行在張量核心1540上。例如,在一實施例中,張量核心1540實施深度學習神經網路以履行由射線追蹤核心1550所產生的框之去雜訊。然而,CPU 1599、圖形核心1530、及/或射線追蹤核心1550亦可實施去雜訊及/或深度學習演算法之全部或一部分。
此外,如上所述,一種用於去雜訊之分散式方法可被採用,其中GPU 1505是在透過網路或高速互連而耦合至其他計算裝置的一計算裝置中。在此實施例中,互連計算裝置係共用神經網路學習/訓練資料以增進速度,整體系統以該速度學習來履行針對不同類型的影像框及/或不同的圖形應用程式之去雜訊。
在一實施例中,射線追蹤核心1550處理所有BVH遍歷及射線-基元相交,使圖形核心1530免除被過載以每射線數千個指令。在一實施例中,各射線追蹤核心1550包括第一組特殊化電路,用於履行定界框測試(例如,用於遍歷操作)、及第二組特殊化電路,用於履行射線三角相交測試(例如,已被遍歷的相交射線)。因此,在一實施例中,多核心群組1500A可僅啟動一射線探測,而射線追蹤核心1550獨立地履行射線遍歷及相交並返回命中資料(例如,命中、未命中、多重命中,等等)至執行緒背景。其他核心1530、1540被饋送以履行其他圖形或計算工作,而同時射線追蹤核心1550履行遍歷及相交操作。
在一實施例中,各射線追蹤核心1550包括遍歷單元(用以履行BVH測試操作)及相交單元(其履行射線-基元相交測試)。相交單元產生「命中」、「未命中」、或「多重命中」回應,其係提供至適當執行緒。在遍歷及相交操作期間,其他核心(例如,圖形核心1530及張量核心1540)之執行資源被釋放以履行其他形式的圖形工作。
在以下所述之一實施例中,併合柵格化/射線追蹤方法被使用,其中工作被分佈在圖形核心1530與射線追蹤核心1550之間。
在一實施例中,射線追蹤核心1550(及/或其他核心1530、1540)包括針對射線追蹤指令集之硬體支援,諸如Microsoft’s DirectX Ray Tracing (DXR),其包括DispatchRays命令、以及射線產生、最接近命中、任何命中、及未中著色器,其致能針對各物件之獨特組著色器及紋理的指派。可由射線追蹤核心1550、圖形核心1530及張量核心1540所支援的另一射線追蹤平台係Vulkan 1.1.85。然而,應注意:本發明之主要原理不限於任何特定的射線追蹤ISA。
通常,各種核心1550、1540、1530可支援射線追蹤指令集,其包括指令/功能,用於射線產生、最接近命中、任何命中、射線-基元相交、根據基元及階層式定界框建構、未中、訪問、及例外。更明確地,一個實施例包括射線追蹤指令,用以履行以下功能:
射線產生-射線產生指令可被執行於各像素、樣本、或其他使用者定義的工作指派。
最接近命中-最接近命中指令可被執行以找出一場景內具有基元之射線的最接近交點。
任何命中-任何命中指令識別一場景內的射線與基元之間的多個相交,潛在地用以識別新的最接近交點。
相交-相交指令履行射線-基元相交測試並輸出結果。
根據基元定界框建構-此指令建立一定界框在既定基元或基元群組周圍(例如,當建立新的BVH或其他加速資料結構時)。
未中-指示其一射線係錯過一場景、或一場景的指定區內之所有幾何。
訪問-指示一射線所將遍歷的子體(children volume)。
例外-包括各種類型的例外處置器(例如,針對各種錯誤狀況而調用)。 在分散式射線追蹤系統中之 有損及無損封包壓縮
在一實施例中,射線追蹤操作被散佈橫跨複數計算節點,其係透過網路而被耦合在一起。例如,圖16繪示射線追蹤叢集1600,其包含複數射線追蹤節點1610-1613,其並行地履行射線追蹤操作,潛在地結合該等節點之一上的結果。在所繪示的架構中,射線追蹤節點1610-1613經由閘道而被通訊地耦合至客戶側射線追蹤應用1630。
分散式架構的困難點之一係其必須在射線追蹤節點1610-1613的各者之間傳輸的大量經封包化資料。在一實施例中,無損壓縮技術及有損壓縮技術兩者被用以減少在射線追蹤節點1610-1613之間傳輸的資料。
為了實施無損壓縮,取代傳送填入有某些類型的操作之結果的封包,資料或命令被傳送,其允許接收節點重建結果。例如,隨機取樣的區域光及環境光遮蔽(ambient occlusion,AO)操作不一定需要方向。因此,在一實施例中,傳輸節點將僅傳送隨機種子,其係接著由接收節點所使用以履行隨機取樣。例如,假如一場景被散佈橫跨節點1610-1612,為了取樣在點p1-p3處之光1,僅光ID及起源需被傳送至節點1610-1612。該等節點之各者可接著隨機地獨立取樣該光。在一實施例中,隨機種子係由接收節點所產生。類似地,針對主要射線命中點,環境光遮蔽(AO)及軟陰影取樣可在節點1610-1612上計算,而不等待連續框之原始點。此外,假如已知其一組射線將去至相同點光源,則指令可被傳送(識別該光源)至接收節點,其將把該光源應用於該組射線。當作另一範例,假如有傳輸單一點的N個環境光遮蔽射線,則一命令可被傳送以從此點產生N個樣本。
各種額外技術可被應用於有損壓縮。例如,在一實施例中,量化因子可被採用以量化與BVH、基元、及射線相關聯的所有座標值。此外,用於諸如BVH節點及基元之資料的32位元浮點值可被轉換為8位元整數值。在一特定實施方式中,射線封包之邊界被儲存以全精確度,但個別射線點P1-P3被傳輸為對於該等邊界之經索引偏移。類似地,可產生複數本地座標系統,其使用8位元整數值作為本地座標。這些本地座標系統之各者的原點之位置可使用全精確度(例如,32位元浮點)值而被編碼,有效地連接全局與本地座標系統。
以下係在本發明之一實施例中所採用的無損壓縮之範例。在射線追蹤程式中之內部使用的射線資料格式之範例係如下:
Figure 02_image001
取代傳送原始資料給所產生的各及每節點,此資料可藉由群集值及藉由產生隱含射線(使用有可能的可用元資料)而被壓縮。
捆紮及群集射線資料 一個實施例使用旗標於具有修飾符之共同資料或遮罩。
Figure 02_image003
例如: RayPacket.rays = ray_1 to ray_256原點均被共用
所有射線資料被封裝,除了僅單一原點被儲存橫跨所有射線。RayPacket.flags被設定給RAYPACKET_COMMON_ORIGIN。當RayPacket在接收時被解封裝時,原點被填入自單一原點值。原點僅在一些射線之間共用
所有射線資料被封裝,除了共用原點的射線之外。針對獨特共用原點之各群組,封裝一識別該操作(共用原點)之運算子、儲存該原點、並遮蔽共用該資訊之射線。此一操作可被執行在諸如材料ID、基元ID、原點、方向、法線等節點之間的任何共用值上。
Figure 02_image005
傳送隱含射線
經常,射線資料可被導出在接收端上,具有用來產生該射線資料之最小元資訊。極常見的範例係產生多個次要射線,用以隨機地取樣一區域。取代傳送器產生次要射線、傳送該次要射線、且接收器在其上操作,傳送器可傳送其必須產生具有任何相依資訊之射線的指令、且該射線在接收端上產生。在該射線需首先由傳送器產生以判定應將該射線傳送至哪個接收器的情況下,該射線被產生且隨機種子可被傳送以再生完全相同的射線。
例如,為了取樣具有64個陰影射線(取樣一區域光源)之一命中點,所有64個射線係與來自相同計算N4之區相交。具有共同原點及法線的RayPacket被生成。假如希望接收器遮蔽所得的像素貢獻(contribution)則可傳送更多資料,但針對此範例,假設係希望僅返回是否有一射線命中另一節點資料。RayOperation被生成給一產生陰影射線操作,且被指派欲取樣之lightID的值以及隨機數種子。當N4接收射線封包時,其藉由將共用原點資料填入至所有射線並基於以隨機數種子隨機地取樣的lightID來設定方向而產生完全填充的射線資料,以產生原始傳送器所產生的相同射線。當結果被返回時,僅有每一射線之二元結果需被返回,其可由該等射線上方之遮罩來傳遞。
在此範例中,傳送原始64個射線將已使用104個位元組 * 64個射線 = 6656個位元組。假如返回射線亦被傳送以其原始形式,則此亦被加倍成13312個位元組。使用無損壓縮(其中僅傳送共同射線原點、法線、及具有種子和ID的射線產生操作),則僅29個位元組被傳送,其中所返回的8個位元組係經相交遮罩。此導致需透過~360:1之網路來傳送的資料壓縮率。此不包括用以處理訊息本身的負擔(overhead),其將需以某方式來識別,但其被留給依實施方式而定。其他操作可被進行以供從主要射線之pixelD再計算射線原點和方向、基於raypacket中之範圍再計算pixelD、及針對值之再計算的許多其他可能實施方式。類似操作可被用於所傳送之單一射線或射線群組,包括陰影、反射、折射、環境光遮蔽、相交、體相交、遮蔽、路徑追蹤中之彈回反射,等等。
圖17繪示履行射線追蹤封包之壓縮及解壓縮的兩個射線追蹤節點1710-1711之額外細節。特別地,在一實施例中,當第一射線追蹤引擎1730準備好傳輸資料至第二射線追蹤引擎1731時,射線壓縮電路1720履行如文中所述之射線追蹤資料的有損及/或無損壓縮(例如,轉換32位元值至8位元值、替代指令之原始資料以重建該資料,等等)。經壓縮射線封包1701係透過局部網路(例如,10Gb/s、100Gb/s乙太網路)而從網路介面1725被傳輸至網路介面1726。射線解壓縮電路接著在適當時解壓縮射線封包。例如,其可執行指令以重建射線追蹤資料(例如,使用隨機種子以履行發光操作之隨機取樣)。射線追蹤引擎1731接著使用已接收資料來履行射線追蹤操作。
在相反方向上,射線壓縮電路1741壓縮射線資料,網路介面1726透過網路以傳輸經壓縮射線資料(例如,使用文中所述之技術),射線解壓縮電路1740解壓縮射線資料(當需要時),及射線追蹤引擎1730使用射線追蹤操作中之資料。雖然在圖17中繪示為分離單元,但射線解壓縮電路1740-1741可被各別地集成入射線追蹤引擎1730-1731內。例如,達經壓縮射線資料包含用以重建射線資料之命令的程度,這些命令可由各別射線追蹤引擎1730-1731來執行。
如圖18中所繪示,射線壓縮電路1720可包括用於履行文中所述之有損壓縮技術(例如,轉換32位元浮點座標至8位元整數座標)的有損壓縮電路1801及用於履行無損壓縮技術(例如,傳輸命令及資料以允許射線再壓縮電路1821重建該資料)的無損壓縮電路1803。射線解壓縮電路1721包括有損解壓縮電路1802及無損解壓縮電路1804(用於履行無損解壓縮)。
一種依據一實施例的方法被繪示於圖39中。該方法可被實施於文中所述之射線追蹤架構上,但不限定於任何特定的架構。
在3900,接收射線資料,其將從第一射線追蹤節點被傳輸至第二射線追蹤節點。在3901,有損壓縮電路對第一射線追蹤資料履行有損壓縮,而在3902,無損壓縮電路對第二射線追蹤資料履行無損壓縮。在3903,經壓縮射線追蹤資料被傳輸至第二射線追蹤節點。在3904,有損/無損解壓縮電路履行射線追蹤資料之有損/無損壓縮,而在3905,第二射線追蹤節點使用該經壓縮資料來履行射線追蹤操作。 具有硬體加速併合 射線追蹤之圖形處理器
本發明之一實施例包括一併合演現管線,其對圖形核心1530履行柵格化並對射線追蹤核心1550、圖形核心1530、及/或CPU 1599核心履行射線追蹤操作。例如,柵格化及深度測試可對圖形核心1530(以取代主要射線投射級)履行。射線追蹤核心1550可接著產生用於射線反射、折射、及遮蔽之次要射線。此外,某些實施例可選擇其中射線追蹤核心1550將履行射線追蹤操作(例如,基於諸如高反射率位準之材料性質臨限值)之一場景的某些區,而該場景的其他區將以對圖形核心1530之柵格化來演現。在一實施例中,此併合實施方式被用於即時射線追蹤應用-其中潛時為關鍵問題。
以下所描述之射線遍歷架構的一個實施例係使用現存的單指令多資料(SIMD)及/或單指令多執行緒(SIMT)圖形處理器以履行射線遍歷之可編程遮蔽及控制;而同時使用專屬硬體以加速關鍵功能,諸如BVH遍歷及/或相交。在此實施例中,用於非相干路徑之SIMD佔有率係藉由在遍歷期間且在遮蔽前再群集特定點處之經產生著色器而被增進。此係使用晶片上專屬硬體(其動態地分類著色器)來達成。遞迴係藉由以下方式來管理:將一功能劃分為在返回時執行的延伸(continuation)並於執行前再群集延伸,以利增進的SIMD佔有率。
射線遍歷/相交之可編程控制係藉由將遍歷功能分解成內遍歷(其可被實施為固定功能硬體)及外遍歷(其在GPU處理器上執行並透過使用者定義的遍歷著色器以致能可編程控制)來達成。在硬體與軟體之間轉移遍歷背景的成本係藉由在內與外遍歷之間的變遷期間謹慎地截斷內遍歷狀態來減少。
射線追蹤之可編程控制可透過以下表A中所列出的不同著色器類型來表達。針對各類型可有多個著色器。例如,各材料可具有不同的命中著色器。
著色器類型 功能
主要 發射主要射線
命中 雙向反射性分佈功能(BRDF)取樣,發射次要射線
任何命中 計算α紋理幾何之透射率
未中 計算來自一光源之輻射率
相交 相交訂製形狀
遍歷 實例選擇及轉變
可呼叫 通用功能
A
在一實施例中,遞迴射線追蹤係由一API功能來起始,該API功能係命令圖形處理器發動一組主要著色器或相交電路,其可產生用於主要射線之射線場景相交。此接著產生其他著色器,諸如遍歷、命中著色器、或未中著色器。產生子著色器的著色器亦可接收來自該子著色器的返回值。可呼叫著色器係通用功能,其可由另一著色器直接產生且亦可將值返回至呼叫著色器。
圖19繪示包括著色器執行電路1900及固定功能電路1910之圖形處理架構的實施例。通用執行硬體子系統包括複數單指令多資料(SIMD)及/或單指令多執行緒(SIMT)核心/執行單元(EU) 1901(亦即,各核心可包含複數執行單元)、一或多個取樣器1902、及第1階(L1)快取1903或其他形式的本地記憶體。固定功能硬體子系統1910包括訊息單元1904、排程器1907、射線-BVH遍歷/相交電路1905、分類電路1908、及本地L1快取1906。
操作時,主要調度器1909調度一組主要射線給排程器1907,其將工作排程給在SIMD/SIMT核心/EU 1901上執行的著色器。SIMD核心/EU 1901可為如上所述的射線追蹤核心1550及/或圖形核心1530。主要著色器之執行產生待履行之額外工作(例如,待由一或多個子著色器及/或固定功能硬體所執行)。訊息單元1904將SIMD核心/EU 1901所產生的工作分配給排程器1907(存取自由堆疊池如所需)、分類電路1908或射線-BVH相交電路1905。假如額外工作被傳送至排程器1907,則其被排程以在SIMD/SIMT核心/EU 1901上處理。在排程之前,分類電路1908可將射線分類成群組或箱(bins),如文中所述(例如,群集具有類似地特性的射線)。射線-BVH相交電路1905使用BVH體(volume)以履行射線之相交測試。例如,射線-BVH相交電路1905可比較射線座標與BVH之各位準以識別其由該射線所相交的體。
著色器可使用以下來參考:著色器記錄、使用者配置的結構(其包括對於進入功能的指標)、供應商特定的元資料、及對於由SIMD核心/EU 1901所執行之著色器的全局引數(argument)。著色器之各執行實例係與呼叫堆疊相關聯,該呼叫堆疊可被用以儲存在母著色器與子著色器之間傳遞的引數。呼叫堆疊亦可儲存對於其在一呼叫返回時被執行的延伸功能之參考。
圖20繪示一範例組經指派堆疊2001,其包括主要著色器堆疊、命中著色器堆疊、遍歷著色器堆疊、延伸功能堆疊、及射線-BVH相交堆疊(其,如所述,可由固定功能硬體1910來執行)。新著色器調用可實施來自自由堆疊池2002之新堆疊。呼叫堆疊可被快取在本地L1快取1903、1906中,以減少存取之潛時。
在一實施例中,有有限數目的呼叫堆疊,各具有配置在記憶體之相連區中的固定最大大小「Sstack」。因此,一堆疊之基礎位址可從堆疊指數(SID)被直接計算為基礎位址 = SID * Sstack。在一實施例中,堆疊ID係由排程器1907所配置及解除配置,當排程工作給SIMD核心/EU 1901時。
在一實施例中,主要調度器1909包含圖形處理器命令處理器,其係回應於來自主機(例如,CPU)之調度命令以調度主要著色器。排程器1907接收這些調度請求並啟動一SIMD處理器執行緒上之主要著色器(假如其可配置堆疊ID給各SIMD巷道的話)。堆疊ID被配置自自由堆疊池2002,其被初始化在調度命令之開始時。
執行著色器可藉由傳送產生訊息至訊息單元1904來產生子著色器。此命令包括與著色器相關聯的堆疊ID,且亦包括對於各現用SIMD巷道之子著色器記錄的指標。母著色器可僅針對現用巷道發送此訊息一次。在一實施例中,在針對所有相關巷道傳送產生訊息之後,母著色器終止。
在SIMD核心/EU 1901上執行之著色器亦可產生固定功能工作,諸如使用經產生訊息之射線-BVH相交,其中著色器記錄指標係保留給固定功能硬體。如所提及,訊息單元1904傳送經產生射線-BVH相交工作至固定功能射線-BVH相交電路1905及可呼叫著色器直接至分類電路1908。在一實施例中,分類電路藉由著色器記錄指標以群集該等著色器,來導出具有類似特性的SIMD批次。因此,來自不同母著色器之堆疊ID可藉由分類電路1908而被群集在相同批次中。分類電路1908傳送經群集批次至排程器1907,其存取來自圖形記憶體2511或最後階快取(LLC) 1920之著色器記錄並啟動一處理器執行緒上之著色器。
在一實施例中,延伸被視為可呼叫著色器且亦可透過著色器記錄而被參考。當子著色器被產生並將值返回至母著色器時,對於延伸著色器記錄之指標被推至呼叫堆疊2001上。當子著色器返回時,延伸著色器記錄被彈出自呼叫堆疊2001且一延伸著色器被產生。所產生的延伸通過類似於可呼叫著色器之分類單元,並在一處理器執行緒上啟動。
如圖21中所示,分類電路1908之一實施例係藉由著色器記錄指標2101A、2101B、2101n 而群集所產生的工作,以產生用於遮蔽之SIMD批次。經分類批次中之堆疊ID或背景ID可被群集自不同調度及不同輸入SIMD巷道。在一實施例中,群集電路2110使用內容可定址記憶體(CAM)結構2101來履行分類,該結構包含複數項目(其中各項目以標籤2101來識別)。如上所提,在一實施例中,標籤2101係一相應著色器記錄指標2101A、2101B、2101n 。在一實施例中,CAM結構2101儲存有限數目的標籤(例如,32、64、128等),其各與相應於著色器記錄指標之不完整SIMD批次相關聯。
針對進來的經產生命令,各SIMD巷道具有一相應的堆疊ID(顯示為各CAM項目中之16個背景ID 0-15)及一著色器記錄指標2101A-B、…n (作用為標籤值)。在一實施例中,群集電路2110比較各巷道之著色器記錄指標與CAM結構2101中之標籤2101,以找出匹配批次。假如找到匹配批次,則堆疊ID/背景ID被加至該批次。否則具有新著色器記錄指標之新項目被產生,可能地逐出具有不完整批次之較舊項目。
執行中著色器可解除配置呼叫堆疊,當其藉由傳送一解除配置訊息至訊息單元而為空白時。解除配置訊息被中繼至排程器,其返回現用SIMD巷道之堆疊ID/背景ID至自由池。
本發明之一實施例實施一種用於射線遍歷操作之併合方法,其係使用固定功能射線遍歷與軟體射線遍歷之組合。因此,其提供軟體遍歷之彈性而同時維持固定功能遍歷之效率。圖22顯示加速結構,其可被用於併合遍歷,其係具有單一頂部階BVH 2200及數個底部階BVH 2201和2202的二階樹。圖形元件被顯示在右邊以指示內遍歷路徑2203、外遍歷路徑2204、遍歷節點2205、具有三角形的葉節點2206、及具有訂製基元的葉節點2207。
在頂部階BVH 2200中之具有三角形的葉節點2206可參考三角形、訂製基元之相交著色器記錄或遍歷著色器記錄。在底部階BVH 2201和2202中之具有三角形的葉節點2206可僅參考三角形及訂製基元之相交著色器記錄。參考的類型被編碼在葉節點2206內。內遍歷2203參考各BVH 2200-2202內之遍歷。內遍歷操作包含射線-BVH相交之計算,而橫跨BVH結構2200-2202之遍歷係已知為外遍歷。內遍歷操作可被有效率地實施在固定功能硬體中,而外遍歷操作可被履行以具有可編程著色器之可接受性能。因此,本發明之一實施例使用固定功能電路1910以履行內遍歷操作,並使用著色器執行電路1900(包括用於執行可編程著色器之SIMD核心/EU 1901)以履行外遍歷操作。
在一實施例中,當射線在內遍歷期間相交一遍歷節點時,則一遍歷著色器被產生。分類電路1908藉由著色器記錄指標2101A-B、n 來群集這些著色器以產生一SIMD批次,其係由排程器1907所啟動以用於在圖形SIMD核心/EU 1901上之SIMD執行。遍歷著色器可用數個方式修改遍歷,致能寬廣範圍的應用。例如,遍歷著色器可選擇處於較粗略細節位準(LOD)之BVH,或者變換該射線以致能剛性本體變換。遍歷著色器接著產生選定BVH之內遍歷。
內遍歷藉由遍歷該BVH並計算射線框與射線三角形相交來計算射線-BVH相交。內遍歷係以如著色器之相同方式來產生,藉由傳送訊息至訊息電路1904,其將相應的經產生訊息中繼至射線-BVH相交電路1905,其計算射線-BVH相交。
在一實施例中,內遍歷之堆疊被本地儲存在固定功能電路1910中(例如,在L1快取1906內)。當射線與一相應於遍歷著色器或相交著色器之葉節點相交時,內遍歷被終止且內堆疊被截斷。經截斷堆疊(連同針對射線及BVH之指標)被寫入至記憶體位置(在由呼叫著色器所指明的位置處),且接著相應的遍歷著色器或相交著色器被產生。假如在內遍歷期間射線與任何三角形相交,則相應的命中資訊被提供為對於這些著色器之輸入引數,如以下之碼中所示。這些經產生著色器係由分類電路1908所群集以產生用於執行的SIMD批次。
Figure 02_image007
截斷內遍歷堆疊係減少使其溢出至記憶體的成本。本發明之一實施例使用「Restart Trail for Stackless BVH Traversal ,High Performance Graphics (2010),pp. 107–111」中所描述的方法以將該堆疊截斷至在該堆疊之頂部處的少數項目,42位元重新開始軌道(restart trail)及6位元深度值。重新開始軌道指示在BVH內部已被採用的分支,而深度值指示相應於最後堆疊項目之遍歷的深度。此係用以在稍後時刻重新開始內遍歷的足夠資訊。
內遍歷係在當內堆疊為空白且不再有待測試BVH節點時完成。在此情況下,產生外堆疊處置器,其彈出外堆疊之頂部且重新開始遍歷(假如該外堆疊是空白的話)。
在一實施例中,外遍歷執行主遍歷狀態機器,且被實施在由著色器執行電路1900所執行的程式碼中。其在以下狀況下產生內遍歷詢問:(1)當新射線由命中著色器或主要著色器所產生時;(2)當遍歷著色器選擇用於遍歷之BVH時;及(3)當外堆疊處置器重新開始用於BVH之內遍歷時。
如圖23中所示,在內遍歷被產生之前,空間被配置在呼叫堆疊2305上以供固定功能電路1910儲存經截斷內堆疊2310。對於呼叫堆疊及內堆疊頂部之偏移2303-2304被維持在遍歷狀態2300,其亦被儲存在記憶體2511中。遍歷狀態2300亦包括在世界空間中之射線2301和物件空間中之射線2302、以及用於最近相交基元之命中資訊。
遍歷著色器、相交著色器及外堆疊處置器均由射線-BVH相交電路1905所產生。遍歷著色器配置在呼叫堆疊2305上,在起始用於第二階BVH的新內遍歷之前。外堆疊處置器係一種著色器,其負責更新命中資訊並重新開始任何擱置的內遍歷工作。外堆疊處置器亦負責產生命中或未中著色器,當遍歷完成時。遍歷是在當沒有擱置的內遍歷詢問待產生時完成。當遍歷完成且發現相交時,則一命中著色器被產生;否則一未中著色器被產生。
雖然上述併合遍歷方案係使用二階BVH階層,但文中所述之本發明的實施例可使用具有在外遍歷實施方式中之相應改變的任意數目BVH階。
此外,雖然固定功能電路1910被描述用於履行上述實施例中之射線-BVH相交,但其他系統組件亦可被實施在固定功能電路中。例如,上述外堆疊處置器可為內部(非使用者可見的)著色器,其可潛在地被實施在固定功能BVH遍歷/相交電路1905中。此實施方式可被用以減少經調度著色器級之數目及介於固定功能相交硬體1905與處理器之間的往返。
文中所述之發明的實施例致能可編程遮蔽及射線遍歷控制,使用使用者定義的功能,其可具有更大的SIMD效率而執行在現存及未來GPU處理器上。射線遍歷之可編程控制致能數個重要的特徵,諸如程序實證、隨機細節位準選擇、訂製基元相交及遲緩BVH更新。 用於量化、會聚、方向為基的射線分類
在具有SIMD架構之硬體射線追蹤中,基本問題之一係保持所有SIMD巷道被有效地利用。例如,各巷道可並行地操作在分離的射線上,且射線可完全地彼此獨立。為了被一起調度,射線需共用共同性質,諸如著色器程式碼及紋理資源。
此外,希望該等射線共用共同方向並相交在相同一般區域中之相同物件。此增進快取利用,因為這些射線將最有可能使用其亦被緊密間隔在一起的紋理資料。
本發明之實施例提供一種功率效率高的硬體解決方案,用以從相交物件之觀點快速地判定射線之近似進來方向,基於其BVH定界框。此近似於是可用以藉由進來方向而群集經調度射線。
特別地,一個實施例係基於估計的進來方向和著色器記錄ID兩者、使用者配置的結構(其包括對於進入功能的指標)、供應商特定的元資料、及對於由SIMD核心/EU所執行之著色器的全局引數來群集該等射線。例如,此實施例群集其會聚在相同交點上的射線。為了如此做,粗相交座標係利用目標物件之定界框來判定,且被附加至著色器記錄ID以產生複合分類密鑰。在相同位置中粗略地相交定界框之射線具有被共同放置在物件之紋理空間中的增進機會。
此外,所得的次要射線(諸如反射射線、陰影射線等)具有亦共用相同一般方向的增進機會。因此,其可在次要射線調度期間使用相同技術而被群集在一起。相交相同物件之不同實例的射線亦可被群集。
在圖24中所示之一實施例中,在一或多個執行單元(EU)上執行的主要射線產生著色器2405係產生多組主要射線。射線遍歷電路/邏輯2420透過建構的包圍體階層(BVH)而遍歷該等射線,以識別該等射線所通過的體。相交電路2430履行相交測試以識別其由該等射線所相交的該等體內之物件。
相交電路2430之一實施例包括射線方向評估電路/邏輯2435,用以使用以下所描述的技術來處理該等射線之各者的估計進來方向2436。在一實施例中,射線方向評估器2435基於估計射線方向2436來產生射線方向分類密鑰2438。
射線分類電路/邏輯2440基於估計射線方向2436及/或射線方向分類密鑰2438(結合著色器記錄ID 2437)來分類該等射線。在一實施例中,射線被分類成複數分類FIFO佇列2400-2403內之群組。射線調度器2430接著從分類FIFO 2400-2403調度射線之群組至EU 2415以供進一步處理、遍歷及相交操作。
如所提及,射線方向評估器2435之一實施例從高效率的射線/定界框測試來判定近似射線方向2436。其接著基於近似射線方向來建構方向分類密鑰2438,其係使用少量位元以編碼射線的方向。分類電路/邏輯2440使用方向分類密鑰結合著色器記錄ID分類密鑰(例如,著色器記錄ID與額外可組態欄位的序連)以群集不同分類FIFO 2400-2403中之射線流量。
在一實施例中,射線方向評估器2435使用基於BVH葉節點的定界框之物件周圍的定界框來產生經量化射線方向。因為此BVH資料已存在,所以獲得BVH葉節點不需要額外努力來獲得。此外,射線/葉節點框測試被履行為正常射線追蹤操作之部分。射線方向評估器2435之一實施例強化射線/框相交測試以提取相交面、及具有該面的低解析度相交座標。
在一實施例中,獨特地識別在分類密鑰中之相交節點是不需要的。此容許相交相同物件之不同實例的射線被群集。具有對於著色器記錄ID之匹配防範以免群集相交非相關物件之完全非相關射線。針對包括許多重複結構之情境此係特別有利的。
圖25繪示由具有六個壁A1-A2、B1-B2、及C1-C2之射線2501-2505所相交的範例體。在一實施例中,當檢查定界框相交時,射線方向評估器2435檢測六個壁A1-A2、B1-B2、及C1-C2之何者被相交。在一實施例中,射線方向評估器2435指定體相同編碼之相反側,因為射線通常係從該場景之一通常側相交該物件。如此一來僅有三個獨特的側編碼:A、B、及C,其可被編碼以2位元數。射線極不可能來自該物件之剛好相反側。假如此發生,則射線方向評估器2435可平緩地恢復成使用著色器記錄ID 2437於群集。
在一實施例中,2維射線相交座標被產生以識別相交壁上之交點。這些座標被接著減少精確度,使得其可配適於指定大小的分類密鑰內。舉例而言,且非限制,相交計算可被履行以減少的精確度浮點格式或固定點格式(例如,Int4、Int8、Bfloat16等)。在一特定實施方式中,3位元精確度被用以編碼2D座標之各者。因此,2位元側編碼、及U和V之各者的3位元值可被封裝在分類密鑰之8位元欄位內。
此低座標解析度具有數個優點。首先,假定分類密鑰大小不經常增加,則8位元值為合理的妥協。射線僅由其交點粗略地群集,而不會由於等待其與已等待中之射線極接近地封裝的射線來使調度器2430渴望。用以產生文中所述之射線/定界框交點所需的電路可利用現存的遍歷/相交電路及操作。本發明之實施例將不需要大量的額外閘(其通常與精確浮點計算相關聯)。
經量化方向分類密鑰之產生將相對於圖25來描述。射線2501及2502應被一起調度,因為其將在類似位置相交此定界框內所含有的物件。射線2503及2504不被共置,因為其係相交定界框之不同壁(亦即,如由不同側ID所指示)。射線2505命中如2501及2502之相同壁,但是在不同位置處。因此,射線2505將具有相同的側ID但不同的U/V座標。
圖26繪示包含著色器記錄密鑰2601及相交密鑰2602之分類密鑰2600的一實施例。此實施例之相交密鑰包含上述的8位元值-亦即,用於U和V座標之6位元(亦即,位元39:34)及2位元側ID(亦即,位元33:32)。最常改變之8位元相交密鑰2602的位元(亦即,U[0]及V[0]值)被編碼於分類密鑰2600之最高有效位元位置中。以某種方式,位元係由其熵來分類。此特別拌合之原因在於其分類準確度可藉由僅改變應匹配之分類密鑰位元數而被輕易地調整。在一個實施方式中,最低準確度(1)係藉由僅匹配最低有效32位元來達成,其編碼著色器記錄ID(亦即,位元31:0)。最高準確度(5)係藉由匹配所有40位元來達成。
在一實施例中,分類電路/邏輯2440使用可調整分類密鑰準確度並依據下組規則填充分類FIFO 2403,相關於圖27中之流程圖來描述。
在2701,當新射線被接收以供分類時,精確度P 被初始地設為最高值(例如,在一實施例中為40位元)。假如發現匹配,在2702判定,則射線被提交至相應的分類FIFO,在2706。假如在2702未發現匹配且假如所有分類FIFO均被配置(在2703判定),則精確度被減少以一指定增量,在2705。在2702進行嘗試以找出較低精確度的匹配,假如有找到,則該射線在2706被加至分類FIFO。假如沒有,則精確度可繼續被降低(在2705)直到找到匹配(2702)。
假如分類FIFO在2703為可用,在2702判定無匹配之後,則新的分類FIFO在2704被形成以目前精確度P (例如,最高精確度)。如所提及,新的分類FIFO可具有如現存分類FIFO之相同著色器記錄密鑰2601(但具有不同的相交密鑰)。目前射線被加至新的分類FIFO且下個射線被選擇在2707。
因此,在此實施例中,當所有分類FIFO 2400-2403被配置且沒有剛好40位元分類密鑰匹配時,精確度被減少直到找到匹配或直到精確度已到達最小值(亦即,32位元著色器記錄ID 2601)。當有一些分類FIFO可用且沒有剛好40位元分類密鑰匹配時,則一新的分類FIFO被形成給此未匹配的分類密鑰。著色器記錄ID可因此被複製橫跨多個FIFO。在一實施例中,在部分佔據的分類FIFO之強迫逐出期間,射線可橫跨不同分類FIFO而被結合,只要著色器記錄ID 2601匹配。
此方法增進硬體射線追蹤之記憶體效率,其增進性能以及減少功率消耗。射線追蹤被稱為在未來取代傳統柵格化技術。我們必須在性能上有高度競爭性,以贏得高端圖形市場部分。
在實施例中,術語「引擎」或「模組」或「邏輯」可指的是下列各者之部分或者是包括:執行一或更多軟體或韌體程式之特定應用積體電路(ASIC)、電子電路、處理器(共用的、專屬的、或族群)、及/或記憶體(共用的、專屬的、或族群);組合式邏輯電路;及/或提供上述功能之其他適當組件。在實施例中,引擎、模組、或邏輯可被實施以韌體、硬體、軟體、或韌體、硬體、及軟體之任何組合。
範例
以下為本發明之不同實施例的範例實施方式。
範例1. 一種設備,包含:一射線產生器,用以產生複數射線;射線方向評估電路/邏輯,用以產生用於該等複數射線之各者的近似射線方向資料;及射線分類電路/邏輯,用以至少部分地基於該近似射線方向資料來將該等射線分類成複數射線佇列。
範例2. 範例1之設備,其中該近似射線方向資料包含與該等複數射線之各射線相關聯的一量化方向值。
範例3. 範例2之設備,其中各射線之該量化方向值包含第一資料及第二資料,該第一資料係指示由該射線所相交之一體的一側,該第二資料包含介於該射線與該體的該側之間的一相交之量化相交座標。
範例4. 範例2之設備,其中該射線分類電路/邏輯係用以基於該量化方向值及與該射線相關聯之一著色器記錄密鑰的一組合來將該等複數射線之一或多個群集成該等複數射線佇列。
範例5. 範例4之設備,其中該射線分類電路/邏輯,用以首先使用該量化射線方向值及該著色器記錄密鑰兩者來嘗試匹配一射線與一射線佇列;及僅當未發現一匹配時僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
範例6. 範例5之設備,其中當使用該量化射線方向值及該著色器記錄密鑰兩者未發現一匹配時,該射線分類電路/邏輯係用以嘗試配置含有該射線之一新射線佇列。
範例7. 範例6之設備,其中該分類電路/邏輯係用以僅在判定該新射線佇列無法被配置之後僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
範例8. 範例1之設備,進一步包含:一射線調度器,用以調度由儲存有該等射線之該等射線佇列所界定的群組中之該等複數射線。
範例9. 範例1之設備,進一步包含:射線遍歷電路,用以透過一包圍體階層而遍歷該等複數射線之一或多個;及射線相交電路,用以判定介於該等複數射線的一或多個與一情境中的一或多個物件之間的相交。
範例10. 一種方法,包含:產生複數射線;判定用於該等複數射線之各者的近似射線方向資料;及至少部分地基於該近似射線方向資料來將該等射線分類成複數射線佇列。
範例11. 範例10之方法,其中該近似射線方向資料包含與該等複數射線之各射線相關聯的一量化方向值。
範例12. 範例11之方法,其中各射線之該量化方向值包含第一資料及第二資料,該第一資料係指示由該射線所相交之一體的一側,該第二資料包含介於該射線與該體的該側之間的一相交之量化相交座標。
範例13. 範例11之方法,其中分類進一步包含:基於該量化方向值及與該射線相關聯之一著色器記錄密鑰的一組合來將該等複數射線群集成該等複數射線佇列。
範例14. 範例13之方法,進一步包含:初始地使用該量化射線方向值及該著色器記錄密鑰兩者來嘗試匹配一射線與一射線佇列;及僅當未發現一匹配時僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
範例15. 範例14之方法,進一步包含:當使用該量化射線方向值及該著色器記錄密鑰兩者未發現一匹配時,嘗試配置含有該射線之一新射線佇列。
範例16. 範例15之方法,其中僅在判定該新射線佇列無法被配置之後僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
範例17. 範例10之方法,進一步包含:調度由儲存有該等射線之該等射線佇列所界定的群組中之該等複數射線。
範例18. 範例10之方法,進一步包含:透過一包圍體階層以遍歷該等複數射線之一或多個;及判定介於該等複數射線的一或多個與一情境中的一或多個物件之間的相交。
範例19. 一種機器可讀取媒體,其上儲存有程式碼,當由一機器執行時該程式碼致使該機器履行以下操作:產生複數射線;判定用於該等複數射線之各者的近似射線方向資料;及至少部分地基於該近似射線方向資料來將該等射線分類成複數射線佇列。
範例20. 範例19之機器可讀取媒體,其中該近似射線方向資料包含與該等複數射線之各射線相關聯的一量化方向值。
範例21. 範例20之機器可讀取媒體,其中各射線之該量化方向值包含第一資料及第二資料,該第一資料係指示由該射線所相交之一體的一側,該第二資料包含介於該射線與該體的該側之間的一相交之量化相交座標。
範例22. 範例20之機器可讀取媒體,其中分類進一步包含:基於該量化方向值及與該射線相關聯之一著色器記錄密鑰的一組合來將該等複數射線群集成該等複數射線佇列。
範例23. 範例22之機器可讀取媒體,進一步包含用以致使該機器履行以下操作之程式碼:初始地使用該量化射線方向值及該著色器記錄密鑰兩者來嘗試匹配一射線與一射線佇列;及僅當未發現一匹配時僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
範例24. 範例23之機器可讀取媒體,進一步包含:當使用該量化射線方向值及該著色器記錄密鑰兩者未發現一匹配時,嘗試配置含有該射線之一新射線佇列。
範例25. 範例24之機器可讀取媒體,其中僅在判定該新射線佇列無法被配置之後僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
範例26. 範例19之機器可讀取媒體,進一步包含用以致使該機器履行以下操作之程式碼:調度由儲存有該等射線之該等射線佇列所界定的群組中之該等複數射線。
範例27. 範例19之機器可讀取媒體,進一步包含用以致使該機器履行以下操作之程式碼:透過一包圍體階層以遍歷該等複數射線之一或多個;及判定介於該等複數射線的一或多個與一情境中的一或多個物件之間的相交。
本發明之實施例可包括各個步驟,其已被描述於上。該些步驟可被實施於機器可執行指令,其可被用以致使通用或特殊用途處理器履行該些步驟。替代地,這些步驟可由含有硬線邏輯以履行該些步驟之特定硬體組件所履行,或者可由已編程的電腦組件及訂製硬體組件之任何組合所履行。
如文中所述,指令可指稱其組態成履行某些操作或具有預定功能之硬體的特定組態(諸如特定應用積體電路(ASIC))、或者其被儲存於記憶體中之軟體指令,該記憶體係實施於非暫態電腦可讀取媒體中。因此,圖形中所顯示之技術可使用一或更多電子裝置(例如,終端站、網路元件,等等)上所儲存或執行的碼及資料來實施。此類電子裝置係使用電腦機器可讀取媒體來儲存及傳遞(內部地及/或透過網路而與其他電子裝置)碼和資料,諸如非暫態電腦機器可讀取儲存媒體(例如,磁碟、光碟、隨機存取記憶體;唯讀記憶體;快閃記憶體裝置;相位改變記憶體)及暫態電腦機器可讀取通訊媒體(例如,電、光、聲或其他形式的傳播信號─諸如載波、紅外線信號、數位信號,等等)。
此外,此類電子裝置通常包括一組一或更多處理器,其係耦合至一或更多其他組件,諸如一或更多儲存裝置(非暫態機器可讀取儲存媒體)、使用者輸入/輸出裝置(例如,鍵盤、觸控式螢幕、及/或顯示)、及網路連接。該組處理器與其他組件之耦合通常係透過一或更多匯流排及橋(亦稱為匯流排控制器)。攜載網路流量之儲存裝置及信號個別地代表一或更多機器可讀取儲存媒體及機器可讀取通訊媒體。因此,既定電子裝置之儲存裝置通常係儲存編碼解碼器及/或資料以供執行於該電子裝置之該組一或更多處理器上。當然,本發明之實施例的一或更多部分可使用軟體、韌體、及/或硬體之不同組合來實施。遍及此詳細描述,為了解釋之目的,提出數個特定細節以提供本發明之透徹瞭解。然而,熟悉此項技術人士將清楚其本發明可被實行而無這些特定細節之部分。於某些例子中,眾所周知的結構及功能未被詳細地描述以免混淆本發明之請求標的。因此,本發明之範圍及精神應根據以下的申請專利範圍來判斷。
100:處理系統 102:處理器 104:快取記憶體 106:暫存器檔 107:處理器核心 108:圖形處理器 109:指令集 110:介面匯流排 111:顯示裝置 112:加速器 116:記憶體控制器 118:外部圖形處理器 119:外部加速器 120:記憶體裝置 121:指令 122:資料 124:資料儲存裝置 125:接觸感測器 126:無線收發器 128:韌體介面 130:平台控制器集線器 134:網路控制器 140:舊有I/O控制器 142:通用串列匯流排(USB)控制器 143:鍵盤及滑鼠 144:相機 146:音頻控制器 200:處理器 202A~202N:核心 204A~204N:內部快取單元 206:共用快取單元 206A~206F:媒體取樣器 208:圖形處理器 210:系統代理核心 211:顯示控制器 212:環為基的互連單元 213:I/O鏈結 214:集成記憶體控制器 216:匯流排控制器單元 218:嵌入式記憶體模組 221A~221F:子核心 222A~222F:EU陣列 223A~223F:執行緒調度及執行緒間通訊(TD/IC)邏輯 224A~224F:EU陣列 225A~225F:3D取樣器 227A~227F:著色器處理器 228A~228F:共用本地記憶體(SLM) 230:固定功能區塊 231:幾何/固定功能管線 232:圖形SoC介面 233:圖形微控制器 234:媒體管線 235:共用功能邏輯 236:共用及/或快取記憶體 237:幾何/固定功能管線 238:額外固定功能邏輯 239:圖形處理單元(GPU) 240A~240N:多核心群組 241:排程器/調度器 242:暫存器檔 243:圖形核心 244:張量核心 245:射線追蹤核心 246:CPU 247:第1階(L1)快取及共用記憶體單元 248:記憶體控制器 249:記憶體 250:輸入/輸出(I/O)電路 251:I/O記憶體管理單元(IOMMU) 252:I/O裝置 253:第2階(L2)快取 254:L1快取 255:指令快取 256:共用記憶體 257:命令處理器 258:執行緒調度器 260A~260N:計算單元 261:向量暫存器 262:純量暫存器 263:向量邏輯單元 264:純量邏輯單元 265:本地共用記憶體 266:程式計數器 267:恆定快取 268:記憶體控制器 269:內部直接記憶體存取(DMA)控制器 270:通用圖形處理單元(GPGPU) 271,272:記憶體 300:圖形處理器 302:顯示控制器 304:區塊影像轉移(BLIT)引擎 306:視頻編碼解碼器引擎 310:圖形處理引擎(GPE) 310A~310D:圖形引擎磚 312:3D管線 314:記憶體介面 315:3D/媒體子系統 316:媒體管線 318:顯示裝置 320:圖形處理器 322:圖形處理引擎叢集 323A~323F:磚互連 324:組織互連 325A~325D:記憶體互連 326A~326D:記憶體裝置 328:主機介面 330:計算加速器 332:計算引擎叢集 336:L3快取 340A~340D:計算引擎磚 403:命令串流器 410:圖形處理引擎 414:圖形核心陣列 415A,415B:圖形核心 416:共用功能邏輯 418:統一返回緩衝器(URB) 420:共用功能邏輯 421:取樣器 422:數學 423:執行緒間通訊(ITC) 425:快取 500:執行緒執行邏輯 502:著色器處理器 504:執行緒調度器 505:射線追蹤器 506:指令快取 507A~507N:執行緒控制邏輯 508A~508N:執行單元 509A~509N:熔凝執行單元 510:取樣器 511:共用本地記憶體 512:資料快取 514:資料埠 522:執行緒仲裁器 524:一般暫存器檔陣列(GRF) 526:架構暫存器檔陣列(ARF) 530:傳送單元 532:分支單元 534:SIMD浮點單元(FPU) 535:專屬整數SIMD ALU 537:指令提取單元 600:執行單元 601:執行緒控制單元 602:執行緒狀態單元 603:指令提取/預提取單元 604:指令解碼單元 606:暫存器檔 607:傳送單元 608:分支單元 610:計算單元 611:ALU 單元 612:脈動陣列 613:數學單元 700:圖形處理器指令格式 710:128位元指令格式 712:指令運算碼 713:指標欄位 714:指令控制欄位 716:執行大小欄位 718:目的地 720:src0 722:src1 724:SRC2 726:存取/位址模式欄位 730:64位元壓緊指令格式 740:運算碼解碼 742:移動和邏輯運算碼群組 744:流程控制指令群組 746:雜項指令群組 748:平行數學指令群組 750:向量數學群組 800:圖形處理器 802:環互連 803:命令串流器 805:頂點提取器 807:頂點著色器 811:殼體著色器 813:鑲嵌器 817:領域著色器 819:幾何著色器 820:幾何管線 823:串流輸出單元 829:截波器 830:媒體管線 831:執行緒調度器 834:視頻前端 837:媒體引擎 840:顯示引擎 841:2D引擎 843:顯示控制器 850:執行緒執行邏輯 851:L1快取 852A~852B:執行單元 854:取樣器 856:資料埠 858:紋理快取 870:演現輸出管線 873:柵格化器及深度測試組件 875:L3快取 877:像素操作組件 878:演現快取 879:深度快取 900:圖形處理器命令格式 902:客戶 904:命令操作碼(運算碼) 905:子運算碼 906:資料 908:命令大小 910:圖形處理器命令序列 912:管線清除命令 913:管線選擇命令 914:管線控制命令 916:返回緩衝器狀態命令 920:管線判定 922:3D管線 924:媒體管線 930:3D管線狀態 932:3D基元 934:執行 940:媒體管線狀態 942:媒體物件命令 944:執行命令 1000:資料處理系統 1010:3D圖形應用程式 1012:著色器指令 1014:可執行指令 1016:圖形物件 1020:作業系統 1022:圖形API 1024:前端著色器編譯器 1026:使用者模式圖形驅動程式 1027:後端著色器編譯器 1028:內核模式功能 1029:內核模式圖形驅動程式 1030:處理器 1032:圖形處理器 1034:通用處理器核心 1050:系統記憶體 1100:IP核心開發系統 1110:軟體模擬 1112:模擬模型 1115:暫存器轉移階(RTL)設計 1120:硬體模型 1130:設計機構 1140:非揮發性記憶體 1150:有線連接 1160:無線連接 1165:第三方製造機構 1170:積體電路封裝組合 1172:硬體邏輯 1173:互連結構 1174:硬體邏輯 1175:記憶體小晶片 1180:基材 1182:橋 1183:封裝互連 1185:組織 1187:橋 1190:封裝組合 1191:I/O 1192:快取記憶體 1193:硬體邏輯 1195:可互換小晶片 1196:基礎小晶片 1197:橋互連 1198:基礎小晶片 1200:系統單晶片積體電路 1205:應用程式處理器 1210:圖形處理器 1215:影像處理器 1220:視頻處理器 1225:USB控制器 1230:UART控制器 1235:SPI/SDIO控制器 1240:I2 S/I2 C控制器 1245:顯示裝置 1250:高解析度多媒體介面(HDMI)控制器 1255:行動裝置工業處理器介面(MIPI)顯示介面 1260:快閃記憶體子系統 1265:記憶體控制器 1270:安全性引擎 1305:頂點處理器 1310:圖形處理器 1315A~1315N:片段處理器 1320A~1320B:記憶體管理單元(MMU) 1325A~1325B:快取 1330A~1330B:電路互連 1340:圖形處理器 1345:核心間工作管理器 1355A~1355N:著色器核心 1358:填磚單元 1500A~N:多核心群組 1505:圖形處理單元(GPU) 1510:排程器/調度器 1520:暫存器檔 1530:圖形核心 1540:張量核心 1550:射線追蹤核心 1560:第1階(L1)快取及紋理單元 1570:記憶體控制器 1580:第2階(L2)快取 1590:IO裝置 1595:輸入/輸出(IO)電路 1598:記憶體 1599:CPU 1600:射線追蹤叢集 1610~1613:射線追蹤節點 1630:客戶側射線追蹤應用 1701:經壓縮射線封包 1710,1711:射線追蹤節點 1720:射線壓縮電路 1721:射線解壓縮電路 1725:網路介面 1726:網路介面 1730:第一射線追蹤引擎 1731:第二射線追蹤引擎 1740:射線解壓縮電路 1741:射線壓縮電路 1801:有損壓縮電路 1802:有損解壓縮電路 1803:無損壓縮電路 1804:無損解壓縮電路 1900:著色器執行電路 1901:單指令多資料(SIMD)及/或單指令多執行緒(SIMT)核心/執行單元(EU) 1902:取樣器 1903:第1階(L1)快取 1904:訊息單元 1905:射線-BVH遍歷/相交電路 1906:本地L1快取 1907:排程器 1908:分類電路 1909:主要調度器 1910:固定功能電路 1920:最後階快取(LLC) 2001:經指派堆疊 2002:自由堆疊池 2101:標籤 2101A,2101B,2101n :著色器記錄指標 2110:群集電路 2200:頂部階BVH 2201,2202:底部階BVH 2203:內遍歷路徑 2204:外遍歷路徑 2205:遍歷節點 2206:具有三角形的葉節點 2207:具有訂製基元的葉節點 2300:遍歷狀態 2301:世界空間中之射線 2302:物件空間中之射線 2303~2304:偏移 2305:呼叫堆疊 2310:內堆疊 2400~2403:分類FIFO佇列 2405:主要射線產生著色器 2415:EU 2420:射線遍歷電路/邏輯 2430:相交電路 2435:射線方向評估電路/邏輯 2436:估計進來方向 2437:著色器記錄ID 2438:射線方向分類密鑰 2440:射線分類電路/邏輯 2501~2505:射線 2511:圖形記憶體 2600:分類密鑰 2601:著色器記錄密鑰 2602:相交密鑰
從以下配合後附圖形之詳細描述可獲得對本發明之較佳瞭解,其中:
[圖1]為具有處理器之電腦系統的實施例之方塊圖,該處理器具有一或多個處理器核心及圖形處理器;
[圖2A-2D]為處理器之實施例的方塊圖,該處理器具有一或多個處理器核心、集成記憶體控制器、及集成圖形處理器;
[圖3A-3C]為圖形處理器之一個實施例的方塊圖,該圖形處理器可為分離的圖形處理單元、或者可為與複數處理核心集成的圖形處理器;
[圖4]為圖形處理器的圖形處理引擎之實施例的方塊圖;
[圖5A-B]為圖形處理器之另一實施例的方塊圖;
[圖6]繪示執行電路及邏輯的範例;
[圖7]繪示依據實施例之圖形處理器執行單元指令格式;
[圖8]為圖形處理器之另一實施例的方塊圖,該圖形處理器包括圖形管線、媒體管線、顯示引擎、執行緒執行邏輯、及演現輸出管線;
[圖9A]為繪示圖形處理器命令格式之方塊圖,依據一實施例;
[圖9B]為繪示圖形處理器命令序列之方塊圖,依據一實施例;
[圖10]繪示針對資料處理系統之範例圖形軟體架構,依據一實施例;
[圖11A-D]繪示範例IP核心開發系統,其可被用以製造積體電路及範例封裝組合;
[圖12]繪示範例系統單晶片積體電路,其可使用一或多個IP核心來製造,依據一實施例;
[圖13]繪示可使用一或多個IP核心來製造之系統單晶片積體電路的範例圖形處理器:
[圖14]繪示範例圖形處理器架構;
[圖15]繪示包括射線追蹤核心及張量核心之處理架構的範例;
[圖16]繪示節點之射線追蹤叢集;
[圖17]繪示範例射線追蹤節點之額外細節;
[圖18]繪示在一個實施例中所採用的射線壓縮/解壓縮;
[圖19]繪示併合射線追蹤架構之一個實施例;
[圖20]繪示範例呼叫堆疊參考;
[圖21]繪示著色器記錄指針之範例集合;
[圖22]繪示包圍體階層之範例;
[圖23]繪示呼叫堆疊及相關遍歷狀態之一個實施例;
[圖24]繪示分類射線的本發明之一個實施例;
[圖25]繪示相交一體的射線之範例集合;
[圖26]繪示依據本發明之一個實施例的排序鑰(sort key);及
[圖27]繪示依據本發明之一個實施例的方法。
100:處理系統
102:處理器
104:快取記憶體
106:暫存器檔
107:處理器核心
108:圖形處理器
109:指令集
110:介面匯流排
111:顯示裝置
112:加速器
116:記憶體控制器
118:外部圖形處理器
119:外部加速器
120:記憶體裝置
121:指令
122:資料
124:資料儲存裝置
125:接觸感測器
126:無線收發器
128:韌體介面
130:平台控制器集線器
134:網路控制器
140:舊有I/O控制器
142:通用串列匯流排(USB)控制器
143:鍵盤及滑鼠
144:相機
146:音頻控制器

Claims (27)

  1. 一種設備,包含: 一射線產生器,用以產生複數射線; 射線方向評估電路/邏輯,用以產生用於該等複數射線之各者的近似射線方向資料;及 射線分類電路/邏輯,用以至少部分地基於該近似射線方向資料來將該等射線分類成複數射線佇列。
  2. 如請求項1之設備,其中該近似射線方向資料包含與該等複數射線之各射線相關聯的一量化方向值。
  3. 如請求項2之設備,其中各射線之該量化方向值包含第一資料及第二資料,該第一資料係指示由該射線所相交之一體的一側,該第二資料包含介於該射線與該體的該側之間的一相交之量化相交座標。
  4. 如請求項2之設備,其中該射線分類電路/邏輯係用以基於該量化方向值及與該射線相關聯之一著色器記錄密鑰的一組合來將該等複數射線之一或多個群集成該等複數射線佇列。
  5. 如請求項4之設備,其中該射線分類電路/邏輯,用以首先使用該量化射線方向值及該著色器記錄密鑰兩者來嘗試匹配一射線與一射線佇列;及僅當未發現一匹配時僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
  6. 如請求項5之設備,其中當使用該量化射線方向值及該著色器記錄密鑰兩者未發現一匹配時,該射線分類電路/邏輯係用以嘗試配置含有該射線之一新射線佇列。
  7. 如請求項6之設備,其中該分類電路/邏輯係用以僅在判定該新射線佇列無法被配置之後僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
  8. 如請求項1之設備,進一步包含: 一射線調度器,用以調度由儲存有該等射線之該等射線佇列所界定的成群之該等複數射線。
  9. 如請求項1之設備,進一步包含: 射線遍歷電路,用以透過一包圍體階層而遍歷該等複數射線之一或多個;及 射線相交電路,用以判定介於該等複數射線的一或多個與一情境中的一或多個物件之間的相交。
  10. 一種方法,包含: 產生複數射線; 判定用於該等複數射線之各者的近似射線方向資料;及 至少部分地基於該近似射線方向資料來將該等射線分類成複數射線佇列。
  11. 如請求項10之方法,其中該近似射線方向資料包含與該等複數射線之各射線相關聯的一量化方向值。
  12. 如請求項11之方法,其中各射線之該量化方向值包含第一資料及第二資料,該第一資料係指示由該射線所相交之一體的一側,該第二資料包含介於該射線與該體的該側之間的一相交之量化相交座標。
  13. 如請求項11之方法,其中分類進一步包含: 基於該量化方向值及與該射線相關聯之一著色器記錄密鑰的一組合來將該等複數射線群集成該等複數射線佇列。
  14. 如請求項13之方法,進一步包含: 初始地使用該量化射線方向值及該著色器記錄密鑰兩者來嘗試匹配一射線與一射線佇列;及 僅當未發現一匹配時僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
  15. 如請求項14之方法,進一步包含: 當使用該量化射線方向值及該著色器記錄密鑰兩者未發現一匹配時,嘗試配置含有該射線之一新射線佇列。
  16. 如請求項15之方法,其中僅在判定該新射線佇列無法被配置之後僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
  17. 如請求項10之方法,進一步包含: 調度由儲存有該等射線之該等射線佇列所界定的成群之該等複數射線。
  18. 如請求項10之方法,進一步包含: 透過一包圍體階層而遍歷該等複數射線之一或多個;及 判定介於該等複數射線的一或多個與一情境中的一或多個物件之間的相交。
  19. 一種機器可讀取媒體,其上儲存有程式碼,當由一機器執行時該程式碼致使該機器履行以下操作: 產生複數射線; 判定用於該等複數射線之各者的近似射線方向資料;及 至少部分地基於該近似射線方向資料來將該等射線分類成複數射線佇列。
  20. 如請求項19之機器可讀取媒體,其中該近似射線方向資料包含與該等複數射線之各射線相關聯的一量化方向值。
  21. 如請求項20之機器可讀取媒體,其中各射線之該量化方向值包含第一資料及第二資料,該第一資料係指示由該射線所相交之一體的一側,該第二資料包含介於該射線與該體的該側之間的一相交之量化相交座標。
  22. 如請求項20之機器可讀取媒體,其中分類進一步包含: 基於該量化方向值及與該射線相關聯之一著色器記錄密鑰的一組合來將該等複數射線群集成該等複數射線佇列。
  23. 如請求項22之機器可讀取媒體,進一步包含用以致使該機器履行以下操作之程式碼: 初始地使用該量化射線方向值及該著色器記錄密鑰兩者來嘗試匹配一射線與一射線佇列;及 僅當未發現一匹配時僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
  24. 如請求項23之機器可讀取媒體,進一步包含: 當使用該量化射線方向值及該著色器記錄密鑰兩者未發現一匹配時,嘗試配置含有該射線之一新射線佇列。
  25. 如請求項24之機器可讀取媒體,其中僅在判定該新射線佇列無法被配置之後僅使用該著色器記錄密鑰來嘗試匹配該射線與一射線佇列。
  26. 如請求項19之機器可讀取媒體,進一步包含用以致使該機器履行以下操作之程式碼: 調度由儲存有該等射線之該等射線佇列所界定的成群之該等複數射線。
  27. 如請求項19之機器可讀取媒體,進一步包含用以致使該機器履行以下操作之程式碼: 透過一包圍體階層而遍歷該等複數射線之一或多個;及 判定介於該等複數射線的一或多個與一情境中的一或多個物件之間的相交。
TW109133110A 2019-12-27 2020-09-24 用於量化會聚方向為基的射線分類之設備及方法以及機器可讀取媒體 TWI844734B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/728,375 2019-12-27
US16/728,375 US11263800B2 (en) 2019-12-27 2019-12-27 Apparatus and method for quantized convergent direction-based ray sorting

Publications (2)

Publication Number Publication Date
TW202143175A true TW202143175A (zh) 2021-11-16
TWI844734B TWI844734B (zh) 2024-06-11

Family

ID=

Also Published As

Publication number Publication date
US20220262063A1 (en) 2022-08-18
CN113052747A (zh) 2021-06-29
US20210201558A1 (en) 2021-07-01
US20240104825A1 (en) 2024-03-28
JP2021108103A (ja) 2021-07-29
DE102020134334A1 (de) 2021-07-01
US11783530B2 (en) 2023-10-10
US11263800B2 (en) 2022-03-01
KR20210084222A (ko) 2021-07-07

Similar Documents

Publication Publication Date Title
US11593909B2 (en) Apparatus and method for real time graphics processing using local and cloud-based graphics processing resources
US10957095B2 (en) Programmable ray tracing with hardware acceleration on a graphics processor
EP3938918A1 (en) Disaggregation of soc architecture
US11164359B2 (en) Apparatus and method for using alpha values to improve ray tracing efficiency
TW202137142A (zh) 用於位移網狀壓縮之設備及方法
US11721059B2 (en) Apparatus and method for cross-instance front-to-back traversal for ray tracing heavily-instanced scenes
US11670035B2 (en) Apparatus and method for performing non-local means filtering using motion estimation circuitry of a graphics processor
US11915357B2 (en) Apparatus and method for throttling a ray tracing pipeline
US11783530B2 (en) Apparatus and method for quantized convergent direction-based ray sorting
CN112130752A (zh) 共享本地存储器读取合并和多播返回
TW202137131A (zh) 用於進行穩定和短潛時的排序操作之設備及方法
JP2021082261A (ja) 圧縮解除のためのプログラム可能なリオーダバッファ
JP2021099786A (ja) 共有ローカルメモリをパーティショニングするメカニズム
CN113256745A (zh) 用于基于重要度值来编码的方法和装置
TW202125222A (zh) 編譯器輔助的暫存器檔寫入減少
TW202121336A (zh) 平行解壓縮機制
CN118135077A (zh) 利用图形处理器上的硬件加速的可编程光线追踪
CN117581213A (zh) 利用细粒度事务过滤测量硬件中的等待时间的技术
CN116071489A (zh) 用于基于对先前帧的分析将帧分割成多个命令缓冲器提交的3d图形驱动器
CN117581217A (zh) 分布式压缩/解压缩系统
CN117561542A (zh) 用于通用可消耗压缩的统一无状态压缩系统
CN117501301A (zh) 对压缩进行纵向扩展和横向扩展
CN116341674A (zh) 用于ai和机器学习加速的二进制扩展
CN113129201A (zh) 用于图形处理命令的压缩的方法和装置