TW202137131A - 用於進行穩定和短潛時的排序操作之設備及方法 - Google Patents
用於進行穩定和短潛時的排序操作之設備及方法 Download PDFInfo
- Publication number
- TW202137131A TW202137131A TW109140394A TW109140394A TW202137131A TW 202137131 A TW202137131 A TW 202137131A TW 109140394 A TW109140394 A TW 109140394A TW 109140394 A TW109140394 A TW 109140394A TW 202137131 A TW202137131 A TW 202137131A
- Authority
- TW
- Taiwan
- Prior art keywords
- area
- result
- data
- graphics
- matrix
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 239000011159 matrix material Substances 0.000 claims abstract description 154
- 238000007792 addition Methods 0.000 abstract description 5
- 230000015654 memory Effects 0.000 description 286
- 238000012545 processing Methods 0.000 description 141
- 230000006870 function Effects 0.000 description 139
- 238000012549 training Methods 0.000 description 100
- 238000010801 machine learning Methods 0.000 description 93
- 238000013528 artificial neural network Methods 0.000 description 83
- 238000004364 calculation method Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 46
- 239000013598 vector Substances 0.000 description 41
- 239000000872 buffer Substances 0.000 description 37
- 238000012360 testing method Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 31
- 238000007906 compression Methods 0.000 description 29
- 230000006835 compression Effects 0.000 description 29
- 238000013527 convolutional neural network Methods 0.000 description 29
- 230000001133 acceleration Effects 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 27
- 238000007667 floating Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 25
- 238000013461 design Methods 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 21
- 208000027765 speech disease Diseases 0.000 description 20
- 239000000047 product Substances 0.000 description 17
- 238000013519 translation Methods 0.000 description 16
- 239000012634 fragment Substances 0.000 description 15
- 238000009877 rendering Methods 0.000 description 15
- 230000004913 activation Effects 0.000 description 14
- 238000001994 activation Methods 0.000 description 14
- 230000002776 aggregation Effects 0.000 description 14
- 238000004220 aggregation Methods 0.000 description 14
- 230000006837 decompression Effects 0.000 description 14
- 238000007726 management method Methods 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 11
- 239000000758 substrate Substances 0.000 description 11
- 101100534231 Xenopus laevis src-b gene Proteins 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 238000012163 sequencing technique Methods 0.000 description 10
- 238000004040 coloring Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 208000019300 CLIPPERS Diseases 0.000 description 5
- 238000003491 array Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008713 feedback mechanism Effects 0.000 description 3
- 230000008571 general function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 239000000700 radioactive tracer Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 101000912503 Homo sapiens Tyrosine-protein kinase Fgr Proteins 0.000 description 2
- 101710092887 Integrator complex subunit 4 Proteins 0.000 description 2
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 2
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 2
- 102100037075 Proto-oncogene Wnt-3 Human genes 0.000 description 2
- 102100026150 Tyrosine-protein kinase Fgr Human genes 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000012899 de-mixing Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000009429 electrical wiring Methods 0.000 description 2
- 239000003822 epoxy resin Substances 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 229920000647 polyepoxide Polymers 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/02—Comparing digital values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
- G06F7/24—Sorting, i.e. extracting data from one or more carriers, rearranging the data in numerical or other ordered sequence, and rerecording the sorted data on the original carrier or on a different carrier or set of carriers sorting methods in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/50—Adding; Subtracting
- G06F7/505—Adding; Subtracting in bit-parallel fashion, i.e. having a different digit-handling circuit for each denomination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30021—Compare instructions, e.g. Greater-Than, Equal-To, MINMAX
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30025—Format conversion instructions, e.g. Floating-Point to Integer, decimal conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30032—Movement instructions, e.g. MOVE, SHIFT, ROTATE, SHUFFLE
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30145—Instruction analysis, e.g. decoding, instruction word fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computer Graphics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Generation (AREA)
- Advance Control (AREA)
- Complex Calculations (AREA)
Abstract
本發明提供用於穩定及短潛時的排序之設備及方法。舉例而言，一處理器之一個實施例包含：一輸入電路，其用以接收N個輸入值之一集合以排序成一經排序次序；比較電路系統，其用以並行地對每一輸入值與所有其他輸入值進行比較以產生至少N*(N-1)/2個比較結果值；矩陣產生電路系統及/或邏輯，其用以產生具有與每一輸入值相關聯之一列之一結果矩陣，每一列中之複數個位元包含指示與其他輸入值之比較結果之比較結果值，其中該結果矩陣之一第一區域將儲存包含該N*(N-1)/2個比較結果值之位元之一第一集合且該結果矩陣之與該第一區域相對之一第二區域將儲存包含該N*(N-1)/2個比較結果值之一逆元的位元之一第二集合；一並加器電路，其用以對每一列中之該等位元進行並行加法以產生N個特有結果值；以及排序電路系統，其用以為該N個特有結果值編索引以返回該經排序次序。
Description
發明領域
本發明大體上係關於圖形處理器領域。更特定言之，本發明係關於用於進行穩定及短潛時的排序操作之設備及方法。
發明背景
射線追蹤為經由基於實體之呈現來模擬光傳輸之技術。射線追蹤廣泛用於電影呈現中，直至幾年前，它亦被認為對即時效能而言過於耗費資源。射線追蹤中之關鍵操作中之一者為處理被稱為「射線遍歷」之對射線-場景相交之可見性查詢，其藉由遍歷及使包圍體階層(BVH)中之節點相交而計算射線-場景相交。
依據本發明之一實施例，係特地提出一種處理器，其包含：一輸入電路，其用以接收N個輸入值之一集合以排序成一經排序次序；比較電路系統，其用以並行地比較每一輸入值與所有其他輸入值以產生至少N*(N-1)/2個比較結果值；矩陣產生電路系統及/或邏輯，其用以產生具有與每一輸入值相關聯之一列之一結果矩陣，每一列中之多個位元包含指示與其他輸入值之比較結果之比較結果值，其中該結果矩陣之一第一區域將儲存包含該N*(N-1)/2個比較結果值之位元之一第一集合且該結果矩陣之與該第一區域相對之一第二區域將儲存包含該N*(N-1)/2個比較結果值之一逆元的位元之一第二集合；一並加器電路，其用以對每一列中之該等位元進行並行加法以產生N個特有結果值；以及排序電路系統，其用以為該N個特有結果值編索引以返回該經排序次序。
較佳實施例之詳細說明
在以下描述中，出於解釋之目的，闡述眾多特定細節以便提供對下文所描述的本發明之實施例的透徹理解。然而，熟習此項技術者將顯而易見，可在並無此等特定細節中之一些細節的情況下實踐本發明之實施例。在其他情況下，以方塊圖形式展示熟知結構及裝置以免混淆本發明之實施例的基本原理。
例示性圖形處理器架構及資料類型系統概述
圖1
為根據實施例之處理系統100的方塊圖。系統100可用於單一處理器桌上型系統、多處理器工作站系統，或具有大量處理器102或處理器核心107之伺服器系統中。在一個實施例中，系統100為併入於系統單晶片(SoC)積體電路內以用於行動、手持型或嵌入裝置中，諸如與區域網路或廣域網路具有有線或無線連接之物聯網(IoT)裝置內的處理平台。
在一個實施例中，系統100可包括以下各者、與以下各者耦接，或整合於以下各者內：基於伺服器之遊戲平台；遊戲控制台，包括遊戲及媒體控制台；行動遊戲控制台、手持型遊戲控制台或在線遊戲控制台。在一些實施例中，系統100為行動電話、智慧型電話、平板計算裝置或行動網際網路連接裝置，諸如內部儲存容量低之膝上型電腦的部分。處理系統100亦可包括以下各者、與以下各者耦接，或整合於以下各者內：可穿戴裝置，諸如智慧型手錶可穿戴裝置；藉由擴增實境(AR)或虛擬實境(VR)特徵增強以提供視覺、音訊或觸覺輸出來補充真實世界視覺、音訊或觸覺體驗或以其他方式提供文本、音訊、圖形、視訊、全像影像或視訊，或觸覺回饋的智慧型眼鏡或服裝；其他擴增實境(AR)裝置；或其他虛擬實境(VR)裝置。在一些實施例中，處理系統100包括或為電視或機上盒裝置之部分。在一個實施例中，系統100可包括以下各者、與以下各者耦接，或整合於以下各者內：自動駕駛車輛，諸如公共汽車、牽引車、汽車、摩托車或電動自行車、飛機或滑翔機(或其任何組合)。自動駕駛車輛可使用系統100來處理車輛圍繞感測到的環境。
在一些實施例中，一或多個處理器102各自包括用以處理指令之一或多個處理器核心107，該等指令在被執行時進行系統或使用者軟體之操作。在一些實施例中，一或多個處理器核心107中之至少一者經組配以處理特定指令集109。在一些實施例中，指令集109可有助於進行複雜指令集計算(CISC)、精簡指令集計算(RISC)或經由超長指令字(VLIW)進行之計算。一或多個處理器核心107可處理可包括用以促進其他指令集之仿真之指令的不同指令集109。處理器核心107亦可包括其他處理裝置，諸如數位信號處理器(DSP)。
在一些實施例中，處理器102包括快取記憶體104。取決於架構，處理器102可具有單一內部快取記憶體或多個層級之內部快取記憶體。在一些實施例中，在處理器102之各組件當中共用快取記憶體。在一些實施例中，處理器102亦使用可使用已知快取一致性技術在處理器核心107當中共用之外部快取記憶體(例如，第3層(L3)快取記憶體或末級快取記憶體(LLC))(未展示)。暫存器檔案106可另外包括於處理器102中，且可包括不同類型之暫存器以用於儲存不同類型之資料(例如，整數暫存器、浮點暫存器、狀態暫存器及指令指標暫存器)。一些暫存器可為通用暫存器，而其他暫存器可特定於處理器102之設計。
在一些實施例中，一或多個處理器102與一或多個介面匯流排110耦接以在系統100中之處理器102與其他組件之間傳輸通訊信號，諸如位址、資料或控制信號。在一個實施例中，介面匯流排110可為處理器匯流排，諸如直接媒體介面(DMI)匯流排之版本。然而，處理器匯流排不限於DMI匯流排，且可包括一或多個周邊組件互連匯流排(例如，PCI、PCI express)、記憶體匯流排，或其他類型之介面匯流排。在一個實施例中，一或多個處理器102包括整合式記憶體控制器116及平台控制器集線器130。記憶體控制器116有助於系統100之記憶體裝置與其他組件之間的通訊，而平台控制器集線器(PCH) 130經由本端I/O匯流排提供與I/O裝置之連接。
記憶體裝置120可為動態隨機存取記憶體(DRAM)裝置、靜態隨機存取記憶體(SRAM)裝置、快閃記憶體裝置、相變記憶體裝置或具有合適的效能以充當程序記憶體的一些其他記憶體裝置。在一個實施例中，記憶體裝置120可用作系統100之系統記憶體，以儲存資料122及指令121以用於在該一或多個處理器102執行應用程式或程序時使用。記憶體控制器116亦與任擇的外部圖形處理器118耦接，該外部圖形處理器可與處理器102中之一或多個圖形處理器108通訊以進行圖形及媒體操作。在一些實施例中，可藉由加速器112輔助圖形、媒體及或計算操作，該加速器為可經組配以進行圖形、媒體或計算操作之專用集合的共處理器。舉例而言，在一個實施例中，加速器112為用於最佳化機器學習或計算操作之矩陣乘法加速器。在一個實施例中，加速器112為可用於與圖形處理器108共同進行射線追蹤操作之射線追蹤加速器。在一個實施例中，外部加速器119可替代或與加速器112共同使用。
在一些實施例中，顯示裝置111可連接至一或多個處理器102。顯示裝置111可為如行動電子裝置或膝上型電腦裝置中之內部顯示裝置或經由顯示介面(例如，顯示埠等)附接之外部顯示裝置中之一或多者。在一個實施例中，顯示裝置111可為頭戴式顯示器(HMD)，諸如用於虛擬實境(VR)應用或擴增實境(AR)應用中的戴眼鏡式立體顯示器。
在一些實施例中，平台控制器集線器130使得周邊裝置能夠經由高速I/O匯流排連接至記憶體裝置120及處理器102。I/O周邊裝置包括但不限於音訊控制器146、網路控制器134、韌體介面128、無線收發器126、觸控感測器125、資料儲存裝置124 (例如，非依電性記憶體、依電性記憶體、硬碟驅動機、快閃記憶體、NAND、3D NAND、3D XPoint等)。資料儲存裝置124可經由儲存介面(例如，SATA)或經由周邊匯流排，諸如周邊組件互連匯流排(例如，PCI、PCI express)連接。觸控感測器125可包括觸控螢幕感測器、壓力感測器，或指紋感測器。無線收發器126可為Wi-Fi收發器、藍牙收發器，或行動網路收發器，諸如3G、4G、5G或長期演進(LTE)收發器。韌體介面128使得能夠與系統韌體通訊，且可為例如聯合可延伸韌體介面(UEFI)。網路控制器134可使得能夠網路連接至有線網路。在一些實施例中，高效能網路控制器(未展示)與介面匯流排110耦接。在一個實施例中，音訊控制器146為多通道高清晰度音訊控制器。在一個實施例中，系統100包括任擇的舊式I/O控制器140以用於將舊式(例如，個人系統2 (PS/2))裝置耦接至系統。平台控制器集線器130亦可連接至一或多個通用串列匯流排(USB)控制器142連接輸入裝置，諸如鍵盤及滑鼠143組合、攝影機144或其他USB輸入裝置。
應瞭解，所展示系統100為例示性且非限制性的，此係因為亦可使用以不同方式組配之其他類型的資料處理系統。舉例而言，記憶體控制器116及平台控制器集線器130之例項可整合至精密外部圖形處理器，諸如外部圖形處理器118中。在一個實施例中，平台控制器集線器130及/或記憶體控制器116可在該一或多個處理器102外部。舉例而言，系統100可包括外部記憶體控制器116及平台控制器集線器130，其可組配為與一或多個處理器102通訊之系統晶片組內之記憶體控制器集線器及周邊控制器集線器。
舉例而言，可使用電路板(「sled」)，上面置放有諸如CPU、記憶體及其他組件等組件，該等組件經設計以供提高熱效能。在一些實例中，處理組件，諸如處理器位於sled之頂側上，而近記憶體，諸如DIMM位於sled之底側上。由於由此設計提供之增強氣流，相較於典型系統，組件可以較高頻率及功率位準操作，由此提高效能。此外，sled經組配以與機架中之功率及資料通訊電纜盲目配對，由此增強其能力以迅速移除、升級、重新安裝及/或更換。類似地，位於sled上之個別組件，諸如處理器、加速器、記憶體及資料儲存驅動器經組配以由於其彼此之增大間隔而易於升級。在例示性實施例中，組件另外包括證明其真實性之硬體認證特徵。
資料中心可利用單一網路架構(「網狀架構」)，其支援包括乙太網路及全向路徑之多個其他網路架構。sled可經由光纖耦接至開關，光纖相較於典型雙絞線電纜線(例如，類別5、類別5e、類別6等)提供較高頻寬及較低潛時。由於高頻寬、低潛時互連及網路架構，資料中心在使用中可彙集資源，諸如記憶體、加速器(例如，GPU、圖形加速器、FPGA、ASIC、神經網路及/或人工智慧加速器等)，及實體地分解之資料儲存驅動器，並根據需求將其提供至計算資源(例如，處理器)，從而使得計算資源能夠如同該等計算資源在本端一般存取彙集資源。
電力供應器或電源可將電壓及/或電流提供至系統100或本文中所描述之任何組件或系統。在一個實例中，電力供應器包括插入壁式插座之AC至DC(交流電至直流電)配接器。此AC功率可為可再生能量(例如，太陽能)電源。在一個實例中，電源包括DC電源，諸如外部AC至DC轉換器。在一個實例中，電源或電力供應器包括無線充電硬體以經由與充電場之接近性而進行充電。在一個實例中，電源可包括內部電池、交流電源、基於運動之電力供應器、太陽能電源，或燃料電池電源。
圖2A 至圖2D
例示由本文中所描述之實施例提供之計算系統及圖形處理器。與本文中之任何其他圖式之元件具有相同參考編號(或名稱)的圖2A至圖2D之元件可以類似於本文中其他地方所描述之任何方式操作或起作用，但不限於此。
圖2A
為具有一或多個處理器核心202A至202N、整合式記憶體控制器214及整合式圖形處理器208的處理器200之實施例之方塊圖。處理器200可包括高達且包括由虛線框表示之額外核心202N之額外核心。處理器核心202A至202N中之每一者包括一或多個內部快取記憶體單元204A至204N。在一些實施例中，每一處理器核心亦可存取一或多個共用快取單元206。內部快取記憶體單元204A至204N及共用快取記憶體單元206表示在處理器200內之快取記憶體階層。快取記憶體階層可包括每一處理器核心內之至少一個層級之指令及資料快取記憶體，及一或多個層級之共用層間快取記憶體，諸如第2層(L2)、第3層(L3)、第4層(L4)或其他層級之快取記憶體，其中在外部記憶體之前的最高層級之快取記憶體經分類為LLC。在一些實施例中，快取一致性邏輯維持各種快取記憶體單元206與204A至204N之間的一致性。
在一些實施例中，處理器200亦可包括一或多個匯流排控制器單元216之集合及系統代理核心210。該一或多個匯流排控制器單元216管理周邊匯流排，諸如一或多個PCI或PCI express匯流排之集合。系統代理核心210提供用於各種處理器組件之管理功能性。在一些實施例中，系統代理核心210包括一或多個整合式記憶體控制器214以管理對各種外部記憶體裝置(未展示)之存取。
在一些實施例中，處理器核心202A至202N中之一或多者包括對同時多執行緒處理之支援。在此實施例中，系統代理核心210包括用於在多執行緒處理期間協調及操作核心202A至202N之組件。系統代理核心210可另外包括功率控制單元(PCU)，其包括調節處理器核心202A至202N及圖形處理器208之功率狀態的邏輯及組件。
在一些實施例中，處理器200另外包括用以執行圖形處理操作之圖形處理器208。在一些實施例中，圖形處理器208與共用快取記憶體單元206之集合及包括該一或多個整合式記憶體控制器214之系統代理核心210耦接。在一些實施例中，系統代理核心210亦包括用以驅動圖形處理器輸出至一或多個耦接顯示器之顯示器控制器211。在一些實施例中，顯示器控制器211亦可為經由至少一個互連件與圖形處理器耦接之單獨模組，或可整合於圖形處理器208內。
在一些實施例中，基於環形之互連單元212用以耦接處理器200之內部組件。然而，可使用替代互連單元，諸如點對點互連件、切換式互連件或其他技術，包括此項技術中熟知之技術。在一些實施例中，圖形處理器208經由I/O鏈路213與環形互連件212耦接。
例示性I/O鏈路213表示多種I/O互連件中之至少一者，包括有助於進行各種處理器組件與高效能嵌入式記憶體模組218 (諸如，eDRAM模組)之間的通訊之封裝上I/O互連件。在一些實施例中，處理器核心202A至202N中之每一者及圖形處理器208將嵌入式記憶體模組218用作共用末級快取記憶體。
在一些實施例中，處理器核心202A至202N為執行同一指令集架構之均質核心。在另一實施例中，就指令集架構(ISA)而言，處理器核心202A至202N為異質的，其中處理器核心202A至202N中之一或多者執行第一指令集，而其他核心中之至少一者執行第一指令集或不同指令集之子集。在一個實施例中，處理器核心202A至202N就微架構而言為異質的，其中具有相對較高功率消耗之一或多個核心與具有較低功率消耗之一或多個功率核心耦接。在一個實施例中，處理器核心202A至202N就計算能力而言為異質的。另外，處理器200可實施於一或多個晶片上或實施為具有所例示之組件(除其他組件以外)的SoC積體電路。
圖2B
為根據本文中所描述之一些實施例的圖形處理器核心219之硬體邏輯之方塊圖。與本文中之任何其他圖式之元件具有相同參考編號(或名稱)的圖2B
之元件可以類似於本文中其他地方所描述之任何方式操作或起作用，但不限於此。有時被稱作核心圖塊之圖形處理器核心219可為模組化圖形處理器內之一或多個圖形核心。圖形處理器核心219為一個圖形核心圖塊之例示，且如本文中所描述之圖形處理器可包括基於目標功率及效能包絡之多個圖形核心圖塊。每一圖形處理器核心219可包括與多個子核心221A至221F (亦被稱作子圖塊)耦接之固定功能區塊230，其包括通用及固定功能邏輯之模組化區塊。
在一些實施例中，固定功能區塊230包括幾何/固定功能管線231，其可由圖形處理器核心219，例如較低效能及/或較低功率圖形處理器實施中之所有子核心共用。在各種實施例中，幾何/固定功能管線231包括3D固定功能管線(例如，如下文描述之圖3及圖4中之3D管線312)、視訊前端單元、執行緒產生器及執行緒分派器，及聯合返回緩衝管理器，其管理聯合返回緩衝器(例如，圖4中之聯合返回緩衝器418，如下文所描述)。
在一個實施例中，固定功能區塊230亦包括圖形SoC介面232、圖形微控制器233，及媒體管線234。圖形SoC介面232在系統單晶片積體電路內之圖形處理器核心219與其他處理器核心之間提供介面。圖形微控制器233為可程式化子處理器，其可組配以管理圖形處理器核心219之各種功能，包括執行緒分派、排程及佔先。媒體管線234 (例如，圖3及圖4之媒體管線316)包括有助於多媒體資料，包括影像及視訊資料之解碼、編碼、預處理及/或後處理的邏輯。媒體管線234經由請求實施媒體操作以計算或取樣子核心221至221F內之邏輯。
在一個實施例中，SoC介面232使得圖形處理器核心219能夠與通用應用程式處理器核心(例如，CPU)及/或SoC內之其他組件(包括記憶體階層元件，諸如共用末級快取記憶體、系統RAM，及/或嵌入式晶片上或封裝上DRAM)通訊。SoC介面232亦可使得能夠與SoC內之固定功能裝置，諸如攝影機成像管線通訊，且使得能夠使用及/或實施可在圖形處理器核心219與SoC內之CPU之間共用的全域記憶體原子件。SoC介面232亦可實施用於圖形處理器核心219之功率管理控制件且啟用圖形核心219之時脈域與SoC內之其他時脈域之間的介面。在一個實施例中，SoC介面232使得能夠自經組配以將命令及指令提供至圖形處理器內之一或多個圖形核心中之每一者的命令串流器及全域執行緒分派器接收命令緩衝器。命令及指令可在將進行媒體操作時分派至媒體管線234，或在將進行圖形處理操作時分派至幾何及固定功能管線(例如，幾何及固定功能管線231、幾何及固定功能管線237)。
圖形微控制器233可經組配以對圖形處理器核心219進行各種排程及管理任務。在一個實施例中，圖形微控制器233可對子核心221A至221F內之執行單元(EU)陣列222A至222F、224A至224F內之各種圖形並行引擎進行圖形及/或計算工作負載排程。在此排程模型中，包括圖形處理器核心219之SoC之CPU核心上執行之主機軟體可提交工作負載，多個圖形處理器門鈴中之一者，其對適當圖形引擎調用排程操作。排程操作包括判定接下來運行哪一工作負載、將工作負載提交至命令串流器、預占引擎上運行之現有工作負載、監視工作負載之進度，及通知主機軟體工作負載何時完成。在一個實施例中，圖形微控制器233亦可有助於圖形處理器核心219之低功率或空閒狀態，從而跨越獨立地自作業系統及/或系統上之圖形驅動器軟體之低功率狀態轉變為圖形處理器核心219提供保存及恢復圖形處理器核心219內之暫存器的能力。
圖形處理器核心219可具有多於或少於所例示之子核心221A至221F的至多N
個模組化子核心。對於N
個子核心之每一集合，圖形處理器核心219亦可包括共用功能邏輯235、共用及/或快取記憶體236、幾何/固定功能管線237，以及額外固定功能邏輯238以加速各種圖形及計算處理操作。共用功能邏輯235可包括與圖4之共用功能邏輯420相關聯之邏輯單元(例如，取樣器、數學及/或執行緒間通訊邏輯)，其可由圖形處理器核心219內之每一N個子核心共用。共用及/或快取記憶體236可為用於圖形處理器核心219內之N
個子核心221A至221F之集合的末級快取記憶體，且亦可充當可由多個子核心存取之共用記憶體。幾何/固定功能管線237而非幾何/固定功能管線231可包括於固定功能區塊230內，且可包括相同或類似邏輯單元。
在一個實施例中，圖形處理器核心219包括額外固定功能邏輯238，其可包括由圖形處理器核心219使用之各種固定功能加速邏輯。在一個實施例中，額外固定功能邏輯238包括用於僅位置著色中之額外幾何管線。在僅位置著色中，存在二條幾何管線-幾何/固定功能管線238、231內之完整幾何管線及為可包括於額外固定功能邏輯238內之額外幾何管線的剔除管線。在一個實施例中，剔除管線為完整幾何管線之裁剪版本。完整管線及剔除管線可執行相同應用之不同例項，每一例項具有單獨上下文。僅位置著色可隱藏捨棄三角形之長剔除回合，從而使得在一些情況下能夠較早完成著色。舉例而言且在一個實施例中，額外固定功能邏輯238內之剔除管線邏輯可與主要應用程式並行地執行位置著色器，且相較於完整管線通常較快速產生關鍵結果，因為剔除管線僅提取及著色頂點之位置屬性而不會進行像素至圖框緩衝器之光柵化及呈現。剔除管線可使用所產生關鍵結果來計算所有三角形之可見性資訊而無需考慮彼等三角形是否經剔除。完整管線(在此情況下可被稱為重放管線)可消耗可見性資訊以跳過經剔除三角形，從而僅著色最後傳遞至光柵化階段之可見三角形。
在一個實施例中，額外固定功能邏輯238亦可包括機器學習加速邏輯，諸如固定功能矩陣乘法邏輯，以用於包括對機器學習訓練或推測之最佳化之實施。
每一圖形子核心221A至221F內包括執行資源之集合，其可用於回應於圖形管線、媒體管線或著色器程式之請求而進行圖形、媒體及計算操作。圖形子核心221A至221F包括多個EU陣列222A至222F、224A至224F，執行緒分派及執行緒間通訊(TD/IC)邏輯223A至223F，3D (例如，紋理)取樣器225A至225F，媒體取樣器206A至206F，著色器處理器227A至227F，及共用本端記憶體(SLM) 228A至228F。EU陣列222A至222F、224A至224F各自包括多個執行單元，其為在圖形、媒體或計算操作(包括圖形、媒體或計算著色器程式)之使用中能夠進行浮點及整數/固定點邏輯運算的通用圖形處理單元。TD/IC邏輯223A至223F對子核心內之執行單元進行本端執行緒分派及執行緒控制操作且有助於子核心之執行單元上執行之執行緒之間的通訊。3D取樣器225A至225F可將紋理或其他3D圖形相關資料讀取至記憶體中。3D取樣器可基於經組配樣本狀態及與給定紋理相關聯之紋理格式以不同方式讀取紋理資料。媒體取樣器206A至206F可基於與媒體資料相關聯之類型及格式進行類似讀取操作。在一個實施例中，每一圖形子核心221A至221F可替代地包括聯合3D及媒體取樣器。子核心221A至221F中之每一者內之執行單元上執行的執行緒可利用每一子核心內之共用本端記憶體228A至228F，以使得執行緒群組內執行之執行緒能夠使用晶片上記憶體之共同集區執行。
圖2C
例示包括配置成多核心群組240A至240N之圖形處理資源之專用集的圖形處理單元(GPU) 239。儘管僅提供了單一多核心群組240A之細節，但將瞭解，其他多核心群組240B至240N可配備有圖形處理資源之相同或類似集合。
如所例示，多核心群組240A可包括圖形核心243之集合、張量核心244之集合，及射線追蹤核心245之集合。排程器/分派器241排程及分派圖形執行緒以用於執行於各種核心243、244、245上。暫存器檔案242之集合在執行圖形執行緒時儲存由核心243、244、245使用之運算元值。此等者可包括例如用於儲存整數值之整數暫存器、用於儲存浮點值之浮點暫存器、用於儲存封裝資料元素(整數及/或浮點資料元素)之向量暫存器及用於儲存張量/矩陣值之砌塊暫存器。在一個實施例中，砌塊暫存器實施為向量暫存器之組合集。
一或多個組合層級1 (L1)快取記憶體及共用記憶體單元247將圖形資料，諸如紋理資料、頂點資料、像素資料、射線資料、包圍體資料等在本端儲存於每一多核心群組240A內。一或多個紋理單元247亦可用以進行紋理化操作，諸如紋理映射及取樣。由多核心群組240A至240N中之全部或子集共用的層級2 (L2)快取記憶體253儲存多個並行圖形執行緒之圖形資料及/或指令。如所例示，L2快取記憶體253可跨越複數個多核心群組240A至240N共用。一或多個記憶體控制器248將GPU 239耦接至記憶體249，其可為系統記憶體(例如，DRAM)及/或專用圖形記憶體(例如，GDDR6記憶體)。
輸入/輸出(I/O)電路系統250將GPU 239耦接至一或多個I/O裝置252，諸如數位信號處理器(DSP)、網路控制器或使用者輸入裝置。晶片上互連件可用於將I/O裝置252耦接至GPU 239及記憶體249。I/O電路系統250之一或多個I/O記憶體管理單元(IOMMU) 251將I/O裝置252直接耦接至系統記憶體249。在一個實施例中，IOMMU 251管理頁面表之多個集合以將虛擬位址映射至系統記憶體249中之實體位址。在此實施例中，I/O裝置252、一或多個CPU 246及一或多個GPU 239可共用相同虛擬位址空間。
在一個實施中，IOMMU 251支援虛擬化。在此情況下，其可管理頁面表之第一集合以將訪客/圖形虛擬位址映射至訪客/圖形實體位址並管理頁面表之第二集合以將訪客/圖形實體位址映射至系統/主機實體位址(例如，系統記憶體249內)。頁面表之第一及第二集合中之每一者之基礎位址可儲存於控制暫存器中且基於上下文切換而交換(例如，使得新上下文能夠存取頁面表之相關集合)。儘管圖2C中未例示，但核心243、244、245及/或多核心群組240A至240N中之每一者可包括翻譯後援緩衝器(TLB)以快取訪客虛擬至訪客實體翻譯、訪客實體至主機實體翻譯，及訪客虛擬至主機實體翻譯。
在一個實施例中，CPU 246、GPU 239及I/O裝置252整合於單一半導體晶片及/或晶片封裝上。所例示記憶體249可整合於同一晶片上或可經由晶片外介面耦接至記憶體控制器248。在一個實施中，記憶體249包含與其他實體系統層級記憶體共用相同虛擬位址空間之GDDR6記憶體，但本發明之基礎原理不限於此特定實施。
在一個實施例中，張量核心244可包括經特定設計以進行矩陣運算之複數個執行單元，矩陣運算為用於進行深度學習操作之基本計算操作。舉例而言，同時矩陣乘法運算可用於神經網路訓練及推斷。張量核心244可使用包括單精度浮點(例如，32位元)、半精度浮點(例如，16位元)、整數字組(16位元)、位元組(8位元)及半位元組(4位元)之各種運算元精度進行矩陣處理。在一個實施例中，神經網路實施提取每一呈現場景之特徵，有可能組合來自多個圖框之細節，以建構高品質最終影像。
在深度學習實施中，並行矩陣乘法工作可經排程以供執行於張量核心244上。詳言之，神經網路之訓練需要有效數矩陣點積運算。為了處理N×N×N矩陣乘法之內積公式，張量核心244可包括至少N個點積處理元件。在矩陣乘法開始之前，將一個完整矩陣載入至砌塊暫存器中且N個循環中之每一循環載入第二矩陣之至少一行。每一循環存在經處理之N個點積。
可取決於特定實施以不同精度，包括16位元字組、8位元位元組(例如，INT8)及4位元半位元組(例如，INT4)儲存矩陣元素。可針對張量核心244指定不同精度模式以確保最高效精度用於不同工作負載(例如，可容許對位元組及半位元組之量化之推斷工作負載)。
在一個實施例中，射線追蹤核心245加速即時射線追蹤及非即時射線追蹤實施之射線追蹤操作。詳言之，射線追蹤核心245包括射線遍歷/相交電路系統以用於使用包圍體階層(BVH)進行射線遍歷並識別圍封於BVH體積內之射線與基元之間的相交。射線追蹤核心245亦可包括用於進行深度測試及剔除(例如，使用Z緩衝器或類似配置)之電路系統。在一個實施中，射線追蹤核心245與本文中所描述之影像去雜技術一致地進行遍歷及相交操作，其中之至少一部分可執行於張量核心244上。舉例而言，在一個實施例中，張量核心244實施深度學習神經網路以進行由射線追蹤核心245產生之圖框之去雜。然而，一或多個CPU 246、圖形核心243及/或射線追蹤核心245亦可實施去雜及/或深度學習演算法之全部或一部分。
另外，如上文所描述，可採用分佈式去雜方法，其中GPU 239在經由網路或高速互連件耦接至其他計算裝置之計算裝置中。在此實施例中，互連計算裝置共用神經網路學習/訓練資料以改良速度，整個系統學習以該速度對不同類型的影像圖框及/或不同圖形應用程式進行去雜。
在一個實施例中，射線追蹤核心245處理所有BVH遍歷及射線-基元相交，從而避免圖形核心243因每一射線之數千指令而過載。在一個實施例中，每一射線追蹤核心245包括用於進行包圍盒測試之專用電路系統之第一集合(例如，用於遍歷操作)及用於進行射線-三角形相交測試之專用電路系統之第二集合(例如，已經遍歷之相交射線)。因此，在一個實施例中，多核心群組240A可僅啟動射線探測器，且射線追蹤核心245獨立地進行射線遍歷及相交並傳回命中資料(例如，命中、無命中、多次命中等)至執行緒上下文。釋放其他核心243、244以進行其他圖形或計算工作，而射線追蹤核心245進行遍歷及相交操作。
在一個實施例中，每一射線追蹤核心245包括進行BVH測試操作之遍歷單元及進行射線-基元相交測試之相交單元。相交單元產生「命中」、「無命中」或「多次命中」回應，將其提供至適當執行緒。在遍歷及相交操作期間，釋放其他核心(例如，圖形核心243及張量核心244)之執行資源以進行其他形式之圖形工作。
在下文描述之一個特定實施例中，使用混合式光柵化/射線追蹤方法，其中工作分佈於圖形核心243與射線追蹤核心245之間。
在一個實施例中，射線追蹤核心245 (及/或其他核心243、244)包括對射線追蹤指令集之硬體支援，諸如包括DispatchRays命令之微軟之DirectX射線追蹤(DXR)，以及射線產生、最近命中、任一命中及未命中著色器，這使得能夠針對每一物件指派著色器及紋理之特有集合。可由射線追蹤核心245、圖形核心243及張量核心244支援之另一射線追蹤平台為Vulkan 1.1.85。然而，應注意，本發明之基礎原理不限於任何特定射線追蹤ISA。
一般而言，各種核心245、244、243可支援射線追蹤指令集，其包括用於射線產生、最近命中、任一命中、射線-基元相交、每一基元及階層式包圍盒構造、未命中、訪問及例外狀況之指令/函數。更特定言之，一個實施例包括射線追蹤指令以進行以下函數：
射線產生-可針對每一像素、樣本或其他使用者界定之工作指派執行射線產生指令。
最近命中-可執行最近命中指令以定位場景內射線與基元之最近相交點。
任一命中-任一命中指令識別場景內射線與基元之間的多次相交，有可能識別新最近相交點。
相交-相交指令進行射線-基元相交測試且輸出結果。
每一基元包圍盒構造-此指令圍繞給定基元或基元之群組建構包圍盒(例如，當建構新BVH或其他加速資料結構時)。
未命中-指示射線未命中場景或場景之指定區域內之所有幾何結構。
訪問-指示射線將遍歷之子體積。
例外狀況-包括各種類型之例外狀況處置程式(例如，針對各種誤差條件調用)。
圖2D
為根據本文中所描述之實施例的可組配為圖形處理器及/或計算加速器之通用圖形處理單元(GPGPU)270之方塊圖。GPGPU 270可經由一或多個系統及/或記憶體匯流排與主機處理器(例如，一或多個CPU 246)及記憶體271、272互連。在一個實施例中，記憶體271為可與該一或多個CPU 246共用之系統記憶體，而記憶體272為專用於GPGPU 270之裝置記憶體。在一個實施例中，GPGPU 270及裝置記憶體272內之組件可映射至可存取該一或多個CPU 246之記憶體位址中。可經由記憶體控制器268促進對記憶體271及272之存取。在一個實施例中，記憶體控制器268包括內部直接記憶體存取(DMA)控制器269或可包括用以進行將由DMA控制器以其他方式進行之操作的邏輯。
GPGPU 270包括多個快取記憶體，包括L2快取記憶體253、L1快取記憶體254、指令快取記憶體255及共用記憶體256，其至少一部分亦可分割為快取記憶體。GPGPU 270亦包括多個計算單元260A至260N。每一計算單元260A至260N包括向量暫存器261、純量暫存器262、向量邏輯單元263及純量邏輯單元264之集合。計算單元260A至260N亦可包括本端共用記憶體265及程式計數器266。計算單元260A至260N可與常數快取記憶體267耦接，該常數快取記憶體可用於儲存常數資料，其為在執行於GPGPU 270上之內核或著色器程式之運行期間將不改變的資料。在一個實施例中，常數快取記憶體267為純量資料快取記憶體且經快取資料可直接提取至純量暫存器262中。
在操作期間，該一或多個CPU 246可將命令寫入至已經映射至可存取位址空間中之GPGPU 270中之暫存器或記憶體中。命令處理器257可自暫存器或記憶體讀取命令且判定在GPGPU 270內將如何處理彼等命令。執行緒分派器258接著可用於將執行緒分派至計算單元260A至260N以進行彼等命令。每一計算單元260A至260N可獨立於其他計算單元執行執行緒。另外，每一計算單元260A至260N可獨立地經組配用於條件計算且可有條件地將計算結果輸出至記憶體。當所提交命令完整時，命令處理器257可中斷該一或多個CPU 246。
圖3A 至圖3C
例示由本文中所描述之實施例提供之額外圖形處理器及計算加速器架構的方塊圖。與本文中之任何其他圖式之元件具有相同參考編號(或名稱)的圖3A至圖3C之元件可以類似於本文中其他地方所描述之任何方式操作或起作用，但不限於此。
圖3A
為圖形處理器300之方塊圖，該圖形處理器可為離散圖形處理單元，或可為與複數個處理核心、或諸如但不限於記憶體裝置或網路介面之其他半導體裝置整合之圖形處理器。在一些實施例中，圖形處理器經由記憶體映射I/O介面與圖形處理器上之暫存器及與置放於處理器記憶體中之命令通訊。在一些實施例中，圖形處理器300包括用以存取記憶體之記憶體介面314。記憶體介面314可為至本端記憶體、一或多個內部快取記憶體、一或多個共用外部快取記憶體及/或至系統記憶體之介面。
在一些實施例中，圖形處理器300亦包括顯示器控制器302以將顯示器輸出資料驅動至顯示裝置318。顯示器控制器302包括用於顯示及複合多個視訊層或使用者介面元件的一或多個疊加平面的硬體。顯示裝置318可為內部或外部顯示裝置。在一個實施例中，顯示裝置318為頭戴式顯示裝置，諸如虛擬實境(VR)顯示裝置或擴增實境(AR)顯示裝置。在一些實施例中，圖形處理器300包括視訊編解碼器引擎306以將媒體編碼為一或多個媒體編碼格式、自一或多個媒體編碼格式解碼或在一或多個媒體編碼之間轉碼，該一或多個媒體編碼格式包括但不限於諸如MPEG-2之動畫專業團體(MPEG)格式；諸如H.264/MPEG-4 AVC、H.265/HEVC、開放媒體聯盟(AOMedia)VP8、VP9以及美國電影與電視工程師學會(SMPTE) 421M/VC-1之進階視訊寫碼(AVC)格式，及諸如JPEG及運動JPEG (MJPEG)格式之聯合圖像專家小組(JPEG)格式。
在一些實施例中，圖形處理器300包括區塊影像傳送(BLIT)引擎304以進行包括例如位元邊界區塊傳送之二維(2D)光柵處理器操作。然而，在一個實施例中，使用圖形處理引擎(GPE) 310之一或多個組件進行2D圖形操作。在一些實施例中，GPE 310為用於進行圖形操作(包括三維(3D)圖形操作及媒體操作)之計算引擎。
在一些實施例中，GPE 310包括用於進行3D操作(諸如，使用對3D基本形狀(例如，矩形、三角形等)起作用之處理功能呈現三維影像及場景)之3D管線312。3D管線312包括進行元件內之各種任務及/或將執行緒產生至3D/媒體子系統315的可程式化及固定功能元件。儘管3D管線312可用於進行媒體操作，但GPE 310之實施例亦包括專門用於進行諸如視訊後處理及影像增強之媒體操作之媒體管線316。
在一些實施例中，媒體管線316包括代替或代表視訊編解碼器引擎306進行一或多個專用媒體操作(諸如，視訊解碼加速、視訊解交錯及視訊編碼加速)之固定功能或可程式化邏輯單元。在一些實施例中，媒體管線316另外包括執行緒產生單元以產生用於執行於3D/媒體子系統315上之執行緒。產生之執行緒進行包括於3D/媒體子系統315中之一或多個圖形執行單元上之媒體操作的計算。
在一些實施例中，3D/媒體子系統315包括用於執行由3D管線312及媒體管線316產生之執行緒之邏輯。在一個實施例中，管線將執行緒執行請求發送至3D/媒體子系統315，該3D/媒體子系統包括用於仲裁各種請求及將各種請求分派至可用執行緒執行資源之執行緒分派邏輯。執行資源包括用以處理3D及媒體執行緒之圖形執行單元之陣列。在一些實施例中，3D/媒體子系統315包括用於執行緒指令及資料之一或多個內部快取記憶體。在一些實施例中，子系統亦包括共用記憶體(包括暫存器及可定址記憶體)以在執行緒之間共用資料及儲存輸出資料。
圖3B
例示根據本文中所描述之實施例的具有拼貼架構之圖形處理器320。在一個實施例中，圖形處理器320包括圖形引擎砌塊310A至310D內具有圖3A之圖形處理引擎310之多個例項之圖形處理引擎叢集322。每一圖形引擎砌塊310A至310D可經由砌塊互連件323A至323F之集合互連。每一圖形引擎砌塊310A至310D亦可經由記憶體互連件325A至325D連接至記憶體模組或記憶體裝置326A至326D。記憶體裝置326A至326D可使用任何圖形記憶體技術。舉例而言，記憶體裝置326A至326D可為圖形雙資料速率(GDDR)記憶體。在一個實施例中，記憶體裝置326A至326D為高頻寬記憶體(HBM)模組，其可與其各別圖形引擎砌塊310A至310D一起在晶粒上。在一個實施例中，記憶體裝置326A至326D為堆疊式記憶體裝置，其可堆疊於其各別圖形引擎砌塊310A至310D之頂部上。在一個實施例中，每一圖形引擎砌塊310A至310D及相關聯記憶體326A至326D駐存於單獨小晶片上，小晶片接合至基底晶粒或基底基體，如圖11B至圖11D中進一步詳細描述。
圖形處理引擎叢集322可與晶片上或封裝上網狀架構互連件324連接。網狀架構互連件324可使得能夠在圖形引擎砌塊310A至310D與諸如視訊編解碼器306及一或多個複製引擎304等組件之間進行通訊。複製引擎304可用於移動來自、去到及記憶體裝置326A至326D與在圖形處理器320外部之記憶體(例如，系統記憶體)之間的資料。網狀架構互連件324亦可用以互連圖形引擎砌塊310A至310D。圖形處理器320可任擇地包括顯示器控制器302以使得能夠與外部顯示裝置318連接。圖形處理器亦可組配為圖形或計算加速器。在加速器組配中，可省略顯示器控制器302及顯示裝置318。
圖形處理器320可經由主機介面328連接至主機系統。主機介面328可使得能夠在圖形處理器320、系統記憶體及/或其他系統組件之間進行通訊。主機介面328可為例如PCI express匯流排或另一類型之主機系統介面。
圖3C
例示根據本文中所描述之實施例的計算加速器330。計算加速器330可包括與圖3B之圖形處理器320之架構類似性且經最佳化以用於計算加速。計算引擎叢集332可包括計算引擎砌塊340A至340D (其包括經最佳化以用於並行或基於向量之通用計算操作之執行邏輯)之集合。在一些實施例中，計算引擎砌塊340A至340D不包括固定功能圖形處理邏輯，但在一個實施例中，計算引擎砌塊340A至340D中之一或多者可包括進行媒體加速之邏輯。計算引擎砌塊340A至340D可經由記憶體互連件325A至325D連接至記憶體326A至326D。記憶體326A至326D及記憶體互連件325A至325D可為與圖形處理器320中類似之技術，或可不同。圖形計算引擎砌塊340A至340D亦可經由砌塊互連件323A至323F之集合互連且可與網狀架構互連件324連接及/或藉由該網狀架構互連件互連。在一個實施例中，計算加速器330包括可組配為裝置寬快取記憶體之較大L3快取記憶體336。計算加速器330亦可與圖3B之圖形處理器320以類似方式經由主機介面328連接至主機處理器及記憶體。圖形處理引擎
圖4
為根據一些實施例之圖形處理器之圖形處理引擎410的方塊圖。在一個實施例中，圖形處理引擎(GPE)410為圖 3A
中所示的GPE 310之版本，且亦可表示圖3B之圖形引擎砌塊310A至310D。與本文中之任何其他圖式之元件具有相同參考編號(或名稱)的圖4
之元件可以類似於本文中其他地方所描述之任何方式操作或起作用，但不限於此。舉例而言，例示圖 3A
之3D管線312及媒體管線316。媒體管線316在GPE 410之一些實施例中為任擇的且可不明確包括於GPE 410內。舉例而言且在至少一個實施例中，單獨媒體及/或影像處理器耦接至GPE 410。
在一些實施例中，GPE 410與命令串流器403耦接或包括該命令串流器，其將命令流提供至3D管線312及/或媒體管線316。在一些實施例中，命令串流器403與記憶體耦接，記憶體可為系統記憶體，或內部快取記憶體及共用快取記憶體中之一或多者。在一些實施例中，命令串流器403自記憶體接收命令且將命令發送至3D管線312及/或媒體管線316。命令為自環形緩衝器提取之指示，環形緩衝器儲存用於3D管線312及媒體管線316之命令。在一個實施例中，環形緩衝器可另外包括儲存各批多個命令之批次命令緩衝器。用於3D管線312之命令亦可包括對儲存於記憶體中之資料之提及，諸如但不限於用於3D管線312之頂點及幾何資料及/或用於媒體管線316之影像資料及記憶體物件。3D管線312及媒體管線316藉由經由各別管線內之邏輯進行操作或藉由將一或多個執行緒分派至圖形核心陣列414而處理命令及資料。在一個實施例中，圖形核心陣列414包括圖形核心(例如，一或多個圖形核心415A、一或多個圖形核心415B)之一或多個區塊，每一區塊包括一或多個圖形核心。每一圖形核心包括圖形執行資源之集合，其包括進行圖形及計算操作之通用及圖形特定執行邏輯，以及固定功能紋理處理及/或機器學習及人工智慧加速邏輯。
在各種實施例中，3D管線312可包括固定功能及可程式化邏輯以藉由處理該等指令及將執行緒分派至圖形核心陣列414而處理一或多個著色器程式，諸如頂點著色器、幾何著色器、像素著色器、片段著色器、計算著色器或其他著色器程式。圖形核心陣列414提供執行資源之聯合區塊以用於處理此等著色器程式。圖形核心陣列414之一或多個圖形核心415A至414B內之多用途執行邏輯(例如，執行單元)包括對各種3D API著色器語言之支援且可執行與多個著色器相關聯之多個同時執行緒。
在一些實施例中，圖形核心陣列414包括用以進行媒體功能，諸如視訊及/或影像處理之執行邏輯。在一個實施例中，執行單元包括通用邏輯，其可程式化以進行除圖形處理操作之外的並行通用計算操作。通用邏輯可並行地或結合圖1之一或多個處理器核心107內之通用邏輯或圖2A中之核心202A至202N進行處理操作。
藉由圖形核心陣列414上執行之執行緒產生之輸出資料可將資料輸出至聯合返回緩衝器(URB)418中之記憶體。URB 418可儲存用於多個執行緒之資料。在一些實施例中，URB 418可用於在圖形核心陣列414上執行之不同執行緒之間發送資料。在一些實施例中，URB 418可另外用於圖形核心陣列上之執行緒與共用功能邏輯420內之固定功能邏輯之間的同步。
在一些實施例中，圖形核心陣列414可縮放，使得陣列包括可變數目之圖形核心，其基於GPE 410之目標功率及效能位準各自具有可變數目之執行單元。在一個實施例中，執行資源可動態地縮放，使得可按需要啟用或停用執行資源。
圖形核心陣列414與包括在圖形核心陣列中之圖形核心之間共用的多個資源的共用功能邏輯420耦接。共用功能邏輯420內之共用功能為硬體邏輯單元，其將專用補充功能性提供至圖形核心陣列414。在各種實施例中，共用功能邏輯420包括但不限於取樣器421、數學422及執行緒間通訊(ITC)423邏輯。另外，一些實施例實施共用功能邏輯420內之一或多個快取記憶體425。
至少在對於給定專用功能之需要不足以包括於圖形核心陣列414內的情況下實施共用功能。替代地，專用功能之單一具現化實施為共用功能邏輯420中之獨立實體且在圖形核心陣列414內之執行資源當中共用。在圖形核心陣列414之間共用且包括於圖形核心陣列414內之功能之確切集合跨越實施例而改變。在一些實施例中，由圖形核心陣列414充分使用之共用功能邏輯420內之特定共用功能可包括於圖形核心陣列414內之共用功能邏輯416內。在各種實施例中，圖形核心陣列414內之共用功能邏輯416可包括共用功能邏輯420內之一些或所有邏輯。在一個實施例中，共用功能邏輯420內之所有邏輯元件在圖形核心陣列414之共用功能邏輯416內可重複。在一個實施例中，排除共用功能邏輯420以有利於圖形核心陣列414內之共用功能邏輯416。執行單元
圖5A 至圖5B
例示根據本文中所描述之實施例的包括圖形處理器核心中所採用之處理元件陣列之執行緒執行邏輯500。與本文中之任何其他圖式之元件具有相同參考編號(或名稱)的圖5A至圖5B之元件可以類似於本文中其他地方所描述之任何方式操作或起作用，但不限於此。圖5A至圖5B例示執行緒執行邏輯500之概述，其可表示經例示具有圖2B之每一子核心221A至221F之硬體邏輯。圖5A表示通用圖形處理器內之執行單元，而圖5B表示計算加速器內可使用之執行單元。
如圖5A中所例示，在一些實施例中，執行緒執行邏輯500包括著色器處理器502、執行緒分派器504、指令快取記憶體506、包括複數個執行單元508A至508N之可縮放執行單元陣列、取樣器510、共用本端記憶體511、資料快取記憶體512，及資料埠514。在一個實施例中，可縮放執行單元陣列可藉由基於工作負載之計算要求啟用或停用一或多個執行單元(例如，執行單元508A、508B、508C、508D至508N-1及508N中之任一者)而動態地進行縮放。在一個實施例中，所包括組件經由連結至組件中之每一者的互連網狀架構而互連。在一些實施例中，執行緒執行邏輯500包括經由指令快取記憶體506、資料埠514、取樣器510及執行單元508A至508N中之一或多者與記憶體，諸如系統記憶體或快取記憶體之一或多個連接。在一些實施例中，每一執行單元(例如，508A)為獨立的可程式化通用計算單元，其能夠執行多個同時硬體執行緒，同時針對每一執行緒並行地處理多個資料元素。在各種實施例中，執行單元508A至508N之陣列可縮放以包括任何數目之個別執行單元。
在一些實施例中，執行單元508A至508N主要用於執行著色器程式。著色器處理器502可處理各種著色器程式且經由執行緒分派器504分派與著色器程式相關聯之執行緒。在一個實施例中，執行緒分派器包括仲裁來自圖形及媒體管線之執行緒起始請求並具現化執行單元508A至508N中一或多個執行單元上之所請求執行緒的邏輯。舉例而言，幾何管線可將頂點、鑲嵌或幾何著色器分派至執行緒執行邏輯以供處理。在一些實施例中，執行緒分派器504亦可處理來自執行著色器程式之運行時間執行緒產生請求。
在一些實施例中，執行單元508A至508N支援包括對許多標準3D圖形著色器指令之原生支援的指令集，使得來自圖形程式庫(例如，Direct 3D及OpenGL)之著色器程式按最小平移來執行。執行單元支援頂點及幾何處理(例如，頂點程式、幾何程式、頂點著色器)、像素處理(例如，像素著色器、片段著色器)及通用處理(例如，計算及媒體著色器)。執行單元508A至508N中之每一者能夠執行多發單一指令多重資料(SIMD)且多執行緒操作使得在面對較高潛時記憶體存取時能夠允許高效執行環境。每一執行單元內之每一硬體執行緒具有專用高頻寬暫存器檔案及相關聯獨立執行緒狀態。對於能夠進行整數、單精度及雙精確度浮點運算、SIMD分支能力、邏輯運算、超越運算及其他雜項運算之管線，每時脈多發地執行該等運算。在等待來自記憶體之資料或共用功能中之一者時，執行單元508A至508N內之相依性邏輯使得等待執行緒休眠直至所請求資料已經傳回。當等待執行緒休眠時，硬體資源可致力於處理其他執行緒。舉例而言，在與頂點著色器操作相關聯之延遲期間，執行單元可進行像素著色器、片段著色器或另一類型之著色器程式，包括不同頂點著色器之操作。各種實施例可適用於藉由使用單指令多執行緒(SIMT)作為使用SIMD或除使用SIMD之外的替代而使用執行。對SIMD核心或操作之提及亦可適用於SIMT或適用於SIMD以及SIMT。
執行單元508A至508N中之每一執行單元對資料元素之陣列進行操作。資料元素之數目為「執行大小」，或用於指令之通道之數目。執行通道為針對指令內之資料元素存取、遮蔽及流量控制之邏輯執行單元。通道之數目可能與用於特定圖形處理器之實體算術邏輯單元(ALU)或浮點單元(FPU)之數目無關。在一些實施例中，執行單元508A至508N支援整數及浮點資料類型。
執行單元指令集包括SIMD指令。可將各種資料元素作為封裝資料類型儲存於暫存器中，且執行單元將基於元素之資料大小處理各種元素。舉例而言，當對256位元寬向量進行操作時，向量之256位元儲存於暫存器中，且執行單元按四個單獨的54位元封裝資料元素(四倍字(QW)大小資料元素)、八個單獨的32位元封裝資料元素(雙字(DW)大小資料元素)、十六個單獨的16位元封裝資料元素(字(W)大小資料元素)或三十二個單獨的8位元資料元素(位元組(B)大小資料元素)形式對向量進行操作。然而，不同向量寬度及暫存器大小係可能的。
在一個實施例中，一或多個執行單元可組合成經融合執行單元509A至509N，其具有為經融合EU所共用之執行緒控制邏輯(507A至507N)。多個EU可經融合成EU群組。經融合EU群組中之每一EU可經組配以執行單獨的SIMD硬體執行緒。經融合EU群組中EU之數目可根據實施例而改變。另外，每一EU可進行各種SIMD寬度，包括但不限於SIMD8、SIMD16及SIMD32。每一經融合圖形執行單元509A至509N包括至少二個執行單元。舉例而言，經融合執行單元509A包括第一EU 508A、第二EU 508B，及為第一EU 508A及第二EU 508B所共用之執行緒控制邏輯507A。執行緒控制邏輯507A控制經融合圖形執行單元509A上執行之執行緒，從而允許經融合執行單元509A至509N內之每一EU使用共同指令指標暫存器執行。
一或多個內部指令快取記憶體(例如，506)包括於執行緒執行邏輯500中以快取用於執行單元之執行緒指令。在一些實施例中，包括一或多個資料快取記憶體(例如，512)以在執行緒執行期間快取執行緒資料。執行邏輯500上執行之執行緒亦可明確儲存共用本端記憶體511中之管理資料。在一些實施例中，包括取樣器510以為3D操作提供紋理取樣並為媒體操作提供媒體取樣。在一些實施例中，取樣器510包括特殊化紋理或媒體取樣功能性以在將經取樣之資料提供至執行單元之前在取樣程序期間處理紋理或媒體資料。
在執行期間，圖形及媒體管線經由執行緒產生及分派邏輯將執行緒起始請求發送至執行緒執行邏輯500。一旦一組幾何物件已經處理及光柵化成像素資料，就調用著色器處理器502內之像素處理器邏輯(例如，像素著色器邏輯、片段著色器邏輯等)以進一步計算輸出資訊且使得結果將寫入至輸出表面(例如，色彩緩衝器、深度緩衝器、模板緩衝器等)。在一些實施例中，像素著色器或片段著色器演算待跨經光柵化物件內插之各種頂點屬性之值。在一些實施例中，著色器處理器502內之像素處理器邏輯接著執行應用程式設計介面(API)供應像素或片段著色器程式。為了執行著色器程式，著色器處理器502經由執行緒分派器504將執行緒分派至執行單元(例如，508A)。在一些實施例中，著色器處理器502使用取樣器510中之紋理取樣邏輯來存取儲存於記憶體中之紋理映射中之紋理資料。對紋理資料及輸入幾何資料之算術運算計算每一幾何片段之像素色彩資料，或捨棄來自進一步處理之一或多個像素。
在一些實施例中，資料埠514為執行緒執行邏輯500提供記憶體存取機構來將經處理資料輸出至記憶體以供圖形處理器輸出管線上之進一步處理。在一些實施例中，資料埠514包括或耦接至一或多個快取記憶體(例如，資料快取記憶體512)以經由資料埠快取用於記憶體存取之資料。
在一個實施例中，執行邏輯500亦可包括射線追蹤器505，其可提供射線追蹤加速功能性。射線追蹤器505可支援包括射線產生之指令/功能之射線追蹤指令集。射線追蹤指令集可類似於或不同於圖2C中之射線追蹤核心245所支援之射線追蹤指令集。
圖5B例示根據實施例之執行單元508之例示性內部細節。圖形執行單元508可包括指令提取單元537、通用暫存器檔案陣列(GRF)524、架構暫存器檔案陣列(ARF)526、執行緒仲裁器522、發送單元530、分支單元532、SIMD浮點單元(FPU)534之集合，及在一個實施例中專用整數SIMD ALU 535之集合。GRF 524及ARF 526包括與在圖形執行單元508中可為作用中之每一同時硬體執行緒相關聯之通用暫存器檔案及架構暫存器檔案的集合。在一個實施例中，在ARF 526中維持每一執行緒架構狀態，同時將在執行緒執行期間使用之資料儲存於GRF 524中。每一執行緒之執行狀態，包括每一執行緒之指令指標可保存於ARF 526中之執行緒特定暫存器中。
在一個實施例中，圖形執行單元508具有為同時多執行緒處理(SMT)與細粒度之交錯多執行緒處理(IMT)之組合的架構。該架構具有模組化組配，其可基於每一執行單元之同時執行緒之目標數目及暫存器之數目在設計時間進行微調，其中跨越用於執行多個同時執行緒之邏輯劃分執行單元資源。可藉由圖形執行單元508執行之邏輯執行緒之數目不限於硬體執行緒之數目，且多個邏輯執行緒可指派給每一硬體執行緒。
在一個實施例中，圖形執行單元508可共同發出多個指令，該等指令可各自為不同指令。圖形執行單元執行緒508之執行緒仲裁器522可將該等指令分派至發送單元530、分支單元532或一或多個SIMD FPU 534中之一者以供執行。每一執行緒可存取GRF 524內之128個通用暫存器，其中每一暫存器可儲存32位元組，可存取為32位元資料元素之SIMD 8元素向量。在一個實施例中，每一執行單元執行緒可存取GRF 524內之4千拜，但實施例不限於此，且在其他實施例中可提供更多或更少暫存器資源。在一個實施例中，圖形執行單元508分割成可獨立地進行計算操作之七個硬體執行緒，但每一執行單元之執行緒之數目亦可根據實施例而改變。舉例而言，在一個實施例中，支援至多16個硬體執行緒。在七個執行緒可存取4千拜之實施例中，GRF 524可儲存總共28千拜。當16個執行緒可存取4千拜時，GRF 524可儲存總共64千拜。可撓性定址模式可准許暫存器一起定址以有效地建構較寬暫存器或表示跨步矩形區塊資料結構。
在一個實施例中，記憶體操作、取樣器操作及其他較長潛時系統通訊經由藉由訊息傳遞發送單元530執行之「發送」指令分派。在一個實施例中，將分支指令分派至專用分支單元532以有助於SIMD發散及最終聚合。
在一個實施例中，圖形執行單元508包括一或多個SIMD浮點單元(FPU)534以進行浮點運算。在一個實施例中，一或多個FPU 534亦支援整數計算。在一個實施例中，一或多個FPU 534可SIMD執行至多M
數目之32位元浮點(或整數)操作，或SIMD執行至多2M
之16位元整數或16位元浮點運算。在一個實施例中，一或多個FPU中之至少一者提供擴展數學能力以支援高輸送量超越數學函數及雙精度54位元浮點。在一些實施例中，亦存在8位元整數SIMD ALU 535之集合，且其可特定地經最佳化以進行與機器學習計算相關聯之操作。
在一個實施例中，圖形執行單元508之多個例項之陣列可在圖形子核心分組(例如，子圖塊)中經具現化。對於可縮放性，產品架構師每一子核心分組可選擇確切數目之執行單元。在一個實施例中，執行單元508可跨越複數個執行通道執行指令。在另一實施例中，圖形執行單元508上執行之每一執行緒執行於不同通道上。
圖6
例示根據實施例之額外執行單元600。執行單元600可為用於例如圖3C中之計算引擎砌塊340A至340D之計算最佳化執行單元，但不限於此。執行單元600之變體亦可用於圖3B中之圖形引擎砌塊310A至310D中。在一個實施例中，執行單元600包括執行緒控制單元601、執行緒狀態單元602、指令提取/預提取單元603及指令解碼單元604。執行單元600另外包括暫存器檔案606，其儲存可指派給執行單元內之硬體執行緒之暫存器。執行單元600另外包括發送單元607及分支單元608。在一個實施例中，發送單元607及分支單元608可與圖5B之圖形執行單元508之發送單元530及分支單元532類似地操作。
執行單元600亦包括計算單元610，其包括多種不同類型的功能單元。在一個實施例中，計算單元610包括ALU單元611，其包括算術邏輯單元陣列。ALU單元611可經組配以進行64位元、32位元及16位元整數及浮點運算。整數及浮點運算可同時進行。計算單元610亦可包括脈動陣列612及數學單元613。脈動陣列612包括可用於以脈動方式進行向量或其他資料並行操作的資料處理單元之W
寬及D
深網路。在一個實施例中，脈動陣列612可經組配以進行矩陣運算，諸如矩陣點積運算。在一個實施例中，脈動陣列612支援16位元浮點運算，以及8位元及4位元整數運算。在一個實施例中，脈動陣列612可經組配以加速機器學習操作。在此類實施例中，脈動陣列612可經組配為支援bfloat 16位元浮點格式。在一個實施例中，可包括數學單元613以相較於ALU單元611以高效且低功率方式進行數學運算之特定子集。數學單元613可包括由其他實施例提供之圖形處理引擎之共用功能邏輯中可發現之數學邏輯之變體(例如，圖4之共用功能邏輯420之數學邏輯422)。在一個實施例中，數學單元613可經組配以進行32位元及64位元浮點運算。
執行緒控制單元601包括用以控制執行單元內之執行緒之執行的邏輯。執行緒控制單元601可包括用以啟動、終止及先占執行單元600內之執行緒之執行的執行緒仲裁邏輯。執行緒狀態單元602可用於儲存經指派以執行於執行單元600上之執行緒之執行緒狀態。將執行緒狀態儲存於執行單元600內使得在彼等執行緒被阻斷或空閒時能夠迅速先占執行緒。指令提取/預提取單元603可自較高層級執行邏輯之指令快取記憶體(例如，圖5A中之指令快取記憶體506)提取指令。指令提取/預提取單元603亦可基於對當前執行執行緒之分析發出對指令之預提取請求以載入至指令快取記憶體中。指令解碼單元604可用於解碼指令以藉由計算單元執行。在一個實施例中，指令解碼單元604可用作輔助解碼器以將複雜指令解碼成構成的微操作。
執行單元600另外包括可由執行單元600上執行之硬體執行緒使用的暫存器檔案606。暫存器檔案606中之暫存器可跨越用於執行執行單元600之計算單元610內之多個同時執行緒的邏輯進行劃分。可藉由圖形執行單元600執行之邏輯執行緒之數目不限於硬體執行緒之數目，且多個邏輯執行緒可指派給每一硬體執行緒。暫存器檔案606之大小可基於所支援硬體執行緒之數目跨越實施例而改變。在一個實施例中，暫存器重命名可用於將暫存器動態地分配至硬體執行緒。
圖7
為例示根據一些實施例之圖形處理器指令格式700之方塊圖。在一或多個實施例中，圖形處理器執行單元支援具有呈多個格式之指令的指令集。實線框例示通常包括於執行單元指令中之組分，而虛線包括任擇的或僅包括於該等指令之子集中的組分。在一些實施例中，描述及例示之指令格式700為宏指令，因為它們為供應給執行單元之指令，與處理指令時產生於指令解碼之微操作相反。
在一些實施例中，圖形處理器執行單元原生地支援呈128位元指令格式710之指令。64位元緊湊指令格式730可供用於基於選定指令、指令選項及運算元之數目的一些指令。原生128位元指令格式710提供對所有指令選項之存取，而一些選項及操作在64位元格式730中受到限制。在64位元格式730中可用之原生指令按實施例變化。在一些實施例中，使用索引欄位713中索引值之集合來部分地壓縮指令。執行單元硬體參考基於索引值之壓縮表格之集合且使用壓縮表格輸出來重建構呈128位元指令格式710之原生指令。可使用其他大小及格式之指令。
對於每一格式，指令作業碼712界定執行單元將進行之操作。執行單元跨各運算元之多個資料元素並行地執行各指令。舉例而言，回應於添加指令，執行單元跨表示紋理元素或像元之每一色彩通道進行同時添加操作。按預設，執行單元跨運算元之所有資料通道進行各指令。在一些實施例中，指令控制欄位714使得能夠控制某些執行選項，諸如通道選擇(例如，預測)及資料通道次序(例如，摻和)。對於呈128位元指令指令710之指令，exec-size欄位716限制將並行地執行的資料通道之數目。在一些實施例中，exec-size欄位716不可用於64位元緊湊指令格式730。
一些執行單元指令具有至多三個運算元，包括二個源運算元src0 720、src1 722及一個目的地718。在一些實施例中，執行單元支援雙目的地指令，其中該等目的地中之一者經暗示。資料操縱指令可具有第三源運算元(例如，SRC2 724)，其中指令作業碼712判定源運算元之數目。指令的最後一個源運算元可為藉由指令傳遞之即時(例如，經硬寫碼)值。
在一些實施例中，128位元指令格式710包括指定例如使用直接暫存器定址模式抑或間接暫存器定址模式之存取/定址模式欄位726。當使用直接暫存器定址模式時，一或多個運算元之暫存器位址直接由指令中之位元提供。
在一些實施例中，128位元指令格式710包括存取/定址模式欄位726，其指定指令之定址模式及/或存取模式。在一個實施例中，存取模式用以界定指令之資料存取對準。一些實施例支援存取模式，包括16位元組對準存取模式及1位元組對準存取模式，其中存取模式之位元組對準判定指令運算元之存取對準。舉例而言，當在第一模式下時，指令可將位元組對準定址用於源及目的地運算元，且當在第二模式下時，指令可將16位元組對準定址用於所有源及目的地運算元。
在一個實施例中，存取/定址模式欄位726之定址模式部分判定指令將使用直接定址抑或間接定址。當使用直接暫存器定址模式時，指令中之位元直接提供一或多個運算元之暫存器位址。當使用間接暫存器定址模式時，可基於指令中之位址暫存器值及位址立即欄位而計算一或多個運算元之暫存器位址。
在一些實施例中，基於作業碼712位元欄位將指令分組以簡化作業碼解碼740。對於8位元作業碼，位元4、5及6允許執行單元判定作業碼之類型。所展示之精密作業碼分組僅僅為實例。在一些實施例中，移動及邏輯作業碼群組742包括資料移動及邏輯指令(例如，移動(mov)、比較(cmp))。在一些實施例中，移動及邏輯群組742共用五個最高有效位元(MSB)，其中移動(mov)指令呈0000xxxxb之形式且邏輯指令呈0001xxxxb之形式。流量控制指令群組744 (例如，呼叫、跳轉(jmp))包括呈0010xxxxb (例如，0x20)之形式的指令。雜項指令群組746包括混合之指令，包括呈0011xxxxb (例如，0x30)之形式的同步指令(例如，等待、發送)。並行數學指令群組748包括呈0100xxxxb (例如，0x40)之形式的逐個組分算術指令(例如，加、乘(mul))。並行數學群組748跨資料通道並行進行算術運算。向量數學群組750包括呈0101xxxxb (例如，0x50)之形式的算術指令(例如，dp4)。向量數學群組對向量運算元進行諸如點積演算之算術。在一個實施例中，所例示作業碼解碼740可用於判定執行單元之哪一部分將用於執行經解碼指令。舉例而言，一些指令可指定為將由脈動陣列進行之脈動指令。其他指令，諸如射線追蹤指令(未展示)可路由至執行邏輯之圖塊或分區內之射線追蹤核心或射線追蹤邏輯。圖形管線
圖8
為圖形處理器800之另一實施例的方塊圖。與本文中之任何其他圖式之元件具有相同參考編號(或名稱)的圖 8
之元件可以類似於本文中其他地方所描述之任何方式操作或起作用，但不限於此。
在一些實施例中，圖形處理器800包括幾何管線820、媒體管線830、顯示引擎840、執行緒執行邏輯850及呈現輸出管線870。在一些實施例中，圖形處理器800為包括一或多個通用處理核心之多核心處理系統內之圖形處理器。圖形處理器受至一或多個控制暫存器(未展示)之暫存器寫入控制或經由經由環形互連件802發出至圖形處理器800之命令控制。在一些實施例中，環形互連件802將圖形處理器800耦接至其他處理組件，諸如其他圖形處理器或通用處理器。來自環形互連件802之命令由命令串流器803解譯，該命令串流器將指令供應至幾何管線820或媒體管線830之個別組件。
在一些實施例中，命令串流器803指導頂點收取器805之操作，該頂點收取器自記憶體讀取頂點資料且執行由命令串流器803提供之頂點處理命令。在一些實施例中，頂點收取器805將頂點資料提供至頂點著色器807，該頂點著色器針對每一頂點進行座標空間變換及點亮操作。在一些實施例中，頂點收取器805及頂點著色器807藉由經由執行緒分派器831將執行執行緒分派至執行單元852A至852B而執行頂點處理指令。
在一些實施例中，執行單元852A至852B為具有用於進行圖形及媒體操作之指令集的向量處理器陣列。在一些實施例中，執行單元852A至852B具有附接之L1快取記憶體851，該快取記憶體對每一陣列具有特異性或在陣列之間共用。快取記憶體可經組配為資料快取記憶體、指令快取記憶體或經分割以在不同分區中含有資料及指令的單一快取記憶體。
在一些實施例中，幾何管線820包括用以進行3D物件之硬體加速鑲嵌之鑲嵌組件。在一些實施例中，可程式化殼著色器811組配鑲嵌操作。可程式化域著色器817提供鑲嵌輸出之後端評估。鑲嵌器813以殼著色器811之方向操作且含有專用邏輯以基於作為輸入提供至幾何管線820之粗略幾何模型產生詳述幾何物件之集合。在一些實施例中，若不使用鑲嵌，則可略過鑲嵌組件(例如，殼著色器811、鑲嵌器813及域著色器817)。
在一些實施例中，完整幾何物件可經由分派至執行單元852A至852B之一或多個執行緒由幾何著色器819處理，或可直接繼續進行至剪輯器829。在一些實施例中，幾何著色器對整個幾何物件進行操作，而非如在圖形管線之先前階段中對頂點或頂點之貼片進行操作。若停用鑲嵌，則幾何著色器819自頂點著色器807接收輸入。在一些實施例中，幾何著色器819可由幾何著色器程式程式化以進行幾何鑲嵌，若停用鑲嵌單元。
在光柵化之前，剪輯器829處理頂點資料。剪輯器829可為固定功能剪輯器或具有剪輯及幾何著色器功能之可程式化剪輯器。在一些實施例中，呈現輸出管線870中之光柵處理器及深度測試組件873分派像素著色器以將幾何物件轉換成其每像素表示。在一些實施例中，像素著色器邏輯包括於執行緒執行邏輯850中。在一些實施例中，應用可略過光柵處理器及深度測試組件873並經由串流輸出單元823存取未光柵化頂點資料。
圖形處理器800具有互連件匯流排、互連件網狀架構，或允許資料及訊息在處理器之大部分組件當中傳遞之一些其他互連件機構。在一些實施例中，執行單元852A至852B及相關聯邏輯單元(例如，L1快取記憶體851、取樣器854、紋理快取記憶體858等)經由資料埠856互連以進行記憶體存取並與處理器之呈現輸出管線組件通訊。在一些實施例中，取樣器854、快取記憶體851、858及執行單元852A至852B各自具有單獨的記憶體存取路徑。在一個實施例中，紋理快取記憶體858亦可組配為取樣器快取記憶體。
在一些實施例中，呈現輸出管線870含有將基於頂點之物件轉換成相關聯之基於像素之表示的光柵處理器及深度測試組件873。在一些實施例中，光柵處理器邏輯包括用以進行固定函數三角形及線光柵化之開窗程式/遮蔽器單元。相關聯呈現快取記憶體878及深度快取記憶體879亦在一些實施例中可用。像素運算組件877對資料進行基於像素之操作，但在一些情況下，與2D操作相關聯之像素運算(例如，藉由摻合進行之位元區塊影像傳送)由2D引擎841進行，或在顯示時間用使用疊加顯示平面之顯示器控制器843取代。在一些實施例中，共用之L3快取記憶體875可用於所有圖形組件，從而允許在不使用主系統記憶體之情況下共用資料。
在一些實施例中，圖形處理器媒體管線830包括媒體引擎837及視訊前端834。在一些實施例中，視訊前端834自命令串流器803接收管線命令。在一些實施例中，媒體管線830包括單獨命令串流器。在一些實施例中，視訊前端834在將命令發送至媒體引擎837之前處理媒體命令。在一些實施例中，媒體引擎837包括執行緒產生功能性以產生用於經由執行緒分派器831分派至執行緒執行邏輯850之執行緒。
在一些實施例中，圖形處理器800包括顯示引擎840。在一些實施例中，顯示引擎840在處理器800外部且經由環形互連件802與圖形處理器耦接，或與一些其他互連件匯流排或網狀架構耦接。在一些實施例中，顯示引擎840包括2D引擎841及顯示器控制器843。在一些實施例中，顯示引擎840含有能夠獨立於3D管線操作之專用邏輯。在一些實施例中，顯示器控制器843與顯示裝置(未展示)耦接，該顯示裝置可為系統整合顯示裝置(如位於膝上型電腦中)或經由顯示裝置連接器附接之外部顯示裝置。
在一些實施例中，幾何管線820及媒體管線830可經組配以基於多個圖形及媒體程式化介面進行操作且並非特定於任一個應用程式設計介面(API)。在一些實施例中，用於圖形處理器之驅動器軟體將特定於特定圖形或媒體程式庫之API呼叫轉譯成可由圖形處理器處理之命令。在一些實施例中，為均來自Khronos群組之開放圖形程式庫(OpenGL)、開放計算語言(OpenCL)及/或Vulkan圖形及計算API提供支援。在一些實施例中，亦可為來自微軟公司之Direct3D庫提供支援。在一些實施例中，可支援此等程式庫之組合。亦可對開放源電腦視覺程式庫(OpenCV)提供支援。若可做出自未來API之管線至圖形處理器之管線的映射，則亦將支援具有相容3D管線之未來API。圖形管線程式化
圖9A
為例示根據一些實施例之圖形處理器命令格式900的方塊圖。圖 9B
為例示根據一實施例之圖形處理器命令序列910的方塊圖。圖9A
中之實線框例示大體上包括於圖形命令中之組分，而虛線包括任擇的或僅包括於圖形命令之子集中的組分。圖 9A
之例示性圖形處理器命令格式900包括用以識別用戶端902、命令操作碼(作業碼) 904及用於命令之資料906的資料欄位。子作業碼905及命令大小908亦包括於一些命令中。
在一些實施例中，用戶端902指定處理命令資料之圖形裝置的用戶端單元。在一些實施例中，圖形處理器命令剖析器檢查每一命令之用戶端欄位以調節命令之進一步處理及將命令資料路由至適當用戶端單元。在一些實施例中，圖形處理器用戶端單元包括記憶體介面單元、呈現單元、2D單元、3D單元及媒體單元。每一用戶端單元具有處理命令之對應處理管線。一旦用戶端單元接收到命令，用戶端單元便讀取作業碼904且在存在子作業碼905之情況下讀取子作業碼905以判定待進行之操作。用戶端單元使用資料欄位906中之資訊進行命令。對於一些命令，預期顯式命令大小908以指定命令之大小。在一些實施例中，命令剖析器基於命令作業碼自動判定命令之至少一些的大小。在一些實施例中，命令經由雙字之倍數而對準。可使用其他命令格式。
圖9B
中之流程圖例示例示性圖形處理器命令序列910。在一些實施例中，以圖形處理器之實施例為特徵的資料處理系統之軟體或韌體使用所展示命令序列之版本來設置、執行及終止圖形操作之集合。由於實施例不限於此等特定命令或限於此命令序列，僅出於實例之目的展示及描述樣本命令序列。此外，可按命令序列中之命令之批次發出命令，使得圖形處理器將以至少部分並行方式處理命令序列。
在一些實施例中，圖形處理器命令序列910可以管線清空命令912開始，以使任何作用中圖形管線完成用於管線之當前未決之命令。在一些實施例中，3D管線922及媒體管線924不並行操作。進行管線清空以使得作用中圖形管線完成任何未決之命令。回應於管線清空，用於圖形處理器之命令剖析器將暫停命令處理，直至作用中繪圖引擎完成未決之操作且相關讀取快取記憶體無效為止。任擇地，可將呈現快取記憶體中之標記為「已變更」之任何資料清空至記憶體。在一些實施例中，管線清空命令912可用於管線同步或在將圖形處理器置於低功率狀態之前使用。
在一些實施例中，管線選擇命令913在命令序列需要圖形處理器在管線之間明確切換時使用。在一些實施例中，管線選擇命令913在發出管線命令之前在執行上下文內僅需要一次，除非上下文將發出用於二個管線之命令。在一些實施例中，在管線經由管線選擇命令913切換之前立即需要管線清空命令912。
在一些實施例中，管線控制命令914組配用於操作之圖形管線且用於程式化3D管線922及媒體管線924。在一些實施例中，管線控制命令914組配作用中管線之管線狀態。在一實施例中，管線控制命令914用於管線同步，且在處理一批命令之前自作用中管線內之一或多個快取記憶體將資料清除。
在一些實施例中，返回緩衝器狀態命令916用於組配各別管線之返回緩衝器之集合以寫入資料。一些管線操作需要分配、選擇或組配一或多個返回緩衝器，在處理期間操作將中間資料寫入至該一或多個返回緩衝器中。在一些實施例中，圖形處理器亦使用一或多個返回緩衝器來儲存輸出資料及來進行跨執行緒通訊。在一些實施例中，返回緩衝器狀態916包括選擇用於管線操作之集合的返回緩衝器之大小及數目。
命令序列中之剩餘命令基於用於操作之作用中管線而不同。基於管線判定920，將命令序列定製至以3D管線狀態930開始之3D管線922，或以媒體管線狀態940開始之媒體管線924。
用於組配3D管線狀態930之命令包括用於以下各者之3D狀態設定命令：頂點緩衝器狀態、頂點元素狀態、恆定色彩狀態、深度緩衝器狀態，及在處理3D基元命令之前待組配之其他狀態變數。至少部分地基於使用中之特定3D API判定此等命令之值。在一些實施例中，若某些管線元件將不再使用，則3D管線狀態930命令亦能夠選擇性地停用或略過某些管線元件。
在一些實施例中，3D基元932命令用於提交待由3D管線處理之3D基元。經由3D基元932命令傳遞至圖形處理器之命令及相關聯參數經轉遞至圖形管線中之頂點提取函數。頂點提取函數使用3D基元932命令資料產生頂點資料結構。頂點資料結構儲存於一或多個返回緩衝器中。在一些實施例中，3D基元932命令用於經由頂點著色器對3D基元進行頂點操作。為處理頂點著色器，3D管線922將著色器執行緒分派至圖形處理器執行單元。
在一些實施例中，3D管線922經由執行934命令或事件而觸發。在一些實施例中，暫存器寫入觸發命令執行。在一些實施例中，執行經由命令序列中之「移至」或「跳出」命令而觸發。在一個實施例中，使用管線同步命令觸發命令執行以經由圖形管線清空命令序列。3D管線將進行用於3D基元之幾何處理。一旦操作完成，便使所得幾何物件光柵化且像素引擎將所得像素著色。對於彼等操作，亦可包括用以控制像素著色及像素後端操作之額外命令。
在一些實施例中，圖形處理器命令序列910在進行媒體操作時遵循媒體管線924路徑。一般而言，用於媒體管線924之特定用途及程式化方式取決於待進行之媒體或計算操作。可在媒體解碼期間將特定媒體解碼操作卸載至媒體管線。在一些實施例中，亦可略過媒體管線且可使用由一或多個通用處理核心提供之資源整體或部分進行媒體解碼。在一個實施例中，媒體管線亦包括用於通用圖形處理器單元(GPGPU)操作之元件，其中圖形處理器用於使用與圖形基元之呈現不明確相關之計算著色器程式來進行SIMD向量運算。
在一些實施例中，媒體管線924與3D管線922以類似方式組配。用於組配媒體管線狀態940之命令之集合在媒體物件命令942之前被分派或置放於命令佇列中。在一些實施例中，用於媒體管線狀態940之命令包括將用於處理媒體物件之用於組配媒體管線元件之資料。此包括用以組配媒體管線內之視訊解碼及視訊編碼邏輯的資料，諸如編碼或解碼格式。在一些實施例中，用於媒體管線狀態940之命令亦支援使用指向含有一批狀態設定之「間接」狀態元素之一或多個指標。
在一些實施例中，媒體物件命令942將指標供應至媒體物件以用於由媒體管線處理。媒體物件包括含有待處理視訊資料之記憶體緩衝器。在一些實施例中，所有媒體管線狀態在發出媒體物件命令942之前必須為有效的。一旦管線狀態經組配且媒體物件命令942經佇列，媒體管線924就經由執行命令944或等效執行事件(例如，暫存器寫入)而觸發。來自媒體管線924之輸出可接著由由3D管線922或媒體管線924提供之操作進行後處理。在一些實施例中，GPGPU操作與媒體操作以類似方式組配及執行。圖形軟體架構
圖10
例示用於根據一些實施例之資料處理系統1000之例示性圖形軟體架構。在一些實施例中，軟體架構包括3D圖形應用程式1010、作業系統1020及至少一個處理器1030。在一些實施例中，處理器1030包括圖形處理器1032及一或多個通用處理器核心1034。圖形應用程式1010及作業系統1020各自執行於資料處理系統之系統記憶體1050中。
在一些實施例中，3D圖形應用程式1010含有包括著色器指令1012之一或多個著色器程式。著色器語言指令可呈高級著色器語言，諸如Direct3D之高級著色器語言(HLSL)或OpenGL著色器語言(GLSL)等。該應用程式亦包括呈適合於由通用處理器核心1034執行之機器語言的可執行指令1014。該應用程式亦包括由頂點資料界定之圖形物件1016。
在一些實施例中，作業系統1020為來自微軟公司之Microsoft® Windows®作業系統、專用類UNIX作業系統或使用Linux內核之變體的開放源類UNIX作業系統。作業系統1020可支援圖形API 1022，諸如Direct3D API、OpenGL API或Vulkan API。當Direct3D API在使用中時，作業系統1020使用前端著色器編譯器1024將HLSL下之任何著色器指令1012編譯成較低階著色器語言。編譯可為即時(JIT)編譯或應用程式可進行著色前編譯。在一些實施例中，在3D圖形應用程式1010之編譯期間將高級著色器編譯成低級著色器。在一些實施例中，著色器指令1012以中間形式提供，諸如由Vulkan API使用之標準攜帶型中間表示(SPIR)之版本。
在一些實施例中，使用者模式圖形驅動器1026含有後端著色器編譯器1027以將著色器指令1012轉換成硬體特定表示。當OpenGL API在使用中時，將GLSL高階語言下之著色器指令1012傳遞至使用者模式圖形驅動器1026以供編譯。在一些實施例中，使用者模式圖形驅動器1026使用作業系統內核模式功能1028與內核模式圖形驅動器1029通訊。在一些實施例中，內核模式圖形驅動器1029與圖形處理器1032通訊以分派命令及指令。IP 核心實施
至少一個實施例之一或多個態樣可由儲存於機器可讀媒體上之代表性程式碼實施，機器可讀媒體表示及/或界定諸如處理器之積體電路內的邏輯。舉例而言，機器可讀媒體可包括表示處理器內之各種邏輯的指令。當由機器讀取時，指令可使得機器製造邏輯以進行本文中所描述之技術。此等表示(稱為「IP核心」)為可作為描述積體電路之結構的硬體模型儲存於有形機器可讀媒體上之積體電路的可再用邏輯單元。可將硬體模型供應至各種消費者或製造機構，其裝載關於製造積體電路之製造機器的硬體模型。可製造積體電路，使得電路進行與本文中所描述之實施例中的任一者相關聯所描述之操作。
圖11A
為例示根據實施例之可用以製造積體電路以進行操作之IP核心開發系統1100的方塊圖。IP核心開發系統1100可用以產生可併入於較大設計中或用以建構完整積體電路(例如，SOC積體電路)之模組化可再用設計。設計設施1130可以高級程式設計語言(例如，C/C++)產生IP核心設計之軟體模擬1110。軟體模擬1110可用於使用模擬模型1112設計、測試及驗證IP核心之行為。模擬模型1112可包括功能、行為及/或定時模擬。暫存器傳送級(RTL)設計1115接著可由模擬模型1112形成或合成。RTL設計1115為模型化數位信號在硬體暫存器之間的流動的積體電路之行為之抽象化，包括使用模型化數位信號進行之相關聯邏輯。除了RTL設計1115以外，亦可形成、設計或合成邏輯層級或電晶體層級處之較低層級設計。因此，初始設計及模擬之特定細節可變化。
RTL設計1115或等效者可進一步由設計設施合成至硬體模型1120中，該硬體模型可呈硬體描述語言(HDL)，或實體設計資料之一些其他表示。可進一步模擬或測試HDL以驗證IP核心設計。可儲存IP核心設計以供遞送至使用非依電性記憶體1140 (例如，硬碟、快閃記憶體或任何非依電性儲存媒體)之第3方製造設施1165。替代地，可經由有線連接1150或無線連接1160 (例如，經由網際網路)傳輸IP核心設計。製造設施1165接著可製造至少部分基於IP核心設計之積體電路。所製造積體電路可經組配以根據本文中所描述之至少一個實施例而進行操作。
圖11B
例示根據本文中所描述之一些實施例的積體電路封裝總成1170之橫截面側視圖。積體電路封裝總成1170例示如本文中所描述之一或多個處理器或加速器裝置之實施。封裝總成1170包括連接至基體1180之硬體邏輯1172、1174之多個單元。邏輯1172、1174可至少部分地實施於可組配邏輯或固定功能性邏輯硬體中，且可包括一或多個處理器核心、一或多個圖形處理器或本文中所描述之其他加速器裝置中之任一者的一或多個部分。邏輯1172、1174之每一單元可實施於半導體晶粒內且經由互連結構1173與基體1180耦接。互連結構1173可經組配以在邏輯1172、1174與基體1180之間路由電信號，且可包括互連件，諸如但不限於凸塊或支柱。在一些實施例中，互連結構1173可經組配以路由電信號，諸如輸入/輸出(I/O)信號及/或與邏輯1172、1174之操作相關聯之功率或接地信號。在一些實施例中，基體1180為基於環氧樹脂之層壓基體。在其他實施例中，基體1180可包括其他合適類型之基體。封裝總成1170可經由封裝互連件1183連接至其他電氣裝置。封裝互連件1183可耦接至基體1180之表面以將電信號路由至其他電氣裝置，諸如主板、其他晶片組或多晶片模組。
在一些實施例中，邏輯1172、1174之單元與經組配以在邏輯1172、1174之間路由電信號的橋接件1182電耦接。橋接件1182可為緻密互連結構，其為電信號提供路由。橋接件1182可包括由玻璃或合適的半導體材料構成之橋接基體。電佈線特徵可形成於橋接基體上以在邏輯1172、1174之間提供晶片間連接。
儘管例示了邏輯1172、1174之二個單元及橋接件1182，但本文中所描述之實施例可包括一或多個晶粒上之更多或更少邏輯單元。該一或多個晶粒可由零或多個橋接件連接，因為當單一晶粒上包括邏輯時可排除橋接件1182。替代地，多個晶粒或邏輯單元可由一或多個橋接件連接。另外，多個邏輯單元、晶粒及橋接件在其他可能組配(包括三維組配)中可連接在一起。
圖11C
例示封裝總成1190，其包括連接至基體1180 (例如，基礎晶粒)之硬體邏輯小晶片之多個單元。如本文中所描述之圖形處理單元、並行處理器及/或計算加速器可由單獨製造之各種矽小晶片構成。在此上下文中，小晶片為至少部分封裝之積體電路，其包括可與其他小晶片一起裝配成較大封裝之相異邏輯單元。小晶片與不同IP核心邏輯之各種集合可裝配成單一裝置。另外，小晶片可使用主動插入件技術整合至基礎晶粒或基礎小晶片中。本文中所描述之概念使得能夠在GPU內之不同形式之IP之間進行互連及通訊。IP核心可使用不同程序技術製造且在製造期間合成，這會避免將多個IP (尤其在具有若干形式之IP之較大SoC上)聚合至同一製造程序之複雜度。使得能夠使用多種程序技術改良了上市時間且提供了形成多個產品SKU之節約成本的方式。另外，分解IP較適合於獨立地進行功率選通，不在給定工作負載下使用之組件可經斷電，從而減小總功耗。
硬體邏輯小晶片可包括專用硬體邏輯小晶片1172、邏輯或I/O小晶片1174及/或記憶體小晶片1175。硬體邏輯小晶片1172及邏輯或I/O小晶片1174可至少部分地實施於可組配邏輯或固定功能性邏輯硬體中，且可包括一或多個處理器核心、一或多個圖形處理器、並行處理器或本文中所描述之其他加速器裝置中之任一者之一或多個部分。記憶體小晶片1175可為DRAM (例如，GDDR、HBM)記憶體或快取(SRAM)記憶體。
每一小晶片可製造為單獨半導體晶粒且經由互連結構1173與基體1180耦接。互連結構1173可經組配以在基體1180內之各種小晶片與邏輯之間路由電信號。互連結構1173可包括互連件，諸如但不限於凸塊或支柱。在一些實施例中，互連結構1173可經組配以路由電信號，諸如輸入/輸出(I/O)信號及/或與邏輯、I/O及記憶體小晶片之操作相關聯的功率或接地信號。
在一些實施例中，基體1180為基於環氧樹脂之層壓基體。在其他實施例中，基體1180可包括其他合適類型之基體。封裝總成1190可經由封裝互連件1183連接至其他電氣裝置。封裝互連件1183可耦接至基體1180之表面以將電信號路由至其他電氣裝置，諸如主板、其他晶片組或多晶片模組。
在一些實施例中，邏輯或I/O小晶片1174及記憶體小晶片1175可經由經組配以在邏輯或I/O小晶片1174與記憶體小晶片1175之間路由電信號的橋接件1187電耦接。橋接件1187可為緻密互連結構，其為電信號提供路由。橋接件1187可包括由玻璃或合適的半導體材料構成之橋接基體。電佈線特徵可形成於橋接基體上以在邏輯或I/O小晶片1174與記憶體小晶片1175之間提供晶片間連接。橋接件1187亦可被稱作矽橋接件或互連橋。舉例而言，在一些實施例中，橋接件1187為嵌入式多晶粒互連橋(EMIB)。在一些實施例中，橋接件1187僅可為自一個小晶片至另一小晶片之直接連接。
基體1180可包括用於I/O 1191、快取記憶體1192及其他硬體邏輯1193之硬體組件。網狀架構1185可嵌入於基體1180中以使得能夠在基體1180內之各種邏輯小晶片與邏輯1191、1193之間進行通訊。在一個實施例中，I/O 1191、網狀架構1185、快取記憶體、橋接件及其他硬體邏輯1193可整合至在基體1180之頂部上分層之基礎晶粒中。
在各種實施例中，封裝總成1190可包括藉由網狀架構1185或一或多個橋接件1187互連之更少或更多數目之組件及小晶片。封裝總成1190內之小晶片可以3D或2.5D配置來配置。一般而言，橋接結構1187可用於促進例如邏輯或I/O小晶片與記憶體小晶片之間的點對點互連。網狀架構1185可用於互連各種邏輯及/或I/O小晶片(例如，小晶片1172、1174、1191、1193)與其他邏輯及/或I/O小晶片。在一個實施例中，基體內之快取記憶體1192可充當用於封裝總成1190之全域快取記憶體、分佈式全域快取記憶體之部分，或用於網狀架構1185之專用快取記憶體。
圖11D
例示根據實施例的包括可互換小晶片1195之封裝總成1194。可互換小晶片1195可裝配至一或多個基礎小晶片1196、1198上之標準化槽中。基礎小晶片1196、1198可經由橋接互連件1197耦接，該橋接互連件可類似於本文中所描述之其他橋接互連件且可為例如EMIB。記憶體小晶片亦可經由橋接互連件連接至邏輯或I/O小晶片。I/O及邏輯小晶片可經由互連件網狀架構通訊。基礎小晶片可各自支援用於邏輯或I/O或記憶體/快取記憶體中之一者的呈標準化格式之一或多個槽。
在一個實施例中，SRAM及功率遞送電路可製造至基礎小晶片1196、1198中之一或多者中，其可相對於堆疊於基礎小晶片之頂部上的可互換小晶片1195使用不同程序技術製造。舉例而言，基礎小晶片1196、1198可使用大型程序技術製造，而可互換小晶片可使用小型程序技術製造。可互換小晶片1195中之一或多者可為記憶體(例如，DRAM)小晶片。可基於功率及/或針對使用封裝總成1194之產品之效能為封裝總成1194選擇不同記憶體密度。另外，可在裝配時基於功率及/或針對產品之效能選擇具有不同數目之類型之功能單元的邏輯小晶片。另外，含有不同類型之IP邏輯核心之小晶片可插入至可互換小晶片槽中，從而允許可混合及匹配不同技術IP區塊之混合式處理器設計。晶片積體電路上之例示性系統
圖12 至圖14
例示根據本文中所描述之各種實施例的可使用一或多個IP核心製造之例示性積體電路及相關聯圖形處理器。除所例示內容之外，可包括其他邏輯及電路，包括額外圖形處理器/核心、周邊介面控制器，或通用處理器核心。
圖12
為例示根據實施例之可使用一或多個IP核心製造的例示性系統單晶片積體電路1200之方塊圖。例示性積體電路1200包括一或多個應用程式處理器1205 (例如，CPU)、至少一個圖形處理器1210，且可另外包括影像處理器1215及/或視訊處理器1220，該等處理器中之任一者可為來自同一或多個不同設計機構之模組化IP核心。積體電路1200包括周邊或匯流排邏輯，包括USB控制器1225、UART控制器1230、SPI/SDIO控制器1235及I2
S/I2
C控制器1240。另外，積體電路可包括顯示裝置1245，其耦接至高清多媒體介面(HDMI)控制器1250及行動工業處理器介面(MIPI)顯示介面1255中之一或多者。儲存裝置可由包括快閃記憶體及快閃記憶體控制器之快閃記憶體子系統1260提供。記憶體介面可經由記憶體控制器1265提供以用於存取SDRAM或SRAM記憶體裝置。一些積體電路另外包括嵌入式安全性引擎1270。
圖13 至圖14
為例示根據本文中所描述之實施例的用於SoC內之例示性圖形處理器的方塊圖。圖 13A
例示根據實施例的可使用一或多個IP核心製造的系統單晶片積體電路之例示性圖形處理器1310。圖13B
例示根據實施例的可使用一或多個IP核心製造的系統單晶片積體電路之額外例示性圖形處理器1340。圖13A之圖形處理器1310為低功率圖形處理器核心之實例。圖13B之圖形處理器1340為較高效能圖形處理器核心之實例。圖形處理器1310、1340中之每一者可為圖 12
之圖形處理器1210之變體。
如圖 13
中所示，圖形處理器1310包括頂點處理器1305及一或多個片段處理器1315A至1315N (例如，1315A、1315B、1315C、1315D至1315N-1及1315N)。圖形處理器1310可經由單獨邏輯執行不同著色器程式，使得頂點處理器1305經最佳化以執行頂點著色器程式之操作，而該一或多個片段處理器1315A至1315N執行片段或像素著色器程式之片段(例如，像素)著色操作。頂點處理器1305進行3D圖形管線之頂點處理階段並產生基元及頂點資料。一或多個片段處理器1315A至1315N使用頂點處理器1305產生之基元及頂點資料來產生顯示於顯示裝置上之圖框緩衝器。在一個實施例中，一或多個片段處理器1315A至1315N經最佳化以執行如OpenGL API中所提供之片段著色器程式，OpenGL API可用於進行與如Direct 3D API中所提供之像素著色器程式類似的操作。
圖形處理器1310另外包括一或多個記憶體管理單元(MMU) 1320A至1320B、一或多個快取記憶體1325A至1325B，及一或多個電路互連件1330A至1330B。該一或多個MMU 1320A至1320B提供圖形處理器1310 (包括頂點處理器1305及/或一或多個片段處理器1315A至1315N)之虛擬至實體位址映射，這可參考儲存於記憶體中之頂點或影像/紋理資料，除儲存於一或多個快取記憶體1325A至1325B中之頂點或影像/紋理資料之外。在一個實施例中，該一或多個MMU 1320A至1320B可與系統內之其他MMU (包括與圖 12
之一或多個應用程式處理器1205、影像處理器1215及/或視訊處理器1220相關聯的一或多個MMU)同步，使得每一處理器1205至1220可參與共用或聯合虛擬記憶體系統。根據實施例，該一或多個電路互連件1330A至1330B使得圖形處理器1310能夠經由SoC之內部匯流排或經由直接連接與SoC內之其他IP核心介接。
如圖 14
所示，圖形處理器1340包括圖 13
之圖形處理器1310之一或多個MMU 1320A至1320B、一或多個快取記憶體1325A至1325B，及一或多個電路互連件1330A至1330B。圖形處理器1340包括一或多個著色器核心1355A至1355N (例如，1455A、1355B、1355C、1355D、1355E、1355F至1355N-1及1355N)，其提供聯合著色器核心架構，其中單一核心或類型或核心可執行所有類型之可程式化著色器程式碼，包括實施頂點著色器、片段著色器及/或計算著色器之著色器程式碼。當前著色器核心之確切數目在實施例及實施之間可改變。另外，圖形處理器1340包括核心間任務管理器1345，其充當執行緒分派器以將執行緒分派至一或多個著色器核心1355A至1355N及拼貼單元1358來加速基於砌塊之呈現的拼貼操作，其中場景之呈現操作在影像空間中經細分，例如以利用場景內之局部空間相干性或最佳化內部快取記憶體之使用。
圖15
例示初始訓練實施。機器學習引擎1500 (例如，CNN)接收具有各種每像素資料通道(諸如，像素顏色、深度、法線、法線偏差、基元ID及反照率)之N×N像素區域作為高樣本計數影像資料1702，且產生最終像素顏色。使用一個圖框之低樣本計數輸入1501產生代表性訓練資料。針對此等輸入訓練網路，從而產生「理想」權重1505之集合，機器學習引擎1500隨後在運行時間使用該等權重對低樣本計數影像進行去雜。
為了改良上述技術，產生每一圖框或圖框子集(例如，每N個圖框，其中N=2、3、4、10、25等)之新訓練資料之去雜階段經擴增。詳言之，如圖 16
中所例示，選擇每一圖框中之一或多個區域，在此處被稱作「新參考區域」1602，其以高樣本計數呈現至單獨高樣本計數緩衝器1604中。低樣本計數緩衝器1603儲存低樣本計數輸入圖框1601 (包括對應於新參考區域1602之低樣本區域1604)。
可隨機選擇新參考區域1602之位置。替代地，可針對每一新圖框以預先指定方式調整新參考區域1602之位置(例如，使用區域在圖框之間的預定義移動，限於圖框之中心中之指定區域等)。
無關於如何選擇新參考區域，其由機器學習引擎1600使用以連續地優化及更新用於去雜之經訓練權重1605。詳言之，呈現來自每一新參考區域1602之參考像素顏色及來自對應低樣本計數區域1607之有雜訊參考像素輸入。接著使用高樣本計數參考區域1602及對應低樣本計數區域1607對機器學習引擎1600進行補充訓練。相比於初始訓練，在運行時間期間針對每一新參考區域1602連續進行此訓練-由此確保精確訓練機器學習引擎1600。舉例而言，可評估每像素資料通道(例如，像素顏色、深度、法線、法線偏差等)，機器學習引擎1600使用每像素資料通道對經訓練權重1605進行調整。如在訓練情況(圖 15
)下，針對理想權重1605之集合訓練機器學習引擎1600以用於自低樣本計數輸入圖框1601移除雜訊以產生經去雜圖框1620。然而，基於新類型之低樣本計數輸入圖框1601之新影像特性連續地更新經訓練權重1605。
由機器學習引擎1600進行之重新訓練操作可在圖形處理器單元(GPU)或主機處理器上之背景處理程序中並行地執行。可實施為驅動器組件及/或GPU硬體組件之呈現迴路可連續產生新訓練資料(例如，呈新參考區域1602形式)，呈現迴路將新訓練資料置於佇列中。執行於GPU或主機處理器上之背景訓練程序可連續自此佇列讀取新訓練資料、重新訓練機器學習引擎1600，且以適當間隔用新權重1605更新機器學習引擎。
圖 17
例示一個此類實施之實例，其中藉由主機CPU 1710實施背景訓練程序1700。詳言之，背景訓練程序1700使用高樣本計數新參考區域1602及對應低樣本區域1604來連續地更新經訓練權重1605，由此更新機器學習引擎1600。
如圖 18A
中所例示，對於多人在線遊戲之非限制性實例，不同主機機器1820至1822個別地產生背景訓練程序1700A至C傳輸至伺服器1800 (例如，遊戲伺服器)之參考區域。伺服器1800接著使用自主機1821至1822中之每一者接收到之新參考區域對機器學習引擎1810進行訓練，從而更新如先前描述之權重1805。伺服器將此等權重1805傳輸至儲存權重1605A至C之主機機器1820，由此更新每一個別機器學習引擎(未展示)。因為可在較短時段內為伺服器1800提供大量參考區域，因此伺服器可針對由使用者執行之任何給定應用程式(例如，在線遊戲)高效且精確地更新權重。
如圖 18B
中所例示，不同主機機器可產生新訓練權重(例如，基於如先前描述之訓練/參考區域1602)且與伺服器1800 (例如，遊戲伺服器)共用新訓練權重，或替代地使用同級間共用協定。伺服器上之機器學習管理組件1810使用自主機機器中之每一者接收到之新權重產生組合權重1805之集合。舉例而言，組合權重1805可為由新權重產生且連續更新之平均值，如本文中所描述。一旦產生，組合權重1605A至C之複本就可傳輸且儲存於主機機器1820至1821中之每一者上，主機機器可接著使用如本文中所描述之組合權重來進行去雜操作。
半閉合迴路更新機構亦可由硬體製造商使用。舉例而言，可包括參考網路以作為由硬體製造商分配之驅動器之部分。由於驅動器使用本文中所描述之技術產生新訓練資料且將此等訓練資料連續提交回至硬體製造商，因此硬體製造商使用此資訊繼續改良其機器學習實施以供接下來的驅動器更新。
在實例實施中(例如，在呈現農場上之批處理電影呈現中)，呈現器將新近產生之訓練區域傳輸至專用伺服器或資料庫(在彼工作室之呈現農場中)，其隨時間推移聚合來自多個呈現節點之此資料。單獨機器上之單獨程序連續改良工作室之專用去雜網路，且新呈現作業始終使用最新經訓練網路。
圖19
中例示機器學習方法。該方法可實施於本文中所描述之架構上，但不限於任何特定系統或圖形處理架構。
在1901處，作為初始訓練階段之部分，針對複數個影像圖框產生低樣本計數影像資料及高樣本計數影像資料。在1902處，使用高/低樣本計數影像資料訓練機器學習去雜引擎。舉例而言，可根據訓練更新與像素特徵相關聯之卷積神經網路權重之集合。然而，可使用任何機器學習架構。
在1903處，在運行時間，產生低樣本計數影像圖框以及具有高樣本計數之至少一個參考區域。在1904處，高樣本計數參考區域由機器學習引擎及/或單獨訓練邏輯(例如，背景訓練模組1700)使用以連續地優化機器學習引擎之訓練。舉例而言，高樣本計數參考區域可與低樣本計數影像之對應部分組合使用以繼續教示機器學習引擎1904如何最有效地進行去雜。舉例而言，在CNN實施中，此可涉及更新與CNN相關聯之權重。
可實施上文所描述之多個變型，諸如至機器學習引擎之回饋迴路之組配方式、產生訓練資料之實體、訓練資料回饋至訓練引擎之方式，及經改良網路如何提供至呈現引擎。另外，儘管上文所描述之實例使用單一參考區域進行連續訓練，但可使用任何數目之參考區域。此外，如先前所提及，參考區域可具有不同大小，可用於不同數目個影像圖框上，且可使用不同技術(例如，隨機、根據預定圖案等)定位在影像圖框內之不同位置中。
另外，儘管卷積神經網路(CNN)描述為機器學習引擎1600之一個實例，但本發明之基礎原理可使用能夠連續地使用新訓練資料改進其結果之任何形式之機器學習引擎實施。以實例說明而非限制，其他機器學習實施包括分組資料處置方法(GMDH)、長短期記憶體、深度儲集器計算、深度置信網路、張量深度堆疊網路及深度預測性寫碼網路，僅舉幾例。
用於高效分佈式去雜之設備及方法
如上文所描述，去雜已變為關於平滑無雜訊影像之即時射線追蹤之關鍵特徵。可跨越多個裝置上之分佈式系統進行呈現，但到目前為止，現有去雜框架均操作於單一機器上之單一例項上。若跨越多個裝置進行呈現，則多個裝置可不具有可存取以用於計算影像之經去雜部分之所有呈現像素。
展現藉由人工智慧(AI)及非基於AI之去雜技術二者起作用的分佈式去雜演算法。影像之區域已經自分佈式呈現操作跨越節點分佈，或自單一圖框緩衝器分裂及分佈。用於計算足夠去雜所需的相鄰區域之重像區域在需要時收集自相鄰節點，且將最終所得砌塊組構成最終影像。
分佈式處理
圖20
例示進行呈現之多個節點2021至2023。儘管為簡單起見僅例示三個節點，但本發明之基礎原理不限於任何特定數目之節點。實際上，單一節點可用於實施本發明之某些實施例。
在此實例中，節點2021至2023各自呈現影像之一部分，從而產生區域2011至2013。儘管圖 20
中展示矩形區域2011至2013，但可使用任何形狀之區域且任何裝置可處理任何數目之區域。節點進行足夠平滑去雜操作所需之區域被稱為重像區域2011至2013。換言之，重像區域2001至2003表示以指定品質等級進行去雜所需的資料整體。降低品質等級減小重像區域之大小且因此減小所需資料之量，且提高品質等級增大重像區域且增加所需的對應資料。
若節點，諸如節點2021確實具有以指定品質等級對其區域2011進行去雜所需的重像區域2001之一部分之本端複本，則該節點將自一或多個「鄰近」節點，諸如擁有如所例示之重像區域2001之一部分的節點2022擷取所需的資料。類似地，若節點2022確實具有以指定品質等級對其區域2012進行去雜所需的重像區域2002之一部分之本端複本，則節點2022將自節點2021擷取所需的重像區域資料2032。擷取可對匯流排、互連件、高速記憶體網狀架構、網路(例如，高速乙太網路)進行，或可甚至為能夠在複數個核心當中分配呈現工作之多核心晶片中之晶片上互連件(例如，用於以極限解析度或時變呈現較大影像)。每一節點2021至2023可包含圖形處理器內之個別執行單元或執行單元之指定集。
待發送資料之特定量取決於正使用的去雜技術。此外，來自重像區域之資料可包括改良每一各別區域之去雜所需的任何資料。舉例而言，重像區域資料可包括影像顏色/波長、強度/α資料，及/或法線。然而，本發明之基礎原理不限於重像區域資料之任何特定集合。
額外細節
對於較慢網路或互連件，可使用現有通用無損或有損壓縮利用此資料之壓縮。實例包括但不限於zlib、gzip及Lempel-Ziv-Markov鏈演算法(LZMA)。可藉由指出圖框之間的射線命中資訊中之差量可能非常稀疏而使用進一步內容特定壓縮，且僅造成該差量之樣本需要在節點已經具有自先前圖框收集之差量時發送。此等樣本可選擇性地推入至收集彼等樣本之節點i
，或節點i
可自其他節點請求樣本。無損壓縮用於某些類型之資料及程式碼，而有損資料用於其他類型之資料。
圖21
例示節點2021至2022之間的互動之額外細節。每一節點2021至2022包括用於呈現各別影像區域2011至2012及重像區域2001至2002之射線追蹤呈現電路系統2081至2082。去雜器2100至2111分別對區域2011至2012執行去雜操作，每一節點2021至2022負責呈現及去雜。舉例而言，去雜器2021至2022可包含電路系統、軟體，或其任何組合以分別產生經去雜區域2121至2122。如所提及，當產生經去雜區域時，去雜器2021至2022可需要依賴於不同節點擁有之重像區域內之資料(例如，去雜器2100可需要來自節點2022擁有之重像區域2002之資料)。
因此，去雜器2100至2111可分別使用來自區域2011至2012及重像區域2001至2002之資料產生經去雜區域2121至2122，資料之至少一部分可自另一節點接收。區域資料管理器2101至2102可管理來自重像區域2001至2002之資料傳送，如本文中所描述。壓縮器/解壓器單元2131至2132可分別對在節點2021至2022之間交換之重像區域資料進行壓縮及解壓縮。
舉例而言，節點2021之區域資料管理器2101可在來自節點2022之請求後將資料自重像區域2001發送至壓縮器/解壓器2131，其對資料進行壓縮以產生傳輸至節點2022之經壓縮資料2106，由此減小互連件、網路、匯流排或其他資料通訊鏈路上方之頻寬。節點2022之壓縮器/解壓器2132接著對經壓縮資料2106進行解壓且去雜器2111使用解壓重像資料以相較於僅用來自區域2012之資料將可能之區域產生較高品質之經去雜區域2012。區域資料管理器2102可將來自重像區域2001之解壓資料儲存於快取記憶體、記憶體、暫存器檔案或其他儲存裝置中以在產生經去雜區域2122時使其可用於去雜器2111。可進行操作之類似集合以將資料自重像區域2002提供至節點2021上之去雜器2100，其使用該資料以及來自區域2011之資料以產生較高品質之經去雜區域2121。
獲取資料或呈現器
若裝置，諸如節點2021至2022之間的連接為緩慢的(亦即，低於臨限潛時及/或臨限頻寬)，則其可較快地在本端呈現重像區域而非請求來自其他裝置之結果。此可在運行時間藉由針對重像區域大小追蹤網路異動速度及線性外插呈現次數來判定。在這類情況下，當較快地呈現出整個重像區域時，多個裝置可最終呈現影像之相同部分。重像區域之呈現部分之解析度可基於基礎區域之方差及所判定之模糊程度而調整。
負載平衡
靜態及/或動態負載平衡方案可用於在各種節點2021至2023當中分配處理負載。對於動態負載平衡，藉由去雜濾波器所判定之方差可需要較多去雜時間，但驅動用於呈現場景之特定區域的樣本量，其中影像之低方差及模糊區域需要較少樣本。指派給特定節點之特定區域可基於來自先前圖框之資料動態地調整或在呈現該等區域時跨越裝置動態地傳達，使得所有裝置將具有相同工作量。
圖22
例示每一各別節點2021至2022上運行之監視器2201至2202如何收集效能量度資料，其包括但不限於經由網路介面2211至2212傳輸資料所消耗之時間、在對區域(具有或不具有重像區域資料)進行去雜時所消耗之時間，及呈現每一區域/重像區域所消耗之時間。監視器2201至2202將此等效能量度報告回至管理器或負載平衡器節點2201，其分析該資料以識別每一節點2021至2022上之當前工作負載且有可能判定處理各種經去雜區域2121至2122之更高效模式。管理器節點2201接著根據所偵測到之負載將用於新區域之新工作負載分配至節點2021至2022。舉例而言，管理器節點2201可將較多工作傳輸至彼等節點，其並非重載及/或重新分配來自過載之彼等節點之工作。另外，負載平衡器節點2201可傳輸重新組配命令以調整由節點中之每一者進行呈現及/或去雜的特定方式(上文描述節點之一些實例)。
判定重像區域
重像區域2001至2002之大小及形狀可基於去雜器2100至2111所實施之去雜演算法而判定。重像區域之各別大小接著可基於經去雜樣本之所偵測到之方差動態地修改。用於AI去雜之學習演算法自身可用於判定適當區域大小，或在諸如雙向模糊等其他情況下，預定濾波器寬度將判定重像區域2001至2002之大小。在使用學習演算法之例示性實施中，機器學習引擎可執行於管理器節點2201上及/或機器學習之部分可執行於個別節點2021至2023中之每一者上(參見例如圖18A至圖18B及上述相關聯文本)。
收集最終影像
可藉由自節點2021至2023中之每一者收集所呈現及經去雜區域而產生最終影像，而無對重像區域或法線之需求。在圖 22
中，舉例而言，將經去雜區域2121至2122傳輸至管理器節點2201之區域處理器2280，其組合該等區域以產生最終經去雜影像2290，該影像接著顯示於顯示器2290上。區域處理器2280可使用各種2D組構技術組合區域。儘管例示為單獨組件，但區域處理器2280及經去雜影像2290可與顯示器2290成一體式。各種節點2021至2022可使用直接發送技術傳輸經去雜區域2121至2122且有可能使用區域資料之各種有損或無損壓縮。
隨著遊戲進入雲端，AI去雜仍為昂貴操作。因而，跨越多個節點2021至2022之去雜之分佈式處理對於需要較高圖框速率之傳統遊戲或虛擬實境(VR)可變為用於達成即時圖框速率所需的。電影工作室常常亦以可用於較快去雜之較大呈現農場呈現。
圖23
中例示用於進行分佈式呈現及去雜之例示性方法。該方法可實施於上文所描述之系統架構之上下文內，但不限於任何特定系統架構。
在2301處，將圖形工作分派至複數個節點，其進行射線追蹤操作以呈現影像圖框之區域。每一節點可已經具有進行記憶體中之操作所需的資料。舉例而言，二個或多於二個節點可共用共同記憶體或節點之本端記憶體可已經具有由先前射線追蹤操作所儲存之資料。替代地或另外，可將某些資料傳輸至每一節點。
在2302處，判定指定去雜等級(亦即，在可接受效能等級下)所需的「重像區域」。重像區域包含進行指定去雜等級所需的任何資料，包括一或多個其他節點所擁有之資料。
在2303處，在節點之間交換與重像區域(或其部分)相關之資料。在2304處，每一節點對其各別區域進行去雜(例如，使用交換資料)，且在2305處，組合結果以產生最終經去雜影像圖框。
諸如圖 22
中所示之管理器節點或初級節點可將工作分派至節點且接著組合由節點進行之工作以產生最終影像圖框。基於同級之架構可在節點為交換資料以呈現及對最終影像圖框進行去雜之同級時使用。
本文中所描述之節點(例如，節點2021至2023)可為經由高速網路互連之圖形處理計算系統。替代地，節點可為耦接至高速記憶體網狀架構之個別處理元件。所有節點可共用共同虛擬記憶體空間及/或共同實體記憶體。替代地，節點可為CPU與GPU之組合。舉例而言，上文所描述之管理器節點2201可為CPU及/或CPU上執行之軟體且節點2021至2022可為GPU及/或GPU上執行之軟體。可使用各種不同類型的節點，同時仍遵守本發明之基礎原理。
實例神經網路實施
存在許多類型之神經網路；簡單類型之神經網路為前饋網路。前饋網路可實施為以層配置節點之非循環圖表。通常，前饋網路拓樸結構包括藉由至少一個隱藏層分離之輸入層及輸出層。隱藏層將由輸入層接收之輸入變換成適用於產生輸出層中之輸出之表示。網路節點經由邊緣完全連接至鄰近層中之節點，但每一層內之節點之間不存在邊緣。在前饋網路之輸入層之節點處接收之資料經由激活函數傳播(亦即，「前饋」)至輸出層之節點，激活函數基於分別與連接層之邊緣中之每一者相關聯的係數(「權重」)演算網路中每一連續層之節點之狀態。取決於由正執行之演算法表示之特定模型，來自神經網路演算法之輸出可呈各種形式。
在機器學習演算法可用於模型化特定問題之前，使用訓練資料集訓練演算法。訓練神經網路涉及選擇網路拓樸結構，使用表示藉由網路模型化之問題之訓練資料之集合，及調整權重直至網路模型對於訓練資料集之所有例項以最小誤差進行。舉例而言，在神經網路之受監督學習訓練程序期間，將回應於表示訓練資料集中之例項之輸入由網路產生之輸出與對於該例項之「正確」標記輸出進行比較，演算出表示輸出與經標記輸出之間的差異的誤差信號，且調整與連接相關聯之權重以在經由網路層後向傳播誤差信號時使該誤差最小化。當由訓練資料集之例項產生之輸出中之每一者的誤差最小化時，網路被視為「經訓練的」。
機器學習演算法之準確性可明顯受用於訓練演算法之資料集之品質影響。訓練程序可為計算密集型且可需要習知通用處理器上之大量時間。因此，並行處理硬體用於訓練許多類型之機器學習演算法。這尤其適用於最佳化神經網路之訓練，由於調整神經網路中之係數時所進行之計算自身自然地適合於並行實施。特定言之，許多機器學習演算法及軟體應用程式已經經調適成利用通用圖形處理裝置內之並行處理硬體。
圖24
為機器學習軟體堆疊2400之通用圖。機器學習應用程式2402可經組配以使用訓練資料集訓練神經網路或使用經訓練深度神經網路來實施機器智慧。機器學習應用程式2402可包括用於神經網路之訓練及推斷功能性及/或可在部署之前用於訓練神經網路之專用軟體。機器學習應用程式2402可實施任何類型之機器智慧，包括但不限於影像辨識、映射及定位、自主導航、語音合成、醫學成像，或語言翻譯。
用於機器學習應用程式2402之硬體加速可經由機器學習框架2404啟用。機器學習框架2404可實施於本文中所描述之硬體上，諸如包含處理器及本文中所描述之組件之處理系統100。與本文中之任何其他圖之元件具有相同或類似名稱之圖24所描述的元件與其他圖描述相同元件，可以類似方式操作或起作用，可包含相同組件，且可與其他實體相關，如本文中其他地方所描述之彼等實體，但不限於此。機器學習框架2404可提供機器學習基元之庫。機器學習基元為通常由機器學習演算法進行之基本操作。在不具有機器學習框架2404之情況下，機器學習演算法之開發人員將需要形成及最佳化與機器學習演算法相關聯之主要計算邏輯，接著在開發新並行處理器時重新最佳化計算邏輯。替代地，機器學習應用程式可經組配以使用由機器學習框架2404提供之基元進行必要計算。例示性基元包括張量卷積、激活函數及集用，其為在訓練卷積神經網路(CNN)時進行之計算操作。機器學習框架2404亦可提供基元以實施由許多機器學習演算法進行之基本線性代數子程式，諸如矩陣及向量運算。
機器學習框架2404可處理自機器學習應用程式2402接收到之輸入資料且產生至計算框架2406之適當輸入。計算框架2406可抽象化提供給GPGPU驅動器2408之基礎指令以使得機器學習框架2404能夠利用經由GPGPU硬體2410之硬體加速而無需機器學習框架2404對GPGPU硬體2410之架構有深入瞭解。另外，計算框架2406可使得能夠跨越GPGPU硬體2410之各種類型及產生進行機器學習框架2404之硬體加速。
GPGPU機器學習加速
圖25
例示多GPU計算系統2500，其可為處理系統100之變體。因此，本文中之任何特徵以及處理系統100之揭示內容亦揭示與多GPU計算系統2500之對應組合，但不限於此。與本文中之任何其他圖之元件具有相同或類似名稱之圖25的元件與其他圖描述相同元件，可以類似方式操作或起作用，可包含相同組件，且可與其他實體相關，如本文中其他地方所描述之彼等實體，但不限於此。多GPU計算系統2500可包括經由主機介面開關2504耦接至多個GPGPU 2506A-D之處理器2502。舉例而言，主機介面開關2504可為PCI express開關裝置，其將處理器2502耦接至PCI express匯流排，處理器2502可經由該匯流排與GPGPU 2506A-D之集合通訊。多個GPGPU 2506A-D中之每一者可為上文所描述之GPGPU之例項。GPGPU 2506A-D可經由高速點對點GPU至GPU鏈路2516之集合互連。高速GPU至GPU鏈路可經由專用GPU鏈路連接至GPGPU 2506A-D中之每一者。P2P GPU鏈路2516使得能夠在GPGPU 2506A-D中之每一者之間進行直接通訊，而無需經由與處理器2502連接之主機介面匯流排進行通訊。藉由針對P2P GPU鏈路之GPU至GPU訊務，主機介面匯流排保持可供用於系統記憶體存取或例如經由一或多個網路裝置與多GPU計算系統2500之其他例項通訊。處理器2502可包括對P2P GPU鏈路2516之直接支援且因此直接連接至GPGPU 2506A-D，而非經由主機介面開關2504將GPGPU 2506A-D連接至處理器2502。
機器學習神經網路實施
本文中所描述之計算架構可經組配以進行尤其適合於訓練及部署用於機器學習之神經網路的類型的並行處理。神經網路可概括為具有圖表關係之函數網路。如此項技術中所熟知，存在機器學習中所使用之各種類型之神經網路實施。一個例示性類型之神經網路為前饋網路，如先前所描述。
第二例示性類型之神經網路為卷積神經網路(CNN)。CNN為專用前饋神經網路，其用於處理具有已知柵格狀拓樸結構之資料，諸如影像資料。因此，CNN常用於計算視覺及影像辨識應用程式，但其亦可用於其他類型之圖案辨識，諸如語音及語言處理。將CNN輸入層中之節點組織成「濾波器」之集合(特徵偵測器受視網膜中發現之感受野啟發)，且將濾波器之每一集合之輸出傳播至網路之連續層中之節點。CNN之計算包括將卷積數學運算施加至每一濾波器以產生濾波器之輸出。卷積為由二個函數進行以產生為二個原始函數中之一者之經修改版本的第三函數的專用種類之數學運算。在卷積網路術語中，針對卷積之第一函數可被稱作輸入，而第二函數可被稱作卷積內核。輸出可被稱為特徵映射。舉例而言，至卷積層之輸入可為界定輸入影像之各種顏色分量的資料之多維陣列。卷積內核可為參數之多維陣列，其中藉由用於神經網路之訓練程序調適參數。
循環神經網路(RNN)為包括層之間的回饋連接的一類前饋神經網路。RNN使得能夠藉由跨越神經網路之不同部分共用參數資料而模型化依序資料。RNN之架構包括循環。循環表示在將來時間變數之當前值對其自身值之影響，由於來自RNN之輸出資料之至少一部分用作回饋以用於處理序列中之後續輸入。此特徵使得RNN由於可構成語言資料之變數性質尤其適用於語言處理。
下文描述之圖展現例示性前饋、CNN及RNN網路，以及描述用於分別訓練及部署彼等類型之網路中之每一者的通用程序。應理解，此等描述為例示性且非限制性的，且所例示之概念一般而言可大體上適用於深度神經網路及機器學習技術。
上文所描述之例示性神經網路可用於進行深度學習。深度學習為使用深度神經網路之機器學習。深度學習中使用之深度神經網路為由多個隱藏層構成之人工神經網路，相較於僅包括單一隱藏層之淺度神經網路。一般而言，較深神經網路訓練起來計算較為密集。然而，網路之額外隱藏層使得能夠進行多步圖案辨識，其相對於淺度機器學習技術產生減小輸出誤差。
深度學習中使用之深度神經網路通常包括耦接至後端網路之用以進行特徵辨識之前端網路，後端網路表示可基於提供給模型之特徵表示進行操作(例如，物件分類、語音辨識等)之數學模型。深度學習使得能夠進行機器學習而無需針對該模型進行手動精製之特徵工程技術。替代地，深度神經網路可基於輸入資料內之統計結構或相關性而學習特徵。所學習特徵可提供給數學模型，其可將所偵測到之特徵映射至輸出。一般而言，由網路使用之數學模型專用於待進行之特定任務，且不同模型將用於進行不同任務。
一旦神經網路經結構化，學習模型就可應用於網路以訓練網路進行特定任務。學習模型描述如何調整模型內之權重以減小網路之輸出誤差。誤差之反向傳播為用於訓練神經網路之共同方法。將輸入向量展現給網路以供處理。使用損耗函數比較網路之輸出與所需輸出，且針對輸出層中之神經元中之每一者演算出誤差值。接著反向傳播誤差值直至每一神經元具有粗略地表示其對原始輸出之貢獻之相關聯誤差值。網路接著可使用演算法，諸如隨機梯度下降演算法學習彼等誤差，以更新神經網路之權重。
圖26 至圖27
例示例示性卷積神經網路。圖 26
例示CNN內之各種層。如圖 26
中所示，用於模型化影像處理之例示性CNN可接收輸入2602，其描述輸入影像之紅色、綠色及藍色(RGB)分量。輸入2602可由多個卷積層(例如，卷積層2604、卷積層2606)處理。來自多個卷積層之輸出可任擇地由完全連接層2608之集合處理。完全連接層中之神經元與前一層中之所有激活完全連接，如先前針對前饋網路所描述。來自完全連接層2608之輸出可用於產生來自網路之輸出結果。完全連接層2608內之激活可使用矩陣乘法而非卷積計算。並非所有CNN實施均利用完全連接層。舉例而言，在一些實施中，卷積層2606可產生CNN之輸出。
卷積層稀疏地連接，這不同於完全連接層2608中發現之傳統神經網路組配。傳統神經網路層完全連接，使得每一輸出單元與每一輸入單元互動。然而，卷積層稀疏地連接，因為場之卷積之輸出為至後續層之節點之輸入(而非場中節點中之每一者之各別狀態值)，如所例示。與卷積層相關聯之內核進行卷積運算，將其輸出發送至下一層。卷積層內進行之降維為使得能夠縮放CNN以處理較大影像的一個態樣。
圖27
例示CNN之卷積層內之例示性計算階段。可在卷積層2714之三個階段中處理CNN之至卷積層之輸入2712。三個階段可包括卷積階段2716、偵測器階段2718及集用階段2720。卷積層2714接著可將資料輸出至連續卷積層。網路之最終卷積層可產生輸出特徵映射資料或將輸入提供至完全連接層，例如以產生至CNN之輸入之分類值。
在卷積階段2716中，並行地進行若干回旋以產生線性激活之集合。卷積階段2716可包括仿射變換，其為可指定為線性變換加上翻譯之任何變換。仿射變換包括旋轉、翻譯、縮放，及此等變換之組合。卷積階段計算連接至輸入中之特定區域的函數(例如，神經元)之輸出，特定區域可判定為與神經元相關聯之局部區域。神經元計算神經元之權重與連接至神經元之本端輸入中之區域之間的點積。來自卷積階段2716之輸出界定由卷積層2714之連續階段處理的線性激活之集合。
線性激活可由偵測器階段2718處理。在偵測器階段2718中，每一線性激活由非線性激活函數處理。非線性激活函數增大總網路之非線性性質而不會影響卷積層之感受野。可使用若干類型之非線性激活函數。一種特定類型為整流線性單元(ReLU)，其使用經界定為f(x)=max(0,x)之激活函數，使得激活之臨限值為零。
集用階段2720使用集用函數，其用鄰近輸出之彙總統計替代卷積層2706之輸出。集用函數可用於將翻譯不變性引入至神經網路中，使得對輸入之小翻譯不會改變經集用輸出。本端翻譯之不變性可適用於輸入資料中特徵之存在相較於該特徵之確切位置較重要的情境。可在集用階段2720期間使用各種類型之集用函數，包括最大值集用、平均值集用及l2範數集用。另外，一些CNN實施不包括集用階段。替代地，此類實施取代相對於先前卷積階段具有增大跨步之額外卷積階段。
來自卷積層2714之輸出接著可由下一層2722處理。下一層2722可為額外卷積層，或完全連接層2708中之一者。舉例而言，圖27之第一卷積層2704可輸出至第二卷積層2706，而第二卷積層可輸出至完全連接層2808中之第一層。
圖28
例示例示性循環神經網路2800。在循環神經網路(RNN)中，先前狀態之網路影響當前狀態之網路之輸出。RNN可使用各種函數以各種方式建構。一般而言，RNN之使用涉及使用數學模型基於輸入之先前序列預測未來。舉例而言，RNN可用於進行統計語言模型化以在給定字組之先前序列之情況下預測即將出現之字組。所例示RNN 2800可描述為具有接收輸入向量之輸入層2802、實施循環函數之隱藏層2804、允許先前狀態之「記憶體」之回饋機構2805，及輸出結果之輸出層2806。RNN 2800基於時間步長操作。經由回饋機構2805基於先前時間步長影響給定時間步長下RNN之狀態。對於給定時間步長，隱藏層2804之狀態由先前狀態及當前時間步長下之輸入界定。第一時間步長下之初始輸入(x1)可由隱藏層2804處理。第二輸入(x2)可由隱藏層2804使用在初始輸入(x1)之處理期間所判定之狀態資訊處理。給定狀態可計算為s_t=f(Ux_t+Ws_(t-1))，其中U及W為參數矩陣。一般而言，函數f為非線性的，諸如雙曲正切函數(Tanh)或整流函數F(x)=max(0,x)之變體。然而，隱藏層2804中使用之特定數學函數可取決於RNN 2800之特定實施細節而變化。
除所描述之基本CNN及RNN網路之外，可啟用關於彼等網路之變型。一個實例RNN變體為長短期記憶體(LSTM)RNN。LSTM RNN能夠學習長期相依性，其對於處理較長語言序列可為必需的。關於CNN之變體為卷積深度置信網路，其具有類似於CNN之結構且以類似於深度置信網路之方式訓練。深度置信網路(DBN)為由多個隨機(stochastic)(隨機(random))變數層構成的產生神經網路。DBN可使用貪心不受監督之學習逐層訓練。DBN之學習權重接著可用於藉由判定神經網路之權重之最佳初始集合而提供預訓練神經網路。
圖29
例示深度神經網路之訓練及部署。一旦已經針對任務結構化給定網路，神經網路就使用訓練資料集2902進行訓練。已開發出各種訓練框架2904使得能夠對訓練程序進行硬體加速。舉例而言，上文所描述之機器學習框架可組配為訓練框架。訓練框架2904可涉及未經訓練神經網路2906且使得能夠使用本文中所描述之並行處理資源訓練未經訓練神經網路以產生經訓練神經網路2908。
為了啟動訓練程序，可隨機或藉由使用深度置信網路預訓練來選擇初始權重。接著以受監督或不受監督方式任一者進行訓練循環。
受監督學習為一種學習方法，其中將訓練進行為調解操作，諸如當訓練資料集2902包括與輸入之所需輸出配對的輸入時或當訓練資料集包括具有已知輸出之輸入且神經網路之輸出經手動分級時。網路處理該等輸入且將所得輸出與預期或所需輸出之集合進行比較。接著經由系統傳播回誤差。可調整訓練框架2904以調整控制未經訓練神經網路2906之權重。訓練框架2904可提供工具來監視未經訓練神經網路2906朝向適合於基於已知輸入資料產生恰當應答之模型聚合的程度。當調整網路之權重以優化神經網路產生之輸出時，反覆地進行訓練程序。訓練程序可繼續直至神經網路達到與經訓練神經網路2908相關聯之統計上所需準確性。接著可部署經訓練神經網路2908以實施任何數目之機器學習操作。
不受監督學習為網路嘗試使用未經標記資料訓練自身之學習方法。因此，對於不受監督學習，訓練資料集2902將包括輸入資料而不具有任何相關聯輸出資料。未經訓練神經網路2906可學習未經標記輸入內之分組且可判定個別輸入與總資料集之關係。不受監督訓練可用於產生自組織映射，其為能夠進行適用於降低資料之維度之操作的類型的經訓練神經網路2907。不受監督訓練亦可用以進行異常偵測，其允許識別輸入資料集中偏離資料之正常模式之資料點。
亦可採用關於受監督及不受監督訓練之變型。半監督學習為訓練資料集2902中包括相同分佈之經標記與未經標記資料之混合。增量學習為輸入資料連續用於進一步訓練模型之受監督學習之變體。增量學習使得經訓練神經網路2908能夠根據新資料2912進行調適而不會忘記初始訓練期間網路內所灌輸之知識。
無論受監督抑或不受監督，尤其用於深度神經網路之訓練程序對於單一計算節點在運算上可過於密集。計算節點之分佈式網路可用於加速訓練程序，而非使用單一計算節點。
圖30A
為例示分佈式學習之方塊圖。分佈式學習為使用多個分佈式計算節點，諸如上文所描述之節點來進行神經網路之受監督或不受監督訓練的訓練模型。分佈式計算節點可各自包括一或多個主機處理器，及通用處理節點，諸如高度並行通用圖形處理單元中之一或多者。如所例示，分佈式學習可進行模型並行化3002、資料並行化3004，或模型與資料並行化之組合。
在模型並行化3002中，分佈式系統中之不同計算節點可對單一網路之不同部分進行訓練計算。舉例而言，神經網路之每一層可藉由分佈式系統之不同處理節點來訓練。模型並行化之益處包括針對特別大模型進行縮放之能力。使與神經網路之不同層相關聯之計算分裂允許訓練極大神經網路，其中所有層之權重將不適合於單一計算節點之記憶體。在一些情況下，模型並行化可尤其適用於進行較大神經網路之不受監督訓練。
在資料並行化3004中，分佈式網路之不同節點具有模型之完整例項且每一節點接收資料之不同部分。接著組合來自不同節點之結果。儘管不同的資料並行化方法為可能的，但資料並行訓練方法均需要組合結果及在每一節點之間使模型參數同步之技術。組合資料之例示性方法包括參數平均化及基於更新之資料並行化。參數平均化基於訓練資料之子集訓練每一節點且將全域參數(例如，權重、偏置)設定為來自每一節點之參數之平均值。參數平均化使用維持參數資料之中心參數伺服器。基於更新之資料並行化類似於參數平均化，除替代將參數自節點傳送至參數伺服器，傳送對該模型之更新以外。另外，基於更新之資料並行化可以分散方式進行，其中更新經壓縮且傳送於節點之間。
可例如在每一計算節點包括多個GPU之分佈式系統中實施組合模型及資料並行化3006。每一節點可具有該模型之完整例項，其中每一節點內之單獨GPU用於訓練該模型之不同部分。
分佈式訓練相對於關於單一機器之訓練增加了額外開銷。然而，本文中所描述之並行處理器及GPGPU可各自實施各種技術來減小分佈式訓練之額外開銷，包括允許高頻寬GPU至GPU資料傳送及經加速遠端資料同步之技術。
例示性機器學習應用
機器學習可應用於解決各種技術問題，包括但不限於電腦視覺、自主駕駛及導航、語音辨識，及語言處理。電腦視覺傳統上為機器學習應用中最活躍的研究領域之一。電腦視覺之應用範圍為自再現人類視覺能力，諸如辨識人臉至創建新視覺能力類別。舉例而言，電腦視覺應用可經組配以自視訊中可見之物件中引起之振動辨識聲波。並行處理器加速之機器學習使得電腦視覺應用能夠相較於先前可行之訓練資料集使用明顯較大訓練資料集來訓練且使得推斷系統能夠使用低功率並行處理器部署。
並行處理器加速之機器學習具有自主駕駛應用，其包括車道及路標辨識、避障、導航及駕駛控制。加速之機器學習技術可用於基於界定對特定訓練輸入之適當回應之資料集訓練駕駛模型。本文中所描述之並行處理器可使得能夠對用於自主駕駛解決方案之日益複雜神經網路進行迅速訓練且使得能夠將低功率推斷處理器部署於適合於整合至自主車輛中之行動平台中。
並行處理器加速之深度神經網路已啟用自動語音辨識(ASR)機器學習方法。ASR包括創建在給定輸入聲學序列之情況下計算最可能語言序列之函數。使用深度神經網路之加速機器學習已啟用先前用於ASR之隱馬爾可夫模型(HMM)及高斯混合模型(GMM)之替換。
並行處理器加速之機器學習亦可用以加速天然語言處理。自動學習程序可利用統計推斷演算法來產生對於錯誤或陌生輸入為穩固的模型。例示性天然語言處理器應用包括人類語言之間的自動機器翻譯。
用於機器學習之並行處理平台可被劃分成訓練平台及部署平台。一般而言，訓練平台高度並行且包括最佳化以加速多GPU單節點訓練及多節點多GPU訓練。適合於訓練之例示性並行處理器包括本文中所描述之高度並行通用圖形處理單元及/或多GPU計算系統。相反地，經部署機器學習平台通常包括較低功率並行處理器，其適用於諸如攝影機、自主機器人及自主車輛等產品中。
圖30B
例示適合於使用經訓練模型進行推斷之例示性推斷系統單晶片(SOC)3100。與本文中之任何其他圖之元件具有相同或類似名稱之圖30B的元件與其他圖描述相同元件，可以類似方式操作或起作用，可包含相同組件，且可與其他實體相關，如本文中其他地方所描述之彼等實體，但不限於此。SOC 3100可整合處理組件，包括媒體處理器3102、視覺處理器3104、GPGPU 3106及多核心處理器3108。SOC 3100可另外包括晶片上記憶體3105，其可允許可由處理組件中之每一者存取的共用晶片上資料集區。可針對低功率操作最佳化處理組件以使得能夠部署至各種機器學習平台，包括自主車輛及自主機器人。舉例而言，SOC 3100之一個實施可用作自主車輛之主要控制系統之一部分。當SOC 3100經組配以用於自主車輛中時，SOC經設計且經組配以符合部署管轄之相關功能安全標準。
在操作期間，媒體處理器3102及視覺處理器3104可共同工作以加速電腦視覺操作。媒體處理器3102可使得能夠對多個高解析度(例如，4K、8K)視訊串流進行低潛時解碼。可將經解碼視訊串流寫入至晶片上記憶體3105中之緩衝器。視覺處理器3104接著可剖析經解碼視訊且在準備使用經訓練影像辨識模型處理經解碼視訊之圖框時對圖框進行基本的處理操作。舉例而言，視覺處理器3104可加速用於對高解析度視訊資料進行影像辨識之CNN之卷積運算，同時後端模型計算由GPGPU 3106進行。
多核心處理器3108可包括輔助由媒體處理器3102及視覺處理器3104進行之資料傳送及共用記憶體操作之定序及同步的控制邏輯。多核心處理器3108亦可用作應用程式處理器以執行軟體應用程式，其可利用GPGPU 3106之推斷計算能力。舉例而言，導航及駕駛邏輯之至少一部分可以多核心處理器3108上執行之軟體實施。此軟體可將計算工作負載直接發出至GPGPU 3106或計算工作負載可發出至多核心處理器3108，其可將彼等操作之至少一部分分擔給GPGPU 3106。
GPGPU 3106可包括處理叢集，諸如高度並行通用圖形處理單元DPLAB00內之處理叢集DPLAB06A至DPLAB06H之低功率組配。GPGPU 3106內之處理叢集可支援特定地經最佳化以對經訓練神經網路進行推斷計算的指令。舉例而言，GPGPU 3106可支援指令以進行低精度計算，諸如8位元及4位元整數向量運算。
射線追蹤架構
在一個實施中，圖形處理器包括用於進行即時射線追蹤之電路系統及/或程式碼。射線追蹤核心之專用集合可包括於圖形處理器中以進行本文中所描述之各種射線追蹤操作，包括射線遍歷及/或射線相交操作。除射線追蹤核心之外，亦可包括用於進行可程式化著色操作之圖形處理核心之多個集合及用於對張量資料進行矩陣運算之張量核心之多個集合。
圖31
例示包括配置至多核心群組3100A-N中之圖形處理資源之專用集合的一個此類圖形處理單元(GPU)3105之例示性部分。圖形處理單元(GPU)3105可為圖形處理器300、GPGPU 1340及/或本文中所描述之任何其他圖形處理器之變體。因此，圖形處理器之任何特徵之揭示內容亦揭示與GPU 3105之對應組合，但不限於此。此外，與本文中之任何其他圖之元件具有相同或類似名稱之圖31的元件與其他圖描述相同元件，可以類似方式操作或起作用，可包含相同組件，且可與其他實體相關，如本文中其他地方所描述之彼等實體，但不限於此。儘管僅提供了單一多核心群組3100A之細節，但將瞭解，其他多核心群組3100B-N可配備有圖形處理資源之相同或類似集合。
如所例示，多核心群組3100A可包括圖形核心3130之集合、張量核心3140之集合及射線追蹤核心3150之集合。排程器/分派器3110排程及分派圖形執行緒以用於執行於各種核心3130、3140、3150上。暫存器檔案3120之集合在執行圖形執行緒時儲存由核心3130、3140、3150使用之運算元值。舉例而言，此等暫存器可包括用於儲存整數值之整數暫存器、用於儲存浮點值之浮點暫存器、用於儲存封裝資料元素(整數及/或浮點資料元素)之向量暫存器及用於儲存張量/矩陣值之砌塊暫存器。砌塊暫存器可實施為向量暫存器之組合集。
一或多個層級1 (L1)快取記憶體及紋理單元3160將圖形資料，諸如紋理資料、頂點資料、像素資料、射線資料、包圍體資料等在本端儲存於每一多核心群組3100A內。由所有或多核心群組3100A-N之子集共用的層級2 (L2)快取記憶體3180儲存用於多個並行圖形執行緒之圖形資料及/或指令。如所例示，L2快取記憶體3180可跨越複數個多核心群組3100A-N共用。一或多個記憶體控制器3170將GPU 3105耦接至記憶體3198，其可為系統記憶體(例如，DRAM)及/或專用圖形記憶體(例如，GDDR6記憶體)。
輸入/輸出(IO)電路系統3195將GPU 3105耦接至一或多個IO裝置3195，諸如數位信號處理器(DSP)、網路控制器或使用者輸入裝置。晶片上互連件可用於將I/O裝置3190耦接至GPU 3105及記憶體3198。IO電路系統3195之一或多個IO記憶體管理單元(IOMMU)3170將IO裝置3190直接耦接至系統記憶體3198。IOMMU 3170可管理頁面表之多個集合以將虛擬位址映射至系統記憶體3198中之實體位址。另外，IO裝置3190、一或多個CPU 3199及一或多個GPU 3105可共用相同虛擬位址空間。
IOMMU 3170亦可支援虛擬化。在此情況下，其可管理頁面表之第一集合以將訪客/圖形虛擬位址映射至訪客/圖形實體位址並管理頁面表之第二集合以將訪客/圖形實體位址映射至系統/主機實體位址(例如，系統記憶體3198內)。頁面表之第一及第二集合中之每一者之基礎位址可儲存於控制暫存器中且基於上下文切換而交換(例如，使得新上下文能夠存取頁面表之相關集合)。儘管圖31中未例示，但核心3130、3140、3150及/或多核心群組3100A-N中之每一者可包括翻譯後援緩衝器(TLB)以快取訪客虛擬至訪客實體翻譯、訪客實體至主機實體翻譯，及訪客虛擬至主機實體翻譯。
CPU 3199、GPU 3105及IO裝置3190可整合於單一半導體晶片及/或晶片封裝上。所例示記憶體3198可整合於相同晶片上或可經由晶片外介面耦接至記憶體控制器3170。在一個實施中，記憶體3198包含與其他實體系統層級記憶體共用相同虛擬位址空間之GDDR6記憶體，但本發明之基礎原理不限於此特定實施。
張量核心3140可包括經特定設計以進行矩陣運算之複數個執行單元，矩陣運算為用於進行深度學習操作之基本計算操作。舉例而言，同時矩陣乘法運算可用於神經網路訓練及推斷。張量核心3140可使用包括單精度浮點(例如，32位元)、半精度浮點(例如，16位元)、整數字組(16位元)、位元組(8位元)及半位元組(4位元)之各種運算元精度進行矩陣處理。神經網路實施亦可提取每一呈現場景之特徵，有可能組合來自多個圖框之細節，以建構高品質最終影像。
在深度學習實施中，可排程並行矩陣乘法工作以用於執行於張量核心3140上。詳言之，神經網路之訓練需要有效數矩陣點積運算。為了處理N×N×N矩陣乘法之內積公式，張量核心3140可包括至少N個點積處理元件。在矩陣乘法開始之前，將一個完整矩陣載入至砌塊暫存器中且N個循環中之每一循環載入第二矩陣之至少一行。每一循環存在經處理之N個點積。
可取決於特定實施以不同精度，包括16位元字組、8位元位元組(例如，INT8)及4位元半位元組(例如，INT4)儲存矩陣元素。可針對張量核心3140指定不同精度模式以確保最高效精度用於不同工作負載(例如，可容許對位元組及半位元組之量化之推斷工作負載)。
射線追蹤核心3150可用於加速即時射線追蹤及非即時射線追蹤實施之射線追蹤操作。詳言之，射線追蹤核心3150可包括射線遍歷/相交電路系統以用於使用包圍體階層(BVH)進行射線遍歷並識別圍封於BVH體積內之射線與基元之間的相交。射線追蹤核心3150亦可包括用於進行深度測試及剔除(例如，使用Z緩衝器或類似配置)之電路系統。在一個實施中，射線追蹤核心3150與本文中所描述之影像去雜技術一致地進行遍歷及相交操作，其中之至少一部分可執行於張量核心3140上。舉例而言，張量核心3140可實施深度學習神經網路以進行由射線追蹤核心3150產生之圖框之去雜。然而，一或多個CPU 3199、圖形核心3130及/或射線追蹤核心3150亦可實施去雜及/或深度學習演算法之全部或一部分。
另外，如上文所描述，可採用分佈式去雜方法，其中GPU 3105在經由網路或高速互連件耦接至其他計算裝置之計算裝置中。互連之計算裝置可另外共用神經網路學習/訓練資料以改良速度，整個系統學習以該速度對不同類型的影像圖框及/或不同圖形應用程式進行去雜。
射線追蹤核心3150可處理所有BVH遍歷及射線基元相交，從而避免圖形核心3130因每一射線之數千指令而過載。每一射線追蹤核心3150可包括用於進行包圍盒測試(例如，用於遍歷操作)之專用電路系統之第一集合及用於進行射線-三角形相交測試(例如，已經遍歷之相交射線)之專用電路系統之第二集合。因此，多核心群組3100A可僅啟動射線探測器，且射線追蹤核心3150獨立地進行射線遍歷及相交並傳回命中資料(例如，命中、無命中、多次命中等)至執行緒上下文。可釋放其他核心3130、3140以進行其他圖形或計算工作，而射線追蹤核心3150進行遍歷及相交操作。
每一射線追蹤核心3150可包括進行BVH測試操作之遍歷單元及進行射線-基元相交測試之相交單元。相交單元可接著產生「命中」、「無命中」或「多次命中」回應，將其提供至適當執行緒。在遍歷及相交操作期間，可釋放其他核心(例如，圖形核心3130及張量核心3140)之執行資源以進行其他形式之圖形工作。
亦可使用混合式光柵化/射線追蹤方法，其中工作分佈於圖形核心3130與射線追蹤核心3150之間。
射線追蹤核心3150 (及/或其他核心3130、3140)可包括對射線追蹤指令集之硬體支援，諸如包括DispatchRays命令之微軟之DirectX射線追蹤(DXR)，以及射線產生、最近命中、任一命中及未命中著色器，這使得能夠針對每一物件指派著色器及紋理之特有集合。可由射線追蹤核心3150、圖形核心3130及張量核心3140支援之另一射線追蹤平台為Vulkan 1.1.85。然而，應注意，本發明之基礎原理不限於任何特定射線追蹤ISA。
一般而言，各種核心3150、3140、3130可支援射線追蹤指令集，其包括用於射線產生、最近命中、任一命中、射線-基元相交、每一基元及階層式包圍盒構造、未命中、訪問及例外狀況之指令/函數。更特定言之，可包括射線追蹤指令以進行以下函數：
射線產生-可針對每一像素、樣本或其他使用者界定之工作指派執行射線產生指令。
最近命中-可執行最近命中指令以定位場景內射線與基元之最近相交點。
任一命中-任一命中指令識別場景內射線與基元之間的多次相交，有可能識別新最近相交點。
相交-相交指令進行射線-基元相交測試且輸出結果。
每一基元包圍盒構造-此指令圍繞給定基元或基元之群組建構包圍盒(例如，當建構新BVH或其他加速資料結構時)。
未命中-指示射線未命中場景或場景之指定區域內之所有幾何結構。
訪問-指示射線將遍歷之子體積。
例外狀況-包括各種類型之例外狀況處置程式(例如，針對各種誤差條件調用)。
階層式射束追蹤
包圍體階層常用於改良效率，以該效率對圖形基元及其他圖形物件進行操作。BVH為階層式樹狀結構，其基於幾何物件之集合而建構。樹狀結構之頂部處為根節點，其圍封給定場景中之所有幾何物件。個別幾何物件封裝於形成樹之葉節點之包圍體中。此等節點接著分組為小集合且圍封於較大包圍體內。繼而，此等節點亦經分組且以遞回方式圍封於其他較大包圍體內，從而最終產生在樹之頂部處具有由根節點表示之單一包圍體的樹狀結構。包圍體階層用於高效地支援對幾何物件之集合之各種操作，諸如碰撞偵測、基元剔除及射線追蹤中使用之射線遍歷/相交操作。
在射線追蹤架構中，遍歷穿過BVH之射線以判定射線-基元相交。舉例而言，若射線未穿過BVH之根節點，則射線不與BVH圍封之基元中之任一者相交且相對於基元之此集合，射線不需要進一步處理。若射線穿過BVH之第一子節點但未穿過第二子節點，則無需相對於第二子節點圍封之任何基元測試射線。以此方式，BVH提供測試射線-基元相交之高效機制。
可相對於BVH而非個別射線測試被稱作「射束」之連續射線之群組。圖 32
例示由四條不同射線概述之例示性射束3201。與由四條射線界定之貼片3200相交之任何射線被視為處於同一射束內。儘管圖 32
中之射束3201由射線之矩形配置界定，但可以各種其他方式界定射束，同時仍符合本發明之基礎原理(例如，圓形、橢圓形等)。
圖33
例示GPU 3320之射線追蹤引擎3310如何實施本文中所描述之射束追蹤技術。詳言之，射線產生電路系統3304產生複數條射線，對其進行遍歷及相交操作。然而，使用由射束階層構造電路系統3305產生之射束3307之階層進行遍歷及相交操作，而非對個別射線進行遍歷及相交操作。射束階層類似於包圍體階層(BVH)。舉例而言，圖34
提供可細分成複數個不同組分之初級射束3400之實例。詳言之，初級射束3400可劃分成四分體3401至3404且每一四分體自身可劃分成子四分體，諸如四分體3404內之子四分體A-D。初級射束可以各種方式細分。舉例而言，初級射束可一分為二(而非四分體)且每一半可一分為二，以此類推。無關於如何進行細分，與BVH以類似方式產生階層式結構，例如藉由表示初級射束3400之根節點、各自由四分體3401至3404表示之子節點之第一層級、每一子四分體A-D之子節點之第二層級等。
一旦射束階層3307經建構，遍歷/相交電路系統3306就可使用射束階層3307及BVH 3308進行遍歷/相交操作。詳言之，其可相對於射束中並不與BVH之任何部分相交之BVH及剔除部分測試射束。使用圖 34
中所示之資料，舉例而言，若與子區域3402及3403相關聯之子射束並不與BVH或BVH之特定分支相交，則其可相對於BVH或分支剔除。可藉由進行深度優先搜尋或其他搜尋演算法相對於BVH測試剩餘部分3401、3404。
圖35
中例示用於射線追蹤之方法。該方法可實施於上文所描述之圖形處理架構之上下文內，但不限於任何特定架構。
在3500處，建構包含複數條射線之初級射束，且在3501處，射束經細分且產生階層式資料結構以形成射束階層。操作3500至3501可進行為單一整合式操作，其由複數條射線建構射束階層。在3502處，射束階層與BVH一起用於剔除射線(自射束階層)及/或自BVH剔除節點/基元。在3503處，針對剩餘射線及基元判定射線-基元相交。
分佈式射線追蹤系統中之有損及無損封包壓縮
射線追蹤操作可跨越經由網路耦接在一起之複數個計算節點而分佈。舉例而言，圖 36
例示包含複數個射線追蹤節點3610至3613之射線追蹤叢集3600並行地進行射線追蹤操作，有可能組合節點中之一者上之結果。在所例示架構中，射線追蹤節點3610至3613經由閘道器以通訊方式耦接至用戶端側射線追蹤應用程式3630。
關於分佈式架構之困難中之一者為必須在射線追蹤節點3610至3613中之每一者之間傳輸的大量經封包化資料。無損壓縮技術及有損壓縮技術二者可用於減少在射線追蹤節點3610至3613之間傳輸之資料。
為了實施無損壓縮，發送資料或命令，其允許接收節點重建構結果，而非發送以某些類型之操作之結果填充的封包。舉例而言，隨機取樣區之燈光及環境光遮擋(AO)操作不一定需要指示。因此，傳輸節點可僅發送接著由接收節點使用以進行隨機取樣之隨機晶種。舉例而言，若場景跨越節點3610至3612分佈以取樣點p1至p3處之光1，則僅需要將光ID及原點發送至節點3610至3612。節點中之每一者可接著獨立地隨機取樣光。隨機晶種可藉由接收節點產生。類似地，對於初級射線命中點，環境光遮擋(AO)及軟陰影取樣可在節點3610至3612上計算而無需等待連續圖框之原始點。另外，若眾所周知，射線之集合將去往同一點光源，則可發送指令，其針對將光源應用於射線集合之接收節點識別該光源。作為另一實例，若單一點存在所傳輸之N條環境光遮擋射線，則可發送命令以自此點產生N個樣本。
對於有損壓縮，可應用各種額外技術。舉例而言，量化因數可用以量化與BVH、基元及射線相關聯之所有座標值。另外，用於資料，諸如BVH節點及基元之32位元浮點值可轉換成8位元整數值。在例示性實施中，射線封包之界限以全精度儲存但個別射線點P1至P3作為與界限之索引化偏移傳輸。類似地，可產生複數個局部座標系統，其使用8位元整數值作為局部座標。此等局部座標系統中之每一者之原點的位置可使用全精度(例如，32位元浮點)值編碼，從而有效地連接全域及局部座標系統。
以下為無損壓縮之實例。在射線追蹤程式內部使用之射線資料格式之實例如下：
struct Ray
{
uint32 pixId;
uint32 materialID;
uint32 instanceID;
uint64 primitiveID;
uint32 geometryID;
uint32 lightID;
float origin[3];
float direction[3];
float t0;
float t;
float time;
float normal[3];//用於幾何相交
float u;
float v;
float wavelength;
float phase;//干涉量測術
float refractedOffset;//紋影
float amplitude;
float weight;
};
可藉由對值進行分組及藉由在可能的情況下使用可適用元資料形成隱式射線而壓縮此資料，而非針對所產生之每一個節點發送原始資料。
對射線資料進行捆綁及分組
旗標可用於共同資料或具有修飾符之遮罩。
struct RayPacket
{
uint32 size;
uint32 flags;
list＜Ray＞ rays;
}
舉例而言：
RayPacket.rays = ray_1至ray_256原點均共用
所有射線資料均經封裝，除了僅跨越所有射線儲存單一原點之外。針對RAYPACKET_COMMON_ORIGIN設定RayPacket.flag。當RayPacket在接收時解封裝時，由單一原點值填充原點。原點僅在一些射線當中共用
所有射線資料均經封裝，除了共用原點之射線以外。對於各組特有共用原點，封裝運算符，其識別運算(共用原點)、儲存原點，且屏蔽哪些射線共用資訊。可對節點之間的任何共用值，諸如材料ID、基元ID、原點、方向、法線等進行此運算。
struct RayOperation
{
uint8 operationID;
void* value;
uint64 mask;
}發送隱式射線
通常情況下，可以用於產生射線資料之最少元資訊在接收端上導出射線資料。極常見實例為產生多條次級射線以對一區進行隨機取樣。發送器可發送射線需要藉由任何相依性資訊產生且在接收端上產生射線之命令，而非發送器產生次級射線、發送次級射線且接收器對其進行操作。在射線需要首先由發送器產生以判定將其發送至哪一接收器的情況下，產生射線且可發送隨機晶種以再生確切同一射線。
舉例而言，為了用64條陰影射線取樣面光源來取樣命中點，所有64條射線均與來自同一計算N4之區域相交。形成具有共同原點及法線之RayPacket。若希望接收器對所得像素貢獻進行著色，則可發送較多資料，但對於此實例，假定希望僅傳回射線是否命中另一節點資料。RayOperation針對產生陰影射線操作創建且經指派有待取樣光ID之值及隨機數晶種。當N4接收射線封包時，其藉由針對所有射線填充共用原點資料且基於藉由隨機數晶種隨機取樣之光ID設定方向以產生原始發送器產生之相同射線而產生完全填充射線資料。當傳回結果時，僅需要傳回每一射線之二進位結果，其可由遮罩移交射線。
在此實例中，發送原始64條射線將已使用104個位元組*64條射線=6656個位元組。若返回射線亦以其原始形式發送，則此亦倍增至13312個位元組。使用無損壓縮(僅發送具有晶種及ID之共同射線原點、法線及射線產生操作)，僅發送29個位元組，其中針對相交遮罩傳回8個位元組。此產生約為360:1之需要經由網路發送之資料壓縮速率。此並不包括處理訊息自身之額外開銷，其將需要以某一方式識別，但這將由實施決定。可進行其他運算以用於由初級射線之像素ID重新計算射線原點及方向、基於射線封包中之範圍重新演算像素ID，及用於值之重新計算的許多其他可能實施。類似運算可用於所發送之任何單一射線或射線群組，包括陰影、反射、折射、環境光遮擋、相交、體積相交、著色、路徑追蹤中之反彈反射等。
圖37
例示進行射線追蹤封包之壓縮及解壓縮的二個射線追蹤節點3710至3711之額外細節。詳言之，當第一射線追蹤引擎3730準備好將資料傳輸至第二射線追蹤引擎3731時，射線壓縮電路系統3720對如本文中所描述之射線追蹤資料進行有損及/或無損壓縮(例如，將32位元值轉換成8位元值，取代指令之原始資料以重建構資料等)。經由區域網路(例如，10 Gb/s、100 Gb/s乙太網路)將經壓縮射線封包3701自網路介面3725傳輸至網路介面3726。射線解壓縮電路系統接著在適當時對射線封包進行解壓。舉例而言，其可執行命令以重建構射線追蹤資料(例如，使用隨機晶種來進行隨機取樣以用於光照運算)。射線追蹤引擎3731接著使用所接收的資料來進行射線追蹤操作。
沿反向方向，射線壓縮電路系統3741壓縮射線資料，網路介面3726經由網路(例如，使用本文中所描述之技術)傳輸經壓縮射線資料，射線解壓縮電路系統3740在必要時對射線資料進行解壓，且射線追蹤引擎3730在射線追蹤操作中使用該資料。儘管在圖 37
中例示為單獨單元，但射線解壓縮電路系統3740至3741可分別整合於射線追蹤引擎3730至3731內。舉例而言，在經壓縮射線資料包含重建構射線資料之命令之情況下，此等命令可藉由每一各別射線追蹤引擎3730至3731執行。
如圖 38
中所例示，射線壓縮電路系統3720可包括用於進行本文中所描述之有損壓縮技術(例如，將32位元浮點座標轉換成8位元整數座標)的有損壓縮電路系統3801及用於進行無損壓縮技術(例如，傳輸命令及資料以允許射線再壓縮電路系統3821重建構資料)的無損壓縮電路系統3803。射線解壓縮電路系統3721包括有損解壓縮電路系統3802及用於進行無損解壓縮之無損解壓縮電路系統3804。
圖 39
中例示另一例示性方法。該方法可實施於射線追蹤架構或本文中所描述之其他架構上，但不限於任何特定架構。
在3900處，接收射線資料，其將自第一射線追蹤節點傳輸至第二射線追蹤節點。在3901處，有損壓縮電路系統對第一射線追蹤資料進行有損壓縮，且在3902處，無損壓縮電路系統對第二射線追蹤資料進行無損壓縮。在3903處，將經壓縮射線追蹤資料傳輸至第二射線追蹤節點。在3904處，有損/無損解壓縮電路系統對射線追蹤資料進行有損/無損解壓縮，且在3905處，第二射線追蹤節點使用經解壓資料進行射線追蹤操作。
具有硬體加速之混合式射線追蹤之圖形處理器
接下來展現混合式呈現管線，其對圖形核心3130進行光柵化且對射線追蹤核心3150、圖形核心3130及/或CPU 3199核心進行射線追蹤操作。舉例而言，可替代初級射線投射階段對圖形核心3130進行光柵化及深度測試。射線追蹤核心3150可接著產生次級射線以用於射線反射、折射及陰影。另外，將選定射線追蹤核心3150將進行射線追蹤操作(例如，基於材料性質臨限值，諸如高反射率等級)的場景之某些區域，而場景之其他區域將藉由對圖形核心3130之光柵化而呈現。此混合式實施可用於即時射線追蹤應用，其中潛時為關鍵問題。
舉例而言，下文描述之射線遍歷架構可使用現有單指令多資料(SIMD)及/或單指令多執行緒(SIMT)圖形處理器進行射線遍歷之可程式化著色及控制，同時使用專用硬體使關鍵函數，諸如BVH遍歷及/或相交加速。可藉由在遍歷期間且在著色之前在特定點處對所產生著色器進行重新分組而改良對非相干路徑之SIMD佔用率。此係使用在晶片上動態地對著色器進行排序之專用硬體來實現。藉由將函數分裂成在返回時執行之連續操作並在執行之前對連續操作進行重新分組以改良SIMD佔用率而管理遞回。
藉由將遍歷功能性分解成可實施為固定功能硬體之內部遍歷及在GPU處理器上執行且使得能夠經由使用者界定之遍歷著色器進行可程式化控制之外部遍歷來實現對射線遍歷/相交之可程式化控制。藉由在內部與外部遍歷之間的轉變期間保守地截斷內部遍歷狀態而減小在硬體與軟體之間傳送遍歷上下文之成本。
可經由下表A中列舉之不同著色器類型表達射線追蹤之可程式化控制。每一類型可存在多個著色器。舉例而言，每一材料可具有不同命中著色器。
表 A
| 著色器類型 | 功能性 |
| 初級 | 啟動初級射線 |
| 命中 | 雙向反射率分佈函數(BRDF)取樣，啟動次級射線 |
| 任一命中 | 計算α紋理化幾何結構之透射率 |
| 未命中 | 計算來自光源之輻射率 |
| 相交 | 與自定義形狀相交 |
| 遍歷 | 例項選擇及變換 |
| 可呼叫 | 通用功能 |
可藉由API函數發起遞回射線追蹤，該函數命令圖形處理器啟動對於初級射線可產生射線-場景相交之主著色器或相交電路系統之集合。繼而，此產生其他著色器，諸如遍歷、命中著色器，或未命中著色器。產生子著色器之著色器亦可自子著色器接收傳回值。可呼叫著色器為通用功能，其可藉由另一著色器直接產生且亦可將值傳回至呼叫著色器。
圖40
例示包括著色器執行電路系統4000及固定功能電路系統4010之圖形處理架構。通用執行硬體子系統包括複數個單指令多資料(SIMD)及/或單指令多執行緒(SIMT)核心/執行單元(EU) 4001 (亦即，每一核心可包含複數個執行單元)、一或多個取樣器4002，及層級1 (L1)快取記憶體4003或其他形式之本端記憶體。固定功能硬體子系統4010包括訊息單元4004、排程器4007、射線-BVH遍歷/相交電路系統4005、排序電路系統4008，及本端L1快取記憶體4006。
在操作中，主分派器4009將初級射線之集合分派至排程器4007，其將工作排程至SIMD/SIMT核心/EU 4001上執行之著色器。SIMD核心/EU 4001可為上文所描述之射線追蹤核心3150及/或圖形核心3130。主著色器之執行產生待進行之額外工作(例如，待由一或多個子著色器及/或固定功能硬體執行)。訊息單元4004將由SIMD核心/EU 4001產生之工作分配至排程器4007，從而按需要存取自由堆疊集區、排序電路系統4008或射線-BVH相交電路系統4005。若將額外工作發送至排程器4007，則對該額外工作進行排程以供在SIMD/SIMT核心/EU 4001上進行處理。在排程之前，排序電路系統4008可將射線排序成如本文中所描述之群組或組(例如，具有類似特性之分組射線)。射線-BVH相交電路系統4005使用BVH體積對射線進行相交測試。舉例而言，射線-BVH相交電路系統4005可比較射線座標與BVH之每一層級以識別與射線相交之體積。
可使用著色器記錄、包括入口函數之指標之使用者分配結構、供應商特定元資料，及藉由SIMD核心/EU 4001執行之著色器之全域引數來提及著色器。著色器之每一執行例項與呼叫堆疊相關聯，該呼叫堆疊可用於儲存在父著色器與子著色器之間傳遞之引數。呼叫堆疊亦可儲存對在呼叫傳回時執行的連續函數之提及。
圖41
例示所指派堆疊4101之實例集合，其包括主著色器堆疊、命中著色器堆疊、遍歷著色器堆疊、連續函數堆疊，及射線-BVH相交堆疊(其如所描述可藉由固定功能硬體4010執行)。新著色器調用可實施來自自由堆疊集區4102之新堆疊。呼叫堆疊，例如所指派堆疊之集合所包含之堆疊可在本端L1快取記憶體4003、4006中經快取以減小存取之潛時。
可存在有限數目個呼叫堆疊，其各自具有記憶體之連續區域中所分配之固定最大大小「Sstack」。因此，堆疊之基礎位址可由堆疊索引(SID)直接計算為基礎位址=SID*Sstack。堆疊ID可在將工作排程至SIMD核心/EU 4001時由排程器4007分配及解除分配。
主分派器4009可包含圖形處理器命令處理器，其回應於來自主機(例如，CPU)之分派命令而分派主著色器。排程器4007可接收此等分派請求且啟動SIMD處理器執行緒上之主著色器，若其可為每一SIMD通路分配堆疊ID。可自在分派命令開始時經初始化之自由堆疊集區4102分配堆疊ID。
執行著色器可藉由將產生訊息發送至傳訊單元4004而產生子著色器。此命令包括與著色器相關聯之堆疊ID且亦包括針對每一作用中SIMD通路之子著色器記錄之指標。對於作用中通路，父著色器可僅發出此訊息一次。在針對所有相關通路發送產生訊息之後，父著色器可終止。
SIMD核心/EU 4001上執行之著色器亦可使用具有針對固定功能硬體所保留之著色器記錄指標的產生訊息而產生固定功能任務，諸如射線-BVH相交。如所提及，傳訊單元4004將所產生射線-BVH相交工作直接發送至固定功能射線-BVH相交電路系統4005及可呼叫著色器以發送至排序電路系統4008。排序電路系統可藉由著色器記錄指標對著色器進行分組以導出具有類似特性之SIMD批次。因此，來自不同父著色器之堆疊ID可在同一批次中藉由排序電路系統4008進行分組。排序電路系統4008將經分組批次發送至排程器4007，其自圖形記憶體2511或末級快取記憶體(LLC) 4020存取著色器記錄且啟動處理器執行緒上之著色器。
連續操作可被視為可呼叫著色器且亦可經由著色器記錄提及。當子著色器經產生且將值傳回至父著色器時，可在呼叫堆疊4101上推入連續著色器記錄之指標。當子著色器返回時，連續著色器記錄可接著自呼叫堆疊4101拿取且可產生連續著色器。任擇地，所產生連續操作可類似於可呼叫著色器經過排序單元且在處理器執行緒上經啟動。
如圖 42
中所例示，排序電路系統4008藉由著色器記錄指標4201A、4201B、4201n
對所產生任務進行分組以形成SIMD批次以供著色。經排序批次中之堆疊ID或上下文ID可自不同分派及不同輸入SIMD通路而進行分組。分組電路系統4210可使用內容可定址記憶體(CAM)結構4201進行排序，該結構包含每一條目藉由標籤4201識別之複數個條目。如所提及，標籤4201可為對應著色器記錄指標4201A、4201B、4201n
。CAM結構4201可儲存有限數目個標籤(例如，32、64、128等)，其各自與對應於著色器記錄指標之不完整SIMD批次相關聯。
對於傳入產生命令，每一SIMD通路具有對應堆疊ID (展示為每一CAM條目中之16個上下文ID 0至15)及著色器記錄指標4201A-B、……n
(充當標籤值)。分組電路系統4210可比較每一通路之著色器記錄指標與CAM結構4201中之標籤4201以找出匹配批次。若找出匹配批次，則堆疊ID/上下文ID可添加至該批次。否則，可創建具有新著色器記錄指標標籤之新條目，從而有可能收回具有不完整批次之較早條目。
執行著色器可在呼叫堆疊為空時藉由將解除分配訊息發送至訊息單元而解除分配該呼叫堆疊。將解除分配訊息中繼至排程器，其將作用中SIMD通路之堆疊ID/上下文ID傳回至自由集區。
展現使用固定功能射線遍歷與軟體射線遍歷之組合的射線遍歷操作之混合式方法。因此，其提供軟體遍歷之靈活性，同時維持固定功能遍歷之效率。圖 43
展示可用於混合式遍歷之加速結構，其為具有單一頂部層級BVH 4300及若干底部層級BVH 4301及4302之雙層級樹。在右側展示圖形元件以指示內部遍歷路徑4303、外部遍歷路徑4304、遍歷節點4305、具有三角形之葉節點4306，及具有自定義基元之葉節點4307。
頂部層級BVH 4300中之具有三角形之葉節點4306可參考三角形、自定義基元之相交著色器記錄，或遍歷著色器記錄。底部層級BVH 4301至4302之具有三角形之葉節點4306可僅參考三角形及自定義基元之相交著色器記錄。該類型之參考在葉節點4306內經編碼。內部遍歷4303指代每一BVH 4300至4302內之遍歷。內部遍歷操作包含射線-BVH相交之計算且跨越BVH結構4300至4302之遍歷被稱為外部遍歷。內部遍歷操作可以固定功能硬體高效地實施，而外部遍歷操作可藉由可程式化著色器以可接受效能進行。因此，內部遍歷操作可使用固定功能電路系統4010進行且外部遍歷操作可使用用於執行可程式化著色器之包括SIMD/SIMT核心/EU 4001之著色器執行電路系統4000進行。
應注意，為簡單起見，SIMD/SIMT核心/EU 4001有時在本文中被簡稱為「核心」、「SIMD核心」、「EU」或「SIMD處理器」。類似地，射線-BVH遍歷/相交電路系統4005有時被簡稱為「遍歷單元」、「遍歷/相交單元」或「遍歷/相交電路系統」。當使用替代術語時，用於表示各別電路系統/邏輯之特定名稱並不改變電路系統/邏輯進行之基礎功能，如本文中所描述。
此外，儘管在圖 40
中出於解釋的目的例示為單一組件，但遍歷/相交單元4005可包含相異遍歷單元及單獨相交單元，其各自可實施於電路系統及/或邏輯中，如本文中所描述。
當射線在內部遍歷期間與遍歷節點相交時，可產生遍歷著色器。排序電路系統4008可藉由著色器記錄指標4201A-B、n
對此等著色器進行分組以形成SIMD批次，其藉由排程器4007啟動以供圖形SIMD核心/EU 4001上之SIMD執行。遍歷著色器可以若干方式修改遍歷，從而允許廣泛範圍之應用。舉例而言，遍歷著色器可按較粗糙細節層級(LOD)選擇BVH或變換射線以允許剛體變換。遍歷著色器可接著針對選定BVH產生內部遍歷。
內部遍歷藉由遍歷BVH並計算射線-盒及射線-三角形相交而計算射線-BVH相交。藉由將訊息發送至傳訊電路系統4004 (其將對應產生訊息中繼至計算射線-BVH相交之射線-BVH相交電路系統4005)與著色器以相同方式產生內部遍歷。
用於內部遍歷之堆疊可在本端儲存於固定功能電路系統4010中(例如，L1快取記憶體4006內)。當射線與對應於遍歷著色器或相交著色器之葉節點相交時，內部遍歷可終止且內部堆疊經截斷。經截斷堆疊以及射線及BVH之指標可在由呼叫著色器指定之位置處寫入至記憶體且接著可產生對應遍歷著色器或相交著色器。若射線在內部遍歷期間與任何三角形相交，則對應命中資訊可作為輸入引數提供至此等著色器，如以下程式碼中所示。此等所產生著色器可藉由排序電路系統4008進行分組以形成SIMD批次以供執行。
struct HitInfo {
float barycentrics[2];
float tmax;
bool innerTravComplete;
uint primID;
uint geomID;
ShaderRecord* leafShaderRecord;
}
截斷內部遍歷堆疊減小將其溢出至記憶體之成本。可應用無堆疊 BVH 遍歷之重新啟動軌跡(Restart
Trailfor Stackless BVH Traversal)
，高效能圖形(2010)，第107至111頁中所描述之方法以將堆疊截斷為堆疊頂部處之小數目之條目、42位元重新啟動軌跡及6位元深度值。重新啟動軌跡指示已經在BVH內部獲取之分支且深度值指示對應於最末堆疊條目之遍歷之深度。此為稍後恢復內部遍歷之充足資訊。
當內部堆疊為空且不再存在待測試BVH節點時，內部遍歷完成。在此情況下，產生外部堆疊處置程式，其在外部堆疊之頂部拿取且在外部堆疊並非為空時重新開始遍歷。
外部遍歷可執行主遍歷狀態機且可以藉由著色器執行電路系統4000執行之程式碼實施。其可在以下條件下產生內部遍歷查詢：(1)當藉由命中著色器或主著色器產生新射線時；(2)當遍歷著色器選擇BVH用於遍歷時；以及(3)當外部堆疊處置程式恢復BVH之內部遍歷時。
如圖 44
中所例示，在產生內部遍歷之前，在用於固定功能電路系統4010之呼叫堆疊4405上分配空間來儲存經截斷內部堆疊4410。在亦儲存於記憶體2511中之遍歷狀態4400下維持與呼叫堆疊及內部堆疊之頂部的偏移4403至4404。遍歷狀態4400亦包括世界空間4401及物件空間4402中之射線以及最近相交基元之命中資訊。
遍歷著色器、相交著色器及外部堆疊處置程式均由射線-BVH相交電路系統4005產生。遍歷著色器在引發第二層級BVH之新內部遍歷之前分配於呼叫堆疊4405上。外部堆疊處置程式為負責更新命中資訊且恢復任何待定內部遍歷任務之著色器。外部堆疊處置程式亦負責在遍歷完成時產生命中或未命中著色器。當不存在待產生之待定內部遍歷查詢時，遍歷完成。當遍歷完成且發現相交時，產生命中著色器；否則，產生未命中著色器。
儘管上文所描述之混合式遍歷方案使用雙層級BVH階層，但亦可實施外部遍歷實施中具有對應改變之任意數目個BVH層級。
另外，儘管上文描述了用於進行射線-BVH相交之固定功能電路系統4010，但其他系統組件亦可實施於固定功能電路系統中。舉例而言，上文所描述之外部堆疊處置程式可為內部(使用者不可見)著色器，其有可能實施於固定功能BVH遍歷/相交電路系統4005中。此實施可用於減小固定功能相交硬體4005與處理器之間的經分派著色器階段及往返之數目。
本文中所描述之實例使得能夠使用可以較高SIMD效率對現有及未來GPU處理器執行之使用者界定之函數進行可程式化著色及射線遍歷控制。射線遍歷之可程式化控制允許若干重要特徵，諸如程序實例化、隨機細節層級選擇、自定義基元相交及遲緩BVH更新。
亦提供支援命中及相交著色器之推測性執行的可程式化多指令多資料(MIMD)射線追蹤架構。詳言之，該架構聚焦於減少排程並在上文相對於圖 40
所描述之可程式化SIMD/SIMT核心/執行單元4001與混合式射線追蹤架構中之固定功能MIMD遍歷/相交單元4005之間傳達額外開銷。在下文描述命中及相交著色器之多個推測性執行方案，其可以單一批次自遍歷硬體分派，從而避免若干遍歷及著色往返。可使用實施此等技術之專用電路系統。
本發明之實施例在需要自射線遍歷查詢執行多次命中或相交著色器之用例中特別有益，當在無專用硬體支援之情況下實施時，射線遍歷查詢將施加顯著額外開銷。此等用例包括但不限於最接近k次命中查詢(針對k次最近相交啟動命中著色器)及多個可程式化相交著色器。
此處所描述之技術可實施為對圖 40
中所例示(及關於圖 40
至圖 44
所描述)之架構的擴展。詳言之，本發明之當前實施例在增強情況下基於此架構建構以改良上文所提及之用例之效能。
混合式射線追蹤遍歷架構之效能限制為啟動來自執行單元之遍歷查詢之額外開銷及自射線追蹤硬體調用可程式化著色器之額外開銷。當在同一射線之遍歷期間調用多次命中或相交著色器時，此額外開銷在可程式化核心4001與遍歷/相交單元4005之間產生「執行往返」。這亦對需要自個別著色器調用提取SIMD/SIMT相干性之排序單元4008施加額外壓力。
射線追蹤之若干態樣需要可經由上表A中列舉之不同著色器類型(亦即，初級、命中、任一命中、未命中、相交、遍歷及可呼叫)表達的可程式化控制。每一類型可存在多個著色器。舉例而言，每一材料可具有不同命中著色器。在當前Microsoft®
射線追蹤API中界定此等著色器類型中之一些。
作為簡短回顧，藉由API函數發起遞回射線追蹤，API函數命令GPU啟動可產生初級射線之射線-場景相交(以硬體及/或軟體實施)的主著色器之集合。此繼而可產生其他著色器，諸如遍歷、命中或未命中著色器。產生子著色器之著色器亦可自該著色器接收傳回值。可呼叫著色器為通用功能，其可藉由另一著色器直接產生且亦可將值傳回至呼叫著色器。
射線遍歷藉由遍歷且使包圍體階層(BVH)中之節點相交而計算射線至場景相交。最新研究展示，使用較適合於固定功能硬體之技術，諸如精度降低算術、BVH壓縮、每一射線之狀態機、專用相交管線及自定義快取記憶體，可將計算射線-場景相交之效率改良一個數量級以上。
圖40
中所示的架構包含此系統，其中SIMD/SIMT核心/執行單元4001之陣列與固定功能射線追蹤/相交單元4005互動以進行可程式化射線追蹤。將可程式化著色器映射至執行單元/核心4001上之SIMD/SIMT執行緒，其中SIMD/SIMT利用率、執行及資料相干性對於最佳效能至關重要。出於各種原因，射線查詢常常會破壞相干性，諸如：
● 遍歷發散：BVH遍歷之持續時間變化很大。
● 在有助於非同步射線處理之射線當中。
● 執行發散：自相同SIMD/SIMT執行緒之不同通路產生之射線可導致不同著色器調用。
● 資料存取發散：舉例而言，命中不同表面之射線取樣不同BVH節點及基元且著色器存取不同紋理。各種其他情境可引起資料存取發散。
SIMD/SIMT核心/執行單元4001可為本文中所描述之核心/執行單元之變體，包括一或多個圖形核心415A至415B、著色器核心1355A-N、圖形核心3130、圖形執行單元608、執行單元852A-B，或本文中所描述之任何其他核心/執行單元。SIMD/SIMT核心/執行單元4001可替代一或多個圖形核心415A至415B、著色器核心1355A-N、圖形核心3130、圖形執行單元608、執行單元852A-B或本文中所描述之任何其他核心/執行單元使用。因此，任何特徵以及一或多個圖形核心415A至415B、著色器核心1355A-N、圖形核心3130、圖形執行單元608、執行單元852A-B或本文中所描述之任何其他核心/執行單元之揭示內容亦揭示與圖40之SIMD/SIMT核心/執行單元4001之對應組合，但不限於此。
固定功能射線追蹤/相交單元4005可藉由個別且無序地處理每一射線而克服前二個挑戰。然而，這會破壞SIMD/SIMT群組。排序單元4008因此負責形成著色器調用之新相干SIMD/SIMT群組以再次分派至執行單元。
相較於直接在SIMD/SIMT處理器上之基於純軟體之射線追蹤實施，很容易看出此架構之益處。然而，存在與SIMD/SIMT核心/執行單元4001 (有時在本文中被簡稱為SIMD/SIMT處理器或核心/EU)與MIMD遍歷/相交單元4005之間的傳訊相關聯的額外開銷。此外，排序單元4008可不自非相干的著色器呼叫提取完美的SIMD/SIMT利用率。
可識別著色器調用在遍歷期間可特別頻繁的用例。描述混合式MIMD射線追蹤處理器之增強以明顯減小核心/EU 4001與遍歷/相交單元4005之間的通訊的額外開銷。這在發現k次最近相交及實施可程式化相交著色器時可特別有益。然而，應注意，此處所描述之技術不限於任何特定處理情境。
在核心/EU 4001與固定功能遍歷/相交單元4005之間的射線追蹤上下文切換之高層級成本之概述提供於下文中。大部分效能額外開銷係由這二次上下文切換引起，每當在單一射線遍歷期間有必要進行著色器調用時。
啟動射線之每一SIMD/SIMT通路將產生訊息產生至與待遍歷BVH相關聯之遍歷/相交單元4005。經由產生訊息及(快取)記憶體將資料(射線遍歷上下文)中繼至遍歷/相交單元4005。當遍歷/相交單元4005準備好將新硬體執行緒指派至產生訊息時，其負載遍歷狀態且對BVH進行遍歷。亦存在需要在對BVH之第一遍歷步驟之前進行的設置成本。
圖 45
例示可程式化射線追蹤管線之操作流程。包括遍歷4502及相交4503之經著色元件可實施於固定功能電路系統中，而剩餘元件可藉由可程式化核心/執行單元實施。
主射線著色器4501將工作發送至4502處之遍歷電路系統，其遍歷穿過BVH (或其他加速結構)之一或多條當前射線。當到達葉節點時，遍歷電路系統呼叫4503處之相交電路系統，其在識別射線-三角形相交時調用4504處之任一命中著色器(其可將結果提供回至遍歷電路系統，如所指示)。
替代地，遍歷可在到達葉節點及4507處調用之最近命中著色器(若命中經記錄)或4506處之未命中著色器(在未命中情況下)之前終止。
如在4505處所指示，若遍歷電路系統到達自定義基元葉節點，則可調用相交著色器。自定義基元可為任何非三角形基元，諸如多邊形或多面體(例如，四面體、體素、六面體、楔形、角錐或其他「非結構化」體積)。相交著色器4505針對實施任一命中處理之任一命中著色器4504識別射線與自定義基元之間的任何相交。
當硬體遍歷4502到達可程式化階段時，遍歷/相交單元4005可產生對於相關著色器4505至4507之著色器分派訊息，相關著色器對應於用於執行著色器之一或多個執行單元之單一SIMD通路。因為分派以射線之任意次序進行，且分派在所呼叫程式中發散，因此排序單元4008可累積多次分派呼叫以提取相干SIMD批次。經更新遍歷狀態及任擇的著色器引數可藉由遍歷/相交單元4005寫入至記憶體2511中。
在k次最接近相交問題中，針對前k次相交執行最近命中著色器4507。以習知方式，此將意謂在發現最近相交時結束射線遍歷，調用命中著色器，且自命中著色器產生新射線以發現下一最近相交(藉由射線原點偏移，因此同一相交將不會再次發生)。很容易看出，對於單一射線，此實施將需要k次射線產生。另一實施藉由任一命中著色器4504操作，任一命中著色器經調用用於所有相交且使用插入排序操作維持最接近相交之全域清單。此方法之主要問題在於，任一命中著色器調用不存在上限。
如所提及，可基於非三角形(自定義)基元調用相交著色器4505。取決於相交測試之結果及遍歷狀態(待定節點及基元相交)，同一射線之遍歷可在執行相交著色器4505之後繼續。因此，發現最近命中可需要至執行單元之若干次往返。
亦可聚焦於經由對遍歷硬體及著色器排程模型之改變而減少相交著色器4505及命中著色器4504、4507之SIMD-MIMD上下文切換。首先，射線遍歷電路系統4005藉由累積多個可能調用且將其分派於較大批次中而延遲著色器調用。另外，可在此階段剔除不必要的某些調用。此外，著色器排程器4007可將來自同一遍歷上下文之多個著色器調用聚合至單一SIMD批次中，這會產生單一射線產生訊息。在一個例示性實施中，遍歷硬體4005暫停遍歷執行緒且等待多個著色器調用之結果。此操作模式在本文中被稱作「推測性」著色器執行，因為其允許分派多個著色器，多個著色器中之一些在使用依序調用時可未經呼叫。
圖46A
例示遍歷操作遇到子樹中之多個自定義基元4650的實例且圖 46B
例示可如何藉由三個相交分派循環C1至C3解析此情況。詳言之，排程器4007可需要三個循環以將工作提交至SIMD處理器4001且遍歷電路系統4005需要三個循環以將結果提供至排序單元4008。遍歷電路系統4005所需的遍歷狀態4601可儲存於記憶體中，諸如本端快取記憶體(例如，L1快取記憶體及/或L2快取記憶體)。
A. 延遲射線追蹤著色器調用
亦可修改管理硬體遍歷狀態4601以允許清單中多個可能相交或命中調用之累積的方式。在遍歷期間之給定時間，清單中之每一條目可用於產生著色器調用。舉例而言，k個最接近相交點可累積於遍歷硬體4005上及/或記憶體中之遍歷狀態4601中，且若遍歷完成，則可為每一元素調用命中著色器。對於命中著色器，可針對BVH中之子樹累積多個可能相交。
對於最接近k用例，此方法之益處在於，所有命中著色器在遍歷電路系統4005上之單一遍歷操作期間自相同遍歷執行緒調用，而非至SIMD核心/EU 4001之k-1次往返及k-1個新射線產生訊息。對於可能實施之挑戰在於保證命中著色器之執行次序至關重要(標準「往返」方法保證首先執行最近相交之命中著色器等)。此可藉由命中著色器之同步或定序之放寬來定址。
對於相交著色器用例，遍歷電路系統4005並不預先知曉給定著色器是否將返回正相交測試。然而，有可能推測性地執行多個相交著色器，且若至少一個著色器傳回正命中結果，則將其合併至全域最接近命中中。特定實施需要找出延遲相交測試之最佳數目以減小分派呼叫之數目，但避免呼叫過多冗餘相交著色器。
B. 聚合來自遍歷電路系統之著色器調用
當分派來自遍歷電路系統4005上產生之同一射線之多個著色器時，可形成射線遍歷演算法之流程中之分支。此對於相交著色器可存在問題，因為BVH遍歷之其餘部分取決於所有經分派相交測試之結果。此意謂需要同步操作來等待著色器調用之結果，這在非同步硬體上可具有挑戰性。
合併著色器呼叫之結果之二個點可為：SIMD處理器4001及遍歷電路系統4005。相對於SIMD處理器4001，多個著色器可使其結果同步且使用標準程式化模型聚合其結果。進行此操作之一個相對簡單方式為使用全域原子學且聚合記憶體中之共用資料結構中之結果，其中多個著色器之相交結果可經儲存。接著，最末著色器可解析資料結構並回叫遍歷電路系統4005以繼續遍歷。
亦可實施較高效方法，其將多個著色器調用之執行限於SIMD處理器4001上之同一SIMD執行緒之通路。接著使用SIMD/SIMT縮減操作局部減少相交測試(而非依賴於全域原子學)。此實施可依賴於排序單元4008內之新電路系統以使小批次之著色器調用保持處於同一SIMD批次中。
可進一步在遍歷電路系統4005上暫停遍歷執行緒之執行。使用習知執行模型，當在遍歷期間分派著色器時，遍歷執行緒終止且將射線遍歷狀態保存至記憶體以允許執行其他射線產生命令，同時執行單元4001處理著色器。若僅暫停遍歷執行緒，則遍歷狀態並不需要儲存且可單獨地等待每一著色器結果。此實施可包括電路系統以避免死鎖並提供充足硬體利用率。
圖47
至圖 48
例示調用具有三個著色器4701之SIMD核心/執行單元4001上之單一著色器調用的延遲模型之實例。當保留時，在同一SIMD/SIMT群組內評估所有相交測試。因此，亦可在可程式化核心/執行單元4001上計算出最接近相交。
如所提及，著色器聚合及/或延遲之全部或一部分可由遍歷/相交電路系統4005及/或核心/EU排程器4007進行。圖 47
例示排程器4007內之著色器延遲/聚合器電路系統4706可如何延遲與特定SIMD/SIMT執行緒/通路相關聯之著色器之排程直至發生指定觸發事件。在偵測到觸發事件後，排程器4007將單一SIMD/SIMT批次中之多個聚合著色器分派至核心/EU 4001。
圖48
例示遍歷/相交電路系統4005內之著色器延遲/聚合器電路系統4805可如何延遲與特定SIMD執行緒/通路相關聯之著色器之排程直至發生指定觸發事件。在偵測到觸發事件後，遍歷/相交電路系統4005在單一SIMD/SIMT批次中將經聚合著色器提交至排序單元4008。
然而，應注意，著色器延遲及聚合技術可實施於各種其他組件，諸如排序單元4008內或可跨越多個組件分佈。舉例而言，遍歷/相交電路系統4005可進行著色器聚合操作之第一集合且排程器4007可進行著色器聚合操作之第二集合以確保在核心/EU 4001上高效地排程用於SIMD執行緒之著色器。
使得經聚合著色器分派至核心/EU之「觸發事件」可為處理事件，諸如特定數目之累積著色器或與特定執行緒相關聯之最小潛時。替代地或另外，觸發事件可為時間事件，諸如自第一著色器之延遲之一定持續時間或特定數目之處理器循環。其他變數，諸如核心/EU 4001及遍歷/相交單元4005上之當前工作負載亦可藉由排程器4007評估以判定何時分派著色器之SIMD/SIMT批次。
本發明之不同實施例可基於正使用的特定系統架構及應用要求使用上述方法之不同組合實施。
射線追蹤指令
下文描述之射線追蹤指令包括於支援CPU 3199及/或GPU 3105之指令集架構(ISA)中。若藉由CPU執行，則單指令多資料(SIMD)指令可利用向量/封裝源及目的地暫存器來進行所描述操作且可由CPU核心解碼及執行。若藉由GPU 3105執行，則該等指令可藉由圖形核心3130執行。舉例而言，上文所描述之執行單元(EU) 4001中之任一者可執行該等指令。替代地或另外，該等指令可藉由射線追蹤核心3150及/或張量核心3140上之執行電路系統執行。
圖49
例示用於執行下文描述之射線追蹤指令之架構。所例示架構可整合於可包括於不同處理器架構中的上文所描述之核心3130、3140、3150 (參見例如圖 31
及相關聯文本)中之一或多者內。
在操作中，指令提取單元4903自記憶體3198提取射線追蹤指令4900且解碼器4995解碼該等指令。在一個實施中，解碼器4995解碼指令以產生可執行操作(例如，微寫碼核心中之微操作或uop)。替代地，可執行射線追蹤指令4900中之一些或全部而無需解碼，且因而，並不需要解碼器4904。
在任一實施中，排程器/分派器4905跨越功能單元(FU) 4910至4912之集合排程及分派該等指令(或操作)。所例示實施包括用於執行單指令多資料(SIMD)指令(其並行地對儲存於向量暫存器4915中之多個封裝資料元素進行操作)之向量FU 4910及用於對儲存於一或多個純量暫存器4916中之純量值進行操作之純量FU 4911。任擇的射線追蹤FU 4912可對儲存於向量暫存器4915中之封裝資料值及/或儲存於純量暫存器4916中之純量值進行操作。在不具有專用FU 4912之實施中，向量FU 4910且有可能純量FU 4911可進行下文描述之射線追蹤指令。
各種FU 4910至4912自向量暫存器4915、純量暫存器4916及/或本端快取記憶體子系統4908 (例如，L1快取記憶體)存取執行射線追蹤指令4900所需的射線追蹤資料4902 (例如，遍歷/相交資料)。FU 4910至4912亦可經由負載及儲存操作進行對記憶體3198之存取，且快取記憶體子系統4908可獨立地操作以在本端快取資料。
儘管射線追蹤指令可用於提高射線遍歷/相交及BVH建構之效能，但其亦可適用於其他領域，諸如高效能計算(HPC)及通用GPU (GPGPU)實施。
在以下描述中，術語雙字有時簡稱為dw
且無正負號位元組簡稱為ub
。另外，下文提及之源及目的地暫存器(例如，src0、src1、dest等)可指代向量暫存器4915或在一些情況下可指代向量暫存器4915與純量暫存器4916之組合。通常，若由指令使用之源或目的地值包括封裝資料元素(例如，其中源或目的地儲存N個資料元素)，則使用向量暫存器4915。其他值可使用純量暫存器4916或向量暫存器4915。解量化
解量化指令之一個實例對先前經量化值進行「解量化」。藉助於實例，在射線追蹤實施中，某些BVH子樹可經量化以降低儲存及頻寬要求。解量化指令可呈解量化dest src0 src1 src2之形式，其中源暫存器src0儲存N個無正負號位元組，源暫存器src1儲存1個無正負號位元組，源暫存器src2儲存1個浮點值，且目的地暫存器dest儲存N個浮點值。所有此等暫存器可為向量暫存器4915。替代地，src0及dest可為向量暫存器4915且src1及src2可為純量暫存器4916。
以下程式碼序列界定解量化指令之一個特定實施：
for (int i = 0; i ＜ SIMD_WIDTH) {
if (execMask[i]) {
dst[i] = src2[i] + ldexp(convert_to_float(src0[i]),src1);
}
}
在此實例中，ldexp將雙精度浮點值乘以二之指定整數冪(亦即，ldexp(x,exp)=x*2exp
)。在上述程式碼中，若與當前SIMD資料元素相關聯之執行遮罩值(execMask[i]))被設定成1，則src0中位置i處之SIMD資料元素被轉換成浮點值且乘以src1中該值之整數冪(2src1 值
)並將此值添加至src2中之對應SIMD資料元素。選擇性最小值或最大值
選擇性最小值或最大值指令可每一通路進行最小值或最大值運算(亦即，傳回值集合中之最小值或最大值)，如由位元遮罩中之位元所指示。位元遮罩可利用向量暫存器4915、純量暫存器4916，或遮罩暫存器(未展示)之單獨集合。以下程式碼序列界定最小值/最大值指令之一個特定實施：sel_min_max dest src0 src1 src2，其中src0儲存N個雙字，src1儲存N個雙字，src2儲存一個雙字，且目的地暫存器儲存N個雙字。
以下程式碼序列界定選擇性最小值/最大值指令之一個特定實施：
for (int i = 0; i ＜ SIMD_WIDTH) {
if (execMask[i]) {
dst[i] = (1 ＜＜ i) & src2 ? min(src0[i],src1[i]) : max(src0[i],src1[i]);
}
}
在此實例中，(1＜＜i)之值與src2 (1左移i，與src2進行與(AND)操作)用於選擇src0及src1中第i資料元素之最小值或src0及src1中第i資料元素之最大值。僅在與當前SIMD資料元素相關聯之執行遮罩值(execMask[i]))被設定成1時才對第i資料元素進行該操作。混洗索引指令
混洗索引指令可將輸入通路之任何集合複製至輸出通路。對於32之SIMD寬度，此指令可以較低輸送量執行。此指令呈以下形式：shuffle_index dest src0 src1 ＜任擇旗標＞，其中src0儲存N個雙字，src1儲存N個無正負號位元組(亦即，索引值)，且dest儲存N個雙字。
以下程式碼序列界定混洗索引指令之一個特定實施：
for (int i = 0; i ＜ SIMD_WIDTH) {uint8_t srcLane = src1.index[i]; if (execMask[i]) {bool invalidLane = srcLane ＜ 0 || srcLane ＞= SIMD_WIDTH || !execMask[srcLaneMod]; if (FLAG) {invalidLane |= flag[srcLaneMod];} if (invalidLane) {dst[i] = src0[i];}else {dst[i] = src0[srcLane];}} }
在上述程式碼中，src1中之索引識別當前通路。若執行遮罩中之第i值被設定成1，則進行檢查以確保源通路在0至SIMD寬度之範圍內。若如此，則設定旗標(srcLaneMod)且將目的地之資料元素i設定成等於src0之資料元素i。若通路在範圍內(亦即，有效)，則將來自src1之索引值(srcLane0)用作至src0中之索引(dst[i]=src0[srcLane])。立即混洗 Up / Dn / XOR 指令
立即混洗指令可基於指令之立即數混洗輸入資料元素/通路。立即數可基於立即數之值指定輸入通路移位1、2、4、8抑或16個位置。任擇地，額外純量源暫存器可指定為填充值。當源通路索引無效時，填充值(若提供)被儲存至目的地中之資料元素位置。若未提供填充值，則資料元素位置均被設定成0。
旗標暫存器可用作源遮罩。若源通路之旗標位元被設定成1，則源通路可標記為無效且指令可繼續進行。
下文為立即混洗指令之不同實施之實例：
shuffle_＜up/dn/xor＞_＜1/2/4/8/16＞ dest src0 ＜任擇src1＞ ＜任擇旗標＞
shuffle_＜up/dn/xor＞_＜1/2/4/8/16＞ dest src0 ＜任擇src1＞ ＜任擇旗標＞
在此實施中，src0儲存N個雙字，src1針對填充值(若存在)儲存一個雙字，且dest儲存包含結果之N個雙字。
以下程式碼序列界定立即混洗指令之一個特定實施：
for (int i = 0; i ＜ SIMD_WIDTH) {int8_t srcLane;switch(SHUFFLE_TYPE) {case UP:srcLane = i - SHIFT;case DN:srcLane = i + SHIFT;case XOR:srcLane = i ^ SHIFT;} if (execMask[i]) {bool invalidLane = srcLane ＜ 0 || srcLane ＞= SIMD_WIDTH || !execMask[srcLane]; if (FLAG) {invalidLane |= flag[srcLane];} if (invalidLane) {if (SRC1)dst[i] = src1;elsedst[i] = 0;}else {dst[i] = src0[srcLane];}}}
此處，基於立即數之值，輸入資料元素/通路移位1、2、4、8抑或16個位置。暫存器src1為額外純量源暫存器，其用作在源通路索引無效時儲存至目的地中之資料元素位置之填充值。若未提供填充值且源通路索引無效，則目的地中之資料元素位置被設定成0。旗標暫存器(FLAG)用作源遮罩。若源通路之旗標位元被設定成1，則源通路標記為無效且指令如上文所描述繼續進行。間接混洗 Up / Dn / XOR 指令
間接混洗指令具有源運算元(src1)，其控制自源通路至目的地通路之映射。間接混洗指令可呈以下形式：
shuffle_＜up/dn/xor＞ dest src0 src1 ＜任擇旗標＞
其中src0儲存N個雙字，src1儲存1個雙字，且dest儲存N個雙字。
以下程式碼序列界定立即混洗指令之一個特定實施：
for (int i = 0; i ＜ SIMD_WIDTH) {int8_t srcLane;switch(SHUFFLE_TYPE) {case UP:srcLane = i - src1;case DN:srcLane = i + src1;case XOR:srcLane = i ^ src1;} if (execMask[i]) {bool invalidLane = srcLane ＜ 0 || srcLane ＞= SIMD_WIDTH || !execMask[srcLane]; if (FLAG) {invalidLane |= flag[srcLane];} if (invalidLane) {dst[i] = 0;}else {dst[i] = src0[srcLane];}}}
因此，間接混洗指令與上文所描述之立即混洗指令以類似方式操作，但源通路至目的地通路之映射受源暫存器src1而非立即數控制。交叉通路最小值 / 最大值指令
交叉通路最小值/最大值指令可支援浮點及整數資料類型。交叉通路最小值指令可呈lane_min dest src0形式且交叉通路最大值指令可呈lane_max dest src0形式，其中src0儲存N個雙字且dest儲存1個雙字。
藉助於實例，以下程式碼序列界定交叉通路最小值之一個特定實施：
dst = src[0]; for (int i = 1; i ＜ SIMD_WIDTH) {if (execMask[i]) {dst = min(dst, src[i]);}} 在此實例中，將源暫存器之資料元素位置i中之雙字值與目的地暫存器中之資料元素進行比較且將二個值中之最小值複製至目的地暫存器。交叉通路最大值指令以實質上相同方式操作，唯一區別為選擇位置i中之資料元素與目的地值中之最大值。交叉通路最小值 / 最大值索引指令
交叉通路最小值索引指令可呈lane_min_index dest src0形式且交叉通路最大值索引指令可呈lane_max_index dest src0形式，其中src0儲存N個雙字且dest儲存1個雙字。
藉助於實例，以下程式碼序列界定交叉通路最小值索引指令之一個特定實施：
dst_index = 0;tmp = src[0] for (int i = 1; i ＜ SIMD_WIDTH) { if (src[i] ＜ tmp && execMask[i]){tmp = src[i];dst_index = i;} }
在此實例中，目的地索引橫跨目的地暫存器自0遞增至SIMD寬度。若執行遮罩位元經設定，則將源暫存器中之位置i處之資料元素複製至暫時性儲存位置(tmp)且目的地索引被設定成資料元素位置i。交叉通路排序網路指令
交叉通路排序網路指令可使用N-寬(穩定)排序網路按升序(sortnet_min)或按降序(sortnet_max)對所有N個輸入元素進行排序。指令之最小值/最大值版本可分別呈sortnet_min dest src0及sortnet_max dest src0形式。在一個實施中，src0及dest儲存N個雙字。對src0之N個雙字進行最小值/最大值排序，且將升序元素(針對最小值)或降序元素(針對最大值)按其各別排序次序儲存於dest中。界定指令之程式碼序列之一個實例為：dst = apply_N_wide_sorting_network_min/max(src0)。交叉通路排序網路索引指令
交叉通路排序網路索引指令可使用N-寬(穩定)排序網路對所有N個輸入元素進行排序，但按升序(sortnet_min)或按降序(sortnet_max)傳回排列索引。指令之最小值/最大值版本可呈sortnet_min_index dest src0及sortnet_max_index dest src0形式，其中src0及dest各自儲存N個雙字。界定指令之程式碼序列之一個實例為dst = apply_N_wide_sorting_network_min/max_index(src0)。
圖50
中例示用於執行上述指令中之任一者之方法。該方法可實施於上文所描述之特定處理器架構上，但不限於任何特定處理器或系統架構。
在5001處，主圖形執行緒之指令執行於處理器核心上。舉例而言，此可包括上文所描述之核心(例如，圖形核心3130)中之任一者。當射線追蹤工作到達主圖形執行緒內、在5002處經判定時，將射線追蹤指令分擔至射線追蹤執行電路系統，其可呈如上文關於圖 49
所描述之功能單元(FU)形式或可在如關於圖 31
所描述之專用射線追蹤核心3150中。
在5003處，射線追蹤指令經解碼、提取自記憶體，且在5005處，該等指令經解碼成可執行操作(例如，在需要解碼器之實施例中)。在5004處，射線追蹤指令經排程及分派以供由射線追蹤電路系統執行。在5005處，射線追蹤指令藉由射線追蹤電路系統執行。舉例而言，該等指令可經分派且執行於上文所描述之FU (例如，向量FU 4910、射線追蹤FU 4912等)及/或圖形核心3130或射線追蹤核心3150上。
當對於射線追蹤指令完成執行時，在5006處儲存結果(例如，儲存回至記憶體3198)，且在5007處，通知主圖形執行緒。在5008處，在主執行緒之上下文內處理射線追蹤結果(例如，自記憶體讀取且整合至圖形呈現結果中)。
在實施例中，術語「引擎」或「模組」或「邏輯」可指代執行一或多個軟體或韌體程式之特殊應用積體電路(ASIC)、電子電路、處理器(共用、專用或群組)及/或記憶體(共用、專用或群組)、組合邏輯電路及/或提供所描述功能性之其他合適組件、可為以上各者之部分或可包括以上各者。在實施例中，引擎、模組或邏輯可以韌體、硬體、軟體或韌體、硬體與軟體之任何組合而予以實施。
用於非同步射線追蹤之設備及方法
本發明之實施例包括進行射線追蹤之固定功能加速電路系統與通用處理電路系統之組合。舉例而言，與包圍體階層(BVH)之射線遍歷及相交測試相關之某些操作可由固定功能加速電路系統進行，同時複數個執行電路執行各種形式之射線追蹤著色器(例如，任一命中著色器、相交著色器、未命中著色器等)。一個實施例包括雙高頻寬儲存庫，其包含用於儲存射線之複數個條目及用於儲存BVH節點之對應雙堆疊。在此實施例中，遍歷電路系統在雙射線庫與堆疊之間交替以在每一時脈循環處理一射線。另外，一個實施例包括優先順序選擇電路系統/邏輯，其在內部節點、非內部節點及基元之間進行區分且使用此資訊來智慧型地優先排序對BVH節點及由BVH節點定界之基元之處理。
一個特定實施例使用短堆疊減小遍歷所需的高速記憶體以在遍歷操作期間儲存有限數目個BVH節點。此實施例包括堆疊管理電路系統/邏輯以高效地推入及拿取去到及來自短堆疊之條目，從而確保所需的BVH節點可用。另外，藉由對追蹤資料結構進行更新來追蹤遍歷操作。當遍歷電路系統/邏輯暫停時，其可參考追蹤資料結構以在BVH內停止之同一位置開始遍歷操作，且進行資料結構追蹤中所維持之追蹤資料使得遍歷電路系統/邏輯可重新啟動。
圖51
例示一個實施例，其包含用於執行著色器程式碼及處理相關聯射線追蹤資料4902 (例如，BVH節點資料及射線資料)之著色器執行電路系統4000、用於進行遍歷及相交操作之射線追蹤加速電路系統5110，及用於儲存由RT加速電路系統5110及著色器執行電路系統4000處理之程式碼及相關聯資料之記憶體3198。
在一個實施例中，著色器執行電路系統4000包括複數個核心/執行單元4001，其執行著色器程式碼以進行各種形式之資料並行操作。舉例而言，在一個實施例中，核心/執行單元4001可跨越多個通路執行單一指令，其中指令之每一例項對儲存於不同通路中之資料進行操作。舉例而言，在SIMT實施中，指令之每一例項與不同執行緒相關聯。在執行期間，L1快取記憶體儲存某些射線追蹤資料以用於高效存取(例如，最近或頻繁存取之資料)。
初級射線之集合可分派至排程器4007，其將工作排程至藉由核心/EU 4001執行之著色器。核心/EU 4001可為射線追蹤核心3150、圖形核心3130、CPU核心3199或能夠執行著色器程式碼之其他類型之電路系統。一或多個主射線著色器5101處理初級射線且產生額外工作以由射線追蹤加速電路系統5110及/或核心/EU 4001進行(例如，以由一或多個子著色器執行)。由藉由核心/EU 4001執行之主射線著色器5101或其他著色器所產生之新工作可分配至排序電路系統4008，其將射線排序成如本文中所描述之群組或組(例如，具有類似特性之分組射線)。排程器4007接著排程核心/EU 4001上之新工作。
可執行之其他著色器包括任一命中著色器4514及最接近命中著色器4507，其處理如上文所描述之命中結果(例如，分別識別給定射線之任一命中或最接近命中)。未命中著色器4506處理射線未命中(例如，當射線並不與節點/基元相交時)。如所提及，可使用可包括一或多個指標、供應商特定元資料及全域引數的著色器記錄提及各種著色器。在一個實施例中，藉由著色器記錄識別符(SRI)識別著色器記錄。在一個實施例中，著色器之每一執行例項與儲存在父著色器與子著色器之間傳遞之引數的呼叫堆疊5203相關聯。呼叫堆疊5121亦可儲存對在呼叫傳回時執行之連續函數之提及。
射線遍歷電路系統5102遍歷穿過BVH之節點之每一射線，沿BVH之階層向下(例如，穿過父節點、子節點及葉節點)以識別射線遍歷之節點/基元。射線-BVH相交電路系統5103進行射線之相交測試，從而判定基元上之命中點，並回應於命中而產生結果。遍歷電路系統5102及相交電路系統5103可自一或多個呼叫堆疊5121擷取工作。在射線追蹤加速電路系統5110內，呼叫堆疊5121及相關聯射線追蹤資料4902可儲存於本端射線追蹤快取記憶體(RTC) 5107或其他本端儲存裝置內以供由遍歷電路系統5102及相交電路系統5103高效存取。下文描述之一個特定實施例包括高頻寬射線庫(參見例如圖52A)。
射線追蹤加速電路系統5110可為本文中所描述之各種遍歷/相交電路之變體，包括射線-BVH遍歷/相交電路4005、遍歷電路4502及相交電路4503，及射線追蹤核心3150。射線追蹤加速電路系統5110可替代射線-BVH遍歷/相交電路4005、遍歷電路4502及相交電路4503，及射線追蹤核心3150或用於處理BVH堆疊及/或進行遍歷/相交之任何其他電路系統/邏輯使用。因此，本文中所描述之任何特徵以及射線-BVH遍歷/相交電路4005、遍歷電路4502及相交電路4503，及射線追蹤核心3150之揭示內容亦揭示與射線追蹤加速電路系統5110之對應組合，但不限於此。
參考圖 52A
，射線遍歷電路系統5102之一個實施例分別包括第一射線儲存庫5201及第二射線儲存庫5202，其中每一庫包含用於儲存自記憶體載入之對應複數條傳入射線5206之複數個條目。對應第一堆疊5203及第二堆疊5204分別包含自記憶體讀取且儲存在本端以供處理之選定BVH節點資料5290至5291。如本文中所描述，在一個實施例中，堆疊5203至5204為包含用於儲存BVH節點資料之有限數目個條目(例如，在一個實施例中為六個條目)的「短」堆疊。儘管與射線庫5201至5202分開例示，但堆疊5203至5204亦可維持於對應射線庫5201至5202內。替代地，堆疊5203至5204可儲存於單獨本端記憶體或快取記憶體中。
遍歷處理電路系統5210之一個實施例在選擇下一射線及節點以處理(例如，以乒乓方式)時在二個庫5201至5202與堆疊5203至5204之間交替。舉例而言，遍歷處理電路系統5210每一時脈循環可自替代射線庫/堆疊選擇新射線/BVH節點，由此確保高效操作。然而，應注意，此特定配置對於遵守本發明之基礎原理並非必需的。
在一個實施例中，射線分配器5205基於庫分配計數器5220之集合之當前相對值平衡傳入射線5206分別至第一及第二記憶體庫5201至5202中之輸入。在一個實施例中，庫分配計數器5220維持第一及第二記憶體庫5201至5202中之每一者中的未遍歷射線之數目之計數。舉例而言，第一庫分配計數器可在射線分配器5205將新射線添加至第一庫5201時遞增且在處理來自第一庫5201之射線時遞減。類似地，第二庫分配計數器可在射線分配器5205將新射線添加至第二庫5201時遞增且在處理來自第二庫5201之射線時遞減。
在一個實施例中，射線分配器5205將當前射線分配至與較小計數器值相關聯之庫。若二個計數器相等，則射線分配器5205可選擇任一庫或可選擇與上一次計數器相等時選定之庫不同的庫。在一個實施例中，每一射線儲存於庫5201至5202中之一者之一個條目中且每一庫包含用於儲存至多32條射線之32個條目。然而，本發明之基礎原理不限於此等細節。
圖52B
例示在一個實施例中經執行以管理射線儲存庫5201至5202及堆疊5203至5204之四個程序5251至5254。在一個實施例中，四個程序5251至5254為程式碼之共同集合 (有時在本文中被稱作「TraceRay」) 之不同實施或組配。可執行初始程序5251以讀取射線5261且進行BVH之新自上而下遍歷，自根節點開始。分配函數修改控制位元且啟動對射線追蹤堆疊之對應讀取請求。詳言之，為了分配新條目，Alloc設定有效(VLD)位元並重設收回就緒(Evict_Rdy)位元。在用於射線之庫條目中，重設資料存在(DP)位元及已變更位元。設定對應堆疊條目中之DP位元。對於對應Hitinfo，設定DP位元並重設已變更位元。重設DP位元及與節點資料相關聯之著色器記錄識別符(SRI) DP位元。
例項程序5252進行BVH之節點中之一者(除根節點之外)內之遍歷並讀取射線及先前提交命中5262。在一個實施例中，當命中著色器中之一者識別射線與基元之間的命中時，接著執行提交程序5253以提交結果，從而讀取射線、可能命中及堆疊5263。替代地，執行繼續程序5254以繼續射線之遍歷，從而讀取射線、經提交命中及堆疊5264。
在各種情形下，遍歷電路系統5002必須暫停遍歷操作並保存當前射線及相關聯BVH節點，諸如當需要著色器以進行一系列操作時。舉例而言，若非不透明物件經命中或為程序紋理，則遍歷電路系統5002將堆疊5203至5204保存至記憶體並執行所需的著色器。一旦著色器已完成處理命中(或其他資料)，遍歷電路系統5002就自記憶體恢復射線庫5201至5202及堆疊5203至5204之狀態。
在一個實施例中，遍歷/堆疊追蹤器5248連續監視遍歷及堆疊操作且將重新啟動資料儲存於追蹤陣列5249中。舉例而言，若遍歷電路系統5002已經遍歷節點N、N0、N1、N2及N00且產生結果，則遍歷/堆疊追蹤器5248將更新追蹤陣列以指示已完成此等節點之遍歷及/或指示將自堆疊處理下一節點。當重新啟動遍歷電路系統5002時，其自追蹤陣列5249讀取重新啟動資料使得其可在恰當階段重新啟動遍歷，而無需重新遍歷BVH節點中之任一者(及浪費循環)。儲存於追蹤陣列5249中之重新啟動資料有時被稱作「重新啟動軌跡」或「RST」。
如圖 52B
中所指示，各種TraceRay程序5251至5254經由一或多個函數管理去到及來自射線儲存庫5201至5202之分配。如針對初始程序5251所例示，分配函數設定儲存庫條目中之有效位元(VLD) (指示該條目目前含有有效射線)並重設(Rst)收回就緒旗標(指示射線資料不應收回)。射線函數儲存選定條目中之射線並重設資料存在(DP)位元(指示射線資料儲存於條目中)及已變更位元(指示資料未修改)。在自儲存庫讀取射線時，堆疊函數設定DP位元並自堆疊擷取相關BVH節點(例如，在初始程序5251的情況下為根節點且在例項程序5252的情況下為另一節點)。HitInfo函數重設已變更位元並設定初始函數5251之DP位元或重設所有其他函數之DP位元。在一個實施例中，Hitinfo產生反映射線命中之資料。節點函數重設DP位元及著色器記錄識別符(SRI) DP，其為用於著色器記錄識別符之DP。一個實施例進行內核啟動指標(KSP)查找以確保KSP不等於零。若如此，則針對非不透明四邊形實施不同處置。
在一個實施例中，一旦射線條目已經分配於儲存庫5201至5202中之一者中，就進行提取以自與射線相關聯之堆疊擷取節點資料(及可能其他資料)。在一個實施例中，針對每一射線維持堆疊，包含遍歷射線穿過的當前節點之資料之工作集。
當移動至BVH中之下一層級時(例如，在判定射線與父節點相交時)，子節點經排序且推入於堆疊5203至5204上。子節點依序自堆疊中拿取且個別地經處理以識別射線遍歷(遍歷「命中」)之子節點。在一個實施例中，每當RT加速電路系統5110與著色器4504、4506、4507、5101、5105之間存在交遞時，將堆疊儲存至記憶體或本端快取記憶體/儲存裝置。
當包含四邊形或三角形(或其他基元類型)之葉節點由遍歷電路系統5102識別時，遍歷電路系統將此資訊傳遞至相交電路系統5103，其分別對四邊形或三角形進行相交測試。若基元並非四邊形或三角形，則在一個實施中，遍歷電路系統終止遍歷並將控制傳遞回至最近命中著色器4507 (若偵測到命中)或未命中著色器4506 (若未偵測到命中)。在相交電路系統5103被設計成對除四邊形及三角形之外的各種基元(例如，線、弧、圓等)進行相交的實施中，接著遍歷電路系統5102將此等基元之葉節點轉遞至相交電路系統5103。
在一個實施例中，當硬體或軟體組件產生對記憶體3198或快取記憶體之讀取請求時，16位元標籤用於提供關於資料類型及請求者之資訊。舉例而言，二位元程式碼可指定請求係針對射線、堆疊資料、命中資料、來自BVH之節點資料抑或任何其他類型之資料。當已經自記憶體傳回射線、堆疊及Hitinfo時，遍歷穿過一或多個BVH節點之射線且如上文所描述進行相交測試。
在不同處理階段自記憶體載入一或多個堆疊5203至5204及射線5206。舉例而言，初始程序5251及/或例項程序5252可需要載入新BVH以供遍歷。在此等情形下，堆疊5203至5204可初始化至BVH之頂部節點(或「根」節點)。對於BVH內之射線延續5254，堆疊5203至5204可自記憶體載入並擴展。一旦堆疊5203至5204已經製備，就自堆疊提取節點資料(在下文中有時被稱為Proc_Node_Fetch之操作)。
在一個實施例中，藉由針對二個非內部(NI)節點及二個內部節點啟動並行請求而提取節點資料。圖 53
例示NI節點優先順序選擇邏輯(PRISEL) 5311請求雙NI節點：來自庫0之第一NI節點5301及來自庫1之第二NI節點5302之一個此類實施例。同時，內部節點PRISEL邏輯5312請求雙內部節點：來自庫0之第一節點5303及來自庫1之第二節點5304。
在一個實施例中，NI節點優先順序選擇邏輯(PRISEL) 5311優先排序第一NI節點5301及第二NI節點5302中之一者，從而將經優先排序結果儲存於射線追蹤快取記憶體(RTC)中。類似地，內部節點PRISEL邏輯5312請求雙內部節點，並自第一內部節點5303及第二內部節點5304選擇經優先排序結果。
若可能，則優先順序選擇邏輯5311至5312之每一例項優先排序來自不同庫之非內部BVH節點5301至5302中之一者及內部BVH節點5303至5304中之一者。在一個實施例中，僅自每一庫選擇一個請求(例如，請求5302及5304中之一者及請求5301及5303中之一者)。此等請求之啟動亦可重設堆疊資料存在(DP)位元，如所指示，使得並不回應於節點提取操作擷取此條目。在一個實施例中，對於例項提取操作，射線之資料存在(DP)位元在發送例項請求時重設，且最後在射線在節點提取之後經變換時設定。
用於潛時減小之排序操作之設備及方法
如上文所描述，資料排序用於許多圖形管線階段中以改良效率。舉例而言，圖形基元，諸如三角形及四邊形可基於相對深度排序以剔除不可見基元(例如，當前視圖中被其他基元遮擋之彼等基元)。在射線追蹤系統中，如上文關於圖 31 、 圖40 、 圖45
及圖 51
所描述，排序電路系統/邏輯4008基於子節點與射線原點(或座標之其他指定集合)之相對距離而對包圍體階層(BVH)子節點進行排序。射線亦可經排序以改良效率。舉例而言，在一些實施中，基於類似性(例如，基於座標、雙向反射率分佈函數(BRDF)等)對射線進行排序及/或分組使得具有類似特性之射線可共同經處理。因此，儘管下文描述之本發明之實施例聚焦於BVH之子節點之排序，但本發明之基礎原理不限於此特定實施。
在一個實施例中，使用一系列比較運算實現子BVH節點之集合之排序。在一個特定實施中，使用「大於或等於」(「GTE」或「GEQ」)比較運算，但亦可使用其他比較運算(例如，小於、小於或等於等)。此等運算可在需要或不需要浮點運算之情況下進行於類脈動網路中。
在給定待排序之N個數字之情況下，本發明之一個實施例使用最少邏輯層級(階段)判定經排序次序。圖 54
例示排序電路系統/邏輯5408之一個實施例，其中比較電路系統5402比較N個數字之集合中之每一數字與該集合中之所有其他數字並將結果配置於N×N比較結果矩陣5420中。為了並行地進行所有比較，比較電路系統5402之一個實施包括N*(N-1)/2個比較器，其經組配以進行輸入值之同時比較，輸入值可為浮點、整數或任何其他資料類型。
圖55
例示比較結果矩陣5420，其儲存四個數字：A、B、C及D之間的比較結果。在一個實施例中，比較結果矩陣5420之每一列與集合中之不同數字相關聯且包括一個位元以供各自與集合中之另一數字進行比較。舉例而言，矩陣元素AgteB在A大於或等於B時被設定成值1且約AgteB在A不大於或等於B時被設定成1。類似地基於對應比較之結果設定其他位元值。將比較結果儲存於如所例示之比較結果矩陣5420中，其中對角線設定為0，且對角線之左下包含右上之鏡射。因此，在四個輸入值(A至D)之情況下，產生4×4比較結果矩陣5420，但僅需要六次比較運算(亦即，自右上之AgteB、AgteC、AgteD、BgteC、BgteD及CgteD，其逆運算產生左下)。
返回至圖 54
，加法器5430之集合並行地將矩陣之每一列相加。總和保證對於每一列為特有的且將在0至(N-1)範圍內。定序電路系統/邏輯5440接著產生至總和中之索引以返回子BVH節點5450之經排序次序。舉例而言，若與數字A相關聯之列0之總和為0，則A為最小數字(例如，在一個實施例中表示最小距離)，但若列0之總和為3，則A為最大數字(表示最大距離)。定序電路系統/邏輯5440接著相對於與剩餘數字B至D相關聯之子BVH節點基於總和值對相關聯子BVH節點進行定序。
比較結果矩陣5420之結構保證若二個數字相同，若任一數字被視為大於或等於在其之後的任一數字，則在矩陣之任何後一列中，並不認為後一數字大於或等於前一數字。此配置保證穩定排序。此外，藉由上述方法，無論使用多少輸入數字，對於比較及矩陣產生操作，不增加邏輯層級。
排序電路系統/邏輯5408可為先前所描述之排序電路系統/邏輯4008，具有此處所描述之額外排序功能性。比較器5410、加法器5430及定序電路系統/邏輯5440可藉由由上文所描述之核心/EU 4001執行之程式碼實施，該等核心/EU可為射線追蹤核心3150、圖形核心3130、CPU核心3199或能夠執行著色器程式碼之其他類型之電路系統。在一個實施例中，比較器5410包含脈動網路或其他類型之資料並行處理電路系統，其包含進行並行操作之複數個功能單元(FU)。舉例而言，FU可進行並行地產生比較結果矩陣5420所需的所有比較運算(例如，其中每一FU進行數字之一個集合之比較)。類似地，加法器5430可藉由FU之另一集合(或同一集合)實施，加法器並行地將每一列中之值相加。替代地或另外，比較器5410、加法器5430及定序電路系統/邏輯5440中之一或多者實施為固定功能電路系統或經由固定功能電路系統與FU之組合實施以執行程式碼。
圖56
中例示根據本發明之一個實施例的方法。該方法可實施於上文所描述之處理器及系統架構之上下文內，但不限於任何特定系統架構。
在5601處，提交N個輸入值以供排序。如所提及，N個輸入值可與各種類型之資料結構相關聯，諸如BVH節點(例如，具有同一父節點之子節點)、射線及基元。
在5602處，比較每一輸入值與所有其他輸入值以產生N*(N-1)/2個比較結果。如所提及，在一個實施例中，藉由N*(N-1)/2個比較器並行地進行比較。
在5603處，產生具有針對每一輸入值之一列之結果矩陣。結果矩陣之每一列包括複數個位元，其指示與其他輸入值之比較結果。如上文所描述，結果矩陣以逆向鏡射模式配置，其中第一區域儲存指示N*(N-1)/2次比較之結果的位元(例如，圖55
中之右上)且與第一區域相對之第二區域(例如，圖55
中之左下)儲存指示N*(N-1)/2個比較結果之逆元的位元。
在5605處，將每一列中之位元相加以產生與N個輸入值相關聯之N個特有結果值(每一列一個結果值)。
在5606處，基於結果值對N個輸入值及/或任何相關聯資料結構(例如，BVH節點)進行定序。舉例而言，可產生針對結果值之索引以返回輸入值及相關聯資料結構之經排序次序。
在5607處，將相關聯資料結構及/或輸入值以經排序次序儲存。舉例而言，在子BVH節點在堆疊頂部處具有最小距離值及子BVH節點在堆疊頂部處具有最大距離值之情況下，若資料結構包含子BVH節點且輸入值為距離值，則子BVH節點可以經排序次序推入至堆疊。
實例
下文為本發明之不同實施例之實例實施：
實例1.一種處理器，其包含：一輸入電路，其用以接收N個輸入值之一集合以排序成一經排序次序；比較電路系統，其用以並行地對每一輸入值與所有其他輸入值進行比較以產生至少N*(N-1)/2個比較結果值；矩陣產生電路系統及/或邏輯，其用以產生具有與每一輸入值相關聯之一列之一結果矩陣，每一列中之複數個位元包含指示與其他輸入值之比較結果之比較結果值，其中該結果矩陣之一第一區域將儲存包含該N*(N-1)/2個比較結果值之位元之一第一集合且該結果矩陣之與該第一區域相對之一第二區域將儲存包含該N*(N-1)/2個比較結果值之一逆元的位元之一第二集合；一並加器電路，其用以對每一列中之該等位元進行並行加法以產生N個特有結果值；以及排序電路系統，其用以為該N個特有結果值編索引以返回該經排序次序。
實例2.如實例1之處理器，其中該比較電路系統包含N*(N-1)/2個比較器以進行N*(N-1)/2次並行比較，從而產生至少N*(N-1)/2個比較結果值。
實例3。如實例2之處理器，其中該N*(N-1)/2次比較包含大於或等於比較且其中每一比較結果值包含在一第一輸入值大於或等於一第二輸入值時設定為1或在該第一輸入值不大於或等於該第二輸入值時設定為0的一位元。
實例4.如實例1之處理器，其中該N個輸入值中之每一者包含與N個包圍體階層(BVH)節點相關聯之距離值，其中該排序電路系統將基於該等比較結果值產生該等BVH節點之一經排序次序。
實例5.如實例4之處理器，其進一步包含：將該N個BVH節點以該經排序次序推入至一堆疊之堆疊管理電路系統及/或邏輯。
實例6.如實例1之處理器，其中該結果矩陣之該第一區域包含一右上區域且該結果矩陣之該第二區域包含一左下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左上角與該結果矩陣之右下角的該矩陣中之位元位置之一對角線集合分離。
實例7.如實例1之處理器，其中該結果矩陣之該第一區域包含一左上區域且該結果矩陣之該第二區域包含一右下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左下角與該結果矩陣之右上角的該矩陣中之位元位置之一對角線集合分離。
實例8.如實例1之處理器，其中對於N個輸入值之該集合，N之值為至多為一臨限值之變數，且其中該比較電路系統將產生該等比較結果值且該矩陣產生電路系統將以相同數目之處理器循環產生該結果矩陣，無關於至多為該臨限值之N之該值。
實例9.一種方法，其包含：接收N個輸入值之一集合以排序成一經排序次序；並行地將每一輸入值與所有其他輸入值進行比較以產生至少N*(N-1)/2個比較結果值；產生具有與每一輸入值相關聯之一列之一結果矩陣，每一列中之複數個位元包含指示與其他輸入值之比較結果之比較結果值，其中該結果矩陣之一第一區域將儲存包含該N*(N-1)/2個比較結果值之位元之一第一集合且該結果矩陣之與該第一區域相對之一第二區域將儲存包含該N*(N-1)/2個比較結果值之一逆元的位元之一第二集合；對每一列中之該等位元進行並行加法以產生N個特有結果值；以及為該N個特有結果值編索引以返回該經排序次序。
實例10.如實例9之方法，其中該N*(N-1)/2次並行比較由N*(N-1)/2個比較器進行以產生至少N*(N-1)/2個比較結果值。
實例11.如實例10之方法，其中該N*(N-1)/2次比較包含大於或等於(GTE)比較且其中每一比較結果值包含在一第一輸入值大於或等於一第二輸入值時設定為1或在該第一輸入值不大於或等於該第二輸入值時設定為0的一位元。
實例12.如實例9之方法，其中該N個輸入值中之每一者包含與N個包圍體階層(BVH)節點相關聯之距離值，其中基於該等比較結果值產生該等BVH節點之一經排序次序。
實例13.如實例12之方法，其進一步包含：將該N個BVH節點以該經排序次序推入至一堆疊。
實例14.如實例9之方法，其中該結果矩陣之該第一區域包含一右上區域且該結果矩陣之該第二區域包含一左下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左上角與該結果矩陣之右下角的該矩陣中之位元位置之一對角線集合分離。
實例15.如實例9之方法，其中該結果矩陣之該第一區域包含一左上區域且該結果矩陣之該第二區域包含一右下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左下角與該結果矩陣之右上角的該矩陣中之位元位置之一對角線集合分離。
實例16.如實例9之方法，其中對於N個輸入值之該集合，N之值為至多為一臨限值之變數，且其中該等比較結果值及該結果矩陣以相同數目之處理器循環產生，無關於至多為該臨限值之N之該值。
實例17.一種機器可讀媒體，其上儲存有程式碼，程式碼在由一機器執行時使得該機器進行以下操作：接收N個輸入值之一集合以排序成一經排序次序；並行地將每一輸入值與所有其他輸入值進行比較以產生至少N*(N-1)/2個比較結果值；產生具有與每一輸入值相關聯之一列之一結果矩陣，每一列中之複數個位元包含指示與其他輸入值之比較結果之比較結果值，其中該結果矩陣之一第一區域將儲存包含該N*(N-1)/2個比較結果值之位元之一第一集合且該結果矩陣之與該第一區域相對之一第二區域將儲存包含該N*(N-1)/2個比較結果值之一逆元的位元之一第二集合；對每一列中之該等位元進行並行加法以產生N個特有結果值；以及為該N個特有結果值編索引以返回該經排序次序。
實例18.如實例17之機器可讀媒體，其中該N*(N-1)/2次並行比較由N*(N-1)/2個比較器進行以產生至少N*(N-1)/2個比較結果值。
實例19.如實例18之機器可讀媒體，其中該N*(N-1)/2次比較包含大於或等於(GTE)比較且其中每一比較結果值包含在一第一輸入值大於或等於一第二輸入值時設定為1或在該第一輸入值不大於或等於該第二輸入值時設定為0的一位元。
實例20.如實例17之機器可讀媒體，其中該N個輸入值中之每一者包含與N個包圍體階層(BVH)節點相關聯之距離值，其中基於該等比較結果值產生該等BVH節點之一經排序次序。
實例21.如實例20之機器可讀媒體，其進一步包含程式碼以使得該機器進行以下操作：將該N個BVH節點以該經排序次序推入至一堆疊。
實例22.如實例17之機器可讀媒體，其中該結果矩陣之該第一區域包含一右上區域且該結果矩陣之該第二區域包含一左下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左上角與該結果矩陣之右下角的該矩陣中之位元位置之一對角線集合分離。
實例23.如實例17之機器可讀媒體，其中該結果矩陣之該第一區域包含一左上區域且該結果矩陣之該第二區域包含一右下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左下角與該結果矩陣之右上角的該矩陣中之位元位置之一對角線集合分離。
實例24.如實例17之機器可讀媒體，其中對於N個輸入值之該集合，N之值為至多為一臨限值之變數，且其中該等比較結果值及該結果矩陣以相同數目之處理器循環產生，無關於至多為該臨限值之N之該值。
上文所描述之本發明的實施例以最少數目之循環達成穩定排序且使用最少數目之處理階段產生經排序次序。此外，相對於比較及矩陣產生操作，不需要增加邏輯層級，無關於輸入多少數字。
本發明之實施例可包括上文已描述之各種步驟。該等步驟可體現於可用以使通用或專用處理器進行該等步驟之機器可執行指令中。替代地，可藉由含有用於進行步驟之固線式邏輯的特定硬體組件，或藉由經程式化之電腦組件及定製硬體組件之任何組合進行此等步驟。
如本文所描述，指令可指經組配以進行某些操作或具有儲存於體現於非暫時性電腦可讀媒體中之記憶體中的預定功能性或軟體指令的硬體(諸如，特殊應用積體電路(ASIC))之特定組配。因此，可使用儲存並執行於一或多個電子裝置(例如，終端站、網路元件等)上之程式碼及資料實施諸圖中所展示之技術。此等電子裝置使用電腦機器可讀媒體(諸如，非暫時性電腦機器可讀儲存媒體(例如，磁碟、光碟、隨機存取記憶體、唯讀記憶體、快閃記憶體裝置、相變記憶體)及暫時性電腦機器可讀通訊媒體(例如，電、光學、聲學或其他形式之傳播信號，諸如載波、紅外線信號、數位信號等))儲存並傳達(內部地及/或經由網路與其他電子器裝置)程式碼及資料。
另外，此等電子裝置通常包括耦接至一或多個其他組件(諸如，一或多個儲存裝置(非暫時性機器可讀儲存媒體)、使用者輸入/輸出裝置(例如，鍵盤、觸控螢幕及/或顯示器)及網路連接)之一或多個處理器之集合。通常經由一或多個匯流排及橋接器(亦稱為匯流排控制器)耦接處理器之集合與其他組件。儲存裝置及攜載網路訊務之信號分別表示一或多個機器可讀儲存媒體及機器可讀通訊媒體。因此，給定電子裝置之儲存裝置通常將用於執行之程式碼及/或資料儲存於彼電子裝置之一或多個處理器的集合上。當然，可使用軟體、韌體及/或硬體之不同組合實施本發明之實施例的一或多個部分。貫穿此詳細描述，出於解釋之目的，闡述眾多特定細節以便提供對本發明之透徹理解。然而，熟習此項技術者將顯而易見，可在並無此等特定細節中之一些細節的情況下實踐本發明。在某些情況下，並未詳細描述熟知結構及功能以免混淆本發明之主題。因此，應就以下申請專利範圍判定本發明之範疇及精神。
100:處理系統
102,200,1030,2502:處理器
104,425,1192,1325A,1325B:快取記憶體
106,242,606,3120:暫存器檔案
107,202A,202N:處理器核心
108,300,320,800,1032,1210,1310,1340:圖形處理器
109:指令集
110:介面匯流排
111,1245:顯示裝置
112:加速器
116,248,268,1265,3170:記憶體控制器
118:外部圖形處理器
119:外部加速器
120,326A,326B,326C,326D:記憶體裝置
121:指令
122,906:資料
124:資料儲存裝置
125:觸控感測器
126:無線收發器
128:韌體介面
130:平台控制器集線器
134:網路控制器
140:舊式I/O控制器
142,1225:通用串列匯流排(USB)控制器
143:滑鼠
144:攝影機
146:音訊控制器
204A,204N:內部快取記憶體單元
206:共用快取記憶體單元
206A,206B,206C,206D,206E,206F:媒體取樣器
208:整合式圖形處理器
210:系統代理核心
211,302,843:顯示器控制器
212:基於環形之互連單元
213:I/O鏈路
214:整合式記憶體控制器
216:匯流排控制器單元
218:高效能嵌入式記憶體模組
219:圖形處理器核心
221A,221B,221C,221D,221E,221F:子核心
222A,222B,222C,222D,222E,222F,224A,224B,224C,224D,224E,224F:EU陣列
223A,223B,223C,223D,223E,223F:執行緒分派及執行緒間通訊(TD/IC)邏輯
225A,225B,225C,225D,225E,225F:3D取樣器
227A,227B,227C,227D,227E,227F,502:著色器處理器
228A,228B,228C,228D,228E,228F,511:共用本端記憶體(SLM)
230:固定功能區塊
231,237:幾何/固定功能管線
232:圖形SoC介面
233:圖形微控制器
234,316,830,924:媒體管線
235,416,420:共用功能邏輯
236:共用及/或快取記憶體
238:額外固定功能邏輯
239,3195,3320:圖形處理單元(GPU)
240A,240B,240C,240N,3100A,3100B,3100C,3100N:多核心群組
241,3110,4905:排程器/分派器
243,415A,415B,3130:圖形核心
244,3140:張量核心
245,3150:射線追蹤核心
246,3199:CPU
247:共用記憶體單元/紋理單元
249,271,272,3198:記憶體
250:輸入/輸出(I/O)電路系統
251:I/O記憶體管理單元(IOMMU)
252,3190:I/O裝置
253,3180:L2快取記憶體
254,851,4003:L1快取記憶體
255,506:指令快取記憶體
256:共用記憶體
257:命令處理器
258,504,831:執行緒分派器
260A,260N,610:計算單元
261,4915:向量暫存器
262,4916:純量暫存器
263:向量邏輯單元
264:純量邏輯單元
265:本端共用記憶體
266:程式計數器
267:常數快取記憶體
269:內部直接記憶體存取(DMA)控制器
270,2506A,2506B,2506C,2506D,3106:GPGPU
304:區塊影像傳送(BLIT)引擎
306:視訊編解碼器引擎
310,410:圖形處理引擎
310A,310B,310C,310D:圖形引擎砌塊
312,922:3D管線
314:記憶體介面
315:3D/媒體子系統
318:外部顯示裝置
322:圖形處理引擎叢集
323A,323B,323C,323D,323E,323F:砌塊互連件
324:網狀架構互連件
325A,325B,325C,325D:記憶體互連件
328:主機介面
330:計算加速器
332:計算引擎叢集
336,875:L3快取記憶體
340A,340B,340C,340D:計算引擎砌塊
403,803:命令串流器
414:圖形核心陣列
418:聯合返回緩衝器
421:取樣器邏輯
422:數學邏輯
423:執行緒間通訊(ITC)邏輯
500,850:執行緒執行邏輯
505:射線追蹤器
507A,507B:執行緒控制邏輯
508:圖形執行單元
508A,508B,508C,508D,508N-1,508N,600,852A,852B:執行單元
509A,509B,509N:經融合圖形執行單元
510,854,4002:取樣器
512:資料快取記憶體
514,856:資料埠
522:執行緒仲裁器
524:通用暫存器檔案陣列(GRF)
526:架構暫存器檔案陣列(ARF)
530,607:發送單元
532,608:分支單元
534:SIMD浮點單元(FPU)
535:專用整數SIMD ALU
537:指令提取單元
601:執行緒控制單元
602:執行緒狀態單元
603:指令提取/預提取單元
604:指令解碼單元
611:ALU單元
612:脈動陣列
613:數學單元
700:圖形處理器指令格式
710:128位元指令格式
712:指令作業碼
713:索引欄位
714:指令控制欄位
716:exec-size欄位
718:目的地
720:src0
722:src1
724:SRC2
726:存取/定址模式欄位
730:64位元緊湊指令格式
740:作業碼解碼
742:移動及邏輯作業碼群組
744:流量控制指令群組
746:雜項指令群組
748:並行數學指令群組
750:向量數學群組
802:環形互連件
805:頂點收取器
807:頂點著色器
811:可程式化殼著色器
813:鑲嵌器
817:域著色器
819:幾何著色器
820:幾何管線
823:串流輸出單元
829:剪輯器
834:視訊前端
837:媒體引擎
840:顯示引擎
841:2D引擎
858:紋理快取記憶體
870:呈現輸出管線
873:光柵處理器及深度測試組件
877:像素運算組件
878:相關聯呈現快取記憶體
879:深度快取記憶體
900:圖形處理器命令格式
902:用戶端
904:命令操作碼(作業碼)
905:子作業碼
908:命令大小
910:圖形處理器命令序列
912:管線清空命令
913:管線選擇命令
914:管線控制命令
916:返回緩衝器狀態命令
920:管線判定
930:3D管線狀態
932:3D基元
934:執行
940:媒體管線狀態
942:媒體物件命令
944:執行命令
1000:資料處理系統
1010:3D圖形應用程式
1012:著色器指令
1014:可執行指令
1016:圖形物件
1020:作業系統(OS)
1022:圖形API
1024:前端著色器編譯器
1026:使用者模式圖形驅動器
1027:後端著色器編譯器
1028:OS內核模式功能
1029:內核模式圖形驅動器
1034:通用處理器核心
1050:系統記憶體
1100:IP核心開發系統
1110:軟體模擬
1112:模擬模型
1115:暫存器傳送級(RTL)設計
1120:硬體模型
1130:設計設施
1140:非依電性記憶體
1150:有線連接
1160:無線連接
1165:製造設施
1170:積體電路封裝總成
1172,1174:硬體邏輯
1173:互連結構
1175:記憶體小晶片
1180:基體
1182:橋接件
1183:封裝互連件
1185:網狀架構
1187:橋接結構
1190:封裝總成
1191:邏輯/I/O
1193:邏輯
1195:可互換小晶片
1196,1198:基礎小晶片
1197:橋接互連件
1200:系統單晶片積體電路
1205:應用程式處理器
1215:影像處理器
1220:視訊處理器
1230:UART控制器
1235:SPI/SDIO控制器
1240:I2
S/I2
C控制器
1250:高清多媒體介面(HDMI)控制器
1255:行動工業處理器介面(MIPI)顯示介面
1260:快閃記憶體子系統
1270:安全性引擎
1305:頂點處理器
1315A,1315B,1315C,1315D,1315N-1,1315N:片段處理器
1320A,1320B:記憶體管理單元(MMU)
1330A,1330B:電路互連件
1345:核心間任務管理器
1355A,1355B,1355C,1355D,1355E,1355F,1355N-1,1355N:著色器核心
1358:拼貼單元
1500,1600,1810:機器學習引擎
1501:低樣本計數訓練資料
1502,1702:高樣本計數影像資料
1505,1805:權重
1601:低樣本計數輸入圖框
1602:新參考區域
1603:LSC緩衝器
1604:HSC緩衝器
1605:經訓練權重
1605A,1605B,1605C:組合權重
1610:經量化BVH節點
1620:經去雜圖框
1700,1700A,1700B,1700C:背景訓練程序
1710:主機CPU
1800:伺服器
1811:機器學習管理
1820,1821,1822:主機機器
1901,1902,1903,1904,2301,2302,2303,2304,2305,3500,3501,3502,3503,3900,3901, 3902,3903,3904,3905,5001,5002,5003,5004,5005,5006,5007,5008,5601,5602, 5603, 5604,5605,5606,5607:區塊
2001,2002,2003:重像區域
2005,2106:經壓縮資料
2011,2012,2013:區域
2021,2022,2023:節點
2081,2082:射線追蹤呈現電路系統
2100,2111:去雜器
2101,2102:區域資料管理器
2121,2122:經去雜區域
2131,2132:壓縮器/解壓縮器單元
2201,2202:管理器節點/監視器
2211,2212,3725,3726:網路介面
2280:區域處理器
2290:經去雜影像/顯示器
2400:機器學習軟體堆疊
2402:機器學習應用程式
2404:機器學習框架
2406:計算框架
2408:GPGPU驅動器
2410:GPGPU硬體
2504:主機介面開關
2511:圖形記憶體
2516:P2P GPU鏈路
2602:輸入
2604,2606,2714:卷積層
2608:完全連接層
2712:至卷積層之輸入
2716:卷積階段
2718:偵測器階段
2720:集用階段
2722:下一層
2800:循環神經網路
2802:輸入層
2804:隱藏層
2805:回饋機構
2806:輸出層
2902:訓練資料集
2904:訓練框架
2906:未經訓練神經網路
2908:經訓練神經網路
2912:新資料
2914:結果
3002:模型並行化
3004:資料並行化
3006:模型及資料並行化
3100:推斷系統單晶片
3102:媒體處理器
3104:視覺處理器
3105:晶片上記憶體
3108:多核心處理器
3160:L1快取記憶體及紋理單元
3200:貼片
3201:射束
3304:射線產生電路系統
3305:射束階層構造電路系統
3306:遍歷/相交電路系統
3307:射束階層
3308:BVH
3309:BVH構造
3310:射線追蹤引擎
3400:初級射束
3401,3402,3403,3404:四分體
3600:射線追蹤叢集
3610,3611,3612,3613,3710,3711:射線追蹤節點
3620:閘道器
3630:用戶端側射線追蹤應用程式
3701:經壓縮射線封包
3720,3741:射線壓縮電路系統
3721,3740:射線解壓縮電路系統
3730:第一射線追蹤引擎
3731:第二射線追蹤引擎
3801:有損壓縮電路系統
3802:有損解壓縮電路系統
3803:無損壓縮電路系統
3804:無損解壓縮電路系統
4000:著色器執行電路系統
4001:SIMD/SIMT核心/執行單元
4004:訊息單元
4005:射線-BVH遍歷/相交電路系統
4006:本端L1快取記憶體
4007:排程器
4008:排序電路系統
4009:主分派器
4010:固定功能電路系統
4020:末級快取記憶體(LLC)
4101,4405,5121:呼叫堆疊
4102:自由堆疊集區
4201:內容可定址記憶體(CAM)結構/標籤
4201A,4201B,4201n:著色器記錄指標
4210:分組電路系統
4300:頂部層級BVH
4301,4302:底部層級BVH
4303:內部遍歷路徑
4304:外部遍歷路徑
4305:遍歷節點
4306:具有三角形之葉節點
4307:具有自定義基元之葉節點
4400,4601:遍歷狀態
4401:世界空間
4402:物件空間
4403,4404:偏移
4410:內部堆疊
4501,5101:主射線著色器
4502,5002:遍歷電路系統
4503:相交電路系統
4504:任一命中著色器
4505:相交著色器
4506:未命中著色器
4507:最近命中著色器
4650:自定義基元
4701:著色器
4706,4805:著色器延遲/聚合器電路系統
4900:射線追蹤指令
4902:射線追蹤資料
4903:提取單元
4904:解碼器
4908:本端快取記憶體子系統
4910:向量FU
4911:純量FU
4912:射線追蹤FU
5102:射線遍歷電路系統
5103:射線-BVH相交電路系統
5107:本端射線追蹤快取記憶體(RTC)
5110:射線追蹤加速電路系統
5201:第一射線儲存庫
5202:第二射線儲存庫
5203:第一堆疊
5204:第二堆疊
5205:射線分配器
5206:傳入射線
5210:遍歷處理電路系統
5220:庫分配計數器
5248:遍歷/堆疊追蹤器
5249:追蹤陣列
5251:初始程序
5252:例項程序
5253:提交程序
5254:繼續程序
5261:射線
5262:先前提交命中
5263,5264:堆疊
5290,5291:BVH節點資料
5301:第一NI節點
5302:第二NI節點
5303:第一內部節點
5304:第二內部節點
5311:NI節點優先順序選擇邏輯(PRISEL)
5312:內部節點PRISEL邏輯
5408:排序電路系統/邏輯
5410:比較器
5420:比較結果矩陣
5430:加法器
5440:定序電路系統/邏輯
5450:子BVH節點
可自以下結合以下圖式進行之詳細描述獲得對本發明之較佳理解，其中：
圖1
為具有含有一或多個處理器核心及圖形處理器之處理器之電腦系統的實施例之方塊圖；
圖2A 至 圖2D
為具有一或多個處理器核心、整合式記憶體控制器及整合式圖形處理器之處理器的一個實施例的方塊圖；
圖3A 至 圖3C
為可為精密圖形處理單元或可為與複數個處理核心整合之圖形處理器的圖形處理器之一個實施例之方塊圖；
圖4
為用於圖形處理器之圖形處理引擎之實施例的方塊圖；
圖5A 至 圖5B
為圖形處理器之另一實施例之方塊圖；
圖6
例示執行電路系統及邏輯之實例；
圖7
例示根據實施例之圖形處理器執行單元指令格式；
圖8
為包括圖形管線、媒體管線、顯示引擎、執行緒執行邏輯及呈現輸出管線之圖形處理器之另一實施例的方塊圖；
圖9A
為例示根據實施例之圖形處理器命令格式之方塊圖；
圖9B
為例示根據實施例之圖形處理器命令序列的方塊圖；
圖10
例示用於根據實施例之資料處理系統的例示性圖形軟體架構；
圖11A 至 圖11D
例示可用於製造積體電路及例示性封裝總成之例示性IP核心開發系統；
圖12
例示根據實施例之可使用一或多個IP核心製造的例示性系統單晶片積體電路；
圖13
例示可使用一或多個IP核心製造的系統單晶片積體電路之例示性圖形處理器；
圖14
例示例示性圖形處理器架構；
圖15
例示用於進行機器學習架構之初始訓練的架構；
圖16
例示如何在運行時間期間連續地訓練及更新機器學習引擎；
圖17
例示如何在運行時間期間連續地訓練及更新機器學習引擎；
圖18A 至 圖18B
例示如何在網路上共用機器學習資料；且
圖19
例示用於訓練機器學習引擎之方法；
圖20
例示節點如何交換重像區域資料來進行分佈式去雜操作；
圖21
例示影像呈現及去雜操作跨越複數個節點分佈之架構；
圖22
例示分佈式呈現及去雜之架構之額外細節；
圖23
例示用於進行分佈式呈現及去雜之方法；
圖24
例示機器學習方法；
圖25
例示複數個互連通用圖形處理器；
圖26
例示用於機器學習實施之卷積層及完全連接層之集合；
圖27
例示卷積層之實例；
圖28
例示機器學習實施中互連節點之集合的實例；
圖29
例示神經網路在其內部使用訓練資料集進行學習的訓練框架；
圖30A
例示模型並行化及資料並行化之實例；
圖30B
例示系統單晶片(SoC)；
圖31
例示包括射線追蹤核心及張量核心之處理架構；
圖32
例示射束之實例；
圖33
例示用於進行射束追蹤之設備；
圖34
例示射束階層之實例；
圖35
例示用於進行射束追蹤之方法；
圖36
例示分佈式射線追蹤引擎之實例；
圖37 至圖38
例示射線追蹤系統中所進行之壓縮；
圖39
例示實施於射線追蹤架構上之方法；
圖40
例示例示性混合式射線追蹤設備；
圖41
例示用於射線追蹤操作之堆疊；
圖42
例示混合式射線追蹤設備之額外細節；
圖43
例示包圍體階層；
圖44
例示呼叫堆疊及遍歷狀態儲存；
圖45
例示用於遍歷及相交之方法；
圖46A 至圖46B
例示如何需要多個分派循環來執行某些著色器；
圖47
例示單一分派循環如何執行複數個著色器；
圖48
例示單一分派循環如何執行複數個著色器；
圖49
例示用於執行射線追蹤指令之架構；
圖50
例示用於在執行緒內執行射線追蹤指令之方法；
圖51
例示用於非同步射線追蹤之架構之一個實施例；
圖52A
例示射線遍歷電路之一個實施例；
圖52B
例示在一個實施例中經執行以管理射線儲存庫之程序；
圖53
例示優先順序選擇電路系統/邏輯之一個實施例；
圖54
例示根據本發明之一個實施例的排序電路系統及/或邏輯；
圖55
例示根據本發明之一個實施例的實例結果矩陣；且
圖 56
例示根據本發明之一個實施例之方法。
5601,5602,5603,5605,5606,5607:區塊
Claims (24)
- 一種處理器，其包含： 一輸入電路，其用以接收要被排序成一經排序次序的N個輸入值之一集合； 比較電路系統，其用以並行地比較各輸入值與所有其他輸入值以產生至少N*(N-1)/2個比較結果值； 矩陣產生電路系統及/或邏輯，其用以產生具有與各輸入值相關聯之一列之一結果矩陣，在各列中之複數個位元包含指示與其他輸入值之比較結果之比較結果值，其中該結果矩陣之一第一區域係要儲存包含該N*(N-1)/2個比較結果值之位元之一第一集合且該結果矩陣之與該第一區域相對之一第二區域係要儲存包含該N*(N-1)/2個比較結果值之一逆元的位元之一第二集合； 一並加器電路，其用以對各列中之該等位元進行並行加法以產生N個特有結果值；以及 排序電路系統，其用以為該N個特有結果值編索引以返回該經排序次序。
- 如請求項1之處理器，其中該比較電路系統包含N*(N-1)/2個比較器以進行N*(N-1)/2次並行比較以產生該至少N*(N-1)/2個比較結果值。
- 如請求項2之處理器，其中該N*(N-1)/2次比較包含大於或等於比較且其中各比較結果值包含在一第一輸入值大於或等於一第二輸入值時設定為1或在該第一輸入值不大於或等於該第二輸入值時設定為0的一位元。
- 如請求項1之處理器，其中該N個輸入值中之各者包含與N個包圍體階層(BVH)節點相關聯之距離值，其中該排序電路系統係要基於該等比較結果值產生該等BVH節點之一經排序次序。
- 如請求項4之處理器，其進一步包含： 堆疊管理電路系統及/或邏輯，其用以將該N個BVH節點以該經排序次序推入至一堆疊。
- 如請求項1之處理器，其中該結果矩陣之該第一區域包含一右上區域且該結果矩陣之該第二區域包含一左下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左上角與該結果矩陣之右下角的該矩陣中之位元位置之一對角線集合而被分離。
- 如請求項1之處理器，其中該結果矩陣之該第一區域包含一左上區域且該結果矩陣之該第二區域包含一右下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左左角與該結果矩陣之右上角的該矩陣中之位元位置之一對角線集合而被分離。
- 如請求項1之處理器，其中對於N個輸入值之該集合，N值係至多為一臨限值之變數，且其中該比較電路系統係要產生該等比較結果值且該矩陣產生電路系統係要以相同數目之處理器循環來產生該結果矩陣，無關於至多為該臨限值之該N值。
- 一種方法，其包含： 接收要被排序成一經排序次序之N個輸入值之一集合； 並行地比較各輸入值與所有其他輸入值以產生至少N*(N-1)/2個比較結果值； 產生具有與各輸入值相關聯之一列之一結果矩陣，在各列中之複數個位元包含指示與其他輸入值之比較結果之比較結果值，其中該結果矩陣之一第一區域係要儲存包含該N*(N-1)/2個比較結果值之位元之一第一集合且該結果矩陣之與該第一區域相對之一第二區域係要儲存包含該N*(N-1)/2個比較結果值之一逆元的位元之一第二集合； 對各列中之該等位元進行並行加法以產生N個特有結果值；以及 為該N個特有結果值編索引以返回該經排序次序。
- 如請求項9之方法，其中該N*(N-1)/2次並行比較係由N*(N-1)/2個比較器所進行以產生該至少N*(N-1)/2個比較結果值。
- 如請求項10之方法，其中該N*(N-1)/2次比較包含大於或等於(GTE)比較且其中各比較結果值包含在一第一輸入值大於或等於一第二輸入值時設定為1或在該第一輸入值不大於或等於該第二輸入值時設定為0的一位元。
- 如請求項9之方法，其中該N個輸入值中之各者包含與N個包圍體階層(BVH)節點相關聯之距離值，其中該等BVH節點之一經排序次序係基於該等比較結果值而產生。
- 如請求項12之方法，其進一步包含： 將該N個BVH節點以該經排序次序推入至一堆疊。
- 如請求項9之方法，其中該結果矩陣之該第一區域包含一右上區域且該結果矩陣之該第二區域包含一左下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左上角與該結果矩陣之右下角的該矩陣中之位元位置之一對角線集合而被分離。
- 如請求項9之方法，其中該結果矩陣之該第一區域包含一左上區域且該結果矩陣之該第二區域包含一右下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左左角與該結果矩陣之右上角的該矩陣中之位元位置之一對角線集合而被分離。
- 如請求項9之方法，其中對於N個輸入值之該集合，N值為至多為一臨限值之變數，且其中該等比較結果值及該結果矩陣以相同數目之處理器循環來產生，無關於至多為該臨限值之該N值。
- 一種機器可讀媒體，其具有儲存於其上之程式碼，該程式碼在由一機器所執行時致使該機器進行以下操作： 接收要被排序成一經排序次序N個輸入值之一集合； 並行地比較各輸入值與所有其他輸入值以產生至少N*(N-1)/2個比較結果值； 產生具有與各輸入值相關聯之一列之一結果矩陣，在各列中之複數個位元包含指示與其他輸入值之比較結果之比較結果值，其中該結果矩陣之一第一區域係要儲存包含該N*(N-1)/2個比較結果值之位元之一第一集合且該結果矩陣之與該第一區域相對之一第二區域係要儲存包含該N*(N-1)/2個比較結果值之一逆元的位元之一第二集合； 對各列中之該等位元進行並行加法以產生N個特有結果值；以及 為該N個特有結果值編索引以返回該經排序次序。
- 如請求項17之機器可讀媒體，其中該N*(N-1)/2次並行比較係由N*(N-1)/2個比較器所進行以產生該至少N*(N-1)/2個比較結果值。
- 如請求項18之機器可讀媒體，其中該N*(N-1)/2次比較包含大於或等於(GTE)比較且其中各比較結果值包含在一第一輸入值大於或等於一第二輸入值時設定為1或在該第一輸入值不大於或等於該第二輸入值時設定為0的一位元。
- 如請求項17之機器可讀媒體，其中該N個輸入值中之各者包含與N個包圍體階層(BVH)節點相關聯之距離值，其中該等BVH節點之一經排序次序係基於該等比較結果值而產生。
- 如請求項20之機器可讀媒體，其進一步包含程式碼以致使該機器進行以下操作： 將該N個BVH節點以該經排序次序推入至一堆疊。
- 如請求項17之機器可讀媒體，其中該結果矩陣之該第一區域包含一右上區域且該結果矩陣之該第二區域包含一左下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左上角與該結果矩陣之右下角的該矩陣中之位元位置之一對角線集合而被分離。
- 如請求項17之機器可讀媒體，其中該結果矩陣之該第一區域包含一左上區域且該結果矩陣之該第二區域包含一右下區域，該結果矩陣之該第一區域與該第二區域藉由連接該結果矩陣之左左角與該結果矩陣之右上角的該矩陣中之位元位置之一對角線集合而被分離。
- 如請求項17之機器可讀媒體，其中對於N個輸入值之該集合，N值為至多為一臨限值之變數，且其中該等比較結果值及該結果矩陣以相同數目之處理器循環來產生，無關於至多為該臨限值之該N值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/823,741 US11900498B2 (en) | 2020-03-19 | 2020-03-19 | Apparatus and method for performing a stable and short latency sorting operation |
| US16/823,741 | 2020-03-19 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202137131A true TW202137131A (zh) | 2021-10-01 |
Family
ID=77552850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109140394A TW202137131A (zh) | 2020-03-19 | 2020-11-18 | 用於進行穩定和短潛時的排序操作之設備及方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11900498B2 (zh) |
| JP (1) | JP2021149934A (zh) |
| KR (1) | KR20210117911A (zh) |
| CN (1) | CN113496540A (zh) |
| DE (1) | DE102020131852A1 (zh) |
| TW (1) | TW202137131A (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709870B (zh) * | 2020-05-28 | 2023-10-03 | 钟杰东 | 一种zjd应用处理器架构 |
| US11373360B2 (en) | 2020-07-30 | 2022-06-28 | Apple Inc. | Grouping techniques for ray intersection traversal |
| US11367242B2 (en) | 2020-07-30 | 2022-06-21 | Apple Inc. | Ray intersect circuitry with parallel ray testing |
| US11670052B1 (en) | 2022-12-28 | 2023-06-06 | Illuscio, Inc. | Systems and methods for representing, accessing, and moving within a three-dimensional environment using a mutable tree data structure |
| US11914649B1 (en) | 2023-07-31 | 2024-02-27 | Illuscio, Inc. | Systems and methods for full lateral traversal across layers of a tree-based representation |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7952583B2 (en) * | 2000-06-19 | 2011-05-31 | Mental Images Gmbh | Quasi-monte carlo light transport simulation by efficient ray tracing |
| US20090276428A1 (en) | 2008-04-30 | 2009-11-05 | Byung Bok Ahn | Sorting method and algorithm called high speed sort |
| TWI511038B (zh) | 2013-06-19 | 2015-12-01 | Univ Nat Chiao Tung | 可重組之排序裝置與排序方法 |
| AU2014280960A1 (en) * | 2014-12-24 | 2016-07-14 | Canon Kabushiki Kaisha | Method, apparatus and system for rendering an image |
| US10101965B1 (en) | 2015-10-28 | 2018-10-16 | Mbit Wireless, Inc. | Method and apparatus for high speed streaming sorter |
| US10482650B2 (en) * | 2017-07-27 | 2019-11-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. | Methods, computer program and apparatus for an ordered traversal of a subset of nodes of a tree structure and for determining an occlusion of a point along a ray in a raytracing scene |
-
2020
- 2020-03-19 US US16/823,741 patent/US11900498B2/en active Active
- 2020-11-18 TW TW109140394A patent/TW202137131A/zh unknown
- 2020-12-01 JP JP2020199338A patent/JP2021149934A/ja active Pending
- 2020-12-01 DE DE102020131852.9A patent/DE102020131852A1/de active Pending
- 2020-12-17 CN CN202011501474.6A patent/CN113496540A/zh active Pending
- 2020-12-22 KR KR1020200180385A patent/KR20210117911A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210117911A (ko) | 2021-09-29 |
| US20210295463A1 (en) | 2021-09-23 |
| US11900498B2 (en) | 2024-02-13 |
| DE102020131852A1 (de) | 2021-09-23 |
| JP2021149934A (ja) | 2021-09-27 |
| CN113496540A (zh) | 2021-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11593909B2 (en) | Apparatus and method for real time graphics processing using local and cloud-based graphics processing resources | |
| JP7430050B2 (ja) | クラウドに基づくリアルタイム光線追跡 | |
| TW202137142A (zh) | 用於位移網狀壓縮之設備及方法 | |
| CN116075863A (zh) | 用于包括光线追踪的高效图形处理的装置和方法 | |
| US11087522B1 (en) | Apparatus and method for asynchronous ray tracing | |
| US11670035B2 (en) | Apparatus and method for performing non-local means filtering using motion estimation circuitry of a graphics processor | |
| US11915357B2 (en) | Apparatus and method for throttling a ray tracing pipeline | |
| CN111402376A (zh) | 可编程光线追踪架构上的命中和交叉着色器的推测性执行 | |
| US11900498B2 (en) | Apparatus and method for performing a stable and short latency sorting operation | |
| CN113470159A (zh) | 用于光线追踪流水线中的双精度光线遍历的设备和方法 | |
| JP2021149943A (ja) | レイトラバーサルハードウェアにおいてボックスクエリを実行するための装置及び方法 | |
| US11989817B2 (en) | Apparatus and method for high quality ray-traced level of detail transitions | |
| CN116391207A (zh) | 用于包括光线追踪的高效图形处理的设备和方法 | |
| JP7494258B2 (ja) | ツリー構造データ削減のための装置および方法 | |
| JP2023048112A (ja) | ツリー構造データ削減のための装置および方法 |