KR20210135998A - 매트릭스 가속기 아키텍처를 위한 희소 최적화 - Google Patents
매트릭스 가속기 아키텍처를 위한 희소 최적화 Download PDFInfo
- Publication number
- KR20210135998A KR20210135998A KR1020217025864A KR20217025864A KR20210135998A KR 20210135998 A KR20210135998 A KR 20210135998A KR 1020217025864 A KR1020217025864 A KR 1020217025864A KR 20217025864 A KR20217025864 A KR 20217025864A KR 20210135998 A KR20210135998 A KR 20210135998A
- Authority
- KR
- South Korea
- Prior art keywords
- graphics
- memory
- processor
- matrix
- data
- Prior art date
Links
- 239000011159 matrix material Substances 0.000 title claims description 156
- 238000005457 optimization Methods 0.000 title description 5
- 238000012545 processing Methods 0.000 claims abstract description 480
- 238000000034 method Methods 0.000 claims abstract description 185
- 230000008569 process Effects 0.000 claims description 98
- 238000001514 detection method Methods 0.000 claims description 38
- 230000004044 response Effects 0.000 claims description 15
- 238000011068 loading method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 20
- 238000013144 data compression Methods 0.000 abstract description 16
- 230000015654 memory Effects 0.000 description 451
- 230000006870 function Effects 0.000 description 129
- 238000013528 artificial neural network Methods 0.000 description 89
- 238000010801 machine learning Methods 0.000 description 72
- 238000012549 training Methods 0.000 description 72
- 239000000872 buffer Substances 0.000 description 67
- 230000001133 acceleration Effects 0.000 description 61
- 238000004891 communication Methods 0.000 description 51
- 235000019587 texture Nutrition 0.000 description 44
- 239000013598 vector Substances 0.000 description 42
- 238000010586 diagram Methods 0.000 description 35
- 239000012634 fragment Substances 0.000 description 34
- 238000005192 partition Methods 0.000 description 33
- 238000004422 calculation algorithm Methods 0.000 description 29
- 239000004744 fabric Substances 0.000 description 28
- 239000000758 substrate Substances 0.000 description 27
- 238000013527 convolutional neural network Methods 0.000 description 26
- 238000007906 compression Methods 0.000 description 25
- 230000006835 compression Effects 0.000 description 25
- 238000013461 design Methods 0.000 description 24
- 238000007667 floating Methods 0.000 description 23
- 238000007726 management method Methods 0.000 description 22
- 238000013519 translation Methods 0.000 description 19
- 230000014616 translation Effects 0.000 description 19
- 230000004913 activation Effects 0.000 description 18
- 238000001994 activation Methods 0.000 description 18
- 238000003491 array Methods 0.000 description 17
- 238000013135 deep learning Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 13
- 238000012546 transfer Methods 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 12
- 238000013507 mapping Methods 0.000 description 11
- 238000011176 pooling Methods 0.000 description 11
- 230000010354 integration Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000005070 sampling Methods 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 7
- 230000006837 decompression Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000002156 mixing Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 208000019300 CLIPPERS Diseases 0.000 description 5
- 238000007792 addition Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 235000019580 granularity Nutrition 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 239000004593 Epoxy Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 101710092887 Integrator complex subunit 4 Proteins 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 102100037075 Proto-oncogene Wnt-3 Human genes 0.000 description 1
- 206010038933 Retinopathy of prematurity Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000012884 algebraic function Methods 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000010624 twisted pair cabling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
- G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
- G06F15/8046—Systolic arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
- G06F7/5443—Sum of products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/3001—Arithmetic instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30145—Instruction analysis, e.g. decoding, instruction word fields
- G06F9/3016—Decoding the operand specifier, e.g. specifier format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline, look ahead
- G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline, look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline, look ahead using a plurality of independent parallel functional units
- G06F9/3887—Concurrent instruction execution, e.g. pipeline, look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
Abstract
본 명세서에 설명된 실시예들은 시스톨릭 프로세싱 유닛을 통해 희소 데이터에 대한 산술을 수행하기 위한 기술을 제공하는 소프트웨어, 펌웨어, 및 하드웨어 로직을 포함한다. 본 명세서에 기술된 실시예는 0으로 채워진 매트릭스 및 서브매트릭스에 대한 계산을 건너뛰는 기법을 제공한다. 실시예들은 또한 프로세싱 유닛을 통해 데이터 압축을 유지하는 기법을 제공한다. 실시예들은 또한 희소 인식 로직 유닛을 위한 아키텍처를 제공한다.
Description
관련 출원에 대한 상호 참조
본 출원은, 35 U.S.C 119(e)에 따라 그래픽 처리(GRAPHICS PROCESSING)란 명칭으로 Abhishek Appu 등에 의해 2019년 3월 15일 출원된 미국 가출원 제62/819,337호(대리인 사건 번호 AC0271-Z), 그래픽 데이터 처리(GRAPHICS DATA PROCESSING)란 명칭으로 Lakshminarayanan Striramassarma 등에 의해 2019년 3월 15일 출원된 제62/819,435호(대리인 사건 번호 AC0285-Z), 캐시 액세스 지연을 줄이기 위해 캐시를 분할하는 시스템 및 방법(SYSTEMS AND METHODS FOR PARTITIONING CACHE TO REDUCE CACHE ACCESS LATENCY)이란 명칭으로 Subramaniam Maiyuran 등에 의해 2019년 3월 15일 출원된 제62/819,361호(Attorney Docket Number AC0286-Z), 희소 데이터에 대한 시스톨릭 산술(SYSTOLIC ARITHMETIC ON SPARSE DATA)이란 명칭으로 Abhishek Appu 등에 의해 2019년 3월 15일 출원된 제62/935,670호(대리인 사건 번호 AC5197-Z)와 관련되고, 이들의 우선권을 주장하며, 이들 출원은 그 전문이 본 명세서에 참조로 포함된다.
본 개시는 일반적으로 데이터 프로세싱에 관한 것으로, 보다 구체적으로는 범용 그래픽 프로세싱 유닛의 매트릭스 가속기를 통한 희소 데이터 프로세싱에 관한 것이다.
현재의 병렬 그래픽 데이터 프로세싱은, 예를 들어, 선형 보간, 테셀레이션(tessellation), 래스터화, 텍스처 맵핑, 심도 테스트 등과 같은 그래픽 데이터에 대한 특정 동작들을 수행하도록 개발된 시스템 및 방법을 포함한다. 통상적으로, 그래픽 프로세서는 고정된 기능의 컴퓨팅 유닛을 사용하여 그래픽 데이터를 처리하였지만, 보다 최근에는, 그래픽 프로세서들 중 일부가 프로그래밍 가능하게 되어, 이들 프로세서가 정점(vertex) 및 프래그먼트(fragment) 데이터를 처리하기 위한 광범위한 동작을 지원할 수 있게 되었다.
그래픽 프로세서는, 성능을 더욱 높이기 위해, 통상적으로 그래픽 파이프라인의 여러 부분에 걸쳐 가능한 한 많은 그래픽 데이터를 병렬로 처리하려고 시도하는 파이프라이닝과 같은 프로세싱 기법을 구현한다. 단일 명령어, 다중 스레드(SIMT) 아키텍처를 갖는 병렬 그래픽 프로세서는 그래픽 파이프라인에서의 병렬 처리의 양을 최대화하도록 설계된다. SIMT 아키텍처에서, 병렬 스레드들의 그룹은 처리 효율을 높이기 위해 가능한 한 자주 프로그램 명령어들을 동기적으로 함께 실행하려고 시도한다. SIMT 아키텍처에 대한 소프트웨어 및 하드웨어의 일반적인 개요는 Shane Cook, CUDA Programming Chapter 3(2013), 37-51페이지에서 찾아볼 수 있다.
따라서, 본 실시예들의 전술한 특징들을 자세하게 이해할 수 있도록, 위에서 간략하게 요약한 실시예들에 대한 보다 구체적인 설명은 실시예들을 참조하여 이루어질 수 있으며, 이들 중 일부는 첨부된 도면에 예시된다. 그러나, 첨부된 도면은 전형적인 실시예만 도시하며, 따라서 그 범위를 제한하는 것으로 간주되지 않는다는 점에 유의하라.
도 1은 본 명세서에 기술된 실시예들의 하나 이상의 양태를 구현하도록 구성된 컴퓨터 시스템을 도시한 블록도이다.
도 2a 내지 도 2d는 병렬 프로세서 컴포넌트들을 도시한다.
도 3a 내지 도 3c는 그래픽 멀티프로세서 및 멀티프로세서 기반 GPU의 블록도이다.
도 4a 내지 도 4f는 복수의 GPU가 복수의 멀티-코어 프로세서에 통신가능하게 연결되는 예시적인 아키텍처를 도시한다.
도 5는 그래픽 프로세싱 파이프라인을 도시한다.
도 6은 머신 학습 소프트웨어 스택을 도시한다.
도 7은 범용 그래픽 프로세싱 유닛을 도시한다.
도 8은 멀티-GPU 컴퓨팅 시스템을 도시한다.
도 9a 내지 9b는 예시적인 심층 신경망의 레이어를 도시한다.
도 10은 예시적인 순환 신경망을 도시한다.
도 11은 심층 신경망의 훈련 및 배치를 도시한다.
도 12는 분산 학습을 도시한 블록도이다.
도 13은 훈련된 모델을 사용하여 추론을 수행하기에 적합한 예시적인 추론 SOC(system on a chip)를 도시한다.
도 14는 프로세싱 시스템의 블록도이다.
도 15a 내지 도 15c는 컴퓨팅 시스템 및 그래픽 프로세서를 도시한다.
도 16a 내지 도 16c는 추가 그래픽 프로세서 및 컴퓨팅 가속기 아키텍처의 블록도를 도시한다.
도 17은 그래픽 프로세서의 그래픽 프로세싱 엔진의 블록도이다.
도 18a 및 도 18b는 그래픽 프로세서 코어에서 사용되는 프로세싱 요소들의 어레이를 포함하는 스레드 실행 로직을 도시한다.
도 19는 추가 실행 유닛을 도시한다.
도 20은 그래픽 프로세서 명령어 포맷을 도시하는 블록도이다.
도 21은 추가적인 그래픽 프로세서 아키텍처의 블록도이다.
도 22a 및 도 22b는 그래픽 프로세서 커맨드 포맷 및 커맨드 시퀀스를 도시한다.
도 23은 프로세싱 시스템을 위한 예시적인 그래픽 소프트웨어 아키텍처를 도시한다.
도 24a는 IP 코어 개발 시스템을 도시한 블록도이다.
도 24b는 집적 회로 패키지 어셈블리의 측단면도를 도시한다.
도 24c는 기판에 접속된 하드웨어 로직 칩렛의 복수의 유닛을 포함하는 패키지 어셈블리를 도시한다.
도 24d는 교환 가능한 칩렛을 포함하는 패키지 어셈블리를 도시한다.
도 25는 예시적인 시스템 온 칩 집적 회로를 도시하는 블록도이다.
도 26a 및 도 26b는 SoC 내에서 사용하기 위한 예시적인 그래픽 프로세서를 나타내는 블록도이다.
도 27은 일 실시예에 따른 추가 실행 유닛을 도시한다.
도 28은 일 실시예에 따른 명령어 파이프라인에 의해 수행된 매트릭스 연산을 도시한다.
도 29a 및 29b는 일부 실시예들에 따른 하드웨어 기반 시스톨릭 어레이의 세부사항들을 도시한다.
도 30a 및 30b는 실시예들에 따른 0의 값의 서브매트릭스를 우회하는 시스템을 도시한다.
도 31a 및 31b는 희소 데이터에 대해 매트릭스 곱셈 연산을 수행하는 방법 및 시스템을 도시한다.
도 32는 GPGPU 데이터 압축 파이프라인을 포함하는 그래픽 프로세싱 시스템의 블록도이다.
도 33a 및 33b는 일 실시예에 따른, 병렬 컴퓨팅 프로세서 또는 범용 그래픽 프로세싱 유닛 상의 프로세싱 리소스에 대한 데이터의 압축 전송을 가능하게 하도록 구성된 컴퓨팅 아키텍처를 도시한다.
도 34는 출력 데이터에 대한 제로 검출 로직을 포함하는 프로세싱 리소스를 도시한다.
도 35는 프로세싱 리소스 내 매트릭스 연산을 위해 데이터를 압축 및 압축해제하는 방법을 도시한다.
도 36은 프로세싱 리소스에 의해 생성된 출력에 대한 제로 검출 동작을 수행하는 방법을 도시한다.
도 37은 일 실시예에 따른, 그래픽 프로세서를 포함하는 컴퓨팅 장치의 블록도이다.
도 1은 본 명세서에 기술된 실시예들의 하나 이상의 양태를 구현하도록 구성된 컴퓨터 시스템을 도시한 블록도이다.
도 2a 내지 도 2d는 병렬 프로세서 컴포넌트들을 도시한다.
도 3a 내지 도 3c는 그래픽 멀티프로세서 및 멀티프로세서 기반 GPU의 블록도이다.
도 4a 내지 도 4f는 복수의 GPU가 복수의 멀티-코어 프로세서에 통신가능하게 연결되는 예시적인 아키텍처를 도시한다.
도 5는 그래픽 프로세싱 파이프라인을 도시한다.
도 6은 머신 학습 소프트웨어 스택을 도시한다.
도 7은 범용 그래픽 프로세싱 유닛을 도시한다.
도 8은 멀티-GPU 컴퓨팅 시스템을 도시한다.
도 9a 내지 9b는 예시적인 심층 신경망의 레이어를 도시한다.
도 10은 예시적인 순환 신경망을 도시한다.
도 11은 심층 신경망의 훈련 및 배치를 도시한다.
도 12는 분산 학습을 도시한 블록도이다.
도 13은 훈련된 모델을 사용하여 추론을 수행하기에 적합한 예시적인 추론 SOC(system on a chip)를 도시한다.
도 14는 프로세싱 시스템의 블록도이다.
도 15a 내지 도 15c는 컴퓨팅 시스템 및 그래픽 프로세서를 도시한다.
도 16a 내지 도 16c는 추가 그래픽 프로세서 및 컴퓨팅 가속기 아키텍처의 블록도를 도시한다.
도 17은 그래픽 프로세서의 그래픽 프로세싱 엔진의 블록도이다.
도 18a 및 도 18b는 그래픽 프로세서 코어에서 사용되는 프로세싱 요소들의 어레이를 포함하는 스레드 실행 로직을 도시한다.
도 19는 추가 실행 유닛을 도시한다.
도 20은 그래픽 프로세서 명령어 포맷을 도시하는 블록도이다.
도 21은 추가적인 그래픽 프로세서 아키텍처의 블록도이다.
도 22a 및 도 22b는 그래픽 프로세서 커맨드 포맷 및 커맨드 시퀀스를 도시한다.
도 23은 프로세싱 시스템을 위한 예시적인 그래픽 소프트웨어 아키텍처를 도시한다.
도 24a는 IP 코어 개발 시스템을 도시한 블록도이다.
도 24b는 집적 회로 패키지 어셈블리의 측단면도를 도시한다.
도 24c는 기판에 접속된 하드웨어 로직 칩렛의 복수의 유닛을 포함하는 패키지 어셈블리를 도시한다.
도 24d는 교환 가능한 칩렛을 포함하는 패키지 어셈블리를 도시한다.
도 25는 예시적인 시스템 온 칩 집적 회로를 도시하는 블록도이다.
도 26a 및 도 26b는 SoC 내에서 사용하기 위한 예시적인 그래픽 프로세서를 나타내는 블록도이다.
도 27은 일 실시예에 따른 추가 실행 유닛을 도시한다.
도 28은 일 실시예에 따른 명령어 파이프라인에 의해 수행된 매트릭스 연산을 도시한다.
도 29a 및 29b는 일부 실시예들에 따른 하드웨어 기반 시스톨릭 어레이의 세부사항들을 도시한다.
도 30a 및 30b는 실시예들에 따른 0의 값의 서브매트릭스를 우회하는 시스템을 도시한다.
도 31a 및 31b는 희소 데이터에 대해 매트릭스 곱셈 연산을 수행하는 방법 및 시스템을 도시한다.
도 32는 GPGPU 데이터 압축 파이프라인을 포함하는 그래픽 프로세싱 시스템의 블록도이다.
도 33a 및 33b는 일 실시예에 따른, 병렬 컴퓨팅 프로세서 또는 범용 그래픽 프로세싱 유닛 상의 프로세싱 리소스에 대한 데이터의 압축 전송을 가능하게 하도록 구성된 컴퓨팅 아키텍처를 도시한다.
도 34는 출력 데이터에 대한 제로 검출 로직을 포함하는 프로세싱 리소스를 도시한다.
도 35는 프로세싱 리소스 내 매트릭스 연산을 위해 데이터를 압축 및 압축해제하는 방법을 도시한다.
도 36은 프로세싱 리소스에 의해 생성된 출력에 대한 제로 검출 동작을 수행하는 방법을 도시한다.
도 37은 일 실시예에 따른, 그래픽 프로세서를 포함하는 컴퓨팅 장치의 블록도이다.
그래픽 프로세싱 유닛(GPU)은, 예를 들어, 그래픽 동작, 머신 러닝 동작, 패턴 분석 동작, 및/또는 다양한 범용 GPU(GPGPU) 기능을 촉진시키기 위해 호스트/프로세서 코어에 통신가능하게 연결된다. GPU는 버스 또는 다른 상호접속부(예컨대, PCIe 또는 NV-Link와 같은 고속 상호접속부)를 통해 호스트 프로세서/코어에 통신가능하게 연결될 수 있다. 또는, GPU는 코어와 동일한 패키지 또는 칩 상에 통합될 수도 있고, 내부 프로세서 버스/상호접속부(즉, 패키지 또는 칩의 내부)를 통해 코어에 통신가능하게 연결될 수도 있다. GPU가 접속되는 방식에 관계없이, 프로세서 코어는 작업 기술자(work descriptor)에 포함된 커맨드/명령어의 시퀀스 형태로 GPU에 작업을 할당할 수 있다. 그러면, GPU는 이들 커맨드/명령어를 효율적으로 처리하기 위해 전용 회로/로직을 사용한다.
본 명세서에 설명된 실시예들은 시스톨릭 프로세싱 유닛을 통해 희소 데이터에 대한 산술을 수행하기 위한 기술을 제공하는 소프트웨어, 펌웨어, 및 하드웨어 로직을 포함한다. 본 명세서에 기술된 실시예는 0으로 채워진 매트릭스 및 서브매트릭스에 대한 계산을 건너뛰는 기법을 제공한다. 실시예들은 또한 프로세싱 유닛을 통해 데이터 압축을 유지하는 기법을 제공한다. 실시예들은 또한 희소 인식 로직 유닛을 위한 아키텍처를 제공한다.
다음의 설명에서는, 보다 완전한 이해를 위해 다수의 특정 세부사항들이 제시된다. 그러나, 본 명세서에 설명된 실시예들은 이들 특정 세부사항들 중 하나 이상이 없이도 실시될 수 있다는 것이 당업자에게 명백할 것이다. 다른 경우들에서, 본 실시예들의 세부사항들을 모호하게 하는 것을 회피하기 위해 잘 알려진 특징들은 설명하지 않았다.
시스템 개요
도 1은 본 명세서에 기술된 실시예들의 하나 이상의 양태를 구현하도록 구성된 컴퓨터 시스템(100)을 도시한 블록도이다. 컴퓨팅 시스템(100)은 메모리 허브(105)를 포함할 수 있는 상호접속 경로를 통해 통신하는 시스템 메모리(104) 및 하나 이상의 프로세서(들)(102)를 갖는 프로세싱 서브시스템(101)을 포함한다. 메모리 허브(105)는 칩셋 컴포넌트 내의 별개의 컴포넌트일 수도 있고 하나 이상의 프로세서(들)(102) 내에 통합될 수도 있다. 메모리 허브(105)는 통신 링크(106)를 통해 I/O 서브시스템(111)과 연결된다. I/O 서브시스템(111)은 컴퓨팅 시스템(100)이 하나 이상의 입력 장치(들)(108)로부터 입력을 수신하도록 할 수 있는 I/O 허브(107)를 포함한다. 또한, I/O 허브(107)는 하나 이상의 프로세서(들)(102)에 포함될 수 있는 디스플레이 제어기가 하나 이상의 디스플레이 장치(들, 110A)에 출력을 제공하는 것을 가능하게 할 수 있다. 일 실시예에서, I/O 허브(107)와 연결된 하나 이상의 디스플레이 장치(들)(110A)는 로컬, 내부 또는 내장 디스플레이 장치를 포함할 수 있다.
프로세싱 서브시스템(101)은, 예를 들어, 버스 또는 다른 통신 링크(113)를 통해 메모리 허브(105)에 연결된 하나 이상의 병렬 프로세서(들)(112)를 포함한다. 통신 링크(113)는 PCI 익스프레스와 같은(그러나 이에 제한되지 않음) 임의의 수의 표준 기반 통신 링크 기술 또는 프로토콜 중 하나일 수도 있고, 또는 벤더 특정 통신 인터페이스 또는 통신 패브릭일 수도 있다. 하나 이상의 병렬 프로세서(들)(112)는 다중 통합 코어(many integrated core(MIC)) 프로세서와 같은 다수의 프로세싱 코어 및/또는 프로세싱 클러스터를 포함할 수 있는 계산에 중점을 둔(computationally focused) 병렬 또는 벡터 프로세싱 시스템을 형성할 수 있다. 예를 들어, 하나 이상의 병렬 프로세서(들)(112)는 I/O 허브(107)를 통해 연결된 하나 이상의 디스플레이 장치(들)(110A) 중 하나에 픽셀을 출력할 수 있는 그래픽 프로세싱 서브시스템을 형성한다. 하나 이상의 병렬 프로세서(들)(112)는 또한 하나 이상의 디스플레이 장치(들)(110B)로의 직접 접속을 가능하게 하는 디스플레이 제어기 및 디스플레이 인터페이스(도시되지 않음)를 포함할 수 있다.
I/O 서브시스템(111) 내에서, 시스템 저장 유닛(114)은 I/O 허브(107)에 접속해서 컴퓨팅 시스템(100)에 대한 저장 메커니즘을 제공할 수 있다. I/O 스위치(116)는 I/O 허브(107)와, 플랫폼 내에 통합될 수 있는 네트워크 어댑터(118) 및/또는 무선 네트워크 어댑터(119)와 같은 다른 컴포넌트들, 및 하나 이상의 애드-인(add-in) 장치(들)(120)를 통해 추가될 수 있는 다양한 다른 장치들 사이의 접속을 가능하게 하는 인터페이스 메커니즘을 제공하는 데 사용될 수 있다. 애드-인 장치(들)(120)는 또한, 예를 들어, 하나 이상의 외부 그래픽 프로세서 장치 및/또는 컴퓨팅 가속기를 포함할 수 있다. 네트워크 어댑터(118)는 이더넷 어댑터 또는 다른 유선 네트워크 어댑터일 수 있다. 무선 네트워크 어댑터(119)는 Wi-Fi, 블루투스, 근거리 통신(NFC), 또는 하나 이상의 무선 기기를 포함하는 다른 네트워크 장치 중 하나 이상을 포함할 수 있다.
컴퓨팅 시스템(100)은, USB 또는 다른 포트 접속, 광학 저장 드라이브, 비디오 캡처 장치 등을 포함하는, 명시적으로 도시되어 있지 않은 다른 컴포넌트를 포함할 수 있고, 또한 I/O 허브(107)에 접속될 수 있다. 도 1의 다양한 컴포넌트들을 상호접속하는 통신 경로는, PCI(Peripheral Component Interconnect) 기반 프로토콜(예컨대, PCI-Express), 또는 NVLink 고속 상호접속과 같은 임의의 다른 버스 또는 포인트-투-포인트 통신 인터페이스 및/또는 프로토콜(들), 또는 당업계에 알려진 상호접속 프로토콜과 같은 임의의 적절한 프로토콜을 사용하여 구현될 수 있다.
하나 이상의 병렬 프로세서(들)(112)는, 예를 들어, 비디오 출력 회로를 포함하는, 그래픽 및 비디오 프로세싱을 위해 최적화된 회로를 포함할 수 있고, 그래픽 프로세싱 유닛(GPU)을 구성한다. 이에 더하여 또는 이에 갈음하여, 하나 이상의 병렬 프로세서(들)(112)는 본 명세서에서 더 상세히 설명되는 기본적인 계산 아키텍처를 유지하면서, 범용 프로세싱을 위해 최적화된 회로를 포함할 수 있다. 컴퓨팅 시스템(100)의 컴포넌트들은 단일 집적 회로 상의 하나 이상의 다른 시스템 요소와 통합될 수 있다. 예를 들어, 하나 이상의 병렬 프로세서(112), 메모리 허브(105), 프로세서(102) 및 I/O 허브(107)가 시스템 온 칩(SoC) 집적 회로에 통합될 수 있다. 또는, 컴퓨팅 시스템(100)의 컴포넌트들은 단일 패키지에 통합되어 시스템 인 패키지(SIP) 구성을 형성할 수 있다. 일 실시예에서, 컴퓨팅 시스템(100)의 컴포넌트들 중 적어도 일부는, 다른 멀티-칩 모듈과 상호접속되어 모듈형 컴퓨팅 시스템으로 될 수 있는 다중-칩 모듈(MCM)로 통합될 수 있다.
본 명세서에 도시된 컴퓨팅 시스템(100)은 예시적이며 변형 및 수정이 가능하다는 것을 이해할 수 있을 것이다. 브리지의 수 및 배열, 프로세서(들)(102)의 수, 및 병렬 프로세서(들)(112)의 수를 포함하는 접속 토폴로지는 원하는 대로 수정될 수 있다. 예를 들어, 시스템 메모리(104)는 브리지를 통하지 않고 직접 프로세서(들)(102)에 연결될 수 있는 반면, 다른 장치들은 메모리 허브(105) 및 프로세서(들)(102)를 통해 시스템 메모리(104)와 통신한다. 다른 토폴로지에서, 병렬 프로세서(들)(112)는 I/O 허브(107)에 연결되거나, 메모리 허브(105)보다는 하나 이상의 프로세서(102) 중 하나에 직접 연결된다. 다른 실시예에서, I/O 허브(107) 및 메모리 허브(105)는 단일 칩에 통합될 수 있다. 또한, 둘 이상의 프로세서(들)(102)의 세트가 다수의 소켓을 통해 부착되는 것이 가능하며, 이들 소켓은 병렬 프로세서(들)(112)의 둘 이상의 인스턴스와 연결될 수 있다.
본 명세서에 도시된 특정 컴포넌트들 중 일부는 선택적이며, 컴퓨팅 시스템(100)의 모든 구현들에 포함되지 않을 수도 있다. 예를 들어, 임의의 수의 애드-인 카드 또는 주변기기가 지원될 수도 있고, 일부 컴포넌트는 생략될 수도 있다. 또한, 일부 아키텍처는 도 1에 예시된 것들과 유사한 컴포넌트들에 대해 상이한 용어를 사용할 수도 있다. 예를 들어, 메모리 허브(105)가 일부 아키텍처에서 노스브리지(Northbridge)로 지칭되는 한편, I/O 허브(107)가 사우스브리지로 지칭될 수 있다.
도 2a는 병렬 프로세서(200)를 도시한다. 병렬 프로세서(200)는 본 명세서에 설명된 바와 같은 GPU, GPGPU 등일 수 있다. 병렬 프로세서(200)의 다양한 컴포넌트는 프로그램가능 프로세서, 주문형 집적 회로(ASIC), 또는 필드 프로그램가능 게이트 어레이(FPGA)와 같은 하나 이상의 집적 회로 장치를 사용하여 구현될 수 있다. 도시된 병렬 프로세서(200)는 도 1에 도시된 병렬 프로세서(들)(112) 중 하나일 수 있다.
병렬 프로세서(200)는 병렬 프로세싱 유닛(202)을 포함한다. 병렬 프로세싱 유닛은 병렬 프로세싱 유닛(202)의 다른 인스턴스를 포함하는 다른 장치들과의 통신을 가능하게 하는 I/O 유닛(204)을 포함한다. I/O 유닛(204)은 다른 장치들에 직접 연결될 수 있다. 예를 들어, I/O 유닛(204)은 메모리 허브(105)와 같은 허브 또는 스위치 인터페이스의 사용을 통해 다른 장치들과 접속한다. 메모리 허브(105)와 I/O 유닛(204) 사이의 접속은 통신 링크(113)를 형성한다. 병렬 프로세싱 유닛(202) 내에서, I/O 유닛(204)은 호스트 인터페이스(206) 및 메모리 크로스바(216)와 접속하며, 여기서 호스트 인터페이스(206)는 프로세싱 동작을 수행하도록 지시된 커맨드를 수신하고, 메모리 크로스바(216)는 메모리 동작을 수행하도록 지시된 커맨드를 수신한다.
호스트 인터페이스(206)가 I/O 유닛(204)을 통해 커맨드 버퍼를 수신할 경우, 호스트 인터페이스(206)는 이들 커맨드를 수행하도록 작업 동작을 프론트 엔드(208)에게 지시할 수 있다. 일 실시예에서, 프론트 엔드(208)는 커맨드 또는 다른 작업 아이템을 프로세싱 클러스터 어레이(212)에게 분배하도록 구성되는 스케줄러(210)와 연결된다. 스케줄러(210)는, 프로세싱 태스크들이 프로세싱 클러스터 어레이(212)의 프로세싱 클러스터들에 분배되기 전에 클러스터 어레이(212)가 적절히 구성되고 유효 상태에 있도록 보장한다. 스케줄러(210)는 마이크로컨트롤러 상에서 실행되는 펌웨어 로직을 통해 구현될 수 있다. 마이크로컨트롤러로 구현된 스케줄러(210)는, 프로세싱 어레이(212) 상에서 실행되는 스레드들의 신속한 선점 및 컨텍스트 스위칭을 가능하게 하는, 복잡한 스케줄링 및 작업 분배 동작을 대략적으로 그리고 미세하게(at coarse and fine granularity) 수행하도록 구성가능하다. 바람직하게는, 호스트 소프트웨어는 다수의 그래픽 프로세싱 도어벨(graphics processing doorbell) 중 하나를 통해 프로세싱 어레이(212) 상에서 스케줄링하기 위한 워크로드를 검사할 수 있다. 그 후, 워크로드들은 스케줄러 마이크로컨트롤러 내의 스케줄러(210) 로직에 의해 프로세싱 어레이(212)에 걸쳐 자동으로 분배될 수 있다.
프로세싱 클러스터 어레이(212)는 최대 "N"개의 프로세싱 클러스터(예컨대, 클러스터(214A), 클러스터(214B) 내지 클러스터(214N))를 포함할 수 있다. 프로세싱 클러스터 어레이(212)의 각각의 클러스터(214A-214N)는 다수의 동시 스레드를 실행할 수 있다. 스케줄러(210)는 다양한 스케줄링 및/또는 작업 분배 알고리즘들을 사용하여 프로세싱 클러스터 어레이(212)의 클러스터(214A-214N)에 작업을 할당할 수 있으며, 이는 각 타입의 프로그램 또는 계산에 대해 발생하는 워크로드에 따라 변할 수 있다. 스케줄링은 스케줄러(210)에 의해 동적으로 처리될 수 있거나, 또는 프로세싱 클러스터 어레이(212)에 의한 실행을 위해 구성된 프로그램 로직의 컴파일 동안 컴파일러 로직에 의해 부분적으로 지원될 수 있다. 선택적으로, 프로세싱 클러스터 어레이(212)의 상이한 클러스터(214A-214N)는 상이한 타입의 프로그램을 처리하도록 또는 상이한 타입의 계산을 수행하도록 할당될 수 있다.
프로세싱 클러스터 어레이(212)는 다양한 타입의 병렬 프로세싱 동작을 수행하도록 구성될 수 있다. 예를 들어, 클러스터 어레이(212)는 범용 병렬 컴퓨팅 동작을 수행하도록 구성된다. 예를 들어, 프로세싱 클러스터 어레이(212)는, 비디오 및/또는 오디오 데이터의 필터링, 물리 동작을 포함하는 모델링 동작을 수행하는 것, 및 데이터 변환을 수행하는 것을 포함하는 프로세싱 태스크들을 실행하기 위한 로직을 포함할 수 있다.
프로세싱 클러스터 어레이(212)는 병렬 그래픽 프로세싱 동작을 수행하도록 구성된다. 병렬 프로세서(200)가 그래픽 프로세싱 동작을 수행하도록 구성되는 이러한 실시예에서, 프로세싱 클러스터 어레이(212)는, 텍스처 동작들을 수행하기 위한 텍스처 샘플링 로직뿐만 아니라 테셀레이션 로직 및 다른 정점 프로세싱 로직을 포함하지만 이에 제한되지 않는, 이러한 그래픽 프로세싱 동작의 실행을 지원하기 위한 추가적인 로직을 포함할 수 있다. 추가적으로, 프로세싱 클러스터 어레이(212)는, 제한적인 것은 아니지만 정점 셰이더, 테셀레이션 셰이더, 기하 셰이더, 및 픽셀 셰이더와 같은, 그래픽 프로세싱 관련 셰이더 프로그램을 실행하도록 구성될 수 있다. 병렬 프로세싱 유닛(202)은 처리를 위해 시스템 메모리로부터 I/O 장치(204)를 통해 데이터를 전송할 수 있다. 프로세싱 동안, 전송된 데이터는 온칩 메모리(예컨대, 병렬 프로세서 메모리(222))에 저장되고, 그 후 시스템 메모리에 다시 기록될 수 있다.
병렬 프로세싱 유닛(202)이 그래픽 프로세싱을 수행하는데 사용되는 실시예에서, 스케줄러(210)는 프로세싱 워크로드를 대략 동일한 크기의 태스크들로 분할하여, 프로세싱 클러스터 어레이(212)의 다수의 클러스터(214A-214N)로의 그래픽 프로세싱 동작들의 분배를 더 양호하게 할 수 있도록 구성될 수 있다. 이들 실시예들 중 일부에서, 프로세싱 클러스터 어레이(212)의 부분들은 상이한 타입들의 프로세싱을 수행하도록 구성될 수 있다. 예를 들어, 제1 부분은 정점 셰이딩 및 토폴로지 생성을 수행하도록 구성될 수 있고, 제2 부분은 테셀레이션 및 기하 쉐이딩을 수행하도록 구성될 수 있으며, 제3 부분은 디스플레이를 위해 렌더링된 이미지를 생성하기 위해, 픽셀 쉐이딩 또는 다른 스크린 공간 동작들을 수행하도록 구성될 수 있다. 클러스터(214A-214N) 중 하나 이상에 의해 생성된 중간 데이터는 버퍼에 저장되어 중간 데이터가 추가 처리를 위해 클러스터들(214A-214N) 사이에서 전송되게 할 수 있다.
동작 동안, 프로세싱 클러스터 어레이(212)는, 프론트 엔드(208)로부터 프로세싱 태스크를 정의하는 커맨드를 수신하는 스케줄러(210)를 통해, 실행될 프로세싱 태스크를 수신할 수 있다. 그래픽 프로세싱 동작을 위해, 프로세싱 태스크는 처리될 데이터의 인덱스, 예컨대, 서피스(패치) 데이터, 프리미티브 데이터, 정점 데이터, 및/또는 픽셀 데이터뿐만 아니라, 데이터가 어떻게 처리될지(예컨대, 어떤 프로그램이 실행될지)를 정의하는 상태 파라미터 및 커맨드를 포함할 수 있다. 스케줄러(210)는 태스크에 대응하는 인덱스를 페치하도록 구성될 수도 있고, 프론트 엔드(208)로부터 인덱스를 수신할 수도 있다. 프론트 엔드(208)는 인입 커맨드 버퍼(예컨대, 배치 버퍼, 푸시 버퍼 등)에 의해 특정된 워크로드가 개시되기 전에 프로세싱 클러스터 어레이(212)가 유효 상태로 구성되는 것을 보장하도록 구성될 수 있다.
병렬 프로세싱 유닛(202)의 하나 이상의 인스턴스 각각은 병렬 프로세서 메모리(222)와 연결될 수 있다. 병렬 프로세서 메모리(222)는 I/O 유닛(204)뿐만 아니라 프로세싱 클러스터 어레이(212)로부터 메모리 요청을 수신할 수 있는 메모리 크로스바(216)를 통해 액세스될 수 있다. 메모리 크로스바(216)는 메모리 인터페이스(218)를 통해 병렬 프로세서 메모리(222)에 액세스할 수 있다. 메모리 인터페이스(218)는 병렬 프로세서 메모리(222)의 일부(예컨대, 메모리 유닛)에 각각 연결될 수 있는 다수의 파티션 유닛(예컨대, 파티션 유닛(220A) 및 파티션 유닛(220B) 내지 파티션 유닛(220N))을 포함할 수 있다. 파티션 유닛(220A-220N)의 수는 메모리 유닛의 수와 동일하도록 구성될 수도 있으며, 따라서 제1 파티션 유닛(220A)이 대응하는 제1 메모리 유닛(224A)을 갖고, 제2 파티션 유닛(220B)은 대응하는 메모리 유닛(224B)을 가지며, 제N 파티션 유닛(220N)은 대응하는 제N 메모리 유닛(224N)을 갖는다. 다른 실시예들에서, 파티션 유닛(220A-220N)의 수는 메모리 장치의 수와 동일하지 않을 수 있다.
메모리 유닛(224A-224N)은 동적 랜덤 액세스 메모리(DRAM) 또는 그래픽 더블 데이터 레이트(graphics double data rate)(GDDR) 메모리를 포함한 동기식 그래픽 랜덤 액세스 메모리(SGRAM)와 같은 그래픽 랜덤 액세스 메모리를 포함하는 다양한 타입의 메모리 장치를 포함할 수 있다. 선택적으로, 메모리 유닛(224A-224N)은 또한 고 대역폭 메모리(HBM)를 포함하지만 이에 제한되지 않는 3D 적층 메모리를 포함할 수 있다. 당업자는 메모리 유닛(224A-224N)의 특정 구현이 변할 수 있고, 다양한 종래의 설계들 중 하나로부터 선택될 수 있다는 것을 이해할 수 있을 것이다. 프레임 버퍼 또는 텍스처 맵과 같은 렌더링 타겟은 메모리 유닛(224A-224N)에 걸쳐 저장될 수도 있어, 파티션 유닛(220A-220N)이 병렬 프로세서 메모리(222)의 이용가능한 대역폭을 효율적으로 사용하도록 각 렌더 타겟의 부분들을 병렬로 기록할 수 있게 한다. 일부 실시예들에서, 병렬 프로세서 메모리(222)의 로컬 인스턴스는 로컬 캐시 메모리와 함께 시스템 메모리를 이용하는 통합된 메모리 설계를 위해 배제될 수 있다.
선택적으로, 프로세싱 클러스터 어레이(212)의 클러스터들(214A-214N) 중 어느 하나는 병렬 프로세서 메모리(222) 내의 메모리 유닛들(224A-224N) 중 임의의 것에 기록될 데이터를 프로세싱하는 능력을 갖는다. 메모리 크로스바(216)는 각 클러스터(214A-214N)의 출력을 임의의 파티션 유닛(220A-220N) 또는 출력에 대한 추가적인 프로세싱 동작들을 수행할 수 있는 다른 클러스터(214A-214N)로 전달하도록 구성될 수 있다. 각각의 클러스터(214A-214N)는 메모리 크로스바(216)를 통해 메모리 인터페이스(218)와 통신하여 다양한 외부 메모리 장치로부터 판독하거나 그에 기록할 수 있다. 메모리 크로스바(216)를 갖는 실시예들 중 하나에서, 메모리 크로스바(216)는 I/O 유닛(204)과 통신하기 위한 메모리 인터페이스(218)에 대한 연결뿐만 아니라, 병렬 프로세서 메모리(222)의 로컬 인스턴스에 대한 연결을 가져서, 상이한 프로세싱 클러스터(214A-214N) 내의 프로세싱 유닛이 시스템 메모리 또는 병렬 프로세싱 유닛(202)에 대해 로컬이 아닌 다른 메모리와 통신하는 것을 가능하게 한다. 일반적으로, 메모리 크로스바(216)는, 예를 들어, 클러스터(214A-214N)와 파티션 유닛(220A-220N) 사이의 트래픽 스트림을 분리하기 위해 가상 채널을 사용할 수 있다.
병렬 프로세싱 유닛(202)의 단일 인스턴스가 병렬 프로세서(200) 내에 도시되어 있지만, 병렬 프로세싱 유닛(202)의 임의의 수의 인스턴스가 포함될 수 있다. 예를 들어, 병렬 프로세싱 유닛(202)의 다수의 인스턴스가 단일 애드-인 카드에 제공될 수도 있고, 다수의 애드-인 카드가 상호접속될 수도 있다. 병렬 프로세싱 유닛(202)의 상이한 인스턴스들은, 이들 상이한 인스턴스가 상이한 수의 프로세싱 코어, 상이한 양의 로컬 병렬 프로세서 메모리, 및/또는 다른 구성 차이를 갖는다 하더라도, 상호동작하도록 구성될 수 있다. 선택적으로, 병렬 프로세싱 유닛(202)의 일부 인스턴스는 다른 인스턴스들에 비해 더 높은 정밀도의 부동 소수점 유닛들을 포함할 수 있다. 병렬 프로세싱 유닛(202) 또는 병렬 프로세서(200)의 하나 이상의 인스턴스를 포함하는 시스템은 데스크탑, 랩탑, 또는 핸드헬드 퍼스널 컴퓨터, 서버, 워크스테이션, 게임 콘솔, 및/또는 임베디드 시스템을 포함하지만 이에 한정되지 않는 다양한 구성 및 폼 팩터로 구현될 수 있다.
도 2b는 파티션 유닛(220)의 블록도이다. 파티션 유닛(220)은 도 2a의 파티션 유닛들(220A-220N) 중 하나의 인스턴스일 수도 있다. 도시된 바와 같이, 파티션 유닛(220)은 L2 캐시(221), 프레임 버퍼 인터페이스(225), 및 ROP(raster operations unit)(226)를 포함한다. L2 캐시(221)는 메모리 크로스바(216) 및 ROP(226)로부터 수신된 로드 및 저장 동작들을 수행하도록 구성되는 판독/기록 캐시이다. 리드 미스(read misses) 및 긴급 라이트백(urgent write-back) 요청이 프로세싱을 위해 L2 캐시(221)에 의해 프레임 버퍼 인터페이스(225)로 출력된다. 업데이트 또한 처리를 위해 프레임 버퍼 인터페이스(225)를 통해 프레임 버퍼로 전송될 수 있다. 일 실시예에서, 프레임 버퍼 인터페이스(225)는(예컨대, 병렬 프로세서 메모리(222) 내) 도 2a의 메모리 유닛(224A-224N)과 같은 병렬 프로세서 메모리의 메모리 유닛들 중 하나와 인터페이싱한다. 이에 더하여 또는 이에 갈음하여 파티션 유닛(220)은 메모리 제어기(도시되어 있지 않음)를 통해 병렬 프로세서 메모리 내의 메모리 유닛들 중 하나와 인터페이싱할 수도 있다.
그래픽 애플리케이션에서, ROP(226)는 스텐실, z 테스트, 블렌딩 등과 같은 래스터 연산을 수행하는 프로세싱 유닛이다. 그 후, ROP(226)는 프로세싱된 그래픽 데이터를 출력하며, 이는 그래픽 메모리에 저장된다. 일부 실시예에서, ROP(226)는 메모리에 기록되는 깊이 또는 컬러 데이터를 압축하고 메모리로부터 판독되는 깊이 또는 컬러 데이터를 압축해제하는 압축 로직을 포함한다. 압축 로직은 하나 이상의 다중 압축 알고리즘을 사용하는 무손실 압축 로직일 수 있다. ROP(226)에 의해 수행되는 압축의 타입은 압축될 데이터의 통계적 특성에 기초하여 변할 수 있다. 예를 들어, 일 실시예에서, 델타 컬러 압축은 타일 단위로 깊이 및 컬러 데이터에 대해 수행된다.
ROP(226)는 파티션 유닛(220) 대신에 각각의 프로세싱 클러스터(예컨대, 도 2a의 클러스터(214A-214N)) 내에 포함될 수 있다. 이러한 실시예에서, 픽셀 데이터에 대한 판독 및 기록 요청은 픽셀 프래그먼트 데이터 대신에 메모리 크로스바(216)를 통해 전송된다. 프로세싱된 그래픽 데이터는 도 1의 하나 이상의 디스플레이 장치(들)(110) 중 하나와 같은 디스플레이 장치 상에 디스플레이되거나, 프로세서(들)(102)에 의한 추가 프로세싱을 위해 라우팅되거나, 또는 도 2a의 병렬 프로세서(200) 내의 프로세싱 엔티티들 중 하나에 의한 추가 처리를 위해 라우팅될 수 있다.
도 2c는 병렬 프로세싱 유닛 내의 프로세싱 클러스터(214)의 블록도이다. 예를 들어, 프로세싱 클러스터는 도 2a의 프로세싱 클러스터(214A-214N) 중 하나의 인스턴스이다. 프로세싱 클러스터(214)는 다수의 스레드를 병렬로 실행하도록 구성될 수 있으며, 여기서 "스레드"란 용어는 특정 세트의 입력 데이터에 대해 실행되는 특정 프로그램의 인스턴스를 지칭한다. 선택적으로, SIMD(single-instruction, multiple-data) 명령어 발행 기술은 다수의 독립적인 명령어 유닛을 제공하지 않고 다수의 스레드의 병렬 실행을 지원하기 위해 사용될 수 있다. 또는, SIMT(single-instruction, multiple-thread) 기술은, 프로세싱 클러스터의 각 클러스터 내의 프로세싱 엔진 세트에 명령을 발행하도록 구성된 공통 명령 유닛을 사용하여, 다수의 일반적으로 동기화된 스레드의 병렬 실행을 지원하기 위해 사용될 수 있다. 모든 프로세싱 엔진들이 통상적으로 동일한 명령들을 실행하는 SIMD 실행 체제와 달리, SIMT 실행은 상이한 스레드들이 주어진 스레드 프로그램을 통해 다른 실행 경로들을 보다 쉽게 따를 수 있게 한다. 당업자는 SIMD 프로세싱 체제가 SIMT 프로세싱 체제의 기능적 서브세트를 나타낸다는 것을 이해할 것이다.
프로세싱 클러스터(214)의 동작은 프로세싱 태스크를 SIMT 병렬 프로세서에 분배하는 파이프라인 관리자(232)를 통해 제어될 수 있다. 파이프라인 관리자(232)는 도 2a의 스케줄러(210)로부터 명령어들을 수신하고 그래픽 멀티프로세서(234) 및/또는 텍스처 유닛(236)을 통해 이들 명령어의 실행을 관리한다. 도시된 그래픽 멀티프로세서(234)는 SIMT 병렬 프로세서의 예시적인 인스턴스이다. 그러나, 상이한 아키텍처의 다양한 타입들의 SIMT 병렬 프로세서가 프로세싱 클러스터(214) 내에 포함될 수 있다. 그래픽 멀티프로세서(234)의 하나 이상의 인스턴스는 프로세싱 클러스터(214) 내에 포함될 수 있다. 그래픽 멀티프로세서(234)는 데이터를 처리할 수 있고, 데이터 크로스바(240)는 처리된 데이터를 다른 셰이더 유닛을 포함하는 다수의 가능한 목적지 중 하나에 분배하는데 사용될 수 있다. 파이프라인 관리자(232)는 데이터 크로스바(240)를 통해 분배될 처리된 데이터에 대한 목적지를 지정함으로써 처리된 데이터의 분배를 용이하게 할 수 있다.
프로세싱 클러스터(214) 내의 각각의 그래픽 멀티프로세서(234)는 동일한 세트의 기능적 실행 로직(예컨대, 산술 로직 유닛, 로드 저장 유닛 등)을 포함할 수 있다. 기능적 실행 로직은 이전 명령어들이 완료되기 전에 새로운 명령어들이 발행될 수 있는 파이프라인 방식으로 구성될 수 있다. 기능적 실행 로직은 정수 및 부동 소수점 산술, 비교 연산, 불 연산, 비트 시프팅, 및 다양한 대수 함수의 계산을 포함하는 다양한 연산을 지원한다. 동일한 기능 유닛 하드웨어가 상이한 동작들을 수행하도록 이용될 수 있고, 기능 유닛들의 임의의 조합이 존재할 수도 있다.
프로세싱 클러스터(214)로 전송된 명령은 스레드를 구성한다. 병렬 프로세싱 엔진 세트에 걸쳐 실행되는 스레드 세트는 스레드 그룹이다. 스레드 그룹은 상이한 입력 데이터에 대해 동일한 프로그램을 실행한다. 스레드 그룹 내의 각각의 스레드는 그래픽 멀티프로세서(234) 내의 상이한 프로세싱 엔진에 할당될 수 있다. 스레드 그룹은 그래픽 멀티프로세서(234) 내의 프로세싱 엔진 수보다 더 적은 스레드를 포함할 수 있다. 스레드 그룹이 프로세싱 엔진 수보다 더 적은 스레드를 포함하는 경우, 그 스레드 그룹이 처리되고 있는 사이클 동안 프로세싱 엔진들 중 하나 이상이 유휴 상태일 수 있다. 스레드 그룹은 그래픽 멀티프로세서(234) 내의 프로세싱 엔진 수보다 더 많은 스레드를 포함할 수도 있다. 스레드 그룹이 그래픽 멀티프로세서(234) 내의 프로세싱 엔진 수보다 더 많은 스레드들을 포함하는 경우, 프로세싱은 연속적인 클록 사이클들에 걸쳐 수행될 수 있다. 선택적으로, 다수의 스레드 그룹은 그래픽 멀티프로세서(234) 상에서 동시에 실행될 수 있다.
그래픽 멀티프로세서(234)는 내부 캐시 메모리를 포함하여 로드 및 저장 동작을 수행할 수 있다. 선택적으로, 그래픽 멀티프로세서(234)는 내부 캐시를 포기하고 프로세싱 클러스터(214) 내의 캐시 메모리(예컨대, L1 캐시(248))를 사용할 수 있다. 각각의 그래픽 멀티프로세서(234)는 또한 모든 프로세싱 클러스터들(214) 사이에 공유되는 파티션 유닛(예컨대, 도 2a의 파티션 유닛(220A-220N)) 내의 L2 캐시에 대한 액세스를 가지며 스레드들 사이에서 데이터를 전송하는 데 사용될 수 있다. 그래픽 멀티프로세서(234)는 또한, 로컬 병렬 프로세서 메모리 및/또는 시스템 메모리 중 하나 이상을 포함할 수 있는 오프-칩 글로벌 메모리에 액세스할 수 있다. 병렬 프로세싱 유닛(202) 외부의 임의의 메모리가 글로벌 메모리로 사용될 수도 있다. 프로세싱 클러스터(214)가 그래픽 멀티프로세서(234)의 다수의 인스턴스를 포함하는 실시예는 L1 캐시(248)에 저장될 수 있는 공통 명령어 및 데이터를 공유할 수 있다.
각각의 프로세싱 클러스터(214)는 가상 주소를 물리 주소에 맵핑하도록 구성되는 MMU(245)(메모리 관리 유닛)를 포함할 수 있다. 다른 실시예들에서, MMU(245)의 하나 이상의 인스턴스가 도 2a의 메모리 인터페이스(218) 내에 상주할 수 있다. MMU(245)는 가상 주소를 타일의 물리적 주소와 선택적으로는 캐시 라인 인덱스에 맵핑하는데 사용되는 페이지 테이블 엔트리(PTE) 세트를 포함한다. MMU(245)는 그래픽 멀티프로세서(234) 또는 L1 캐시 또는 프로세싱 클러스터(214) 내에 상주할 수 있는 주소 변환 색인 버퍼(TLB) 또는 캐시를 포함할 수 있다. 물리적 주소는 파티션 유닛들 사이에서 효율적인 요청 인터리빙을 허용하기 위해 서피스 데이터 액세스 지역성(surface data access locality)을 분배하도록 프로세싱된다. 캐시 라인 인덱스는 캐시 라인에 대한 요청이 히트(hit)인지 또는 미스(miss)인지 판단하기 위해 사용될 수 있다.
그래픽 및 컴퓨팅 애플리케이션에서, 프로세싱 클러스터(214)는, 각각의 그래픽 멀티프로세서(234)가 텍스처 맵핑 동작들을 수행하기 위해, 예컨대, 텍스처 샘플 위치를 결정하고, 텍스처 데이터를 판독하며, 텍스처 데이터를 필터링하기 위해, 텍스처 유닛(236)에 연결되도록 구성될 수 있다. 텍스처 데이터는 내부 텍스처 L1 캐시(도시되어 있지 않음)로부터 또는 일부 실시예에서는 그래픽 멀티프로세서(234) 내의 L1 캐시로부터 판독되고, 필요에 따라 L2 캐시, 로컬 병렬 프로세서 메모리, 또는 시스템 메모리로부터 페치된다. 각각의 그래픽 멀티프로세서(234)는 처리된 태스크를 데이터 크로스바(240)에 출력하여 처리된 태스크를 추가 처리를 위해 다른 프로세싱 클러스터(214)에 제공하거나, 처리된 태스크를 메모리 크로스바(216)를 통해 L2 캐시, 로컬 병렬 프로세서 메모리, 또는 시스템 메모리에 저장한다. preROP(pre-raster operations unit)(242)는 그래픽 멀티프로세서(234)로부터 데이터를 수신하고, 본 명세서에 기술된 바와 같은 파티션 유닛(예컨대, 도 2a의 파티션 유닛(220A-220N))과 함께 위치할 수 있는 ROP 유닛으로 데이터를 보내도록 구성된다. preROP(242) 유닛은 컬러 블렌딩을 위한 최적화를 수행하고, 픽셀 컬러 데이터를 조직하며, 주소 변환을 수행할 수 있다.
본 명세서에 설명된 코어 아키텍처는 예시적이며 변형들 및 수정들이 가능하다는 것을 이해할 수 있을 것이다. 임의의 수의 프로세싱 유닛, 예컨대, 그래픽 멀티프로세서(234), 텍스처 유닛(236), preROP(242) 등이 프로세싱 클러스터(214) 내에 포함될 수 있다. 또한, 단지 하나의 프로세싱 클러스터(214)가 도시되어 있지만, 본 명세서에 설명된 바와 같은 병렬 프로세싱 유닛은 프로세싱 클러스터(214)의 임의의 수의 인스턴스를 포함할 수 있다. 선택적으로, 각각의 프로세싱 클러스터(214)는 분리된 별개의 프로세싱 유닛들, L1 캐시 등을 사용하여 다른 프로세싱 클러스터(214)와 독립적으로 동작하도록 구성될 수 있다.
도 2d는 그래픽 멀티프로세서(234)가 프로세싱 클러스터(214)의 파이프라인 관리자(232)와 연결되는 그래픽 멀티프로세서(234)의 예를 도시한다. 그래픽 멀티프로세서(234)는 명령어 캐시(252), 명령어 유닛(254), 주소 매핑 유닛( 256), 레지스터 파일(258), 하나 이상의 범용 그래픽 처리 유닛(GPGPU) 코어(262), 및 하나 이상의 로드/저장 유닛(266)을 포함하지만 이에 한정되지 않는 실행 파이프라인을 갖는다. GPGPU 코어들(262) 및 로드/저장 유닛(266)은 메모리 및 캐시 상호접속부(268)를 통해 캐시 메모리(272) 및 공유 메모리(270)와 연결된다. 그래픽 멀티프로세서(234)는 매트릭스 및/또는 광선 추적 동작을 촉진시키기 위한 하드웨어 로직을 포함하는 텐서(tensor) 및/또는 광선 추적 코어(ray-tracing core)(263)를 추가로 포함할 수 있다.
명령어 캐시(252)는 파이프라인 관리자(232)로부터 실행할 명령어 스트림을 수신할 수 있다. 명령어는 명령어 캐시(252)에 캐시되고 명령어 유닛(254)에 의한 실행을 위해 디스패치된다. 명령어 유닛(254)은 명령어를 스레드 그룹(예컨대, 와프)으로서 디스패치할 수 있고, 스레드 그룹의 각각의 스레드는 GPGPU 코어(262) 내의 다른 실행 유닛에 할당된다. 명령어는 통합된 주소 공간 내의 주소를 지정함으로써 로컬, 공유 또는 글로벌 주소 공간 중 임의의 공간에 액세스할 수 있다. 주소 매핑 유닛(256)은 통합된 주소 공간의 주소들을 로드/저장 유닛(266)에 의해 액세스될 수 있는 별개의 메모리 주소로 변환하는 데 사용될 수 있다.
레지스터 파일(258)은 그래픽 멀티프로세서(234)의 기능 유닛에 레지스터 세트를 제공한다. 레지스터 파일(258)은 그래픽 멀티프로세서(234)의 기능 유닛(예컨대, GPGPU 코어(262), 로드/저장 유닛(266))의 데이터 경로에 접속된 피연산자에 대한 임시 저장소를 제공한다. 레지스터 파일(258)은, 각각의 기능 유닛에 레지스터 파일(258)의 전용 부분이 할당되도록 각각의 기능 유닛들 사이에서 분할될 수 있다. 예를 들어, 레지스터 파일(258)은 그래픽 멀티프로세서(234)에 의해 실행되는 여러 와프들(warps) 사이에 분할될 수 있을 것이다.
GPGPU 코어들(262) 각각은 그래픽 멀티프로세서(234)의 명령어를 실행하기 위해 사용되는 부동 소수점 유닛(FPU) 및/또는 정수 산술 로직 유닛(ALU)을 포함할 수 있다. 일부 구현예에서, GPGPU 코어(262)는 하드웨어 로직을 포함할 수 있으며, 이 하드웨어 로직은 다른 경우에 텐서 및/또는 광선 추적 코어(263) 내에 상주할 수도 있다. GPGPU 코어들(262)은 그 구조가 유사할 수도 있고 상이할 수도 있다. 예를 들어 일 실시예에서, GPGPU 코어들(262)의 제1 부분은 단정밀도(single precision) FPU 및 정수 ALU를 포함하는 반면, GPGPU 코어들의 제2 부분은 배정밀도(double precision) FPU를 포함한다. 선택적으로, FPU는 부동 소수점 산술을 위한 IEEE 754-2008 표준을 구현하거나 또는 가변 정밀도 부동 소수점 산술을 가능하게 할 수 있다. 그래픽 멀티프로세서(234)는 직사각형 복사 또는 픽셀 블렌딩 동작과 같은 특정 기능을 수행하기 위해 하나 이상의 고정 기능 또는 특수 기능 유닛을 추가로 포함할 수 있다. 하나 이상의 GPGPU 코어는 또한 고정 또는 특수 기능 로직을 포함할 수 있다.
GPGPU 코어들(262)은 다수의 데이터 세트에 대해 단일 명령을 수행할 수 있는 SIMD 로직을 포함할 수도 있다. 선택적으로, GPGPU 코어(262)는 SIMD4, SIMD8, 및 SIMD16 명령어를 물리적으로 실행할 수 있고, SIMD1, SIMD2, 및 SIMD32 명령어를 논리적으로 실행할 수 있다. GPGPU 코어에 대한 SIMD 명령어는 셰이더 컴파일러에 의해 컴파일 시간에 생성될 수도 있고, 단일 프로그램 다중 데이터(single program multiple data: SPMD) 또는 SIMT 아키텍처에 대해 기록 및 컴파일된 프로그램을 실행할 때 자동으로 생성될 수 있다. SIMT 실행 모델을 위해 구성된 프로그램의 다수의 스레드는 단일 SIMD 명령어를 통해 실행될 수 있다. 예를 들어 일 실시예에서, 동일하거나 유사한 연산을 수행하는 8개의 SIMT 스레드가 단일 SIMD8 로직 유닛을 통해 병렬로 실행될 수 있다.
메모리 및 캐시 상호접속부(268)는 그래픽 멀티프로세서(234)의 기능 유닛들 각각을 레지스터 파일(258) 및 공유 메모리(270)에 연결하는 상호접속 네트워크이다. 예를 들어, 메모리 및 캐시 상호접속부(268)는 로드/저장 유닛(266)이 공유 메모리(270) 및 레지스터 파일(258) 사이의 로드 및 저장 동작을 구현하도록 허용하는 크로스바 상호접속부이다. 레지스터 파일(258)은 GPGPU 코어(262)와 동일한 주파수에서 동작할 수 있고, 따라서 GPGPU 코어(262)와 레지스터 파일(258) 사이의 데이터 전송은 지연이 매우 낮다. 공유 메모리(270)는 그래픽 멀티프로세서(234) 내의 기능 유닛 상에서 실행되는 스레드들 사이의 통신을 가능하게 하는 데 사용될 수 있다. 캐시 메모리(272)는, 예를 들어, 기능 유닛과 텍스처 유닛(236) 사이에서 통신되는 텍스처 데이터를 캐시하기 위해 데이터 캐시로서 사용될 수 있다. 공유 메모리(270)는 또한 프로그램 관리 캐시로서 사용될 수 있다. GPGPU 코어(262) 상에서 실행되는 스레드는 캐시 메모리(272) 내에 저장되는 자동으로 캐시된 데이터에 더하여 공유 메모리 내에 데이터를 프로그램 가능하게 저장할 수 있다.
도 3a 내지 도 3c는 실시예들에 따른 추가적인 그래픽 멀티프로세서들을 도시한다. 도 3a 및 도 3b는, 도 2c의 그래픽 멀티프로세서(234)와 관련되며 이들 중 하나 대신에 사용될 수 있는 그래픽 멀티프로세서(325, 350)를 도시한다. 따라서, 본 명세서에서 그래픽 멀티프로세서(234)와 조합된 임의의 특징들의 개시는 또한 그래픽 멀티프로세서(들)(325, 350)와의 대응하는 조합을 나타내지만, 이에 제한되지는 않는다. 도 3c는 그래픽 멀티프로세서(325, 350)에 대응하는 멀티-코어 그룹(365A-365N)으로 배열된 그래픽 프로세싱 리소스들의 전용 세트를 포함하는 그래픽 프로세싱 유닛(GPU)(380)을 도시한다. 도시된 그래픽 멀티프로세서(325, 350) 및 멀티코어 그룹(365A-365N)은 다수의 실행 스레드의 동시 실행이 가능한 스트리밍 멀티프로세서(SM)일 수 있다.
도 3a의 그래픽 멀티프로세서(325)는 도 2d의 그래픽 멀티프로세서(234)에 대한 실행 리소스 유닛의 다수의 추가 인스턴스를 포함한다. 예를 들어, 그래픽 멀티프로세서(325)는 명령어 유닛(332A-332B), 레지스터 파일(334A-334B) 및 텍스처 유닛(들)(344A-344B)의 다수의 인스턴스를 포함할 수 있다. 그래픽 멀티프로세서(325)는 또한 다수의 그래픽 또는 컴퓨트 실행 유닛 세트(예컨대, GPGPU 코어(336A-336B), 텐서 코어(tensor core) 337A-337B, 광선 추적 코어(ray-tracing core, 338A-338B)) 및 다수의 로드/저장 유닛(340A-340B) 세트를 포함한다. 실행 리소스 유닛은 공통 명령어 캐시(330), 텍스처 및/또는 데이터 캐시 메모리(342), 및 공유 메모리(346)를 갖는다.
다양한 컴포넌트들은 상호접속 패브릭(327)을 통해 통신할 수 있다. 상호접속 패브릭(327)은 그래픽 멀티프로세서(325)의 다양한 컴포넌트들 사이의 통신을 가능하게 하는 하나 이상의 크로스바 스위치를 포함할 수 있다. 상호접속 패브릭(327)은 그래픽 멀티프로세서(325)의 각각의 컴포넌트가 적층되는 별도의 고속 네트워크 패브릭 층일 수 있다. 그래픽 멀티프로세서(325)의 컴포넌트는 상호접속 패브릭(327)을 통해 원격 컴포넌트들과 통신한다. 예를 들어, GPGPU 코어(336A-336B, 337A-337B, 및 3378A-338B)는 상호접속 패브릭(327)을 통해 공유 메모리(346)와 각각 통신할 수 있다. 상호접속 패브릭(327)은 컴포넌트들 간의 공정한 대역폭 할당을 보장하기 위해 그래픽 멀티프로세서(325) 내의 통신을 중재할 수 있다.
도 3b의 그래픽 멀티프로세서(350)는 다수의 실행 리소스 세트(356A-356D)를 포함하며, 여기서 각각의 실행 리소스 세트는 도 2d 및 도 3a에 도시된 바와 같은 다수의 명령어 유닛, 레지스터 파일, GPGPU 코어, 및 로드 저장 유닛을 포함한다. 실행 리소스(356A-356D)는 명령어 캐시(354) 및 공유 메모리(353)를 공유하면서 텍스처 연산을 위해 텍스처 유닛(들)(360A-360D)과 협력하여 작동할 수 있다. 예를 들어, 실행 리소스(356A-356D)는 텍스처 및/또는 데이터 캐시 메모리(358A-358B)의 다수의 인스턴스들뿐만 아니라 명령어 캐시(354) 및 공유 메모리(353)를 공유할 수 있다. 다양한 컴포넌트들이 도 3a의 상호접속 패브릭(327)과 유사한 상호접속 패브릭(352)을 통해 통신할 수 있다.
당업자는 도 1, 도 2a 내지 도 2d, 및 도 3a-3b에 설명된 아키텍처가 설명적이고 본 실시예들의 범위에 대해 제한적이지 않다는 것을 이해할 수 있을 것이다. 따라서, 본 명세서에 설명된 기술들은, 본 명세서에 설명된 실시예들의 범위를 벗어나지 않으면서, 하나 이상의 모바일 애플리케이션 프로세서들, 멀티-코어 CPU를 포함하는 하나 이상의 데스크톱 또는 서버 중앙 프로세싱 유닛(CPU), 도 2a의 병렬 프로세싱 유닛(202)과 같은 하나 이상의 병렬 프로세싱 유닛 및 하나 이상의 그래픽 프로세서 또는 특수 목적 프로세싱 유닛을 제한없이 포함하는 임의의 적절히 구성된 프로세싱 유닛에서 구현될 수 있다.
본 명세서에 설명된 바와 같은 병렬 프로세서 또는 GPGPU는 그래픽 동작, 머신-학습 동작, 패턴 분석 동작, 및 다양한 범용 GPU(GPGPU) 기능을 가속화하기 위해 호스트/프로세서 코어에 통신가능하게 연결될 수 있다. GPU는 버스 또는 다른 상호접속부(예컨대, PCIe 또는 NVLink와 같은 고속 상호접속부)를 통해 호스트 프로세서/코어에 통신가능하게 연결될 수 있다. 다른 실시예에서, GPU는 코어와 동일한 패키지 또는 칩 상에 통합될 수도 있고, 내부 프로세서 버스/상호접속부(즉, 패키지 또는 칩의 내부)를 통해 코어에 통신가능하게 연결될 수도 있다. GPU가 접속되는 방식에 관계없이, 프로세서 코어는 작업 기술자(work descriptor)에 포함된 커맨드/명령어의 시퀀스 형태로 GPU에 작업을 할당할 수 있다. 그러면, GPU는 이들 커맨드/명령어를 효율적으로 처리하기 위해 전용 회로/로직을 사용한다.
도 3c는 멀티-코어 그룹(365A-365N)으로 배열된 그래픽 프로세싱 리소스의 전용 세트를 포함하는 그래픽 프로세싱 유닛(GPU)(380)을 도시한다. 단일 멀티-코어 그룹(365A)의 세부 사항만이 제공되지만, 다른 멀티-코어 그룹(365B-365N)은 동일 또는 유사한 그래픽 프로세싱 리소스의 세트를 구비할 수 있음을 이해할 수 있을 것이다. 멀티-코어 그룹(365A-365N)에 대해 설명된 세부사항들은 또한 본 명세서에 설명된 임의의 그래픽 멀티프로세서(234, 325, 350)에도 적용될 수 있다.
도시된 것과 같이, 멀티-코어 그룹(365A)은 그래픽 코어 세트(370), 텐서(tensor) 코어 세트(371) 및 광선 추적 코어 세트(372)를 포함할 수 있다. 스케줄러/디스패처(368)는 다양한 코어(370, 371, 372) 상에서 실행을 위해 그래픽 스레드를 스케줄링하고 디스패치한다. 레지스터 파일 세트(369)는 그래픽 스레드를 실행할 때 코어(370, 371, 372)에 의해 사용되는 피연산자 값을 저장한다. 이들은, 예를 들어 정수 값을 저장하기 위한 정수 레지스터, 부동 소수점 값을 저장하기 위한 부동 소수점 레지스터, 패킹된 데이터 요소(정수 및/또는 부동 소수점 데이터 요소)를 저장하기 위한 벡터 레지스터 및 텐서/매트릭스 값을 저장하기 위한 타일 레지스터를 포함할 수 있다. 타일 레지스터는 결합된 벡터 레지스터 세트로서 구현된다.
하나 이상의 결합된 레벨 1(L1) 캐시 및 공유 메모리 유닛(373)은 각각의 멀티-코어 그룹(365A) 내에 국부적으로 텍스쳐 데이터, 정점(vertex) 데이터, 픽셀 데이터, 광선 데이터, 경계 볼륨 데이터 등과 같은 그래픽 데이터를 저장한다. 하나 이상의 텍스처 유닛(374)은 또한 텍스처 매핑 및 샘플링과 같은 텍스처링 동작을 수행하기 위해 사용될 수 있다. 멀티-코어 그룹(365A-365N)의 전부 또는 일부에 의해 공유되는 레벨 2(L2) 캐시(375)는 복수의 동시 그래픽 스레드에 대한 그래픽 데이터 및/또는 명령어를 저장한다. 도시된 바와 같이, L2 캐시(375)는 복수의 멀티-코어 그룹(365A-365N)에 걸쳐 공유될 수 있다. 하나 이상의 메모리 제어기(367)는 GPU(380)를 시스템 메모리(예컨대, DRAM) 및/또는 전용 그래픽 메모리(예컨대, GDDR6 메모리)일 수 있는 메모리(366)에 연결한다.
입력/출력(I/O) 회로(363)는 GPU(380)를 디지털 신호 프로세서(DSP), 네트워크 제어기 또는 사용자 입력 장치와 같은 하나 이상의 I/O 장치(362)에 연결한다. 온 칩 상호접속부는 I/O 장치(362)를 GPU(380) 및 메모리(366)에 연결하는데 사용될 수 있다. I/O 회로(363)의 하나 이상의 I/O 메모리 관리 유닛(IOMMU)(364)은 I/O 장치(362)를 시스템 메모리(366)에 직접 연결한다. 선택적으로, IOMMU(364)는 가상 주소를 시스템 메모리(366)의 물리 주소에 매핑하기 위해 복수의 페이지 테이블 세트를 관리한다. 그러면, I/O 장치(362), CPU(들)(361), GPU(들)(380)는 동일한 가상 주소 공간을 공유할 수 있다.
IOMMU(364)의 일 구현예에서, IOMMU(364)는 가상화를 지원한다. 이 경우, 게스트/그래픽 가상 주소를 게스트/그래픽 물리 주소에 매핑하기 위해 페이지 테이블의 제1 세트를 관리하고, 게스트/그래픽 물리 주소를 (시스템 메모리(366) 내의) 시스템/호스트 물리 주소에 매핑하기 위해 페이지 테이블의 제2 세트를 관리할 수 있다. 페이지 테이블의 제1 및 제2 세트 각각의 기본 주소는 제어 레지스터에 저장될 수 있고 컨텍스트 스위치 상에서 교환(swapped out)될 수 있다(예컨대, 새로운 컨텍스트가 페이지 테이블의 관련된 세트에 대해 액세스할 수 있다). 도 3c에 도시되지 않았지만, 각각의 코어(370, 371, 372 ) 및/또는 멀티-코어 그룹(365A-365N)은 게스트 가상으로부터 게스트 물리로의 변환, 게스트 물리로부터 호스트 물리로의 변환 및 게스트 가상으로부터 호스트 물리로의 변환을 캐싱하기 위한 TLB(translation lookaside buffer)를 포함할 수 있다.
CPU(361), GPU(380) 및 I/O 장치(362)는 단일 반도체 칩 및/또는 칩 패키지 상에 통합될 수 있다. 도시된 메모리(366)는 동일한 칩 상에 통합될 수도 있고 또는 오프 칩 인터페이스를 통해 메모리 제어기(367)에 연결될 수도 있다. 일 구현예에서, 메모리(366)는 다른 물리 시스템-레벨 메모리와 동일한 가상 주소 공간을 공유하는 GDDR6 메모리를 포함하지만, 본 명세서에 기술된 기본 원리는 이러한 특정 구현예로 한정되지 않는다.
텐서 코어(371)는 매트릭스 연산을 수행하도록 특별히 설계된 복수의 실행 유닛을 포함하는데, 이는 심층 학습(deep learning) 동작을 수행하는 데 사용되는 기본 컴퓨팅 동작이다. 예를 들어, 동시 매트릭스 곱셈 동작은 신경망 훈련 및 추론에 사용될 수 있다. 텐서 코어(371)는 단정밀도 부동 소수점(예컨대, 32 비트), 반정밀도 부동 소수점(예컨대, 16 비트), 정수 워드(16 비트), 바이트(8 비트) 및 반-바이트(4 비트)를 포함하는 다양한 피연산자 정밀도를 사용하여 매트릭스 프로세싱을 수행할 수 있다. 예를 들어, 신경망 구현예는 각각의 렌더링된 장면의 특징을 추출하여, 잠재적으로는 복수의 프레임으로부터 세부 사항을 결합하여, 고품질의 최종 이미지를 구성한다.
심층 학습 구현예에서, 병렬 매트릭스 곱셈 작업은 텐서 코어(371) 상에서 실행되도록 스케줄링될 수 있다. 특히 신경망의 훈련은 상당한 수의 매트릭스 내적 연산을 요구한다. 텐서 코어(371)는, N×N×N 매트릭스의 내적 공식(formulation)을 처리하기 위해 적어도 N개의 내적 프로세싱 요소를 포함할 수 있다. 매트릭스의 곱셈을 시작하기 전에 하나의 전체 매트릭스가 타일 레지스터에 로딩되고, 두 번째 매트릭스의 적어도 하나의 열이 N-주기 동안 각 주기마다 로딩된다. 각각의 주기마다 N개의 내적이 프로세싱된다.
매트릭스 요소는 16 비트 워드, 8 비트 바이트(예컨대, INT8) 및 4 비트 반 바이트(예컨대, INT4)를 포함하는, 특정 구현예에 따른 상이한 정밀도로 저장될 수 있다. 텐서 코어(371)에 대해 상이한 정밀도 모드가 특정되어 상이한 워크로드(예컨대, 바이트 및 반-바이트로의 양자화를 허용할 수 있는 추론 워크로드와 같은)에 대해 가장 효율적인 정밀도가 사용되도록 보장할 수 있다.
광선 추적 코어(372)는 실시간 광선 추적 및 비실시간 광선 추적 구현예 모두에 대한 광선 추적 동작을 가속화할 수 있다. 특히, 광선 추적 코어(372)는 경계 볼륨 계층 구조(BVH)를 사용하여 광선 탐색을 수행하고 BVH 볼륨 내에 둘러싸인 광선과 프리미티브(primitive) 사이의 교차를 식별하는 광선 탐색/교차 회로를 포함할 수 있다. 광선 추적 코어(372)는 또한 깊이(depth) 테스트 및 (예컨대, Z 버퍼 또는 유사한 배열을 사용하여) 컬링을 수행하는 회로를 포함할 수 있다. 일 구현예에서, 광선 추적 코어(372)는 본 명세서에서 설명된 이미지 노이즈 제거 기술과 협력하여 탐색 및 교차 동작을 수행하며, 그 중 적어도 일부는 텐서 코어(371) 상에서 실행될 수 있다. 예를 들어, 텐서 코어(371)는 심층 학습 신경망을 구현하여 광선 추적 코어(372)에 의해 생성된 프레임의 노이즈 제거를 수행한다. 그러나, CPU(들)(361), 그래픽 코어(370) 및/또는 광선 추적 코어(372)는 또한 노이즈 제거의 전체 또는 일부 및/또는 심층 학습 알고리즘을 구현할 수 있다.
또한, 전술한 바와 같이, 노이즈 제거에 대한 분산 접근법이 이용될 수 있으며, 여기서 GPU(380)는 네트워크 또는 고속 상호 접속부를 통해 다른 컴퓨팅 장치에 연결된 컴퓨팅 장치에 존재한다. 이 분산 접근법에서, 상호 접속된 컴퓨팅 장치들은 신경망 학습/훈련 데이터를 공유하여 전체 시스템이 상이한 타입의 이미지 프레임 및/또는 상이한 그래픽 애플리케이션에 대해 노이즈 제거를 수행하는 것을 학습하는 속도를 향상시킬 수 있다.
광선 추적 코어(372)는 모든 BVH 탐색 및 광선-프리미티브 교차를 프로세싱하여 그래픽 코어(370)가 광선당 수천 개의 명령어로 과부하되는 것을 방지한다. 예를 들어, 각각의 광선 추적 코어(372)는 경계 박스 테스트(예컨대, 탐색 동작)를 수행하는 특수 회로의 제1 세트와, 광선-삼각형 교차 테스트(예컨대, 탐색된 광선을 교차시킴)를 수행하는 특수 회로의 제2 세트를 포함한다. 따라서, 예를 들어, 멀티-코어 그룹(365A)은 단순히 광선 프로브를 발사할 수 있고, 광선 추적 코어(372)는 독립적으로 광선 탐색 및 교차를 수행하고 히트(hit) 데이터(예컨대, 히트, 히트 없음, 복수 히트 등)를 스레드 컨텍스트에 반환한다. 광선 추적 코어(372)가 탐색 및 교차 동작을 수행하는 동안 다른 코어(370, 371)는 다른 그래픽을 수행하거나 또는 작업을 컴퓨팅하기 위해 자유로운 상태가 된다.
선택적으로, 각각의 광선 추적 코어(372)는 BVH 테스트 동작을 수행하는 탐색 유닛 및 광선-프리미티브 교차 테스트를 수행하는 교차 유닛을 포함한다. 교차 유닛은 "히트", "히트 없음" 또는 "복수 히트" 응답을 생성하여 적절한 스레드에 제공한다. 탐색 및 교차 동작 동안, 다른 코어(예컨대, 그래픽 코어(370) 및 텐서 코어(371))의 실행 리소스는 다른 형태의 그래픽 작업을 수행하기 위해 자유로운 상태가 된다.
후술되는 하나의 선택적인 실시예에서, 작업이 그래픽 코어(370)와 광선 추적 코어(372) 사이에 분산되는 하이브리드 래스터화/광선 추적 접근법이 사용된다.
광선 추적 코어(372)(및/또는 다른 코어(370, 371))는 광선-생성, 최근접 히트, 임의의 히트 및 비교차(miss) 셰이더뿐만 아니라 DispatchRays 커맨드를 포함하는 Microsoft의 DXR(DirectX Ray Tracing)과 같은 광선 추적 명령어 세트에 대한 하드웨어 지원을 포함할 수 있으며, 이로써 각각의 객체에 대해 셰이더 및 텍스처의 고유 세트를 할당할 수 있다. 광선 추적 코어(372), 그래픽 코어(370) 및 텐서 코어(371)에 의해 지원될 수 있는 다른 광선 추적 플랫폼으로는 Vulkan 1.1.85가 있다. 그러나, 본 명세서에 기술된 기본 원리는 임의의 특정 광선 추적 ISA로 한정되지 않는다는 점에 유의한다.
일반적으로, 다양한 코어(372, 371, 370)는 광선 생성, 최근접 히트, 임의의 히트, 광선-프리미티브 교차, 프리미티브 당 및 계층 구조적 경계 박스 구성, 비교차, 방문 및 예외에 대한 명령어/기능을 포함하는 광선 추적 명령어 세트를 지원할 수 있다. 보다 구체적으로, 바람직한 실시예는 다음 기능 중 하나 이상을 수행하는 광선 추적 명령어를 포함한다:
광선 생성 - 광선 생성 명령어는 각 픽셀, 샘플 또는 다른 사용자 정의 작업 할당에 대해 실행될 수 있다.
최근접 히트 - 최근접 히트 명령어는 장면 내에서 광선과 프리미티브의 최근접 교차점을 찾기 위해 실행될 수 있다.
임의의 히트 - 임의의 히트 명령어는 잠재적으로 새로운 최근접 교차점을 식별하기 위해 장면 내에서 광선과 프리미티브 사이의 복수의 교차를 식별한다.
교차 - 교차 명령어는 광선-프리미티브 교차 테스트를 수행하고 결과를 출력한다.
프리미티브 당 경계 박스 구성 - 이 명령어는 주어진 프리미티브 또는 프리미티브 그룹 주위에 경계 박스를 형성한다(예컨대, 새로운 BVH 또는 다른 가속도 데이터 구조를 형성할 때).
비교차 - 이것은 광선이 장면 내의 모든 기하 또는 장면의 특정 영역과 교차하지 않는 것을 나타낸다.
방문 - 이것은 광선이 탐색할 자식 볼륨(children volume)을 나타낸다.
예외 - 이것은 다양한 타입의 예외 핸들러(예컨대, 다양한 오류 조건에 대해 호출됨)를 포함한다.
GPU-호스트 프로세서의 상호접속 기법
도 4a는, 예를 들어, 도 2a에 도시된 병렬 프로세서(200)와 같은 복수의 GPU(410-413)가 고속 링크(440A-440D)(예컨대, 버스, 포인트-투-포인트 상호접속부 등)를 통해 복수의 멀티-코어 프로세서(405-406)에 통신가능하게 연결되는 예시적인 아키텍처를 도시한다. 고속 링크(440A-440D)는 구현에 따라, 4GB/s, 30GB/s, 80GB/s 또는 그 이상의 통신 스루풋을 지원할 수 있다. PCIe 4.0 또는 5.0 및 NVLink 2.0을 포함하지만 이에 제한되지 않는 다양한 상호접속 프로토콜이 사용될 수 있다. 그러나, 본 명세서에 설명된 기본 원리는 임의의 특정 통신 프로토콜 또는 스루풋에 제한되지 않는다.
GPU들(410-413) 중 둘 이상은 고속 링크들에 걸쳐 상호접속될 수 있으며, 이들 고속 링크는 고속 링크(440A-440D)에 사용된 것과 동일하거나 상이한 프로토콜/링크를 사용하여 구현될 수 있다. 유사하게, 멀티-코어 프로세서들(405-406) 중 둘 이상은 20GB/s, 30GB/s, 120GB/s 또는 그 이상에서 동작하는 대칭 멀티-프로세서(SMP) 버스일 수 있는 고속 링크(443)를 통해 접속될 수 있다. 또는, 도 4a에 도시된 다양한 시스템 컴포넌트들 사이의 모든 통신은(예컨대, 공통 상호접속 패브릭을 통해) 동일한 프로토콜들/링크들을 사용하여 달성될 수 있다. 그러나, 언급된 바와 같이, 본 명세서에서 설명하는 기본 원리는 임의의 특정 타입의 상호접속 기술로 제한되지 않는다.
각각의 멀티-코어 프로세서(405-406)는 메모리 상호접속부(430A-430B)를 통해 각각 프로세서 메모리(401-402)에 통신가능하게 연결될 수 있고, 각각의 GPU(410-413)는 GPU 메모리 상호접속부(450A-450D)를 통해 각각 GPU 메모리(420-423)에 통신가능하게 연결된다. 메모리 상호접속부(430A-430B 및 450A-450D)는 동일하거나 상이한 메모리 액세스 기술을 이용할 수 있다. 제한이 아닌 예로서, 프로세서 메모리(401 내지 402) 및 GPU 메모리(420 내지 423)는 (적층된 DRAM을 포함하는) 동적 랜덤 액세스 메모리(DRAM), 그래픽 DDR SDRAM(GDDR)(예컨대, GDDR5, GDDR6), 또는 고 대역폭 메모리(HBM)와 같은 휘발성 메모리일 수도 있고/있거나 3D XPoint/Optane 또는 Nano-Ram 과 같은 비휘발성 메모리일 수도 있다. 예를 들어, 메모리들 중 일부는 휘발성 메모리일 수 있고, 다른 부분은 (예컨대, 2-레벨 메모리(2LM) 계층을 사용하는)비휘발성 메모리일 수도 있다.
아래에서 설명되는 바와 같이, 다양한 프로세서(405-406) 및 GPU(410-413)이 각각 특정 메모리(401-402, 420-423)에 물리적으로 연결될 수 있지만, 동일한 가상 시스템 주소 공간("유효 주소" 공간이라고도 함)이 다양한 물리적 메모리들 모두 사이에 분산되는 통합된 메모리 아키텍처가 구현될 수도 있다. 예를 들어, 프로세서 메모리(401 내지 402)는 각각 시스템 메모리 주소 공간의 64GB를 포함할 수 있고, GPU 메모리(420 내지 423)는 각각 시스템 메모리 주소 공간의 32GB를 포함할 수 있다(결국 이 예에서 어드레스블(addressable) 메모리는 총 256GB임).
도 4b는 멀티-코어 프로세서(407)와 그래픽 가속 모듈(446) 사이의 상호접속에 대한 추가적인 선택적 세부사항을 도시한다. 그래픽 가속 모듈(446)은 고속 링크(440)를 통해 프로세서(407)에 연결된 라인 카드에 통합된 하나 이상의 GPU 칩을 포함할 수도 있다. 또는, 그래픽 가속 모듈(446)은 프로세서(407)와 동일한 패키지 또는 칩에 통합될 수도 있다.
도시된 프로세서(407)는 복수의 코어(460A-460D)를 포함하며, 각각의 코어는 변환 색인 버퍼(461A-461D) 및 하나 이상의 캐시(462A-462D)를 갖는다. 이들 코어는 본 명세서에 설명된 컴포넌트들의 기본 원리를 모호하게 하지 않게 하기 위해 도시되지 않은 명령어들을 실행하고 데이터를 프로세싱하기 위한 다양한 다른 컴포넌트(예컨대, 명령 페치 유닛, 분기 예측 유닛, 디코더, 실행 유닛, 재정렬 버퍼 등)를 포함할 수 있다. 캐시들(462A-462D)은 레벨 1(L1) 및 레벨 2(L2) 캐시를 포함할 수 있다. 또한, 하나 이상의 공유 캐시(456)가 캐싱 계층에 포함될 수 있고 코어(460A-460D)의 세트에 의해 공유될 수 있다. 예를 들어, 프로세서(407)의 일 실시예는 24개의 코어를 포함하고, 이들 코어 각각은 자신의 L1 캐시, 12개의 공유 L2 캐시, 및 12개의 공유된 L3 캐시를 갖는다. 이 실시예에서, L2 및 L3 캐시 중 하나는 2개의 인접한 코어에 의해 공유된다. 프로세서(407) 및 그래픽 가속기 통합 모듈(446)은 프로세서 메모리(401-402)를 포함할 수 있는 시스템 메모리(441)와 연결된다.
일관성 버스(464)를 통한 코어간 통신을 통해 다양한 캐시들(462A-462D, 456) 및 시스템 메모리(441)에 저장된 데이터 및 명령어들에 대해 일관성이 유지된다. 예를 들어, 각각의 캐시는 특정 캐시 라인에 대한 검출된 판독 또는 기록에 응답하여 일관성 버스(464)를 통해 통신하기 위해 그와 연관된 캐시 코히런시 로직/회로를 가질 수 있다. 일 구현예에서, 캐시 스누핑 프로토콜은 캐시 액세스를 스누프하기 위한 일관성 버스(464)를 통해 구현된다. 캐시 스누핑/코히어런시 기술들은 당업자들이 잘 이해할 것이므로, 본 명세서에서는, 본 명세서에 설명된 기본 원리들을 모호하게 하는 것을 피하기 위해 상세히 설명하지 않을 것이다.
그래픽 가속 모듈(446)을 일관성 버스(464)에 통신가능하게 연결하여 그래픽 가속 모듈(446)이 코어들의 피어로서 캐시 일관성 프로토콜에 참여할 수 있게 하는 프록시 회로(425)가 제공될 수 있다. 구체적으로, 인터페이스(435)는 고속 링크(440)(예컨대, PCIe 버스, NVLink 등)를 통해 프록시 회로(425)에 접속성을 제공하고 인터페이스(437)는 그래픽 가속 모듈(446)을 고속으로 링크(440)에 접속시킨다.
일 구현예에서, 가속기 통합 회로(436)는 그래픽 가속 모듈(446)의 복수의 그래픽 프로세싱 엔진(431, 432, N)을 대신하여 캐시 관리, 메모리 액세스, 컨텍스트 관리, 및 인터럽트 관리 서비스를 제공한다. 그래픽 프로세싱 엔진(431, 432, N)은 각각 별개의 그래픽 프로세싱 유닛(GPU)을 포함할 수 있다. 또는, 그래픽 처리 엔진(431, 432, N)은 그래픽 실행 유닛들, 미디어 처리 엔진(예컨대, 비디오 인코더/디코더), 샘플러 및 블릿 엔진과 같은 GPU 내의 상이한 타입들의 그래픽 처리 엔진을 포함할 수 있다. 즉, 그래픽 가속 모듈이 복수의 그래픽 프로세싱 엔진(431-432, N)을 갖는 GPU일 수도 있고, 또는 그래픽 프로세싱 엔진(431-432, N)이 공통 패키지, 라인 카드, 또는 칩 상에 통합된 개별 GPU일 수도 있다.
가속기 통합 회로(436)는 가상-물리(virtual-to-physical) 메모리 변환(유효-실제(effective-to-real) 메모리 변환이라고도 함) 및 시스템 메모리(441)에 액세스하기 위한 메모리 액세스 프로토콜과 같은 다양한 메모리 관리 기능을 수행하기 위한 MMU(memory management unit)(439)를 포함할 수 있다. MMU(439)는 또한 가상/유효-물리/실제 주소 변환을 캐싱하기 위한 변환 색인 버퍼(TLB)(도시되어 있지 않음)를 포함할 수도 있다. 일 구현예에서, 캐시(438)는 그래픽 프로세싱 엔진(431-432, N)에 의한 효율적인 액세스를 위해 커맨드 및 데이터를 저장한다. 캐시(438) 및 그래픽 메모리(433-434, M)에 저장된 데이터는 코어 캐시(462A-462D, 456) 및 시스템 메모리(411)와 일관성을 유지할 수 있다. 언급된 바와 같이, 이것은 캐시(438) 및 메모리(433-434, M)을 대신하여 캐시 일관성 메커니즘에 참여하는 프록시 회로(425)(예컨대, 프로세서 캐시(462A-462D, 456) 상의 캐시 라인의 수정/액세스에 관련된 업데이트를 캐시(438)에 전송하고 캐시(438)로부터 업데이트들을 수신함)를 통해 달성될 수 있다.
레지스터 세트(445)는 그래픽 프로세싱 엔진(431-432, N)에 의해 실행되는 스레드에 대한 컨텍스트 데이터를 저장하고, 컨텍스트 관리 회로(448)는 스레드 컨텍스트를 관리한다. 예를 들어, 컨텍스트 관리 회로(448)는 컨텍스트 스위칭 동안 다양한 스레드의 컨텍스트를 저장하고 복원하기 위해 저장 및 복원 동작을 수행할 수 있다(예컨대, 제1 스레드가 저장되고 제2 스레드가 저장되어 제2 스레드가 그래픽 프로세싱 엔진에 의해 실행될 수 있다). 예를 들어, 컨텍스트 스위치 시에, 컨텍스트 관리 회로(448)는 현재 레지스터 값을 (예컨대, 컨텍스트 포인터에 의해 식별된) 메모리 내의 지정된 영역에 저장할 수 있다. 그 후, 컨텍스트 관리 회로는 콘텍스트로 리턴할 때 레지스터 값을 복원할 수 있다. 인터럽트 관리 회로(447)는, 예를 들어, 시스템 장치로부터 수신된 인터럽트를 수신하고 프로세싱할 수 있다.
일 구현예에서, 그래픽 프로세싱 엔진(431)으로부터의 가상/유효 주소는 MMU(439)에 의해 시스템 메모리(411)의 실제/물리적 주소로 변환된다. 선택적으로, 가속기 통합 회로(436)는 다수의(예컨대, 4, 8, 16) 그래픽 가속기 모듈(446) 및/또는 다른 가속기 장치들을 지원한다. 그래픽 가속기 모듈(446)은 프로세서(407) 상에서 실행되는 단일 애플리케이션에 전용되거나 또는 다수의 애플리케이션들 사이에서 공유될 수 있다. 선택적으로, 그래픽 처리 엔진(431-432, N)의 리소스가 다수의 애플리케이션 또는 가상 머신(VM)과 공유되는 가상화된 그래픽 실행 환경이 제공된다. 리소스는 VM 및/또는 애플리케이션들과 연관된 프로세싱 요건 및 우선순위에 기초하여 상이한 VM 또는 애플리케이션에 할당되는 "슬라이스들"로 세분될 수 있다.
따라서, 가속기 통합 회로(436)는 그래픽 가속 모듈(446)용 시스템에 대한 브리지로서 동작하고 주소 변환 및 시스템 메모리 캐시 서비스를 제공한다. 일 실시예에서, 브리징 기능을 용이하게 하기 위해, 가속기 통합 회로(436)는 또한 전압, 클록킹, 성능, 열들 및 보안의 시스템 제어를 가능하게 하는 하드웨어 및 공유 I/O(497)(예컨대, PCIe, USB)를 포함할 수 있다. 공유 I/O(497)는 별개의 물리적 접속을 이용할 수도 있고 고속 링크(440)를 횡단할 수도 있다. 또한, 가속기 통합 회로(436)는 호스트 프로세서가 그래픽 처리 엔진의 가상화, 인터럽트 및 메모리 관리를 용이하게 관리하도록 가상화 설비를 제공할 수 있다.
그래픽 프로세싱 엔진(431-432, N)의 하드웨어 리소스는 호스트 프로세서(407)에 의해 보여지는 실제 주소 공간에 명시적으로 맵핑되기 때문에, 임의의 호스트 프로세서가 유효 주소 값을 사용하여 이들 리소스를 직접 어드레싱할 수 있다. 가속기 통합 회로(436)의 하나의 선택적인 기능은 그래픽 처리 엔진(431-432, N)의 물리적 분리이며, 따라서 이들은 독립적인 유닛으로서 시스템에 나타난다.
하나 이상의 그래픽 메모리(433-434, M)가 각각의 그래픽 프로세싱 엔진(431-432, N)에 제각기 연결될 수도 있다. 그래픽 메모리(433-434, M)는 각각의 그래픽 처리 엔진(431-432, N)에 의해 처리되는 명령어 및 데이터를 저장한다. 그래픽 메모리(433-434, M)는 (적층된 DRAM을 포함하는) DRAM, GDDR(예컨대, GDDR5, GDDR6), 또는 HBM과 같은 휘발성 메모리일 수도 있고/있거나 3D XPoint/Optane 또는 Nano-Ram 과 같은 비휘발성 메모리일 수도 있다.
고속 링크(440)를 통한 데이터 트래픽을 감소시키기 위해, 그래픽 메모리(433-434, M)에 저장된 데이터가 바람직하게는 코어(460A-460D)에 의해 사용되지 않고(적어도 빈번하게 사용되지는 않고) 그래픽 프로세싱 엔진(431-432, N)에 의해 가장 빈번하게 사용될 데이터임을 보장하기 위해 바이어싱 기술이 사용될 수 있다. 유사하게, 바이어싱 메커니즘은 코어(및 바람직하게는 그래픽 프로세싱 엔진(431-432, N)이 아님)에 의해 필요한 데이터를 코어의 캐시(462A-462D, 456) 및 시스템 메모리(411) 내에 유지하려고 시도한다.
도 4c에 도시된 변형예에 따르면, 가속기 집적 회로(436)는 프로세서(407) 내에 집적된다. 그래픽 처리 엔진(431-432, N)은 고속 링크(440)를 통해 인터페이스(437) 및 인터페이스(435)(다시, 임의의 형태의 버스 또는 인터페이스 프로토콜을 이용할 수 있음)를 거쳐 가속기 통합 회로(436)와 통신한다. 가속기 통합 회로(436)는 도 4b와 관련하여 설명한 것들과 동일한 동작들을 수행할 수 있지만, 잠재적으로 일관성 버스(464) 및 캐시(462A-462D, 456)에 아주 근접하면 더 높은 스루풋이 높아질 수 있다.
설명된 실시예들은 전용 프로세스 프로그래밍 모델(그래픽 가속 모듈 가상화 없음) 및 공유 프로그래밍 모델(가상화 있음)을 포함하는 상이한 프로그래밍 모델을 지원할 수 있다. 후자는 가속기 통합 회로(436)에 의해 제어되는 프로그래밍 모델 및 그래픽 가속 모듈(446)에 의해 제어되는 프로그래밍 모델을 포함할 수 있다.
전용 프로세스 모델의 실시예에서, 그래픽 프로세싱 엔진(431-432, N)은 단일 운영 시스템 하에서 단일 애플리케이션 또는 프로세스에 전용될 수 있다. 단일 애플리케이션은 다른 애플리케이션 요청을 그래픽 엔진(431-432, N)에 퍼널링(funnel)하여, VM/파티션 내 가상화를 제공할 수 있다.
전용 프로세스 프로그래밍 모델에서, 그래픽 프로세싱 엔진들(431-432, N)은 다수의 VM/애플리케이션 파티션에 의해 공유될 수 있다. 공유 모델은 시스템 하이퍼바이저에게 그래픽 처리 엔진(431-432, N)을 가상화하여 각각의 운영 시스템이 액세스할 수 있도록 요구한다. 하이퍼바이저가 없는 단일 파티션 시스템의 경우에는, 그래픽 처리 엔진(431-432, N)을 운영 시스템이 소유한다. 두 경우 모두, 운영 시스템은 그래픽 처리 엔진(431-432, N)을 가상화하여 각각의 프로세스 또는 애플리케이션에 대한 액세스를 제공할 수 있다.
공유된 프로그래밍 모델에 대해, 그래픽 가속 모듈(446) 또는 개별 그래픽 프로세싱 엔진(431-432, N)은 프로세스 핸들을 사용하여 프로세스 요소를 선택한다. 프로세스 요소는 시스템 메모리(411)에 저장될 수 있고, 본 명세서에 설명된 유효 주소 대 실제 주소 변환 기술들을 사용하여 주소 지정 가능할 수 있다. 프로세스 핸들은 자신의 컨텍스트를 그래픽 처리 엔진(431-432, N)에 등록할 때(즉, 프로세스 요소를 프로세스 요소 링크드 리스트에 추가하기 위해 시스템 소프트웨어를 호출할 때) 호스트 프로세스에 제공되는 구현 특정 값일 수 있다. 프로세스 핸들의 하위 16 비트는 프로세스 요소 링크드 리스트 내의 프로세스 요소의 오프셋일 수 있다.
도 4d는 예시적인 가속기 통합 슬라이스(490)를 도시한다. 본 명세서에서 사용되는 바와 같이, "슬라이스"는 가속기 통합 회로(436)의 프로세싱 리소스들의 특정 부분을 포함한다. 시스템 메모리(411) 내의 애플리케이션 유효 주소 공간(482)은 프로세스 요소(483)를 저장한다. 프로세스 요소(483)는 프로세서(407) 상에서 실행되는 애플리케이션(480)으로부터의 GPU 호출(481)에 응답하여 저장될 수 있다. 프로세스 요소(483)는 대응하는 애플리케이션(480)에 대한 프로세스 상태를 포함한다. 프로세스 요소(483)에 포함된 작업 기술자(WD)(484)는 애플리케이션에 의해 요청된 단일 잡(job)일 수도 있고 또는 잡의 큐에 대한 포인터를 포함할 수도 있다. 후자의 경우에, WD(484)는 애플리케이션의 주소 공간(482) 내 잡 요청 큐에 대한 포인터이다.
그래픽 가속 모듈(446) 및/또는 개별 그래픽 프로세싱 엔진(431-432, N)은 시스템 내 프로세스들의 전부 또는 서브세트에 의해 공유될 수 있다. 예를 들어, 본 명세서에 설명된 기술은 프로세스 상태를 설정하고 가상화된 환경에서 잡(job)을 시작하기 위해 WD(484)를 그래픽 가속 모듈(446)에 전송하기 위한 인프라스트럭처를 포함할 수 있다.
일 구현예에서, 전용 프로세스 프로그래밍 모델은 구현 특정적이다. 이 모델에서는, 단일 프로세스가 그래픽 가속 모듈(446) 또는 개별 그래픽 처리 엔진(431)을 소유한다. 그래픽 가속 모듈(446)이 단일 프로세스에 의해 소유되기 때문에, 그래픽 가속 모듈(446)의 할당 시에 하이퍼바이저는 소유 파티션에 대해 가속기 통합 회로(436)를 초기화하고, 운영 시스템은 소유 프로세스에 대해 가속기 통합 회로(436)를 초기화한다.
동작시에, 가속기 통합 슬라이스(490) 내의 WD 페치 유닛(491)은, 그래픽 가속 모듈(446)의 그래픽 프로세싱 엔진들 중 하나에 의해 행해질 작업의 표시를 포함하는 다음 WD(484)를 페치한다. WD(484)로부터의 데이터는 레지스터(445)에 저장될 수 있고, 도시된 바와 같이 MMU(439), 인터럽트 관리 회로(447) 및/또는 컨텍스트 관리 회로(448)에 의해 사용될 수 있다. 예를 들어, MMU(439)는 OS 가상 주소 공간(485) 내의 세그먼트/페이지 테이블들(486)에 액세스하기 위한 세그먼트/ 페이지 워크 회로를 포함할 수 있다. 인터럽트 관리 회로(447)는 그래픽 가속 모듈(446)로부터 수신된 인터럽트 이벤트(492)를 처리할 수 있다. 그래픽 동작을 수행할 때, 그래픽 프로세싱 엔진(431-432, N)에 의해 생성된 유효 주소(493)는 MMU(439)에 의해 실제 주소로 변환된다.
동일한 레지스터 세트(445)가 각각의 그래픽 프로세싱 엔진(431-432, N) 및/또는 그래픽 가속 모듈(446)에 대해 복제될 수 있고, 하이퍼바이저 또는 운영 시스템에 의해 초기화될 수 있다. 이들 복제된 레지스터들 각각은 가속기 통합 슬라이스(490)에 포함될 수 있다. 하이퍼바이저에 의해 초기화될 수도 있는 예시적인 레지스터들이 표 1에 도시되어 있다.
운영 시스템에 의해 초기화될 수 있는 예시적인 레지스터들이 표 2에 도시되어 있다.
각각의 WD(484)는 특정 그래픽 가속 모듈(446) 및/또는 그래픽 프로세싱 엔진(431-432, N)에 특유할 수 있다. WD는 그래픽 프로세싱 엔진(431-432, N)이 그 자신의 작업을 행하도록 요구하는 모든 정보를 포함하거나, 또는 WD는 애플리케이션이 완료되어야 할 작업의 커맨드 큐를 설정한 메모리 위치에 대한 포인터일 수 있다.도 4e는 공유 모델의 추가적인 선택적 세부사항들을 도시한다. 이 도면은 프로세스 요소 리스트(499)가 저장되는 하이퍼바이저 실제 주소 공간(498)을 포함한다. 하이퍼바이저 실제 주소 공간(498)은 운영 시스템(495)에 대해 그래픽 가속 모듈 엔진을 가상화하는 하이퍼바이저(496)를 통해 액세스 가능하다.
공유 프로그래밍 모델은 시스템 내의 파티션들의 전부 또는 서브세트로부터의 프로세스들의 전부 또는 서브세트가 그래픽 가속 모듈(446)을 사용하도록 허용한다. 그래픽 가속 모듈(446)이 다수의 프로세스 및 파티션에 의해 공유되는 2개의 프로그래밍 모델, 즉 시간 분할 공유 및 그래픽 지향 공유가 있다.
이 모델에서, 시스템 하이퍼바이저(496)는 그래픽 가속 모듈(446)을 소유하고 그 기능을 모든 운영 시스템(495)이 이용할 수 있게 한다. 그래픽 가속 모듈(446)이 시스템 하이퍼바이저(496)에 의한 가상화를 지원하기 위해, 그래픽 가속 모듈은 다음의 요건들을 준수할 수 있다. 1) 애플리케이션의 잡 요청이 자율적이어야 하거나(즉, 상태가 잡들 사이에서 유지될 필요가 없음), 또는 그래픽 가속 모듈(446)이 컨텍스트 저장 및 복원 메커니즘을 제공해야 한다. 2) 애플리케이션(application)의 잡 요청이, 임의의 변환 결함을 포함하여 지정된 시간 내에 완료되도록 그래픽 가속 모듈(446)에 의해 보장되거나, 또는 그래픽 가속 모듈(446)이 잡의 프로세싱을 선점할 수 있는 능력을 제공한다. 3) 그래픽 가속 모듈(446)은 지시된 공유 프로그래밍 모델에서 동작할 때 프로세스들 간의 공정성이 보장되어야 한다.
공유 모델의 경우, 애플리케이션(480)은 그래픽 가속 모듈(446) 타입, 작업 기술자(WD), 권한 마스크 레지스터(AMR) 값, 및 컨텍스트 저장/복원 영역 포인터(CSRP)를 갖는 운영 시스템(495)이 시스템 호출을 행하도록 요구될 수 있다. 그래픽 가속 모듈(446) 타입은 시스템 호출에 대한 목표 가속 함수를 기술한다. 그래픽 가속 모듈(446) 타입은 시스템 특정 값일 수도 있다. WD는 그래픽 가속 모듈(446)에 대해 구체적으로 포맷팅되고, 그래픽 가속 모듈(446) 커맨드, 사용자-정의 구조에 대한 유효 주소 포인터, 커맨드들의 큐(queue)에 대한 유효 주소 포인터, 또는 그래픽 가속 모듈(446)에 의해 행해질 작업을 기술하기 위한 임의의 다른 데이터 구조의 형태일 수 있다. 일 실시예에서, AMR 값은 현재 프로세스에 사용할 AMR 상태이다. 운영 시스템으로 전달되는 값은 AMR을 설정하는 애플리케이션과 유사하다. 가속기 통합 회로(436) 및 그래픽 가속 모듈(446) 구현예들이 UAMOR(User Authority Mask Override Register)를 지원하지 않는 경우, 운영 시스템은 하이퍼바이저 호출에서 AMR을 전달하기 전에 현재 UAMOR 값을 AMR 값에 적용할 수 있다. 하이퍼바이저(496)는 AMR을 프로세스 요소(483)에 배치하기 전에 현재 AMOR(Authority Mask Override Register) 값을 선택적으로 적용할 수 있다. CSRP는 그래픽 가속 모듈(446)이 컨텍스트 상태를 저장 및 복원하기 위해 애플리케이션의 주소 공간(482) 내의 영역의 유효 주소를 포함하는 레지스터들(445) 중 하나일 수 있다. 이 포인터는, 어떤 상태도 작업들 사이에 저장될 필요가 없거나 작업이 선점되는 경우에 선택적이다. 컨텍스트 저장/복원 영역은 고정 시스템 메모리일 수 있다.
시스템 호출 시, 운영 시스템(495)은 애플리케이션(480)이 그래픽 가속 모듈(446)을 사용할 권한을 등록하고 부여받았는지 검증할 수 있다. 이어서, 운영 시스템(495)은 표 3에 도시된 정보로 하이퍼바이저(496)를 호출한다.
하이퍼바이저 호출을 수신하면, 하이퍼바이저(496)는 운영 시스템(495)이 그래픽 가속 모듈(446)을 사용할 권한을 등록하고 부여받았는지 검증한다. 그 다음에, 하이퍼바이저(496)는 프로세스 요소(483)를 대응하는 그래픽 가속 모듈(446) 타입에 대한 프로세스 요소 링크드 리스트에 넣는다. 프로세스 요소는 표 4에 도시된 정보를 포함할 수 있다.
하이퍼바이저는 복수의 가속기 통합 슬라이스(490) 레지스터들(445)을 초기화할 수 있다.도 4f에 도시된 바와 같이, 하나의 선택적인 구현예에서, 물리적 프로세서 메모리(401 내지 402) 및 GPU 메모리(420 내지 423)에 액세스하는데 사용되는 공통 가상 메모리 주소 공간을 통해 어드레스블 통합 메모리가 채용된다. 이 구현예에서, GPU(410-413)에서 실행되는 동작들은 프로세서 메모리(401-402)에 액세스하기 위해 동일한 가상/유효 메모리 주소 공간을 활용하고, 그 역도 마찬가지이며, 이에 의해 프로그래밍을 단순화할 수 있다. 가상/유효 주소 공간의 제1 부분은 프로세서 메모리(401)에 할당되고, 제2 부분은 제2 프로세서 메모리(402)에 할당되며, 제 3 부분은 GPU 메모리(420)에 할당되거나 할 수 있다. 따라서 전체 가상/유효 메모리 공간(때론 유효 주소 공간이라고도 함)이 프로세서 메모리(401 내지 402) 및 GPU 메모리(420 내지 423) 각각에 걸쳐 분산될 수도 있어, 임의의 프로세서 또는 GPU가 그 메모리에 맵핑된 가상 주소를 갖는 임의의 물리적 메모리에 액세스할 수 있다.
MMU(439A-439E) 중 하나 이상의 MMU 내에, 호스트 프로세서(예컨대, 405)의 캐시와 GPU(410-413) 사이의 캐시 일관성을 보장하고, 특정 타입의 데이터가 저장되어야 하는 물리적 메모리를 표시하는 바이어싱 기술을 구현하는 바이어스/일관성 관리 회로(494A-494E)가 제공될 수 있다. 바이어스/일관성 관리 회로(494A-494E)의 다수의 인스턴스가 도 4f에 예시되지만, 바이어스/일관성 회로는 하나 이상의 호스트 프로세서(405)의 MMU 및/또는 가속기 통합 회로(436) 내에 구현될 수 있다.
GPU 첨부 메모리(420-423)는 시스템 메모리의 일부로서 맵핑되고, 공유 가상 메모리(SVM) 기술을 사용하여 액세스될 수 있지만, 풀 시스템 캐시 일관성과 연관된 전형적인 성능 단점을 겪지 않는다. 번거로운 캐시 일관성 오버헤드 없이 시스템 메모리로서 액세스될 수 있는 GPU-부착 메모리(420-423)에 대한 능력은 GPU 오프로드를 위한 유익한 동작 환경을 제공한다. 이 구성은 호스트 프로세서(405) 소프트웨어가 전통 I/O DMA 데이터 카피의 오버헤드 없이 피연산자를 설정하고 계산 결과에 액세스하는 것을 허용한다. 이러한 전통적인 카피는 드라이버 호출, 인터럽트, 및 메모리 매핑된 I/O(MMIO) 액세스를 포함하며, 이들은 모두 단순한 메모리 액세스에 비해 비효율적이다. 동시에, 캐시 일관성 오버헤드 없이 GPU 첨부 메모리(420-423)에 액세스하는 기능은 오프로딩 계산의 실행 시간에 중요할 수 있다. 예를 들어, 상당한 스트리밍 기록 메모리 트래픽을 갖는 경우, 캐시 일관성 오버헤드는 GPU(410-413)에 의해 보여지는 유효 기록 대역폭을 상당히 감소시킬 수 있다. 피연산자 셋업의 효율, 결과 액세스의 효율 및 GPU 계산의 효율은 모두 GPU 오프로드의 유효성을 결정하는 데 역할을 한다.
GPU 바이어스와 호스트 프로세서 바이어스 사이의 선택은 바이어스 트랙커 데이터 구조에 의해 구동될 수 있다. 예를 들어, GPU-첨부 메모리 페이지 당 1 또는 2 비트를 포함하는 페이지 입도 구조(page-granular structure)(즉, 메모리 페이지의 입도로 제어됨)일 수 있는 바이어스 테이블이 사용될 수 있다. 바이어스 테이블은(예컨대, 바이어스 테이블의 자주/최근에 사용된 엔트리를 캐싱하기 위해) GPU(410-413) 에서 바이어스 캐시를 갖거나 갖지 않는 하나 이상의 GPU-부착 메모리(420-423)의 도난 메모리 범위에서 구현될 수 있다. 또는, 전체 바이어스 테이블은 GPU 내에서 유지될 수 있다.
일 구현예에서, GPU-부착 메모리(420-423)에 대한 각각의 액세스와 연관된 바이어스 테이블 엔트리는 GPU 메모리에 대한 실제 액세스 이전에 액세스되어, 다음 동작이 일어난다. 먼저, GPU 바이어스에서 자신의 페이지를 찾는 GPU(410-413)로부터의 로컬 요청이 대응하는 GPU 메모리(420-423)로 직접 포워딩된다. 호스트 바이어스에서 자신의 페이지를 찾는 GPU로부터의 로컬 요청이 (예컨대, 위에서 논의된 고속 링크를 통해) 프로세서(405)로 포워딩된다. 선택적으로, 호스트 프로세서 바이어스에서 요청된 페이지를 찾는 프로세서(405)로부터의 요청이 정상 메모리 판독과 같은 요청을 완료한다. 또는, GPU-바이어싱된 페이지로 지향된 요청들은 GPU(410-413)로 포워딩될 수 있다. GPU는, 그 후에, 페이지를 현재 사용하고 있지 않으면, 그 페이지를 호스트 프로세서 바이어스로 이동시킬 수 있다.
페이지의 바이어스 상태는 소프트웨어 기반 메커니즘, 하드웨어 보조 소프트웨어 기반 메커니즘에 의해, 또는 제한된 일부 경우에서는 순수 하드웨어 기반 메커니즘에 의해 변경될 수 있다.
바이어스 상태를 변경하기 위한 하나의 메커니즘은 API 호출(예컨대, OpenCL)을 이용하는데, 이는 다시 GPU의 장치 드라이버를 호출하고, 장치 드라이버는 바이어스 상태를 변경하도록 지시하는 메시지를 GPU에 전송하며(또는 커맨드 디스크립터를 인큐잉하고), 일부 변형에서는, 호스트에서 캐시 플러싱 동작을 수행한다. 캐시 플러싱 동작은 호스트 프로세서(405) 바이어스로부터 GPU 바이어스로의 전환에 필요하지만, 반대의 전환에는 필요하지 않다.
캐시 일관성은 GPU-바이어싱된 페이지를 호스트 프로세서(405)에 의해 캐시 불가능하게 일시적으로 렌더링함으로써 유지될 수 있다. 이들 페이지에 액세스하기 위해, 프로세서(405)는 구현에 따라 액세스를 바로 허가할 수도 있고 허가하지 않을 수도 있는 GPU(410)로부터의 액세스를 요청할 수 있다. 따라서, 호스트 프로세서(405)와 GPU(410) 사이의 통신을 감소시키기 위해, GPU-바이어싱된 페이지가 호스트 프로세서(405)가 아니라 GPU에 의해 요구되는 페이지이도록 보장하는 것이 유익하며 그 반대의 경우도 마찬가지다.
그래픽 프로세싱 파이프라인
도 5는 그래픽 프로세싱 파이프라인(500)을 도시한다. 도 2d에서와 같은 그래픽 멀티프로세서(234), 도 3a의 그래픽 멀티프로세서(325), 및 도 3b의 그래픽 멀티프로세서(350)와 같은 그래픽 멀티프로세서가 도시된 그래픽 처리 파이프라인(500)을 구현할 수 있다. 그래픽 멀티프로세서는 도 1의 병렬 프로세서(들)(112)와 관련될 수 있고 이들 중 하나 대신에 사용될 수 있는 도 2a의 병렬 프로세서(200)와 같은 본 명세서에 기술된 바와 같은 병렬 프로세싱 서브시스템 내에 포함될 수 있다. 다양한 병렬 프로세싱 시스템은 본 명세서에 설명된 바와 같이 병렬 프로세싱 유닛(예컨대, 도 2a의 병렬 프로세싱 유닛(202))의 하나 이상의 인스턴스를 통해 그래픽 프로세싱 파이프라인(500)을 구현할 수 있다. 예를 들어, 셰이더 유닛(예컨대, 도 2c의 그래픽 멀티프로세서(234))은 정점 프로세싱 유닛(504), 테셀레이션 제어 프로세싱 유닛(508), 테슬레이션 평가 프로세싱 유닛(512), 기하 프로세싱 유닛(516), 및 프래그먼트/픽셀 프로세싱 유닛(524) 중 하나 이상의 기능들을 수행하도록 구성될 수 있다. 데이터 어셈블러(502), 프리미티브 어셈블러(506, 514, 518), 테셀레이션 유닛(510), 래스터라이저(522), 및 래스터 연산 유닛(526)의 기능은 또한 프로세싱 클러스터(예컨대, 도 2a의 프로세싱 클러스터(214)) 및 대응하는 파티션 유닛(도 2a의 파티션 유닛(220A-220N)) 내의 다른 프로세싱 엔진들에 의해 수행될 수도 있다. 그래픽 프로세싱 파이프라인(500)은 또한 하나 이상의 기능을 위한 전용 프로세싱 유닛을 이용하여 구현될 수도 있다. 그래픽 프로세싱 파이프라인(500)의 하나 이상의 부분이 범용 프로세서(예컨대, CPU) 내의 병렬 프로세싱 로직에 의해 수행되는 것이 또한 가능하다. 선택적으로, 그래픽 프로세싱 파이프라인(500)의 하나 이상의 부분은 도 2a의 메모리 인터페이스(218)의 인스턴스일 수 있는 메모리 인터페이스(528)를 통해 온-칩 메모리(예컨대, 도 2a의 병렬 프로세서 메모리(222))에 액세스할 수 있다. 그래픽 프로세서 파이프라인(500)은 또한 도 3c에서와 같이 멀티-코어 그룹(365A)을 통해 구현될 수 있다.
데이터 어셈블러(502)는 서피스 및 프리미티브에 대한 정점 데이터를 수집할 수 있는 프로세싱 유닛이다. 데이터 어셈블러(502)는 정점 속성을 포함하는 정점 데이터를 정점 프로세싱 유닛(504)에 출력한다. 정점 처리 유닛(504)은 정점 셰이더 프로그램에 의해 지정된 정점 데이터를 조명 및 변환하는 정점 셰이더 프로그램을 실행하는 프로그램 가능한 실행 유닛이다. 정점 프로세싱 유닛(504)은, 정점 데이터를 프로세싱하는데 사용하기 위해 캐시, 로컬 또는 시스템 메모리에 저장되고, 정점 데이터를 객체 기반 좌표 표현으로부터 세계 공간 좌표 공간 또는 정규화된 장치 좌표 공간으로 변환하도록 프로그래밍될 수 있는 데이터를 판독한다.
프리미티브 어셈블러(506)의 제1 인스턴스는 정점 프로세싱 유닛(504)으로부터 정점 속성을 수신한다. 프리미티브 어셈블러(506)는 필요에 따라 저장된 정점 속성을 판독하고 테셀레이션 제어 프로세싱 유닛(508)에 의한 프로세싱을 위해 그래픽스 프리미티브를 구성한다. 그래픽 프리미티브는 다양한 그래픽 프로세싱 애플리케이션 프로그래밍 인터페이스(API)에 의해 지원되는 삼각형, 라인 세그먼트, 포인트, 패치 등을 포함한다.
테셀레이션 제어 프로세싱 유닛(508)은 입력 정점들을 기하학적 패치에 대한 제어 포인트로서 처리한다. 제어 포인트는 패치(예컨대, 패치의 베이스)로부터의 입력 표현으로부터 테셀레이션 평가 프로세싱 유닛(512)에 의한 표면 평가에서 사용하기에 적합한 표현으로 변환된다. 테셀레이션 제어 프로세싱 유닛(508)은 또한 기하학적 패치의 에지에 대한 테슬레이션 팩터를 계산할 수 있다. 테셀레이션 팩터는 단일 에지에 적용되고, 에지와 연관된 상세의 뷰-의존 레벨(view-dependent level)을 정량화한다. 테셀레이션 유닛(510)은 패치의 에지들에 대한 테슬레이션 인자를 수신하고 패치를 라인, 삼각형, 또는 사변형 프리미티브와 같은 다수의 기하학적 프리미티브로 테셀레이팅하도록 구성되며, 이들 프리미티브는 테셀레이션 평가 프로세싱 유닛(512)으로 전송된다. 테셀레이션 평가 프로세싱 유닛(512)은 세분된 패치의 파라미터화된 좌표들에 대해 동작하여 기하학적 프리미티브와 연관된 각각의 정점에 대한 정점 속성 및 표면 표현을 생성한다.
프리미티브 어셈블러(514)의 제2 인스턴스는 테셀레이션 평가 프로세싱 유닛(512)으로부터 정점 속성을 수신하고, 필요에 따라 저장된 정점 속성들을 판독하며, 기하 프로세싱 유닛(516)에 의한 프로세싱을 위해 그래픽 프리미티브를 구성한다. 기하 프로세싱 유닛(516)은 기하 셰이더 프로그램에 의해 지정된 바와 같이 프리미티브 어셈블러(514)로부터 수신된 그래픽스 프리미티브를 변환하기 위해 기하 셰이더 프로그램을 실행하는 프로그래밍가능 실행 유닛이다. 기하 프로세싱 유닛(516)은 그래픽 프리미티브를 하나 이상의 새로운 그래픽 프리미티브로 세분하고, 새로운 그래픽 프리미티브를 래스터화하기 위해 사용된 파라미터들을 계산하도록 프로그래밍될 수 있다.
기하 프로세싱 유닛(516)은 기하 스트림에서 요소들을 추가 또는 삭제할 수 있다. 기하 프로세싱 유닛(516)은 새로운 그래픽 프리미티브를 특정하는 파라미터 및 정점을 프리미티브 어셈블러(518)에 출력한다. 프리미티브 어셈블러(518)는 기하 프로세싱 유닛(516)으로부터 파라미터 및 정점을 수신하고 뷰포트 스케일, 컬, 및 클립 유닛(520)에 의한 프로세싱을 위해 그래픽 프리미티브를 구성한다. 기하 프로세싱 유닛(516)은 기하 데이터를 프로세싱하는데 사용하기 위해 병렬 프로세서 메모리 또는 시스템 메모리에 저장된 데이터를 판독한다. 뷰포트 스케일, 컬, 및 클립 유닛(520)은 클립핑, 컬링, 및 뷰포트 스케일링을 수행하고, 프로세싱된 그래픽 프리미티브를 래스터라이저(522)로 출력한다.
래스터라이저(522)는 깊이 컬링 및 다른 깊이 기반 최적화를 수행할 수 있다. 래스터라이저(522)는 또한 새로운 그래픽 프리미티브에 대해 스캔 변환을 수행하여 프래그먼트를 생성하고 이들 프래그먼트 및 관련 커버리지 데이터를 프래그먼트/픽셀 프로세싱 유닛(524)에 출력한다. 프래그먼트/픽셀 프로세싱 유닛(524)은 프래그먼트 셰이더 프로그램 또는 픽셀 셰이더 프로그램을 실행하도록 구성되는 프로그래밍가능 실행 유닛이다. 프래그먼트/픽셀 프로세싱 유닛(524)은, 프래그먼트 또는 픽셀 셰이더 프로그램에 의해 특정된 바와 같이, 래스터라이저(522)로부터 수신된 프래그먼트 또는 픽셀을 변환한다. 예를 들어, 프래그먼트/픽셀 프로세싱 유닛(524)은 래스터 동작 유닛(526)에 출력되는 셰이딩된 프래그먼트 또는 픽셀들을 생성하기 위해 텍스처 맵핑, 셰이딩, 블렌딩, 텍스처 정정 및 원근 보정을 포함하지만 이에 제한되지 않는 동작들을 수행하도록 프로그래밍될 수 있다. 프래그먼트/픽셀 프로세싱 유닛(524)은 프래그먼트 데이터를 프로세싱할 때 사용하기 위해 병렬 프로세서 메모리 또는 시스템 메모리에 저장되는 데이터를 판독할 수 있다. 프래그먼트 또는 픽셀 셰이더 프로그램들은 프로세싱 유닛에 대해 구성된 샘플링 레이트에 따라 샘플, 픽셀, 타일, 또는 다른 입도들에서 쉐이딩하도록 구성될 수 있다.
래스터 연산 유닛(526)은, 스텐실, z-테스트, 블렌딩 등을 포함하지만 이에 제한되지 않는 래스터 연산을 수행하고, 픽셀 데이터를, 하나 이상의 디스플레이 장치(들)(110) 상에 디스플레이되도록 또는 하나 이상의 프로세서(들)(102) 또는 병렬 프로세서(들)(112) 중 하나에 의한 추가적인 프로세싱을 위해, 그래픽 메모리(예컨대, 도 2a의 병렬 프로세서 메모리(222), 및/또는 도 1의 시스템 메모리(104))에 저장될 프로세싱된 그래픽 데이터로서 출력하는 프로세싱 유닛이다. 래스터 연산 유닛(526)은 메모리에 기록되는 z 또는 컬러 데이터를 압축하고 메모리로부터 판독되는 z 또는 색 데이터를 압축해제하도록 구성될 수도 있다.
머신 학습 개요
전술한 아키텍처는 머신 학습 모델을 사용하여 훈련 및 추론 동작을 수행하도록 적용될 수 있다. 기계 학습은 많은 종류의 작업을 해결하는데 성공적이었다. 머신 학습 알고리즘(예컨대, 신경망)을 훈련하고 사용할 때 발생하는 계산은 본래 효율적인 병렬 구현에 적합하다. 따라서, 범용 그래픽 프로세싱 유닛(general-purpose graphic processing unit; GPGPU)과 같은 병렬 프로세서는 심층 신경망의 실제 구현에서 중요한 역할을 한다. 단일 명령어, 다중 스레드(SIMT) 아키텍처를 갖는 병렬 그래픽 프로세서는 그래픽 파이프라인에서의 병렬 처리의 양을 최대화하도록 설계된다. SIMT 아키텍처에서, 병렬 스레드들의 그룹은 처리 효율을 높이기 위해 가능한 한 자주 프로그램 명령어들을 동기적으로 함께 실행하려고 시도한다. 병렬 머신 학습 알고리즘 구현에 의해 제공되는 효율은 고용량 네트워크의 사용을 허용하고, 이들 네트워크가 더 큰 데이터세트에 대해 훈련될 수 있게 한다.
머신 학습 알고리즘은 데이터 세트에 기초하여 학습할 수 있는 알고리즘이다. 예를 들어, 머신 학습 알고리즘은 데이터 세트 내에서 높은 수준의 추상화를 모델링하도록 설계될 수 있다. 예를 들어, 이미지 인식 알고리즘은 주어진 입력이 여러 카테고리 중 어느 카테고리에 속하는 지 판단하기 위해 사용될 수 있고, 회귀 알고리즘은 입력이 주어지면 숫자 값을 출력할 수 있으며, 패턴 인식 알고리즘은 번역된 텍스트를 생성하거나 텍스트에서 음성으로 그리고/또는 음성 인식을 수행하는 데 사용될 수 있다.
머신 학습 알고리즘의 대표적인 타입은 신경망이다. 신경망에는 여러 타입이 있는데, 간단한 타입의 신경망은 피드 포워드 네트워크이다. 피드포워드 네트워크는 노드들이 레이어로 배열된 비순환 그래프로 구현될 수 있다. 일반적으로, 피드포워드(feedforward) 네트워크 토폴로지는 적어도 하나의 은닉 레이어에 의해 분리되는 입력 레이어 및 출력 레이어를 포함한다. 히든 레이어는 입력 레이어에 의해 수신된 입력을 출력 레이어에서 출력을 생성하는 데 유용한 표현으로 변환한다. 네트워크 노드는 에지를 통해 인접 레이어의 노드에 완전 연결되지만, 각 레이어 내의 노드들 사이에는 에지가 없다. 피드포워드 네트워크의 입력 레이어의 노드에서 수신된 데이터는, 레이어들을 연결하는 각 모서리와 제각기 연관된 계수("가중치")에 기초하여 네트워크 내 각 연속 레이어의 노드 상태를 계산하는 활성화 함수를 통해 출력 레이어의 노드로 전파된다(즉, "피드 포워드"된다). 실행중인 알고리즘이 나타내는 특정 모델에 따라 신경망 알고리즘의 출력은 다양한 형태를 취할 수 있다.
머신 학습 알고리즘을 사용하여 특정 문제를 모델링할 수 있기 전에, 훈련 데이터 세트를 사용하여 알고리즘이 훈련된다. 신경망 훈련은 네트워크 토폴로지를 선택하는 것, 네트워크에 의해 모델링되는 문제를 나타내는 훈련 데이터 세트를 사용하는 것, 훈련 데이터 세트의 모든 인스턴스에 대해 네트워크 모델이 최소한의 오류로 수행될 때까지 가중치를 조정하는 것을 포함한다. 예를 들어, 신경망에 대한 지도 학습 훈련 프로세스 동안, 훈련 데이터 세트의 인스턴스를 나타내는 입력에 응답하여 네트워크에서 생성된 출력은 해당 인스턴스에 대한 "타당(correct)"으로 라벨링된 출력과 비교되며, 출력과 라벨링된 출력 사이의 차가 계산되고, 오류 신호가 네트워크 레이어를 통해 역 전파될 때 오류를 최소화하도록 접속과 연관된 가중치가 조정된다. 훈련 데이터 세트의 인스턴스로부터 생성된 출력들 각각에 대한 오류가 최소화될 경우에 네트워크는 "훈련된" 것으로 간주된다.
머신 학습 알고리즘의 정확도는 알고리즘 훈련에 사용되는 데이터 세트의 품질에 의해 크게 영향을 받을 수 있다. 훈련 프로세스는 계산 집약적일 수 있으며 기존의 범용 프로세서에서 상당한 시간을 필요로 할 수 있다. 따라서, 병렬 처리 하드웨어가 많은 타입의 머신 학습 알고리즘을 훈련하는 데 사용된다. 신경망의 계수를 조정하는 데 수행되는 계산이 자연스럽게 병렬 구현에 도움이 되기 때문에, 이것은 신경망의 훈련을 최적화하는 데 특히 유용하다. 특히, 많은 머신 학습 알고리즘 및 소프트웨어 애플리케이션은 범용 그래픽 처리 장치 내에서 병렬 처리 하드웨어를 이용하도록 구성되었다.
도 6은 머신 학습 소프트웨어 스택(600)의 일반화된 다이어그램이다. 머신 학습 애플리케이션(602)은 훈련 데이터 세트를 사용하여 신경망을 훈련시키거나 또는 훈련된 심층 신경망을 사용하여 머신 지능을 구현하도록 구성될 수 있다. 머신 학습 애플리케이션(602)은 배치 전에 신경망을 훈련시키는 데 사용될 수 있는 특수 소프트웨어 및/또는 신경망에 대한 훈련 및 추론 기능을 포함할 수 있다. 머신 학습 애플리케이션(602)은 이미지 인식, 매핑 및 로컬라이제이션, 자율 내비게이션, 음성 합성, 의료 영상 또는 언어 번역을 포함하지만 이에 제한되지 않는 임의의 타입의 머신 지능을 구현할 수 있다.
머신 학습 애플리케이션(602)에 대한 하드웨어 가속은 머신 학습 프레임워크(604)를 통해 활성화될 수 있다. 머신 학습 프레임워크(604)는 머신 학습 프리미티브의 라이브러리를 제공할 수 있다. 머신 학습 프리미티브는 머신 학습 알고리즘에 의해 일반적으로 수행되는 기본 동작이다. 머신 학습 프레임워크(604)가 없으면, 머신 학습 알고리즘 개발자는 머신 학습 알고리즘과 연관된 주요 계산 로직을 생성하고 최적화해야 하고, 그 후 새로운 병렬 프로세서가 개발되면 계산 로직을 다시 최적화해야 한다. 대신에, 머신 학습 애플리케이션은 머신 학습 프레임워크(604)에 의해 제공되는 프리미티브를 사용하여 필요한 계산을 수행하도록 구성될 수 있다. 예시적인 프리미티브는 텐서 컨볼루션, 활성화 함수 및 풀링을 포함하며, 이들은 컨볼루션 신경망(CNN)을 훈련하는 동안 수행되는 컴퓨팅 동작이다. 머신 학습 프레임워크(604)는 또한 매트릭스 및 벡터 연산과 같은 많은 머신 학습 알고리즘에 의해 수행되는 기본 선형 대수 서브프로그램을 구현하기 위한 프리미티브를 제공할 수 있다.
머신 학습 프레임워크(604)는, 머신 학습 애플리케이션(602)으로부터 수신된 입력 데이터를 처리하고 컴퓨팅 프레임워크(606)에 대한 적절한 입력을 생성할 수 있다. 컴퓨팅 프레임워크(606)는 GPGPU 드라이버(608)에 제공된 기본 명령어를 추상화하여, 머신 학습 프레임워크(604)가 GPGPU 하드웨어(610)의 아키텍처에 대해 상세하게 알 필요없이, 머신 학습 프레임워크(604)가 GPGPU 하드웨어(610)를 통해 하드웨어 가속을 이용할 수 있게 한다. 또한, 컴퓨팅 프레임워크(606)는 다양한 타입 및 세대의 GPGPU 하드웨어(610)에 걸쳐 머신 학습 프레임워크(604)에 대한 하드웨어 가속을 가능하게 할 수 있다.
GPGPU 머신 학습 가속
도 7은 도 2a의 병렬 프로세서(200) 또는 도 1의 병렬 프로세서(들)(112)일 수 있는 범용 그래픽 처리 유닛(700)을 도시한다. 범용 프로세싱 유닛(general-purpose processing unit; GPGPU)(700)은 심층 신경망을 훈련하는 것과 연관된 계산 워크로드의 타입을 프로세싱하는데 특히 효율적이도록 구성될 수 있다. 또한, GPGPU(700)는 GPGPU의 다른 인스턴스에 직접 연결되어 멀티-GPU 클러스터를 생성하여 특히 심층 신경망에 대한 훈련 속도를 향상시킬 수 있다.
GPGPU(700)는 호스트 프로세서와의 연결을 가능하게 하는 호스트 인터페이스(702)를 포함한다. 호스트 인터페이스(702)는 PCI 익스프레스 인터페이스일 수 있다. 그러나, 호스트 인터페이스는 공급 업체별 통신 인터페이스 또는 통신 패브릭일 수도 있다. GPGPU(700)는 호스트 프로세서로부터 커맨드를 수신하고 글로벌 스케줄러(704)를 사용하여 이들 커맨드와 연관된 실행 스레드를 프로세싱 클러스터 세트(706A-706H)에 분배한다. 프로세싱 클러스터(706A-706H)는 캐시 메모리(708)를 공유한다. 캐시 메모리(708)는 프로세싱 클러스터(706A-706H) 내의 캐시 메모리에 대한 상위-레벨 캐시로서 기능할 수 있다. 도시된 프로세싱 클러스터(706A 내지 706H)는 도 2a의 프로세싱 클러스터(214A 내지 214N)에 대응할 수 있다.
GPGPU(700)는 메모리 제어기(712A-712B) 세트를 통해 프로세싱 클러스터(706A-706H)와 결합된 메모리(714A-714B)를 포함한다. 메모리(714A-714B)는 동적 랜덤 액세스 메모리(DRAM) 또는그래픽 더블 데이터 레이트(graphics double data rate)(GDDR) 메모리를 포함한 동기식 그래픽 랜덤 액세스 메모리(SGRAM)와 같은 그래픽 랜덤 액세스 메모리를 포함하는 다양한 타입의 메모리 장치를 포함할 수 있다. 메모리(714A-714B)는 또한 고 대역폭 메모리(HBM)를 포함하지만 이에 제한되지 않는 3D 적층 메모리를 포함할 수 있다.
프로세싱 클러스터들(706A-706H) 각각은, 도 2d의 그래픽 멀티프로세서(234), 도 3a의 그래픽 멀티프로세서(325), 또는 도 3b의 그래픽 멀티프로세서(350)와 같은 그래픽 멀티프로세서 세트를 포함할 수도 있고, 또는 도 3c에서와 같이 멀티-코어 그룹(365A-365N)을 포함할 수 있다. 컴퓨팅 클러스터의 그래픽 멀티프로세서는 머신 학습 계산들에 적합한 정밀도의 범위에서 컴퓨팅 동작을 수행할 수 있는 다수 타입의 정수 및 부동 소수점 로직 유닛을 포함한다. 예를 들어, 프로세싱 클러스터들(706A-706H) 각각의 부동 소수점 유닛의 적어도 한 서브세트는 16비트 또는 32비트 부동 소수점 연산을 수행하도록 구성될 수 있는 반면, 부동 소수점 유닛의 다른 서브세트는 64비트 부동 소수점 연산을 수행하도록 구성될 수 있다.
GPGPU(700)의 복수의 인스턴스는 컴퓨팅 클러스터로 작동하도록 구성될 수 있다. 동기화 및 데이터 교환을 위해 컴퓨팅 클러스터에 의해 사용되는 통신 메커니즘은 실시예에 따라 바뀐다. 예를 들어, GPGPU(700)의 복수의 인스턴스는 호스트 인터페이스(702)를 통해 통신한다. 일 실시예에서 GPGPU(700)는 GPGPU(700)를, GPGPU의 다른 인스턴스에 대한 직접 접속을 가능하게 하는 GPU 링크(710)에 결합하는 I/O 허브(709)를 포함한다. GPU 링크(710)는 GPGPU(700)의 복수의 인스턴스들 사이의 통신 및 동기화를 가능하게 하는 전용 GPU-GPU 브리지에 결합될 수 있다. 선택적으로, GPU 링크(710)는 다른 GPGPU 또는 병렬 프로세서에 데이터를 송신 및 수신하기 위한 고속 상호접속부에 결합된다. GPGPU(700)의 복수의 인스턴스는 별도의 데이터 프로세싱 시스템에 위치하며, 호스트 인터페이스(702)를 통해 액세스할 수 있는 네트워크 장치를 통해 통신한다. GPU 링크(710)는 호스트 인터페이스(702)에 더하여 또는 그 대신으로 호스트 프로세서에 대한 접속을 가능하게 하도록 구성될 수 있다.
GPGPU(700)의 도시된 구성은 신경망을 훈련시키도록 구성될 수 있지만, GPGPU(700)의 다른 구성은 고성능 또는 저전력 추론 플랫폼 내에서 배치되도록 구성될 수 있다. 추론 구성에서, GPGPU(700)는 트레이닝 구성에 비해 더 적은 수의 프로세싱 클러스터(706A-706H)를 포함한다. 부가적으로, 메모리(714A-714B)와 연관된 메모리 기술은 추론 구성과 훈련 구성 사이에 다를 수 수 있다. 일 실시예에서, GPGPU(700)의 추론 구성은 추론 특정 명령어를 지원할 수 있다. 예를 들어, 추론 구성은 배치된 신경망에 대한 추론 동작 중에 일반적으로 사용되는 하나 이상의 8비트 정수 내적 명령어에 대한 지원을 제공할 수 있다.
도 8은 멀티-GPU 컴퓨팅 시스템(800)을 도시한다. 멀티-GPU 컴퓨팅 시스템(800)은 호스트 인터페이스 스위치(804)를 통해 다수의 GPGPU(806A-806D)에 연결된 프로세서(802)를 포함할 수 있다. 호스트 인터페이스 스위치(804)는 PCI 익스프레스 버스(express bus)(이를 통해 프로세서(802)가 GPGPU(806A-806D)의 세트와 통신할 수 있음)에 프로세서(802)를 연결하는 PCI 익스프레스 스위치 장치일 수 있다. 다수의 GPGPU들(806A-806D) 각각은 도 7의 GPGPU(700)의 인스턴스일 수 있다. GPGPU들(806A-806D)은 고속 포인트 투 포인트 GPU-GPU 링크(816)의 세트를 통해 상호연결될 수 있다. 고속 GPU-GPU 링크는 도 7의 GPU 링크(710)와 같은 전용 GPU 링크를 통해 GPGPU들(806A-806D) 각각에 접속될 수 있다. P2P GPU 링크(816)은 프로세서(802)가 접속되는 호스트 인터페이스 버스를 통한 통신을 요구하지 않으면서 GPGPU들(806A-806D) 각각 사이의 직접 통신을 가능하게 한다. GPU-GPU 트래픽이 P2P GPU 링크들로 지향되면, 호스트 인터페이스 버스는 시스템 메모리 액세스를 위해 또는 예를 들어 하나 이상의 네트워크 장치를 통해 멀티-GPU 컴퓨팅 시스템(800)의 다른 인스턴스들과 통신하도록 이용가능하게 유지된다. 도 8에서 GPGPU들(806A-806D)은 호스트 인터페이스 스위치(804)를 통해 프로세서(802)에 접속하지만, 프로세서(802)는 이와 달리 P2P GPU 링크(816)에 대한 직접 지원을 포함할 수도 있고, GPGPU(806A-806D)에 직접 접속될 수도 있다.
머신 학습 신경망 구현
본 명세서에 설명된 실시예에 의해 제공되는 컴퓨팅 아키텍처는 머신 학습을 위한 신경망을 훈련하고 배치하는 데 특히 적합한 타입의 병렬 처리를 수행하도록 구성될 수 있다. 신경망은 그래프 관계를 갖는 함수의 네트워크로 일반화될 수 있다. 당 업계에 잘 알려진 바와 같이, 머신 학습에 사용되는 다양한 타입의 신경망 구현이 있다. 한 가지 예시적인 타입의 신경망은 전술한 바와 같이 피드포워드 네트워크이다.
두 번째 예시적인 타입의 신경망은 CNN(Convolutional Neural Network)이다. CNN은, 이미지 데이터와 같이, 알려진 격자형 토폴로지를 갖는 데이터를 처리하기 위한 특수 피드포워드 신경망이다. 따라서, CNN은 일반적으로 컴퓨팅 비전 및 이미지 인식 애플리케이션에 사용되지만, 음성 및 언어 처리와 같은 다른 타입의 패턴 인식에도 사용될 수 있다. CNN 입력 레이어의 노드는 일련의 "필터" 세트(망막에서 발견된 리셉티브 필드(receptive fields)에 의해 영향을 받은 특징 검출기)로 구성되고, 각 필터 세트의 출력은 네트워크의 연속 레이어 내의 노드로 전파된다. CNN에 대한 계산은 컨볼루션 수학 연산을 각 필터에 적용하여 해당 필터의 출력을 생성하는 것을 포함한다. 컨볼루션(Convolution)은 두 개의 원래 함수 중 하나의 수정된 버전인 세 번째 함수를 생성하기 위해 두 함수에 의해 수행되는 특수한 종류의 수학적 연산이다. 컨볼루션 네트워크 용어에서, 컨볼루션에 대한 첫 번째 함수는 입력으로 지칭될 수 있고 두 번째 함수는 컨볼루션 커널로 지칭될 수 있다. 출력은 특징 맵(feature map)으로 지칭될 수 있다. 예를 들어, 컨볼루션 레이어에 대한 입력은 입력 이미지의 다양한 색상 구성 요소를 정의하는 데이터의 다차원 배열일 수 있다. 컨볼루션 커널은 파라미터들의 다차원 배열일 수 있으며, 여기서 파라미터들은 신경망에 대한 훈련 프로세스에 의해 조정된다.
RNN(Recurrent Neural Network)은 레이어들 사이의 피드백 접속을 포함하는 피드포워드 신경망 계열이다. RNN은 사용하면 신경망의 여러 부분에 걸쳐 파라미터 데이터를 공유하여 순차적 데이터의 모델링을 가능하게 할 수 있다. RNN의 아키텍처는 주기를 포함한다. RNN의 출력 데이터 중 적어도 일부가 시퀀스의 후속 입력을 처리하기 위한 피드백으로 사용되기 때문에, 주기는 미래에 변수의 현재 값이 자체 값에 미치는 영향을 나타낸다. 이 특징은, 언어 데이터를 구성하는 데 이용될 수 있는 가변 특성으로 인해, RNN을 언어 처리에 특히 유용하게 만든다.
후술하는 도면은 예시적인 피드포워드, CNN 및 RNN 네트워크를 제시할뿐만 아니라, 이들 타입의 네트워크 각각을 훈련하고 배치하기 위한 일반적인 프로세스를 설명한다. 이들 설명은 본 명세서에 설명된 임의의 특정 실시예에 대해 예시적이고 비제한적이며, 예시된 개념은 일반적으로 심층 신경망 및 머신 학습 기술에 일반적으로 적용될 수 있음을 이해할 수 있을 것이다.
전술한 예시적인 신경망은 심층 학습(deep learning)을 수행하는 데 사용될 수 있다. 심층 학습은 심층 신경망을 사용하는 머신 학습이다. 심층 학습에 사용되는 심층 신경망은, 단일의 은닉 레이어만 포함하는 얕은 신경망과 달리, 복수의 은닉 레이어로 구성된 인공 신경망이다. 심층 신경망은 일반적으로 훈련에 대해 더욱 계산 집약적이다. 그러나, 네트워크의 추가적인 은닉 레이어는 다단계 패턴 인식을 가능하게 하여 얕은 머신 학습 기술에 비해 출력 오류를 줄인다.
심층 학습에 사용되는 심층 신경망은 일반적으로, 모델에 제공된 특징에 기초하여 동작(예컨대, 객체 분류, 음성 인식 등)을 수행할 수 있는 수학적 모델을 나타내는, 백엔드 네트워크에 결합된 특징 인식을 수행하는 프런트 엔드 네트워크를 포함한다. 심층 학습은, 모델에 대해 수작업의 특징 엔지니어링(hand crafted feature engineering)을 수행할 필요없이 머신 학습을 수행할 수 있게 한다. 대신에, 심층 신경망은 입력 데이터 내의 통계 구조 또는 상관에 기초하여 특징을 학습할 수 있다. 학습된 특징은 검출된 특징을 출력에 매핑할 수 있는 수학적 모델에 제공될 수 있다. 네트워크에 의해 사용되는 수학적 모델은 일반적으로 수행될 특정 작업에 특화되며, 다른 작업을 수행하기 위해서는 다른 모델이 사용될 것이다.
신경망이 구축되면, 학습 모델이 네트워크에 적용되어 특정 작업을 수행하도록 네트워크를 훈련시킬 수 있다. 학습 모델은 네트워크의 출력 오류를 줄이기 위해 모델 내 가중치를 조정하는 법을 설명한다. 오류의 역전파(Backpropagation)는 신경망에 사용되는 일반적인 방법이다. 처리를 위해 입력 벡터가 네트워크에 제공된다. 네트워크의 출력은 손실 함수를 사용하여 원하는 출력과 비교되고, 출력 레이어 내의 각 뉴런에 대해 오류 값이 계산된다. 그 다음에, 각 뉴런이 원래 출력에 대한 기여도를 대략적으로 나타내는 관련 오류 값을 가질 때까지, 오류 값이 역 전파된다. 그 다음에, 네트워크는 확률적 경사 하강법(stochastic gradient descent) 알고리즘과 같은 알고리즘을 사용하여 이들 오류로부터 학습하여, 신경망의 가중치를 업데이트할 수 있다.
도 9a 내지 9b는 예시적인 컨볼루션 신경망을 도시한다. 도 9a는 CNN 내의 다양한 층을 도시한다. 도 9a에 도시된 바와 같이, 이미지 프로세싱을 모델링하는 데 사용되는 예시적인 CNN은 레드, 그린, 블루(RGB) 성분을 나타내는 입력(902)을 수신할 수 있다. 입력(902)은 복수의 컨볼루션 레이어(예컨대, 제1 컨볼루션 레이어(904), 제2 컨볼루션 레이어(906))에 의해 처리될 수 있다. 복수의 컨볼루션 레이어로부터의 출력은 선택적으로 완전 연결 레이어(908)의 세트에 의해 처리될 수 있다. 완전 연결 레이어 내의 뉴런은, 앞에서 피드포워드 네트워크에 대해 설명한 바와 같이, 이전 레이어 내의 모든 활성화(activation)에 대한 완전 연결을 갖는다. 완전 연결 레이어(908)로부터의 출력은 네트워크로부터 출력 결과를 생성하는 데 사용될 수 있다. 완전 연결 레이어(908) 내의 활성화는 컨볼루션 대신에 매트릭스 곱을 사용하여 계산될 수 있다. 모든 CNN 구현예들이 완전 연결 레이어(908)를 이용하는 것은 아니다. 예를 들어, 일부 구현예에서, 제2 컨볼루션 레이어(906)는 CNN에 대한 출력을 생성할 수 있다.
컨볼루션 레이어는 희소하게 연결되는데, 이는 완전 연결 레이어(908)에서 발견되는 통상의 신경망 구조와 상이하다. 통상의 신경망 레이어는 완전 연결되며, 따라서 모든 출력 유닛이 모든 입력 유닛과 상호작용한다. 그러나, 컨볼루션 레이어는 희소하게 연결되는데, 그 이유는 도시된 바와 같이 필드의 컨볼루션의 출력이 (필드 내 각 노드의 제각기의 상태 값 대신에) 후속 레이어의 노드에 대한 입력이기 때문이다. 종래의 레이어와 연관된 커널은 컨볼루션 동작을 수행하며, 그 출력은 다음 레이어로 전송된다. 컨볼루션 레이어 내에서 수행된 차원 수 감소는 CNN이 큰 이미지를 처리하도록 확장할 수 있게 하는 하나의 양태이다.
도 9b는 CNN의 컨볼루션 레이어 내에서의 예시적인 계산 단계들을 도시한다. CNN의 컨볼루션(912)에 대한 입력은 컨볼루션 레이어(914)의 3개의 단계에서 처리될 수 있다. 이들 세 단계는 컨볼루션 단계(916), 검출기 단계(918), 및 풀링 단계(920)를 포함할 수 있다. 그 다음에, 컨볼루션 레이어(914)는 후속하는 컨볼루션 레이어에 데이터를 출력할 수 있다. 네트워크의 최종 컨볼루션 레이어는 출력 특징 맵 데이터를 생성하거나 또는 완전 연결 레이어에 입력을 제공하여, 예를 들어 CNN에 입력할 분류 값을 생성할 수 있다.
컨볼루션 단계(916)에서 여러 컨볼루션을 병렬로 수행하여 선형 활성화 세트를 생성한다. 컨볼루션 단계(916)는 아핀 변환(affine transformation)을 포함할 수 있으며, 이것은 선형 변환과 평행 이동의 합으로 지정될 수 있는 임의의 변환이다. 아핀 변환은, 회전, 평행 이동, 확장, 및 이들 변환의 조합을 포함한다. 컨볼루션 단계는 입력의 특정 영역(이는 뉴런과 연관된 로컬 영역으로 결정될 수 있다)에 연결되는 함수(예컨대, 뉴런)의 출력을 계산한다. 뉴런은 뉴런의 가중치와 뉴런이 연결되는 로컬 입력의 영역 사이의 내적을 계산한다. 컨볼루션 단계(916)로부터의 출력은 컨볼루션 레이어(914)의 후속 단계에 의해 처리되는 선형 활성화 세트를 정의한다.
선형 활성화는 검출기 단계(918)에 의해 처리될 수 있다. 검출기 단계(918)에서, 각각의 선형 활성화는 비선형 활성화 함수에 의해 처리된다. 비선형 활성화 함수는, 컨볼루션 레이어의 리셉티브 필드에 영향을 주지않고 전체 네트워크의 비선형 특성을 증가시킨다. 여러 타입의 비선형 활성화 함수가 사용될 수 있다. 하나의 특정한 타입은 정류 선형 유닛(rectified linear unit: ReLU)인데, 이는 활성화가 0에서 임계값을 갖도록 f(x)=max(0,x)로 정의된 활성화 함수이다.
풀링 단계(920)는 제2 컨볼루션 레이어(906)의 출력을 주변 출력들의 요약 통계로 대체하는 풀링 함수를 사용한다. 풀링 함수는, 입력에 대한 작은 평행 이동이 풀링된 출력을 변경하지 않도록, 신경망에 평행 이동 불변성을 도입하는 데 사용할 수 있다. 로컬 평행 이동에 대한 불변성은 입력 데이터 내 특징의 존재가 특징부의 정확한 위치보다 더 중요한 시나리오에서 유용할 수 있다. 풀링 단계(920) 동안, 최대 풀링, 평균 풀링 및 l2-표준(norm) 풀링을 포함하는 다양한 타입의 풀링 함수가 사용될 수 있다. 또한, 일부 CNN 구현예는 풀링 단계를 포함하지 않는다. 대신에, 이들 구현예는 이전 컨볼루션 단계에 비해 증가된 스트라이드(stride)를 갖는 추가 컨볼루션 단계로 대체한다.
그 다음에 컨볼루션 레이어(914)의 출력은 다음 레이어(922)에 의해 처리될 수 있다. 다음 레이어(922)는 추가 컨볼루션 레이어 또는 완전 연결 레이어(908) 중 하나일 수 있다. 예를 들어, 도 9a의 제1 컨볼루션 레이어(904)는 제2 컨볼루션 레이어(906)에 출력할 수 있고, 제2 컨볼루션 레이어는 완전 연결 레이어(908)의 제1 레이어에 출력할 수 있다.
도 10은 예시적인 순환 신경망(1000)을 도시한다. 순환 신경망(RNN)에서, 네트워크의 이전 상태는 네트워크의 현재 상태의 출력에 영향을 준다. RNN은 다양한 함수를 사용하여 다양한 방식으로 구축될 수 있다. RNN의 사용은 일반적으로 수학적 모델을 사용하여 이전 입력 시퀀스에 기초하여 미래를 예측하는 것을 주로 다룬다. 예를 들어, RNN은, 이전 단어 시퀀스가 주어질 경우 그 다음 단어를 예측하기 위해 통계적 언어 모델링을 수행하는 데 사용될 수 있다. 도시된 RNN(1000)은 입력 벡터를 수신하는 입력 레이어(1002), 순환 함수를 구현하기 위한 은닉 레이어(1004), 이전 상태의 '메모리'를 인에이블하는 피드백 메커니즘(1005), 및 결과를 출력하는 출력 레이어(1006)를 갖는 것으로 설명될 수 있다. RNN(1000)은 시간 단계에 기초하여 동작한다. 주어진 시간 단계에서 RNN의 상태는 피드백 메커니즘(1005)을 통한 이전 시간 단계에 기초하여 영향을 받는다. 주어진 시간 단계에서, 은닉 레이어(1004)의 상태는 이전 상태 및 현재 시간 단계에서의 입력에 의해 정의된다. 제1 시간 단계에서의 최초 입력(x1)은 은닉 레이어(1004)에 의해 처리될 수 있다. 제2 입력(x2)은 최초 입력(x1)의 처리 동안 결정되는 상태 정보를 사용하여 은닉 레이어(1004)에 의해 처리될 수 있다. 주어진 상태는 st=f(Uxt+Wst-1)로 계산될 수 있으며, 여기서 U와 W는 파라미터 매트릭스이다. 함수(f)는 일반적으로 쌍곡선 탄젠트 함수(Tanh) 또는 정류기 함수 f(x)=max(0,x)의 변형과 같은 비선형이다. 그러나, 은닉 레이어(1004)에 사용된 특정 수학 함수는 RNN(1000)의 특정 구현예의 세부사항에 따라 변할 수 있다.
전술한 기본 CNN 및 RNN 네트워크 외에, 이들 네트워크에 대한 변형이 가능할 수 있다. RNN 변형의 한 예로 LSTM(long short-term memory) RNN이 있다. LSTM RNN은 더 긴 언어 시퀀스를 처리하는 데 필요할 수 있는 장기 의존성을 학습할 수 있다. CNN의 변형은 컨볼루션 심층 신뢰 네트워크(deep belief network: DBN)로, 이는 CNN과 유사한 구조를 가지며 심층 신뢰 네트워크와 유사한 방식으로 훈련된다. 심층 신뢰 네트워크(DBN)는 확률적(무작위) 변수의 복수 레이어로 구성된 생성 신경망이다. DBN은 그리디 비지도 학습(greedy unsupervised learning)을 사용하여 레이어별로 훈련될 수 있다. 그 후, DBN의 학습된 가중치는, 신경망에 대한 최적의 초기 가중치 집합을 결정함으로써 사전 훈련 신경망을 제공하는 데 사용될 수 있다.
도 11은 심층 신경망의 훈련 및 배치를 도시한다. 주어진 네트워크가 작업을 위해 구축되면, 신경망은 훈련 데이터세트(1102)를 사용하여 훈련된다. 훈련 프로세스의 하드웨어 가속을 가능하게 하기 위해 다양한 훈련 프레임워크(1104)가 개발되어왔다. 예를 들어, 도 6의 머신 학습 프레임워크(604)는 훈련 프레임워크(604)로 구성될 수 있다. 훈련 프레임워크(604)는 훈련되지 않은 신경망(1106)에 연결될 수 있고 훈련되지 않은 신경망이 본 명세서에 설명된 병렬 처리 리소스를 사용하여 훈련되어 훈련된 신경망(1108)을 생성할 수 있게 한다.
훈련 프로세스를 시작하기 위해 최초 가중치는 무작위로 선택되거나 심층 신뢰 네트워크를 사용하여 사전 훈련에 의해 선택될 수 있다. 그 다음에 지도(supervised) 또는 비지도(unsupervised) 방식으로 훈련 주기가 수행된다.
지도 학습은, 훈련 데이터세트(1102)가 입력에 대해 원하는 출력과 쌍을 이루는 입력을 포함하는 경우 또는 훈련 데이터세트가 알려진 출력을 갖는 입력을 포함하고 신경망의 출력 등급이 수작업으로 매겨지는 경우와 같이, 훈련이 중재된 동작으로서 수행되는 학습 방법이다. 네트워크는 입력을 처리하고 결과의 출력을 예상 출력 또는 원하는 출력 세트와 비교한다. 그 후, 오류가 시스템을 통해 역전파된다. 훈련 프레임워크(1104)는 훈련되지 않은 신경망(1106)을 제어하는 가중치를 조정하도록 조정될 수 있다. 훈련 프레임워크(1104)는 훈련되지 않은 신경망(1106)이 알려진 입력 데이터에 기초하여 올바른 답을 생성하기에 적합한 모델로 얼마나 잘 수렴하는지를 모니터링하는 툴을 제공할 수 있다. 훈련 프로세스는, 신경망에 의해 생성된 출력을 세분하기 위해 네트워크의 가중치가 조정됨에 따라 반복적으로 발생한다. 훈련 프로세스는 신경망이 훈련된 신경망(1108)과 연관된 통계적으로 원하는 정확도에 도달할 때까지 계속될 수 있다. 이 후 훈련된 신경망(1108)은 새로운 데이터(1112)의 입력에 기초하여 추론 결과(1114)를 생성하기 위한 임의의 수의 머신 학습 연산을 구현하도록 배치될 수 있다.
비지도 학습은 네트워크가 분류되지 않은(unlabeled) 데이터를 사용하여 자체 학습을 시도하는 학습 방법이다. 따라서, 비지도 학습을 위해 훈련 데이터세트(1102)는 어떠한 연관된 출력 데이터도 없이 입력 데이터를 포함할 것이다. 훈련되지 않은 신경망(1106)은 분류되지 않은 입력 내에서 그룹화를 학습할 수 있고 개별 입력이 전체 데이터세트와 어떻게 관련되는지를 결정할 수 있다. 비지도 훈련은, 데이터의 차원을 줄이는 데 유용한 연산을 수행할 수 있는 훈련된 신경망(1108)의 한 타입인 자체 편성(self-organizing) 맵을 생성하기 위해 사용될 수 있다. 비지도 훈련은 또한 이상 감지를 수행하는 데 사용될 수도 있는데, 이를 통해 입력 데이터세트에서 데이터의 정상적인 패턴에서 벗어나는 데이터 포인트를 식별할 수 있다.
지도 및 비지도 훈련의 변형도 이용될 수 있다. 준지도 학습(Semi-supervised learning)은 훈련 데이터세트(1102)에 동일한 분포의 분류된 데이터와 분류되지 않은 데이터가 혼합된 것을 포함하는 기술이다. 증분 학습(incremental learning)은 입력 데이터를 지속적으로 사용하여 모델을 추가로 학습하는 지도 학습의 변형이다. 증분 학습은 훈련된 신경망(1108)이 초기 훈련 동안 네트워크 내에 주입된 지식을 잊지 않고 새로운 데이터(1112)에 적응할 수 있게 한다.
지도 훈련이든 비지도 훈련이든, 특히 심층 신경망에 대한 훈련 프로세스는 단일 컴퓨팅 노드에게는 너무 계산집약적일 수 있다. 단일 컴퓨팅 노드를 사용하는 대신에, 훈련 프로세스를 가속화하기 위해 계산 노드들의 분산 네트워크가 사용될 수 있다.
도 12는 분산 학습을 도시한 블록도이다. 분산 학습은 복수의 분산 컴퓨팅 노드를 사용하여 신경망의 지도 훈련 또는 비지도 훈련을 수행하는 훈련 모델이다. 분산 컴퓨팅 노드는 각각 하나 이상의 호스트 프로세서 및 예를 들어 도 7의 고성능 병렬 범용 그래픽 프로세싱 유닛(700)과 같은 하나 이상의 범용 프로세싱 노드를 포함할 수 있다. 도시된 바와 같이, 분산 학습은 모델 병렬 처리(1202), 데이터 병렬 처리(1204), 또는 모델 및 데이터 병렬 처리(1204)의 조합으로 수행될 수 있다.
모델 병렬 처리(1202)에서, 분산 시스템의 다른 계산 노드는 단일 네트워크의 상이한 부분들에 대한 훈련 계산을 수행할 수 있다. 예를 들어, 신경망의 각 레이어는 분산 시스템의 상이한 처리 노드에서 훈련될 수 있다. 모델 병렬 처리의 이점은 특히 큰 모델로 확장할 수 있는 능력을 포함한다. 신경망의 다른 레이어와 연관된 계산을 분할하면, 모든 레이어의 가중치가 단일 계산 노드의 메모리에 맞지 않는 매우 큰 신경망을 훈련할 수 있다. 경우에 따라, 모델 병렬 처리는 큰 신경망의 비지도 학습을 수행하는 데 특히 유용할 수 있다.
데이터 병렬 처리(1204)에서, 분산 네트워크의 상이한 노드들은 모델의 완전한 인스턴스를 가지며 각 노드는 데이터의 상이한 부분을 수신한다. 그 후 상이한 노드들로부터의 결과가 결합된다. 데이터 병렬 처리에 대한 다양한 접근 방식이 가능하지만, 데이터 병렬 훈련 접근 방식은 모두 결과를 결합하고 각 노드간에 모델 파라미터를 동기화하는 기술이 필요한다. 데이터 결합에 대한 예시적인 접근 방식은 파라미터 평균화 및 업데이트 기반 데이터 병렬 처리를 포함한다. 파라미터 평균화는 훈련 데이터의 서브세트에 대해 각 노드를 훈련시키고 전역 파라미터(예컨대, 가중치, 편향)를 각 노드의 파라미터 평균으로 설정한다. 파라미터 평균화는 파라미터 데이터를 유지하는 중앙 파라미터 서버를 이용한다. 업데이트 기반 데이터 병렬 처리는, 노드로부터 파라미터 서버로 파라미터를 전송하는 대신에 모델에 대한 업데이트가 전송된다는 점을 제외하면, 파라미터 평균화와 유사하다. 또한 업데이트 기반 데이터 병렬 처리는 분산 방식으로 수행될 수 있으며, 여기서 업데이트는 압축되어 노드들 사이에서 전송된다.
결합된 모델 및 데이터 병렬 처리(1206)는, 예를 들어 각각의 계산 노드가 복수의 GPU를 포함하는 분산 시스템에서 구현될 수 있다. 각 노드는, 각 노드 내에 모델의 다른 부분을 훈련하는 데 사용되는 별도의 GPU를 갖는, 모델의 완전한 인스턴스를 가질 수 있다.
분산 훈련은 단일 머신에서의 훈련에 비해 오버 헤드를 증가시켰다. 그러나, 여기에 설명된 병렬 프로세서 및 GPGPU는 각각 고 대역폭 GPU-GPU 데이터 전송 및 가속화된 원격 데이터 동기화를 가능하게 하는 기술을 포함하여 분산 훈련의 오버 헤드를 줄이기 위한 다양한 기술을 구현할 수 있다.
예시적인 머신 학습 적용들
머신 학습은 컴퓨터 비전, 자율 주행 및 내비게이션, 음성 인식 및 언어 처리를 포함하되 이에 국한되지 않는 다양한 기술 문제를 해결하는 데 적용될 수 있다. 컴퓨터 비전은 통상적으로 머신 학습 응용 분야에서 가장 활발한 연구 분야 중 하나였다. 컴퓨터 비전의 응용 분야는 얼굴 인식과 같은 인간의 시각 능력 재현부터 새로운 범주의 시각 능력 생성에 이르기까지 다양하다. 예를 들어, 컴퓨터 비전 애플리케이션은 비디오에서 보이는 물체에 유도된 진동으로부터 음파를 인식하도록 구성할 수 있다. 병렬 프로세서 가속 머신 학습은 이전에 가능했던 것보다 훨씬 더 많은 훈련 데이터세트를 사용하여 컴퓨터 비전 애플리케이션을 훈련하게 할 수 있으며, 저전력 병렬 프로세서를 사용하여 추론 시스템을 배포하게 할 수 있다.
병렬 프로세서 가속 머신 학습은 차선 및 도로 표지판 인식, 장애물 회피, 내비게이션 및 주행 제어를 포함한 자율 주행 애플리케이션을 포함한다. 가속 머신 학습 기술은 특정 훈련 입력에 대한 적절한 응답을 정의하는 데이터세트에 기초하여 운전 모델을 훈련하는 데 사용될 수 있다. 본 명세서에 설명된 병렬 프로세서는, 자율 주행 솔루션에 사용되는 점점 더 복잡 해지는 신경망의 빠른 훈련을 가능하게 하고 자율 주행 차량에 통합하기에 적합한 모바일 플랫폼에서 저전력 추론 프로세서의 배치를 가능하게 한다.
병렬 프로세서 가속 심층 신경망은 자동 음성 인식(ASR)에 대한 머신 학습 접근을 가능하게 했다. ASR은 입력 음향 시퀀스가 주어 졌을 때 가장 가능성이 높은 언어 시퀀스를 계산하는 함수 생성을 포함한다. 심층 신경망을 이용한 가속 머신 학습은 이전에 ASR에 사용된 은닉 마르코프 모델(HMM) 및 가우스 혼합 모델(GMM)을 대체할 수 있게 한다.
병렬 프로세서 가속 머신 학습은 자연어 처리를 가속화하는 데 사용할 수도 있다. 자동 학습 절차는 통계적 추론 알고리즘을 이용하여 오류가 있거나 익숙하지 않은 입력에 강력한 모델을 생성할 수 있다. 예시적인 자연어 프로세서 애플리케이션은 인간 언어들 간의 자동 머신 번역을 포함한다.
머신 학습에 사용되는 병렬 처리 플랫폼은 훈련 플랫폼과 배치 플랫폼으로 나눌 수 있다. 훈련 플랫폼은 일반적으로 고도로 병렬적이며 멀티-GPU 단일 노드 훈련 및 멀티-노드 멀티-GPU 훈련을 가속화하는 최적화 기능을 포함한다. 훈련에 적합한 예시적인 병렬 프로세서는 도 7의 범용 그래픽 프로세싱 유닛(700) 및 도 8의 멀티-GPU 컴퓨팅 시스템(800)을 포함한다. 반면에, 배치된 머신 학습 플랫폼은 일반적으로 카메라, 자율 로봇 및 자율 주행 차량과 같은 제품에 사용하기에 적합한 저전력 병렬 프로세서를 포함한다.
도 13은 훈련된 모델을 사용하여 추론을 수행하기에 적합한 예시적인 추론 SOC(system on a chip)(1300)를 도시한다. SOC(1300)는 미디어 프로세서(1302), 비전 프로세서(1304), GPGPU(1306) 및 멀티 코어 프로세서(1308)를 포함하는 프로세싱 컴포넌트를 통합할 수 있다. GPGPU(1306)는 GPGPU(700)와 같은 본 명세서에 기술된 GPGPU일 수 있고, 멀티-코어 프로세서(1308)는 멀티-코어 프로세서(405-406)와 같은 본 명세서에 기술된 멀티-코어 프로세서일 수 있다. SOC(1300)는 각각의 프로세싱 컴포넌트가 액세스할 수 있는 공유 온 칩 데이터 풀을 가능하게 하는 온 칩 메모리(1305)를 추가로 포함할 수 있다. 프로세싱 컴포넌트는 저전력 동작에 최적화되어 자율 주행 차량 및 자율 로봇을 포함한 다양한 머신 학습 플랫폼으로의 전개를 가능하게 할 수 있다. 예를 들어, SOC(1300)의 일 구현예는 자율 주행 차량을 위한 주 제어 시스템의 일부로서 사용될 수 있다. SOC(1300)가 자율 주행 차량에 사용되도록 구성되는 경우 SOC는 배치되는 관할 구역의 관련 기능성 안전 표준을 준수하도록 설계 및 구성된다.
동작하는 동안, 미디어 프로세서(1302) 및 비전 프로세서(1304)는 컴퓨터 비전 동작을 가속화하기 위해 함께 작동할 수 있다. 미디어 프로세서(1302)는 복수의 고해상도(예컨대, 4K, 8K) 비디오 스트림의 낮은 대기 시간 디코딩을 가능하게 할 수 있다. 디코딩된 비디오 스트림은 온 칩 메모리(1305)의 버퍼에 기록될 수 있다. 이후 비전 프로세서(1304)는, 디코딩된 비디오를 파싱하고 훈련된 이미지 인식 모델을 사용하여 프레임을 프로세싱할 준비를 위해, 디코딩된 비디오의 프레임에 대해 예비 프로세싱 동작을 수행할 수 있다. 예를 들어, 비전 프로세서(1304)는 고해상도 비디오 데이터에 대한 이미지 인식을 수행하는데 사용되는 CNN에 대한 컨볼루션 연산을 가속화할 수 있는 반면에, 백 엔드 모델 계산은 GPGPU(1306)에 의해 수행된다.
멀티-코어 프로세서(1308)는 미디어 프로세서(1302) 및 비전 프로세서(1304)에 의해 수행되는 데이터 전송 및 공유 메모리 동작의 시퀀싱 및 동기화를 보조하는 제어 로직을 포함할 수 있다. 멀티-코어 프로세서(1308)는 또한 GPGPU(1306)의 추론 컴퓨팅 능력을 사용할 수 있는 소프트웨어 애플리케이션을 실행하기 위한 애플리케이션 프로세서로서 기능할 수 있다. 예를 들어, 내비게이션 및 구동 로직의 적어도 일부는 멀티-코어 프로세서(1308) 상에서 실행되는 소프트웨어로 구현될 수 있다. 이러한 소프트웨어는 계산 워크로드를 GPGPU(1306)로 직접 발행하거나 또는 계산 워크로드가 멀티-코어 프로세서(1308)로 발행될 수 있으며, 멀티-코어 프로세서는 이러한 동작의 적어도 일부를 GPGPU(1306)로 오프로딩할 수 있다.
GPGPU(1306)는 범용 그래픽 프로세싱 유닛(700) 내에 프로세싱 클러스터(706A-706H)의 저전력 구성과 같은 컴퓨팅 클러스터를 포함할 수 있다. GPGPU(1306) 내의 컴퓨팅 클러스터는 훈련된 신경망에서 추론 계산을 수행하도록 구체적으로 최적화된 지시를 지원할 수 있다. 예를 들어, GPGPU(1306)는 8 비트 및 4 비트 정수 벡터 연산과 같은 낮은 정밀도 계산을 수행하는 명령어를 지원할 수 있다.
추가적인 시스템 개요
도 14는 프로세싱 시스템(1400)의 블록도이다. 본 명세서의 임의의 다른 도면의 요소들과 동일한 또는 유사한 명칭을 갖는 도 14의 요소들은 다른 도면들에서와 동일한 요소들을 설명하고, 그와 유사한 방식으로 동작하거나 기능할 수 있으며, 동일한 컴포넌트들을 포함할 수 있고, 제한적인 것은 아니지만 본 명세서에 기술된 것과 같은 다른 엔티티들에 링크될 수 있다. 시스템(1400)은 단일 프로세서 데스크탑 시스템, 멀티 프로세서 워크스테이션 시스템, 또는 다수의 프로세서(1402) 또는 프로세서 코어(1407)를 갖는 서버 시스템에서 사용될 수 있다. 시스템(1400)은 로컬 또는 광역 네트워크에 유선 또는 무선으로 연결될 수 있는 사물 인터넷(IoT) 장치 내에서와 같이 모바일, 휴대형 또는 내장형 장치에 사용되는 시스템 온 칩(SoC) 집적 회로 내에 통합된 프로세싱 플랫폼일 수 있다.
시스템(1400)은 도 1의 컴포넌트들에 대응하는 컴포넌트를 갖는 프로세싱 시스템일 수 있다. 예를 들어, 다른 구성에서 프로세서(들)(1402) 또는 프로세서 코어(들)(1407)는 도 1의 프로세서(들)(102)에 대응할 수 있다. 그래픽 프로세서(들)(1408)는 도 1의 병렬 프로세서(들)(112)에 대응할 수 있다. 외부 그래픽 프로세서(1418)는 도 1의 애드-인 장치(들)(120) 중 하나일 수 있다.
시스템(1400)은 서버 기반 게이밍 플랫폼, 게임 및 미디어 콘솔, 모바일 게이밍 콘솔, 휴대형 게임 콘솔 또는 온라인 게임 콘솔을 포함하는 게임 콘솔을 포함하거나, 이들에 연결되거나, 이들 내에 통합될 수 있다. 시스템(1400)은 휴대 전화, 스마트 폰, 태블릿 컴퓨팅 장치 또는 내부 저장 용량이 작은 랩탑과 같은 모바일 인터넷 연결 장치의 일부이다. 프로세싱 시스템(1400)은 또한 스마트 와치 웨어러블 장치와 같은 웨어러블 장치; 실제 시각, 오디오 또는 촉각 경험을 보완하기 위한 시각적, 오디오 또는 촉각 출력을 제공하거나 텍스트, 오디오, 그래픽, 비디오, 홀로그램 이미지 또는 비디오 또는 촉각 피드백을 제공하는 증강 현실(AR) 또는 가상 현실(VR) 기능으로 강화된 스마트 아이웨어 또는 의복; 다른 증강 현실(AR) 장치; 또는 다른 가상 현실(VR) 장치를 포함하거나, 이들에 연결되거나, 이들 내에 통합될 수 있다. 프로세싱 시스템(1400)은 텔레비전 또는 셋톱 박스 장치를 포함하거나 그 일부이다. 시스템(1400)은 버스, 트랙터 트레일러, 자동차, 모터 또는 전동 사이클, 비행기 또는 글라이더(또는 이들의 임의의 조합)와 같은 자율 주행 차량을 포함하거나, 이들에 연결되거나, 이들 내에 통합될 수 있다. 자율 주행 차량은 시스템(1400)을 사용하여 차량 주위에서 감지된 환경을 처리할 수 있다.
하나 이상의 프로세서(1402) 각각은 실행될 때 시스템 또는 사용자 소프트웨어에 대한 동작을 수행하는 명령어를 처리하는 하나 이상의 프로세서 코어(1407)를 포함할 수 있다. 일부 실시예에서, 하나 이상의 프로세서 코어(1407) 중 적어도 하나는 특정 명령어 세트(1409)를 처리하도록 구성된다. 명령어 세트(1409)는 CISC(Complex Instruction Set Computing), RISC(Reduced Instruction Set Computing), 또는 VLIW(Very Long Instruction Word)를 통한 컴퓨팅을 용이하게 할 수 있다. 하나 이상의 프로세서 코어(1407)는 다른 명령어 세트의 에뮬레이션을 용이하게 하는 명령어를 포함할 수 있는 다른 명령어 세트(1409)를 처리할 수 있다. 프로세서 코어(1407)는 또한 DSP(Digital Signal Processor)와 같은 다른 프로세싱 장치를 포함할 수 있다.
프로세서(1402)는 캐시 메모리(1404)를 포함할 수 있다. 아키텍처에 따라, 프로세서(1402)는 단일 내부 캐시 또는 내부 캐시의 복수 레벨을 가질 수 있다. 일부 실시예에서, 캐시 메모리는 프로세서(1402)의 다양한 컴포넌트 사이에서 공유된다. 일부 실시예에서, 프로세서(1402)는 또한 외부 캐시(예컨대, 레벨 3(L3) 캐시 또는 LLC(Last Level Cache))(도시하지 않음)를 사용하고, 이 외부 캐시는 공지의 캐시 일관성 기술을 사용하여 프로세서 코어(1407) 사이에서 공유될 수 있다. 레지스터 파일(1406)이 프로세서(1402)에 추가로 포함될 수 있으며, 상이한 타입의 데이터를 저장하는 상이한 타입의 레지스터(예컨대, 정수 레지스터, 부동 소수점 레지스터, 상태 레지스터 및 명령어 포인터 레지스터)를 포함할 수 있다. 일부 레지스터는 범용 레지스터일 수 있지만, 다른 레지스터는 프로세서(1402)의 설계에 특정될 수 있다.
하나 이상의 프로세서(들)(1402)는 하나 이상의 인터페이스 버스(들)(1410)와 연결되어 시스템(1400)의 프로세서(1402)와 다른 컴포넌트 사이에서 주소, 데이터 또는 제어 신호와 같은 통신 신호를 전송한다. 인터페이스 버스(1410)는 DMI(Direct Media Interface) 버스의 버전과 같은 프로세서 버스일 수 있다. 그러나, 프로세서 버스는 DMI 버스로 한정되지 않고, 하나 이상의 PCI(Peripheral Component Interconnect) 버스(예컨대, PCI, PCI 익스프레스), 메모리 버스 또는 다른 타입의 인터페이스 버스를 포함할 수 있다. 예를 들어, 프로세서(들)(1402)는 통합된 메모리 제어기(1416) 및 플랫폼 제어기 허브(1430)를 포함할 수 있다. 메모리 제어기(1416)는 메모리 장치와 시스템(1400)의 다른 컴포넌트 사이의 통신을 용이하게 하고, 플랫폼 제어기 허브(PCH)(1430)는 로컬 I/O 버스를 통해 I/O 장치에 접속을 제공한다.
메모리 장치(1420)는 DRAM(dynamic random-access memory) 장치, SRAM(static random-access memory) 장치, 플래시 메모리 장치, 상-변화 메모리 장치, 또는 프로세스 메모리로서 기능을 하기에 적절한 성능을 갖는 일부 다른 메모리 장치일 수 있다. 일 실시예에서, 메모리 장치(1420)는 하나 이상의 프로세서(1402)가 애플리케이션 또는 프로세스를 실행할 때 사용하는 데이터(1422) 및 명령어(1421)를 저장하는, 시스템(1400)용 시스템 메모리로서 동작할 수 있다. 메모리 제어기(1416)는 또한 그래픽 및 미디어 동작을 수행하기 위해 프로세서(1402) 내의 하나 이상의 그래픽 프로세서(1408)와 통신할 수 있는 선택적인 외부 그래픽 프로세서(1418)와 연결된다. 일부 실시예에서, 그래픽, 미디어 및 컴퓨팅 동작은 그래픽, 미디어 또는 컴퓨팅 동작의 특수 세트를 수행하도록 구성될 수 있는 보조 프로세서인 가속기(1412)에 의해 지원될 수 있다. 예를 들어, 가속기(1412)는 머신 학습 또는 컴퓨팅 동작을 최적화하는데 사용되는 매트릭스(matrix) 곱셈 가속기이다. 가속기(1412)는 그래픽 프로세서(1408)와 협력하여 광선-추적(ray-tracing) 동작을 수행하는데 사용될 수 있는 광선-추적 가속기일 수 있다. 일 실시예에서, 외부 가속기(1419)는 가속기(1412) 대신에 또는 이와 함께 사용될 수 있다.
디스플레이 장치(1411)는 프로세서(들)(1402)에 접속될 수 있다. 디스플레이 장치(1411)는 모바일 전자 장치 또는 랩탑 장치에서와 같은 내부 디스플레이 장치 또는 디스플레이 인터페이스(예컨대, DisplayPort 등)를 통해 부착된 외부 디스플레이 장치 중 하나 이상일 수 있다. 디스플레이 장치(1411)는 가상 현실(VR) 애플리케이션 또는 증강 현실(AR) 애플리케이션에서 사용하는 입체 디스플레이 장치와 같은 헤드 마운트 디스플레이(HMD)일 수 있다.
플랫폼 제어기 허브(1430)는 주변 장치가 고속 I/O 버스를 통해 메모리 장치(1420) 및 프로세서(1402)에 접속될 수 있도록 한다. I/O 주변 장치는 오디오 제어기(1446), 네트워크 제어기(1434), 펌웨어 인터페이스(1428), 무선 송수신기(1426), 터치 센서(1425), 데이터 저장 장치(1424)(예컨대, 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브, 플래시 메모리, NAND, 3D NAND, 3D XPoint/Optane 등)를 포함하지만, 이에 한정되는 것은 아니다. 데이터 저장 장치(1424)는 저장 인터페이스(예컨대, SATA)를 통해 또는 PCI 버스(예컨대, PCI, PCI 익스프레스)와 같은 주변 장치 버스를 통해 연결될 수 있다. 터치 센서(1425)는 터치 스크린 센서, 압력 센서 또는 지문 센서를 포함할 수 있다. 무선 송수신기(1426)는 Wi-Fi 송수신기, 블루투스 송수신기, 또는 3G, 4G, 5G 또는 LTE(Long-Term Evolution) 송수신기와 같은 모바일 네트워크 송수신기일 수 있다. 펌웨어 인터페이스(1428)는 시스템 펌웨어와의 통신을 가능하게 하고, 예를 들어, UEFI(unified extensible firmware interface)일 수 있다. 네트워크 제어기(1434)는 유선 네트워크에 대한 네트워크 접속을 가능하게 할 수 있다. 일부 실시예에서, 고성능 네트워크 제어기(도시하지 않음)는 인터페이스 버스(1410)에 연결된다. 오디오 제어기(1446)는 멀티-채널 고선명 오디오 제어기이다. 일부 이들 실시예에서, 시스템(1400)은 레거시(예컨대, PS/2(Personal System 2)) 장치를 시스템에 연결하기 위한 선택적인 레거시 I/O 제어기(1440)를 포함한다. 플랫폼 제어기 허브(1430)는 또한 하나 이상의 USB(Universal Serial Bus) 제어기(1442)에 접속하여 키보드 및 마우스 조합(1443), 카메라(1444) 또는 다른 USB 입력 장치와 같은 입력 장치에 접속할 수 있다.
다르게 구성된 다른 타입의 데이터 프로세싱 시스템이 또한 사용될 수 있기 때문에, 도시된 시스템(1400)은 예시적이며 한정적이지 않다는 점이 이해될 것이다. 예를 들어, 메모리 제어기(1416) 및 플랫폼 제어기 허브(1430)는 외부 그래픽 프로세서(1418)와 같은 별개의 외부 그래픽 프로세서에 통합될 수 있다. 플랫폼 제어기 허브(1430) 및/또는 메모리 제어기(1416)는 하나 이상의 프로세서(들)(1402)의 외부에 있을 수 있다. 예를 들어, 시스템(1400)은 외부 메모리 제어기(1416) 및 플랫폼 제어기 허브(1430)를 포함할 수 있으며, 이는 프로세서(들)(1402)와 통신하는 시스템 칩셋 내의 메모리 제어기 허브 및 주변 장치 제어기 허브로서 구성될 수 있다.
예를 들어, CPU, 메모리 및 다른 컴포넌트와 같은 컴포넌트가 장착된 회로 보드("슬레드(sleds)")가 사용되며 열적 성능을 향상시키도록 설계될 수 있다. 프로세서와 같은 프로세싱 컴포넌트는 슬레드의 위쪽에 위치하고, DIMM과 같은 니어 메모리(near memory)는 슬레드의 아래쪽에 위치한다. 이 설계에서 제공하는 향상된 공기 흐름으로 인해, 컴포넌트들은 일반적인 시스템에서보다 높은 주파수 및 전력 레벨에서 동작하여 성능이 향상될 수 있다. 또한 슬레드는 랙(rack)에서 전원 및 데이터 통신 케이블과 임의로 결합하도록 구성되어 있으므로, 신속하게 제거, 업그레이드, 재설치 및/또는 교체될 수 있는 능력을 향상시킬 수 있다. 마찬가지로 프로세서, 가속기, 메모리 및 데이터 저장 드라이브와 같이 슬레드 상에 위치하는 개별 컴포넌트는 서로의 간격이 넓어짐에 따라 쉽게 업그레이드할 수 있도록 구성된다. 예시적인 실시예에서, 컴포넌트는 진품임을 증명하기 위한 하드웨어 증명 특징을 추가로 포함한다.
데이터 센터는 이더넷 및 옴니 경로(Omni-Path)를 포함하는 복수의 다른 네트워크 아키텍처를 지원하는 단일 네트워크 아키텍처("패브릭(fabric)")를 이용할 수 있다. 슬레드는 광섬유를 통해 스위치에 연결될 수 있으며, 이는 전형적인 트위스트 페어 케이블링(예컨대, 카테고리 5, 카테고리 5e, 카테고리 6 등)보다 높은 대역폭과 낮은 대기 시간을 제공한다. 높은 대역폭, 낮은 대기 시간 상호 접속 및 네트워크 아키텍처로 인해, 데이터 센터는, 사용 중에, 메모리, 가속기(예컨대, GPU, 그래픽 가속기, FPGA, ASIC, 신경망 및/또는 인공 지능 가속기 등) 및 물리적으로 분리된 데이터 저장 드라이브와 같은 리소스를 풀링하고(pool), 필요에 따라 이들에게 컴퓨팅 리소스(예컨대, 프로세서)를 제공하여 컴퓨팅 리소스가 로컬인 것처럼 풀링된 리소스에 액세스할 수 있도록 한다.
전원은 시스템(1400) 또는 본 명세서에 설명된 임의의 컴포넌트에 전압 및/또는 전류를 제공할 수 있다. 일 예에서, 파워 서플라이는 벽 콘센트에 플러그하기 위한 AC-DC(교류-직류) 어댑터를 포함한다. 이러한 AC 전력은 재생 가능 에너지(예컨대, 태양광) 전원일 수 있다. 일 예에서, 전원은 외부 AC-DC 변환기와 같은 DC 전원을 포함한다. 전원 또는 파워 서플라이는 충전 필드에 근접시켜 충전하는 무선 충전 하드웨어를 포함할 수 있다. 전원은 내부 배터리, 교류 전원, 모션 기반 전원, 태양광 전원 또는 연료 전지 전원을 포함할 수 있다.
도 15a 내지 도 15c는 컴퓨팅 시스템 및 그래픽 프로세서를 도시한다. 본 명세서의 임의의 다른 도면의 요소들과 동일한 또는 유사한 명칭을 갖는 도 15a 내지 도 15c의 요소들은 다른 도면들에서와 동일한 요소들을 설명하고, 그와 유사한 방식으로 동작하거나 기능할 수 있으며, 동일한 컴포넌트들을 포함할 수 있고, 제한적인 것은 아니지만 본 명세서에 기술된 것과 같은 다른 엔티티들에 링크될 수 있다.
도 15a는, 프로세서들(1402) 중 하나의 변형일 수 있고 이들 중 하나를 대신하여 사용될 수 있는, 프로세서(1500)의 블록도이다. 따라서, 본 명세서에서 프로세서(1500)와 조합된 임의의 특징들의 개시는 또한 프로세서(들)(1402)와의 대응하는 조합을 나타내지만, 이에 제한되지는 않는다. 프로세서(1500)는 하나 이상의 프로세서 코어(1502A-1502N), 통합된 메모리 제어기(1514), 및 통합된 그래픽 프로세서(1508)를 가질 수 있다. 통합된 그래픽 프로세서(1508)가 제외되는 경우, 프로세서를 포함하는 시스템이 시스템 칩셋 내에 또는 시스템 버스를 통해 연결된 그래픽 프로세서 장치를 포함할 것이다. 프로세서(1500)는 점선 박스로 표시된 추가 코어(1502N)까지 포함하는 추가 코어를 포함할 수 있다. 프로세서 코어들(1502A-1502N) 각각은 하나 이상의 내부 캐시 유닛(1504A-1504N)을 포함한다. 일부 실시예에서, 각각의 프로세서 코어(1502A-1502N)는 또한 하나 이상의 공유 캐시 유닛(1506)에 액세스할 수 있다. 내부 캐시 유닛(1504A-1504N) 및 공유 캐시 유닛(1506)은 프로세서(1500) 내의 캐시 메모리 계층 구조를 나타낸다. 캐시 메모리 계층 구조는 각각의 프로세서 코어 내의 명령어 및 데이터 캐시의 적어도 하나의 레벨과, 캐시의 레벨 2(L2), 레벨 3(L3), 레벨 4(L4) 또는 기타 레벨과 같은 공유된 중간-레벨 캐시의 하나 이상의 레벨을 포함할 수 있으며, 외부 메모리 이전의 최고 레벨의 캐시는 LLC로 분류된다. 일부 실시예에서, 캐시 일관성 로직은 다양한 캐시 유닛(1506 및 1504A-1504N) 사이의 일관성을 유지시킨다.
프로세서(1500)는 또한 하나 이상의 버스 제어기 유닛(1516) 및 시스템 에이전트 코어(1510)의 세트를 포함할 수 있다. 하나 이상의 버스 제어기 유닛(1516)은 하나 이상의 PCI 또는 PCI 익스프레스 버스와 같은 주변 장치 버스 세트를 관리한다. 시스템 에이전트 코어(1510)는 다양한 프로세서 컴포넌트에 대한 관리 기능을 제공한다. 시스템 에이전트 코어(1510)는 다양한 외부 메모리 장치(도시하지 않음)에 대한 액세스를 관리하는 하나 이상의 통합된 메모리 제어기(1514)를 포함할 수 있다.
예를 들어, 하나 이상의 프로세서 코어(1502A-1502N)는 동시 멀티-스레딩에 대한 지원을 포함할 수 있다. 시스템 에이전트 코어(1510)는 멀티-스레드 프로세싱 동안 코어(1502A-1502N)를 조정하고 동작시키는 컴포넌트를 포함한다. 시스템 에이전트 코어(1510)는 전력 제어 유닛(PCU)을 추가로 포함할 수 있고, 이 전력 제어 유닛(PCU)은 프로세서 코어(1502A-1502N) 및 그래픽 프로세서(1508)의 전력 상태를 조절하는 로직 및 컴포넌트를 포함한다.
프로세서(1500)는 그래픽 프로세싱 동작을 실행하는 그래픽 프로세서(1508)를 추가로 포함할 수 있다. 일부 이들 실시예에서, 그래픽 프로세서(1508)는 공유 캐시 유닛(1506)의 세트 및 하나 이상의 통합 메모리 제어기(1514)를 포함하는 시스템 에이전트 코어(1510)에 연결된다. 시스템 에이전트 코어(1510)는 또한 그래픽 프로세서 출력을 하나 이상의 연결된 디스플레이로 구동하는 디스플레이 제어기(1511)를 포함할 수 있다. 디스플레이 제어기(1511)는 또한 적어도 하나의 상호 접속부를 통해 그래픽 프로세서에 연결된 별개의 모듈일 수도 있고, 그래픽 프로세서(1508) 내에 통합될 수도 있다.
링-기반 상호 접속 유닛(1512)은 프로세서(1500)의 내부 컴포넌트를 연결하는데 사용될 수 있다. 그러나, 포인트-투-포인트(point-to-point) 상호 접속부, 스위칭된 상호 접속부, 또는 이 분야의 공지 기술을 포함한 다른 기술을 포함하는 다른 상호 접속 유닛이 사용될 수 있다. 링 기반 상호 접속부(1512)를 갖는 일부 이들 실시예에서, 그래픽 프로세서(1508)는 I/O 링크(1513)를 통해 링 상호 접속부(1512)에 연결된다.
예시적인 I/O 링크(1513)는 다양한 프로세서 컴포넌트와 eDRAM 모듈과 같은 고성능 내장형 메모리 모듈(1518) 사이의 통신을 용이하게 하는 온 패키지 I/O 상호 접속부를 포함하는 복수의 다양한 I/O 상호 접속부 중 적어도 하나를 나타낸다. 선택적으로, 각각의 프로세서 코어(1502A-1502N) 및 그래픽 프로세서(1508)는 공유 LLC(Last Level Cache)로서 내장형 메모리 모듈(1518)을 사용할 수 있다.
예를 들어, 프로세서 코어(1502A-1502N)는 동일한 명령어 세트 아키텍처를 실행하는 균질 코어일 수 있다. 또는, 프로세서 코어(1502A-1502N)는 명령어 세트 아키텍처(ISA)의 관점에서 비균질하며, 이 경우 하나 이상의 프로세서 코어(1502A-1502N)는 제1 명령어 세트를 실행하고, 다른 코어의 적어도 하나는 제1 명령어 세트의 서브세트 또는 다른 명령어 세트를 실행한다. 프로세서 코어(1502A-1502N)는 마이크로 아키텍처의 관점에서 비균질하며, 이 경우 비교적 많은 전력을 소비하는 하나 이상의 코어는 적은 전력을 소비하는 하나 이상의 전력 코어와 연결된다. 다른 예에서, 프로세서 코어(1502A-1502N)는 컴퓨팅 능력의 관점에서 비균질하다. 부가적으로, 프로세서(1500)는 다른 컴포넌트에 더하여 도시된 컴포넌트를 갖는, 하나 이상의 칩 상에 구현되거나 또는 SoC 집적 회로로서 구현될 수 있다.
도 15b는 본 명세서에서 설명된 일부 실시예에 따른 그래픽 프로세서 코어(1519)의 하드웨어 로직의 블록도이다. 흔히 코어 슬라이스라고도 하는 그래픽 프로세서 코어(1519)는 모듈식 그래픽 프로세서 내의 하나 또는 복수의 그래픽 코어일 수 있다. 그래픽 프로세서 코어(1519)는 하나의 그래픽 코어 슬라이스의 예시이며, 본 명세서에 설명된 그래픽 프로세서는 목표 전력 및 성능 포락선에 따라 복수의 그래픽 코어 슬라이스를 포함할 수 있다. 각각의 그래픽 프로세서 코어(1519)는 범용 및 고정 기능 로직의 모듈식 블록을 포함하는, 서브-슬라이스라고도 하는 복수의 서브-코어(1521A-1521F)와 연결된 고정 기능 블록(1530)을 포함할 수 있다.
고정 기능 블록(1530)은 그래픽 프로세서 코어(1519)의 모든 서브-코어에 의해, 예컨대 낮은 성능 및/또는 저전력 그래픽 프로세서 구현예에서 공유될 수 있는 기하(geometry)/고정 기능 파이프라인(1531)을 포함할 수 있다. 기하/고정 기능 파이프라인(1531)은 3D 고정 기능 파이프라인(예컨대, 후술하는 도 16a에서와 같은 3D 파이프라인(1612)), 비디오 프론트-엔드 유닛, 스레드 생성기 및 스레드 디스패처, 및 통합 반환 버퍼(예컨대, 후술하는 것과 같이, 도 17의 통합 반환 버퍼(1718))를 관리하는 통합 반환 버퍼 관리자를 포함한다.
고정 기능 블록(1530)은 또한 그래픽 SoC 인터페이스(1532), 그래픽 마이크로컨트롤러(1533) 및 미디어 파이프라인(1534)을 포함할 수 있다. 그래픽 SoC 인터페이스(1532)는 그래픽 프로세서 코어(1519)와 시스템 온 칩 집적 회로 내의 다른 프로세서 코어 사이의 인터페이스를 제공한다. 그래픽 마이크로컨트롤러(1533)는 스레드 디스패치, 스케줄링 및 선점(pre-emption)을 포함하는 그래픽 프로세서 코어(1519)의 다양한 기능을 관리하도록 구성될 수 있는 프로그램 가능한 서브-프로세서이다. 미디어 파이프라인(1534)(예컨대, 도 16a 및 도 17의 미디어 파이프라인(1616))은 이미지 및 비디오 데이터를 포함하는 멀티미디어 데이터의 디코딩, 인코딩, 사전 프로세싱 및/또는 사후 프로세싱을 용이하게 하는 로직을 포함한다. 미디어 파이프라인(1534)은 서브-코어(1521A-1521F) 내의 컴퓨팅 또는 샘플링 로직에 대한 요청을 통해 미디어 동작을 구현한다.
SoC 인터페이스(1532)는 그래픽 프로세서 코어(1519)가 범용 애플리케이션 프로세서 코어(예컨대, CPU), 및/또는 공유 LLC(last level cache) 메모리, 시스템 RAM 및/또는 내장형 온 칩 또는 온 패키지 DRAM과 같은 메모리 계층 구조 요소를 포함하는 SoC 내의 다른 컴포넌트와 통신할 수 있도록 한다. SoC 인터페이스(1532)는 또한 카메라 이미징 파이프라인과 같은 SoC 내의 고정 기능 장치와의 통신을 가능하게 할 수 있고, 그래픽 프로세서 코어(1519)와 SoC 내의 CPU 사이에서 공유될 수 있는 전역 메모리 원자를 사용 및/또는 구현할 수 있도록 한다. SoC 인터페이스(1532)는 또한 그래픽 프로세서 코어(1519)에 대한 전력 관리 제어를 구현할 수 있고, 그래픽 프로세서 코어(1519)의 클럭 도메인과 SoC 내의 다른 클럭 도메인 사이의 인터페이스를 가능하게 할 수 있다. 선택적으로, SoC 인터페이스(1532)는 그래픽 프로세서 내의 하나 이상의 그래픽 코어 각각에 커맨드 및 명령어를 제공하도록 구성된 커맨드 스트리머 및 전역 스레드 디스패처로부터 커맨드 버퍼의 수신을 가능하게 할 수 있다. 커맨드 및 명령어는 미디어 동작이 수행되어야 할 때 미디어 파이프라인(1534)에 디스패치되거나, 또는 그래픽 프로세싱 동작이 수행되어야 할 때 기하 및 고정 기능 파이프라인(예컨대, 기하 및 고정 기능 파이프라인(1531), 기하 및 고정 기능 파이프라인(1537))으로 디스패치될 수 있다.
그래픽 마이크로컨트롤러(1533)는 그래픽 프로세서 코어(1519)에 대한 다양한 스케줄링 및 관리 태스크를 수행하도록 구성될 수 있다. 일 구현예에서, 그래픽 마이크로컨트롤러(1533)는 서브-코어(1521A-1521F) 내의 실행 유닛(EU) 어레이(1522A-1522F, 1524A-1524F) 내의 다양한 그래픽 병렬 엔진 상에서 그래픽을 수행하고 및/또는 워크로드 스케줄링을 계산할 수 있다. 이 워크로드 스케줄링에서, 그래픽 프로세서 코어(1519)를 포함하는 SoC의 CPU 코어 상에서 실행되는 호스트 소프트웨어는 복수의 그래픽 프로세서 도어벨(doorbell) 중 하나에 워크로드를 제출할 수 있으며, 이는 적절한 그래픽 엔진 상에서 스케줄링 동작을 호출한다. 스케줄링 동작은 다음에 실행할 워크로드를 결정하는 것, 커맨드 스트리머에 워크로드를 제출하는 것, 엔진에서 실행중인 기존 워크로드를 선점하는 것, 워크로드의 진행 상황을 모니터링하는 것, 및 워크로드 완료시 호스트 소프트웨어에 통지하는 것을 포함한다. 선택적으로, 그래픽 마이크로컨트롤러(1533)는 또한 그래픽 프로세서 코어(1519)의 저전력 또는 유휴 상태를 용이하게 하여, 저전력 상태 전이에 걸쳐 운영 시스템 및/또는 운영 시스템의 그래픽 드라이버 소프트웨어와는 독립적으로 그래픽 프로세서 코어(1519)가 그래픽 프로세서 코어(1519) 내의 레지스터를 저장 및 복원하는 능력을 갖도록 한다.
그래픽 프로세서 코어(1519)는 도시된 서브-코어(1521A-1521F)보다 최대 N개까지 많거나 적은 모듈식 서브-코어를 가질 수 있다. N개의 서브-코어의 각각의 세트에 있어서, 그래픽 프로세서 코어(1519)는 또한 공유 기능 로직(1535), 공유 및/또는 캐시 메모리(1536), 기하/고정 기능 파이프라인(1537), 및 다양한 그래픽을 가속시키고 프로세싱 동작을 컴퓨팅하는 추가의 고정 기능 로직(1538)을 포함할 수 있다. 공유 기능 로직(1535)은 그래픽 프로세서 코어(1519) 내의 N개의 서브-코어 각각에 의해 공유될 수 있는 도 17의 공유 기능 로직(1720)과 관련된 로직 유닛(예컨대, 샘플러, 산술 및/또는 스레드 간 통신 로직)을 포함할 수 있다. 공유 및/또는 캐시 메모리(1536)는 그래픽 프로세서 코어(1519) 내의 N개의 서브-코어(1521A-1521F)의 세트에 대한 LLC일 수 있으며, 복수의 서브-코어에 의해 액세스 가능한 공유 메모리로서 동작할 수도 있다. 기하/고정 기능 파이프라인(1537)은 고정 기능 블록(1530) 내의 기하/고정 기능 파이프라인(1531) 대신에 포함될 수 있고 동일하거나 또는 유사한 로직 유닛을 포함할 수 있다.
그래픽 프로세서 코어(1519)는 그래픽 프로세서 코어(1519)에 의해 사용되는 다양한 고정 기능 가속 로직을 포함할 수 있는 추가의 고정 기능 로직(1538)을 포함한다. 선택적으로, 추가의 고정 기능 로직(1538)은 위치 전용 셰이딩에서만 사용되는 추가의 기하 파이프라인을 포함한다. 위치 전용 셰이딩에는 2개의 기하 파이프라인, 즉, 기하/고정 기능 파이프라인(1538, 1531) 내의 풀(full) 기하 파이프라인 및 추가의 고정 기능 로직(1538) 내에 포함될 수 있는 추가의 기하 파이프라인인 컬(cull) 파이프라인이 존재한다. 예를 들어, 컬 파이프라인은 풀 기하 파이프라인의 축소 버전일 수 있다. 풀 파이프라인과 컬 파이프라인은 동일한 애플리케이션의 다른 인스턴스를 실행할 수 있으며 각 인스턴스는 별개의 컨텍스트를 갖는다. 위치 전용 셰이딩은 폐기된 삼각형의 긴 컬 구간(long cull runs)을 숨길 수 있어서, 일부 인스턴스에서 더 빨리 셰이딩이 완료되도록 할 수 있다. 예를 들어, 컬 파이프라인은 정점의 위치 속성만을 페칭(fetch) 및 셰이딩(shade)하고, 프레임 버퍼에 대한 픽셀의 렌더링 및 래스터화를 수행하지 않으므로, 추가의 고정 기능 로직(1538) 내의 컬 파이프라인 로직은 메인 애플리케이션과 병렬로 위치 셰이더를 실행할 수 있고, 일반적으로 풀 파이프라인보다 중요한 결과를 더 빠르게 생성한다. 컬 파이프라인은 생성된 중요한 결과를 사용하여 해당 삼각형이 컬링되는지 여부에 관계없이 모든 삼각형에 대한 가시성 정보를 계산할 수 있다. 풀 파이프라인(이 경우 재생 파이프라인이라고도 불릴 수 있음)은 가시성 정보를 사용하여 컬링된 삼각형을 생략하고 최종적으로 래스터화 단계로 전달된 가시적 삼각형만을 셰이딩할 수 있다.
선택적으로, 추가의 고정 기능 로직(1538)은 머신 학습 훈련 또는 추론을 위한 최적화를 포함하는 구현을 위해 고정 기능 매트릭스 곱셈 로직과 같은 머신-학습 가속 로직을 포함할 수 있다.
각각의 그래픽 서브-코어(1521A-1521F)는 내부에 그래픽 파이프라인, 미디어 파이프라인, 또는 셰이더 프로그램에 의한 요청에 응답하여 그래픽, 미디어 및 컴퓨팅 동작을 수행하는데 사용될 수 있는 실행 리소스 세트를 포함한다. 그래픽 서브-코어(1521A-1521F)는 복수의 EU 어레이(1522A-1522F, 1524A-1524F), 스레드 디스패치 및 스레드 간 통신(TD/IC) 로직(1523A-1523F), 3D(예컨대, 텍스처) 샘플러(1525A-1525F), 미디어 샘플러(1506A-1506F), 셰이더 프로세서(1527A-1527F) 및 공유 로컬 메모리(SLM)(1528A-1528F)를 포함한다. EU 어레이(1522A-1522F, 1524A-1524F) 각각은 복수의 실행 유닛을 포함하는데, 이들은 그래픽, 미디어 또는 컴퓨팅 셰이더 프로그램을 포함하는 그래픽, 미디어 또는 컴퓨팅 동작 중에 부동 소수점 및 정수/고정 소수점 로직 연산을 수행할 수 있는 범용 그래픽 프로세싱 유닛이다. TD/IC 로직(1523A-1523F)은 서브-코어 내의 실행 유닛에 대한 로컬 스레드 디스패치 및 스레드 제어 동작을 수행하고, 서브-코어의 실행 유닛 상에서 실행되는 스레드 사이의 통신을 용이하게 한다. 3D 샘플러(1525A-1525F)는 텍스처 또는 다른 3D 그래픽 관련 데이터를 메모리로 판독할 수 있다. 3D 샘플러는 구성된 샘플 상태 및 주어진 텍스처와 관련된 텍스처 포맷에 따라 텍스처 데이터를 다르게 판독할 수 있다. 미디어 샘플러(1506A-1506F)는 미디어 데이터와 관련된 타입 및 포맷에 따라 유사한 판독 동작을 수행할 수 있다. 예를 들어, 각각의 그래픽 서브-코어(1521A-1521F)는 통합된 3D 및 미디어 샘플러를 교대로 포함할 수 있다. 각각의 서브-코어(1521A-1521F) 내의 실행 유닛 상에서 실행되는 스레드는 각각의 서브-코어 내의 공유 로컬 메모리(1528A-1528F)를 사용하여, 스레드 그룹 내에서 실행되는 스레드가 온 칩 메모리의 공통의 풀(pool)을 사용하여 실행될 수 있도록 한다.
도 15c는 본 명세서에 설명된 실시예에 따른 그래픽 프로세서, 예컨대 그래픽 프로세서(1508) 및/또는 컴퓨팅 가속기로서 구성될 수 있는 범용 그래픽 프로세싱 유닛(GPGPU)(1570)의 블록도이다. GPGPU(1570)는 하나 이상의 시스템 및/또는 메모리 버스를 통해 호스트 프로세서(예컨대, 하나 이상의 CPU(1546)) 및 메모리(1571, 1572)와 상호 접속될 수 있다. 메모리(1571)는 하나 이상의 CPU(들)(1546)와 공유될 수 있는 시스템 메모리인 반면, 메모리(1572)는 GPGPU(1570)에 전용인 장치 메모리이다. 예를 들어, GPGPU(1570) 내의 컴포넌트 및 장치 메모리(1572)는 하나 이상의 CPU(들)(1546)에 액세스할 수 있는 메모리 주소에 매핑될 수 있다. 메모리(1571, 1572)로의 액세스는 메모리 제어기(1568)를 통해 용이해질 수 있다. 메모리 제어기(1568)는 내부 DMA(direct memory access) 제어기(1569)를 포함하거나, 또는 DMA 제어기에 의해 수행될 동작을 수행하기 위한 로직을 포함할 수 있다.
GPGPU(1570)는 L2 캐시(1553), L1 캐시(1554), 명령어 캐시(1555)를 포함하는 복수의 캐시 메모리와, 공유 메모리(1556)를 포함하며, 공유 메모리의 적어도 일부는 또한 캐시 메모리로서 분할될 수 있다. GPGPU(1570)는 또한 복수의 컴퓨팅 유닛(1560A-1560N)을 포함한다. 각각의 컴퓨팅 유닛(1560A-1560N)은 벡터 레지스터(1561), 스칼라 레지스터(1562), 벡터 로직 유닛(1563) 및 스칼라 로직 유닛(1564)의 세트를 포함한다. 컴퓨팅 유닛(1560A-1560N)은 또한 로컬 공유 메모리(1565) 및 프로그램 카운터(1566)를 포함할 수 있다. 컴퓨팅 유닛(1560A-1560N)은 상수 캐시(1567)와 연결될 수 있으며, 상수 캐시는 상수 데이터를 저장하는데 사용될 수 있으며, 상수 데이터는 GPGPU(1570) 상에서 실행되는 커널 또는 셰이더 프로그램의 실행 동안 변경되지 않는 데이터이다. 상수 캐시(1567)는 스칼라 데이터 캐시이고 캐싱된 데이터는 스칼라 레지스터(1562)로 직접 페치(fetch)될 수 있다.
동작하는 동안, 하나 이상의 CPU(들)(1546)는 액세스 가능한 주소 공간으로 매핑된 GPGPU(1570)의 레지스터 또는 메모리에 커맨드를 기록할 수 있다. 커맨드 프로세서(1557)는 레지스터 또는 메모리로부터 커맨드를 판독하고 그 커맨드가 GPGPU(1570) 내에서 어떻게 처리될지를 결정할 수 있다. 이후 스레드 디스패처(1558)는 스레드를 컴퓨팅 유닛(1560A-1560N)에 디스패치하여 이들 커맨드를 수행하는데 이용될 수 있다. 각각의 컴퓨팅 유닛(1560A-1560N)은 다른 컴퓨팅 유닛과 독립적으로 스레드를 실행할 수 있다. 또한, 각각의 컴퓨팅 유닛(1560A-1560N)은 조건부 계산이 가능하도록 독립적으로 구성될 수 있고 계산 결과를 조건부로 메모리에 출력할 수 있다. 커맨드 프로세서(1557)는 제출된 커맨드가 완료될 때 하나 이상의 CPU(1546)를 인터럽트할 수 있다.
도 16a 내지 도 16c는, 예를 들어 도 15a 내지 15c에 따라, 본 명세서에 설명된 실시예에 의해 제공되는 추가 그래픽 프로세서 및 컴퓨팅 가속기 아키텍처의 블록도를 도시한다. 본 명세서의 임의의 다른 도면의 요소들과 동일한 또는 유사한 명칭을 갖는 도 16a 내지 도 16c의 요소들은 다른 도면들에서와 동일한 요소들을 설명하고, 그와 유사한 방식으로 동작하거나 기능할 수 있으며, 동일한 컴포넌트들을 포함할 수 있고, 제한적인 것은 아니지만 본 명세서에 기술된 것과 같은 다른 엔티티들에 링크될 수 있다.
도 16a는, 개별 그래픽 프로세싱 유닛일 수 있거나, 또는 복수의 프로세싱 코어 또는 메모리 장치 또는 네트워크 인터페이스와 같지만 이에 한정되지 않는 다른 반도체 장치가 통합된 그래픽 프로세서일 수 있는 그래픽 프로세서(1600)의 블록도이다. 그래픽 프로세서(1600)는 그래픽 프로세서(1508)의 변형일 수도 있고, 그래픽 프로세서(1508) 대신에 사용될 수도 있다. 따라서, 본 명세서에서 그래픽 멀티프로세서(1508)와 조합된 임의의 특징들의 개시는 또한 그래픽 멀티프로세서(1600)와의 대응하는 조합을 나타내지만, 이에 제한되지는 않는다. 그래픽 프로세서는 메모리 매핑된 I/O 인터페이스를 통해그래픽 프로세서 상의 레지스터와 프로세서 메모리에 위치된 커맨드로 통신할 수 있다. 그래픽 프로세서(1600)는 메모리에 액세스하는 메모리 인터페이스(1614)를 포함할 수 있다. 메모리 인터페이스(1614)는 로컬 메모리, 하나 이상의 내부 캐시, 하나 이상의 공유 외부 캐시 및/또는 시스템 메모리에 대한 인터페이스일 수 있다.
선택적으로, 그래픽 프로세서(1600)는 또한 디스플레이 출력 데이터를 디스플레이 장치(1618)로 구동하는 디스플레이 제어기(1602)를 포함한다. 디스플레이 제어기(1602)는 디스플레이를 위한 하나 이상의 오버레이 평면 및 비디오의 복수 레이어 또는 사용자 인터페이스 요소의 구성을 위한 하드웨어를 포함한다. 디스플레이 장치(1618)는 내부 또는 외부 디스플레이 장치일 수 있다. 일 실시예에서, 디스플레이 장치(1618)는 가상 현실(VR) 디스플레이 장치 또는 증강 현실(AR) 디스플레이 장치와 같은 헤드 마운트 디스플레이 장치이다. 그래픽 프로세서(1600)는 MPEG-2와 같은 MPEG(Moving Picture Experts Group) 포맷, H.264/MPEG-4 AVC, H.265/HEVC, AOMedia(Alliance for Open Media) VP8, VP9 및 SMPTE(Society of Motion Picture & Television Engineers) 421M/VC-1와 같은 AVC(Advanced Video Coding) 포맷 및 JPEG(Joint Photographic Experts Group) 및 MJPEG(Motion JPEG)와 같은 JPEG 포맷을 포함하지만 이에 한정되지 않는, 하나 이상의 미디어 인코딩 포맷으로, 그 포맷으로부터 또는 그 포맷 사이에서 미디어를 인코딩, 디코딩 또는 트랜스코딩하는 비디오 코덱 엔진(1606)을 포함할 수 있다.
그래픽 프로세서(1600)는, 예를 들어 비트-경계 블록 전송을 포함하는 2차원(2D) 래스터화 동작을 수행하는 블록 이미지 전송(BLIT) 엔진(1604)을 포함할 수 있다. 그러나, 이와 달리, 2D 그래픽 동작은 그래픽 프로세싱 엔진(GPE)(1610)의 하나 이상의 컴포넌트를 사용하여 수행될 수 있다. 일부 실시예에서, GPE(1610)는 3차원(3D) 그래픽 동작 및 미디어 동작을 포함하는 그래픽 동작을 수행하는 컴퓨팅 엔진이다.
GPE(1610)는 3D 프리미티브 형상(예컨대, 직사각형, 삼각형 등)에 작용하는 프로세싱 기능을 사용하여 3차원 이미지 및 장면을 렌더링하는 것과 같은 3D 동작을 수행하는 3D 파이프라인(1612)을 포함할 수 있다. 3D 파이프라인(1612)은 요소 내에서 다양한 태스크를 수행하고/하거나 3D/미디어 서브-시스템(1615)에 실행 스레드를 생성하는, 프로그램 가능하고 고정된 기능 요소를 포함한다. 3D 파이프라인(1612)은 미디어 동작을 수행하기 위해 사용될 수 있지만, GPE(1610)의 실시예는 또한, 비디오 사후-프로세싱 및 이미지 향상과 같은 미디어 동작을 수행하는데 특히 사용되는 미디어 파이프라인(1616)을 포함한다.
미디어 파이프라인(1616)은 비디오 코덱 엔진(1606) 대신 또는 비디오 코덱 엔진(1606)을 위해 비디오 디코딩 가속, 비디오 디인터레이싱 및 비디오 인코딩 가속과 같은 하나 이상의 특수 미디어 동작을 수행하는 고정된 기능 또는 프로그램 가능한 로직 유닛을 포함할 수 있다. 미디어 파이프라인(1616)은 3D/미디어 서브-시스템(1615) 상에서 실행되는 스레드를 생성하는 스레드 생성 유닛을 추가로 포함할 수 있다. 생성된 스레드는 3D/미디어 서브-시스템(1615)에 포함된 하나 이상의 그래픽 실행 유닛 상에서 미디어 동작에 대한 계산을 수행한다.
3D/미디어 서브-시스템(1615)은 3D 파이프라인(1612) 및 미디어 파이프라인(1616)에 의해 생성된 스레드를 실행하는 로직을 포함할 수 있다. 파이프라인은 스레드 실행 요청을 3D/미디어 서브-시스템(1615)에 전송할 수 있고, 3D/미디어 서브-시스템은 사용 가능한 스레드 실행 리소스에 대한 다양한 요청을 중재 및 발송하는 스레드 디스패치 로직을 포함한다. 실행 리소스는 3D 및 미디어 스레드를 프로세싱하는 그래픽 실행 유닛의 어레이를 포함한다. 3D/미디어 서브-시스템(1615)은 스레드 명령어 및 데이터를 위한 하나 이상의 내부 캐시를 포함할 수 있다. 3D/미디어 서브-시스템(1615)은 또한 스레드들 사이에서 데이터를 공유하고 출력 데이터를 저장하는 레지스터 및 어드레서블(addressable) 메모리를 포함하는 공유 메모리를 포함할 수 있다.
도 16b는 그래픽 프로세서(1600)의 변형으로, 그래픽 프로세서(1600) 대신에 사용될 수 있는 그래픽 프로세서(1620)(그 반대로 가능함)를 도시한다. 따라서, 본 명세서에서 그래픽 프로세서(1600)와 조합된 임의의 특징들의 개시는 또한 그래픽 프로세서(1620)와의 대응하는 조합을 나타내지만, 이에 제한되지는 않는다. 그래픽 프로세서(1620)는 본 명세서에 설명된 실시예에 따른, 타일형 아키텍처를 갖는다. 그래픽 프로세서(1620)는 그래픽 엔진 타일(1610A-1610D) 내에 도 16a의 그래픽 프로세싱 엔진(1610)의 복수의 인스턴스를 갖는 그래픽 프로세싱 엔진 클러스터(1622)를 포함할 수 있다. 각각의 그래픽 엔진 타일(1610A-1610D)은 타일 상호 접속부(1623A-1623F) 세트를 통해 상호 접속될 수 있다. 각각의 그래픽 엔진 타일(1610A-1610D)은 또한 메모리 상호 접속부(1625A-1625D)를 통해 메모리 모듈 또는 메모리 장치(1626A-1626D)에 연결될 수 있다. 메모리 장치(1626A-1626D)는 임의의 그래픽 메모리 기술을 사용할 수 있다. 예를 들어, 메모리 장치(1626A-1626D)는 GDDR 메모리일 수 있다. 메모리 장치(1626A-1626D)는 각각의 그래픽 엔진 타일(1610A-1610D)과 함께 온 다이(on-die) 형식일 수 있는 고대역폭 메모리(HBM) 모듈일 수 있다. 메모리 장치(1626A-1626D)는 각각의 그래픽 엔진 타일(1610A-1610D) 위에 적층될 수 있는 적층 메모리 장치일 수 있다. 각각의 그래픽 엔진 타일(1610A-1610D) 및 관련 메모리(1626A-1626D)는 도 24b 내지 도 24d에서 더 상세히 설명되는 것과 같이, 베이스 다이 또는 베이스 기판에 본딩된 개별 칩렛(chiplet) 상에 위치할 수 있다.
그래픽 프로세서(1620)는 NUMA(non-uniform memory access) 시스템으로 구성될 수 있는데, 여기서 메모리 장치(1626A-1626D)는 관련 그래픽 엔진 타일(1610A-1610D)에 연결된다. 주어진 메모리 장치는 직접 연결된 타일보다 그래픽 엔진 타일에 의해 액세스될 수 있다. 그러나, 메모리 장치(1626A-1626D)에 대한 액세스 대기 시간은 로컬 타일에 액세스할 때 가장 낮을 수 있다. 일 실시예에서, 그래픽 엔진 타일(1610A-1610D) 내 캐시 제어기들 사이의 통신을 가능하게 하는 타일 상호 접속(1623A-1623F)을 사용하는 캐시 코히어런트 NUMA(ccNUMA: cache coherent NUMA) 시스템은, 하나 초과의 캐시가 동일한 메모리 위치를 저장할 때 일관된 메모리 이미지를 유지할 수 있다.
그래픽 프로세싱 엔진 클러스터(1622)는 온-칩 또는 온-패키지 패브릭 상호 접속부(1624)와 접속할 수 있다. 패브릭 상호 접속부(1624)는 그래픽 엔진 타일(1610A-1610D)과 비디오 코덱(1606) 및 하나 이상의 카피 엔진(1604)과 같은 컴포넌트 사이의 통신을 가능하게 할 수 있다. 카피 엔진(1604)은 메모리 장치(1626A-1626D)와 그래픽 프로세서(1620)의 외부에 있는 메모리(예컨대, 시스템 메모리)로부터, 이들로, 또는 이들 사이에서 데이터를 이동시키기 위해 사용될 수 있다. 패브릭 상호 접속부(1624)는 또한 그래픽 엔진 타일(1610A-1610D)을 상호 접속하는데 사용될 수 있다. 그래픽 프로세서(1620)는 외부 디스플레이 장치(1618)와의 접속을 가능하게 하는 디스플레이 제어기(1602)를 선택적으로 포함할 수 있다. 그래픽 프로세서는 또한 그래픽 또는 컴퓨팅 가속기로서 구성될 수 있다. 가속기 구성에서, 디스플레이 제어기(1602) 및 디스플레이 장치(1618)는 생략될 수 있다.
그래픽 프로세서(1620)는 호스트 인터페이스(1628)를 통해 호스트 시스템에 접속될 수 있다. 호스트 인터페이스(1628)는 그래픽 프로세서(1620), 시스템 메모리 및/또는 다른 시스템 컴포넌트 사이의 통신을 가능하게 할 수 있다. 호스트 인터페이스(1628)는, 예를 들어 PCI 익스프레스 버스 또는 호스트 시스템 인터페이스의 다른 타입일 수 있다.
도 16c는 본 명세서에서 설명된 실시예에 따른 컴퓨팅 가속기(1630)를 도시한다. 컴퓨팅 가속기(1630)는 도 3b의 그래픽 프로세서(1620)와 구조적 유사성을 가질 수 있고 컴퓨팅 가속에 최적화되어 있다. 컴퓨팅 엔진 클러스터(1632)는 병렬 또는 벡터 기반 범용 컴퓨팅 동작에 최적화된 실행 로직을 포함하는 컴퓨팅 엔진 타일(1640A-1640D) 세트를 포함할 수 있다. 일부 실시예에서 하나 이상의 컴퓨팅 엔진 타일(1640A-1640D)은 미디어 가속을 수행하는 로직을 포함할 수 있지만, 컴퓨팅 엔진 타일(1640A-1640D)은 고정 기능 그래픽 프로세싱 로직을 포함하지 않을 수도 있다. 컴퓨팅 엔진 타일(1640A-1640D)은 메모리 상호 접속부(1625A-1625D)를 통해 메모리(1626A-1626D)에 접속할 수 있다. 메모리(1626A-1626D) 및 메모리 상호 접속부(1625A-1625D)는 그래픽 프로세서(1620)에서와 같이 유사한 기술일 수도 있고 또는 상이할 수도 있다. 그래픽 컴퓨팅 엔진 타일(1640A-1640D)은 또한 타일 상호 접속부(1623A-1623F) 세트를 통해 상호 접속될 수 있고 패브릭 상호 접속부(1624)에 접속될 수 있고/있거나 패브릭 상호 접속부(1624)에 의해 상호 접속될 수 있다. 일 실시예에서, 컴퓨팅 가속기(1630)는 장치 전체의 캐시로 구성될 수 있는 큰 L3 캐시(1636)를 포함한다. 컴퓨팅 가속기(1630)는 또한 도 16b의 그래픽 프로세서(1620)와 유사한 방식으로 호스트 인터페이스(1628)를 통해 호스트 프로세서 및 메모리에 접속될 수 있다.
그래픽 프로세싱 엔진
도 17은 일부 실시예에 따른 그래픽 프로세서의 그래픽 프로세싱 엔진(1710)의 블록도이다. 그래픽 프로세싱 엔진(GPE)(1710)은 도 16a에 도시된 GPE(1610)의 버전일 수 있고, 또한 도 16b의 그래픽 엔진 타일(1610A-1610D)을 나타낼 수도 있다. 본 명세서의 임의의 다른 도면의 요소들과 동일한 또는 유사한 명칭을 갖는 도 17의 요소들은 다른 도면들에서와 동일한 요소들을 설명하고, 그와 유사한 방식으로 동작하거나 기능할 수 있으며, 동일한 컴포넌트들을 포함할 수 있고, 제한적인 것은 아니지만 본 명세서에 기술된 것과 같은 다른 엔티티들에 링크될 수 있다. 예를 들어, 도 16a의 3D 파이프라인(1612) 및 미디어 파이프라인(1616)이 도 17에 도시되어 있다. 미디어 파이프라인(1616)은 GPE(1710)의 일부 실시예에서 선택적이고, GPE(1710) 내에 명시적으로 포함되지 않을 수 있다. 예를 들어, 적어도 하나의 실시예에서, 별도의 미디어 및/또는 이미지 프로세서가 GPE(1710)에 연결된다.
GPE(1710)는 3D 파이프라인(1612) 및/또는 미디어 파이프라인(1616)에 커맨드 스트림을 제공하는 커맨드 스트리머(1703)에 연결되거나, 이를 포함한다. 이에 더하여 또는 이에 갈음하여, 커맨드 스트리머(1703)는 통합된 반환 버퍼(1718)에 직접 연결될 수 있다. 통합된 반환 버퍼(1718)는 그래픽 코어 어레이(1714)에 통신 가능하게 연결될 수 있다. 선택적으로, 커맨드 스트리머(1703)는 메모리에 연결되는데, 이 메모리는 시스템 메모리 또는 하나 이상의 내부 캐시 메모리 및 공유 캐시 메모리일 수 있다. 커맨드 스트리머(1703)는 메모리로부터 커맨드를 수신할 수 있고 그 커맨드를 3D 파이프라인(1612) 및/또는 미디어 파이프라인(1616)으로 전송한다. 커맨드는 링 버퍼로부터 페치된 지시(directive)이며, 링 버퍼는 3D 파이프라인(1612) 및 미디어 파이프라인(1616)에 대한 커맨드를 저장한다. 링 버퍼는 복수의 커맨드의 배치(batch)를 저장하는 배치 커맨드 버퍼를 추가로 포함할 수 있다. 3D 파이프라인(1612)에 대한 커맨드는 또한 3D 파이프라인(1612)에 대한 정점 및 기하 데이터 및/또는 미디어 파이프라인(1616)에 대한 이미지 데이터 및 메모리 객체와 같은 그러나 이에 한정되지 않는, 메모리에 저장된 데이터에 대한 참조를 포함할 수 있다. 3D 파이프라인(1612)과 미디어 파이프라인(1616)은 각각의 파이프라인 내에서 로직을 통해 동작을 수행하거나 또는 하나 이상의 실행 스레드를 그래픽 코어 어레이(1714)에 디스패치함으로써 커맨드 및 데이터를 프로세싱한다. 그래픽 코어 어레이(1714)는 그래픽 코어(예컨대, 그래픽 코어(들)(1715A), 그래픽 코어(들)(1715B))의 하나 이상의 블록을 포함할 수 있고, 각각의 블록은 하나 이상의 그래픽 코어를 포함한다. 각각의 그래픽 코어는 그래픽 및 컴퓨팅 동작을 수행하는 범용 및 그래픽용 실행 로직과, 고정 기능 텍스처 프로세싱 및/또는 머신 학습 및 인공 지능 가속 로직을 포함하는 그래픽 실행 리소스 세트를 포함한다.
다양한 실시예에서, 3D 파이프라인(1612)은 명령어를 프로세싱하고 그래픽 코어 어레이(1714)에 실행 스레드를 디스패칭함으로써 정점 셰이더, 기하 셰이더, 픽셀 셰이더, 프래그먼트 셰이더, 컴퓨팅 셰이더 또는 다른 셰이더 프로그램과 같은 하나 이상의 셰이더 프로그램을 프로세싱하는 고정 기능 및 프로그램 가능한 로직을 포함할 수 있다. 그래픽 코어 어레이(1714)는 이들 셰이더 프로그램을 프로세싱하는데 사용되는 실행 리소스의 통합 블록을 제공한다. 그래픽 코어 어레이(1714)의 그래픽 코어(들)(1715A, 1715B) 내의 다목적 실행 로직(예컨대, 실행 유닛)은 다양한 3D API 셰이더 언어에 대해 지원하고 복수의 셰이더와 관련된 복수의 동시 실행 스레드를 실행할 수 있다.
그래픽 코어 어레이(1714)는 또한 비디오 및/또는 이미지 프로세싱과 같은 미디어 기능을 수행하는 실행 로직을 포함할 수 있다. 실행 유닛은 그래픽 프로세싱 동작 외에 병렬 범용 컴퓨팅 동작을 수행하도록 프로그램될 수 있는 범용 로직을 포함할 수 있다. 범용 로직은 도 14의 프로세서 코어(들)(1407) 또는 도 15a에서와 같이 코어(1502A-1502N) 내에서 범용 로직과 병렬로 또는 함께 프로세싱 동작을 수행할 수 있다.
그래픽 코어 어레이(1714) 상에서 실행되는 스레드에 의해 생성된 출력 데이터는 데이터를 통합 반환 버퍼(URB)(1718)의 메모리로 출력할 수 있다. URB(1718)는 복수의 스레드에 대한 데이터를 저장할 수 있다. URB(1718)는 그래픽 코어 어레이(1714) 상에서 실행되는 상이한 스레드 사이에서 데이터를 전송하는데 사용될 수 있다. URB(1718)는 또한 그래픽 코어 어레이(1714) 상의 스레드와 공유 기능 로직(1720) 내의 고정 기능 로직 사이의 동기화를 위해 추가적으로 사용될 수 있다.
선택적으로, 그래픽 코어 어레이(1714)는 확장 가능하므로, 어레이는 가변 개수의 그래픽 코어를 포함하고, 각각의 그래픽 코어는 GPE(1710)의 목표 전력 및 성능 레벨에 따라 가변 개수의 실행 유닛을 갖는다. 실행 리소스는 동적으로 확장 가능하므로 실행 리소스는 필요에 따라 활성화 또는 비활성화될 수 있다.
그래픽 코어 어레이(1714)는 그래픽 코어 어레이의 그래픽 코어들 사이에서 공유되는 복수의 리소스를 포함하는 공유 기능 로직(1720)과 연결된다. 공유 기능 로직(1720) 내의 공유 기능은 그래픽 코어 어레이(1714)에 특수 보충 기능을 제공하는 하드웨어 로직 유닛이다. 다양한 실시예에서, 공유 기능 로직(1720)은 샘플러(1721), 산술(1722) 및 스레드 간 통신(ITC)(1723) 로직을 포함하지만 이에 한정되는 것은 아니다. 또한, 공유 기능 로직(1720) 내에 하나 이상의 캐시(들)(1725)가 구현될 수 있다.
공유 기능은 적어도 주어진 특수 기능에 대한 요구가 그래픽 코어 어레이(1714) 내에 포함시키기에 불충분한 경우에 구현된다. 대신에, 그 특수 기능의 단일 인스턴스화는 공유 기능 로직(1720)의 독립된 엔티티로서 구현되고, 그래픽 코어 어레이(1714) 내의 실행 리소스 사이에서 공유된다. 그래픽 코어 어레이(1714) 사이에서 공유되고 그래픽 코어 어레이(1714) 내에 포함되는 기능의 정확한 세트는 실시예에 따라 변한다. 그래픽 코어 어레이(1714)에 의해 광범위하게 사용되는 공유 기능 로직(1720) 내의 특정 공유 기능은 그래픽 코어 어레이(1714) 내의 공유 기능 로직(1716) 내에 포함될 수 있다. 선택적으로, 그래픽 코어 어레이(1714) 내의 공유 기능 로직(1716)은 공유 기능 로직(1720) 내의 일부 또는 모든 로직을 포함할 수 있다. 공유 기능 로직(1720) 내의 모든 로직 요소는 그래픽 코어 어레이(1714)의 공유 기능 로직(1716) 내에서 중복될 수 있다. 또는, 공유 기능 로직(1720)은 그래픽 코어 어레이(1714) 내의 공유 기능 로직(1716)을 위해 배제된다.
실행 유닛
도 18a 및 도 18b는 본 명세서에 설명된 실시예에 따른 그래픽 프로세서 코어에서 사용되는 프로세싱 요소들의 어레이를 포함하는 스레드 실행 로직(1800)을 도시한다. 본 명세서의 임의의 다른 도면의 요소들과 동일한 또는 유사한 명칭을 갖는 도 18a 내지 도 18b의 요소들은 다른 도면들에서와 동일한 요소들을 설명하고, 그와 유사한 방식으로 동작하거나 기능할 수 있으며, 동일한 컴포넌트들을 포함할 수 있고, 제한적인 것은 아니지만 본 명세서에 기술된 것과 같은 다른 엔티티들에 링크될 수 있다. 도 18a 및 도 18b는 스레드 실행 로직(1800)의 개요를 도시하며, 이는 도 15b의 각각의 서브-코어(1521A-1521F)로 도시된 하드웨어 로직을 나타낼 수 있다. 도 18a는 범용 그래픽 프로세서 내의 실행 유닛을 도시하고, 도 18b는 컴퓨팅 가속기 내에서 사용될 수 있는 실행 유닛을 도시한다.
도 18a에 도시된 것과 같이, 스레드 실행 로직(1800)은 셰이더 프로세서(1802), 스레드 디스패처(1804), 명령어 캐시(1806), 복수의 실행 유닛(1808A-1808N)을 포함하는 확장 가능한 실행 유닛 어레이, 샘플러(1810), 공유 로컬 메모리(1811), 데이터 캐시(1812), 및 데이터 포트(1814)를 포함한다. 선택적으로, 확장 가능한 실행 유닛 어레이는 워크로드의 계산 요구 사항에 따라 하나 이상의 실행 유닛(예컨대, 임의의 실행 유닛(1808A, 1808B, 1808C, 1808D, 내지 1808N-1 및 1808N))을 활성화 또는 비활성화함으로써 동적으로 확장될 수 있다. 포함된 컴포넌트는 각각의 컴포넌트에 연결되는 상호 접속 패브릭을 통해 상호 접속될 수 있다. 스레드 실행 로직(1800)은 명령어 캐시(1806), 데이터 포트(1814), 샘플러(1810) 및 실행 유닛(1808A-1808N) 중 하나 이상을 통해 시스템 메모리 또는 캐시 메모리와 같은 메모리로의 하나 이상의 접속을 포함할 수 있다. 각각의 실행 유닛(예컨대, 1808A)은 각각의 스레드에 대해 복수의 데이터 요소를 병렬로 프로세싱하면서 복수의 동시 하드웨어 스레드를 실행할 수 있는 독립형의 프로그램 가능한 범용 컴퓨팅 유닛일 수 있다. 다양한 실시예에서, 실행 유닛(1808A-1808N)의 어레이는 임의의 개수의 개별 실행 유닛을 포함하도록 확장 가능하다.
실행 유닛(1808A-1808N)은 주로 셰이더 프로그램을 실행하는데 사용될 수 있다. 셰이더 프로세서(1802)는 다양한 셰이더 프로그램을 프로세싱하고 스레드 디스패처(1804)를 통해 셰이더 프로그램과 관련된 실행 스레드를 디스패치할 수 있다. 스레드 디스패처는 그래픽 및 미디어 파이프라인으로부터 스레드 개시 요청을 중재하고 요청된 스레드를 하나 이상의 실행 유닛(1808A-1808N) 상에서 인스턴스화하는 로직을 포함할 수 있다. 예를 들어, 기하 파이프라인은 프로세싱을 위해 정점, 테셀레이션(tessellation) 또는 기하 셰이더를 스레드 실행 로직으로 디스패치할 수 있다. 선택적으로, 스레드 디스패처(1804)는 또한 실행 셰이더 프로그램으로부터의 런타임 스레드 생성 요청을 프로세싱할 수 있다.
실행 유닛(1808A-1808N)은 그래픽 라이브러리(예컨대, Direct 3D 및 OpenGL)로부터의 셰이더 프로그램이 최소의 변환으로 실행되도록 많은 표준 3D 그래픽 셰이더 명령어에 대한 기본적인 지원을 포함하는 명령어 세트를 지원할 수 있다. 실행 유닛은 정점 및 기하 프로세싱(예컨대, 정점 프로그램, 기하 프로그램, 정점 셰이더), 픽셀 프로세싱(예컨대, 픽셀 셰이더, 프래그먼트 셰이더) 및 범용 프로세싱(예컨대, 컴퓨팅 및 미디어 셰이더)을 지원한다. 각각의 실행 유닛(1808A-1808N)은 복수 발행 단일 명령어 복수 데이터(SIMD) 실행이 가능하고, 멀티-스레드 동작은 더 긴 대기 시간(latency)을 갖는 메모리 액세스에도 불구하고 효율적인 실행 환경을 가능하게 한다. 각각의 실행 유닛 내의 각각의 하드웨어 스레드는 전용 고대역 레지스터 파일과 관련 독립 스레드-상태를 갖는다. 실행은 정수, 단정밀도 및 배정밀도 부동 소수점 연산, SIMD 분기 기능, 논리 연산, 초월 연산 및 다른 기타 연산을 수행할 수 있는 파이프라인에 대해 클럭 당 복수로 발행된다. 메모리로부터 또는 공유 기능 중 하나로부터 데이터를 기다리는 동안, 실행 유닛(1808A-1808N) 내의 의존적인 로직은 요청된 데이터가 반환될 때까지 대기중인 스레드를 휴면 상태로 만든다. 대기중인 스레드가 휴면 상태인 동안, 하드웨어 리소스는 다른 스레드를 프로세싱하는데 사용될 수 있다. 예를 들어, 정점 셰이더 동작과 관련된 지연 시간 동안, 실행 유닛은 픽셀 셰이더, 프래그먼트 셰이더 또는 도 21에 도시된 정점 셰이더(2107)와 같은 다른 정점 셰이더를 포함하는 다른 타입의 셰이더 프로그램에 대한 동작을 수행할 수 있다. 다양한 실시예는 SIMD를 사용하는 대신 또는 SIMD의 사용에 부가적으로 SIMT(Single Instruction Multiple Thread)를 사용함으로써 실행할 수 있다. SIMD 코어 또는 동작에 대한 참조는 또한 SIMT에 적용되거나 또는 SIMT와 함께 SIMD에 적용될 수 있다.
실행 유닛(1808A-1808N)의 각각의 실행 유닛은 데이터 요소의 어레이 상에서 동작한다. 데이터 요소의 개수는 "실행 크기" 또는 명령어에 대한 채널의 개수이다. 실행 채널은 명령어 내의 데이터 요소 액세스, 마스킹 및 흐름 제어에 대한 실행의 논리적 유닛이다. 채널의 개수는 특정 그래픽 프로세서에 대한 물리적 산술 로직 유닛(ALU) 또는 부동 소수점 유닛(FPU) 또는 다른 로직 유닛(예컨대, 텐서 코어, 광선 추적 코어 등)의 개수에 독립적일 수 있다. 또한, 실행 유닛(1808A-1808N)은 정수 및 부동 소수점 데이터 타입을 지원한다.
실행 유닛 명령어 세트는 SIMD 명령어를 포함한다. 다양한 데이터 요소는 레지스터에 패킹된 데이터 타입으로서 저장될 수 있고, 실행 유닛은 요소의 데이터 크기에 따라 다양한 요소를 프로세싱할 것이다. 예를 들어, 256 비트 폭의 벡터에 대해 동작하는 경우, 256 비트의 벡터가 레지스터에 저장되고, 실행 유닛은, 4개의 개별적인 64 비트 패킹된 데이터 요소(Quad-Word(QW) 크기의 데이터 요소), 8개의 개별적인 32 비트 패킹된 데이터 요소(DW(Double Word) 크기의 데이터 요소), 16개의 개별적인 16 비트 패킹된 데이터 요소(Word(W) 크기의 데이터 요소) 또는 32개의 개별적인 8 비트 패킹된 데이터 요소(byte(B) 크기의 데이터 요소)로서 벡터에 대해 동작한다. 그러나, 다른 벡터 폭과 레지스터 크기도 가능하다.
선택적으로, 하나 이상의 실행 유닛은, 결합된 EU에 공통인 스레드 제어 로직(1807A-1807N)을 갖는 결합된 실행 유닛(EU)(1809A-1809N)으로 결합될 수 있다. 복수의 EU가 EU 그룹에 결합될 수 있다. 결합된 EU 그룹의 각각의 EU는 별도의 SIMD 하드웨어 스레드를 실행하도록 구성될 수 있다. 결합된 EU 그룹에서의 EU의 개수는 실시예에 따라 달라질 수 있다. 또한 SIMD8, SIMD16 및 SIMD32를 포함하지만 이에 한정되지 않는 다양한 SIMD 폭이 각각의 EU 별로 수행될 수 있다. 각각의 결합된 그래픽 실행 유닛(1809A-1809N)은 적어도 2개의 실행 유닛을 포함한다. 예를 들어, 결합된 실행 유닛(1809A)은 제1 EU(1808A), 제2 EU(1808B), 및 제1 EU(1808A)와 제2 EU(1808B)에 공통인 스레드 제어 로직(1807A)을 포함한다. 스레드 제어 로직(1807A)은 결합된 그래픽 실행 유닛(1809A) 상에서 실행되는 스레드를 제어하여, 결합된 실행 유닛(1809A-1809N) 내의 각각의 EU가 공통 명령어 포인터 레지스터를 사용하여 실행될 수 있도록 한다.
하나 이상의 내부 명령어 캐시(예컨대, 1806)가 스레드 실행 로직(1800)에 포함되어 실행 유닛에 대한 스레드 명령어를 캐싱한다. 스레드를 실행하는 동안 스레드 데이터를 캐싱하는 하나 이상의 데이터 캐시(예컨대, 1812)가 스레드 실행 로직(1800)에 포함될 수 있다. 실행 로직(1800) 상에서 실행되는 스레드는 또한 명시적으로 관리되는 데이터를 공유 로컬 메모리(1811)에 저장할 수 있다. 샘플러(1810)는 3D 동작을 위한 텍스처 샘플링 및 미디어 동작을 위한 미디어 샘플링을 제공하기 위해 포함될 수 있다. 샘플러(1810)는 샘플링된 데이터를 실행 유닛에 제공하기 전에 샘플링 프로세싱 동안 텍스처 또는 미디어 데이터를 프로세싱하는 특수 텍스처 또는 미디어 샘플링 기능을 포함할 수 있다.
실행하는 동안, 그래픽 및 미디어 파이프라인은 스레드 개시 요청을 스레드 생성 및 디스패치 로직을 통해 스레드 실행 로직(1800)으로 전송한다. 일단 기하학적 객체 그룹이 프로세싱되어 픽셀 데이터로 래스터화 되면, 셰이더 프로세서(1802) 내의 픽셀 프로세서 로직(예컨대, 픽셀 셰이더 로직, 프래그먼트 셰이더 로직 등)이 호출되어 출력 정보를 추가로 계산하고 결과를 출력 표면(예컨대, 컬러 버퍼, 깊이 버퍼, 스텐실 버퍼 등)에 기록한다. 픽셀 셰이더 또는 프래그먼트 셰이더는 래스터화된 객체에 걸쳐 보간될 다양한 정점 속성의 값을 계산할 수 있다. 이후 셰이더 프로세서(1802) 내의 픽셀 프로세서 로직은 API(application programming interface) 제공 픽셀 또는 프래그먼트 셰이더 프로그램을 실행할 수 있다. 셰이더 프로그램을 실행하기 위해, 셰이더 프로세서(1802)는 스레드 디스패처(1804)를 통해 스레드를 실행 유닛(예컨대, 1808A)으로 디스패치한다. 셰이더 프로세서(1802)는 샘플러(1810)의 텍스처 샘플링 로직을 사용하여 메모리에 저장된 텍스처 맵의 텍스처 데이터에 액세스할 수 있다. 텍스처 데이터 및 입력 기하 데이터에 대한 산술 연산은 각각의 기하학적 프래그먼트에 대한 픽셀 컬러 데이터를 계산하거나, 또는 다른 프로세싱에서 하나 이상의 픽셀을 폐기한다.
또한, 데이터 포트(1814)는 그래픽 프로세서 출력 파이프라인 상에서의 추가 프로세싱을 위해 프로세싱된 데이터를 메모리로 출력하는 스레드 실행 로직(1800)에 대한 메모리 액세스 메커니즘을 제공할 수 있다. 데이터 포트(1814)는 데이터 포트(1814)를 통한 메모리 액세스를 위해 데이터를 캐싱하는 하나 이상의 캐시 메모리(예컨대, 데이터 캐시(1812))를 포함하거나 또는 이에 연결된다.
선택적으로, 실행 로직(1800)은 또한 광선 추적 가속 기능을 제공할 수 있는 광선 추적기(1805)를 포함할 수 있다. 광선 추적기(1805)는 광선 생성을 위한 명령어/기능을 포함하는 광선 추적 명령어 세트를 지원할 수 있다. 광선 추적 명령어 세트는 도 3c의 광선 추적 코어(372)에 의해 지원되는 광선 추적 명령어 세트와 유사할 수도 있고 또는 상이할 수도 있다.
도 18b는 실행 유닛(1808)의 예시적인 내부 세부 사항을 도시한다. 그래픽 실행 유닛(1808)은 명령어 페치 유닛(1837), GRF(general register file) 어레이(1824), ARF(architecture register file) 어레이(1826), 스레드 중재자(1822), 송신 유닛(1830), 분기 유닛(1832), SIMD FPUs(floating point units)(1834) 세트를 포함할 수 있고, 선택적으로 전용 정수 SIMD ALU(1835) 세트를 포함할 수 있다. GRF(1824) 및 ARF(1826)는 그래픽 실행 유닛(1808)에서 활성화될 수 있는 각각의 동시 하드웨어 스레드와 관련된 일반 레지스터 파일 및 아키텍처 레지스터 파일의 세트를 포함한다. 스레드 당 구조적 상태는 ARF(1826)에 유지되고, 스레드를 실행하는 동안 사용된 데이터는 GRF(1824)에 저장될 수 있다. 각각의 스레드에 대한 명령어 포인터를 포함하는 각각의 스레드의 실행 상태는 ARF(1826)의 스레드 특정 레지스터에 보유될 수 있다.
그래픽 실행 유닛(1808)은 SMT(Simultaneous Multi-Threading) 및 파인 그레인드(fine-grained) IMT(Interleaved Multi-Threading)의 조합인 아키텍처를 가질 수 있다. 이 아키텍처는 동시 스레드의 대상 개수와 실행 유닛 당 레지스터 개수에 따라 설계 시에 미세 조정이 가능한 모듈식 구성을 가질 수 있는데, 여기서 실행 유닛 리소스는 복수의 동시 스레드를 실행하는데 사용되는 로직에 걸쳐 분배된다. 그래픽 실행 유닛(1808)에 의해 실행될 수 있는 로직 스레드의 개수는 하드웨어 스레드의 개수로 제한되지 않으며, 복수의 로직 스레드가 각각의 하드웨어 스레드에 할당될 수 있다.
선택적으로, 그래픽 실행 유닛(1808)은 복수의 명령어를 공동 발행할 수 있으며, 이는 각각 다른 명령어일 수 있다. 그래픽 실행 유닛 스레드(1808)의 스레드 중재자(1822)는 실행을 위해 명령어를 전송 유닛(1830), 분기 유닛(1832) 또는 SIMD FPU(들)(1834) 중 하나에 디스패치할 수 있다. 각각의 실행 스레드는 GRF(1824) 내의 128개의 범용 레지스터에 액세스할 수 있는데, 각각의 레지스터는 32 비트 데이터 요소의 SIMD 8 요소 벡터로서 액세스가능한 32 바이트를 저장할 수 있다. 각각의 실행 유닛 스레드는 GRF(1824) 내에서 4KB에 액세스할 수 있지만, 실시예는 이에 한정되지 않고, 더 많거나 또는 더 적은 레지스터 리소스가 다른 실시예에서 제공될 수도 있다. 그래픽 실행 유닛(1808)은 컴퓨팅 동작을 독립적으로 수행할 수 있는 7개의 하드웨어 스레드로 분할되지만, 실행 유닛 당 스레드의 개수는 또한 실시예에 따라 변할 수 있는데, 예를 들면 16개까지의 하드웨어 스레드가 지원될 수 있다. 7개의 스레드가 4KB에 액세스할 수 있는 실시예에서, GRF(1824)는 총 28KB를 저장할 수 있다. 다른 실시예에서, 16개의 스레드가 4KB에 액세스할 수 있는 경우 GRF(1824)는 총 64KB를 저장할 수 있다. 그러나, 실행 유닛 당 스레드의 수는 이들 예에 제한되지 않고, 주어진 개수보다 더 많을 수도 있고 더 적을 수도 있다. 유연한 어드레싱 모드는 레지스터들을 함께 어드레싱하여 효과적으로 더 넓은 레지스터를 구성하거나 또는 스트라이드된(strided) 사각형 블록 데이터 구조를 나타낼 수 있다.
이에 더하여 또는 이에 갈음하여, 메모리 동작, 샘플러 동작 및 다른 대기 시간이 긴 시스템 통신은 메시지 전달 송신 유닛(1830)에 의해 실행되는 "송신" 명령어를 통해 디스패치된다. 분기 명령어는 전용 분기 유닛(1832)으로 디스패치되어 SIMD 발산 및 최종 수렴을 용이하게 할 수 있다.
그래픽 실행 유닛(1808)은 부동 소수점 연산을 수행하는 하나 이상의 SIMD 부동 소수점 유닛(FPU)(1834)을 포함한다. FPU(들)(1834)는 또한 정수 계산을 지원할 수 있다. 일부 예에서, FPU(들)(1834)는 M개의 32 비트 부동 소수점(또는 정수) 연산까지 SIMD 실행을 할 수 있거나, 또는 최대 2M개의 16 비트 정수 또는 16 비트 부동 소수점 연산까지 SIMD 실행을 할 수 있다. 선택적으로, FPU(들) 중 적어도 하나는 고처리량 초월 산술 함수 및 배정밀도 64 비트 부동 소수점을 지원하는 확장된 산술 능력을 제공한다. 8 비트 정수 SIMD ALU(1835) 세트가 또한 존재하며, 머신 학습 계산과 관련된 동작을 수행하도록 특별히 최적화될 수 있다.
선택적으로, 그래픽 실행 유닛(1808)의 복수 인스턴스의 어레이는 그래픽 서브-코어 그룹(예컨대, 서브-슬라이스)에서 인스턴스화될 수 있다. 확장성을 위해, 제품 설계자는 서브-코어 그룹 당 실행 유닛의 정확한 개수를 선택할 수 있다. 실행 유닛(1808)은 복수의 실행 채널에 걸쳐 명령어를 실행할 수 있다. 그래픽 실행 유닛(1808) 상에서 실행된 각각의 스레드는 다른 채널 상에서 실행될 수 있다.
도 19는 다른 예시적인 실행 유닛(1900)을 도시한다. 본 명세서의 임의의 다른 도면의 요소들과 동일한 또는 유사한 명칭을 갖는 도 19의 요소들은 다른 도면들에서와 동일한 요소들을 설명하고, 그와 유사한 방식으로 동작하거나 기능할 수 있으며, 동일한 컴포넌트들을 포함할 수 있고, 제한적인 것은 아니지만 본 명세서에 기술된 것과 같은 다른 엔티티들에 링크될 수 있다. 실행 유닛(1900)은, 예를 들어 도 16c에서와 같이 컴퓨팅 엔진 타일(1640A-1640D)에 사용하기 위해 컴퓨팅 최적화된 실행 유닛일 수 있지만, 이에 한정되는 것은 아니다. 실행 유닛(1900)이 또한 도 16b에서와 같이 그래픽 엔진 타일(1610A-1610D)에서 사용될 수 있다. 실행 유닛(1900)은 스레드 제어 유닛(1901), 스레드 상태 유닛(1902), 명령어 페치/프리페치 유닛(1903) 및 명령어 디코딩 유닛(1904)을 포함할 수 있다. 실행 유닛(1900)은 실행 유닛 내에서 하드웨어 스레드에 할당될 수 있는 레지스터를 저장하는 레지스터 파일(1906)을 추가로 포함할 수 있다. 실행 유닛(1900)은 송신 유닛(1907) 및 분기 유닛(1908)을 추가로 포함할 수 있다. 송신 유닛(1907) 및 분기 유닛(1908)은 도 18b의 그래픽 실행 유닛(1808)의 송신 유닛(1830) 및 분기 유닛(1832)과 유사하게 동작할 수 있다.
실행 유닛(1900)은 또한 복수의 상이한 타입의 기능 유닛을 포함하는 컴퓨팅 유닛(1910)을 포함할 수 있다. 컴퓨팅 유닛(1910)은 또한 산술 로직 유닛의 어레이를 포함하는 ALU 유닛(1911)을 포함할 수 있다. ALU 유닛(1911)은 64 비트, 32 비트 및 16 비트 정수 및 부동 소수점 연산을 수행하도록 구성될 수 있다. 정수 및 부동 소수점 연산은 동시에 수행될 수 있다. 컴퓨팅 유닛(1910)은 또한 시스톨릭(systolic) 어레이(1912) 및 산술 유닛(1913)을 포함할 수 있다. 시스톨릭 어레이(1912)는 시스톨릭 방식으로 벡터 또는 다른 데이터-병렬 연산을 수행하는데 사용될 수 있는 데이터 프로세싱 유닛으로 이루어진 W(와이드) 및 D(딥) 네트워크를 포함한다. 시스톨릭 어레이(1912)는 매트릭스 내적 연산과 같은 매트릭스 연산을 수행하도록 구성될 수 있다. 시스톨릭 어레이(1912)는 16 비트 부동 소수점 연산뿐만 아니라 8 비트 및 4 비트 정수 연산을 지원한다. 시스톨릭 어레이(1912)는 머신 학습 동작을 가속화하도록 구성될 수 있다. 시스톨릭 어레이(1912)는 bfloat16, 16 비트 부동 소수점 포맷을 지원하도록 구성될 수 있다. 연산 유닛(1913)은 ALU 유닛(1911)보다 효율적이고 저전력 방식으로 수학적 연산의 특정 서브세트를 수행하도록 포함될 수 있다. 산술 유닛(1913)은 다른 실시예에서 제공되는 그래픽 프로세싱 엔진의 공유 기능 로직(예컨대, 도 17의 공유 기능 로직(1720)의 산술 로직(1722))에서 발견될 수 있는 산술 로직을 포함할 수 있다. 산술 유닛(1913)은 32 비트 및 64 비트 부동 소수점 연산을 수행하도록 구성될 수 있다.
스레드 제어 유닛(1901)은 실행 유닛 내에서 스레드의 실행을 제어하는 로직을 포함한다. 스레드 제어 유닛(1901)은 실행 유닛(1900) 내에서 스레드의 실행을 시작, 중지 및 선점하는 스레드 중재 로직을 포함할 수 있다. 스레드 상태 유닛(1902)은 실행 유닛(1900) 상에서 실행되도록 할당된 스레드에 대한 스레드 상태를 저장하는데 사용될 수 있다. 실행 유닛(1900) 내에 스레드 상태를 저장함으로써 이들 스레드가 차단되거나 유휴 상태일 때 스레드를 신속하게 선점할 수 있다. 명령어 페치/프리페치 유닛(1903)은 더 높은 레벨의 실행 로직의 명령어 캐시(예컨대, 도 18a에서와 같이 명령어 캐시(1806))로부터 명령어를 페치할 수 있다. 명령어 페치/프리페치 유닛(1903)은 또한 현재 실행 중인 스레드의 분석에 기초하여 명령어가 명령어 캐시에 로딩될 수 있도록 프리페치 요청을 발행할 수 있다. 명령어 디코딩 유닛(1904)은 컴퓨팅 유닛에 의해 실행될 명령어를 디코딩하는데 사용될 수 있다. 명령어 디코딩 유닛(1904)은 복잡한 명령어를 구성을 이루는 마이크로-동작으로 디코딩하는 2차 디코더로서 사용될 수 있다.
실행 유닛(1900)은 실행 유닛(1900) 상에서 실행되는 하드웨어 스레드에 의해 사용될 수 있는 레지스터 파일(1906)을 추가로 포함한다. 레지스터 파일(1906)의 레지스터는 실행 유닛(1900)의 컴퓨팅 유닛(1910) 내에서 복수의 동시 스레드를 실행하는데 사용되는 로직에 걸쳐 분할될 수 있다. 그래픽 실행 유닛(1900)에 의해 실행될 수 있는 논리 스레드의 개수는 하드웨어 스레드의 개수로 제한되지 않고, 복수의 논리 스레드가 각각의 하드웨어 스레드에 할당될 수 있다. 레지스터 파일(1906)의 크기는 지원되는 하드웨어 스레드의 개수에 따라 실시예마다 변할 수 있다. 레지스터 명칭 변경은 레지스터를 하드웨어 스레드에 동적으로 할당하기 위해 사용될 수 있다.
도 20은 그래픽 프로세서 명령어 포맷(2000)을 도시하는 블록도이다. 그래픽 프로세서 실행 유닛은 복수 포맷의 명령어를 갖는 명령어 세트를 지원한다. 실선 상자는 일반적으로 실행 유닛 명령어에 포함된 컴포넌트를 나타내는 반면, 점선은 선택 사항이거나 또는 명령어의 서브-세트에만 포함된 컴포넌트를 포함한다. 설명되고 도시된 명령어 포맷(2000)은, 일단 명령어가 프로세싱되면 디코딩된 명령어로부터 기인하는 마이크로-동작과 달리, 실행 유닛에 제공되는 명령어라는 점에서 매크로-명령어이다.
그래픽 프로세서 실행 유닛은 기본적으로 128 비트 명령어 포맷(2010)의 명령어를 지원할 수 있다. 64 비트 압축 명령어 포맷(2030)은 선택된 명령어, 명령어 옵션 및 피연산자의 개수에 따라 일부 명령어에서 이용 가능하다. 기본적인 128 비트 명령어 포맷(2010)은 모든 명령어 옵션에 대한 액세스를 제공하는 반면, 일부 옵션 및 동작은 64 비트 포맷(2030)으로 제한된다. 64 비트 포맷(2030)에서 이용 가능한 기본적인 명령어는 실시예에 따라 다르다. 명령어는 인덱스 필드(2013)의 인덱스 값 세트를 사용하여 부분적으로 압축된다. 실행 유닛 하드웨어는 인덱스 값에 따라 압축 테이블 세트를 참조하고 압축 테이블 출력을 사용하여 128 비트 명령어 포맷(2010)으로 기본적인 명령어를 재구성한다. 다른 크기 및 포맷의 명령어가 사용될 수 있다.
각각의 포맷에 대해, 명령어 연산 코드(opcode)(2012)는 실행 유닛이 수행해야 할 동작을 정의한다. 실행 유닛은 각각의 피연산자의 복수의 데이터 요소에 걸쳐 각각의 명령어를 병렬로 실행한다. 예를 들어, 더하기 명령어(an add instruction)에 응답하여, 실행 유닛은 텍스처 요소 또는 화상 요소를 나타내는 각각의 컬러 채널에 걸쳐 동시적인 더하기 동작을 수행한다. 기본적으로 실행 유닛은 피연산자의 모든 데이터 채널에 걸쳐서 각각의 명령어를 수행한다. 명령어 제어 필드(2014)는 채널 선택(예컨대, 예측) 및 데이터 채널 순서(예컨대, 스위즐(swizzle))와 같은 특정 실행 옵션에 대한 제어를 가능하게 한다. 128 비트 명령어 포맷(2010)의 명령어에 대해, 실행-크기 필드(2016)는 병렬로 실행될 데이터 채널의 개수를 제한한다. 실행-크기 필드(2016)는 64 비트 압축 명령어 포맷(2030)에서 사용할 수 없다.
일부 실행 유닛 명령어는 2개의 소스 피연산자인 SRC0(2020) 및 SRC1(2022)과 1개의 목적지(2018)를 포함하여 최대 3개의 피연산자를 갖는다. 실행 유닛은 이중 목적지 명령어를 지원할 수 있고, 이중 하나의 목적지는 암시된다. 데이터 조작 명령어는 제3 소스 피연산자(예컨대, SRC2(2024))를 가질 수 있으며, 여기서 명령어 연산 코드(2012)는 소스 피연산자의 개수를 결정한다. 명령어의 마지막 소스 피연산자는 명령어와 함께 전달되는 이미디어트(immediate)(예컨대, 하드-코딩된) 값일 수 있다.
128 비트 명령어 포맷(2010)은, 예를 들어, 직접 레지스터 어드레싱 모드 또는 간접 레지스터 어드레싱 모드가 사용되는지를 지정하는 액세스/주소 모드 필드(2026)를 포함한다. 직접 레지스터 어드레싱 모드가 사용될 때, 하나 이상의 피연산자의 레지스터 주소는 명령어의 비트에 의해 직접 제공된다.
128 비트 명령어 포맷(2010)은 명령어에 대한 주소 모드 및/또는 액세스 모드를 지정하는 액세스/주소 모드 필드(2026)를 포함할 수 있다. 액세스 모드는 명령어에 대한 데이터 액세스 정렬을 정의하는데 사용될 수 있다. 16 바이트 정렬 액세스 모드 및 1 바이트 정렬 액세스 모드를 포함하는 액세스 모드가 지원될 수 있는데, 액세스 모드의 바이트 정렬은 명령어 피연산자의 액세스 정렬을 결정한다. 예를 들어, 제1 모드에 있을 때, 명령어는 소스 및 목적지 피연산자에 대해 1 바이트 정렬된 어드레싱을 사용할 수 있고, 제 2 모드에 있을 때, 명령어는 모든 소스 및 목적지 피연산자에 대해 16 바이트 정렬된 어드레싱을 사용할 수 있다.
액세스/주소 모드 필드(2026)의 주소 모드 부분은 명령어가 직접 또는 간접 어드레싱을 사용해야 하는지 여부를 결정할 수 있다. 직접 레지스터 어드레싱 모드가 사용될 때, 명령어의 비트는 하나 이상의 피연산자의 레지스터 주소를 직접 제공한다. 간접 레지스터 어드레싱 모드가 사용될 때, 하나 이상의 피연산자의 레지스터 주소는 명령어의 주소 레지스터 값 및 주소 이미디어트 필드에 기초하여 계산될 수 있다.
명령어는 연산 코드 디코딩(2040)을 단순화하는 연산 코드(2012) 비트 필드에 따라 그룹화될 수 있다. 8 비트 연산 코드의 경우, 비트 4, 5 및 6은 실행 유닛이 연산 코드의 타입을 결정할 수 있도록 한다. 설명되는 구체적인 연산 코드 그룹은 단지 예시일 뿐이다. 이동 및 로직 연산 코드 그룹(2042)은 데이터 이동 및 로직 명령어(예컨대, 이동(mov), 비교(cmp))를 포함할 수 있다. 이동 및 로직 그룹(2042)은 5개의 최상위 비트(MSB)를 공유할 수 있으며, 여기서 이동(mov) 명령어는 0000xxxxb의 형태이고 로직 명령어는 0001xxxxb의 형태이다. 흐름 제어 명령어 그룹(2044)(예컨대, 호출, 점프(jmp))은 0010xxxxb의 형태(예컨대, 0x20)의 명령어를 포함한다. 기타 명령어 그룹(2046)은 0011xxxxb의 형태(예컨대, 0x30)의 동기화 명령어(예컨대, 대기, 송신)를 포함하는 명령어의 혼합을 포함한다. 병렬 산술 명령어 그룹(2048)은 0100xxxxb의 형태(예컨대, 0x40)의 컴포넌트 별 산술 명령어(예컨대, 더하기, 곱하기(mul))를 포함한다. 병렬 산술 그룹(2048)은 데이터 채널에 걸쳐 병렬로 산술 연산을 수행한다. 벡터 산술 그룹(2050)은 0101xxxxb 형태(예컨대, 0x50)의 산술 명령어(예컨대, dp4)를 포함한다. 벡터 산술 그룹은 벡터 피연산자에 대한 내적 계산과 같은 산술을 수행한다. 일 실시예에서, 설명된 연산 코드 디코딩(2040)은 실행 유닛의 어느 부분이 디코딩된 명령어를 실행하는데 사용될지를 결정하는데 사용될 수 있다. 예를 들어, 일부 명령어는 시스톨릭 어레이에 의해 수행될 시스톨릭 명령어로 지정될 수 있다. 광선 추적 명령어(도시하지 않음)와 같은 다른 명령어는 실행 로직의 슬라이스 또는 파티션 내에서 광선 추적 코어 또는 광선 추적 로직으로 라우팅될 수 있다.
그래픽 파이프라인
도 21은 다른 실시예에 따른 그래픽 프로세서(2100)의 블록도이다. 본 명세서의 임의의 다른 도면의 요소들과 동일한 또는 유사한 명칭을 갖는 도 21의 요소들은 다른 도면들에서와 동일한 요소들을 설명하고, 그와 유사한 방식으로 동작하거나 기능할 수 있으며, 동일한 컴포넌트들을 포함할 수 있고, 제한적인 것은 아니지만 본 명세서에 기술된 것과 같은 다른 엔티티들에 링크될 수 있다.
그래픽 프로세서(2100)는 기하 파이프라인(2120), 미디어 파이프라인(2130), 디스플레이 엔진(2140), 스레드 실행 로직(2150) 및 렌더링 출력 파이프라인(2170)과 같은 상이한 타입의 그래픽 프로세싱 파이프라인을 포함할 수 있다. 그래픽 프로세서(2100)는 하나 이상의 범용 프로세싱 코어를 포함하는 멀티-코어 프로세싱 시스템 내의 그래픽 프로세서일 수 있다. 그래픽 프로세서는 하나 이상의 제어 레지스터(도시하지 않음)에 대한 레지스터 기록에 의해 또는 링 상호 접속부(2102)를 통해 그래픽 프로세서(2100)에 발행된 커맨드를 통해 제어될 수 있다. 링 상호 접속부(2102)는 그래픽 프로세서(2100)를 다른 그래픽 프로세서 또는 범용 프로세서와 같은 다른 프로세싱 컴포넌트에 연결할 수 있다. 링 상호 접속부(2102)로부터의 커맨드는 커맨드 스트리머(2103)에 의해 해석되고, 이 커맨드 스트리머는 기하 파이프라인(2120) 또는 미디어 파이프라인(2130)의 개별 컴포넌트에 명령어를 제공한다.
커맨드 스트리머(2103)는 메모리로부터 정점 데이터를 판독하고 커맨드 스트리머(2103)에 의해 제공된 정점-프로세싱 커맨드를 실행하는 정점 페처(2105)의 동작을 지시할 수 있다. 정점 페처(2105)는 정점 데이터를 정점 셰이더(2107)에 제공할 수 있고, 이 정점 셰이더(2107)는 각 정점에 좌표 공간 변환 및 조명 동작 수행한다. 정점 페처(2105) 및 정점 셰이더(2107)는 실행 스레드를 스레드 디스패처(2131)를 통해 실행 유닛(2152A, 2152B)에 디스패칭함으로써 정점-프로세싱 명령어를 실행할 수 있다.
실행 유닛(2152A, 2152B)은 그래픽 및 미디어 동작을 수행하는 명령어 세트를 갖는 벡터 프로세서의 어레이일 수 있다. 실행 유닛(2152A, 2152B)은 각각의 어레이에 대해 특정되거나 또는 어레이들 사이에 공유되는 부착된 L1 캐시(2151)를 가질 수 있다. 캐시는 데이터 캐시, 명령어 캐시 또는 서로 다른 파티션에 데이터와 명령어를 포함하도록 분할된 단일 캐시로 구성될 수 있다.
기하 파이프라인(2120)은 3D 객체의 하드웨어 가속 테셀레이션을 수행하는 테셀레이션 컴포넌트를 포함할 수 있다. 프로그램 가능한 헐(hull) 셰이더(2111)는 테셀레이션 동작을 구성할 수 있다. 프로그램 가능한 도메인 셰이더(2117)는 테셀레이션 출력의 백엔드(back-end) 평가를 제공할 수 있다. 테셀레이터(2113)는 헐 셰이더(2111)의 방향으로 동작하고, 기하 파이프라인(2120)에 입력으로서 제공되는 거친 기하학적 모델에 기초하여 상세한 기하학적 객체의 세트를 생성하는 특수 목적 로직을 포함할 수 있다. 또한, 테셀레이션이 사용되지 않으면, 테셀레이션 컴포넌트(예컨대, 헐 셰이더(2111), 테셀레이터(2113) 및 도메인 셰이더(2117))는 우회될 수 있다.
완전한 기하학적 객체는 실행 유닛(2152A, 2152B)으로 디스패치된 하나 이상의 스레드를 통해 기하 셰이더(2119)에 의해 처리될 수도 있고, 또는 클리퍼(2129)로 직접 진행될 수도 있다. 기하 셰이더는 그래픽 파이프라인의 이전 단계에서와 같이 정점 또는 정점의 패치(patch)가 아닌 전체의 기하학적 객체에 대해 동작할 수 있다. 테셀레이션이 비활성화되면, 기하 셰이더(2119)는 정점 셰이더(2107)로부터 입력을 수신한다. 테셀레이션 유닛이 비활성화되면, 기하 셰이더(2119)는 기하 테셀레이션을 수행하는 기하 셰이더 프로그램으로 프로그램 가능할 수 있다.
래스터화 이전에, 클리퍼(2129)는 정점 데이터를 프로세싱한다. 클리퍼(2129)는 고정 기능 클리퍼 또는 클리핑 및 기하 셰이더 기능을 갖는 프로그램 가능한 클리퍼일 수 있다. 렌더링 출력 파이프라인(2170)의 래스터화기(rasterizer) 및 깊이 테스트 컴포넌트(2173)는 픽셀 셰이더를 디스패치하여 기하학적 객체를 픽셀 당 표현으로 변환할 수 있다. 픽셀 셰이더 로직은 스레드 실행 로직(2150)에 포함될 수 있다. 선택적으로, 애플리케이션은 래스터화기 및 깊이 테스트 컴포넌트(2173)를 우회하고 스트림 아웃 유닛(2123)을 통해 래스터화되지 않은 정점 데이터에 액세스할 수 있다.
그래픽 프로세서(2100)는 상호 접속 버스, 상호 접속 패브릭, 또는 프로세서의 주요 컴포넌트 사이에 데이터 및 메시지 전달을 허용하는 다른 상호 접속 메커니즘을 갖는다. 일부 실시예에서, 실행 유닛(2152A, 2152B) 및 관련 로직 유닛(예컨대, L1 캐시(2151), 샘플러(2154), 텍스처 캐시(2158) 등)은 메모리 액세스를 수행하고 프로세서의 렌더링 출력 파이프라인 컴포넌트와 통신하는 데이터 포트(2156)를 통해 상호 접속된다. 일부 실시예에서, 샘플러(2154), 캐시(2151, 2158) 및 실행 유닛(2152A, 2152B)은 각각 별개의 메모리 액세스 경로를 가질 수 있다. 선택적으로, 텍스처 캐시(2158)는 또한 샘플러 캐시로서 구성될 수 있다.
렌더링 출력 파이프라인(2170)은 정점 기반 객체를 관련 픽셀 기반 표현으로 변환하는 래스터화기 및 깊이 테스트 컴포넌트(2173)를 포함할 수 있다. 래스터화기 로직은 고정 기능 삼각형 및 라인 래스터화를 수행하는 윈도우/마스커 유닛을 포함할 수 있다. 관련된 렌더 캐시(2178) 및 깊이 캐시(2179)는 또한 일부 실시예에서 이용가능할 수 있다. 픽셀 동작 컴포넌트(2177)는 데이터에 대해 픽셀 기반 동작을 수행하지만, 일부 예에서는 2D 동작(예컨대, 블렌딩을 통한 비트 블록 이미지 전송)과 관련된 픽셀 동작은 2D 엔진(2141)에 의해 수행되거나 또는 디스플레이 시간에 오버레이 디스플레이 평면을 사용하여 디스플레이 제어기(2143)에 의해 대체된다. 공유 L3 캐시(2175)는 모든 그래픽 컴포넌트에 이용 가능할 수 있어, 주 시스템 메모리를 사용하지 않고 데이터를 공유할 수 있도록 한다.
그래픽 프로세서 미디어 파이프라인(2130)은 미디어 엔진(2137) 및 비디오 프론트-엔드(2134)를 포함할 수 있다. 비디오 프론트-엔드(2134)는 커맨드 스트리머(2103)로부터 파이프라인 커맨드를 수신할 수 있다. 미디어 파이프라인(2130)은 별도의 커맨드 스트리머를 포함할 수 있다. 비디오 프론트-엔드(2134)는 미디어 커맨드를 미디어 엔진(2137)에 전송하기 전에 이 커맨드를 프로세싱할 수 있다. 미디어 엔진(2137)은 스레드 디스패처(2131)를 통해 스레드 실행 로직(2150)으로 디스패치하기 위한 스레드를 생성하는 스레드 생성 기능을 포함할 수 있다.
그래픽 프로세서(2100)는 디스플레이 엔진(2140)을 포함할 수 있다. 디스플레이 엔진(2140)은 프로세서(2100)의 외부에 있고, 링 상호 접속부(2102) 또는 일부 다른 상호 접속 버스 또는 패브릭을 통해 그래픽 프로세서와 연결될 수 있다. 디스플레이 엔진(2140)은 2D 엔진(2141) 및 디스플레이 제어기(2143)를 포함할 수 있다. 디스플레이 엔진(2140)은 3D 파이프라인으로부터 독립적으로 동작할 수 있는 특수 목적 로직을 포함할 수 있다. 디스플레이 제어기(2143)는, 랩톱 컴퓨터에서와 같이 시스템 통합형 디스플레이 장치 또는 디스플레이 장치 커넥터를 통해 부착된 외부 디스플레이 장치일 수 있는 디스플레이 장치(도시하지 않음)에 연결될 수 있다.
기하 파이프라인(2120) 및 미디어 파이프라인(2130)은 복수의 그래픽 및 미디어 프로그래밍 인터페이스에 따른 동작을 수행하도록 구성될 수 있고 임의의 하나의 애플리케이션 프로그래밍 인터페이스(API)에 한정되지 않는다. 그래픽 프로세서를 위한 드라이버 소프트웨어는 특정 그래픽 또는 미디어 라이브러리에 한정된 API 호출을 그래픽 프로세서에 의해 처리될 수 있는 커맨드로 변환할 수 있다. 크로노스 그룹(Khronos Group)의 OpenGL(Open Graphics Library), OpenCL(Open Computing Language) 및/또는 Vulkan 그래픽 및 컴퓨팅 API에 대한 지원이 제공될 수 있다. Microsoft Corporation의 Direct3D 라이브러리에 대한 지원이 또한 제공될 수 있다. 이들 라이브러리의 조합이 지원될 수 있다. OpenCV(Open Source Computer Vision Library)에 대한 지원이 또한 제공될 수 있다. 향후 API의 파이프라인으로부터 그래픽 프로세서의 파이프라인으로 매핑이 가능하게 되면, 호환 가능한 3D 파이프라인을 갖는 향후 API도 지원될 것이다.
그래픽 파이프라인 프로그래밍
도 22a는, 예컨대 도 16a, 17, 21과 함께 본 명세서에서 설명한 파이프라인과 같은 그래픽 프로세싱 파이프라인을 프로그래밍하는 데 사용되는 그래픽 프로세서 커맨드 포맷(2200)을 도시한 블록도이다. 도 22b는 일 실시예에 따른 그래픽 프로세서 커맨드 시퀀스(2210)를 도시한 블록도이다. 도 22a의 실선 상자는 일반적으로 그래픽 커맨드에 포함된 컴포넌트를 도시하고, 점선은 선택 사항이거나 또는 그래픽 커맨드의 서브-세트에만 포함된 컴포넌트를 포함한다. 도 22a의 예시적인 그래픽 프로세서 커맨드 포맷(2200)은 클라이언트(2202), 커맨드 연산 코드(opcode)(2204) 및 커맨드에 대한 데이터(2206)를 식별하는 데이터 필드를 포함한다. 서브-연산 코드(2205) 및 커맨드 크기(2208)는 또한 일부 커맨드에 포함된다.
클라이언트(2202)는 커맨드 데이터를 프로세싱하는 그래픽 장치의 클라이언트 유닛을 특정한다. 그래픽 프로세서 커맨드 파서(parser)는 커맨드의 추가 프로세싱을 조정하고 커맨드 데이터를 적절한 클라이언트 유닛으로 라우팅하기 위해 각 커맨드의 클라이언트 필드를 검사할 수 있다. 그래픽 프로세서 클라이언트 유닛은 메모리 인터페이스 유닛, 렌더 유닛, 2D 유닛, 3D 유닛 및 미디어 유닛을 포함할 수 있다. 각각의 클라이언트 유닛은 커맨드를 프로세싱하는 대응 프로세싱 파이프라인을 가질 수 있다. 커맨드가 클라이언트 유닛에 의해 수신되면, 클라이언트 유닛은 수행할 동작을 결정하기 위해 연산 코드(2204) 및 존재한다면 서브-연산 코드(2205)를 판독한다. 클라이언트 유닛은 데이터 필드(2206)의 정보를 사용하여 커맨드를 수행한다. 일부 커맨드의 경우, 명시적인 커맨드 크기(2208)는 커맨드의 크기를 특정할 것으로 예상된다. 커맨드 파서는 커맨드 연산 코드에 근거하여 커맨드 중 적어도 일부 커맨드의 크기를 자동으로 결정할 수 있다. 커맨드는 복수의 더블 워드를 통해 정렬될 수 있다. 다른 커맨드 포맷이 또한 사용될 수 있다.
도 22b의 흐름도는 예시적인 그래픽 프로세서 커맨드 시퀀스(2210)를 도시한다. 그래픽 프로세서의 실시예를 특징으로 하는 데이터 프로세싱 시스템의 소프트웨어 또는 펌웨어는 그래픽 동작의 세트를 설정, 실행 및 종료하기 위해 도시된 커맨드 시퀀스의 버전을 사용할 수 있다. 샘플 커맨드 시퀀스는 예시의 목적으로만 도시되고 설명되며 이들 특정 커맨드 또는 이 커맨드 시퀀스로 한정되지 않는다. 더욱이, 커맨드는 커맨드 시퀀스에서 커맨드의 배치(batch)로서 발행될 수 있으므로, 그래픽 프로세서는 커맨드의 시퀀스를 적어도 부분적으로 동시에 프로세싱할 것이다.
그래픽 프로세서 커맨드 시퀀스(2210)는 임의의 활성 그래픽 파이프라인이 파이프라인에 현재 보류중인 커맨드를 완료하게 하는 파이프라인 플러시(flush) 커맨드(2212)로 시작할 수 있다. 선택적으로, 3D 파이프라인(2222) 및 미디어 파이프라인(2224)은 동시에 동작하지는 않을 수 있다. 활성 그래픽 파이프라인이 임의의 진행 중인 커맨드를 완료하도록 파이프라인 플러시가 수행된다. 파이프라인 플러시에 대한 응답으로, 그래픽 프로세서에 대한 커맨드 파서는 활성 드로잉 엔진이 진행 중인 작업을 완료하고 관련된 판독 캐시가 무효화될 때까지 커맨드 프로세싱을 일시 중지할 것이다. 선택에 따라, '더러운(dirty)'이라고 표시된 렌더 캐시의 모든 데이터는 메모리로 플러시될 수 있다. 파이프라인 플러시 커맨드(2212)는 파이프라인 동기화를 위해 또는 그래픽 프로세서를 저전력 상태로 만들기 전에 사용될 수 있다.
파이프라인 선택 커맨드(2213)는 그래픽 프로세서가 파이프라인 사이에서 명시적으로 전환할 것을 커맨드 시퀀스가 요구할 때 사용될 수 있다. 파이프라인 선택 커맨드(2213)는, 실행 컨텍스트가 두 파이프라인 모두에 대한 커맨드를 발행하지 않으면, 파이프라인 커맨드를 발행하기 전에 실행 컨텍스트 내에서 한 번만 필요할 수 있다. 파이프라인 플러시 커맨드(2212)는 파이프라인 선택 커맨드(2213)를 통한 파이프라인의 전환 직전에 요구될 수 있다.
파이프라인 제어 커맨드(2214)는 동작을 위한 그래픽 파이프라인을 구성할 수 있고 3D 파이프라인(2222) 및 미디어 파이프라인(2224)을 프로그래밍하는데 사용될 수 있다. 파이프라인 제어 커맨드(2214)는 활성 파이프라인에 대한 파이프라인 상태를 구성할 수 있다. 파이프라인 제어 커맨드(2214)는 파이프라인 동기화를 위해, 그리고 커맨드의 배치를 프로세싱하기 전에 활성 파이프라인 내의 하나 이상의 캐시 메모리로부터 데이터를 삭제하는 데 사용될 수 있다.
반환 버퍼 상태 커맨드(2216)는 데이터를 기록하기 위해 각각의 파이프라인에 대한 반환 버퍼 세트를 구성하는데 사용될 수 있다. 일부 파이프라인 동작은 프로세싱 동안 그 동작이 중간 데이터(intermediate data)를 기록하는 하나 이상의 반환 버퍼의 할당, 선택 또는 구성을 필요로 한다. 그래픽 프로세서는 또한 출력 데이터를 저장하고 교차 스레드 통신을 수행하기 위해 하나 이상의 반환 버퍼를 사용할 수 있다. 반환 버퍼 상태(2216)는 파이프라인 동작 세트에 사용하는 반환 버퍼의 크기 및 개수를 선택하는 것을 포함할 수 있다.
커맨드 시퀀스에서 나머지 커맨드는 동작을 위한 활성 파이프라인에 따라 상이하다. 파이프라인 결정(2220)에 따라, 커맨드 시퀀스는 3D 파이프라인 상태(2230)에서 시작하는 3D 파이프라인(2222) 또는 미디어 파이프라인 상태(2240)에서 시작하는 미디어 파이프라인(2224)에 맞춰진다.
3D 파이프라인 상태(2230)를 구성하는 커맨드는 정점 버퍼 상태, 정점 요소 상태, 일정한 컬러 상태, 깊이 버퍼 상태, 및 3D 프리미티브 커맨드가 프로세싱되기 전에 구성될 다른 상태 변수에 대한 3D 상태 설정 커맨드를 포함한다. 이러한 커맨드의 값은 사용중인 특정 3D API에 근거하여 적어도 부분적으로 결정된다. 3D 파이프라인 상태(2230) 커맨드는 또한 특정 파이프라인 요소가 사용되지 않을 경우 이들 요소를 선택적으로 비활성화시키거나 또는 우회할 수 있다.
3D 프리미티브(2232) 커맨드는 3D 파이프라인에 의해 프로세싱될 3D 프리미티브를 제출하는데 사용될 수 있다. 3D 프리미티브(2232) 커맨드를 통해 그래픽 프로세서로 전달되는 커맨드 및 관련 파라미터는 그래픽 파이프라인의 정점 페치 기능으로 전달된다. 정점 페치 기능은 3D 프리미티브(2232) 커맨드 데이터를 사용하여 정점 데이터 구조를 생성한다. 정점 데이터 구조는 하나 이상의 반환 버퍼에 저장된다. 3D 프리미티브(2232) 커맨드는 정점 셰이더를 통해 3D 프리미티브에 대한 정점 연산을 수행하는 데 사용될 수 있다. 정점 셰이더를 프로세싱하기 위해, 3D 파이프라인(2222)은 셰이더 실행 스레드를 그래픽 프로세서 실행 유닛으로 디스패치한다.
3D 파이프라인(2222)은 실행(2234) 커맨드 또는 이벤트를 통해 트리거될 수 있다. 레지스터는 트리거 커맨드 실행을 기록할 수 있다. 실행은 커맨드 시퀀스에서 'go' 또는 'kick' 커맨드를 통해 트리거될 수 있다. 커맨드 실행은 그래픽 파이프라인을 통해 커맨드 시퀀스를 플러시하는 파이프라인 동기화 커맨드를 사용하여 트리거될 수 있다. 3D 파이프라인은 3D 프리미티브에 대한 기하 프로세싱을 수행할 것이다. 동작이 완료되면 결과로 생성된 기하학적 객체가 래스터화되고 픽셀 엔진이 결과 픽셀을 채색한다. 픽셀 셰이딩 및 픽셀 백 엔드 동작을 제어하는 추가 커맨드가 또한 이러한 동작에 포함될 수 있다.
그래픽 프로세서 커맨드 시퀀스(2210)는 미디어 동작을 수행할 때 미디어 파이프라인(2224) 경로를 따를 수 있다. 일반적으로, 미디어 파이프라인(2224)에 대한 프로그래밍의 특정 사용 및 방식은 수행될 미디어 또는 컴퓨팅 동작에 의존한다. 미디어를 디코딩하는 동안 특정 미디어 디코딩 동작이 미디어 파이프라인으로 오프로딩될 수 있다. 미디어 파이프라인은 또한 우회될 수 있고 미디어 디코딩은 하나 이상의 범용 프로세싱 코어에 의해 제공되는 리소스를 사용하여 전체적으로 또는 부분적으로 수행될 수 있다. 미디어 파이프라인은 또한 범용 그래픽 프로세서 유닛(GPGPU) 동작을 위한 요소를 포함할 수 있으며, 여기서 그래픽 프로세서는 그래픽 프리미티브의 렌더링에 명시적으로 관련되지 않은 계산 셰이더 프로그램을 사용하여 SIMD 벡터 연산을 수행하는데 사용된다.
미디어 파이프라인(2224)은 3D 파이프라인(2222)과 유사한 방식으로 구성될 수 있다. 미디어 파이프라인 상태(2240)를 구성하는 커맨드 세트는 미디어 객체 커맨드(2242) 이전에 커맨드 큐(queue)에 디스패치 또는 배치된다. 미디어 파이프라인 상태(2240)에 대한 커맨드는 미디어 객체를 프로세싱하는 데 사용될 미디어 파이프라인 요소를 구성하는 데이터를 포함할 수 있다. 여기에는 인코딩 또는 디코딩 포맷과 같은, 미디어 파이프라인 내에서 비디오 디코딩 및 비디오 인코딩 로직을 구성하는 데이터가 포함된다. 미디어 파이프라인 상태(2240)에 대한 커맨드는 또한 상태 설정의 배치를 포함하는 "간접" 상태 요소에 대한 하나 이상의 포인터의 사용을 지원할 수 있다.
미디어 객체 커맨드(2242)는 미디어 파이프라인에 의한 프로세싱을 위해 미디어 객체에 대한 포인터를 제공할 수 있다. 미디어 객체는 프로세싱될 비디오 데이터를 포함하는 메모리 버퍼를 포함한다. 선택적으로, 미디어 객체 커맨드(2242)를 발행하기 전에 모든 미디어 파이프라인 상태는 유효해야 한다. 파이프라인 상태가 구성되고 미디어 객체 커맨드(2242)가 큐잉되면, 미디어 파이프라인(2224)은 실행 커맨드(2244) 또는 동등한 실행 이벤트(예컨대, 레지스터 기록)를 통해 트리거된다. 이후 미디어 파이프라인(2224)으로부터의 출력은 3D 파이프라인(2222) 또는 미디어 파이프라인(2224)에 의해 제공되는 동작에 의해 사후 프로세싱될 수 있다. GPGPU 동작은 미디어 동작과 유사한 방식으로 구성되고 실행될 수 있다.
그래픽 소프트웨어 아키텍처
도 23은 프로세싱 시스템(2300)을 위한 예시적인 그래픽 소프트웨어 아키텍처를 도시한다. 소프트웨어 아키텍처는 3D 그래픽 애플리케이션(2310), 운영 시스템(2320) 및 적어도 하나의 프로세서(2330)를 포함할 수 있다. 프로세서(2330)는 그래픽 프로세서(2332) 및 하나 이상의 범용 프로세서 코어(들)(2334)를 포함할 수 있다. 프로세서(2330)는 프로세서(1402)의 변형 또는 본 명세서에 설명된 임의의 다른 프로세서일 수 있다. 프로세서(2330)는 프로세서(1402) 또는 본 명세서에 설명된 임의의 다른 프로세서를 대신하여 사용될 수도 있다. 따라서, 프로세서(1402) 또는 본 명세서에 설명된 임의의 다른 프로세서와 조합된 임의의 특징들의 개시는 또한 그래픽 프로세서(2330)와의 대응하는 조합을 나타내지만, 이에 제한되지는 않는다. 또한, 본 명세서의 임의의 다른 도면의 요소들과 동일한 또는 유사한 명칭을 갖는 도 23의 요소들은 다른 도면들에서와 동일한 요소를 설명하고, 그와 유사한 방식으로 동작하거나 기능할 수 있으며, 동일한 컴포넌트들을 포함할 수 있고, 제한적인 것은 아니지만 본 명세서에 기술된 것과 같은 다른 엔티티들에 링크될 수 있다. 그래픽 애플리케이션(2310) 및 운영 시스템(2320)은 각각 데이터 프로세싱 시스템의 시스템 메모리(2350)에서 실행된다.
3D 그래픽 애플리케이션(2310)은 셰이더 명령어(2312)를 포함하는 하나 이상의 셰이더 프로그램을 포함할 수 있다. 셰이더 언어 명령어는 Direct3D의 HLSL(High-Level Shader Language), GLSL(OpenGL Shader Language) 등과 같은 고급 셰이더 언어로 작성될 수 있다. 애플리케이션은 또한 범용 프로세서 코어(2334)에 의해 실행하기에 적합한 기계어로 작성된 실행 가능한 명령어(2314)를 포함할 수 있다. 애플리케이션은 또한 정점 데이터에 의해 정의된 그래픽 객체(2316)를 포함할 수 있다.
운영 시스템(2320)은 Microsoft Corporation의 Microsoft®Windows® 운영 시스템, 사유 UNIX 계열 운영 시스템 또는 Linux 커널의 변형을 사용하는 오픈 소스 UNIX 계열 운영 시스템일 수 있다. 운영 시스템(2320)은 Direct3D API, OpenGL API 또는 Vulkan API와 같은 그래픽 API(2322)를 지원할 수 있다. Direct3D API가 사용 중일 때, 운영 시스템(2320)은 프론트-엔드 셰이더 컴파일러(2324)를 사용하여 HLSL로 작성된 모든 셰이더 명령어(2312)를 하위 레벨 셰이더 언어로 컴파일한다. 컴파일은 JIT(Just-In-Time) 컴파일이거나 또는 애플리케이션은 셰이더 사전 컴파일을 수행할 수 있다. 고급 셰이더는 3D 그래픽 애플리케이션(2310)을 컴파일하는 동안 저급 셰이더로 컴파일될 수 있다. 셰이더 명령어(2312)는 Vulkan API에서 사용되는 SPIR(Standard Portable Intermediate Representation)의 버전과 같은 중간 형태로 제공될 수 있다.
사용자 모드 그래픽 드라이버(2326)는 셰이더 명령어(2312)를 하드웨어 특정 표현으로 변환하는 백-엔드 셰이더 컴파일러(2327)를 포함할 수 있다. OpenGL API가 사용중일 때, GLSL 고급 언어로 작성된 셰이더 명령어(2312)는 컴파일을 위해 사용자 모드 그래픽 드라이버(2326)로 전달된다. 사용자 모드 그래픽 드라이버(2326)는 커널 모드 그래픽 드라이버(2329)와 통신하는 운영 시스템 커널 모드 기능(2328)을 사용할 수 있다. 커널 모드 그래픽 드라이버(2329)는 커맨드 및 명령어를 디스패치하기 위해 그래픽 프로세서(2332)와 통신할 수 있다.
IP 코어 구현
하나 이상의 측면은 프로세서와 같은 집적 회로 내의 로직을 나타내고 및/또는 정의하는, 머신 판독 가능 매체 상에 저장된 전형적인 코드에 의해 구현될 수 있다. 예를 들어, 머신 판독 가능 매체는 프로세서 내의 다양한 로직을 표현하는 명령어를 포함할 수 있다. 머신에 의해 판독될 때, 명령어는 머신으로 하여금 본 명세서에 설명된 기술을 수행하는 로직을 제조하게 할 수 있다. "IP 코어"로 알려진 이러한 표현은 집적 회로의 구조를 설명하는 하드웨어 모델로서 유형의 머신 판독 가능 매체 상에 저장될 수 있는 집적 회로에 대한 로직의 재사용 가능한 유닛이다. 하드웨어 모델은 다양한 고객 또는 제작 시설에 공급될 수 있으며, 이들은 집적 회로를 제조하는 제조 기계에 하드웨어 모델을 로딩한다. 집적 회로는 본 명세서에 설명된 임의의 실시예와 관련하여 설명된 동작을 수행하도록 제조될 수 있다.
도 24a는 일 실시예에 따른 동작을 수행하기 위해 집적 회로를 제작하는데 사용될 수 있는 IP 코어 개발 시스템(2400)을 도시하는 블록도이다. IP 코어 개발 시스템(2400)은, 더 큰 설계에 통합될 수 있거나 또는 전체 집적 회로(예컨대, SOC 집적 회로)를 구성하는데 사용될 수 있는 모듈식의 재사용 가능한 설계를 생성하는데 사용될 수 있다. 설계 설비(2430)는 고급 프로그래밍 언어(예컨대, C/C ++)로 IP 코어 설계의 소프트웨어 시뮬레이션(2410)을 생성할 수 있다. 소프트웨어 시뮬레이션(2410)은 시뮬레이션 모델(2412)을 사용하여 IP 코어의 행동을 설계, 테스트 및 검증하는데 사용될 수 있다. 시뮬레이션 모델(2412)은 기능, 행동 및/또는 타이밍 시뮬레이션을 포함할 수 있다. 이후 레지스터 전송 레벨(RTL) 설계(2415)는 시뮬레이션 모델(2412)로부터 생성 또는 합성될 수 있다. RTL 설계(2415)는 모델링된 디지털 신호를 사용하여 수행되는 관련 로직을 포함하는 하드웨어 레지스터들 사이의 디지털 신호의 흐름을 모델링하는 집적 회로의 동작의 추상화를 가리킨다. RTL 설계(2415)에 더하여, 로직 레벨 또는 트랜지스터 레벨에서의 저급 설계가 또한 생성, 설계 또는 합성될 수 있다. 따라서, 초기 설계 및 시뮬레이션의 특정 세부 사항은 다를 수 있다.
RTL 설계(2415) 또는 등가물은 설계 설비에 의해 하드웨어 모델(2420)로 추가적으로 합성될 수 있으며, 이 하드웨어 모델(2420)은 하드웨어 기술 언어(HDL)로 작성되거나, 또는 물리적 설계 데이터의 다른 표현일 수 있다. IP 코어 설계를 검증하기 위해 HDL을 추가로 시뮬레이션하거나 또는 테스트할 수 있다. IP 코어 설계는 제3자 제조 설비(2465)로 전달하기 위해 비휘발성 메모리(2440)(예컨대, 하드 디스크, 플래시 메모리 또는 임의의 비휘발성 저장 매체)를 사용하여 저장될 수 있다. 이와 달리, IP 코어 설계는 유선 접속(2450) 또는 무선 접속(2460)을 통해(예컨대, 인터넷을 통해) 전송될 수 있다. 이후 제조 설비(2465)는 IP 코어 설계에 적어도 부분적으로 기초한 집적 회로를 제조할 수 있다. 제조된 집적 회로는 본 명세서에 설명된 적어도 하나의 실시예에 따른 동작을 수행하도록 구성될 수 있다.
도 24b는 집적 회로 패키지 어셈블리(2470)의 측단면도를 도시한다. 집적 회로 패키지 어셈블리(2470)는 본 명세서에 설명된 것과 같은 하나 이상의 프로세서 또는 가속기 장치의 구현예를 도시한다. 패키지 어셈블리(2470)는 기판(2480)에 접속된 하드웨어 로직(2472, 2474)의 복수의 유닛을 포함한다. 로직(2472, 2474)은 적어도 부분적으로 구성 가능한 로직 또는 고정 기능 로직 하드웨어로 구현될 수 있으며, 본 명세서에 설명된 프로세서 코어(들), 그래픽 프로세서(들) 또는 다른 가속기 장치 중 어느 것의 하나 이상의 부분을 포함할 수 있다. 로직(2472, 2474)의 각각의 유닛은 반도체 다이 내에 구현될 수 있고 상호 접속 구조(2473)를 통해 기판(2480)에 연결될 수 있다. 상호 접속 구조(2473)는 로직(2472, 2474)과 기판(2480) 사이에서 전기적 신호를 라우팅하도록 구성될 수 있으며, 범프 또는 기둥과 같은 상호 접속부를 포함하지만 이에 한정되는 것은 아니다. 상호 접속 구조(2473)는, 예를 들어, 로직(2472, 2474)의 동작과 관련된 입력/출력(I/O) 신호 및/또는 전력 또는 접지 신호와 같은 전기 신호를 라우팅하도록 구성될 수 있다. 선택적으로, 기판(2480)은 에폭시계 라미네이트 기판일 수 있다. 기판(2480)은 또한 다른 적절한 타입의 기판을 포함할 수 있다. 패키지 어셈블리(2470)는 패키지 상호 접속부(2483)를 통해 다른 전기 장치에 접속될 수 있다. 패키지 상호 접속부(2483)는 기판(2480)의 표면에 연결되어 전기 신호를 마더보드, 다른 칩셋 또는 멀티-칩 모듈과 같은 다른 전기 장치로 라우팅할 수 있다.
로직(2472, 2474)의 유닛은 로직(2472, 2474) 사이에 전기 신호를 라우팅하도록 구성된 브리지(2482)와 전기적으로 연결될 수 있다. 브리지(2482)는 전기 신호에 대한 경로를 제공하는 밀집된 상호 접속 구조일 수 있다. 브리지(2482)는 유리 또는 적절한 반도체 재료로 구성된 브리지 기판을 포함할 수 있다. 전기적 라우팅 특징부가 로직(2472, 2474) 사이에 칩과 칩의 접속을 제공하기 위해 브리지 기판 상에 형성될 수 있다.
로직(2472, 2474)의 2개의 유닛 및 브리지(2482)가 도시되어 있지만, 본 명세서에 설명된 실시예는 하나 이상의 다이 위에 더 많거나 더 적은 로직 유닛을 포함할 수 있다. 하나 이상의 다이는 로직이 단일 다이 위에 포함될 때 브리지(2482)가 배제될 수 있으므로 0개 이상의 브리지에 의해 접속될 수 있다. 이와 달리, 복수의 다이 또는 로직의 유닛은 하나 이상의 브리지에 의해 접속될 수 있다. 또한 복수의 로직 유닛, 다이 및 브리지는, 3 차원 구성을 포함한 다른 가능한 구성으로 함께 접속될 수 있다.
도 24c는 기판(2480)(예컨대, 베이스 다이)에 접속된 하드웨어 로직 칩렛의 복수의 유닛을 포함하는 패키지 어셈블리(2490)를 도시한다. 본 명세서에 설명된 그래픽 프로세싱 유닛, 병렬 프로세서 및/또는 컴퓨팅 가속기는 개별적으로 제작된 다양한 실리콘 칩렛으로 구성될 수 있다. 이러한 맥락에서, 칩렛은 다른 칩렛과 함께 더 큰 패키지로 조립될 수 있는 로직의 별개의 유닛을 포함하는 적어도 부분적으로 패키지된 집적 회로이다. 다른 IP 코어 로직을 갖는 칩렛의 다양한 세트가 단일 장치에 조립될 수 있다. 또한 칩렛은 액티브 인터포저 기술을 사용하여 베이스 다이 또는 베이스 칩렛에 통합될 수 있다. 본 명세서에 설명된 개념은 GPU 내에서 IP의 상이한 형태 사이의 상호 접속 및 통신을 가능하게 한다. IP 코어는 서로 다른 프로세스 기술을 사용하여 제작될 수 있으며 제작 과정에서 구성될 수 있으므로, 이는, 특히 여러 가지 특징적 IP를 구비한 대형 SoC에서 복수의 IP를 동일한 제작 프로세스로 수렴시키는 복잡성을 회피할 수 있다. 복수의 프로세스 기술을 사용할 수 있으므로, 출시 시간을 단축시키고 또한 복수의 제품 SKU를 생성하는 비용 효율적인 방법이 제공된다. 또한, 분리된 IP는 독립적으로 파워를 켜고 끌 수 있고, 주어진 워크로드 상에서 사용되지 않는 컴포넌트의 전원을 차단할 수 있어 전체 전력 소비를 줄일 수 있다.
하드웨어 로직 칩렛은 특수 목적 하드웨어 로직 칩렛(2472), 로직 또는 I/O 칩렛(2474) 및/또는 메모리 칩렛(2475)을 포함할 수 있다. 하드웨어 로직 칩렛(2472) 및 로직 또는 I/O 칩렛(2474)은 적어도 부분적으로 구성 가능한 로직 또는 고정 기능 로직 하드웨어로 구현될 수 있으며, 프로세서 코어(들), 그래픽 프로세서(들), 병렬 프로세서 또는 본 명세서에 설명된 다른 가속기 장치 중 임의의 것의 하나 이상의 부분을 포함할 수 있다. 메모리 칩렛(2475)은 DRAM(예컨대, GDDR, HBM) 메모리 또는 캐시(SRAM) 메모리일 수 있다.
각각의 칩렛은 개별 반도체 다이로서 제조될 수 있고 상호 접속 구조(2473)를 통해 기판(2480)에 연결될 수 있다. 상호 접속 구조(2473)는 다양한 칩렛과 기판(2480) 내의 로직 사이에서 전기 신호를 라우팅하도록 구성될 수 있다. 상호 접속 구조(2473)는 범프 또는 기둥과 같은 상호 접속부를 포함할 수 있지만, 이에 한정되는 것은 아니다. 일부 실시예에서, 상호 접속 구조(2473)는, 예를 들어, 로직, 입력/출력(I/O) 및 메모리 칩렛의 동작과 관련된 I/O 신호 및/또는 전력 또는 접지 신호와 같은 전기 신호를 라우팅하도록 구성될 수 있다.
기판(2480)은 에폭시계 라미네이트 기판일 수 있지만, 이에 한정되지 않고, 기판(2480)은 또한 다른 적절한 타입의 기판을 포함할 수 있다. 패키지 어셈블리(2490)는 패키지 상호 접속부(2483)를 통해 다른 전기 장치에 접속될 수 있다. 패키지 상호 접속부(2483)는 기판(2480)의 표면에 연결되어 전기 신호를 마더보드, 다른 칩셋 또는 멀티-칩 모듈과 같은 다른 전기 장치로 라우팅할 수 있다.
로직 또는 I/O 칩렛(2474) 및 메모리 칩렛(2475)은 로직 또는 I/O 칩렛(2474)과 메모리 칩렛(2475) 사이에서 전기 신호를 라우팅하도록 구성된 브리지(2487)를 통해 전기적으로 연결될 수 있다. 브리지(2487)는 전기 신호에 대한 경로를 제공하는 밀집된 상호 접속 구조일 수 있다. 브리지(2487)는 유리 또는 적절한 반도체 재료로 구성된 브리지 기판을 포함할 수 있다. 전기적 라우팅 특징부가 브리지 기판 상에 형성되어 로직 또는 I/O 칩렛(2474)과 메모리 칩렛(2475) 사이에 칩과 칩의 접속을 제공할 수 있다. 브리지(2487)는 또한 실리콘 브리지 또는 상호 접속 브리지로 지칭될 수 있다. 예를 들어, 브리지(2487)는 EMIB(Embedded Multi-die Interconnect Bridge)이다. 이와 달리, 브리지(2487)는 단순히 하나의 칩렛에서 다른 칩렛으로의 직접 접속일 수 있다.
기판(2480)은 I/O(2491), 캐시 메모리(2492) 및 다른 하드웨어 로직(2493)을 위한 하드웨어 컴포넌트를 포함할 수 있다. 패브릭(2485)은 기판(2480)에 내장되어 기판(2480) 내의 다양한 로직 칩렛과 로직(2491, 2493) 사이의 통신을 가능하게 할 수 있다. I/O(2491), 패브릭(2485), 캐시, 브리지 및 다른 하드웨어 로직(2493)은 기판(2480)의 위쪽에 층을 이루는 베이스 다이에 통합될 수 있다.
또한, 패키지 어셈블리(2490)는 패브릭(2485) 또는 하나 이상의 브리지(2487)에 의해 상호 접속되는 더 적거나 더 많은 개수의 컴포넌트 및 칩렛을 포함할 수도 있다. 패키지 어셈블리(2490) 내의 칩렛은 3D 또는 2.5D 배열로 배열될 수 있다. 일반적으로, 브리지 구조(2487)는, 예를 들어, 로직 또는 I/O 칩렛과 메모리 칩렛 사이의 포인트-투-포인트 상호 접속을 용이하게 하는데 사용될 수 있다. 패브릭(2485)은 다양한 로직 및/또는 I/O 칩렛(예컨대, 칩렛(2472, 2474, 2491, 2493))을 다른 로직 및/또는 I/O 칩렛에 상호 접속하는 데 사용될 수 있다. 기판 내의 캐시 메모리(2492)는 패키지 어셈블리(2490)를 위한 전역 캐시, 분산된 전역 캐시의 일부, 또는 패브릭(2485)을 위한 전용 캐시로서 동작할 수 있다.
도 24d는 일 실시예에 따른 교환 가능한 칩렛(2495)을 포함하는 패키지 어셈블리(2494)를 도시한다. 교환 가능한 칩렛(2495)은 하나 이상의 베이스 칩렛(2496, 2498) 상의 표준화된 슬롯에 조립될 수 있다. 베이스 칩렛(2496, 2498)은 본 명세서에 설명된 다른 브리지 상호 접속부와 유사할 수 있는 브리지 상호 접속부(2497)를 통해 연결될 수 있으며, 예를 들어, EMIB일 수 있다. 메모리 칩렛은 또한 브리지 상호 접속부를 통해 로직 또는 I/O 칩렛에 연결될 수 있다. I/O 및 로직 칩렛은 상호 접속 패브릭을 통해 통신할 수 있다. 베이스 칩렛은 각각 로직 또는 I/O 또는 메모리/캐시 중 하나에 대해 표준화된 포맷으로 하나 이상의 슬롯을 지원할 수 있다.
SRAM 및 전력 전달 회로는 하나 이상의 베이스 칩렛(2496, 2498)으로 제조될 수 있으며, 이 베이스 칩렛(2496, 2498)은 베이스 칩렛의 상부에 적층된 교환 가능한 칩렛(2495)과는 상이한 프로세스 기술을 사용하여 제조될 수 있다. 예를 들어, 베이스 칩렛(2496, 2498)은 더 큰 공정 기술을 사용하여 제조될 수 있는 반면, 교환 가능한 칩렛은 더 작은 공정 기술을 사용하여 제조될 수 있다. 하나 이상의 교환 가능한 칩렛(2495)은 메모리(예컨대, DRAM) 칩렛일 수 있다. 전력 및/또는 패키지 조립체(2494)를 사용하는 제품에 대한 목표 성능에 따라 상이한 메모리 밀도가 패키지 조립체(2494)에 대해 선택될 수 있다. 또한, 상이한 개수의 기능 유닛의 타입을 갖는 로직 칩렛은 전력 및/또는 제품에 대한 목표 성능에 따라 조립시에 선택될 수 있다. 또한, 서로 다른 타입의 IP 로직 코어를 포함하는 칩렛을 교환 가능한 칩렛 슬롯에 삽입하여, 상이한 기술의 IP 블록을 혼합하고 매칭시킬 수 있는 하이브리드 프로세서 설계가 가능하다.
예시적인 시스템 온 칩 집적 회로
도 25 내지 도 26은 하나 이상의 IP 코어를 사용하여 제조될 수 있는 예시적인 집적 회로 및 관련 그래픽 프로세서를 도시한다. 도시된 것에 더하여, 추가 그래픽 프로세서/코어, 주변 장치 인터페이스 제어기, 또는 범용 프로세서 코어를 포함하는 다른 로직 및 회로가 포함될 수 있다. 본 명세서의 임의의 다른 도면의 요소들과 동일한 또는 유사한 명칭을 갖는 도 25 내지 도 26의 요소들은 다른 도면들에서와 동일한 요소들을 설명하고, 그와 유사한 방식으로 동작하거나 기능할 수 있으며, 동일한 컴포넌트들을 포함할 수 있고, 제한적인 것은 아니지만 본 명세서에 기술된 것과 같은 다른 엔티티들에 링크될 수 있다.
도 25는 일 실시예에 따른 하나 이상의 IP 코어를 사용하여 제조될 수 있는 예시적인 시스템 온 칩 집적 회로(2500)을 도시하는 블록도이다. 예시적인 집적 회로(2500)는 하나 이상의 애플리케이션 프로세서(들)(2505)(예컨대, CPU), 적어도 하나의 그래픽 프로세서(2510)를 포함하는데, 이 그래픽 프로세서는 그래픽 프로세서(1408, 1508, 2510)의 변형일 수도 있고, 본 명세서에 설명된 임의의 그래픽 프로세서일 수 있으며, 본 명세서에 설명된 임의의 그래픽 프로세서 대신 사용될 수도 있다. 따라서, 본 명세서에서 그래픽 멀티프로세서와 조합된 임의의 특징들의 개시는 또한 그래픽 멀티프로세서(2510)와의 대응하는 조합을 나타내지만, 이에 제한되지는 않는다. 집적 회로(2500)는 프로세서(2515) 및/또는 비디오 프로세서(2520)를 추가로 포함할 수 있고, 이들 중 임의의 것은 동일하거나 또는 복수의 다른 설계 시설로부터 제조된 모듈식 IP 코어일 수 있다. 집적 회로(2500)는 USB 제어기(2525), UART 제어기(2530), SPI/SDIO 제어기(2535) 및 I2S/I2C 제어기(2540)를 포함하는 주변 장치 또는 버스 로직을 포함할 수 있다. 또한, 집적 회로는 하나 이상의 HDMI(high-definition multimedia interface) 제어기(2550) 및 MIPI(mobile industry processor interface) 디스플레이 인터페이스(2555)에 연결된 디스플레이 장치(2545)를 포함할 수 있다. 저장 장치는 플래시 메모리 및 플래시 메모리 제어기를 포함하는 플래시 메모리 서브시스템(2560)에 의해 제공될 수 있다. 메모리 인터페이스는 SDRAM 또는 SRAM 메모리 장치에 액세스하기 위한 메모리 제어기(2565)를 통해 제공될 수 있다. 일부 집적 회로는 내장형 보안 엔진(2570)을 추가로 포함한다.
도 26a 및 도 26b는 본 명세서에 설명된 실시예에 따른, SoC 내에서 사용하기 위한 예시적인 그래픽 프로세서를 나타내는 블록도이다. 그래픽 프로세서는 그래픽 프로세서(1408, 1508, 2510)의 변형 또는 본 명세서에 설명된 임의의 다른 프로세서일 수 있다. 그래픽 프로세서는 그래픽 프로세서(1408, 1508, 2510) 또는 본 명세서에 설명된 임의의 다른 프로세서를 대신하여 사용될 수 있다. 따라서, 그래픽 프로세서(1408, 1508, 2510) 또는 본 명세서에 설명된 임의의 다른 프로세서와 조합된 임의의 특징들의 개시는 또한 도 26a 및 26b의 그래픽 프로세서와의 대응하는 조합을 나타내지만, 이에 제한되지는 않는다. 도 26a는 일 실시예에 따른 하나 이상의 IP 코어를 사용하여 제조될 수 있는 시스템 온 칩 집적 회로의 예시적인 그래픽 프로세서(2610)를 도시한다. 도 26b는 일 실시예에 따른 하나 이상의 IP 코어를 사용하여 제조될 수 있는 시스템 온 칩 집적 회로의 추가의 예시적인 그래픽 프로세서(2640)를 도시한다. 도 26a의 그래픽 프로세서(2610)는 저전력 그래픽 프로세서 코어의 예이다. 도 26b의 그래픽 프로세서(2640)는 고성능 그래픽 프로세서 코어의 예이다. 예를 들어, 그래픽 프로세서(2610, 2640) 각각은, 이 단락의 서두에서 언급한 바와 같이, 도 25의 그래픽 프로세서의 변형일 수 있다.
도 26a에 도시된 것과 같이, 그래픽 프로세서(2610)는 정점 프로세서(2605) 및 하나 이상의 프래그먼트 프로세서(들)(2615A-2615N)(예컨대, 2615A, 2615B, 2615C, 2615D, 내지 2615N-1 및 2615N)를 포함한다. 그래픽 프로세서(2610)는 별개의 로직을 통해 상이한 셰이더 프로그램을 실행할 수 있으므로, 정점 프로세서(2605)는 정점 셰이더 프로그램에 대한 동작을 실행하도록 최적화되고, 하나 이상의 프래그먼트 프로세서(들)(2615A-2615N)는 프래그먼트 또는 픽셀 셰이더 프로그램에 대한 프래그먼트(예컨대, 픽셀) 셰이딩 동작을 실행한다. 정점 프로세서(2605)는 3D 그래픽 파이프라인의 정점 프로세싱 단계를 수행하고 프리미티브 및 정점 데이터를 생성한다. 프래그먼트 프로세서(들)(2615A-2615N)는 정점 프로세서(2605)에 의해 생성된 프리미티브 및 정점 데이터를 사용하여 디스플레이 디바이스 상에 디스플레이되는 프레임 버퍼를 생성한다. 프래그먼트 프로세서(들)(2615A-2615N)는, Direct 3D API에서 제공되는 픽셀 셰이더 프로그램과 유사한 동작을 수행하는데 사용될 수 있는, OpenGL API에서 제공되는 프래그먼트 셰이더 프로그램을 실행하도록 최적화될 수 있다.
그래픽 프로세서(2610)는 하나 이상의 메모리 관리 유닛(MMU)(2620A, 2620B), 캐시(들)(2625A, 2625B) 및 회로 상호 접속부(들)(2630A, 2630B)를 추가로 포함한다. 하나 이상의 MMU(들)(2620A, 2620B)는, 하나 이상의 캐시(들)(2625A, 2625B)에 저장된 정점 또는 이미지/텍스처 데이터에 더하여 메모리에 저장된 정점 또는 이미지/텍스처를 참조할 수 있는, 정점 프로세서(2605) 및/또는 프래그먼트 프로세서(들)(2615A-2615N)를 포함하는 그래픽 프로세서(2610)에 대해 가상 주소를 물리 주소로 매핑한다. 하나 이상의 MMU(들)(2620A, 2620B)는, 도 25의 하나 이상의 애플리케이션 프로세서(2505), 이미지 프로세서(2515) 및/또는 비디오 프로세서(2520)와 관련된 하나 이상의 MMU를 포함하는 시스템 내의 다른 MMU와 동기화되어, 각각의 프로세서(2505-2520)가 공유 또는 통합 가상 메모리 시스템에 참여할 수 있다. 그래픽 프로세서(2610)의 컴포넌트는 본 명세서에 설명된 다른 프로세서의 컴포넌트에 해당할 수 있다. 하나 이상의 MMU(들)(2620A-2620B)는 도 2c의 MMU(245)에 해당할 수 있다. 정점 프로세서(2605) 및 프래그먼트 프로세서(들)(2615A-2615N)는 그래픽 멀티프로세서(234)에 해당할 수 있다. 하나 이상의 회로 상호 접속부(들)(2630A, 2630B)는, 그래픽 프로세서(2610)가 실시예에 따라 SoC의 내부 버스를 통해 또는 직접 접속을 통해 SoC 내의 다른 IP 코어와 인터페이스할 수 있도록 한다. 하나 이상의 회로 상호접속부(들)(2630A-2630B)는 도 2c의 데이터 크로스바(240)에 해당할 수 있다. 그래픽 프로세서(2610)의 유사한 컴포넌트와 여기에 설명된 다양한 그래픽 프로세서 아키텍처 사이에 다른 대응관계를 찾아볼 수도 있다.
도 26b에 도시된 것과 같이, 그래픽 프로세서(2640)는 도 26a의 그래픽 프로세서(2610)의 하나 이상의 MMU(들)(2620A, 2620B), 캐시(들)(2625A, 2625B), 및 회로 상호 접속부(들)(2630A, 2630B)를 포함한다. 그래픽 프로세서(2640)는 하나 이상의 셰이더 코어(들)(2655A-2655N)(예컨대, 2655A, 2655B, 2655C, 2655D, 2655E, 2655F 내지 2655N-1 및 2655N)를 포함하며, 이는, 단일 코어 또는 임의의 타입의 코어가 정점 셰이더, 프래그먼트 셰이더 및/또는 컴퓨팅 셰이더를 구현하는 셰이더 프로그램 코드를 포함하는 프로그래밍 가능한 셰이더 코드의 모든 타입을 실행할 수 있는 통합 셰이더 코어 아키텍처를 제공한다. 존재하는 셰이더 코어의 정확한 개수는 실시예 및 구현예에 따라 달라질 수 있다. 또한, 그래픽 프로세서(2640)는 스레드 디스패처로서 동작하여 실행 스레드를 하나 이상의 셰이더 코어(2655A-2655N)에 디스패치하는 코어 간(inter-core) 태스크 관리자(2645)와, 타일 기반 렌더링을 위한 타일링 동작을 가속화하는 타일링 유닛(2658)을 포함하고, 이 타일링 유닛에서는 장면에 대한 렌더링 작업이 이미지 공간에서 세분화되어, 예를 들어, 장면 내의 로컬 공간 일관성을 이용하거나 또는 내부 캐시의 사용을 최적화한다. 셰이더 코어(2655A-2655N)는 예컨대 도 2d의 그래픽 멀티프로세서(234), 도 3a의 그래픽 멀티프로세서(325, 350)에 제각기 대응하거나 또는 도 3c의 멀티코어 그룹(365A)에 대응할 수 있다.
본 명세서에 설명된 실시예들은 시스톨릭 프로세싱 유닛을 통해 희소 데이터에 대한 산술을 수행하기 위한 기술을 제공하는 소프트웨어, 펌웨어, 및 하드웨어 로직을 포함한다. 본 명세서에 기술된 실시예는 0으로 채워진 매트릭스 및 서브매트릭스에 대한 계산을 건너뛰는 기법을 제공한다. 실시예들은 또한 프로세싱 유닛을 통해 데이터 압축을 유지하는 기법을 제공한다. 실시예들은 또한 희소 인식 로직 유닛을 위한 아키텍처를 제공한다.
텐서 가속 로직 및 통합 메모리를 구비한 GPGPU
도 27은 일 실시예에 따른 프로세싱 시스템(2700)의 블록도이다. 데이터 처리 시스템(2700)은 프로세서(2702), 통합 메모리(2710) 및 머신 학습 가속 로직을 포함하는 GPGPU(2720)를 갖는 이종 프로세싱 시스템이다. 프로세서(2702) 및 GPGPU(2720)는 본 명세서에 설명된 바와 같은 프로세서 및 GPGPU/병렬 프로세서 중 임의의 것일 수 있다. 프로세서(2702)는 시스템 메모리(2712)에 저장된 컴파일러(2715)에 대한 명령어를 실행할 수 있다. 컴파일러(2715)는 프로세서(2702)에서 실행되어 소스 코드(2714A)를 컴파일된 코드(2714B)로 컴파일한다. 컴파일된 코드(2714B)는 프로세서(2702)에 의해 실행될 수 있는 명령어 및/또는 GPGPU(2720)에 의해 실행될 수 있는 명령어를 포함할 수 있다. 컴파일 동안, 컴파일러(2715)는, 컴파일된 코드(2714B) 내에 존재하는 데이터 병렬성 수준에 관한 힌트 및/또는 컴파일된 코드(2714B)에 기초하여 디스패치될 스레드와 연관된 데이터 장소에 관한 힌트를 포함하는, 메타 데이터를 삽입하는 연산을 수행할 수 있다. 컴파일러(2715)가 그러한 동작을 수행하는 데 필요한 정보를 포함할 수도 있고, 또는 이들 동작이 런타임 라이브러리(2716)의 도움으로 수행될 수도 있다. 런타임 라이브러리(2716)는 또한 소스 코드(2714A)의 컴파일에서 컴파일러(2715)를 지원할 수 있으며, GPGPU(2720)에서 컴파일된 명령어의 실행을 용이하게 하기 위해 런타임시 컴파일된 코드(2714B)와 링크된 명령어를 포함할 수도 있다.
통합 메모리(2710)는 프로세서(2702) 및 GPGPU(2720)에 의해 액세스될 수 있는 통합 주소 공간을 나타낸다. 통합 메모리는 GPGPU 메모리(2718) 뿐만 아니라 시스템 메모리(2712)를 포함할 수 있다. GPGPU 메모리(2718)는 GPGPU(2720)의 주소 공간 내의 메모리이고, 시스템 메모리(2712)의 일부 또는 전부를 포함할 수 있다. 일 실시예에서 GPGPU 메모리(2718)는 또한 GPGPU(2720)에 의해 독점적으로 사용하도록 전용된 임의의 메모리의 적어도 일부를 포함할 수 있다. 일 실시예에서, 시스템 메모리(2712)에 저장된 컴파일된 코드(2714B)는 GPGPU(2720)에 의한 액세스를 위해 GPGPU 메모리(2718)에 매핑될 수 있다.
GPGPU(2720)는, 본 명세서에 설명된 다양한 컴퓨팅 유닛 또는 실행 요소 중 하나 이상을 포함할 수 있는 다수의 컴퓨팅 블록(2724A-2724N)을 포함한다. 프로세싱 리소스는, 예컨대, 실행 유닛, 컴퓨팅 유닛, 스트리밍 멀티프로세서, 그래픽 멀티프로세서, 또는 멀티-코어 그룹과 같은 다양한 계산 리소스일 수도 있고 또는 이들을 포함할 수 있다. 일 실시예에서, GPGPU(2720)는 매트릭스 연산의 서브세트(예컨대, 내적 등)를 촉진시키도록 설계된 하나 이상의 특수 함수 컴퓨팅 유닛을 포함할 수 있는 텐서 가속기(2723)를 추가로 포함한다. 텐서 가속기(2723)는 텐서 가속기 또는 텐서 코어로 지칭될 수도 있다. 일 실시예에서, 텐서 가속기(2723) 내의 로직 컴포넌트는 다수의 컴퓨팅 블록(2724A-2724N)의 프로세싱 리소스에 걸쳐 분산될 수 있다.
GPGPU(2720)는 또한 레지스터 세트(2725), 전력 및 성능 모듈(2726), 및 캐시(2727)를 포함하지만 이에 제한되지 않는 컴퓨팅 블록(2724A-2724N) 및 텐서 가속기(2723)에 의해 공유될 수 있는 리소스 세트를 포함할 수 있다. 일 실시예에서, 레지스터(2725)는 직접 및 간접적으로 액세스 가능한 레지스터를 포함하고, 여기서 간접적으로 액세스 가능한 레지스터는 텐서 가속기(2723)에 의해 사용되도록 최적화된다. 전력 및 성능 모듈(2726)은, 컴퓨팅 블록(2724A-2724N) 내의 게이트 유휴 컴포넌트에 전력을 공급하도록, 컴퓨팅 블록(2724A-2724N)에 대한 전력 전달 및 클록 주파수를 조정하도록 구성될 수 있다. 다양한 실시예에서 캐시(2727)는 명령어 캐시 및/또는 하위 레벨 데이터 캐시를 포함할 수 있다.
GPGPU(2720)는, 텐서 가속기(2723) 및/또는 컴퓨팅 블록(2724A-2724N) 내의 컴퓨팅 요소에 의해 통합 메모리(2710)로부터 액세스된 데이터를 캐시하는 데 사용될 수 있는, L3 데이터 캐시(2730)를 추가로 포함할 수 있다. 일 실시예에서, L3 데이터 캐시(2730)는 컴퓨팅 블록(2724A-2724N) 내의 컴퓨팅 요소와 텐서 가속기(2723)에 의해 공유될 수 있는 공유 로컬 메모리(2732)를 포함한다.
일 실시예에서 GPGPU(2720)는 페치 및 디코딩 유닛(2721) 및 스케줄러 제어기(2722)와 같은 명령어 처리 로직을 포함한다. 페치 및 디코딩 유닛(2721)은 컴퓨팅 블록(2724A-2724N) 또는 텐서 가속기(2723) 중 하나 이상에 의해 실행하기 위한 명령어를 페치 및 디코딩하기 위한 페치 유닛 및 디코딩 유닛을 포함한다. 명령어는 스케줄러 제어기( 2722)를 통해 컴퓨팅 블록(2724A-2724N) 내의 적절한 기능 유닛 또는 텐서 가속기에 스케줄링될 수 있다. 일 실시예에서 스케줄러 제어기(2722)는 고급 스케줄링 작업을 수행하도록 구성가능한 ASIC이다. 일 실시예에서, 스케줄러 제어기(2722)는 펌웨어 모듈로부터 로드된 스케줄러 명령어를 실행할 수 있는 마이크로컨트롤러 또는 명령어 당 낮은 에너지 처리 코어(low energy-per-instruction processing core)이다.
일 실시예에서, 컴퓨팅 블록(2724A-2724N)에 의해 수행되는 일부 기능은 텐서 가속기(2723)에 직접 스케줄링되거나 오프로드될 수 있다. 다양한 실시예에서 텐서 가속기(2723)는 3D 그래픽 또는 컴퓨팅 셰이더 프로그램에서 사용되는 곱셈 및 덧셈 그리고 내적과 같은 매트릭스 컴퓨팅 연산을 효율적으로 수행하도록 구성된 처리 요소 로직을 포함한다. 일 실시예에서, 텐서 가속기(2723)는 머신 학습 프레임워크에 의해 사용되는 동작을 가속화하도록 구성될 수 있다. 일 실시예에서, 텐서 가속기(2723)는 특정 세트의 병렬 매트릭스 곱셈 및/또는 덧셈을 수행하도록 명시적으로 구성된 애플리케이션 특정 집적 회로이다. 일 실시예에서, 텐서 가속기(2723)는 워크로드들 사이에 업데이트될 수 있는 고정 기능 로직을 제공하는 FPGA(field programmable gate array)이다. 텐서 가속기(2723)에 의해 수행될 수 있는 일련의 매트릭스 연산은 컴퓨팅 블록(2724A-2724N)에 의해 수행될 수 있는 연산에 대해 제한될 수 있다. 그러나, 텐서 가속기(2723)는 컴퓨팅 블록(2724A-2724N)에 비해 상당히 더 높은 처리량으로 이러한 연산을 수행할 수 있다.
도 28은 일 실시예에 따른, 명령어 파이프라인(2800)에 의해 수행된 매트릭스 연산(2805)을 도시한다. 명령어 파이프 라인(2800)은 내적 연산(이에 한정되지 않음)과 같은 매트릭스 연산(2805)을 수행하도록 구성될 수 있다. 두 벡터의 내적은 벡터의 해당 성분들의 곱의 합과 같은 스칼라 값이다. 내적은 아래 식(1)과 같이 계산할 수 있다.
내적은 컨볼루션 신경망(CNN)에 대한 컨볼루션 연산에 사용될 수 있다. 도 28는 내적 연산을 포함하는 매트릭스 연산(2805)을 사용하는 2차원(2D) 컨볼루션을 도시한다. 2D 컨볼루션이 예시되어 있지만, N-차원 필터를 사용하여 N-차원 볼륨에서 N-차원 컨볼루션을 수행할 수 있다. 리셉티브 필드 타일(2802)은 입력 볼륨 버퍼(2804) 내 입력 볼륨의 일부를 강조 표시한다. 입력 볼륨 버퍼는 메모리(2830)에 저장될 수 있다. 도트 매트릭스 연산(2805)은 리셉티브 필드 타일(2802) 내의 데이터와 컨볼루션 필터 사이에서 수행되어 출력 버퍼(2806) 내에 데이터 포인트를 생성할 수 있으며, 이는 메모리(2830)에 저장될 수 있다. 메모리(2830)는, 도 27에서와 같이 시스템 메모리(2712), GPGPU 메모리(2718), 또는 하나 이상의 캐시 메모리(2727, 2730)를 포함하는, 본 명세서에서 설명되는 임의의 메모리일 수 있다.
출력 버퍼(2806) 내의 데이터 포인트들의 조합은 컨볼루션 연산에 의해 생성된 활성화 맵을 나타낸다. 활성화 맵 내의 각 포인트는 입력 볼륨 버퍼(2804)를 가로질러 리셉티브 필드 타일을 슬라이딩함으로써 생성된다. 활성화 맵 데이터는 출력 활성화 값을 결정하기 위해 활성화 함수에 입력될 수 있다. 일 실시예에서, 입력 볼륨 버퍼(2804)의 컨볼루션은 프레임워크 내에서 고수준 매트릭스 연산(2805)으로 정의될 수 있다. 고수준 매트릭스 연산은 기본 선형 대수 서브프로그램(basic linear algebra subprogram: BLAS) 연산과 같은 프리미티브 연산을 통해 수행될 수 있다. 프리미티브 연산은 명령 파이프 라인(2800)에 의해 실행되는 하드웨어 명령어를 통해 가속화될 수 있다.
하드웨어 명령어를 가속화하기 위해 사용되는 명령어 파이프라인(2800)은 하드웨어 명령어를 페치 및 디코딩할 수 있는 명령어 페치 및 디코딩 유닛(2721) 및 컴퓨팅 블록(2724A-2724N) 내의 하나 이상의 프로세싱 유닛 및/또는 텐서 가속기(2723)에 디코딩된 명령어를 스케줄링할 수 있는 스케줄러 제어기(2722)를 포함할 수 있다. 일 실시예에서, 하드웨어 명령어는 컴퓨팅 블록(2724A-2724N)에 스케줄링되고 텐서 가속기(2723)에 오프로드될 수 있다. 매트릭스 연산(2805)을 수행하기 위한 하나 이상의 하드웨어 명령어 및 관련 데이터는 메모리(2830)에 저장될 수 있다. 하드웨어 명령어의 출력 또한 메모리(2830)에 저장될 수 있다.
일 실시예에서, 텐서 가속기(2723)는 통합 시스톨릭 어레이(2808)(DP 로직)를 사용하여 매트릭스 연산(2805)을 수행하기 위해 하나 이상의 하드웨어 명령어를 실행할 수 있다. 시스톨릭 어레이(2808)는 내적 연산을 수행하도록 구성 가능한 프로그램 가능 및 고정 기능 하드웨어의 조합을 포함할 수 있다. 컴퓨팅 블록(2724A-2724N) 내의 기능 유닛이 내적 연산을 수행하도록 구성될 수도 있지만, 시스톨릭 어레이(2808)는 컴퓨팅 블록(2724A-2724N)에 비해 훨씬 더 높은 처리량으로 제한된 서브세트의 내적 연산을 수행하도록 구성될 수 있다.
도 29a 및 29b는 일부 실시예들에 따른 하드웨어 기반 시스톨릭 어레이(2808)의 세부사항들을 도시한다. 도 29a는 단일 클록 사이클 내에서 다수의 내적 연산을 수행하도록 구성가능한 다수의 기능 유닛들의 그리드를 도시한다. 도 29b는 하나의 예시적인 기능 유닛을 도시한다. 시스톨릭 매트릭스 계산 동안,
도 29a에 도시된 바와 같이, 일 실시예에서, 시스톨릭 어레이(2808)는 다양한 기능 유닛을 사용하여 병렬 도트 곱 연산들의 세트를 수행하도록 구성가능하다. 내적은 SIMD 데이터가 기능 유닛의 다수의 층을 가로질러 펌핑되는 '시스톨릭' 방식으로 수행될 수 있다. 도 29a에 도시된 바와 같이, 일 실시예에서, 시스톨릭 어레이(2808)는 다양한 기능 유닛을 사용하여 병렬 도트 곱 연산들의 세트를 수행하도록 구성가능하다. 내적은 SIMD 데이터가 기능 유닛의 다수의 층을 가로질러 펌핑되는 '시스톨릭' 방식으로 수행될 수 있다. 시스톨릭 어레이(2808)는 그리드로 배열된 기능 유닛들의 집합이다. 기능 유닛들의 그리드는 락스텝(lockstep)으로 동작하고, 곱셈-누산 연산을 수행하도록 최적화된다. 시스톨릭 어레이(2808)에 의해 작동되는 매트릭스는 기능 유닛의 그리드를 가로질러 펌핑되는 서브-매트릭스로 분할된다.
일 실시예에서, 시스톨릭 어레이(2808)는 구성가능한 시스톨릭 깊이를 사용하여 데이터의 구성가능한 수의 SIMD 채널들을 처리할 수 있다. 주어진 명령어에 대해, SIMD 폭 및 시스톨릭 깊이는 소스 데이터의 세트를 프로세싱하도록 선택될 수 있다. 시스톨릭 깊이는 명령어를 처리하는데 사용될 하드웨어 로직의 시스톨릭 레이어의 수를 정의한다. 시스톨릭 레이어는 가변 SIMD 폭을 갖는 곱셈기 및 가산기 로직 유닛들의 그룹이며, 여기서 시스톨릭 레이어는 입력으로서 초기 누산기 값을 수신할 수 있고, 연속적인 시스톨릭 레이어에 또는 출력 레지스터에 출력하기 위한 내적 값을 생성한다.
일부 실시예들에서, 3개의 소스가 프로세싱될 수 있고, 여기서 각각의 소스는 벡터 레지스터 또는 즉치(immediate)일 수 있다. 일 실시예에서, 소스(2900)(SRC0)는 단일 값 또는 누산기 값들의 벡터일 수 있는 하나 이상의 초기 누산기 값들일 수 있다. 초기 누산기 값은 제1 시스톨릭 레이어 내의 각각의 기능 유닛에 의해 계산된 내적들의 제1 세트에 추가될 것이다. 기능 유닛에 의해 계산된 내적은 주어진 SIMD 채널에 대한 다음 시스톨릭 레이어에 제공될 수 있다. 내적은 패킹된 데이터의 하나 이상의 채널을 포함할 수 있는 벡터 레지스터인 소스(2901)(SRC1) 및 소스(2902)(SRC2)에 기초하여 계산될 수 있고, 각각의 채널은 4-요소 벡터를 포함한다. 일 실시예에서, 각 채널은 32 비트 폭이고, 4개의 8 비트 벡터 요소를 제공한다. 일부 실시예는 8 비트 요소, 4 비트 요소 및/또는 2 비트 요소를 갖는 입력 벡터로부터 내적을 계산하도록 구성가능하다. 일 실시예에서, 혼합 정밀도 동작은 지원되는 요소 크기의 임의의 조합(예컨대, 8 비트 x 2 비트, 8 비트 x 4 비트, 4 비트 x 4 비트 등)을 사용하여 수행될 수 있다. 일 실시예에서, 시스톨릭 어레이(2808)는 정수 계산을 위해 구성되지만, 자동 고정 소수점 동작이 일부 실시예들에서 구성가능하다. 본 명세서에 설명된 명령어가 4 요소 내적이지만, 일부 실시예에서, 시스톨릭 어레이(2808)는 벡터 당 상이한 수의 요소에 대한 부동 소수점 내적 계산을 지원하도록 구성될 수도 있다.
일 실시예에서, 4 요소 벡터의 다수 채널이 다양한 폭(예컨대, 64 비트, 128 비트, 256 비트들, 512 비트 등)의 단일 벡터 레지스터로 패킹될 수 있다. 동시 도트 곱은 소스(2901) 및 소스(2902)를 통해 제공된 벡터 요소의 다수 채널에 대해 시스톨릭 어레이(2808)를 통해 계산될 수 있다. 프로세싱될 벡터 요소의 채널 수는 내적 계산을 위해 선택된 실행 크기 및 시스톨릭 깊이에 기초하여 구성될 수 있다. 일 실시예서, 특정된 실행 크기 및/또는 시스톨릭 심도보다 더 넓은 소스 벡터는 시스톨릭 어레이(2808)의 다수의 사이클을 이용하여 계산될 수 있다.
주어진 클록 사이클 내에서 수행될 수 있는 계산 수는 SIMD 레인 및 시스톨릭 레이어 수에 기초하여 변할 수 있다. 도시된 바와 같이, 시스톨릭 어레이(2808)는 4의 시스톨릭 깊이를 사용하여 처리량의 SIMD 레인당 16개의 내적을 수행할 수 있다. 8개의 SIMD 레인에 대해 구성될 경우, 로직은 주어진 사이클 내에서 128개의 8비트 정수(INT8) 내적들을 수행할 수 있다. 8개의 SIMD 레인 및 8의 시스톨릭 깊이에 대해 구성될 경우, 각 레인은 32개의 8비트 정수(INT8) 내적 및 총 256개의 내적을 수행할 수 있다. 이들 동작의 특정 수는 일 실시예의 예시이고, 다른 실시예들은 처리량에 있어서 변한다. 또한, 데이터 타입이 상이하면, 동작 수는 상이한 데이터 타입에 기초하여 확장될 것이다.
각각의 기능 유닛에서, 내적(dot product)은 곱셈기 및 가산기 로직을 통해 계산되고 내적은 누산기 값에 가산된다. 결과의 데이터는 목적지 레지스터로 출력되거나 다음 시스톨릭 레이어의 누산기에 제공될 수 있다. 기능 유닛(2912)의 세부사항은 도 29b에 도시되어 있다.
도 29b에 도시된 바와 같이, 기능 유닛(2912)은 입력 데이터 버퍼(2904, 2906) 세트 및 누산기(2922)를 포함할 수 있고, 이들은 각각 입력 데이터를 수용할 수 있다. 일 실시예에서, 데이터 버퍼(2906)는 입력 데이터의 패킹된 벡터일 수 있는 소스(2902)(SRC2)를 수용할 수 있다. 데이터 버퍼(2904)는 입력 데이터의 패킹된 벡터일 수 있는 소스(2901)(SRC1)를 수용할 수 있다. 누산기(2922)는 기능 유닛(2912)에 대한 초기 누산기 값을 제공하는 소스(2900)(SRC0)를 수용할 수 있다. 초기 누산기 값은 소스(2901) 및 소스(2902)의 요소들로부터 계산된 내적에 가산된다. 내적은 곱셈기(2923A-2923D) 세트 및 가산기(2924)를 사용하여 소스 벡터의 요소별 곱셈을 통해 계산된다. 곱셈기(2923A-2923D)는 한 세트의 곱을 계산하는데 사용된다. 곱 세트의 합은 가산기(2924)에 의해 계산된다. 이 합은 소스(2900)를 통해 제공된 임의의 초기값과 누산될 수 있다(예컨대, 가산될 수 있다). 일 실시예에서, 이 누산된 값은 후속 시스톨릭 레이어에 상주할 수 있는 다음 누산기에 대한 입력 값(2926)으로서 제공될 수 있다. 일 실시예에서, 소스(2901)는 다수의 입력 데이터 채널을 포함할 수 있다. 소스(2901)의 추가적인 채널은 SRC1 입력으로서 추가 SIMD 레인(2928)에 중계될 수 있다. 일 실시예에서, 소스(2902)는 다수의 입력 데이터 채널을 포함할 수 있다. 소스(2902)의 추가적인 채널은 부가적인 시스톨릭 깊이 내의 로직 유닛에 대한 SRC2 입력 데이터로서 사용될 수 있다. 일 실시예에서, 소스(2900)는 선택적으로 다수의 채널들을 포함할 수 있고, 추가적인 채널은 추가적인 기능 유닛 내에서 누산기로의 입력으로서 제공된다. 일 실시예에서, 소스(2900)는 초기 시스톨릭 레이어의 각각의 기능 유닛 내의 각각의 누산기에 가산되는 단일 값일 수 있다.
0으로 채워진 매트릭스 및 서브매트릭스에 대한 계산 건너뛰기
일 실시예는 희소 데이터를 사용할 때 시스톨릭 어레이에 대한 훈련 및 추론을 최적화하는 기술을 제공한다. 시스톨릭 텐서 어레이(2808) 또는 시스톨릭 어레이(1912)에 의해 처리될 매트릭스 또는 서브매트릭스가 전부 0인 경우, 매트릭스 또는 서브매트릭스에 대한 차원 값은 0으로 설정될 수 있고 시스톨릭 텐서 어레이(2808)는 수행될 연산에 따라 서브매트릭스와 연관된 하나 이상의 계산 단계를 우회할 수 있다. 매트릭스 데이터의 사전 처리 동안, 0개의 서브매트릭스가 식별될 수 있고 어느 서브매트릭스가 0의 값만 포함하는지를 나타내기 위해 매트릭스에 대한 서브매트릭스 맵이 생성될 수 있다. 일 실시예에서, 적어도 일부 연산은 전체 행이나 열이 0 값을 포함하는 매트릭스 또는 서브매트릭스에 대해 우회될 수 있다. 일 실시예에서, 0이 아닌 값을 하나만 포함하는 서브매트릭스도 우회될 수 있다.
도 30a 및 30b는 실시예들에 따른 0의 값의 서브매트릭스를 우회하는 시스템을 도시한다. 도 30a에 도시된 바와 같이, 매트릭스(3002) 및 매트릭스(3004)는 하나 이상의 서브매트릭스가 0의 값만 포함하는 매트릭스이다. 프로세싱 로직은 서브매트릭스가 0의 값만 포함하는지 여부를 나타내기 위해 매트릭스(3002)에 대한 서브매트릭스 맵(3012) 및 매트릭스(3004)에 대한 서브매트릭스 맵(3014)을 생성할 수 있다. 각 서브매트릭스에 대해 0에 대한 비트 비교를 수행하는 것을 포함한 다양한 기술을 사용하여 서브맵을 생성할 수 있다. 서브매트릭스 맵은 범용 프로세싱 로직(예컨대, CPU)에서 실행되는 프레임워크 또는 드라이버 로직에 의해 생성되거나 프로세싱 리소스 내의 전용 하드웨어 로직에 의해 생성될 수 있다. 일 실시예에서, 서브매트릭스(3005)가 제한된 수의 0이 아닌 값을 포함하는 경우, 그 서브매트릭스에 대한 시스톨릭 연산도 우회된다. 대신에, 서브매트릭스(3005)에 대한 매트릭스 연산의 결과는 시스톨릭 텐서 배열 대신 ALU를 사용하여 계산될 수 있다.
도 30b에 도시된 바와 같이, 메모리(3020)는 매트릭스(3002) 및 매트릭스(3004)를 저장할 수 있다. 시스톨릭 어레이(2808)는 매트릭스 A 로드 유닛(3026), 매트릭스 B 로드 유닛(3022), 매트릭스 A 피드 유닛(3028), 및 매트릭스 B 피드 유닛(3024)을 포함할 수 있다. 매트릭스(3002)는 매트릭스 B로서 로딩되고 공급될 수 있는 반면, 매트릭스(3004)는 매트릭스 A로서 로딩 및 공급될 수 있다. 매트릭스 A 및 매트릭스 B의 서브매트릭스는 시스톨릭 텐서 어레이(2808)의 프로세싱 요소로서 동작하는 기능 유닛(3030)을 통해 로드 및 공급될 수 있다.
일 실시예에서, 로드 B 필터(3027) 및 로드 A 필터(3027)는 매트릭스(3002)에 대한 서브매트릭스 맵(3012) 및 매트릭스(3004)에 대한 서브매트릭스 맵(3014)을 저장하기 위한 버퍼를 포함할 수 있다. 로드 B 필터(3021)는 매트릭스 B 로드 유닛(3022)에 의해 0의 값 서브매트릭스의 로드를 우회할 수 있다. 로드 A 필터(3027)는 매트릭스 A 로드 유닛(3026)에 의해 0의 값 서브매트릭스의 로드를 우회할 수 있다. 우회되지 않은 서브매트릭스는 기능 유닛(3030)에 의해 처리될 수 있다. 서브매트릭스들 중 하나가 0인, 시스톨릭 텐서 어레이(2808)에 의해 수행될 연산에 따라, 전체 동작이 우회될 수 있다. 서브매트릭스가 하나의 0이 아닌 값의 서브매트릭스를 포함할 경우, 수행될 연산과 관련된 서브매트릭스는 시스톨릭 텐서 어레이(2808)를 우회할 수 있고 이 연산은 아래 도 31b에 도시된 바와 같이 시스템(3110)을 통해 ALU에 의해 수행될 수 있다.
도 31a 및 31b는 희소 데이터에 대해 매트릭스 곱셈 연산을 수행하는 방법(3100) 및 시스템(3110)을 도시한다. 도 31a는 0으로 채워진 매트릭스 및 서브매트릭스에 대한 매트릭스 곱셈 연산을 건너뛰는 방법(3100)을 도시한다. 도 31b는 거의 희소(near-sparse) 매트릭스 및 서브매트릭스에 대한 연산이 우회될 수 있는 시스템(3110)을 도시한다. 방법(3100)은 본 명세서에 설명된 시스톨릭 어레이 또는 시스톨릭 텐서 어레이를 포함하는 프로세싱 리소스에 의해 수행될 수 있으며, 여기서 프로세싱 리소스는 제로 검출 및/또는 제로 스킵 회로를 포함하는 압축 또는 인코딩 로직을 추가로 포함한다. 예시적인 제로 검출 및/또는 제로 스킵 회로는, 예를 들어 도 30b의 부하 B 필터(3021) 및 부하 A 필터(3027)를 포함한다. 시스템(3110)은, 제한적인 것은 아니지만, 컴퓨팅 유닛(1910)과 같은 본 명세서에 설명된 컴퓨팅 유닛의 구성요소를 포함한다.
도 31a에 도시된 바와 같이, 방법(3100)은 제로 검출 및/또는 제로 스킵 회로를 갖는 그래픽 프로세싱 유닛, 그래픽 멀티프로세서, 또는 그래픽 프로세서가 시스톨릭 어레이의 프로세싱 요소에 입력될 매트릭스의 피연산자에 대해 제로 값을 추적하는 것을 포함한다(3102). 회로가 입력으로서 제공될 0으로 채워진 매트릭스 또는 0으로 채워진 서브매트릭스를 검출하면(3104, 예), 회로는 전체 매트릭스 또는 서브매트릭스에 대한 연산을 우회할 수 있다(3109). 0으로 채워진 서브매트릭스는 입력 매트릭스의 0으로 채워진 블록 또는 매트릭스의 0으로 채워진 행 또는 열을 포함할 수 있다. 입력으로 제공될 매트릭스 또는 서브매트릭스가 0으로 채워지지 않은 경우(3104, NO), 회로는 계속해서 매트릭스 곱셈 연산 또는 0의 값 입력에 기초하여 0의 결과를 가질 하나 이상의 벡터화된 계산과 같은, 매트릭스 또는 서브매트릭스에 대한 연산을 수행할 수 있다(3106). 그 다음에, 처리 회로는 필요에 따라 각 피연산자 수준에서 계산을 우회할 수 있다(3107). 예를 들어, 전체 매트릭스 또는 서브매트릭스를 우회할 수 없는 경우에도, 개별 0의 값의 피연산자에 기초하여 연산을 건너뛰어 전체 연산 수를 줄일 수 있다. 또한, 거의 희소 매트릭스 또는 서브매트릭스는 시스톨릭 어레이를 우회할 수 있고, 도 31b에 도시된 바와 같이, 제한된 수의 필요한 연산이 프로세싱 리소스 내의 기존 로직 유닛에 의해 수행될 수 있다.
도 31b는 제한된 수의 0이 아닌 값을 포함하는 서브매트릭스에 대한 연산에 있어서 시스톨릭 텐서 어레이를 우회하는 로직을 포함하는 시스템(3110)을 도시한다. 시스템(3110)은 도 19에서와 같이 메모리(3020) 및 연산 유닛(1910)을 포함한다. 컴퓨팅 유닛(1910)이 예시되어 있지만, 시스템(3110)은 대안적으로 또는 추가적으로 다른 유형의 컴퓨팅 유닛 또는 여기에 설명된 프로세싱 리소스를 포함할 수 있다. 컴퓨팅 유닛(1910)은 레지스터 파일(1906), ALU(1911), 시스톨릭 어레이(1912), 및 수학적 연산의 특정 서브세트를 수행하도록 최적화된 산술 유닛(1913)을 포함한다. 시스톨릭 어레이(1912)와 관련하여 설명된 기술은 도 28의 시스톨릭 텐서 어레이(2808)에도 적용될 수 있다.
메모리(3120)에 저장된 매트릭스(3002) 및 매트릭스(3004)의 요소는 컴퓨팅 유닛(1910)의 레지스터 파일(1906)에 로드될 수 있다. 예를 들어, 매트릭스(3004)의 서브매트릭스가 제한된 수의 0이 아닌 값을 포함할 경우(예컨대, 도 30a의 서브매트릭스(3005)), 시스톨릭 어레이(1912) 내의 로직은 우회된 연산에 대한 피연산자 및 수행되어야 하는 우회된 연산을 저장하는 레지스터를 식별하는 서브매트릭스 우회 메시지(3112)를 ALU(1911)에 전송할 수 있다. 그 다음에 ALU(1911)는 레지스터 파일(1906)로부터 우회된 서브매트릭스 데이터(3114)를 판독하고 벡터 프로세싱 로직을 사용하여 우회된 연산을 수행할 수 있다. 우회된 연산의 처리는 시스톨릭 어레이(1912)에 의해 수행되는 우회되지 않은 연산과 병렬로 수행될 수 있다.
전술한 기법들을 사용하여, 당업자는, 예를 들어 텐서 가속기를 포함하는 프로세싱 리소스를 포함하는 그래픽 프로세서를 구현할 수 있으며, 텐서 가속기는 입력 텐서의 희소 서브매트릭스의 로드를 우회하기 위한 로드 필터를 포함한다. 텐서 가속기는 입력 매트릭스 데이터 세트의 하나 이상의 서브매트릭스를 처리하기 위한 시스톨릭 텐서 어레이를 포함한다. 프로세싱 리소스는 입력 텐서의 우회된 서브매트릭스에 대한 연산을 수행하기 위한 로직 유닛을 더 포함할 수 있으며, 여기서 입력 텐서의 우회된 서브매트릭스는 0의 값만 포함한다. 일 실시예에서, 우회된 서브매트릭스는 제한된 수의 0이 아닌 값을 포함한다.
전술한 기법을 사용하여, 당업자는 텐서 가속기 및 디코더를 포함하는 프로세싱 리소스를 포함하는 장치를 구현할 수도 있다. 텐서 가속기는 입력 텐서의 희소 서브매트릭스의 로드를 우회하기 위한 로드 필터를 포함한다. 디코더는 디코딩된 데이터 세트를 생성하기 위해 입력 텐서와 연관된 인코딩된 데이터 세트를 디코딩하도록 구성된다. 디코더는 인코딩된 데이터 세트와 연관된 메타데이터에 기초하여 인코딩된 데이터 세트를 디코딩할 수 있으며, 여기서 로드 필터는 인코딩된 데이터 세트와 연관된 메타데이터에 기초하여 희소 서브매트릭스의 로드를 우회하기 위한 것이다. 일 실시예에서, 디코더는 인코딩된 데이터 세트와 연관된 메타데이터를 로드 필터에 제공하는 것이다. 인코딩된 데이터 세트와 연관된 메타데이터는 유의성 맵(significance map)을 포함하는데, 여기서 유의성 맵은 디코딩된 데이터 세트의 비트스트림에 대한 0 또는 0이 아닌 값을 나타낸다. 일 실시예에서 디코더는 텐서 가속기에 포함되고 텐서 가속기는 입력으로서 하나 이상의 인코딩된 서브매트릭스를 판독한다.
압축된 데이터를 EU로 전송하기
GPU는 3D 및 미디어 애플리케이션에 의해 사용되는 픽셀 데이터의 압축을 가능하게 하는 데이터 압축 파이프라인을 포함할 수 있다. 3D 및 미디어 응용 프로그램에서 사용하는 데이터는 GPU 데이터 압축의 관점에서 타입이 지정된(typed data) 데이터로 간주된다. 그러나, 머신 러닝 및 딥 러닝 동작을 위한 데이터와 같은 GPGPU 컴퓨팅 데이터는 타입이 지정되지 않은 데이터로 간주되며, 기존 GPGPU 압축 파이프라인은 이러한 데이터를 압축하기 위해 타입이 지정된 데이터 압축 기법을 사용할 수 없다. 예를 들어, 타입이 지정된 데이터는 일반적으로 메모리에 순차적으로 저장되지 않고, 대신에 압축할 데이터 타입에 특정한 타일형, 평면형 또는 기타 데이터 포맷을 사용하여 저장될 수 있다. 반면에, 유형이 지정되지 않은 컴퓨팅 데이터는 메모리에 순차적으로 저장된다.
본 명세서에 설명된 실시예는 GPGPU 내의 3D 압축 블록이 타입 미지정 컴퓨팅 데이터의 압축을 가능하게 하도록 적응될 수 있게 한다. 일부 실시예에서, 현재의 그래픽 자산은 3D 데이터에 대한 현재의 파이프라인을 사용하여 기계 학습(ML) 데이터를 압축하기 위해 활용된다.
3D 데이터의 경우, 데이터가 메모리에 배치되는 방식을 지정하는 데이터와 연관되는 상태 메타데이터가 존재한다. 일부 실시예에서, 타입 미지정 데이터의 압축을 위한 3D 압축 하드웨어를 재사용하기 위해, 장치, 시스템, 또는 프로세스는 소프트웨어로 타입 미지정 데이터의 메모리 할당을 검출하고 할당을 위한 상태 메타데이터를 생성하도록 구성된다. GPGPU와 연관된 그래픽 드라이버는 데이터가 압축되어야 하는지 여부를 결정하는 데 사용될 수 있고 압축된 상태는 할당과 연관된 상태 메타데이터 내에 구성될 수 있다. 상태 메타데이터는 타입 미지정 컴퓨팅 데이터와 연관된 메모리 할당에 대해 압축이 수행되어야 함을 시스템에 나타내는 데 사용된다. 상태 메타데이터는 데이터 압축에 사용할 파라미터를 지정하는 데 사용할 수 있는 하나 이상의 데이터 구조를 포함할 수 있다. 상태 메타데이터는 또한 데이터에 대한 포인터를 포함할 수 있으며, 버퍼의 크기, 압축 타입과 같은 요소를 포함할 수 있으며, 타입 미지정 데이터를 압축하는 데 사용하기 위한 압축 메타데이터를 저장하기 위한 보조 버퍼에 대한 포인터가 포함된다.
일부 실시예에서, 데이터 포트는 포맷 변환 없이 DL/ML 데이터의 전송을 허용한다. 3D 데이터 포맷의 경우, 픽셀 데이터에 대해 셰이더 포맷으로의 변환이 존재한다. 그러나 머신 러닝과 딥 러닝 데이터에 대해서는 다른 프로세스가 사용되며 데이터의 포맷 변환은 없다. 일부 실시예에서, 포맷 변환 없이 전송을 허용하도록 데이터 포트가 수정된다. 일부 실시예에서는, 소프트웨어가 대신에 DL/ML 데이터를 다룰 것이다.
도 32는 GPGPU 데이터 압축 파이프라인을 포함하는 그래픽 프로세싱 시스템(3200)의 블록도이다. 그래픽 프로세싱 시스템(3200)의 데이터 압축 파이프라인은 3D 그래픽 및 미디어 데이터뿐만 아니라 타입이 정해져 있지 않은 연산 데이터의 압축을 가능하게 하도록 구성된다. 그래픽 프로세싱 시스템(3200)은 셰이더 코어들(3210, 3212, 3214)의 세트, 데이터 포트(3220), 및 서피스 상태 캐시(3222)를 포함하는 프로세싱 리소스(3205)를 포함한다. 셰이더 코어(3210, 3212, 3214)는 그래픽 프로세싱 시스템(3200)의 메모리 서브시스템(3234)에 액세스하기 위해 메모리 판독/기록 메시지를 데이터 포트(3220)로 전송할 수 있다. 메모리 서브시스템(3234)에 대한 액세스는 캐시 계층 구조(3230)에 의해 캐시된다. 캐시 계층(3230) 내의 캐싱된 데이터는 데이터가 메모리 서브시스템(3234)에 기록되기 전에 GPGPU 코덱 유닛(3232)을 통해 압축될 수 있다. GPGPU 코덱 유닛(3232)은 또한, 데이터가 캐시 계층 구조(3230)에 기록되기 전에 메모리 서브시스템(3234)으로부터 판독되는 데이터를 압축해제할 수 있다.
셰이더 메모리 서피스는 서피스 상태 캐시(3222)에 저장될 수 있는 서피스 상태와 연관된다. 서피스 상태는 픽셀당 비트, 타일링 모드, 클리어 픽셀 상태, 압축 상태 등과 같은 서피스에 대한 정보를 갖는다. 이 정보는, 데이터를 메모리 서브시스템으로 전송하기 전에 압축하기 위해 GPGPU 코덱 유닛에 의해 사용된다. 심층 학습 및/또는 머신 러닝 워크로드와 같은 프로세싱 리소스(3205) 상에서 실행되는 GPGPU 프로그램의 경우, 데이터는 통상적으로 "타입 미지정(untyped)"되고(즉, 어떠한 하드웨어 데이터 포맷도 사용되지 않음) 타일링(즉, 메모리에서 선형으로 배치)되지 않는다. 소프트웨어에 의한 메모리 할당 동안, GPU 드라이버는 데이터 압축이 버퍼에 대해 인에이블될 것인지 여부를 판단하기 위해 휴리스틱스를 적용할 것이다. 데이터 압축이 인에이블되면, 드라이버는 압축 메타데이터를 저장하기 위해 보조 버퍼를 할당할 것이고, 또한 서피스 상태를 할당할 것이다. 일부 실시예에서, 컴파일러는 커널로부터의 버퍼에 대한 모든 액세스가 적절한 서피스 상태 포인터로 수행되도록 보장한다. 일부 실시예에서, GPGPU 애플리케이션의 경우, 서피스 상태는 버퍼 메모리 레이아웃(즉, 타일링되지 않거나, 2D/3D로 구조화되지 않음)을 나타낼 것이다. 이들 표면에 대한 데이터 포맷은 표면의 데이터 타입에 의존할 것이다. 예를 들어, 심층 학습 추론의 경우, 데이터 타입은 8 비트 정수 데이터 타입(예컨대, INT8)일 수 있다. 심층 학습 훈련을 위해, 포맷은 16 비트 플로팅 포트 포맷(예컨대, FP16, bfloat16)일 수 있다.
일부 실시예에서, 컴퓨팅 데이터 표면이 특정 포맷을 가질지라도, 데이터 포트(3220)는 액세스 동안 어떠한 포맷 변환도 수행하지 않는데, 그 이유는 이것이 이들 애플리케이션들에 의해 요구되지 않기 때문이다. 대신에, 포맷 정보는 압축/압축해제 알고리즘 휴리스틱스를 구동하기 위해서만 사용된다. 압축 데이터 "블록"은 압축 유닛에 의해 함께 압축되는 캐시 라인들의 블록(통상적으로 2 또는 4개의 캐시 라인)이다. 일 실시예에서, GPGPU 압축의 경우, 블록의 캐시 라인 주소는 항상 순차적이다. 딥 러닝 프로그램은 통상적으로 액세스에서 양호한 순차 장소를 가지며, 이는 하드웨어를 단순하게 유지하면서 우수한 성능을 제공한다.
도 33a 및 33b는 일 실시예에 따른, 병렬 컴퓨팅 프로세서 또는 범용 그래픽 프로세싱 유닛 상의 프로세싱 리소스에 대한 신경망 데이터의 압축 전송을 가능하게 하도록 구성된 컴퓨팅 아키텍처(3300, 3320)를 도시한다. 도 33a는 데이터 압축해제가 컴퓨팅 블록(3302) 내에서 수행되는 컴퓨팅 아키텍처(3300)를 도시한다. 도시된 컴퓨팅 블록(3302)은 도 27의 컴퓨팅 블록(2724A-2724N) 중 하나를 나타낼 수 있다. 도 33b는 데이터 압축 및 압축 해제가 프로세싱 리소스 내에서 수행되는 컴퓨팅 아키텍처(3320)를 도시한다.
도 33a에 도시된 바와 같이, 컴퓨팅 아키텍처(3300)는 컴퓨팅 블록(3302) 및 DMA 제어기(3306)를 통해 메모리(3308)에 결합된 하드웨어 스크래치 버퍼(3304)를 포함한다. 메모리(3308)는 본 명세서에 설명된 데이터 처리 시스템의 메인 메모리 또는 시스템 메모리일 수 있다. 계산 블록(3302)은 본 명세서에 설명된 프로세싱 리소스들의 세트를 포함하고 도 27의 컴퓨팅 블록들(2724A-2724N) 중 임의의 것과 유사할 수 있다. 스크래치 버퍼(3304)는 온칩 SRAM(Static Random Access Memory)과 같은 고속 온칩 메모리일 수 있다. 일 실시예에서, 스크래치 버퍼(3304)는 컴퓨팅 블록(3302)에 의해 수행되는 신경망 연산을 위한 특징 블록 유닛 또는 커널 블록 유닛을 저장하도록 최적화된다.
일 실시예에서, 디코더(3312)는 컴퓨팅 아키텍처에 걸쳐 신경망 데이터의 압축 전송을 가능하게 하기 위해 컴퓨팅 블록(3302)에 통합되는 하드웨어 디코더 로직일 수 있다. 예를 들어, CNN을 처리할 때, 컴퓨팅 블록(3302)은 압축되지 않은 형식으로 스크래치 버퍼(3304)에서 출력 특징 맵(OFM) 데이터를 생성할 수 있다. 출력 특징 맵 데이터를 압축 포맷으로 메모리(3308)에 기록할 수 있도록 하기 위한 인코더(3316)가 DMA 제어기(3306)에 통합된다. 하나의 레이어의 OFM이 다음 레이어의 입력 특징 맵(IFM)이 될 때, 이들 IFM은 압축 데이터(3314)로서 메모리(3306)로부터 판독되고 스크래치 버퍼(3304)에 저장된다. 디코더(3312)는 데이터를 디코딩할 필요없이 컴퓨팅 블록(3302)이 압축된 데이터(3314)를 판독하도록 할 수 있다. 또는, 인코드 및 디코드 로직을 모두 갖는 코덱 유닛이 DMA 제어기(3306)에 통합되어, 압축된 데이터가 DMA 제어기(3306)에 의해 전송 및 판독될 수 있게 한다. 그 후 특징 맵 데이터는 DMA 제어기(3306)에 의해 압축 해제되고, 컴퓨팅 블록(3302)에 의해 판독되는 비압축 포맷의 스크래치 버퍼(3304)에 기록될 수 있다.
본 명세서에 설명된 실시예에서, 커널 및 특징 데이터에 대한 특정 인코딩 포맷은 인코딩될 데이터의 통계에 기초하여 변경될 수 있다. 신경망 특징 맵 데이터의 분석은 많은 특징 맵이 매우 희소할 수 있음을 나타낸다. 신경망 커널 데이터의 분석은 커널 데이터가 특징 맵 데이터만큼 희소하지는 않지만 커널 데이터의 많은 값이 반복됨을 나타낸다. 커널 데이터의 동적 범위는 상대적으로 낮은데, 이는 원시 데이터가 계수를 저장하는 데 필요한 것보다 더 많은 비트를 할당한다는 것을 나타낸다. 다양한 인코딩 기술을 사용하면, 다양한 인코딩 기법을 선택하여 특징 맵과 커널 데이터를 무손실 방식으로 최대 80%까지 압축할 수 있다.
신경망 관련 데이터는, 제한적인 것은 아니지만, 고유 절대값(UAV) 테이블 인코딩, 유의성 맵(SM) 인코딩, 테이블 인코딩(TE), 고유 값 좌표(UVC) 인코딩 및 평균 인코딩(ME)과 같은 다양한 인코딩 기법을 이용하여 인코딩(압축)될 수 있다. 인코딩된 데이터의 메타데이터는 데이터에 사용되는 인코딩 포맷의 타입을 나타낸다. 일 실시예에서, 커널 데이터 또는 특징 데이터와 같은 특정 타입의 데이터에 대해 특정 인코딩 포맷이 선택될 수 있다. 일 실시예에서, 데이터의 각 블록에 대해 적절한 인코더가 선택될 수 있도록, 인코딩 전에 데이터에 대해 통계적 분석이 수행된다.
일 실시예에서, SM 인코딩 동안 생성된 데이터는 시스톨릭 텐서 어레이 내에서 서브매트릭스 우회를 용이하게 하기 위해 사용될 수 있다. SM 인코딩 모드에서는 블록의 0이 아닌 값만 인코딩된다. 샘플 블록의 0이 아닌 값의 수는 헤더에 표시되고, 이어서 블록 내 0이 아닌 값의 맵을 나타내는 유의성 맵이 표시된다. 그 후 샘플의 0이 아닌 값은 스트림 내에서 나타나는 순서대로 인코딩된다.
도 33b에 도시된 바와 같이, 컴퓨팅 아키텍처(3320)는 프로세싱 리소스 내에서 데이터 압축 및 압축해제를 수행하기 위한 로직을 포함할 수 있다. 컴퓨팅 아키텍처(3320)는 도 33a의 컴퓨팅 아키텍처(3300)에서와 같이 메모리(3308) 및 DMA 제어기(3306)를 포함한다. 그러나, DMA 제어기(3306)는 인코더(3316)를 생략할 수 있다. 대신에, DMA 제어기(3306)를 통해 메모리(3308)로부터 판독된 압축 데이터는 압축된 포맷으로 캐시 계층 구조(예컨대, L3 캐시(3326), L1 캐시(3327))에 저장될 수 있다. 컴퓨팅 아키텍처(3320)는 다수의 프로세싱 리소스(3328A-3328N)를 갖는 컴퓨팅 블록(3322)을 포함하고, 각각의 프로세싱 리소스는 코덱(3334A-3334N)을 포함하며, 코덱(3334A-3334N)은 로드 동작을 통해 캐시 계층으로부터 압축된 데이터를 디코딩하고 저장 동작을 통해 캐시 계층에 기록된 압축 데이터를 인코딩할 수 있다. 데이터는 프로세싱 리소스(33328A-3328N) 내의 시스톨릭 어레이(3332A-3332N)에 데이터를 제공하기 전에 코덱(3334A-3334N)에 의해 압축해제될 수 있다. 시스톨릭 어레이(3332A-3332N)에 의해 생성된 결과는 데이터가 캐시 계층 및/또는 메모리(3308)에 기록되기 전에 코덱(3334A-3334N)에 의해 압축될 수 있다.
도 34는 출력 데이터에 대한 제로 검출 로직을 포함하는 프로세싱 리소스(3328)를 도시한다. 도시된 프로세싱 리소스(3328)는 도 33b의 프로세싱 리소스 프로세싱 리소스(3328A-3328N) 중 하나일 수 있다. 프로세싱 리소스(3328)는 프로세싱 리소스(3328)의 레지스터 파일에 저장된 소스 피연산자(예컨대, SRC1(3432), SRC2(3433))에 기초하여 프로세싱 동작을 수행하기 위한 ALU(3434)를 포함할 수 있다. ALU(3434)에 의해 수행된 동작의 출력은 프로세싱 리소스(3328)의 레지스터 파일 내 임시 목적지 레지스터(3436)에 기록될 수 있다. 프로세싱 리소스(3328)는 또한, 데이터가 레지스터 파일 내에서 임시 목적지 레지스터(3436)으로부터 목적지 레지스터(3440)로 이동할 때, 임시 목적지 레지스터(3436) 내 데이터에 대해 제로 검출 동작을 수행할 수 있는 제로 검출 로직(3438)을 포함할 수 있다. 제로 검출 로직(3438)은 목적지 레지스터(3440)에 기록된 값이 0의 값인지 여부를 나타내는 제로 검출 메타데이터(3439)를 기록할 수 있다. 제로 검출 로직(3438)은 프로세싱 리소스 내의 하드웨어 회로일 수도 있고, 또는 프로세싱 리소스(3328)의 셰이더 프로세서에 의해 수행되는 셰이더 프로그램과 같은 상위 레벨 로직일 수도 있다. 레지스터가 패킹된 데이터의 복수의 요소를 포함하는 벡터 레지스터인경우, 제로 검출 메타데이터(3439)는 벡터 요소당 1비트를 포함하는 비트필드일 수 있다.
일 실시예에서, 제로 검출 메타데이터(3439)는 데이터 압축이 인에이블될 때 목적지 데이터를 압축하도록 프로세싱 리소스(3328) 내의 코덱(3334)에 의해 사용될 수 있다. 제로 검출 메타데이터(3439)는, 예컨대 도 32의 표면 상태 캐시(3222)에 저장된 표면 상태 데이터와 같이, 압축 데이터가 캐시 계층 및 메모리에 저장될 때 압축 데이터를 관리하는 데 사용되는 메타데이터를 생성하기 위해 코덱(3334)에 의해 사용될 수 있다.
다양한 실시예에서 ALU(3434)는 본 명세서에 설명되는 다양한 프로세싱 요소 중 어느 한 요소일 수 있고, 병렬 정수 및 부동 소수점 연산을 포함하는 정수 및/또는 부동 소수점 연산을 수행하도록 구성될 수 있다. ALU(3434)는 또한 도 33b의 시스톨릭 어레이(3332A-3332N)를 나타낼 수도 있다.
도 35는 프로세싱 리소스 내 매트릭스 연산을 위해 데이터를 압축 및 압축해제하는 방법(3500)을 도시한다. 방법(3500)은 도 34의 프로세싱 리소스(3328) 또는 도 33b의 프로세싱 리소스(3328A-3328N)와 같은 압축 및 압축해제 로직을 포함하는 프로세싱 리소스에 의해 수행될 수 있다.
방법(3500)은 프로세싱 리소스가 GPGPU의 캐시 계층 구조로부터 복수의 매트릭스의 요소를 포함하는 압축 데이터를 판독하는 것을 포함한다(3502). 프로세싱 리소스는 압축된 데이터를 압축 해제하고 복수의 매트릭스의 요소를 프로세싱 리소스의 레지스터 파일에 저장할 수 있다(3504). 그 다음에, 프로세싱 리소스는 복수의 매트릭스의 요소를 프로세싱 리소스 내 시스톨릭 어레이로 로드할 수 있다(3506). 예를 들어, 프로세싱 리소스는 수행할 동작(예컨대, 연산 코드)을 갖는 시스톨릭 어레이 및 이들 동작과 연관된 소스 및 목적지 레지스터에 메시지를 보낼 수 있다. 프로세싱 리소스는 그 다음에 시스톨릭 어레이를 통해 지정된 매트릭스 연산(예컨대, 연산 코드를 통해 지정된 연산)을 수행할 수 있으며, 여기서 시스톨릭 어레이는 매트릭스 연산의 출력을 레지스터 파일에 저장할 수 있다(3508).
일부 동작의 경우, 프로세싱 리소스는 프로세싱 리소스(3510)의 추가 기능 유닛(예컨대, ALU, FPU)을 통해 매트릭스 연산의 출력에 대해 하나 이상의 추가 동작을 수행할 수 있다. 예를 들어, 거의 희소 매트릭스 또는 서브매트릭스에 대해 시스톨릭 배열에 의해 우회된 연산 세트를 수행하는 것을 포함하여 시스톨릭 어레이에 의해 생성된 출력에 대해 일부 후 처리 동작이 수행될 수 있다.
그 다음에, 프로세싱 리소스는 매트릭스 연산 또는 프로세싱 리소스로부터의 출력을 위한 하나 이상의 추가 동작의 출력을 압축할 수 있다(3512). 예를 들어, 프로세싱 리소스는 압축된 데이터 및 압축 메타데이터를 GPGPU의 캐시 계층에 출력할 수 있다.
도 36은 프로세싱 리소스에 의해 생성된 출력에 대한 제로 검출 동작을 수행하는 방법(3600)을 도시한다. 방법(3600)은 도 34의 프로세싱 리소스(3328)와 같은 제로 검출 로직을 포함하는 프로세싱 리소스에 의해 수행될 수 있다.
방법(3600)은 프로세싱 리소스가 GPGPU의 캐시 계층으로부터 데이터 요소를 판독하는 것을 포함한다(3602). 데이터 요소는 프로세싱 리소스에 의해 수행될 SIMD 또는 SIMT 동작을 위한 벡터 요소, 패킹된 데이터 요소, 또는 매트릭스 요소일 수 있다. 그 다음에, 프로세싱 리소스는 프로세싱 리소스의 하나 이상의 기능 유닛을 통해 데이터 요소에 대해 하나 이상의 동작을 수행할 수 있다(3604). 하나 이상의 기능 유닛은 정수 또는 부동 소수점 기능 유닛, 혼합 정밀도 기능 유닛, 또는 매트릭스 가속 유닛일 수 있다. 매트릭스 가속 유닛은 예를 들어, 본 명세서에 설명된 시스톨릭 어레이(1912), 시스톨릭 텐서 어레이(2808), 또는 시스톨릭 어레이(3332A-3332N) 중 하나일 수 있다.
그 다음에, 프로세싱 리소스는 하나 이상의 동작의 출력에 대해 제로 검출 동작을 수행할 수 있다(3606). 제로 검출 동작은 프로세싱 리소스 내의 제로 검출 로직에 의해 수행된다. 제로 검출 로직은 프로세싱 리소스 내의 전용 하드웨어 회로일 수 있다. 제로 검출 로직은 프로세싱 리소스와 함께 실행되는 셰이더 로직일 수도 있다. 제로 검출 동작은 데이터가 임시 목적지 레지스터로부터 판독되고 연산을 위한 피연산자에서 지정된 목적지 레지스터에 기록될 때 수행될 수 있다.
그 다음에, 프로세싱 리소스는 하나 이상의 동작의 출력 및 제로 검출 메타데이터를 GPGPU의 캐시 계층에 기록할 수 있다(3608). 일 실시예에서, 제로 검출 메타데이터는 데이터를 캐시 계층에 기록하기 전에 데이터를 압축하기 위해 코덱에 의해 사용될 수 있다. 데이터는 GPGPU의 캐시 계층 및 메모리 내에서 압축된 상태로 유지될 수 있다. 압축된 데이터를 CPU에서 판독해야 하는 경우, 압축 해제 로직이 CPU 가시 메모리에 기록하는 동안 데이터를 압축 해제할 수 있다. 일 실시예에서, 압축 해제 로직은 CPU 가시 메모리에 데이터를 기록하는 데 사용되는 DMA 제어기에 상주할 수 있다.
전술한 기법을 사용하여, 당업자는 예를 들어, 하나 이상의 매트릭스 곱셈 연산을 수행하기 위한 텐서 가속기 및 프로세싱 리소스에 의해 수행될 로드 동작을 통해 수신된 압축된 데이터 - 압축된 데이터는 하나 이상의 매트릭스 곱셈 연산의 피연산자에 의해 식별되는 입력의 요소들을 포함함 - 를 압축 해제하기 위한 코덱 하드웨어를 포함하는 프로세싱 리소스를 포함하는 범용 그래픽 프로세서를 구현할 수 있다. 범용 그래픽 프로세서는 레지스터 파일을 포함할 수 있고 코덱 하드웨어는 입력 매트릭스의 요소를 레지스터 파일의 레지스터에 기록할 수 있다. 텐서 가속기는 레지스터 파일에서 입력 매트릭스의 요소를 판독할 수 있다. 프로세싱 리소스는 코덱 하드웨어 및 레지스터 파일을 포함할 수 있다.
전술한 기법을 사용하여, 당업자는, 예를 들어, 범용 그래픽 처리 장치(GPGPU) 상에서, GPGPU의 프로세싱 리소스에서, GPGPU의 캐시로부터 데이터 요소를 판독하는 단계와, 프로세싱 리소스의 하나 이상의 기능 유닛을 통해 데이터 요소에 대한 하나 이상의 동작을 수행하는 단계와, 프로세싱 리소스 내 제로 검출 로직을 통해 하나 이상의 동작의 출력에 대해 제로 검출 동작을 수행하는 단계와, 하나 이상의 동작의 출력 및 제로 검출 메타데이터를 GPGPU의 캐시 계층에 기록하는 단계를 포함하는 방법을 구현할 수 있다. 이 방법은 코덱 유닛의 압축기를 통해 제로 검출 메타데이터를 사용하여 하나 이상의 동작의 출력을 압축하는 단계를 더 포함할 수 있으며, 여기서 코덱 유닛은 GPGPU의 프로세싱 리소스 내에 포함된다.
추가의 예시적인 컴퓨팅 장치
도 37은 일 실시예에 따른, 그래픽 프로세서(3704)를 포함하는 컴퓨팅 장치(3700)의 블록도이다. 컴퓨팅 장치(3700)는 전술한 실시예들 각각의 기능을 포함하는 컴퓨팅 장치일 수 있다. 컴퓨팅 장치(3700)는, 셋톱 박스(예컨대, 인터넷 기반 케이블 텔레비전 셋톱 박스 등), GPS(Global Positioning System) 기반 장치 등일 수도 있고 또는 이들 내부에 포함될 수도 있다. 컴퓨팅 장치(3700)는 또한 셀룰러폰, 스마트 폰, PDA(Personal Digital Assistant), 태블릿 컴퓨터, 랩톱 컴퓨터, e-리더, 스마트 텔레비전, 텔레비전 플랫폼, 웨어러블 장치(예컨대, 안경, 시계, 팔찌, 스마트 카드, 보석류, 의류 등), 미디어 플레이어 등과 같은 모바일 컴퓨팅 장치일 수도 있고 이들 내부에 포함될 수도 있다. 예를 들어, 일 실시예에서, 컴퓨팅 장치(3700)는 컴퓨팅 장치(3700)의 다양한 하드웨어 및/또는 소프트웨어 컴포넌트를 단일 칩 상에 통합한 시스템 온 칩( "SoC"또는 "SOC")과 같은 집적 회로( "IC")를 채용한 모바일 컴퓨팅 장치를 포함한다.
컴퓨팅 장치(3700)는 그래픽 프로세서(3704)를 포함한다. 그래픽 프로세서(3704)는 본 명세서에 설명된 임의의 그래픽 프로세서를 나타낸다. 그래픽 프로세서는 하나 이상의 그래픽 엔진(들), 그래픽 프로세서 코어 및 본 명세서에 설명된 다른 그래픽 실행 리소스를 포함한다. 이러한 그래픽 실행 리소스는, 제한적인 것은 아니지만 실행 유닛, 셰이더 엔진, 프래그먼트 프로세서, 정점 프로세서, 스트리밍 멀티프로세서, 그래픽 프로세서 클러스터 또는 그래픽 리소스 또는 이미지 리소스의 프로세싱에 적합한 컴퓨팅 리소스 모음을 포함하거나, 또는 또는 이기종 프로세서에서 범용 컴퓨팅 작업을 수행할 수 있는 형태로 제공될 수 있다.
일 실시예에서, 그래픽 프로세서(3704)는, 단일 캐시일 수도 있고 또는 캐시 메모리의 다수의 세그먼트로 분할될 수 있는 캐시(3714)를 포함하며, 캐시는 임의의 수의 L1, L2, L3 또는 L4 캐시, 렌더 캐시, 깊이 캐시, 샘플러 캐시 및/또는 셰이더 유닛 캐시를 포함하지만, 이에 제한되지는 않는다. 캐시(3714)는 본 명세서에 기술된 바와 같이 근거리 및 원거리 영역을 가질 수 있다. 캐시(3714)는 또한 메모리 뱅크 해시 알고리즘의 동적 재구성을 지원하는 동적 해시 로직을 포함할 수 있다. 일부 실시예에서, 그래픽 프로세서(3704)는 공유 로컬 메모리(SLM(3734))를 포함하는 GPGPU 엔진(3744)뿐만 아니라 GPGPU 엔진(3744)에 의해 사용되는 레지스터를 포함하는 레지스터 파일(3724)을 포함한다. 레지스터 파일(3724)은 범용 레지스터, 아키텍처 레지스터, 구성 레지스터 및 다른 타입의 레지스터를 포함할 수 있다. 범용 레지스터 파일(GRF) 및/또는 아키텍처 레지스터 파일(ARF)은 또한 GPGPU 엔진(3744) 내의 하나 이상의 컴퓨팅 유닛 블록(예컨대, 컴퓨팅(3750), 컴퓨팅(3755)) 내의 프로세싱 리소스 내에 상주할 수 있다. GPGPU 엔진(3744)의 다양한 컴포넌트들 사이의 신속한 통신을 가능하게 하는 공유 패브릭(3742) 이 또한 존재할 수도 있다.
도시된 바와 같이, 일 실시예에서, 그래픽 프로세서(3704)에 추가하여, 컴퓨팅 장치(3700)는 애플리케이션 프로세서(3706), 메모리(3708), 및 입력/출력(I/O) 소스(3710)를 포함하나 이에 제한되지 않는, 임의의 수 및 유형의 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트를 더 포함할 수 있다. 애플리케이션 프로세서(3706)는 그래픽 파이프라인 기능을 공유하기 위해 하드웨어 그래픽 파이프라인과 상호 작용할 수 있다. 처리된 데이터는 하드웨어 그래픽 파이프라인의 버퍼에 저장되고 상태 정보는 메모리(3708)에 저장된다. 결과 데이터는 본 명세서에 기술된 디스플레이 장치를 통해 출력하도록 디스플레이 장치로 전송될 수 있다. 디스플레이 장치는 음극선 관(CRT), 박막 트랜지스터(TFT), 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 어레이 등과 같은 다양한 타입을 가질 수 있으며, 그래픽 사용자 인터페이스를 통해 사용자에게 정보를 디스플레이하도록 구성될 수 있다.
애플리케이션 프로세서(3706)는 하나 이상의 프로세서를 포함할 수 있고, 컴퓨팅 장치(3700)를 위한 운영 시스템(OS)(3702)을 실행하기 위해 적어도 부분적으로 사용되는 중앙 처리 장치(CPU)일 수 있다. OS(3702)는 컴퓨팅 장치(3700)의 하드웨어 및/또는 물리적 리소스와 하나 이상의 사용자 사이의 인터페이스로서 기능할 수 있다. OS(3702)는 도 23의 사용자 모드 그래픽 드라이버(2326) 및/또는 커널 모드 그래픽 드라이버(2329)와 같은 그래픽 드라이버 로직(3722)을 포함하는, 컴퓨팅 장치(3700)의 다양한 하드웨어 장치에 대한 드라이버 로직을 포함할 수 있다.
일부 실시예에서, 그래픽 프로세서(3704)는 애플리케이션 프로세서(3706)의 일부(예를 들어, 물리적 CPU 패키지의 일부)로 존재할 수 있으며, 이 경우에 메모리(3708)의 적어도 일부는 애플리케이션 프로세서(3706) 및 그래픽 프로세서(3704)에 의해 공유될 수 있으나, 메모리(3708)의 적어도 일부가 그래픽 프로세서(3704)에 독점될 수 있거나 그래픽 프로세서(3704)가 별도의 메모리 저장소를 가질 수 있다. 메모리(3708)는 버퍼(예를 들어, 프레임 버퍼)의 미리 할당된 영역을 포함할 수 있으나, 당업자라면 실시예들이 그에 제한되지 않으며, 하위의 그래픽 파이프라인에 액세스 가능한 임의의 메모리가 사용될 수 있음을 이해해야 한다. 메모리(3708)는 데스크톱 또는 3D 그래픽 장면을 렌더링하기 위해 그래픽 프로세서(3704)를 이용하는 애플리케이션을 포함하는 다양한 형태의 랜덤 액세스 메모리(RAM)(예를 들어, SDRAM, SRAM 등)를 포함할 수 있다. 그래픽 파이프라인 처리를 위해, 메모리 제어기 허브가 메모리(3708)의 데이터에 액세스하고 그래픽 프로세서(3704)로 데이터를 전달할 수 있다. 메모리(3708)는 컴퓨팅 장치(3700) 내의 다른 컴포넌트에 이용 가능하게 될 수 있다. 예를 들어, 컴퓨팅 장치(3700)의 다양한 I/O 소스(3710)로부터 수신된 임의의 데이터(예를 들어, 입력 그래픽 데이터)는 이들이 소프트웨어 프로그램 또는 애플리케이션의 구현시 하나 이상의 프로세서(들)(예를 들어, 애플리케이션 프로세서(3706))에 의해 동작되기 전에 메모리(3708)에 일시적으로 큐잉될 수 있다. 유사하게, 소프트웨어 프로그램이 컴퓨팅 시스템 인터페이스 중 하나를 통해 컴퓨팅 장치(3700)로부터 외부 엔티티로 송신되거나 내부 저장 요소에 저장되어야 한다고 결정하는 데이터는 흔히 전송되거나 저장되기 전에 메모리(3708)에 일시적으로 큐잉된다.
I/O 소스는 터치스크린, 터치 패널, 터치 패드, 가상 또는 일반 키보드, 가상 또는 일반 마우스, 포트, 커넥터, 네트워크 장치 등과 같은 장치를 포함할 수 있고, 도 1에서의 I/O 허브(107), 도 3에서의 입력/출력(I/O) 회로(363), 도 14에서의 플랫폼 제어기 허브(1430) 등을 통해 부착될 수 있다. 또한, I/O 소스(3710)는 컴퓨팅 장치(3700)(예를 들어, 네트워킹 어댑터)로/로부터 데이터를 전송하기 위해 또는, 컴퓨팅 장치(3700)(예를 들어, 하드 디스크 드라이브) 내의 대규모 비 휘발성 저장소를 위해 구현되는 하나 이상의 I/O 장치를 포함할 수 있다. 영숫자 키 및 다른 키를 포함하는 사용자 입력 장치는 정보 및 커맨드 선택을 그래픽 프로세서(3704)에 전달하는 데 사용될 수 있다. 다른 타입의 사용자 입력 장치는 마우스, 트랙볼, 터치 스크린, 터치 패드 또는 커서 방향 키와 같은 커서 제어기로서, 방향 정보 및 커맨드 선택을 GPU에 전달하고 디스플레이 장치의 커서 이동을 제어한다. 컴퓨팅 장치(3700)의 카메라 및 마이크로폰 어레이는 제스처를 관찰하고, 오디오 및 비디오를 기록하고, 시각(visual) 및 오디오 커맨드를 수신 및 전송하기 위해 사용될 수 있다.
네트워크 인터페이스로서 구성된 I/O 소스(3710)는 LAN, WAN(wide area network ), MAN(metropolitan area network), PAN(personal area network), 블루투스, 클라우드 네트워크, 셀룰러 또는 모바일 네트워크(예컨대, 3세대(3G), 4세대(4G), 5세대(5G) 등), 위성 네트워크, 인트라넷, 인터넷 등과 같은 네트워크에 대한 액세스를 제공할 수 있다. 네트워크 인터페이스(들)는 예를 들어, 하나 이상의 안테나(e)를 갖는 무선 네트워크를 포함할 수 있다. 네트워크 인터페이스(들)는 또한, 예를 들어, 이더넷 케이블, 동축 케이블, 광섬유 케이블, 직렬 케이블, 또는 병렬 케이블일 수 있는 네트워크 케이블을 통해 원격 장치와 통신하기 위한 유선 네트워크 인터페이스를 포함할 수 있다.
네트워크 인터페이스(들)는, 예를 들어, IEEE 802.11 표준에 따라 LAN에 대한 액세스를 제공할 수 있고/있거나, 무선 네트워크 인터페이스는 예를 들어 블루투스 표준에 따라 PAN에 대한 액세스를 제공할 수 있다. 이전 및 이후 버전의 표준을 포함하여 다른 무선 네트워크 인터페이스 및/또는 프로토콜도 지원될 수 있다. 무선 LAN 표준을 통한 통신에 추가하여 또는 이에 갈음하여, 네트워크 인터페이스(들)는 예를 들어 TDMA(Time Division, Multiple Access) 프로토콜, GSM(Global Systems for Mobile Communications) 프로토콜, CDMA(Code Division, Multiple Access) 프로토콜 및/또는 다른 타입의 무선 통신 프로토콜을 사용하여 무선 통신을 제공할 수 있다.
전술한 예보다 더 적거나 더 많이 장착된 시스템이 특정 구현에 대해 바람직할 수 있음을 이해해야 한다. 따라서, 컴퓨팅 장치(3700)의 구성은, 가격 제약, 성능 요건, 기술 개선 또는 기타 상황과 같은 다양한 요인에 따라 구현마다 달라질 수 있다. 예들(제한이 아님)은 모바일 장치, PDA, 모바일 컴퓨팅 장치, 스마트 폰, 휴대폰, 핸드셋, 단방향 호출기, 양방향 호출기, 메시징 장치, 컴퓨터, 개인용 컴퓨터(PC), 데스크톱 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 핸드 헬드 컴퓨터, 태블릿 컴퓨터, 서버, 서버 어레이 또는 서버 팜, 웹 서버, 네트워크 서버, 인터넷 서버, 작업 스테이션, 미니 컴퓨터, 메인 프레임 컴퓨터, 슈퍼 컴퓨터, 네트워크 기기, 웹 기기, 분산형 컴퓨팅 시스템, 멀티 프로세서 시스템, 프로세서 기반 시스템, 가전 제품, 프로그램가능 가전 제품, 텔레비전, 디지털 텔레비전, 셋톱 박스, 무선 액세스 포인트, 기지국, 가입자 국, 이동 가입자 센터, 무선 네트워크 제어기, 라우터, 허브, 게이트웨이, 브리지, 스위치, 머신 또는 이들의 조합을 포함한다.
실시예들은 부모 보드(parent-board)를 사용하여 상호 연결된 하나 이상의 마이크로 칩 또는 집적 회로와, 하드와이어 로직과, 메모리 장치에 의해 저장되고 마이크로 프로세서에 의해 실행되는 소프트웨어와, 펌웨어와, ASIC(application specific integrated circuit) 및/또는 FPGA(Field Programmable Gate Array) 중 어느 하나 또는 이들의 임의의 조합으로 구현될 수 있다. "로직"이라는 용어는, 예시로서 소프트웨어 또는 하드웨어 및/또는 소프트웨어와 하드웨어의 조합을 포함할 수 있다.
실시예들은, 예를 들어, 컴퓨터, 컴퓨터 네트워크 또는 기타 전자 장치와 같은 하나 이상의 머신에 의해 실행될 때 하나 이상의 머신이 본 명세서 기술된 실시예에 따른 동작을 수행하게 할 수 있는 머신 실행가능 명령어가 저장된 하나 이상의 머신 판독가능 매체를 포함할 수 있는 컴퓨터 프로그램 제품으로서 제공될 수 있다. 머신 판독가능 매체는 플로피 디스켓, 광 디스크, CD-ROM(Compact Disc-Read Only Memories) 및 광 자기 디스크, ROM, RAM, EPROM(Erasable Programmable Read Only Memories), EEPROM(Electrically Erasable Programmable Read Only Memories), 자기 또는 광학 카드, 플래시 메모리 또는 머신 실행가능 명령어의 저장에 적합한 다른 타입의 비일시적 머신 판독 가능 매체를 포함할 수 있으나 이에 제한되지는 않는다.
또한, 실시예들은 컴퓨터 프로그램 제품으로 다운로드될 수 있으며, 여기서 프로그램은, 통신 링크(예컨대, 모뎀 및/또는 네트워크 접속)를 통해 반송파 또는 기타 전파 매체에 의해 변조/구현된 하나 이상의 데이터 신호를 통해 원격 컴퓨터(예컨대, 서버)로부터 요청 컴퓨터(예컨대, 클라이언트)로 전송될 수 있다.
본 명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은 그 실시예와 함께 설명된 특정한 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 것을 의미한다. 명세서의 다양한 곳에 나타나는 "일 실시예에서"라는 문구는 반드시 모두 동일한 실시예를 지칭하는 것은 아니다. 도면에 도시된 프로세스는 하드웨어(예컨대, 회로, 전용 로직 등), 소프트웨어(비 일시적 기계 판독 가능 저장 매체에 대한 명령어) 또는 하드웨어와 소프트웨어의 조합을 포함하는 프로세싱 로직에 의해 수행될 수 있다. 다양한 실시예가 자세하게 참조될 것이며, 그 예는 첨부 도면에 도시되어 있다. 다음의 상세한 설명을 통해, 본 발명의 완전한 이해를 제공하기 위해 많은 특정 세부 사항이 설명된다. 그러나, 본 발명은 특정한 세부 사항없이 실시될 수 있다는 것이 당업자에게 명백할 것이다. 다른 예에서, 잘 알려진 방법, 절차, 구성 요소, 회로 및 네트워크는 실시예의 측면을 불필요하게 모호하게 하지 않도록 상세하게 설명되지 않았다.
또한, 제1, 제2 등의 용어가 본 명세서에서 다양한 요소를 설명하기 위해 사용될 수 있지만, 이들 요소가 이들 용어에 의해 제한되어서는 안된다는 것도 이해될 것이다. 이들 용어는 한 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 본 발명의 범위를 벗어나지 않으면 서, 제1 접촉이 제2 접촉으로 명명될 수 있고, 유사하게 제2 접촉이 제1 접촉으로 명명될 수도 있다. 제1 접촉 및 제2 접촉은 모두 접촉이지만, 동일 접촉은 아니다.
본 명세서에서 사용되는 용어는 단지 특정 실시예를 설명하기 위한 것이며 모든 실시예를 제한하고자 하는 것은 아니다. 본 발명의 설명 및 첨부된 청구범위에서 사용된 바와 같이, 단수 형태는 문맥상 명백하게 달리 나타내지 않는 한 복수 형태도 포함하고자 한다. 본 명세서에서 사용된 용어 "및/또는"은 하나 이상의 연관된 열거된 항목 중 어느 하나와 모든 가능한 조합을 지칭하고 포함하는 것으로 또한 이해해야 한다. "포함한다" 및/또는 "포함하는"이라는 용어는, 본 명세서에서 사용될 때, 언급된 특징, 정수, 단계, 동작, 요소 및/또는 컴포넌트의 존재를 특정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지는 않는다는 것을 또한 이해해야 한다.
본 명세서에 사용된 "~라면"이라는 용어는 문맥에 따라 "경우" 또는 "시"또는 "판정에 대한 응답으로" 또는 "검출에 대한 응답으로"를 의미하는 것으로 해석될 수 있다. 유사하게, "판정되면" 또는 "[명시된 조건 또는 이벤트]가 검출된 경우"라는 문구는 문맥에 따라 "판정시" 또는 "판정에 대한 응답으로" 또는 "[언급된 조건 또는 이벤트] 검출시" "또는 "[언급된 조건 또는 이벤트] 검출에 대한 응답으로"를 의미하는 것으로 해석될 수 있다.
본 명세서에 설명된 실시예들은 시스톨릭 프로세싱 유닛을 통해 희소 데이터에 대한 산술을 수행하기 위한 기술을 제공하는 소프트웨어, 펌웨어, 및 하드웨어 로직을 포함한다. 본 명세서에 기술된 실시예는 0으로 채워진 매트릭스 및 서브매트릭스에 대한 계산을 건너뛰는 기법을 제공한다. 실시예들은 또한 프로세싱 유닛을 통해 데이터 압축을 유지하는 기법을 제공한다. 실시예들은 또한 희소 인식 로직 유닛을 위한 아키텍처를 제공한다.
일 실시예는, 매트릭스 가속기 및 디코더를 포함하는 프로세싱 리소스를 포함하는 범용 그래픽 프로세서를 제공하는데, 매트릭스 가속기는 입력 매트릭스의 희소 서브매트릭스의 로드를 우회하기 위한 로드 필터를 포함하고, 디코더는 상기 입력 매트릭스와 연관된 인코딩된 데이터 세트를 디코딩하여 디코딩된 데이터 세트를 생성한다. 디코더는 인코딩된 데이터 세트와 연관된 메타데이터에 기초하여 인코딩된 데이터 세트를 디코딩할 수 있다. 로드 필터는 인코딩된 데이터 세트와 연관된 메타데이터에 기초하여 희소 서브매트릭스의 로드를 우회할 수 있다. 디코더는 인코딩된 데이터 세트와 연관된 메타데이터를 로드 필터에 제공할 수 있다. 인코딩된 데이터 세트와 연관된 메타데이터는 유의성 맵(significance map)을 포함할 수 있는데, 여기서 유의성 맵은 디코딩된 데이터 세트의 비트스트림에 대한 0 또는 0이 아닌 값을 나타낸다. 디코더는 매트릭스 가속기에 포함될 수 있고, 매트릭스 가속기는 하나 이상의 인코딩된 서브매트릭스를 입력으로서 판독할 수 있다. 매트릭스 가속기는 복수의 프로세싱 요소를 포함할 수 있고, 여기서 복수의 프로세싱 요소는 시스톨릭 어레이로서 배열되고, 입력 매트릭스 데이터 세트의 하나 이상의 서브매트릭스를 처리하도록 구성된다. 프로세싱 리소스는 입력 텐서의 우회된 서브매트릭스에 대해 연산을 수행하는 하드웨어 로직 유닛을 더 포함할 수 있다.
일 실시예는, 메모리 장치와, 전술한 범용 그래픽 프로세서를 포함하며, 여기서 메모리 장치는 범용 그래픽 프로세서와 결합된다.
일 실시예는, 매트릭스 가속기를 포함하는 범용 그래픽 프로세싱 유닛에서, 제로 검출 회로를 통해, 매트릭스 가속기에 입력되는 매트릭스의 0의 값의 피연산자를 추적하는 단계와, 0의 값의 피연산자의 검출에 응답하여 매트릭스 가속기에서의 매트릭스 곱셈 연산을 우회하는 단계를 포함하는 방법을 제공한다. 0의 값의 피연산자는 입력 매트릭스의 제1 서브매트릭스와 연관될 수 있고, 여기서 제1 서브매트릭스는 0의 값의 서브매트릭스이다. 입력 매트릭스가 0의 값의 매트릭스인 경우, 매트릭스 가속기에서의 모든 매트릭스 연산은 우회될 수 있다. 일 실시예에서, 이 방법은 입력 매트릭스의 제2 서브매트릭스의 검출에 응답하여 매트릭스 가속기를 우회하는 단계를 더 포함하며, 여기서 제2 서브매트릭스는 제한된 수의 0이 아닌 값을 갖는다. 제한된 수의 0이 아닌 값은, 하나의 0이 아닌 값과 같이, 미리 결정된 값일 수 있다. 이 방법은, 매트릭스 가속기 외부의 프로세싱 리소스에 제2 서브 매트릭스의 우회를 나타내는 메시지를 전송하는 단계를 더 포함한다. 제2 서브매트릭스에 대한 우회된 연산은 메시지에 기초하여 프로세싱 리소스에 의해 수행될 수 있으며, 여기서 메시지는 우회된 연산 및 우회된 연산에 대한 피연산자를 식별할 수 있다. 일 실시예에서, 제로 검출 회로를 통해, 매트릭스 가속기에 입력되는 매트릭스의 0의 값의 피연산자를 추적하는 단계는, 제1 입력 매트릭스에 대한 서브매트릭스 맵을 생성하는 단계를 포함하며, 서브매트릭스 맵은 제1 입력 매트릭스에 대한 0의 값의 서브매트릭스를 식별한다.
전술한 설명 및 도면은 제한적이라기보다는 예시적인 것으로 간주되어야 한다. 당업자는 첨부된 청구항들에 제시된 특징들의 더 넓은 사상 및 범위를 벗어나지 않고 본 명세서에 설명된 실시예들에 대해 다양한 수정 및 변경이 이루어질 수 있다는 것을 이해할 것이다.
Claims (20)
- 범용 그래픽 프로세서로서,
매트릭스 가속기 및 디코더를 포함하는 프로세싱 리소스를 포함하되,
상기 매트릭스 가속기는 입력 매트릭스의 희소 서브매트릭스(sparse submatrix)의 로드(load)를 우회(bypass)하기 위한 로드 필터를 포함하고, 상기 디코더는 상기 입력 매트릭스와 연관된 인코딩된 데이터 세트를 디코딩하여 디코딩된 데이터 세트를 생성하며, 상기 디코더는 상기 인코딩된 데이터 세트와 연관된 메타데이터에 기초하여 상기 인코딩된 데이터 세트를 디코딩하고, 상기 로드 필터는 상기 인코딩된 데이터 세트와 연관된 메타데이터에 기초하여 상기 희소 서브매트릭스의 로드를 우회하는,
범용 그래픽 프로세서.
- 제1항에 있어서,
상기 디코더는 상기 인코딩된 데이터 세트와 연관된 상기 메타데이터를 상기 로드 필터에 제공하는,
범용 그래픽 프로세서.
- 제2항에 있어서,
상기 인코딩된 데이터 세트와 연관된 상기 메타데이터는 유의성 맵(significance map)을 포함하고, 상기 유의성 맵은 상기 디코딩된 데이터 세트의 비트스트림에 대한 0의 값 또는 0이 아닌 값을 나타내는,
범용 그래픽 프로세서.
- 제3항에 있어서,
상기 디코더는 상기 매트릭스 가속기에 포함되고, 상기 매트릭스 가속기는 하나 이상의 인코딩된 서브매트릭스를 입력으로서 판독하는,
범용 그래픽 프로세서.
- 제1항에 있어서,
상기 매트릭스 가속기는 복수의 프로세싱 요소를 포함하는,
범용 그래픽 처리 유닛.
- 제5항에 있어서,
상기 복수의 프로세싱 요소는 시스톨릭 어레이(systolic array)로서 배열되고, 입력 매트릭스 데이터 세트의 하나 이상의 서브매트릭스를 처리하도록 구성되는,
범용 그래픽 프로세서.
- 제6항에 있어서,
상기 프로세싱 리소스는 상기 입력 매트릭스의 우회된 서브매트릭스에 대해 연산을 수행하는 하드웨어 로직 유닛을 더 포함하는,
범용 그래픽 프로세서.
- 방법으로서,
매트릭스 가속기를 포함하는 범용 그래픽 프로세싱 유닛에서,
제로 검출(zero detection) 회로를 통해, 매트릭스 가속기에 입력되는 매트릭스의 0의 값의 피연산자를 추적하는 단계와,
0의 값의 피연산자의 검출에 응답하여 상기 매트릭스 가속기에서의 매트릭스 곱셈 연산을 우회하는 단계 - 상기 0의 값의 피연산자는 입력 매트릭스의 제1 서브매트릭스와 연관되고, 상기 제1 서브매트릭스는 0의 값의 서브매트릭스임 - 를 포함하는,
방법.
- 제8항에 있어서,
상기 입력 매트릭스는 0의 값의 매트릭스이고, 상기 매트릭스 가속기에서의 모든 매트릭스 곱셈 연산은 상기 0의 값의 매트릭스에 대해 우회되는,
방법.
- 제8항에 있어서,
상기 입력 매트릭스의 제2 서브매트릭스의 검출에 응답하여, 상기 매트릭스 가속기에서의 매트릭스 곱셈 연산을 우회하는 단계 - 상기 제2 서브매트릭스는 제한된 수의 0이 아닌 값을 가짐 - 와,
상기 매트릭스 가속기 외부의 프로세싱 리소스에 상기 제2 서브매트릭스의 우회를 나타내는 메시지를 전송하는 단계를 더 포함하는,
방법.
- 제10항에 있어서,
상기 메시지에 기초하여 상기 프로세싱 리소스를 통해 상기 제2 서브매트릭스에 대한 우회된 연산을 수행하는 단계를 더 포함하는,
방법.
- 제11항에 있어서,
상기 메시지는 상기 우회된 연산 및 상기 우회된 연산에 대한 피연산자를 식별하는,
방법.
- 제8항에 있어서,
상기 제로 검출 회로를 통해, 매트릭스 가속기에 입력되는 매트릭스의 0의 값의 피연산자를 추적하는 단계는 제1 입력 매트릭스에 대한 서브매트릭스 맵을 생성하는 단계를 포함하며, 상기 서브매트릭스 맵은 상기 제1 입력 매트릭스에 대한 0의 값의 서브매트릭스를 식별하기 위한 것인,
방법.
- 데이터 프로세싱 시스템으로서,
메모리 장치와,
상기 메모리 장치에 결합된 그래픽 프로세서를 포함하되,
상기 그래픽 프로세서는, 매트릭스 가속기 및 디코더를 포함하는 프로세싱 리소스를 포함하고, 상기 매트릭스 가속기는 입력 매트릭스의 희소 서브매트릭스의 로드를 우회하기 위한 로드 필터를 포함하고, 상기 디코더는 상기 입력 매트릭스와 연관된 인코딩된 데이터 세트를 디코딩하여 디코딩된 데이터 세트를 생성하며, 상기 디코더는 상기 인코딩된 데이터 세트와 연관된 메타데이터에 기초하여 상기 인코딩된 데이터 세트를 디코딩하고,
상기 로드 필터는 상기 인코딩된 데이터 세트와 연관된 상기 메타데이터에 기초하여 상기 희소 서브매트릭스의 로드를 우회하기 위한 것인,
데이터 프로세싱 시스템.
- 제14항에 있어서,
상기 디코더는 상기 인코딩된 데이터 세트와 연관된 상기 메타데이터를 상기 로드 필터에 제공하는,
데이터 프로세싱 시스템.
- 제15항에 있어서,
상기 인코딩된 데이터 세트와 연관된 상기 메타데이터는 유의성 맵을 포함하고, 상기 유의성 맵은 상기 디코딩된 데이터 세트의 비트스트림에 대한 0의 값 또는 0이 아닌 값을 나타내기 위한 것인,
데이터 프로세싱 시스템.
- 제16항에 있어서,
상기 디코더는 상기 매트릭스 가속기에 포함되고, 상기 매트릭스 가속기는 하나 이상의 인코딩된 서브매트릭스를 입력으로서 판독하는,
데이터 프로세싱 시스템.
- 제14항에 있어서,
상기 매트릭스 가속기는 복수의 프로세싱 요소를 포함하는,
데이터 프로세싱 시스템.
- 제18항에 있어서,
상기 복수의 프로세싱 요소는 시스톨릭 어레이로서 배열되고, 입력 매트릭스 데이터 세트의 하나 이상의 서브매트릭스를 처리하도록 구성되는,
데이터 프로세싱 시스템.
- 제19항에 있어서,
상기 프로세싱 리소스는 상기 입력 매트릭스의 우회된 서브매트릭스에 대해 연산을 수행하는 하드웨어 로직 유닛을 더 포함하는,
데이터 프로세싱 시스템.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962819361P | 2019-03-15 | 2019-03-15 | |
| US201962819435P | 2019-03-15 | 2019-03-15 | |
| US201962819337P | 2019-03-15 | 2019-03-15 | |
| US62/819,361 | 2019-03-15 | ||
| US62/819,435 | 2019-03-15 | ||
| US62/819,337 | 2019-03-15 | ||
| US201962935670P | 2019-11-15 | 2019-11-15 | |
| US62/935,670 | 2019-11-15 | ||
| PCT/US2020/022846 WO2020190808A1 (en) | 2019-03-15 | 2020-03-14 | Sparse optimizations for a matrix accelerator architecture |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210135998A true KR20210135998A (ko) | 2021-11-16 |
Family
ID=70285850
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217025943A KR20210136994A (ko) | 2019-03-15 | 2020-03-14 | 매트릭스 가속기 아키텍처 내에서의 시스톨릭 분리 |
| KR1020217025888A KR20210135999A (ko) | 2019-03-15 | 2020-03-14 | 시스톨릭 어레이에서 블록 희소 작업을 위한 아키텍처 |
| KR1020217025864A KR20210135998A (ko) | 2019-03-15 | 2020-03-14 | 매트릭스 가속기 아키텍처를 위한 희소 최적화 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217025943A KR20210136994A (ko) | 2019-03-15 | 2020-03-14 | 매트릭스 가속기 아키텍처 내에서의 시스톨릭 분리 |
| KR1020217025888A KR20210135999A (ko) | 2019-03-15 | 2020-03-14 | 시스톨릭 어레이에서 블록 희소 작업을 위한 아키텍처 |
Country Status (10)
| Country | Link |
|---|---|
| US (4) | US11113784B2 (ko) |
| EP (3) | EP3938890A1 (ko) |
| JP (4) | JP7423644B2 (ko) |
| KR (3) | KR20210136994A (ko) |
| CN (5) | CN112534404A (ko) |
| AU (1) | AU2020241262A1 (ko) |
| BR (2) | BR112021016138A2 (ko) |
| DE (2) | DE112020000846T5 (ko) |
| SG (1) | SG11202107290QA (ko) |
| WO (3) | WO2020190809A1 (ko) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10474458B2 (en) | 2017-04-28 | 2019-11-12 | Intel Corporation | Instructions and logic to perform floating-point and integer operations for machine learning |
| KR102559581B1 (ko) * | 2018-05-23 | 2023-07-25 | 삼성전자주식회사 | 재구성 가능 로직을 포함하는 스토리지 장치 및 상기 스토리지 장치의 동작 방법 |
| US20200210517A1 (en) | 2018-12-27 | 2020-07-02 | Intel Corporation | Systems and methods to accelerate multiplication of sparse matrices |
| US11934342B2 (en) | 2019-03-15 | 2024-03-19 | Intel Corporation | Assistance for hardware prefetch in cache access |
| WO2020190809A1 (en) * | 2019-03-15 | 2020-09-24 | Intel Corporation | Architecture for block sparse operations on a systolic array |
| US20220114096A1 (en) | 2019-03-15 | 2022-04-14 | Intel Corporation | Multi-tile Memory Management for Detecting Cross Tile Access Providing Multi-Tile Inference Scaling and Providing Page Migration |
| US11392376B2 (en) * | 2019-04-11 | 2022-07-19 | Arm Limited | Processor for sparse matrix computation |
| US11222092B2 (en) | 2019-07-16 | 2022-01-11 | Facebook Technologies, Llc | Optimization for deconvolution |
| KR102213258B1 (ko) * | 2019-07-29 | 2021-02-08 | 한국전자기술연구원 | 효율적인 명령어 처리를 위한 프로세싱-인-메모리 제어 방법 및 이를 적용한 연산장치 |
| CN112899740B (zh) * | 2019-11-15 | 2022-04-19 | 源秩科技（上海）有限公司 | 基于电化学的加工装置和方法 |
| CN111176582A (zh) * | 2019-12-31 | 2020-05-19 | 北京百度网讯科技有限公司 | 矩阵存储方法、矩阵访问方法、装置和电子设备 |
| US11586601B2 (en) * | 2020-02-05 | 2023-02-21 | Alibaba Group Holding Limited | Apparatus and method for representation of a sparse matrix in a neural network |
| US11651283B1 (en) * | 2020-06-30 | 2023-05-16 | Cadence Design Systems, Inc. | Method, product, and apparatus for a machine learning process using dynamic rearrangement of sparse data and corresponding weights |
| US11687831B1 (en) | 2020-06-30 | 2023-06-27 | Cadence Design Systems, Inc. | Method, product, and apparatus for a multidimensional processing array for hardware acceleration of convolutional neural network inference |
| US11676068B1 (en) | 2020-06-30 | 2023-06-13 | Cadence Design Systems, Inc. | Method, product, and apparatus for a machine learning process leveraging input sparsity on a pixel by pixel basis |
| US11823018B1 (en) | 2020-06-30 | 2023-11-21 | Cadence Design Systems, Inc. | Method, product, and apparatus for a machine learning process using weight sharing within a systolic array having reduced memory bandwidth |
| US11615320B1 (en) | 2020-06-30 | 2023-03-28 | Cadence Design Systems, Inc. | Method, product, and apparatus for variable precision weight management for neural networks |
| US11848980B2 (en) * | 2020-07-09 | 2023-12-19 | Boray Data Technology Co. Ltd. | Distributed pipeline configuration in a distributed computing system |
| US20220164663A1 (en) * | 2020-11-24 | 2022-05-26 | Arm Limited | Activation Compression Method for Deep Learning Acceleration |
| US20210081201A1 (en) * | 2020-11-30 | 2021-03-18 | Intel Corporation | Utilizing structured sparsity in systolic arrays |
| US20220197799A1 (en) * | 2020-12-23 | 2022-06-23 | Intel Corporation | Instruction and Micro-Architecture Support for Decompression on Core |
| US20220197642A1 (en) * | 2020-12-23 | 2022-06-23 | Intel Corporation | Processor instructions for data compression and decompression |
| US20220222319A1 (en) * | 2021-01-14 | 2022-07-14 | Microsoft Technology Licensing, Llc | Compressed matrix with sparsity metadata |
| US20230161479A1 (en) * | 2021-02-25 | 2023-05-25 | Alibab Group Holding Limited | Zero skipping techniques for reducing data movement |
| US20220293170A1 (en) * | 2021-03-10 | 2022-09-15 | Invention And Collaboration Laboratory Pte. Ltd. | Integrated scaling and stretching platform for optimizing monolithic integration and/or heterogeneous integration in a single semiconductor die |
| US20220300816A1 (en) * | 2021-03-19 | 2022-09-22 | Rebellions Inc. | Neural processing device and method for pruning thereof |
| CN113516172B (zh) * | 2021-05-19 | 2023-05-12 | 电子科技大学 | 基于随机计算贝叶斯神经网络误差注入的图像分类方法 |
| CN113076521B (zh) * | 2021-06-03 | 2021-09-21 | 沐曦集成电路(上海)有限公司 | 一种基于gpgpu可重构架构的方法及计算系统 |
| CN113268270B (zh) * | 2021-06-07 | 2022-10-21 | 中科计算技术西部研究院 | 一种针对成对隐马尔可夫模型的加速方法、系统及装置 |
| US11669331B2 (en) | 2021-06-17 | 2023-06-06 | International Business Machines Corporation | Neural network processing assist instruction |
| US20220414053A1 (en) * | 2021-06-24 | 2022-12-29 | Intel Corporation | Systolic array of arbitrary physical and logical depth |
| US20220413851A1 (en) * | 2021-06-25 | 2022-12-29 | Intel Corporation | Register file for systolic array |
| US20220413803A1 (en) * | 2021-06-25 | 2022-12-29 | Intel Corporation | Systolic array having support for output sparsity |
| US20220414054A1 (en) * | 2021-06-25 | 2022-12-29 | Intel Corporation | Dual pipeline parallel systolic array |
| US20220413924A1 (en) * | 2021-06-25 | 2022-12-29 | Intel Corporation | Using sparsity metadata to reduce systolic array power consumption |
| US11941111B2 (en) | 2021-07-31 | 2024-03-26 | International Business Machines Corporation | Exploiting fine-grained structured weight sparsity in systolic arrays |
| US20230079975A1 (en) * | 2021-09-10 | 2023-03-16 | Arm Limited | Power management for system-on-chip |
| US20230102279A1 (en) * | 2021-09-25 | 2023-03-30 | Intel Corporation | Apparatuses, methods, and systems for instructions for structured-sparse tile matrix fma |
| US11657260B2 (en) * | 2021-10-26 | 2023-05-23 | Edgecortix Pte. Ltd. | Neural network hardware accelerator data parallelism |
| CN114218152B (zh) * | 2021-12-06 | 2023-08-15 | 海飞科(南京)信息技术有限公司 | 流处理方法、处理电路和电子设备 |
| TWI824392B (zh) * | 2022-01-21 | 2023-12-01 | 財團法人國家實驗研究院 | 適用於分散式深度學習計算的隨需即組共用資料快取方法、電腦程式、電腦可讀取媒體 |
| CN115034198B (zh) * | 2022-05-16 | 2023-05-12 | 北京百度网讯科技有限公司 | 语言模型中嵌入模块计算优化的方法 |
| US11915001B1 (en) | 2022-12-26 | 2024-02-27 | Rebellions Inc. | Neural processor and method for fetching instructions thereof |
| KR102548582B1 (ko) * | 2022-12-26 | 2023-06-29 | 리벨리온 주식회사 | 뉴럴 프로세서 및 이의 명령어 페치 방법 |
| TWI830669B (zh) * | 2023-02-22 | 2024-01-21 | 旺宏電子股份有限公司 | 編碼方法及編碼電路 |
| CN117093816B (zh) * | 2023-10-19 | 2024-01-19 | 上海登临科技有限公司 | 矩阵乘运算方法、装置和电子设备 |
Family Cites Families (325)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2581236B2 (ja) | 1989-11-16 | 1997-02-12 | 三菱電機株式会社 | データ処理装置 |
| JP2682232B2 (ja) | 1990-11-21 | 1997-11-26 | 松下電器産業株式会社 | 浮動小数点演算処理装置 |
| US5381539A (en) | 1992-06-04 | 1995-01-10 | Emc Corporation | System and method for dynamically controlling cache management |
| GB9307359D0 (en) | 1993-04-08 | 1993-06-02 | Int Computers Ltd | Cache replacement mechanism |
| US5450607A (en) | 1993-05-17 | 1995-09-12 | Mips Technologies Inc. | Unified floating point and integer datapath for a RISC processor |
| US5574928A (en) | 1993-10-29 | 1996-11-12 | Advanced Micro Devices, Inc. | Mixed integer/floating point processor core for a superscalar microprocessor with a plurality of operand buses for transferring operand segments |
| US5623636A (en) | 1993-11-09 | 1997-04-22 | Motorola Inc. | Data processing system and method for providing memory access protection using transparent translation registers and default attribute bits |
| US5627985A (en) | 1994-01-04 | 1997-05-06 | Intel Corporation | Speculative and committed resource files in an out-of-order processor |
| GB2296155B (en) | 1994-06-22 | 1997-04-23 | Microsoft Corp | Data decompression circuit |
| US5805475A (en) | 1995-02-10 | 1998-09-08 | International Business Machines Corporation | Load-store unit and method of loading and storing single-precision floating-point registers in a double-precision architecture |
| US5651137A (en) | 1995-04-12 | 1997-07-22 | Intel Corporation | Scalable cache attributes for an input/output bus |
| US5940311A (en) | 1996-04-30 | 1999-08-17 | Texas Instruments Incorporated | Immediate floating-point operand reformatting in a microprocessor |
| US5917741A (en) | 1996-08-29 | 1999-06-29 | Intel Corporation | Method and apparatus for performing floating-point rounding operations for multiple precisions using incrementers |
| US6078940A (en) | 1997-01-24 | 2000-06-20 | Texas Instruments Incorporated | Microprocessor with an instruction for multiply and left shift with saturate |
| US5943687A (en) | 1997-03-14 | 1999-08-24 | Telefonakiebolaget Lm Ericsson | Penalty-based cache storage and replacement techniques |
| US5926406A (en) | 1997-04-30 | 1999-07-20 | Hewlett-Packard, Co. | System and method for calculating floating point exponential values in a geometry accelerator |
| AUPO793897A0 (en) * | 1997-07-15 | 1997-08-07 | Silverbrook Research Pty Ltd | Image processing method and apparatus (ART25) |
| SG120064A1 (en) * | 1997-07-15 | 2006-03-28 | Silverbrook Res Pty Ltd | Thermal actuator |
| US7102646B1 (en) | 1997-11-25 | 2006-09-05 | Nvidia U.S. Investment Company | Demand-based memory system for graphics applications |
| US6856320B1 (en) | 1997-11-25 | 2005-02-15 | Nvidia U.S. Investment Company | Demand-based memory system for graphics applications |
| US6253311B1 (en) | 1997-11-29 | 2001-06-26 | Jp First Llc | Instruction set for bi-directional conversion and transfer of integer and floating point data |
| US6049865A (en) | 1997-12-18 | 2000-04-11 | Motorola, Inc. | Method and apparatus for implementing floating point projection instructions |
| US6260008B1 (en) | 1998-01-08 | 2001-07-10 | Sharp Kabushiki Kaisha | Method of and system for disambiguating syntactic word multiples |
| US6480872B1 (en) | 1999-01-21 | 2002-11-12 | Sandcraft, Inc. | Floating-point and integer multiply-add and multiply-accumulate |
| US6529928B1 (en) | 1999-03-23 | 2003-03-04 | Silicon Graphics, Inc. | Floating-point adder performing floating-point and integer operations |
| US6788738B1 (en) | 1999-05-07 | 2004-09-07 | Xilinx, Inc. | Filter accelerator for a digital signal processor |
| US6631437B1 (en) | 2000-04-06 | 2003-10-07 | Hewlett-Packard Development Company, L.P. | Method and apparatus for promoting memory read commands |
| US6578102B1 (en) | 2000-04-18 | 2003-06-10 | International Business Machines Corporation | Tracking and control of prefetch data in a PCI bus system |
| US6412046B1 (en) | 2000-05-01 | 2002-06-25 | Hewlett Packard Company | Verification of cache prefetch mechanism |
| US8188997B2 (en) | 2000-06-19 | 2012-05-29 | Mental Images Gmbh | Accelerated ray tracing using shallow bounding volume hierarchies |
| US7499053B2 (en) | 2000-06-19 | 2009-03-03 | Mental Images Gmbh | Real-time precision ray tracing |
| US6678806B1 (en) | 2000-08-23 | 2004-01-13 | Chipwrights Design, Inc. | Apparatus and method for using tagged pointers for extract, insert and format operations |
| US6792509B2 (en) | 2001-04-19 | 2004-09-14 | International Business Machines Corporation | Partitioned cache of multiple logical levels with adaptive reconfiguration based on multiple criteria |
| US6748495B2 (en) | 2001-05-15 | 2004-06-08 | Broadcom Corporation | Random generator |
| US6947049B2 (en) | 2001-06-01 | 2005-09-20 | Nvidia Corporation | Method and system for synchronizing updates of vertex data with a graphics processor that is fetching vertex data |
| US7127482B2 (en) | 2001-11-19 | 2006-10-24 | Intel Corporation | Performance optimized approach for efficient downsampling operations |
| US7197605B2 (en) | 2002-12-30 | 2007-03-27 | Intel Corporation | Allocating cache lines |
| US7483031B2 (en) | 2003-04-17 | 2009-01-27 | Nvidia Corporation | Method for synchronizing graphics processing units |
| US7373369B2 (en) | 2003-06-05 | 2008-05-13 | International Business Machines Corporation | Advanced execution of extended floating-point add operations in a narrow dataflow |
| US7272624B2 (en) | 2003-09-30 | 2007-09-18 | International Business Machines Corporation | Fused booth encoder multiplexer |
| JP3807400B2 (ja) | 2003-10-30 | 2006-08-09 | ソニー株式会社 | 記録制御装置および記録制御方法 |
| GB2409068A (en) | 2003-12-09 | 2005-06-15 | Advanced Risc Mach Ltd | Data element size control within parallel lanes of processing |
| KR100800468B1 (ko) | 2004-01-29 | 2008-02-01 | 삼성전자주식회사 | 저전력 고속 동작을 위한 하드웨어 암호화/복호화 장치 및그 방법 |
| US8253750B1 (en) | 2004-02-14 | 2012-08-28 | Nvidia Corporation | Digital media processor |
| US7873812B1 (en) | 2004-04-05 | 2011-01-18 | Tibet MIMAR | Method and system for efficient matrix multiplication in a SIMD processor architecture |
| US7548892B2 (en) * | 2004-04-30 | 2009-06-16 | Microsoft Corporation | Processing machine learning techniques using a graphics processing unit |
| US7428566B2 (en) | 2004-11-10 | 2008-09-23 | Nvidia Corporation | Multipurpose functional unit with multiply-add and format conversion pipeline |
| US20060101244A1 (en) | 2004-11-10 | 2006-05-11 | Nvidia Corporation | Multipurpose functional unit with combined integer and floating-point multiply-add pipeline |
| US20060179092A1 (en) | 2005-02-10 | 2006-08-10 | Schmookler Martin S | System and method for executing fixed point divide operations using a floating point multiply-add pipeline |
| US20060248279A1 (en) | 2005-05-02 | 2006-11-02 | Al-Sukhni Hassan F | Prefetching across a page boundary |
| US7346741B1 (en) | 2005-05-10 | 2008-03-18 | Sun Microsystems, Inc. | Memory latency of processors with configurable stride based pre-fetching technique |
| EP1889178A2 (en) | 2005-05-13 | 2008-02-20 | Provost, Fellows and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth near Dublin | A data processing system and method |
| US8250348B2 (en) | 2005-05-19 | 2012-08-21 | International Business Machines Corporation | Methods and apparatus for dynamically switching processor mode |
| US20070030277A1 (en) | 2005-08-08 | 2007-02-08 | Via Technologies, Inc. | Method for processing vertex, triangle, and pixel graphics data packets |
| US7659899B2 (en) | 2005-08-08 | 2010-02-09 | Via Technologies, Inc. | System and method to manage data processing stages of a logical graphics pipeline |
| US20070074008A1 (en) | 2005-09-28 | 2007-03-29 | Donofrio David D | Mixed mode floating-point pipeline with extended functions |
| US8004531B2 (en) | 2005-10-14 | 2011-08-23 | Via Technologies, Inc. | Multiple graphics processor systems and methods |
| US7616206B1 (en) | 2006-06-16 | 2009-11-10 | Nvidia Corporation | Efficient multi-chip GPU |
| US7467280B2 (en) | 2006-07-05 | 2008-12-16 | International Business Machines Corporation | Method for reconfiguring cache memory based on at least analysis of heat generated during runtime, at least by associating an access bit with a cache line and associating a granularity bit with a cache line in level-2 cache |
| US20080030510A1 (en) | 2006-08-02 | 2008-02-07 | Xgi Technology Inc. | Multi-GPU rendering system |
| US7620793B1 (en) | 2006-08-28 | 2009-11-17 | Nvidia Corporation | Mapping memory partitions to virtual memory pages |
| US20080071851A1 (en) * | 2006-09-20 | 2008-03-20 | Ronen Zohar | Instruction and logic for performing a dot-product operation |
| US7327289B1 (en) | 2006-09-20 | 2008-02-05 | Intel Corporation | Data-modifying run length encoder to avoid data expansion |
| US8122078B2 (en) | 2006-10-06 | 2012-02-21 | Calos Fund, LLC | Processor with enhanced combined-arithmetic capability |
| US20080086598A1 (en) | 2006-10-10 | 2008-04-10 | Maron William A | System and method for establishing cache priority for critical data structures of an application |
| US20080189487A1 (en) | 2007-02-06 | 2008-08-07 | Arm Limited | Control of cache transactions |
| US8781110B2 (en) | 2007-06-30 | 2014-07-15 | Intel Corporation | Unified system architecture for elliptic-curve cryptography |
| US7783859B2 (en) | 2007-07-12 | 2010-08-24 | Qnx Software Systems Gmbh & Co. Kg | Processing system implementing variable page size memory organization |
| US8990505B1 (en) | 2007-09-21 | 2015-03-24 | Marvell International Ltd. | Cache memory bank selection |
| US20100281235A1 (en) | 2007-11-17 | 2010-11-04 | Martin Vorbach | Reconfigurable floating-point and bit-level data processing unit |
| US8106914B2 (en) | 2007-12-07 | 2012-01-31 | Nvidia Corporation | Fused multiply-add functional unit |
| US7941633B2 (en) | 2007-12-18 | 2011-05-10 | International Business Machines Corporation | Hash optimization system and method |
| US7870339B2 (en) | 2008-01-11 | 2011-01-11 | International Business Machines Corporation | Extract cache attribute facility and instruction therefore |
| US20090190432A1 (en) | 2008-01-28 | 2009-07-30 | Christoph Bilger | DRAM with Page Access |
| US8429351B1 (en) | 2008-03-28 | 2013-04-23 | Emc Corporation | Techniques for determining an amount of data to prefetch |
| US8146064B2 (en) | 2008-04-04 | 2012-03-27 | International Business Machines Corporation | Dynamically controlling a prefetching range of a software controlled cache |
| US8078833B2 (en) | 2008-05-29 | 2011-12-13 | Axis Semiconductor, Inc. | Microprocessor with highly configurable pipeline and executional unit internal hierarchal structures, optimizable for different types of computational functions |
| US7945768B2 (en) | 2008-06-05 | 2011-05-17 | Motorola Mobility, Inc. | Method and apparatus for nested instruction looping using implicit predicates |
| US8340280B2 (en) | 2008-06-13 | 2012-12-25 | Intel Corporation | Using a single instruction multiple data (SIMD) instruction to speed up galois counter mode (GCM) computations |
| US8219757B2 (en) | 2008-09-30 | 2012-07-10 | Intel Corporation | Apparatus and method for low touch cache management |
| US8041856B2 (en) * | 2008-09-30 | 2011-10-18 | Lsi Corporation | Skip based control logic for first in first out buffer |
| US20100162247A1 (en) | 2008-12-19 | 2010-06-24 | Adam Welc | Methods and systems for transactional nested parallelism |
| US20100185816A1 (en) | 2009-01-21 | 2010-07-22 | Sauber William F | Multiple Cache Line Size |
| US8266409B2 (en) | 2009-03-03 | 2012-09-11 | Qualcomm Incorporated | Configurable cache and method to configure same |
| US8108612B2 (en) | 2009-05-15 | 2012-01-31 | Microsoft Corporation | Location updates for a distributed data store |
| US8566801B2 (en) | 2009-05-22 | 2013-10-22 | International Business Machines Corporation | Concurrent static single assignment for general barrier synchronized parallel programs |
| US8819359B2 (en) | 2009-06-29 | 2014-08-26 | Oracle America, Inc. | Hybrid interleaving in memory modules by interleaving physical addresses for a page across ranks in a memory module |
| US8352945B2 (en) | 2009-08-11 | 2013-01-08 | International Business Machines Corporation | System, method, and apparatus for scan-sharing for business intelligence queries in an in-memory database |
| US8615637B2 (en) | 2009-09-10 | 2013-12-24 | Advanced Micro Devices, Inc. | Systems and methods for processing memory requests in a multi-processor system using a probe engine |
| US8364739B2 (en) | 2009-09-30 | 2013-01-29 | International Business Machines Corporation | Sparse matrix-vector multiplication on graphics processor units |
| US8103910B2 (en) | 2009-11-13 | 2012-01-24 | International Business Machines Corporation | Local rollback for fault-tolerance in parallel computing systems |
| US8669990B2 (en) | 2009-12-31 | 2014-03-11 | Intel Corporation | Sharing resources between a CPU and GPU |
| US8677613B2 (en) | 2010-05-20 | 2014-03-25 | International Business Machines Corporation | Enhanced modularity in heterogeneous 3D stacks |
| US8812575B2 (en) | 2010-07-06 | 2014-08-19 | Silminds, Llc, Egypt | Decimal floating-point square-root unit using Newton-Raphson iterations |
| US8982140B2 (en) | 2010-09-24 | 2015-03-17 | Nvidia Corporation | Hierarchical memory addressing |
| US9965395B2 (en) | 2010-09-28 | 2018-05-08 | Texas Instruments Incorporated | Memory attribute sharing between differing cache levels of multilevel cache |
| US8488055B2 (en) | 2010-09-30 | 2013-07-16 | Apple Inc. | Flash synchronization using image sensor interface timing signal |
| US8745111B2 (en) | 2010-11-16 | 2014-06-03 | Apple Inc. | Methods and apparatuses for converting floating point representations |
| CN102033985A (zh) * | 2010-11-24 | 2011-04-27 | 南京理工大学 | 基于*-矩阵算法的高效时域电磁仿真方法 |
| US8847965B2 (en) | 2010-12-03 | 2014-09-30 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for fast geometric sound propagation using visibility computations |
| CN102141976B (zh) * | 2011-01-10 | 2013-08-14 | 中国科学院软件研究所 | 稀疏矩阵的对角线数据存储方法及基于该方法的SpMV实现方法 |
| GB2488985A (en) | 2011-03-08 | 2012-09-19 | Advanced Risc Mach Ltd | Mixed size data processing operation with integrated operand conversion instructions |
| US8862653B2 (en) * | 2011-04-26 | 2014-10-14 | University Of South Carolina | System and method for sparse matrix vector multiplication processing |
| FR2974645A1 (fr) | 2011-04-28 | 2012-11-02 | Kalray | Operateur de multiplication et addition fusionnees a precision mixte |
| US9501392B1 (en) | 2011-05-12 | 2016-11-22 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Management of a non-volatile memory module |
| JP5813380B2 (ja) | 2011-06-03 | 2015-11-17 | 株式会社東芝 | 半導体記憶装置 |
| US9529712B2 (en) | 2011-07-26 | 2016-12-27 | Nvidia Corporation | Techniques for balancing accesses to memory having different memory types |
| US9727336B2 (en) | 2011-09-16 | 2017-08-08 | International Business Machines Corporation | Fine-grained instruction enablement at sub-function granularity based on an indicated subrange of registers |
| US20130099946A1 (en) | 2011-10-21 | 2013-04-25 | International Business Machines Corporation | Data Compression Utilizing Variable and Limited Length Codes |
| US8935478B2 (en) | 2011-11-01 | 2015-01-13 | International Business Machines Corporation | Variable cache line size management |
| US20130141442A1 (en) | 2011-12-06 | 2013-06-06 | John W. Brothers | Method and apparatus for multi-chip processing |
| US20130148947A1 (en) | 2011-12-13 | 2013-06-13 | Ati Technologies Ulc | Video player with multiple grpahics processors |
| US9960917B2 (en) | 2011-12-22 | 2018-05-01 | Intel Corporation | Matrix multiply accumulate instruction |
| US20140195783A1 (en) * | 2011-12-29 | 2014-07-10 | Krishnan Karthikeyan | Dot product processors, methods, systems, and instructions |
| US20130185515A1 (en) | 2012-01-16 | 2013-07-18 | Qualcomm Incorporated | Utilizing Negative Feedback from Unexpected Miss Addresses in a Hardware Prefetcher |
| JP6072834B2 (ja) | 2012-02-08 | 2017-02-01 | インテル・コーポレーション | 方法、プログラム、装置、およびシステム |
| US20130218938A1 (en) | 2012-02-17 | 2013-08-22 | Qualcomm Incorporated | Floating-point adder with operand shifting based on a predicted exponent difference |
| US9036710B2 (en) * | 2012-03-08 | 2015-05-19 | Blackberry Limited | Unified transform coefficient encoding and decoding |
| US8775762B2 (en) | 2012-05-07 | 2014-07-08 | Advanced Micro Devices, Inc. | Method and apparatus for batching memory requests |
| US8892619B2 (en) | 2012-07-24 | 2014-11-18 | The Board Of Trustees Of The Leland Stanford Junior University | Floating-point multiply-add unit using cascade design |
| US9128845B2 (en) | 2012-07-30 | 2015-09-08 | Hewlett-Packard Development Company, L.P. | Dynamically partition a volatile memory for a cache and a memory partition |
| CN103581052B (zh) | 2012-08-02 | 2017-07-21 | 华为技术有限公司 | 一种数据处理方法、路由器及ndn系统 |
| US9298456B2 (en) | 2012-08-21 | 2016-03-29 | Apple Inc. | Mechanism for performing speculative predicated instructions |
| US20140075163A1 (en) | 2012-09-07 | 2014-03-13 | Paul N. Loewenstein | Load-monitor mwait |
| US9134954B2 (en) | 2012-09-10 | 2015-09-15 | Qualcomm Incorporated | GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault |
| US10742475B2 (en) | 2012-12-05 | 2020-08-11 | Origin Wireless, Inc. | Method, apparatus, and system for object tracking sensing using broadcasting |
| US9317482B2 (en) * | 2012-10-14 | 2016-04-19 | Microsoft Technology Licensing, Llc | Universal FPGA/ASIC matrix-vector multiplication architecture |
| US9152382B2 (en) | 2012-10-31 | 2015-10-06 | Intel Corporation | Reducing power consumption in a fused multiply-add (FMA) unit responsive to input data values |
| US11150721B2 (en) | 2012-11-07 | 2021-10-19 | Nvidia Corporation | Providing hints to an execution unit to prepare for predicted subsequent arithmetic operations |
| US9183144B2 (en) | 2012-12-14 | 2015-11-10 | Intel Corporation | Power gating a portion of a cache memory |
| US20140173203A1 (en) | 2012-12-18 | 2014-06-19 | Andrew T. Forsyth | Block Memory Engine |
| US9317251B2 (en) | 2012-12-31 | 2016-04-19 | Nvidia Corporation | Efficient correction of normalizer shift amount errors in fused multiply add operations |
| US9971710B2 (en) | 2013-02-07 | 2018-05-15 | Microsoft Technology Licensing, Llc | Optimizing data transfers between heterogeneous memory arenas |
| US9478066B2 (en) | 2013-03-14 | 2016-10-25 | Nvidia Corporation | Consistent vertex snapping for variable resolution rendering |
| US9940286B2 (en) | 2013-03-14 | 2018-04-10 | Nvidia Corporation | PCIE traffic tracking hardware in a unified virtual memory system |
| US10133677B2 (en) | 2013-03-14 | 2018-11-20 | Nvidia Corporation | Opportunistic migration of memory pages in a unified virtual memory system |
| US9525586B2 (en) | 2013-03-15 | 2016-12-20 | Intel Corporation | QoS based binary translation and application streaming |
| GB2551291B (en) | 2013-05-23 | 2018-02-14 | Linear Algebra Tech Limited | Corner detection |
| US9378127B2 (en) | 2013-06-21 | 2016-06-28 | Intel Corporation | Dynamic memory page policy |
| US9264066B2 (en) | 2013-07-30 | 2016-02-16 | Apple Inc. | Type conversion using floating-point unit |
| US9946666B2 (en) | 2013-08-06 | 2018-04-17 | Nvidia Corporation | Coalescing texture access and load/store operations |
| US9092345B2 (en) | 2013-08-08 | 2015-07-28 | Arm Limited | Data processing systems |
| US9710380B2 (en) | 2013-08-29 | 2017-07-18 | Intel Corporation | Managing shared cache by multi-core processor |
| TWI676898B (zh) | 2013-12-09 | 2019-11-11 | 安然國際科技有限公司 | 分散式記憶體磁碟群集儲存系統運作方法 |
| US9461667B2 (en) | 2013-12-30 | 2016-10-04 | Samsung Electronics Co., Ltd. | Rounding injection scheme for floating-point to integer conversion |
| US20150193358A1 (en) | 2014-01-06 | 2015-07-09 | Nvidia Corporation | Prioritized Memory Reads |
| US10528357B2 (en) | 2014-01-17 | 2020-01-07 | L3 Technologies, Inc. | Web-based recorder configuration utility |
| US20150205724A1 (en) | 2014-01-20 | 2015-07-23 | Honeywell International Inc. | System and method of cache partitioning for processors with limited cached memory pools |
| KR102100161B1 (ko) | 2014-02-04 | 2020-04-14 | 삼성전자주식회사 | Gpu 데이터 캐싱 방법 및 그에 따른 데이터 프로세싱 시스템 |
| WO2015119610A1 (en) | 2014-02-06 | 2015-08-13 | Empire Technology Development, Llc | Server-client secret generation with cached data |
| US9275429B2 (en) | 2014-02-17 | 2016-03-01 | Qualcomm Incorporated | Device hang detection and recovery |
| KR20150106132A (ko) | 2014-03-11 | 2015-09-21 | 삼성전자주식회사 | 전자 장치의 캐시 메모리 제어 방법 및 장치 |
| US20150268963A1 (en) | 2014-03-23 | 2015-09-24 | Technion Research & Development Foundation Ltd. | Execution of data-parallel programs on coarse-grained reconfigurable architecture hardware |
| US9436972B2 (en) | 2014-03-27 | 2016-09-06 | Intel Corporation | System coherency in a distributed graphics processor hierarchy |
| EP2937794B1 (en) | 2014-04-22 | 2016-08-17 | DataVard GmbH | Method and system for archiving digital data |
| US9673998B2 (en) | 2014-05-15 | 2017-06-06 | Futurewei Technologies, Inc. | Differential cache for representational state transfer (REST) API |
| JP6248808B2 (ja) | 2014-05-22 | 2017-12-20 | 富士通株式会社 | 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、情報処理装置の制御プログラム |
| KR102192956B1 (ko) | 2014-06-23 | 2020-12-18 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US10061592B2 (en) | 2014-06-27 | 2018-08-28 | Samsung Electronics Co., Ltd. | Architecture and execution for efficient mixed precision computations in single instruction multiple data/thread (SIMD/T) devices |
| US9520192B2 (en) | 2014-06-30 | 2016-12-13 | Intel Corporation | Resistive memory write operation with merged reset |
| US20150378920A1 (en) | 2014-06-30 | 2015-12-31 | John G. Gierach | Graphics data pre-fetcher for last level caches |
| US10223333B2 (en) | 2014-08-29 | 2019-03-05 | Nvidia Corporation | Performing multi-convolution operations in a parallel processing system |
| KR102263326B1 (ko) | 2014-09-18 | 2021-06-09 | 삼성전자주식회사 | 그래픽 프로세싱 유닛 및 이를 이용한 그래픽 데이터 처리 방법 |
| US20160092118A1 (en) | 2014-09-26 | 2016-03-31 | Intel Corporation | Memory write management in a computer system |
| US9928076B2 (en) | 2014-09-26 | 2018-03-27 | Intel Corporation | Method and apparatus for unstructured control flow for SIMD execution engine |
| JP2016091242A (ja) | 2014-10-31 | 2016-05-23 | 富士通株式会社 | キャッシュメモリ、キャッシュメモリへのアクセス方法及び制御プログラム |
| US20160124709A1 (en) | 2014-11-04 | 2016-05-05 | International Business Machines Corporation | Fast, energy-efficient exponential computations in simd architectures |
| US10282227B2 (en) | 2014-11-18 | 2019-05-07 | Intel Corporation | Efficient preemption for graphics processors |
| US9898411B2 (en) | 2014-12-14 | 2018-02-20 | Via Alliance Semiconductor Co., Ltd. | Cache memory budgeted by chunks based on memory access type |
| WO2016097813A1 (en) | 2014-12-14 | 2016-06-23 | Via Alliance Semiconductor Co., Ltd. | Set associative cache memory with heterogeneous replacement policy |
| WO2016097805A1 (en) | 2014-12-14 | 2016-06-23 | Via Alliance Semicoductor Co., Ltd. | Cache memory budgeted by ways on memory access type |
| FR3030846B1 (fr) * | 2014-12-23 | 2017-12-29 | Commissariat Energie Atomique | Representation semantique du contenu d'une image |
| US9304835B1 (en) * | 2014-12-31 | 2016-04-05 | International Business Machines Corporation | Optimized system for analytics (graphs and sparse matrices) operations |
| US20160255169A1 (en) | 2015-02-27 | 2016-09-01 | Futurewei Technologies, Inc. | Method and system for smart object eviction for proxy cache |
| US10002455B2 (en) | 2015-04-20 | 2018-06-19 | Intel Corporation | Optimized depth buffer cache apparatus and method |
| US9626299B2 (en) | 2015-05-01 | 2017-04-18 | Intel Corporation | Changing a hash function based on a conflict ratio associated with cache sets |
| US9804666B2 (en) | 2015-05-26 | 2017-10-31 | Samsung Electronics Co., Ltd. | Warp clustering |
| US20160378465A1 (en) * | 2015-06-23 | 2016-12-29 | Intel Corporation | Efficient sparse array handling in a processor |
| GB2540761B (en) | 2015-07-23 | 2017-12-06 | Advanced Risc Mach Ltd | Cache usage estimation |
| US20170039144A1 (en) | 2015-08-07 | 2017-02-09 | Intel Corporation | Loading data using sub-thread information in a processor |
| CN105068787A (zh) * | 2015-08-28 | 2015-11-18 | 华南理工大学 | 一种稀疏矩阵向量乘法的异构并行计算方法 |
| US10423354B2 (en) | 2015-09-23 | 2019-09-24 | Advanced Micro Devices, Inc. | Selective data copying between memory modules |
| US10423411B2 (en) * | 2015-09-26 | 2019-09-24 | Intel Corporation | Data element comparison processors, methods, systems, and instructions |
| US10042749B2 (en) | 2015-11-10 | 2018-08-07 | International Business Machines Corporation | Prefetch insensitive transactional memory |
| US10387309B2 (en) | 2015-10-14 | 2019-08-20 | Elastifile Ltd. | High-performance distributed caching |
| KR101843243B1 (ko) * | 2015-10-30 | 2018-03-29 | 세종대학교산학협력단 | 제로값을 피연산자로 갖는 연산자에 대한 연산을 스킵하는 연산 방법 및 연산 장치 |
| US9558156B1 (en) * | 2015-11-24 | 2017-01-31 | International Business Machines Corporation | Sparse matrix multiplication using a single field programmable gate array module |
| CN106886429B (zh) | 2015-12-16 | 2020-11-06 | 华为技术有限公司 | 一种加载驱动程序的方法和服务器 |
| US20170177336A1 (en) | 2015-12-22 | 2017-06-22 | Intel Corporation | Hardware cancellation monitor for floating point operations |
| US9996320B2 (en) | 2015-12-23 | 2018-06-12 | Intel Corporation | Fused multiply-add (FMA) low functional unit |
| KR102604737B1 (ko) | 2016-01-11 | 2023-11-22 | 삼성전자주식회사 | 가속 구조를 생성하는 방법 및 장치 |
| US10762164B2 (en) * | 2016-01-20 | 2020-09-01 | Cambricon Technologies Corporation Limited | Vector and matrix computing device |
| US20170214930A1 (en) | 2016-01-26 | 2017-07-27 | Sandia Corporation | Gpu-assisted lossless data compression |
| US9778871B1 (en) | 2016-03-27 | 2017-10-03 | Qualcomm Incorporated | Power-reducing memory subsystem having a system cache and local resource management |
| CN107315718B (zh) * | 2016-04-26 | 2020-08-21 | 中科寒武纪科技股份有限公司 | 一种用于执行向量内积运算的装置和方法 |
| US20170308800A1 (en) | 2016-04-26 | 2017-10-26 | Smokescreen Intelligence, LLC | Interchangeable Artificial Intelligence Perception Systems and Methods |
| US10509732B2 (en) | 2016-04-27 | 2019-12-17 | Advanced Micro Devices, Inc. | Selecting cache aging policy for prefetches based on cache test regions |
| CN107346148A (zh) | 2016-05-04 | 2017-11-14 | 杭州海存信息技术有限公司 | 基于背面查找表的仿真处理器 |
| US9846579B1 (en) | 2016-06-13 | 2017-12-19 | Apple Inc. | Unified integer and floating-point compare circuitry |
| US10176099B2 (en) | 2016-07-11 | 2019-01-08 | Intel Corporation | Using data pattern to mark cache lines as invalid |
| JP6665720B2 (ja) | 2016-07-14 | 2020-03-13 | 富士通株式会社 | 情報処理装置、コンパイルプログラム、コンパイル方法、およびキャッシュ制御方法 |
| US20180018266A1 (en) | 2016-07-18 | 2018-01-18 | Advanced Micro Devices, Inc. | Stride prefetcher for inconsistent strides |
| US10334334B2 (en) | 2016-07-22 | 2019-06-25 | Intel Corporation | Storage sled and techniques for a data center |
| US20180046898A1 (en) * | 2016-08-11 | 2018-02-15 | Vivante Corporation | Zero Coefficient Skipping Convolution Neural Network Engine |
| US10891538B2 (en) * | 2016-08-11 | 2021-01-12 | Nvidia Corporation | Sparse convolutional neural network accelerator |
| US10997496B2 (en) | 2016-08-11 | 2021-05-04 | Nvidia Corporation | Sparse convolutional neural network accelerator |
| US10467195B2 (en) | 2016-09-06 | 2019-11-05 | Samsung Electronics Co., Ltd. | Adaptive caching replacement manager with dynamic updating granulates and partitions for shared flash-based storage system |
| US20180107602A1 (en) | 2016-10-13 | 2018-04-19 | Intel Corporation | Latency and Bandwidth Efficiency Improvement for Read Modify Write When a Read Operation is Requested to a Partially Modified Write Only Cacheline |
| US11315018B2 (en) | 2016-10-21 | 2022-04-26 | Nvidia Corporation | Systems and methods for pruning neural networks for resource efficient inference |
| US10216479B2 (en) | 2016-12-06 | 2019-02-26 | Arm Limited | Apparatus and method for performing arithmetic operations to accumulate floating-point numbers |
| US10452551B2 (en) | 2016-12-12 | 2019-10-22 | Intel Corporation | Programmable memory prefetcher for prefetching multiple cache lines based on data in a prefetch engine control register |
| CN106683036A (zh) | 2016-12-12 | 2017-05-17 | 中国航空工业集团公司西安航空计算技术研究所 | 一种面向gpu高效绘制的帧缓冲区存储编码方法 |
| KR20180069461A (ko) | 2016-12-15 | 2018-06-25 | 삼성전자주식회사 | 가속 구조를 생성하는 방법 및 장치 |
| US20180173623A1 (en) | 2016-12-21 | 2018-06-21 | Qualcomm Incorporated | Reducing or avoiding buffering of evicted cache data from an uncompressed cache memory in a compressed memory system to avoid stalling write operations |
| US20180183577A1 (en) | 2016-12-28 | 2018-06-28 | Intel Corporation | Techniques for secure message authentication with unified hardware acceleration |
| US10558575B2 (en) | 2016-12-30 | 2020-02-11 | Intel Corporation | Processors, methods, and systems with a configurable spatial accelerator |
| US10146738B2 (en) * | 2016-12-31 | 2018-12-04 | Intel Corporation | Hardware accelerator architecture for processing very-sparse and hyper-sparse matrix data |
| KR102520017B1 (ko) | 2016-12-31 | 2023-04-11 | 인텔 코포레이션 | 이종 컴퓨팅을 위한 시스템들, 방법들, 및 장치들 |
| US20180210836A1 (en) | 2017-01-24 | 2018-07-26 | Microsoft Technology Licensing, Llc | Thermal and reliability based cache slice migration |
| US10430912B2 (en) | 2017-02-14 | 2019-10-01 | Qualcomm Incorporated | Dynamic shader instruction nullification for graphics processing |
| GB2560159B (en) | 2017-02-23 | 2019-12-25 | Advanced Risc Mach Ltd | Widening arithmetic in a data processing apparatus |
| US10409887B1 (en) * | 2017-02-28 | 2019-09-10 | Ambarella, Inc. | Generalized dot product for computer vision applications |
| KR102499396B1 (ko) * | 2017-03-03 | 2023-02-13 | 삼성전자 주식회사 | 뉴럴 네트워크 장치 및 뉴럴 네트워크 장치의 동작 방법 |
| US10303602B2 (en) | 2017-03-31 | 2019-05-28 | Advanced Micro Devices, Inc. | Preemptive cache management policies for processing units |
| US10229059B2 (en) | 2017-03-31 | 2019-03-12 | Intel Corporation | Dynamic fill policy for a shared cache |
| US10423415B2 (en) | 2017-04-01 | 2019-09-24 | Intel Corporation | Hierarchical general register file (GRF) for execution block |
| US10503652B2 (en) | 2017-04-01 | 2019-12-10 | Intel Corporation | Sector cache for compression |
| US10304421B2 (en) | 2017-04-07 | 2019-05-28 | Intel Corporation | Apparatus and method for remote display and content protection in a virtualized graphics processing environment |
| US10861216B2 (en) | 2017-04-07 | 2020-12-08 | Intel Corporation | Ray tracing apparatus and method for memory access and register operations |
| US10346944B2 (en) * | 2017-04-09 | 2019-07-09 | Intel Corporation | Machine learning sparse computation mechanism |
| US10824938B2 (en) * | 2017-04-24 | 2020-11-03 | Intel Corporation | Specialized fixed function hardware for efficient convolution |
| US10403003B2 (en) * | 2017-04-24 | 2019-09-03 | Intel Corporation | Compression mechanism |
| US10409614B2 (en) | 2017-04-24 | 2019-09-10 | Intel Corporation | Instructions having support for floating point and integer data types in the same register |
| US10726514B2 (en) | 2017-04-28 | 2020-07-28 | Intel Corporation | Compute optimizations for low precision machine learning operations |
| US10474458B2 (en) | 2017-04-28 | 2019-11-12 | Intel Corporation | Instructions and logic to perform floating-point and integer operations for machine learning |
| US10186011B2 (en) * | 2017-04-28 | 2019-01-22 | Intel Corporation | Programmable coarse grained and sparse matrix compute hardware with advanced scheduling |
| US10776699B2 (en) * | 2017-05-05 | 2020-09-15 | Intel Corporation | Optimized compute hardware for machine learning operations |
| US11488008B2 (en) | 2017-05-05 | 2022-11-01 | Intel Corporation | Hardware implemented point to point communication primitives for machine learning |
| US10338919B2 (en) | 2017-05-08 | 2019-07-02 | Nvidia Corporation | Generalized acceleration of matrix multiply accumulate operations |
| US20180336136A1 (en) | 2017-05-17 | 2018-11-22 | Qualcomm Incorporated | Input/output-coherent Look-ahead Cache Access |
| WO2018213636A1 (en) | 2017-05-17 | 2018-11-22 | Google Llc | Performing matrix multiplication in hardware |
| US10102015B1 (en) | 2017-06-22 | 2018-10-16 | Microsoft Technology Licensing, Llc | Just in time GPU executed program cross compilation |
| US10282299B2 (en) | 2017-06-23 | 2019-05-07 | Cavium, Llc | Managing cache partitions based on cache usage information |
| US10969740B2 (en) | 2017-06-27 | 2021-04-06 | Nvidia Corporation | System and method for near-eye light field rendering for wide field of view interactive three-dimensional computer graphics |
| US10984049B2 (en) | 2017-06-27 | 2021-04-20 | Nvidia Corporation | Performing traversal stack compression |
| US10990648B2 (en) | 2017-08-07 | 2021-04-27 | Intel Corporation | System and method for an optimized winograd convolution accelerator |
| US10394456B2 (en) | 2017-08-23 | 2019-08-27 | Micron Technology, Inc. | On demand memory page size |
| US11232531B2 (en) | 2017-08-29 | 2022-01-25 | Intel Corporation | Method and apparatus for efficient loop processing in a graphics hardware front end |
| US10691572B2 (en) | 2017-08-30 | 2020-06-23 | Nvidia Corporation | Liveness as a factor to evaluate memory vulnerability to soft errors |
| US10503507B2 (en) * | 2017-08-31 | 2019-12-10 | Nvidia Corporation | Inline data inspection for workload simplification |
| US10725740B2 (en) * | 2017-08-31 | 2020-07-28 | Qualcomm Incorporated | Providing efficient multiplication of sparse matrices in matrix-processor-based devices |
| US10943171B2 (en) | 2017-09-01 | 2021-03-09 | Facebook, Inc. | Sparse neural network training optimization |
| US10503520B2 (en) | 2017-09-26 | 2019-12-10 | Intel Corporation | Automatic waking of power domains for graphics configuration requests |
| US10782904B2 (en) | 2017-09-28 | 2020-09-22 | Intel Corporation | Host computing arrangement, remote server arrangement, storage system and methods thereof |
| US10692244B2 (en) | 2017-10-06 | 2020-06-23 | Nvidia Corporation | Learning based camera pose estimation from images of an environment |
| US11222256B2 (en) * | 2017-10-17 | 2022-01-11 | Xilinx, Inc. | Neural network processing system having multiple processors and a neural network accelerator |
| GB2569271B (en) | 2017-10-20 | 2020-05-13 | Graphcore Ltd | Synchronization with a host processor |
| GB2569274B (en) | 2017-10-20 | 2020-07-15 | Graphcore Ltd | Synchronization amongst processor tiles |
| GB2569844B (en) | 2017-10-20 | 2021-01-06 | Graphcore Ltd | Sending data off-chip |
| GB2569098B (en) | 2017-10-20 | 2020-01-08 | Graphcore Ltd | Combining states of multiple threads in a multi-threaded processor |
| US11651223B2 (en) * | 2017-10-27 | 2023-05-16 | Baidu Usa Llc | Systems and methods for block-sparse recurrent neural networks |
| KR102414047B1 (ko) | 2017-10-30 | 2022-06-29 | 에스케이하이닉스 주식회사 | 통합 메모리 디바이스 및 그의 동작 방법 |
| US10762137B1 (en) | 2017-11-15 | 2020-09-01 | Amazon Technologies, Inc. | Page table search engine |
| US10762620B2 (en) | 2017-11-27 | 2020-09-01 | Nvidia Corporation | Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene |
| US20190164050A1 (en) | 2017-11-30 | 2019-05-30 | International Business Machines Corporation | Compression of fully connected / recurrent layers of deep network(s) through enforcing spatial locality to weight matrices and effecting frequency compression |
| US10579535B2 (en) | 2017-12-15 | 2020-03-03 | Intel Corporation | Defragmented and efficient micro-operation cache |
| WO2019129070A1 (zh) * | 2017-12-27 | 2019-07-04 | 北京中科寒武纪科技有限公司 | 一种集成电路芯片装置 |
| US10482156B2 (en) * | 2017-12-29 | 2019-11-19 | Facebook, Inc. | Sparsity-aware hardware accelerators |
| KR102533241B1 (ko) | 2018-01-25 | 2023-05-16 | 삼성전자주식회사 | 적응적으로 캐시 일관성을 제어하도록 구성된 이종 컴퓨팅 시스템 |
| US10970080B2 (en) * | 2018-02-08 | 2021-04-06 | Marvell Asia Pte, Ltd. | Systems and methods for programmable hardware architecture for machine learning |
| US11693627B2 (en) * | 2018-02-09 | 2023-07-04 | Deepmind Technologies Limited | Contiguous sparsity pattern neural networks |
| US10755201B2 (en) | 2018-02-14 | 2020-08-25 | Lucid Circuit, Inc. | Systems and methods for data collection and analysis at the edge |
| JP2019148969A (ja) * | 2018-02-27 | 2019-09-05 | 富士通株式会社 | 行列演算装置、行列演算方法および行列演算プログラム |
| US20190278593A1 (en) | 2018-03-09 | 2019-09-12 | Nvidia Corporation | Accelerating linear algebra kernels for any processor architecture |
| US20190278600A1 (en) | 2018-03-09 | 2019-09-12 | Nvidia Corporation | Tiled compressed sparse matrix format |
| US10678508B2 (en) | 2018-03-23 | 2020-06-09 | Amazon Technologies, Inc. | Accelerated quantized multiply-and-add operations |
| US10572568B2 (en) | 2018-03-28 | 2020-02-25 | Intel Corporation | Accelerator for sparse-dense matrix multiplication |
| JP7269257B2 (ja) | 2018-04-13 | 2023-05-08 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | フレームレベル超解像ベースビデオ符号化 |
| US11010092B2 (en) | 2018-05-09 | 2021-05-18 | Micron Technology, Inc. | Prefetch signaling in memory system or sub-system |
| US10572409B1 (en) * | 2018-05-10 | 2020-02-25 | Xilinx, Inc. | Sparse matrix processing circuitry |
| US11269805B2 (en) | 2018-05-15 | 2022-03-08 | Intel Corporation | Signal pathways in multi-tile processors |
| GB2574060B (en) * | 2018-05-25 | 2022-11-23 | Myrtle Software Ltd | Processing matrix vector multiplication |
| US10838864B2 (en) | 2018-05-30 | 2020-11-17 | Advanced Micro Devices, Inc. | Prioritizing local and remote memory access in a non-uniform memory access architecture |
| US10699468B2 (en) | 2018-06-09 | 2020-06-30 | Adshir Ltd. | Method for non-planar specular reflections in hybrid ray tracing |
| US10620951B2 (en) | 2018-06-22 | 2020-04-14 | Intel Corporation | Matrix multiplication acceleration of sparse matrices using column folding and squeezing |
| US20190392287A1 (en) * | 2018-06-22 | 2019-12-26 | Samsung Electronics Co., Ltd. | Neural processor |
| CN113190791A (zh) | 2018-08-06 | 2021-07-30 | 华为技术有限公司 | 矩阵的处理方法、装置及逻辑电路 |
| EP3608828A1 (de) * | 2018-08-09 | 2020-02-12 | Olympus Soft Imaging Solutions GmbH | Verfahren zur bereitstellung eines auswertungsmittels für wenigstens ein optisches anwendungssystem einer mikroskopischen anwendungstechnologie |
| US20190042457A1 (en) | 2018-08-22 | 2019-02-07 | Intel Corporation | Cache (partition) size determination method and apparatus |
| KR20200022118A (ko) | 2018-08-22 | 2020-03-03 | 에스케이하이닉스 주식회사 | 데이터 저장 장치 및 그 동작 방법 |
| US11833681B2 (en) * | 2018-08-24 | 2023-12-05 | Nvidia Corporation | Robotic control system |
| US10846241B2 (en) | 2018-08-29 | 2020-11-24 | Vmware, Inc. | Score-based cache admission and eviction |
| US11093248B2 (en) | 2018-09-10 | 2021-08-17 | International Business Machines Corporation | Prefetch queue allocation protection bubble in a processor |
| US10817426B2 (en) | 2018-09-24 | 2020-10-27 | Arm Limited | Prefetching techniques |
| US11294626B2 (en) | 2018-09-27 | 2022-04-05 | Intel Corporation | Floating-point dynamic range expansion |
| US10853067B2 (en) | 2018-09-27 | 2020-12-01 | Intel Corporation | Computer processor for higher precision computations using a mixed-precision decomposition of operations |
| EP3857387A4 (en) | 2018-09-28 | 2022-05-18 | INTEL Corporation | ADDRESS TRANSLATION BUFFER TO IMPLEMENT AN ADAPTIVE PAGE SIZE |
| GB2578097B (en) | 2018-10-15 | 2021-02-17 | Advanced Risc Mach Ltd | Cache control circuitry and methods |
| US10768895B2 (en) * | 2018-11-08 | 2020-09-08 | Movidius Limited | Dot product calculators and methods of operating the same |
| US10963246B2 (en) | 2018-11-09 | 2021-03-30 | Intel Corporation | Systems and methods for performing 16-bit floating-point matrix dot product instructions |
| US11366663B2 (en) | 2018-11-09 | 2022-06-21 | Intel Corporation | Systems and methods for performing 16-bit floating-point vector dot product instructions |
| US20200175074A1 (en) | 2018-12-04 | 2020-06-04 | Vmware, Inc. | Tree structure aware cache eviction policy |
| US11615307B2 (en) | 2018-12-06 | 2023-03-28 | MIPS Tech, LLC | Neural network data computation using mixed-precision |
| US11893470B2 (en) | 2018-12-06 | 2024-02-06 | MIPS Tech, LLC | Neural network processing using specialized data representation |
| US20200202195A1 (en) | 2018-12-06 | 2020-06-25 | MIPS Tech, LLC | Neural network processing using mixed-precision data representation |
| GB2580151B (en) | 2018-12-21 | 2021-02-24 | Graphcore Ltd | Identifying processing units in a processor |
| US10909741B2 (en) | 2018-12-28 | 2021-02-02 | Intel Corporation | Speculative execution of hit and intersection shaders on programmable ray tracing architectures |
| US10832371B2 (en) | 2018-12-28 | 2020-11-10 | Intel Corporation | Unified architecture for BVH construction based on hardware pre-sorting and a parallel, reconfigurable clustering array |
| KR20200091623A (ko) * | 2019-01-23 | 2020-07-31 | 삼성전자주식회사 | 위노그라드 변환에 기반한 뉴럴 네트워크의 컨볼루션 연산을 수행하는 방법 및 장치 |
| US11106600B2 (en) | 2019-01-24 | 2021-08-31 | Advanced Micro Devices, Inc. | Cache replacement based on translation lookaside buffer evictions |
| US10725923B1 (en) | 2019-02-05 | 2020-07-28 | Arm Limited | Cache access detection and prediction |
| US10915461B2 (en) | 2019-03-05 | 2021-02-09 | International Business Machines Corporation | Multilevel cache eviction management |
| WO2020190809A1 (en) | 2019-03-15 | 2020-09-24 | Intel Corporation | Architecture for block sparse operations on a systolic array |
| US20220114096A1 (en) | 2019-03-15 | 2022-04-14 | Intel Corporation | Multi-tile Memory Management for Detecting Cross Tile Access Providing Multi-Tile Inference Scaling and Providing Page Migration |
| WO2020190796A1 (en) | 2019-03-15 | 2020-09-24 | Intel Corporation | Systems and methods for cache optimization |
| US11934342B2 (en) | 2019-03-15 | 2024-03-19 | Intel Corporation | Assistance for hardware prefetch in cache access |
| US11036642B2 (en) | 2019-04-26 | 2021-06-15 | Intel Corporation | Architectural enhancements for computing systems having artificial intelligence logic disposed locally to memory |
| US11675998B2 (en) | 2019-07-15 | 2023-06-13 | Meta Platforms Technologies, Llc | System and method for performing small channel count convolutions in energy-efficient input operand stationary accelerator |
| US11663746B2 (en) | 2019-11-15 | 2023-05-30 | Intel Corporation | Systolic arithmetic on sparse data |
| US11861761B2 (en) | 2019-11-15 | 2024-01-02 | Intel Corporation | Graphics processing unit processing and caching improvements |
| US11275561B2 (en) | 2019-12-12 | 2022-03-15 | International Business Machines Corporation | Mixed precision floating-point multiply-add operation |
| US11645145B2 (en) | 2019-12-16 | 2023-05-09 | Qualcomm Incorporated | Methods and apparatus to facilitate speculative page fault handling in a graphics processing unit |
| US20220100518A1 (en) | 2020-09-25 | 2022-03-31 | Advanced Micro Devices, Inc. | Compression metadata assisted computation |
| US20220197975A1 (en) | 2020-12-23 | 2022-06-23 | Intel Corporation | Apparatus and method for conjugate transpose and multiply |
| US20220335563A1 (en) | 2021-07-06 | 2022-10-20 | Intel Corporation | Graphics processing unit with network interfaces |
-
2020
- 2020-03-14 WO PCT/US2020/022847 patent/WO2020190809A1/en active Application Filing
- 2020-03-14 JP JP2021547452A patent/JP7423644B2/ja active Active
- 2020-03-14 KR KR1020217025943A patent/KR20210136994A/ko unknown
- 2020-03-14 DE DE112020000846.0T patent/DE112020000846T5/de active Pending
- 2020-03-14 BR BR112021016138A patent/BR112021016138A2/pt unknown
- 2020-03-14 WO PCT/US2020/022846 patent/WO2020190808A1/en active Application Filing
- 2020-03-14 DE DE112020001249.2T patent/DE112020001249T5/de active Pending
- 2020-03-14 EP EP20718909.3A patent/EP3938890A1/en active Pending
- 2020-03-14 EP EP20718907.7A patent/EP3938888A1/en active Pending
- 2020-03-14 CN CN202080004209.9A patent/CN112534404A/zh active Pending
- 2020-03-14 BR BR112021016106A patent/BR112021016106A2/pt unknown
- 2020-03-14 JP JP2021547288A patent/JP2022523760A/ja active Pending
- 2020-03-14 WO PCT/US2020/022845 patent/WO2020190807A1/en active Application Filing
- 2020-03-14 CN CN202110214543.3A patent/CN112905240A/zh active Pending
- 2020-03-14 JP JP2021547450A patent/JP7408671B2/ja active Active
- 2020-03-14 AU AU2020241262A patent/AU2020241262A1/en active Pending
- 2020-03-14 CN CN202080014231.1A patent/CN113383310A/zh active Pending
- 2020-03-14 KR KR1020217025888A patent/KR20210135999A/ko unknown
- 2020-03-14 CN CN202110224132.2A patent/CN112905241B/zh active Active
- 2020-03-14 EP EP20718908.5A patent/EP3938889A1/en active Pending
- 2020-03-14 KR KR1020217025864A patent/KR20210135998A/ko unknown
- 2020-03-14 CN CN202080004288.3A patent/CN112534405A/zh active Pending
- 2020-03-14 SG SG11202107290QA patent/SG11202107290QA/en unknown
- 2020-10-06 US US17/064,427 patent/US11113784B2/en active Active
- 2020-12-15 US US17/122,905 patent/US11842423B2/en active Active
-
2021
- 2021-06-03 US US17/303,654 patent/US11676239B2/en active Active
-
2023
- 2023-05-02 US US18/310,688 patent/US20230351543A1/en active Pending
-
2024
- 2024-01-18 JP JP2024006026A patent/JP2024036383A/ja active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11676239B2 (en) | Sparse optimizations for a matrix accelerator architecture | |
| JP7414894B2 (ja) | ハイブリッド浮動小数点フォーマットのドット積累算命令を有するグラフィックスプロセッサ及びグラフィックス処理ユニット | |
| US11663746B2 (en) | Systolic arithmetic on sparse data | |
| KR20210059649A (ko) | 그래픽 프로세싱 유닛을 위한 데이터 국부성 향상 기법 | |
| US20220207656A1 (en) | Conditional kernel prediction network and adaptive depth prediction for image and video processing | |
| KR20210055582A (ko) | 메모리 효율성을 향상시키기 위한 활성화 및 커널의 동적인 분할 기법 | |
| WO2022271227A1 (en) | Dual pipeline parallel systolic array | |
| US20220414053A1 (en) | Systolic array of arbitrary physical and logical depth | |
| EP4109303A1 (en) | Using sparsity metadata to reduce systolic array power consumption | |
| JP2023046252A (ja) | 浮動小数点計算のエミュレーション |