KR20220144354A - 동시 코드 론칭 - Google Patents
동시 코드 론칭 Download PDFInfo
- Publication number
- KR20220144354A KR20220144354A KR1020227016288A KR20227016288A KR20220144354A KR 20220144354 A KR20220144354 A KR 20220144354A KR 1020227016288 A KR1020227016288 A KR 1020227016288A KR 20227016288 A KR20227016288 A KR 20227016288A KR 20220144354 A KR20220144354 A KR 20220144354A
- Authority
- KR
- South Korea
- Prior art keywords
- graphics
- cuda
- operations
- processor
- software
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 265
- 238000000034 method Methods 0.000 claims abstract description 154
- 230000015654 memory Effects 0.000 claims description 285
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 306
- 230000006870 function Effects 0.000 description 139
- 230000008569 process Effects 0.000 description 88
- 238000004891 communication Methods 0.000 description 48
- 238000007667 floating Methods 0.000 description 47
- 235000019587 texture Nutrition 0.000 description 36
- 238000005227 gel permeation chromatography Methods 0.000 description 35
- 238000006243 chemical reaction Methods 0.000 description 33
- 238000005192 partition Methods 0.000 description 30
- 239000008186 active pharmaceutical agent Substances 0.000 description 27
- 238000007726 management method Methods 0.000 description 26
- 239000011159 matrix material Substances 0.000 description 24
- 239000000872 buffer Substances 0.000 description 23
- 238000009826 distribution Methods 0.000 description 17
- 230000002093 peripheral effect Effects 0.000 description 17
- 239000013598 vector Substances 0.000 description 17
- 230000001133 acceleration Effects 0.000 description 15
- 239000012634 fragment Substances 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 15
- 238000012546 transfer Methods 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 13
- 101000740523 Homo sapiens Syntenin-1 Proteins 0.000 description 11
- 102100037219 Syntenin-1 Human genes 0.000 description 11
- 238000004590 computer program Methods 0.000 description 11
- 230000001419 dependent effect Effects 0.000 description 10
- 238000009877 rendering Methods 0.000 description 10
- 239000003795 chemical substances by application Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 239000004744 fabric Substances 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000013508 migration Methods 0.000 description 6
- 230000005012 migration Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000014616 translation Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 235000019580 granularity Nutrition 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011068 loading method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012517 data analytics Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 102100035964 Gastrokine-2 Human genes 0.000 description 2
- 101001075215 Homo sapiens Gastrokine-2 Proteins 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 206010008263 Cervical dysplasia Diseases 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 101100202275 Mus musculus Slc22a8 gene Proteins 0.000 description 1
- 241000492493 Oxymeris Species 0.000 description 1
- 101100285899 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SSE2 gene Proteins 0.000 description 1
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical group O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000012884 algebraic function Methods 0.000 description 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000001513 hot isostatic pressing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000009428 plumbing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
- G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
- G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/41—Compilation
- G06F8/42—Syntactic analysis
- G06F8/427—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/41—Compilation
- G06F8/44—Encoding
- G06F8/447—Target code generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/41—Compilation
- G06F8/45—Exploiting coarse grain parallelism in compilation, i.e. parallelism between groups of instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30076—Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
- G06F9/30087—Synchronisation or serialisation instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3877—Concurrent instruction execution, e.g. pipeline or look ahead using a slave processor, e.g. coprocessor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4482—Procedural
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/545—Interprogram communication where tasks reside in different layers, e.g. user- and kernel-space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/509—Offload
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Advance Control (AREA)
- Stored Programmes (AREA)
- Image Processing (AREA)
Abstract
프로세서에 의해 동시에 하나 이상의 소프트웨어 모듈이 수행되게 하기 위한 장치들, 시스템들, 및 기법들. 적어도 하나의 실시예에서, 하나 이상의 프로세서는, 하나 이상의 소프트웨어 드라이버를 수행하여 2개 이상의 그래픽 커널이 동시에 수행되게 한다. 적어도 하나의 실시예에서, 2개 이상의 그래픽 커널이 동시에 수행되게 하는 것은, 하나 이상의 그래픽 처리 코어 상에서 2개 이상의 그래픽 커널이 론칭되도록 준비하기 위한 동작들을 수행하는 것을 포함한다. 적어도 하나의 실시예에서, 하나 이상의 소프트웨어 드라이버는, 2개 이상의 그래픽 커널이 동시에 수행되도록 준비하기 위한 명령어들을 애플리케이션 프로그래밍 인터페이스(API)로부터 수신한다.
Description
우선권 주장
본 출원은, "Asynchronous work submission tracking with fine-grained serialization"이라는 명칭으로 2021년 4월 15일자로 출원된 미국 가출원 제63/175,211호(대리인 문서번호 제0112912-277PR0호)의 권익을 주장하며, 상기 출원의 전체 내용들은 인용에 본원에 포함된다.
적어도 하나의 실시예는, 프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하도록 하나 이상의 소프트웨어 드라이버를 수행하는 데 사용되는 처리 리소스들에 관한 것이다. 예컨대, 2개 이상의 그래픽 커널이 동시에 수행되게 하기 위한 소프트웨어 드라이버는, 하나 이상의 그래픽 처리 코어 상에서 2개 이상의 그래픽 커널이 론칭되도록 준비하기 위한 동작들을 동시에 수행하는 것을 포함한다.
컴퓨팅 분야에서의 다양한 개선들은 일반적으로 애플리케이션들이 더 빠르고 더 효율적으로 수행될 수 있게 하였지만, 비효율성들이 여전히 성능에 악영향을 줄 수 있다. 예로서, 다양한 계산 작업들을 병렬화하는 능력은, 전형적으로 직렬로 수행되는 동작들과 같은 다양한 시스템 제한들에 의해 영향을 받을 수 있어서, 하나의 동작이 다른 동작이 시작되기 전에 수행되는 동안 지연이 야기된다.
도 1은 적어도 하나의 실시예에 따른, 프로세서에 의해 동시에 하나 이상의 소프트웨어 모듈이 수행되게 하기 위한 컴퓨팅 환경을 예시하는 블록도이다.
도 2는 적어도 하나의 실시예에 따른, 컴퓨터 시스템에 의해 처리되는 애플리케이션 CUDA 요청들을 예시하는 블록도이다.
도 3은 적어도 하나의 실시예에 따른 CUDA 스트림들을 예시하는 스트림 흐름도이다.
도 4는 적어도 하나의 실시예에 따른, 하나 이상의 그래픽 처리 코어 상에서 론칭하도록 커널들을 준비하기 위한 소프트웨어 드라이버의 프로세스를 예시하는 프로세스 흐름도이다.
도 5는 적어도 하나의 실시예에 따른 예시적인 데이터 센터를 예시한다.
도 6은 적어도 하나의 실시예에 따른 처리 시스템을 예시한다.
도 7은 적어도 하나의 실시예에 따른 컴퓨터 시스템을 예시한다.
도 8은 적어도 하나의 실시예에 따른 시스템을 예시한다.
도 9는 적어도 하나의 실시예에 따른 예시적인 집적 회로를 예시한다.
도 10은 적어도 하나의 실시예에 따른 컴퓨팅 시스템을 예시한다.
도 11은 적어도 하나의 실시예에 따른 APU를 예시한다.
도 12는 적어도 하나의 실시예에 따른 CPU를 예시한다.
도 13은 적어도 하나의 실시예에 따른 예시적인 가속기 통합 슬라이스를 예시한다.
도 14a 내지 도 14b는 적어도 하나의 실시예에 따른 예시적인 그래픽 프로세서들을 예시한다.
도 15a는 적어도 하나의 실시예에 따른 그래픽 코어를 예시한다.
도 15b는 적어도 하나의 실시예에 따른 GPGPU를 예시한다.
도 16a는 적어도 하나의 실시예에 따른 병렬 프로세서를 예시한다.
도 16b는 적어도 하나의 실시예에 따른 처리 클러스터를 예시한다.
도 16c는 적어도 하나의 실시예에 따른 그래픽 멀티프로세서를 예시한다.
도 17은 적어도 하나의 실시예에 따른 그래픽 프로세서를 예시한다.
도 18은 적어도 하나의 실시예에 따른 프로세서를 예시한다.
도 19는 적어도 하나의 실시예에 따른 프로세서를 예시한다.
도 20은 적어도 하나의 실시예에 따른 그래픽 프로세서 코어를 예시한다.
도 21은 적어도 하나의 실시예에 따른 PPU를 예시한다.
도 22는 적어도 하나의 실시예에 따른 GPC를 예시한다.
도 23은 적어도 하나의 실시예에 따른 스트리밍 멀티프로세서를 예시한다.
도 24는 적어도 하나의 실시예에 따른, 프로그래밍 플랫폼의 소프트웨어 스택을 예시한다.
도 25는 적어도 하나의 실시예에 따른, 도 24의 소프트웨어 스택의 CUDA 구현을 예시한다.
도 26은 적어도 하나의 실시예에 따른, 도 24의 소프트웨어 스택의 ROCm 구현을 예시한다.
도 27은 적어도 하나의 실시예에 따른, 도 24의 소프트웨어 스택의 OpenCL 구현을 예시한다.
도 28은 적어도 하나의 실시예에 따른, 프로그래밍 플랫폼에 의해 지원되는 소프트웨어를 예시한다.
도 29는 적어도 하나의 실시예에 따른, 도 24 내지 도 27의 프로그래밍 플랫폼들 상에서 실행하기 위한 컴파일 코드를 예시한다.
도 30은 적어도 하나의 실시예에 따른, 도 24 내지 도 27의 프로그래밍 플랫폼들 상에서 실행하기 위한 컴파일 코드를 더 상세히 예시한다.
도 31은 적어도 하나의 실시예에 따른, 소스 코드를 컴파일하기 전에 소스 코드를 변환하는 것을 예시한다.
도 32a는 적어도 하나의 실시예에 따른, 상이한 유형들의 처리 유닛들을 사용하여 CUDA 소스 코드를 컴파일 및 실행하도록 구성되는 시스템을 예시한다.
도 32b는 적어도 하나의 실시예에 따른, CPU 및 CUDA-가능 GPU를 사용하여 도 32a의 CUDA 소스 코드를 컴파일 및 실행하도록 구성되는 시스템을 예시한다.
도 32c는 적어도 하나의 실시예에 따른, CPU 및 비-CUDA-가능 GPU를 이용하여 도 32a의 CUDA 소스 코드를 컴파일 및 실행하도록 구성되는 시스템을 예시한다.
도 33은 적어도 하나의 실시예에 따른, 도 32c의 CUDA-HIP(CUDA-to-HIP) 변환 툴에 의해 변환된 예시적인 커널을 예시한다.
도 34는 적어도 하나의 실시예에 따른, 도 32c의 비-CUDA-가능 GPU를 더 상세히 예시한다.
도 35는 적어도 하나의 실시예에 따른, 예시적인 CUDA 그리드의 스레드들이 도 34의 상이한 컴퓨팅 유닛들에 맵핑되는 방식을 예시한다.
도 36은 적어도 하나의 실시예에 따른, 기존 CUDA 코드를 데이터 병렬 C++ 코드로 이전하기 위한 방식을 예시한다.
도 2는 적어도 하나의 실시예에 따른, 컴퓨터 시스템에 의해 처리되는 애플리케이션 CUDA 요청들을 예시하는 블록도이다.
도 3은 적어도 하나의 실시예에 따른 CUDA 스트림들을 예시하는 스트림 흐름도이다.
도 4는 적어도 하나의 실시예에 따른, 하나 이상의 그래픽 처리 코어 상에서 론칭하도록 커널들을 준비하기 위한 소프트웨어 드라이버의 프로세스를 예시하는 프로세스 흐름도이다.
도 5는 적어도 하나의 실시예에 따른 예시적인 데이터 센터를 예시한다.
도 6은 적어도 하나의 실시예에 따른 처리 시스템을 예시한다.
도 7은 적어도 하나의 실시예에 따른 컴퓨터 시스템을 예시한다.
도 8은 적어도 하나의 실시예에 따른 시스템을 예시한다.
도 9는 적어도 하나의 실시예에 따른 예시적인 집적 회로를 예시한다.
도 10은 적어도 하나의 실시예에 따른 컴퓨팅 시스템을 예시한다.
도 11은 적어도 하나의 실시예에 따른 APU를 예시한다.
도 12는 적어도 하나의 실시예에 따른 CPU를 예시한다.
도 13은 적어도 하나의 실시예에 따른 예시적인 가속기 통합 슬라이스를 예시한다.
도 14a 내지 도 14b는 적어도 하나의 실시예에 따른 예시적인 그래픽 프로세서들을 예시한다.
도 15a는 적어도 하나의 실시예에 따른 그래픽 코어를 예시한다.
도 15b는 적어도 하나의 실시예에 따른 GPGPU를 예시한다.
도 16a는 적어도 하나의 실시예에 따른 병렬 프로세서를 예시한다.
도 16b는 적어도 하나의 실시예에 따른 처리 클러스터를 예시한다.
도 16c는 적어도 하나의 실시예에 따른 그래픽 멀티프로세서를 예시한다.
도 17은 적어도 하나의 실시예에 따른 그래픽 프로세서를 예시한다.
도 18은 적어도 하나의 실시예에 따른 프로세서를 예시한다.
도 19는 적어도 하나의 실시예에 따른 프로세서를 예시한다.
도 20은 적어도 하나의 실시예에 따른 그래픽 프로세서 코어를 예시한다.
도 21은 적어도 하나의 실시예에 따른 PPU를 예시한다.
도 22는 적어도 하나의 실시예에 따른 GPC를 예시한다.
도 23은 적어도 하나의 실시예에 따른 스트리밍 멀티프로세서를 예시한다.
도 24는 적어도 하나의 실시예에 따른, 프로그래밍 플랫폼의 소프트웨어 스택을 예시한다.
도 25는 적어도 하나의 실시예에 따른, 도 24의 소프트웨어 스택의 CUDA 구현을 예시한다.
도 26은 적어도 하나의 실시예에 따른, 도 24의 소프트웨어 스택의 ROCm 구현을 예시한다.
도 27은 적어도 하나의 실시예에 따른, 도 24의 소프트웨어 스택의 OpenCL 구현을 예시한다.
도 28은 적어도 하나의 실시예에 따른, 프로그래밍 플랫폼에 의해 지원되는 소프트웨어를 예시한다.
도 29는 적어도 하나의 실시예에 따른, 도 24 내지 도 27의 프로그래밍 플랫폼들 상에서 실행하기 위한 컴파일 코드를 예시한다.
도 30은 적어도 하나의 실시예에 따른, 도 24 내지 도 27의 프로그래밍 플랫폼들 상에서 실행하기 위한 컴파일 코드를 더 상세히 예시한다.
도 31은 적어도 하나의 실시예에 따른, 소스 코드를 컴파일하기 전에 소스 코드를 변환하는 것을 예시한다.
도 32a는 적어도 하나의 실시예에 따른, 상이한 유형들의 처리 유닛들을 사용하여 CUDA 소스 코드를 컴파일 및 실행하도록 구성되는 시스템을 예시한다.
도 32b는 적어도 하나의 실시예에 따른, CPU 및 CUDA-가능 GPU를 사용하여 도 32a의 CUDA 소스 코드를 컴파일 및 실행하도록 구성되는 시스템을 예시한다.
도 32c는 적어도 하나의 실시예에 따른, CPU 및 비-CUDA-가능 GPU를 이용하여 도 32a의 CUDA 소스 코드를 컴파일 및 실행하도록 구성되는 시스템을 예시한다.
도 33은 적어도 하나의 실시예에 따른, 도 32c의 CUDA-HIP(CUDA-to-HIP) 변환 툴에 의해 변환된 예시적인 커널을 예시한다.
도 34는 적어도 하나의 실시예에 따른, 도 32c의 비-CUDA-가능 GPU를 더 상세히 예시한다.
도 35는 적어도 하나의 실시예에 따른, 예시적인 CUDA 그리드의 스레드들이 도 34의 상이한 컴퓨팅 유닛들에 맵핑되는 방식을 예시한다.
도 36은 적어도 하나의 실시예에 따른, 기존 CUDA 코드를 데이터 병렬 C++ 코드로 이전하기 위한 방식을 예시한다.
다음의 설명에서, 적어도 하나의 실시예의 더 철저한 이해를 제공하기 위해 다수의 특정 세부사항들이 기재되어 있다. 그러나, 본 발명의 개념들이 이러한 특정 세부사항들 중 하나 이상 없이도 실시될 수 있다는 것이 관련 기술분야의 통상의 기술자에게 명백할 것이다.
적어도 하나의 실시예에서, GPU에 대한 소프트웨어 드라이버는, 작업부하들이 하나 이상의 GPU들 상에서 수행되게 하기 위한 다수의 요청들을 수신할 수 있다. 적어도 하나의 실시예에서, 다수의 CPU들 또는 다수의 CPU 코어들은 GPU 상에서 커널들을 론칭하기 위한 다수의 요청들을 제출한다. 적어도 하나의 실시예에서, CPU 코어들은 또한 하나 이상의 소프트웨어 드라이버를 수행한다. 예컨대, 멀티코어 CPU는, 단일 GPU 상에서 여러 커널들을 론칭(예컨대, 준비)하기 위해 애플리케이션 프로그래밍 인터페이스(API)를 호출(call 또는 invoke)한다. 적어도 하나의 실시예에서, 드라이버는 이러한 요청들을 수신하고, 커널들을 론칭하기 위한 동작들, 이를테면, 상기 커널들을 수행하기 위해 데이터를 CPU 메모리로부터 GPU 메모리로 복사하는 것을 수행한다. 적어도 하나의 실시예에서, 이러한 동작들은 커널들이 론칭되도록 지시되는 순서로 순차적으로 수행되며, 여기서, 이러한 순차적 접근법에는 병목현상이 있는데, 그 이유는, 커널을 론칭하는 것이 모든 CPU 리소스들을 취하지 않더라도, 하나의 커널을 론칭하기 위한 동작들이, 다른 커널을 론칭하기 위한 동작들이 완료될 때까지 차단되기 때문이다.
적어도 하나의 실시예에서, 그래픽 커널이 론칭되도록 준비하는 것은, 하나 이상의 GPU가 런타임 시에 상기 커널을 실행할 수 있도록 수행될 필요가 있는 동작들(예컨대, 데이터를 제공하고, 커널이 올바르게 설정되었음을 검증함)을 수행하는 것을 포함한다. 적어도 하나의 실시예에서, 그래픽 커널은 그래픽 프로세서에 의해 수행될 커널이고, 컴퓨터 그래픽을 수반하는 동작들을 반드시 수반하지는 않지만, 인공 지능 동작들(예컨대, 심층 학습, 신경망들), 5세대(5G) 엔알(New Radio) 네트워크 동작들, 및 다른 애플리케이션들을 위한 커널일 수 있다.
적어도 하나의 실시예에서, 병목현상을 감소시키고, 레이턴시를 감소시키고, 처리량을 증가시키기 위해, 하나 이상의 회로, 프로세서, 또는 시스템은 2개 이상의 커널을 병렬로(예컨대, 동시에) 론칭하는 동작들을 수행해야 한다. 적어도 하나의 실시예에서, 2개 이상의 커널이 GPU 상에서 론칭될 때, GPU에 대한 소프트웨어 드라이버는 커널들을 론칭하는 동작들의 수행을 모니터링하고 병렬로 수행될 수 있는 동작들을 식별한다. 적어도 하나의 실시예에서, 제1 커널을 론칭하기 위한 동작들이 제2 커널을 론칭하기 위한 동작들과 병렬로 실행될 수 있을 때, 드라이버는 이러한 동작들을 병렬로 수행되게 수행한다. 적어도 하나의 실시예에서, 제2 커널을 론칭하기 위한 동작들이 제1 커널을 론칭하기 위한 동작들과 병렬로 수행될 수 없을 때, 드라이버는, 상기 제2 커널을 론칭하기 위한 동작들의 수행이 차단, 일시정지, 또는 동기화되게 하며, 이에 따라, 상기 동작들을 수행하는 데 필요한 순서로 동작들이 수행된다. 커널을 론칭할 준비를 할 때 동시에 수행될 수 있는 동작들의 일부 예들은, 커널에 대한 블록 차원 및 그리드 차원을 결정하는 것, 커널에 의해 사용될 인수들을 저장하는 것, 커널이 올바르게 설정됨을 검증하는 것, 및 런타임 시에 커널을 수행하기 위한 코드로 상기 커널을 인코딩하는 것을 포함한다. 적어도 하나의 실시예에서, 프로세서는, 그러한 동작들이 2개 이상의 컴퓨터 프로그램을 병렬로(예컨대, 동시에) 수행되도록 론칭하게 하는 하나 이상의 회로를 포함한다. 적어도 하나의 실시예에서, 하나 이상의 회로는, 프로세서에 의해 동시에 하나 이상의 소프트웨어 모듈이 수행되게 한다. 적어도 하나의 실시예에서, 소프트웨어 모듈은, 하나 이상의 루틴을 포함하는 프로그램의 구성요소 또는 일부를 포함한다. 적어도 하나의 실시예에서, 소프트웨어 모듈은, 가상 기계 동작들 또는 가상 시스템 동작들과 같은 애플리케이션에 대한 루틴들을 수행하기 위한(예컨대, 가상 기계를 론칭하도록 설정 또는 준비하기 위한) 동작들을 포함한다. 적어도 하나의 실시예에서, 소프트웨어 모듈은, 신경망, 고속 푸리에 변환, 또는 소프트웨어 그래픽 모듈을 위한 동작들을 포함한다.
적어도 하나의 실시예에서, GPU 또는 다수의 GPU들에 대한 소프트웨어 드라이버는, 병렬로 수행될 수 있는 동작들의 진행을 모니터링하기 위한 추적 구조를 가지며, 여기서, 상기 추적 구조는, 상이한 동작들의 진행을 모니터링하기 위한 세마포어(semaphore)들 및 값 임계치들을 포함한다. 적어도 하나의 실시예에서, 상기 추적 구조는 순차적으로 업데이트되고, 상기 추적 구조가 업데이트되고 있는 동안에는 다른 스레드들을 차단하는 스레드로서 기능할 수 있다. 적어도 하나의 실시예에서, 격리된 객체들에 추적을 포함시킴으로써, 다수의 CPU 스레드에 의해 호출되는 API들이 간섭 없이 진행될 수 있다(예컨대, 처리될 코드의 작은 섹션들만을 차단하거나 대기하고 추적 객체들을 업데이트함).
적어도 하나의 실시예에서, 그래픽 커널은 하나 이상의 GPU 상에서 수행될 커널(예컨대, 함수)을 포함한다. 적어도 하나의 실시예에서, 커널을 론칭하기 위한 다른 동작과 병렬로 수행 또는 실행될 수 있는 동작은, 그 동작이, 독립적으로 수행될 다른 커널 론칭 동작에 의존하지 않기 때문에 "독립적" 동작으로 지칭되고, 다른 커널 론칭 동작에 의존하는 동작은, 그 동작이 다른 커널 동작들에 의존하고 순차적으로 또는 순서대로 수행될 필요가 있기 때문에(예컨대, 하나의 커널 동작이 다른 것을 차단하고 있음) "종속적 동작"으로 지칭된다.
도 1은 적어도 하나의 실시예에 따른, 동시에 하나 이상의 소프트웨어 모듈(예컨대, 그래픽 커널들)이 GPU 상에서 론칭되게 하거나 론칭되도록 준비하기 위한 컴퓨팅 환경(100)을 예시하는 블록도이다. 적어도 하나의 실시예에서, 도 1은, 하나 이상의 중앙 처리(CPU) 코어(103 및 104)를 갖는 CPU(102), 애플리케이션(105), 애플리케이션 프로그래밍 인터페이스(110), 드라이버(115), 그래픽 처리 유닛(120), 하나 이상의 그래픽 처리 유닛(GPU) 코어(125, 130, 135), 및 하나 이상의 그래픽 커널(140 및 145)을 포함한다. 적어도 하나의 실시예에서, 도 1은 또한, 본원에 그리고 도 2 내지 도 4에 개시된 바와 같이 시간상(160) 중첩될 수 있는(예컨대, 병렬로 또는 동시에 수행될 수 있는) 제1 론칭 동작들(150) 및 제2 론칭 동작들(155)을 포함한다.
적어도 하나의 실시예에서, 애플리케이션(105)을 실행하는 다수의 CPU 코어들(103 및 104)은, 작업부하들(예컨대, GPU 상에서 처리되거나 컴퓨팅될 연산들)을 가속하기 위해 GPU(120) 상에서 연산들을 론칭하기 위한 요청들을 API(110)에 제출한다. 적어도 하나의 실시예에서, 애플리케이션(105)은 동작들을 수행하기 위해 API(110)를 호출하는 소프트웨어 프로그램 또는 소스 코드이다. 적어도 하나의 실시예에서, 애플리케이션(105)은 하나 이상의 소프트웨어 모듈을 포함한다. 적어도 하나의 실시예에서, API(110)는 엔비디아(NVIDIA)로부터의 CUDA API(예컨대, 도 2 참조)일 수 있다. 예컨대, CPU(102) 상에서 실행되는 그래픽 처리 프로그램 또는 수학 라이브러리 애플리케이션은, 여러 연산들(예컨대, 콘볼루션, 고속 푸리에 변환들, 희소 행렬들을 포함하는 행렬 곱셈과 같은 일반 행렬 수학 연산들)의 처리를 가속하기 위해, GPU(120)를 사용하여 연산들을 수행하기 위한 여러 요청들을 API(110)에 제출할 수 있으며; API(110)는 그러한 연산들을 수행하도록 그래픽 커널들을 준비하기 위해 드라이버(115)와 통신한다. 적어도 하나의 실시예에서, 드라이버(115)는 CUDA 드라이버(예컨대, 도 2 참조)이다. 적어도 하나의 실시예에서, 드라이버(115)는 소프트웨어 드라이버이다. 적어도 하나의 실시예에서, 드라이버(115)는 하나 이상의 회로에 하드코딩되거나 하드와이어링될 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 환경(100)은 하나 초과의 드라이버(115), 이를테면 여러 CUDA 드라이버들을 포함한다. 적어도 하나의 실시예에서, 드라이버(115)는, GPU(120)를 제어하고 연산들을 수행하도록 그를 준비하는 라이브러리, API들의 라이브러리, 또는 단일 API이다. 적어도 하나의 실시예에서, 드라이버(112)는, 그래픽 커널(140 및 150)을 론칭할 때 어느 동작들이 병렬로 수행될 수 있는지 그리고 어느 동작들이 순차적으로 수행될 필요가 있는지를 결정할 수 있다. 론칭할 커널을 준비할 때 동시에 수행될 수 있는 동작들의 일부 예들은, 커널에 대한 블록 차원 및 그리드 차원을 결정하는 것, 커널에 의해 사용될 인수들을 저장하는 것, 커널이 올바르게 설정됨을 검증하는 것, 및 런타임 시에 커널을 수행하기 위한 코드로 상기 커널을 인코딩하는 것을 포함한다. 적어도 하나의 실시예에서, 프로세서는, 그러한 동작들이 2개 이상의 컴퓨터 프로그램을 병렬로(예컨대, 동시에) 수행되도록 론칭하게 하는 하나 이상의 회로를 포함한다.
적어도 하나의 실시예에서, GPU(120)는 병렬 처리 유닛일 수 있거나 여러 병렬 처리 유닛들을 포함할 수 있다. 적어도 하나의 실시예에서, GPU(120)는, 시스템의 일부, 예컨대, 상호연결부(예컨대, 주변 구성요소 상호연결 익스프레스(PCI-e; Peripheral Component Interconnect Express)를 포함하는 디바이스 프로세서(예컨대, GPU(120)) 및 호스트 프로세서(예컨대, CPU)를 갖는 SoC이다.
적어도 하나의 실시예에서, CPU 코어(103) 및 CPU 코어(104)는, "CPU 스레드들"로 지칭되는, 작업부하 요청을 API(110)에 제출하는 스레드들을 수행할 수 있고, 드라이버(115)는, 이러한 상이한 CPU 스레드들로부터 요청을 수신하고 스트림에서의 이러한 상이한 CPU 스레드들로부터의 작업부하 요청들의 진행을 모니터링할 수 있다(예컨대, 도 2 참조).
도 2는 적어도 하나의 실시예에 따른, 컴퓨터 시스템(200) 내에서 처리되는 애플리케이션 CUDA 요청들을 예시하는 블록도이다. 적어도 하나의 실시예에서, 도 1의 컴퓨팅 환경(100)은 도 2에 개시된 컴퓨터 시스템(200)을 포함한다. 예컨대, 도 1에서의 애플리케이션(105)은 도 2에 도시된 바와 같 CUDA 소프트웨어 스택에 작업부하 요청을 제출할 수 있다.
적어도 하나의 실시예에서, 도 2는 (예컨대, 도 1에 개시된 바와 같은) 소프트웨어 애플리케이션(105), CUDA API(208) 및 CUDA 드라이버(210)를 포함하는 CUDA 소프트웨어 스택(206)을 포함한다(예컨대, 도 1에 개시된 바와 같이, API(110)는 CUDA API 드라이버에 대응함). 적어도 하나의 실시예에서, 예시의 목적을 위해 CUDA가 사용되지만, 본원에 설명된 기법들은 다른 병렬 컴퓨팅 플랫폼들 및 API 모델들, 이를테면, HIP 및 OneAPI에 적용가능하다.
적어도 하나의 실시예에서, 컴퓨터 시스템(200)을 사용하여 결과들의 세트를 효율적으로 달성하기 위해, 소프트웨어 애플리케이션(105)은 애플리케이션 CUDA 요청들(204)을 CUDA 소프트웨어 스택(106)에 제공한다. 적어도 하나의 실시예에서, CUDA 소프트웨어 스택(106)은 CUDA API(108) 및 CUDA 드라이버(110)를 포함한다. 적어도 하나의 실시예에서, CUDA API(108)는, GPU(120)의 기능성을 애플리케이션 개발자들에게 노출시키는 호출들 및 라이브러리들을 포함한다. 적어도 하나의 실시예에서, CUDA 드라이버(110)는, CUDA API(108)에 의해 수신된 애플리케이션 CUDA 요청들(204)을 GPU(120) 내의 구성요소들 상에서 실행되는 하위 레벨 명령들로 변환하도록 구성된다. 적어도 하나의 실시예에서, CUDA 드라이버(210)는, GPU(120)를 제어하고 연산들을 수행하도록 그를 준비하는 라이브러리, API들의 라이브러리, 또는 단일 API이다. 적어도 하나의 실시예에서, CUDA 드라이버(210)는, 그래픽 커널을 론칭할 때 어느 동작들이 병렬로 수행될 수 있는지 그리고 어느 동작들이 순차적으로 수행될 필요가 있는지를 결정한다. 커널을 론칭할 준비를 할 때 동시에 수행될 수 있는 동작들의 일부 예들은, 커널에 대한 블록 차원 및 그리드 차원을 결정하는 것, 커널에 의해 사용될 인수들을 저장하는 것, 커널이 올바르게 설정됨을 검증하는 것, 및 런타임 시에 커널을 수행하기 위한 코드로 상기 커널을 인코딩하는 것을 포함한다. 적어도 하나의 실시예에서, 프로세서는, 그러한 동작들이 2개 이상의 컴퓨터 프로그램을 병렬로(예컨대, 동시에) 수행되도록 론칭하게 하는 하나 이상의 회로를 포함한다.
적어도 하나의 실시예에서, CUDA 드라이버(210)는, 하나 이상의 CUDA 스트림(212)을 모니터링하고, 상기 하나 이상의 CUDA 스트림 제출 동작은 GPU(120) 내에서의 실행을 위해 GPU(120)에 대해 수행된다. 적어도 하나의 실시예에서, 각각의 CUDA 스트림(212)은, 메모리 동작들과 같은 임의의 수(영개를 포함함)의 다른 작업 구성요소와 인터리빙된 임의의 수(영개를 포함함)의 커널(예컨대, 함수)을 포함한다. 적어도 하나의 실시예에서, 각각의 커널은 정의된 입구 및 출구를 갖고, 전형적으로, 입력 리스트의 각각의 요소에 대한 계산을 수행한다. 적어도 하나의 실시예에서, 각각의 CUDA 스트림(212) 내에서, 커널들은 상기 GPU(120) 상에서 송출 순서로 실행된다. 적어도 하나의 실시예에서, 상이한 CUDA 스트림들(212)에 포함된 커널들은 동시에 실행되고 인터리빙될 수 있다. 적어도 하나의 실시예에서, CUDA 스트림들이 사용될 수 있지만, 인텔(Intel) 큐들 및/또는 AMD 큐들 또는 연산들의 스트림들이 본원에 개시된 시스템들로 론칭되도록 수행 또는 준비될 수 있다.
도 3은 적어도 하나의 실시예에 따른, 컴퓨팅 환경(300)에서의 스트림들(예컨대, CUDA 스트림들)을 예시하는 스트림 흐름도이다. 적어도 하나의 실시예에서, 스트림 흐름도는, 도 1의 컴퓨팅 환경(100)에서 수행되는 작업의 스트림들 또는 도 2의 컴퓨터 시스템(200)에 의해 수행되는 작업, 예컨대, 도 1에서의 드라이버(115) 또는 도 2에서의 CUDA 드라이버(210)에 의해 수행될 작업의 스트림들을 표현한다. 적어도 하나의 실시예에서, 도 3은, 추적 구조(305), CPU 스레드(310), 다른 CPU 스레드(315), 시그널링 화살표들(320 및 325), 및 기준 시간(330)(예컨대, 마이크로초 단위, 밀리초 단위, 또는 작업부하의 처리를 측정하기 위한 다른 시간 단위)을 포함한다. 적어도 하나의 실시예에서, 추적 구조(305)는, 도 1에서의 드라이버(115) 또는 도 2에서의 CUDA 드라이버(210)와 같은 드라이버에 의해 관리되는 스트림이다. 적어도 하나의 실시예에서, 추적 구조(305)는 API로부터 드라이버에 의해 수신된 작업 제출들을 포함하는 스트림이며, 여기서, 상기 스트림은 병렬로 처리되고, 상기 스트림이, 다른 스트림이 시작할 수 있다는 것을 시그널링할 때까지 다른 스트림들이 진행되는 것을 방지한다는 점에서 차단 스트림으로서 기능한다. 적어도 하나의 실시예에서, 추적 구조(305)는 세마포어들 및 각각의 세마포어에 대한 값들을 포함하며, 여기서, 상기 스트림의 드라이버 처리는, 값에 도달될 수 있도록 세마포어의 특정 값에 도달했는지를 결정할 수 있다. 적어도 하나의 실시예에서, 추적 구조(305)는, 다른 동작들이 수행될 수 있도록 상기 스트림 내의 동작이 순차적으로(예컨대, 순서대로) 처리될 필요가 있기 때문에, 계류 중 작업 마커로 지칭될 수 있다. 예컨대, 도시된 바와 같이, 추적 구조(305)의 우측에 있는 스트림에서, 스트림은 대기 동작을 포함할 수 있으며, 대기 동작에서, 하나 이상의 소프트웨어 드라이버들이 다른 스트림들이 수행되게 하기 전에 추적 구조를 업데이트하기 위해 직렬 연산들("직렬화"로 또한 지칭됨)을 수행하기를 대기하고 있다. 적어도 하나의 실시예에서, 각각의 CPU 스레드는 도 3에 도시된 바와 같은 드라이버에서의 스트림에 대응한다.
적어도 하나의 실시예에서, CPU 스레드(310) 및 CPU 스레드(315)는 GPU 상에서 동작들을 수행하기 위한 애플리케이션(105)(도 1)으로부터의 요청들과 관련될 수 있으며, 여기서, 드라이버는, 스트림 내의 그러한 요청들을 모니터링 및 제어하고, 동작들을 수행하도록 그래픽 커널을 준비하기 위해 상기 스트림을 사용하며, 상기 연산들은 수행될 다른 동작들로부터의 결과들에 의존하지 않는데, 예컨대, 이들은 독립적인 동작들이고 동시에 또는 병렬로 수행될 수 있다. 예컨대, CPU 스레드(310)는, 그래픽 커널이 올바르게 설정되었거나 호스트 메모리로부터 디바이스 메모리로의 데이터 메모리 전송이 완료되었다는 것을 검증하기 위한 동작을 포함할 수 있으며; 검증 동작 또는 메모리 전송 동작이 다른 동작(예컨대, CPU 스레드(315)에서의 동작들)의 결과에 의존하지 않기 때문에, 그것은 독립적으로 수행될 수 있다.
도 4는 적어도 하나의 실시예에 따른, 하나 이상의 그래픽 처리 코어 상에서 론칭하도록 소프트웨어 모듈들 또는 커널들을 준비하기 위한 소프트웨어 드라이버의 프로세스를 예시하는 프로세스 흐름도이다. 적어도 하나의 실시예에서, 하나 이상의 회로를 포함하는 프로세서 또는 하나 이상의 프로세서를 포함하는 시스템이, 하나 이상의 그래픽 처리 코어 상에서 론칭하도록 커널들을 준비하기 위한 프로세스(400)를 수행한다. 예컨대, 복수의 CPU 코어를 포함하는 시스템이 프로세스(400)를 수행하며, 여기서, 호스트 프로세서(예컨대, CPU)는 프로세스(400)의 일부 또는 모든 단계들을 수행하기 위한 명령어들을 제공한다. 적어도 하나의 실시예에서, 도 1 내지 도 3에 개시된 시스템들은 프로세스(400)의 동작 일부 또는 전부를 수행할 수 있다.
적어도 하나의 실시예에서, 프로세스(400)(또는 본원에 설명된 임의의 다른 프로세스들, 또는 그 변형들 및/또는 조합들) 중 일부 또는 그 전부는, 컴퓨터 실행가능 명령어들로 구성된 하나 이상의 컴퓨터 시스템의 제어 하에 수행되고, 하나 이상의 프로세서 상에서 집합적으로 실행되는 코드(예컨대, 컴퓨터 실행가능 명령어들, 하나 이상의 컴퓨터 프로그램 또는 하나 이상의 애플리케이션)로서, 하드웨어에 의해, 소프트웨어에 의해, 또는 이들의 조합들로 구현된다. 적어도 하나의 실시예에서, 코드는, 하나 이상의 프로세서에 의해 실행가능한 복수의 컴퓨터 판독가능 명령어들을 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터 판독가능 저장 매체 상에 저장된다. 적어도 하나의 실시예에서, 컴퓨터 판독가능 저장 매체는 비-일시적인 컴퓨터 판독가능 매체이다. 적어도 하나의 실시예에서, 프로세스(400)를 수행하는 데 사용가능한 적어도 일부 컴퓨터 판독가능 명령어들은 일시적인 신호들(예컨대, 전파되는 과도적인 전기 또는 전자기 송신)만을 사용하여 저장되지 않는다. 적어도 하나의 실시예에서, 비-일시적인 컴퓨터 판독가능 매체가 일시적인 신호들의 송수신기들 내의 비-일시적인 데이터 저장 회로(예컨대, 버퍼들, 캐시들, 및 큐들)를 반드시 포함할 필요는 없다. 적어도 하나의 실시예에서, 프로세스(400)는, 본 개시내용의 다른 곳에서 설명된 것들과 같은 컴퓨터 시스템 상에서 적어도 부분적으로 수행된다. 적어도 하나의 실시예에서, 로직(예컨대, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합)이 프로세스(400)를 수행한다. 적어도 하나의 실시예에서, 프로세스(400)는, 요청 동작(405)에서 시작하여 생성 동작(410)으로 진행할 수 있다.
요청 동작(405)에서, 애플리케이션을 실행하는 하나 이상의 CPU 또는 하나 이상의 CPU 코어는, 소프트웨어 모듈에 대한 동작들과 같은 GPU 상의 연산을 수행하기 위해 요청을 API 또는 소프트웨어 스택에 제출한다. 예컨대, 그래픽 처리 프로그램 또는 기상 프로그램은, GPU 또는 하나 이상의 GPU 상에서 계산 연산들(예컨대, 콘볼루션, 고속 푸리에 변환들, 희소 행렬들을 포함하는 행렬 곱셈과 같은 일반 행렬 수학 연산들)이 가속될 것을 요청한다. 적어도 하나의 실시예에서, 애플리케이션은, 동작들을 수행하기 위해 API를 호출하는 소프트웨어 프로그램 또는 소스 코드이고, 상기 API는 GPU에 대한 드라이버에 의해 처리되도록 상기 요청을 준비한다. 적어도 하나의 실시예에서, API는 엔비디아로부터의 CUDA API(예컨대, 도 2 참조)일 수 있다. 적어도 하나의 실시예에서, API는, 상기 수신된 요청들에 기반하여 그러한 동작들을 수행하도록 그래픽 커널들을 준비하기 위해 드라이버와 통신한다.
생성 동작(410)에서, 적어도 하나의 실시예에서, 드라이버는 그래픽 커널에 대한 론칭 동작들을 추적하기 위한 추적 구조를 생성한다. 적어도 하나의 실시예에서, 추적 구조는, 요청 동작(405)으로부터의 요청들에 대응하는 커널들을 론칭하기 위해 모든 계류 중인 동작들을 추적하는 드라이버 내의 데이터 구조이다. 적어도 하나의 실시예에서, 추적 구조는 도달되거나 초과될 수 있는 세마포어들 및 값들을 포함한다. 적어도 하나의 실시예에서, 드라이버는, 동작들의 순서가 적절한 순서로 수행되어 에러들을 생성하지 않도록 상기 추적 구조를 순차적으로 업데이트할 수 있다. 적어도 하나의 실시예에서, 추적 구조는, 커널을 론칭하기 위한 동작들을 수행하고 있는 상이한 스트림들 또는 스레드들의 진행을 추적하는 것을 포함한다.
준비 동작(415)을 수행하는 것에서, 적어도 하나의 실시예에서, (하나 이상의 프로세서에 의해 수행되는) 소프트웨어 드라이버는 동작들을 수행함으로써 하나 이상의 GPU 상에 하나 이상의 그래픽 커널이 론칭되도록 준비한다. 적어도 하나의 실시예에서, 드라이버는, 그래픽 커널을 론칭할 때 어느 동작들이 병렬로 수행될 수 있는지 그리고 어느 동작들이 순차적으로 수행될 필요가 있는지를 결정한다. 커널을 론칭할 준비를 할 때 동시에 수행될 수 있는 동작들의 일부 예들은, 커널에 대한 블록 차원 및 그리드 차원을 결정하는 것, 커널에 의해 사용될 인수들을 저장하는 것, 커널이 올바르게 설정됨을 검증하는 것, 및 런타임 시에 커널을 수행하기 위한 코드로 상기 커널을 인코딩하는 것을 포함한다. 적어도 하나의 실시예에서, 프로세서는, 그러한 동작들이 2개 이상의 컴퓨터 프로그램을 병렬로(예컨대, 동시에) 수행되도록 론칭하게 하는 하나 이상의 회로를 포함한다. 적어도 하나의 실시예에서, 제1 커널을 론칭하기 위한 동작들이 제2 커널을 론칭하기 위한 동작들과 병렬로 실행될 수 있을 때, 드라이버는 이러한 동작들을 병렬로 수행되게 수행한다. 적어도 하나의 실시예에서, 제2 커널을 론칭하기 위한 동작들이 제1 커널을 론칭하기 위한 동작들과 병렬로 수행될 수 없을 때, 드라이버는, 상기 제2 커널을 론칭하기 위한 동작들의 수행이 차단, 일시정지, 또는 동기화되게 하며, 이에 따라, 상기 동작들을 수행하는 데 필요한 순서로 동작들이 수행된다. 커널을 론칭할 준비를 할 때 동시에 수행될 수 있는 동작들의 일부 예들은, 커널에 대한 블록 차원 및 그리드 차원을 결정하는 것, 커널에 의해 사용될 인수들을 저장하는 것, 커널이 올바르게 설정됨을 검증하는 것, 및 런타임 시에 커널을 수행하기 위한 코드로 상기 커널을 인코딩하는 것을 포함한다. 적어도 하나의 실시예에서, 프로세서는, 그러한 동작들이 2개 이상의 컴퓨터 프로그램을 병렬로(예컨대, 동시에) 수행되도록 론칭하게 하는 하나 이상의 회로를 포함한다.
종료 결정 동작(420)에서, 적어도 하나의 실시예에서, 애플리케이션 요청을 수행하는 하나 이상의 CPU 또는 CPU 코어는, 하나 이상의 그래픽 커널을 론칭하기 위한 모든 동작들이 수행되었는지 여부를 결정한다. 다른 동작들이 여전히 수행될 필요가 있는 경우 또는 드라이버가 더 많은 그래픽 커널을 설정하는 것에 대응하는 새로운 요청을 수신하는 경우, 하나 이상의 회로는 준비 동작(420)에서의 준비 동작들을 수행하는 것을 반복한다. 애플리케이션으로부터의 요청에 기반한 하나 이상의 그래픽 커널을 설정, 론칭, 또는 시작하기 위한 모든 동작들이 완료된 경우, 하나 이상의 회로는 프로세서(400)를 종료할 수 있다.
종료 동작(420)을 결정한 후에, 적어도 하나의 실시예에서, 하나 이상의 회로는, 예컨대, 병렬 처리(예컨대, GPU)에서 동작들을 수행할 것을 요청하는 다른 애플리케이션 또는 애플리케이션들에 대해, 프로세스(400) 또는 프로세스(400)의 부분들을 반복할 수 있다. 적어도 하나의 실시예에서, 종료 동작(420)을 결정한 후에, GPU는 프로세스(400)를 수행한 하나 이상의 회로에 의해 설정된 커널들을 수행 또는 실행할 수 있다.
데이터 센터
도 5는 적어도 하나의 실시예에 따른 예시적인 데이터 센터(500)를 예시한다. 적어도 하나의 실시예에서, 데이터 센터(500)는, 제한 없이, 데이터 센터 기반구조 계층(510), 프레임워크 계층(520), 소프트웨어 계층(530), 및 애플리케이션 계층(540)을 포함한다. 적어도 하나의 실시예에서, 데이터 센터(500)는, 도 1 내지 도 3에 개시된 시스템들을 포함하고 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행한다.
적어도 하나의 실시예에서, 도 5에 도시된 바와 같이, 데이터 센터 기반구조 계층(510)은, 리소스 조율기(512), 그룹화된 컴퓨팅 리소스들(514), 및 노드 컴퓨팅 리소스들("노드 C.R.들")(516(1)-516(N))을 포함할 수 있으며, 여기서, "N"은 임의의 전체 양의 정수를 표현한다. 적어도 하나의 실시예에서, 노드 C.R.들(516(1)-516(N))은 임의의 수의 중앙 처리 유닛("CPU") 또는 다른 프로세서(가속기, 필드 프로그래밍가능 게이트 어레이("FPGA"), 네트워크 디바이스들 내의 데이터 처리 유닛("DPU"), 그래픽 프로세서 등을 포함함), 메모리 디바이스(예컨대, 동적 판독 전용 메모리), 저장 디바이스(예컨대, 솔리드 스테이트 또는 디스크 드라이브), 네트워크 입력/출력("NW I/O") 디바이스, 네트워크 스위치, 가상 기계("VM"), 전력 모듈, 및 냉각 모듈 등을 포함할 수 있지만, 이에 제한되지 않는다. 적어도 하나의 실시예에서, 노드 C.R.들(516(1)-516(N)) 중 하나 이상의 노드 C.R.은 위에 언급된 컴퓨팅 리소스들 중 하나 이상을 갖는 서버일 수 있다.
적어도 하나의 실시예에서, 그룹화된 컴퓨팅 리소스들(514)은, 하나 이상의 랙(도시되지 않음) 내에 수용된 노드 C.R.들의 별개의 그룹들화, 또는 다양한 지리적 위치들(또한 도시되지 않음)에 있는 데이터 센터들에 수용된 많은 랙을 포함할 수 있다. 그룹화된 컴퓨팅 리소스들(514) 내의 노드 C.R.들의 별개의 그룹화들은, 하나 이상의 작업부하를 지원하도록 구성되거나 할당될 수 있는 그룹화된 컴퓨팅, 네트워크, 메모리, 또는 저장 리소스들을 포함할 수 있다. 적어도 하나의 실시예에서, CPU들 또는 프로세서들을 포함하는 여러 노드 C.R.들은, 하나 이상의 작업부하를 지원하는 컴퓨팅 리소스들을 제공하기 위해 하나 이상의 랙 내에 그룹화될 수 있다. 적어도 하나의 실시예에서, 하나 이상의 랙은 또한, 임의의 수의 전력 모듈, 냉각 모듈, 및 네트워크 스위치를 임의의 조합으로 포함할 수 있다.
적어도 하나의 실시예에서, 리소스 조율기(512)는, 하나 이상의 노드 C.R.(516(1)-516(N)) 및/또는 그룹화된 컴퓨팅 리소스들(514)을 구성하거나 다른 방식으로 제어할 수 있다. 적어도 하나의 실시예에서, 리소스 조율기(512)는, 데이터 센터(500)를 위한 소프트웨어 설계 기반구조("SDI") 관리 엔티티를 포함할 수 있다. 적어도 하나의 실시예에서, 리소스 조율기(512)는, 하드웨어, 소프트웨어, 또는 이들의 일부 조합을 포함할 수 있다.
적어도 하나의 실시예에서, 도 5에 도시된 바와 같이, 프레임워크 계층(520)은, 제한 없이, 작업 스케줄러(532), 구성 관리자(534), 리소스 관리자(536), 및 분산형 파일 시스템(538)을 포함한다. 적어도 하나의 실시예에서, 프레임워크 계층(520)은, 소프트웨어 계층(530)의 소프트웨어(552) 및/또는 애플리케이션 계층(540)의 하나 이상의 애플리케이션(들)(542)을 지원하는 프레임워크를 포함할 수 있다. 적어도 하나의 실시예에서, 소프트웨어(552) 또는 애플리케이션(들)(542)은, 각각, 웹 기반 서비스 소프트웨어 또는 애플리케이션들, 이를테면, 아마존 웹 서비스(Amazon Web Services), 구글 클라우드(Google Cloud) 및 마이크로소프트 애저(Microsoft Azure)에 의해 제공되는 것들을 포함할 수 있다. 적어도 하나의 실시예에서, 프레임워크 계층(520)은, 대규모 데이터 처리(예컨대, "빅 데이터")를 위한 분산형 파일 시스템(538)을 활용할 수 있는 아파치 스파크(Apache Spark™)(이하에서, "스파크(Spark)")와 같은 자유로운 오픈-소스 소프트웨어 웹 애플리케이션 프레임워크의 한 유형일 수 있지만, 이에 제한되지 않는다. 적어도 하나의 실시예에서, 작업 스케줄러(532)는, 데이터 센터(500)의 다양한 계층들에 의해 지원되는 작업부하들의 스케줄링을 용이하게 하기 위해 스파크 드라이버를 포함할 수 있다. 적어도 하나의 실시예에서, 구성 관리자(534)는, 스파크 및 대규모 데이터 처리를 지원하기 위한 분산형 파일 시스템(538)을 포함하는 프레임워크 계층(520) 및 소프트웨어 계층(530)과 같은 상이한 계층들을 구성하는 것이 가능할 수 있다. 적어도 하나의 실시예에서, 리소스 관리자(536)는, 분산형 파일 시스템(538) 및 작업 스케줄러(532)에 맵핑되거나 그의 지원을 위해 할당된 클러스터링되거나 그룹화된 컴퓨팅 리소스들을 관리하는 것이 가능할 수 있다. 적어도 하나의 실시예에서, 클러스터링되거나 그룹화된 컴퓨팅 리소스들은, 데이터 센터 기반구조 계층(510)에서 그룹화된 컴퓨팅 리소스(514)를 포함할 수 있다. 적어도 하나의 실시예에서, 리소스 관리자(536)는, 이러한 맵핑되거나 할당된 컴퓨팅 리소스들을 관리하기 위해 리소스 조율기(512)와 협력할 수 있다.
적어도 하나의 실시예에서, 소프트웨어 계층(530)에 포함된 소프트웨어(552)는, 노드 C.R.들(516(1)-516(N)), 그룹화된 컴퓨팅 리소스들(514), 및/또는 프레임워크 계층(520)의 분산형 파일 시스템(538)의 적어도 일부분들에 의해 사용되는 소프트웨어를 포함할 수 있다. 소프트웨어의 하나 이상의 유형은, 인터넷 웹 페이지 검색 소프트웨어, 이메일 바이러스 스캔 소프트웨어, 데이터베이스 소프트웨어, 및 스트리밍 비디오 콘텐츠 소프트웨어를 포함할 수 있지만, 이에 제한되지 않는다.
적어도 하나의 실시예에서, 애플리케이션 계층(540)에 포함된 애플리케이션(들)(542)은, 노드 C.R.들(516(1)-516(N)), 그룹화된 컴퓨팅 리소스들(514), 및/또는 프레임워크 계층(520)의 분산형 파일 시스템(538)의 적어도 일부분들에 의해 사용되는 하나 이상의 유형의 애플리케이션들을 포함할 수 있다. 적어도 하나 이상의 유형의 애플리케이션들은, 제한 없이, CUDA 애플리케이션들을 포함할 수 있다.
적어도 하나의 실시예에서, 구성 관리자(534), 리소스 관리자(536), 및 리소스 조율기(512) 중 임의의 것은, 임의의 기술적으로 실현가능한 방식으로 취득되는 데이터의 임의의 양 및 유형에 기반하여 임의의 수 및 유형의 자기-수정 동작들을 구현할 수 있다. 적어도 하나의 실시예에서, 자기-수정 동작들은, 데이터 센터(500)의 데이터 센터 운영자가 혹시라도 잘못된 구성 결정들을 행하는 것을 완화할 수 있고, 가능하게는, 데이터 센터의 과소 활용되고/거나 불량한 수행을 하는 부분들을 회피할 수 있다.
컴퓨터 기반 시스템들
다음의 도면들은, 제한 없이, 적어도 하나의 실시예를 구현하는 데 사용될 수 있는 예시적인 컴퓨터 기반 시스템들을 기재한다.
도 6은 적어도 하나의 실시예에 따른 처리 시스템(600)을 예시한다. 적어도 하나의 실시예에서, 처리 시스템(600)은 도 1 내지 도 3에 개시된 시스템들에 포함되고, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행할 수 있다. 적어도 하나의 실시예에서, 처리 시스템(600)은, 하나 이상의 프로세서(602) 및 하나 이상의 그래픽 프로세서(608)를 포함하고, 단일 프로세서 데스크톱 시스템, 멀티프로세서 워크스테이션 시스템, 또는 많은 수의 프로세서들(602) 또는 프로세서 코어들(607)을 갖는 서버 시스템일 수 있다. 적어도 하나의 실시예에서, 처리 시스템(600)은, 모바일, 핸드헬드, 또는 임베디드 디바이스들에서 사용하기 위해 시스템 온 칩("SoC") 집적 회로 내에 통합된 처리 플랫폼이다.
적어도 하나의 실시예에서, 처리 시스템(600)은, 서버 기반 게이밍 플랫폼, 게임 콘솔, 미디어 콘솔, 모바일 게임 콘솔, 핸드헬드 게임 콘솔, 또는 온라인 게임 콘솔을 포함하거나 그 안에 통합될 수 있다. 적어도 하나의 실시예에서, 처리 시스템(600)은, 모바일폰, 스마트폰, 태블릿 컴퓨팅 디바이스, 또는 모바일 인터넷 디바이스이다. 적어도 하나의 실시예에서, 처리 시스템(600)은 또한, 스마트 워치 웨어러블 디바이스, 스마트 안경류 디바이스, 증강 현실 디바이스, 또는 가상 현실 디바이스와 같은 웨어러블 디바이스를 포함하거나, 그와 결합되거나, 또는 그 안에 통합될 수 있다. 적어도 하나의 실시예에서, 처리 시스템(600)은, 하나 이상의 프로세서(602) 및 하나 이상의 그래픽 프로세서(608)에 의해 생성된 그래픽 인터페이스를 갖는 텔레비전 또는 셋톱 박스 디바이스이다.
적어도 하나의 실시예에서, 하나 이상의 프로세서(602)는 각각, 실행될 때 시스템 및 사용자 소프트웨어에 대한 동작들을 수행하는 명령어들을 처리하기 위한 하나 이상의 프로세서 코어(607)를 포함한다. 적어도 하나의 실시예에서, 하나 이상의 프로세서 코어(607) 각각은 특정 명령어 세트(609)를 처리하도록 구성된다. 적어도 하나의 실시예에서, 명령어 세트(609)는, 복합 명령어 세트 컴퓨팅("CISC"), 축소 명령어 세트 컴퓨팅("RISC"), 또는 매우 긴 명령어 워드("VLIW")를 통한 컴퓨팅을 용이하게 할 수 있다. 적어도 하나의 실시예에서, 프로세서 코어들(607)은 각각, 다른 명령어 세트들의 에뮬레이션을 용이하게 하기 위한 명령어들을 포함할 수 있는 상이한 명령어 세트(609)를 처리할 수 있다. 적어도 하나의 실시예에서, 프로세서 코어(607)는 또한, 디지털 신호 프로세서("DSP")와 같은 다른 처리 디바이스들을 포함할 수 있다.
적어도 하나의 실시예에서, 프로세서(602)는 캐시 메모리('캐시")(604)를 포함한다. 적어도 하나의 실시예에서, 프로세서(602)는 단일 내부 캐시 또는 다수의 레벨들의 내부 캐시를 가질 수 있다. 적어도 하나의 실시예에서, 캐시 메모리는 프로세서(602)의 다양한 구성요소들 간에 공유된다. 적어도 하나의 실시예에서, 프로세서(602)는 또한, 알려져 있는 캐시 일관성 기법들을 사용하여 프로세서 코어들(607) 간에 공유될 수 있는 외부 캐시(예컨대, 레벨 3("L3") 캐시 또는 최종 레벨 캐시("LLC"))(도시되지 않음)를 사용한다. 적어도 하나의 실시예에서, 상이한 유형들의 데이터를 저장하기 위한 상이한 유형들의 레지스터들(예컨대, 정수 레지스터들, 부동 소수점 레지스터들, 상태 레지스터들, 및 명령어 포인터 레지스터들)을 포함할 수 있는 레지스터 파일(606)이 프로세서(602)에 부가적으로 포함된다. 적어도 하나의 실시예에서, 레지스터 파일(606)은 범용 레지스터들 또는 다른 레지스터들을 포함할 수 있다.
적어도 하나의 실시예에서, 하나 이상의 프로세서(들)(602)는, 하나 이상의 인터페이스 버스(들)(610)와 결합되어, 프로세서(602)와 처리 시스템(600) 내의 다른 구성요소들 사이에서 어드레스, 데이터, 또는 제어 신호들과 같은 통신 신호들을 송신한다. 적어도 하나의 실시예에서, 인터페이스 버스(610)는, 일 실시예에서, 프로세서 버스, 이를테면, 다이렉트 미디어 인터페이스("DMI") 버스의 한 버전일 수 있다. 적어도 하나의 실시예에서, 인터페이스(610)는 DMI 버스로 제한되지 않고, 하나 이상의 주변 구성요소 상호연결 버스(예컨대, "PCI", PCI 익스프레스("PCIe")), 메모리 버스, 또는 다른 유형들의 인터페이스 버스를 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(들)(602)는 통합 메모리 제어기(616) 및 플랫폼 제어기 허브(630)를 포함한다. 적어도 하나의 실시예에서, 메모리 제어기(616)는 메모리 디바이스와 처리 시스템(600)의 다른 구성요소들 사이의 통신을 용이하게 하는 한편, 플랫폼 제어기 허브("PCH")(630)는 로컬 입력/출력("I/O") 버스를 통해 I/O 디바이스들에 대한 연결들을 제공한다.
적어도 하나의 실시예에서, 메모리 디바이스(620)는, 동적 랜덤 액세스 메모리("DRAM") 디바이스, 정적 랜덤 액세스 메모리("SRAM") 디바이스, 플래시 메모리 디바이스, 상변화 메모리 디바이스, 또는 프로세서 메모리의 역할을 하기에 적합한 성능을 갖는 일부 다른 메모리 디바이스일 수 있다. 적어도 하나의 실시예에서, 메모리 디바이스(620)는, 하나 이상의 프로세서(602)가 애플리케이션 또는 프로세스를 실행할 때 사용하기 위한 데이터(622) 및 명령어들(621)을 저장하기 위한, 처리 시스템(600)에 대한 시스템 메모리로서 동작할 수 있다. 적어도 하나의 실시예에서, 메모리 제어기(616)는 또한, 그래픽 및 미디어 연산들을 수행하기 위해 프로세서들(602) 내의 하나 이상의 그래픽 프로세서(608)와 통신할 수 있는 임의적인 외부 그래픽 프로세서(612)와 결합된다. 적어도 하나의 실시예에서, 디스플레이 디바이스(611)는 프로세서(들)(602)에 연결될 수 있다. 적어도 하나의 실시예에서, 디스플레이 디바이스(611)는, 모바일 전자 디바이스 또는 랩톱 디바이스 내에 있는 것과 같은 내부 디스플레이 디바이스, 또는 디스플레이 인터페이스(예컨대, 디스플레이포트(DisplayPort) 등)를 통해 부착된 외부 디스플레이 디바이스 중 하나 이상을 포함할 수 있다. 적어도 하나의 실시예에서, 디스플레이 디바이스(611)는, 가상 현실("VR") 애플리케이션들 또는 증강 현실("AR") 애플리케이션들에서 사용하기 위한 입체 디스플레이 디바이스와 같은 헤드 장착형 디스플레이("HMD")를 포함할 수 있다.
적어도 하나의 실시예에서, 플랫폼 제어기 허브(630)는 주변기기들이 고속 I/O 버스를 통해 메모리 디바이스(620) 및 프로세서(602)에 연결되는 것을 가능하게 한다. 적어도 하나의 실시예에서, I/O 주변기기들은, 오디오 제어기(646), 네트워크 제어기(634), 펌웨어 인터페이스(628), 무선 송수신기(626), 터치 센서들(625), 데이터 저장 디바이스(624)(예컨대, 하드 디스크 드라이브, 플래시 메모리 등)를 포함하지만, 이에 제한되지 않는다. 적어도 하나의 실시예에서, 데이터 저장 디바이스(624)는, 저장 인터페이스(예컨대, SATA)를 통해 또는 주변 버스, 이를테면, PCI 또는 PCIe를 통해 연결될 수 있다. 적어도 하나의 실시예에서, 터치 센서들(625)은, 터치 스크린 센서들, 압력 센서들, 또는 지문 센서들을 포함할 수 있다. 적어도 하나의 실시예에서, 무선 송수신기(626)는, 와이파이 송수신기, 블루투스 송수신기, 또는 모바일 네트워크 송수신기, 이를테면, 3G, 4G, 또는 롱 텀 에볼루션("LTE") 송수신기일 수 있다. 적어도 하나의 실시예에서, 펌웨어 인터페이스(628)는 시스템 펌웨어와의 통신을 가능하게 하고, 예컨대, 통합 확장가능 펌웨어 인터페이스("UEFI")일 수 있다. 적어도 하나의 실시예에서, 네트워크 제어기(634)는 유선 네트워크로의 네트워크 연결을 가능하게 할 수 있다. 적어도 하나의 실시예에서, 고성능 네트워크 제어기(도시되지 않음)가 인터페이스 버스(610)와 결합된다. 적어도 하나의 실시예에서, 오디오 제어기(646)는 다채널 고해상도 오디오 제어기이다. 적어도 하나의 실시예에서, 처리 시스템(600)은 레거시(예컨대, 개인용 시스템 2("PS/2")) 디바이스들을 처리 시스템(600)에 결합하기 위한 임의적 레거시 I/O 제어기(640)를 포함한다. 적어도 하나의 실시예에서, 플랫폼 제어기 허브(630)는 또한, 키보드 및 마우스(643) 조합들, 카메라(644), 또는 다른 범용 직렬 버스("USB") 입력 디바이스들과 같은 입력 디바이스들을 연결하는 하나 이상의 USB 제어기(642)에 연결될 수 있다.
적어도 하나의 실시예에서, 메모리 제어기(616) 및 플랫폼 제어기 허브(630)의 인스턴스는, 외부 그래픽 프로세서(612)와 같은 별개의 외부 그래픽 프로세서에 통합될 수 있다. 적어도 하나의 실시예에서, 플랫폼 제어기 허브(630) 및/또는 메모리 제어기(616)는 하나 이상의 프로세서(들)(602) 외부에 있을 수 있다. 예컨대, 적어도 하나의 실시예에서, 처리 시스템(600)은 외부 메모리 제어기(616) 및 플랫폼 제어기 허브(630)를 포함할 수 있으며, 이들은, 프로세서(들)(602)와 통신하는 시스템 칩셋 내의 메모리 제어기 허브 및 주변기기 제어기 허브로서 구성될 수 있다.
도 7은 적어도 하나의 실시예에 따른 컴퓨터 시스템(700)을 예시한다. 적어도 하나의 실시예에서, 컴퓨터 시스템(700)은 도 1 내지 도 3에 개시된 시스템들에 포함되고, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행할 수 있다. 예컨대, 컴퓨터 시스템(700)은 도 1에서의 CPU(102)일 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(700)은, 상호연결된 디바이스들 및 구성요소들을 시스템, SoC, 또는 일부 조합일 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(700)은, 명령어를 실행하기 위한 실행 유닛들을 포함할 수 있는 프로세서(702)로 형성된다. 적어도 하나의 실시예에서, 컴퓨터 시스템(700)은, 제한 없이, 데이터를 처리하기 위한 알고리즘들을 수행하기 위한 로직을 포함하는 실행 유닛들을 이용하는 프로세서(702)와 같은 구성요소를 포함할 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(700)은, 캘리포니아 주 산타 클라라의 인텔 코포레이션으로부터 입수가능한 펜티엄(PENTIUM®) 프로세서 제품군, 제온(Xeon™), 아이테니엄(Itanium®), 엑스스케일(XScale™) 및/또는 스트롱암(StrongARM™), 인텔(Intel®) 코어(Core™), 또는 인텔® 너바나™ 마이크로프로세서들과 같은 프로세서들을 포함할 수 있지만, 다른 시스템들(다른 마이크로프로세서들, 엔지니어링 워크스테이션들, 셋톱 박스들 등을 갖는 PC들로 포함함)이 또한 사용될 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(700)은, 워싱턴 주 레드몬드의 마이크로소프트 코포레이션(Microsoft Corporation)으로부터 입수가능한 윈도우즈(WINDOWS) 운영 체제의 한 버전을 실행할 수 있지만, 다른 운영 체제들(예컨대, 유닉스(UNIX) 및 리눅스(Linux)), 임베디드 소프트웨어, 및/또는 그래픽 사용자 인터페이스들이 또한 사용될 수 있다.
적어도 하나의 실시예에서, 컴퓨터 시스템(700)은, 핸드헬드 디바이스들 및 임베디드 애플리케이션들과 같은 다른 디바이스들에서 사용될 수 있다. 핸드헬드 디바이스들의 일부 예들은 셀룰러 전화들, 인터넷 프로토콜 디바이스들, 디지털 카메라들, 개인 휴대 정보 단말기("PDA")들, 및 핸드헬드 PC들을 포함한다. 적어도 하나의 실시예에서, 임베디드 애플리케이션들은, 마이크로제어기, 디지털 신호 프로세서(DSP), SoC, 네트워크 컴퓨터(넷피시("NetPC"))들, 셋톱 박스들, 네트워크 허브들, 광역 네트워크("WAN") 스위치들, 또는 하나 이상의 명령어를 수행할 수 있는 임의의 다른 시스템을 포함할 수 있다.
적어도 하나의 실시예에서, 컴퓨터 시스템(700)은, 제한 없이, 컴퓨팅 통합 디바이스 아키텍처("CUDA")(CUDA®는 캘리포니아 주 산타 클라라의 엔비디아 코포레이션(NVIDIA Corporation)에 의해 개발됨) 프로그램을 실행하도록 구성될 수 있는 하나 이상의 실행 유닛(708)을 제한 없이 포함할 수 있는 프로세서(702)를 포함할 수 있다. 적어도 하나의 실시예에서, CUDA 프로그램은, CUDA 프로그래밍 언어로 작성된 소프트웨어 애플리케이션의 적어도 일부분이다. 적어도 하나의 실시예에서, 컴퓨터 시스템(700)은 단일 프로세서 데스크톱 또는 서버 시스템이다. 적어도 하나의 실시예에서, 컴퓨터 시스템(700)은 멀티프로세서 시스템일 수 있다. 적어도 하나의 실시예에서, 프로세서(702)는, 예컨대, 제한 없이, CISC 마이크로프로세서, RISC 마이크로프로세서, VLIW 마이크로프로세서, 명령어 세트들의 조합을 구현하는 프로세서, 또는 임의의 다른 프로세서 디바이스, 이를테면, 디지털 신호 프로세서를 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(702)는, 프로세서(702)와 컴퓨터 시스템(700)의 다른 구성요소들 사이에서 데이터 신호들을 송신할 수 있는 프로세서 버스(710)에 결합될 수 있다.
적어도 하나의 실시예에서, 프로세서(702)는, 제한 없이, 레벨 1("L1") 내부 캐시 메모리("캐시")(704)를 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(702)는, 단일 내부 캐시 또는 다수의 레벨들의 내부 캐시를 가질 수 있다. 적어도 하나의 실시예에서, 캐시 메모리는 프로세서(702) 외부에 상주할 수 있다. 적어도 하나의 실시예에서, 프로세서(702)는 또한, 내부 및 외부 캐시들 둘 모두의 조합을 포함할 수 있다. 적어도 하나의 실시예에서, 레지스터 파일(706)은, 정수 레지스터들, 부동 소수점 레지스터들, 상태 레지스터들, 및 명령어 포인터 레지스터를 제한 없이 포함하는 다양한 레지스터들 내에 상이한 유형들의 데이터를 저장할 수 있다.
적어도 하나의 실시예에서, 정수 및 부동 소수점 연산들을 수행하기 위한 로직을 제한 없이 포함하는 실행 유닛(708)이 또한 프로세서(702)에 상주한다. 프로세서(702)는 또한, 특정 매크로 명령어들에 대한 마이크로코드를 저장하는 마이크로코드("ucode") 판독 전용 메모리("ROM")를 포함할 수 있다. 적어도 하나의 실시예에서, 실행 유닛(708)은 패킹된 명령어 세트(709)를 처리하기 위한 로직을 포함할 수 있다. 적어도 하나의 실시예에서, 명령어들을 실행하기 위한 연관된 회로와 함께, 범용 프로세서(702)의 명령어 세트에, 패킹된 명령어 세트(709)를 포함시킴으로써, 많은 멀티미디어 애플리케이션들에 의해 사용되는 연산들은 범용 프로세서(702)에서 패킹된 데이터를 사용하여 수행될 수 있다. 적어도 하나의 실시예에서, 많은 멀티미디어 애플리케이션들은, 패킹된 데이터에 대한 연산들을 수행하기 위해 프로세서의 데이터 버스의 전체 폭을 사용함으로써 가속되고 더 효율적으로 실행될 수 있으며, 이는, 한 번에 하나의 데이터 요소에 대해 하나 이상의 연산을 수행하기 위해 그 프로세서의 데이터 버스를 통해 더 작은 데이터 유닛들을 전송할 필요성을 제거할 수 있다.
적어도 하나의 실시예에서, 실행 유닛(708)은 또한, 마이크로제어기들, 임베디드 프로세서들, 그래픽 디바이스들, DSP들, 및 다른 유형들의 로직 회로들에서 사용될 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(700)은, 제한 없이, 메모리(720)를 포함할 수 있다. 적어도 하나의 실시예에서, 메모리(720)는, DRAM 디바이스, SRAM 디바이스, 플래시 메모리 디바이스, 또는 다른 메모리 디바이스로서 구현될 수 있다. 메모리(720)는, 프로세서(702)에 의해 실행될 수 있는 데이터 신호들에 의해 표현되는 명령어(들)(719) 및/또는 데이터(721)를 저장할 수 있다.
적어도 하나의 실시예에서, 시스템 로직 칩은, 프로세서 버스(710) 및 메모리(720)에 결합될 수 있다. 적어도 하나의 실시예에서, 시스템 로직 칩은, 제한 없이, 메모리 제어기 허브("MCH")(716)를 포함할 수 있고, 프로세서(702)는 프로세서 버스(710)를 통해 MCH(716)와 통신할 수 있다. 적어도 하나의 실시예에서, MCH(716)는, 명령어 및 데이터 저장을 위해, 그리고 그래픽 명령들, 데이터, 및 텍스처들의 저장을 위해, 높은 대역폭 메모리 경로(718)를 메모리(720)에 제공할 수 있다. 적어도 하나의 실시예에서, MCH(716)는, 프로세서(702), 메모리(720), 및 컴퓨터 시스템(700) 내의 다른 구성요소들 사이에서 데이터 신호들을 지향시키고, 프로세서 버스(710), 메모리(720), 및 시스템 I/O(722) 사이에서 데이터 신호들을 브릿징할 수 있다. 적어도 하나의 실시예에서, 시스템 로직 칩은, 그래픽 제어기에 대한 결합을 위해 그래픽 포트를 제공할 수 있다. 적어도 하나의 실시예에서, MCH(716)는, 높은 대역폭 메모리 경로(718)를 통해 메모리(720)에 결합될 수 있고 그래픽/비디오 카드(712)는 가속 그래픽 포트("AGP") 상호연결부(714)를 통해 MCH(716)에 결합될 수 있다.
적어도 하나의 실시예에서, 컴퓨터 시스템(700)은 MCH(716)를 I/O 제어기 허브("ICH")(730)에 결합하기 위해 독점적 허브 인터페이스 버스인 시스템 I/O(722)를 사용할 수 있다. 적어도 하나의 실시예에서, ICH(730)는, 로컬 I/O 버스를 통해 일부 I/O 디바이스들로의 직접 연결들을 제공할 수 있다. 적어도 하나의 실시예에서, 로컬 I/O 버스는, 제한 없이, 주변기기들을 메모리(720), 칩셋, 및 프로세서(702)에 연결하기 위한 고속 I/O 버스를 포함할 수 있다. 예들은, 제한 없이, 오디오 제어기(729), 펌웨어 허브("플래시 BIOS")(728), 무선 송수신기(726), 데이터 저장소(724), 사용자 입력 인터페이스(725) 및 키보드 인터페이스를 포함하는 레거시 I/O 제어기(723), USB와 같은 직렬 확장 포트(727), 및 네트워크 제어기(734)를 포함할 수 있다. 데이터 저장소(724)는, 하드 디스크 드라이브, 플로피 디스크 드라이브, CD-ROM 디바이스, 플래시 메모리 디바이스, 또는 다른 대용량 저장 디바이스를 포함할 수 있다.
적어도 하나의 실시예에서, 도 7은, 상호연결된 하드웨어 디바이스들 또는 "칩들"을 포함하는 시스템을 예시한다. 적어도 하나의 실시예에서, 도 7은 예시적인 SoC를 예시할 수 있다. 적어도 하나의 실시예에서, 도 7에 예시된 디바이스들은, 전용 상호연결부들, 표준화된 상호연결부들(예컨대, PCIe) 또는 이들의 일부 조합으로 상호연결될 수 있다. 적어도 하나의 실시예에서, 시스템(700)의 하나 이상의 구성요소는 컴퓨팅 익스프레스 링크("CXL"; compute express link) 상호연결부들을 사용하여 상호연결된다.
도 8은 적어도 하나의 실시예에 따른 시스템(800)을 예시한다. 적어도 하나의 실시예에서, 시스템(800)은 도 1 내지 도 3에 개시된 시스템들에 포함되고, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행할 수 있다. 예컨대, 시스템(800)은 도 1에서의 CPU(102)일 수 있다. 적어도 하나의 실시예에서, 시스템(800)은, 프로세서(810)를 활용하는 전자 디바이스이다. 적어도 하나의 실시예에서, 시스템(800)은, 예컨대, 그리고 제한 없이, 노트북, 타워 서버, 랙 서버, 블레이드 서버, 하나 이상의 구내(on-premise) 또는 클라우드 서비스 제공자에 통신가능하게 결합되는 에지 디바이스, 랩톱, 데스크톱, 태블릿, 모바일 디바이스, 전화, 임베디드 컴퓨터, 또는 임의의 다른 적합한 전자 디바이스일 수 있다.
적어도 하나의 실시예에서, 시스템(800)은, 제한 없이, 임의의 적합한 수 또는 종류의 구성요소, 주변기기, 모듈, 또는 디바이스에 통신가능하게 결합되는 프로세서(810)를 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(810)는, 버스 또는 인터페이스, 이를테면, I2C 버스, 시스템 관리 버스("SMBus"), 적은 핀 카운트("LPC"; Low Pin Count) 버스, 직렬 주변기기 인터페이스("SPI"), 고해상도 오디오("HDA") 버스, 직렬 고급 기술 결합("SATA"; Serial Advance Technology Attachment) 버스, USB(버전 1, 버전 2, 버전 3), 또는 범용 비동기식 수신기/송신기("UART") 버스를 사용하여 결합된다. 적어도 하나의 실시예에서, 도 8은, 상호연결된 하드웨어 디바이스들 또는 "칩들"을 포함하는 시스템을 예시한다. 적어도 하나의 실시예에서, 도 8은 예시적인 SoC를 예시할 수 있다. 적어도 하나의 실시예에서, 도 8에 예시된 디바이스들은, 전용 상호연결부들, 표준화된 상호연결부들(예컨대, PCIe) 또는 이들의 일부 조합으로 상호연결될 수 있다. 적어도 하나의 실시예에서, 도 8의 하나 이상의 구성요소는 CXL 상호연결부들을 사용하여 상호연결된다.
적어도 하나의 실시예에서, 도 8은, 디스플레이(824), 터치 스크린(825), 터치 패드(830), 근접장 통신 유닛("NFC")(845), 센서 허브(840), 열 센서(846), 익스프레스 칩셋("EC")(835), 신뢰되는 플랫폼 모듈("TPM")(838), BIOS/펌웨어/플래시 메모리("BIOS, FW 플래시")(822), DSP(860), 솔리드 스테이트 디스크("SSD") 또는 하드 디스크 드라이브("HDD")(820), 무선 근거리 네트워크 유닛("WLAN")(850), 블루투스 유닛(852), 무선 광역 네트워크 유닛("WWAN")(856), 전역 위치결정 시스템("GPS")(855), USB 3.0 카메라와 같은 카메라("USB 3.0 카메라")(854), 또는 예컨대 LPDDR3 표준으로 구현되는 저전력 2배 데이터율("LPDDR") 메모리 유닛("LPDDR3")(815)을 포함할 수 있다. 이러한 구성요소들은 각각 임의의 적합한 방식으로 구현될 수 있다.
적어도 하나의 실시예에서, 다른 구성요소들은 위에 논의된 구성요소들을 통해 프로세서(810)에 통신가능하게 결합될 수 있다. 적어도 하나의 실시예에서, 가속도계(841), 주변 광 센서("ALS")(842), 나침반(843), 및 자이로스코프(844)는 센서 허브(840)에 통신가능하게 결합될 수 있다. 적어도 하나의 실시예에서, 열 센서(839), 팬(837), 키보드(836), 및 터치 패드(830)는 EC(835)에 통신가능하게 결합될 수 있다. 적어도 하나의 실시예에서, 스피커(863), 헤드폰들(864), 및 마이크로폰("MIC")(865)은 오디오 유닛("오디오 코덱 및 클래스 D 증폭기")(862)에 통신가능하게 결합될 수 있고, 그 오디오 유닛은 차례로 DSP(860)에 통신가능하게 결합될 수 있다. 적어도 하나의 실시예에서, 오디오 유닛(862)은, 예컨대, 그리고 제한 없이, 오디오 코더/디코더("코덱") 및 클래스 D 증폭기를 포함할 수 있다. 적어도 하나의 실시예에서, SIM 카드("SIM")(857)는 WWAN 유닛(856)에 통신가능하게 결합될 수 있다. 적어도 하나의 실시예에서, WLAN 유닛(850) 및 블루투스 유닛(852)뿐만 아니라 WWAN 유닛(856)과 같은 구성요소들은 차세대 폼 팩터("NGFF"; Next Generation Form Factor)로 구현될 수 있다.
도 9는 적어도 하나의 실시예에 따른 예시적인 집적 회로(900)를 예시한다. 적어도 하나의 실시예에서, 집적 회로(900)는 도 1 내지 도 3에 개시된 시스템들에 포함되고, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행할 수 있다. 예컨대, 집적 회로(900)는 도 1에서의 CPU(102)에 포함될 수 있다. 적어도 하나의 실시예에서, 예시적인 집적 회로(900)는, 하나 이상의 IP 코어를 사용하여 제조될 수 있는 SoC이다. 적어도 하나의 실시예에서, 집적 회로(900)는, 하나 이상의 애플리케이션 프로세서(들)(905)(예컨대, CPU, DPU), 적어도 하나의 그래픽 프로세서(910)를 포함하고, 부가적으로, 이미지 프로세서(915) 및/또는 비디오 프로세서(920)를 포함할 수 있으며, 이들 중 임의의 것은 모듈식 IP 코어일 수 있다. 적어도 하나의 실시예에서, 집적 회로(900)는, USB 제어기(925), UART 제어기(930), SPI/SDIO 제어기(935), 및 I2S/I2C 제어기(940)를 포함하는 주변 또는 버스 로직을 포함한다. 적어도 하나의 실시예에서, 집적 회로(900)는, 고해상도 멀티미디어 인터페이스("HDMI") 제어기(950) 및 모바일 산업 프로세서 인터페이스("MIPI") 디스플레이 인터페이스(955) 중 하나 이상에 결합되는 디스플레이 디바이스(945)를 포함할 수 있다. 적어도 하나의 실시예에서, 저장소는, 플래시 메모리 및 플래시 메모리 제어기를 포함하는 플래시 메모리 서브시스템(960)에 의해 제공될 수 있다. 적어도 하나의 실시예에서, 메모리 인터페이스는, SDRAM 또는 SRAM 메모리 디바이스들에 대한 액세스를 위한 메모리 제어기(965)를 통해 제공될 수 있다. 적어도 하나의 실시예에서, 일부 집적 회로들은 부가적으로 임베디드 보안 엔진(970)을 포함한다.
도 10은 적어도 하나의 실시예에 따른 컴퓨팅 시스템(1000)을 예시한다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1000)은 도 1 내지 도 3에 개시된 시스템들에 포함되고, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행할 수 있다. 예컨대, 컴퓨팅 시스템(1000)은 도 1에서의 CPU(102)에 포함될 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1000)은, 메모리 허브(1005)를 포함할 수 있는 상호연결 경로를 통해 통신하는 하나 이상의 프로세서(들)(1002) 및 시스템 메모리(1004)를 갖는 처리 서브시스템(1001)을 포함한다. 적어도 하나의 실시예에서, 메모리 허브(1005)는 칩셋 구성요소 내의 별개의 구성요소일 수 있거나 하나 이상의 프로세서(들)(1002) 내에 통합될 수 있다. 적어도 하나의 실시예에서, 메모리 허브(1005)는 통신 링크(1006)를 통해 I/O 서브시스템(1011)과 결합된다. 적어도 하나의 실시예에서, I/O 서브시스템(1011)은, 컴퓨팅 시스템(1000)이 하나 이상의 입력 디바이스(들)(1008)로부터 입력을 수신하는 것을 가능하게 할 수 있게 하는 I/O 허브(1007)를 포함한다. 적어도 하나의 실시예에서, I/O 허브(1007)는, 하나 이상의 프로세서(들)(1002)에 포함될 수 있는 디스플레이 제어기가 하나 이상의 디스플레이 디바이스(들)(1010A)에 출력들을 제공하는 것을 가능하게 할 수 있다. 적어도 하나의 실시예에서, I/O 허브(1007)와 결합된 하나 이상의 디스플레이 디바이스(들)(1010A)는, 로컬, 내부, 또는 임베디드 디스플레이 디바이스를 포함할 수 있다.
적어도 하나의 실시예에서, 처리 서브시스템(1001)은, 버스 또는 다른 통신 링크(1013)를 통해 메모리 허브(1005)에 결합되는 하나 이상의 병렬 프로세서(들)(1012)를 포함한다. 적어도 하나의 실시예에서, 통신 링크(1013)는, PCIe와 같은, 그러나 이에 제한되지 않는 통신 링크 기술들 또는 프로토콜들 기반의 임의의 수의 표준 중 하나일 수 있거나, 공급업체 특정 통신 인터페이스 또는 통신 패브릭일 수 있다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1012)는, 다중 통합 코어 프로세서와 같은, 많은 수의 처리 코어들 및/또는 처리 클러스터들을 포함할 수 있는 계산적으로 집중된 병렬 또는 벡터 처리 시스템을 형성한다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1012)는, I/O 허브(1007)를 통해 결합된 하나 이상의 디스플레이 디바이스(들)(1010A) 중 하나에 픽셀들을 출력할 수 있는 그래픽 처리 서브시스템을 형성한다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1012)는 또한, 디스플레이 제어기, 및 하나 이상의 디스플레이 디바이스(들)(1010B)에 대한 직접 연결을 가능하게 하기 위한 디스플레이 인터페이스(도시되지 않음)를 포함할 수 있다.
적어도 하나의 실시예에서, 시스템 저장 유닛(1014)은 I/O 허브(1007)에 연결되어 컴퓨팅 시스템(1000)을 위한 저장 메커니즘을 제공할 수 있다. 적어도 하나의 실시예에서, I/O 스위치(1016)는, 플랫폼 내에 통합될 수 있는 네트워크 어댑터(1018) 및/또는 무선 네트워크 어댑터(1019), 및 하나 이상의 추가기능(add-in) 디바이스(들)(1020)를 통해 부가될 수 있는 다양한 다른 디바이스들과 같은 다른 구성요소들과 I/O 허브(1007) 사이의 연결들을 가능하게 하기 위한 인터페이스 메커니즘을 제공하는 데 사용될 수 있다. 적어도 하나의 실시예에서, 네트워크 어댑터(1018)는 이더넷 어댑터 또는 다른 유선 네트워크 어댑터일 수 있다. 적어도 하나의 실시예에서, 무선 네트워크 어댑터(1019)는, 와이파이, 블루투스, NFC, 또는 하나 이상의 무선 라디오를 포함하는 다른 네트워크 디바이스 중 하나 이상을 포함할 수 있다.
적어도 하나의 실시예에서, 컴퓨팅 시스템(1000)은, I/O 허브(1007)에 또한 연결될 수 있는, USB 또는 다른 포트 연결들, 광학 저장 드라이브들, 비디오 포착 디바이스들 등을 포함하는 명시적으로 도시되지 않은 다른 구성요소들을 포함할 수 있다. 적어도 하나의 실시예에서, 도 10의 다양한 구성요소들을 상호연결하는 통신 경로들은, PCI 기반 프로토콜들(예컨대, PCIe), 또는 다른 버스 또는 포인트-투-포인트 통신 인터페이스들 및/또는 프로토콜(들), 이를테면, NVLink 고속 상호연결부 또는 상호연결 프로토콜들과 같은 임의의 적합한 프로토콜을 사용하여 구현될 수 있다.
적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1012)는, 예컨대 비디오 출력 회로를 포함하는 그래픽 및 비디오 처리에 최적화된 회로를 포함하고, 그래픽 처리 유닛("GPU")을 구성한다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1012)는 범용 처리에 최적화된 회로를 포함한다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1000)의 구성요소들은 단일 집적 회로 상의 하나 이상의 다른 시스템 요소와 통합될 수 있다. 예컨대, 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1012), 메모리 허브(1005), 프로세서(들)(1002), 및 I/O 허브(1007)는 SoC 집적 회로에 통합될 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1000)의 구성요소들은 단일 패키지 내에 통합되어 시스템 인 패키지("SIP"; system in package) 구성을 형성할 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1000)의 구성요소의 적어도 일부분은 멀티칩 모듈("MCM")에 통합될 수 있으며, 그 멀티칩 모듈은 다른 멀티칩 모듈들과 상호연결되어 모듈식 컴퓨팅 시스템이 될 수 있다. 적어도 하나의 실시예에서, I/O 서브시스템(1011) 및 디스플레이 디바이스들(1010B)은 컴퓨팅 시스템(1000)으로부터 생략된다.
처리 시스템들
다음의 도면들은, 제한 없이, 적어도 하나의 실시예를 구현하는 데 사용될 수 있는 예시적인 처리 시스템들을 기재한다.
도 11은 적어도 하나의 실시예에 따른 가속 처리 유닛("APU")(1100)을 예시한다. 적어도 하나의 실시예에서, APU(1100)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, APU(1100)는 도 1에서의 GPU(120)에 포함될 수 있다. 적어도 하나의 실시예에서, APU(1100)는 캘리포니아 주 산타 클라라의 AMD 코포레이션(AMD Corporation)에 의해 개발된다. 적어도 하나의 실시예에서, APU(1100)는, CUDA 프로그램과 같은 애플리케이션 프로그램을 실행하도록 구성될 수 있다. 적어도 하나의 실시예에서, APU(1100)는, 제한 없이, 코어 컴플렉스(complex)(1110), 그래픽 컴플렉스(1140), 패브릭(1160), I/O 인터페이스들(1170), 메모리 제어기들(1180), 디스플레이 제어기(1192), 및 멀티미디어 엔진(1194)을 포함한다. 적어도 하나의 실시예에서, APU(1100)는, 제한 없이, 임의의 수의 코어 컴플렉스(1110), 임의의 수의 그래픽 컴플렉스(1150), 임의의 수의 디스플레이 제어기(1192), 및 임의의 수의 멀티미디어 엔진(1194)을 임의의 조합으로 포함할 수 있다. 설명의 목적들을 위해, 유사한 객체들의 다수의 인스턴스들은, 객체를 식별하는 참조 번호들 및 필요한 경우에는 인스턴스를 식별하는 괄호 번호들로 본원에서 표시된다.
적어도 하나의 실시예에서, 코어 컴플렉스(1110)는 CPU이고, 그래픽 컴플렉스(1140)는 GPU이고, APU(1100)는, 단일 칩 상에 1110 및 1140을 제한 없이 통합하는 처리 유닛이다. 적어도 하나의 실시예에서, 일부 작업들은 코어 컴플렉스(1110)에 배정될 수 있고, 다른 작업들은 그래픽 컴플렉스(1140)에 배정될 수 있다. 적어도 하나의 실시예에서, 코어 컴플렉스(1110)는, 운영 체제와 같은 APU(1100)와 연관된 메인 제어 소프트웨어를 실행하도록 구성된다. 적어도 하나의 실시예에서, 코어 컴플렉스(1110)는, 다른 프로세서들의 동작들을 제어하고 조정하는, APU(1100)의 마스터 프로세서이다. 적어도 하나의 실시예에서, 코어 컴플렉스(1110)는, 그래픽 컴플렉스(1140)의 동작을 제어하는 명령들을 송출한다. 적어도 하나의 실시예에서, 코어 컴플렉스(1110)는, CUDA 소스 코드로부터 유래된 호스트 실행가능 코드를 실행하도록 구성될 수 있고, 그래픽 컴플렉스(1140)는, CUDA 소스 코드로부터 유래된 디바이스 실행가능 코드를 실행하도록 구성될 수 있다.
적어도 하나의 실시예에서, 코어 컴플렉스(1110)는, 제한 없이, 코어들(1120(1)-1120(4)) 및 L3 캐시(1130)를 포함한다. 적어도 하나의 실시예에서, 코어 컴플렉스(1110)는, 제한 없이, 임의의 수의 코어들(1120) 및 임의의 수 및 유형의 캐시들을 임의의 조합으로 포함할 수 있다. 적어도 하나의 실시예에서, 코어들(1120)은, 특정 명령어 세트 아키텍처("ISA")의 명령어들을 실행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 코어(1120)는 CPU 코어이다.
적어도 하나의 실시예에서, 각각의 코어(1120)는, 제한 없이, 페치/디코딩 유닛(1122), 정수 실행 엔진(1124), 부동 소수점 실행 엔진(1126), 및 L2 캐시(1128)를 포함한다. 적어도 하나의 실시예에서, 페치/디코딩 유닛(1122)은 명령어들을 페치하고, 그러한 명령어들을 디코딩하고, 마이크로-연산들을 생성하고, 별개의 마이크로-명령어들을 정수 실행 엔진(1124) 및 부동 소수점 실행 엔진(1126)에 디스패치한다. 적어도 하나의 실시예에서, 페치/디코딩 유닛(1122)은, 하나의 마이크로-명령어를 정수 실행 엔진(1124)에 그리고 다른 마이크로-명령어를 부동 소수점 실행 엔진(1126)에 동시에 디스패치할 수 있다. 적어도 하나의 실시예에서, 정수 실행 엔진(1124)은, 제한 없이, 정수 및 메모리 연산들을 실행한다. 적어도 하나의 실시예에서, 부동 소수점 엔진(1126)은, 제한 없이, 부동 소수점 및 벡터 연산들을 실행한다. 적어도 하나의 실시예에서, 페치-디코딩 유닛(1122)은, 마이크로-명령어들을, 정수 실행 엔진(1124) 및 부동 소수점 실행 엔진(1126) 둘 모두를 대체하는 단일 실행 엔진에 디스패치한다.
적어도 하나의 실시예에서, 각각의 코어(1120(i))(i는 코어(1120)의 특정 인스턴스를 표현하는 정수임)는 코어(1120(i))에 포함된 L2 캐시(1128(i))에 액세스할 수 있다. 적어도 하나의 실시예에서, 코어 컴플렉스(1110(j))(j는 코어 컴플렉스(1110)의 특정 인스턴스를 표현하는 정수임)에 포함된 각각의 코어(1120)는, 코어 컴플렉스(1110(j))에 포함된 L3 캐시(1130(j))를 통해, 코어 컴플렉스(1110(j))에 포함된 다른 코어들(1120)에 연결된다. 적어도 하나의 실시예에서, 코어 컴플렉스(1110(j))에 포함된 코어들(1120)(j는 코어 컴플렉스(1110)의 특정 인스턴스를 표현하는 정수임)은, 코어 컴플렉스(1110(j))에 포함된 L3 캐시(1130(j)) 전부에 액세스할 수 있다. 적어도 하나의 실시예에서, L3 캐시(1130)는, 제한 없이, 임의의 수의 슬라이스를 포함할 수 있다.
적어도 하나의 실시예에서, 그래픽 컴플렉스(1140)는, 고도의 병렬 방식으로 컴퓨팅 연산들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 그래픽 컴플렉스(1140)는, 드로잉 명령들, 픽셀 연산들, 기하학적 계산들, 및 이미지를 디스플레이에 렌더링하는 것과 연관된 다른 연산들과 같은 그래픽 파이프라인 연산들을 실행하도록 구성된다. 적어도 하나의 실시예에서, 그래픽 컴플렉스(1140)는, 그래픽에 관련되지 않은 연산들을 실행하도록 구성된다. 적어도 하나의 실시예에서, 그래픽 컴플렉스(1140)는, 그래픽에 관련된 연산들 및 그래픽에 관련되지 않은 연산들 둘 모두를 실행하도록 구성된다.
적어도 하나의 실시예에서, 그래픽 컴플렉스(1140)는, 제한 없이, 임의의 수의 컴퓨팅 유닛들(1150) 및 L2 캐시(1142)를 포함한다. 적어도 하나의 실시예에서, 컴퓨팅 유닛들(1150)은 L2 캐시(1142)를 공유한다. 적어도 하나의 실시예에서, L2 캐시(1142)는 파티셔닝된다. 적어도 하나의 실시예에서, 그래픽 컴플렉스(1140)는, 제한 없이, 임의의 수의 컴퓨팅 유닛(1150) 및 임의의 수(영개를 포함함) 및 유형의 캐시를 포함한다. 적어도 하나의 실시예에서, 그래픽 컴플렉스(1140)는, 제한 없이, 임의의 양의 전용 그래픽 하드웨어를 포함한다.
적어도 하나의 실시예에서, 각각의 컴퓨팅 유닛(1150)은, 제한 없이, 임의의 수의 SIMD 유닛(1152) 및 공유 메모리(1154)를 포함한다. 적어도 하나의 실시예에서, 각각의 SIMD 유닛(1152)은 SIMD 아키텍처를 구현하고, 연산들을 병렬로 수행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 컴퓨팅 유닛(1150)은 임의의 수의 스레드 블록을 실행할 수 있지만, 각각의 스레드 블록은 단일 컴퓨팅 유닛(1150) 상에서 실행된다. 적어도 하나의 실시예에서, 스레드 블록은, 제한 없이, 임의의 수의 실행 스레드를 포함한다. 적어도 하나의 실시예에서, 작업그룹은 스레드 블록이다. 적어도 하나의 실시예에서, 각각의 SIMD 유닛(1152)은 상이한 워프(warp)를 실행한다. 적어도 하나의 실시예에서, 워프는 스레드들의 그룹(예컨대, 16개의 스레드)이며, 여기서, 워프 내의 각각의 스레드는 단일 스레드 블록에 속하고, 단일 세트의 명령어들에 기반하여 상이한 세트의 데이터를 처리하도록 구성된다. 적어도 하나의 실시예에서, 워프 내의 하나 이상의 스레드를 디스에이블링하기 위해 예측이 사용될 수 있다. 적어도 하나의 실시예에서, 레인이 스레드이다. 적어도 하나의 실시예에서, 작업 항목이 스레드이다. 적어도 하나의 실시예에서, 등위상면(wavefront)이 워프이다. 적어도 하나의 실시예에서, 스레드 블록 내의 상이한 등위상면들이 공유 메모리(1154)를 통해 함께 동기화되고 통신할 수 있다.
적어도 하나의 실시예에서, 패브릭(1160)은, 코어 컴플렉스(1110), 그래픽 컴플렉스(1140), I/O 인터페이스들(1170), 메모리 제어기들(1180), 디스플레이 제어기(1192), 및 멀티미디어 엔진(1194)에 걸친 데이터 및 제어 송신들을 용이하게 하는 시스템 상호연결부이다. 적어도 하나의 실시예에서, APU(1100)는, 제한 없이, APU(1100)의 내부 또는 외부에 있을 수 있는 임의의 수 및 유형의 직접 또는 간접 링크된 구성요소에 걸친 데이터 및 제어 송신들을 용이하게 하는 패브릭(1160)에 부가하여 또는 그 대신에 임의의 양 및 유형의 시스템 상호연결부를 포함할 수 있다. 적어도 하나의 실시예에서, I/O 인터페이스들(1170)은, 임의의 수 및 유형의 I/O 인터페이스(예컨대, PCI, PCI 확장("PCI-X"; PCI-Extended), PCIe, 기가비트 이더넷("GBE"), USB 등)를 나타낸다. 적어도 하나의 실시예에서, 다양한 유형들의 주변 디바이스들이 I/O 인터페이스들(1170)에 결합된다. 적어도 하나의 실시예에서, I/O 인터페이스들(1170)에 결합되는 주변 디바이스들은, 제한 없이, 키보드들, 마우스들, 프린터들, 스캐너들, 조이스틱들 또는 다른 유형들의 게임 제어기들, 미디어 기록 디바이스들, 외부 저장 디바이스들, 네트워크 인터페이스 카드들 등을 포함할 수 있다.
적어도 하나의 실시예에서, 디스플레이 제어기(AMD92)는, 액정 디스플레이("LCD") 디바이스와 같은 하나 이상의 디스플레이 디바이스(들) 상에 이미지를 디스플레이한다. 적어도 하나의 실시예에서, 멀티미디어 엔진(1194)은, 제한 없이, 비디오 디코더, 비디오 인코더, 이미지 신호 프로세서 등과 같은 멀티미디어와 관련된 임의의 양 및 유형의 회로를 포함한다. 적어도 하나의 실시예에서, 메모리 제어기(1180)는, APU(1100)와 통합 시스템 메모리(1190) 사이에서의 데이터 전송들을 용이하게 한다. 적어도 하나의 실시예에서, 코어 컴플렉스(1110) 및 그래픽 컴플렉스(1140)는 통합 시스템 메모리(1190)를 공유한다.
적어도 하나의 실시예에서, APU(1100)는, 하나의 구성요소에 전용되거나 다수의 구성요소들 간에 공유될 수 있는 임의의 양 및 유형의 메모리 제어기(1180) 및 메모리 디바이스(예컨대, 공유 메모리(1154))를 제한 없이 포함하는 메모리 서브시스템을 구현한다. 적어도 하나의 실시예에서, APU(1100)는, 임의의 수의 구성요소(예컨대, 코어들(1120), 코어 컴플렉스(1110), SIMD 유닛들(1152), 컴퓨팅 유닛들(1150), 및 그래픽 컴플렉스(1140))에 대해 각각이 사적이거나 그들 사이에 공유될 수 있는 하나 이상의 캐시 메모리(예컨대, L2 캐시들(1228), L3 캐시(1130), 및 L2 캐시(1142))를 제한 없이 포함하는 캐시 서브시스템을 구현한다.
도 12는 적어도 하나의 실시예에 따른 CPU(1200)를 예시한다. 적어도 하나의 실시예에서, CPU(1200)는, 캘리포니아 주 산타 클라라의 AMD 코포레이션에 의해 개발된다. 적어도 하나의 실시예에서, CPU(1200)는, 애플리케이션 프로그램을 실행하도록 구성될 수 있다. 적어도 하나의 실시예에서, CPU(1200)는, 운영 체제와 같은 메인 제어 소프트웨어를 실행하도록 구성된다. 적어도 하나의 실시예에서, CPU(1200)는, 외부 GPU(도시되지 않음)의 동작을 제어하는 명령들을 송출한다. 적어도 하나의 실시예에서, CPU(1200)는, CUDA 소스 코드로부터 유래된 호스트 실행가능 코드를 실행하도록 구성될 수 있고, 외부 GPU는, 그러한 CUDA 소스 코드로부터 유래된 디바이스 실행가능 코드를 실행하도록 구성될 수 있다. 적어도 하나의 실시예에서, CPU(1200)는, 제한 없이, 임의의 수의 코어 컴플렉스(1210), 패브릭(1260), I/O 인터페이스(1270), 및 메모리 제어기(1280)를 포함한다.
적어도 하나의 실시예에서, 코어 컴플렉스(1210)는, 제한 없이, 코어들(1220(1)-1220(4)) 및 L3 캐시(1230)를 포함한다. 적어도 하나의 실시예에서, 코어 컴플렉스(1210)는, 제한 없이, 임의의 수의 코어들(1220) 및 임의의 수 및 유형의 캐시들을 임의의 조합으로 포함할 수 있다. 적어도 하나의 실시예에서, 코어들(1220)은, 특정 ISA의 명령어들을 실행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 코어(1220)는 CPU 코어이다.
적어도 하나의 실시예에서, 각각의 코어(1220)는, 제한 없이, 페치/디코딩 유닛(1222), 정수 실행 엔진(1224), 부동 소수점 실행 엔진(1226), 및 L2 캐시(1228)를 포함한다. 적어도 하나의 실시예에서, 페치/디코딩 유닛(1222)은 명령어들을 페치하고, 그러한 명령어들을 디코딩하고, 마이크로-연산들을 생성하고, 별개의 마이크로-명령어들을 정수 실행 엔진(1224) 및 부동 소수점 실행 엔진(1226)에 디스패치한다. 적어도 하나의 실시예에서, 페치/디코딩 유닛(1222)은, 하나의 마이크로-명령어를 정수 실행 엔진(1224)에 그리고 다른 마이크로-명령어를 부동 소수점 실행 엔진(1226)에 동시에 디스패치할 수 있다. 적어도 하나의 실시예에서, 정수 실행 엔진(1224)은, 제한 없이, 정수 및 메모리 연산들을 실행한다. 적어도 하나의 실시예에서, 부동 소수점 엔진(1226)은, 제한 없이, 부동 소수점 및 벡터 연산들을 실행한다. 적어도 하나의 실시예에서, 페치-디코딩 유닛(1222)은, 마이크로-명령어들을, 정수 실행 엔진(1224) 및 부동 소수점 실행 엔진(1226) 둘 모두를 대체하는 단일 실행 엔진에 디스패치한다.
적어도 하나의 실시예에서, 각각의 코어(1220(i))(i는 코어(1220)의 특정 인스턴스를 표현하는 정수임)는 코어(1220(i))에 포함된 L2 캐시(1228(i))에 액세스할 수 있다. 적어도 하나의 실시예에서, 코어 컴플렉스(1210(j))(j는 코어 컴플렉스(1210)의 특정 인스턴스를 표현하는 정수임)에 포함된 각각의 코어(1220)는, 코어 컴플렉스(1210(j))에 포함된 L3 캐시(1230(j))를 통해, 코어 컴플렉스(1210(j))에 포함된 다른 코어들(1220)에 연결된다. 적어도 하나의 실시예에서, 코어 컴플렉스(1210(j))에 포함된 코어들(1220)(j는 코어 컴플렉스(1210)의 특정 인스턴스를 표현하는 정수임)은, 코어 컴플렉스(1210(j))에 포함된 L3 캐시(1230(j)) 전부에 액세스할 수 있다. 적어도 하나의 실시예에서, L3 캐시(1230)는, 제한 없이, 임의의 수의 슬라이스를 포함할 수 있다.
적어도 하나의 실시예에서, 패브릭(1260)은, 코어 컴플렉스들(1210(1)-1210(N))(N은 영보다 큰 정수임), I/O 인터페이스들(1270), 및 메모리 제어기들(1280)에 걸친 데이터 및 제어 송신들을 용이하게 하는 시스템 상호연결부이다. 적어도 하나의 실시예에서, CPU(1200)는, 제한 없이, CPU(1200)의 내부 또는 외부에 있을 수 있는 임의의 수 및 유형의 직접 또는 간접 링크된 구성요소에 걸친 데이터 및 제어 송신들을 용이하게 하는 패브릭(1260)에 부가하여 또는 그 대신에 임의의 양 및 유형의 시스템 상호연결부를 포함할 수 있다. 적어도 하나의 실시예에서, I/O 인터페이스들(1270)은, 임의의 수 및 유형의 I/O 인터페이스(예컨대, PCI, PCI-X, PCIe, GBE, USB 등)를 나타낸다. 적어도 하나의 실시예에서, 다양한 유형들의 주변 디바이스들이 I/O 인터페이스들(1270)에 결합된다. 적어도 하나의 실시예에서, I/O 인터페이스들(1270)에 결합되는 주변 디바이스들은, 제한 없이, 디스플레이들, 키보드들, 마우스들, 프린터들, 스캐너들, 조이스틱들 또는 다른 유형들의 게임 제어기들, 미디어 기록 디바이스들, 외부 저장 디바이스들, 네트워크 인터페이스 카드들 등을 포함할 수 있다.
적어도 하나의 실시예에서, 메모리 제어기(1280)는, CPU(1200)와 시스템 메모리(1290) 사이에서의 데이터 전송들을 용이하게 한다. 적어도 하나의 실시예에서, 코어 컴플렉스(1210) 및 그래픽 컴플렉스(1240)는 시스템 메모리(1290)를 공유한다. 적어도 하나의 실시예에서, CPU(1200)는, 하나의 구성요소에 전용되거나 다수의 구성요소들 간에 공유될 수 있는 임의의 양 및 유형의 메모리 제어기(1280) 및 메모리 디바이스를 제한 없이 포함하는 메모리 서브시스템을 구현한다. 적어도 하나의 실시예에서, CPU(1200)는, 임의의 수의 구성요소(예컨대, 코어들(1220) 및 코어 컴플렉스들(1210))에 대해 각각이 사적이거나 그들 사이에 공유될 수 있는 하나 이상의 캐시 메모리(예컨대, L2 캐시들(1228) 및 L3 캐시들(1230))를 제한 없이 포함하는 캐시 서브시스템을 구현한다.
도 13은 적어도 하나의 실시예에 따른 예시적인 가속기 통합 슬라이스(1390)를 예시한다. 본원에서 사용되는 바와 같이, "슬라이스"는 가속기 통합 회로의 처리 리소스들의 특정된 부분을 포함한다. 적어도 하나의 실시예에서, 가속기 통합 회로는, 그래픽 가속 모듈에 포함된 다수의 그래픽 처리 엔진들을 위하여 캐시 관리, 메모리 액세스, 컨텍스트 관리, 및 인터럽트 관리 서비스들을 제공한다. 그래픽 처리 엔진들은 각각 별개의 GPU를 포함할 수 있다. 대안적으로, 그래픽 처리 엔진들은, 그래픽 실행 유닛들, 미디어 처리 엔진들(예컨대, 비디오 인코더들/디코더들), 샘플러들, 및 블리트 엔진(blit engine)들과 같은 상이한 유형들의 그래픽 처리 엔진들을 GPU 내에 포함할 수 있다. 적어도 하나의 실시예에서, 그래픽 가속 모듈은 다수의 그래픽 처리 엔진들을 갖는 GPU일 수 있다. 적어도 하나의 실시예에서, 그래픽 처리 엔진들은, 공통 패키지, 라인 카드, 또는 칩 상에 통합된 개별 GPU들일 수 있다.
시스템 메모리(1314) 내의 애플리케이션 유효 어드레스 공간(1382)은 프로세스 요소들(1383)을 저장한다. 일 실시예에서, 프로세스 요소들(1383)은 프로세서(1307) 상에서 실행되는 애플리케이션들(1380)로부터의 GPU 호출들(1381)에 대한 응답으로 저장된다. 프로세스 요소(1383)는 대응하는 애플리케이션(1380)에 대한 프로세스 상태를 포함한다. 프로세스 요소(1383)에 포함된 작업 기술어("WD"; work descriptor)(1384)는 애플리케이션에 의해 요청된 단일 작업일 수 있거나 작업들의 큐에 대한 포인터를 포함할 수 있다. 적어도 하나의 실시예에서, WD(1384)는 애플리케이션 유효 어드레스 공간(1382) 내의 작업 요청 큐에 대한 포인터이다.
그래픽 가속 모듈(1346) 및/또는 개별 그래픽 처리 엔진들은 시스템에서의 프로세스들 전부 또는 그 서브세트에 의해 공유될 수 있다. 적어도 하나의 실시예에서, 가상화된 환경에서 작업을 시작하기 위해 프로세스 상태를 설정하고 WD(1384)를 그래픽 가속 모듈(1346)에 전송하기 위한 기반구조가 포함될 수 있다.
적어도 하나의 실시예에서, 전용 프로세스 프로그래밍 모델은 구현 특정적이다. 이러한 모델에서, 단일 프로세스는 그래픽 가속 모듈(1346) 또는 개별 그래픽 처리 엔진을 소유한다. 그래픽 가속 모듈(1346)이 단일 프로세스에 의해 소유되기 때문에, 그래픽 가속 모듈(1346)이 배정될 때 하이퍼바이저는 소유한 파티션에 대해 가속기 통합 회로를 초기화하고 운영 체제는 소유한 프로세스에 대해 가속기 통합 회로를 초기화한다.
동작 시, 가속기 통합 슬라이스(1390) 내의 WD 페치 유닛(1391)은, 그래픽 가속 모듈(1346)의 하나 이상의 그래픽 처리 엔진에 의해 행해질 작업의 표시를 포함하는 다음 WD(1384)를 페치한다. WD(1384)로부터의 데이터는 레지스터들(1345)에 저장되고, 예시된 바와 같은 메모리 관리 유닛("MMU")(1339), 인터럽트 관리 회로(1347), 및/또는 컨텍스트 관리 회로(1348)에 의해 사용될 수 있다. 예컨대, MMU(1339)의 일 실시예는, OS 가상 어드레스 공간(1385) 내의 세그먼트/페이지 테이블들(1386)에 액세스하기 위한 세그먼트/페이지 워크(walk) 회로를 포함한다. 인터럽트 관리 회로(1347)는, 그래픽 가속 모듈(1346)로부터 수신되는 인터럽트 이벤트들("INT")(1392)을 처리할 수 있다. 그래픽 연산들을 수행할 때, 그래픽 처리 엔진에 의해 생성된 유효 어드레스(1393)는 MMU(1339)에 의해 실제 어드레스로 변환된다.
일 실시예에서, 동일한 세트의 레지스터들(1345)은 각각의 그래픽 처리 엔진 및/또는 그래픽 가속 모듈(1346)에 대해 복제되고, 하이퍼바이저 또는 운영 체제에 의해 초기화될 수 있다. 이러한 복제된 레지스터들 각각은 가속기 통합 슬라이스(1390)에 포함될 수 있다. 하이퍼바이저에 의해 초기화될 수 있는 예시적인 레지스터들이 표 1에 나타나 있다.
표 1 ― 하이퍼바이저 초기화 레지스터들
운영 체제에 의해 초기화될 수 있는 예시적인 레지스터들이 표 2에 나타나 있다.
표 2 ― 운영 체제 초기화 레지스터들
일 실시예에서, 각각의 WD(1384)는 특정 그래픽 가속 모듈(1346) 및/또는 특정 그래픽 처리 엔진들에 특정적이다. 그것은, 작업을 행하기 위해 그래픽 처리 엔진에 의해 요구되는 모든 정보를 포함하거나, 애플리케이션이 완료될 작업의 명령 큐를 설정한 메모리 위치에 대한 포인터일 수 있다.
도 14a 내지 도 14b는 적어도 하나의 실시예에 따른 예시적인 그래픽 프로세서들을 예시한다. 적어도 하나의 실시예에서, 예시적인 그래픽 프로세서들 중 임의의 것은 하나 이상의 IP 코어를 사용하여 제조될 수 있다. 예시된 것에 부가하여, 적어도 하나의 실시예에서, 부가적인 그래픽 프로세서들/코어들, 주변기기 인터페이스 제어기들, 또는 범용 프로세서 코어들을 포함하는 다른 로직 및 회로들이 포함될 수 있다. 적어도 하나의 실시예에서, 예시적인 그래픽 프로세서는 SoC 내에서 사용하기 위한 것이다.
도 14a는 적어도 하나의 실시예에 따른, 하나 이상의 IP 코어를 사용하여 제조될 수 있는 SoC 집적 회로의 예시적인 그래픽 프로세서(1410)를 예시한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1410)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, 그래픽 프로세서(1410)는 도 1에서의 GPU(120)에 포함될 수 있다. 도 14b는 적어도 하나의 실시예에 따른, 하나 이상의 IP 코어를 사용하여 제조될 수 있는 SoC 집적 회로의 부가적인 예시적인 그래픽 프로세서(1440)를 예시한다. 적어도 하나의 실시예에서, 도 14a의 그래픽 프로세서(1410)는 저전력 그래픽 프로세서 코어이다. 적어도 하나의 실시예에서, 도 14b의 그래픽 프로세서(1440)는 더 높은 성능 그래픽 프로세서 코어이다. 적어도 하나의 실시예에서, 그래픽 프로세서들(1410, 1440) 각각은, 도 9의 그래픽 프로세서(910)의 변형들일 수 있다.
적어도 하나의 실시예에서, 그래픽 프로세서(1410)는, 정점 프로세서(1405) 및 하나 이상의 프래그먼트 프로세서(들)(1415A-1415N)(예컨대, 1415A, 1415B, 1415C, 1415D 내지 1415N-1, 및 1415N)를 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1410)는, 정점 프로세서(1405)가 정점 셰이더 프로그램들에 대한 연산들을 실행하도록 최적화되는 한편 하나 이상의 프래그먼트 프로세서(들)(1415A-1415N)가 프래그먼트 또는 픽셀 셰이더 프로그램들에 대한 프래그먼트(예컨대, 픽셀) 셰이딩 연산들을 실행하도록, 별개의 로직을 통해 상이한 셰이더 프로그램들을 실행할 수 있다. 적어도 하나의 실시예에서, 정점 프로세서(1405)는 3D 그래픽 파이프라인의 정점 처리 스테이지를 수행하고 프리미티브(primitive)들 및 정점 데이터를 생성한다. 적어도 하나의 실시예에서, 프래그먼트 프로세서(들)(1415A-1415N)는 정점 프로세서(1405)에 의해 생성된 프리미티브 및 정점 데이터를 사용하여 디스플레이 디바이스 상에 디스플레이되는 프레임버퍼를 생성한다. 적어도 하나의 실시예에서, 프래그먼트 프로세서(들)(1415A-1415N)는, 다이렉트 3D(Direct 3D) API에서 제공되는 바와 같은 픽셀 셰이더 프로그램과 유사한 연산들을 수행하는 데 사용될 수 있는, OpenGL API에서 제공되는 프래그먼트 셰이더 프로그램들을 실행하도록 최적화된다.
적어도 하나의 실시예에서, 그래픽 프로세서(1410)는 부가적으로, 하나 이상의 MMU(들)(1420A-1420B), 캐시(들)(1425A-1425B), 및 회로 상호연결부(들)(1430A-1430B)를 포함한다. 적어도 하나의 실시예에서, 하나 이상의 MMU(들)(1420A-1420B)는, 하나 이상의 캐시(들)(1425A-1425B)에 저장된 정점 또는 이미지/텍스처 데이터에 부가하여, 메모리에 저장된 정점 또는 이미지/텍스처 데이터를 참조할 수 있는, 정점 프로세서(1405) 및/또는 프래그먼트 프로세서(들)(1415A-1415N)에 대한 것을 포함하는 그래픽 프로세서(1410)에 대한 가상 대 물리 어드레스 맵핑을 제공한다. 적어도 하나의 실시예에서, 하나 이상의 MMU(들)(1420A-1420B)는, 도 9의 하나 이상의 애플리케이션 프로세서(들)(905), 이미지 프로세서(915), 및/또는 비디오 프로세서(920)와 연관된 하나 이상의 MMU를 포함하는 시스템 내의 다른 MMU들과 동기화될 수 있으며, 이에 따라, 각각의 프로세서(905-920)는 공유 또는 통합 가상 메모리 시스템에 참여할 수 있다. 적어도 하나의 실시예에서, 하나 이상의 회로 상호연결부(들)(1430A-1430B)는, 그래픽 프로세서(1410)가 SoC의 내부 버스를 통해 또는 직접 연결을 통해 SoC 내의 다른 IP 코어들과 인터페이싱하는 것을 가능하게 한다.
적어도 하나의 실시예에서, 그래픽 프로세서(1440)는, 도 14a의 그래픽 프로세서(1410)의 하나 이상의 MMU(들)(1420A-1420B), 캐시(1425A-1425B), 및 회로 상호연결부(1430A-1430B)를 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1440)는, 하나 이상의 셰이더 코어(들)(1455A-1455N)(예컨대, 1455A, 1455B, 1455C, 1455D, 1455E, 1455F 내지 1455N-1, 및 1455N)를 포함하고, 이 셰이더 코어(들)는, 단일 코어 또는 유형 또는 코어가, 정점 셰이더들, 프래그먼트 셰이더들, 및/또는 컴퓨팅 셰이더들을 구현하기 위한 셰이더 프로그램 코드를 포함하는 모든 유형들의 프로그래밍가능 셰이더 코드를 실행할 수 있는 통합 셰이더 코어 아키텍처를 제공한다. 적어도 하나의 실시예에서, 셰이더 코어들의 수는 변할 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서(1440)는, 하나 이상의 셰이더 코어(1455A-1455N)에 실행 스레드들을 디스패치하는 스레드 디스패처로서 작용하는 코어 간 작업 관리자(1445), 및 예컨대 장면 내에서의 로컬 공간적 일관성을 이용하거나 내부 캐시들의 사용을 최적화하기 위해 장면에 대한 렌더링 연산들이 이미지 공간에서 세분되는, 타일 기반 렌더링을 위한 타일링 연산들을 가속하는 타일링 유닛(1458)을 포함한다.
도 15a는 적어도 하나의 실시예에 따른 그래픽 코어(1500)를 예시한다. 적어도 하나의 실시예에서, 그래픽 코어(1500)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, 그래픽 코어(1500)는, 도 1에서의 GPU 코어(125, 130, 및 135)일 수 있다. 적어도 하나의 실시예에서, 그래픽 코어(1500)는, 도 9의 그래픽 프로세서(910) 내에 포함될 수 있다. 적어도 하나의 실시예에서, 그래픽 코어(1500)는, 도 14b에서와 같이 통합 셰이더 코어(1455A-1455N)일 수 있다. 적어도 하나의 실시예에서, 그래픽 코어(1500)는, 그래픽 코어(1500) 내의 실행 리소스들에 공통인 공유 명령어 캐시(1502), 텍스처 유닛(1518), 및 캐시/공유 메모리(1520)를 포함한다. 적어도 하나의 실시예에서, 그래픽 코어(1500)는, 각각의 코어에 대한 다수의 슬라이스들(1501A-1501N) 또는 파티션을 포함할 수 있고, 그래픽 프로세서는 그래픽 코어(1500)의 다수의 인스턴스들을 포함할 수 있다. 슬라이스들(1501A-1501N)은, 로컬 명령어 캐시(1504A-1504N), 스레드 스케줄러(1506A-1506N), 스레드 디스패처(1508A-1508N), 및 레지스터들(1510A-1510N)의 세트를 포함하는 지원 로직을 포함할 수 있다. 적어도 하나의 실시예에서, 슬라이스들(1501A-1501N)은, 한 세트의 부가적인 기능 유닛("AFU")들(1512A-1512N), 부동 소수점 유닛("FPU")들(1514A-1514N), 정수 산술 로직 유닛("ALU")들(1516-1516N), 어드레스 계산 유닛("ACU")들(1513A-1513N), 배정밀도(double-precision) 부동 소수점 유닛("DPFPU")들(1515A-1515N), 및 행렬 처리 유닛("MPU")들(1517A-1517N)을 포함할 수 있다.
적어도 하나의 실시예에서, FPU들(1514A-1514N)은, 단정밀도(single-precision)(32비트) 및 반정밀도(half-precision)(16비트) 부동 소수점 연산들을 수행할 수 있는 한편, DPFPU들(1515A-1515N)은 배정밀도(64비트) 부동 소수점 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, ALU들(1516A-1516N)은, 8 비트, 16 비트, 및 32 비트 정밀도에서 가변 정밀도 정수 연산들을 수행할 수 있고 혼합된 정밀도 연산들을 위해 구성될 수 있다. 적어도 하나의 실시예에서, MPU들(1517A-1517N)은 또한, 반정밀도 부동 소수점 및 8 비트 정수 연산들을 포함하는 혼합 정밀도 행렬 연산들을 위해 구성될 수 있다. 적어도 하나의 실시예에서, MPU들(1517-1517N)은, 가속된 일반 행렬 대 행렬 곱셈(GEMM; general matrix to matrix multiplication)에 대한 지원을 가능하게 하는 것을 포함하여, CUDA 프로그램들을 가속하기 위해 다양한 행렬 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, AFU들(1512A-1512N)은, 삼각 연산들(예컨대, 사인, 코사인 등)을 포함하여, 부동 소수점 또는 정수 유닛들에 의해 지원되지 않는 부가적인 로직 연산들을 수행할 수 있다.
도 15b는 적어도 하나의 실시예에 따른 범용 그래픽 처리 유닛("GPGPU")(1530)을 예시한다. 적어도 하나의 실시예에서, GPGPU(1530)는 고도로 병렬이고 멀티칩 모듈 상의 배치에 적합하다. 적어도 하나의 실시예에서, GPGPU(1530)는 고도로 병렬인 컴퓨팅 연산들이 GPU들의 어레이에 의해 수행될 수 있게 하도록 구성될 수 있다. 적어도 하나의 실시예에서, GPGPU(1530)는, GPGPU(1530)의 다른 인스턴스들에 직접 링크되어 멀티-GPU 클러스터를 생성함으로써 CUDA 프로그램들에 대한 실행 시간을 개선할 수 있다. 적어도 하나의 실시예에서, GPGPU(1530)는 호스트 프로세서와의 연결을 가능하게 하는 호스트 인터페이스(1532)를 포함한다. 적어도 하나의 실시예에서, 호스트 인터페이스(1532)는 PCIe 인터페이스이다. 적어도 하나의 실시예에서, 호스트 인터페이스(1532)는 공급업체 특정 통신 인터페이스 또는 통신 패브릭일 수 있다. 적어도 하나의 실시예에서, GPGPU(1530)는 호스트 프로세서로부터 명령들을 수신하고, 전역 스케줄러(1534)를 사용하여 그 명령들과 연관된 실행 스레드들을 컴퓨팅 클러스터들(1536A-1536H)의 세트에 분배한다. 적어도 하나의 실시예에서, 컴퓨팅 클러스터들(1536A-1536H)은 캐시 메모리(1538)를 공유한다. 적어도 하나의 실시예에서, 캐시 메모리(1538)는 컴퓨팅 클러스터들(1536A-1536H) 내의 캐시 메모리들에 대한 상위 레벨 캐시의 역할을 할 수 있다.
적어도 하나의 실시예에서, GPGPU(1530)는 메모리 제어기들(1542A-1542B)의 세트를 통해 컴퓨팅 클러스터들(1536A-1536H)과 결합되는 메모리(1544A-1544B)를 포함한다. 적어도 하나의 실시예에서, 메모리(1544A-1544B)는, 그래픽 2배 데이터율("GDDR") 메모리를 포함하여 동기식 그래픽 랜덤 액세스 메모리("SGRAM")와 같은 DRAM 또는 그래픽 랜덤 액세스 메모리를 포함하는 다양한 유형들의 메모리 디바이스들을 포함할 수 있다.
적어도 하나의 실시예에서, 컴퓨팅 클러스터들(1536A-1536H)은 각각, CUDA 프로그램들과 연관된 계산들에 적합한 것을 포함하는 정밀도들의 범위에서 계산 연산들을 수행할 수 있는 다수의 유형들의 정수 및 부동 소수점 로직 유닛들을 포함할 수 있는, 도 15a의 그래픽 코어(1500)와 같은 그래픽 코어들의 세트를 포함한다. 예컨대, 적어도 하나의 실시예에서, 컴퓨팅 클러스터들(1536A-1536H) 각각 내의 부동 소수점 유닛들의 적어도 서브세트는 16 비트 또는 32 비트 부동 소수점 연산들을 수행하도록 구성될 수 있는 한편, 부동 소수점 유닛들의 상이한 서브세트는 64 비트 부동 소수점 연산들을 수행하도록 구성될 수 있다.
적어도 하나의 실시예에서, GPGPU(1530)의 다수의 인스턴스들은 컴퓨팅 클러스터로서 동작하도록 구성될 수 있다. 컴퓨팅 클러스터들(1536A-1536H)은, 동기화 및 데이터 교환을 위한 임의의 기술적으로 실현가능한 통신 기법들을 구현할 수 있다. 적어도 하나의 실시예에서, GPGPU(1530)의 다수의 인스턴스들은 호스트 인터페이스(1532)를 통해 통신한다. 적어도 하나의 실시예에서, GPGPU(1530)는, GPGPU(1530)의 다른 인스턴스들에 대한 직접 연결을 가능하게 하는, GPGPU(1530)를 GPU 링크(1540)와 결합하는 I/O 허브(1539)를 포함한다. 적어도 하나의 실시예에서, GPU 링크(1540)는, GPGPU(1530)의 다수의 인스턴스들 사이의 통신 및 동기화를 가능하게 하는 전용 GPU-대-GPU 브릿지에 결합된다. 적어도 하나의 실시예에서, GPU 링크(1540)는 다른 GPGPU들(1530) 또는 병렬 프로세서들에 대한 데이터를 송신 및 수신하기 위해 고속 상호연결부와 결합된다. 적어도 하나의 실시예에서, GPGPU(1530)의 다수의 인스턴스들은 별개의 데이터 처리 시스템들에 위치되고, 호스트 인터페이스(1532)를 통해 액세스가능한 네트워크 디바이스를 통해 통신한다. 적어도 하나의 실시예에서, GPU 링크(1540)는, 호스트 인터페이스(1532)에 부가하여 또는 그에 대한 대안으로서 호스트 프로세서에 대한 연결을 가능하게 하도록 구성될 수 있다. 적어도 하나의 실시예에서, GPGPU(1530)는 CUDA 프로그램을 실행하도록 구성될 수 있다.
도 16a는 적어도 하나의 실시예에 따른 병렬 프로세서(1600)를 예시한다. 적어도 하나의 실시예에서, 병렬 프로세서(1600)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, 병렬 프로세서(1600)는 도 1에서의 GPU(120)일 수 있다. 적어도 하나의 실시예에서, 병렬 프로세서(1600)의 다양한 구성요소들은, 프로그래밍가능 프로세서들, 주문형 집적 회로("ASIC")들, 또는 FPGA들과 같은 하나 이상의 집적 회로 디바이스를 사용하여 구현될 수 있다.
적어도 하나의 실시예에서, 병렬 프로세서(1600)는 병렬 처리 유닛(1602)을 포함한다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1602)은, 병렬 처리 유닛(1602)의 다른 인스턴스들을 포함하여 다른 디바이스들과의 통신을 가능하게 하는 I/O 유닛(1604)을 포함한다. 적어도 하나의 실시예에서, I/O 유닛(1604)은 다른 디바이스들에 직접 연결될 수 있다. 적어도 하나의 실시예에서, I/O 유닛(1604)은 메모리 허브(1605)와 같은 허브 또는 스위치 인터페이스의 사용을 통해 다른 디바이스들과 연결된다. 적어도 하나의 실시예에서, 메모리 허브(1605)와 I/O 유닛(1604) 사이의 연결들은 통신 링크를 형성한다. 적어도 하나의 실시예에서, I/O 유닛(1604)은 호스트 인터페이스(1606) 및 메모리 크로스바(1616)와 연결되며, 여기서, 호스트 인터페이스(1606)는 처리 연산들을 수행하는 것에 관련된 명령들을 수신하고 메모리 크로스바(1616)는 메모리 연산들을 수행하는 것에 관련된 명령들을 수신한다.
적어도 하나의 실시예에서, 호스트 인터페이스(1606)가 I/O 유닛(1604)을 통해 명령 버퍼를 수신할 때, 호스트 인터페이스(1606)는 이러한 명령들을 수행하기 위한 작업 연산들을 프론트 엔드(1608)에 지시할 수 있다. 적어도 하나의 실시예에서, 프론트 엔드(1608)는, 명령들 또는 다른 작업 항목들을 처리 어레이(1612)에 분배하도록 구성되는 스케줄러(1610)와 결합된다. 적어도 하나의 실시예에서, 스케줄러(1610)는, 작업들이 처리 어레이(1612)에 분배되기 전에 처리 어레이(1612)가 적절하게 구성되고 유효한 상태에 있다는 것을 보장한다. 적어도 하나의 실시예에서, 스케줄러(1610)는 마이크로제어기 상에서 실행되는 펌웨어 로직을 통해 구현된다. 적어도 하나의 실시예에서, 마이크로제어기에 의해 구현된 스케줄러(1610)는, 복잡한 스케줄링 및 작업 분배 동작들을 개략적 및 정밀한 세분도로 수행하도록 구성가능할 수 있어서, 처리 어레이(1612) 상에서 실행되는 스레드들의 신속한 선점 및 컨텍스트 스위칭이 가능해진다. 적어도 하나의 실시예에서, 호스트 소프트웨어는 다수의 그래픽 처리 도어벨(doorbell)들 중 하나를 통한 처리 어레이(1612) 상에서의 스케줄링에 대한 작업부하들을 판명할 수 있다. 적어도 하나의 실시예에서, 작업부하들은 이어서, 스케줄러(1610)를 포함하는 마이크로제어기 내의 스케줄러(1610) 로직에 의해 처리 어레이(1612)에 걸쳐 자동으로 분배될 수 있다.
적어도 하나의 실시예에서, 처리 어레이(1612)는 최대 "N"개의 클러스터(예컨대, 클러스터(1614A), 클러스터(1614B), 내지 클러스터(1614N))를 포함할 수 있다. 적어도 하나의 실시예에서, 처리 어레이(1612)의 각각의 클러스터(1614A-1614N)는 많은 수의 동시 스레드들을 실행할 수 있다. 적어도 하나의 실시예에서, 스케줄러(1610)는, 각각의 유형의 프로그램 또는 계산에 대해 발생하는 작업부하에 따라 다를 수 있는 다양한 스케줄링 및/또는 작업 분배 알고리즘들을 사용하여 처리 어레이(1612)의 클러스터들(1614A-1614N)에 작업을 할당할 수 있다. 적어도 하나의 실시예에서, 스케줄링은, 스케줄러(1610)에 의해 동적으로 처리될 수 있거나 또는 처리 어레이(1612)에 의한 실행을 위해 구성된 프로그램 로직의 컴파일 동안 컴파일러 로직에 의해 부분적으로 보조될 수 있다. 적어도 하나의 실시예에서, 처리 어레이(1612)의 상이한 클러스터들(1614A-1614N)은, 상이한 유형들의 프로그램들을 처리하는 데 또는 상이한 유형들의 계산들을 수행하는 데 할당될 수 있다.
적어도 하나의 실시예에서, 처리 어레이(1612)는 다양한 유형들의 병렬 처리 연산들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 처리 어레이(1612)는 범용 병렬 컴퓨팅 연산들을 수행하도록 구성된다. 예컨대, 적어도 하나의 실시예에서, 처리 어레이(1612)는, 비디오 및/또는 오디오 데이터의 필터링, 물리 연산들을 포함하는 모델링 연산들의 수행, 및 데이터 변환들의 수행을 포함하는 처리 작업들을 실행하기 위한 로직을 포함할 수 있다.
적어도 하나의 실시예에서, 처리 어레이(1612)는 병렬 그래픽 처리 연산들을 수행하도록 구성된다. 적어도 하나의 실시예에서, 처리 어레이(1612)는, 텍스처 연산들을 수행하기 위한 텍스처 샘플링 로직뿐만 아니라 테셀레이션(tessellation) 로직 및 다른 정점 처리 로직을 포함하지만 이에 제한되지 않는, 그러한 그래픽 처리 연산들의 실행을 지원하기 위한 부가적인 로직을 포함할 수 있다. 적어도 하나의 실시예에서, 처리 어레이(1612)는, 정점 셰이더들, 테셀레이션 셰이더들, 지오메트리 셰이더들, 및 픽셀 셰이더들과 같은, 그러나 이에 제한되지 않는 그래픽 처리 관련 셰이더 프로그램들을 실행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1602)은 처리를 위해 I/O 유닛(1604)을 통해 시스템 메모리로부터 데이터를 전송할 수 있다. 적어도 하나의 실시예에서, 처리 동안, 전송된 데이터는 처리 동안 온-칩 메모리(예컨대, 병렬 프로세서 메모리(1622))에 저장될 수 있고, 이어서, 다시 시스템 메모리에 기입될 수 있다.
적어도 하나의 실시예에서, 병렬 처리 유닛(1602)이 그래픽 처리를 수행하는 데 사용될 때, 스케줄러(1610)는, 처리 어레이(1612)의 다수의 클러스터들(1614A-1614N)에 대한 그래픽 처리 연산들의 분배를 더 양호하게 가능하게 하기 위해 처리 작업부하를 대략적으로 동일한 크기의 작업들로 분할하도록 구성될 수 있다. 적어도 하나의 실시예에서, 처리 어레이(1612)의 부분들은 상이한 유형들의 처리를 수행하도록 구성될 수 있다. 예컨대, 적어도 하나의 실시예에서, 제1 부분은 정점 셰이딩 및 토폴로지 생성을 수행하도록 구성될 수 있고, 제2 부분은 테셀레이션 및 지오메트리 셰이딩을 수행하도록 구성될 수 있고, 제3 부분은, 디스플레이를 위한 렌더링된 이미지를 생성하기 위해 픽셀 셰이딩 또는 다른 스크린 공간 연산들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 클러스터들(1614A-1614N) 중 하나 이상에 의해 생성되는 중간 데이터는 버퍼들에 저장되어 중간 데이터가 추가적인 처리를 위해 클러스터들(1614A-1614N) 사이에서 전송되는 것을 허용할 수 있다.
적어도 하나의 실시예에서, 처리 어레이(1612)는, 프론트 엔드(1608)로부터 처리 작업들을 정의하는 명령들을 수신하는 스케줄러(1610)를 통해 실행될 처리 작업들을 수신할 수 있다. 적어도 하나의 실시예에서, 처리 작업들은, 처리될 데이터, 예컨대, 표면(패치) 데이터, 프리미티브 데이터, 정점 데이터, 및/또는 픽셀 데이터의 인덱스들뿐만 아니라, 데이터가 어떻게 처리되어야 하는지(예컨대, 어떤 프로그램이 실행되어야 하는지)를 정의하는 상태 파라미터들 및 명령들을 포함할 수 있다. 적어도 하나의 실시예에서, 스케줄러(1610)는, 작업들에 대응하는 인덱스들을 페치하도록 구성될 수 있거나 또는 프론트 엔드(1608)로부터 인덱스들을 수신할 수 있다. 적어도 하나의 실시예에서, 프론트 엔드(1608)는, 착신 명령 버퍼들(예컨대, 뱃치-버퍼들, 푸시 버퍼들 등)에 의해 특정된 작업부하가 개시되기 전에 처리 어레이(1612)가 유효한 상태로 구성됨을 보장하도록 구성될 수 있다.
적어도 하나의 실시예에서, 병렬 처리 유닛(1602)의 하나 이상의 인스턴스 각각은 병렬 프로세서 메모리(1622)와 결합될 수 있다. 적어도 하나의 실시예에서, 병렬 프로세서 메모리(1622)는, 처리 어레이(1612)뿐만 아니라 I/O 유닛(1604)으로부터 메모리 요청들을 수신할 수 있는 메모리 크로스바(1616)를 통해 액세스될 수 있다. 적어도 하나의 실시예에서, 메모리 크로스바(1616)는 메모리 인터페이스(1618)를 통해 병렬 프로세서 메모리(1622)에 액세스할 수 있다. 적어도 하나의 실시예에서, 메모리 인터페이스(1618)는, 병렬 프로세서 메모리(1622)의 부분(예컨대, 메모리 유닛)에 각각이 결합될 수 있는 다수의 파티션 유닛들(예컨대, 파티션 유닛(1620A), 파티션 유닛(1620B) 내지 파티션 유닛(1620N))을 포함할 수 있다. 적어도 하나의 실시예에서, 파티션 유닛들(1620A-1620N)의 수는, 제1 파티션 유닛(1620A)이 대응하는 제1 메모리 유닛(1624A)을 갖고, 제2 파티션 유닛(1620B)이 대응하는 메모리 유닛(1624B)을 갖고, 제N 파티션 유닛(1620N)이 대응하는 제N 메모리 유닛(1624N)을 갖도록, 메모리 유닛들의 수와 동일하게 구성될 수 있다. 적어도 하나의 실시예에서, 파티션 유닛들(1620A-1620N)의 수는 메모리 디바이스들의 수와 동일하지 않을 수 있다.
적어도 하나의 실시예에서, 메모리 유닛들(1624A-1624N)은, GDDR 메모리를 포함하여 SGRAM과 같은 DRAM 또는 그래픽 랜덤 액세스 메모리를 포함하는 다양한 유형들의 메모리 디바이스들을 포함할 수 있다. 적어도 하나의 실시예에서, 메모리 유닛(1624A-1624N)은 또한, 고-대역폭 메모리("HBM")를 포함하지만 이에 제한되지 않는 3D 스택형 메모리를 포함할 수 있다. 적어도 하나의 실시예에서, 렌더링 타깃들, 이를테면, 프레임 버퍼들 또는 텍스처 맵들이 메모리 유닛들(1624A-1624N)에 걸쳐 저장될 수 있어서, 파티션 유닛들(1620A-1620N)이 병렬 프로세서 메모리(1622)의 이용가능 대역폭을 효율적으로 사용하도록 각각의 렌더링 타깃의 부분들에 병렬로 기입하는 것이 허용된다. 적어도 하나의 실시예에서, 병렬 프로세서 메모리(1622)의 로컬 인스턴스는, 로컬 캐시 메모리와 연계하여 시스템 메모리를 활용하는 통합 메모리 설계를 위하여 제외될 수 있다.
적어도 하나의 실시예에서, 처리 어레이(1612)의 클러스터들(1614A-1614N) 중 임의의 클러스터는 병렬 프로세서 메모리(1622) 내의 메모리 유닛들(1624A-1624N) 중 임의의 메모리에 기입될 데이터를 처리할 수 있다. 적어도 하나의 실시예에서, 메모리 크로스바(1616)는, 각각의 클러스터(1614A-1614N)의 출력을, 임의의 파티션 유닛(1620A-1620N)에 또는 출력에 대한 부가적인 처리 연산들을 수행할 수 있는 다른 클러스터(1614A-1614N)에 전송하도록 구성될 수 있다. 적어도 하나의 실시예에서, 각각의 클러스터(1614A-1614N)는, 다양한 외부 메모리 디바이스로부터 판독하거나 그에 기입하기 위해 메모리 크로스바(1616)를 통해 메모리 인터페이스(1618)와 통신할 수 있다. 적어도 하나의 실시예에서, 메모리 크로스바(1616)는, I/O 유닛(1604)과 통신하기 위한 메모리 인터페이스(1618)에 대한 연결뿐만 아니라 병렬 프로세서 메모리(1622)의 로컬 인스턴스에 대한 연결을 갖고 있어서, 상이한 클러스터들(1614A-1614N) 내의 처리 유닛들이 시스템 메모리 또는 병렬 처리 유닛(1602)에 대해 로컬이 아닌 다른 메모리와 통신하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 메모리 크로스바(1616)는 가상 채널들을 사용하여 클러스터들(1614A-1614N)과 파티션 유닛들(1620A-1620N) 사이의 트래픽 스트림들을 분리할 수 있다.
적어도 하나의 실시예에서, 병렬 처리 유닛(1602)의 다수의 인스턴스들이 단일 추가기능 카드 상에 제공될 수 있거나 또는 다수의 추가기능 카드들이 상호연결될 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1602)의 상이한 인스턴스들은, 상이한 인스턴스들이 상이한 수의 처리 코어들, 상이한 양의 로컬 병렬 프로세서 메모리, 및/또는 다른 구성 차이들을 갖는 경우에도 상호동작하도록 구성될 수 있다. 예컨대, 적어도 하나의 실시예에서, 병렬 처리 유닛(1602)의 일부 인스턴스들은 다른 인스턴스들에 비해 더 높은 정밀도의 부동 소수점 유닛들을 포함할 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1602) 또는 병렬 프로세서(1600)의 하나 이상의 인스턴스를 포함하는 시스템들은, 데스크톱, 랩톱, 또는 핸드헬드 개인용 컴퓨터들, 서버들, 워크스테이션들, 게임 콘솔들, 및/또는 임베디드 시스템들을 포함하지만 이에 제한되지 않는 다양한 구성들 및 폼 팩터들로 구현될 수 있다.
도 16b는 적어도 하나의 실시예에 따른 처리 클러스터(1694)를 예시한다. 적어도 하나의 실시예에서, 처리 클러스터(1694)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 적어도 하나의 실시예에서, 처리 클러스터(1694)는 병렬 처리 유닛 내에 포함된다. 적어도 하나의 실시예에서, 처리 클러스터(1694)는 도 16의 처리 클러스터들(1614A-1614N) 중 하나이다. 적어도 하나의 실시예에서, 처리 클러스터(들)(1694)는 많은 스레드들을 병렬로 실행하도록 구성될 수 있으며, 여기서, "스레드"라는 용어는 입력 데이터의 특정 세트에 대해 실행되는 특정 프로그램의 인스턴스를 지칭한다. 적어도 하나의 실시예에서, 단일 명령어 다중 데이터("SIMD") 명령어 송출 기법들이 사용되어, 다수의 독립적인 명령어 유닛들을 제공하지 않고도 많은 수의 스레드들의 병렬 실행을 지원한다. 적어도 하나의 실시예에서, 단일 명령어 다중 스레드("SIMT") 기법들이 사용되어, 각각의 처리 클러스터(1694) 내의 처리 엔진들의 세트에 명령어들을 송출하도록 구성되는 공통 명령어 유닛을 사용하여, 많은 수의 일반적으로 동기화된 스레드들의 병렬 실행을 지원한다.
적어도 하나의 실시예에서, 처리 클러스터(1694)의 동작은, 처리 작업들을 SIMT 병렬 프로세서들에 분배하는 파이프라인 관리자(1632)를 통해 제어될 수 있다. 적어도 하나의 실시예에서, 파이프라인 관리자(1632)는, 도 16의 스케줄러(1610)로부터 명령어들을 수신하고 그래픽 멀티프로세서(1634) 및/또는 텍스처 유닛(1636)을 통해 그 명령어들의 실행을 관리한다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1634)는 SIMT 병렬 프로세서의 예시적인 인스턴스이다. 그러나, 적어도 하나의 실시예에서, 상이한 아키텍처들의 다양한 유형들의 SIMT 병렬 프로세서들이 처리 클러스터(1694) 내에 포함될 수 있다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1634)의 하나 이상의 인스턴스가 처리 클러스터(1694) 내에 포함될 수 있다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1634)는 데이터를 처리할 수 있고, 데이터 크로스바(1640)는, 처리된 데이터를 다른 셰이더 유닛들을 포함하는 다수의 가능한 목적지들 중 하나에 분배하는 데 사용될 수 있다. 적어도 하나의 실시예에서, 파이프라인 관리자(1632)는, 데이터 크로스바(1640)를 통해 분배될 처리된 데이터에 대한 목적지들을 특정함으로써, 처리된 데이터의 분배를 용이하게 할 수 있다.
적어도 하나의 실시예에서, 처리 클러스터(1694) 내의 각각의 그래픽 멀티프로세서(1634)는, 동일한 세트의 기능적 실행 로직(예컨대, 산술 로직 유닛들, 로딩/저장 유닛("LSU")들 등)을 포함할 수 있다. 적어도 하나의 실시예에서, 기능적 실행 로직은, 이전 명령어들이 완료되기 전에 새로운 명령어들이 송출될 수 있는 파이프라이닝된 방식으로 구성될 수 있다. 적어도 하나의 실시예에서, 기능적 실행 로직은, 정수 및 부동 소수점 산술, 비교 연산들, 부울(Boolean) 연산들, 비트 시프팅, 및 다양한 대수 함수들의 계산을 포함하는 다양한 연산들을 지원한다. 적어도 하나의 실시예에서, 동일한 기능적 유닛 하드웨어가 활용되어 상이한 동작들을 수행할 수 있고, 기능적 유닛들의 임의의 조합이 존재할 수 있다.
적어도 하나의 실시예에서, 처리 클러스터(1694)에 송신된 명령어들은 스레드를 구성한다. 적어도 하나의 실시예에서, 병렬 처리 엔진들의 세트에 걸쳐 실행되는 스레드들의 세트는 스레드 그룹이다. 적어도 하나의 실시예에서, 스레드 그룹은 상이한 입력 데이터에 대해 프로그램을 실행한다. 적어도 하나의 실시예에서, 스레드 그룹 내의 각각의 스레드는 그래픽 멀티프로세서(1634) 내의 상이한 처리 엔진에 배정될 수 있다. 적어도 하나의 실시예에서, 스레드 그룹은, 그래픽 멀티프로세서(1634) 내의 처리 엔진들의 수보다 더 적은 스레드들을 포함할 수 있다. 적어도 하나의 실시예에서, 스레드 그룹이 처리 엔진들의 수보다 더 적은 스레드들을 포함할 때, 처리 엔진들 중 하나 이상은 대응하는 스레드 그룹이 처리되고 있는 사이클들 동안 유휴일 수 있다. 적어도 하나의 실시예에서, 스레드 그룹은 또한, 그래픽 멀티프로세서(1634) 내의 처리 엔진들의 수보다 더 많은 스레드들을 포함할 수 있다. 적어도 하나의 실시예에서, 스레드 그룹이 그래픽 멀티프로세서(1634) 내의 처리 엔진들의 수보다 더 많은 스레드들을 포함할 때, 처리는 연속적인 클록 사이클들에 걸쳐 수행될 수 있다. 적어도 하나의 실시예에서, 다수의 스레드 그룹들이 그래픽 멀티프로세서(1634) 상에서 동시에 실행될 수 있다.
적어도 하나의 실시예에서, 그래픽 멀티프로세서(1634)는 로딩 및 저장 동작들을 수행하기 위한 내부 캐시 메모리를 포함한다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1634)는 내부 캐시를 사용하지 않고 처리 클러스터(1694) 내의 캐시 메모리(예컨대, L1 캐시(1648))를 사용할 수 있다. 적어도 하나의 실시예에서, 각각의 그래픽 멀티프로세서(1634)는 또한, 모든 처리 클러스터들(1694) 간에 공유되고 스레드들 사이에서 데이터를 전송하는 데 사용될 수 있는 파티션 유닛들(예컨대, 도 16a의 파티션 유닛들(1620A-1620N)) 내의 레벨 2("L2") 캐시들에 액세스할 수 있다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1634)는 또한, 로컬 병렬 프로세서 메모리 및/또는 시스템 메모리 중 하나 이상을 포함할 수 있는 오프-칩 전역 메모리에 액세스할 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1602) 외부의 임의의 메모리가 전역 메모리로서 사용될 수 있다. 적어도 하나의 실시예에서, 처리 클러스터(1694)는 그래픽 멀티프로세서(1634)의 다수의 인스턴스들을 포함하고, 이들은, L1 캐시(1648)에 저장될 수 있는 공통 명령어들 및 데이터를 공유할 수 있다.
적어도 하나의 실시예에서, 각각의 처리 클러스터(1694)는, 가상 어드레스들을 물리 어드레스들에 맵핑하도록 구성되는 MMU(1645)를 포함할 수 있다. 적어도 하나의 실시예에서, MMU(1645)의 하나 이상의 인스턴스는 도 16의 메모리 인터페이스(1618) 내에 상주할 수 있다. 적어도 하나의 실시예에서, MMU(1645)는, 가상 어드레스를 타일의 물리 어드레스 및 임의적으로는 캐시 라인 인덱스에 맵핑하는 데 사용되는 페이지 테이블 엔트리("PTE")들의 세트를 포함한다. 적어도 하나의 실시예에서, MMU(1645)는, 그래픽 멀티프로세서(1634) 또는 L1 캐시(1648) 또는 처리 클러스터(1694) 내에 상주할 수 있는 어드레스 변환 색인 버퍼("TLB")들 또는 캐시들을 포함할 수 있다. 적어도 하나의 실시예에서, 물리 어드레스는 파티션 유닛들 간의 효율적인 요청 인터리빙을 허용하기 위해 표면 데이터 액세스 구역성(locality)을 분배하도록 처리된다. 적어도 하나의 실시예에서, 캐시 라인 인덱스는 캐시 라인에 대한 요청이 히트인지 또는 미스인지를 결정하는 데 사용될 수 있다.
적어도 하나의 실시예에서, 처리 클러스터(1694)는, 각각의 그래픽 멀티프로세서(1634)가 텍스처 맵핑 연산들을 수행하기 위해, 예컨대, 텍스처 샘플 위치들을 결정하고, 텍스처 데이터를 판독하고, 텍스처 데이터를 필터링하기 위해 텍스처 유닛(1636)에 결합되도록 구성될 수 있다. 적어도 하나의 실시예에서, 텍스처 데이터는, 내부 텍스처 L1 캐시(도시되지 않음)로부터 또는 그래픽 멀티프로세서(1634) 내의 L1 캐시로부터 판독되고, 필요에 따라, L2 캐시, 로컬 병렬 프로세서 메모리, 또는 시스템 메모리로부터 페치된다. 적어도 하나의 실시예에서, 각각의 그래픽 멀티프로세서(1634)는, 처리된 작업을 데이터 크로스바(1640)로 출력하여, 처리된 작업을 추가적인 처리를 위해 다른 처리 클러스터(1694)에 제공하거나, 또는 처리된 작업을 메모리 크로스바(1616)를 통해 시스템 메모리에, 로컬 병렬 프로세서 메모리에, 또는 L2 캐시에 저장한다. 적어도 하나의 실시예에서, 사전-래스터 연산 유닛("preROP")(1642)은 그래픽 멀티프로세서(1634)로부터 데이터를 수신하고 ROP 유닛들에 데이터를 보내도록 구성되며, ROP 유닛들은 본원에 설명된 파티션 유닛들(예컨대, 도 16의 파티션 유닛들(1620A-1620N))과 함께 위치될 수 있다. 적어도 하나의 실시예에서, PreROP(1642)는, 컬러 블렌딩을 위한 최적화들을 수행하고, 픽셀 컬러 데이터를 조직화하고, 어드레스 변환들을 수행할 수 있다.
도 16c는 적어도 하나의 실시예에 따른 그래픽 멀티프로세서(1696)를 예시한다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1696)는 도 16b의 그래픽 멀티프로세서(1634)이다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1696)는 처리 클러스터(1694)의 파이프라인 관리자(1632)와 결합된다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1696)는, 명령어 캐시(1652), 명령어 유닛(1654), 어드레스 맵핑 유닛(1656), 레지스터 파일(1658), 하나 이상의 GPGPU 코어(1662), 및 하나 이상의 LSU(1666)를 포함하지만 이에 제한되지 않는 실행 파이프라인을 갖는다. GPGPU 코어들(1662) 및 LSU들(1666)은, 메모리 및 캐시 상호연결부(1668)를 통해 캐시 메모리(1672) 및 공유 메모리(1670)와 결합된다.
적어도 하나의 실시예에서, 명령어 캐시(1652)는 파이프라인 관리자(1632)로부터 실행할 명령어들의 스트림을 수신한다. 적어도 하나의 실시예에서, 명령어들은 명령어 캐시(1652)에 캐싱되고 명령어 유닛(1654)에 의한 실행을 위해 디스패치된다. 적어도 하나의 실시예에서, 명령어 유닛(1654)은 스레드 그룹들(예컨대, 워프들)로서 명령어들을 디스패치할 수 있으며, 스레드 그룹의 각각의 스레드는 GPGPU 코어(1662) 내의 상이한 실행 유닛에 배정된다. 적어도 하나의 실시예에서, 명령어는, 통합 어드레스 공간 내의 어드레스를 특정함으로써 로컬, 공유, 또는 전역 어드레스 공간 중 임의의 것에 액세스할 수 있다. 적어도 하나의 실시예에서, 어드레스 맵핑 유닛(1656)은, 통합 어드레스 공간 내의 어드레스들을 LSU들(1666)에 의해 액세스될 수 있는 별개의 메모리 어드레스로 변환하는 데 사용될 수 있다.
적어도 하나의 실시예에서, 레지스터 파일(1658)은, 그래픽 멀티프로세서(1696)의 기능적 유닛들을 위한 레지스터들의 세트를 제공한다. 적어도 하나의 실시예에서, 레지스터 파일(1658)은, 그래픽 멀티프로세서(1696)의 기능적 유닛들(예컨대, GPGPU 코어들(1662), LSU들(1666))의 데이터 경로들에 연결된 피연산자들을 위한 일시적 저장을 제공한다. 적어도 하나의 실시예에서, 레지스터 파일(1658)은, 각각의 기능적 유닛이 레지스터 파일(1658)의 전용 부분을 할당받도록 기능적 유닛들 각각 사이에서 분할된다. 적어도 하나의 실시예에서, 레지스터 파일(1658)은 그래픽 멀티프로세서(1696)에 의해 실행되는 상이한 스레드 그룹들 사이에서 분할된다.
적어도 하나의 실시예에서, GPGPU 코어들(1662)은 각각, 그래픽 멀티프로세서(1696)의 명령어들을 실행하는 데 사용되는 FPU들 및/또는 정수 ALU들을 포함할 수 있다. GPGPU 코어들(1662)은 아키텍처가 유사할 수 있거나 아키텍처가 상이할 수 있다. 적어도 하나의 실시예에서, GPGPU 코어들(1662)의 제1 부분은 단정밀도 FPU 및 정수 ALU를 포함하는 한편, GPGPU 코어들(1662)의 제2 부분은 배정밀도 FPU를 포함한다. 적어도 하나의 실시예에서, FPU들은 부동 소수점 산술을 위한 IEEE 754-2008 표준을 구현하거나 가변 정밀도 부동 소수점 산술을 가능하게 할 수 있다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1696)는 부가적으로, 직사각형 복사 또는 픽셀 블렌딩 연산들과 같은 특정 기능들을 수행하기 위한 하나 이상의 고정 기능 또는 특수 기능 유닛을 포함할 수 있다. 적어도 하나의 실시예에서, GPGPU 코어들(1662) 중 하나 이상이 또한 고정 또는 특수 기능 로직을 포함할 수 있다.
적어도 하나의 실시예에서, GPGPU 코어들(1662)은 다수의 세트들의 데이터에 대해 단일 명령어를 수행하는 것이 가능한 SIMD 로직을 포함한다. 적어도 하나의 실시예에서, GPGPU 코어들(1662)은, SIMD4, SIMD8, 및 SIMD16 명령어들을 물리적으로 실행할 수 있고, SIMD1, SIMD2, 및 SIMD32 명령어들을 논리적으로 실행할 수 있다. 적어도 하나의 실시예에서, GPGPU 코어들(1662)에 대한 SIMD 명령어들은, 셰이더 컴파일러에 의한 컴파일 시간에 생성되거나 또는 단일 프로그램 다중 데이터("SPMD") 또는 SIMT 아키텍처들을 위해 작성되고 컴파일된 프로그램들을 실행할 때 자동으로 생성될 수 있다. 적어도 하나의 실시예에서, SIMT 실행 모델을 위해 구성된 프로그램의 다중 스레드들은 단일 SIMD 명령어를 통해 실행될 수 있다. 예컨대, 적어도 하나의 실시예에서, 동일하거나 유사한 연산들을 수행하는 8개의 SIMT 스레드가 단일 SIMD8 로직 유닛을 통해 병렬로 실행될 수 있다.
적어도 하나의 실시예에서, 메모리 및 캐시 상호연결부(1668)는, 그래픽 멀티프로세서(1696)의 각각의 기능적 유닛을 레지스터 파일(1658)에 그리고 공유 메모리(1670)에 연결하는 상호연결 네트워크이다. 적어도 하나의 실시예에서, 메모리 및 캐시 상호연결부(1668)는, LSU(1666)가 공유 메모리(1670)와 레지스터 파일(1658) 사이에서 로딩 및 저장 동작들을 구현하는 것을 허용하는 크로스바 상호연결부다. 적어도 하나의 실시예에서, 레지스터 파일(1658)은 GPGPU 코어들(1662)과 동일한 주파수로 동작할 수 있고, 그에 따라, GPGPU 코어들(1662)과 레지스터 파일(1658) 사이에서의 데이터 전송은 매우 낮은 레이턴시이다. 적어도 하나의 실시예에서, 공유 메모리(1670)는, 그래픽 멀티프로세서(1696) 내의 기능적 유닛들 상에서 실행되는 스레드들 사이의 통신을 가능하게 하는 데 사용될 수 있다. 적어도 하나의 실시예에서, 캐시 메모리(1672)는, 예컨대, 기능적 유닛들과 텍스처 유닛(1636) 사이에서 통신되는 텍스처 데이터를 캐싱하기 위한 데이터 캐시로서 사용될 수 있다. 적어도 하나의 실시예에서, 공유 메모리(1670)는 또한, 프로그램에 의해 관리되어 캐싱되는 것으로서 사용될 수 있다. 적어도 하나의 실시예에서, GPGPU 코어들(1662) 상에서 실행되는 스레드들은, 캐시 메모리(1672) 내에 저장되는 자동으로 캐싱된 데이터에 부가하여 공유 메모리 내에 데이터를 프로그래밍적으로 저장할 수 있다.
적어도 하나의 실시예에서, 본원에 설명된 바와 같은 병렬 프로세서 또는 GPGPU는, 그래픽 연산들, 기계 학습 동작들, 패턴 분석 동작들, 및 다양한 범용 GPU(GPGPU) 기능들을 가속하기 위해 호스트/프로세서 코어들에 통신가능하게 결합된다. 적어도 하나의 실시예에서, GPU는 버스 또는 다른 상호연결부(예컨대, 고속 상호연결부, 이를테면 PCIe 또는 NVLink)를 통해 호스트 프로세서/코어들에 통신가능하게 결합될 수 있다. 적어도 하나의 실시예에서, GPU는, 코어들로서 동일한 패키지 또는 칩 상에 통합될 수 있고 패키지 또는 칩 내부에 있는 프로세서 버스/상호연결부를 통해 코어들에 통신가능하게 결합될 수 있다. 적어도 하나의 실시예에서, GPU가 연결되는 방식에 관계없이, 프로세서 코어들은 WD에 포함된 명령들/명령어들의 시퀀스들의 형태로 GPU에 작업을 할당할 수 있다. 적어도 하나의 실시예에서, GPU는 이어서, 이러한 명령들/명령어들을 효율적으로 처리하기 위해 전용 회로/로직을 사용한다.
도 17은 적어도 하나의 실시예에 따른 그래픽 프로세서(1700)를 예시한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1700)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, 그래픽 프로세서(1700)는 도 1에서의 GPU(120)일 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서(1700)는, 링 상호연결부(1702), 파이프라인 프론트 엔드(1704), 미디어 엔진(1737), 및 그래픽 코어들(1780A-1780N)을 포함한다. 적어도 하나의 실시예에서, 링 상호연결부(1702)는, 그래픽 프로세서(1700)를, 다른 그래픽 프로세서들 또는 하나 이상의 범용 프로세서 코어를 포함하는 다른 처리 유닛들에 결합한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1700)는 멀티코어 처리 시스템 내에 통합된 많은 프로세서들 중 하나이다.
적어도 하나의 실시예에서, 그래픽 프로세서(1700)는 링 상호연결부(1702)를 통해 명령들의 뱃치들을 수신한다. 적어도 하나의 실시예에서, 착신 명령들은 파이프라인 프론트 엔드(1704)의 명령 스트리머(1703)에 의해 해석된다. 적어도 하나의 실시예에서, 그래픽 프로세서(1700)는, 그래픽 코어(들)(1780A-1780N)를 통해 3D 지오메트리 처리 및 미디어 처리를 수행하기 위한 확장가능 실행 로직을 포함한다. 적어도 하나의 실시예에서, 3D 지오메트리 처리 명령들에 대해, 명령 스트리머(1703)는 지오메트리 파이프라인(1736)에 명령들을 공급한다. 적어도 하나의 실시예에서, 적어도 일부 미디어 처리 명령들에 대해, 명령 스트리머(1703)는, 미디어 엔진(1737)과 결합되는 비디오 프론트 엔드(1734)에 명령들을 공급한다. 적어도 하나의 실시예에서, 미디어 엔진(1737)은, 비디오 및 이미지 사후-처리를 위한 비디오 품질 엔진("VQE")(1730), 및 하드웨어 가속 미디어 데이터 인코딩 및 디코딩을 제공하기 위한 다중-포맷 인코딩/디코딩("MFX") 엔진(1733)을 포함한다. 적어도 하나의 실시예에서, 지오메트리 파이프라인(1736) 및 미디어 엔진(1737)은 각각, 적어도 하나의 그래픽 코어(1780A)에 의해 제공되는 스레드 실행 리소스들에 대한 실행 스레드들을 생성한다.
적어도 하나의 실시예에서, 그래픽 프로세서(1700)는, 각각이 다수의 서브코어들(1750A-550N, 1760A-1760N)(때때로 코어 서브슬라이스들로 지칭됨)을 갖는 모듈식 그래픽 코어들(1780A-1780N)(때때로 코어 슬라이스들로 지칭됨)을 특징으로 하는 확장가능 스레드 실행 리소스들을 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1700)는 임의의 수의 그래픽 코어(1780A 내지 1780N)를 가질 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서(1700)는, 적어도 제1 서브코어(1750A) 및 제2 서브코어(1760A)를 갖는 그래픽 코어(1780A)를 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1700)는 단일 서브코어(예컨대, 서브코어(1750A))를 갖는 저전력 프로세서이다. 적어도 하나의 실시예에서, 그래픽 프로세서(1700)는, 각각이 제1 서브코어들(1750A-1750N)의 세트 및 제2 서브코어들(1760A-1760N)의 세트를 포함하는 다수의 그래픽 코어들(1780A-1780N)을 포함한다. 적어도 하나의 실시예에서, 제1 서브코어들(1750A-1750N) 내의 각각의 서브코어는, 적어도, 제1 세트의 실행 유닛("EU")들(1752A-1752N) 및 미디어/텍스처 샘플러들(1754A-1754N)을 포함한다. 적어도 하나의 실시예에서, 제2 서브코어들(1760A-1760N) 내의 각각의 서브코어는, 적어도, 제2 세트의 실행 유닛들(1762A-1762N) 및 샘플러들(1764A-1764N)을 포함한다. 적어도 하나의 실시예에서, 각각의 서브코어(1750A-1750N, 1760A-1760N)는 공유 리소스들(1770A-1770N)의 세트를 공유한다. 적어도 하나의 실시예에서, 공유 리소스들(1770)은 공유 캐시 메모리 및 픽셀 연산 로직을 포함한다.
도 18은 적어도 하나의 실시예에 따른 프로세서(1800)를 예시한다. 적어도 하나의 실시예에서, 프로세서(1800)는, 제한 없이, 명령어들을 수행하기 위한 로직 회로들을 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(1800)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, 프로세서(1800)는 도 1에서의 CPU(102)일 수 있다. 적어도 하나의 실시예에서, 프로세서(1800)는, x86 명령어들, ARM 명령어들, ASIC들에 대한 특수화된 명령어들 등을 포함하는 명령어들을 수행할 수 있다. 적어도 하나의 실시예에서, 프로세서(1810)는, 캘리포니아 주 산타 클라라의 인텔 코포레이션으로부터의 MMX 기술로 가능한 마이크로프로세서들 내의 64 비트 폭 MMX™ 레지스터들과 같은, 패킹된 데이터를 저장하기 위한 레지스터들을 포함할 수 있다. 적어도 하나의 실시예에서, 정수 및 부동 소수점 형태들 둘 모두에서 이용가능한 MMX 레지스터들은, SIMD 및 스트리밍 SIMD 확장("SSE") 명령어들을 동반하는 패킹된 데이터 요소들과 함께 동작할 수 있다. 적어도 하나의 실시예에서, SSE2, SSE3, SSE4, AVX, 또는 그를 넘어서는(총칭하여, "SSEx"로 지칭됨) 기술과 관련된 128 비트 폭 XMM 레지스터들은, 그러한 패킹된 데이터 피연산자들을 보유할 수 있다. 적어도 하나의 실시예에서, 프로세서(1810)는, CUDA 프로그램들을 가속하기 위한 명령어들을 수행할 수 있다.
적어도 하나의 실시예에서, 프로세서(1800)는, 실행될 명령어들을 페치하고 프로세서 파이프라인에서 나중에 사용될 명령어들을 준비하기 위한 순차 프론트 엔드("프론트 엔드")(1801)를 포함한다. 적어도 하나의 실시예에서, 프론트 엔드(1801)는 여러 유닛들을 포함할 수 있다. 적어도 하나의 실시예에서, 명령어 사전페처(1826)는 메모리로부터 명령어들을 페치하고 명령어 디코더(1828)에 명령어들을 공급하며, 그 명령어 디코더는 차례로 명령어들을 디코딩하거나 해석한다. 예컨대, 적어도 하나의 실시예에서, 명령어 디코더(1828)는, 수신된 명령어를, 실행을 위해, "마이크로-명령어들" 또는 "마이크로-연산들"로 지칭되는("마이크로 op" 또는 "uop"로 또한 지칭됨) 하나 이상의 연산으로 디코딩한다. 적어도 하나의 실시예에서, 명령어 디코더(1828)는, 명령어를, 동작들을 수행하기 위해 마이크로아키텍처에 의해 사용될 수 있는 연산코드 및 대응하는 데이터 및 제어 필드들로 파싱한다. 적어도 하나의 실시예에서, 트레이스 캐시(1830)는, 디코딩된 uop들을, 실행을 위해 uop 큐(1834) 내의 프로그램 정렬된 시퀀스들 또는 트레이스들로 어셈블링할 수 있다. 적어도 하나의 실시예에서, 트레이스 캐시(1830)가 복합 명령어에 직면할 때, 마이크로코드 ROM(1832)은 연산을 완료하는 데 필요한 uop들을 제공한다.
적어도 하나의 실시예에서, 일부 명령어들은 단일 마이크로 op로 변환될 수 있는 반면, 다른 것들은 전체 연산을 완료하기 위해 여러 마이크로 op들을 필요로 한다. 적어도 하나의 실시예에서, 명령어를 완료하는 데 4개 초과의 마이크로 op가 필요한 경우, 명령어 디코더(1828)는 명령어를 수행하기 위해 마이크로코드 ROM(1832)에 액세스할 수 있다. 적어도 하나의 실시예에서, 명령어는 명령어 디코더(1828)에서의 처리를 위해 적은 수의 마이크로 op로 디코딩될 수 있다. 적어도 하나의 실시예에서, 명령어는, 동작을 달성하기 위해 다수의 마이크로 op들이 필요한 경우 마이크로코드 ROM(1832) 내에 저장될 수 있다. 적어도 하나의 실시예에서, 트레이스 캐시(1830)는 마이크로코드 ROM(1832)으로부터의 하나 이상의 명령어를 완료하기 위해서 마이크로코드 시퀀스들을 판독하기 위한 정확한 마이크로-명령어 포인터를 결정하기 위해 엔트리 포인트 프로그래밍가능 로직 어레이("PLA")를 참조한다. 적어도 하나의 실시예에서, 마이크로코드 ROM(1832)이 명령어에 대한 마이크로 op들의 시퀀싱을 완료한 후에, 기계의 프론트 엔드(1801)는 트레이스 캐시(1830)로부터 마이크로 op들을 페치하는 것을 재개할 수 있다.
적어도 하나의 실시예에서, 비-순차 실행 엔진("비-순차 엔진")(1803)은 실행을 위한 명령어들을 준비할 수 있다. 적어도 하나의 실시예에서, 비-순차 실행 로직은, 명령어들이 파이프라인을 따라 내려가 실행을 위해 스케줄링될 때 성능을 최적화하기 위해 명령어들의 흐름을 평활하게 하고 재정렬하기 위한 다수의 버퍼들을 갖는다. 비-순차 실행 엔진(1803)은, 제한 없이, 할당기/레지스터 재명명기(1840), 메모리 uop 큐(1842), 정수/부동 소수점 uop 큐(1844), 메모리 스케줄러(1846), 고속 스케줄러(1802), 저속/일반 부동 소수점 스케줄러("저속/일반 FP 스케줄러")(1804), 및 단순 부동 소수점 스케줄러("단순 FP 스케줄러")(1806)를 포함한다. 적어도 하나의 실시예에서, 고속 스케줄(1802), 저속/일반 부동 소수점 스케줄러(1804), 및 단순 부동 소수점 스케줄러(1806)는 또한, 총괄적으로 본원에서 "uop 스케줄러(1802, 1804, 1806)"로 지칭된다. 할당기/레지스터 재명명기(1840)는 각각의 uop가 실행되기 위해 필요로 하는 기계 버퍼들 및 리소스들을 할당한다. 적어도 하나의 실시예에서, 할당기/레지스터 재명명기(1840)는 로직 레지스터들을 레지스터 파일 내의 엔트리들로 재명명한다. 적어도 하나의 실시예에서, 할당기/레지스터 재명명기(1840)는 또한, 메모리 스케줄러(1846) 및 uop 스케줄러들(1802, 1804, 1806) 앞에서, 2개의 uop 큐, 메모리 연산들을 위한 메모리 uop 큐(1842), 및 비-메모리 연산들을 위한 정수/부동 소수점 uop 큐(1844) 중 하나에 각각의 uop에 대한 엔트리를 할당한다. 적어도 하나의 실시예에서, uop 스케줄러들(1802, 1804, 1806)은, 그들의 종속 입력 레지스터 피연산자 소스들의 준비성 및 uop가 그들의 연산을 완료하는 데 필요로 있는 실행 리소스들의 이용가능성에 기반하여 uop가 실행준비가 되는 때를 결정한다. 적어도 하나의 실시예에서, 적어도 하나의 실시예의 고속 스케줄러(1802)는 메인 클록 사이클의 각각의 절반에 스케줄링할 수 있는 반면, 저속/일반 부동 소수점 스케줄러(1804) 및 단순 부동 소수점 스케줄러(1806)는 메인 프로세서 클록 사이클당 한 번 스케줄링할 수 있다. 적어도 하나의 실시예에서, uop 스케줄러들(1802, 1804, 1806)은, 실행을 위해 uop들을 스케줄링하기 위해 디스패치 포트들을 중재한다.
적어도 하나의 실시예에서, 실행 블록(1811)은, 제한 없이, 정수 레지스터 파일/우회 네트워크(1808), 부동 소수점 레지스터 파일/우회 네트워크("FP 레지스터 파일/우회 네트워크")(1810), 어드레스 생성 유닛("AGU")들(1812 및 1814), 고속 ALU들(1816 및 1818), 저속 ALU(1820), 부동 소수점 ALU("FP")(1822), 및 부동 소수점 이동 유닛("FP 이동")(1824)을 포함한다. 적어도 하나의 실시예에서, 정수 레지스터 파일/우회 네트워크(1808) 및 부동 소수점 레지스터 파일/우회 네트워크(1810)는 또한, 본원에서 "레지스터 파일(1808, 1810)"로 지칭된다. 적어도 하나의 실시예에서, AGUS들(1812, 1814), 고속 ALU들(1816, 1818), 저속 ALU(1820), 부동 소수점 ALU(1822), 및 부동 소수점 이동 유닛(1824)은 또한, 본원에서 "실행 유닛(1812, 1814, 1816, 1818, 1820, 1822, 및 1824)"으로 지칭된다. 적어도 하나의 실시예에서, 실행 블록은, 제한 없이, 임의의 수(영개를 포함함) 및 유형의 레지스터 파일, 우회 네트워크, 어드레스 생성 유닛, 및 실행 유닛을 임의의 조합으로 포함할 수 있다.
적어도 하나의 실시예에서, 레지스터 파일들(1808, 1810)은 uop 스케줄러들(1802, 1804, 1806)과 실행 유닛들(1812, 1814, 1816, 1818, 1820, 1822, 1824) 사이에 배열될 수 있다. 적어도 하나의 실시예에서, 정수 레지스터 파일/우회 네트워크(1808)는 정수 연산들을 수행한다. 적어도 하나의 실시예에서, 부동 소수점 레지스터 파일/우회 네트워크(1810)는 부동 소수점 연산들을 수행한다. 적어도 하나의 실시예에서, 레지스터 파일들(1808, 1810) 각각은, 제한 없이, 레지스터 파일 내에 아직 기입되지 않은 방금 완료된 결과들을 새로운 종속 uop들로 전달하거나 우회시킬 수 있는 우회 네트워크를 포함할 수 있다. 적어도 하나의 실시예에서, 레지스터 파일들(1808, 1810)은 서로 데이터를 전달할 수 있다. 적어도 하나의 실시예에서, 정수 레지스터 파일/우회 네트워크(1808)는, 제한 없이, 2개의 별개의 레지스터 파일, 즉, 낮은 차수의 32 비트의 데이터에 대한 하나의 레지스터 파일 및 높은 차수의 32 비트의 데이터에 대한 제2 레지스터 파일을 포함할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 명령어들은 전형적으로 폭이 64 비트 내지 128비트인 피연산자들을 갖기 때문에, 부동 소수점 레지스터 파일/우회 네트워크(1810)는, 제한 없이, 128 비트 폭 엔트리들을 포함할 수 있다.
적어도 하나의 실시예에서, 실행 유닛들(1812, 1814, 1816, 1818, 1820, 1822, 1824)은 명령어들을 실행할 수 있다. 적어도 하나의 실시예에서, 레지스터 파일들(1808, 1810)은 마이크로-명령어들이 실행할 필요가 있는 정수 및 부동 소수점 데이터 피연산자 값들을 저장한다. 적어도 하나의 실시예에서, 프로세서(1800)는, 제한 없이, 임의의 수 및 조합의 실행 유닛들(1812, 1814, 1816, 1818, 1820, 1822, 1824)을 포함할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(1822) 및 부동 소수점 이동 유닛(1824)은, 부동 소수점, MMX, SIMD, AVX 및 SSE, 또는 다른 연산들을 실행할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(1822)는, 제한 없이, 나눗셈, 제곱근, 및 나머지 마이크로 op들을 실행하기 위한 64 비트 x 64 비트 부동 소수점 제산기를 포함할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 값을 수반하는 명령어들은 부동 소수점 하드웨어로 처리될 수 있다. 적어도 하나의 실시예에서, ALU 연산들은 고속 ALU들(1816, 1818)에 전달될 수 있다. 적어도 하나의 실시예에서, 고속 ALU들(1816, 1818)은 클록 사이클의 절반의 유효 레이턴시로 고속 연산들을 실행할 수 있다. 적어도 하나의 실시예에서, 저속 ALU(1820)가, 제한 없이, 곱셈기, 시프트들, 플래그 로직, 및 분기 처리와 같은 긴 레이턴시 유형의 연산들을 위한 정수 실행 하드웨어를 포함할 수 있기 때문에, 가장 복잡한 정수 연산들은 저속 ALU(1820)로 이동된다. 적어도 하나의 실시예에서, 메모리 로딩/저장 동작들은 AGU들(1812, 1814)에 의해 실행될 수 있다. 적어도 하나의 실시예에서, 고속 ALU(1816), 고속 ALU(1818), 및 저속 ALU(1820)는 64 비트 데이터 피연산자들에 대해 정수 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, 고속 ALU(1816), 고속 ALU(1818), 및 저속 ALU(1820)는, 16, 32, 128, 256 등을 포함하는 다양한 데이터 비트 크기를 지원하도록 구현될 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(1822) 및 부동 소수점 이동 유닛(1824)은, 다양한 폭들의 비트들을 갖는 피연산자들의 범위를 지원하도록 구현될 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(1822) 및 부동 소수점 이동 유닛(1824)은, SIMD 및 멀티미디어 명령어들과 연계하여, 128 비트 폭의 패킹된 데이터 피연산자들에 대해 동작할 수 있다.
적어도 하나의 실시예에서, uop 스케줄러들(1802, 1804, 1806)은 부모 부하가 실행을 완료하기 전에 종속 연산들을 디스패치한다. 적어도 하나의 실시예에서, uop들은 프로세서(1800)에서 추측으로 스케줄링되고 실행될 수 있기 때문에, 프로세서(1800)는 또한 메모리 미스들을 처리하기 위한 로직을 포함할 수 있다. 적어도 하나의 실시예에서, 데이터 로딩이 데이터 캐시에서 미스되는 경우, 일시적으로 부정확한 데이터를 가진 스케줄러를 남겨두는 진행 중(in flight)인 종속 연산들이 파이프라인에 존재할 수 있다. 적어도 하나의 실시예에서, 리플레이 메커니즘은 부정확한 데이터를 사용하는 명령어들을 추적하여 재실행한다. 적어도 하나의 실시예에서, 종속 연산들이 리플레이될 필요가 있을 수 있고, 독립적 연산들은 완료되도록 허용될 수 있다. 적어도 하나의 실시예에서, 프로세서의 적어도 하나의 실시예의 스케줄러들 및 리플레이 메커니즘들은 또한, 텍스트 스트링 비교 연산들에 대한 명령어 시퀀스들을 포착하도록 설계될 수 있다.
적어도 하나의 실시예에서, "레지스터"라는 용어는, 피연산자들을 식별하기 위한 명령어들의 일부로서 사용될 수 있는 온보드 프로세서 저장 위치들을 지칭할 수 있다. 적어도 하나의 실시예에서, 레지스터들은 (프로그래머의 관점에서) 프로세서의 외부에서 사용가능할 수 있는 것들일 수 있다. 적어도 하나의 실시예에서, 레지스터들은 특정한 유형의 회로로 제한되지 않을 수 있다. 오히려, 적어도 하나의 실시예에서, 레지스터는, 데이터를 저장하고, 데이터를 제공하고, 본원에 설명된 기능들을 수행할 수 있다. 적어도 하나의 실시예에서, 본원에 설명된 레지스터들은, 전용 물리적 레지스터들, 레지스터 재명명을 사용하는 동적으로 할당된 물리적 레지스터들, 전용 및 동적으로 할당된 물리적 레지스터들의 조합들 등과 같은 임의의 수의 상이한 기법들을 사용하여 프로세서 내의 회로에 의해 구현될 수 있다. 적어도 하나의 실시예에서, 정수 레지스터들은 32 비트 정수 데이터를 저장한다. 적어도 하나의 실시예의 레지스터 파일은 또한, 패킹된 데이터를 위한 8개의 멀티미디어 SIMD 레지스터를 포함한다.
도 19는 적어도 하나의 실시예에 따른 프로세서(1900)를 예시한다. 적어도 하나의 실시예에서, 프로세서(1900)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, 프로세서(1900)는 도 1에서의 CPU(102)일 수 있다. 적어도 하나의 실시예에서, 프로세서(1900)는, 제한 없이, 하나 이상의 프로세서 코어("코어")(1902A-1902N), 통합 메모리 제어기(1914), 및 통합 그래픽 프로세서(1908)를 포함한다. 적어도 하나의 실시예에서, 프로세서(1900)는 파선 박스들로 표현된 부가적인 프로세서 코어(1902N)까지의 그리고 이들을 포함하는 부가적인 코어들을 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서 코어들(1902A-1902N) 각각은 하나 이상의 내부 캐시 유닛(1904A-1904N)을 포함한다. 적어도 하나의 실시예에서, 각각의 프로세서 코어는 또한, 하나 이상의 공유 캐싱 유닛(1906)에 액세스할 수 있다.
적어도 하나의 실시예에서, 내부 캐시 유닛들(1904A-1904N) 및 공유 캐시 유닛들(1906)은 프로세서(1900) 내의 캐시 메모리 계층구조를 표현한다. 적어도 하나의 실시예에서, 캐시 메모리 유닛들(1904A-1904N)은, L2, L3, 레벨 4("L4") 또는 다른 캐시 레벨들과 같은 각각의 프로세서 코어 내의 적어도 하나의 레벨의 명령어 및 데이터 캐시 및 하나 이상의 레벨의 공유 중간 레벨 캐시를 포함할 수 있으며, 여기서, 외부 메모리 이전의 가장 높은 레벨의 캐시는 LLC로서 분류된다. 적어도 하나의 실시예에서, 캐시 일관성 로직은 다양한 캐시 유닛들(1906 및 1904A-1904N) 사이의 일관성을 유지한다.
적어도 하나의 실시예에서, 프로세서(1900)는 또한, 한 세트의 하나 이상의 버스 제어기 유닛(1916) 및 시스템 에이전트 코어(1910)를 포함할 수 있다. 적어도 하나의 실시예에서, 하나 이상의 버스 제어기 유닛(1916)은 하나 이상의 PCI 또는 PCI 익스프레스 버스와 같은 주변 버스들의 세트를 관리한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(1910)는 다양한 프로세서 구성요소에 대한 관리 기능성을 제공한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(1910)는 다양한 외부 메모리 디바이스들(도시되지 않음)에 대한 액세스를 관리하기 위한 하나 이상의 통합 메모리 제어기(1914)를 포함한다.
적어도 하나의 실시예에서, 프로세서 코어들(1902A-1902N) 중 하나 이상은 동시적 멀티스레딩에 대한 지원을 포함한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(1910)는 멀티스레드형 처리 동안 프로세서 코어들(1902A-1902N)을 조율하고 동작시키기 위한 구성요소들을 포함한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(1910)는 부가적으로, 프로세서 코어들(1902A-1902N) 및 그래픽 프로세서(1908)의 하나 이상의 전력 상태를 조절하기 위한 로직 및 구성요소들을 포함하는 전력 제어 유닛("PCU")을 포함할 수 있다.
적어도 하나의 실시예에서, 프로세서(1900)는 부가적으로, 그래픽 처리 연산들을 실행하기 위한 그래픽 프로세서(1908)를 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1908)는, 공유 캐시 유닛들(1906), 및 하나 이상의 통합 메모리 제어기(1914)를 포함하는 시스템 에이전트 코어(1910)와 결합된다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(1910)는 또한, 그래픽 프로세서 출력을 하나 이상의 결합된 디스플레이로 드라이빙하는 디스플레이 제어기(1911)를 포함한다. 적어도 하나의 실시예에서, 디스플레이 제어기(1911)는 또한, 적어도 하나의 상호연결부를 통해 그래픽 프로세서(1908)와 결합된 별개의 모듈이거나 또는 그래픽 프로세서(1908) 내에 통합될 수 있다.
적어도 하나의 실시예에서, 링 기반 상호연결 유닛(1912)이 사용되어 프로세서(1900)의 내부 구성요소들을 결합한다. 적어도 하나의 실시예에서, 대안적인 상호연결 유닛, 이를테면, 포인트-투-포인트 상호연결부, 스위치형 상호연결부, 또는 다른 기법들이 사용될 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서(1908)는 I/O 링크(1913)를 통해 링 상호연결부(1912)와 결합된다.
적어도 하나의 실시예에서, I/O 링크(1913)는, 다양한 프로세서 구성요소들과 eDRAM 모듈과 같은 고성능 임베디드 메모리 모듈(1918) 사이의 통신을 용이하게 하는 온-패키지 I/O 상호연결부를 포함하는 I/O 상호연결부들의 다수의 변형들 중 적어도 하나를 표현한다. 적어도 하나의 실시예에서, 프로세서 코어들(1902A-1902N) 각각 및 그래픽 프로세서(1908)는 공유 LLC로서 임베디드 메모리 모듈들(1918)을 사용한다.
적어도 하나의 실시예에서, 프로세서 코어들(1902A-1902N)은 공통 명령어 세트 아키텍처를 실행하는 동종 코어들이다. 적어도 하나의 실시예에서, 프로세서 코어들(1902A-1902N)은 ISA의 관점에서 이종이며, 여기서, 프로세서 코어들(1902A-1902N) 중 하나 이상은 공통 명령어 세트를 실행하는 한편, 프로세서 코어들(1902A-19-02N)의 하나 이상의 다른 코어는 공통 명령어 세트의 서브세트 또는 상이한 명령어 세트를 실행한다. 적어도 하나의 실시예에서, 프로세서 코어들(1902A-1902N)은 마이크로아키텍처 관점에서 이종이며, 여기서, 비교적 더 높은 전력 소비를 갖는 하나 이상의 코어가 더 낮은 전력 소비를 갖는 하나 이상의 코어와 결합한다. 적어도 하나의 실시예에서, 프로세서(1900)는 하나 이상의 칩 상에서 또는 SoC 집적 회로로서 구현될 수 있다.
도 20은 설명된 적어도 하나의 실시예에 따른 그래픽 프로세서 코어(2000)를 예시한다. 적어도 하나의 실시예에서, 그래픽 프로세서 코어(2000)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, 그래픽 프로세서 코어(2000)는, 도 1에서의 GPU 코어(125, 130, 및 135)일 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서 코어(2000)는 그래픽 코어 어레이 내에 포함된다. 적어도 하나의 실시예에서, 때때로 코어 슬라이스로 지칭되는 그래픽 프로세서 코어(2000)는, 모듈식 그래픽 프로세서 내의 하나 또는 다수의 그래픽 코어일 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서 코어(2000)는 하나의 그래픽 코어 슬라이스의 예시이고, 본원에 설명된 바와 같은 그래픽 프로세서는 타깃 전력 및 성능 한계범위(envelope)들에 기반하여 다수의 그래픽 코어 슬라이스들을 포함할 수 있다. 적어도 하나의 실시예에서, 각각의 그래픽 코어(2000)는, 범용 및 고정 기능 로직의 모듈식 블록들을 포함하는, 서브슬라이스들로 또한 지칭되는 다수의 서브코어들(2001A-2001F)과 결합된 고정 기능 블록(2030)을 포함할 수 있다.
적어도 하나의 실시예에서, 고정 기능 블록(2030)은, 예컨대, 더 낮은 성능 및/또는 더 낮은 전력 그래픽 프로세서 구현들에서, 그래픽 프로세서(2000) 내의 모든 서브코어들에 의해 공유될 수 있는 지오메트리/고정 기능 파이프라인(2036)을 포함한다. 적어도 하나의 실시예에서, 지오메트리/고정 기능 파이프라인(2036)은, 3D 고정 기능 파이프라인, 비디오 프론트 엔드 유닛, 스레드 생성기, 및 스레드 디스패처, 및 통합 반환 버퍼들을 관리하는 통합 반환 버퍼 관리자를 포함한다.
적어도 하나의 실시예에서, 고정 기능 블록(2030)은 또한, 그래픽 SoC 인터페이스(2037), 그래픽 마이크로제어기(2038), 및 미디어 파이프라인(2039)을 포함한다. 그래픽 SoC 인터페이스(2037)는, 그래픽 코어(2000)와 SoC 집적 회로 내의 다른 프로세서 코어들 사이의 인터페이스를 제공한다. 적어도 하나의 실시예에서, 그래픽 마이크로제어기(2038)는, 스레드 디스패치, 스케줄링, 및 선점을 포함하는 그래픽 프로세서(2000)의 다양한 기능들을 관리하도록 구성가능한 프로그래밍가능 서브프로세서이다. 적어도 하나의 실시예에서, 미디어 파이프라인(2039)은, 이미지 및 비디오 데이터를 포함하는 멀티미디어 데이터의 디코딩, 인코딩, 사전-처리, 및/또는 사후-처리를 용이하게 하기 위한 로직을 포함한다. 적어도 하나의 실시예에서, 미디어 파이프라인(2039)은, 서브코어들(2001-2001F) 내에서 로직을 컴퓨팅하거나 샘플링하라는 요청들을 통해 미디어 연산들을 구현한다.
적어도 하나의 실시예에서, SoC 인터페이스(2037)는, 그래픽 코어(2000)가, 공유 LLC 메모리, 시스템 RAM, 및/또는 임베디드 온-칩 또는 온-패키지 DRAM과 같은 메모리 계층구조 요소들을 비롯하여 범용 애플리케이션 프로세서 코어들(예컨대, CPU들) 및/또는 SoC 내의 다른 구성요소들과 통신할 수 있게 한다. 적어도 하나의 실시예에서, SoC 인터페이스(2037)는 또한, 카메라 이미징 파이프라인들과 같은 SoC 내의 고정 기능 디바이스들과의 통신을 가능하게 할 수 있고, 그래픽 코어(2000)와 SoC 내의 CPU들 사이에 공유될 수 있는 전역 메모리 아토믹스(atomics)의 사용을 가능하게 하고/거나 구현한다. 적어도 하나의 실시예에서, SoC 인터페이스(2037)는 또한, 그래픽 코어(2000)에 대한 전력 관리 제어들을 구현할 수 있고, 그래픽 코어(2000)의 클록 도메인과 SoC 내의 다른 클록 도메인들 사이의 인터페이스를 가능하게 할 수 있다. 적어도 하나의 실시예에서, SoC 인터페이스(2037)는, 그래픽 프로세서 내의 하나 이상의 그래픽 코어 각각에 명령들 및 명령어들을 제공하도록 구성되는 명령 스트리머 및 전역 스레드 디스패처로부터의 명령 버퍼들의 수신을 가능하게 한다. 적어도 하나의 실시예에서, 명령들 및 명령어들은, 미디어 연산들이 수행되어야 할 때 미디어 파이프라인(2039)에, 또는 그래픽 처리 연산들이 수행되어야 할 때 지오메트리 및 고정 기능 파이프라인(예컨대, 지오메트리 및 고정 기능 파이프라인(2036), 지오메트리 및 고정 기능 파이프라인(2014))에 디스패치될 수 있습니다.
적어도 하나의 실시예에서, 그래픽 마이크로제어기(2038)는, 그래픽 코어(2000)에 대한 다양한 스케줄링 및 관리 작업들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 그래픽 마이크로제어기(2038)는, 서브코어들(2001A-2001F) 내의 실행 유닛(EU) 어레이들(2002A-2002F, 2004A-2004F) 내의 다양한 그래픽 병렬 엔진들에 대한 그래픽 및/또는 컴퓨팅 작업부하 스케줄링을 수행할 수 있다. 적어도 하나의 실시예에서, 그래픽 코어(2000)를 포함하는 SoC의 CPU 코어 상에서 실행되는 호스트 소프트웨어는, 적절한 그래픽 엔진 상에서의 스케줄링 동작을 호출하는, 다수의 그래픽 프로세서 도어벨들 중 하나에 작업부하들을 제출할 수 있다. 적어도 하나의 실시예에서, 스케줄링 동작들은 다음에 어느 작업부하를 실행할지를 결정하는 것, 작업부하를 명령 스트리머에 제출하는 것, 엔진 상에서 실행 중인 기존 작업부하들을 선점하는 것, 작업부하의 진행을 모니터링하는 것, 작업부하가 완료될 때 호스트 소프트웨어에 통지하는 것을 포함한다. 적어도 하나의 실시예에서, 그래픽 마이크로제어기(2038)는 또한, 그래픽 코어(2000)에 대한 낮은 전력 또는 유휴 상태들을 용이하게 하여, 시스템 상의 운영 체제 및/또는 그래픽 드라이버 소프트웨어와 독립적으로, 낮은 전력 상태 전환들에 걸쳐 그래픽 코어(2000) 내의 레지스터들을 저장 및 복원하는 능력을 그래픽 코어(2000)에 제공할 수 있다.
적어도 하나의 실시예에서, 그래픽 코어(2000)는 예시된 서브코어들(2001A-2001F)보다 더 많거나 더 적은 최대 N개의 모듈식 서브코어를 가질 수 있다. N개의 서브코어의 각각의 세트에 대해, 적어도 하나의 실시예에서, 그래픽 코어(2000)는 또한, 공유 기능 로직(2010), 공유 및/또는 캐시 메모리(2012), 지오메트리/고정 기능 파이프라인(2014)뿐만 아니라 부가적인 고정 기능 로직(2016)을 포함함으로써 다양한 그래픽 및 컴퓨팅 처리 연산들을 가속할 수 있다. 적어도 하나의 실시예에서, 공유 기능 로직(2010)은, 그래픽 코어(2000) 내의 각각의 N개의 서브코어에 의해 공유될 수 있는 로직 유닛들(예컨대, 샘플러, 수학, 및/또는 스레드 간 통신 로직)을 포함할 수 있다. 공유 및/또는 캐시 메모리(2012)는 그래픽 코어(2000) 내의 N개의 서브코어(2001A-2001F)에 대한 LLC일 수 있고, 또한, 다수의 서브코어들에 의해 액세스가능한 공유 메모리의 역할을 할 수 있다. 적어도 하나의 실시예에서, 지오메트리/고정 기능 파이프라인(2014)은 고정 기능 블록(2030) 내의 지오메트리/고정 기능 파이프라인(2036) 대신에 포함될 수 있고, 동일하거나 유사한 로직 유닛들을 포함할 수 있다.
적어도 하나의 실시예에서, 그래픽 코어(2000)는, 그래픽 코어(2000)에 의한 사용을 위한 다양한 고정 기능 가속 로직을 포함할 수 있는 부가적인 고정 기능 로직(2016)을 포함한다. 적어도 하나의 실시예에서, 부가적인 고정 기능 로직(2016)은 위치 전용 셰이딩에서 사용하기 위한 부가적인 지오메트리 파이프라인을 포함한다. 위치 전용 셰이딩에서, 적어도 2개의 지오메트리 파이프라인이 존재하는 반면, 지오메트리/고정 기능 파이프라인(2016, 2036) 내의 전체 지오메트리 파이프라인에서는, 부가적인 고정 기능 로직(2016) 내에 포함될 수 있는 부가적인 지오메트리 파이프라인인 컬 파이프라인(cull pipeline)이 존재한다. 적어도 하나의 실시예에서, 컬 파이프라인은 전체 지오메트리 파이프라인의 축소된 버전이다. 적어도 하나의 실시예에서, 전체 파이프라인 및 컬 파이프라인은, 각각의 인스턴스가 별개의 컨텍스트를 갖는, 애플리케이션의 상이한 인스턴스들을 실행할 수 있다. 적어도 하나의 실시예에서, 위치 전용 셰이딩은, 폐기된 삼각형들의 긴 컬 런(long cull run)을 은닉할 수 있어서, 일부 인스턴스들에 셰이딩이 더 일찍 완료될 수 있다. 예컨대, 적어도 하나의 실시예에서, 부가적인 고정 기능 로직(2016) 내의 컬 파이프라인 로직은 메인 애플리케이션과 병렬로 위치 셰이더들을 실행할 수 있고, 컬 파이프라인이 정점들의 위치 속성을 페치 및 셰이딩하기 때문에, 일반적으로, 프레임 버퍼로의 픽셀들의 렌더링 및 래스터화를 수행함이 없이 전체 파이프라인보다 더 빠르게 중요 결과들을 생성한다. 적어도 하나의 실시예에서, 컬 파이프라인은 생성된 중요 결과들을 사용하여 삼각형들이 컬링(cull)되는지 여부에 관계없이 모든 삼각형에 대한 가시성 정보를 컴퓨팅할 수 있다. 적어도 하나의 실시예에서, 전체 파이프라인(이러한 예시에서 리플레이 파이프라인으로 지칭될 수 있음)은, 가시성 정보를 소비하여, 래스터화 페이즈에 최종적으로 전달되는 가시적 삼각형들만을 셰이딩하도록, 컬링된 삼각형들을 건너뛸 수 있다.
적어도 하나의 실시예에서, 부가적인 고정 기능 로직(2016)은 또한, CUDA 프로그램들을 가속하기 위한, 고정 기능 행렬 곱셈 로직과 같은 범용 처리 가속 로직을 포함할 수 있다.
적어도 하나의 실시예에서, 각각의 그래픽 서브코어(2001A-2001F)는, 그래픽 파이프라인, 미디어 파이프라인, 또는 셰이더 프로그램들에 의한 요청들에 대한 응답으로 그래픽, 미디어, 및 컴퓨팅 연산들을 수행하는 데 사용될 수 있는 실행 리소스들의 세트를 포함한다. 적어도 하나의 실시예에서, 그래픽 서브코어들(2001A-2001F)은, 다수의 EU 어레이들(2002A-2002F, 2004A-2004F), 스레드 디스패치 및 스레드 간 통신("TD/IC") 로직(2003A-2003F), 3D(예컨대, 텍스처) 샘플러(2005A-2005F), 미디어 샘플러(2006A-2006F), 셰이더 프로세서(2007A-2007F), 및 공유 로컬 메모리("SLM")(2008A-2008F)를 포함한다. EU 어레이들(2002A-2002F, 2004A-2004F)은 각각 다수의 실행 유닛들을 포함하고, 이러한 유닛들은, 그래픽, 미디어 또는 컴퓨팅 셰이더 프로그램들을 포함하는 그래픽, 미디어, 또는 컴퓨팅 연산의 서비스에서 부동 소수점 및 정수/고정 소수점 로직 연산들을 수행하는 것이 가능한 GPGPU들이다. 적어도 하나의 실시예에서, TD/IC 로직(2003A-2003F)은, 서브코어 내의 실행 유닛들에 대한 로컬 스레드 디스패치 및 스레드 제어 동작들을 수행하고, 서브코어의 실행 유닛들 상에서 실행되는 스레드들 사이의 통신을 용이하게 한다. 적어도 하나의 실시예에서, 3D 샘플러(2005A-2005F)는 텍스처 또는 다른 3D 그래픽 관련 데이터를 메모리 내로 판독할 수 있다. 적어도 하나의 실시예에서, 3D 샘플러는, 구성된 샘플 상태 및 주어진 텍스처와 연관된 텍스처 포맷에 기반하여 텍스처 데이터를 상이하게 판독할 수 있다. 적어도 하나의 실시예에서, 미디어 샘플러(2006A-2006F)는 미디어 데이터와 연관된 유형 및 포맷에 기반하여 유사한 판독 동작들을 수행할 수 있다. 적어도 하나의 실시예에서, 각각의 그래픽 서브코어(2001A-2001F)는 대안적으로 통합 3D 및 미디어 샘플러를 포함할 수 있다. 적어도 하나의 실시예에서, 서브코어(2001A-2001F) 각각 내의 실행 유닛들에서 실행되는 스레드들은, 각각의 서브코어 내의 공유 로컬 메모리(2008A-2008F)를 이용하여, 스레드 그룹 내에서 실행되는 스레드들이 온-칩 메모리의 공통 풀을 사용하여 실행되는 것을 가능하게 할 수 있다.
도 21은 적어도 하나의 실시예에 따른 병렬 처리 유닛("PPU")(2100)을 예시한다. 적어도 하나의 실시예에서, PPU(2100)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, PPU(2100)는 도 1에서의 GPU(120)일 수 있다. 적어도 하나의 실시예에서, PPU(2100)는, PPU(2100)에 의해 실행되는 경우, PPU(2100)로 하여금 본원에 설명된 프로세스들 및 기법들 중 일부 또는 그 전부를 수행하게 하는 기계 판독가능 코드로 구성된다. 적어도 하나의 실시예에서, PPU(2100)는, 하나 이상의 집적 회로 디바이스 상에서 구현되고 컴퓨터 판독가능 명령어들(기계 판독가능 명령어들 또는 단순히 명령어들로 또한 지칭됨)을 다중 스레드들 상에서 병렬로 처리하도록 설계된 레이턴시-은닉 기법으로서 멀티스레딩을 활용하는 멀티스레드형 프로세서이다. 적어도 하나의 실시예에서, 스레드는 실행 스레드를 지칭하고, PPU(2100)에 의해 실행되도록 구성되는 명령어들의 세트의 인스턴스화이다. 적어도 하나의 실시예에서, PPU(2100)는, LCD 디바이스와 같은 디스플레이 디바이스 상에 디스플레이하기 위한 2차원("2D") 이미지 데이터를 생성하기 위해 3차원("3D") 그래픽 데이터를 처리하기 위한 그래픽 렌더링 파이프라인을 구현하도록 구성되는 GPU이다. 적어도 하나의 실시예에서, PPU(2100)는, 선형 대수 연산들 및 기계 학습 동작들과 같은 계산들을 수행하는 데 활용된다. 도 21은 단지 예시적인 목적들을 위한 예시적인 병렬 프로세서를 예시하고, 적어도 하나의 실시예에서 구현될 수 있는 프로세서 아키텍처의 비-제한적인 예로서 해석되어야 한다.
적어도 하나의 실시예에서, 하나 이상의 PPU(2100)는, 고성능 컴퓨팅("HPC"), 데이터 센터, 및 기계 학습 애플리케이션들을 가속하도록 구성된다. 적어도 하나의 실시예에서, 하나 이상의 PPU(2100)는 CUDA 프로그램들을 가속하도록 구성된다. 적어도 하나의 실시예에서, PPU(2100)는, 제한 없이, I/O 유닛(2106), 프론트 엔드 유닛(2110), 스케줄러 유닛(2112), 작업 분배 유닛(2114), 허브(2116), 크로스바("Xbar")(2120), 하나 이상의 일반 처리 클러스터("GPC")(2118), 및 하나 이상의 파티션 유닛("메모리 파티션 유닛")(2122)을 포함한다. 적어도 하나의 실시예에서, PPU(2100)는, 하나 이상의 고속 GPU 상호연결부("GPU 상호연결부")(2108)를 통해 호스트 프로세서 또는 다른 PPU(2100)에 연결된다. 적어도 하나의 실시예에서, PPU(2100)는 시스템 버스 또는 상호연결부(2102)를 통해 호스트 프로세서 또는 다른 주변 디바이스들에 연결된다. 적어도 하나의 실시예에서, PPU(2100)는 하나 이상의 메모리 디바이스("메모리")(2104)를 포함하는 로컬 메모리에 연결된다. 적어도 하나의 실시예에서, 메모리 디바이스(2104)는, 제한 없이, 하나 이상의 동적 랜덤 액세스 메모리(DRAM) 디바이스를 포함한다. 적어도 하나의 실시예에서, 하나 이상의 DRAM 디바이스는, 다수의 DRAM 다이들이 각각의 디바이스 내에 스택을 이루는 고-대역폭 메모리("HBM") 서브시스템들로서 구성되고/거나 구성가능하다.
적어도 하나의 실시예에서, 고속 GPU 상호연결부(2108)는, 하나 이상의 CPU와 결합된 하나 이상의 PPU(2100)를 포함하고 스케일링하도록 시스템들에 의해 사용되고, PPU들(2100)과 CPU들 사이의 캐시 일관성 및 CPU 마스터링을 지원하는 유선 기반 다중-레인 통신 링크를 지칭할 수 있다. 적어도 하나의 실시예에서, 데이터 및/또는 명령들은, 하나 이상의 복사 엔진, 비디오 인코더, 비디오 디코더, 전력 관리 유닛, 및 도 21에 명시적으로 예시되지 않을 수 있는 다른 구성요소와 같은 PPU(2100)의 다른 유닛들로/로부터 허브(2116)를 통해 고속 GPU 상호연결부(2108)에 의해 송신된다.
적어도 하나의 실시예에서, I/O 유닛(2106)은, 시스템 버스(2102)를 통해 호스트 프로세서(도 21에 예시되지 않음)로부터 통신들(예컨대, 명령들, 데이터)을 송신 및 수신하도록 구성된다. 적어도 하나의 실시예에서, I/O 유닛(2106)은, 시스템 버스(2102)를 통해 직접 또는 메모리 브릿지와 같은 하나 이상의 중간 디바이스를 통해 호스트 프로세서와 통신한다. 적어도 하나의 실시예에서, I/O 유닛(2106)은 시스템 버스(2102)를 통해 PPU들(2100) 중 하나 이상과 같은 하나 이상의 다른 프로세서와 통신할 수 있다. 적어도 하나의 실시예에서, I/O 유닛(2106)은 PCIe 버스를 통한 통신들을 위한 PCIe 인터페이스를 구현한다. 적어도 하나의 실시예에서, I/O 유닛(2106)은 외부 디바이스들과 통신하기 위한 인터페이스들을 구현한다.
적어도 하나의 실시예에서, I/O 유닛(2106)은 시스템 버스(2102)를 통해 수신된 패킷들을 디코딩한다. 적어도 하나의 실시예에서, 적어도 일부 패킷은 PPU(2100)로 하여금 다양한 동작들을 수행하게 하도록 구성되는 명령들을 표현한다. 적어도 하나의 실시예에서, I/O 유닛(2106)은 디코딩된 명령들을 명령들에 의해 특정된 PPU(2100)의 다양한 다른 유닛들에 송신한다. 적어도 하나의 실시예에서, 명령들은 프론트 엔드 유닛(2110)에 송신되고/거나, 허브(2116) 또는 PPU(2100)의 다른 유닛들, 이를테면, (도 21에 명시적으로 예시되지 않은) 하나 이상의 복사 엔진, 비디오 인코더, 비디오 디코더, 전력 관리 유닛 등에 송신된다. 적어도 하나의 실시예에서, I/O 유닛(2106)은 PPU(2100)의 다양한 논리적 유닛들 사이에서 그리고 그들 간에 통신들을 라우팅하도록 구성된다.
적어도 하나의 실시예에서, 호스트 프로세서에 의해 실행되는 프로그램은, 처리를 위해 작업부하들을 PPU(2100)에 제공하는 버퍼 내의 명령 스트림을 인코딩한다. 적어도 하나의 실시예에서, 작업부하는 명령어들 및 그 명령어들에 의해 처리될 데이터를 포함한다. 적어도 하나의 실시예에서, 버퍼는, 호스트 프로세서 및 PPU(2100) 둘 모두에 의해 액세스가능한(예컨대, 판독/기입) 메모리의 구역이며 ― 호스트 인터페이스 유닛은, I/O 유닛(2106)에 의해 시스템 버스(2102)를 통해 송신된 메모리 요청들을 통해 시스템 버스(2102)에 연결된 시스템 메모리 내의 버퍼에 액세스하도록 구성될 수 있다. 적어도 하나의 실시예에서, 호스트 프로세서는 명령 스트림을 버퍼에 기입하고, 이어서, 명령 스트림의 시작에 대한 포인터를 PPU(2100)에 송신하며, 이에 따라, 프론트 엔드 유닛(2110)이, 하나 이상의 명령 스트림에 대한 포인터들을 수신하고 하나 이상의 명령 스트림을 관리하여, 명령 스트림들로부터 명령들을 판독하고 명령들을 PPU(2100)의 다양한 유닛들에 전달한다.
적어도 하나의 실시예에서, 프론트 엔드 유닛(2110)은, 하나 이상의 명령 스트림에 의해 정의된 작업들을 처리하도록 다양한 GPC(2118)를 구성하는 스케줄러 유닛(2112)에 결합된다. 적어도 하나의 실시예에서, 스케줄러 유닛(2112)은 스케줄러 유닛(2112)에 의해 관리되는 다양한 작업들과 관련된 상태 정보를 추적하도록 구성되고, 여기서, 상태 정보는, 작업이 GPC들(2118) 중 어느 GPC에 배정되는지, 작업이 활성인지 또는 비활성인지, 작업과 연관된 우선순위 레벨 등을 표시할 수 있다. 적어도 하나의 실시예에서, 스케줄러 유닛(2112)은 GPC들(2118) 중 하나 이상 상에서의 복수의 작업들의 실행을 관리한다.
적어도 하나의 실시예에서, 스케줄러 유닛(2112)은, GPC들(2118) 상에서의 실행을 위해 작업들을 디스패치하도록 구성되는 작업 분배 유닛(2114)에 결합된다. 적어도 하나의 실시예에서, 작업 분배 유닛(2114)은 스케줄러 유닛(2112)으로부터 수신된 다수의 스케줄링된 작업들을 추적하고, 작업 분배 유닛(2114)은 GPC들(2118) 각각에 대한 계류 중 작업 풀 및 활성 작업 풀을 관리한다. 적어도 하나의 실시예에서, 계류 중 작업 풀은 특정 GPC(2118)에 의해 처리되도록 배정된 작업들을 포함하는 다수의 슬롯들(예컨대, 32개의 슬롯)을 포함하고; 활성 작업 풀은 GPC들(2118)에 의해 활성으로 처리되고 있는 작업들에 대한 다수의 슬롯들(예컨대, 4개의 슬롯)을 포함할 수 있으며, 이에 따라, GPC들(2118) 중 하나가 작업의 실행을 완료하는 경우, 그 작업은 GPC(2118)에 대한 활성 작업 풀로부터 퇴거되고, 계류 중 작업 풀로부터의 다른 작업들 중 하나가 GPC(2118) 상에서의 실행을 위해 선택되고 스케줄링된다. 적어도 하나의 실시예에서, 활성 작업이, 이를테면, 데이터 종속성이 해결되기를 대기하는 동안, GPC(2118) 상에서 유휴인 경우, 활성 작업은 GPC(2118)로부터 퇴거되어 계류 중 작업 풀로 반환되는 한편, 계류 중 작업 풀 내의 다른 작업이 GPC(2118) 상에서의 실행을 위해 선택되고 스케줄링된다.
적어도 하나의 실시예에서, 작업 분배 유닛(2114)은 XBar(2120)를 통해 하나 이상의 GPC(2118)와 통신한다. 적어도 하나의 실시예에서, XBar(2120)는, PPU(2100)의 많은 유닛들을 PPU(2100)의 다른 유닛들에 결합하고 작업 분배 유닛(2114)을 특정 GPC(2118)에 결합하도록 구성될 수 있는 상호연결 네트워크이다. 적어도 하나의 실시예에서, PPU(2100)의 하나 이상의 다른 유닛은 또한, 허브(2116)를 통해 XBar(2120)에 연결될 수 있다.
적어도 하나의 실시예에서, 작업들은 스케줄러 유닛(2112)에 의해 관리되고 작업 분배 유닛(2114)에 의해 GPC들(2118) 중 하나에 디스패치된다. GPC(2118)는 작업을 처리하고 결과들을 생성하도록 구성된다. 적어도 하나의 실시예에서, 결과들은, GPC(2118) 내의 다른 작업들에 의해 소비되거나, XBar(2120)를 통해 상이한 GPC(2118)에 라우팅되거나, 또는 메모리(2104)에 저장될 수 있다. 적어도 하나의 실시예에서, 결과들은, 메모리(2104)에/로부터 데이터를 기입하고 판독하기 위한 메모리 인터페이스를 구현하는 파티션 유닛들(2122)을 통해 메모리(2104)에 기입될 수 있다. 적어도 하나의 실시예에서, 결과들은 고속 GPU 상호연결부(2108)를 통해 다른 PPU(2104) 또는 CPU에 송신될 수 있다. 적어도 하나의 실시예에서, PPU(2100)는, 제한 없이, PPU(2100)에 결합된 별개의 그리고 개별 메모리 디바이스(2104)의 수와 동일한 수(U)의 파티션 유닛(2122)을 포함한다.
적어도 하나의 실시예에서, 호스트 프로세서는, 호스트 프로세서 상에서 실행되는 하나 이상의 애플리케이션이 PPU(2100) 상에서의 실행을 위한 연산들을 스케줄링하는 것을 가능하게 하는 애플리케이션 프로그래밍 인터페이스("API")를 구현하는 드라이버 커널을 실행한다. 적어도 하나의 실시예에서, 다수의 컴퓨팅 애플리케이션들이 PPU(2100)에 의해 동시에 실행되고, PPU(2100)는 다수의 컴퓨팅 애플리케이션을 위한 격리, 서비스 품질("QoS"), 및 독립적인 어드레스 공간들을 제공한다. 적어도 하나의 실시예에서, 애플리케이션은, 드라이버 커널이 PPU(2100)에 의한 실행을 위한 하나 이상의 작업을 생성하게 하고, 드라이버 커널이 PPU(2100)에 의해 처리되는 하나 이상의 스트림에 작업들을 출력하는, (예컨대, API 호출의 형태들의) 명령어들을 생성한다. 적어도 하나의 실시예에서, 각각의 작업은, 워프로 지칭될 수 있는 관련 스레드들의 하나 이상의 그룹을 포함한다. 적어도 하나의 실시예에서, 워프는, 병렬로 실행될 수 있는 복수의 관련된 스레드들(예컨대, 32개의 스레드)을 포함한다. 적어도 하나의 실시예에서, 협력 스레드들은, 작업을 수행하고 공유 메모리를 통해 데이터를 교환하는 명령어들을 포함하는 복수의 스레드들을 지칭할 수 있다.
도 22는 적어도 하나의 실시예에 따른 GPC(2200)를 예시한다. 적어도 하나의 실시예에서, GPC(2200)는 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 적어도 하나의 실시예에서, GPC(2200)는 도 21의 GPC(2118)이다. 적어도 하나의 실시예에서, 각각의 GPC(2200)는, 제한 없이, 처리 작업들을 위한 다수의 하드웨어 유닛을 포함하고, 각각의 GPC(2200)는, 제한 없이, 파이프라인 관리자(2202), 사전-래스터 연산 유닛("PROP")(2204), 래스터 엔진(2208), 작업 분배 크로스바("WDX")(2216), MMU(2218), 하나 이상의 데이터 처리 클러스터("DPC")(2206), 및 부분들의 임의의 적합한 조합을 포함한다.
적어도 하나의 실시예에서, GPC(2200)의 동작은 파이프라인 관리자(2202)에 의해 제어된다. 적어도 하나의 실시예에서, 파이프라인 관리자(2202)는, GPC(2200)에 할당된 작업들을 처리하기 위한 하나 이상의 DPC(2206)의 구성을 관리한다. 적어도 하나의 실시예에서, 파이프라인 관리자(2202)는, 그래픽 렌더링 파이프라인의 적어도 일부분을 구현하도록 하나 이상의 DPC(2206) 중 적어도 하나를 구성한다. 적어도 하나의 실시예에서, DPC(2206)는 프로그래밍가능 스트리밍 멀티프로세서("SM")(2214) 상에서 정점 셰이더 프로그램을 실행하도록 구성된다. 적어도 하나의 실시예에서, 파이프라인 관리자(2202)는, 작업 분배 유닛으로부터 수신된 패킷들을 GPC(2200) 내의 적절한 논리적 유닛들에 라우팅하도록 구성되고, 적어도 하나의 실시예에서, 일부 패킷들은 PROP(2204) 및/또는 래스터 엔진(2208) 내의 고정 기능 하드웨어 유닛들에 라우팅될 수 있는 한편, 다른 패킷들은 프리미티브 엔진(2212) 또는 SM(2214)에 의한 처리를 위해 DPC들(2206)에 라우팅될 수 있다. 적어도 하나의 실시예에서, 파이프라인 관리자(2202)는, 컴퓨팅 파이프라인을 구현하도록 DPC들(2206) 중 적어도 하나를 구성한다. 적어도 하나의 실시예에서, 파이프라인 관리자(2202)는, CUDA 프로그램의 적어도 일부분을 실행하도록 DPC들(2206) 중 적어도 하나를 구성한다.
적어도 하나의 실시예에서, PROP 유닛(2204)은, 래스터 엔진(2208) 및 DPC들(2206)에 의해 생성된 데이터를 도 21과 연계하여 위에서 더 상세히 설명된 메모리 파티션 유닛(2122)과 같은 파티션 유닛 내의 래스터 연산("ROP") 유닛에 라우팅하도록 구성된다. 적어도 하나의 실시예에서, PROP 유닛(2204)은, 컬러 블렌딩을 위한 최적화들을 수행하고, 픽셀 데이터를 조직화하고, 어드레스 변환들을 수행하는 등을 행하도록 구성된다. 적어도 하나의 실시예에서, 래스터 엔진(2208)은, 제한 없이, 다양한 래스터 연산들을 수행하도록 구성되는 다수의 고정 기능 하드웨어 유닛을 포함하고, 적어도 하나의 실시예에서, 래스터 엔진(2208)은, 제한 없이, 설정 엔진, 개략 래스터 엔진, 컬링 엔진, 클리핑 엔진, 정밀한 래스터 엔진, 타일 합침 엔진, 및 이들의 임의의 적합한 조합을 포함한다. 적어도 하나의 실시예에서, 설정 엔진은 변환된 정점들을 수신하여 정점들에 의해 정의된 기하학적 프리미티브와 연관된 평면 방정식들을 생성하고; 평면 방정식들은 개략적 래스터 엔진에 송신되어 프리미티브에 대한 커버리지 정보(예컨대, 타일에 대한 x, y 커버리지 마스크)를 생성하고; 개략적 래스터 엔진의 출력은 z 테스트를 실패한 프리미티브와 연관된 프래그먼트들이 컬링되는 컬링 엔진에 송신되고, 관측 절두체(viewing frustum) 외부에 놓인 프래그먼트들이 클리핑되는 클리핑 엔진에 송신된다. 적어도 하나의 실시예에서, 클리핑 및 컬링에서 잔존한 프래그먼트들은, 정밀한 래스터 엔진에 전달되어, 설정 엔진에 의해 생성된 평면 방정식들에 기반하여 픽셀 프래그먼트들에 대한 속성들을 생성한다. 적어도 하나의 실시예에서, 래스터 엔진(2208)의 출력은, 임의의 적합한 엔티티에 의해, 이를테면 DPC(2206) 내에 구현된 프래그먼트 셰이더에 의해 처리될 프래그먼트들을 포함한다.
적어도 하나의 실시예에서, GPC(2200)에 포함된 각각의 DPC(2206)는, 제한 없이, M-파이프 제어기("MPC")(2210); 프리미티브 엔진(2212); 하나 이상의 SM(2214); 및 이들의 임의의 적합한 조합을 포함한다. 적어도 하나의 실시예에서, MPC(2210)는 DPC(2206)의 동작을 제어하여, 파이프라인 관리자(2202)로부터 수신된 패킷들을 DPC(2206) 내의 적절한 유닛들에 라우팅한다. 적어도 하나의 실시예에서, 정점과 연관된 패킷들은, 메모리로부터 정점과 연관된 정점 속성들을 페치하도록 구성되는 프리미티브 엔진(2212)에 라우팅되고; 대조적으로, 셰이더 프로그램과 연관된 패킷들은 SM(2214)에 송신될 수 있다.
적어도 하나의 실시예에서, SM(2214)은, 제한 없이, 다수의 스레드들에 의해 표현된 작업들을 처리하도록 구성되는 프로그래밍가능 스트리밍 프로세서를 포함한다. 적어도 하나의 실시예에서, SM(2214)은 멀티스레딩되어 특정 그룹의 스레드들로부터의 복수의 스레드들(예컨대, 32개의 스레드)을 동시에 실행하도록 구성되고, 스레드들의 그룹(예컨대, 워프) 내의 각각의 스레드가 동일한 세트의 명령어들에 기반하여 상이한 세트의 데이터를 처리하도록 구성되는 SIMD 아키텍처를 구현한다. 적어도 하나의 실시예에서, 스레드들의 그룹 내의 모든 스레드들은 동일한 명령어들을 실행한다. 적어도 하나의 실시예에서, SM(2214)은 SIMT 아키텍처를 구현하며, 여기서, 스레드들의 그룹 내의 각각의 스레드는 동일한 세트의 명령어들에 기반하여 상이한 세트의 데이터를 처리하도록 구성되지만, 스레드들의 그룹 내의 개별 스레드들은 실행 동안에 분기하는 것이 허용된다. 적어도 하나의 실시예에서, 프로그램 계수기, 호출 스택, 및 실행 상태가 각각의 워프에 대해 유지되어, 워프 내의 스레드들이 분기할 때 워프들과 워프들 내의 직렬 실행 사이의 동시성이 가능해진다. 다른 실시예에서, 프로그램 계수기, 호출 스택, 및 실행 상태가 각각의 개별 스레드에 대해 유지되어, 워프들 내의 그리고 워프들 사이의 모든 스레드들 사이의 동일한 동시성이 가능해진다. 적어도 하나의 실시예에서, 실행 상태가 각각의 개별 스레드에 대해 유지되고, 동일한 명령어들을 실행하는 스레드들은 더 양호한 효율성을 위해 수렴되어 병렬로 실행될 수 있다. SM(2214)의 적어도 하나의 실시예가 도 23과 연계하여 더 상세히 설명된다.
적어도 하나의 실시예에서, MMU(2218)는 GPC(2200)와 메모리 파티션 유닛(예컨대, 도 21의 파티션 유닛(2122)) 사이에 인터페이스를 제공하고, MMU(2218)는 가상 어드레스들의 물리 어드레스들로의 변환, 메모리 보호, 및 메모리 요청들의 중재를 제공한다. 적어도 하나의 실시예에서, MMU(2218)는 가상 어드레스들의 메모리 내의 물리 어드레스들로의 변환을 수행하기 위한 하나 이상의 변환 색인 버퍼(TLB)를 제공한다.
도 23은 적어도 하나의 실시예에 따른 스트리밍 멀티프로세서("SM")(2300)를 예시한다. 적어도 하나의 실시예에서, SM(2300)은 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, SM(2300)은 도 1에서의 GPU(120)의 일부일 수 있다. 적어도 하나의 실시예에서, SM(2300)는 도 22의 SM(2214)이다. 적어도 하나의 실시예에서, SM(2300)은, 제한 없이, 명령어 캐시(2302); 하나 이상의 스케줄러 유닛(2304); 레지스터 파일(2308); 하나 이상의 처리 코어("코어")(2310); 하나 이상의 특수 기능 유닛("SFU")(2312); 하나 이상의 LSU(2314); 상호연결 네트워크(2316); 공유 메모리/L1 캐시(2318); 및 이들의 임의의 적합한 조합을 포함한다. 적어도 하나의 실시예에서, 작업 분배 유닛은 병렬 처리 유닛(PPU)들의 GPC들 상에서의 실행을 위해 작업들을 디스패치하고, 각각의 작업은 GPC 내의 특정 데이터 처리 클러스터(DPC)에 할당되고, 작업이 셰이더 프로그램과 연관되는 경우, 작업은 SM들(2300) 중 하나에 할당된다. 적어도 하나의 실시예에서, 스케줄러 유닛(2304)은 작업 분배 유닛으로부터 작업들을 수신하고 SM(2300)에 배정된 하나 이상의 스레드 블록에 대한 명령어 스케줄링을 관리한다. 적어도 하나의 실시예에서, 스케줄러 유닛(2304)은 병렬 스레드들의 워프들로서의 실행을 위해 스레드 블록들을 스케줄링하고, 여기서, 각각의 스레드 블록은 적어도 하나의 워프를 할당받는다. 적어도 하나의 실시예에서, 각각의 워프는 스레드들을 실행한다. 적어도 하나의 실시예에서, 스케줄러 유닛(2304)은 복수의 상이한 스레드 블록들을 관리하고, 워프들을 상이한 스레드 블록들에 할당하고, 이어서, 각각의 클록 사이클 동안, 명령어들을, 복수의 상이한 협력 그룹으로부터 다양한 기능적 유닛들(예컨대, 처리 코어들(2310), SFU들(2312), 및 LSU들(2314))에 디스패치한다.
적어도 하나의 실시예에서, "협력 그룹들"은, 개발자들이, 스레드들이 통신하는 세분도를 표현할 수 있게 하여 더 풍부하고 더 효율적인 병렬 분해들의 표현을 가능하게 하는, 통신하는 스레드들의 그룹들을 조직화하기 위한 프로그래밍 모델을 지칭할 수 있다. 적어도 하나의 실시예에서, 협력 론칭 API들은 병렬 알고리즘들의 실행을 위한 스레드 블록들 간의 동기화를 지원한다. 적어도 하나의 실시예에서, 종래의 프로그래밍 모델들의 API들은, 협력 스레드들을 동기화하기 위한 단일의 간단한 구성, 즉, 스레드 블록의 모든 스레드들에 걸친 장벽(예컨대, syncthreads() 함수)을 제공한다. 그러나, 적어도 하나의 실시예에서, 프로그래머들은, 스레드 블록 세분도들보다 작은 스레드들의 그룹들을 정의하고 정의된 그룹들 내에서 동기화하여 집합적인 그룹 전체에 걸친 기능 인터페이스들의 형태로 더 높은 성능, 설계 유연성 및 소프트웨어 재사용을 가능하게 할 수 있다. 적어도 하나의 실시예에서, 협력 그룹들은, 프로그래머들이 서브-블록 및 다중-블록 세분도들에서 명시적으로 스레드들의 그룹들을 정의하고 협력 그룹 내의 스레드들에 대한 동기화 등의 집합적 동작들을 수행하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 서브-블록 세분도는 단일 스레드만큼 작다. 적어도 하나의 실시예에서, 프로그래밍 모델은 소프트웨어 경계들에 걸쳐 명확한 구성(clean composition)을 지원하며, 이에 따라, 라이브러리들 및 유틸리티 기능들은 수렴에 대한 가정들을 할 필요 없이 그들의 로컬 컨텍스트 내에서 안전하게 동기화할 수 있다. 적어도 하나의 실시예에서, 협력 그룹 프리미티브들은, 생성자-소비자 병렬화, 기회주의적 병렬화, 및 스레드 블록들의 전체 그리드에 걸친 전역적 동기화를 제한 없이 포함하는 협력적 병렬화의 새로운 패턴들을 가능하게 한다.
적어도 하나의 실시예에서, 디스패치 유닛(2306)은 기능적 유닛들 중 하나 이상에 명령어들을 송신하도록 구성되고, 스케줄러 유닛(2304)은, 제한 없이, 각각의 클록 사이클 동안 동일한 워프로부터의 2개의 상이한 명령어가 디스패치될 수 있게 하는 2개의 디스패치 유닛(2306)을 포함한다. 적어도 하나의 실시예에서, 각각의 스케줄러 유닛(2304)은 단일 디스패치 유닛(2306) 또는 부가적인 디스패치 유닛들(2306)을 포함한다.
적어도 하나의 실시예에서, 각각의 SM(2300)은, 적어도 하나의 실시예에서, 제한 없이, SM(2300)의 기능적 유닛들에 대한 레지스터들의 세트를 제공하는 레지스터 파일(2308)을 포함한다. 적어도 하나의 실시예에서, 레지스터 파일(2308)은, 각각의 기능적 유닛이 레지스터 파일(2308)의 전용 부분을 할당받도록 기능적 유닛들 각각 사이에서 분할된다. 적어도 하나의 실시예에서, 레지스터 파일(2308)은 SM(2300)에 의해 실행되는 상이한 워프들 사이에 분할되고, 레지스터 파일(2308)은 기능적 유닛들의 데이터 경로들에 연결된 피연산자들을 위한 일시적 저장을 제공한다. 적어도 하나의 실시예에서, 각각의 SM(2300)은, 제한 없이, 복수(L개)의 처리 코어(2310)를 포함한다. 적어도 하나의 실시예에서, SM(2300)은, 제한 없이, 많은 수(예컨대, 128개 이상)의 별개의 처리 코어(2310)를 포함한다. 적어도 하나의 실시예에서, 각각의 처리 코어(2310)는, 제한 없이, 부동 소수점 산술 로직 유닛 및 정수 산술 로직 유닛을 제한 없이 포함하는, 완전 파이프라이닝된, 단정밀도, 배정밀도, 및/또는 혼합 정밀도 처리 유닛을 포함한다. 적어도 하나의 실시예에서, 부동 소수점 산술 로직 유닛은 부동 소수점 산술을 위한 IEEE 754-2008 표준을 구현한다. 적어도 하나의 실시예에서, 처리 코어(2310)는, 제한 없이, 64개의 단정밀도(32 비트) 부동 소수점 코어들, 64개의 정수 코어들, 32개의 배정밀도(64 비트) 부동 소수점 코어들, 및 8개의 텐서 코어들을 포함한다.
적어도 하나의 실시예에서, 텐서 코어들은 행렬 연산들을 수행하도록 구성된다. 적어도 하나의 실시예에서, 하나 이상의 텐서 코어가 처리 코어들(2310)에 포함된다. 적어도 하나의 실시예에서, 텐서 코어들은, 심층 학습 행렬 산술, 이를테면, 신경망 훈련 및 추론을 위한 콘볼루션 연산들을 수행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 텐서 코어는 4 x 4 행렬에 대해 동작하고, 행렬 곱셈 및 누산 연산 D = A X B + C를 수행하며, 여기서, A, B, C, 및 D는 4 x 4 행렬들이다.
적어도 하나의 실시예에서, 행렬 곱셈 입력들 A 및 B는 16 비트 부동 소수점 행렬들이고, 누산 행렬들 C 및 D는 16 비트 부동 소수점 또는 32 비트 부동 소수점 행렬들이다. 적어도 하나의 실시예에서, 텐서 코어들은, 32 비트 부동 소수점 누산으로 16 비트 부동 소수점 입력 데이터에 대해 동작한다. 적어도 하나의 실시예에서, 16 비트 부동 소수점 곱셈은 64개의 연산을 사용하고 완전한 정밀도 곱을 생성하는데, 그 완전한 정밀도 곱은 이어서, 4 x 4 x 4 행렬 곱셈을 위해 다른 중간 곱들과 함께 32 비트 부동 소수점 가산을 사용하여 누산된다. 텐서 코어들은, 적어도 하나의 실시예에서, 이러한 더 작은 요소들로부터 구축되는, 훨씬 더 큰 2차원 또는 더 높은 차원의 행렬 연산들을 수행하는 데 사용된다. 적어도 하나의 실시예에서, CUDA-C++ API와 같은 API는 특수화된 행렬 로딩, 행렬 곱셈 및 누산, 및 행렬 저장 연산들을 노출시켜 CUDA-C++ 프로그램으로부터 텐서 코어들을 효율적으로 사용한다. 적어도 하나의 실시예에서, CUDA 레벨에서, 워프-레벨 인터페이스는, 워프의 32개의 스레드 모두에 걸쳐 있는 16 x 16 크기 행렬들을 가정한다.
적어도 하나의 실시예에서, 각각의 SM(2300)은, 제한 없이, 특수 기능들(예컨대, 속성 평가, 역수 제곱근 등)을 수행하는 M개의 SFU(2312)를 포함한다. 적어도 하나의 실시예에서, SFU들(2312)은, 제한 없이, 계층구조적 트리 데이터 구조를 순회(traverse)하도록 구성되는 트리 순회 유닛을 포함한다. 적어도 하나의 실시예에서, SFU들(2312)은, 제한 없이, 텍스처 맵 필터링 연산들을 수행하도록 구성되는 텍스처 유닛을 포함한다. 적어도 하나의 실시예에서, 텍스처 유닛들은 SM(2300)에 의해 실행되는 셰이더 프로그램들에서 사용하기 위한 샘플링된 텍스처 값들을 생성하기 위해 메모리 및 샘플 텍스처 맵들로부터 텍스처 맵들(예컨대, 텍셀들의 2D 어레이)을 로딩하도록 구성된다. 적어도 하나의 실시예에서, 텍스처 맵들은 공유 메모리/L1 캐시(2318)에 저장된다. 적어도 하나의 실시예에서, 텍스처 유닛들은, 밉맵(mip-map)들(예컨대, 다양한 레벨들의 세부사항의 텍스처 맵들)을 사용하는 필터링 연산들과 같은 텍스처 연산들을 구현한다. 적어도 하나의 실시예에서, 각각의 SM(2300)은, 제한 없이, 2개의 텍스처 유닛을 포함한다.
적어도 하나의 실시예에서, 각각의 SM(2300)은, 제한 없이, 공유 메모리/L1 캐시(2318)와 레지스터 파일(2308) 사이의 로딩 및 저장 동작들을 구현하는 N개의 LSU(2314)를 포함한다. 적어도 하나의 실시예에서, 각각의 SM(2300)은, 제한 없이, 기능적 유닛들 각각을 레지스터 파일(2308)에 그리고 LSU(2314)를 레지스터 파일(2308) 및 공유 메모리/L1 캐시(2318)에 연결하는 상호연결 네트워크(2316)를 포함한다. 적어도 하나의 실시예에서, 상호연결 네트워크(2316)는, 기능적 유닛들 중 임의의 것을 레지스터 파일(2308) 내의 레지스터들 중 임의의 것에 연결하고 LSU들(2314)을 레지스터 파일(2308) 및 공유 메모리/L1 캐시(2318) 내의 메모리 위치들에 연결하도록 구성될 수 있는 크로스바이다.
적어도 하나의 실시예에서, 공유 메모리/L1 캐시(2318)는, SM(2300)과 프리미티브 엔진 사이 및 SM(2300)의 스레드들 사이에서의 데이터 저장 및 통신을 허용하는 온-칩 메모리의 어레이이다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(2318)는, 제한 없이, 128KB의 저장 용량을 포함하고, SM(2300)으로부터 파티션 유닛으로의 경로 내에 있다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(2318)는, 판독들 및 기입들을 캐싱하는 데 사용된다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(2318), L2 캐시, 및 메모리 중 하나 이상은 백킹 저장소(backing store)이다.
적어도 하나의 실시예에서, 데이터 캐시와 공유 메모리 기능성을 단일 메모리 블록으로 결합하는 것은, 둘 모두의 유형들의 메모리 액세스들에 대해 개선된 성능을 제공한다. 적어도 하나의 실시예에서, 이를테면, 공유 메모리가 용량의 절반을 이용하도록 구성되는 경우, 용량은 공유 메모리를 사용하지 않는 프로그램들에 의해 캐시로서 사용되거나 캐시로서 사용가능하며, 텍스처 및 로딩/저장 동작들은 나머지 용량을 사용할 수 있다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(2318) 내의 통합은, 공유 메모리/L1 캐시(2318)가 스트리밍 데이터를 위한 높은 처리량 도관으로서 기능하는 한편, 동시에, 빈번하게 재사용되는 데이터에 대한 높은 대역폭 및 낮은 레이턴시 액세스를 제공하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 범용 병렬 계산을 위해 구성될 때, 그래픽 처리와 비교할 때 더 간단한 구성이 사용될 수 있다. 적어도 하나의 실시예에서, 고정 기능 GPU들이 우회되어, 훨씬 더 간단한 프로그래밍 모델이 생성된다. 적어도 하나의 실시예에서, 그리고 범용 병렬 계산 구성에서, 작업 분배 유닛은, 스레드들의 블록들을 DPC들에 직접 배정 및 분배한다. 적어도 하나의 실시예에서, 블록 내의 스레드들은, 동일한 프로그램을 실행하여, 계산에서 고유 스레드 ID를 사용하여 각각의 스레드가 고유 결과들을 생성하는 것을 보장하고, SM(2300)을 사용하여 프로그램을 실행하고 계산들을 수행하고, 공유 메모리/L1 캐시(2318)를 사용하여 스레드들 사이에서 통신하고, LSU(2314)를 사용하여 공유 메모리/L1 캐시(2318) 및 메모리 파티션 유닛을 통해 전역 메모리를 판독하고 기입한다. 적어도 하나의 실시예에서, 범용 병렬 계산을 위해 구성될 때, SM(2300)은, 스케줄러 유닛(2304)이 DPC들 상에 새로운 작업을 론칭하는 데 사용할 수 있는 명령들을 기입한다.
적어도 하나의 실시예에서, PPU는, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 서버들, 슈퍼컴퓨터들, 스마트폰(예컨대, 무선, 핸드헬드 디바이스), PDA, 디지털 카메라, 차량, 헤드 장착형 디스플레이, 핸드헬드 전자 디바이스 등에 포함되거나 그에 결합된다. 적어도 하나의 실시예에서, PPU는 단일 반도체 기판 상에 구현된다. 적어도 하나의 실시예에서, PPU는, 하나 이상의 다른 디바이스, 이를테면, 부가적인 PPU들, 메모리, RISC CPU, MMU, 디지털-아날로그 변환기("DAC") 등과 함께 SoC에 포함된다.
적어도 하나의 실시예에서, PPU는 하나 이상의 메모리 디바이스를 포함하는 그래픽 카드 상에 포함될 수 있다. 적어도 하나의 실시예에서, 그래픽 카드는, 데스크톱 컴퓨터의 마더보드 상의 PCIe 슬롯과 인터페이싱하도록 구성될 수 있다. 적어도 하나의 실시예에서, PPU는 마더보드의 칩셋에 포함된 통합 GPU("iGPU")일 수 있다.
범용 컴퓨팅을 위한 소프트웨어 구성들
다음의 도면들은, 제한 없이, 적어도 하나의 실시예를 구현하기 위한 예시적인 소프트웨어 구성들을 기재한다.
도 24는 적어도 하나의 실시예에 따른, 프로그래밍 플랫폼의 소프트웨어 스택을 예시한다. 적어도 하나의 실시예에서, 프로그래밍 플랫폼의 소프트웨어 스택은 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 예컨대, 프로그래밍 플랫폼의 소프트웨어 스택은 도 2에서의 CUDA 소프트웨어 스택(206)일 수 있다. 적어도 하나의 실시예에서, 프로그래밍 플랫폼은, 계산 작업들을 가속하기 위해 컴퓨팅 시스템 상의 하드웨어를 활용하기 위한 플랫폼이다. 프로그래밍 플랫폼은, 적어도 하나의 실시예에서, 프로그래밍 언어들에 대한 라이브러리들, 컴파일러 지시문들, 및/또는 확장들을 통해 소프트웨어 개발자들이 액세스가능할 수 있다. 적어도 하나의 실시예에서, 프로그래밍 플랫폼은, CUDA, 라데온 오픈 컴퓨팅 플랫폼("ROCm"; Radeon Open Compute Platform), OpenCL(OpenCL™은 크로노스 그룹(Khronos group)에 의해 개발됨), SYCL, 또는 인텔 oneAPI일 수 있지만, 이에 제한되지 않는다.
적어도 하나의 실시예에서, 프로그래밍 플랫폼의 소프트웨어 스택(2400)은, 애플리케이션(2401)에 대한 실행 환경을 제공한다. 적어도 하나의 실시예에서, 애플리케이션(2401)은, 소프트웨어 스택(2400) 상에서 론칭되는 것이 가능한 임의의 컴퓨터 소프트웨어를 포함할 수 있다. 적어도 하나의 실시예에서, 애플리케이션(2401)은, 인공 지능("AI")/기계 학습("ML") 애플리케이션, 고성능 컴퓨팅("HPC") 애플리케이션, 가상 데스크톱 기반구조("VDI"), 또는 데이터 센터 작업부하를 포함할 수 있지만, 이에 제한되지 않는다.
적어도 하나의 실시예에서, 애플리케이션(2401) 및 소프트웨어 스택(2400)은 하드웨어(2407) 상에서 실행된다. 하드웨어(2407)는, 적어도 하나의 실시예에서, 하나 이상의 GPU, CPU, FPGA, AI 엔진, 및/또는 프로그래밍 플랫폼을 지원하는 다른 유형들의 컴퓨팅 디바이스를 포함할 수 있다. 적어도 하나의 실시예에서, 이를테면 CUDA에 대해, 소프트웨어 스택(2400)은, 공급업체 특정적이고 특정 공급업체(들)로부터의 디바이스들과만 호환가능할 수 있다. 적어도 하나의 실시예에서, 이를테면 OpenCL에 대해, 소프트웨어 스택(2400)은, 상이한 공급업체들로부터의 디바이스들과 함께 사용될 수 있다. 적어도 하나의 실시예에서, 하드웨어(2407)는, 애플리케이션 프로그래밍 인터페이스("API") 호출들을 통해 계산 작업들을 수행하기 위해 액세스될 수 있는 하나 이상의 디바이스에 연결된 호스트를 포함한다. 하드웨어(2407) 내의 디바이스는, 적어도 하나의 실시예에서, CPU(그러나 컴퓨팅 디바이스를 또한 포함할 수 있음) 및 그의 메모리를 포함할 수 있지만 이에 제한되지 않는 하드웨어(2407) 내의 호스트와는 대조적으로, GPU, FPGA, AI 엔진, 또는 다른 컴퓨팅 디바이스(그러나 CPU를 또한 포함할 수 있음) 및 그의 메모리를 포함할 수 있지만, 이에 제한되지 않는다.
적어도 하나의 실시예에서, 프로그래밍 플랫폼의 소프트웨어 스택(2400)은, 제한 없이, 다수의 라이브러리들(2403), 런타임(2405), 및 디바이스 커널 드라이버(2406)를 포함한다. 라이브러리들(2403) 각각은, 적어도 하나의 실시예에서, 컴퓨터 프로그램들에 의해 사용될 수 있고 소프트웨어 개발 동안 활용될 수 있는 데이터 및 프로그래밍 코드를 포함할 수 있다. 적어도 하나의 실시예에서, 라이브러리들(2403)은, 미리 작성된 코드 및 서브루틴들, 클래스들, 값들, 유형 규격들, 구성 데이터, 문서화, 도움 데이터, 및/또는 메시지 템플릿들을 포함할 수 있지만, 이에 제한되지 않는다. 적어도 하나의 실시예에서, 라이브러리들(2403)은, 하나 이상의 유형의 디바이스들 상에서의 실행에 최적화되는 함수들을 포함한다. 적어도 하나의 실시예에서, 라이브러리들(2403)은, 수학적, 심층 학습, 및/또는 다른 유형들의 동작들을 디바이스 상에서 수행하기 위한 함수들을 포함할 수 있지만, 이에 제한되지 않는다. 적어도 하나의 실시예에서, 라이브러리들(2403)은, 라이브러리(2403)에서 구현된 함수들을 노출시키는, 하나 이상의 API를 포함할 수 있는 대응하는 API(2402)와 연관된다.
적어도 하나의 실시예에서, 애플리케이션(2401)은, 도 29 내지 도 31과 연계하여 아래에서 더 상세히 논의되는 바와 같이, 실행가능 코드로 컴파일되는 소스 코드로서 작성된다. 애플리케이션(2401)의 실행가능 코드는, 적어도 하나의 실시예에서, 소프트웨어 스택(2400)에 의해 제공되는 실행 환경 상에서 적어도 부분적으로 실행될 수 있다. 적어도 하나의 실시예에서, 애플리케이션(2401)의 실행 동안, 호스트가 아니라 디바이스 상에서 실행될 필요가 있는 코드에 도달할 수 있다. 그러한 경우에, 런타임(2405)은, 적어도 하나의 실시예에서, 필요한 코드를 디바이스 상에 로딩 및 론칭하기 위해 호출될 수 있다. 적어도 하나의 실시예에서, 런타임(2405)은, 애플리케이션(S01)의 실행을 지원하는 것이 가능한 임의의 기술적으로 실현가능한 런타임 시스템을 포함할 수 있다.
적어도 하나의 실시예에서, 런타임(2405)은, API(들)(2404)로서 도시되는 대응하는 API들과 연관된 하나 이상의 런타임 라이브러리로서 구현된다. 그러한 런타임 라이브러리들 중 하나 이상은, 적어도 하나의 실시예에서, 제한 없이, 다른 것들 중에서도, 메모리 관리, 실행 제어, 디바이스 관리, 에러 처리, 및/또는 동기화를 위한 함수들을 포함할 수 있다. 적어도 하나의 실시예에서, 메모리 관리 함수들은, 디바이스 메모리를 할당, 할당해제, 및 복사할 뿐만 아니라 호스트 메모리와 디바이스 메모리 사이에서 데이터를 전송하기 위한 함수들을 포함할 수 있지만, 이에 제한되지 않는다. 적어도 하나의 실시예에서, 실행 제어 함수들은, 디바이스 상에서 함수(함수가 호스트로부터 호출가능한 전역 함수일 때, 때때로 "커널"로 지칭됨)를 론칭하고 디바이스 상에서 실행될 주어진 함수에 대해 런타임 라이브러리에 의해 유지되는 버퍼에서 속성 값들을 설정하는 함수들을 포함할 수 있지만, 이에 제한되지 않는다.
런타임 라이브러리들 및 대응하는 API(들)(2404)는, 적어도 하나의 실시예에서, 임의의 기술적으로 실현가능한 방식으로 구현될 수 있다. 적어도 하나의 실시예에서, 하나의(또는 임의의 수의) API는 디바이스의 세밀화된 제어를 위해 저레벨 세트의 함수들을 노출시킬 수 있는 한편, 다른(또는 임의의 수의) API는 그러한 함수들의 상위 레벨 세트를 노출시킬 수 있다. 적어도 하나의 실시예에서, 고레벨 런타임 API는 저레벨 API 위에 구축될 수 있다. 적어도 하나의 실시예에서, 런타임 API들 중 하나 이상은, 언어 독립적 런타임 API 위에 계층화되는 언어-특정적 API들일 수 있다.
적어도 하나의 실시예에서, 디바이스 커널 드라이버(2406)는, 기본 디바이스와의 통신을 용이하게 하도록 구성된다. 적어도 하나의 실시예에서, 디바이스 커널 드라이버(2406)는, API들, 이를테면 API(들)(2404) 및/또는 다른 소프트웨어가 의존하는 저레벨 기능성들을 제공할 수 있다. 적어도 하나의 실시예에서, 디바이스 커널 드라이버(2406)는, 런타임 시에, 중간 표현("IR") 코드를 이진 코드로 컴파일하도록 구성될 수 있다. CUDA에 대해, 디바이스 커널 드라이버(2406)는, 적어도 하나의 실시예에서, 런타임 시에, 하드웨어 특정적이지 않은 병렬 스레드 실행("PTX") IR 코드를 특정 타깃 디바이스에 대한 이진 코드로 (컴파일된 이진 코드를 캐싱하면서) 컴파일할 수 있으며, 이는 때때로 "최종화" 코드로 또한 지칭된다. 그렇게 하는 것은, 적어도 하나의 실시예에서, 소스 코드가 원래 PTX 코드로 컴파일되었을 때 존재하지 않았을 수 있는 최종화된 코드가 타깃 디바이스 상에서 실행되는 것을 허용할 수 있다. 대안적으로, 적어도 하나의 실시예에서, 디바이스 소스 코드는, 디바이스 커널 드라이버(2406)가 런타임 시에 IR 코드를 컴파일할 것을 요구하지 않으면서, 오프라인으로 이진 코드로 컴파일될 수 있다.
도 25는 적어도 하나의 실시예에 따른, 도 24의 소프트웨어 스택(2400)의 CUDA 구현을 예시한다. 적어도 하나의 실시예에서, 애플리케이션(2501)이 론칭될 수 있는 CUDA 소프트웨어 스택(2500)은, CUDA 라이브러리들(2503), CUDA 런타임(2505), CUDA 드라이버(2507), 및 디바이스 커널 드라이버(2508)를 포함한다. 적어도 하나의 실시예에서, CUDA 소프트웨어 스택(2500)은, CUDA를 지원하고 캘리포니아 주 산타 클라라의 엔비디아 코포레이션에 의해 개발되는 GPU를 포함할 수 있는 하드웨어(2509) 상에서 실행된다.
적어도 하나의 실시예에서, 애플리케이션(2501), CUDA 런타임(2505), 및 디바이스 커널 드라이버(2508)는, 각각, 도 24와 연계하여 위에 설명되는 애플리케이션(2401), 런타임(2405), 및 디바이스 커널 드라이버(2406)와 유사한 기능성들을 수행할 수 있다. 적어도 하나의 실시예에서, CUDA 드라이버(2507)는, CUDA 드라이버 API(2506)를 구현하는 라이브러리(libcuda.so)를 포함한다. CUDA 런타임 라이브러리(cudart)에 의해 구현되는 CUDA 런타임 API(2504)와 유사하게, CUDA 드라이버 API(2506)는, 적어도 하나의 실시예에서, 제한 없이, 다른 것들 중에서도, 메모리 관리, 실행 제어, 디바이스 관리, 에러 처리, 동기화, 및/또는 그래픽 상호운용성을 위한 함수들을 노출시킬 수 있다. 적어도 하나의 실시예에서, CUDA 드라이버 API(2506)는, CUDA 런타임 API(2504)가 암시적 초기화, 컨텍스트(프로세스와 유사함) 관리, 및 모듈(동적으로 로딩된 라이브러리들과 유사함) 관리를 제공함으로써 디바이스 코드 관리를 단순화한다는 점에서, CUDA 런타임 API(2504)와 상이하다. 고레벨 CUDA 런타임 API(2504)와 달리, CUDA 드라이버 API(2506)는, 적어도 하나의 실시예에서, 특히 컨텍스트들 및 모듈 로딩과 관련하여 디바이스의 더 세밀화된 제어를 제공하는 저레벨 API이다. 적어도 하나의 실시예에서, CUDA 드라이버 API(2506)는, CUDA 런타임 API(2504)에 의해 노출되지 않는 컨텍스트 관리를 위한 함수들을 노출시킬 수 있다. 적어도 하나의 실시예에서, CUDA 드라이버 API(2506)는 또한 언어 독립적이고, CUDA 런타임 API(2504)에 부가하여, 예컨대 OpenCL을 지원한다. 추가로, 적어도 하나의 실시예에서, CUDA 런타임(2505)을 포함하는 개발 라이브러리들은, 사용자-모드 CUDA 드라이버(2507) 및 커널-모드 디바이스 드라이버(2508)(때때로 "디스플레이" 드라이버로 또한 지칭됨)를 포함하는 드라이버 구성요소들과 별개인 것으로 간주될 수 있다.
적어도 하나의 실시예에서, CUDA 라이브러리들(2503)은, 애플리케이션(2501)과 같은 병렬 컴퓨팅 애플리케이션들이 활용할 수 있는 수학적 라이브러리들, 심층 학습 라이브러리들, 병렬 알고리즘 라이브러리들, 및/또는 신호/이미지/비디오 처리 라이브러리들을 포함할 수 있지만, 이에 제한되지 않는다. 적어도 하나의 실시예에서, CUDA 라이브러리들(2503)은, 다른 것들 중에서도, 선형 대수 연산들을 수행하기 위한 기본 선형 대수 서브프로그램들("BLAS")의 구현인 cuBLAS 라이브러리, 고속 푸리에 변환("FFT")들을 컴퓨팅하기 위한 cuFFT 라이브러리, 및 난수들을 생성하기 위한 cuRAND 라이브러리와 같은 수학적 라이브러리들을 포함할 수 있다. 적어도 하나의 실시예에서, CUDA 라이브러리들(2503)은, 다른 것들 중에서도, 심층 학습 라이브러리들, 이를테면, 심층 신경망들을 위한 프리미티브들의 cuDNN 라이브러리 및 고성능 심층 학습 추론을 위한 TensorRT 플랫폼을 포함할 수 있다.
도 26은 적어도 하나의 실시예에 따른, 도 24의 소프트웨어 스택(2400)의 ROCm 구현을 예시한다. 적어도 하나의 실시예에서, 애플리케이션(2601)이 론칭될 수 있는 ROCm 소프트웨어 스택(2600)은, 언어 런타임(2603), 시스템 런타임(2605), 썽크(thunk)(2607), 및 ROCm 커널 드라이버(2608)를 포함한다. 적어도 하나의 실시예에서, ROCm 소프트웨어 스택(2600)은, ROCm을 지원하고 캘리포니아 주 산타 클라라의 AMD 코포레이션에 의해 개발되는 GPU를 포함할 수 있는 하드웨어(2609) 상에서 실행된다.
적어도 하나의 실시예에서, 애플리케이션(2601)은, 도 24와 연계하여 위에 논의된 애플리케이션(2401)과 유사한 기능성들을 수행할 수 있다. 게다가, 언어 런타임(2603) 및 시스템 런타임(2605)은, 적어도 하나의 실시예에서, 도 24와 연계하여 위에 논의된 런타임(2405)과 유사한 기능성들을 수행할 수 있다. 적어도 하나의 실시예에서, 언어 런타임(2603) 및 시스템 런타임(2605)은, 시스템 런타임(2605)이, ROCr 시스템 런타임 API(2604)를 구현하고 이종 시스템 아키텍처("HSA") 런타임 API를 이용하는 언어 독립적 런타임이라는 점에서 상이하다. HSA 런타임 API는, 적어도 하나의 실시예에서, 다른 것들 중에서도, 메모리 관리, 커널들의 구조화된 디스패치를 통한 실행 제어, 에러 처리, 시스템 및 에이전트 정보, 및 런타임 초기화 및 셧다운을 위한 함수들을 포함하는, AMD GPU에 액세스하고 그와 상호작용하기 위한 인터페이스들을 노출시키는 씬(thin) 사용자-모드 API이다. 시스템 런타임(2605)과 대조적으로, 언어 런타임(2603)은, 적어도 하나의 실시예에서, ROCr 시스템 런타임 API(2604) 위에 계층화된 언어-특정적 런타임 API(2602)의 구현이다. 적어도 하나의 실시예에서, 언어 런타임 API는, 다른 것들 중에서도, 이식성을 위한 이종 컴퓨팅 인터페이스("HIP") 언어 런타임 API, 이동 컴퓨팅 컴파일러("HCC") 언어 런타임 API, 또는 OpenCL API를 포함할 수 있지만, 이에 제한되지 않는다. HIP 언어는 특히, CUDA 메커니즘들의 기능적으로 유사한 버전들을 갖는 C++ 프로그래밍 언어의 확장이고, 적어도 하나의 실시예에서, HIP 언어 런타임 API는, 다른 것들 중에서도, 메모리 관리, 실행 제어, 디바이스 관리, 에러 처리, 및 동기화를 위한 함수들과 같은, 도 25와 연계하여 위에 논의된 CUDA 런타임 API(2504)의 것들과 유사한 함수들을 포함한다.
적어도 하나의 실시예에서, 썽크(ROCt)(2607)는, 기본 ROCm 드라이버(2608)와 상호작용하기 위해 사용될 수 있는 인터페이스(2606)이다. 적어도 하나의 실시예에서, ROCm 드라이버(2608)는, AMDGPU 드라이버와 HSA 커널 드라이버(amdkfd)의 조합인 ROCk 드라이버이다. 적어도 하나의 실시예에서, AMDGPU 드라이버는, 도 24와 연계하여 위에 논의된 디바이스 커널 드라이버(2406)와 유사한 기능성들을 수행하는, AMD에 의해 개발된 GPU들에 대한 디바이스 커널 드라이버이다. 적어도 하나의 실시예에서, HSA 커널 드라이버는, 상이한 유형들의 프로세서들이 하드웨어 특징들을 통해 시스템 리소스들을 더 효과적으로 공유하는 것을 허용하는 드라이버이다.
적어도 하나의 실시예에서, 다양한 라이브러리들(도시되지 않음)이 ROCm 소프트웨어 스택(2600)에서 언어 런타임(2603) 위에 포함될 수 있고, 도 25와 연계하여 위에 논의된 CUDA 라이브러리들(2503)에 대한 기능성 유사성을 제공할 수 있다. 적어도 하나의 실시예에서, 다양한 라이브러리들은, 다른 것들 중에서도, 수학적, 심층 학습, 및/또는 다른 라이브러리들, 이를테면, CUDA cuBLAS의 것들과 유사한 함수들을 구현하는 hipBLAS 라이브러리, CUDA cuFFT와 유사한 FFT들을 컴퓨팅하기 위한 rocFFT 라이브러리를 포함할 수 있지만, 이에 제한되지 않는다.
도 27은 적어도 하나의 실시예에 따른, 도 24의 소프트웨어 스택(2400)의 OpenCL 구현을 예시한다. 적어도 하나의 실시예에서, 애플리케이션(2701)이 론칭될 수 있는 OpenCL 소프트웨어 스택(2700)은, OpenCL 프레임워크(2710), OpenCL 런타임(2706), 및 드라이버(2707)를 포함한다. 적어도 하나의 실시예에서, OpenCL 소프트웨어 스택(2700)은, 공급업체 특정적이지 않은 하드웨어(2509) 상에서 실행된다. 적어도 하나의 실시예에서, OpenCL이 상이한 공급업체들에 의해 개발된 디바이스들에 의해 지원되기 때문에, 특정 OpenCL 드라이버들은 그러한 공급업체들로부터의 하드웨어와 상호동작하도록 요구될 수 있다.
적어도 하나의 실시예에서, 애플리케이션(2701), OpenCL 런타임(2706), 디바이스 커널 드라이버(2707), 및 하드웨어(2708)는, 각각, 도 24와 연계하여 위에 논의되는 애플리케이션(2401), 런타임(2405), 디바이스 커널 드라이버(2406), 및 하드웨어(2407)와 유사한 기능성들을 수행할 수 있다. 적어도 하나의 실시예에서, 애플리케이션(2701)은, 디바이스 상에서 실행될 코드를 갖는 OpenCL 커널(2702)을 더 포함한다.
적어도 하나의 실시예에서, OpenCL은, 호스트가 그 호스트에 연결된 디바이스들을 제어할 수 있게 하는 "플랫폼"을 정의한다. 적어도 하나의 실시예에서, OpenCL 프레임워크는, 플랫폼 API(2703) 및 런타임 API(2705)로서 도시된 플랫폼 계층 API 및 런타임 API를 제공한다. 적어도 하나의 실시예에서, 런타임 API(2705)는, 디바이스들 상에서의 커널들의 실행을 관리하기 위해 컨텍스트들을 사용한다. 적어도 하나의 실시예에서, 각각의 식별된 디바이스는 개개의 컨텍스트와 연관될 수 있고, 이는, 런타임 API(2705)가, 명령 큐들, 프로그램 객체들, 및 커널 객체들을 관리하고, 다른 것들 중에서도 그 디바이스에 대한 메모리 객체들을 공유하기 위해 사용할 수 있다. 적어도 하나의 실시예에서, 플랫폼 API(2703)는, 디바이스 컨텍스트들이, 다른 것들 중에서도, 디바이스들을 선택 및 초기화하고, 명령 큐들을 통해 디바이스들에 작업을 제출하고, 디바이스들로의 그리고 디바이스들로부터의 데이터 전송을 가능하게 하는 데 사용되는 것을 허용하는 함수들을 노출시킨다. 게다가, OpenCL 프레임워크는, 적어도 하나의 실시예에서, 다른 것들 중에서도, 수학 함수들, 관계 함수들, 및 이미지 처리 함수들을 포함하는 다양한 내장 함수들(도시되지 않음)을 제공한다.
적어도 하나의 실시예에서, 컴파일러(2704)는 또한 OpenCL 프레임워크(2710)에 포함된다. 소스 코드는, 적어도 하나의 실시예에서, 애플리케이션을 실행하기 전에 오프라인으로 또는 애플리케이션의 실행 동안 온라인으로 컴파일될 수 있다. CUDA 및 ROCm과 대조적으로, 적어도 하나의 실시예에서의 OpenCL 애플리케이션들은, 표준 이식가능 중간 표현("SPIR-V") 코드와 같은 소스 코드 및/또는 IR 코드를 이진 코드로 컴파일하는 데 사용될 수 있는 임의의 수의 컴파일러들을 나타내도록 포함되는 컴파일러(2704)에 의해 온라인으로 컴파일될 수 있다. 대안적으로, 적어도 하나의 실시예에서, OpenCL 애플리케이션들은 그러한 애플리케이션들의 실행 전에 오프라인으로 컴파일될 수 있다.
도 28은 적어도 하나의 실시예에 따른, 프로그래밍 플랫폼에 의해 지원되는 소프트웨어를 예시한다. 적어도 하나의 실시예에서, 프로그래밍 플랫폼(2804)은, 애플리케이션(2800)이 의존할 수 있는 다양한 프로그래밍 모델들(2803), 미들웨어들 및/또는 라이브러리들(2802), 및 프레임워크들(2801)을 지원하도록 구성되어 있다. 적어도 하나의 실시예에서, 애플리케이션(2800)은, 예컨대, 심층 학습 프레임워크, 이를테면, MXNet, 파이토치(PyTorch), 또는 텐서플로우(TensorFlow)를 사용하여 구현되는 AI/ML 애플리케이션일 수 있으며, 이들은, 기본 하드웨어 상에서 가속된 컴퓨팅을 제공하기 위해 cuDNN, 엔비디아 집합 통신 라이브러리("NCCL"), 및/또는 엔비디아 개발자 데이터 로딩 라이브러리("DALI") CUDA 라이브러리들과 같은 라이브러리들에 의존할 수 있다.
적어도 하나의 실시예에서, 프로그래밍 플랫폼(2804)은, 도 25, 도 26, 및 도 27과 연계하여 각각 위에서 설명된 CUDA, ROCm, 또는 OpenCL 플랫폼 중 하나일 수 있다. 적어도 하나의 실시예에서, 프로그래밍 플랫폼(2804)은, 알고리즘들 및 데이터 구조들의 표현들을 허용하는 기본 컴퓨팅 시스템의 추상화들인 다수의 프로그래밍 모델들(2803)을 지원한다. 프로그래밍 모델들(2803)은, 적어도 하나의 실시예에서, 성능을 개선하기 위해 기본 하드웨어의 특징들을 노출시킬 수 있다. 적어도 하나의 실시예에서, 프로그래밍 모델들(2803)은, CUDA, HIP, OpenCL, C++ 가속된 대규모 병렬성("C++AMP"), 오픈 다중-처리("OpenMP"), 오픈 가속기들("OpenACC"), 및/또는 불칸 컴퓨팅(Vulcan Compute)을 포함할 수 있지만, 이에 제한되지 않는다.
적어도 하나의 실시예에서, 라이브러리들 및/또는 미들웨어들(2802)은, 프로그래밍 모델들(2804)의 추상화들의 구현들을 제공한다. 적어도 하나의 실시예에서, 그러한 라이브러리들은, 컴퓨터 프로그램들에 의해 사용될 수 있고 소프트웨어 개발 동안 활용될 수 있는 데이터 및 프로그래밍 코드를 포함한다. 적어도 하나의 실시예에서, 그러한 미들웨어들은, 프로그래밍 플랫폼(2804)으로부터 이용가능한 것들을 넘어서는 서비스들을 애플리케이션들에 제공하는 소프트웨어를 포함한다. 적어도 하나의 실시예에서, 라이브러리들 및/또는 미들웨어들(2802)은 cuBLAS, cuFFT, cuRAND, 및 다른 CUDA 라이브러리들, 또는 rocBLAS, rocFFT, rocRAND, 및 다른 ROCm 라이브러리들을 포함할 수 있지만, 이에 제한되지 않는다. 게다가, 적어도 하나의 실시예에서, 라이브러리들 및/또는 미들웨어들(2802)은, GPU들에 대한 통신 루틴들을 제공하는 NCCL 및 ROCm 통신 집합 라이브러리("RCCL") 라이브러리들, 심층 학습 가속을 위한 MIOpen 라이브러리, 및/또는 선형 대수, 행렬 및 벡터 연산들, 기하학적 변환들, 수치 솔버(solver)들, 및 관련된 알고리즘들을 위한 아이젠(Eigen) 라이브러리를 포함할 수 있다.
적어도 하나의 실시예에서, 애플리케이션 프레임워크들(2801)은 라이브러리들 및/또는 미들웨어들(2802)에 의존한다. 적어도 하나의 실시예에서, 애플리케이션 프레임워크들(2801) 각각은, 애플리케이션 소프트웨어의 표준 구조를 구현하는 데 사용되는 소프트웨어 프레임워크이다. 위에서 논의된 AI/ML 예를 다시 참조하면, AI/ML 애플리케이션은, 적어도 하나의 실시예에서, 카페(Caffe), 카페2(Caffe2), 텐서플로우, 케라스(Keras), 파이토치, 또는 MxNet 심층 학습 프레임워크들과 같은 프레임워크를 사용하여 구현될 수 있다.
도 29는 적어도 하나의 실시예에 따른, 도 24 내지 도 27의 프로그래밍 플랫폼들 중 하나 상에서 실행하기 위한 컴파일 코드를 예시한다. 적어도 하나의 실시예에서, 컴파일러(2901)는, 호스트 코드뿐만 아니라 디바이스 코드 둘 모두를 포함하는 소스 코드(2900)를 수신한다. 적어도 하나의 실시예에서, 컴플라이어(2901)는, 소스 코드(2900)를 호스트 상에서의 실행을 위한 호스트 실행가능 코드(2902) 및 디바이스 상에서의 실행을 위한 디바이스 실행가능 코드(2903)로 변환하도록 구성된다. 적어도 하나의 실시예에서, 소스 코드(2900)는, 애플리케이션의 실행 이전에 오프라인으로 또는 애플리케이션의 실행 동안 온라인으로 컴파일될 수 있다.
적어도 하나의 실시예에서, 소스 코드(2900)는, C++, C, 포트란(Fortran) 등과 같은, 컴파일러(2901)에 의해 지원되는 임의의 프로그래밍 언어의 코드를 포함할 수 있다. 적어도 하나의 실시예에서, 소스 코드(2900)는, 호스트 코드와 디바이스 코드의 혼합을 갖는 단일 소스 파일에 포함될 수 있으며, 그 파일에서, 디바이스 코드의 위치들이 표시된다. 적어도 하나의 실시예에서, 단일 소스 파일은 CUDA 코드를 포함하는 .cu 파일 또는 HIP 코드를 포함하는 .hip.cpp 파일일 수 있다. 대안적으로, 적어도 하나의 실시예에서, 소스 코드(2900)는, 단일 소스 파일이 아니라, 호스트 코드 및 디바이스 코드가 분리되는 다수의 소스 코드 파일들을 포함할 수 있다.
적어도 하나의 실시예에서, 컴파일러(2901)는, 소스 코드(2900)를 호스트 상에서의 실행을 위한 호스트 실행가능 코드(2902) 및 디바이스 상에서의 실행을 위한 디바이스 실행가능 코드(2903)로 컴파일하도록 구성된다. 적어도 하나의 실시예에서, 컴파일러(2901)는, 소스 코드(2900)를 추상 시스템 트리(AST)로 파싱하는 것, 최적화들을 수행하는 것, 및 실행가능 코드를 생성하는 것을 포함하는 동작들을 수행한다. 소스 코드(2900)가 단일 소스 파일을 포함하는 적어도 하나의 실시예에서, 컴파일러(2901)는, 도 30과 관련하여 아래에서 더 상세히 논의되는 바와 같이, 그러한 단일 소스 파일에서 디바이스 코드를 호스트 코드와 분리하고, 디바이스 코드 및 호스트 코드를 각각 디바이스 실행가능 코드(2903) 및 호스트 실행가능 코드(2902)로 컴파일하고, 디바이스 실행가능 코드(2903) 및 호스트 실행가능 코드(2902)를 단일 파일로 함께 링크할 수 있다.
적어도 하나의 실시예에서, 호스트 실행가능 코드(2902) 및 디바이스 실행가능 코드(2903)는 임의의 적합한 포맷, 이를테면, 이진 코드 및/또는 IR 코드일 수 있다. CUDA의 경우에, 적어도 하나의 실시예에서, 호스트 실행가능 코드(2902)는 네이티브 객체 코드를 포함할 수 있고, 디바이스 실행가능 코드(2903)는 PTX 중간 표현의 코드를 포함할 수 있다. ROCm의 경우에, 적어도 하나의 실시예에서, 호스트 실행가능 코드(2902) 및 디바이스 실행가능 코드(2903) 둘 모두는 타깃 이진 코드를 포함할 수 있다.
도 30은 적어도 하나의 실시예에 따른, 도 24 내지 도 27의 프로그래밍 플랫폼들 중 하나 상에서 실행하기 위한 컴파일 코드의 더 상세한 예시이다. 적어도 하나의 실시예에서, 컴파일러(3001)는, 소스 코드(3000)를 수신하고, 소스 코드(3000)를 컴파일하고, 실행가능 파일(3010)을 출력하도록 구성된다. 적어도 하나의 실시예에서, 소스 코드(3000)는, 단일 소스 파일, 이를테면, .cu 파일, .hip.cpp 파일, 또는 호스트 및 디바이스 코드 둘 모두를 포함하는 다른 포맷의 파일이다. 적어도 하나의 실시예에서, 컴파일러(3001)는, .cu 파일들로 CUDA 코드를 컴파일하기 위한 엔비디아 CUDA 컴파일러("NVCC"), 또는 .hip.cpp 파일들로 HIP 코드를 컴파일하기 위한 HCC 컴파일러일 수 있지만, 이에 제한되지 않는다.
적어도 하나의 실시예에서, 컴파일러(3001)는, 컴파일러 프론트 엔드(3002), 호스트 컴파일러(3005), 디바이스 컴파일러(3006), 및 링커(3009)를 포함한다. 적어도 하나의 실시예에서, 컴파일러 프론트 엔드(3002)는, 소스 코드(3000)에서 디바이스 코드(3004)를 호스트 코드(3003)와 분리하도록 구성된다. 디바이스 코드(3004)는, 적어도 하나의 실시예에서, 디바이스 컴파일러(3006)에 의해 디바이스 실행가능 코드(3008)로 컴파일되는데, 이는, 설명된 바와 같이, 이진 코드 또는 IR 코드를 포함할 수 있다. 별개로, 호스트 코드(3003)는, 적어도 하나의 실시예에서, 호스트 컴파일러(3005)에 의해 호스트 실행가능 코드(3007)로 컴파일된다. NVCC에 대해, 적어도 하나의 실시예에서, 호스트 컴파일러(3005)는, 네이티브 객체 코드를 출력하는 범용 C/C++ 컴파일러일 수 있지만, 이에 제한되지 않는 한편, 디바이스 컴파일러(3006)는, 저레벨 가상 기계("LLVM") 컴파일러 기반구조를 포킹(fork)하고 PTX 코드 또는 이진 코드를 출력하는 LLVM 기반 컴파일러일 수 있지만, 이에 제한되지 않는다. HCC에 대해, 적어도 하나의 실시예에서, 호스트 컴파일러(3005) 및 디바이스 컴파일러(3006) 둘 모두는, 타깃 이진 코드를 출력하는 LLVM 기반 컴파일러들일 수 있지만, 이에 제한되지 않는다.
적어도 하나의 실시예에서, 소스 코드(3000)를 호스트 실행가능 코드(3007) 및 디바이스 실행가능 코드(3008)로 컴파일하는 것에 후속하여, 링커(3009)는, 호스트 및 디바이스 실행가능 코드(3007 및 3008)를 실행가능 파일(3010)로 함께 링크한다. 적어도 하나의 실시예에서, 호스트에 대한 네이티브 객체 코드 및 디바이스에 대한 PTX 또는 이진 코드는, 객체 코드를 저장하는 데 사용되는 컨테이너 포맷인 실행가능 및 링크가능 포맷("ELF") 파일로 함께 링크될 수 있다.
도 31은 적어도 하나의 실시예에 따른, 소스 코드를 컴파일하기 전에 소스 코드를 변환하는 것을 예시한다. 적어도 하나의 실시예에서, 소스 코드(3100)는, 소스 코드(3100)를 변환된 소스 코드(3102)로 변환하는 변환 툴(3101)을 통과한다. 적어도 하나의 실시예에서, 컴파일러(3103)는, 도 29와 연계하여 위에 논의된 바와 같이, 컴파일러(2901)에 의한, 호스트 실행가능 코드(2902) 및 디바이스 실행가능 코드(2903)로의 소스 코드(2900)의 컴파일과 유사한 프로세스로, 변환된 소스 코드(3102)를 호스트 실행가능 코드(3104) 및 디바이스 실행가능 코드(3105)로 컴파일하는 데 사용된다.
적어도 하나의 실시예에서, 변환 툴(3101)에 의해 수행되는 변환은, 소스(3100)를, 그것이 원래 실행되도록 의도되었던 것과 상이한 환경에서의 실행을 위해 포팅(port)하기 위해 사용된다. 적어도 하나의 실시예에서, 변환 툴(3101)은, CUDA 플랫폼에 대해 의도된 CUDA 코드를 ROCm 플랫폼 상에서 컴파일 실행될 수 있는 HIP 코드로 "힙화(hipify)"하기 위해 사용되는 HIP 트랜슬레이터(translator)를 포함할 수 있지만, 이에 제한되지 않는다. 적어도 하나의 실시예에서, 소스 코드(3100)의 변환은, 도 32a 내지 도 33과 연계하여 아래에서 더 상세히 논의되는 바와 같이, 소스 코드(3100)를 파싱하는 것, 및 하나의 프로그래밍 모델(예컨대, CUDA)에 의해 제공되는 API(들)에 대한 호출들을 다른 프로그래밍 모델(예컨대, HIP)에 의해 제공되는 API(들)에 대한 대응하는 호출들로 변환하는 것을 포함할 수 있다. 힙화 CUDA 코드의 예를 다시 참조하면, 적어도 하나의 실시예에서, CUDA 런타임 API, CUDA 드라이버 API, 및/또는 CUDA 라이브러리들에 대한 호출들은 대응하는 HIP API 호출들로 변환될 수 있다. 적어도 하나의 실시예에서, 변환 툴(3101)에 의해 수행되는 자동화된 변환들은 때때로 불완전할 수 있어서, 소스 코드(3100)를 완전히 포팅하기 위한 부가적인 수동 노력을 요구한다.
범용 컴퓨팅을 위한 GPU들의 구성
다음의 도면들은, 제한 없이, 적어도 하나의 실시예에 따른, 컴퓨팅 소스 코드를 컴파일하고 실행하기 위한 예시적인 아키텍처들을 기재한다.
도 32a는 적어도 하나의 실시예에 따른, 상이한 유형들의 처리 유닛들을 사용하여 CUDA 소스 코드(3210)를 컴파일 및 실행하도록 구성되는 시스템(32A00)을 예시한다. 적어도 하나의 실시예에서, 시스템(32A00)은, 제한 없이, CUDA 소스 코드(3210), CUDA 컴파일러(3250), 호스트 실행가능 코드(3270(1)), 호스트 실행가능 코드(3270(2)), CUDA 디바이스 실행가능 코드(3284), CPU(3290), CUDA-가능 GPU(3294), GPU(3292), CUDA-HIP 변환 툴(3220), HIP 소스 코드(3230), HIP 컴파일러 드라이버(3240), HCC(3260), 및 HCC 디바이스 실행가능 코드(3282)를 포함한다.
적어도 하나의 실시예에서, CUDA 소스 코드(3210)는 CUDA 프로그래밍 언어의 인간 판독가능 코드의 집합이다. 적어도 하나의 실시예에서, CUDA 코드는 CUDA 프로그래밍 언어의 인간 판독가능 코드이다. 적어도 하나의 실시예에서, CUDA 프로그래밍 언어는, 디바이스 코드를 정의하고 디바이스 코드와 호스트 코드 사이를 구별하기 위한 메커니즘들을 제한 없이 포함하는 C++ 프로그래밍 언어의 확장이다. 적어도 하나의 실시예에서, 디바이스 코드는, 컴파일 후에 디바이스 상에서 병렬로 실행가능한 소스 코드이다. 적어도 하나의 실시예에서, 디바이스는, CUDA-가능 GPU(3290), GPU(32192), 또는 다른 GPGPU 등과 같은, 병렬 명령어 처리에 최적화되는 프로세서일 수 있다. 적어도 하나의 실시예에서, 호스트 코드는, 컴파일 후에 호스트 상에서 실행가능한 소스 코드이다. 적어도 하나의 실시예에서, 호스트는, CPU(3290)와 같은, 순차적 명령어 처리에 최적화되는 프로세서이다.
적어도 하나의 실시예에서, CUDA 소스 코드(3210)는, 제한 없이, 임의의 수(영개를 포함함)의 전역 함수들(3212), 임의의 수(영개를 포함함)의 디바이스 함수들(3214), 임의의 수(영개를 포함함)의 호스트 함수들(3216), 및 임의의 수(영개를 포함함)의 호스트/디바이스 함수들(3218)을 포함한다. 적어도 하나의 실시예에서, 전역 함수들(3212), 디바이스 함수들(3214), 호스트 함수들(3216), 및 호스트/디바이스 함수들(3218)은 CUDA 소스 코드(3210)에서 혼합될 수 있다. 적어도 하나의 실시예에서, 전역 함수들(3212) 각각은, 디바이스 상에서 실행가능하고 호스트로부터 호출가능하다. 따라서, 적어도 하나의 실시예에서, 전역 함수들(3212) 중 하나 이상은 디바이스에 대한 엔트리 포인트들로서 작용할 수 있다. 적어도 하나의 실시예에서, 전역 함수들(3212) 각각은 커널이다. 적어도 하나의 실시예에서, 그리고 동적 병렬성으로서 알려져 있는 기법에서, 전역 함수들(3212) 중 하나 이상은, 디바이스 상에서 실행가능하고 그러한 디바이스로부터 호출가능한 커널을 정의한다. 적어도 하나의 실시예에서, 커널은, 실행 동안 디바이스 상의 N개의 상이한 스레드에 의해 병렬로 N회(N은 임의의 양의 정수임) 실행된다.
적어도 하나의 실시예에서, 디바이스 함수들(3214) 각각은, 디바이스 상에서 실행되고 그러한 디바이스로부터만 호출가능하다. 적어도 하나의 실시예에서, 호스트 함수들(3216) 각각은, 호스트 상에서 실행되고 그러한 호스트로부터만 호출가능하다. 적어도 하나의 실시예에서, 호스트/디바이스 함수들(3216) 각각은, 호스트 상에서 실행가능하고 그러한 호스트로부터만 호출가능한 함수의 호스트 버전 및 디바이스 상에서 실행가능하고 그러한 디바이스로부터만 호출가능한 함수의 디바이스 버전 둘 모두를 정의한다.
적어도 하나의 실시예에서, CUDA 소스 코드(3210)는 또한, 제한 없이, CUDA 런타임 API(3202)를 통해 정의되는 임의의 수의 함수에 대한 임의의 수의 호출을 포함할 수 있다. 적어도 하나의 실시예에서, CUDA 런타임 API(3202)는, 제한 없이, 디바이스 메모리를 할당 및 할당해제하고, 호스트 메모리와 디바이스 메모리 사이에서 데이터를 전송하고, 다수의 디바이스들을 갖는 시스템들을 관리하는 등을 행하도록 호스트 상에서 실행되는 임의의 수의 함수를 포함할 수 있다. 적어도 하나의 실시예에서, CUDA 소스 코드(3210)는 또한, 임의의 수의 다른 CUDA API에서 특정되는 임의의 수의 함수에 대한 임의의 수의 호출을 포함할 수 있다. 적어도 하나의 실시예에서, CUDA API는, CUDA 코드에 의한 사용을 위해 설계되는 임의의 API일 수 있다. 적어도 하나의 실시예에서, CUDA API들은, 제한 없이, CUDA 런타임 API(3202), CUDA 드라이버 API, 임의의 수의 CUDA 라이브러리에 대한 API들 등을 포함한다. 적어도 하나의 실시예에서, 그리고 CUDA 런타임 API(3202)에 대해, CUDA 드라이버 API는 하위 레벨 API이지만 디바이스의 더 세밀화된 제어를 제공한다. 적어도 하나의 실시예에서, CUDA 라이브러리의 예들은, 제한 없이, cuBLAS, cuFFT, cuRAND, cuDNN 등을 포함한다.
적어도 하나의 실시예에서, CUDA 컴파일러(3250)는, 입력 CUDA 코드(예컨대, CUDA 소스 코드(3210))를 컴파일하여 호스트 실행가능 코드(3270(1)) 및 CUDA 디바이스 실행가능 코드(3284)를 생성한다. 적어도 하나의 실시예에서, CUDA 컴파일러(3250)는 NVCC이다. 적어도 하나의 실시예에서, 호스트 실행가능 코드(3270(1))는, CPU(3290) 상에서 실행가능한 입력 소스 코드에 포함된 호스트 코드의 컴파일된 버전이다. 적어도 하나의 실시예에서, CPU(3290)는, 순차적 명령어 처리에 최적화되는 임의의 프로세서일 수 있다.
적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3284)는, CUDA-가능 GPU(3294) 상에서 실행가능한 입력 소스 코드에 포함된 디바이스 코드의 컴파일된 버전이다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3284)는, 제한 없이, 이진 코드를 포함한다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3284)는, 제한 없이, 런타임 시에 디바이스 드라이버에 의해 특정 타깃 디바이스(예컨대, CUDA-가능 GPU(3294))에 대한 이진 코드로 추가로 컴파일되는 IR 코드, 이를테면 PTX 코드를 포함한다. 적어도 하나의 실시예에서, CUDA-가능 GPU(3294)는, 병렬 명령어 처리에 최적화되고 CUDA를 지원하는 임의의 프로세서일 수 있다. 적어도 하나의 실시예에서, CUDA-가능 GPU(3294)는, 캘리포니아 주 산타 클라라의 엔비디아 코포레이션에 의해 개발된다.
적어도 하나의 실시예에서, CUDA-HIP 변환 툴(3220)은, CUDA 소스 코드(3210)를 기능적으로 유사한 HIP 소스 코드(3230)로 변환하도록 구성된다. 적어도 하나의 실시예에서, HIP 소스 코드(3230)는 HIP 프로그래밍 언어의 인간 판독가능 코드의 집합이다. 적어도 하나의 실시예에서, HIP 코드는 HIP 프로그래밍 언어의 인간 판독가능 코드이다. 적어도 하나의 실시예에서, HIP 프로그래밍 언어는, 디바이스 코드를 정의하고 디바이스 코드와 호스트 코드를 구별하기 위한 CUDA 메커니즘들의 기능적으로 유사한 버전들을 제한 없이 포함하는 C++ 프로그래밍 언어의 확장이다. 적어도 하나의 실시예에서, HIP 프로그래밍 언어는, CUDA 프로그래밍 언어의 기능성의 서브세트를 포함할 수 있다. 적어도 하나의 실시예에서, 예컨대, HIP 프로그래밍 언어는, 제한 없이, 전역 함수들(3212)을 정의하는 메커니즘(들)을 포함하지만, 그러한 HIP 프로그래밍 언어는, 동적 병렬성에 대한 지원이 부족할 수 있고, 따라서, HIP 코드로 정의된 전역 함수들(3212)은 호스트로부터만 호출가능할 수 있다.
적어도 하나의 실시예에서, HIP 소스 코드(3230)는, 제한 없이, 임의의 수(영개를 포함함)의 전역 함수들(3212), 임의의 수(영개를 포함함)의 디바이스 함수들(3214), 임의의 수(영개를 포함함)의 호스트 함수들(3216), 및 임의의 수(영개를 포함함)의 호스트/디바이스 함수들(3218)을 포함한다. 적어도 하나의 실시예에서, HIP 소스 코드(3230)는 또한, HIP 런타임 API(3232)에서 특정되는 임의의 수의 함수에 대한 임의의 수의 호출을 포함할 수 있다. 적어도 하나의 실시예에서, HIP 런타임 API(3232)는 또한, 제한 없이, CUDA 런타임 API(3202)에 포함된 함수들의 서브세트의 기능적으로 유사한 버전들을 포함한다. 적어도 하나의 실시예에서, HIP 소스 코드(3230)는 또한, 임의의 수의 다른 HIP API에서 특정되는 임의의 수의 함수에 대한 임의의 수의 호출을 포함할 수 있다. 적어도 하나의 실시예에서, HIP API는, HIP 코드 및/또는 ROCm에 의한 사용을 위해 설계되는 임의의 API일 수 있다. 적어도 하나의 실시예에서, HIP API들은, 제한 없이, HIP 런타임 API(3232), HIP 드라이버 API, 임의의 수의 HIP 라이브러리에 대한 API들, 임의의 수의 ROCm 라이브러리들에 대한 API들 등을 포함한다.
적어도 하나의 실시예에서, CUDA-HIP 변환 툴(3220)은, CUDA 코드에서의 각각의 커널 호출을 CUDA 구문으로부터 HIP 구문으로 변환하고, CUDA 코드에서의 임의의 수의 다른 CUDA 호출을 임의의 수의 다른 기능적으로 유사한 HIP 호출로 변환한다. 적어도 하나의 실시예에서, CUDA 호출은 CUDA API에서 특정되는 함수에 대한 호출이고, HIP 호출은 HIP API에서 특정되는 함수에 대한 호출이다. 적어도 하나의 실시예에서, CUDA-HIP 변환 툴(3220)은, CUDA 런타임 API(3202)에서 특정되는 함수들에 대한 임의의 수의 호출을 HIP 런타임 API(3232)에서 특정되는 함수들에 대한 임의의 수의 호출로 변환한다.
적어도 하나의 실시예에서, CUDA-HIP 변환 툴(3220)은, 텍스트 기반 변환 프로세스를 실행하는 힙화-펄(hipify-perl)로서 알려져 있는 툴이다. 적어도 하나의 실시예에서, CUDA-HIP 변환 툴(3220)은, 힙화-펄에 비해, 클랭(clang)(컴파일러 프론트 엔드)을 사용하여 CUDA 코드를 파싱하고 이어서 결과적인 심볼들을 변환하는 것을 수반하는 더 복잡하고 더 강건한 변환 프로세스를 실행하는, 힙화-클랭(hipify-clang)으로 알려져 있는 툴이다. 적어도 하나의 실시예에서, CUDA 코드를 HIP 코드로 적절히 변환하는 것은, CUDA-HIP 변환 툴(3220)에 의해 수행되는 것들에 부가하여 수정들(예컨대, 수동 편집들)을 요구할 수 있다.
적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3240)는, 타깃 디바이스(3246)를 결정하고 이어서 HIP 소스 코드(3230)를 컴파일하도록 타깃 디바이스(3246)와 호환가능한 컴파일러를 구성하는 프론트 엔드이다. 적어도 하나의 실시예에서, 타깃 디바이스(3246)는, 병렬 명령어 처리에 최적화되는 프로세서이다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3240)는, 임의의 기술적으로 실현가능한 방식으로 타깃 디바이스(3246)를 결정할 수 있다.
적어도 하나의 실시예에서, 타깃 디바이스(3246)가 CUDA(예컨대, CUDA-가능 GPU(3294))와 호환가능한 경우, HIP 컴파일러 드라이버(3240)는 HIP/NVCC 컴파일 명령(3242)을 생성한다. 적어도 하나의 실시예에서, 그리고 도 32b와 연계하여 더 상세히 설명되는 바와 같이, HIP/NVCC 컴파일 명령(3242)은, HIP-CUDA(HIP to CUDA) 변환 헤더 및 CUDA 런타임 라이브러리를 제한 없이 사용하여 HIP 소스 코드(3230)를 컴파일하도록 CUDA 컴파일러(3250)를 구성한다. 적어도 하나의 실시예에서, 그리고 HIP/NVCC 컴파일 명령(3242)에 대한 응답으로, CUDA 컴파일러(3250)는, 호스트 실행가능 코드(3270(1)) 및 CUDA 디바이스 실행가능 코드(3284)를 생성한다.
적어도 하나의 실시예에서, 타깃 디바이스(3246)가 CUDA와 호환되지 않는 경우, HIP 컴파일러 드라이버(3240)는 HIP/HCC 컴파일 명령(3244)을 생성한다. 적어도 하나의 실시예에서, 그리고 도 32c와 연계하여 더 상세히 설명되는 바와 같이, HIP/HCC 컴파일 명령(3244)은, HCC 헤더 및 HIP/HCC 런타임 라이브러리를 제한 없이 사용하여 HIP 소스 코드(3230)를 컴파일하도록 HCC(3260)를 구성한다. 적어도 하나의 실시예에서, 그리고 HIP/HCC 컴파일 명령(3244)에 대한 응답으로, HCC(3260)는, 호스트 실행가능 코드(3270(2)) 및 HCC 디바이스 실행가능 코드(3282)를 생성한다. 적어도 하나의 실시예에서, HCC 디바이스 실행가능 코드(3282)는, GPU(3292) 상에서 실행가능한 HIP 소스 코드(3230)에 포함된 디바이스 코드의 컴파일된 버전이다. 적어도 하나의 실시예에서, GPU(3292)는, 병렬 명령어 처리에 최적화되고 CUDA와 호환가능하지 않고 HCC와 호환가능한 임의의 프로세서일 수 있다. 적어도 하나의 실시예에서, GPU(3292)는, 캘리포니아 주 산타 클라라의 AMD 코포레이션에 의해 개발된다. 적어도 하나의 실시예에서, GPU(3292)는 비-CUDA-가능 GPU(3292)이다.
단지 설명의 목적들을 위해, CPU(3290) 및 상이한 디바이스들 상에서의 실행을 위해 CUDA 소스 코드(3210)를 컴파일하도록 적어도 하나의 실시예에서 구현될 수 있는 3개의 상이한 흐름이 도 32a에 도시된다. 적어도 하나의 실시예에서, 직접 CUDA 흐름은, CUDA 소스 코드(3210)를, CUDA 소스 코드(3210)를 HIP 소스 코드(3230)로 변환함이 없이, CPU(3290) 및 CUDA-가능 GPU(3294) 상에서의 실행을 위해 컴파일한다. 적어도 하나의 실시예에서, 간접 CUDA 흐름은, CUDA 소스 코드(3210)를 HIP 소스 코드(3230)로 변환하고, 이어서, CPU(3290) 및 CUDA-가능 GPU(3294) 상에서의 실행을 위해 HIP 소스 코드(3230)를 컴파일한다. 적어도 하나의 실시예에서, CUDA/HCC 흐름은, CUDA 소스 코드(3210)를 HIP 소스 코드(3230)로 변환하고, 이어서, CPU(3290) 및 GPU(3292) 상에서의 실행을 위해 HIP 소스 코드(3230)를 컴파일한다.
적어도 하나의 실시예에서 구현될 수 있는 직접 CUDA 흐름은, 파선들 및 A1 내지 A3으로 주석부기된 일련의 버블들을 통해 도시된다. 적어도 하나의 실시예에서, 그리고 A1로 주석부기된 버블로 도시된 바와 같이, CUDA 컴파일러(3250)는, CUDA 소스 코드(3210), 및 CUDA 소스 코드(3210)를 컴파일하도록 CUDA 컴파일러(3250)를 구성하는 CUDA 컴파일 명령(3248)을 수신한다. 적어도 하나의 실시예에서, 직접 CUDA 흐름에서 사용되는 CUDA 소스 코드(3210)는, C++ 이외의 프로그래밍 언어(예컨대, C, 포트란, 파이썬(Python), 자바(Java) 등)에 기반하는 CUDA 프로그래밍 언어로 작성된다. 적어도 하나의 실시예에서, 그리고 CUDA 컴파일 명령(3248)에 대한 응답으로, CUDA 컴파일러(3250)는, 호스트 실행가능 코드(3270(1)) 및 CUDA 디바이스 실행가능 코드(3284)를 생성(A2로 주석부기된 버블로 도시됨)한다. 적어도 하나의 실시예에서, 그리고 A3으로 주석부기된 버블로 도시된 바와 같이, 호스트 실행가능 코드(3270(1)) 및 CUDA 디바이스 실행가능 코드(3284)는 각각 CPU(3290) 및 CUDA-가능 GPU(3294) 상에서 실행될 수 있다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3284)는, 제한 없이, 이진 코드를 포함한다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3284)는, 제한 없이, PTX 코드를 포함하고, 런타임 시에 특정 타깃 디바이스에 대한 이진 코드로 추가로 컴파일된다.
적어도 하나의 실시예에서 구현될 수 있는 간접 CUDA 흐름은, 점선들 및 B1 내지 B6으로 주석부기된 일련의 버블들을 통해 도시된다. 적어도 하나의 실시예에서, 그리고 B1로 주석부기된 버블로 도시된 바와 같이, CUDA-HIP 변환 툴(3220)은 CUDA 소스 코드(3210)를 수신한다. 적어도 하나의 실시예에서, 그리고 B2로 주석부기된 버블로 도시된 바와 같이, CUDA-HIP 변환 툴(3220)은 CUDA 소스 코드(3210)를 HIP 소스 코드(3230)로 변환한다. 적어도 하나의 실시예에서, 그리고 B3으로 주석부기된 버블로 도시된 바와 같이, HIP 컴파일러 드라이버(3240)는 HIP 소스 코드(3230)를 수신하고, 타깃 디바이스(3246)가 CUDA-가능인 것으로 결정한다.
적어도 하나의 실시예에서, 그리고 B4로 주석부기된 버블로 도시된 바와 같이, HIP 컴파일러 드라이버(3240)는 HIP/NVCC 컴파일 명령(3242)을 생성하고, HIP/NVCC 컴파일 명령(3242) 및 HIP 소스 코드(3230) 둘 모두를 CUDA 컴파일러(3250)에 송신한다. 적어도 하나의 실시예에서, 그리고 도 32b와 연계하여 더 상세히 설명되는 바와 같이, HIP/NVCC 컴파일 명령(3242)은, HIP-CUDA(HIP to CUDA) 변환 헤더 및 CUDA 런타임 라이브러리를 제한 없이 사용하여 HIP 소스 코드(3230)를 컴파일하도록 CUDA 컴파일러(3250)를 구성한다. 적어도 하나의 실시예에서, 그리고 HIP/NVCC 컴파일 명령(3242)에 대한 응답으로, CUDA 컴파일러(3250)는, 호스트 실행가능 코드(3270(1)) 및 CUDA 디바이스 실행가능 코드(3284)를 생성(B5로 주석부기된 버블로 도시됨)한다. 적어도 하나의 실시예에서, 그리고 B6으로 주석부기된 버블로 도시된 바와 같이, 호스트 실행가능 코드(3270(1)) 및 CUDA 디바이스 실행가능 코드(3284)는 각각 CPU(3290) 및 CUDA-가능 GPU(3294) 상에서 실행될 수 있다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3284)는, 제한 없이, 이진 코드를 포함한다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3284)는, 제한 없이, PTX 코드를 포함하고, 런타임 시에 특정 타깃 디바이스에 대한 이진 코드로 추가로 컴파일된다.
적어도 하나의 실시예에서 구현될 수 있는 CUDA/HCC 흐름은, 실선들 및 C1 내지 C6으로 주석부기된 일련의 버블들을 통해 도시된다. 적어도 하나의 실시예에서, 그리고 C1로 주석부기된 버블로 도시된 바와 같이, CUDA-HIP 변환 툴(3220)은 CUDA 소스 코드(3210)를 수신한다. 적어도 하나의 실시예에서, 그리고 C2로 주석부기된 버블로 도시된 바와 같이, CUDA-HIP 변환 툴(3220)은 CUDA 소스 코드(3210)를 HIP 소스 코드(3230)로 변환한다. 적어도 하나의 실시예에서, 그리고 C3으로 주석부기된 버블로 도시된 바와 같이, HIP 컴파일러 드라이버(3240)는 HIP 소스 코드(3230)를 수신하고, 타깃 디바이스(3246)가 CUDA-가능이 아닌 것으로 결정한다.
적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3240)는 HIP/HCC 컴파일 명령(3244)을 생성하고, HIP/HCC 컴파일 명령(3244) 및 HIP 소스 코드(3230) 둘 모두를 HCC(3260)에 송신(C4로 주석부기된 버블로 도시됨)한다. 적어도 하나의 실시예에서, 그리고 도 32c와 연계하여 더 상세히 설명되는 바와 같이, HIP/HCC 컴파일 명령(3244)은, HCC 헤더 및 HIP/HCC 런타임 라이브러리를 제한 없이 사용하여 HIP 소스 코드(3230)를 컴파일하도록 HCC(3260)를 구성한다. 적어도 하나의 실시예에서, 그리고 HIP/HCC 컴파일 명령(3244)에 대한 응답으로, HCC(3260)는, 호스트 실행가능 코드(3270(2)) 및 HCC 디바이스 실행가능 코드(3282)를 생성(C5로 주석부기된 버블로 도시됨)한다. 적어도 하나의 실시예에서, 그리고 C6으로 주석부기된 버블로 도시된 바와 같이, 호스트 실행가능 코드(3270(2)) 및 HCC 디바이스 실행가능 코드(3282)는 각각 CPU(3290) 및 GPU(3292) 상에서 실행될 수 있다.
적어도 하나의 실시예에서, CUDA 소스 코드(3210)가 HIP 소스 코드(3230)로 변환된 후에, CUDA-HIP 변환 툴(3220)을 재실행함이 없이 CUDA-가능 GPU(3294) 또는 GPU(3292)에 대한 실행가능 코드를 생성하기 위해 HIP 컴파일러 드라이버(3240)가 후속하여 사용될 수 있다. 적어도 하나의 실시예에서, CUDA-HIP 변환 툴(3220)은, CUDA 소스 코드(3210)를 HIP 소스 코드(3230)로 변환하며, 그 HIP 소스 코드는 이어서 메모리에 저장된다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3240)는 이어서, HIP 소스 코드(3230)에 기반하여, 호스트 실행가능 코드(3270(2)) 및 HCC 디바이스 실행가능 코드(3282)를 생성하도록 HCC(3260)를 구성한다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3240)는 후속하여, 저장된 HIP 소스 코드(3230)에 기반하여, 호스트 실행가능 코드(3270(1)) 및 CUDA 디바이스 실행가능 코드(3284)를 생성하도록 CUDA 컴파일러(3250)를 구성한다.
도 32b는 적어도 하나의 실시예에 따른, CPU(3290) 및 CUDA-가능 GPU(3294)를 사용하여 도 32a의 CUDA 소스 코드(3210)를 컴파일 및 실행하도록 구성되는 시스템(3204)을 예시한다. 적어도 하나의 실시예에서, 시스템(3204)은, 제한 없이, CUDA 소스 코드(3210), CUDA-HIP 변환 툴(3220), HIP 소스 코드(3230), HIP 컴파일러 드라이버(3240), CUDA 컴파일러(3250), 호스트 실행가능 코드(3270(1)), CUDA 디바이스 실행가능 코드(3284), CPU(3290), 및 CUDA-가능 GPU(3294)를 포함한다.
적어도 하나의 실시예에서, 그리고 도 32a와 연계하여 본원에서 이전에 설명된 바와 같이, CUDA 소스 코드(3210)는, 제한 없이, 임의의 수(영개를 포함함)의 전역 함수들(3212), 임의의 수(영개를 포함함)의 디바이스 함수들(3214), 임의의 수(영개를 포함함)의 호스트 함수들(3216), 및 임의의 수(영개를 포함함)의 호스트/디바이스 함수들(3218)을 포함한다. 적어도 하나의 실시예에서, CUDA 소스 코드(3210)는 또한, 제한 없이, 임의의 수의 CUDA API에서 특정되는 임의의 수의 함수에 대한 임의의 수의 호출을 포함한다.
적어도 하나의 실시예에서, CUDA-HIP 변환 툴(3220)은 CUDA 소스 코드(3210)를 HIP 소스 코드(3230)로 변환한다. 적어도 하나의 실시예에서, CUDA-HIP 변환 툴(3220)은, CUDA 소스 코드(3210)에서의 각각의 커널 호출을 CUDA 구문으로부터 HIP 구문으로 변환하고, CUDA 소스 코드(3210)에서의 임의의 수의 다른 CUDA 호출을 임의의 수의 다른 기능적으로 유사한 HIP 호출로 변환한다.
적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3240)는 타깃 디바이스(3246)가 CUDA-가능인 것으로 결정하고, HIP/NVCC 컴파일 명령(3242)을 생성한다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3240)는 이어서, HIP/NVCC 컴파일 명령(3242)을 통해, HIP 소스 코드(3230)를 컴파일하도록 CUDA 컴파일러(3250)를 구성한다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3240)는, CUDA 컴파일러(3250)를 구성하는 것의 일부로서 HIP-CUDA 변환 헤더(3252)에 대한 액세스를 제공한다. 적어도 하나의 실시예에서, HIP-CUDA 변환 헤더(3252)는, 임의의 수의 HIP API에서 특정되는 임의의 수의 메커니즘(예컨대, 함수)을 임의의 수의 CUDA API에서 특정되는 임의의 수의 메커니즘으로 변환한다. 적어도 하나의 실시예에서, CUDA 컴파일러(3250)는, CUDA 런타임 API(3202)에 대응하는 CUDA 런타임 라이브러리(3254)와 함께 HIP-CUDA 변환 헤더(3252)를 사용하여 호스트 실행가능 코드(3270(1)) 및 CUDA 디바이스 실행가능 코드(3284)를 생성한다. 적어도 하나의 실시예에서, 호스트 실행가능 코드(3270(1)) 및 CUDA 디바이스 실행가능 코드(3284)는 이어서, 각각 CPU(3290) 및 CUDA-가능 GPU(3294) 상에서 실행될 수 있다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3284)는, 제한 없이, 이진 코드를 포함한다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3284)는, 제한 없이, PTX 코드를 포함하고, 런타임 시에 특정 타깃 디바이스에 대한 이진 코드로 추가로 컴파일된다.
도 32c는 적어도 하나의 실시예에 따른, CPU(3290) 및 비-CUDA-가능 GPU(3292)를 사용하여 도 32a의 CUDA 소스 코드(3210)를 컴파일 및 실행하도록 구성되는 시스템(3206)을 예시한다. 적어도 하나의 실시예에서, 시스템(3206)은, 제한 없이, CUDA 소스 코드(3210), CUDA-HIP 변환 툴(3220), HIP 소스 코드(3230), HIP 컴파일러 드라이버(3240), HCC(3260), 호스트 실행가능 코드(3270(2)), HCC 디바이스 실행가능 코드(3282), CPU(3290), 및 GPU(3292)를 포함한다.
적어도 하나의 실시예에서, 그리고 도 32a와 연계하여 본원에서 이전에 설명된 바와 같이, CUDA 소스 코드(3210)는, 제한 없이, 임의의 수(영개를 포함함)의 전역 함수들(3212), 임의의 수(영개를 포함함)의 디바이스 함수들(3214), 임의의 수(영개를 포함함)의 호스트 함수들(3216), 및 임의의 수(영개를 포함함)의 호스트/디바이스 함수들(3218)을 포함한다. 적어도 하나의 실시예에서, CUDA 소스 코드(3210)는 또한, 제한 없이, 임의의 수의 CUDA API에서 특정되는 임의의 수의 함수에 대한 임의의 수의 호출을 포함한다.
적어도 하나의 실시예에서, CUDA-HIP 변환 툴(3220)은 CUDA 소스 코드(3210)를 HIP 소스 코드(3230)로 변환한다. 적어도 하나의 실시예에서, CUDA-HIP 변환 툴(3220)은, CUDA 소스 코드(3210)에서의 각각의 커널 호출을 CUDA 구문으로부터 HIP 구문으로 변환하고, 소스 코드(3210)에서의 임의의 수의 다른 CUDA 호출을 임의의 수의 다른 기능적으로 유사한 HIP 호출로 변환한다.
적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3240)는 후속하여, 타깃 디바이스(3246)가 CUDA-가능이 아닌 것으로 결정하고, HIP/HCC 컴파일 명령(3244)을 생성한다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3240)는 이어서, HIP/HCC 컴파일 명령(3244)을 실행하여 HIP 소스 코드(3230)를 컴파일하도록 HCC 컴파일러(3260)를 구성한다. 적어도 하나의 실시예에서, HIP/HCC 컴파일 명령(3244)은, 제한 없이 HIP/HCC 런타임 라이브러리(3258) 및 HCC 헤더(3256)를 사용하여 호스트 실행가능 코드(3270(2)) 및 HCC 디바이스 실행가능 코드(3282)를 생성하도록 HCC(3260)를 구성한다. 적어도 하나의 실시예에서, HIP/HCC 런타임 라이브러리(3258)는 HIP 런타임 API(3232)에 대응한다. 적어도 하나의 실시예에서, HCC 헤더(3256)는, 제한 없이, HIP 및 HCC에 대한 임의의 수 및 유형의 상호운용성 메커니즘을 포함한다. 적어도 하나의 실시예에서, 호스트 실행가능 코드(3270(2)) 및 HCC 디바이스 실행가능 코드(3282)는 각각 CPU(3290) 및 GPU(3292) 상에서 실행될 수 있다.
도 33은 적어도 하나의 실시예에 따른, 도 32c의 CUDA-HIP 변환 툴(3220)에 의해 변환된 예시적인 커널을 예시한다. 적어도 하나의 실시예에서, CUDA 소스 코드(3210)는, 주어진 커널이 해결하도록 설계되어 있는 전체 문제를 스레드 블록들을 사용하여 독립적으로 해결될 수 있는 비교적 개략적인 하위 문제들로 파티셔닝한다. 적어도 하나의 실시예에서, 각각의 스레드 블록은, 제한 없이, 임의의 수의 스레드를 포함한다. 적어도 하나의 실시예에서, 각각의 하위 문제는, 스레드 블록 내의 스레드들에 의해 병렬로 협력적으로 해결될 수 있는 비교적 미세한 조각들로 분할된다. 적어도 하나의 실시예에서, 스레드 블록 내의 스레드들은, 공유 메모리를 통해 데이터를 공유함으로써 그리고 메모리 액세스들을 조정하기 위해 실행을 동기화함으로써 협력할 수 있다.
적어도 하나의 실시예에서, CUDA 소스 코드(3210)는, 주어진 커널과 연관된 스레드 블록들을 스레드 블록들의 1차원, 2차원, 또는 3차원 그리드로 조직화한다. 적어도 하나의 실시예에서, 각각의 스레드 블록은, 제한 없이, 임의의 수의 스레드를 포함하고, 그리드는, 제한 없이, 임의의 수의 스레드 블록을 포함한다.
적어도 하나의 실시예에서, 커널은, "
" 선언 지정자(declaration specifier)를 사용하여 정의되는 디바이스 코드 내의 함수이다. 적어도 하나의 실시예에서, 주어진 커널 호출 및 연관된 스트림들에 대한 커널을 실행하는 그리드의 차원은 CUDA 커널 론칭 구문(3310)을 사용하여 특정된다. 적어도 하나의 실시예에서, CUDA 커널 론칭 구문(3310)은, "KernelName<<<GridSize, BlockSize, SharedMemorySize, Stream>>>(KernelArguments);"로서 특정된다. 적어도 하나의 실시예에서, 실행 구성 구문은, 커널 이름("KernelName")과 커널 인수들("KernelArguments")의 괄호 안의 목록 사이에 삽입되는 "<<<...>>>" 구성이다. 적어도 하나의 실시예에서, CUDA 커널 론칭 구문(3310)은, 제한 없이, 실행 구성 구문 대신에 CUDA 론칭 함수 구문을 포함한다.
적어도 하나의 실시예에서, "GridSize"는 dim3 유형을 갖고, 그리드의 차원 및 크기를 특정한다. 적어도 하나의 실시예에서, dim3 유형은 부호없는 정수들 x, y, 및 z를 제한 없이 포함하는 CUDA-정의 구조이다. 적어도 하나의 실시예에서, z가 특정되지 않은 경우, z는 디폴트로 1이다. 적어도 하나의 실시예에서, y가 특정되지 않은 경우, y는 디폴트로 1이다. 적어도 하나의 실시예에서, 그리드 내의 스레드 블록들의 수는, GridSize.x, GridSize.y, 및 GridSize.z의 곱과 동일하다. 적어도 하나의 실시예에서, "BlockSize"는 dim3 유형을 갖고, 각각의 스레드 블록의 차원 및 크기를 특정한다. 적어도 하나의 실시예에서, 스레드 블록당 스레드들의 수는, BlockSize.x, BlockSize.y, 및 BlockSize.z의 곱과 동일하다. 적어도 하나의 실시예에서, 커널을 실행하는 각각의 스레드에는, 내장 변수(예컨대, "threadIdx")를 통해 커널 내에서 액세스가능한 고유 스레드 ID가 주어진다.
적어도 하나의 실시예에서, 그리고 CUDA 커널 론칭 구문(3310)과 관련하여, "SharedMemorySize"는, 정적으로 할당된 메모리에 부가하여, 주어진 커널 호출에 대해 스레드 블록당 동적으로 할당되는 공유 메모리 내의 바이트 수를 특정하는 임의적 인수이다. 적어도 하나의 실시예에서, 그리고 CUDA 커널 론칭 구문(3310)과 관련하여, SharedMemorySize는 디폴트로 영이다. 적어도 하나의 실시예에서, 그리고 CUDA 커널 론칭 구문(3310)과 관련하여, "Stream"은, 디폴트 스트림을 특정하기 위한, 연관된 스트림을 특정하고 디폴트로 0인 임의적 인수이다. 적어도 하나의 실시예에서, 스트림은 순차로 실행되는 (가능하게는 상이한 호스트 스레드들에 의해 송출되는) 명령들의 시퀀스이다. 적어도 하나의 실시예에서, 상이한 스트림들은 서로에 대해 비-순차로 또는 동시에 명령들을 실행할 수 있다.
적어도 하나의 실시예에서, CUDA 소스 코드(3210)는, 제한 없이, 예시적인 커널 "MatAdd" 및 메인 함수에 대한 커널 정의를 포함한다. 적어도 하나의 실시예에서, 메인 함수는 호스트 상에서 실행되는 호스트 코드이고, 제한 없이, 커널 MatAdd가 디바이스 상에서 실행되게 하는 커널 호출을 포함한다. 적어도 하나의 실시예에서, 그리고 도시된 바와 같이, 커널 MatAdd는 N x N 크기의 2개의 행렬 A 및 B를 부가하고, 그 결과를 행렬 C에 저장하며, 여기서, N은 양의 정수이다. 적어도 하나의 실시예에서, 메인 함수는 16 x 16으로서 threadsPerBlock 변수를 그리고 N/16 x N/16으로서 numBlocks 변수를 정의한다. 적어도 하나의 실시예에서, 메인 함수는 이어서, 커널 호출 "MatAdd<<<numBlocks, threadsPerBlock>>>(A, B, C);"를 특정한다. 적어도 하나의 실시예에서, 그리고 CUDA 커널 론칭 구문(3310)에 따르면, 커널 MatAdd는 N/16 x N/16 차원을 갖는 스레드 블록들의 그리드를 사용하여 실행되며, 여기서, 각각의 스레드 블록은 16 x 16의 차원을 갖는다. 적어도 하나의 실시예에서, 각각의 스레드 블록은 256개의 스레드를 포함하고, 그리드는 행렬 요소당 하나의 스레드를 갖기에 충분한 블록들로 생성되고, 그러한 그리드 내의 각각의 스레드는 커널 MatAdd를 실행하여 하나의 쌍 방식(pair-wise) 부가를 수행한다.
적어도 하나의 실시예에서, CUDA 소스 코드(3210)를 HIP 소스 코드(3230)로 변환하는 동안, CUDA-HIP 변환 툴(3220)은, CUDA 소스 코드(3210)에서의 각각의 커널 호출을 CUDA 커널 론칭 구문(3310)으로부터 HIP 커널 론칭 구문(3320)으로 변환하고, 소스 코드(3210)에서의 임의의 수의 다른 CUDA 호출을 임의의 수의 다른 기능적으로 유사한 HIP 호출로 변환한다. 적어도 하나의 실시예에서, HIP 커널 론칭 구문(3320)은, "hipLaunchKernelGGL(KernelName,GridSize, BlockSize, SharedMemorySize, Stream, KernelArguments);"로서 특정된다. 적어도 하나의 실시예에서, KernelName, GridSize, BlockSize, ShareMemorySize, Stream, 및 KernelArguments 각각은, HIP 커널 론칭 구문(3320)에서 CUDA 커널 론칭 구문(3310)(본원에서 이전에 설명됨)에서와 동일한 의미를 갖는다. 적어도 하나의 실시예에서, SharedMemorySize 및 Stream 인수들은 HIP 커널 론칭 구문(3320)에서 요구되고, CUDA 커널 론칭 구문(3310)에서는 임의적이다.
적어도 하나의 실시예에서, 도 33에 도시된 HIP 소스 코드(3230)의 일부분은, 커널 MatAdd가 디바이스 상에서 실행되게 하는 커널 호출을 제외하고는 도 33에 도시된 CUDA 소스 코드(3210)의 일부분과 동일하다. 적어도 하나의 실시예에서, 커널 MatAdd는, CUDA 소스 코드(3210)에서 커널 MatAdd를 정의하는 동일한 "
" 선언 지정자로 HIP 소스 코드(3230)에서 정의된다. 적어도 하나의 실시예에서, HIP 소스 코드(3230)에서의 커널 호출은 "hipLaunchKernelGGL(MatAdd, numBlocks, threadsPerBlock, 0, 0, A, B, C);"인 한편, CUDA 소스 코드(3210)에서의 대응하는 커널 호출은 "MatAdd<<<numBlocks, threadsPerBlock>>>(A, B, C);"이다.
도 34는 적어도 하나의 실시예에 따른, 도 32c의 비-CUDA-가능 GPU(3292)를 더 상세히 예시한다. 적어도 하나의 실시예에서, GPU(3292)는, 산타 클라라의 AMD 코포레이션에 의해 개발된다. 적어도 하나의 실시예에서, GPU(3292)는, 고도의 병렬 방식으로 컴퓨팅 연산들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, GPU(3292)는, 드로잉 명령들, 픽셀 연산들, 기하학적 계산들, 및 이미지를 디스플레이에 렌더링하는 것과 연관된 다른 연산들과 같은 그래픽 파이프라인 연산들을 실행하도록 구성된다. 적어도 하나의 실시예에서, GPU(3292)는, 그래픽에 관련되지 않은 연산들을 실행하도록 구성된다. 적어도 하나의 실시예에서, GPU(3292)는, 그래픽에 관련된 연산들 및 그래픽에 관련되지 않은 연산들 둘 모두를 실행하도록 구성된다. 적어도 하나의 실시예에서, GPU(3292)는, HIP 소스 코드(3230)에 포함된 디바이스 코드를 실행하도록 구성될 수 있다.
적어도 하나의 실시예에서, GPU(3292)는, 제한 없이, 임의의 수의 프로그래밍가능 처리 유닛(3420), 명령 프로세서(3410), L2 캐시(3422), 메모리 제어기(3470), DMA 엔진(3480(1), 시스템 메모리 제어기(3482), DMA 엔진(3480(2)), 및 GPU 제어기(3484)를 포함한다. 적어도 하나의 실시예에서, 각각의 프로그래밍가능 처리 유닛(3420)은, 제한 없이, 작업부하 관리자(3430) 및 임의의 수의 컴퓨팅 유닛(3440)을 포함한다. 적어도 하나의 실시예에서, 명령 프로세서(3410)는, 하나 이상의 명령 큐(도시되지 않음)로부터 명령들을 판독하고 명령들을 작업부하 관리자들(3430)에 분배한다. 적어도 하나의 실시예에서, 각각의 프로그래밍가능 처리 유닛(3420)에 대해, 연관된 작업부하 관리자(3430)는, 프로그래밍가능 처리 유닛(3420)에 포함된 컴퓨팅 유닛들(3440)에 작업을 분배한다. 적어도 하나의 실시예에서, 각각의 컴퓨팅 유닛(3440)은 임의의 수의 스레드 블록을 실행할 수 있지만, 각각의 스레드 블록은 단일 컴퓨팅 유닛(3440) 상에서 실행된다. 적어도 하나의 실시예에서, 작업그룹은 스레드 블록이다.
적어도 하나의 실시예에서, 각각의 컴퓨팅 유닛(3440)은, 제한 없이, 임의의 수의 SIMD 유닛(3450) 및 공유 메모리(3460)를 포함한다. 적어도 하나의 실시예에서, 각각의 SIMD 유닛(3450)은 SIMD 아키텍처를 구현하고, 연산들을 병렬로 수행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 SIMD 유닛(3450)은, 제한 없이, 벡터 ALU(3452) 및 벡터 레지스터 파일(3454)을 포함한다. 적어도 하나의 실시예에서, 각각의 SIMD 유닛(3450)은 상이한 워프를 실행한다. 적어도 하나의 실시예에서, 워프는 스레드들의 그룹(예컨대, 16개의 스레드)이며, 여기서, 워프 내의 각각의 스레드는 단일 스레드 블록에 속하고, 단일 세트의 명령어들에 기반하여 상이한 세트의 데이터를 처리하도록 구성된다. 적어도 하나의 실시예에서, 워프 내의 하나 이상의 스레드를 디스에이블링하기 위해 예측이 사용될 수 있다. 적어도 하나의 실시예에서, 레인이 스레드이다. 적어도 하나의 실시예에서, 작업 항목이 스레드이다. 적어도 하나의 실시예에서, 등위상면이 워프이다. 적어도 하나의 실시예에서, 스레드 블록 내의 상이한 등위상면들이 공유 메모리(3460)를 통해 함께 동기화되고 통신할 수 있다.
적어도 하나의 실시예에서, 프로그래밍가능 처리 유닛들(3420)은 "셰이더 엔진들"로 지칭된다. 적어도 하나의 실시예에서, 각각의 프로그래밍가능 처리 유닛(3420)은, 제한 없이, 컴퓨팅 유닛들(3440)에 부가하여 임의의 양의 전용 그래픽 하드웨어를 포함한다. 적어도 하나의 실시예에서, 각각의 프로그래밍가능 처리 유닛(3420)은, 제한 없이, 임의의 수(영개를 포함함)의 지오메트리 프로세서, 임의의 수(영개를 포함함)의 래스터화기(rasterizer), 임의의 수(영개를 포함함)의 렌더링 백 엔드, 작업부하 관리자(3430), 및 임의의 수의 컴퓨팅 유닛(3440)을 포함한다.
적어도 하나의 실시예에서, 컴퓨팅 유닛들(3440)은 L2 캐시(3422)를 공유한다. 적어도 하나의 실시예에서, L2 캐시(3422)는 파티셔닝된다. 적어도 하나의 실시예에서, GPU 메모리(3490)는 GPU(3292) 내의 모든 컴퓨팅 유닛들(3440)에 의해 액세스가능하다. 적어도 하나의 실시예에서, 메모리 제어기들(3470) 및 시스템 메모리 제어기들(3482)은, GPU(3292)와 호스트 사이에서의 데이터 전송들을 용이하게 하고, DMA 엔진들(3480(1))은, GPU(3292)와 그러한 호스트 사이에서의 비동기 메모리 전송들을 가능하게 한다. 적어도 하나의 실시예에서, 메모리 제어기들(3470) 및 GPU 제어기들(3484)은, GPU(3292)와 다른 GPU들(3292) 사이에서의 데이터 전송들을 용이하게 하고, DMA 엔진들(3480(2))은, GPU(3292)와 다른 GPU들(3292) 사이에서의 비동기 메모리 전송들을 가능하게 한다.
적어도 하나의 실시예에서, GPU(3292)는, 제한 없이, GPU(3292)의 내부 또는 외부에 있을 수 있는 임의의 수 및 유형의 직접 또는 간접 링크된 구성요소에 걸친 데이터 및 제어 송신들을 용이하게 하는 임의의 양 및 유형의 시스템 상호연결부를 포함할 수 있다. 적어도 하나의 실시예에서, GPU(3292)는, 제한 없이, 임의의 수 및 유형의 주변 디바이스에 결합되는 임의의 수 및 유형의 I/O 인터페이스(예컨대, PCIe)를 포함한다. 적어도 하나의 실시예에서, GPU(3292)는, 제한 없이, 임의의 수(영개를 포함함)의 디스플레이 엔진 및 임의의 수(영개를 포함함)의 멀티미디어 엔진을 포함할 수 있다. 적어도 하나의 실시예에서, GPU(3292)는, 하나의 구성요소에 전용되거나 다수의 구성요소들 간에 공유될 수 있는 임의의 양 및 유형의 메모리 제어기(예컨대, 메모리 제어기(3470) 및 시스템 메모리 제어기(3482)) 및 메모리 디바이스(예컨대, 공유 메모리(3460))를 제한 없이 포함하는 메모리 서브시스템을 구현한다. 적어도 하나의 실시예에서, GPU(3292)는, 임의의 수의 구성요소(예컨대, SIMD 유닛(3450), 컴퓨팅 유닛(3440), 및 프로그래밍가능 처리 유닛(3420))에 대해 각각이 사적이거나 그들 사이에 공유될 수 있는 하나 이상의 캐시 메모리(예컨대, L2 캐시(3422))를 제한 없이 포함하는 캐시 서브시스템을 구현한다.
도 35는 적어도 하나의 실시예에 따른, 예시적인 CUDA 그리드(3520)의 스레드들이 도 34의 상이한 컴퓨팅 유닛들(3440)에 맵핑되는 방식을 예시한다. 적어도 하나의 실시예에서, 그리고 단지 설명의 목적들을 위해, 그리드(3520)는 BX x BY x 1의 GridSize 및 TX x TY x 1의 BlockSize를 갖는다. 따라서, 적어도 하나의 실시예에서, 그리드(3520)는, 제한 없이, (BX * BY)개의 스레드 블록(3530)을 포함하고, 각각의 스레드 블록(3530)은, 제한 없이, (TX * TY)개의 스레드(3540)를 포함한다. 스레드들(3540)은 도 35에서 구불구불한 화살표들로서 도시된다.
적어도 하나의 실시예에서, 그리드(3520)는, 컴퓨팅 유닛들(3440(1)-3440(C))을 제한 없이 포함하는 프로그래밍가능 처리 유닛(3420(1))에 맵핑된다. 적어도 하나의 실시예에서, 그리고 도시된 바와 같이, (BJ * BY)개의 스레드 블록(3530)이 컴퓨팅 유닛(3440(1))에 맵핑되고, 나머지 스레드 블록들(3530)은 컴퓨팅 유닛(3440(2))에 맵핑된다. 적어도 하나의 실시예에서, 각각의 스레드 블록(3530)은, 제한 없이, 임의의 수의 워프를 포함할 수 있고, 각각의 워프는 도 34의 상이한 SIMD 유닛(3450)에 맵핑된다.
적어도 하나의 실시예에서, 주어진 스레드 블록(3530) 내의 워프들은, 연관된 컴퓨팅 유닛(3440)에 포함된 공유 메모리(3460)를 통해 함께 동기화되고 통신할 수 있다. 예컨대, 그리고 적어도 하나의 실시예에서, 스레드 블록(3530(BJ,1)) 내의 워프들은 공유 메모리(3460(1))를 통해 함께 동기화되고 통신할 수 있다. 예컨대, 그리고 적어도 하나의 실시예에서, 스레드 블록(3530(BJ+1,1)) 내의 워프들은 공유 메모리(3460(2))를 통해 함께 동기화되고 통신할 수 있다.
도 36은 적어도 하나의 실시예에 따른, 기존 CUDA 코드를 데이터 병렬 C++ 코드로 이전하기 위한 방식을 예시한다. 적어도 하나의 실시예에서, 데이터 병렬 C++ 코드로의 기존 CUDA 코드의 이전은, 도 1 내지 도 3에 개시된 시스템들에 포함되거나, 도 4에 개시된 프로세스(400) 중 일부 또는 그 전부를 수행하도록 이러한 시스템들과 통신할 수 있다. 데이터 병렬 C++(DPC++)는, 개발자들이 하드웨어 타깃들(CPU들 및 가속기들, 이를테면, GPU들 및 FPGA들)에 걸친 코드를 재사용할 수 있게 하고, 또한, 특정 가속기에 대한 맞춤 조정을 수행할 수 있게 하는, 단일 아키텍처 독점적 언어들에 대한 개방형 표준 기반 대안을 지칭할 수 있다. DPC++는, 개발자들이 친숙할 수 있는 ISO C++에 따른 유사한 그리고/또는 동일한 C 및 C++ 구성들을 사용한다. DPC++는, 데이터 병렬성 및 이종 프로그래밍을 지원하기 위해 크로노스 그룹으로부터의 표준 SYCL을 포함한다. SYCL은, 이종 프로세서들에 대한 코드가 표준 C++를 사용하여 "단일 소스" 스타일로 작성되는 것을 가능하게 하는 OpenCL의 기본 개념들, 이식성, 및 효율성을 구축하는 교차-플랫폼 추상화 계층을 지칭한다. SYCL은 단일 소스 개발을 가능하게 할 수 있으며, 여기서, C++ 템플릿 함수들은 호스트 및 디바이스 코드 둘 모두를 포함하여, OpenCL 가속을 사용하는 복잡한 알고리즘들을 구성하고, 이어서, 상이한 유형들의 데이터에 대해 그들의 소스 코드 전체에 걸쳐 그들을 재사용할 수 있다.
적어도 하나의 실시예에서, DPC++ 컴파일러는, 다양한 하드웨어 타깃들에 걸쳐 배치될 수 있는 DPC++ 소스 코드를 컴파일하는 데 사용된다. 적어도 하나의 실시예에서, DPC++ 컴파일러는, 다양한 하드웨어 타깃들에 걸쳐 배치될 수 있는 DPC++ 애플리케이션들을 생성하는 데 사용되고, DPC++ 호환성 툴은, CUDA 애플리케이션들을 DPC++의 멀티플랫폼 프로그램으로 이전하는 데 사용될 수 있다. 적어도 하나의 실시예에서, DPC++ 기본 툴킷은, 다양한 하드웨어 타깃들에 걸쳐 애플리케이션들을 배치하기 위한 DPC++ 컴파일러; CPU들, GPU들, 및 FPGA들에 걸쳐 생산성 및 성능을 증가시키기 위한 DPC++ 라이브러리; CUDA 애플리케이션들을 멀티플랫폼 애플리케이션들로 이전하기 위한 DPC++ 호환성 툴; 및 이들의 임의의 적합한 조합을 포함한다.
적어도 하나의 실시예에서, DPC++ 프로그래밍 모델은, 데이터 병렬 C++로 지칭되는 프로그래밍 언어로 병렬성을 표현하기 위해 최신 C++ 피쳐들을 사용함으로써 CPU들 및 가속기들을 프로그래밍하는 것과 관련된 하나 이상의 양상을 단순하게 하기 위해 활용된다. DPC++ 프로그래밍 언어는, 실행 및 메모리 종속성들은 명확하게 통신되는, 단일 소스 언어를 사용하는 호스트들(예컨대, CPU) 및 가속기들(예컨대, GPU 또는 FPGA)에 대한 코드 재사용에 활용될 수 있다. DPC++ 코드 내의 맵핑들은, 작업부하를 가장 양호하게 가속하는 하드웨어 또는 하드웨어 디바이스들의 세트 상에서 실행되도록 애플리케이션을 전환하기 위해 사용될 수 있다. 호스트는, 심지어 가속기가 이용가능하지 않은 플랫폼들 상에서도, 디바이스 코드의 개발 및 디버깅을 단순화하기 위해 이용가능할 수 있다.
적어도 하나의 실시예에서, CUDA 소스 코드(3600)는, DPC++ 호환성 툴(3602)에 입력으로서 제공되어 인간 판독가능 DPC++(3604)를 생성한다. 적어도 하나의 실시예에서, 인간 판독가능 DPC++(3604)는, DPC++ 코드를 수정하여 요망되는 성능을 위한 코딩 및 조정을 완료(3606)함으로써 DPC++ 소스 코드(3608)를 생성하기 위한 방식 및/또는 위치에 대해 개발자를 안내하는, DPC++ 호환성 툴(3602)에 의해 생성된 인라인 코멘트들을 포함한다.
적어도 하나의 실시예에서, CUDA 소스 코드(3600)는 CUDA 프로그래밍 언어의 인간 판독가능 소스 코드의 집합이거나 그를 포함한다. 적어도 하나의 실시예에서, CUDA 소스 코드(3600)는 CUDA 프로그래밍 언어의 인간 판독가능 소스 코드이다. 적어도 하나의 실시예에서, CUDA 프로그래밍 언어는, 디바이스 코드를 정의하고 디바이스 코드와 호스트 코드 사이를 구별하기 위한 메커니즘들을 제한 없이 포함하는 C++ 프로그래밍 언어의 확장이다. 적어도 하나의 실시예에서, 디바이스 코드는, 컴파일 후에, 디바이스(예컨대, GPU 또는 FPGA) 상에서 실행가능하고, 디바이스의 하나 이상의 프로세서 코어 상에서 실행될 수 있는 하나 이상의 병렬화가능한 작업흐름을 포함할 수 있는 소스 코드이다. 적어도 하나의 실시예에서, 디바이스는, CUDA-가능 GPU, GPU, 또는 다른 GPGPU 등과 같은, 병렬 명령어 처리에 최적화되는 프로세서일 수 있다. 적어도 하나의 실시예에서, 호스트 코드는, 컴파일 후에 호스트 상에서 실행가능한 소스 코드이다. 적어도 하나의 실시예에서, 호스트 코드 및 디바이스 코드 중 일부 또는 그 전부는, CPU 및 GPU/FPGA에 걸쳐 병렬로 실행될 수 있다. 적어도 하나의 실시예에서, 호스트는, CPU와 같은, 순차적 명령어 처리에 최적화되는 프로세서이다. 도 36과 관련하여 설명된 CUDA 소스 코드(3600)는, 본 문서의 다른 곳에서 논의된 것들에 따른 것일 수 있다.
적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은, CUDA 소스 코드(3600)의 DPC++ 소스 코드(3608)로의 이전을 용이하게 하기 위해 사용되는 실행가능 툴, 프로그램, 애플리케이션, 또는 임의의 다른 적합한 유형의 툴을 지칭한다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은, 기존 CUDA 소스들을 DPC++로 포팅하기 위해 사용되는 DPC++ 툴킷의 일부로서 이용가능한 명령-라인-기반 코드 이전 툴이다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은, CUDA 애플리케이션의 일부 또는 모든 소스 코드를 CUDA로부터 DPC++로 변환하고, 인간 판독가능 DPC++(3604)로 지칭되는 DPC++로 적어도 부분적으로 작성되는 결과적인 파일을 생성한다. 적어도 하나의 실시예에서, 인간 판독가능 DPC++(3604)는, 사용자 개입이 필요할 수 있는 경우를 표시하기 위해, DPC++ 호환성 툴(3602)에 의해 생성되는 코멘트들을 포함한다. 적어도 하나의 실시예에서, 사용자 개입은, CUDA 소스 코드(3600)가 유사한 DPC++ API를 갖지 않는 CUDA API를 호출할 때 필요하며, 사용자 개입이 요구되는 다른 예들은 나중에 더 상세히 논의된다.
적어도 하나의 실시예에서, CUDA 소스 코드(3600)(예컨대, 애플리케이션 또는 그의 부분)를 이전하기 위한 작업흐름은, 하나 이상의 컴파일 데이터베이스 파일을 생성하는 것; DPC++ 호환성 툴(3602)을 사용하여 CUDA를 DPC++로 이전하는 것; 이전을 완료하고 정확성을 검증함으로써 DPC++ 소스 코드(3608)를 생성하는 것; 및 DPC++ 애플리케이션을 생성하기 위해 DPC++ 컴파일러로 DPC++ 소스 코드(3608)를 컴파일하는 것을 포함한다. 적어도 하나의 실시예에서, 호환성 툴은, Makefile이 실행될 때 사용되는 명령들을 인터셉트하여 그들을 컴파일 데이터베이스 파일에 저장하는 유틸리티를 제공한다. 적어도 하나의 실시예에서, 파일은 JSON 포맷으로 저장된다. 적어도 하나의 실시예에서, 인터셉트-구축 명령은 Makefile 명령을 DPC 호환성 명령으로 변환한다.
적어도 하나의 실시예에서, 인터셉트-구축은, 구축 프로세스를 인터셉트하여 컴파일 옵션들, 매크로 정의들을 포착하고 경로들을 포함시키고, 이러한 데이터를 컴파일 데이터베이스 파일에 기입하는 유틸리티 스크립트이다. 적어도 하나의 실시예에서, 컴파일 데이터베이스 파일은 JSON 파일이다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은 컴파일 데이터베이스를 파싱하고, 입력 소스들을 이전할 때 옵션들을 적용한다. 적어도 하나의 실시예에서, 인터셉트-구축의 사용은 임의적이지만, Make 또는 CMake 기반 환경들에 대해서는 적극 권장된다. 적어도 하나의 실시예에서, 이전 데이터베이스는 명령들, 디렉토리들, 및 파일들을 포함하고: 명령은 필요한 컴파일 플래그들을 포함할 수 있고; 디렉토리는 헤더 파일들에 대한 경로들을 포함할 수 있고; 파일은 CUDA 파일들에 대한 경로들을 포함할 수 있다.
적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은, 가능한 경우마다 DPC++를 생성함으로써 CUDA로 작성된 CUDA 코드(예컨대, 애플리케이션들)를 DPC++로 이전한다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은 툴킷의 일부로서 이용가능하다. 적어도 하나의 실시예에서, DPC++ 툴킷은 인터셉트-구축 툴을 포함한다. 적어도 하나의 실시예에서, 인터셉트-구축 툴은, CUDA 파일들을 이전하기 위해 컴파일 명령들을 포착하는 컴파일 데이터베이스를 생성한다. 적어도 하나의 실시예에서, 인터셉트-구축 툴에 의해 생성된 컴파일 데이터베이스는, CUDA 코드를 DPC++로 이전하기 위해 DPC++ 호환성 툴(3602)에 의해 사용된다. 적어도 하나의 실시예에서, 비-CUDA C++ 코드 및 파일들은 그대로 이전된다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은 DPC++ 코드일 수 있는 인간 판독가능 DPC++(3604)를 생성하는데, 그것은, DPC++ 호환성 툴(3602)에 의해 생성되므로, DPC++ 컴파일러에 의해 컴파일될 수 없고, 올바르게 이전되지 않은 코드의 부분들을 검증하기 위한 부가적인 플럼빙(plumbing)을 요구하며, 이를테면 개발자에 의한 수동 개입을 수반할 수 있다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은, 자동으로 이전될 수 없는 부가적인 코드를 개발자들이 수동으로 이전하는 것을 돕기 위해 코드에 임베딩되는 힌트들 또는 툴들을 제공한다. 적어도 하나의 실시예에서, 이전은 소스 파일, 프로젝트, 또는 애플리케이션에 대한 일회성 활동이다.
적어도 하나의 실시예에서, DPC++ 호환성 툴(36002)은 CUDA 코드의 모든 부분들을 DPC++로 성공적으로 이전할 수 있고, 생성된 DPC++ 소스 코드의 성능을 수동으로 검증하고 조정하기 위한 임의적인 단계가 단순히 존재할 수 있다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은, DPC++ 호환성 툴(3602)에 의해 생성된 DPC++ 코드를 수정하기 위해 인간의 개입을 요구하거나 활용하지 않으면서, DPC++ 컴파일러에 의해 컴파일되는 DPC++ 소스 코드(3608)를 직접 생성한다. 적어도 하나의 실시예에서, DPC++ 호환성 툴은, 성능, 가독성, 유지보수성, 다른 다양한 고려사항들; 또는 이들의 임의의 조합을 위해 개발자에 의해 임의적으로 조정될 수 있는 컴파일-가능 DPC++ 코드를 생성한다.
적어도 하나의 실시예에서, 하나 이상의 CUDA 소스 파일은, 적어도 부분적으로 DPC++ 호환성 툴(3602)을 사용하여 DPC++ 소스 파일들로 이전된다. 적어도 하나의 실시예에서, CUDA 소스 코드는, CUDA 헤더 파일들을 포함할 수 있는 하나 이상의 헤더 파일을 포함한다. 적어도 하나의 실시예에서, CUDA 소스 파일은, <cuda.h> 헤더 파일 및 텍스트를 인쇄하는 데 사용될 수 있는 <stdio.h> 헤더 파일을 포함한다. 적어도 하나의 실시예에서, 벡터 부가 커널 CUDA 소스 파일의 일부분은 다음과 같이 작성되거나 다음과 관련될 수 있다:
적어도 하나의 실시예에서, 그리고 위에서 제시된 CUDA 소스 파일과 관련하여, DPC++ 호환성 툴(3602)은 CUDA 소스 코드를 파싱하고, 헤더 파일들을 적절한 DPC++ 및 SYCL 헤더 파일들로 대체한다. 적어도 하나의 실시예에서, DPC++ 헤더 파일들은 헬퍼 선언들을 포함한다. CUDA에서, 스레드 ID의 개념이 존재하고, 대응하게, DPC++ 또는 SYCL에서, 각각의 요소에 대해 로컬 식별자가 존재한다.
적어도 하나의 실시예에서, 그리고 위에 제시된 CUDA 소스 파일과 관련하여, 초기화되는 2개의 벡터 A 및 B가 존재하고, 벡터 가산 결과는 VectorAddKernel()의 일부로서 벡터 C에 넣어진다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은, 작업 요소들을 인덱싱하는 데 사용되는 CUDA 스레드 ID들을, CUDA 코드를 DPC++ 코드로 이전하는 것의 일부로서, 로컬 ID를 통해 작업 요소들에 대한 SYCL 표준 어드레싱으로 변환한다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)에 의해 생성된 DPC++ 코드는, 예컨대, nd_item의 차원수를 감소시킴으로써 최적화될 수 있으며, 그에 의해, 메모리 및/또는 프로세서 활용이 증가된다.
적어도 하나의 실시예에서, 그리고 위에 제시된 CUDA 소스 파일과 관련하여, 메모리 할당이 이전된다. 적어도 하나의 실시예에서, cudaMalloc()는, 플랫폼, 디바이스, 컨텍스트, 및 큐와 같은 SYCL 개념들에 의존하여, 디바이스 및 컨텍스트가 전달되는 통합 공유 메모리 SYCL 호출 malloc_device()로 이전된다. 적어도 하나의 실시예에서, SYCL 플랫폼은 다수의 디바이스들(예컨대, 호스트 및 GPU 디바이스들)을 가질 수 있고; 디바이스는 작업들이 제출될 수 있는 다수의 큐들을 가질 수 있고; 각각의 디바이스는 컨텍스트를 가질 수 있고; 컨텍스트는 다수의 디바이스들을 가질 수 있고 공유 메모리 객체들을 관리할 수 있다.
적어도 하나의 실시예에서, 그리고 위에 제시된 CUDA 소스 파일과 관련하여, main() 함수는 VectorAddKernel()을 호출(invoke 또는 call)하여, 2개의 벡터 A 및 B를 함께 가산하고 그 결과를 벡터 C에 저장한다. 적어도 하나의 실시예에서, VectorAddKernel()을 호출하기 위한 CUDA 코드는, 실행을 위해 커널을 명령 큐에 제출하기 위해서 DPC++ 코드로 대체된다. 적어도 하나의 실시예에서, 명령 그룹 핸들러(cgh)는 큐에 제출되는 데이터, 동기화, 및 계산을 전달하고, parallel_for는 VectorAddKernel()이 호출되는 그 작업 그룹 내의 다수의 전역 요소들 및 다수의 작업 항목들에 대해 호출된다.
적어도 하나의 실시예에서, 그리고 위에 제시된 CUDA 소스 파일과 관련하여, 디바이스 메모리를 복사하고 이어서 벡터들 A, B, 및 C에 대한 메모리를 해방하기 위한 CUDA 호출들이 대응하는 DPC++ 호출들로 이전된다. 적어도 하나의 실시예에서, C++ 코드(예컨대, 부동 소수점 변수들의 벡터를 인쇄하기 위한 표준 ISO C++ 코드)는, DPC++ 호환성 툴(3602)에 의해 수정됨이 없이 그대로 이전된다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은, 메모리 설정 및/또는 호스트 호출들에 대한 CUDA API들을 수정하여 가속 디바이스 상에서 커널을 실행한다. 적어도 하나의 실시예에서, 그리고 위에 제시된 CUDA 소스 파일과 관련하여, 대응하는 인간 판독가능 DPC++(3604)(예컨대, 컴파일될 수 있음)는 다음과 같이 작성되거나 다음과 관련될 수 있다:
적어도 하나의 실시예에서, 인간 판독가능 DPC++(3604)는 DPC++ 호환성 툴(3602)에 의해 생성되는 출력을 지칭하고, 하나의 방식 또는 다른 방식으로 최적화될 수 있다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)에 의해 생성된 인간 판독가능 DPC++(3604)는, 이전 후에 개발자에 의해 수동으로 편집되어 유지보수성, 성능, 또는 다른 고려사항들이 더 나아지게 할 수 있다. 적어도 하나의 실시예에서, 개시된 DPC++와 같은 DPC++ 호환성 툴(36002)에 의해 생성된 DPC++ 코드는, 각각의 malloc_device() 호출에 대해 get_current_device() 및/또는 get_default_context()에 대한 반복 호출들을 제거함으로써 최적화될 수 있다. 적어도 하나의 실시예에서, 위에서 생성된 DPC++ 코드는, 단일 차원만을 사용하도록 리팩터링(refactor)될 수 있는 3차원 nd_range를 사용하고, 그에 의해, 메모리 사용이 감소된다. 적어도 하나의 실시예에서, 개발자는, DPC++ 호환성 툴(3602)에 의해 생성된 DPC++ 코드를 수동으로 편집하여, 통합 공유 메모리의 사용들을 액세서(accessor)들로 대체할 수 있다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은 CUDA 코드를 DPC++ 코드로 이전하는 방식을 변경하는 옵션을 갖는다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3602)은 장황할 수 있는데, 그 이유는, 그 툴이, 많은 수의 경우들에 대해 작동하는 DPC++ 코드로 CUDA 코드를 이전하기 위해 일반적인 템플릿을 사용하고 있기 때문이다.
적어도 하나의 실시예에서, CUDA-DPC++ 이전 작업흐름은: 인터셉트-구축 스크립트를 사용하여 이전을 준비하고; DPC++ 호환성 툴(3602)을 사용하여 CUDA 프로젝트들의 DPC++로의 이전을 수행하고; 이전된 소스 파일들을 완료 및 정확성을 위해 수동으로 검토 및 편집하고; DPC++ 애플리케이션을 생성하기 위해 최종 DPC++ 코드를 컴파일하는 단계들을 포함한다. 적어도 하나의 실시예에서, DPC++ 소스 코드의 수동 검토는: 이전된 API가 에러 코드를 반환하지 않는 것(CUDA 코드는, 애플리케이션에 의해 이어서 소비될 수 있는 에러 코드를 반환할 수 있지만, SYCL은 보고 에러들에 대한 예외들을 사용하고, 따라서, 에러 코드들을 표면 에러들에 사용하지 않음); CUDA 컴퓨팅 능력 종속 로직이 DPC++에 의해 지원되지 않는 것; 명령문이 제거될 수 없는 것을 포함하지만 이에 제한되지 않는 하나 이상의 시나리오에서 요구될 수 있다. 적어도 하나의 실시예에서, DPC++ 코드가 수동 개입을 요구하는 시나리오들은, 제한 없이, (*,0) 코드로 대체되거나 코멘트 아웃(comment out)된 에러 코드 로직; 이용가능하지 않은 등가의 DPC++ API; CUDA 컴퓨팅 능력 종속 로직; 하드웨어 종속 API(clock()); 피쳐 미지원 API 누락; 실행 시간 측정 로직; 내장 벡터 유형 충돌들의 처리; cuBLAS API의 이전; 등을 포함할 수 있다.
적어도 하나의 실시예에서, 본원에 설명된 하나 이상의 기법은 oneAPI 프로그래밍 모델을 활용한다. 적어도 하나의 실시예에서, oneAPI 프로그래밍 모델은, 다양한 컴퓨팅 가속기 아키텍처들과 상호작용하기 위한 프로그래밍 모델을 지칭한다. 적어도 하나의 실시예에서, oneAPI는, 다양한 컴퓨팅 가속기 아키텍처들과 상호작용하도록 설계된 애플리케이션 프로그래밍 인터페이스(API)를 지칭한다. 적어도 하나의 실시예에서, oneAPI 프로그래밍 모델은, DPC++ 프로그래밍 언어를 활용한다. 적어도 하나의 실시예에서, DPC++ 프로그래밍 언어는, 데이터 병렬 프로그래밍 생산성을 위한 고레벨 언어를 지칭한다. 적어도 하나의 실시예에서, DPC++ 프로그래밍 언어는, C 및/또는 C++ 프로그래밍 언어들에 적어도 부분적으로 기반한다. 적어도 하나의 실시예에서, oneAPI 프로그래밍 모델은, 캘리포니아 주 산타 클라라의 인텔 코포레이션에 의해 개발된 것들과 같은 프로그래밍 모델이다.
적어도 하나의 실시예에서, oneAPI 및/또는 oneAPI 프로그래밍 모델은, 다양한 가속기, GPU, 프로세서, 및/또는 이들의 변형들의 아키텍처들과 상호작용하도록 활용된다. 적어도 하나의 실시예에서, oneAPI는 다양한 기능성들을 구현하는 라이브러리들의 세트를 포함한다. 적어도 하나의 실시예에서, oneAPI는 적어도, oneAPI DPC++ 라이브러리, oneAPI 수학 커널 라이브러리, oneAPI 데이터 애널리틱스(analytics) 라이브러리, oneAPI 심층 신경망 라이브러리, oneAPI 집합 통신 라이브러리, oneAPI 스레딩 구축 블록 라이브러리, oneAPI 비디오 처리 라이브러리, 및/또는 이들의 변형들을 포함한다.
적어도 하나의 실시예에서, oneDPL로 또한 지칭되는 oneAPI DPC++ 라이브러리는, DPC++ 커널 프로그래밍을 가속하기 위한 알고리즘들 및 함수들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneDPL은 하나 이상의 표준 템플릿 라이브러리(STL) 함수들을 구현한다. 적어도 하나의 실시예에서, oneDPL은 하나 이상의 병렬 STL 함수를 구현한다. 적어도 하나의 실시예에서, oneDPL은, 한 세트의 라이브러리 클래스들 및 함수들, 이를테면, 병렬 알고리즘들, 반복자들, 함수 객체 클래스들, 범위 기반 API, 및/또는 이들의 변형들을 제공한다. 적어도 하나의 실시예에서, oneDPL은, C++ 표준 라이브러리의 하나 이상의 클래스 및/또는 함수를 구현한다. 적어도 하나의 실시예에서, oneDPL은, 하나 이상의 난수 생성기 함수를 구현한다.
적어도 하나의 실시예에서, oneMKL로 또한 지칭되는 oneAPI 수학 커널 라이브러리는, 다양한 수학적 함수들 및/또는 연산들에 대한 다양한 최적화되고 병렬화된 루틴들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneMKL은, 하나 이상의 기본 선형 대수 서브프로그램(BLAS) 및/또는 선형 대수 패키지(LAPACK) 밀집 선형 대수 루틴을 구현한다. 적어도 하나의 실시예에서, oneMKL은 하나 이상의 희소 BLAS 선형 대수 루틴을 구현한다. 적어도 하나의 실시예에서, oneMKL은 하나 이상의 난수 생성기(RNG)를 구현한다. 적어도 하나의 실시예에서, oneMKL은, 벡터들에 대한 수학적 연산들에 대한 하나 이상의 벡터 수학(VM) 루틴을 구현한다. 적어도 하나의 실시예에서, oneMKL은 하나 이상의 고속 푸리에 변환(FFT) 함수를 구현한다.
적어도 하나의 실시예에서, oneDAL로 또한 지칭되는 oneAPI 데이터 애널리틱스 라이브러리는, 다양한 데이터 분석 애플리케이션들 및 분산형 계산들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneDAL은, 데이터 애널리틱스를 위한 사전 처리, 변환, 분석, 모델링, 검증, 및 의사 결정을 위한 다양한 알고리즘들을, 뱃치, 온라인, 및 분산형 처리 계산 모드들로 구현한다. 적어도 하나의 실시예에서, oneDAL은 하나 이상의 데이터 소스에 대한 다양한 C++ 및/또는 자바 API들 및 다양한 커넥터들을 구현한다. 적어도 하나의 실시예에서, oneDAL은, 통상의 C++ 인터페이스에 대한 DPC++ API 확장들을 구현하고 다양한 알고리즘들에 대한 GPU 사용을 가능하게 한다.
적어도 하나의 실시예에서, oneDNN으로 또한 지칭되는 oneAPI 심층 신경망 라이브러리는, 다양한 심층 학습 기능들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneDNN은, 다양한 신경망, 기계 학습, 및 심층 학습 기능들, 알고리즘들, 및/또는 이들의 변형들을 구현한다.
적어도 하나의 실시예에서, oneCCL로 또한 지칭되는 oneAPI 집합 통신 라이브러리는, 심층 학습 및 기계 학습 작업부하들을 위한 다양한 애플리케이션들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneCCL은, 메시지 전달 인터페이스(MPI) 및 라이브러리들과 같은 하위 레벨 통신 미들웨어 상에 구축된다. 적어도 하나의 실시예에서, oneCCL은, 우선순위화, 지속적 연산들, 비-순차 실행들, 및/또는 이들의 변형들과 같은 심층 학습 특정 최적화들의 세트를 가능하게 한다. 적어도 하나의 실시예에서, oneCCL은 다양한 CPU 및 GPU 함수들을 구현한다.
적어도 하나의 실시예에서, oneTBB로 또한 지칭되는 oneAPI 스레딩 구축 블록 라이브러리는, 다양한 애플리케이션들에 대한 다양한 병렬화된 프로세스들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneTBB는, 호스트 상의 작업 기반의 공유 병렬 프로그래밍에 활용된다. 적어도 하나의 실시예에서, oneTBB는 일반 병렬 알고리즘들을 구현한다. 적어도 하나의 실시예에서, oneTBB는 동시적 컨테이너들을 구현한다. 적어도 하나의 실시예에서, oneTBB는 확장가능 메모리 할당기를 구현한다. 적어도 하나의 실시예에서, oneTBB는 작업-도용(work-stealing) 작업 스케줄러를 구현한다. 적어도 하나의 실시예에서, oneTBB는 저레벨 동기화 프리미티브들을 구현한다. 적어도 하나의 실시예에서, oneTBB는 컴파일러 독립적이고, GPU들, PPU들, CPU들, 및/또는 이들의 변형들과 같은 다양한 프로세서들 상에서 사용가능하다.
적어도 하나의 실시예에서, oneVPL로 또한 지칭되는 oneAPI 비디오 처리 라이브러리는, 하나 이상의 애플리케이션에서 비디오 처리를 가속하는 데 활용되는 라이브러리이다. 적어도 하나의 실시예에서, oneVPL은 다양한 비디오 디코딩, 인코딩, 및 처리 함수들을 구현한다. 적어도 하나의 실시예에서, oneVPL은, CPU들, GPU들, 및 다른 가속기들 상의 미디어 파이프라인들에 대한 다양한 함수들을 구현한다. 적어도 하나의 실시예에서, oneVPL은, 미디어 중심 및 비디오 애널리틱스 작업부하들에서의 디바이스 발견 및 선택을 구현한다. 적어도 하나의 실시예에서, oneVPL은, 무복사(zero-copy) 버퍼 공유를 위한 API 프리미티브들을 구현한다.
적어도 하나의 실시예에서, oneAPI 프로그래밍 모델은, DPC++ 프로그래밍 언어를 활용한다. 적어도 하나의 실시예에서, DPC++ 프로그래밍 언어는, 디바이스 코드를 정의하고 디바이스 코드와 호스트 코드 사이를 구별하기 위한 CUDA 메커니즘들의 기능적으로 유사한 버전들을 제한 없이 포함하는 프로그래밍 언어이다. 적어도 하나의 실시예에서, DPC++ 프로그래밍 언어는, CUDA 프로그래밍 언어의 기능성의 서브세트를 포함할 수 있다. 적어도 하나의 실시예에서, 하나 이상의 CUDA 프로그래밍 모델 동작들은, DPC++ 프로그래밍 언어를 사용하는 oneAPI 프로그래밍 모델을 사용하여 수행된다.
본원에 설명된 예시적인 실시예들이 CUDA 프로그래밍 모델에 관한 것일 수 있지만, 본원에 설명된 기법들은 HIP, oneAPI(예컨대, 본원에 개시된 방법을 수행하거나 구현하기 위해 oneAPI 기반 프로그래밍을 사용함), 및/또는 이들의 변형들과 같은 임의의 적합한 프로그래밍 모델과 함께 활용될 수 있다는 것이 유의되어야 한다.
적어도 하나의 실시예에서, 위에 개시된 시스템들 및/또는 프로세서들의 하나 이상의 구성요소는, 예컨대, 이미지를 업스케일링하기 위한 업스케일러 또는 업샘플러, 이미지들을 함께 블렌딩, 혼합, 또는 더하기 위한 이미지 블렌더 또는 이미지 블렌더 구성요소, (예컨대, DSP의 일부로서) 이미지를 샘플링하기 위한 샘플러, (예컨대, 저해상도 이미지로부터 고해상도 이미지로) 이미지를 업스케일링하기 위해 업스케일러를 수행하도록 구성되는 신경망 회로, 또는 이미지, 프레임, 또는 비디오를 수정 또는 생성하여 그의 해상도, 크기, 또는 픽셀들을 조정하기 위한 다른 하드웨어를 포함하는 하나 이상의 CPU, ASIC, GPU, FPGA, 또는 다른 하드웨어, 회로, 또는 집적 회로 구성요소와 통신할 수 있으며; 위에 개시된 시스템들 및/또는 프로세서들의 하나 이상의 구성요소는, 이미지를 생성 또는 수정하는 방법들, 동작들, 또는 명령어들을 수행하기 위해 본 개시내용에 설명된 구성요소들을 사용할 수 있다.
본 개시내용의 적어도 하나의 실시예는 다음의 항목들을 고려하여 설명될 수 있다:
항목 1.
프로세서는, 프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는 하나 이상의 회로를 포함한다.
항목 2.
항목 1의 프로세서에서, 하나 이상의 회로는 하나 이상의 소프트웨어 드라이버를 수행하며, 하나 이상의 소프트웨어 드라이버는 프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 한다.
항목 3.
항목 1 또는 항목 2의 프로세서에서, 하나 이상의 회로는, 동시에, 2개 이상의 소프트웨어 모듈 중 제1 소프트웨어 모듈을 론칭하기 위한 하나 이상의 동작이 2개 이상의 소프트웨어 모듈 중 제2 소프트웨어 모듈을 론칭하기 위한 하나 이상의 동작과 동시에 수행되게 한다.
항목 4.
항목 1 내지 항목 3 중 임의의 항목의 프로세서에서, 2개 이상의 소프트웨어 모듈은, 단일 그래픽 처리 유닛에 의해 수행될 2개 이상의 그래픽 커널을 포함한다.
항목 5.
항목 1 내지 항목 4 중 임의의 항목의 프로세서에서, 2개 이상의 소프트웨어 모듈은, 복수의 그래픽 처리 유닛들에 의해 수행될 2개 이상의 그래픽 커널을 포함한다.
항목 6.
항목 1 내지 항목 5 중 임의의 항목의 프로세서에서, 애플리케이션 프로그래밍 인터페이스(API)는, 하나 이상의 소프트웨어 드라이버로 하여금 2개 이상의 소프트웨어 모듈이 동시에 론칭되도록 준비하기 위한 동작들을 동시에 수행하게 한다.
항목 7.
항목 1 내지 항목 6 중 임의의 항목의 프로세서에서, 프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는 것은, 2개 이상의 소프트웨어 모듈이 하나 이상의 그래픽 처리 코어에 의해 수행되도록 준비하기 위한 동작들을 동시에 수행하는 것을 포함한다.
항목 8.
항목 1 내지 항목 7 중 임의의 항목의 프로세서에서, 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는 것은, 2개 이상의 소프트웨어 모듈이 하나 이상의 그래픽 처리 유닛에 의해 수행되도록 설정됨을 검증하기 위한 동작들을 동시에 수행하는 것을 포함한다.
항목 9.
항목 1 내지 항목 8 중 임의의 항목의 프로세서에서, 하나 이상의 회로는 하나 이상의 소프트웨어 드라이버를 수행하며, 하나 이상의 소프트웨어 드라이버는, 병렬로 수행되고 순차적으로 수행될 하나 이상의 동작을 동기화하여 2개 이상의 그래픽 커널이 론칭되도록 준비하기 위한 데이터 추적 구조를 포함한다.
항목 10.
항목 1 내지 항목 9 중 임의의 항목의 프로세서에서, 하나 이상의 회로는 하나 이상의 소프트웨어 드라이버를 수행하며, 하나 이상의 소프트웨어 드라이버는, 하나 이상의 중앙 처리 코어로부터의 작업 제출들을 하나 이상의 그래픽 처리 코어에 의해 수행되도록 인코딩하기 위한 동작들을 수행한다.
항목 11.
시스템은, 명령어들을 저장하기 위한 메모리를 포함하며, 명령어들은, 하나 이상의 프로세서에 의해 수행되는 경우, 시스템으로 하여금:
프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 한다.
항목 12.
항목 11의 시스템에서, 시스템은 하나 이상의 소프트웨어 드라이버를 수행하며, 하나 이상의 소프트웨어 드라이버는 프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 한다.
항목 13.
항목 11 또는 항목 12의 시스템에서, 시스템은 하나 이상의 소프트웨어 드라이버를 수행하며, 하나 이상의 소프트웨어 드라이버는, 적어도 제1 그래픽 커널 및 제2 그래픽 커널이 수행되게 함으로써 2개 이상의 그래픽 커널이 동시에 수행되게 한다.
항목 14.
항목 11 내지 항목 13 중 임의의 항목의 시스템에서, 2개 이상의 소프트웨어 모듈은, 단일 그래픽 처리 유닛에 의해 수행될 2개 이상의 그래픽 커널을 포함한다.
항목 15.
항목 11 내지 항목 14 중 임의의 항목의 시스템에서, 2개 이상의 소프트웨어 모듈은, 복수의 그래픽 처리 유닛들에 의해 수행될 2개 이상의 그래픽 커널을 포함한다.
항목 16.
항목 11 내지 항목 15 중 임의의 항목의 시스템에서, 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는 것은, 2개 이상의 소프트웨어 모듈이 하나 이상의 그래픽 처리 유닛에 의해 수행되도록 설정됨을 검증하기 위한 동작들을 동시에 수행하는 것을 포함한다.
항목 17.
항목 11 내지 항목 16 중 임의의 항목의 시스템에서, 시스템은 하나 이상의 소프트웨어 드라이버를 수행하며, 하나 이상의 소프트웨어 드라이버는, 병렬로 수행되고 순차적으로 수행될 하나 이상의 동작을 동기화하여 2개 이상의 그래픽 커널이 론칭되도록 준비하기 위한 데이터 추적 구조를 포함한다.
항목 18.
항목 11 내지 항목 17 중 임의의 항목의 시스템에서, 시스템은 하나 이상의 소프트웨어 드라이버를 수행하며, 하나 이상의 소프트웨어 드라이버는, 하나 이상의 중앙 처리 코어로부터의 작업 제출들을 하나 이상의 그래픽 처리 코어에 의해 수행되도록 인코딩하기 위한 동작들을 수행한다.
항목 19.
항목 11 내지 항목 18 중 임의의 항목의 시스템에서, 시스템은 하나 이상의 소프트웨어 드라이버를 수행하며, 하나 이상의 소프트웨어 드라이버는, 병렬로 수행되고 순차적으로 수행될 동작들의 진행을 추적하여 하나 이상의 그래픽 커널을 론칭하도록 준비하기 위한 데이터 추적 구조를 포함한다.
항목 20.
항목 11 내지 항목 19 중 임의의 항목의 시스템에서, 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는 것은, 상이한 중앙 처리 코어들로부터의 작업 제출들을 하나 이상의 그래픽 처리 코어에 의해 수행되도록 인코딩하기 위한 동작들을 수행하는 것을 포함한다.
항목 21.
기계 판독가능 매체 상에 하나 이상의 명령어가 저장되며, 하나 이상의 명령어는, 하나 이상의 프로세서에 의해 수행되는 경우, 하나 이상의 프로세서로 하여금, 적어도,
프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 한다.
항목 22.
항목 21의 기계 판독가능 매체에서, 하나 이상의 회로는 하나 이상의 소프트웨어 드라이버를 수행하며, 하나 이상의 소프트웨어 드라이버는 프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 한다.
항목 23.
항목 21 또는 항목 22의 기계 판독가능 매체에서, 하나 이상의 회로는, 동시에, 2개 이상의 소프트웨어 모듈 중 제1 소프트웨어 모듈을 론칭하기 위한 하나 이상의 동작이 2개 이상의 소프트웨어 모듈 중 제2 소프트웨어 모듈을 론칭하기 위한 하나 이상의 동작과 동시에 수행되게 한다.
항목 24.
항목 21 내지 항목 23 중 임의의 항목의 기계 판독가능 매체에서, 2개 이상의 소프트웨어 모듈은, 단일 그래픽 처리 유닛에 의해 수행될 2개 이상의 그래픽 커널을 포함한다.
항목 25.
항목 21 내지 항목 24 중 임의의 항목의 기계 판독가능 매체에서, 2개 이상의 소프트웨어 모듈은, 복수의 그래픽 처리 유닛들에 의해 수행될 2개 이상의 그래픽 커널을 포함한다.
항목 26.
항목 21 내지 항목 25 중 임의의 항목의 기계 판독가능 매체에서, 애플리케이션 프로그래밍 인터페이스(API)는, 하나 이상의 소프트웨어 드라이버로 하여금 2개 이상의 소프트웨어 모듈이 동시에 론칭되도록 준비하기 위한 동작들을 동시에 수행하게 한다.
항목 27.
방법은,
프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는 단계를 포함한다.
항목 28. 항목 27의 방법에서, 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는 단계는,
하나 이상의 그래픽 처리 코어 상에서 2개 이상의 그래픽 커널이 론칭되도록 준비하기 위한 동작들을 수행하는 단계를 더 포함한다.
항목 29. 항목 27 또는 28의 방법에서, 방법은,
하나 이상의 그래픽 처리 코어 상에서 2개 이상의 그래픽 커널을 론칭하기 위해 병렬로 실행할 하나 이상의 동작 및 순차적으로 실행할 하나 이상의 동작을 획득하는 단계를 더 포함한다.
항목 30. 항목 27 내지 항목 29 중 임의의 항목의 방법에서, 방법은,
하나 이상의 그래픽 처리 코어 상에서 2개 이상의 그래픽 커널이 론칭되도록 준비하기 위한 요청들을 하나 이상의 중앙 처리 코어로부터 수신하는 단계를 더 포함한다.
항목 31. 항목 27 내지 항목 30 중 임의의 항목의 방법에서, 방법은, 하나 이상의 소프트웨어 드라이버에서, 2개 이상의 그래픽 커널이 동시에 수행되도록 준비하기 위한 명령어들을 애플리케이션 프로그래밍 인터페이스(API)로부터 수신하는 단계를 더 포함한다.
항목 32. 항목 27 내지 항목 31 중 임의의 항목의 방법에서, 방법은, 하나 이상의 그래픽 커널을 준비하기 위해, 병렬로 실행되는 동작들 및 순차적으로 실행되는 동작들의 진행을 추적하는 하나 이상의 소프트웨어 드라이버의 데이터 추적 구조에 적어도 부분적으로 기반하여, 하나 이상의 그래픽 커널이 론칭되도록 준비하는 것의 상태를 획득하는 단계를 더 포함한다.
항목 33. 항목 27 내지 항목 32 중 임의의 항목의 방법에서, 방법은,
하나 이상의 소프트웨어 드라이버를 수행하는 단계; 및
하나 이상의 소프트웨어 드라이버로, 하나 이상의 중앙 처리 코어로부터의 작업 제출들을 하나 이상의 그래픽 처리 코어에 의해 수행되도록 인코딩하기 위한 하나 이상의 동작을 수행하는 단계를 더 포함한다.
다른 변형들이 본 개시내용의 사상 내에 있다. 그에 따라, 개시된 기법들은 다양한 수정들 및 대안적인 구성들을 허용하지만, 그의 특정한 예시된 실시예들이 도면들에 도시되고 위에서 상세히 설명되었다. 그러나, 개시된 특정 형태 또는 형태들로 본 개시내용을 제한하려는 의도는 없지만, 첨부된 청구항들에서 정의되는 바와 같은 본 개시내용의 사상 및 범위 내에 속하는 모든 수정들, 대안적 구성들, 및 등가물들을 포함하는 것이 그 의도임이 이해되어야 한다.
개시된 실시예들을 설명하는 맥락에서(특히, 하기의 청구항들의 맥락에서) 단수형 용어들 및 유사한 지시대상들의 사용은, 용어의 정의로서가 아니라, 본원에 달리 표시되거나 맥락에 의해 명확히 부정되지 않는 한 단수형 및 복수형 둘 모두를 포함하는 것으로 해석되어야 한다. 용어들 "포함", "갖는 "구비" 및 "함유"라는 용어들은, 달리 언급되지 않는 한 제한을 두지 않는 용어들("~을 포함하지만 이에 제한되지 않는"을 의미함)로서 해석되어 한다. 수정되지 않고 물리적 연결들을 지칭할 때의 "연결"이라는 용어는, 무언가가 개재되어 있다 하더라도 부분적으로 또는 전체적으로 ~ 내에 포함되거나, ~에 부착되거나, 또는 ~와 함께 결합된 것으로서 해석되어야 한다. 본원에 달리 표시되지 않는 한, 본원에서의 값들의 범위들에 대한 언급은 단지, 그 범위 내에 속하는 각각의 별개의 값을 개별적으로 언급하는 약칭 방법으로서의 역할을 하도록 의도되며, 각각의 별개의 값은 그들이 본원에 개별적으로 언급된 것처럼 본 명세서 내에 포함된다. "세트"(예컨대, "항목들의 세트") 또는 "서브세트"라는 용어의 사용은, 맥락에 의해 달리 언급되거나 부정되지 않는 한, 하나 이상의 멤버를 포함하는 비어 있지 않은 집합으로서 해석되어야 한다. 추가로, 맥락에 의해 달리 언급되거나 부정되지 않는 한, 대응하는 세트의 "서브세트"라는 용어는, 반드시 대응하는 세트의 적절한 서브세트를 의미하는 것이 아니라, 서브세트 및 대응하는 세트가 동일할 수 있다.
"A, B, 및 C 중 적어도 하나" 또는 "A, B 및 C 중 적어도 하나"의 형태의 문구들과 같은 연결성 어휘는, 구체적으로 달리 언급되거나 맥락에 의해 달리 명확하게 부정되지 않는 한, 항목, 조건 등이 A 또는 B 또는 C이거나, 또는 A와 B와 C로 이루어진 세트의 비어 있지 않은 임의의 서브세트일 수 있다는 것을 나타내기 위해 일반적으로 사용되는 것으로 맥락에 따라 달리 이해되어야 한다. 예컨대, 3개의 멤버를 갖는 세트의 예시적인 예에서, 연결성 문구들 "A, B, 및 C 중 적어도 하나"와 "A, B 및 C 중 적어도 하나"는 다음의 세트들 중 임의의 것을 지칭한다: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. 그에 따라, 그러한 연결성 어휘는 일반적으로, 특정 실시예들이, A 중 적어도 하나, B 중 적어도 하나, 및 C 중 적어도 하나가 각각 존재할 것을 요구함을 암시하도록 의도되지 않는다. 게다가, 맥락에 의해 달리 언급되거나 부정되지 않는 한, "복수"라는 용어는 복수인 상태를 표시한다(예컨대, "복수의 항목들"은 다수의 항목들을 표시함). 복수에서의 항목들의 수는 적어도 2개이지만, 명시적으로 또는 맥락에 의해 그렇게 표시될 때에는 더 많을 수 있다. 추가로, 달리 언급되거나 맥락으로부터 명확하지 않는 한, "~에 기반"이라는 문구는 "~에 전적으로 기반"이 아니라 "~에 적어도 부분적으로 기반"을 의미한다.
본원에 달리 표시되거나 맥락에 의해 달리 명확히 부정되지 않는 한, 본원에 설명된 프로세스들의 동작들은 임의의 적합한 순서로 수행될 수 있다. 적어도 하나의 실시예에서, 프로세스, 이를테면, 본원에 설명된 그러한 프로세스들(또는 그 변형들 및/또는 조합들)은, 실행가능 명령어들로 구성된 하나 이상의 컴퓨터 시스템의 제어 하에 수행되고, 하나 이상의 프로세서 상에서 집합적으로 실행되는 코드(예컨대, 실행가능 명령어들, 하나 이상의 컴퓨터 프로그램 또는 하나 이상의 애플리케이션)로서, 하드웨어에 의해, 또는 이들의 조합들로 구현된다. 적어도 하나의 실시예에서, 코드는, 예컨대, 하나 이상의 프로세서에 의해 실행가능한 복수의 명령어들을 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터 판독가능 저장 매체 상에 저장된다. 적어도 하나의 실시예에서, 컴퓨터 판독가능 저장 매체는, 일시적인 신호들(예컨대, 전파되는 과도적인 전기 또는 전자기 송신)을 제외하지만 일시적인 신호들의 송수신기들 내의 비-일시적인 데이터 저장 회로(예컨대, 버퍼들, 캐시, 및 큐들)를 포함하는 비-일시적인 컴퓨터 판독가능 저장 매체이다. 적어도 하나의 실시예에서, 코드(예컨대, 실행가능 코드 또는 소스 코드)는, 컴퓨터 시스템의 하나 이상의 프로세서에 의해 실행될 때(예컨대, 실행되는 것의 결과로서), 컴퓨터 시스템으로 하여금 본원에 설명된 동작들을 수행하게 하는 실행가능 명령어들이 저장된 하나 이상의 비-일시적인 컴퓨터 판독가능 저장 매체(또는 실행가능 명령어들을 저장하기 위한 다른 메모리)의 세트 상에 저장된다. 비-일시적인 컴퓨터 판독가능 저장 매체의 세트는, 적어도 하나의 실시예에서, 다수의 비-일시적인 컴퓨터 판독가능 저장 매체를 포함하고, 다수의 비-일시적인 컴퓨터 판독가능 저장 매체의 개별 비-일시적인 저장 매체 중 하나 이상이 코드 전부를 갖고 있는 것은 아니지만, 다수의 비-일시적인 컴퓨터 판독가능 저장 매체는 집합적으로 코드 전부를 저장한다. 적어도 하나의 실시예에서, 실행가능 명령어들은, 상이한 명령어들이 상이한 프로세서들에 의해 실행되도록, 예컨대, 비-일시적인 컴퓨터 판독가능 저장 매체가 명령어들을 저장하고, 메인 중앙 처리 유닛("CPU")이 명령어들 중 일부를 실행하는 한편 그래픽 처리 유닛("GPU")이 다른 명령어들을 실행하도록 실행된다. 적어도 하나의 실시예에서, 컴퓨터 시스템의 상이한 구성요소들은 별개의 프로세서들을 갖고, 상이한 프로세서들은 명령어들의 상이한 서브세트들을 실행한다.
그에 따라서, 적어도 하나의 실시예에서, 컴퓨터 시스템들은 본원에 설명된 프로세스들의 동작들을 단독으로 또는 집합적으로 수행하는 하나 이상의 서비스를 구현하도록 구성되고, 그러한 컴퓨터 시스템들은 동작들의 수행을 가능하게 하는 적용가능한 하드웨어 및/또는 소프트웨어로 구성된다. 추가로, 본 개시내용의 적어도 하나의 실시예를 구현하는 컴퓨터 시스템은 단일 디바이스이고, 다른 실시예에서는, 상이하게 동작하는 다수의 디바이스들을 포함하는 분산형 컴퓨터 시스템이며, 이에 따라, 분산형 컴퓨터 시스템이 본원에 설명된 동작들을 수행하고, 단일 디바이스가 모든 동작들을 수행하지는 않는다.
본원에 제공된 임의의 그리고 모든 예들, 또는 예시적인 어휘(예컨대, "이를테면", 및 "~와 같은")의 사용은, 단지 본 개시내용의 실시예들을 더 명확히 하도록 의도되고, 달리 주장하지 않는 한, 본 개시내용의 범위를 제한하지 않는다. 본 명세서의 어떠한 어휘도, 임의의 주장되지 않는 요소를 본 개시내용을 실시하는 데 필수적인 것으로 표시하는 것으로서 해석되어서는 안 된다.
본원에서 인용된 공보들, 특허 출원들, 및 특허들을 포함하는 모든 참고문헌들은, 각각의 참고문헌이 개별적으로 그리고 구체적으로 인용에 의해 포함된 것으로 표시되고 그 전체내용이 본원에 기재된 경우와 동일한 정도로 인용에 의해 본원에 포함된다.
설명 및 청구항들에서, "결합" 및 "연결"이라는 용어들이 그들의 파생어들과 함께 사용될 수 있다. 이러한 용어들이 서로에 대한 동의어들로서 의도되지 않을 수 있다는 것이 이해되어야 한다. 오히려, 특정 예들에서, "연결" 또는 "결합"은 2개 이상의 요소가 서로 직접 또는 간접으로 물리적 또는 전기적 접촉을 한다는 것을 표시하기 위해 사용될 수 있다. "결합"은 또한, 2개 이상의 요소가 서로 직접 접촉하지는 않지만 그럼에도 불구하고 여전히 서로 협력하거나 상호작용하는 것을 의미할 수도 있다.
달리 구체적으로 언급되지 않는 한, 명세서 전반에 걸쳐, "처리", 컴퓨팅", "계산", "결정" 등과 같은 용어들은, 컴퓨팅 시스템의 레지스터들 및/또는 메모리들 내의 물리적, 이를테면 전자적 양들로서 표현된 데이터를, 컴퓨팅 시스템의 메모리들, 레지스터들, 또는 다른 그러한 정보 저장, 송신 또는 디스플레이 디바이스들 내의 물리적 양들로서 유사하게 표현되는 다른 데이터로 조작 및/또는 변환하는 컴퓨터 또는 컴퓨팅 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 동작 및/또는 프로세스들을 지칭한다는 것이 인식될 수 있다.
유사한 방식으로, "프로세서"라는 용어는, 레지스터들 및/또는 메모리로부터의 전자 데이터를 처리하여 그 전자 데이터를 레지스터들 및/또는 메모리에 저장될 수 있는 다른 전자 데이터로 변환하는 임의의 디바이스 또는 디바이스의 부분을 지칭할 수 있다. 비-제한적인 예들로서, "프로세서"는 CPU 또는 GPU일 수 있다. "컴퓨팅 플랫폼"은 하나 이상의 프로세서를 포함할 수 있다. 본원에서 사용되는 바와 같이, "소프트웨어" 프로세스는, 예컨대, 작업들, 스레드들, 및 지능형 에이전트들과 같은 시간 경과에 따라 작업을 수행하는 소프트웨어 및/또는 하드웨어 엔티티들을 포함할 수 있다. 또한, 각각의 프로세스는, 명령어들을 순차적으로 또는 병렬로, 연속적으로 또는 간헐적으로 수행하기 위한 다수의 프로세스들을 지칭할 수 있다. "시스템" 및 "방법"이라는 용어들은, 시스템이 하나 이상의 방법을 구현할 수 있고 방법들이 시스템으로 간주될 수 있는 한 본원에서 상호교환가능하게 사용된다.
적어도 하나의 실시예에서, 산술 로직 유닛은 결과를 생성하기 위해 하나 이상의 입력을 취하는 결합 로직 회로의 세트이다. 적어도 하나의 실시예에서, 산술 로직 유닛은 가산, 감산 또는 곱셈과 같은 수학적 연산을 구현하기 위해 프로세서에 의해 사용된다. 적어도 하나의 실시예에서, 산술 로직 유닛은 논리적 AND/OR 또는 XOR과 같은 논리적 연산들을 구현하기 위해 사용된다. 적어도 하나의 실시예에서, 산술 로직 유닛은 상태를 보존하지 않고(stateless), 논리적 게이트들을 형성하도록 배열되는 반도체 트랜지스터들과 같은 물리적 스위칭 구성요소들로 만들어진다. 적어도 하나의 실시예에서, 산술 로직 유닛은 내부적으로, 연관된 클록을 갖는 상태 보존(stateful) 로직 회로로서 동작할 수 있다. 적어도 하나의 실시예에서, 산술 로직 유닛은, 내부 상태가 연관된 레지스터 세트에 유지되지 않는 비동기식 로직 회로로서 구성될 수 있다. 적어도 하나의 실시예에서, 산술 로직 유닛은, 프로세서의 하나 이상의 레지스터에 저장된 피연산자들을 결합하고 프로세서에 의해 다른 레지스터 또는 메모리 위치에 저장될 수 있는 출력을 생성하기 위해 프로세서에 의해 사용된다.
적어도 하나의 실시예에서, 프로세서에 의해 검색된 명령어를 처리하는 것의 결과로서, 프로세서는, 하나 이상의 입력 또는 피연산자를 산술 로직 유닛에 제공하여, 산술 로직 유닛으로 하여금 산술 로직 유닛의 입력들에 제공되는 명령어 코드에 적어도 부분적으로 기반하여 결과를 생성하게 한다. 적어도 하나의 실시예에서, ALU에 프로세서에 의해 제공된 명령어 코드들은 프로세서에 의해 실행된 명령어에 적어도 부분적으로 기반한다. 적어도 하나의 실시예에서, ALU 내의 결합 로직은 입력들을 처리하고 프로세서 내의 버스 상에 배치되는 출력을 생성한다. 적어도 하나의 실시예에서, 프로세서는, 목적지 레지스터, 메모리 위치, 출력 디바이스, 또는 출력 버스 상의 출력 저장 위치를 선택하며, 이에 따라, 클로킹 프로세서는, ALU에 의해 생성된 결과들이 요망되는 위치로 전송되게 한다.
본 문서에서, 아날로그 또는 디지털 데이터를 획득하거나, 취득하거나, 수신하거나, 또는 서브시스템, 컴퓨터 시스템 또는 컴퓨터에 의해 구현되는 기계에 입력하는 것에 대한 참조들이 이루어질 수 있다. 아날로그 및 디지털 데이터를 획득, 취득, 수신 또는 입력하는 프로세스는, 함수 호출 또는 애플리케이션 프로그래밍 인터페이스에 대한 호출의 파라미터로서 데이터를 수신하는 것과 같은 다양한 방식들로 달성될 수 있다. 일부 구현들에서, 아날로그 또는 디지털 데이터를 획득, 취득, 수신 또는 입력하는 프로세스는, 직렬 또는 병렬 인터페이스를 통해 데이터를 전송함으로써 달성될 수 있다. 다른 구현에서, 아날로그 또는 디지털 데이터를 획득, 취득, 수신 또는 입력하는 프로세스는, 컴퓨터 네트워크를 통해 제공 엔티티로부터 취득 엔티티로 데이터를 전송함으로써 달성될 수 있다. 아날로그 또는 디지털 데이터를 제공, 출력, 송신, 전송, 또는 제시하는 것에 대한 참조들이 또한 이루어질 수 있다. 다양한 예들에서, 아날로그 또는 디지털 데이터를 제공, 출력, 송신, 전송, 또는 제시하는 프로세스는, 함수 호출의 입력 또는 출력 파라미터로서, 애플리케이션 프로그래밍 인터페이스 또는 프로세스 간 통신 메커니즘의 파라미터로서, 데이터를 전달함으로써 달성될 수 있다.
위의 논의는 설명된 기법들의 예시적인 구현들을 기재하지만, 다른 아키텍처들이 설명된 기능성을 구현하기 위해 사용될 수 있고, 본 개시내용의 범위 내에 있는 것으로 의도된다. 또한, 논의의 목적들을 위해 책임들의 특정 분배들이 위에서 정의되지만, 다양한 기능들 및 책임들은 상황들에 따라 상이한 방식들로 분배 및 분할될 수 있다.
또한, 본 주제가 구조적 특징들 및/또는 방법론적 동작들에 특정한 어휘로 설명되었지만, 첨부된 청구항들에서 청구되는 본 주제가 설명된 특정 특징들 또는 동작들로 반드시 제한되지는 않는다는 것이 이해되어야 한다. 오히려, 특정 특징들 및 동작들은 청구항들을 구현하는 예시적인 형태들로서 개시된 것이다.
Claims (33)
- 프로세서로서,
상기 프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는 하나 이상의 회로를 포함하는, 프로세서. - 제1항에 있어서,
상기 하나 이상의 회로는 하나 이상의 소프트웨어 드라이버를 수행하며, 상기 하나 이상의 소프트웨어 드라이버는 상기 프로세서에 의해 동시에 상기 2개 이상의 소프트웨어 모듈이 수행되게 하는, 프로세서. - 제1항에 있어서,
상기 하나 이상의 회로는, 동시에, 상기 2개 이상의 소프트웨어 모듈 중 제1 소프트웨어 모듈을 론칭하기 위한 하나 이상의 동작이 상기 2개 이상의 소프트웨어 모듈 중 제2 소프트웨어 모듈을 론칭하기 위한 하나 이상의 동작과 동시에 수행되게 하는, 프로세서. - 제1항에 있어서,
상기 2개 이상의 소프트웨어 모듈은, 단일 그래픽 처리 유닛에 의해 수행될 2개 이상의 그래픽 커널을 포함하는, 프로세서. - 제1항에 있어서,
상기 2개 이상의 소프트웨어 모듈은, 복수의 그래픽 처리 유닛들에 의해 수행될 2개 이상의 그래픽 커널을 포함하는, 프로세서. - 제1항에 있어서,
애플리케이션 프로그래밍 인터페이스(API)는, 하나 이상의 소프트웨어 드라이버로 하여금 상기 2개 이상의 소프트웨어 모듈이 동시에 론칭되도록 준비하기 위한 동작들을 동시에 수행하게 하는, 프로세서. - 제1항에 있어서,
상기 프로세서에 의해 동시에 상기 2개 이상의 소프트웨어 모듈이 수행되게 하는 것은, 상기 2개 이상의 소프트웨어 모듈이 하나 이상의 그래픽 처리 코어에 의해 수행되도록 준비하기 위한 동작들을 동시에 수행하는 것을 포함하는, 프로세서. - 제1항에 있어서,
동시에 상기 2개 이상의 소프트웨어 모듈이 수행되게 하는 것은, 상기 2개 이상의 소프트웨어 모듈이 하나 이상의 그래픽 처리 유닛에 의해 수행되도록 설정됨을 검증하기 위한 동작들을 동시에 수행하는 것을 포함하는, 프로세서. - 제1항에 있어서,
상기 하나 이상의 회로는 하나 이상의 소프트웨어 드라이버를 수행하며, 상기 하나 이상의 소프트웨어 드라이버는, 병렬로 수행되고 순차적으로 수행될 하나 이상의 동작을 동기화하여 2개 이상의 그래픽 커널이 론칭되도록 준비하기 위한 데이터 추적 구조를 포함하는, 프로세서. - 제1항에 있어서,
상기 하나 이상의 회로는 하나 이상의 소프트웨어 드라이버를 수행하며, 하나 이상의 소프트웨어 드라이버는, 하나 이상의 중앙 처리 코어로부터의 작업 제출들을 하나 이상의 그래픽 처리 코어에 의해 수행되도록 인코딩하기 위한 동작들을 수행하는, 프로세서. - 시스템으로서,
명령어들을 저장하기 위한 메모리를 포함하며, 상기 명령어들은, 하나 이상의 프로세서에 의해 수행되는 경우, 상기 시스템으로 하여금, 프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는, 시스템. - 제11항에 있어서,
상기 시스템은 하나 이상의 소프트웨어 드라이버를 수행하며, 상기 하나 이상의 소프트웨어 드라이버는, 상기 프로세서에 의해 동시에 상기 2개 이상의 소프트웨어 모듈이 수행되게 하는, 시스템. - 제11항에 있어서,
상기 시스템은 하나 이상의 소프트웨어 드라이버를 수행하며, 상기 하나 이상의 소프트웨어 드라이버는, 적어도 제1 그래픽 커널 및 제2 그래픽 커널이 수행되게 함으로써 2개 이상의 그래픽 커널이 동시에 수행되게 하는, 시스템. - 제11항에 있어서,
상기 2개 이상의 소프트웨어 모듈은, 단일 그래픽 처리 유닛에 의해 수행될 2개 이상의 그래픽 커널을 포함하는, 시스템. - 제11항에 있어서,
상기 2개 이상의 소프트웨어 모듈은, 복수의 그래픽 처리 유닛들에 의해 수행될 2개 이상의 그래픽 커널을 포함하는, 시스템. - 제11항에 있어서,
동시에 상기 2개 이상의 소프트웨어 모듈이 수행되게 하는 것은, 상기 2개 이상의 소프트웨어 모듈이 하나 이상의 그래픽 처리 유닛에 의해 수행되도록 설정됨을 검증하기 위한 동작들을 동시에 수행하는 것을 포함하는, 시스템. - 제11항에 있어서,
상기 시스템은 하나 이상의 소프트웨어 드라이버를 수행하며, 상기 하나 이상의 소프트웨어 드라이버는, 병렬로 수행되고 순차적으로 수행될 하나 이상의 동작을 동기화하여 2개 이상의 그래픽 커널이 론칭되도록 준비하기 위한 데이터 추적 구조를 포함하는, 시스템. - 제11항에 있어서,
상기 시스템은 하나 이상의 소프트웨어 드라이버를 수행하며, 상기 하나 이상의 소프트웨어 드라이버는, 하나 이상의 중앙 처리 코어로부터의 작업 제출들을 하나 이상의 그래픽 처리 코어에 의해 수행되도록 인코딩하기 위한 동작들을 수행하는, 시스템. - 제11항에 있어서,
상기 시스템은 하나 이상의 소프트웨어 드라이버를 수행하며, 상기 하나 이상의 소프트웨어 드라이버는, 병렬로 수행되고 순차적으로 수행될 동작들의 진행을 추적하여 하나 이상의 그래픽 커널을 론칭하도록 준비하기 위한 데이터 추적 구조를 포함하는, 시스템. - 제11항에 있어서,
동시에 상기 2개 이상의 소프트웨어 모듈이 수행되게 하는 것은, 상이한 중앙 처리 코어들로부터의 작업 제출들을 하나 이상의 그래픽 처리 코어에 의해 수행되도록 인코딩하기 위한 동작들을 수행하는 것을 포함하는, 시스템. - 기계 판독가능 매체로서,
하나 이상의 명령어가 저장되며, 상기 하나 이상의 명령어는, 하나 이상의 프로세서에 의해 수행되는 경우, 상기 하나 이상의 프로세서로 하여금, 적어도, 프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는, 기계 판독가능 매체. - 제21항에 있어서,
하나 이상의 회로는 하나 이상의 소프트웨어 드라이버를 수행하며, 상기 하나 이상의 소프트웨어 드라이버는 프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는, 기계 판독가능 매체. - 제21항에 있어서,
하나 이상의 회로는, 동시에, 상기 2개 이상의 소프트웨어 모듈 중 제1 소프트웨어 모듈을 론칭하기 위한 하나 이상의 동작이 상기 2개 이상의 소프트웨어 모듈 중 제2 소프트웨어 모듈을 론칭하기 위한 하나 이상의 동작과 동시에 수행되게 하는, 기계 판독가능 매체. - 제21항에 있어서,
상기 2개 이상의 소프트웨어 모듈은, 단일 그래픽 처리 유닛에 의해 수행될 2개 이상의 그래픽 커널을 포함하는, 기계 판독가능 매체. - 제21항에 있어서,
상기 2개 이상의 소프트웨어 모듈은, 복수의 그래픽 처리 유닛들에 의해 수행될 2개 이상의 그래픽 커널을 포함하는, 기계 판독가능 매체. - 제21항에 있어서,
애플리케이션 프로그래밍 인터페이스(API)는, 하나 이상의 소프트웨어 드라이버로 하여금 상기 2개 이상의 소프트웨어 모듈이 동시에 론칭되도록 준비하기 위한 동작들을 동시에 수행하게 하는, 기계 판독가능 매체. - 방법으로서,
프로세서에 의해 동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는 단계를 포함하는, 방법. - 제27항에 있어서,
동시에 2개 이상의 소프트웨어 모듈이 수행되게 하는 단계는, 하나 이상의 그래픽 처리 코어 상에서 2개 이상의 그래픽 커널이 론칭되도록 준비하기 위한 동작들을 수행하는 단계를 더 포함하는, 방법. - 제27항에 있어서, 상기 방법은,
하나 이상의 그래픽 처리 코어 상에서 2개 이상의 그래픽 커널을 론칭하기 위해 병렬로 실행할 하나 이상의 동작 및 순차적으로 실행할 하나 이상의 동작을 획득하는 단계를 더 포함하는, 방법. - 제27항에 있어서, 상기 방법은,
하나 이상의 그래픽 처리 코어 상에서 2개 이상의 그래픽 커널이 론칭되도록 준비하기 위한 요청들을 하나 이상의 중앙 처리 코어로부터 수신하는 단계를 더 포함하는, 방법. - 제27항에 있어서, 상기 방법은,
하나 이상의 소프트웨어 드라이버에서, 2개 이상의 그래픽 커널이 동시에 수행되도록 준비하기 위한 명령어들을 애플리케이션 프로그래밍 인터페이스(API)로부터 수신하는 단계를 더 포함하는, 방법. - 제27항에 있어서, 상기 방법은,
하나 이상의 그래픽 커널을 준비하기 위해, 병렬로 실행되는 동작들 및 순차적으로 실행되는 동작들의 진행을 추적하는 하나 이상의 소프트웨어 드라이버의 데이터 추적 구조에 적어도 부분적으로 기반하여, 하나 이상의 그래픽 커널이 론칭되도록 준비하는 것의 상태를 획득하는 단계를 더 포함하는, 방법. - 제27항에 있어서, 상기 방법은,
하나 이상의 소프트웨어 드라이버로, 하나 이상의 중앙 처리 코어로부터의 작업 제출들을 하나 이상의 그래픽 처리 코어에 의해 수행되도록 인코딩하기 위한 하나 이상의 동작을 수행하는 단계를 더 포함하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163175211P | 2021-04-15 | 2021-04-15 | |
| US63/175,211 | 2021-04-15 | ||
| PCT/US2022/024880 WO2022221573A1 (en) | 2021-04-15 | 2022-04-14 | Launching code concurrently |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220144354A true KR20220144354A (ko) | 2022-10-26 |
Family
ID=83785390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227016288A KR20220144354A (ko) | 2021-04-15 | 2022-04-14 | 동시 코드 론칭 |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP2024513617A (ko) |
| KR (1) | KR20220144354A (ko) |
| CN (1) | CN116097224A (ko) |
| DE (1) | DE112022000425T5 (ko) |
| GB (1) | GB2617867A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116828198B (zh) * | 2023-08-29 | 2023-11-28 | 麒麟软件有限公司 | 在nvidia gpu上支持va-api硬件视频加速接口的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8341611B2 (en) * | 2007-04-11 | 2012-12-25 | Apple Inc. | Application interface on multiple processors |
| US8866827B2 (en) * | 2008-06-26 | 2014-10-21 | Microsoft Corporation | Bulk-synchronous graphics processing unit programming |
| US8707314B2 (en) * | 2011-12-16 | 2014-04-22 | Advanced Micro Devices, Inc. | Scheduling compute kernel workgroups to heterogeneous processors based on historical processor execution times and utilizations |
| WO2016145632A1 (en) * | 2015-03-18 | 2016-09-22 | Intel Corporation | Apparatus and method for software-agnostic multi-gpu processing |
-
2022
- 2022-04-14 GB GB2207085.8A patent/GB2617867A/en active Pending
- 2022-04-14 KR KR1020227016288A patent/KR20220144354A/ko unknown
- 2022-04-14 CN CN202280006155.9A patent/CN116097224A/zh active Pending
- 2022-04-14 DE DE112022000425.8T patent/DE112022000425T5/de active Pending
- 2022-04-14 JP JP2022526219A patent/JP2024513617A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024513617A (ja) | 2024-03-27 |
| GB202207085D0 (en) | 2022-06-29 |
| DE112022000425T5 (de) | 2023-10-26 |
| GB2617867A (en) | 2023-10-25 |
| CN116097224A (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220161255A (ko) | 행렬 값 표시 수행 | |
| US20220334851A1 (en) | Application programming interface to generate a representation of graph code | |
| US20230305853A1 (en) | Application programming interface to perform operation with reusable thread | |
| US20230244391A1 (en) | Graph-based memory storage | |
| KR20220144354A (ko) | 동시 코드 론칭 | |
| US20230185706A1 (en) | Asynchronous memory deallocation | |
| US20220334845A1 (en) | Launching code concurrently | |
| US20220365829A1 (en) | Data compression api | |
| US20240143402A1 (en) | Application programming interface to indicate operations | |
| US20240112296A1 (en) | Generating and interposing interpolated frames with application frames for display | |
| US20240168762A1 (en) | Application programming interface to wait on matrix multiply-accumulate | |
| US20240095024A1 (en) | Program code versions | |
| WO2023077436A1 (en) | Thread specialization for collaborative data transfer and computation | |
| US20240036956A1 (en) | Application programming interface to indicate performance of barrier instruction and stop performance of threads | |
| US20240168799A1 (en) | Graph modification | |
| US20240176679A1 (en) | Application programming interface to cause performance of accelerator operations | |
| US20240078185A1 (en) | Using parallel processor(s) to process packets in real-time | |
| US20220334879A1 (en) | Application programming interface to identify sharable memory | |
| US20230185642A1 (en) | Application programming interface to retrieve portions of an image | |
| US20230185641A1 (en) | Application programming interface to store portions of an image | |
| KR20220142998A (ko) | 미완성 그래프 코드의 위치를 찾기 위한 애플리케이션 프로그래밍 인터페이스 | |
| KR20220143635A (ko) | 리소스 사용을 모니터링하기 위한 애플리케이션 프로그래밍 인터페이스 | |
| KR20220142996A (ko) | 메모리를 식별하기 위한 애플리케이션 프로그래밍 인터페이스 | |
| KR20220142997A (ko) | 함수 버전들을 식별하기 위한 애플리케이션 프로그래밍 인터페이스 | |
| KR20220143636A (ko) | 그래프 코드의 표현을 발생시키기 위한 애플리케이션 프로그래밍 인터페이스 |