KR20230083985A - 하나 이상의 신경망을 사용하는 시간적 이미지 혼합 - Google Patents
하나 이상의 신경망을 사용하는 시간적 이미지 혼합 Download PDFInfo
- Publication number
- KR20230083985A KR20230083985A KR1020220061961A KR20220061961A KR20230083985A KR 20230083985 A KR20230083985 A KR 20230083985A KR 1020220061961 A KR1020220061961 A KR 1020220061961A KR 20220061961 A KR20220061961 A KR 20220061961A KR 20230083985 A KR20230083985 A KR 20230083985A
- Authority
- KR
- South Korea
- Prior art keywords
- processor
- image
- data
- memory
- graphics
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 119
- 238000002156 mixing Methods 0.000 title description 32
- 230000002123 temporal effect Effects 0.000 title description 14
- 230000033001 locomotion Effects 0.000 claims abstract description 216
- 238000000034 method Methods 0.000 claims abstract description 190
- 230000015654 memory Effects 0.000 claims description 404
- 239000000872 buffer Substances 0.000 claims description 110
- 238000005070 sampling Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 description 345
- 238000012549 training Methods 0.000 description 269
- 230000008569 process Effects 0.000 description 128
- 238000010801 machine learning Methods 0.000 description 111
- 239000013598 vector Substances 0.000 description 95
- 230000006870 function Effects 0.000 description 86
- 238000003860 storage Methods 0.000 description 75
- 210000002569 neuron Anatomy 0.000 description 64
- 238000007667 floating Methods 0.000 description 61
- 238000004891 communication Methods 0.000 description 53
- 238000005192 partition Methods 0.000 description 51
- 238000013500 data storage Methods 0.000 description 50
- 230000001133 acceleration Effects 0.000 description 47
- 238000013473 artificial intelligence Methods 0.000 description 47
- 238000005227 gel permeation chromatography Methods 0.000 description 42
- 238000003384 imaging method Methods 0.000 description 42
- 238000009877 rendering Methods 0.000 description 41
- 238000013135 deep learning Methods 0.000 description 39
- 238000007726 management method Methods 0.000 description 27
- 239000012634 fragment Substances 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 20
- 230000002093 peripheral effect Effects 0.000 description 20
- 238000009826 distribution Methods 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 18
- 238000012800 visualization Methods 0.000 description 18
- 210000000225 synapse Anatomy 0.000 description 17
- 238000013519 translation Methods 0.000 description 17
- 230000014616 translation Effects 0.000 description 17
- 238000013459 approach Methods 0.000 description 16
- 238000012546 transfer Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 14
- 241000023320 Luma <angiosperm> Species 0.000 description 13
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000012163 sequencing technique Methods 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 11
- 230000000670 limiting effect Effects 0.000 description 10
- 230000002829 reductive effect Effects 0.000 description 10
- 230000004913 activation Effects 0.000 description 9
- 238000001994 activation Methods 0.000 description 9
- 238000003491 array Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 8
- 239000012528 membrane Substances 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000012952 Resampling Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 5
- 239000004744 fabric Substances 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 210000002370 ICC Anatomy 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011010 flushing procedure Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011331 genomic analysis Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010988 intraclass correlation coefficient Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000001242 postsynaptic effect Effects 0.000 description 2
- 210000005215 presynaptic neuron Anatomy 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010038933 Retinopathy of prematurity Diseases 0.000 description 1
- 101100285899 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SSE2 gene Proteins 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004980 dosimetry Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000007614 genetic variation Effects 0.000 description 1
- 230000009546 growth abnormality Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000000329 molecular dynamics simulation Methods 0.000 description 1
- 238000012900 molecular simulation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000036279 refractory period Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Graphics (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
하나 이상의 이미지를 재구성하기 위한 장치들, 시스템들, 및 기술들이 제시된다. 적어도 하나의 실시예에서, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체가 생성되게 된다.
Description
적어도 하나의 실시예는 인공 지능을 수행하고 용이하게 하기 위해 사용되는 처리 리소스들에 관한 것이다. 예를 들어, 적어도 하나의 실시예는 본 명세서에 설명되는 다양한 신규 기술들에 따라 신경망들을 훈련시키기 위해 사용되는 프로세서들 또는 컴퓨팅 시스템들에 관한 것이다.
이미지 및 비디오 콘텐츠는 점점 더 높은 해상도들로 그리고 더 높은 품질의 디스플레이들 상에 생성 및 디스플레이되고 있다. 더 높은 품질의 콘텐츠를 생성하는 접근법들은, 특히 현대의 프레임 레이트들에 대해, 종종 매우 리소스 집약적이며, 이는 제한된 리소스 용량이 있는 디바이스들에 대해 문제가 될 수 있다. 현재 및 이전 프레임 데이터를 시퀀스로 혼합하는 것은 프레임들 사이의 픽셀 데이터의 일부 시간적 평활화 및 누적을 제공하는 것에 의해 이러한 콘텐츠의 품질을 개선하는 것을 도울 수 있지만, 최적의 혼합 가중치들을 결정하는 것은 도전적이며, 부적절한 혼합 가중치들의 사용은 너무 노이즈가 많은 또는 고스팅 또는 시간적 불안정성과 같은 아티팩트들을 갖는 이미지들을 생산할 수 있다.
본 개시내용에 따른 다양한 실시예들이 도면들을 참조하여 설명될 것이다.
도 1a, 도 1b, 도 1c, 도 1d, 도 1e, 도 1f, 도 1g, 도 1h, 도 1i, 도 1j 및 도 1k는, 적어도 하나의 실시예에 따른, 이미지 생성 시스템에서 처리되거나 또는 생산될 수 있는 이미지 데이터를 예시한다.
도 2는, 적어도 하나의 실시예에 따른, 예시적인 시간적 업샘플링 파이프라인을 예시한다.
도 3a 및 도 3b는, 적어도 하나의 실시예에 따른, 이미지들에 대한 컬러 값들을 시퀀스로 혼합하기 위한 시스템들을 예시한다.
도 4a, 도 4b, 도 4c, 및 도 4d는, 적어도 하나의 실시예에 따른, 이미지를 시퀀스로 생성하기 위한 프로세스들을 예시한다.
도 5는, 적어도 하나의 실시예에 따른, 이미지 콘텐츠를 제공하기 위한 시스템의 컴포넌트들을 예시한다.
도 6a는, 적어도 하나의 실시예에 따른, 추론 및/또는 훈련 로직을 예시한다.
도 6b는, 적어도 하나의 실시예에 따른, 추론 및/또는 훈련 로직을 예시한다.
도 7은, 적어도 하나의 실시예에 따른, 예시적인 데이터 센터 시스템을 예시한다.
도 8은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 9는, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 10은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 11은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 12a는, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 12b는, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 12c는, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 12d는, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 12e 및 도 12f는, 적어도 하나의 실시예에 따른, 공유 프로그래밍 모델을 예시한다.
도 13은, 적어도 하나의 실시예에 따른, 예시적인 집적 회로들 및 연관된 그래픽 프로세서들을 예시한다.
도 14a 및 도 14b는, 적어도 하나의 실시예에 따른, 예시적인 집적 회로들 및 연관된 그래픽 프로세서들을 예시한다.
도 15a 및 도 15b는, 적어도 하나의 실시예에 따른, 추가적인 예시적인 그래픽 프로세서 로직을 예시한다.
도 16은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 17a는, 적어도 하나의 실시예에 따른, 병렬 프로세서를 예시한다.
도 17b는, 적어도 하나의 실시예에 따른, 파티션 유닛을 예시한다.
도 17c는, 적어도 하나의 실시예에 따른, 처리 클러스터를 예시한다.
도 17d는, 적어도 하나의 실시예에 따른, 그래픽 멀티프로세서를 예시한다.
도 18은, 적어도 하나의 실시예에 따른, 멀티-GPU(graphics processing unit) 시스템을 예시한다.
도 19는, 적어도 하나의 실시예에 따른, 그래픽 프로세서를 예시한다.
도 20은, 적어도 하나의 실시예에 따른, 프로세서의 마이크로-아키텍처를 예시한다.
도 21은, 적어도 하나의 실시예에 따른, 심층 학습 애플리케이션 프로세서를 예시한다.
도 22는, 적어도 하나의 실시예에 따른, 예시적인 뉴로모픽 프로세서를 예시한다.
도 23 및 도 24는, 적어도 하나의 실시예에 따른, 그래픽 프로세서의 적어도 일부를 예시한다.
도 25는, 적어도 하나의 실시예에 따른, 그래픽 프로세서 코어의 적어도 일부를 예시한다.
도 26a 및 도 26b는, 적어도 하나의 실시예에 따른, 그래픽 프로세서 코어의 적어도 일부를 예시한다.
도 27은, 적어도 하나의 실시예에 따른, "PPU"(parallel processing unit)를 예시한다.
도 28은, 적어도 하나의 실시예에 따른, "GPC"(general processing cluster)를 예시한다.
도 29는, 적어도 하나의 실시예에 따른, "PPU"(parallel processing unit)의 메모리 파티션 유닛을 예시한다.
도 30은, 적어도 하나의 실시예에 따른, 스트리밍 멀티-프로세서를 예시한다.
도 31은, 적어도 하나의 실시예에 따른, 진보된 컴퓨팅 파이프라인에 대한 예시적인 데이터 흐름도이다.
도 32는, 적어도 하나의 실시예에 따른, 진보된 컴퓨팅 파이프라인에서 머신 학습 모델을 훈련, 적응, 인스턴스화, 및 배치하기 위한 예시적인 시스템에 대한 시스템 도면이다.
도 33a는, 적어도 하나의 실시예에 따른, 머신 학습 모델을 훈련하는 프로세스에 대한 데이터 흐름도를 예시한다.
도 33b는, 적어도 하나의 실시예에 따른, 미리 훈련된 주석 모델들로 주석 툴들을 강화하는 클라이언트-서버 아키텍처의 예시적인 예시이다.
도 1a, 도 1b, 도 1c, 도 1d, 도 1e, 도 1f, 도 1g, 도 1h, 도 1i, 도 1j 및 도 1k는, 적어도 하나의 실시예에 따른, 이미지 생성 시스템에서 처리되거나 또는 생산될 수 있는 이미지 데이터를 예시한다.
도 2는, 적어도 하나의 실시예에 따른, 예시적인 시간적 업샘플링 파이프라인을 예시한다.
도 3a 및 도 3b는, 적어도 하나의 실시예에 따른, 이미지들에 대한 컬러 값들을 시퀀스로 혼합하기 위한 시스템들을 예시한다.
도 4a, 도 4b, 도 4c, 및 도 4d는, 적어도 하나의 실시예에 따른, 이미지를 시퀀스로 생성하기 위한 프로세스들을 예시한다.
도 5는, 적어도 하나의 실시예에 따른, 이미지 콘텐츠를 제공하기 위한 시스템의 컴포넌트들을 예시한다.
도 6a는, 적어도 하나의 실시예에 따른, 추론 및/또는 훈련 로직을 예시한다.
도 6b는, 적어도 하나의 실시예에 따른, 추론 및/또는 훈련 로직을 예시한다.
도 7은, 적어도 하나의 실시예에 따른, 예시적인 데이터 센터 시스템을 예시한다.
도 8은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 9는, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 10은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 11은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 12a는, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 12b는, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 12c는, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 12d는, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 12e 및 도 12f는, 적어도 하나의 실시예에 따른, 공유 프로그래밍 모델을 예시한다.
도 13은, 적어도 하나의 실시예에 따른, 예시적인 집적 회로들 및 연관된 그래픽 프로세서들을 예시한다.
도 14a 및 도 14b는, 적어도 하나의 실시예에 따른, 예시적인 집적 회로들 및 연관된 그래픽 프로세서들을 예시한다.
도 15a 및 도 15b는, 적어도 하나의 실시예에 따른, 추가적인 예시적인 그래픽 프로세서 로직을 예시한다.
도 16은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 17a는, 적어도 하나의 실시예에 따른, 병렬 프로세서를 예시한다.
도 17b는, 적어도 하나의 실시예에 따른, 파티션 유닛을 예시한다.
도 17c는, 적어도 하나의 실시예에 따른, 처리 클러스터를 예시한다.
도 17d는, 적어도 하나의 실시예에 따른, 그래픽 멀티프로세서를 예시한다.
도 18은, 적어도 하나의 실시예에 따른, 멀티-GPU(graphics processing unit) 시스템을 예시한다.
도 19는, 적어도 하나의 실시예에 따른, 그래픽 프로세서를 예시한다.
도 20은, 적어도 하나의 실시예에 따른, 프로세서의 마이크로-아키텍처를 예시한다.
도 21은, 적어도 하나의 실시예에 따른, 심층 학습 애플리케이션 프로세서를 예시한다.
도 22는, 적어도 하나의 실시예에 따른, 예시적인 뉴로모픽 프로세서를 예시한다.
도 23 및 도 24는, 적어도 하나의 실시예에 따른, 그래픽 프로세서의 적어도 일부를 예시한다.
도 25는, 적어도 하나의 실시예에 따른, 그래픽 프로세서 코어의 적어도 일부를 예시한다.
도 26a 및 도 26b는, 적어도 하나의 실시예에 따른, 그래픽 프로세서 코어의 적어도 일부를 예시한다.
도 27은, 적어도 하나의 실시예에 따른, "PPU"(parallel processing unit)를 예시한다.
도 28은, 적어도 하나의 실시예에 따른, "GPC"(general processing cluster)를 예시한다.
도 29는, 적어도 하나의 실시예에 따른, "PPU"(parallel processing unit)의 메모리 파티션 유닛을 예시한다.
도 30은, 적어도 하나의 실시예에 따른, 스트리밍 멀티-프로세서를 예시한다.
도 31은, 적어도 하나의 실시예에 따른, 진보된 컴퓨팅 파이프라인에 대한 예시적인 데이터 흐름도이다.
도 32는, 적어도 하나의 실시예에 따른, 진보된 컴퓨팅 파이프라인에서 머신 학습 모델을 훈련, 적응, 인스턴스화, 및 배치하기 위한 예시적인 시스템에 대한 시스템 도면이다.
도 33a는, 적어도 하나의 실시예에 따른, 머신 학습 모델을 훈련하는 프로세스에 대한 데이터 흐름도를 예시한다.
도 33b는, 적어도 하나의 실시예에 따른, 미리 훈련된 주석 모델들로 주석 툴들을 강화하는 클라이언트-서버 아키텍처의 예시적인 예시이다.
적어도 하나의 실시예에서, 시퀀스 또는 비디오 스트림에서의 이미지들 또는 비디오 프레임들과 같은, 하나 이상의 이미지의 해상도를 증가시키기 위해, 심층 학습-기반 슈퍼 샘플링 또는 슈퍼-해상도 프로세스와 같은, 업스케일링 프로세스가 사용될 수 있다. 적어도 하나의 실시예에서, 이러한 것은, 라이브 게임플레이의 장면과 같은, 장면에서의 하나 이상의 객체의 표현을 포함할 수 있다. 적어도 하나의 실시예에서, 렌더링 엔진은 하나 이상의 출력 해상도로 업스케일링될 하나 이상의 객체의 이미지를 제1 해상도로 출력할 수 있다. 적어도 하나의 실시예에서, 이미지에 대한 픽셀 데이터 외에도, 이러한 렌더링 엔진은 심도 및 모션 벡터 데이터를 포함할 수 있는 것과 같이, 추가적 정보를 마찬가지로 출력할 수 있다. 적어도 하나의 실시예에서, 저 해상도 입력 모션 벡터(102)가 도 1a의 이미지(100)에 예시된다. 적어도 하나의 실시예에서, 비디오 시퀀스 또는 스트림의 비디오 프레임들로서 역할을 할 수 있는, 이미지들 사이의 하나 이상의 객체의 모션을 시퀀스로 추적하는 것을 보조하기 위해 모션 벡터 데이터가 제공될 수 있다. 적어도 하나의 실시예에서, 이러한 모션 데이터는 시퀀스의 이미지들 사이의 이동 객체의 대응하는 포인트들을 결정함에 있어서 유용할 수 있어서, 매끄러운 애니메이션을 제공하고 플리커링, 노이즈, 또는 다른 이러한 이미지 아티팩트들의 존재를 감소시키기 위해 이러한 포인트들에 대한 컬러 값들이 혼합될 수 있다.
적어도 하나의 실시예에서, 이러한 입력 모션 벡터(102)는, 도 1b의 이미지(110)에 예시되는 바와 같이, 해당 모션 벡터의 더 높은 해상도 표현(112)을 생성하기 위해, 본 명세서에서 나중에 더 상세히 논의되는 것들과 같은 접근법들을 사용하여, 처리될 수 있다. 적어도 하나의 실시예에서, 이러한 것은, 예를 들어, 서브-픽셀 샘플링을 획득하고 더 낮은 해상도 이미지 렌더링으로 인한 데이터 손실을 회피하려고 시도하기 위해 일정 양의 픽셀 지터(114)를 적용하는 것을 포함할 수 있다. 적어도 하나의 실시예에서, 이러한 저 해상도 입력 버퍼에서의 데이터는 또한 업샘플링, 시프트, 및 확장될 수 있다. 적어도 하나의 실시예에서, 이러한 것은, 도 1c의 이미지(120)에 예시되는 바와 같이, 모든 이미지들 또는 비디오 프레임들에 대해 교정되는 이러한 모션 벡터 데이터의 표현(122)을 초래할 수 있다. 적어도 하나의 실시예에서, 표현(122)은 단순히 도 1a에서의 모션 벡터 데이터(102)를 업스케일링하는 경우보다 훨씬 더 미세한 상세사항을 포함한다는 것을 알 수 있다.
적어도 하나의 실시예에서, 이러한 고 해상도 표현(122)은 고 해상도 모션 벡터에 저장될 수 있다. 적어도 하나의 실시예에서, 이러한 고 해상도 표현(122)에 대한 데이터는 대안적으로 저 해상도 모션 벡터에 다시 저장될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 지터를 고려하지 않고 그리드를 따라 샘플링하는 것에 의해 순수하게 수행될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 저장될 데이터의 품질에서의 감소를 초래할 수 있다. 적어도 하나의 실시예에서, 고 해상도 표현에서 가시적인 일부 특징들은 불완전한 샘플링에, 적어도 부분적으로, 기인하여 소거된다. 적어도 하나의 실시예에서, 고 해상도 표현(132)의 리샘플링이 도 1d의 이미지(130)에 예시되는 바와 같이 수행될 수 있으며, 이는 도 1e의 이미지(140)에 예시되는 바와 같이, 고 해상도 표현(122)에 대해 일부 특징들 또는 미세한 상세사항을 잃은, 더 낮은 해상도 표현(142)을 초래할 수 있다. 적어도 하나의 실시예에서, 지터 또는 다른 처리를 고려하지 않는 다른 저 해상도 표현이 도 1f의 이미지(150)에 예시되며, 이는 도 1g에 예시되는 더 높은 해상도 표현(160)에 존재하는 미세한 상세사항을 잃은 것으로 보여질 수 있다. 적어도 하나의 실시예에서, 인터-프레임 모션 벡터 버퍼를 선천적으로 리샘플링하는 것에 의해 이미지(150)에서의 더 낮은 해상도의 표현이 생산되었다.
적어도 하나의 실시예에서, 접근법은 대신에 각각의 이미지 또는 프레임에 대해 사용되는 원래의 지터 데이터와 정렬되는 그리드를 사용하여 리샘플링을 수행할 수 있다. 적어도 하나의 실시예에서, 이러한 것은 특징들, 적어도 관심 또는 중요성의 특징들이 이러한 프로세스 동안 사라지지 않도록 보장하는 것을 도울 수 있다. 적어도 하나의 실시예에서, 표현(172)에 대한 저 해상도 버퍼가, 도 1h의 이미지(170)에 예시되는 바와 같이, 원래의 양의 지터(176)만큼 시프트되는 그리드(174)를 사용하여 리샘플링될 수 있다. 적어도 하나의 실시예에서, 이러한 것은, 도 1i의 이미지(180)에 예시되는 바와 같이, 렌더링 엔진으로부터의 원래의 데이터의 더 정확한 표현인 더 낮은 해상도 표현(180)을 초래할 수 있다. 적어도 하나의 실시예에서, 도 1j의 이미지(160)는, 도 1k에 예시되는 바와 같은 기저 고 해상도 데이터의 표현(195)과 비교될 수 있는, 모션 벡터 버퍼의 지터링된 그리드 리샘플링으로부터 초래하는 표현을 예시한다. 적어도 하나의 실시예에서, 리샘플링할 때 지터를 고려하지 않은, 도 1f의 표현(150)에서보다 훨씬 더 미세한 상세사항이 보유된 것을 알 수 있다.
적어도 하나의 실시예에서, 텍셀들의 원래의 입력 버퍼 양은 고 해상도 디스플레이 버퍼의 1/4 또는 1/9만큼 작을 수 있다. 적어도 하나의 실시예에서, 업샘플링 또는 슈퍼-해상도 시스템은, 적어도 부분적으로, 고 해상도 디스플레이 버퍼의 크기의, 1/4 또는 1/9와 같은, 분수로 인터 프레임 버퍼를 저장하는 것에 의해 이러한 것을 이용할 수 있다. 적어도 하나의 실시예에서, 이러한 것은, GPU(graphics processing unit)로부터 비디오 카드 메모리로 이러한 인터 프레임 버퍼를 판독 및 기입하기 위한 것과 같이, 비디오 카드 메모리 풋프린트 또는 대역폭 사용에서의 현저한 이득을 초래할 수 있다. 적어도 하나의 실시예에서, 이러한 것은 단독으로 대역폭 사용에서의 이러한 감소로 인해 전체 슈퍼샘플링 알고리즘의 총 실행 시간의 추정된 10% 내지 15% 이득을 초래했다.
적어도 하나의 실시예에서, 대규모 멀티스레드 방식으로, GPU와 같은, 프로세서 상에서 전처리 프로그램이 실행될 수 있다. 적어도 하나의 실시예에서, 이러한 전처리 프로그램은 후속 신경망에 대한 입력들을 생성할 수 있으며, 이는 업샘플링, 지터, 및 확장을 고려하기 위해 처리될 수 있고, 다음으로 주어진 프레임에 대한 입력 모션 벡터 데이터로서 재사용을 위해 저장될 수 있다. 적어도 하나의 실시예에서, 주어진 프레임 N 상의 모션 벡터를 프로그램이 핸들링할 수 있다. 적어도 하나의 실시예에서, 각각의 스레드는 디스플레이 해상도로 단일의 출력 픽셀(out x , out y )에 1:1 방식으로 매핑될 수 있다. 적어도 하나의 실시예에서, 지터 오프셋 뿐만 아니라 이러한 출력 픽셀에 스케일링 비율이 적용될 수 있다. 적어도 하나의 실시예에서, 이러한 더 낮은 해상도 입력들에서 가장 가까운 텍셀이 다음으로 식별될 수 있다. 적어도 하나의 실시예에서, 각각의 이웃 텍셀에 대해, 가상 카메라에 가장 가까운 심도 텍셀이 식별될 수 있다. 적어도 하나의 실시예에서, 가장 가까운 심도 텍셀에서 이러한 모션 벡터 데이터를 샘플링하고 모든 이웃하는 스레드들에 대한 값들을 비교하는 것에 의해 적어도 부분적으로 최상의 모션 벡터 후보가 식별될 수 있다. 적어도 하나의 실시예에서, 현재 스레드가 이러한 이웃에서의 가장 가까운 텍셀에 가장 가까운 값을 가지면, 더 낮은 해상도 인터 프레임 버퍼에 최상의 모션 벡터 후보가 다음으로 저장될 수 있다. 적어도 하나의 실시예에서, 이러한 프레임 N에 적용된 지터 오프셋 및 스케일링 비율이 기억될 수 있고, 해당 값은 프레임 N+1에 대해 다시 전처리 프로그램에 전달될 수 있다.
적어도 하나의 실시예에서, 프레임 N+1에 대해, 디스플레이 해상도로 단일의 출력 픽셀(out x , out y )에 1:1 방식으로 하나의 스레드를 매핑하는 것에 의해 저장 인터 프레임 모션 벡터 버퍼 데이터가 핸들링될 수 있다. 적어도 하나의 실시예에서, 프레임 N에 대해 설명되는 것과 유사한 접근법을 사용하여, 이러한 스레드에 대해 최상의 모션 벡터 후보가 식별될 수 있다. 적어도 하나의 실시예에서, 이러한 단일의 출력 픽셀 위치에 최상의 모션 벡터 후보를 적용하는 것에 의해 워핑된 좌표 값이 획득될 수 있다. 적어도 하나의 실시예에서, 이러한 워핑된 좌표 값에 스케일링 비율 및 지터 오프셋이 다음으로 적용될 수 있다. 적어도 하나의 실시예에서, 저 해상도 인터 프레임 버퍼에 가장 가까운 텍셀이 위치될 수 있고, 해당 가장 가까운 텍셀 위치에서 샘플링이 수행될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 프레임 N에 대해 최상의 후보 모션 벡터를 제공하며, 이는 후속 신경망에 대한 입력으로서 제공될 수 있는 차이에 대해 프레임 N+1에 대한 후보와 함께 사용될 수 있다.
적어도 하나의 실시예에서, 전처리 프로그램에서 프레임 N 및 프레임 N+1에 대해 상이한 스케일링 비율이 사용될 수 있다는 점이 주목되어야 한다. 적어도 하나의 실시예에서, 이러한 것은, 동적 스케일 해상도를 지원하는 것과 같은 변형에서와 같이, 입력 해상도가 프레임에서 프레임으로 변하는 것을 허용하는 슈퍼샘플링 알고리즘으로 인한 것일 수 있다. 적어도 하나의 실시예에서, 프레임 N의 입력 해상도로 프레임 N에 인터 프레임 버퍼가 저장되지만, 상이한 입력 해상도를 가질 수 있는 프레임 N+1에서 다시 판독된다. 적어도 하나의 실시예에서, 이러한 로직은 이러한 변형을 설명한다.
적어도 하나의 실시예에서, 다른 접근법은, CTA 작업부하 유닛과 같은, 스레드들의 주어진 블록 또는 그룹에 대해 고속으로 이용가능한 공유 메모리 스토리지에 데이터를 저장하는, GPU 프로그램과 같은, 프로그램의 능력을 이용할 수 있다. 적어도 하나의 실시예에서, 이러한 프로세스는, 스레드들의 블록이 출력 픽셀들의 블록에 1:1 방식으로 매핑될 수 있는 것과 같이, 위에 제시된 프로세스와 약간 상이할 수 있다. 적어도 하나의 실시예에서, 스레드들의 현재 블록이 터치할 모든 저 해상도 입력 텍셀들의 풋프린트가 계산될 수 있다. 적어도 하나의 실시예에서, 해당 데이터를 공유 메모리 스토리지의 버퍼에 저장하기 전에 샘플링 및 모션 벡터 확장이 수행될 수 있다. 적어도 하나의 실시예에서, 이러한 풋프린트에 적어도 부분적으로 기초하여 결정되는 적절한 텍셀들에서 인터 프레임 버퍼에 스레드들의 이러한 블록에 대한 확장된 모션 벡터들이 또한 저장될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 스레드들의 블록에 대해 효율적으로 수행될 수 있다. 적어도 하나의 실시예에서, 디스플레이 해상도로 단일의 출력 픽셀에 1:1 방식으로 각각의 스레드가 다음으로 매핑될 수 있다. 적어도 하나의 실시예에서, 스케일링 및 지터 오프셋이 적용될 수 있고, 가장 가까운 텍셀이 이러한 더 낮은 해상도 입력들에 위치될 수 있다. 적어도 하나의 실시예에서, 입력 버퍼로부터가 아니라 대신에 공유 메모리 스토리지로부터 최상의 모션 벡터 후보 값이 다음으로 판독될 수 있다. 적어도 하나의 실시예에서, 구현의 용이성, 코드 유지보수와 같은 결정 인자들에 적어도 부분적으로 기초할 수 있는 바와 같이, 본 명세서에 제시되는 바와 같이 스레드 또는 스레드 블록-기반 접근법이 구현될 수 있고, 이러한 다른 접근법에 대해 하나의 버전에서의 이득들이 더 양호하게 유지될 수 있다. 적어도 하나의 실시예에서, 연속적인 이미지들 또는 프레임들 사이에 저장될 필요가 있거나, 또는 이러한 것으로부터 혜택을 제공할 수 있는 다른 입력 버퍼들에 이러한 접근법이 또한 적용될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 컬러 정보 또는 심도 정보에 관한 값들을 포함할 수 있다. 적어도 하나의 실시예에서, 동일한 전처리 셰이더에서 저 해상도 입력 버퍼를 사용하여 컬러 또는 심도 정보가 또한 판독될 수 있다. 적어도 하나의 실시예에서, 이러한 접근법은 출력 이미지의 이미지 품질을 희생하지 않는 효율적인 방식으로 더 낮은 해상도 버퍼에 데이터가 저장되는 것을 가능하게 한다.
적어도 하나의 실시예에서, 이러한 접근법은, 심층 학습-기반 슈퍼 샘플링 또는 슈퍼 해상도 시스템과 같은, 시간적 업샘플링 시스템에서 유리하게 사용될 수 있다. 적어도 하나의 실시예에서, 하나의 이러한 시스템(200)의 컴포넌트들이 도 2에 예시된다. 적어도 하나의 실시예에서, 렌더러(202), 렌더링 엔진, 또는 이러한 시스템의 다른 이러한 콘텐츠 생성기를 사용하여 비디오 게임 콘텐츠 또는 애니메이션과 같은 콘텐츠가 생성될 수 있다. 적어도 하나의 실시예에서, 렌더러(202)는 시퀀스의 하나 이상의 프레임에 대한 입력을 수신할 수 있고, 해당 입력에 적어도 부분적으로 기초하여 수정되는 저장된 콘텐츠(204)(예를 들어, 맵들 및 그래픽 자산들)를 사용하여 비디오의 이미지들 또는 프레임들을 생성할 수 있다. 적어도 하나의 실시예에서, 이러한 렌더러(202)는, 연기된 셰이딩, 글로벌 조명, 비추어진 반투명, 후처리, 및 벡터 필드들을 사용하는 GPU(graphics processing unit) 입자 시뮬레이션과 같은 기능성을 제공할 수 있는, Epic Games, Inc.로부터의 Unreal Engine 4와 같은 렌더링 소프트웨어를 이용할 수 있는 것과 같이, 렌더링 파이프라인의 일부일 수 있다. 적어도 하나의 실시예에서, 완전, 고-해상도 이미지들의 이러한 복잡한 렌더링에 필요한 처리의 양은, 적어도 60 fps(frames per second)와 같은, 현재 프레임 레이트들을 충족시키기 위해 이러한 비디오 프레임들을 렌더링하는 것을 어렵게 할 수 있다. 적어도 하나의 실시예에서, 타이밍 요건들을 충족시키고 처리 리소스 요건들을 감소시키기 위해서와 같이, 하나 이상의 최종 출력 해상도보다 낮은 해상도로 렌더링된 이미지(206)를 생성하기 위해 렌더러(202)가 대신 사용될 수 있다. 적어도 하나의 실시예에서, 이러한 저-해상도 렌더링된 이미지(206)는 타겟 출력 해상도와 동일한(또는 적어도 이에 더 가까운) 해상도로 저 해상도 렌더링된 이미지(206)의 콘텐츠를 표현하는 업스케일링된 이미지(210)를 생성하기 위해 업스케일러(208)를 사용하여 처리될 수 있다.
적어도 하나의 실시예에서, 비디오 또는 애니메이션 시퀀스의 개별 프레임들을 업스케일링하기 위해 (서비스, 시스템, 모듈, 또는 디바이스의 형태를 취할 수 있는) 업스케일러 시스템(208)이 사용될 수 있다. 적어도 하나의 실시예에서, 수행될 업스케일링의 양은, 1080p로부터 4k 해상도로 가는 것과 같은, 렌더링된 이미지의 초기 해상도 및 디스플레이의 타겟 해상도에 의존할 수 있다. 적어도 하나의 실시예에서, 안티-에일리어싱(anti-aliasing) 및 시간적 평활화(temporal smoothing)를 포함할 수 있는 바와 같이, 업샘플링 프로세스의 일부로서 추가적인 처리가 수행될 수 있다. 적어도 하나의 실시예에서, 이방성 Gaussian 필터 또는 DFN(dynamic filter network)과 같은, 필터를 수반할 수 있는 것과 같이, 적절한 재구성 필터가 이용될 수 있다. 적어도 하나의 실시예에서, 업샘플링 프로세스는 프레임-당 기초로 적용될 수 있는 서브-픽셀 지터를 고려할 수 있다.
적어도 하나의 실시예에서, 시퀀스의 이러한 업샘플링된, 비디오 프레임들을 추론하기 위해 심층 학습이 사용될 수 있다. 적어도 하나의 실시예에서, 조합된 방식으로 안티-에일리어싱 및 슈퍼 해상도를 제공하기 위해 시간적 재구성이 사용될 수 있다. 적어도 하나의 실시예에서, 더 높은 품질의 업샘플링된 이미지를 추론하기 위해 대응하는 비디오 프레임들의 시퀀스로부터의 정보가 사용될 수 있다. 적어도 하나의 실시예에서, 데이터로부터의 학습을 요구하지 않는 렌더링 파이프라인의 사전 지식에 기초하는 하나 이상의 휴리스틱이 사용될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 업샘플링된 해상도로 샘플들을 지터-인식 업샘플링하는 것 및 누적하는 것을 포함할 수 있다. 적어도 하나의 실시예에서, 이러한 지터 오프셋 데이터는, 현재 입력 비디오 프레임 및 이전 추론 프레임과 함께, 업샘플링 알고리즘 단독에 의해 생산되는 것보다 더 높은 품질의 업샘플링된 이미지(210)를 추론하기 위해 적어도 하나의 신경망을 포함하는 업스케일러(208)에 대한 입력으로서 제공될 수 있다. 적어도 하나의 실시예에서, 이러한 업샘플링은 지터 오프셋들(222) 및 프레임-당 샘플들이 더 높은 해상도로 있을 수 있는 이력 버퍼와 정렬되도록 이들을 본질적으로 시프트시킨다.
적어도 하나의 실시예에서, 이러한 업스케일링된 이미지(210)는 하나 이상의 혼합 인자 또는 혼합 가중치를 결정하기 위해 신경망(212)에 입력으로서 제공될 수 있다. 적어도 하나의 실시예에서, 신경망(212)은 이러한 업스케일링된 이미지(210)와 함께 신경망(212)으로 워핑되는 그리고 제공되는 이러한 시퀀스에서의 이전 고 해상도 이미지를 입력으로서 또한 수신한다. 적어도 하나의 실시예에서, 실제 렌더링된 해상도보다 여러 (예를 들어, 2 내지 9)배 더 높은 해상도로 실시간 렌더링을 위한 이미지들을 재구성하기 위해 심층 학습이 사용된다. 적어도 하나의 실시예에서, 이러한 프로세스로부터의 재구성된 이미지 품질은, 적어도 상세사항들, 시간적 안정성, 및 고스팅 또는 래그와 같은 일반적인 아티팩트들의 결여의 관점에서, 네이티브 해상도 렌더링에 필적하거나 또는 심지어 이를 초과한다. 적어도 하나의 실시예에서, 이러한 신경망은 현재 이미지를 재구성하거나 또는 이전 이미지와 혼합할 때 적용될 적어도 일부 필터링을 또한 결정할 수 있다. 적어도 하나의 실시예에서, 다음으로 이러한 정보는 이러한 업스케일링된 이미지(210)와 함께 이러한 시퀀스의 적어도 하나의 이전 이미지와 혼합될 혼합 컴포넌트(214)에 제공될 수 있다. 적어도 하나의 실시예에서, 마찬가지로 이러한 혼합 컴포넌트(214)에 입력으로서 지터 오프셋 데이터(222)가 제공될 수 있다. 적어도 하나의 실시예에서, 시퀀스의 현재 이미지와 이전(또는 이력) 이미지의 이러한 혼합은, 디스플레이(220) 또는 다른 이러한 프리젠테이션 메커니즘을 통한 프리젠테이션을 위해 다음으로 제공될 수 있는, 좋고, 선명한, 고-해상도 출력 이미지(216)로의 시간적 수렴을 도울 수 있다. 적어도 하나의 실시예에서, 이러한 고 해상도 출력 이미지(216)의 사본은, 이러한 시퀀스에서 후속하여 생성된 이미지와 혼합하기 위해, 이력 버퍼(218), 또는 다른 이러한 스토리지 위치에 또한 저장될 수 있다. 적어도 하나의 실시예에서, 이러한 프로세스는, 상세사항들, 시간적 안정성, 및 고스팅(ghosting) 또는 래그(lag)와 같은 일반 아티팩트들의 결여의 관점에서, 네이티브 해상도 렌더링에 적어도 필적하는 재구성된 이미지 품질로, 실제 렌더링된 해상도보다 높은 배수(예를 들어, 2x, 4X, 또는 8x)인 해상도로 실시간 렌더링을 위한 이미지들을 재구성하기 위해 심층 학습을 활용할 수 있다. 적어도 하나의 실시예에서, 재구성 속도는 텐서 코어들로 가속될 수 있고, 본 명세서에 제시되는 접근법을 사용하면 이러한 렌더링 프로세스를 훨씬 더 샘플 효율적이게 하여, 다양한 애플리케이션들에 대해 엄청나게 증가된 초 당 프레임들로 이어진다.
적어도 하나의 실시예에서, 이러한 시스템에서의 버퍼링된 정보의 사용은 도 3a에 예시되는 것들과 같은 컴포넌트들(300)을 수반할 수 있다. 적어도 하나의 실시예에서, 컬러 버퍼(302), 모션 벡터 버퍼(304), 및 심도 버퍼(306)를 포함하는, 3개의 주 입력 소스들이 이용된다. 적어도 하나의 실시예에서, 하나 이상의 컴퓨팅 디바이스 상의 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로세스를 수반할 수 있는 것과 같은, 프리-프로세서(308)가, 렌더링 엔진 또는 애플리케이션에 의해 생산되는 것과 같은 현재 프레임에 대한 컬러 정보 뿐만 아니라, 하나 이상의 디바이스의 하나 이상의 프로세서를 실행하는 애플리케이션 또는 워핑 함수와 같은, 워퍼(310)의 출력을 입력으로서 수신할 수 있다. 적어도 하나의 실시예에서, 이러한 워퍼(310)는 모션 벡터 버퍼(304)에 저장되는 현재 프레임에 대한 모션 벡터 정보 뿐만 아니라, 심도 버퍼(306)에 저장되는 것과 같은, 현재 프레임에 대한 심도 정보를 입력으로서 수신한다. 적어도 하나의 실시예에서, 워퍼(310)는 애플리케이션 또는 렌더러로부터 직접 이러한 데이터를 수신할 수 있고 전용 버퍼들을 이용하지 않을 수 있다. 적어도 하나의 실시예에서, 이러한 시간적 프로세스는, 이력 버퍼(314)에 저장되는 것과 같이, 워퍼(310)에 대한 입력으로서 이전 이미지로부터의 고 해상도 컬러 데이터를 시퀀스로 또한 제공할 것이다. 적어도 하나의 실시예에서, 이전에 언급된 바와 같이, 후속 이미지 또는 프레임을 시퀀스로 생성함에 있어서 사용하기 위해 이력 버퍼(314)에 각각의 최종 출력 이미지에 대한 정보가 또한 저장될 수 있다. 적어도 하나의 실시예에서, 워퍼(310)는 이전 이미지의 구체적인 특징들에 대한 픽셀 데이터 또는 컬러 데이터를 현재 이미지 프레임에서의 대응하는 픽셀 위치들에 대해 워핑하기 위해 이러한 모션 벡터 및 심도 데이터를 이용할 수 있고, 이러한 2개의 이미지들에서의 특징들의 대응하는 픽셀 위치들을 매핑하기 위해 이러한 모션 벡터들을 효과적으로 사용하여, 유사한 특징들에 대한 컬러 값들이 비교되고 혼합될 수 있다. 적어도 하나의 실시예에서, 프리-프로세서(308)는 컬러 버퍼(302)로부터의 현재 컬러 데이터 또는 워퍼(310)로부터의 워핑된 이전 컬러 데이터에 대해 임의의 관련 처리를 수행할 수 있다. 적어도 하나의 실시예에서, 임의의 전처리 후의 이러한 데이터는, 생성될 이미지에서의 각각의 픽셀 위치에 대한 픽셀 특정 가중치들을 결정하기 위해 이러한 데이터를 분석할 수 있는, 신경망, 또는 다른 DL(deep learning)-기반 생성기(312)에 입력으로서 제공된다. 적어도 하나의 실시예에서, 이러한 생성된 데이터는, 최종 고 해상도 컬러 이미지(318)를 출력할 수 있는, 하나 이상의 컴퓨팅 디바이스의 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로세스를 포함할 수 있는, 포스트-프로세서(316)로 간다. 적어도 하나의 실시예에서, 이러한 포스트-프로세서는 후속 이미지를 현재 시퀀스로 생성함에 있어서 사용하기 위해 고 해상도 컬러 및 이력 버퍼(314)에 저장될 정보를 또한 출력할 수 있다.
적어도 하나의 실시예에서, 이러한 접근법을 사용하는 프레임의 생성은, 저 해상도 지터링된 입력 이미지 및 연관된 지터 값들, 개별 입력 이미지 픽셀들 당 저 해상도 역방향 모션 벡터들, 및, 노출 값 및 심도 버퍼와 같은, 다른 양들을 재구성 알고리즘에 제공하는 애플리케이션을 수반할 수 있다. 적어도 하나의 실시예에서, 이러한 저 해상도 입력 (역방향) 모션 벡터들은 현재 시간 단계에서 지오메트리와 정렬하도록 이전 프레임 출력 이미지를 워핑하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 이러한 저 해상도 현재 프레임 이미지는 업샘플링 알고리즘을 사용하여 출력 이미지(318)의 해상도로 업샘플링된다. 적어도 하나의 실시예에서, (출력 해상도로) 각각의 출력 픽셀에 대한 가중 값 w를 추론하기 위해 신경망(312)이 사용된다. 적어도 하나의 실시예에서, 현재 프레임에 대한 고 해상도 출력 이미지가 다음과 같이 생성될 수 있다:
적어도 하나의 실시예에서, 그리고 이러한 타입의 시간적 이미지 재구성 알고리즘에서, 결과적인 IQ(image quality)에서의 중요한 인자는 위의 가중 인자 w로 인한 것일 수 있다. 적어도 하나의 실시예에서, w는, 적어도, 출력 이미지에서의 영역이 렌더링된 장면에서의 객체들의 모션으로 인해 폐색되지 않는 경우, 이러한 가중 인자가 현재 입력 이미지를 선호하거나, 또는 w=1.0인 경우와 같이, 현재 이미지로부터 더 심하게 컬러 값들을 가중하는 것을 포함하는, 다양한 기준들에 적응해야 한다. 적어도 하나의 실시예에서, 출력 이미지에서의 영역이 이전 프레임에서 가시적인(및 유사하게 셰이딩되는) 경우, 최적의 가중 인자는 이러한 이전 출력 이미지와 현재 입력 이미지 사이의 적합한 혼합을 초래할 수 있다. 적어도 하나의 실시예에서, 더 많은 프레임들이 이러한 영역을 가시적이게 하였기 때문에, w의 값이 0에 접근하는 경우와 같이, 이러한 혼합은 이력 데이터를 더 선호할 수 있다.
적어도 하나의 실시예에서, 네트워크는 이러한 예측된 가중을 현재 프레임 입력 이미지 및 워핑된 이전 프레임 출력 이미지에, 적어도 부분적으로, 기초로 할 수 있다. 적어도 하나의 실시예에서, 업샘플링된 현재 이미지가 워핑된 이전 프레임 출력 이미지와 상당히 상이한 값들을 갖고, 따라서 디스플레이될 때 매우 상이하게 나타날 때마다, 신경망은 높은 값의 가중 인자 w를 예측할 수 있어, 업샘플링된 현재 프레임 입력 이미지에 더 큰 중요성을 부여한다. 적어도 하나의 실시예에서, 현재 이미지가 워핑된 이전 프레임 출력 이미지와 유사한 값들을 갖고, 따라서 디스플레이될 때 매우 유사하게 나타날 때, 신경망은 낮은 값의 가중 인자 w를 예측할 수 있어, 워핑된 이전 프레임 출력 이미지에 더 큰 중요성을 부여한다.
적어도 하나의 실시예에서, 모션 벡터 차이 정보가, 본 명세서에 논의되는 바와 같이, 추가적 모달리티 또는 입력으로서 사용될 수 있다. 적어도 하나의 실시예에서, 모션 버퍼(320)와 같은, 추가적인 버퍼가 이러한 시스템(300)에서 입력의 다른 소스로서 사용될 수 있다. 적어도 하나의 실시예에서, 본 명세서에서 이력 모션 버퍼라고 또한 지칭되는 이러한 모션 버퍼(320)는, 프레임들에 걸쳐 지속될 수 있는 새로운 또는 추가적 모션 벡터 데이터를 저장할 수 있다. 적어도 하나의 실시예에서, 모션 벡터 버퍼(304)로부터의 현재 모션 벡터들은, 후속 프레임에 대해 사용될, 변환 프로세스에 대응할 수 있는 것과 같은, 하나 이상의 형태로 저장될 수 있다. 적어도 하나의 실시예에서, 이러한 모션 벡터 정보는 워퍼(310)로의 추가적 입력으로서 제공될 수 있다. 적어도 하나의 실시예에서, 워퍼(310)의 워핑 함수는 이제 버퍼(314)로부터의 고 해상도 컬러 이력 데이터를 워핑할 수 있을 뿐만 아니라, 모션 버퍼(320)로부터의 이러한 이전 모션 벡터 데이터를 또한 워핑할 수도 있다. 적어도 하나의 실시예에서, 시간적 계산기(322)가, 위 관련 방정식과 관련하여 설명된 바와 같이, 계산을 수행할 수 있으며, 여기서 워퍼(310)로부터의 워핑된 모션 벡터 데이터는 차이 또는 차이 영역을 결정하기 위해 모션 벡터 버퍼(304)로부터의 현재 모션 벡터 데이터와 함께 처리된다. 적어도 하나의 실시예에서, 이러한 계산은 차이, 다음으로 놈을 결정하는 것, 및 이전에 논의된 바와 같은 관련 함수를 적용하는 것을 수반할 수 있다. 적어도 하나의 실시예에서, 이러한 시간적 계산은 다음으로 프리-프로세서(308)에 대한 추가 입력으로서 제공될 수 있고, 이는 다음으로 본 명세서에 논의되는 바와 같이 더 정확한 픽셀-특정 가중치를 결정함에 있어서 사용하기 위해 생성기(312)에 전달될 수 있으며, 이는 이러한 DL-기반 네트워크가 더 높은 품질 결과들을 생산하는 것을 가능하게 한다.
적어도 하나의 실시예에서, 모션 벡터 버퍼(304)로부터의 모션 벡터 데이터가 모션 버퍼(320)에 저장되기 전에, 위에 논의된 바와 같이, 입력 모션 벡터 데이터의 일부 양의 처리가 수행될 수 있다. 적어도 하나의 실시예에서, 모션 전처리 모듈은 모션 벡터 버퍼(304)로부터 현재 프레임에 대한 입력 모션 벡터 데이터를 판독할 수 있다. 적어도 하나의 실시예에서, 이러한 모션 전처리 모듈(324)은, 현재 이미지에 대한 컬러 데이터를 샘플링할 때 렌더링 엔진에 의해 이용될 수 있는 것과 같이, 지터 오프셋 데이터를 이용할 수 있다. 적어도 하나의 실시예에서, 이러한 지터 오프셋 데이터는 이러한 모션 벡터 데이터에 대한 시프트로서 적용될 수 있으며, 이는 이러한 현재 프레임에 대한 뷰를 교정할 수 있다. 적어도 하나의 실시예에서, 적어도 하나의 출력 해상도, 또는 중간 해상도로의 이러한 지터링된 모션 벡터 데이터의 업샘플링을 수행하기 위해서 뿐만 아니라, 이러한 모션 데이터의 확장을 수행하기 위해, 위에 논의된 바와 같이 추가적 전처리가 수행될 수 있다. 적어도 하나의 실시예에서, 적어도 일부 레벨의 미세한 상세사항을 포함할 수 있는, 이러한 고화질 모션 벡터 데이터는, 그 해상도가 원래의 렌더링된 해상도 또는 중간 해상도로 다시 감소되고, 후속 이미지를 시간적으로 업샘플링함에 있어서 사용하기 위해 비디오 메모리 및/또는 모션 버퍼(320)에 다시 기입되게 할 수 있다. 적어도 하나의 실시예에서, 이러한 저 해상도 버퍼에 저장되는 데이터가 이러한 원래의 저 해상도 입력과 정렬되도록 이러한 데이터에 모션 전처리 모듈(324)이 반전 지터 오프셋을 또한 적용할 수 있다. 적어도 하나의 실시예에서, 이러한 프로세스는 이러한 모션 벡터 데이터가 품질 및 상세사항 손실의 문제들 없이 이러한 더 낮은 해상도로 저장되는 것을 가능하게 한다. 적어도 하나의 실시예에서, 렌더링될 다음 이미지 또는 프레임에 대해, 이전 프레임으로부터의 지터 오프셋이 기억되었고, 이러한 저장된 인터-프레임 버퍼는 다시 판독될 수 있지만, 이러한 이전 프레임 지터 오프셋은 다시 업샘플링되기 전에 재적용된다.
적어도 하나의 실시예에서, 도 3b의 시스템(350)에 예시되는 바와 같이, 이러한 더 낮은 해상도 모션 벡터 데이터가 모션 버퍼(320)에 저장된 후에 이러한 모션 전처리가 또한 수행될 수 있다. 적어도 하나의 실시예에서, 해당 공유 메모리 버퍼에서 확장이 수행되는 것을 가능하게 하기 위해 실행의 스레드들 사이에 공유 메모리 버퍼가 이용될 수 있다. 적어도 하나의 실시예에서, 입력 모션 벡터 버퍼(304)에서의 데이터와 동일한, 더 낮은 해상도로 모션 벡터 데이터가 다음으로 저장될 수 있다. 적어도 하나의 실시예에서, 이러한 더 낮은 해상도의 모션 벡터 데이터는, 업샘플링 및 지터를 먼저 수행하지 않고, 이러한 공유 메모리 버퍼로부터 비디오 메모리에 바로 전송될 수 있다. 적어도 하나의 실시예에서, 이러한 예에서의 모션 전처리 모듈(352)은, 해당 데이터가 이러한 더 낮은 해상도로 저장된, 모션 벡터(320)로부터 이러한 모션 벡터 데이터를 풀링한 후에 이러한 모션 벡터 데이터의 지터 오프셋-기반 시프팅 및 업샘플링을 수행한다. 적어도 하나의 실시예에서, 이러한 처리는, 이러한 시스템에서 이러한 저 해상도 모션 벡터 데이터가 모션 버퍼(320)에 저장된 후에 지터 오프셋들 및 업샘플링의 적용이 수행되고 그 전에는 수행되지 않는다는 점을 제외하고는, 도 3b의 시스템(330)에 대해서 뿐만 아니라, 위에 설명된 처리와 유사하다.
적어도 하나의 실시예에서, 이미지를 생성하기 위한 프로세스(400)가 도 4a에 예시되는 바와 같이 이용될 수 있다. 적어도 하나의 실시예에서, 렌더링 엔진 또는 애플리케이션으로부터 수신되는 이미지 데이터와 같은, 현재 이미지에 대한 데이터가 시퀀스로 수신될 수 있다(402). 적어도 하나의 실시예에서, 이러한 이미지 데이터는, 다른 이러한 옵션들 중에서도, 픽셀-당 컬러 데이터, 모션 벡터 데이터, 및 심도 데이터와 같은 데이터를 포함할 수 있다. 적어도 하나의 실시예에서, 이러한 시퀀스에서의 이전 프레임으로부터의 컬러 데이터가, 이력 컬러 버퍼로부터와 같이, 획득될 수 있다(404). 적어도 하나의 실시예에서, 새로운 카메라 또는 객체 위치들에 기초할 수 있는 것과 같이, 현재 프레임에서의 관련 픽셀 위치들에 대응하기 위해 이러한 현재 모션 벡터들을 사용하여 이러한 이전 컬러 데이터가 워핑될 수 있다(406). 적어도 하나의 실시예에서, 이러한 시퀀스에서의 적어도 바로 이전 프레임으로부터의 모션 벡터 데이터가, 모션 버퍼로부터와 같이, 또한 획득될 수 있다(408). 적어도 하나의 실시예에서, 이러한 현재 모션 벡터들을 사용하여 현재 프레임에서의 관련 위치들에 대응하도록 이러한 이전 모션 벡터들이 워핑될 수 있다(410). 적어도 하나의 실시예에서, 본 명세서에 논의되는 바와 같은 차이 함수를 사용하는 것에 의해서와 같이, 이러한 워핑된 이전 모션 벡터들과 현재 모션 벡터들 사이의 차이 척도가 계산될 수 있다(412). 적어도 하나의 실시예에서, 적어도 이러한 현재 컬러 데이터, 워핑된 컬러 데이터, 및 모션 벡터 차이 데이터는 신경망 또는 심층-학습 기반 생성기에 대한 입력으로서 제공될 수 있다(414). 적어도 하나의 실시예에서, 픽셀-당 가중치들이 다음으로 이러한 신경망으로부터 수신될 수 있고(416), 여기서 이러한 신경망은 이러한 모션 벡터 차이 데이터를 사용하여 이러한 가중치들을 추론한다. 적어도 하나의 실시예에서, 이러한 것은 이미지 아티팩트들의 확률을 갖는 모션 벡터 차이 영역들에 대응하는 것으로 결정되는 픽셀 위치들에 대한 현재 컬러 값과 이전 컬러 값 사이의 조절된 가중치들을 생성하는 것을 포함할 수 있다. 적어도 하나의 실시예에서, 부분적으로, 이러한 픽셀-당 가중치들을 사용하여 개별 픽셀들에 대한 현재의 및 워핑된 이전 컬러 값들을 혼합하는 것에 의해 출력 이미지가 생성될 수 있다(418). 적어도 하나의 실시예에서, 이러한 출력 이미지는 이러한 이미지 또는 비디오 시퀀스의 일부로서 프리젠테이션을 위해 제공될 수 있다(420). 적어도 하나의 실시예에서, 이러한 출력 이미지 및 이러한 현재 모션 벡터들에 대한 컬러 데이터가 또한 각각의 버퍼들에 저장되도록(422) 야기될 수 있어서, 다음 이미지에 대한 픽셀-당 가중치들을 이러한 시퀀스로 결정하기 위해 이러한 데이터가 사용될 수 있다.
적어도 하나의 실시예에서, 본 명세서에 제시되는 바와 같은 출력 해상도보다 낮은 초기 해상도로 이러한 프로세스에 대한 이력 모션 벡터 데이터가 저장될 수 있다. 적어도 하나의 실시예에서, 이러한 프로세스(430)는 도 4b에 예시되는 바와 같이 이용되어 수행될 수 있다. 적어도 하나의 실시예에서, 현재 이미지에 대한 데이터가 시퀀스로 수신될 수 있으며(432), 여기서 해당 데이터는 컬러, 모션 벡터, 및 심도 데이터를 포함할 수 있다. 적어도 하나의 실시예에서, 현재 모션 버퍼로부터의 모션 벡터 데이터가 획득되고 결정된 지터 오프셋이 적용될 수 있으며(434), 이러한 지터 오프셋은 컬러 샘플링을 위해 이러한 지터 오프셋을 사용한 렌더링 엔진으로부터 획득될 수 있다. 적어도 하나의 실시예에서, 미세한 상세사항을 포함하는 고 해상도 모션 벡터 데이터를 획득하기 위해 이러한 지터링된 모션 벡터 데이터의 업샘플링 및 확장이 수행될 수 있다(436). 적어도 하나의 실시예에서, 이러한 모션 벡터 데이터의 해상도가 다음으로 감소될 수 있고(438), 해당 이러한 모션 벡터 데이터에, 적용되는 반전 지터 오프셋이 이러한 이미지에 대한 더 낮은 해상도 컬러 데이터와 정렬된다. 적어도 하나의 실시예에서, 이러한 모션 벡터 데이터는 모션 벡터 데이터 버퍼에 이력 모션 벡터 데이터로서 저장될 수 있다(440). 적어도 하나의 실시예에서, 시간적으로 업샘플링될 다음 이미지에 대한 데이터가 수신될 수 있고(442), 이러한 이력 모션 벡터 데이터는 이러한 다음 이미지를 시간적으로 업샘플링함에 있어서 이용될 수 있다(444).
적어도 하나의 실시예에서, 모션 벡터 데이터에 지터 오프셋을 또한 적용하지만, 초기 해상도, 또는 적어도 하나의 출력 해상도보다 낮은 해상도로 저장한 후에 그렇게 하는 프로세스(450)가 도 4c에 예시되는 바와 같이 수행될 수 있다. 적어도 하나의 실시예에서, 현재 이미지에 대한 데이터가 시퀀스로 수신될 수 있으며(452), 여기서 해당 데이터는 컬러, 모션 벡터, 및 심도 데이터를 포함할 수 있다. 적어도 하나의 실시예에서, 이러한 모션 벡터 데이터는 이력 모션 데이터 버퍼에 저장될 수 있다(454). 적어도 하나의 실시예에서, 시간적으로 업샘플링될 다음 이미지에 대한 데이터가 수신될 수 있다(456). 적어도 하나의 실시예에서, 현재 모션 버퍼로부터의 모션 벡터 데이터가 획득되고 결정된 지터 오프셋이 적용될 수 있으며(458), 이러한 지터 오프셋은 컬러 샘플링을 위해 이러한 지터 오프셋을 사용한 렌더링 엔진으로부터 획득될 수 있다. 적어도 하나의 실시예에서, 미세한 상세사항을 포함하는 고 해상도 모션 벡터 데이터를 획득하기 위해 이러한 지터링된 모션 벡터 데이터의 업샘플링 및 확장이 수행될 수 있다(460). 적어도 하나의 실시예에서, 이러한 고 해상도 이력 모션 벡터 데이터는, 미세한 상세사항과 함께, 이러한 다음 이미지를 시간적으로 업샘플링함에 있어서 이용될 수 있다(462).
적어도 하나의 실시예에서, 도 4d에 예시되는 바와 같이 이미지를 생성하기 위한 프로세스(470)가 수행될 수 있다. 적어도 하나의 실시예에서, 2개 이상의 이미지들에서 표현되는 하나 이상의 객체가 시퀀스로 식별된다(472). 적어도 하나의 실시예에서, 2개 이상의 이미지들 사이에서 이러한 하나 이상의 객체의 모션이 결정될 수 있다(474). 적어도 하나의 실시예에서, 이러한 결정된 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이러한 하나 이상의 객체의 하나 이상의 표현을 포함하는 이미지가 생성될 수 있다(476).
적어도 하나의 실시예에서, 혼합 가중치들을 결정하는데 필요한 리소스들의 양은 모든 이용가능한 컬러 채널들보다 적은 것을 이용하는 것에 의해 감소될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 그 색차와 별개인 이미지에서의 밝기를 나타내는 루마 채널만을 단지 이용하는 것을 포함할 수 있다. 적어도 하나의 실시예에서, 전체 RGB(red-green-blue) 또는 다른 컬러 값들을 사용하는 대신에 루마 채널과 같은 단일의 채널이 또한 사용될 수 있다. 적어도 하나의 실시예에서, 현재 프레임 및 이전의 재구성된 프레임 양자 모두, 또는 이력 프레임에 대해 루마 정보가 결정될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 6개 채널들의 정보(RGB 현재 및 RGB 이전)로부터 2개 채널들(루마 현재 및 루마 이전)로 진행하는, 처리될 정보의 상당한 감소를 제공할 수 있다. 적어도 하나의 실시예에서, 이러한 현재 프레임 및 이전 프레임(및 이용된다면 분산 마스크)에 대한 단지 루마 정보만이 이러한 신경망에 대한 입력으로서 제공된다. 적어도 하나의 실시예에서, 이러한 신경망이 컬러 값들을 추론하지 않고, 컬러 값들 또는 픽셀 값들에 적용될 필터들을 추론하기 때문에, 정보의 단일의 채널이 이용될 수 있다. 적어도 하나의 실시예에서, 이러한 네트워크는 이전 픽셀 데이터가 현재 프레임을 재구성함에 있어서 재사용될 수 있는 정도를 효과적으로 결정하고, 이러한 목적을 달성하기에는 현재 및 이전 프레임들 양자 모두에 대한 컬러 데이터의 단일의 채널이 충분하다. 적어도 하나의 실시예에서, 인간의 눈이 컬러에서의 변형들보다는 루마(또는 밝기에서의 변형들)에 더 민감하기 때문에 루마가 이용된다. 적어도 하나의 실시예에서, 이러한 접근법의 차원수를 감소시키는 것은 일반화를 증가시키는 것을 또한 돕는다. 적어도 하나의 실시예에서, 언급된 바와 같이, 단지 루마 값들만을 사용하여 분산 마스크가 또한 생성될 수 있으며, 여기서 이력 프레임으로부터의 픽셀들의 루마 값들은 현재 프레임의 대응하는 루마 평균 및 표준 편차 값들과 비교된다.
적어도 하나의 실시예에서, 혼합 전에 적어도 현재 프레임에 하나 이상의 컬러 필터가 적용될 수 있다. 적어도 하나의 실시예에서, 제1 해상도로 렌더링되는 이미지를, 타겟 출력 해상도와 같은, 더 높은 해상도의 이미지로 업샘플링하기 위해 도 2와 관련하여 논의되는 바와 같이 업샘플링 프로세스가 이용될 수 있다. 적어도 하나의 실시예에서, 이러한 업샘플링은 어느 정도 블록형인 또는 들쭉날쭉한 이미지를 초래할 수 있고, 이는 부분적으로 안티-에일리어싱 프로세스를 통해 대처될 수 있다. 적어도 하나의 실시예에서, 이러한 업샘플링된 이미지에서 이러한 들쭉날쭉한 엣지를 평활화하기 위해 컬러 필터를 먼저 적용하는 것에 의해 혼합이 개선될 수 있다. 적어도 하나의 실시예에서, 이러한 필터링을 이러한 업샘플링된 이미지에 적용하는 것은 이러한 이미지의 유효 해상도를 증가시키는 것에 도움을 줄 수 있다. 적어도 하나의 실시예에서, Gaussian 필터와 같은 필터가 적용될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 파라미터화된, 이방성 Gaussian 필터일 수 있다. 적어도 하나의 실시예에서, 큰 비율(예를 들어, 9x) 업샘플링 프로세스는, 동일한 컬러 값을 공유하는 3개의 픽셀 x 3개의 픽셀 블록들이 일반적으로 존재할 것이기 때문에, 비교적 들쭉날쭉한 또는 저 해상도-출현 이미지를 초래할 수 있다. 적어도 하나의 실시예에서, 이러한 블록화는 이러한 컬러들을 평활화하기 위해 필터를 적용하는 것에 의해 크게 감소될 수 있다. 적어도 하나의 실시예에서, 상당히 더 많은 픽셀 데이터를 생성하는 것은, 5x5 필터에 대한 네트워크의 출력 레이어에서의 25개 채널들과 같이, 네트워크의 출력 레이어에서의 상당히 더 많은 출력 채널들에 대한 필요성을 초래할 수 있다. 적어도 하나의 실시예에서, 매우 높은 해상도들에 대해, 이러한 추가적인 데이터는 이러한 네트워크로 하여금 매우 느리게 실행되게 할 수 있다. 적어도 하나의 실시예에서, 이러한 필터에 대한 모든 25개의 숫자들을 명시적으로 예측하는 대신에, 파라미터화된 모델이 해당 필터에 대해 예측될 수 있다. 적어도 하나의 실시예에서, 이러한 것은, 이러한 25개의 관련 픽셀들에 적용될 수 있는, 이러한 파라미터화된 모델에 대한 단지 작은 세트(예를 들어, 3개)의 수들만을 추론하는 것을 포함할 수 있다. 적어도 하나의 실시예에서, 이러한 3개의 수들은 이러한 3개의 수들을 이방성 Gaussian 커널, 또는 다른 파라미터화된 동적 필터 커널의 파라미터들로서 해석하는 것에 의해 25개의 수들로 나중에 인스턴스화될 수 있다. 적어도 하나의 실시예에서, 이러한 접근법은 신경망들 또는 머신 학습을 이용하지 않는 알고리즘들과 함께 사용될 수 있다.
적어도 하나의 실시예에서, 이러한 프로세스에서 이용되는 처리, 메모리, 및 다른 리소스들을 추가로 감소시키는 것이 바람직할 수 있다. 적어도 하나의 실시예에서, 이러한 신경망을 더 낮은 해상도로 동작시키기 위해 신경망에 제공되는 이미지들 및 입력이 먼저 다운샘플링될 수 있다. 적어도 하나의 실시예에서, 이러한 신경망은, 개별 픽셀 컬러 값들이 아니라, 이미지의 위치들에 적용될 필터들 또는 혼합 가중치들을 결정하기 때문에, 높은 이미지 재구성 품질을 유지하면서, 리소스 요건들 및 레이턴시를 감소시키기 위해 더 낮은 해상도로 이러한 네트워크를 실행하는 것이 가능하다. 적어도 하나의 실시예에서, 이러한 것은 적어도 현재 이미지 및 이전 재구성된 이미지를 절반 해상도, 또는 다른 감소된 해상도로 다운샘플링하는 것을 포함할 수 있다. 적어도 하나의 실시예에서, 이러한 신경망은 완전 해상도 또는 감소된 해상도로 훈련될 수 있지만, 추론 시간에서는 감소된 해상도로 실행될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 이러한 신경망이 동작하는 해상도로부터 디스플레이된 해상도를 분리하는 역할을 할 수 있다. 적어도 하나의 실시예에서, 정규 박스 필터로 2x2 다운샘플링을 수반할 수 있는 것과 같이, 다운샘플링 필터가 적용될 수 있지만, 다른 필터들 및 비율들도 마찬가지로 이용될 수 있다. 적어도 하나의 실시예에서, 이러한 더 낮은 해상도로 결정되는 혼합 가중치들은, 타겟 출력 해상도로 이미지를 재구성하기 위해, 더 높은 해상도 이미지, 또는 이미지들의 세트에 적용될 수 있다. 적어도 하나의 실시예에서, 혼합 및 필터링을 적용하기 전에 이러한 신경망의 출력이 업샘플링될 수 있다. 적어도 하나의 실시예에서, 혼합 가중치 출력이 매끄러울 것이며, 따라서 해상도에서의 차이들은 이러한 혼합 가중치들을 적용할 때 품질에 현저히 영향을 미치지 않을 것이다.
적어도 하나의 실시예에서, 이전에 언급된 바와 같이 서브-픽셀 지터 오프셋들이 결정되고 이용될 수 있다. 적어도 하나의 실시예에서, 시퀀스의 개별 프레임들을 업스케일링하기 위해 도 2와 관련하여 설명되는 것과 같은 업샘플링 시스템이 사용될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 업샘플링된 해상도로 샘플들을 지터-인식 업샘플링하는 것 및 누적하는 것을 포함할 수 있다. 적어도 하나의 실시예에서, 이러한 이전 프로세스 데이터는, 현재 입력 프레임 및 이전 추론된 프레임과 함께, 업샘플링된 출력 이미지를 추론하기 위해 적어도 하나의 신경망을 포함하는 업샘플러 시스템에 대한 입력으로서 제공될 수 있다. 적어도 하나의 실시예에서, 더 낮은 해상도 렌더링된 이미지의 각각의 개별 픽셀에 대해 업샘플링 프로세스가 수행될 수 있다. 적어도 하나의 실시예에서, 업스케일링 프로세스는 해당 픽셀로부터의 컬러 정보가 크기가 더 큰 업스케일링된 이미지에서의 대응하는 픽셀 영역에 적용되는 것을 초래할 수 있다. 적어도 하나의 실시예에서, 이러한 업스케일링된 이미지에서의 이러한 픽셀은 다수의 개별 픽셀들로 세그먼트화(또는 매핑)될 수 있다. 적어도 하나의 실시예에서, 업샘플링은 4x 업샘플링일 수 있으며, 여기서 입력 이미지의 각각의 픽셀은 4개의 더 높은 해상도 픽셀들로 세그먼트화된다.
적어도 하나의 실시예에서, 중심 픽셀 위치를 갖는 픽셀에 대해 컬러가 결정될 것이다. 적어도 하나의 실시예에서, 렌더링될 더 낮은 해상도 이미지는 다음으로 이러한 중심 픽셀 위치에 중심을 두는 이러한 픽셀에 대해 보고되는 단일의 컬러 값을 가질 것이다. 그러나, 적어도 하나의 실시예에서, 시퀀스에서의 프레임들 또는 이미지들 사이에서 지터링이 수행될 수 있으며, 컬러 결정의 중심 포인트는 이러한 픽셀에서의 다른 포인트로 약간 시프트된다. 적어도 하나의 실시예에서, 이러한 것은 서브-픽셀 오프셋만큼 픽셀 중심으로부터 오프셋되는 샘플 포인트에 대응할 수 있다. 적어도 하나의 실시예에서, 주어진 픽셀에 대한 컬러 정보를 결정하기 위해 픽셀 분석 영역(예를 들어, 3x3 픽셀 분석 영역)이 여전히 사용될 수 있지만, 이러한 3x3 픽셀 분석의 위치는 해당 픽셀 분석 영역을 중심으로 하기 위해 사용되는 지터 위치에 기초하여 약간 시프트할 것이다. 적어도 하나의 실시예에서, 이러한 지터 위치들은, 랜덤하게 또는 결정된 패턴 또는 시퀀스에 따라, 시퀀스의 프레임들 사이에서 변할 수 있다. 적어도 하나의 실시예에서, 이러한 픽셀에 대해 결정되는 컬러 데이터는 크로마, RGB(red-green-blue) 컬러 값들, 또는 광도(luminosity)(예를 들어, 루마) 값들과 같은 데이터를 포함할 수 있으며, 이들은 픽셀의 최종 컬러 값이 아니라 오히려 그 밝기를 나타내고, 최종 픽셀 값을 생성하기 위해 루마는 통상적으로 크로마 컬러 값들과 조합된다.
적어도 하나의 실시예에서, 시퀀스의 이미지를 생성하기 위한 프로세스가 수행될 수 있으며, 이미지(또는 비디오 프레임)는 제1 해상도로 렌더링된다. 적어도 하나의 실시예에서, 이러한 이미지는, 비디오, 게임, VR(virtual reality), AR(augmented reality), 또는 다른 이러한 애플리케이션들 또는 콘텐츠의 타입들과 관련될 수 있는, 임의의 적절한 콘텐츠의 타입의 일부일 수 있다. 적어도 하나의 실시예에서, 이러한 해상도는 렌더링 엔진에 네이티브인 또는 원하는 성능을 제공하는 것일 수 있다. 적어도 하나의 실시예에서, 이러한 렌더링된 이미지는 지터-인식 업샘플링을 사용하여 제2, 더 높은 해상도로 업샘플링될 수 있고, 여기서, 이러한 시퀀스에서의 하나 이상의 이전 이미지에 대한 이전 오프셋과는 상이할 수 있는 이러한 이미지에 대한 결정된 서브-픽셀 오프셋이 결정된다. 적어도 하나의 실시예에서, 이러한 업샘플링된 이미지는 이러한 업스케일링된 이미지를 이전 이미지와 혼합하기 위해 사용될 하나 이상의 혼합 가중치를 결정하기 위해 신경망에 제공될 수 있다.
적어도 하나의 실시예에서, 클라이언트 디바이스(502)는, 도 5에 예시되는 바와 같이 클라이언트 디바이스(502) 상의 콘텐츠 애플리케이션(504)의 컴포넌트들 및 해당 클라이언트 디바이스에 로컬로 저장되는 데이터를 사용하여, 게임 세션 또는 비디오 시청 세션과 같은, 세션에 대한 이러한 콘텐츠를 생성할 수 있다. 적어도 하나의 실시예에서, 콘텐츠 서버(520) 상에서 실행되는 콘텐츠 애플리케이션(524)(예를 들어, 게임 또는 스트리밍 미디어 애플리케이션)은, 사용자 데이터베이스(534)에 저장되는 사용자 데이터 및 세션 관리기를 이용할 수 있는 바와 같이, 적어도 클라이언트 디바이스(502)와 연관된 세션을 착수할 수 있고, 콘텐츠(532)로 하여금 콘텐츠 관리기(526)에 의해 결정되고 렌더링 엔진(528)을 사용하여 렌더링되게 할 수 있고, 이러한 타입의 콘텐츠 또는 플랫폼에 대해 필요하다면, 다운로드, 스트리밍, 또는 다른 이러한 송신 채널에 의해 전송하기 위해 적절한 송신 관리기(522)를 사용하여 클라이언트 디바이스(502)에 송신되게 할 수 있다. 적어도 하나의 실시예에서, 이러한 콘텐츠를 수신하는 클라이언트 디바이스(502)는, 디스플레이(506)를 통한 비디오 콘텐츠와 같은, 클라이언트 디바이스(502)를 통한 프리젠테이션 및, 스피커들 또는 헤드폰들과 같은, 적어도 하나의 오디오 재생 디바이스(508)를 통한, 사운드들 및 음악과 같은, 오디오를 위해 이러한 콘텐츠의 적어도 일부를 렌더링하기 위한 렌더링 엔진(510)을 또한 또는 대안적으로 포함할 수 있는, 대응하는 콘텐츠 애플리케이션(504)에 이러한 콘텐츠를 제공할 수 있다. 적어도 하나의 실시예에서, 이러한 콘텐츠의 적어도 일부는 이미 클라이언트 디바이스(502) 상에 저장되거나, 그 상에 렌더링되거나, 또는 이에 액세스가능할 수 있어, 해당 콘텐츠가 하드 드라이브 또는 광학 디스크 상에 로컬로 저장되거나 또는 이전에 다운로드된 경우와 같이, 네트워크(540)를 통한 송신이 콘텐츠의 적어도 해당 부분에 대해 요구되지 않는다. 적어도 하나의 실시예에서, 데이터 스트리밍과 같은 송신 메커니즘은 이러한 콘텐츠를 서버(520) 또는 콘텐츠 데이터베이스(534)로부터 클라이언트 디바이스(502)로 전송하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 이러한 콘텐츠의 적어도 일부는, 콘텐츠를 생성하거나 또는 제공하기 위한 콘텐츠 애플리케이션(552)을 또한 포함할 수 있는 제3자 콘텐츠 서비스(550)와 같은, 다른 소스로부터 획득되거나 또는 스트리밍될 수 있다. 적어도 하나의 실시예에서, 이러한 기능성의 부분들은, CPU들 및 GPU들의 조합을 포함할 수 있는 것과 같이, 다수의 컴퓨팅 디바이스들, 또는 하나 이상의 컴퓨팅 디바이스 내의 다수의 프로세서들을 사용하여 수행될 수 있다.
적어도 하나의 실시예에서, 콘텐츠 애플리케이션(524)은 콘텐츠가 클라이언트 디바이스(502)에 송신되기 전에 이러한 콘텐츠를 결정하거나 또는 분석할 수 있는 콘텐츠 관리기(526)를 포함한다. 적어도 하나의 실시예에서, 콘텐츠 관리기(526)는 제공될 콘텐츠를 생성, 수정, 또는 강화할 수 있는 다른 컴포넌트들을 또한 포함하거나, 또는 이들과 함께 작동할 수 있다. 적어도 하나의 실시예에서, 이러한 것은, 에일리어싱된 콘텐츠와 같은, 콘텐츠를 제1 해상도로 렌더링하기 위한 렌더링 엔진(528)을 포함할 수 있다. 적어도 하나의 실시예에서, 업샘플링 또는 스케일링 컴포넌트(530)는, 더 높은 또는 더 낮은, 상이한 해상도로 이러한 이미지의 적어도 하나의 추가적 버전을 생성할 수 있고, 안티-에일리어싱과 같은 적어도 일부 처리를 수행할 수 있다. 적어도 하나의 실시예에서, 혼합 컴포넌트(532)는, 적어도 하나의 신경망을 포함할 수 있는 바와 같이, 본 명세서에 논의되는 바와 같이, 하나 이상의 이전 이미지에 관하여 이러한 이미지들 중 하나 이상에 대한 혼합을 수행할 수 있다. 적어도 하나의 실시예에서, 다음으로 콘텐츠 관리기(526)는 클라이언트 디바이스(502)에 전송할 적절한 해상도의 이미지 또는 비디오 프레임을 선택할 수 있다. 적어도 하나의 실시예에서, 클라이언트 디바이스(502) 상의 콘텐츠 애플리케이션(504)은 렌더링 엔진(510), 업샘플링 모듈(512), 및 혼합 모듈(514)과 같은 컴포넌트들을 또한 포함할 수 있어서, 이러한 기능성 중 임의의 것 또는 전부가 추가적으로 또는 대안적으로 클라이언트 디바이스(502) 상에서 수행될 수 있다. 적어도 하나의 실시예에서, 제3자 콘텐츠 서비스 시스템(550) 상의 콘텐츠 애플리케이션(552)은 이러한 기능성을 또한 포함할 수 있다. 적어도 하나의 실시예에서, 이러한 기능성의 적어도 일부가 수행되는 위치들은 구성가능할 수 있거나, 또는 다른 이러한 인자들 중에서, 클라이언트 디바이스(502)의 타입 또는 적절한 대역폭이 있는 네트워크 접속의 이용가능성과 같은 인자들에 의존할 수 있다. 적어도 하나의 실시예에서, 업샘플링 모듈(530) 또는 혼합 모듈(532)은 이러한 기능성을 수행하거나 또는 보조하기 위한 하나 이상의 신경망을 포함할 수 있고, 여기서, 이러한 신경망들(또는 적어도 이러한 네트워크에 대한 네트워크 파라미터들)은 콘텐츠 서버(520) 또는 제3자 시스템(550)에 의해 제공될 수 있다. 적어도 하나의 실시예에서, 콘텐츠 생성을 위한 시스템은 하나 이상의 위치에 하드웨어와 소프트웨어의 임의의 적절한 조합을 포함할 수 있다. 적어도 하나의 실시예에서, 하나 이상의 해상도의 생성된 이미지 또는 비디오 콘텐츠는 또한, 해당 이미지 또는 비디오 콘텐츠의 사본을 저장하는 미디어 소스로부터의 다운로드 또는 스트리밍을 위해서와 같이, 다른 클라이언트 디바이스들(560)에 제공되거나, 또는 이들에게 이용가능하게 될 수 있다. 적어도 하나의 실시예에서, 이러한 것은 멀티플레이어 게임에 대한 게임 콘텐츠의 이미지들을 송신하는 것을 포함할 수 있으며, 여기서 상이한 클라이언트 디바이스들은 하나 이상의 슈퍼-해상도를 포함하는 상이한 해상도들로 해당 콘텐츠를 디스플레이할 수 있다.
추론 및 훈련 로직
도 6a는 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산들을 수행하기 위해 사용되는 추론 및/또는 훈련 로직(615)을 예시한다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다.
적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 하나 이상의 실시예의 양태에서 추론을 위해 훈련 및/또는 사용되는 신경망의 뉴런들 또는 레이어들을 구성하기 위해 순방향 및/또는 출력 가중치 및/또는 입력/출력 데이터, 및/또는 다른 파라미터들을 저장하는 코드 및/또는 데이터 스토리지(601)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 훈련 로직(615)은, 정수 및/또는 부동 소수점 유닛들(집합적으로, ALU들(arithmetic logic units))을 포함하는 로직을 구성하기 위해 가중치 및/또는 다른 파라미터 정보가 로딩될 타이밍 및/또는 순서를 제어하는 그래프 코드 또는 다른 소프트웨어를 저장하는 코드 및/또는 데이터 스토리지(601)를 포함하거나, 또는 이에 연결될 수 있다. 적어도 하나의 실시예에서, 그래프 코드와 같은 코드는 이러한 코드가 대응하는 신경망의 아키텍처에 기초하여 프로세서 ALU들에 가중치 또는 다른 파라미터 정보를 로딩한다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601)는 하나 이상의 실시예의 양태를 사용하여 훈련 및/또는 추론 동안 입력/출력 데이터 및/또는 가중치 파라미터들의 순방향 전파 동안 하나 이상의 실시예와 함께 훈련되는 또는 사용되는 신경망의 각각의 레이어의 가중치 파라미터들 및/또는 입력/출력 데이터를 저장한다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601)의 임의의 부분은, 프로세서의 L1, L2, 또는 L3 캐시 또는 시스템 메모리를 포함하는, 다른 온-칩 또는 오프-칩 데이터 스토리지와 함께 포함될 수 있다.
적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601)의 임의의 부분은 하나 이상의 프로세서 또는 다른 하드웨어 로직 디바이스들 또는 회로들의 내부에 또는 외부에 있을 수 있다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601)는 캐시 메모리, "DRAM"(dynamic randomly addressable memory), "SRAM"(static randomly addressable memory), 비-휘발성 메모리(예를 들어, Flash 메모리), 또는 다른 스토리지일 수 있다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601)가, 예를 들어, 프로세서의 내부에 또는 외부에 있는지, 또는 DRAM, SRAM, Flash 또는 일부 다른 스토리지 타입으로 구성되는지의 선택은, 이용가능한 스토리지 온-칩 대 오프-칩, 수행되는 훈련 및/또는 추론 기능들의 레이턴시 요건들, 신경망의 추론 및/또는 훈련에 사용되는 데이터의 일괄 크기, 또는 이러한 인자들의 일부 조합에 의존할 수 있다.
적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 하나 이상의 실시예의 양태에서 추론을 위해 훈련 및/또는 사용되는 신경망의 뉴런들 또는 레이어들에 대응하는 역방향 및/또는 출력 가중치 및/또는 입력/출력 데이터를 저장하는 코드 및/또는 데이터 스토리지(605)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(605)는 하나 이상의 실시예의 양태를 사용하여 훈련 및/또는 추론 동안 입력/출력 데이터 및/또는 가중치 파라미터들의 역방향 전파 동안 하나 이상의 실시예와 함께 훈련되는 또는 사용되는 신경망의 각각의 레이어의 가중치 파라미터들 및/또는 입력/출력 데이터를 저장한다. 적어도 하나의 실시예에서, 훈련 로직(615)은, 정수 및/또는 부동 소수점 유닛들(집합적으로, ALU들(arithmetic logic units))을 포함하는 로직을 구성하기 위해 가중치 및/또는 다른 파라미터 정보가 로딩될 타이밍 및/또는 순서를 제어하는 그래프 코드 또는 다른 소프트웨어를 저장하는 코드 및/또는 데이터 스토리지(605)를 포함하거나, 또는 이에 연결될 수 있다. 적어도 하나의 실시예에서, 그래프 코드와 같은 코드는 이러한 코드가 대응하는 신경망의 아키텍처에 기초하여 프로세서 ALU들에 가중치 또는 다른 파라미터 정보를 로딩한다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(605)의 임의의 부분은, 프로세서의 L1, L2, 또는 L3 캐시 또는 시스템 메모리를 포함하는, 다른 온-칩 또는 오프-칩 데이터 스토리지와 함께 포함될 수 있다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(605)의 임의의 부분은 하나 이상의 프로세서 또는 다른 하드웨어 로직 디바이스들 또는 회로들의 내부에 또는 외부에 있을 수 있다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(605)는 캐시 메모리, DRAM, SRAM, 비-휘발성 메모리(예를 들어, Flash 메모리), 또는 다른 스토리지일 수 있다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(605)가, 예를 들어, 프로세서의 내부에 또는 외부에 있는지, 또는 DRAM, SRAM, Flash 또는 일부 다른 스토리지 타입으로 구성되는지의 선택은, 이용가능한 스토리지 온-칩 대 오프-칩, 수행되는 훈련 및/또는 추론 기능들의 레이턴시 요건들, 신경망의 추론 및/또는 훈련에 사용되는 데이터의 일괄 크기, 또는 이러한 인자들의 일부 조합에 의존할 수 있다.
적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601) 및 코드 및/또는 데이터 스토리지(605)는 별개의 스토리지 구조들일 수 있다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601) 및 코드 및/또는 데이터 스토리지(605)는 동일한 스토리지 구조일 수 있다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601) 및 코드 및/또는 데이터 스토리지(605)는 부분적으로 동일한 스토리지 구조 및 부분적으로 별개의 스토리지 구조들일 수 있다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601) 및 코드 및/또는 데이터 스토리지(605)의 임의의 부분은, 프로세서의 L1, L2, 또는 L3 캐시 또는 시스템 메모리를 포함하는, 다른 온-칩 또는 오프-칩 데이터 스토리지와 함께 포함될 수 있다.
적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 훈련 및/또는 추론 코드(예를 들어, 그래프 코드)에, 적어도 부분적으로, 기초하는, 또는 이에 의해 표시되는, 논리 및/또는 수학적 연산들을 수행하는, 정수 및/또는 부동 소수점 유닛들을 포함하는, 하나 이상의 "ALU(들)"(arithmetic logic unit(s))(610)을, 제한 없이, 포함할 수 있으며, 그 결과는 코드 및/또는 데이터 스토리지(601) 및/또는 코드 및/또는 데이터 스토리지(605)에 저장되는 입력/출력 및/또는 가중치 파라미터 데이터의 함수들인 활성화 스토리지(620)에 저장되는 활성화들(예를 들어, 신경망 내의 레이어들 또는 뉴런들로부터의 출력 값들)을 생산할 수 있다. 적어도 하나의 실시예에서, 활성화 스토리지(620)에 저장되는 활성화들은 명령어들 또는 다른 코드를 수행하는 것에 응답하여 ALU(들)(610)에 의해 수행되는 선형 대수 및/또는 행렬-기반 수학에 따라 생성되고, 여기서 코드 및/또는 데이터 스토리지(605) 및/또는 코드 및/또는 데이터 스토리지(601)에 저장되는 가중치 값들은, 바이어스 값들, 그래디언트 정보, 모멘텀 값들, 또는 다른 파라미터들 또는 하이퍼파라미터들과 같은, 다른 값들과 함께 피연산자들로서 사용되며, 이들 중 임의의 것 또는 전부는 코드 및/또는 데이터 스토리지(605) 또는 코드 및/또는 데이터 스토리지(601) 또는 다른 스토리지 온 또는 오프-칩에 저장될 수 있다.
적어도 하나의 실시예에서, ALU(들)(610)는 하나 이상의 프로세서 또는 다른 하드웨어 로직 디바이스들 또는 회로들 내에 포함되는 반면, 다른 실시예에서, ALU(들)(610)는 프로세서 또는 이들을 사용하는 다른 하드웨어 로직 디바이스 또는 회로(예를 들어, 코프로세서) 외부에 있을 수 있다. 적어도 하나의 실시예에서, ALU들(610)은 프로세서의 실행 유닛들 내에 또는 그렇지 않으면 동일한 프로세서 내의 또는 상이한 타입들의 상이한 프로세서들(예를 들어, 중앙 처리 유닛들, 그래픽 처리 유닛들, 고정 기능 유닛들 등) 사이에 분산되는 프로세서의 실행 유닛들에 의해 액세스가능한 ALU들의 뱅크 내에 포함될 수 있다. 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601), 코드 및/또는 데이터 스토리지(605), 및 활성화 스토리지(620)는 동일한 프로세서 또는 다른 하드웨어 로직 디바이스 또는 회로 상에 있을 수 있는 반면, 다른 실시예에서, 이들은 상이한 프로세서들 또는 다른 하드웨어 로직 디바이스들 또는 회로들, 또는 동일한 및 상이한 프로세서들 또는 다른 하드웨어 로직 디바이스들 또는 회로들의 일부 조합에 있을 수 있다. 적어도 하나의 실시예에서, 활성화 스토리지(620)의 임의의 부분은 프로세서의 L1, L2, 또는 L3 캐시 또는 시스템 메모리를 포함하는 다른 온-칩 또는 오프-칩 데이터 스토리지에 포함될 수 있다. 또한, 추론 및/또는 훈련 코드는 프로세서 또는 다른 하드웨어 로직 또는 회로에 액세스가능한 다른 코드와 함께 저장될 수 있고, 프로세서의 인출, 디코딩, 스케줄링, 실행, 리타이어먼트 및/또는 다른 논리 회로들을 사용하여 인출 및/또는 처리될 수 있다.
적어도 하나의 실시예에서, 활성화 스토리지(620)는 캐시 메모리, DRAM, SRAM, 비-휘발성 메모리(예를 들어, Flash 메모리), 또는 다른 스토리지일 수 있다. 적어도 하나의 실시예에서, 활성화 스토리지(620)는 하나 이상의 프로세서 또는 다른 논리 회로 내에 또는 외부에 완전히 또는 부분적으로 있을 수 있다. 적어도 하나의 실시예에서, 활성화 스토리지(620)가, 예를 들어, 프로세서의 내부에 또는 외부에 있는지, 또는 DRAM, SRAM, Flash 또는 일부 다른 스토리지 타입으로 구성되는지의 선택은 이용가능한 스토리지 온-칩 대 오프-칩, 수행되는 훈련 및/또는 추론 기능들의 레이턴시 요건들, 신경망의 추론 및/또는 훈련에 사용되는 데이터의 일괄 크기, 또는 이러한 인자들의 일부 조합에 의존할 수 있다. 적어도 하나의 실시예에서, 도 6a에 예시되는 추론 및/또는 훈련 로직(615)은, Google의 TensorFlow® Processing Unit, GraphcoreTM의 IPU(inference processing unit), 또는 Intel Corp의 Nervana®(예를 들어, "Lake Crest") 프로세서와 같은, ASIC(application-specific integrated circuit)와 함께 사용될 수 있다. 적어도 하나의 실시예에서, 도 6a에 예시되는 추론 및/또는 훈련 로직(615)은 "CPU"(central processing unit) 하드웨어, "GPU"(graphics processing unit) 하드웨어 또는, "FPGA들"(field programmable gate arrays)와 같은, 다른 하드웨어와 함께 사용될 수 있다.
도 6b는, 적어도 하나 이상의 실시예에 따른, 추론 및/또는 훈련 로직(615)을 예시한다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 신경망 내의 뉴런들의 하나 이상의 레이어에 대응하는 가중치 값들 또는 다른 정보와 함께 계산 리소스들이 전용되는 또는 다른 방식으로 배타적으로 사용되는 하드웨어 로직을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 도 6b에 예시되는 추론 및/또는 훈련 로직(615)은, Google의 TensorFlow® Processing Unit, GraphcoreTM의 IPU(inference processing unit), 또는 Intel Corp의 Nervana®(예를 들어, "Lake Crest") 프로세서와 같은, ASIC(application-specific integrated circuit)와 함께 사용될 수 있다. 적어도 하나의 실시예에서, 도 6b에 예시되는 추론 및/또는 훈련 로직(615)은 CPU(central processing unit) 하드웨어, GPU(graphics processing unit) 하드웨어 또는, FPGA들(field programmable gate arrays)과 같은, 다른 하드웨어와 함께 사용될 수 있다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 코드 및/또는 데이터 스토리지(601) 및 코드 및/또는 데이터 스토리지(605)를, 제한 없이, 포함하며, 이들은 코드(예를 들어, 그래프 코드), 가중치 값들 및/또는, 바이어스 값들, 그래디언트 정보, 모멘텀 값들, 및/또는 다른 파라미터 또는 하이퍼파라미터 정보를 포함하는 다른 정보를 저장하기 위해 사용될 수 있다. 도 6b에 예시되는 적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지(601) 및 코드 및/또는 데이터 스토리지(605) 각각은, 계산 하드웨어(602) 및 계산 하드웨어(606)와 같은, 전용 계산 리소스와 각각 연관된다. 적어도 하나의 실시예에서, 계산 하드웨어(602) 및 계산 하드웨어(606) 각각은, 단지 코드 및/또는 데이터 스토리지(601) 및 코드 및/또는 데이터 스토리지(605)에 각각 저장되는 정보에 대해서만, 선형 대수 함수들과 같은, 수학 함수들을 수행하는 하나 이상의 ALU를 포함하고, 그 결과는 활성화 스토리지(620)에 저장된다.
적어도 하나의 실시예에서, 코드 및/또는 데이터 스토리지 (601 및 605) 및 대응하는 계산 하드웨어 (602 및 606) 각각은 각각 신경망의 상이한 레이어들에 대응하여, 코드 및/또는 데이터 스토리지(601) 및 계산 하드웨어(602)의 "하나의 스토리지/계산 쌍(601/602)"으로부터의 결과적인 활성화가, 신경망의 개념적 구성을 미러링하기 위해, 코드 및/또는 데이터 스토리지(605) 및 계산 하드웨어(606)의 "스토리지/계산 쌍(605/606)"에 대한 입력으로서 제공된다. 적어도 하나의 실시예에서, 스토리지/계산 쌍들(601/602 및 605/606) 각각은 하나보다 많은 신경망 레이어에 대응할 수 있다. 적어도 하나의 실시예에서, 스토리지/계산 쌍들(601/602 및 605/606)에 후속하는 또는 이들과 병렬인 추가적인 스토리지/계산 쌍들(도시되지 않음)이 추론 및/또는 훈련 로직(615)에 포함될 수 있다.
데이터 센터
도 7은 적어도 하나의 실시예가 사용될 수 있는 예시적인 데이터 센터(700)를 예시한다. 적어도 하나의 실시예에서, 데이터 센터(700)는 데이터 센터 인프라스트럭처 레이어(710), 프레임워크 레이어(720), 소프트웨어 레이어(730) 및 애플리케이션 레이어(740)를 포함한다.
적어도 하나의 실시예에서, 도 7에 도시되는 바와 같이, 데이터 센터 인프라스트럭처 레이어(710)는 리소스 오케스트레이터(712), 그룹화된 컴퓨팅 리소스들(714), 및 노드 컴퓨팅 리소스들("노드 C.R.들")(716(1)-716(N))을 포함할 수 있고, 여기서 "N"은 임의의 전체, 양의 정수를 나타낸다. 적어도 하나의 실시예에서, 노드 C.R.들(716(1)-716(N))는, 이에 제한되는 것은 아니지만, 임의의 수의 "CPU들"(central processing units) 또는 다른 프로세서들(가속기들, FPGA들(field programmable gate arrays), 그래픽 프로세서들 등을 포함함), 메모리 디바이스들(예를 들어, 동적 판독-전용 메모리), 스토리지 디바이스들(예를 들어, 솔리드 스테이트 또는 디스크 드라이브들), "NW I/O"(network input/output) 디바이스들, 네트워크 스위치들, "VM들"(virtual machines), 전력 모듈들, 및 냉각 모듈들 등을 포함할 수 있다. 적어도 하나의 실시예에서, 노드 C.R.들(716(1)-716(N)) 중으로부터의 하나 이상의 노드 C.R.는 위에서 언급된 컴퓨팅 리소스들 중 하나 이상을 갖는 서버일 수 있다.
적어도 하나의 실시예에서, 그룹화된 컴퓨팅 리소스들(714)은 하나 이상의 랙(도시되지 않음) 내에 하우징되는 노드 C.R.들, 또는 다양한 지리적 위치들에서 데이터 센터들에 하우징되는 많은 랙들(또한 도시되지 않음)의 개별 그룹화들을 포함할 수 있다. 그룹화된 컴퓨팅 리소스들(714) 내의 노드 C.R.들의 개별 그룹화들은 하나 이상의 작업부하를 지원하도록 구성되거나 또는 할당될 수 있는 그룹화된 컴퓨팅, 네트워크, 메모리 또는 스토리지 리소스들을 포함할 수 있다. 적어도 하나의 실시예에서, CPU들 또는 프로세서들을 포함하는 몇몇 노드 C.R.들은, 하나 이상의 작업부하를 지원하는 컴퓨팅 리소스들을 제공하기 위해 하나 이상의 랙 내에 그룹화될 수 있다. 적어도 하나의 실시예에서, 하나 이상의 랙은 임의의 수의 전력 모듈, 냉각 모듈, 및 네트워크 스위치를, 임의의 조합으로, 또한 포함할 수 있다.
적어도 하나의 실시예에서, 리소스 오케스트레이터(712)는 하나 이상의 노드 C.R.(716(1)-716(N)) 및/또는 그룹화된 컴퓨팅 리소스들(714)을 구성하거나 또는 다른 방식으로 제어할 수 있다. 적어도 하나의 실시예에서, 리소스 오케스트레이터(712)는 데이터 센터(700)에 대한 "SDI"(software design infrastructure) 관리 엔티티를 포함할 수 있다. 적어도 하나의 실시예에서, 리소스 오케스트레이터는 하드웨어, 소프트웨어 또는 이들의 일부 조합을 포함할 수 있다.
적어도 하나의 실시예에서, 도 7에 도시되는 바와 같이, 프레임워크 레이어(720)는 작업 스케줄러(722), 구성 관리기(724), 리소스 관리기(726) 및 분산 파일 시스템(728)을 포함한다. 적어도 하나의 실시예에서, 프레임워크 레이어(720)는 소프트웨어 레이어(730)의 소프트웨어(732) 및/또는 애플리케이션 레이어(740)의 하나 이상의 애플리케이션(들)(742)을 지원하는 프레임워크를 포함할 수 있다. 적어도 하나의 실시예에서, 소프트웨어(732) 또는 애플리케이션(들)(742)은 Amazon Web Services, Google Cloud 및 Microsoft Azure에 의해 제공되는 것들과 같은 웹 기반 서비스 소프트웨어 또는 애플리케이션들을 각각 포함할 수 있다. 적어도 하나의 실시예에서, 프레임워크 레이어(720)는, 이에 제한되는 것은 아니지만, 대규모 데이터 처리(예를 들어, "빅 데이터(big data)")를 위해 분산 파일 시스템(728)을 이용할 수 있는 Apache SparkTM(이하, "Spark")과 같은 자유 및 오픈-소스 소프트웨어 웹 애플리케이션 프레임워크의 타입일 수 있다. 적어도 하나의 실시예에서, 작업 스케줄러(722)는 데이터 센터(700)의 다양한 레이어들에 의해 지원되는 작업부하들의 스케줄링을 용이하게 하는 Spark 드라이버를 포함할 수 있다. 적어도 하나의 실시예에서, 구성 관리기(724)는 대규모 데이터 처리를 지원하기 위한 Spark 및 분산 파일 시스템(728)을 포함하는 프레임워크 레이어(720) 및 소프트웨어 레이어(730)와 같은 상이한 레이어들을 구성할 수 있다. 적어도 하나의 실시예에서, 리소스 관리기(726)는 분산형 파일 시스템(728) 및 작업 스케줄러(722)의 지원을 위해 할당되는 또는 이에 매핑되는 클러스터링된 또는 그룹화된 컴퓨팅 리소스를 관리할 수 있다. 적어도 하나의 실시예에서, 클러스터링된 또는 그룹화된 컴퓨팅 리소스들은 데이터 센터 인프라스트럭처 레이어(710)에 그룹화된 컴퓨팅 리소스(714)를 포함할 수 있다. 적어도 하나의 실시예에서, 리소스 관리기(726)는 이러한 매핑된 또는 할당된 컴퓨팅 리소스들을 관리하기 위해 리소스 오케스트레이터(712)와 조율할 수 있다.
적어도 하나의 실시예에서, 소프트웨어 레이어(730)에 포함되는 소프트웨어(732)는 노드 C.R.s(716(1)-716(N))의 적어도 일부들, 그룹화된 컴퓨팅 리소스들(714), 및/또는 프레임워크 레이어(720)의 분산 파일 시스템(728)에 의해 사용되는 소프트웨어를 포함할 수 있다. 소프트웨어의 하나 이상의 타입은, 이에 제한되는 것은 아니지만, Internet 웹 페이지 검색 소프트웨어, 이-메일 바이러스 스캔 소프트웨어, 데이터베이스 소프트웨어, 및 스트리밍 비디오 콘텐츠 소프트웨어를 포함할 수 있다.
적어도 하나의 실시예에서, 애플리케이션 레이어(740)에 포함되는 애플리케이션(들)(742)은 노드 C.R.s(716(1)-716(N))의 적어도 일부들, 그룹화된 컴퓨팅 리소스들(714), 및/또는 프레임워크 레이어(720)의 분산 파일 시스템(728)에 의해 사용되는 하나 이상의 타입의 애플리케이션을 포함할 수 있다. 애플리케이션들의 하나 이상의 타입은, 이에 제한되는 것은 아니지만, 훈련 또는 추론 소프트웨어, 머신 학습 프레임워크 소프트웨어(예를 들어, PyTorch, TensorFlow, Caffe 등) 또는 하나 이상의 실시예와 함께 사용되는 다른 머신 학습 애플리케이션을 포함하는, 임의의 수의 유전체학 애플리케이션, 인지 컴퓨팅, 및 머신 학습 애플리케이션을 포함할 수 있다.
적어도 하나의 실시예에서, 구성 관리기(724), 리소스 관리기(726), 및 리소스 오케스트레이터(712) 중 임의의 것은 임의의 기술적으로 실현가능한 방식으로 취득되는 임의의 양 및 타입의 데이터에 기초하여 임의의 수 및 타입의 자체-수정 액션들을 구현할 수 있다. 적어도 하나의 실시예에서, 자체-수정 액션들은 데이터 센터(700)의 데이터 센터 운영자가 혹시라도 나쁜 구성 결정들을 행하는 것 및 혹시라도 데이터 센터의 충분히 이용되지 않은 및/또는 불량한 수행 부분들을 회피하는 것을 완화시킬 수 있다.
적어도 하나의 실시예에서, 데이터 센터(700)는 본 명세서에 설명되는 하나 이상의 실시예에 따른 하나 이상의 머신 학습 모델을 훈련하는 또는 하나 이상의 머신 학습 모델을 사용하여 정보를 예측 또는 추론하는 툴들, 서비스들, 소프트웨어 또는 다른 리소스들을 포함할 수 있다. 예를 들어, 적어도 하나의 실시예에서, 머신 학습 모델은 데이터 센터(700)에 관해 위에 설명된 소프트웨어 및 컴퓨팅 리소스들을 사용하여 신경망 아키텍처에 따라 가중치 파라미터들을 계산하는 것에 의해 훈련될 수 있다. 적어도 하나의 실시예에서, 하나 이상의 신경망에 대응하는 훈련된 머신 학습 모델은 본 명세서에 설명되는 하나 이상의 훈련 기술을 통해 계산된 가중치 파라미터를 사용하는 것에 의해 데이터 센터(700)에 관해 위에서 설명된 리소스들을 사용하여 정보를 추론 또는 예측하기 위해 사용될 수 있다.
적어도 하나의 실시예에서, 데이터 센터는 위에 설명된 리소스들을 사용하여 훈련 및/또는 추론을 수행하기 위해 CPU들, ASIC들(application-specific integrated circuits), GPU들, FPGA들, 또는 다른 하드웨어를 사용할 수 있다. 더욱이, 위에 설명된 하나 이상의 소프트웨어 및/또는 하드웨어 리소스들은, 사용자들이, 이미지 인식, 음성 인식, 또는 다른 인공 지능 서비스들과 같은, 정보의 추론을 훈련하거나 또는 수행하는 것을 허용하는 서비스로서 구성될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 시스템 도 7에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
컴퓨터 시스템들
도 8은, 적어도 하나의 실시예에 따른, 명령어를 실행하는 실행 유닛들을 포함할 수 있는 프로세서와 함께 형성되는 인터커넥트된 디바이스들 및 컴포넌트들, SOC(system-on-a-chip) 또는 이들의 일부 조합(800)이 있는 시스템일 수 있는, 예시적인 컴퓨터 시스템을 예시하는 블록도이다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은, 본 명세서에 설명되는 실시예에서와 같이, 본 개시내용에 따른, 데이터를 처리하기 위한 알고리즘들을 수행하기 위한 로직을 포함하는 실행 유닛들을 이용하는 프로세서(802)와 같은, 컴포넌트를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은, Santa Clara, California의 Intel Corporation으로부터 이용가능한 PENTIUM® 프로세서 계열, XeonTM, Itanium®, XScaleTM 및/또는 StrongARMTM, Intel® CoreTM, 또는 Intel® NervanaTM 마이크로프로세서들과 같은, 프로세서들을 포함할 수 있지만, 다른 시스템들(다른 마이크로프로세서들을 갖는 PC들, 엔지니어링 워크스테이션들, 셋-톱 박스들 등을 포함함)이 또한 사용될 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 Redmond, Wash.의 Microsoft Corporation으로부터 이용가능한 WINDOWS 운영 체제의 버전을 실행할 수 있지만, 다른 운영 체제들(예를 들어, UNIX 및 Linux), 내장 소프트웨어, 및/또는 그래픽 사용자 인터페이스들이 또한 사용될 수 있다.
실시예들은 핸드헬드 디바이스들 및 내장 애플리케이션들과 같은 다른 디바이스들에서 사용될 수 있다. 핸드헬드 디바이스들의 일부 예들은 셀룰러 전화들, Internet Protocol 디바이스들, 디지털 카메라들, "PDA들"(personal digital assistant), 및 핸드헬드 PC들을 포함한다. 적어도 하나의 실시예에서, 내장 애플리케이션들은 마이크로제어기, "DSP"(digital signal processor), 시스템 온 칩, 네트워크 컴퓨터들("NetPC들"), 셋-톱 박스들, 네트워크 허브들, "WAN"(wide area network) 스위치들, 또는 적어도 하나의 실시예에 따라 하나 이상의 명령어를 수행할 수 있는 임의의 다른 시스템을 포함할 수 있다.
적어도 하나의 실시예에서, 컴퓨터 시스템(800)은, 제한 없이, 본 명세서에 설명되는 기술들에 따라 머신 학습 모델 훈련 및/또는 추론을 수행하는 하나 이상의 실행 유닛(808)을, 제한 없이, 포함할 수 있는 프로세서(802)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 단일의 프로세서 데스크톱 또는 서버 시스템이지만, 다른 실시예에서, 컴퓨터 시스템(800)은 멀티프로세서 시스템일 수 있다. 적어도 하나의 실시예에서, 프로세서(802)는, 예를 들어, "CISC"(complex instruction set computer) 마이크로프로세서, "RISC"(reduced instruction set computing) 마이크로프로세서, "VLIW"(very long instruction word) 마이크로프로세서, 명령어 세트들의 조합을 구현하는 프로세서, 또는, 디지털 신호 프로세서와 같은, 임의의 다른 프로세서 디바이스를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(802)는, 프로세서(802)와 컴퓨터 시스템(800)에서의 다른 컴포넌트들 사이에 데이터 신호들을 송신할 수 있는 프로세서 버스(810)에 연결될 수 있다.
적어도 하나의 실시예에서, 프로세서(802)는 "L1"(Level 1) 내부 캐시 메모리("캐시")(804)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(802)는 단일의 내부 캐시 또는 다수의 레벨들의 내부 캐시를 가질 수 있다. 적어도 하나의 실시예에서, 캐시 메모리는 프로세서(802) 외부에 상주할 수 있다. 다른 실시예들 또한 특정 구현 및 필요성에 의존하여 내부 및 외부 캐시들 양자 모두의 조합을 포함할 수 있다. 적어도 하나의 실시예에서, 레지스터 파일(806)은 정수 레지스터들, 부동 소수점 레지스터들, 상태 레지스터들, 및 명령어 포인터 레지스터들을, 제한 없이, 포함하는 다양한 레지스터들에 상이한 타입들의 데이터를 저장할 수 있다.
적어도 하나의 실시예에서, 정수 및 부동 소수점 연산들을 수행하는 로직을, 제한 없이, 포함하는 실행 유닛(808) 또한 프로세서(802)에 상주한다. 적어도 하나의 실시예에서, 프로세서(802)는 또한 특정 매크로 명령어들에 대한 마이크로코드를 저장하는 "ucode"(microcode) "ROM"(read only memory)을 포함할 수 있다. 적어도 하나의 실시예에서, 실행 유닛(808)은 패킹된 명령어 세트(809)를 핸들링하는 로직을 포함할 수 있다. 적어도 하나의 실시예에서, 명령어들을 실행하는 연관된 회로와 함께, 범용 프로세서(802)의 명령어 세트에 패킹된 명령어 세트(809)를 포함시키는 것에 의해, 많은 멀티미디어 애플리케이션들에 의해 사용되는 연산들은 범용 프로세서(802)에서 패킹된 데이터를 사용하여 수행될 수 있다. 하나 이상의 실시예에서, 많은 멀티미디어 애플리케이션들은 패킹된 데이터에 대한 연산들을 수행하기 위해 프로세서의 데이터 버스의 전체 폭을 사용하는 것에 의해 가속되고 더 효율적으로 실행될 수 있으며, 이는 한 번에 하나의 데이터 엘리먼트로 하나 이상의 연산을 수행하기 위해 프로세서의 데이터 버스에 걸쳐 더 작은 단위들의 데이터를 전송할 필요성을 제거할 수 있다.
적어도 하나의 실시예에서, 실행 유닛(808)은 마이크로제어기들, 내장 프로세서들, 그래픽 디바이스들, DSP들, 및 다른 타입들의 로직 회로들에서 또한 사용될 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 메모리(820)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 메모리(820)는 "DRAM"(Dynamic Random Access Memory) 디바이스, "SRAM"(Static Random Access Memory) 디바이스, 플래시 메모리 디바이스, 또는 다른 메모리 디바이스로서 구현될 수 있다. 적어도 하나의 실시예에서, 메모리(820)는, 프로세서(802)에 의해 실행될 수 있는 데이터 신호들에 의해 표현되는 명령어(들)(819) 및/또는 데이터(821)를 저장할 수 있다.
적어도 하나의 실시예에서, 시스템 로직 칩은 프로세서 버스(810) 및 메모리(820)에 연결될 수 있다. 적어도 하나의 실시예에서, 시스템 로직 칩은 "MCH"(memory controller hub)(816)를, 제한 없이, 포함할 수 있고, 프로세서(802)는 프로세서 버스(810)를 통해 MCH(816)와 통신할 수 있다. 적어도 하나의 실시예에서, MCH(816)는, 명령어 및 데이터 스토리지를 위해 그리고 그래픽 커맨드들, 데이터 및 텍스처들의 스토리지를 위해, 메모리(820)에 고 대역폭 메모리 경로(818)를 제공할 수 있다. 적어도 하나의 실시예에서, MCH(816)는 프로세서(802), 메모리(820), 및 컴퓨터 시스템(800)에서의 다른 컴포넌트들 사이에 데이터 신호들을 지향시키고, 프로세서 버스(810), 메모리(820), 및 시스템 I/O(822) 사이에 데이터 신호들을 브릿지할 수 있다. 적어도 하나의 실시예에서, 시스템 로직 칩은 그래픽 제어기에 연결하기 위한 그래픽 포트를 제공할 수 있다. 적어도 하나의 실시예에서, MCH(816)는 고 대역폭 메모리 경로(818)를 통해 메모리(820)에 연결될 수 있고, 그래픽/비디오 카드(812)는 "AGP"(Accelerated Graphics Port) 인터커넥트(814)를 통해 MCH(816)에 연결될 수 있다.
적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 MCH(816)를 I/O 제어기 허브("ICH")(830)에 연결하기 위해 독점적 허브 인터페이스 버스로서 시스템 I/O 인터페이스(822)를 사용할 수 있다. 적어도 하나의 실시예에서, ICH(830)는 로컬 I/O 버스를 통해 일부 I/O 디바이스들로의 직접 접속들을 제공할 수 있다. 적어도 하나의 실시예에서, 로컬 I/O 버스는 주변기기들을 메모리(820), 칩셋, 및 프로세서(802)에 접속하기 위한 고속 I/O 버스를, 제한 없이, 포함할 수 있다. 예들은 오디오 제어기(829), 펌웨어 허브("플래시 BIOS")(828), 무선 송수신기(826), 데이터 스토리지(824), 사용자 입력 및 키보드 인터페이스들(825)을 포함하는 레거시 I/O 제어기(823), "USB"(Universal Serial Bus)와 같은, 직렬 확장 포트(827), 및 네트워크 제어기(834)를, 제한 없이, 포함할 수 있다. 데이터 스토리지(824)는 하드 디스크 드라이브, 플로피 디스크 드라이브, CD-ROM 디바이스, 플래시 메모리 디바이스, 또는 다른 대용량 스토리지 디바이스를 포함할 수 있다.
적어도 하나의 실시예에서, 도 8은 인터커넥트된 하드웨어 디바이스들 또는 "칩들(chips)"을 포함하는 시스템을 예시하는 반면, 다른 실시예들에서, 도 8은 예시적인 "SoC"(System on a Chip)을 도시할 수 있다. 적어도 하나의 실시예에서, 도 8에 예시되는 디바이스들은 독점적 인터커넥트들, 표준화된 인터커넥트들(예를 들어, PCIe) 또는 이들의 일부 조합과 인터커넥트될 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)의 하나 이상의 컴포넌트는 CXL(compute express link) 인터커넥트들을 사용하여 인터커넥트된다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 시스템 도 8에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 9는, 적어도 하나의 실시예에 따른, 프로세서(910)를 이용하기 위한 전자 디바이스(900)를 예시하는 블록도이다. 적어도 하나의 실시예에서, 전자 디바이스(900)는, 예를 들어, 그리고 제한 없이, 노트북, 타워 서버, 랙 서버, 블레이드 서버, 랩톱, 데스크톱, 태블릿, 모바일 디바이스, 전화, 내장 컴퓨터, 또는 임의의 다른 적합한 전자 디바이스일 수 있다.
적어도 하나의 실시예에서, 시스템(900)은 임의의 적합한 수 또는 종류의 컴포넌트들, 주변기기들, 모듈들, 또는 디바이스들에 통신가능하게 연결되는 프로세서(910)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(910)는, 1°C 버스, "SMBus"(System Management Bus), LPC(Low Pin Count) 버스, "SPI"(Serial Peripheral Interface), "HDA"(High Definition Audio) 버스, "SATA"(Serial Advance Technology Attachment) 버스, "USB"(Universal Serial Bus)(버전들 1, 2, 3), 또는 "UART"(Universal Asynchronous Receiver/Transmitter) 버스와 같은, 버스 또는 인터페이스를 사용하여 연결된다. 적어도 하나의 실시예에서, 도 9는 인터커넥트된 하드웨어 디바이스들 또는 "칩들(chips)"을 포함하는 시스템을 예시하는 반면, 다른 실시예들에서, 도 9는 예시적인 "SoC"(System on a Chip)을 도시할 수 있다. 적어도 하나의 실시예에서, 도 9에 예시되는 디바이스들은 독점적 인터커넥트들, 표준화된 인터커넥트들(예를 들어, PCIe) 또는 이들의 일부 조합과 인터커넥트될 수 있다. 적어도 하나의 실시예에서, 도 9의 하나 이상의 컴포넌트는, CXL(compute express link) 인터커넥트들을 사용하여 인터커넥트된다.
적어도 하나의 실시예에서, 도 9는 디스플레이(924), 터치 스크린(925), 터치 패드(930), "NFC"(Near Field Communications) 유닛(945), 센서 허브(940), 열 센서(946), "EC"(Express Chipset)(935), "TPM"(Trusted Platform Module)(938), "BIOS, FW Flash"(BIOS/firmware/flash) 메모리(922), DSP(960), "SSD"(Solid State Disk) 또는 "HDD"(Hard Disk Drive)와 같은 드라이브(920), "WLAN"(wireless local area network) 유닛(950), Bluetooth 유닛(952), "WWAN"(Wireless Wide Area Network) 유닛(956), GPS(Global Positioning System)(955), USB 3.0 카메라와 같은 카메라("USB 3.0 카메라")(954), 및/또는, 예를 들어, LPDDR3 표준으로 구현되는 "LPDDR3"(LPDDR(Low Power Double Data Rate)) 메모리 유닛(915)을 포함할 수 있다. 이러한 컴포넌트들 각각은, 임의의 적합한 방식으로 구현될 수 있다.
적어도 하나의 실시예에서, 다른 컴포넌트들은 위에 논의된 컴포넌트들을 통해 프로세서(910)에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, 가속도계(941), "ALS"(Ambient Light Sensor)(942), 나침반(943), 및 자이로스코프(944)는 센서 허브(940)에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, 열 센서(939), 팬(937), 키보드(946), 및 터치 패드(930)는 EC(935)에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, 스피커(963), 헤드폰들(964), 및 "mic"(microphone)(965)은 오디오 유닛("오디오 코덱 및 클래스 D 앰프")(962)에 통신가능하게 연결될 수 있고, 이는 결국 DSP(960)에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, 오디오 유닛(964)은 오디오 코더/디코더("코덱") 및 클래스 D 증폭기를, 예를 들어, 그리고 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, SIM 카드("SIM")(957)는 WWAN 유닛(956)에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, WWAN 유닛(956) 뿐만 아니라 WLAN 유닛(950) 및 Bluetooth 유닛(952)과 같은 컴포넌트들은 "NGFF"(Next Generation Form Factor)로 구현될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 시스템 도 9에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 10은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템(1000)을 예시한다. 적어도 하나의 실시예에서, 컴퓨터 시스템(1000)은 본 개시내용 전반적으로 설명되는 다양한 프로세스 및 방법을 구현하도록 구성된다.
적어도 하나의 실시예에서, 컴퓨터 시스템(1000)은, PCI("Peripheral Component Interconnect"), "PCI-Express"(peripheral component interconnect express), AGP("Accelerated Graphics Port"), HyperTransport, 또는 임의의 다른 버스 또는 포인트-투-포인트 통신 프로토콜(들)과 같은, 임의의 적합한 프로토콜을 사용하여 구현되는 통신 버스(1010)에 접속되는 적어도 하나의 "CPU"(central processing unit)(1002)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 컴퓨터 시스템(1000)은 메인 메모리(1004) 및 제어 로직 (예를 들어, 하드웨어, 소프트웨어, 또는 이들의 조합으로서 구현됨)을, 제한 없이, 포함하고, 데이터는 "RAM"(random access memory)의 형태를 취할 수 있는 메인 메모리(1004)에 저장된다. 적어도 하나의 실시예에서, 네트워크 인터페이스 서브시스템("네트워크 인터페이스")(1022)은 컴퓨터 시스템(1000)으로 다른 시스템들로부터 데이터를 수신하고 다른 시스템들로 데이터를 송신하기 위한 다른 컴퓨팅 디바이스들 및 네트워크들에 대한 인터페이스를 제공한다.
적어도 하나의 실시예에서, 컴퓨터 시스템(1000)은, 적어도 하나의 실시예에서, 입력 디바이스들(1008), 병렬 처리 시스템(1012), 및 종래의 CRT(cathode ray tube), LCD(liquid crystal display), LED(light emitting diode), 플라즈마 디스플레이, 또는 다른 적합한 디스플레이 기술을 사용하여 구현될 수 있는 디스플레이 디바이스들(1006)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 사용자 입력은 키보드, 마우스, 터치패드, 마이크로폰 등과 같은 입력 디바이스들(1008)로부터 수신된다. 적어도 하나의 실시예에서, 전술한 모듈들 각각은 처리 시스템을 형성하기 위해 단일의 반도체 플랫폼 상에 놓일 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 시스템 도 10에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 11은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템(1100)을 예시한다. 적어도 하나의 실시예에서, 컴퓨터 시스템(1100)은 컴퓨터(1110) 및 USB 스틱(1120)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 컴퓨터(1110)는 임의의 수의 및 타입의 프로세서(들)(도시되지 않음) 및 메모리(도시되지 않음)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 컴퓨터(1110)는 서버, 클라우드 인스턴스, 랩톱, 및 데스크톱 컴퓨터를, 제한 없이, 포함한다.
적어도 하나의 실시예에서, USB 스틱(1120)은 처리 유닛(1130), USB 인터페이스(1140), 및 USB 인터페이스 로직(1150)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 처리 유닛(1130)은, 명령어들을 실행할 수 있는 임의의 명령어 실행 시스템, 장치, 또는 디바이스일 수 있다. 적어도 하나의 실시예에서, 처리 유닛(1130)은 임의의 수의 및 타입의 처리 코어들(도시되지 않음)을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 처리 코어(1130)는 머신 학습과 연관된 임의의 양 및 타입의 연산들을 수행하도록 최적화되는 "ASIC"(application specific integrated circuit)를 포함한다. 예를 들어, 적어도 하나의 실시예에서, 처리 코어(1130)는 머신 학습 추론 연산들을 수행하도록 최적화되는 "TPC"(tensor processing unit)이다. 적어도 하나의 실시예에서, 처리 코어(1130)는 머신 비전 및 머신 학습 추론 연산들을 수행하도록 최적화되는 "VPU"(vision processing unit)이다.
적어도 하나의 실시예에서, USB 인터페이스(1140)는 임의의 타입의 USB 커넥터 또는 USB 소켓일 수 있다. 예를 들어, 적어도 하나의 실시예에서, USB 인터페이스(1140)는 데이터 및 전력을 위한 USB 3.0 Type-C 소켓이다. 적어도 하나의 실시예에서, USB 인터페이스(1140)는 USB 3.0 Type-A 커넥터이다. 적어도 하나의 실시예에서, USB 인터페이스 로직(1150)은 처리 유닛(1130)이 USB 커넥터(1140)를 통해 디바이스들(예를 들어, 컴퓨터(1110))과 인터페이스하는 것을 가능하게 하는 임의의 양 및 타입의 로직을 포함할 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 시스템 도 11에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 12a는 복수의 GPU들(1210-1213)이 고속 링크들(1240-1243)(예를 들어, 버스들, 포인트-투-포인트 인터커넥트들 등)을 통해 복수의 멀티-코어 프로세서들(1205-1206)에 통신가능하게 연결되는 예시적인 아키텍처를 예시한다. 하나의 실시예에서, 고속 링크들(1240-1243)은 4GB/s, 30GB/s, 80GB/s 이상의 통신 처리량을 지원한다. 이에 제한되는 것은 아니지만, PCIe 4.0 또는 5.0 및 NVLink 2.0을 포함하는 다양한 인터커넥트 프로토콜들이 사용될 수 있다.
또한, 그리고 하나의 실시예에서, GPU들(1210-1213) 중 2개 이상은 고속 링크들(1229-1230)을 통해 인터커넥트되며, 이들은 고속 링크들(1240-1243)에 사용되는 것들과 동일한 또는 이와 상이한 프로토콜들/링크들을 사용하여 구현될 수 있다. 유사하게, 멀티-코어 프로세서들(1205-1206) 중 2개 이상은 20GB/s, 30GB/s, 120GB/s 또는 그 이상에서 동작하는 SMP(symmetric multi-processor) 버스들일 수 있는 고속 링크(1228)를 통해 접속될 수 있다. 대안적으로, 도 12a에 도시되는 다양한 시스템 컴포넌트들 사이의 모든 통신은 동일한 프로토콜들/링크들을 사용하여(예를 들어, 공통 인터커넥트 패브릭을 통해) 달성될 수 있다.
하나의 실시예에서, 각각의 멀티-코어 프로세서(1205-1206)는, 메모리 인터커넥트들(1226-1227)을 통해, 프로세서 메모리(1201-1202)에 각각 통신가능하게 연결되고, 각각의 GPU(1210-1213)는 GPU 메모리 인터커넥트들(1250-1253)을 통해 GPU 메모리(1220-1223)에 각각 통신가능하게 연결된다. 메모리 인터커넥트들(1226-1227 및 1250-1253)은 동일한 또는 상이한 메모리 액세스 기술들을 이용할 수 있다. 제한이 아니라, 예로서, 프로세서 메모리들(1201-1202) 및 GPU 메모리들(1220-1223)은 DRAM들(dynamic random access memories)(스택형 DRAM들을 포함함), GDDR(Graphics DDR SDRAM)(예를 들어, GDDR5, GDDR6), 또는 HBM(High Bandwidth Memory)과 같은 휘발성 메모리들일 수 있고 및/또는 3D XPoint 또는 Nano-Ram과 같은 비-휘발성 메모리들일 수 있다. 하나의 실시예에서, 프로세서 메모리들(1201-1202)의 일부 부분은 휘발성 메모리일 수 있고, 다른 부분은 (예를 들어, 2LM(two-level memory) 계층을 사용하는) 비-휘발성 메모리일 수 있다.
아래에 설명되는 바와 같이, 다양한 프로세서들(1205-1206) 및 GPU들(1210-1213)이 각각 특정 메모리(1201-1202, 1220-1223)에 물리적으로 연결될 수 있지만, 동일한 가상 시스템 어드레스 공간("유효 어드레스(effective address)" 공간이라고 또한 지칭됨)이 다양한 물리 메모리들 사이에 분산되는 통합 메모리 아키텍처가 구현될 수 있다. 예를 들어, 프로세서 메모리들(1201-1202)은 64GB의 시스템 메모리 어드레스 공간을 각각 포함할 수 있고, GPU 메모리들(1220-1223)은 32GB의 시스템 메모리 어드레스 공간을 각각 포함할 수 있다(이러한 예에서 총 256GB 어드레싱가능 메모리를 초래함).
도 12b는, 하나의 예시적인 실시예에 따른 멀티-코어 프로세서(1207)와 그래픽 가속 모듈(1246) 사이의 인터커넥트에 대한 추가적인 상세사항들을 예시한다. 그래픽 가속 모듈(1246)은 고속 링크(1240)를 통해 프로세서(1207)에 연결되는 라인 카드 상에 집적되는 하나 이상의 GPU 칩을 포함할 수 있다. 대안적으로, 그래픽 가속 모듈(1246)은 프로세서(1207)와 동일한 패키지 또는 칩 상에 집적될 수 있다.
적어도 하나의 실시예에서, 예시된 프로세서(1207)는, 각각 변환 색인 버퍼(1261A-1261D) 및 하나 이상의 캐시(1262A-1262D)가 있는 복수의 코어들(1260A-1260D)을 포함한다. 적어도 하나의 실시예에서, 코어들(1260A-1260D)은 예시되지 않은 명령어들을 실행하고 데이터를 처리하기 위한 다양한 다른 컴포넌트들을 포함할 수 있다. 캐시들(1262A-1262D)은 L1(level 1) 및 L2(level 2) 캐시들을 포함할 수 있다. 또한, 하나 이상의 공유 캐시(1256)가 캐시들(1262A-1262D)에 포함될 수 있고 코어들(1260A-1260D)의 세트들에 의해 공유될 수 있다. 예를 들어, 프로세서(1207)의 하나의 실시예는 각각 그 자신의 L1 캐시가 있는 24개의 코어들, 12개의 공유 L2 캐시들, 및 12개의 공유 L3 캐시들을 포함한다. 이러한 실시예에서, 하나 이상의 L2 및 L3 캐시가 2개의 인접 코어들에 의해 공유된다. 프로세서(1207) 및 그래픽 가속 모듈(1246)은, 도 12a의 프로세서 메모리들(1201-1202)을 포함할 수 있는, 시스템 메모리(1214)와 접속한다.
코히어런스 버스(1264)를 통한 인터-코어 통신을 통해 다양한 캐시들(1262A-1262D, 1256) 및 시스템 메모리(1214)에 저장되는 데이터 및 명령어들에 대해 코히어런스가 유지된다. 예를 들어, 각각의 캐시는 특정 캐시 라인들에 대한 검출된 판독들 또는 기입들에 응답하여 코히어런스 버스(1264)를 통해 통신하기 위해 그와 연관된 캐시 코히어런스 로직/회로를 가질 수 있다. 하나의 구현에서, 캐시 액세스들을 스누핑하기 위해 코히어런스 버스(1264)를 통해 캐시 스누핑 프로토콜이 구현된다.
하나의 실시예에서, 프록시 회로(1225)는 그래픽 가속 모듈(1246)을 코히어런스 버스(1264)에 통신가능하게 연결하여, 그래픽 가속 모듈(1246)이 코어들(1260A-1260D)의 피어로서 캐시 코히어런스 프로토콜에 참여하는 것을 허용한다. 특히, 인터페이스(1235)는 고속 링크(1240)(예를 들어, PCIe 버스, NVLink 등)를 통해 프록시 회로(1225)로의 접속성을 제공하고, 인터페이스(1237)는 그래픽 가속 모듈(1246)을 링크(1240)에 접속한다.
하나의 구현에서, 가속기 통합 회로(1236)는 그래픽 가속 모듈(1246)의 복수의 그래픽 처리 엔진들(1231, 1232, N)을 대신하여 캐시 관리, 메모리 액세스, 컨텍스트 관리 및 인터럽트 관리 서비스들을 제공한다. 그래픽 처리 엔진들(1231, 1232, N)은 별개의 GPU(graphics processing unit)를 각각 포함할 수 있다. 대안적으로, 그래픽 처리 엔진들(1231, 1232, N)은, 그래픽 실행 유닛들, 미디어 처리 엔진들(예를 들어, 비디오 인코더들/디코더들), 샘플러들, 및 블릿 엔진들과 같은, GPU 내의 상이한 타입들의 그래픽 처리 엔진들을 대안적으로 포함할 수 있다. 적어도 하나의 실시예에서, 그래픽 가속 모듈(1246)은 복수의 그래픽 처리 엔진들(1231-1232, N)이 있는 GPU일 수 있거나 또는 그래픽 처리 엔진들(1231-1232, N)은 공통 패키지, 라인 카드, 또는 칩 상에 집적되는 개별 GPU들일 수 있다.
하나의 실시예에서, 가속기 통합 회로(1236)는, 가상-물리 메모리 변환들(유효-실제 메모리 변환들이라고 또한 지칭됨) 및 시스템 메모리(1214)에 액세스하기 위한 메모리 액세스 프로토콜과 같은 다양한 메모리 관리 기능들을 수행하기 위한 MMU(memory management unit)(1239)을 포함한다. MMU(1239)는 가상/유효 대 물리/실제 어드레스 변환들을 캐싱하기 위한 TLB(translation lookaside buffer)(도시되지 않음)를 또한 포함할 수 있다. 하나의 구현에서, 캐시(1238)는 그래픽 처리 엔진들(1231-1232, N)에 의한 효율적인 액세스를 위해 커맨드들 및 데이터를 저장한다. 하나의 실시예에서, 캐시(1238) 및 그래픽 메모리들(1233-1234, M)에 저장되는 데이터는 코어 캐시들(1262A-1262D, 1256) 및 시스템 메모리(1214)와 코히어런트를 유지한다. 위에서 언급된 바와 같이, 이러한 것은 캐시(1238) 및 메모리들(1233-1234, M)을 대신하여 프록시 회로(1225)를 통해 달성될 수 있다(예를 들어, 프로세서 캐시들(1262A-1262D, 1256) 상의 캐시 라인들의 수정들/액세스들에 관련된 업데이트들을 캐시(1238)에 전송하고 캐시(1238)로부터 업데이트들을 수신함).
레지스터들의 세트(1245)는 그래픽 처리 엔진들(1231-1232, N)에 의해 실행되는 스레드들에 대한 컨텍스트 데이터를 저장하고, 컨텍스트 관리 회로(1248)는 스레드 컨텍스트들을 관리한다. 예를 들어, 컨텍스트 관리 회로(1248)는 (예를 들어, 제1 스레드가 저장되고 제2 스레드가 저장되어 제2 스레드가 그래픽 처리 엔진에 의해 실행될 수 있는) 컨텍스트 스위치들 동안 다양한 스레드들의 컨텍스트들을 저장 및 복원하기 위해 저장 및 복원 연산들을 수행할 수 있다. 예를 들어, 컨텍스트 스위치시, 컨텍스트 관리 회로(1248)는 (예를 들어, 컨텍스트 포인터에 의해 식별되는) 메모리에서의 지정된 영역에 현재의 레지스터 값들을 저장할 수 있다. 다음으로, 컨텍스트로 복귀할 때 레지스터 값들을 복원할 수 있다. 하나의 실시예에서, 인터럽트 관리 회로(1247)는 시스템 디바이스로부터 수신되는 인터럽트를 수신하고 처리한다.
하나의 구현에서, 그래픽 처리 엔진(1231)으로부터의 가상/유효 어드레스들은 MMU(1239)에 의해 시스템 메모리(1214)에서의 실제/물리 어드레스들로 변환된다. 가속기 통합 회로(1236)의 하나의 실시예는 다수의(예를 들어, 4, 8, 16개의) 그래픽 가속기 모듈들(1246) 및/또는 다른 가속기 디바이스들을 지원한다. 그래픽 가속기 모듈(1246)은 프로세서(1207) 상에서 실행되는 단일의 애플리케이션에 전용될 수 있거나 또는 다수의 애플리케이션들 사이에 공유될 수 있다. 하나의 실시예에서, 그래픽 처리 엔진들(1231-1232, N)의 리소스들이 다수의 애플리케이션들 또는 VM들(virtual machines)과 공유되는 가상화된 그래픽 실행 환경이 제시된다. 적어도 하나의 실시예에서, 리소스들은 VM들 및/또는 애플리케이션들과 연관된 처리 요건들 및 우선순위들에 기초하여 상이한 VM들 및/또는 애플리케이션들에 할당되는 "슬라이스들(slices)"로 세분될 수 있다.
적어도 하나의 실시예에서, 가속기 통합 회로(1236)는 그래픽 가속 모듈(1246)을 위해 시스템으로의 브릿지로서 수행하고, 어드레스 변환 및 시스템 메모리 캐시 서비스들을 제공한다. 또한, 가속기 통합 회로(1236)는 호스트 프로세서가 그래픽 처리 엔진들(1231-1232, N)의 가상화, 인터럽트들, 및 메모리 관리를 관리하기 위한 가상화 시설들을 제공할 수 있다.
그래픽 처리 엔진들(1231-1232, N)의 하드웨어 리소스들이 호스트 프로세서(1207)에 의해 보여지는 실제 어드레스 공간에 명시적으로 매핑되기 때문에, 임의의 호스트 프로세서가 유효 어드레스 값을 사용하여 이러한 리소스들을 직접 어드레싱할 수 있다. 적어도 하나의 실시예에서, 가속기 통합 회로(1236)의 하나의 기능은 그래픽 처리 엔진들(1231-1232, N)의 물리 분리이어서 이들이 독립 유닛들로서 시스템에 나타난다.
적어도 하나의 실시예에서, 하나 이상의 그래픽 메모리(1233-1234, M)가 그래픽 처리 엔진들(1231-1232, N) 각각에 각각 연결된다. 그래픽 메모리들(1233-1234, M)은 그래픽 처리 엔진들(1231-1232, N) 각각에 의해 처리되는 명령어들 및 데이터를 저장한다. 그래픽 메모리들(1233-1234, M)은 DRAM들(스택형 DRAM들을 포함함), GDDR 메모리(예를 들어, GDDR5, GDDR6), 또는 HBM과 같은 휘발성 메모리들일 수 있고, 및/또는 3D XPoint 또는 Nano-Ram과 같은 비-휘발성 메모리들일 수 있다.
하나의 실시예에서, 고속 링크(1240)를 통한 데이터 트래픽을 감소시키기 위해, 그래픽 메모리들(1233-1234, M)에 저장되는 데이터가 그래픽 처리 엔진들(1231-1232, N)에 의해 가장 빈번하게 사용될 그리고 바람직하게는 코어들(1260A-1260D)에 의해 사용되지 않을(적어도 빈번하지 않음) 데이터인 것을 보장하기 위해 바이어싱 기술들이 사용될 수 있다. 유사하게, 바이어싱 메커니즘은 코어들의 캐시들(1262A-1262D, 1256) 및 시스템 메모리(1214) 내의 코어들(및 바람직하게는 그래픽 처리 엔진들(1231-1232, N)이 아님)에 의해 필요한 데이터를 유지하려고 시도한다.
도 12c는, 가속기 통합 회로(1236)가 프로세서(1207) 내에 통합되는 다른 예시적인 실시예를 예시한다. 적어도 이러한 실시예에서, 그래픽 처리 엔진들(1231-1232, N)은 인터페이스(1237) 및 인터페이스(1235)(다시, 임의의 형태의 버스 또는 인터페이스 프로토콜을 이용할 수 있음)를 통해 가속기 통합 회로(1236)에 고속 링크(1240)를 통해 직접 통신한다. 가속기 통합 회로(1236)는 도 12b와 관련하여 설명되는 것들과 동일한 연산들을 수행할 수 있지만, 코히어런스 버스(1264) 및 캐시들(1262A-1262D, 1256)에 그 가까운 근접이 주어지면 잠재적으로 더 높은 처리량으로 수행할 수 있다. 적어도 하나의 실시예는 전용-프로세스 프로그래밍 모델(그래픽 가속 모듈 가상화 없음) 및 공유 프로그래밍 모델들(가상화가 있음)을 포함하는 상이한 프로그래밍 모델들을 지원하며, 이는 가속기 통합 회로(1236)에 의해 제어되는 프로그래밍 모델들 및 그래픽 가속 모듈(1246)에 의해 제어되는 프로그래밍 모델들을 포함할 수 있다.
적어도 하나의 실시예에서, 그래픽 처리 엔진들(1231-1232, N)은 단일의 운영 체제 하에서 단일의 애플리케이션 또는 프로세스에 전용된다. 적어도 하나의 실시예에서, 단일의 애플리케이션은 다른 애플리케이션 요청들을 그래픽 처리 엔진들(1231-1232, N)에 퍼넬링할 수 있어, VM/파티션 내의 가상화를 제공한다.
적어도 하나의 실시예에서, 그래픽 처리 엔진들(1231-1232, N)은 다수의 VM/애플리케이션 파티션들에 의해 공유될 수 있다. 적어도 하나의 실시예에서, 공유 모델들은 각각의 운영 체제에 의한 액세스를 허용하도록 그래픽 처리 엔진들(1231-1232, N)을 가상화하기 위해 시스템 하이퍼바이저를 사용할 수 있다. 하이퍼바이저가 없는 단일-파티션 시스템에 대해, 그래픽 처리 엔진(1231-1232, N)은 운영 체제에 의해 소유된다. 적어도 하나의 실시예에서, 운영 체제는 각각의 프로세스 또는 애플리케이션에 대한 액세스를 제공하도록 그래픽 처리 엔진들(1231-1232, N)을 가상화할 수 있다.
적어도 하나의 실시예에서, 그래픽 가속 모듈(1246) 또는 개별 그래픽 처리 엔진(1231-1232, N)은 프로세스 핸들을 사용하여 프로세스 엘리먼트를 선택한다. 적어도 하나의 실시예에서, 프로세스 엘리먼트들은 시스템 메모리(1214)에 저장되고, 본 명세서에 설명되는 유효 어드레스-실제 어드레스 변환 기술들을 사용하여 어드레싱가능하다. 적어도 하나의 실시예에서, 프로세스 핸들은 그 컨텍스트를 그래픽 처리 엔진(1231-1232, N)에 등록할 때 호스트 프로세스에 제공되는 구현-특정 값일 수 있다(즉, 프로세스 엘리먼트 링크된 리스트에 프로세스 엘리먼트를 추가하기 위해 시스템 소프트웨어를 호출함). 적어도 하나의 실시예에서, 프로세스 핸들의 하위 16-비트는 프로세스 엘리먼트 링크된 리스트 내의 프로세스 엘리먼트의 오프셋일 수 있다.
도 12d는 예시적인 가속기 통합 슬라이스(1290)를 예시한다. 본 명세서에 사용되는 바와 같이, "슬라이스(slice)"는 가속기 통합 회로(1236)의 처리 리소스들의 명시된 부분을 포함한다. 시스템 메모리(1214) 내의 애플리케이션 유효 어드레스 공간(1282)이 프로세스 엘리먼트들(1283)을 저장한다. 하나의 실시예에서, 프로세스 엘리먼트들(1283)은 프로세서(1207) 상에서 실행되는 애플리케이션들(1280)로부터의 GPU 호출들(1281)에 응답하여 저장된다. 프로세스 엘리먼트(1283)는 대응하는 애플리케이션(1280)에 대한 프로세스 상태를 포함한다. 프로세스 엘리먼트(1283)에 포함되는 WD(work descriptor)(1284)는 애플리케이션에 의해 요청되는 단일의 작업일 수 있거나 또는 작업들의 큐에 대한 포인터를 포함할 수 있다. 적어도 하나의 실시예에서, WD(1284)는 애플리케이션의 어드레스 공간(1282)에서의 작업 요청 큐에 대한 포인터이다.
그래픽 가속 모듈(1246) 및/또는 개별 그래픽 처리 엔진들(1231-1232, N)은 시스템에서의 모든 프로세스들 또는 이들의 서브세트에 의해 공유될 수 있다. 적어도 하나의 실시예에서, 가상화된 환경에서 작업을 시작하기 위해 프로세스 상태를 셋업하고 WD(1284)를 그래픽 가속 모듈(1246)에 전송하기 위한 인프라스트럭처가 포함될 수 있다.
적어도 하나의 실시예에서, 전용-프로세스 프로그래밍 모델은 구현-특정적이다. 이러한 모델에서, 단일의 프로세스는 그래픽 가속 모듈(1246) 또는 개별 그래픽 처리 엔진(1231)을 소유한다. 그래픽 가속 모듈(1246)이 단일의 프로세스에 의해 소유되기 때문에, 하이퍼바이저는 소유 파티션에 대해 가속기 통합 회로(1236)를 초기화하고, 운영 체제는 그래픽 가속 모듈(1246)이 배정될 때 소유 프로세스에 대해 가속기 통합 회로(1236)를 초기화한다.
연산 시에, 가속기 통합 슬라이스(1290)에서 WD 인출 유닛(1291)은 다음 WD(1284)를 인출하고, 이는 그래픽 가속 모듈(1246)의 하나 이상의 그래픽 처리 엔진에 의해 행해질 작업의 표시를 포함한다. WD(1284)로부터의 데이터는 레지스터들(1245)에 저장될 수 있고, 예시되는 바와 같이 MMU(1239), 인터럽트 관리 회로(1247) 및/또는 컨텍스트 관리 회로(1248)에 의해 사용될 수 있다. 예를 들어, MMU(1239)의 하나의 실시예는 OS 가상 어드레스 공간(1285) 내의 세그먼트/페이지 테이블들(1286)에 액세스하기 위한 세그먼트/페이지 워크 회로를 포함한다. 인터럽트 관리 회로(1247)는 그래픽 가속 모듈(1246)로부터 수신되는 인터럽트 이벤트들(1292)을 처리할 수 있다. 그래픽 연산들을 수행할 때, 그래픽 처리 엔진(1231-1232, N)에 의해 생성되는 유효 어드레스(1293)는 MMU(1239)에 의해 실제 어드레스로 변환된다.
하나의 실시예에서, 레지스터들(1245)의 동일한 세트가 각각의 그래픽 처리 엔진(1231-1232, N) 및/또는 그래픽 가속 모듈(1246)에 대해 복제되고, 하이퍼바이저 또는 운영 체제에 의해 초기화될 수 있다. 이러한 복제된 레지스터들 각각은 가속기 통합 슬라이스(1290)에 포함될 수 있다. 하이퍼바이저에 의해 초기화될 수 있는 예시적인 레지스터들이 테이블 1에서 보여진다.
| 1 | 슬라이스 제어 레지스터 |
| 2 | RA(Real Address) 스케줄링된 프로세스 영역 포인터 |
| 3 | 권한 마스크 오버라이드 레지스터 |
| 4 | 인터럽트 벡터 테이블 엔트리 오프셋 |
| 5 | 인터럽트 벡터 테이블 엔트리 제한 |
| 6 | 상태 레지스터 |
| 7 | 논리 파티션 ID |
| 8 | RA(Real address) 하이퍼바이저 가속기 이용 레코드 포인터 |
| 9 | 스토리지 설명 레지스터 |
운영 체제에 의해 초기화될 수 있는 예시적인 레지스터들이 테이블 2에 보여진다.
| 1 | 프로세스 및 스레드 식별 |
| 2 | EA(Effective Address) 컨텍스트 저장/복원 포인터 |
| 3 | VA(Virtual Address)가속기 이용 레코드 포인터 |
| 4 | VA(Virtual Address) 스토리지 세그먼트 테이블 포인터 |
| 5 | 권한 마스크 |
| 6 | 작업 설명자 |
하나의 실시예에서, 각각의 WD(1284)는 특정 그래픽 가속 모듈(1246) 및/또는 그래픽 처리 엔진들(1231-1232, N)에 구체적이다. 이것은 작업을 행하기 위해 그래픽 처리 엔진(1231-1232, N)에 의해 요구되는 모든 정보를 포함하거나, 또는 이것은 애플리케이션이 완료될 작업의 커맨드 큐를 셋업한 메모리 위치에 대한 포인터일 수 있다. 도 12e는 공유 모델의 하나의 예시적인 실시예에 대한 추가적인 상세사항들을 예시한다. 이러한 실시예는 프로세스 엘리먼트 리스트(1299)가 저장되는 하이퍼바이저 실제 어드레스 공간(1298)을 포함한다. 하이퍼바이저 실제 어드레스 공간(1298)은 운영 체제(1295)에 대한 그래픽 가속 모듈 엔진들을 가상화하는 하이퍼바이저(1296)를 통해 액세스가능하다.
적어도 하나의 실시예에서, 공유 프로그래밍 모델은, 시스템에서의 파티션들 모두 또는 이들의 서브세트로부터의 프로세스들 모두 또는 이들의 서브세트가 그래픽 가속 모듈(1246)을 사용하는 것을 허용한다. 그래픽 가속 모듈(1246)이 다수의 프로세스들 및 파티션들에 의해 공유되는: 시간-슬라이싱된 공유되는 그리고 그래픽-지향 공유되는 2개의 프로그래밍 모델들이 존재한다.
이러한 모델에서, 시스템 하이퍼바이저(1296)는 그래픽 가속 모듈(1246)을 소유하고, 그 기능을 모든 운영 체제들(1295)에게 이용가능하게 한다. 그래픽 가속 모듈(1246)이 시스템 하이퍼바이저(1296)에 의한 가상화를 지원하기 위해, 그래픽 가속 모듈(1246)은 다음을 고수할 수 있다:1) 애플리케이션의 작업 요청이 자율적이어야 하거나(즉, 작업들 사이에 상태가 유지될 필요가 없음), 또는 그래픽 가속 모듈(1246)이 컨텍스트 저장 및 복원 메커니즘을 제공해야 함. 2) 애플리케이션의 작업 요청이 그래픽 가속 모듈(1246)에 의해, 임의의 변환 장애들을 포함하는 명시된 양의 시간 내에 완료되도록 보장되거나, 또는 그래픽 가속 모듈(1246)이 작업의 처리를 선점하는 능력을 제공함. 3) 그래픽 가속 모듈(1246)이 지향성 공유 프로그래밍 모델에서 동작할 때 프로세스들 사이의 공정성이 보장되어야 함.
적어도 하나의 실시예에서, 애플리케이션(1280)은 그래픽 가속 모듈(1246) 타입, WD(work descriptor), AMR(authority mask register) 값, 및 CSRP(context save/restore area pointer)로 운영 체제(1295) 시스템 호출을 하도록 요구된다. 적어도 하나의 실시예에서, 그래픽 가속 모듈 타입(1246)은 시스템 호출에 대한 타겟화된 가속 기능을 설명한다. 적어도 하나의 실시예에서, 그래픽 가속 모듈 타입(1246)은 시스템-특정 값일 수 있다. 적어도 하나의 실시예에서, WD는 그래픽 가속 모듈(1246)을 위해 구체적으로 포맷되고 그래픽 가속 모듈(1246) 커맨드, 사용자-정의형 구조에 대한 유효 어드레스 포인터, 커맨드들의 큐에 대한 유효 어드레스 포인터, 또는 그래픽 가속 모듈(1246)에 의해 행해질 작업을 설명하는 임의의 다른 데이터 구조의 형태일 수 있다. 하나의 실시예에서, AMR 값은 현재의 프로세스에 대해 사용할 AMR 상태이다. 적어도 하나의 실시예에서, 운영 체제에 전달되는 값은 AMR을 설정하는 애플리케이션과 유사하다. 가속기 통합 회로(1236)(도시되지 않음) 및 그래픽 가속 모듈(1246) 구현들이 UAMOR(User Authority Mask Override Register)을 지원하지 않으면, 운영 체제는 하이퍼바이저 호출에서 AMR을 전달하기 전에 현재의 UAMOR 값을 AMR 값에 적용할 수 있다. 하이퍼바이저(1296)는 AMR을 프로세스 엘리먼트(1283)에 배치하기 전에 현재의 AMOR(Authority Mask Override Register) 값을 선택적으로 적용할 수 있다. 적어도 하나의 실시예에서, CSRP는 그래픽 가속 모듈(1246)이 컨텍스트 상태를 저장하고 복원하기 위한 애플리케이션의 유효 어드레스 공간(1282)에서의 영역의 유효 어드레스를 포함하는 레지스터들(1245) 중 하나이다. 이러한 포인터는, 작업들 사이에 어떠한 상태도 저장될 필요가 없거나 또는 작업이 선점될 때 선택적이다. 적어도 하나의 실시예에서, 컨텍스트 저장/복원 영역은 고정된 시스템 메모리일 수 있다.
시스템 호출을 수신하면, 운영 체제(1295)는 애플리케이션(1280)이 등록되었고 그래픽 가속 모듈(1246)을 사용할 권한이 부여되었음을 검증할 수 있다. 운영 체제(1295)는 다음으로 테이블 3에 보여지는 정보로 하이퍼바이저(1296)를 호출한다.
| 1 | WD(work descriptor) |
| 2 | AMR(Authority Mask Register) 값 (잠재적으로 마스킹됨) |
| 3 | EA(effective address) CSRP(Context Save/Restore Area Pointer) |
| 4 | PID(process ID) 및 선택적 TID(thread ID) |
| 5 | VA(virtual address) AURP(accelerator utilization record pointer) |
| 6 | SSTP(storage segment table pointer)의 가상 어드레스 |
| 7 | LISN(logical interrupt service number) |
하이퍼바이저 호출을 수신하면, 하이퍼바이저(1296)는 운영 체제(1295)가 등록되었고 그래픽 가속 모듈(1246)을 사용할 권한이 부여되었음을 검증한다. 하이퍼바이저(1296)는 다음으로 프로세스 엘리먼트(1283)를 대응하는 그래픽 가속 모듈(1246) 타입에 대한 프로세스 엘리먼트 링크된 리스트에 넣는다. 프로세스 엘리먼트는 테이블 4에 보여지는 정보를 포함할 수 있다.
| 1 | WD(work descriptor) |
| 2 | AMR(Authority Mask Register) 값 (잠재적으로 마스킹됨). |
| 3 | EA(effective address) CSRP(Context Save/Restore Area Pointer) |
| 4 | PID(process ID) 및 선택적 TID(thread ID) |
| 5 | VA(virtual address) AURP(accelerator utilization record pointer) |
| 6 | SSTP(storage segment table pointer)의 가상 어드레스 |
| 7 | LISN(logical interrupt service number) |
| 8 | 하이퍼바이저 호출 파라미터들로부터 유도되는, 인터럽트 벡터 테이블 |
| 9 | SR(state register) 값 |
| 10 | LPID(logical partition ID) |
| 11 | RA(real address) 하이퍼바이저 가속기 이용 레코드 포인터 |
| 12 | SDR(Storage Descriptor Register) |
적어도 하나의 실시예에서, 하이퍼바이저는 복수의 가속기 통합 슬라이스(1290) 레지스터들(1245)을 초기화한다. 도 12f에 예시되는 바와 같이, 적어도 하나의 실시예에서, 물리 프로세서 메모리들(1201-1202) 및 GPU 메모리들(1220-1223)에 액세스하기 위해 사용되는 공통 가상 메모리 어드레스 공간을 통해 어드레싱가능한 통합 메모리가 사용된다. 이러한 구현에서, GPU들(1210-1213) 상에서 실행되는 연산들은 프로세서 메모리들(1201-1202)에 액세스하기 위해 동일한 가상/유효 메모리 어드레스 공간을 이용하고, 그 반대도 가능하며, 그렇게 함으로써 프로그램가능성을 단순화한다. 하나의 실시예에서, 가상/유효 어드레스 공간의 제1 부분은 프로세서 메모리(1201)에 할당되고, 제2 부분은 제2 프로세서 메모리(1202)에 할당되고, 제3 부분은 GPU 메모리(1220)에 할당되는 등이다. 적어도 하나의 실시예에서, 전체 가상/유효 메모리 공간(때때로 유효 어드레스 공간이라고 지칭됨)이 그렇게 함으로써 프로세서 메모리들(1201-1202) 및 GPU 메모리들(1220-1223) 각각에 걸쳐 분산되어, 임의의 프로세서 또는 GPU가 해당 메모리에 매핑되는 가상 어드레스가 있는 임의의 물리 메모리에 액세스하는 것을 허용한다.
하나의 실시예에서, MMU들(1239A-1239E) 중 하나 이상 내의 바이어스/코히어런스 관리 회로(1294A-1294E)는 하나 이상의 호스트 프로세서(예를 들어, 1205) 및 GPU들(1210-1213)의 캐시들 사이의 캐시 코히어런스를 보장하고, 특정 타입들의 데이터가 저장되어야 하는 물리 메모리들을 표시하는 바이어싱 기술들을 구현한다. 바이어스/코히어런스 관리 회로(1294A-1294E)의 다수의 인스턴스들이 도 12f에 예시되지만, 바이어스/코히어런스 회로는 하나 이상의 호스트 프로세서(1205)의 MMU 내에 및/또는 가속기 통합 회로(1236) 내에 구현될 수 있다.
하나의 실시예는, 전체 시스템 캐시 코히어런스와 연관된 성능 단점들을 겪지 않고, GPU-첨부 메모리(1220-1223)가 시스템 메모리의 일부로서 매핑되고, SVM(shared virtual memory) 기술을 사용하여 액세스되는 것을 허용한다. 적어도 하나의 실시예에서, GPU-첨부 메모리(1220-1223)가 부담스러운 캐시 코히어런스 오버헤드 없이 시스템 메모리로서 액세스되는 능력은 GPU 오프로드를 위한 유익한 동작 환경을 제공한다. 이러한 구성은, 전통적인 I/O DMA 데이터 사본들의 오버헤드 없이, 호스트 프로세서(1205) 소프트웨어가 피연산자들을 셋업하고 계산 결과들에 액세스하는 것을 허용한다. 이러한 전통적인 사본들은 단순 메모리 액세스들에 비해 모두 비효율적인 드라이버 호출들, 인터럽트들 및 MMIO(memory mapped I/O) 액세스들을 수반한다. 적어도 하나의 실시예에서, 캐시 코히어런스 오버헤드들 없이 GPU 첨부 메모리들(1220-1223)에 액세스하는 능력은 오프로드된 계산의 실행 시간에 중요할 수 있다. 예를 들어, 실질적인 스트리밍 기입 메모리 트래픽의 경우에, 캐시 코히어런스 오버헤드는 GPU(1210-1213)에 의해 보여지는 유효 기입 대역폭을 상당히 감소시킬 수 있다. 적어도 하나의 실시예에서, 피연산자 셋업의 효율성, 결과 액세스의 효율성, 및 GPU 계산의 효율성은, GPU 오프로드의 효율성을 결정하는데 있어서 역할을 할 수 있다.
적어도 하나의 실시예에서, GPU 바이어스 및 호스트 프로세서 바이어스의 선택은, 바이어스 추적기 데이터 구조에 의해 구동된다. 예를 들어, GPU-첨부 메모리 페이지 당 1 또는 2 비트를 포함하는 페이지-입도 구조(즉, 메모리 페이지의 입도로 제어됨)일 수 있는 바이어스 테이블이 사용될 수 있다. 적어도 하나의 실시예에서, 바이어스 테이블은 (예를 들어, 바이어스 테이블의 빈번하게/최근에 사용된 엔트리들을 캐싱하기 위해) GPU(1210-1213)에 바이어스 캐시가 있는 또는 없는, 하나 이상의 GPU-첨부 메모리(1220-1223)의 도난된 메모리 범위에서 구현될 수 있다. 대안적으로, 전체 바이어스 테이블이 GPU 내에 유지될 수 있다.
적어도 하나의 실시예에서, GPU-첨부 메모리(1220-1223)에 대한 각각의 액세스와 연관된 바이어스 테이블 엔트리가 GPU 메모리에 대한 실제 액세스 이전에 액세스되어, 다음의 연산들을 야기한다. 먼저, GPU 바이어스에서 그들의 페이지를 발견하는 GPU(1210-1213)로부터의 로컬 요청들은 대응하는 GPU 메모리(1220-1223)에 직접 전달된다. 호스트 바이어스에서 그들의 페이지를 발견하는 GPU로부터의 로컬 요청들은 (예를 들어, 위에서 논의된 바와 같은 고속 링크를 통해) 프로세서(1205)에 전달된다. 하나의 실시예에서, 호스트 프로세서 바이어스에서 요청된 페이지를 발견하는 프로세서(1205)로부터의 요청들은 정상 메모리 판독과 같은 요청을 완료한다. 대안적으로, GPU-바이어스된 페이지로 지향되는 요청들이 GPU(1210-1213)에 전달될 수 있다. 적어도 하나의 실시예에서, GPU는 다음으로 페이지를 현재 사용하고 있지 않다면 페이지를 호스트 프로세서 바이어스로 전이할 수 있다. 적어도 하나의 실시예에서, 페이지의 바이어스 상태는 소프트웨어-기반 메커니즘, 하드웨어-보조 소프트웨어-기반 메커니즘, 또는, 제한된 세트의 사례들에 대해, 순수 하드웨어-기반 메커니즘에 의해 변경될 수 있다.
바이어스 상태를 변경하기 위한 하나의 메커니즘은 API 호출(예를 들어, OpenCL)을 이용하며, 이는, 결국, GPU의 디바이스 드라이버를 호출하고, 이는, 결국, GPU에게 바이어스 상태를 변경하라고, 그리고, 일부 전이들에 대해, 호스트에서 캐시 플러싱 연산을 수행하라고 지시하는 메시지를 전송(또는 커맨드 설명자를 인큐잉)한다. 적어도 하나의 실시예에서, 캐시 플러싱 연산은 호스트 프로세서(1205) 바이어스로부터 GPU 바이어스로의 전이를 위해 사용되지만, 반대 전이를 위한 것은 아니다.
하나의 실시예에서, 캐시 코히어런스는 호스트 프로세서(1205)에 의해 캐싱될 수 없는 GPU-바이어스된 페이지들을 일시적으로 렌더링하는 것에 의해 유지된다. 이러한 페이지들에 액세스하기 위해, 프로세서(1205)는 GPU(1210)로부터 액세스를 요청할 수 있으며, 이는 액세스를 즉시 승인할 수 있거나 또는 그렇지 않을 수 있다. 따라서, 프로세서(1205)와 GPU(1210) 사이의 통신을 감소시키기 위해, GPU-바이어스된 페이지들이 호스트 프로세서(1205)가 아니라 GPU에 의해 요구되는 것들이고 그 반대도 마찬가지라는 것을 보장하는 것이 유익하다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예를 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 13은, 본 명세서에 설명되는 다양한 실시예에 따른, 하나 이상의 IP 코어를 사용하여 제조될 수 있는 예시적인 집적 회로들 및 연관된 그래픽 프로세서들을 예시한다. 예시되는 것에 외에도, 추가적인 그래픽 프로세서들/코어들, 주변기기 인터페이스 제어기들, 또는 범용 프로세서 코어들을 포함하는, 다른 로직 및 회로들이 적어도 하나의 실시예에 포함될 수 있다.
도 13은, 적어도 하나의 실시예에 따른, 하나 이상의 IP 코어를 사용하여 제조될 수 있는 예시적인 시스템 온 칩 집적 회로(1300)를 예시하는 블록도이다. 적어도 하나의 실시예에서, 집적 회로(1300)는, 하나 이상의 애플리케이션 프로세서(들)(1305)(예를 들어, CPU들), 적어도 하나의 그래픽 프로세서(1310)를 포함하고, 이미지 프로세서(1315) 및/또는 비디오 프로세서(1320)를 추가적으로 포함할 수 있으며, 이러한 중 임의의 것은 모듈식 IP 코어일 수 있다. 적어도 하나의 실시예에서, 집적 회로(1300)는 USB 제어기(1325), UART 제어기(1330), SPI/SDIO 제어기(1335), 및 I2S/I2C 제어기(1340)를 포함하는 주변기기 또는 버스 로직을 포함한다. 적어도 하나의 실시예에서, 집적 회로(1300)는, HDMI(high-definition multimedia interface) 제어기(1350) 및 MIPI(mobile industry processor interface ) 디스플레이 인터페이스(1355) 중 하나 이상에 연결되는 디스플레이 디바이스(1345)를 포함할 수 있다. 적어도 하나의 실시예에서, 스토리지는, 플래시 메모리 및 플래시 메모리 제어기를 포함하는 플래시 메모리 서브시스템(1360)에 의해 제공될 수 있다. 적어도 하나의 실시예에서, 메모리 인터페이스는 SDRAM 또는 SRAM 메모리 디바이스들에 대한 액세스를 위해 메모리 제어기(1365)를 통해 제공될 수 있다. 적어도 하나의 실시예에서, 일부 집적 회로는 내장 보안 엔진(1370)을 추가적으로 포함한다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은, 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 집적 회로(1300)에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 14a 및 도 14b는, 본 명세서에 설명되는 다양한 실시예들에 따른, 하나 이상의 IP 코어를 사용하여 제조될 수 있는 예시적인 집적 회로들 및 연관된 그래픽 프로세서들을 예시한다. 예시되는 것에 외에도, 추가적인 그래픽 프로세서들/코어들, 주변기기 인터페이스 제어기들, 또는 범용 프로세서 코어들을 포함하는, 다른 로직 및 회로들이 적어도 하나의 실시예에 포함될 수 있다.
도 14a 및 도 14b는, 본 명세서에 설명되는 실시예들에 따른, SoC 내에서 사용하기 위한 예시적인 그래픽 프로세서를 예시하는 블록도들이다. 도 14a는, 적어도 하나의 실시예에 따른, 하나 이상의 IP 코어를 사용하여 제조될 수 있는 시스템 온 칩 집적 회로의 한 예시적인 그래픽 프로세서(1410)를 예시한다. 도 14b는, 적어도 하나의 실시예에 따른, 하나 이상의 IP 코어를 사용하여 제조될 수 있는 시스템 온 칩 집적 회로의 추가적인 예시적인 그래픽 프로세서(1440)를 예시한다. 적어도 하나의 실시예에서, 도 14a의 그래픽 프로세서(1410)는 저 전력 그래픽 프로세서 코어이다. 적어도 하나의 실시예에서, 도 14b의 그래픽 프로세서(1440)는 더 높은 성능의 그래픽 프로세서 코어이다. 적어도 하나의 실시예에서, 그래픽 프로세서 (1410, 1440) 각각은 도 13의 그래픽 프로세서(1310)의 변형일 수 있다.
적어도 하나의 실시예에서, 그래픽 프로세서(1410)는, 버텍스 프로세서(1405) 및 하나 이상의 프래그먼트 프로세서(들)(1415A-1415N)(예를 들어, 1415A, 1415B, 1415C, 1415D, 내지 1415N-1, 및 1415N)를 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1410)는, 버텍스 프로세서(1405)가 버텍스 셰이더 프로그램들에 대한 연산들을 실행하도록 최적화되는 반면, 하나 이상의 프래그먼트 프로세서(들)(1415A-1415N)이 프래그먼트 또는 픽셀 셰이더 프로그램들에 대한 프래그먼트(예를 들어, 픽셀) 셰이딩 연산들을 실행하도록, 별개의 로직을 통해 상이한 셰이더 프로그램들을 실행할 수 있다. 적어도 하나의 실시예에서, 버텍스 프로세서(1405)는 3D 그래픽 파이프라인의 버텍스 처리 스테이지를 수행하고 프리미티브들 및 버텍스 데이터를 생성한다. 적어도 하나의 실시예에서, 프래그먼트 프로세서(들)(1415A-1415N)는 버텍스 프로세서(1405)에 의해 생성되는 프리미티브 및 버텍스 데이터를 사용하여 디스플레이 디바이스 상에 디스플레이되는 프레임버퍼를 생산한다. 적어도 하나의 실시예에서, 프래그먼트 프로세서(들)(1415A-1415N)는, Direct 3D API에서 제공되는 픽셀 셰이더 프로그램과 유사한 연산들을 수행하기 위해 사용될 수 있는, OpenGL API에서 제공되는 프래그먼트 셰이더 프로그램을 실행하도록 최적화된다.
적어도 하나의 실시예에서, 그래픽 프로세서(1410)는, 하나 이상의 MMU(memory management units)(1420A-1420B), 캐시(들)(1425A-1425B), 및 회로 인터커넥트(들)(1430A-1430B)를 추가적으로 포함한다. 적어도 하나의 실시예에서, 하나 이상의 MMU(들)(1420A-1420B)는, 하나 이상의 캐시(들)(1425A-1425B)에 저장되는 버텍스 또는 이미지/텍스처 데이터 외에도, 메모리에 저장되는 버텍스 또는 이미지/텍스처 데이터를 참조할 수 있는, 버텍스 프로세서(1405) 및/또는 프래그먼트 프로세서(들)(1415A-1415N)를 포함하는 그래픽 프로세서(1410)에 대한 가상 대 물리 어드레스 매핑을 제공한다. 적어도 하나의 실시예에서, 하나 이상의 MMU(들)(1420A-1420B)는, 도 13의 하나 이상의 애플리케이션 프로세서(들)(1305), 이미지 프로세서(1315), 및/또는 비디오 프로세서(1320)와 연관된 하나 이상의 MMU를 포함하는, 시스템 내의 다른 MMU들과 동기화되어, 각각의 프로세서(1305-1320)가 공유 또는 통합 가상 메모리 시스템에 참여할 수 있다. 적어도 하나의 실시예에서, 하나 이상의 회로 인터커넥트(들)(1430A-1430B)는 그래픽 프로세서(1410)가 SoC의 내부 버스를 통해 또는 직접 접속을 통해 SoC 내의 다른 IP 코어들과 인터페이스하는 것을 가능하게 한다.
적어도 하나의 실시예에서, 그래픽 프로세서(1440)는, 도 14a의 그래픽 프로세서(1410)의 하나 이상의 MMU(들)(1420A-1420B), 캐시(들)(1425A-1425B), 및 회로 인터커넥트(들)(1430A-1430B)를 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1440)는 하나 이상의 셰이더 코어(들)(1455A-1455N)(예를 들어, 1455A, 1455B, 1455C, 1455D, 1455E, 1455F, 내지 1455N-1, 및 1455N)를 포함하며, 이는 버텍스 셰이더들, 프래그먼트 셰이더들 및/또는 계산 셰이더들을 구현하기 위한 셰이더 프로그램 코드를 포함하는 모든 타입의 프로그램가능 셰이더 코드를 단일의 코어 또는 타입 또는 코어가 실행할 수 있는 통합 셰이더 코어 아키텍처를 제공한다. 적어도 하나의 실시예에서, 셰이더 코어의 수는 변할 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서(1440)는, 하나 이상의 셰이더 코어(1455A-1455N)에 실행 스레드를 디스패치하는 스레드 디스패처로서 작용하는 인터-코어 태스크 관리기(1445), 및 예를 들어, 장면 내의 로컬 공간적 코히어런스를 이용하거나 또는 내부 캐시들의 사용을 최적화하기 위해 장면에 대한 렌더링 연산들이 이미지 공간에서 세분되는, 타일-기반 렌더링에 대한 타일링 연산들을 가속하는 타일링 유닛(1458)을 포함한다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은, 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 집적 회로(14A 및/또는 14B)에서 사용될 수 있다. 추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 15a 및 도 15b는, 본 명세서에 설명되는 실시예에 따른, 추가적인 예시적인 그래픽 프로세서 로직을 예시한다. 도 15a는, 적어도 하나의 실시예에서, 도 13의 그래픽 프로세서(1310) 내에 포함될 수 있는, 그리고 적어도 하나의 실시예에서 도 14b에서와 같이 통합 셰이더 코어(1455A-1455N)일 수 있는 그래픽 코어(1500)를 예시한다. 도 15b는 적어도 하나의 실시예에서 멀티-칩 모듈 상에 배치하기에 적합한 고도-병렬 범용 그래픽 처리 유닛(1530)을 예시한다.
적어도 하나의 실시예에서, 그래픽 코어(1500)는 그래픽 코어(1500) 내의 실행 리소스들에 공통인 공유 명령어 캐시(1502), 텍스처 유닛(1518), 및 캐시/공유 메모리(1520)를 포함한다. 적어도 하나의 실시예에서, 그래픽 코어(1500)는 다수의 슬라이스들(1501A-1501N) 또는 각각의 코어에 대한 파티션을 포함할 수 있고, 그래픽 프로세서는 그래픽 코어(1500)의 다수의 인스턴스들을 포함할 수 있다. 슬라이스들(1501A-1501N)은 로컬 명령어 캐시(1504A-1504N), 스레드 스케줄러(1506A-1506N), 스레드 디스패처(1508A-1508N), 및 레지스터들(1510A-1510N)의 세트를 포함하는 지원 로직을 포함할 수 있다. 적어도 하나의 실시예에서, 슬라이스들(1501A-1501N)은, AFU들(additional function units)(1512A-1512N)), FPU(floating-point units)(1514A-1514N)), 정수 ALU(arithmetic logic units)(1516-1516N)), ACU들(address computational units)(1513A-1513N)), DPFPU(double-precision floating-point units)(1515A-1515N)), 및 MPU(matrix processing units)(1517A-1517N))의 세트를 포함할 수 있다.
적어도 하나의 실시예에서, FPU들(1514A-1514N)은, 단일-정밀도(single-precision)(32-비트) 및 반-정밀도(half-precision)(16-비트) 부동 소수점 연산들을 수행할 수 있는 반면, DPFPU들(1515A-1515N)은 더블 정밀도(double precision)(64-비트) 부동 소수점 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, ALU들(1516A-1516N)은, 8-비트, 16-비트 및 32-비트 정밀도로 가변 정밀도 정수 연산들을 수행할 수 있고 혼합된 정밀도 연산들을 위해 구성될 수 있다. 적어도 하나의 실시예에서, MPU들(1517A-1517N)은, 반-정밀도 부동 소수점 및 8-비트 정수 연산들을 포함하는, 혼합 정밀도 행렬 연산들을 위해 또한 구성될 수 있다. 적어도 하나의 실시예에서, MPU들(1517A-1517N)은, 가속된 GEMM(general matrix to matrix multiplication)에 대한 지원을 가능하게 하는 것을 포함하는, 머신 학습 애플리케이션 프레임워크들을 가속하기 위해 다양한 행렬 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, AFU들(1512A-1512N)은, 삼각 연산들(예를 들어, 사인, 코사인 등)을 포함하는, 부동-소수점 또는 정수 유닛들에 의해 지원되지 않는 추가적인 로직 연산들을 수행할 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은, 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 그래픽 코어(1500)에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 15b는, 적어도 하나의 실시예에서, 그래픽 처리 유닛들의 어레이에 의해 수행될 고도-병렬 컴퓨팅 연산들을 가능하게 하도록 구성될 수 있는 GPGPU(general-purpose processing unit)(1530)을 예시한다. 적어도 하나의 실시예에서, GPGPU(1530)는 심층 신경망들에 대한 훈련 속도를 개선하기 위해 멀티-GPU 클러스터를 생성하도록 GPGPU(1530)의 다른 인스턴스들에 직접 링크될 수 있다. 적어도 하나의 실시예에서, GPGPU(1530)는 호스트 프로세서와의 접속을 가능하게 하는 호스트 인터페이스(1532)를 포함한다. 적어도 하나의 실시예에서, 호스트 인터페이스(1532)는 PCI Express 인터페이스이다. 적어도 하나의 실시예에서, 호스트 인터페이스(1532)는 벤더 특정의 통신 인터페이스 또는 통신 패브릭일 수 있다. 적어도 하나의 실시예에서, GPGPU(1530)는 호스트 프로세서로부터 커맨드들을 수신하고, 이러한 커맨드들과 연관된 실행 스레드들을 컴퓨팅 클러스터들(1536A-1536H)의 세트에 분배하기 위해 글로벌 스케줄러(1534)를 사용한다. 적어도 하나의 실시예에서, 컴퓨팅 클러스터들(1536A-1536H)은 캐시 메모리(1538)를 공유한다. 적어도 하나의 실시예에서, 캐시 메모리(1538)는 컴퓨팅 클러스터들(1536A-1536H) 내의 캐시 메모리들에 대한 상위-레벨 캐시로서 역할을 할 수 있다.
적어도 하나의 실시예에서, GPGPU(1530)는 메모리 제어기들(1542A-1542B)의 세트를 통해 컴퓨팅 클러스터들(1536A-1536H)과 연결되는 메모리(1544A-1544B)를 포함한다. 적어도 하나의 실시예에서, 메모리(1544A-1544B)는, GDDR(graphics double data rate) 메모리를 포함하는, SGRAM(synchronous graphics random access memory)과 같은, DRAM(dynamic random access memory) 또는 그래픽 랜덤 액세스 메모리를 포함하는 다양한 타입들의 메모리 디바이스들을 포함할 수 있다.
적어도 하나의 실시예에서, 컴퓨팅 클러스터들(1536A-1536H)은, 머신 학습 계산들에 적합한 것을 포함하는 정밀도들의 범위에서 계산 연산들을 수행할 수 있는 다수의 타입의 정수 및 부동 소수점 로직 유닛들을 포함할 수 있는, 도 15a의 그래픽 코어(1500)와 같은, 그래픽 코어들의 세트를 각각 포함한다. 예를 들어, 적어도 하나의 실시예에서, 컴퓨팅 클러스터들(1536A-1536H) 각각에서의 부동 소수점 유닛들의 적어도 서브세트는 16-비트 또는 32-비트 부동 소수점 연산들을 수행하도록 구성될 수 있는 반면, 부동 소수점 유닛들의 상이한 서브세트는 64-비트 부동 소수점 연산들을 수행하도록 구성될 수 있다.
적어도 하나의 실시예에서, GPGPU(1530)의 다수의 인스턴스들은 컴퓨팅 클러스터로서 동작하도록 구성될 수 있다. 적어도 하나의 실시예에서, 동기화 및 데이터 교환을 위해 컴퓨팅 클러스터들(1536A-1536H)에 의해 사용되는 통신은 실시예들에 걸쳐 변한다. 적어도 하나의 실시예에서, GPGPU(1530)의 다수의 인스턴스들은 호스트 인터페이스(1532)를 통해 통신한다. 적어도 하나의 실시예에서, GPGPU(1530)는, GPGPU(1530)의 다른 인스턴스들에 대한 직접 접속을 가능하게 하는 GPU 링크(1540)와 GPGPU(1530)를 연결하는 I/O 허브(1539)를 포함한다. 적어도 하나의 실시예에서, GPU 링크(1540)는 GPGPU(1530)의 다수의 인스턴스들 사이의 통신 및 동기화를 가능하게 하는 전용 GPU-대-GPU 브릿지에 연결된다. 적어도 하나의 실시예에서, GPU 링크(1540)는 다른 GPGPU들 또는 병렬 프로세서들에 데이터를 송신 및 수신하기 위해 고속 인터커넥트와 연결된다. 적어도 하나의 실시예에서, GPGPU(1530)의 다수의 인스턴스들이 별개의 데이터 처리 시스템에 위치되고 호스트 인터페이스(1532)를 통해 액세스가능한 네트워크 디바이스를 통해 통신한다. 적어도 하나의 실시예에서, GPU 링크(1540)는 호스트 인터페이스(1532) 외에도 또는 이에 대한 대안으로서 호스트 프로세서로의 접속을 가능하게 하도록 구성될 수 있다.
적어도 하나의 실시예에서, GPGPU(1530)는 신경망들을 훈련시키도록 구성될 수 있다. 적어도 하나의 실시예에서, GPGPU(1530)는 추론 플랫폼 내에서 사용될 수 있다. GPGPU(1530)가 추론을 위해 사용되는 적어도 하나의 실시예에서, GPGPU는 GPGPU가 신경망을 훈련하기 위해 사용될 때에 비해 더 적은 컴퓨팅 클러스터들(1536A-1536H)을 포함할 수 있다. 적어도 하나의 실시예에서, 메모리(1544A-1544B)와 연관된 메모리 기술은 추론 구성과 훈련 구성 사이에 상이할 수 있고, 더 높은 대역폭 메모리 기술들이 훈련 구성들에 전용된다. 적어도 하나의 실시예에서, GPGPU(1530)의 추론 구성은 구체적인 명령어들을 추론하는 것을 지원할 수 있다. 예를 들어, 적어도 하나의 실시예에서, 추론 구성은, 배치된 신경망들에 대한 추론 연산들 동안 사용될 수 있는, 하나 이상의 8-비트 정수 내적 명령어들에 대한 지원을 제공할 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은, 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 GPGPU(1530)에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 16은, 적어도 하나의 실시예에 따른, 컴퓨팅 시스템(1600)을 예시하는 블록도이다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1600)은, 하나 이상의 프로세서(들)(1602), 및 메모리 허브(1605)를 포함할 수 있는 인터커넥트 경로를 통해 통신하는 시스템 메모리(1604)를 갖는 처리 서브시스템(1601)을 포함한다. 적어도 하나의 실시예에서, 메모리 허브(1605)는 칩셋 컴포넌트 내의 별개의 컴포넌트일 수 있거나 또는 하나 이상의 프로세서(들)(1602) 내에 통합될 수 있다. 적어도 하나의 실시예에서, 메모리 허브(1605)는 통신 링크(1606)를 통해 I/O 서브시스템(1611)과 연결된다. 적어도 하나의 실시예에서, I/O 서브시스템(1611)은 컴퓨팅 시스템(1600)이 하나 이상의 입력 디바이스(들)(1608)로부터 입력을 수신하는 것을 가능하게 할 수 있는 I/O 허브(1607)를 포함한다. 적어도 하나의 실시예에서, I/O 허브(1607)는 하나 이상의 프로세서(들)(1602)에 포함될 수 있는 디스플레이 제어기가 하나 이상의 디스플레이 디바이스(들)(1610A)에 출력들을 제공하는 것을 가능하게 할 수 있다. 적어도 하나의 실시예에서, I/O 허브(1607)와 연결되는 하나 이상의 디스플레이 디바이스(들)(1610A)는, 로컬, 내부, 또는 내장 디스플레이 디바이스를 포함할 수 있다.
적어도 하나의 실시예에서, 처리 서브시스템(1601)은 버스 또는 다른 통신 링크(1613)를 통해 메모리 허브(1605)에 연결되는 하나 이상의 병렬 프로세서(들)(1612)를 포함한다. 적어도 하나의 실시예에서, 통신 링크(1613)는, 이에 제한되는 것은 아니지만 PCI Express와 같은, 임의의 수의 표준 기반 통신 링크 기술들 또는 프로토콜들 중 하나일 수 있거나, 또는 벤더 특정의 통신 인터페이스 또는 통신 패브릭일 수 있다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1612)는, MIC(many integrated core) 프로세서와 같은, 많은 수의 처리 코어들 및/또는 처리 클러스터들을 포함할 수 있는 계산적으로 집중된 병렬 또는 벡터 처리 시스템을 형성한다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1612)는 전부는 픽셀들을 I/O 허브(1607)를 통해 연결되는 하나 이상의 디스플레이 디바이스(들)(1610A) 중 하나에 출력할 수 있는 그래픽 처리 서브시스템을 형성한다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1612)는 하나 이상의 디스플레이 디바이스(들)(1610B)로의 직접 접속을 가능하게 하는 디스플레이 제어기 및 디스플레이 인터페이스(도시되지 않음)를 또한 포함할 수 있다.
적어도 하나의 실시예에서, 시스템 스토리지 유닛(1614)은 컴퓨팅 시스템(1600)에 대한 스토리지 메커니즘을 제공하기 위해 I/O 허브(1607)에 접속할 수 있다. 적어도 하나의 실시예에서, I/O 스위치(1616)는, 플랫폼에 통합될 수 있는 네트워크 어댑터(1618) 및/또는 무선 네트워크 어댑터(1619), 및 하나 이상의 애드-인 디바이스(들)(1620)를 통해 추가될 수 있는 다양한 다른 디바이스들과 같은, 다른 컴포넌트들과 I/O 허브(1607) 사이의 접속들을 가능하게 하는 인터페이스 메커니즘을 제공하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 네트워크 어댑터(1618)는 Ethernet 어댑터 또는 다른 유선 네트워크 어댑터일 수 있다. 적어도 하나의 실시예에서, 무선 네트워크 어댑터(1619)는, Wi-Fi, Bluetooth, NFC(near field communication), 또는 하나 이상의 무선 라디오를 포함하는 다른 네트워크 디바이스 중 하나 이상을 포함할 수 있다.
적어도 하나의 실시예에서, 컴퓨팅 시스템(1600)은 USB 또는 다른 포트 접속들, 광학 스토리지 드라이브들, 비디오 캡처 디바이스들 등을 포함하는, 명시적으로 도시되지 않은 다른 컴포넌트들을 포함할 수 있고, I/O 허브(1607)에 또한 접속될 수 있다. 적어도 하나의 실시예에서, 도 16에서의 다양한 컴포넌트들을 인터커넥트하는 통신 경로들은, PCI(Peripheral Component Interconnect) 기반 프로토콜들(예를 들어, PCI-Express)과 같은, 임의의 적합한 프로토콜들, 또는, NV-링크 고속 인터커넥트 또는 인터커넥트 프로토콜들과 같은, 다른 버스 또는 포인트-투-포인트 통신 인터페이스들 및/또는 프로토콜(들)을 사용하여 구현될 수 있다.
적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1612)는, 예를 들어, 비디오 출력 회로를 포함하는, 그래픽 및 비디오 처리에 최적화된 회로를 포함하고, GPU(graphics processing unit)를 구성한다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1612)는 범용 처리를 위해 최적화된 회로를 포함한다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1600)의 컴포넌트들은 단일의 집적 회로 상의 하나 이상의 다른 시스템 엘리먼트와 통합될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1612), 메모리 허브(1605), 프로세서(들)(1602), 및 I/O 허브(1607)는 SoC(system on chip) 집적 회로에 통합될 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1600)의 컴포넌트들은 SIP(system in package) 구성을 형성하기 위해 단일의 패키지 내에 통합될 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1600)의 컴포넌트의 적어도 일부는 MCM(multi-chip module)에 통합될 수 있고, 이는 다른 멀티-칩 모듈들과 인터커넥트되어 모듈식 컴퓨팅 시스템이 될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 시스템 도 1600에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
프로세서들
도 17a는, 적어도 하나의 실시예에 따른, 병렬 프로세서(1700)를 예시한다. 적어도 하나의 실시예에서, 병렬 프로세서(1700)의 다양한 컴포넌트들은, 프로그램가능 프로세서들, ASIC들(application specific integrated circuits), 또는 FPGA(field programmable gate arrays)와 같은, 하나 이상의 집적 회로 디바이스를 사용하여 구현될 수 있다. 적어도 하나의 실시예에서, 예시된 병렬 프로세서(1700)는 예시적인 실시예에 따라 도 16에 도시되는 하나 이상의 병렬 프로세서(들)(1612)의 변형이다.
적어도 하나의 실시예에서, 병렬 프로세서(1700)는 병렬 처리 유닛(1702)을 포함한다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1702)은, 병렬 처리 유닛(1702)의 다른 인스턴스들을 포함하는 다른 디바이스들과의 통신을 가능하게 하는 I/O 유닛(1704)을 포함한다. 적어도 하나의 실시예에서, I/O 유닛(1704)은 다른 디바이스들에 직접 접속될 수 있다. 적어도 하나의 실시예에서, I/O 유닛(1704)은 메모리 허브(1605)와 같은 허브 또는 스위치 인터페이스의 사용을 통해 다른 디바이스들과 접속한다. 적어도 하나의 실시예에서, 메모리 허브(1605)와 I/O 유닛(1704) 사이의 접속들은 통신 링크(1613)를 형성한다. 적어도 하나의 실시예에서, I/O 유닛(1704)은 호스트 인터페이스(1706) 및 메모리 크로스바(1716)와 접속되고, 여기서 호스트 인터페이스(1706)는 처리 연산들을 수행하도록 지향되는 커맨드들을 수신하고 메모리 크로스바(1716)는 메모리 연산들을 수행하도록 지향되는 커맨드들을 수신한다.
적어도 하나의 실시예에서, 호스트 인터페이스(1706)가 I/O 유닛(1704)을 통해 커맨드 버퍼를 수신할 때, 호스트 인터페이스(1706)는 이들 커맨드들을 수행하기 위한 작업 연산들을 프론트 엔드(1708)에 지향시킬 수 있다. 적어도 하나의 실시예에서, 프론트 엔드(1708)는 커맨드들 또는 다른 작업 항목들을 처리 클러스터 어레이(1712)에 분배하도록 구성되는 스케줄러(1710)와 연결된다. 적어도 하나의 실시예에서, 스케줄러(1710)는 태스크들이 처리 클러스터 어레이(1712)에 분배되기 전에 처리 클러스터 어레이(1712)가 적절하게 구성되고 유효 상태에 있는 것을 보장한다. 적어도 하나의 실시예에서, 스케줄러(1710)는 마이크로제어기 상에서 실행되는 펌웨어 로직을 통해 구현된다. 적어도 하나의 실시예에서, 마이크로제어기 구현된 스케줄러(1710)는, 복잡한 스케줄링 및 작업 분배 연산들을 대략적 및 미세한 입도로 수행하도록 구성가능하여, 처리 어레이(1712)에서 실행되는 스레드들의 신속한 선점 및 컨텍스트 스위칭을 가능하게 한다. 적어도 하나의 실시예에서, 호스트 소프트웨어는 다수의 그래픽 처리 도어벨들 중 하나를 통해 처리 어레이(1712) 상에서 스케줄링하기 위한 작업부하들을 증명할 수 있다. 적어도 하나의 실시예에서, 작업부하들은 다음으로 스케줄러(1710)를 포함하는 마이크로제어기 내의 스케줄러(1710) 로직에 의해 처리 어레이(1712)에 걸쳐 자동으로 분배될 수 있다.
적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)는 최대 "N"개의 처리 클러스터(예를 들어, 클러스터(1714A), 클러스터(1714B), 내지 클러스터(1714N))를 포함할 수 있다. 적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)의 각각의 클러스터(1714A-1714N)는 많은 수의 동시 스레드들을 실행할 수 있다. 적어도 하나의 실시예에서, 스케줄러(1710)는, 각각의 타입의 프로그램 또는 계산에 대해 발생하는 작업부하에 의존하여 변할 수 있는, 다양한 스케줄링 및/또는 작업 분배 알고리즘을 사용하여 처리 클러스터 어레이(1712)의 클러스터들(1714A-1714N)에 작업을 할당할 수 있다. 적어도 하나의 실시예에서, 스케줄링은 스케줄러(1710)에 의해 동적으로 핸들링될 수 있거나, 또는 처리 클러스터 어레이(1712)에 의한 실행을 위해 구성되는 프로그램 로직의 컴파일 동안 컴파일러 로직에 의해 부분적으로 보조를 받을 수 있다. 적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)의 상이한 클러스터들(1714A-1714N)은, 상이한 타입들의 프로그램들의 처리 또는 상이한 타입들의 계산들의 수행을 위해 할당될 수 있다.
적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)는 다양한 타입들의 병렬 처리 연산들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)는 범용 병렬 컴퓨팅 연산을 수행하도록 구성된다. 예를 들어, 적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)는, 비디오 및/또는 오디오 데이터의 필터링, 물리 연산들을 포함하는, 모델링 연산들의 수행, 및 데이터 변환들의 수행을 포함하는 처리 태스크들을 실행하는 로직을 포함할 수 있다.
적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)는 병렬 그래픽 처리 연산들을 수행하도록 구성된다. 적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)는, 이에 제한되는 것은 아니지만, 텍스처 연산들을 수행하는 텍스처 샘플링 로직 뿐만 아니라, 테셀레이션 로직 및 다른 버텍스 처리 로직을 포함하는, 이러한 그래픽 처리 연산들의 실행을 지원하는 추가적인 로직을 포함할 수 있다. 적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)는, 이에 제한되는 것은 아니지만, 버텍스 셰이더들, 테셀레이션 셰이더들, 지오메트리 셰이더들, 및 픽셀 셰이더들과 같은, 그래픽 처리 관련 셰이더 프로그램들을 실행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1702)은 처리를 위해 I/O 유닛(1704)을 통해 시스템 메모리로부터 데이터를 전송할 수 있다. 적어도 하나의 실시예에서, 처리 동안, 전송된 데이터는 처리 동안 온-칩 메모리(예를 들어, 병렬 프로세서 메모리(1722))에 저장될 수 있고, 다음으로 시스템 메모리에 다시 기입될 수 있다.
적어도 하나의 실시예에서, 병렬 처리 유닛(1702)이 그래픽 처리를 수행하기 위해 사용될 때, 스케줄러(1710)는 처리 클러스터 어레이(1712)의 다수의 클러스터들(1714A-1714N)에 대한 그래픽 처리 연산들의 분배를 더 양호하게 가능하게 하기 위해, 처리 작업부하를 대략 동일한 크기의 태스크들로 분할하도록 구성될 수 있다. 적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)의 부분들은 상이한 타입들의 처리를 수행하도록 구성될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 제1 부분은 버텍스 셰이딩 및 토폴로지 생성을 수행하도록 구성될 수 있고, 제2 부분은 테셀레이션 및 지오메트리 셰이딩을 수행하도록 구성될 수 있고, 제3 부분은, 디스플레이를 위한 렌더링된 이미지를 생산하기 위해 픽셀 셰이딩 또는 다른 스크린 공간 연산들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 클러스터(1714A-1714N) 중 하나 이상에 의해 생산되는 중간 데이터는 중간 데이터가 추가 처리를 위해 클러스터들(1714A-1714N) 사이에 송신되는 것을 허용하기 위해 버퍼들에 저장될 수 있다.
적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)는, 프론트 엔드(1708)로부터 처리 태스크들을 정의하는 커맨드들을 수신하는 스케줄러(1710)를 통해 실행될 처리 태스크들을 수신할 수 있다. 적어도 하나의 실시예에서, 처리 태스크들은 처리될 데이터의 인덱스들, 예를 들어, 표면 (패치) 데이터, 프리미티브 데이터, 버텍스 데이터, 및/또는 픽셀 데이터 뿐만 아니라, 데이터가 어떻게 처리될지(예를 들어, 어떤 프로그램이 실행될지)를 정의하는 상태 파라미터들 및 커맨드들을 포함할 수 있다. 적어도 하나의 실시예에서, 스케줄러(1710)는 태스크들에 대응하는 인덱스들을 인출하도록 구성될 수 있거나 또는 프론트 엔드(1708)로부터 인덱스들을 수신할 수 있다. 적어도 하나의 실시예에서, 프론트 엔드(1708)는, 인입 커맨드 버퍼들(예를 들어, 일괄-버퍼들, 푸시 버퍼들 등)에 의해 명시되는 작업부하가 착수되기 전에 처리 클러스터 어레이(1712)가 유효한 상태로 구성되는 것을 보장하도록 구성될 수 있다.
적어도 하나의 실시예에서, 병렬 처리 유닛(1702)의 하나 이상의 인스턴스 각각은 병렬 프로세서 메모리(1722)와 연결될 수 있다. 적어도 하나의 실시예에서, 병렬 프로세서 메모리(1722)는, 처리 클러스터 어레이(1712) 뿐만 아니라 I/O 유닛(1704)으로부터 메모리 요청을 수신할 수 있는 메모리 크로스바(1716)를 통해 액세스될 수 있다. 적어도 하나의 실시예에서, 메모리 크로스바(1716)는 메모리 인터페이스(1718)를 통해 병렬 프로세서 메모리(1722)에 액세스할 수 있다. 적어도 하나의 실시예에서, 메모리 인터페이스(1718)는, 병렬 프로세서 메모리(1722)의 일부(예를 들어, 메모리 유닛)에 각각 연결될 수 있는 다수의 파티션 유닛들(예를 들어, 파티션 유닛(1720A), 파티션 유닛(1720B), 내지 파티션 유닛(1720N))을 포함할 수 있다. 적어도 하나의 실시예에서, 파티션 유닛(1720A-1720N)의 수는 메모리 유닛의 수와 동일하도록 구성되어, 제1 파티션 유닛(1720A)이 대응하는 제1 메모리 유닛(1724A)을 갖고, 제2 파티션 유닛(1720B)이 대응하는 메모리 유닛(1724B)을 갖고, 제N 파티션 유닛(1720N)이 대응하는 제N 메모리 유닛(1724N)을 갖는다. 적어도 하나의 실시예에서, 파티션 유닛들(1720A-1720N)의 수는 메모리 디바이스들의 수와 동일하지 않을 수 있다.
적어도 하나의 실시예에서, 메모리 유닛들(1724A-1724N)은, GDDR(graphics double data rate) 메모리를 포함하는, SGRAM(synchronous graphics random access memory)과 같은, DRAM(dynamic random access memory) 또는 그래픽 랜덤 액세스 메모리를 포함하는 다양한 타입들의 메모리 디바이스들을 포함할 수 있다. 적어도 하나의 실시예에서, 메모리 유닛(1724A-1724N)은, 이에 제한되는 것은 아니지만 HBM(high bandwidth memory)을 포함하는, 3D 스택형 메모리를 또한 포함할 수 있다. 적어도 하나의 실시예에서, 프레임 버퍼들 또는 텍스처 맵들과 같은 렌더 타겟들은 메모리 유닛들(1724A-1724N)에 걸쳐 저장될 수 있어서, 파티션 유닛들(1720A-1720N)이 병렬 프로세서 메모리(1722)의 이용가능한 대역폭을 효율적으로 사용하기 위해 각각의 렌더 타겟의 부분들에 병렬로 기입하는 것을 허용한다. 적어도 하나의 실시예에서, 병렬 프로세서 메모리(1722)의 로컬 인스턴스는, 로컬 캐시 메모리와 함께 시스템 메모리를 이용하는 통합 메모리 설계를 위해 제외될 수 있다.
적어도 하나의 실시예에서, 처리 클러스터 어레이(1712)의 클러스터들(1714A-1714N) 중 임의의 하나는 병렬 프로세서 메모리(1722) 내의 메모리 유닛들(1724A-1724N) 중 임의의 것에 기입될 데이터를 처리할 수 있다. 적어도 하나의 실시예에서, 메모리 크로스바(1716)는, 각각의 클러스터(1714A-1714N)의 출력을, 임의의 파티션 유닛(1720A-1720N)에 또는 출력에 관한 추가적인 처리 연산들을 수행할 수 있는 다른 클러스터(1714A-1714N)에 전송하도록 구성될 수 있다. 적어도 하나의 실시예에서, 각각의 클러스터(1714A-1714N)는 다양한 외부 메모리 디바이스로부터 판독하거나 또는 이에 기입하기 위해 메모리 크로스바(1716)를 통해 메모리 인터페이스(1718)와 통신할 수 있다. 적어도 하나의 실시예에서, 메모리 크로스바(1716)는, I/O 유닛(1704)과 통신하기 위한 메모리 인터페이스(1718)에 대한 접속 뿐만 아니라, 병렬 프로세서 메모리(1722)의 로컬 인스턴스에 대한 접속을 갖고 있어서, 상이한 처리 클러스터들(1714A-1714N) 내의 처리 유닛들이 병렬 처리 유닛(1702)에 대해 로컬이 아닌 시스템 메모리 또는 다른 메모리와 통신하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 메모리 크로스바(1716)는 클러스터들(1714A-1714N)과 파티션 유닛들(1720A-1720N) 사이의 트래픽 스트림들을 분리하기 위해 가상 채널들을 사용할 수 있다.
적어도 하나의 실시예에서, 병렬 처리 유닛(1702)의 다수의 인스턴스들이 단일의 애드-인 카드 상에 제공될 수 있거나, 또는 다수의 애드-인 카드들이 인터커넥트될 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1702)의 상이한 인스턴스들은 심지어 상이한 인스턴스들이 상이한 수의 처리 코어들, 상이한 양의 로컬 병렬 프로세서 메모리, 및/또는 다른 구성 차이들을 갖더라도 상호-동작하도록 구성될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 병렬 처리 유닛(1702)의 일부 인스턴스들은 다른 인스턴스들에 비해 더 높은 정밀도 부동 소수점 유닛을 포함할 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1702) 또는 병렬 프로세서(1700)의 하나 이상의 인스턴스를 통합하는 시스템들은, 이에 제한되는 것은 아니지만 데스크톱, 랩톱 또는 핸드헬드 개인용 컴퓨터들, 서버들, 워크스테이션들, 게임 콘솔들, 및/또는 내장 시스템들을 포함하는 다양한 구성 및 폼 팩터로 구현될 수 있다.
도 17b는, 적어도 하나의 실시예에 따른, 파티션 유닛(1720)의 블록도이다. 적어도 하나의 실시예에서, 파티션 유닛(1720)은 도 17a의 파티션 유닛들(1720A-1720N) 중 하나의 인스턴스이다. 적어도 하나의 실시예에서, 파티션 유닛(1720)은 L2 캐시(1721), 프레임 버퍼 인터페이스(1725), 및 "ROP"(1726)(raster operations unit)를 포함한다. L2 캐시(1721)는 메모리 크로스바(1716) 및 ROP(1726)로부터 수신되는 로딩 및 저장 연산들을 수행하도록 구성되는 판독/기입 캐시이다. 적어도 하나의 실시예에서, 처리를 위해 L2 캐시(1721)에 의해 프레임 버퍼 인터페이스(1725)에 판독 미스들 및 라이트-백(write-back) 요청들이 출력된다. 적어도 하나의 실시예에서, 처리를 위해 프레임 버퍼 인터페이스(1725)를 통해 프레임 버퍼에 업데이트가 또한 전송될 수 있다. 적어도 하나의 실시예에서, 프레임 버퍼 인터페이스(1725)는, (예를 들어, 병렬 프로세서 메모리(1722) 내의) 도 17의 메모리 유닛들(1724A-1724N)과 같은, 병렬 프로세서 메모리에서의 메모리 유닛들 중 하나와 인터페이스한다.
적어도 하나의 실시예에서, ROP(1726)는 스텐실, z 테스트, 혼합 등과 같은 래스터 연산들을 수행하는 처리 유닛이다. 적어도 하나의 실시예에서, 다음으로 ROP(1726)는 그래픽 메모리에 저장되는 처리된 그래픽 데이터를 출력한다. 적어도 하나의 실시예에서, ROP(1726)는, 메모리에 기입되는 심도 또는 컬러 데이터를 압축하고 메모리로부터 판독되는 심도 또는 컬러 데이터를 압축해제하는 압축 로직을 포함한다. 적어도 하나의 실시예에서, 압축 로직은 다수의 압축 알고리즘들 중 하나 이상을 사용하는 무손실 압축 로직일 수 있다. ROP(1726)에 의해 수행되는 압축 로직은 압축될 데이터의 통계적 특성에 기초하여 변할 수 있다. 예를 들어, 적어도 하나의 실시예에서, 타일-당 기초로 심도 및 컬러 데이터에 대해 델타 컬러 압축이 수행된다.
적어도 하나의 실시예에서, ROP(1726)는, 파티션 유닛(1720) 내에 대신에, 각각의 처리 클러스터(예를 들어, 도 17a의 클러스터(1714A-1714N)) 내에 포함된다. 적어도 하나의 실시예에서, 픽셀 데이터에 대한 판독 및 기입 요청들은, 픽셀 프래그먼트 데이터 대신에 메모리 크로스바(1716)를 통해 송신된다. 적어도 하나의 실시예에서, 처리된 그래픽 데이터는 도 16의 하나 이상의 디스플레이 디바이스(들)(1610) 중 하나와 같은 디스플레이 디바이스 상에 디스플레이되거나, 프로세서(들)(1602)에 의한 추가 처리를 위해 라우팅되거나, 또는 도 17a의 병렬 프로세서(1700) 내의 처리 엔티티들 중 하나에 의한 추가 처리를 위해 라우팅될 수 있다.
도 17c는, 적어도 하나의 실시예에 따른, 병렬 처리 유닛 내의 처리 클러스터(1714)의 블록도이다. 적어도 하나의 실시예에서, 처리 클러스터는 도 17a의 처리 클러스터들(1714A-1714N) 중 하나의 인스턴스이다. 적어도 하나의 실시예에서, 처리 클러스터(들)(1714) 중 하나 이상은 많은 스레드들을 병렬로 실행하도록 구성될 수 있으며, 여기서 "스레드(thread)"는 입력 데이터의 특정 세트 상에서 실행되는 특정 프로그램의 인스턴스를 지칭한다. 적어도 하나의 실시예에서, SIMD(single-instruction, multiple-data) 명령어 발행 기술들은, 다수의 독립적인 명령어 유닛들을 제공하지 않고 많은 수의 스레드의 병렬 실행을 지원하기 위해 사용된다. 적어도 하나의 실시예에서, 처리 클러스터들 각각 내의 처리 엔진들의 세트에 명령어들을 발행하도록 구성되는 공통 명령어 유닛을 사용하여, 많은 수의 일반적으로 동기화된 스레드들의 병렬 실행을 지원하기 위해 SIMT(single-instruction, multiple-thread) 기술들이 사용된다.
적어도 하나의 실시예에서, 처리 클러스터(1714)의 연산은, 처리 태스크들을 SIMT 병렬 프로세서들에 분배하는 파이프라인 관리기(1732)를 통해 제어될 수 있다. 적어도 하나의 실시예에서, 파이프라인 관리기(1732)는 도 17a의 스케줄러(1710)로부터 명령어를 수신하고 그래픽 멀티프로세서(1734) 및/또는 텍스처 유닛(1736)을 통해 이러한 명령어들의 실행을 관리한다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 SIMT 병렬 프로세서의 예시적인 인스턴스이다. 그러나, 적어도 하나의 실시예에서, 상이한 아키텍처들의 다양한 타입들의 SIMT 병렬 프로세서들이 처리 클러스터(1714) 내에 포함될 수 있다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)의 하나 이상의 인스턴스가 처리 클러스터(1714) 내에 포함될 수 있다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 데이터를 처리할 수 있고 데이터 크로스바(1740)는 처리된 데이터를 다른 셰이더 유닛들을 포함하는 다수의 가능한 목적지들 중 하나에 분배하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 파이프라인 관리기(1732)는 데이터 크로스바(1740)를 통해 분배될 처리된 데이터에 대한 목적지를 명시하는 것에 의해 처리되는 데이터의 분배를 용이하게 할 수 있다.
적어도 하나의 실시예에서, 처리 클러스터(1714) 내의 각각의 그래픽 멀티프로세서(1734)는 기능 실행 로직의 동일한 세트(예를 들어, 산술 로직 유닛들, 로딩-저장 유닛들 등)를 포함할 수 있다. 적어도 하나의 실시예에서, 기능 실행 로직은 이전 명령어들이 완료되기 전에 새로운 명령어들이 발행될 수 있는 파이프라인 방식으로 구성될 수 있다. 적어도 하나의 실시예에서, 기능 실행 로직은, 정수 및 부동 소수점 산술, 비교 연산들, 부울 연산들, 비트 시프팅, 및 다양한 대수 함수들의 계산을 포함하는 다양한 연산을 지원한다. 적어도 하나의 실시예에서, 상이한 연산들을 수행하기 위해 동일한 기능-유닛 하드웨어가 활용 수 있고 기능 유닛들의 임의의 조합이 존재할 수 있다.
적어도 하나의 실시예에서, 처리 클러스터(1714)에 송신되는 명령어들이 스레드를 구성한다. 적어도 하나의 실시예에서, 병렬 처리 엔진들의 세트에 걸쳐 실행되는 스레드들의 세트가 스레드 그룹이다. 적어도 하나의 실시예에서, 스레드 그룹은 상이한 입력 데이터에 대해 프로그램을 실행한다. 적어도 하나의 실시예에서, 스레드 그룹 내의 각각의 스레드는 그래픽 멀티프로세서(1734) 내의 상이한 처리 엔진에 배정될 수 있다. 적어도 하나의 실시예에서, 스레드 그룹은 그래픽 멀티프로세서(1734) 내의 처리 엔진의 수 미만인 스레드들을 포함할 수 있다. 적어도 하나의 실시예에서, 스레드 그룹이 처리 엔진들의 수 미만인 수의 스레드들을 포함할 때, 처리 엔진들 중 하나 이상은 해당 스레드 그룹이 처리되고 있는 사이클들 동안 유휴 상태일 수 있다. 적어도 하나의 실시예에서, 스레드 그룹은 그래픽 멀티프로세서(1734) 내의 처리 엔진의 수보다 많은 스레드들을 또한 포함할 수 있다. 적어도 하나의 실시예에서, 스레드 그룹이 그래픽 멀티프로세서(1734) 내의 처리 엔진들보다 많은 스레드들을 포함할 때, 처리는 연속적인 클록 사이클들에 걸쳐 수행될 수 있다. 적어도 하나의 실시예에서, 다수의 스레드 그룹들이 그래픽 멀티프로세서(1734) 상에서 동시에 실행될 수 있다.
적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 로딩 및 저장 연산들을 수행하는 내부 캐시 메모리를 포함한다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 내부 캐시를 사용하지 않고 처리 클러스터(1714) 내의 캐시 메모리(예를 들어, L1 캐시(1748))를 사용할 수 있다. 적어도 하나의 실시예에서, 각각의 그래픽 멀티프로세서(1734)는 모든 처리 클러스터들(1714) 사이에서 공유되고 스레드들 사이에서 데이터를 전송하기 위해 사용될 수 있는 파티션 유닛들(예를 들어, 도 17a의 파티션 유닛들(1720A-1720N)) 내의 L2 캐시들에 대한 액세스를 또한 갖는다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 로컬 병렬 프로세서 메모리 및/또는 시스템 메모리 중 하나 이상을 포함할 수 있는 오프-칩 글로벌 메모리에 또한 액세스할 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1702) 외부의 임의의 메모리가 글로벌 메모리로서 사용될 수 있다. 적어도 하나의 실시예에서, 처리 클러스터(1714)는 그래픽 멀티프로세서(1734)의 다수의 인스턴스들을 포함하고, L1 캐시(1748)에 저장될 수 있는 공통 명령어들 및 데이터를 공유할 수 있다.
적어도 하나의 실시예에서, 각각의 처리 클러스터(1714)는 가상 어드레스들을 물리 어드레스들로 매핑하도록 구성되는 "MMU"(1745)(memory management unit)를 포함할 수 있다. 적어도 하나의 실시예에서, MMU(1745)의 하나 이상의 인스턴스는 도 17a의 메모리 인터페이스(1718) 내에 상주할 수 있다. 적어도 하나의 실시예에서, MMU(1745)는 가상 어드레스를 타일의 물리 어드레스 및 선택적으로 캐시 라인 인덱스에 매핑하기 위해 사용되는 PTE들(page table entries)의 세트를 포함한다. 적어도 하나의 실시예에서, MMU(1745)는 그래픽 멀티프로세서(1734) 또는 L1 캐시 또는 처리 클러스터(1714) 내에 상주할 수 있는 어드레스 TLB(translation lookaside buffers) 또는 캐시들을 포함할 수 있다. 적어도 하나의 실시예에서, 물리 어드레스는 파티션 유닛들 사이의 효율적인 요청 인터리빙을 허용하기 위해 표면 데이터 액세스 로컬성을 분배하도록 처리된다. 적어도 하나의 실시예에서, 캐시 라인에 대한 요청이 히트인지 또는 미스인지를 결정하기 위해 캐시 라인 인덱스가 사용될 수 있다.
적어도 하나의 실시예에서, 각각의 그래픽 멀티프로세서(1734)가 텍스처 매핑 연산들, 예를 들어, 텍스처 샘플 위치들을 결정하고, 텍스처 데이터를 판독하고, 텍스처 데이터를 필터링하는 것을 수행하기 위해 텍스처 유닛(1736)에 연결되도록 처리 클러스터(1714)가 구성될 수 있다. 적어도 하나의 실시예에서, 텍스처 데이터는, 내부 텍스처 L1 캐시(도시되지 않음) 또는 그래픽 멀티프로세서(1734) 내의 L1 캐시로부터 판독되고, 필요에 따라, L2 캐시, 로컬 병렬 프로세서 메모리, 또는 시스템 메모리로부터 인출된다. 적어도 하나의 실시예에서, 각각의 그래픽 멀티프로세서(1734)는 처리된 태스크들을 데이터 크로스바(1740)에 출력하여, 처리된 태스크(들)를 추가 처리를 위해 다른 처리 클러스터(1714)에 제공하거나 또는 처리된 태스크(들)를 메모리 크로스바(1716)를 통해 L2 캐시, 로컬 병렬 프로세서 메모리 또는 시스템 메모리에 저장한다. 적어도 하나의 실시예에서, preROP(1742)(pre-raster operations unit)는 그래픽 멀티프로세서(1734)로부터 데이터를 수신하도록, 그리고, 본 명세서에 설명되는 바와 같은 파티션 유닛들(예를 들어, 도 17a의 파티션 유닛들(1720A-1720N))과 함께 위치될 수 있는, ROP 유닛들에 데이터를 지향하도록 구성될 수 있다. 적어도 하나의 실시예에서, PreROP(1742) 유닛은 컬러 혼합을 위한 최적화들을 수행하고, 픽셀 컬러 데이터를 조직화하고, 어드레스 변환들을 수행할 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은, 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 그래픽 처리 클러스터(1714)에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 17d는, 적어도 하나의 실시예에 따른, 그래픽 멀티프로세서(1734)를 도시한다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 처리 클러스터(1714)의 파이프라인 관리기(1732)와 연결된다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는, 이에 제한되는 것은 아니지만 명령어 캐시(1752), 명령어 유닛(1754), 어드레스 매핑 유닛(1756), 레지스터 파일(1758), 하나 이상의 범용 그래픽 처리 유닛(GPGPU) 코어(1762), 및 하나 이상의 로딩/저장 유닛(1766)을 포함하는, 실행 파이프라인을 갖는다. GPGPU 코어들(1762) 및 로딩/저장 유닛들(1766)은 메모리 및 캐시 인터커넥트(1768)를 통해 캐시 메모리(1772) 및 공유 메모리(1770)와 연결된다.
적어도 하나의 실시예에서, 명령어 캐시(1752)는 파이프라인 관리기(1732)로부터 실행할 명령어들의 스트림을 수신한다. 적어도 하나의 실시예에서, 명령어들은 명령어 캐시(1752)에서 캐싱되고 명령어 유닛(1754)에 의한 실행을 위해 디스패치된다. 적어도 하나의 실시예에서, 명령어 유닛(1754)은 명령어들을 스레드 그룹들(예를 들어, 워프들)로서 디스패치할 수 있고, 각각의 스레드 그룹은 GPGPU 코어(들)(1762) 내의 상이한 실행 유닛에 배정된다. 적어도 하나의 실시예에서, 명령어는, 통합 어드레스 공간 내의 어드레스를 명시하는 것에 의해 로컬, 공유, 또는 글로벌 어드레스 공간 중 임의의 것에 액세스할 수 있다. 적어도 하나의 실시예에서, 어드레스 매핑 유닛(1756)은 통합 어드레스 공간에서의 어드레스들을 로딩/저장 유닛들(1766)에 의해 액세스될 수 있는 별개의 메모리 어드레스로 변환하기 위해 사용될 수 있다.
적어도 하나의 실시예에서, 레지스터 파일(1758)은 그래픽 멀티프로세서(1734)의 기능 유닛들에 대한 레지스터들의 세트를 제공한다. 적어도 하나의 실시예에서, 레지스터 파일(1758)은 그래픽 멀티프로세서(1734)의 기능 유닛들(예를 들어, GPGPU 코어들(1762), 로딩/저장 유닛들(1766))의 데이터 경로들에 접속되는 피연산자들에 대한 임시 스토리지를 제공한다. 적어도 하나의 실시예에서, 레지스터 파일(1758)은 기능 유닛들 각각 사이에서 분할되어, 각각의 기능 유닛이 레지스터 파일(1758)의 전용 부분에 할당된다. 적어도 하나의 실시예에서, 레지스터 파일(1758)은 그래픽 멀티프로세서(1734)에 의해 실행되는 상이한 워프들 사이에서 분할된다.
적어도 하나의 실시예에서, GPGPU 코어들(1762)은 그래픽 멀티프로세서(1734)의 명령어들을 실행하기 위해 사용되는 FPU들(floating point units) 및/또는 정수 ALU들(arithmetic logic units)을 각각 포함할 수 있다. GPGPU 코어들(1762)은 아키텍처가 유사할 수 있거나 또는 아키텍처가 상이할 수 있다. 적어도 하나의 실시예에서, GPGPU 코어들(1762)의 제1 부분은 단일의 정밀도 FPU 및 정수 ALU를 포함하는 반면, GPGPU 코어들의 제2 부분은 더블 정밀도 FPU를 포함한다. 적어도 하나의 실시예에서, FPU는 부동 소수점 산술을 위한 IEEE 754-2008 표준을 구현하거나 또는 가변 정밀도 부동 소수점 산술을 가능하게 할 수 있다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는, 직사각형 복사 또는 픽셀 혼합 연산들과 같은 구체적인 기능들을 수행하는 하나 이상의 고정 기능 또는 특수 기능 유닛들을 추가적으로 포함할 수 있다. 적어도 하나의 실시예에서, GPGPU 코어들 중 하나 이상은 고정 또는 특수 기능 로직을 또한 포함할 수 있다.
적어도 하나의 실시예에서, GPGPU 코어들(1762)은 데이터의 다수의 세트들에 대해 단일의 명령어를 수행할 수 있는 SIMD 로직을 포함한다. 적어도 하나의 실시예에서, GPGPU 코어들(1762)은 SIMD4, SIMD8, 및 SIMD16 명령어들을 물리적으로 실행하고 SIMD1, SIMD2, 및 SIMD32 명령어들을 논리적으로 실행할 수 있다. 적어도 하나의 실시예에서, GPGPU 코어들에 대한 SIMD 명령어들은 셰이더 컴파일러에 의한 컴파일 시간에 생성되거나 또는 SPMD(single program multiple data) 또는 SIMT 아키텍처들에 대해 작성되고 컴파일되는 프로그램들을 실행할 때 자동으로 생성될 수 있다. 적어도 하나의 실시예에서, SIMT 실행 모델에 대해 구성되는 프로그램의 다수의 스레드들은 단일의 SIMD 명령어를 통해 실행될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 동일한 또는 유사한 연산들을 수행하는 8개의 SIMT 스레드들은 단일의 SIMD8 로직 유닛을 통해 병렬로 실행될 수 있다.
적어도 하나의 실시예에서, 메모리 및 캐시 인터커넥트(1768)는, 그래픽 멀티프로세서(1734)의 각각의 기능 유닛을 레지스터 파일(1758)에 그리고 공유 메모리(1770)에 접속하는 인터커넥트 네트워크이다. 적어도 하나의 실시예에서, 메모리 및 캐시 인터커넥트(1768)는 로딩/저장 유닛(1766)이 공유 메모리(1770)와 레지스터 파일(1758) 사이의 로딩 및 저장 연산들을 구현하는 것을 허용하는 크로스바 인터커넥트이다. 적어도 하나의 실시예에서, 레지스터 파일(1758)은 GPGPU 코어들(1762)과 동일한 주파수에서 동작할 수 있고, 따라서 GPGPU 코어들(1762)과 레지스터 파일(1758) 사이의 데이터 전송은 매우 낮은 레이턴시이다. 적어도 하나의 실시예에서, 공유 메모리(1770)는 그래픽 멀티프로세서(1734) 내의 기능 유닛들 상에서 실행되는 스레드들 사이의 통신을 가능하게 하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 캐시 메모리(1772)는, 예를 들어, 기능 유닛들과 텍스처 유닛(1736) 사이에 통신되는 텍스처 데이터를 캐싱하는 데이터 캐시로서 사용될 수 있다. 적어도 하나의 실시예에서, 공유 메모리(1770)는 프로그램 관리된 캐시로서 또한 사용될 수 있다. 적어도 하나의 실시예에서, GPGPU 코어(1762) 상에서 실행되는 스레드들은, 캐시 메모리(1772) 내에 저장되는 자동으로 캐싱된 데이터 외에도 공유 메모리 내에 데이터를 프로그램적으로 저장할 수 있다.
적어도 하나의 실시예에서, 본 명세서에 설명되는 병렬 프로세서 또는 GPGPU는, 그래픽 연산들, 머신-학습 연산들, 패턴 분석 연산들, 및 다양한 GPGPU(general purpose GPU) 기능들을 가속하기 위해 호스트/프로세서 코어들에 통신가능하게 연결된다. 적어도 하나의 실시예에서, GPU는 버스 또는 다른 인터커넥트(예를 들어, PCIe 또는 NVLink와 같은 고속 인터커넥트)를 통해 호스트 프로세서/코어들에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, GPU는 코어들로서 동일한 패키지 또는 칩 상에 집적될 수 있고, 내부(즉, 패키지 또는 칩 내부) 프로세서 버스/인터커넥트를 통해 코어들에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, GPU가 접속되는 방식에 관계없이, 프로세서 코어들은 작업 설명자에 포함되는 커맨드들/명령어들의 시퀀스들의 형태로 GPU에 작업을 할당할 수 있다. 적어도 하나의 실시예에서, 다음으로 해당 GPU는 이러한 커맨드들/명령어들을 효율적으로 처리하기 위해 전용 회로/로직을 사용한다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은, 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 그래픽 멀티프로세서(1734)에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 18은, 적어도 하나의 실시예에 따른, 멀티-GPU 컴퓨팅 시스템(1800)을 예시한다. 적어도 하나의 실시예에서, 멀티-GPU 컴퓨팅 시스템(1800)은 호스트 인터페이스 스위치(1804)를 통해 다수의 GPGPU들(general purpose graphics processing units)(1806A-D)에 연결되는 프로세서(1802)를 포함할 수 있다. 적어도 하나의 실시예에서, 호스트 인터페이스 스위치(1804)는 프로세서(1802)가 GPGPU들(1806A-D)과 통신할 수 있는 PCI 익스프레스 버스에 프로세서(1802)를 연결하는 PCI 익스프레스 스위치 디바이스이다. GPGPU들(1806A-D)은 고속 포인트 투 포인트 GPU 투 GPU 링크들(1816)의 세트를 통해 인터커넥트할 수 있다. 적어도 하나의 실시예에서, GPU 투 GPU 링크들(1816)은 전용 GPU 링크를 통해 GPGPU들(1806A-D) 각각에 접속된다. 적어도 하나의 실시예에서, P2P GPU 링크들(1816)은 프로세서(1802)가 접속되는 호스트 인터페이스 버스(1804)를 통한 통신을 요구하지 않고 GPGPU들(1806A-D) 각각 사이의 직접 통신을 가능하게 한다. 적어도 하나의 실시예에서, P2P GPU 링크들(1816)로 지향되는 GPU-대-GPU 트래픽으로, 호스트 인터페이스 버스(1804)는, 예를 들어, 하나 이상의 네트워크 디바이스를 통해, 시스템 메모리 액세스를 위해 또는 멀티-GPU 컴퓨팅 시스템(1800)의 다른 인스턴스들과 통신하기 위해 이용가능하게 남는다. 적어도 하나의 실시예에서 GPGPU(1806A-D)는 호스트 인터페이스 스위치(1804)를 통해 프로세서(1802)에 접속하지만, 적어도 하나의 실시예에서 프로세서(1802)는 P2P GPU 링크들(1816)에 대한 직접 지원을 포함하고 GPGPU들(1806A-D)에 직접 접속할 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은, 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 멀티-GPU 컴퓨팅 시스템(1800)에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 19는, 적어도 하나의 실시예에 따른, 그래픽 프로세서(1900)의 블록도이다. 적어도 하나의 실시예에서, 그래픽 프로세서(1900)는, 링 인터커넥트(1902), 파이프라인 프론트-엔드(1904), 미디어 엔진(1937), 및 그래픽 코어들(1980A-1980N)을 포함한다. 적어도 하나의 실시예에서, 링 인터커넥트(1902)는, 그래픽 프로세서(1900)를, 다른 그래픽 프로세서들 또는 하나 이상의 범용 프로세서 코어들을 포함하는 다른 처리 유닛들에 연결한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1900)는 멀티-코어 처리 시스템 내에 통합되는 많은 프로세서들 중 하나이다.
적어도 하나의 실시예에서, 그래픽 프로세서(1900)는 링 인터커넥트(1902)를 통해 커맨드들의 일괄 묶음들을 수신한다. 적어도 하나의 실시예에서, 인입 커맨드들은 파이프라인 프론트-엔드(1904)의 커맨드 스트리머(1903)에 의해 해석된다. 적어도 하나의 실시예에서, 그래픽 프로세서(1900)는 그래픽 코어(들)(1980A-1980N)를 통해 3D 지오메트리 처리 및 미디어 처리를 수행하는 스케일가능한 실행 로직을 포함한다. 적어도 하나의 실시예에서, 3D 지오메트리 처리 커맨드들에 대해, 커맨드 스트리머(1903)는 커맨드들을 지오메트리 파이프라인(1936)에 공급한다. 적어도 하나의 실시예에서, 적어도 일부 미디어 처리 커맨드들에 대해, 커맨드 스트리머(1903)는, 미디어 엔진(1937)과 연결되는, 비디오 프론트 엔드(1934)에 커맨드들을 공급한다. 적어도 하나의 실시예에서, 미디어 엔진(1937)은 비디오 및 이미지 후처리를 위한 VQE(Video Quality Engine)(1930) 및 하드웨어-가속 미디어 데이터 인코딩 및 디코딩을 제공하는 MFX(multi-format encode/decode)(1933) 엔진을 포함한다. 적어도 하나의 실시예에서, 지오메트리 파이프라인(1936) 및 미디어 엔진(1937)은 적어도 하나의 그래픽 코어(1980A)에 의해 제공되는 스레드 실행 리소스에 대한 실행 스레드를 각각 생성한다.
적어도 하나의 실시예에서, 그래픽 프로세서(1900)는, 다수의 서브-코어들(1950A-1950N, 1960A-1960N)(때때로 코어 서브-슬라이스들로 지칭됨)을 각각 갖는, 모듈식 코어들(1980A-1980N)(때때로 코어 슬라이스들이라고 지칭됨)을 특징으로 하는 스케일가능 스레드 실행 리소스들을 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1900)는 임의의 수의 그래픽 코어들(1980A 내지 1980N)을 가질 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서(1900)는, 적어도 제1 서브-코어(1950A) 및 제2 서브-코어(1960A)를 갖는 그래픽 코어(1980A)를 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1900)는 단일의 서브-코어(예를 들어, 1950A)를 갖는 저 전력 프로세서이다. 적어도 하나의 실시예에서, 그래픽 프로세서(1900)는, 제1 서브-코어들의 세트(1950A-1950N) 및 제2 서브-코어들의 세트(1960A-1960N)를 각각 포함하는, 다수의 그래픽 코어들(1980A-1980N)을 포함한다. 적어도 하나의 실시예에서, 제1 서브-코어들(1950A-1950N)에서의 각각의 서브-코어는 적어도 제1 세트의 실행 유닛들(1952A-1952N) 및 미디어/텍스처 샘플러들(1954A-1954N)을 포함한다. 적어도 하나의 실시예에서, 제2 서브-코어들(1960A-1960N)에서의 각각의 서브-코어는 적어도 제2 세트의 실행 유닛들(1962A-1962N) 및 샘플러들(1964A-1964N)을 포함한다. 적어도 하나의 실시예에서, 각각의 서브-코어(1950A-1950N, 1960A-1960N)는 공유 리소스들의 세트(1970A-1970N)를 공유한다. 적어도 하나의 실시예에서, 공유 리소스들은 공유 캐시 메모리 및 픽셀 연산 로직을 포함한다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)은, 본 명세서에 설명되는 신경망 훈련 연산들, 신경망 기능들 및/또는 아키텍처들, 또는 신경망 사용 사례들을 사용하여 계산되는 가중치 파라미터들에, 적어도 부분적으로, 기초하여 연산들을 추론 또는 예측하기 위해 그래픽 프로세서(1900)에서 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 20은, 적어도 하나의 실시예에 따른, 명령어들을 수행하기 위한 로직 회로를 포함할 수 있는 프로세서(2000)에 대한 마이크로-아키텍처를 예시하는 블록도이다. 적어도 하나의 실시예에서, 프로세서(2000)는, x86 명령어들, ARM 명령어들, ASIC들(application-specific integrated circuits)에 대한 특수화된 명령어들 등을 포함하는, 명령어들을 수행할 수 있다. 적어도 하나의 실시예에서, 프로세서(2000)는, Santa Clara, Calif의 Intel Corporation으로부터의 MMX 기술로 가능하게 되는 마이크로프로세서들에서의 64-비트 폭 MMXTM 레지스터들과 같은, 패킹된 데이터를 저장하는 레지스터들을 포함할 수 있다. 적어도 하나의 실시예에서, 정수 및 부동 소수점 형태들 양자 모두로 이용가능한, MMX 레지스터들은 "SIMD"(single instruction, multiple data) 및 "SSE"(streaming SIMD extensions) 명령어들을 동반하는 패킹된 데이터 엘리먼트들과 함께 동작할 수 있다. 적어도 하나의 실시예에서, SSE2, SSE3, SSE4, AVX, 또는 그 이상(일반적으로 "SSEx"이라고 지칭됨)의 기술에 관한 128-비트 폭 XMM 레지스터들은 이러한 패킹된 데이터 피연산자들을 보유할 수 있다. 적어도 하나의 실시예에서, 프로세서(2000)는, 머신 학습 또는 심층 학습 알고리즘들, 훈련 또는 추론을 가속하는 명령어들을 수행할 수 있다.
적어도 하나의 실시예에서, 프로세서(2000)는 실행될 명령어들을 인출하고 프로세서 파이프라인에서 나중에 사용될 명령어들을 준비하는 순차적 프론트 엔드("프론트 엔드(front end)")(2001)를 포함한다. 적어도 하나의 실시예에서, 프론트 엔드(2001)는 몇몇 유닛들을 포함할 수 있다. 적어도 하나의 실시예에서, 명령어 사전인출기(2026)는 메모리로부터 명령어들을 인출하고, 결국 명령어들을 디코딩하거나 또는 해석하는 명령어 디코더(2028)에 명령어들을 공급한다. 예를 들어, 적어도 하나의 실시예에서, 명령어 디코더(2028)는 수신된 명령어를 머신이 실행할 수 있는 "마이크로-명령어들(micro-instructions)" 또는 "마이크로-연산들(micro-operations)"("마이크로 op들(micro ops)" 또는 "uop들(uops)"이라고 또한 불림)이라고 불리는 하나 이상의 연산으로 디코딩한다. 적어도 하나의 실시예에서, 명령어 디코더(2028)는 적어도 하나의 실시예에 따라 연산들을 수행하기 위해 마이크로-아키텍처에 의해 사용될 수 있는 오피코드 및 대응하는 데이터 및 제어 필드들로 명령어를 파싱한다. 적어도 하나의 실시예에서, 트레이스 캐시(2030)는 실행을 위해 uop 큐(2034)에서의 프로그램 순서화된 시퀀스들 또는 트레이스들로 디코딩된 uop들을 어셈블링할 수 있다. 적어도 하나의 실시예에서, 트레이스 캐시(2030)가 복합 명령어를 만날 때, 마이크로코드 ROM(2032)은 연산을 완료하는데 필요한 uop들을 제공한다.
적어도 하나의 실시예에서, 일부 명령어들은 단일의 마이크로-op로 변환될 수 있는 반면, 다른 것들은 전체 연산을 완료하기 위해 몇몇 마이크로-op들을 필요로 한다. 적어도 하나의 실시예에서, 명령어를 완료하기 위해 4개보다 많은 마이크로-op들이 필요하면, 명령어 디코더(2028)는 명령어를 수행하기 위해 마이크로코드 ROM(2032)에 액세스할 수 있다. 적어도 하나의 실시예에서, 명령어는 명령어 디코더(2028)에서 처리하기 위해 소수의 마이크로-op들로 디코딩될 수 있다. 적어도 하나의 실시예에서, 연산을 달성하기 위해 다수의 마이크로-op들이 필요한 경우, 명령어가 마이크로코드 ROM(2032) 내에 저장될 수 있다. 적어도 하나의 실시예에서, 트레이스 캐시(2030)는 적어도 하나의 실시예에 따라 마이크로코드 ROM(2032)으로부터 하나 이상의 명령어를 완료하기 위해 마이크로코드 시퀀스들을 판독하기 위한 정확한 마이크로-명령어 포인터를 결정하는 엔트리 포인트 "PLA"(programmable logic array)를 지칭한다. 적어도 하나의 실시예에서, 마이크로코드 ROM(2032)이 명령어에 대한 마이크로-op들의 시퀀싱을 마무리한 후에, 머신의 프론트 엔드(2001)는 트레이스 캐시(2030)로부터 마이크로-op들을 인출하는 것을 재개할 수 있다.
적어도 하나의 실시예에서, 비순차적 실행 엔진("비순차적 엔진(out of order engine)")(2003)은 실행을 위한 명령어들을 준비할 수 있다. 적어도 하나의 실시예에서, 비순차적 실행 로직은 명령어들이 파이프라인을 따라 내려가고 실행을 위해 스케줄링될 때 성능을 최적화하기 위해 명령어들의 흐름을 평활화하고 재-순서화하기 위해 다수의 버퍼들을 갖는다. 적어도 하나의 실시예에서, 비순차적 실행 엔진(2003)은 할당기/레지스터 개명기(2040), 메모리 uop 큐(2042), 정수/부동 소수점 uop 큐(2044), 메모리 스케줄러(2046), 고속 스케줄러(2002), 저속/일반 부동 소수점 스케줄러("저속/일반 FP 스케줄러(slow/general FP scheduler)")(2004), 및 단순 부동 소수점 스케줄러("단순 FP 스케줄러(simple FP scheduler)")(2006)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 고속 스케줄(2002), 저속/일반 부동 소수점 스케줄러(2004), 및 단순 부동 소수점 스케줄러(2006)는 또한 본 명세서에서 집합적으로 "uop 스케줄러들("uop schedulers)(2002, 2004, 2006)"이라고 지칭된다. 적어도 하나의 실시예에서, 할당기/레지스터 개명기(2040)는 각각의 uop가 실행하기 위해 필요로 하는 머신 버퍼들 및 리소스들을 할당한다. 적어도 하나의 실시예에서, 할당기/레지스터 개명기(2040)는 로직 레지스터들을 레지스터 파일에서의 엔트리들로 개명한다. 적어도 하나의 실시예에서, 할당기/레지스터 개명기(2040)는 메모리 스케줄러(2046) 및 uop 스케줄러들(2002, 2004, 2006) 전방에서, 2개의 uop 큐들, 메모리 연산들을 위한 메모리 uop 큐(2042) 및 비-메모리 연산들을 위한 정수/부동 소수점 uop 큐(2044) 중 하나에서의 각각의 uop에 대한 엔트리를 또한 할당한다. 적어도 하나의 실시예에서, uop 스케줄러들(2002, 2004, 2006)은 그들의 의존 입력 레지스터 피연산자 소스들의 준비성 및 실행 리소스들 uop들의 이용가능성이 그들의 연산을 완료할 필요가 있다는 것에 기초하여 uop가 실행될 준비가 된 때를 결정한다. 적어도 하나의 실시예에서, 적어도 하나의 실시예의 고속 스케줄러(2002)는 메인 클록 사이클의 각각의 절반마다 스케줄링할 수 있는 반면, 저속/일반 부동 소수점 스케줄러(2004) 및 단순 부동 소수점 스케줄러(2006)는 메인 프로세서 클록 사이클 당 1회 스케줄링할 수 있다. 적어도 하나의 실시예에서, uop 스케줄러들(2002, 2004, 2006)은 실행을 위해 uop들을 스케줄링하기 위해 디스패치 포트들에 대해 중재한다.
적어도 하나의 실시예에서, 실행 블록(2011)은 정수 레지스터 파일/바이패스 네트워크(2008), 부동 소수점 레지스터 파일/바이패스 네트워크("FP 레지스터 파일/바이패스 네트워크(FP register file/bypass network)")(2010), "AGU들"(address generation units)(2012 및 2014), 고속 ALU들(Arithmetic Logic Units)("고속 ALU들(fast ALUs)")(2016 및 2018), "저속 ALU"(slow Arithmetic Logic Unit)(2020), 부동 소수점 ALU("FP")(2022), 및 부동 소수점 이동 유닛("FP 이동(FP move)")(2024)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 정수 레지스터 파일/바이패스 네트워크(2008) 및 부동 소수점 레지스터 파일/바이패스 네트워크(2010)는 본 명세서에서 "레지스터 파일들(register files)(2008, 2010)"이라고 또한 지칭된다. 적어도 하나의 실시예에서, AGU들(2012 및 2014), 고속 ALU들(2016 및 2018), 저속 ALU(2020), 부동 소수점 ALU(2022), 및 부동 소수점 이동 유닛(2024)은 본 명세서에서 "실행 유닛들(execution units)(2012, 2014, 2016, 2018, 2020, 2022, 및 2024)"이라고 또한 지칭된다. 적어도 하나의 실시예에서, 실행 블록 b11은 임의의 수(0을 포함함) 및 타입의 레지스터 파일들, 바이패스 네트워크들, 어드레스 생성 유닛들, 및 실행 유닛들을, 임의의 조합으로, 제한 없이, 포함할 수 있다.
적어도 하나의 실시예에서, 레지스터 파일들(2008, 2010)은 uop 스케줄러들(2002, 2004, 2006)과 실행 유닛들(2012, 2014, 2016, 2018, 2020, 2022, 및 2024) 사이에 배열될 수 있다. 적어도 하나의 실시예에서, 정수 레지스터 파일/바이패스 네트워크(2008)는 정수 연산들을 수행한다. 적어도 하나의 실시예에서, 부동 소수점 레지스터 파일/바이패스 네트워크(2010)는 부동 소수점 연산들을 수행한다. 적어도 하나의 실시예에서, 레지스터 파일들(2008, 2010) 각각은 레지스터 파일에 아직 기입되지 않은 방금 완료된 결과들을 새로운 의존 uop들에 바이패스하거나 또는 전달할 수 있는 바이패스 네트워크를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 레지스터 파일들(2008, 2010)은 서로 데이터를 통신할 수 있다. 적어도 하나의 실시예에서, 정수 레지스터 파일/바이패스 네트워크(2008)는 2개의 별개의 레지스터 파일들, 데이터의 하위 32 비트에 대한 하나의 레지스터 파일 및 데이터의 상위 32 비트에 대한 제2 레지스터 파일을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 명령어들은 폭이 64 내지 128 비트인 피연산자들을 통상적으로 갖기 때문에, 부동 소수점 레지스터 파일/바이패스 네트워크(2010)는 128-비트 폭 엔트리들을, 제한 없이, 포함할 수 있다.
적어도 하나의 실시예에서, 실행 유닛들(2012, 2014, 2016, 2018, 2020, 2022, 2024)은 명령어들을 실행할 수 있다. 적어도 하나의 실시예에서, 레지스터 파일들(2008, 2010)은 마이크로-명령어들이 실행할 필요가 있는 정수 및 부동 소수점 데이터 피연산자 값들을 저장한다. 적어도 하나의 실시예에서, 프로세서(2000)는 임의의 수 및 조합의 실행 유닛들(2012, 2014, 2016, 2018, 2020, 2022, 2024)을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(2022) 및 부동 소수점 이동 유닛(2024)은, 부동 소수점, MMX, SIMD, AVX 및 SSE, 또는 특수화된 머신 학습 명령어들을 포함하는 다른 연산들을 실행할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(2022)는 나눗셈, 제곱근, 및 나머지 마이크로 op들을 실행하기 위한 64-비트 x 64-비트 부동 소수점 제산기를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 값을 포함하는 명령어들은 부동 소수점 하드웨어로 핸들링될 수 있다. 적어도 하나의 실시예에서, ALU 연산들은 고속 ALU들(2016, 2018)에 전달될 수 있다. 적어도 하나의 실시예에서, 고속 ALU들(2016, 2018)은 절반 클록 사이클의 유효 레이턴시로 고속 연산들을 실행할 수 있다. 적어도 하나의 실시예에서, 저속 ALU(2020)는, 곱셈기, 시프트들, 플래그 로직, 및 분기 처리와 같은, 긴-레이턴시 타입들의 연산들을 위한 정수 실행 하드웨어를, 제한 없이, 포함할 수 있기 때문에, 가장 복잡한 정수 연산들은 저속 ALU(2020)로 간다. 적어도 하나의 실시예에서, 메모리 로딩/저장 연산들은 AGU들(2012, 2014)에 의해 실행될 수 있다. 적어도 하나의 실시예에서, 고속 ALU(2016), 고속 ALU(2018), 및 저속 ALU(2020)는 64-비트 데이터 피연산자들에 대해 정수 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, 고속 ALU(2016), 고속 ALU(2018) 및 저속 ALU(2020)는 16, 32, 128, 256 등을 포함하는 다양한 데이터 비트 크기들을 지원하도록 구현될 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(2022) 및 부동 소수점 이동 유닛(2024)은 다양한 폭들의 비트들을 갖는 피연산자들의 범위를 지원하도록 구현될 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(2022) 및 부동 소수점 이동 유닛(2024)은 SIMD 및 멀티미디어 명령어들과 함께 128-비트 폭 패킹된 데이터 피연산자들에 대해 동작하도록 구현될 수 있다.
적어도 하나의 실시예에서, uop 스케줄러들(2002, 2004, 2006)은 부모 로드가 실행을 마무리하기 전에 의존 연산들을 디스패치한다. 적어도 하나의 실시예에서, uop들은 프로세서(2000)에서 추론적으로 스케줄링되고 실행될 수 있기 때문에, 프로세서(2000)는 메모리 미스들을 핸들링하는 로직을 또한 포함할 수 있다. 적어도 하나의 실시예에서, 데이터 로드가 데이터 캐시에서 미스되면, 일시적으로 부정확한 데이터가 있는 스케줄러를 남겨둔 파이프라인에서 진행 중인 의존 연산들이 존재할 수 있다. 적어도 하나의 실시예에서, 리플레이 메커니즘은 부정확한 데이터를 사용하는 명령어들을 추적하고 재-실행한다. 적어도 하나의 실시예에서, 의존 연산들이 리플레이될 필요가 있을 수 있고 독립 연산들은 완료되도록 허용될 수 있다. 적어도 하나의 실시예에서, 프로세서의 적어도 하나의 실시예의 스케줄러 및 리플레이 메커니즘은 텍스트 스트링 비교 연산들을 위한 명령어 시퀀스들을 캐치하도록 또한 설계될 수 있다.
적어도 하나의 실시예에서, "레지스터들(registers)"이라는 용어는 피연산자들을 식별하기 위한 명령어들의 일부로서 사용될 수 있는 온-보드 프로세서 스토리지 위치들을 지칭할 수 있다. 적어도 하나의 실시예에서, 레지스터들은 (프로그래머의 관점에서) 프로세서의 외부로부터 사용가능할 수 있는 것들일 수 있다. 적어도 하나의 실시예에서, 레지스터들은 특정 타입의 회로에 제한되지 않을 수 있다. 오히려, 적어도 하나의 실시예에서, 레지스터는 데이터를 저장하고, 데이터를 제공하고, 본 명세서에 설명되는 기능들을 수행할 수 있다. 적어도 하나의 실시예에서, 본 명세서에 설명되는 레지스터들은, 전용 물리 레지스터들, 레지스터 리네이밍을 사용하여 동적으로 할당된 물리 레지스터들, 전용 및 동적으로 할당된 물리 레지스터들의 조합들 등과 같은, 임의의 수의 상이한 기술들을 사용하여 프로세서 내의 회로에 의해 구현될 수 있다. 적어도 하나의 실시예에서, 정수 레지스터들은 32-비트 정수 데이터를 저장한다. 적어도 하나의 실시예의 레지스터 파일은 패킹된 데이터를 위한 8개의 멀티미디어 SIMD 레지스터들을 또한 포함한다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)의 일부 또는 전부는 실행 블록(2011) 및 도시되는 또는 도시되지 않은 다른 메모리 또는 레지스터들에 통합될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 본 명세서에 설명되는 훈련 및/또는 추론 기술들은 실행 블록(2011)에 예시되는 ALU들 중 하나 이상을 사용할 수 있다. 더욱이, 가중치 파라미터들은, 본 명세서에 설명되는 하나 이상의 머신 학습 알고리즘, 신경망 아키텍처, 사용 사례들 또는 훈련 기술을 수행하도록 실행 블록(2011)의 ALU들을 구성하는 온-칩 또는 오프-칩 메모리 및/또는 레지스터들(도시되거나 또는 도시되지 않음)에 저장될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 21은, 적어도 하나의 실시예에 따른, 심층 학습 애플리케이션 프로세서(2100)를 예시한다. 적어도 하나의 실시예에서, 심층 학습 애플리케이션 프로세서(2100)는, 심층 학습 애플리케이션 프로세서(2100)에 의해 실행되면, 심층 학습 애플리케이션 프로세서(2100)로 하여금 본 개시내용 전반적으로 설명되는 프로세스들 및 기술들의 일부 또는 전부를 수행하게 하는 명령어들을 사용한다. 적어도 하나의 실시예에서, 심층 학습 애플리케이션 프로세서(2100)는 ASIC(application-specific integrated circuit)이다. 적어도 하나의 실시예에서, 애플리케이션 프로세서(2100)는 하나 이상의 명령어를 수행한 결과로서 하드웨어로 "하드-와이어드(hard-wired)" 또는 양자 모두로 행렬 곱셈 연산들을 수행한다. 적어도 하나의 실시예에서, 심층 학습 애플리케이션 프로세서(2100)는 처리 클러스터들(2110(1)-2110(12)), "ICL들"(Inter-Chip Links)(2120(1)-2120(12)), "ICC들"(Inter-Chip Controllers)(2130(1)-2130(2)), "Mem Ctrlrs"(memory controllers)(2142(1)-2142(4)), "HBM PHY"(high bandwidth memory physical layer)(2144(1)-2144(4)), "관리-제어기 CPU"(management-controller central processing unit)(2150), "PCIe 제어기 및 DMA"(peripheral component interconnect express controller and direct memory access block)(2170), 및 "PCI Express x 16"(sixteen-lane peripheral component interconnect express port)(2180)를, 제한 없이, 포함한다.
적어도 하나의 실시예에서, 처리 클러스터들(2110)은, 본 명세서에 설명되는 것들을 포함하는 하나 이상의 훈련 기술로 계산되는 가중치 파라미터들에 기초하는 추론 또는 예측 연산들을 포함하는, 심층 학습 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, 각각의 처리 클러스터(2110)는 임의의 수 및 타입의 프로세서들을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 심층 학습 애플리케이션 프로세서(2100)는 임의의 수 및 타입의 처리 클러스터들(2100)을 포함할 수 있다. 적어도 하나의 실시예에서, Inter-Chip Links(2120)는 양방향이다. 적어도 하나의 실시예에서, Inter-Chip Links(2120) 및 Inter-Chip Controllers(2130)는, 다수의 심층 학습 애플리케이션 프로세서들(2100)이, 하나 이상의 신경망에서 구현되는 하나 이상의 머신 학습 알고리즘을 수행하는 것으로부터 초래하는 활성화 정보를 포함하는 정보를 교환하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 심층 학습 애플리케이션 프로세서(2100)는 임의의 수(0 포함) 및 타입의 ICL들(2120) 및 ICC들(2130)을 포함할 수 있다.
적어도 하나의 실시예에서, HBM2들(2140)은 총 32 GB(Gigabytes)의 메모리를 제공한다. HBM2(2140(i))는 메모리 제어기(2142(i)) 및 HBM PHY(2144(i)) 양자 모두와 연관된다. 적어도 하나의 실시예에서, 임의의 수의 HBM2들(2140)은 고 대역폭 메모리의 임의의 타입 및 총량을 제공할 수 있고 임의의 수(0 포함) 및 타입의 메모리 제어기들(2142) 및 HBM PHY들(2144)과 연관될 수 있다. 적어도 하나의 실시예에서, SPI, I2C, GPIO(2160), PCIe 제어기 및 DMA(2170), 및/또는 PCIe(2180)는 임의의 수 및 타입의 통신 표준들을 임의의 기술적으로 실현가능한 방식으로 가능하게 하는 임의의 수 및 타입의 블록들로 치환될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 심층 학습 애플리케이션 프로세서(2100)는 심층 학습 애플리케이션 프로세서(2100)에 제공되는 정보를 예측 또는 추론하기 위해, 신경망과 같은, 머신 학습 모델을 훈련하기 위해 사용된다. 적어도 하나의 실시예에서, 심층 학습 애플리케이션 프로세서(2100)는 다른 프로세서 또는 시스템에 의해 또는 심층 학습 애플리케이션 프로세서(2100)에 의해 훈련이 이루어진 훈련된 머신 학습 모델(예를 들어, 신경망)에 기초하여 정보를 추론 또는 예측하기 위해 사용된다. 적어도 하나의 실시예에서, 프로세서(2100)는 본 명세서에 설명되는 하나 이상의 신경망 사용 사례들을 수행하기 위해 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 22는, 적어도 하나의 실시예에 따른, 뉴로모픽 프로세서(2200)의 블록도이다. 적어도 하나의 실시예에서, 뉴로모픽 프로세서(2200)는 뉴로모픽 프로세서(2200) 외부의 소스들로부터 하나 이상의 입력을 수신할 수 있다. 적어도 하나의 실시예에서, 이러한 입력들은 뉴로모픽 프로세서(2200) 내의 하나 이상의 뉴런(2202)에 송신될 수 있다. 적어도 하나의 실시예에서, 뉴런들(2202) 및 이들 컴포넌트들은 하나 이상의 ALU(arithmetic logic units)를 포함하는 회로 또는 로직을 사용하여 구현될 수 있다. 적어도 하나의 실시예에서, 뉴로모픽 프로세서(2200)는 수천 또는 수백만개의 뉴런(2202) 인스턴스를, 제한 없이, 포함할 수 있지만, 임의의 적합한 수의 뉴런들(2202)이 사용될 수 있다. 적어도 하나의 실시예에서, 뉴런들(2202)의 각각의 인스턴스는 뉴런 입력(2204) 및 뉴런 출력(2206)을 포함할 수 있다. 적어도 하나의 실시예에서, 뉴런들(2202)은 뉴런들(2202)의 다른 인스턴스들의 입력들에 송신될 수 있는 출력들을 생성할 수 있다. 예를 들어, 적어도 하나의 실시예에서, 뉴런 입력들(2204) 및 뉴런 출력들(2206)은 시냅스들(2208)을 통해 인터커넥트될 수 있다.
적어도 하나의 실시예에서, 뉴런들(2202) 및 시냅스들(2208)은 뉴로모픽 프로세서(2200)가 뉴로모픽 프로세서(2200)에 의해 수신되는 정보를 처리하거나 또는 분석하게 동작하도록 인터커넥트될 수 있다. 적어도 하나의 실시예에서, 뉴런들(2202)은, 뉴런 입력(2204)을 통해 수신되는 입력이 임계값을 초과할 때 출력 펄스(또는 "파이어(fire)" 또는 "스파이크(spike)")를 송신할 수 있다. 적어도 하나의 실시예에서, 뉴런들(2202)은 뉴런 입력들(2204)에서 수신되는 신호들을 합산하거나 또는 적분할 수 있다. 예를 들어, 적어도 하나의 실시예에서, 뉴런들(2202)은 누설 적분-및-파이어(integrate-and-fire) 뉴런으로서 구현될 수 있고, 합("멤브레인 포텐셜(membrane potential)"이라고 지칭됨)이 임계값을 초과하면, 뉴런(2202)은 시그모이드 또는 임계값 함수와 같은 전달 함수를 사용하여 출력(또는 "파이어(fire)")을 생성할 수 있다. 적어도 하나의 실시예에서, 누설 적분-및-파이어 뉴런은 뉴런 입력들(2204)에서 수신되는 신호들을 멤브레인 포텐셜에 합산할 수 있고 또한 멤브레인 포텐셜을 감소시키기 위해 감쇠 인자(또는 누설)를 적용할 수 있다. 적어도 하나의 실시예에서, 다수의 입력 신호들이 임계값을 초과하기에 충분히 빠르게 뉴런 입력들(2204)에서 수신되면(즉, 멤브레인 포텐셜이 파이어되기에 너무 낮게 감쇠되기 전에) 누설 적분-및-파이어 뉴런이 파이어될 수 있다. 적어도 하나의 실시예에서, 뉴런들(2202)은 입력들을 수신하고, 입력들을 멤브레인 포텐셜로 적분하고, 멤브레인 포텐셜을 감쇠시키는 회로들 또는 로직을 사용하여 구현될 수 있다. 적어도 하나의 실시예에서, 입력들이 평균화될 수 있거나, 또는 임의의 다른 적합한 전달 함수가 사용될 수 있다. 또한, 적어도 하나의 실시예에서, 뉴런들(2202)은 뉴런 입력(2204)에 전달 함수를 적용한 결과가 임계값을 초과할 때 뉴런 출력(2206)에서 출력 스파이크를 생성하는 비교기 회로들 또는 로직을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 일단 뉴런(2202)이 파이어되면, 이것은, 예를 들어, 멤브레인 포텐셜을 0 또는 다른 적합한 디폴트 값으로 리셋하는 것에 의해 이전에 수신된 입력 정보를 폐기할 수 있다. 적어도 하나의 실시예에서, 일단 멤브레인 포텐셜이 0으로 리셋되면, 뉴런(2202)은 적합한 기간(또는 불응 주기) 후에 정상 연산을 재개할 수 있다.
적어도 하나의 실시예에서, 뉴런들(2202)은 시냅스들(2208)을 통해 인터커넥트될 수 있다. 적어도 하나의 실시예에서, 시냅스(2208)는 제1 뉴런(2202)의 출력으로부터 제2 뉴런(2202)의 입력으로 신호들을 송신하도록 동작할 수 있다. 적어도 하나의 실시예에서, 뉴런들(2202)은 시냅스(2208)의 하나보다 많은 인스턴스를 통해 정보를 송신할 수 있다. 적어도 하나의 실시예에서, 뉴런 출력(2206)의 하나 이상의 인스턴스는, 시냅스(2208)의 인스턴스를 통해, 동일한 뉴런(2202)에서의 뉴런 입력(2204)의 인스턴스에 접속될 수 있다. 적어도 하나의 실시예에서, 시냅스(2208)의 인스턴스를 통해 송신될 출력을 생성하는 뉴런(2202)의 인스턴스는 시냅스(2208)의 해당 인스턴스에 대해 "프리-시냅틱 뉴런(pre-synaptic neuron)"이라고 지칭될 수 있다. 적어도 하나의 실시예에서, 시냅스(2208)의 인스턴스를 통해 송신되는 입력을 수신하는 뉴런(2202)의 인스턴스는 시냅스(2208)의 해당 인스턴스에 대해 "포스트-시냅틱 뉴런(post-synaptic neuron)"이라고 지칭될 수 있다. 뉴런(2202)의 인스턴스가 시냅스(2208)의 하나 이상의 인스턴스로부터 입력을 수신할 수 있고, 시냅스(2208)의 하나 이상의 인스턴스를 통해 출력들을 또한 송신할 수 있기 때문에, 적어도 하나의 실시예에서, 뉴런(2202)의 단일의 인스턴스는 따라서 시냅스들(2208)의 다양한 인스턴스들에 대해 "프리-시냅틱 뉴런(pre-synaptic neuron)" 및 "포스트-시냅틱 뉴런(post-synaptic neuron)" 양자 모두일 수 있다.
적어도 하나의 실시예에서, 뉴런들(2202)은 하나 이상의 레이어로 조직화될 수 있다. 뉴런(2202)의 각각의 인스턴스는 하나 이상의 시냅스(2208)를 통해 하나 이상의 뉴런 입력(2204)으로 팬 아웃할 수 있는 하나의 뉴런 출력(2206)을 가질 수 있다. 적어도 하나의 실시예에서, 제1 레이어(2210)의 뉴런들(2202)의 뉴런 출력들(2206)은 제2 레이어(2212)의 뉴런들(2202)의 뉴런 입력들(2204)에 접속될 수 있다. 적어도 하나의 실시예에서, 레이어(2210)는 "피드-포워드 레이어(feed-forward layer)"이라고 지칭될 수 있다. 적어도 하나의 실시예에서, 제1 레이어(2210)의 인스턴스에서의 뉴런(2202)의 각각의 인스턴스는 제2 레이어(2212)에서의 뉴런(2202)의 각각의 인스턴스로 팬 아웃될 수 있다. 적어도 하나의 실시예에서, 제1 레이어(2210)는 "완전히 접속된 피드-포워드 레이어(fully connected feed-forward layer)"이라고 지칭될 수 있다. 적어도 하나의 실시예에서, 제2 레이어(2212)의 인스턴스에서의 뉴런(2202)의 각각의 인스턴스는 제3 레이어(2214)에서의 뉴런(2202)의 모든 인스턴스보다 적은 수로 팬 아웃될 수 있다. 적어도 하나의 실시예에서, 제2 레이어(2212)는 "희소하게 접속된 피드-포워드 레이어(sparsely connected feed-forward layer)"이라고 지칭될 수 있다. 적어도 하나의 실시예에서, 제2 레이어(2212)에서의 뉴런들(2202)은, (동일한) 제2 레이어(2212)에서의 뉴런들(2202)을 포함하는 다수의 다른 레이어들에서의 뉴런들(2202)로 팬 아웃될 수 있다. 적어도 하나의 실시예에서, 제2 레이어(2212)는 "순환 레이어(recurrent layer)"라고 지칭될 수 있다. 적어도 하나의 실시예에서, 뉴로모픽 프로세서(2200)는, 희소 접속된 피드-포워드 레이어들 및 완전 접속된 피드-포워드 레이어들 양자 모두를, 제한 없이, 포함하는, 순환 레이어들과 피드-포워드 레이어들의 임의의 적합한 조합을, 제한 없이, 포함할 수 있다.
적어도 하나의 실시예에서, 뉴로모픽 프로세서(2200)는 시냅스(2208)를 뉴런들(2202)에 접속하기 위한 재구성가능한 인터커넥트 아키텍처 또는 전용 하드 와이어드 인터커넥트들을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 뉴로모픽 프로세서(2200)는, 신경망 토폴로지 및 뉴런 팬-인/아웃에 기초하여 필요에 따라, 시냅스들이 상이한 뉴런들(2202)에 할당되는 것을 허용하는 회로 또는 로직을, 제한 없이, 포함할 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시냅스들(2208)은, 네트워크-온-칩과 같은, 인터커넥트 패브릭을 사용하여, 또는 전용 접속들로 뉴런들(2202)에 접속될 수 있다. 적어도 하나의 실시예에서, 시냅스 인터커넥트들 및 이들의 컴포넌트들은 회로 또는 로직을 사용하여 구현될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 23은, 적어도 하나의 실시예에 따른, 처리 시스템의 블록도이다. 적어도 하나의 실시예에서, 시스템(2300)은, 하나 이상의 프로세서(2302) 및 하나 이상의 그래픽 프로세서(2308)를 포함하고, 단일의 프로세서 데스크톱 시스템, 멀티프로세서 워크스테이션 시스템, 또는 많은 수의 프로세서(2302) 또는 프로세서 코어들(2307)을 갖는 서버 시스템일 수 있다. 적어도 하나의 실시예에서, 시스템(2300)은, 모바일, 핸드헬드, 또는 내장 디바이스들에서 사용하기 위해 SoC(system-on-a-chip) 집적 회로 내에 통합되는 처리 플랫폼이다.
적어도 하나의 실시예에서, 시스템(2300)은, 서버-기반 게임 플랫폼, 게임 및 미디어 콘솔을 포함하는 게임 콘솔, 모바일 게임 콘솔, 핸드헬드 게임 콘솔, 또는 온라인 게임 콘솔을 포함하거나, 또는 그 내에 통합될 수 있다. 적어도 하나의 실시예에서, 시스템(2300)은 모바일 폰, 스마트 폰, 태블릿 컴퓨팅 디바이스 또는 모바일 Internet 디바이스이다. 적어도 하나의 실시예에서, 처리 시스템(2300)은, 스마트 시계 웨어러블 디바이스, 스마트 안경 디바이스, 증강 현실 디바이스, 또는 가상 현실 디바이스와 같은, 웨어러블 디바이스를 또한 포함하거나, 그와 연결되거나, 또는 그 내에 통합될 수 있다. 적어도 하나의 실시예에서, 처리 시스템(2300)은, 하나 이상의 프로세서(2302) 및 하나 이상의 그래픽 프로세서(2308)에 의해 생성되는 그래픽 인터페이스를 갖는 텔레비전 또는 셋 톱 박스 디바이스이다.
적어도 하나의 실시예에서, 하나 이상의 프로세서(2302)는, 실행될 때, 시스템 및 사용자 소프트웨어에 대한 연산들을 수행하는 명령어들을 처리하는 하나 이상의 프로세서 코어(2307)를 각각 포함한다. 적어도 하나의 실시예에서, 하나 이상의 프로세서 코어(2307) 각각은 구체적인 명령어 세트(2309)를 처리하도록 구성된다. 적어도 하나의 실시예에서, 명령어 세트(2309)는 CISC(Complex Instruction Set Computing), RISC(Reduced Instruction Set Computing), 또는 VLIW(Very Long Instruction Word)를 통한 컴퓨팅을 용이하게 할 수 있다. 적어도 하나의 실시예에서, 프로세서 코어들(2307)은, 다른 명령어 세트들의 에뮬레이션을 용이하게 하는 명령어들을 포함할 수 있는, 상이한 명령어 세트(2309)를 각각 처리할 수 있다. 적어도 하나의 실시예에서, 프로세서 코어(2307)는, DSP(Digital Signal Processor)와 같은, 다른 처리 디바이스들을 또한 포함할 수 있다.
적어도 하나의 실시예에서, 프로세서(2302)는 캐시 메모리(2304)를 포함한다. 적어도 하나의 실시예에서, 프로세서(2302)는 단일의 내부 캐시 또는 다수의 레벨들의 내부 캐시를 가질 수 있다. 적어도 하나의 실시예에서, 캐시 메모리는 프로세서(2302)의 다양한 컴포넌트들 사이에서 공유된다. 적어도 하나의 실시예에서, 프로세서(2302)는, 알려진 캐시 코히어런스 기술들을 사용하여 프로세서 코어들(2307) 사이에 공유될 수 있는, 외부 캐시(예를 들어, 레벨-3(L3) 캐시 또는 LLC(Last Level Cache))(도시되지 않음)를 또한 사용한다. 적어도 하나의 실시예에서, 레지스터 파일(2306)은, 상이한 타입들의 데이터를 저장하기 위한 상이한 타입들의 레지스터들(예를 들어, 정수 레지스터들, 부동 소수점 레지스터들, 상태 레지스터들, 및 명령어 포인터 레지스터)을 포함할 수 있는, 프로세서(2302)에 추가적으로 포함된다. 적어도 하나의 실시예에서, 레지스터 파일(2306)은 범용 레지스터들 또는 다른 레지스터들을 포함할 수 있다.
적어도 하나의 실시예에서, 하나 이상의 프로세서(들)(2302)는 프로세서(2302)와 시스템(2300)에서의 다른 컴포넌트들 사이에 어드레스, 데이터, 또는 제어 신호들과 같은 통신 신호들을 송신하기 위해 하나 이상의 인터페이스 버스(들)(2310)와 연결된다. 적어도 하나의 실시예에서, 인터페이스 버스(2310)는, 하나의 실시예에서, DMI(Direct Media Interface) 버스의 버전과 같은, 프로세서 버스일 수 있다. 적어도 하나의 실시예에서, 인터페이스(2310)는 DMI 버스에 제한되지 않고, 하나 이상의 Peripheral Component Interconnect 버스(예를 들어, PCI, PCI Express), 메모리 버스, 또는 다른 타입의 인터페이스 버스를 포함할 수 있다. 적어도 하나의 실시예에서 프로세서(들)(2302)는 통합 메모리 제어기(2316) 및 플랫폼 제어기 허브(2330)를 포함한다. 적어도 하나의 실시예에서, 메모리 제어기(2316)는 메모리 디바이스와 시스템(2300)의 다른 컴포넌트들 사이의 통신을 용이하게 하는 반면, 플랫폼 제어기 허브(PCH)(2330)는 로컬 I/O 버스를 통해 I/O 디바이스로의 접속들을 제공한다.
적어도 하나의 실시예에서, 메모리 디바이스(2320)는 DRAM(dynamic random access memory) 디바이스, SRAM(static random access memory) 디바이스, 플래시 메모리 디바이스, 상-변화 메모리 디바이스, 또는 프로세스 메모리로서 역할하기에 적합한 성능을 갖는 일부 다른 메모리 디바이스일 수 있다. 적어도 하나의 실시예에서, 메모리 디바이스(2320)는, 하나 이상의 프로세서(2302)가 애플리케이션 또는 프로세스를 실행할 때 사용하기 위한 데이터(2322) 및 명령어들(2321)을 저장하기 위해, 시스템(2300)에 대한 시스템 메모리로서 동작할 수 있다. 적어도 하나의 실시예에서, 메모리 제어기(2316)는, 그래픽 및 미디어 연산들을 수행하기 위해 프로세서들(2302)에서의 하나 이상의 그래픽 프로세서(2308)와 통신할 수 있는, 선택적인 외부 그래픽 프로세서(2312)와 또한 연결된다. 적어도 하나의 실시예에서, 디스플레이 디바이스(2311)는 프로세서(들)(2302)에 접속할 수 있다. 적어도 하나의 실시예에서, 디스플레이 디바이스(2311)는, 모바일 전자 디바이스 또는 랩톱 디바이스에서와 같은, 내부 디스플레이 디바이스, 또는 디스플레이 인터페이스(예를 들어, DisplayPort 등)를 통해 첨부되는 외부 디스플레이 디바이스 중 하나 이상을 포함할 수 있다. 적어도 하나의 실시예에서, 디스플레이 디바이스(2311)는 VR(virtual reality) 애플리케이션들 또는 AR(augmented reality) 애플리케이션들에서 사용하기 위한 입체 디스플레이 디바이스와 같은 HMD(head mounted display)를 포함할 수 있다.
적어도 하나의 실시예에서, 플랫폼 제어기 허브(2330)는 주변기기들이 고속 I/O 버스를 통해 메모리 디바이스(2320) 및 프로세서(2302)에 접속하는 것을 가능하게 한다. 적어도 하나의 실시예에서, I/O 주변기기들은, 이에 제한되는 것은 아니지만, 오디오 제어기(2346), 네트워크 제어기(2334), 펌웨어 인터페이스(2328), 무선 송수신기(2326), 터치 센서들(2325), 데이터 스토리지 디바이스(2324)(예를 들어, 하드 디스크 드라이브, 플래시 메모리 등)를 포함한다. 적어도 하나의 실시예에서, 데이터 스토리지 디바이스(2324)는 스토리지 인터페이스(예를 들어, SATA)를 통해 또는, Peripheral Component Interconnect 버스(예를 들어, PCI, PCI Express)와 같은, 주변기기 버스를 통해 접속할 수 있다. 적어도 하나의 실시예에서, 터치 센서들(2325)은 터치 스크린 센서들, 압력 센서들, 또는 지문 센서들을 포함할 수 있다. 적어도 하나의 실시예에서, 무선 송수신기(2326)는 Wi-Fi 송수신기, Bluetooth 송수신기, 또는 3G, 4G, 또는 LTE(Long Term Evolution) 송수신기와 같은 모바일 네트워크 송수신기일 수 있다. 적어도 하나의 실시예에서, 펌웨어 인터페이스(2328)는 시스템 펌웨어와의 통신을 가능하게 하고, 예를 들어, UEFI(unified extensible firmware interface)일 수 있다. 적어도 하나의 실시예에서, 네트워크 제어기(2334)는 유선 네트워크로의 네트워크 접속을 가능하게 할 수 있다. 적어도 하나의 실시예에서, 고-성능 네트워크 제어기(도시되지 않음)는 인터페이스 버스(2310)와 연결된다. 적어도 하나의 실시예에서, 오디오 제어기(2346)는 멀티-채널 고음질 오디오 제어기이다. 적어도 하나의 실시예에서, 시스템(2300)은 레거시(예를 들어, PS/2(Personal System 2)) 디바이스들을 시스템에 연결하기 위한 선택적인 레거시 I/O 제어기(2340)를 포함한다. 적어도 하나의 실시예에서, 플랫폼 제어기 허브(2330)는, 키보드 및 마우스(2343) 조합들, 카메라(2344), 또는 다른 USB 입력 디바이스들과 같은, 입력 디바이스들을 접속하는 하나 이상의 USB(Universal Serial Bus) 제어기(2342)에 또한 접속할 수 있다.
적어도 하나의 실시예에서, 메모리 제어기(2316) 및 플랫폼 제어기 허브(2330)의 인스턴스는, 외부 그래픽 프로세서(2312)와 같은, 별개 외부 그래픽 프로세서에 통합될 수 있다. 적어도 하나의 실시예에서, 플랫폼 제어기 허브(2330) 및/또는 메모리 제어기(2316)는 하나 이상의 프로세서(들)(2302)의 외부에 있을 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(2300)은 외부 메모리 제어기(2316) 및, 프로세서(들)(2302)와 통신하는 시스템 칩셋에서의 메모리 제어기 허브 및 주변기기 제어기 허브로서 구성될 수 있는, 플랫폼 제어기 허브(2330)를 포함할 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)의 일부 또는 전부는 그래픽 프로세서(2300)에 통합될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 본 명세서에 설명되는 훈련 및/또는 추론 기술들은 그래픽 프로세서(2312)에서 구현되는 하나 이상의 ALU를 사용할 수 있다. 더욱이, 적어도 하나의 실시예에서, 본 명세서에 설명되는 추론 및/또는 훈련 연산들은 도 6a 또는 도 6b에 예시되는 로직 이외의 로직을 사용하여 행해질 수 있다. 적어도 하나의 실시예에서, 가중치 파라미터들은, 하나 이상의 머신 학습 알고리즘, 신경망 아키텍처, 사용 사례, 또는 본 명세서에 설명되는 훈련 기술을 수행하도록 그래픽 프로세서(2300)의 ALU들을 구성하는 (도시되거나 또는 도시되지 않은) 온-칩 또는 오프-칩 메모리 및/또는 레지스터들에 저장될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 24는, 적어도 하나의 실시예에 따른, 하나 이상의 프로세서 코어(2402A-2402N), 통합 메모리 제어기(2414), 및 통합 그래픽 프로세서(2408)를 갖는 프로세서(2400)의 블록도이다. 적어도 하나의 실시예에서, 프로세서(2400)는 파선 박스들에 의해 표현되는 추가적인 코어(2402N)까지의 및 이를 포함하는 추가적 코어들을 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서 코어들(2402A-2402N) 각각은 하나 이상의 내부 캐시 유닛(2404A-2404N)을 포함한다. 적어도 하나의 실시예에서, 각각의 프로세서 코어는 하나 이상의 공유 캐싱된 유닛(2406)에 대한 액세스를 또한 갖는다.
적어도 하나의 실시예에서, 내부 캐시 유닛들(2404A-2404N) 및 공유 캐시 유닛들(2406)은 프로세서(2400) 내의 캐시 메모리 계층을 나타낸다. 적어도 하나의 실시예에서, 캐시 메모리 유닛들(2404A-2404N)은 각각의 프로세서 코어 내의 적어도 하나의 레벨의 명령어 및, L2(Level 2), L3(Level 3), L4(Level 4) 또는 다른 캐시 레벨과 같은, 데이터 캐시 및 하나 이상의 레벨의 공유 중간-레벨 캐시를 포함할 수 있고, 여기서, 외부 메모리 이전의 가장 높은 레벨의 캐시는 LLC로서 분류된다. 적어도 하나의 실시예에서, 캐시 코히어런스 로직은 다양한 캐시 유닛들(2406, 2404A-2404N) 사이의 코히어런스를 유지한다.
적어도 하나의 실시예에서, 프로세서(2400)는 하나 이상의 버스 제어기 유닛의 세트(2416) 및 시스템 에이전트 코어(2410)를 또한 포함할 수 있다. 적어도 하나의 실시예에서, 하나 이상의 버스 제어기 유닛(2416)은, 하나 이상의 PCI 또는 PCI 익스프레스 버스들과 같은, 주변기기 버스들의 세트를 관리한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(2410)는 다양한 프로세서 컴포넌트들에 대한 관리 기능성을 제공한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(2410)는 다양한 외부 메모리 디바이스들(도시되지 않음)에 대한 액세스를 관리하는 하나 이상의 통합 메모리 제어기(2414)를 포함한다.
적어도 하나의 실시예에서, 프로세서 코어들(2402A-2402N) 중 하나 이상은 동시 멀티-스레딩에 대한 지원을 포함한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(2410)는 멀티-스레드형 처리 동안 코어들(2402A-2402N)을 조율하고 동작시키기 위한 컴포넌트들을 포함한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(2410)는, 프로세서 코어들(2402A-2402N) 및 그래픽 프로세서(2408)의 하나 이상의 전력 상태를 조절하기 위한 로직 및 컴포넌트들을 포함하는, PCU(power control unit)를 추가적으로 포함할 수 있다.
적어도 하나의 실시예에서, 프로세서(2400)는 그래픽 처리 연산들을 실행하기 위한 그래픽 프로세서(2408)를 추가적으로 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(2408)는 공유 캐시 유닛들(2406) 및, 하나 이상의 통합 메모리 제어기(2414)를 포함하는, 시스템 에이전트 코어(2410)와 연결된다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(2410)는 그래픽 프로세서 출력을 하나 이상의 연결된 디스플레이에 구동하는 디스플레이 제어기(2411)를 또한 포함한다. 적어도 하나의 실시예에서, 디스플레이 제어기(2411)는 또한 적어도 하나의 인터커넥트를 통해 그래픽 프로세서(2408)와 연결되는 별개의 모듈이거나, 또는 그래픽 프로세서(2408) 내에 통합될 수 있다.
적어도 하나의 실시예에서, 프로세서(2400)의 내부 컴포넌트들을 연결하기 위해 링 기반 인터커넥트 유닛(2412)이 사용된다. 적어도 하나의 실시예에서, 포인트-투-포인트 인터커넥트, 스위칭형 인터커넥트, 또는 다른 기술들과 같은, 대안적인 인터커넥트 유닛이 사용될 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서(2408)는 I/O 링크(2413)를 통해 링 인터커넥트(2412)와 연결된다.
적어도 하나의 실시예에서, I/O 링크(2413)는 다양한 프로세서 컴포넌트들과, eDRAM 모듈과 같은, 고-성능 내장 메모리 모듈(2418) 사이의 통신을 용이하게 하는 온 패키지 I/O 인터커넥트를 포함하는, 다수의 다양한 I/O 인터커넥트들 중 적어도 하나를 나타낸다. 적어도 하나의 실시예에서, 프로세서 코어들(2402A-2402N) 및 그래픽 프로세서(2408) 각각은 내장 메모리 모듈들(2418)을 공유 Last Level Cache로서 사용한다.
적어도 하나의 실시예에서, 프로세서 코어들(2402A-2402N)은 공통 명령어 세트 아키텍처를 실행하는 동종 코어들이다. 적어도 하나의 실시예에서, 프로세서 코어들(2402A-2402N)은 ISA(instruction set architecture)의 관점에서 이종이며, 여기서 프로세서 코어들(2402A-2402N) 중 하나 이상은 공통 명령어 세트를 실행하는 반면, 프로세서 코어들(2402A-2402N)의 하나 이상의 다른 코어는 공통 명령어 세트의 서브세트 또는 상이한 명령어 세트를 실행한다. 적어도 하나의 실시예에서, 프로세서 코어들(2402A-2402N)은 마이크로아키텍처의 관점에서 이종이며, 여기서 비교적 더 높은 전력 소비를 갖는 하나 이상의 코어는 더 낮은 전력 소비를 갖는 하나 이상의 전력 코어와 연결된다. 적어도 하나의 실시예에서, 프로세서(2400)는 하나 이상의 칩 상에서 또는 SoC 집적 회로로서 구현될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)의 일부 또는 전부는 프로세서(2400)에 통합될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 본 명세서에 설명되는 훈련 및/또는 추론 기술들은 그래픽 프로세서(2312), 그래픽 코어(들)(2402A-2402N), 또는 도 24에서의 다른 컴포넌트들에서 구현되는 ALU들 중 하나 이상을 사용할 수 있다. 더욱이, 적어도 하나의 실시예에서, 본 명세서에 설명되는 추론 및/또는 훈련 연산들은 도 6a 또는 도 6b에 예시되는 로직 이외의 로직을 사용하여 행해질 수 있다. 적어도 하나의 실시예에서, 가중치 파라미터들은, 하나 이상의 머신 학습 알고리즘, 신경망 아키텍처, 사용 사례, 또는 본 명세서에 설명되는 훈련 기술을 수행하도록 그래픽 프로세서(2400)의 ALU들을 구성하는 (도시되거나 또는 도시되지 않은) 온-칩 또는 오프-칩 메모리 및/또는 레지스터들에 저장될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 25는, 본 명세서에 설명되는 적어도 하나의 실시예에 따른, 그래픽 프로세서 코어(2500)의 하드웨어 로직의 블록도이다. 적어도 하나의 실시예에서, 그래픽 프로세서 코어(2500)는 그래픽 코어 어레이 내에 포함된다. 적어도 하나의 실시예에서, 때때로 코어 슬라이스라고 지칭되는, 그래픽 프로세서 코어(2500)는 모듈식 그래픽 프로세서 내의 하나의 또는 다수의 그래픽 코어일 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서 코어(2500)는 하나의 그래픽 코어 슬라이스의 예시적인 것이고, 본 명세서에 설명되는 바와 같은 그래픽 프로세서는 타겟 전력 및 성능 포락선들에 기초하는 다수의 그래픽 코어 슬라이스들을 포함할 수 있다. 적어도 하나의 실시예에서, 각각의 그래픽 코어(2500)는, 범용 및 고정 기능 로직의 모듈식 블록들을 포함하는, 서브-슬라이스들이라고 또한 지칭되는, 다수의 서브-코어들(2501A-2501F)과 연결되는 고정 기능 블록(2530)을 포함할 수 있다.
적어도 하나의 실시예에서, 고정 기능 블록(2530)은, 예를 들어, 더 낮은 성능 및/또는 더 낮은 전력 그래픽 프로세서 구현들에서, 그래픽 프로세서(2500)에서의 모든 서브-코어들에 의해 공유될 수 있는 지오메트리 및 고정 기능 파이프라인(2536)을 포함한다. 적어도 하나의 실시예에서, 지오메트리/고정 기능 파이프라인(2536)은 3D 고정 기능 파이프라인, 비디오 프론트-엔드 유닛, 스레드 산출기 및 스레드 디스패처, 및, 통합 리턴 버퍼들을 관리하는, 통합 리턴 버퍼 관리기를 포함한다.
적어도 하나의 실시예에서, 고정 기능 블록(2530)은 그래픽 SoC 인터페이스(2537), 그래픽 마이크로제어기(2538), 및 미디어 파이프라인(2539)을 또한 포함한다. 적어도 하나의 실시예에서 고정, 그래픽 SoC 인터페이스(2537)는 시스템 온 칩 집적 회로 내의 다른 프로세서 코어들과 그래픽 코어(2500) 사이에 인터페이스를 제공한다. 적어도 하나의 실시예에서, 그래픽 마이크로제어기(2538)는, 스레드 디스패치, 스케줄링, 및 선점(pre-emption)을 포함하는, 그래픽 프로세서(2500)의 다양한 기능들을 관리하도록 구성가능한 프로그램가능 서브-프로세서이다. 적어도 하나의 실시예에서, 미디어 파이프라인(2539)은, 이미지 및 비디오 데이터를 포함하는, 멀티미디어 데이터의 디코딩, 인코딩, 전처리 및/또는 후처리를 용이하게 하는 로직을 포함한다. 적어도 하나의 실시예에서, 미디어 파이프라인(2539)은 서브-코어들(2501-2501F) 내의 컴퓨팅 또는 샘플링 로직에 대한 요청들을 통해 미디어 연산들을 구현한다.
적어도 하나의 실시예에서, SoC 인터페이스(2537)는 그래픽 코어(2500)가 공유 최종 레벨 캐시 메모리, 시스템 RAM, 및/또는 내장 온-칩 또는 온-패키지 DRAM과 같은 메모리 계층 엘리먼트들을 포함하는, SoC 내의 다른 컴포넌트들 및/또는 범용 애플리케이션 프로세서 코어들(예를 들어, CPU들)과 통신하는 것을 가능하게 한다. 적어도 하나의 실시예에서, SoC 인터페이스(2537)는, 카메라 촬영 파이프라인들과 같은, SoC 내의 고정 기능 디바이스들과의 통신을 또한 가능하게 할 수 있고, 그래픽 코어(2500)와 SoC 내의 CPU들 사이에 공유될 수 있는 글로벌 메모리 원자들의 사용을 가능하게 하고 및/또는 이들을 구현한다. 적어도 하나의 실시예에서, SoC 인터페이스(2537)는 그래픽 코어(2500)에 대한 전력 관리 제어들을 또한 구현할 수 있고, 그래픽 코어(2500)의 클록 도메인과 SoC 내의 다른 클록 도메인들 사이의 인터페이스를 가능하게 할 수 있다. 적어도 하나의 실시예에서, SoC 인터페이스(2537)는 그래픽 프로세서 내의 하나 이상의 그래픽 코어 각각에 커맨드 및 명령어를 제공하도록 구성되는 커맨드 스트리머 및 글로벌 스레드 디스패처로부터의 커맨드 버퍼들의 수신을 가능하게 해준다. 적어도 하나의 실시예에서, 커맨드들 및 명령어들은, 미디어 연산들이 수행될 때, 미디어 파이프라인(2539)에, 또는 그래픽 처리 연산들이 수행될 때 지오메트리 및 고정 기능 파이프라인(예를 들어, 지오메트리 및 고정 기능 파이프라인(2536), 지오메트리 및 고정 기능 파이프라인(2514))에 디스패치될 수 있다.
적어도 하나의 실시예에서, 그래픽 마이크로제어기(2538)는 그래픽 코어(2500)에 대한 다양한 스케줄링 및 관리 태스크들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 그래픽 마이크로제어기(2538)는 서브-코어들(2501A-2501F) 내의 EU(execution unit) 어레이들(2502A-2502F, 2504A-2504F) 내의 다양한 그래픽 병렬 엔진들에 대해 그래픽 및/또는 컴퓨팅 작업부하 스케줄링을 수행할 수 있다. 적어도 하나의 실시예에서, 그래픽 코어(2500)를 포함하는 SoC의 CPU 코어 상에서 실행되는 호스트 소프트웨어는, 적절한 그래픽 엔진 상에서 스케줄링 연산을 호출하는, 다수의 그래픽 프로세서 도어벨들 중 하나에 작업부하들을 제출할 수 있다. 적어도 하나의 실시예에서, 스케줄링 연산들은 다음으로 실행할 작업부하를 결정하는 것, 작업부하를 커맨드 스트리머에 제출하는 것, 엔진 상에서 실행 중인 기존 작업부하들을 선점하는 것, 작업부하의 진행을 모니터링하는 것, 작업부하가 완료될 때 호스트 소프트웨어에 통지하는 것을 포함한다. 적어도 하나의 실시예에서, 그래픽 마이크로제어기(2538)는 그래픽 코어(2500)에 대한 저-전력 또는 유휴 상태들을 또한 용이하게 하여, 운영 체제 및/또는 시스템 상의 그래픽 드라이버 소프트웨어와 독립적으로 저-전력 상태 전이들에 걸쳐 그래픽 코어(2500) 내의 레지스터들을 저장 및 복원하는 능력을 그래픽 코어(2500)에 제공할 수 있다.
적어도 하나의 실시예에서, 그래픽 코어(2500)는 예시된 서브-코어들(2501A-2501F)보다 많은 또는 적은, 최대 N개의 모듈식 서브-코어들을 가질 수 있다. N개의 서브-코어들의 각각의 세트에 대해, 적어도 하나의 실시예에서, 그래픽 코어(2500)는 공유 기능 로직(2510), 공유 및/또는 캐시 메모리(2512), 지오메트리/고정 기능 파이프라인(2514) 뿐만 아니라, 다양한 그래픽들을 가속하고 처리 연산들을 컴퓨팅하는 추가적인 고정 기능 로직(2516)을 또한 포함할 수 있다. 적어도 하나의 실시예에서, 공유 기능 로직(2510)은 그래픽 코어(2500) 내의 각각의 N개의 서브-코어들에 의해 공유될 수 있는 로직 유닛들(예를 들어, 샘플러, 수학 및/또는 인터-스레드 통신 로직)을 포함할 수 있다. 적어도 하나의 실시예에서 고정, 공유 및/또는 캐시 메모리(2512)는 그래픽 코어(2500) 내의 N개의 서브-코어들(2501A-2501F)에 대한 최종-레벨 캐시일 수 있고, 다수의 서브-코어들에 의해 액세스가능한 공유 메모리로서 또한 역할을 할 수 있다. 적어도 하나의 실시예에서, 지오메트리/고정 기능 파이프라인(2514)은 고정 기능 블록(2530) 내의 지오메트리/고정 기능 파이프라인(2536) 대신에 포함될 수 있고, 동일한 또는 유사한 로직 유닛들을 포함할 수 있다.
적어도 하나의 실시예에서, 그래픽 코어(2500)는 그래픽 코어(2500)에 의한 사용을 위한 다양한 고정 기능 가속 로직을 포함할 수 있는 추가적인 고정 기능 로직(2516)을 포함한다. 적어도 하나의 실시예에서, 추가적인 고정 기능 로직(2516)은 위치 전용 셰이딩에서 사용하기 위한 추가적인 지오메트리 파이프라인을 포함한다. 위치-전용 셰이딩에서는, 적어도 2개의 지오메트리 파이프라인들이 존재하는 반면, 완전한 지오메트리 파이프라인에서는 지오메트리/고정 기능 파이프라인(2516, 2536) 내에, 그리고 추가적인 고정 기능 로직(2516) 내에 포함될 수 있는 추가적인 지오메트리 파이프라인인, 컬 파이프라인(cull pipeline)이 존재한다. 적어도 하나의 실시예에서, 컬 파이프라인은 전체 지오메트리 파이프라인의 트리밍 다운된 버전이다. 적어도 하나의 실시예에서, 전체 파이프라인 및 컬 파이프라인은 애플리케이션의 상이한 인스턴스들을 실행할 수 있고, 각각의 인스턴스는 별개의 컨텍스트를 갖는다. 적어도 하나의 실시예에서, 위치 전용 셰이딩은 폐기된 삼각형들의 긴 컬 런들(long cull runs)을 은닉할 수 있어서, 일부 인스턴스들에서 셰이딩이 더 일찍 완료되는 것을 가능하게 한다. 예를 들어, 적어도 하나의 실시예에서, 추가적인 고정 기능 로직(2516) 내의 컬 파이프라인 로직은 메인 애플리케이션과 병렬로 위치 셰이더들을 실행할 수 있고, 프레임 버퍼에 대한 픽셀들의 래스터화 및 렌더링을 수행하지 않고, 컬 파이프라인이 버텍스들의 위치 속성을 인출하고 셰이딩함에 따라, 전체 파이프라인보다 더 빠르게 중요한 결과들을 일반적으로 생성한다. 적어도 하나의 실시예에서, 컬 파이프라인은, 삼각형들이 컬링되는지에 상관없이 모든 삼각형들에 대한 가시성 정보를 컴퓨팅하기 위해, 생성된 중요한 결과들을 사용할 수 있다. 적어도 하나의 실시예에서, 전체 파이프라인(이러한 경우에는 리플레이 파이프라인이라고 지칭될 수 있음)은 최종적으로 래스터화 단계로 전달되는 단지 가시적 삼각형들만을 셰이딩하기 위해 컬링된 삼각형들을 스킵하도록 가시성 정보를 소비할 수 있다.
적어도 하나의 실시예에서, 추가적인 고정 기능 로직(2516)은, 머신 학습 훈련 또는 추론을 위한 최적화들을 포함하는 구현들을 위한 고정 기능 행렬 곱셈 로직과 같은, 머신-학습 가속 로직을 또한 포함할 수 있다.
적어도 하나의 실시예에서, 각각의 그래픽 서브-코어(2501A-2501F) 내에는 그래픽 파이프라인, 미디어 파이프라인, 또는 셰이더 프로그램들에 의한 요청들에 응답하여 그래픽, 미디어, 및 컴퓨팅 연산들을 수행하기 위해 사용될 수 있는 실행 리소스들의 세트를 포함한다. 적어도 하나의 실시예에서, 그래픽 서브-코어들(2501A-2501F)은 다수의 EU 어레이들(2502A-2502F, 2504A-2504F), TD/IC(thread dispatch and inter-thread communication) 로직(2503A-2503F), 3D(예를 들어, 텍스처) 샘플러(2505A-2505F), 미디어 샘플러(2506A-2506F), 셰이더 프로세서(2507A-2507F), 및 SLM(shared local memory)(2508A-2508F)를 포함한다. EU 어레이들(2502A-2502F, 2504A-2504F)은, 그래픽, 미디어, 또는 컴퓨팅 셰이더 프로그램을 포함하는, 그래픽, 미디어, 또는 컴퓨팅 연산의 서비스에서 부동-소수점 및 정수/고정-소수점 로직 연산들을 수행할 수 있는 범용 그래픽 처리 유닛들인, 다수의 실행 유닛들을 각각 포함한다. 적어도 하나의 실시예에서, TD/IC 로직(2503A-2503F)은 서브-코어 내의 실행 유닛들에 대한 로컬 스레드 디스패치 및 스레드 제어 연산들을 수행하고, 서브-코어의 실행 유닛들 상에서 실행되는 스레드들 사이의 통신을 용이하게 한다. 적어도 하나의 실시예에서, 3D 샘플러(2505A-2505F)는 텍스처 또는 다른 3D 그래픽 관련 데이터를 메모리에 판독할 수 있다. 적어도 하나의 실시예에서, 3D 샘플러는 주어진 텍스처와 연관된 구성된 샘플 상태 및 텍스처 포맷에 기초하여 텍스처 데이터를 상이하게 판독할 수 있다. 적어도 하나의 실시예에서, 미디어 샘플러(2506A-2506F)는 미디어 데이터와 연관된 타입 및 포맷에 기초하여 유사한 판독 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, 각각의 그래픽 서브-코어(2501A-2501F)는 통합 3D 및 미디어 샘플러를 대안적으로 포함할 수 있다. 적어도 하나의 실시예에서, 서브-코어들(2501A-2501F) 각각 내의 실행 유닛들 상에서 실행되는 스레드들은, 스레드 그룹 내에서 실행되는 스레드들이 온-칩 메모리의 공통 풀을 사용하여 실행되는 것을 가능하게 하기 위해, 각각의 서브-코어 내의 공유 로컬 메모리(2508A-2508F)를 사용할 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)의 일부 또는 전부는 그래픽 프로세서(2510)에 통합될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 본 명세서에 설명되는 훈련 및/또는 추론 기술들은 그래픽 프로세서(2312), 그래픽 마이크로제어기(2538), 지오메트리 및 고정 기능 파이프라인(2514 및 2536), 또는 도 24에서의 다른 로직에서 구현되는 ALU들 중 하나 이상을 사용할 수 있다. 더욱이, 적어도 하나의 실시예에서, 본 명세서에 설명되는 추론 및/또는 훈련 연산들은 도 6a 또는 도 6b에 예시되는 로직 이외의 로직을 사용하여 행해질 수 있다. 적어도 하나의 실시예에서, 가중치 파라미터들은, 하나 이상의 머신 학습 알고리즘, 신경망 아키텍처, 사용 사례, 또는 본 명세서에 설명되는 훈련 기술을 수행하도록 그래픽 프로세서(2500)의 ALU들을 구성하는 (도시되거나 또는 도시되지 않은) 온-칩 또는 오프-칩 메모리 및/또는 레지스터들에 저장될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 26a 및 도 26b는, 적어도 하나의 실시예에 따른, 그래픽 프로세서 코어의 처리 엘리먼트들의 어레이를 포함하는 스레드 실행 로직(2600)을 예시한다. 도 26a는 스레드 실행 로직(2600)이 사용되는 적어도 하나의 실시예를 예시한다. 도 26b는, 적어도 하나의 실시예에 따른, 실행 유닛의 예시적인 내부 상세사항들을 예시한다.
도 26a에 예시되는 바와 같이, 적어도 하나의 실시예에서, 스레드 실행 로직(2600)은 셰이더 프로세서(2602), 스레드 디스패처(2604), 명령어 캐시(2606), 복수의 실행 유닛들(2608A-2608N)을 포함하는 스케일가능 실행 유닛 어레이, 샘플러(2610), 데이터 캐시(2612), 및 데이터 포트(2614)를 포함한다. 적어도 하나의 실시예에서, 스케일가능 실행 유닛 어레이는, 예를 들어, 작업부하의 계산 요건들에 기초하여 하나 이상의 실행 유닛(예를 들어, 실행 유닛(2608A, 2608B, 2608C, 2608D, 내지 2608N-1 및 2608N) 중 임의의 것)을 인에이블 또는 디스에이블하는 것에 의해 동적으로 스케일링할 수 있다. 적어도 하나의 실시예에서, 스케일가능 실행 유닛들은 실행 유닛 각각에 링크하는 인터커넥트 패브릭을 통해 인터커넥트된다. 적어도 하나의 실시예에서, 스레드 실행 로직(2600)은, 명령어 캐시(2606), 데이터 포트(2614), 샘플러(2610), 및 실행 유닛들(2608A-2608N) 중 하나 이상을 통해, 시스템 메모리 또는 캐시 메모리와 같은, 메모리로의 하나 이상의 접속을 포함한다. 적어도 하나의 실시예에서, 각각의 실행 유닛(예를 들어, 2608A)은 각각의 스레드에 대해 다수의 데이터 엘리먼트들을 병렬로 처리하면서 다수의 동시 하드웨어 스레드들을 실행할 수 있는 독립형 프로그램가능 범용 계산 유닛이다. 적어도 하나의 실시예에서, 실행 유닛들(2608A-2608N)의 어레이는 임의의 수의 개별 실행 유닛들을 포함하도록 스케일가능하다.
적어도 하나의 실시예에서, 실행 유닛들(2608A-2608N)은 셰이더 프로그램들을 실행하기 위해 주로 사용된다. 적어도 하나의 실시예에서, 셰이더 프로세서(2602)는 다양한 셰이더 프로그램들을 처리하고, 셰이더 프로그램들과 연관된 실행 스레드들을 스레드 디스패처(2604)를 통해 디스패치할 수 있다. 적어도 하나의 실시예에서, 스레드 디스패처(2604)는 그래픽 및 미디어 파이프라인들로부터의 스레드 착수 요청들을 중재하고 요청된 스레드들을 실행 유닛들(2608A-2608N)에서의 하나 이상의 실행 유닛 상에 인스턴스화하는 로직을 포함한다. 예를 들어, 적어도 하나의 실시예에서, 지오메트리 파이프라인은, 버텍스, 테셀레이션, 또는 지오메트리 셰이더들을 처리를 위해 스레드 실행 로직에 디스패치할 수 있다. 적어도 하나의 실시예에서, 스레드 디스패처(2604)는 셰이더 프로그램들을 실행하는 것으로부터 요청들을 산출하는 런타임 스레드를 또한 처리할 수 있다.
적어도 하나의 실시예에서, 실행 유닛들(2608A-2608N)은 많은 표준 3D 그래픽 셰이더 명령어들에 대한 네이티브 지원을 포함하는 명령어 세트를 지원하여, 그래픽 라이브러리들로부터의 셰이더 프로그램들(예를 들어, Direct 3D 및 OpenGL)이 최소의 변환으로 실행된다. 적어도 하나의 실시예에서, 실행 유닛들은 버텍스 및 지오메트리 처리(예를 들어, 버텍스 프로그램들, 지오메트리 프로그램들, 버텍스 셰이더들), 픽셀 처리(예를 들어, 픽셀 셰이더들, 프래그먼트 셰이더들) 및 범용 처리(예를 들어, 컴퓨팅 및 미디어 셰이더들)를 지원한다. 적어도 하나의 실시예에서, 하나 이상의 ALU(arithmetic logic units)를 포함하는, 실행 유닛들(2608A-2608N) 각각은, 멀티-이슈 SIMD(single instruction multiple data) 실행이 가능하고 멀티-스레드형 연산은 더 높은 레이턴시 메모리 액세스들에도 불구하고 효율적인 실행 환경을 가능하게 한다. 적어도 하나의 실시예에서, 각각의 실행 유닛 내의 각각의 하드웨어 스레드는 전용 고-대역폭 레지스터 파일 및 연관된 독립 스레드-상태를 갖는다. 적어도 하나의 실시예에서, 실행은, 정수, 단일의 및 더블 정밀도 부동 소수점 연산들, SIMD 분기 능력, 논리 연산들, 초월 연산들, 및 다른 기타 연산들이 가능한 파이프라인들에 대한 클록 당 멀티-이슈이다. 적어도 하나의 실시예에서, 메모리 또는 공유 기능들 중 하나로부터의 데이터를 대기하는 동안, 실행 유닛들(2608A-2608N) 내의 의존성 로직은 요청된 데이터가 리턴될 때까지 대기 스레드로 하여금 휴면하게 한다. 적어도 하나의 실시예에서, 대기 스레드가 휴면 중인 동안, 하드웨어 리소스들은 다른 스레드들을 처리하기 위해 전용될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 버텍스 셰이더 연산과 연관된 지연 동안, 실행 유닛은, 픽셀 셰이더, 프래그먼트 셰이더, 또는 상이한 버텍스 셰이더를 포함하는, 다른 타입의 셰이더 프로그램에 대한 연산들을 수행할 수 있다.
적어도 하나의 실시예에서, 실행 유닛들(2608A-2608N)에서의 각각의 실행 유닛은 데이터 엘리먼트들의 어레이들 상에서 동작한다. 적어도 하나의 실시예에서, 데이터 엘리먼트들의 수는 "실행 크기(execution size)", 또는 명령어에 대한 채널들의 수이다. 적어도 하나의 실시예에서, 실행 채널은, 명령어들 내의 데이터 엘리먼트 액세스, 마스킹, 및 흐름 제어를 위한 실행의 논리 유닛이다. 적어도 하나의 실시예에서, 채널들의 수는 특정 그래픽 프로세서에 대한 물리 ALU들(Arithmetic Logic Units) 또는 FPU들(Floating Point Units)의 수에 독립적일 수 있다. 적어도 하나의 실시예에서, 실행 유닛들(2608A-2608N)은 정수 및 부동-소수점 데이터 타입들을 지원한다.
적어도 하나의 실시예에서, 실행 유닛 명령어 세트는 SIMD 명령어들을 포함한다. 적어도 하나의 실시예에서, 다양한 데이터 엘리먼트들은 레지스터에서 패킹되는 데이터 타입으로서 저장될 수 있고 실행 유닛은 엘리먼트들의 데이터 크기에 기초하여 다양한 엘리먼트들을 처리할 것이다. 예를 들어, 적어도 하나의 실시예에서, 256-비트 폭 벡터에서 동작할 때, 벡터의 256 비트는 레지스터에 저장되고, 실행 유닛은, 벡터에서 4개의 별개의 64-비트 패킹된 데이터 엘리먼트들(QW(Quad-Word) 크기 데이터 엘리먼트들), 8개의 별개의 32-비트 패킹된 데이터 엘리먼트들(DW(Double Word) 크기 데이터 엘리먼트들), 16개의 별개의 16-비트 패킹된 데이터 엘리먼트들(W(Word) 크기 데이터 엘리먼트들), 또는 32개의 별개의 8-비트 데이터 엘리먼트들(B(byte) 크기 데이터 엘리먼트들)로서 동작한다. 그러나, 적어도 하나의 실시예에서, 상이한 벡터 폭들 및 레지스터 크기들이 가능하다.
적어도 하나의 실시예에서, 하나 이상의 실행 유닛은 융합된 EU들에 공통인 스레드 제어 로직(2607A-2607N)을 갖는 융합된 실행 유닛(2609A-2609N)으로 조합될 수 있다. 적어도 하나의 실시예에서, 다수의 EU들이 EU 그룹으로 융합될 수 있다. 적어도 하나의 실시예에서, 융합된 EU 그룹에서의 각각의 EU는 별개의 SIMD 하드웨어 스레드를 실행하도록 구성될 수 있다. 융합된 EU 그룹에서의 EU들의 수는 다양한 실시예들에 따라 변할 수 있다. 적어도 하나의 실시예에서, 이에 제한되는 것은 아니지만 SIMD8, SIMD16, 및 SIMD32를 포함하는, 다양한 SIMD 폭들이 EU-당 수행될 수 있다. 적어도 하나의 실시예에서, 각각의 융합된 그래픽 실행 유닛(2609A-2609N)은 적어도 2개의 실행 유닛들을 포함한다. 예를 들어, 적어도 하나의 실시예에서, 융합된 실행 유닛(2609A)은 제1 EU(2608A), 제2 EU(2608B), 및 제1 EU(2608A) 및 제2 EU(2608B)에 공통인 스레드 제어 로직(2607A)을 포함한다. 적어도 하나의 실시예에서, 스레드 제어 로직(2607A)은 융합된 그래픽 실행 유닛(2609A) 상에서 실행되는 스레드들을 제어하여, 융합된 실행 유닛들(2609A-2609N) 내의 각각의 EU가 공통 명령어 포인터 레지스터를 사용하여 실행되는 것을 허용한다.
적어도 하나의 실시예에서, 실행 유닛들에 대한 스레드 명령어들을 캐싱하기 위해 스레드 실행 로직(2600)에 하나 이상의 내부 명령어 캐시(예를 들어, 2606)가 포함된다. 적어도 하나의 실시예에서, 스레드 실행 동안 스레드 데이터를 캐싱하기 위해 하나 이상의 데이터 캐시(예를 들어, 2612)가 포함된다. 적어도 하나의 실시예에서, 3D 연산들을 위한 텍스처 샘플링 및 미디어 연산들을 위한 미디어 샘플링을 제공하기 위해 샘플러(2610)가 포함된다. 적어도 하나의 실시예에서, 샘플러(2610)는 샘플링된 데이터를 실행 유닛에 제공하기 전에 샘플링 프로세스 동안 텍스처 또는 미디어 데이터를 처리하는 특수화된 텍스처 또는 미디어 샘플링 기능성을 포함한다.
실행 동안, 적어도 하나의 실시예에서, 그래픽 및 미디어 파이프라인들은 스레드 산출 및 디스패치 로직을 통해 스레드 착수 요청들을 스레드 실행 로직(2600)에 전송한다. 적어도 하나의 실시예에서, 일단 지오메트리 객체들의 그룹이 처리되고 픽셀 데이터로 래스터화되면, 출력 정보를 추가로 컴퓨팅하고 결과들로 하여금 출력 표면들(예를 들어, 컬러 버퍼, 심도 버퍼, 스텐실 버퍼 등)에 기입되게 하기 위해 셰이더 프로세서(2602) 내의 픽셀 프로세서 로직(예를 들어, 픽셀 셰이더 로직, 프래그먼트 셰이더 로직 등)이 호출된다. 적어도 하나의 실시예에서, 픽셀 셰이더 또는 프래그먼트 셰이더는 래스터화된 객체에 걸쳐 보간될 다양한 버텍스 속성들의 값들을 계산한다. 적어도 하나의 실시예에서, 다음으로 셰이더 프로세서(2602) 내의 픽셀 프로세서 로직은 API(application programming interface)-공급 픽셀 또는 프래그먼트 셰이더 프로그램을 실행한다. 적어도 하나의 실시예에서, 셰이더 프로그램을 실행하기 위해, 셰이더 프로세서(2602)는 스레드 디스패처(2604)를 통해 스레드들을 실행 유닛(예를 들어, 2608A)에 디스패치한다. 적어도 하나의 실시예에서, 셰이더 프로세서(2602)는 메모리에 저장되는 텍스처 맵들에서의 텍스처 데이터에 액세스하기 위해 샘플러(2610)에서의 텍스처 샘플링 로직을 사용한다. 적어도 하나의 실시예에서, 텍스처 데이터 및 입력 지오메트리 데이터에 대한 산술 연산들은, 각각의 지오메트리 프래그먼트에 대한 픽셀 컬러 데이터를 컴퓨팅하거나, 또는 추가 처리로부터의 하나 이상의 픽셀을 폐기한다.
적어도 하나의 실시예에서, 데이터 포트(2614)는 스레드 실행 로직(2600)이 처리된 데이터를 그래픽 프로세서 출력 파이프라인 상에서의 추가 처리를 위해 메모리에 출력하기 위한 메모리 액세스 메커니즘을 제공한다. 적어도 하나의 실시예에서, 데이터 포트(2614)는 데이터 포트를 통한 메모리 액세스를 위해 데이터를 캐싱하도록 하나 이상의 캐시 메모리(예를 들어, 데이터 캐시(2612))를 포함하거나, 또는 이에 연결된다.
도 26b에 예시되는 바와 같이, 적어도 하나의 실시예에서, 그래픽 실행 유닛(2608)은 명령어 인출 유닛(2637), GRF(general register file array)(2624), ARF(architectural register file array)(2626), 스레드 중재기(2622), 전송 유닛(2630), 분기 유닛(2632), SIMD FPU들(floating point units)(2634)의 세트, 및, 적어도 하나의 실시예에서, 전용 정수 SIMD ALU들(2635)의 세트를 포함할 수 있다. 적어도 하나의 실시예에서, GRF(2624) 및 ARF(2626)는 그래픽 실행 유닛(2608)에서 활성일 수 있는 각각의 동시 하드웨어 스레드와 연관된 일반 레지스터 파일들 및 아키텍처 레지스터 파일들의 세트를 포함한다. 적어도 하나의 실시예에서, 스레드 당 아키텍처 상태는 ARF(2626)에서 유지되는 반면, 스레드 실행 동안 사용되는 데이터는 GRF(2624)에서 저장된다. 적어도 하나의 실시예에서, 각각의 스레드에 대한 명령어 포인터들을 포함하는, 각각의 스레드의 실행 상태는 ARF(2626)에서의 스레드-특정 레지스터들에서 유지될 수 있다.
적어도 하나의 실시예에서, 그래픽 실행 유닛(2608)은 SMT(Simultaneous Multi-Threading) 및 결이 미세한 IMT(Interleaved Multi-Threading)의 조합인 아키텍처를 갖는다. 적어도 하나의 실시예에서, 아키텍처는, 동시 스레드들의 타겟 수 및 실행 유닛 당 레지스터들의 수에 기초하여 설계 시간에 미세-튜닝될 수 있는 모듈식 구성을 가지며, 여기서 실행 유닛 리소스들은 다수의 동시 스레드들을 실행하기 위해 사용되는 로직에 걸쳐 분할된다.
적어도 하나의 실시예에서, 그래픽 실행 유닛(2608)은, 각각이 상이한 명령어들일 수 있는, 다수의 명령어들을 공동-발행할 수 있다. 적어도 하나의 실시예에서, 그래픽 실행 유닛 스레드(2608)의 스레드 중재기(2622)는 실행을 위해 전송 유닛(2630), 분기 유닛(2642), 또는 SIMD FPU(들)(2634) 중 하나에 명령어들을 디스패치할 수 있다. 적어도 하나의 실시예에서, 각각의 실행 스레드는 GRF(2624) 내의 128개의 범용 레지스터들에 액세스할 수 있으며, 여기서 각각의 레지스터는, 32-비트 데이터 엘리먼트들의 SIMD 8-엘리먼트 벡터로서 액세스가능한, 32 바이트를 저장할 수 있다. 적어도 하나의 실시예에서, 각각의 실행 유닛 스레드는 GRF(2624) 내에서 4 Kbytes에 액세스하지만, 실시예들이 그렇게 제한되는 것은 아니고, 더 많은 또는 더 적은 레지스터 리소스들이 다른 실시예들에서 제공될 수 있다. 적어도 하나의 실시예에서, 최대 7개의 스레드들이 동시에 실행될 수 있지만, 실행 유닛 당 스레드들의 수 또한 실시예들에 따라 변할 수 있다. 7개의 스레드들이 4 Kbytes에 액세스할 수 있는, 적어도 하나의 실시예에서, GRF(2624)는 총 28 Kbytes를 저장할 수 있다. 적어도 하나의 실시예에서, 효과적으로 더 넓은 레지스터들을 구축하기 위해 또는 스트라이드형 직사각형 블록 데이터 구조들을 나타내기 위해, 유연한 어드레싱 모드들은 레지스터들이 함께 어드레싱되는 것을 허용할 수 있다.
적어도 하나의 실시예에서, 메시지 전달 전송 유닛(2630)에 의해 실행되는 "전송(send)" 명령어들을 통해 메모리 연산들, 샘플러 연산들, 및 다른 더 긴-레이턴시 시스템 통신들이 디스패치된다. 적어도 하나의 실시예에서, SIMD 발산 및 궁극적 수렴을 용이하게 하기 위해 분기 명령어들이 전용 분기 유닛(2632)에 디스패치된다.
적어도 하나의 실시예에서, 그래픽 실행 유닛(2608)은 부동-소수점 연산들을 수행하기 위해 하나 이상의 SIMD FPU(들)(floating point units)(2634)을 포함한다. 적어도 하나의 실시예에서, FPU(들)(2634)는 정수 계산을 또한 지원한다. 적어도 하나의 실시예에서, FPU(들)(2634)는 최대 M개의 32-비트 부동-소수점(또는 정수) 연산들을 SIMD 실행할 수 있거나, 또는 최대 2M 16-비트 정수 또는 16-비트 부동-소수점 연산들을 SIMD 실행할 수 있다. 적어도 하나의 실시예에서, FPU(들) 중 적어도 하나는 고-처리량 초월 수학 함수들 및 더블 정밀도 64-비트 부동-소수점을 지원하기 위해 확장된 수학 능력을 제공한다. 적어도 하나의 실시예에서, 8-비트 정수 SIMD ALU들(2635)의 세트가 또한 존재하고, 머신 학습 계산들과 연관된 연산들을 수행하도록 구체적으로 최적화될 수 있다.
적어도 하나의 실시예에서, 그래픽 실행 유닛(2608)의 다수의 인스턴스들의 어레이들이 그래픽 서브-코어 그룹화(예를 들어, 서브-슬라이스)에서 인스턴스화될 수 있다. 적어도 하나의 실시예에서, 실행 유닛(2608)은 복수의 실행 채널들에 걸쳐 명령어들을 실행할 수 있다. 적어도 하나의 실시예에서, 그래픽 실행 유닛(2608) 상에서 실행되는 각각의 스레드는 상이한 채널 상에서 실행된다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 추론 및/또는 훈련 로직(615)의 일부 또는 전부는 스레드 실행 로직(2600)에 통합될 수 있다. 더욱이, 적어도 하나의 실시예에서, 본 명세서에 설명되는 추론 및/또는 훈련 연산들은 도 6a 또는 도 6b에 예시되는 로직 이외의 로직을 사용하여 행해질 수 있다. 적어도 하나의 실시예에서, 가중치 파라미터들은, 하나 이상의 머신 학습 알고리즘, 신경망 아키텍처, 사용 사례, 또는 본 명세서에 설명되는 훈련 기술을 수행하도록 실행 로직(2600)의 ALU들을 구성하는 (도시되거나 또는 도시되지 않은) 온-칩 또는 오프-칩 메모리 및/또는 레지스터들에 저장될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 27은, 적어도 하나의 실시예에 따른, "PPU"(parallel processing unit)(2700)을 예시한다. 적어도 하나의 실시예에서, PPU(2700)는, PPU(2700)에 의해 실행되면, PPU(2700)로 하여금 본 개시내용 전반적으로 설명되는 프로세스들 및 기술들의 일부 또는 전부를 수행하게 하는 머신-판독가능 코드로 구성된다. 적어도 하나의 실시예에서, PPU(2700)는, 하나 이상의 집적 회로 디바이스 상에 구현되는 그리고 다수의 스레드들 상의 컴퓨터-판독가능 명령어들(머신-판독가능 명령어들 또는 단순히 명령어들이라고 또한 지칭됨)을 병렬로 처리하도록 설계되는 레이턴시-은닉 기술로서 멀티스레딩을 이용하는 멀티-스레드형 프로세서이다. 적어도 하나의 실시예에서, 스레드는 실행의 스레드를 지칭하고, PPU(2700)에 의해 실행되도록 구성되는 명령어들의 세트의 인스턴스화이다. 적어도 하나의 실시예에서, PPU(2700)는 "LCD"(liquid crystal display) 디바이스와 같은 디스플레이 디바이스 상에 디스플레이하기 위한 "2D"(two-dimensional)이미지 데이터를 생성하기 위해 "3D"(three-dimensional) 그래픽 데이터를 처리하기 위한 그래픽 렌더링 파이프라인을 구현하도록 구성되는 "GPU"(graphics processing unit)이다. 적어도 하나의 실시예에서, PPU(2700)는 선형 대수 연산들 및 머신-학습 연산들과 같은 계산들을 수행하기 위해 이용된다. 도 27은 단지 예시적인 목적들을 위한 예시적인 병렬 프로세서를 예시하고, 본 개시내용의 범위 내에서 고려되는 프로세서 아키텍처들의 비-제한적인 예로서 그리고 임의의 적합한 프로세서가 동일한 것에 대해 보충 및/또는 대체하기 위해 이용될 수 있는 것으로 해석되어야 한다.
적어도 하나의 실시예에서, 하나 이상의 PPU(2700)는 "HPC"(High Performance Computing), 데이터 센터, 및 머신 학습 애플리케이션들을 가속하도록 구성된다. 적어도 하나의 실시예에서, PPU(2700)는 다음의 비-제한적인 예들: 자율 차량 플랫폼들, 심층 학습, 고-정확도 음성, 이미지, 텍스트 인식 시스템들, 지능형 비디오 분석, 분자 시뮬레이션들, 약물 발견, 질병 진단, 날씨 예보, 빅 데이터 분석, 천문학, 분자 역학 시뮬레이션, 금융 모델링, 로봇, 공장 자동화, 실시간 언어 번역, 온라인 검색 최적화들, 및 개인화된 사용자 추천들 등을 포함하는 심층 학습 시스템들 및 애플리케이션들을 가속하도록 구성된다.
적어도 하나의 실시예에서, PPU(2700)는 "I/O"(Input/Output) 유닛(2706), 프론트-엔드 유닛(2710), 스케줄러 유닛(2712), 작업 분배 유닛(2714), 허브(2716), "XBar"(crossbar)(2720), 하나 이상의 "GPC"(general processing clusters)(2718), 및 하나 이상의 파티션 유닛("메모리 파티션 유닛")(2722)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, PPU(2700)는 하나 이상의 고속 GPU 인터커넥트("GPU interconnects")(2708)를 통해 호스트 프로세서 또는 다른 PPU(2700)에 접속된다. 적어도 하나의 실시예에서, PPU(2700)는 인터커넥트(2702)를 통해 호스트 프로세서 또는 다른 주변 디바이스들에 접속된다. 적어도 하나의 실시예에서, PPU(2700)는 하나 이상의 메모리 디바이스를 포함하는 로컬 메모리("메모리")(2704)에 접속된다. 적어도 하나의 실시예에서, 메모리 디바이스들(2704)은 하나 이상의 "DRAM"(dynamic random access memory) 디바이스를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 하나 이상의 DRAM 디바이스는 "HBM"(high-bandwidth memory) 서브시스템들로서 구성되고 및/또는 구성가능하고, 다수의 DRAM 다이들이 각각의 디바이스 내에 적층된다.
적어도 하나의 실시예에서, 고속 GPU 인터커넥트(2708)는, 하나 이상의 "CPU"(central processing units)와 조합되는 하나 이상의 PPU(2700)를 포함하고 스케일하기 위해 시스템에 의해 사용되는, 그리고 PPU들(2700)과 CPU들 사이의 캐시 코히어런스, 및 CPU 마스터링을 지원하는 와이어-기반 멀티-레인 통신 링크를 지칭할 수 있다. 적어도 하나의 실시예에서, 데이터 및/또는 커맨드들은 고속 GPU 인터커넥트(2708)에 의해 허브(2716)를 통해 하나 이상의 복사 엔진, 비디오 인코더, 비디오 디코더, 전력 관리 유닛, 및 도 27에 명시적으로 예시되지 않을 수 있는 다른 컴포넌트와 같은 PPU(2700)의 다른 유닛들로/로부터 송신된다.
적어도 하나의 실시예에서, I/O 유닛(2706)은 시스템 버스(2702)를 통해 호스트 프로세서(도 27에 예시되지 않음)로부터 통신들(예를 들어, 커맨드들, 데이터)을 송신 및 수신하도록 구성된다. 적어도 하나의 실시예에서, I/O 유닛(2706)은 시스템 버스(2702)를 통해 직접 또는 메모리 브릿지와 같은 하나 이상의 중간 디바이스를 통해 호스트 프로세서와 통신한다. 적어도 하나의 실시예에서, I/O 유닛(2706)은 시스템 버스(2702)를 통해 하나 이상의 PPU(2700)와 같은 하나 이상의 다른 프로세서와 통신할 수 있다. 적어도 하나의 실시예에서, I/O 유닛(2706)은 PCIe 버스를 통한 통신을 위한 PCIe(Peripheral Component Interconnect Express) 인터페이스를 구현한다. 적어도 하나의 실시예에서, I/O 유닛(2706)은 외부 디바이스들과 통신하기 위한 인터페이스들을 구현한다.
적어도 하나의 실시예에서, I/O 유닛(2706)은 시스템 버스(2702)를 통해 수신되는 패킷들을 디코딩한다. 적어도 하나의 실시예에서, 적어도 일부 패킷들은 PPU(2700)로 하여금 다양한 연산들을 수행하게 하도록 구성되는 커맨드들을 나타낸다. 적어도 하나의 실시예에서, I/O 유닛(2706)은 디코딩된 커맨드들을 커맨드들에 의해 명시되는 바와 같이 PPU(2700)의 다양한 다른 유닛들에 송신한다. 적어도 하나의 실시예에서, 커맨드들은 프론트-엔드 유닛(2710)에 송신되고 및/또는 허브(2716) 또는 하나 이상의 복사 엔진, 비디오 인코더, 비디오 디코더, 전력 관리 유닛 등과 같은 PPU(2700)의 다른 유닛들(도 27에 명시적으로 예시되지 않음)에 송신된다. 적어도 하나의 실시예에서, I/O 유닛(2706)은 PPU(2700)의 다양한 논리 유닛들 사이에서 및 중에서 통신을 라우팅하도록 구성된다.
적어도 하나의 실시예에서, 호스트 프로세서에 의해 실행되는 프로그램은 처리를 위해 PPU(2700)에 작업부하들을 제공하는 버퍼에서 커맨드 스트림을 인코딩한다. 적어도 하나의 실시예에서, 작업부하는 명령어들 및 이러한 명령어들에 의해 처리될 데이터를 포함한다. 적어도 하나의 실시예에서, 버퍼는 호스트 프로세서 및 PPU(2700) 양자 모두에 의해 액세스가능한(예를 들어, 판독/기입) 메모리에서의 영역이다 - 호스트 인터페이스 유닛은 I/O 유닛(2706)에 의해 시스템 버스(2702)를 통해 송신되는 메모리 요청들을 통해 시스템 버스(2702)에 접속되는 시스템 메모리에서의 해당 버퍼에 액세스하도록 구성될 수 있다. 적어도 하나의 실시예에서, 호스트 프로세서는 커맨드 스트림을 버퍼에 기입하고, 다음으로 커맨드 스트림의 시작에 대한 포인터를 PPU(2700)에 송신하여, 프론트-엔드 유닛(2710)이 하나 이상의 커맨드 스트림에 대한 포인터를 수신하고, 하나 이상의 커맨드 스트림을 관리하고, 커맨드 스트림으로부터 커맨드를 판독하여, 커맨드들을 PPU(2700)의 다양한 유닛에 전달한다.
적어도 하나의 실시예에서, 프론트-엔드 유닛(2710)은 하나 이상의 커맨드 스트림에 의해 정의되는 태스크들을 처리하도록 다양한 GPC들(2718)을 구성하는 스케줄러 유닛(2712)에 연결된다. 적어도 하나의 실시예에서, 스케줄러 유닛(2712)은 스케줄러 유닛(2712)에 의해 관리되는 다양한 태스크들에 관련된 상태 정보를 추적하도록 구성되며, 여기서 상태 정보는 태스크가 GPC들(2718) 중 어느 것에 배정되는지, 태스크가 활성인지 또는 비활성인지, 태스크와 연관된 우선순위 레벨 등을 표시할 수 있다. 적어도 하나의 실시예에서, 스케줄러 유닛(2712)은 GPC들(2718) 중 하나 이상에서 복수의 태스크들의 실행을 관리한다.
적어도 하나의 실시예에서, 스케줄러 유닛(2712)은 GPC들(2718) 상에서의 실행을 위해 태스크들을 디스패치하도록 구성되는 작업 분배 유닛(2714)에 연결된다. 적어도 하나의 실시예에서, 작업 분배 유닛(2714)은 스케줄러 유닛(2712)으로부터 수신되는 다수의 스케줄링된 태스크들을 추적하고, 작업 분배 유닛(2714)은 GPC들(2718) 각각에 대한 계류중인 태스크 풀 및 활성 태스크 풀을 관리한다. 적어도 하나의 실시예에서, 계류중인 태스크 풀은 특정 GPC(2718)에 의해 처리되도록 배정되는 태스크들을 포함하는 다수의 슬롯들(예를 들어, 32개의 슬롯들)을 포함하고; 활성 태스크 풀은 GPC들(2718)에 의해 능동적으로 처리되고 있는 태스크들에 대한 다수의 슬롯들(예를 들어, 4개의 슬롯들)을 포함할 수 있어, GPC들(2718) 중 하나가 태스크의 실행을 완료함에 따라, 해당 태스크가 GPC(2718)에 대한 해당 활성 태스크 풀로부터 축출되고 GPC(2718) 상에서의 실행을 위해 계류중인 태스크 풀로부터의 다른 태스크들 중 하나가 선택되고 스케줄링된다. 적어도 하나의 실시예에서, 데이터 의존성이 해결되기를 대기하는 동안과 같이, 활성 태스크가 GPC(2718) 상에서 유휴 상태이면, 다음으로 해당 활성 태스크는 GPC(2718)로부터 축출되어 해당 계류중인 태스크 풀에 리턴되는 반면, 계류중인 태스크 풀에서의 다른 태스크는 GPC(2718) 상에서의 실행을 위해 선택되고 스케줄링된다.
적어도 하나의 실시예에서, 작업 분배 유닛(2714)은 XBar(2720)을 통해 하나 이상의 GPC(2718)와 통신한다. 적어도 하나의 실시예에서, XBar(2720)은 PPU(2700)의 유닛들 중 많은 것을 PPU(2700)의 다른 유닛들에 연결하는 인터커넥트 네트워크이고, 작업 분배 유닛(2714)을 특정 GPC(2718)에 연결하도록 구성될 수 있다. 적어도 하나의 실시예에서, PPU(2700)의 하나 이상의 다른 유닛이 또한 허브(2716)를 통해 XBar(2720)에 접속될 수 있다.
적어도 하나의 실시예에서, 태스크들은 스케줄러 유닛(2712)에 의해 관리되고 작업 분배 유닛(2714)에 의해 GPC들(2718) 중 하나에 디스패치된다. GPC(2718)는 태스크를 처리하도록 그리고 결과를 생성하도록 구성된다. 적어도 하나의 실시예에서, 결과들은 GPC(2718) 내의 다른 태스크에 의해 소비되거나, XBar(2720)을 통해 상이한 GPC(2718)에 라우팅되거나, 또는 메모리(2704)에 저장될 수 있다. 적어도 하나의 실시예에서, 결과들은, 메모리(2704)로/로부터 데이터를 판독 및 기입하기 위한 메모리 인터페이스를 구현하는, 파티션 유닛(2722)을 통해 메모리(2704)에 기입될 수 있다. 적어도 하나의 실시예에서, 결과들은 고속 GPU 인터커넥트(2708)를 통해 다른 PPU(2704) 또는 CPU에 송신될 수 있다. 적어도 하나의 실시예에서, PPU(2700)는 PPU(2700)에 연결되는 개별 및 별개의 메모리 디바이스들(2704)의 수와 동일한 수 U의 파티션 유닛들(2722)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 파티션 유닛(2722)은 도 29와 함께 아래에 더 상세히 설명된다.
적어도 하나의 실시예에서, 호스트 프로세서는 호스트 프로세서 상에서 실행되는 하나 이상의 애플리케이션이 PPU(2700) 상에서 실행하기 위한 연산들을 스케줄링하는 것을 가능하게 하는 "API"(application programming interface)를 구현하는 드라이버 커널을 실행한다. 적어도 하나의 실시예에서, 다수의 컴퓨팅 애플리케이션들이 PPU(2700)에 의해 동시에 실행되고, PPU(2700)는 격리, "QoS"(quality of service), 및 다수의 컴퓨팅 애플리케이션들에 대한 독립적인 어드레스 공간들을 제공한다. 적어도 하나의 실시예에서, 애플리케이션은 드라이버 커널로 하여금 PPU(2700)에 의한 실행을 위한 하나 이상의 태스크를 생성하게 하는 그리고 드라이버 커널이 PPU(2700)에 의해 처리되는 하나 이상의 스트림에 태스크를 출력하는 (예를 들어, API 호출들의 형태의) 명령어들을 생성한다. 적어도 하나의 실시예에서, 각각의 태스크는, 워프(warp)라고 지칭될 수 있는, 관련 스레드들의 하나 이상의 그룹을 포함한다. 적어도 하나의 실시예에서, 워프는 병렬로 실행될 수 있는 복수의 관련된 스레드들(예를 들어, 32개의 스레드들)을 포함한다. 적어도 하나의 실시예에서, 협력 스레드들은 태스크를 수행하는 그리고 공유 메모리를 통해 데이터를 교환하는 명령어들을 포함하는 복수의 스레드들을 지칭할 수 있다. 적어도 하나의 실시예에서, 스레드들 및 협력 스레드들이, 도 29와 함께, 적어도 하나의 실시예에 따라, 더 상세히 설명된다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 심층 학습 애플리케이션 프로세서는 PPU(2700)에 제공되는 정보를 예측 또는 추론하기 위해, 신경망과 같은, 머신 학습 모델을 훈련하기 위해 사용된다. 적어도 하나의 실시예에서, PPU(2700)는 다른 프로세서 또는 시스템에 의해 또는 PPU(2700)에 의해 훈련된 훈련된 머신 학습 모델(예를 들어, 신경망)에 기초하여 정보를 추론 또는 예측하기 위해 사용된다. 적어도 하나의 실시예에서, PPU(2700)는 본 명세서에 설명되는 하나 이상의 신경망 사용 사례들을 수행하기 위해 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 28은, 적어도 하나의 실시예에 따른, "GPC"(general processing cluster)(2800)를 예시한다. 적어도 하나의 실시예에서, GPC(2800)는 도 27의 GPC(2718)이다. 적어도 하나의 실시예에서, 각각의 GPC(2800)는 태스크들을 처리하기 위한 다수의 하드웨어 유닛을, 제한 없이, 포함하고, 각각의 GPC(2800)는 파이프라인 관리기(2802), "PROP"(pre-raster operations unit)(2804), 래스터 엔진(2808), "WDX"(work distribution crossbar)(2816), "MMU"(memory management unit)(2818), 하나 이상의 "DPC"(Data Processing Clusters)(2806), 및 부품들의 임의의 적합한 조합을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, GPC(2800)의 연산은 파이프라인 관리기(2802)에 의해 제어된다. 적어도 하나의 실시예에서, 파이프라인 관리기(2802)는 GPC(2800)에 할당되는 태스크들을 처리하기 위한 하나 이상의 DPC(2806)의 구성을 관리한다. 적어도 하나의 실시예에서, 파이프라인 관리기(2802)는 그래픽 렌더링 파이프라인의 적어도 일부를 구현하도록 하나 이상의 DPC(2806) 중 적어도 하나를 구성한다. 적어도 하나의 실시예에서, DPC(2806)는 프로그램가능 "SM"(streaming multi-processor)(2814) 상에서 버텍스 셰이더 프로그램을 실행하도록 구성된다. 적어도 하나의 실시예에서, 파이프라인 관리기(2802)는, 적어도 하나의 실시예에서, 작업 분배 유닛으로부터 수신되는 패킷들을 GPC(2800) 내의 적절한 논리 유닛들로 라우팅하도록 구성되고, 일부 패킷들은 PROP(2804) 및/또는 래스터 엔진(2808)에서의 고정 기능 하드웨어 유닛들에 라우팅될 수 있는 반면, 다른 패킷들은 프리미티브 엔진(2812) 또는 SM(2814)에 의한 처리를 위해 DPC들(2806)에 라우팅될 수 있다. 적어도 하나의 실시예에서, 파이프라인 관리기(2802)는 신경망 모델 및/또는 컴퓨팅 파이프라인을 구현하도록 DPC들(2806) 중 적어도 하나를 구성한다.
적어도 하나의 실시예에서, PROP 유닛(2804)은, 적어도 하나의 실시예에서, 래스터 엔진(2808) 및 DPC들(2806)에 의해 생성되는 데이터를, 도 27과 함께 위 더 상세히 설명된, 파티션 유닛(2722)에서의 "ROP"(Raster Operations) 유닛에 라우팅하도록 구성된다. 적어도 하나의 실시예에서, PROP 유닛(2804)은 컬러 혼합에 대한 최적화를 수행하고, 픽셀 데이터를 조직화하고, 어드레스 변환들을 수행하고, 그 이상을 행하도록 구성된다. 적어도 하나의 실시예에서, 래스터 엔진(2808)은, 적어도 하나의 실시예에서, 다양한 래스터 연산들을 수행하도록 구성되는 다수의 고정 기능 하드웨어 유닛들을, 제한 없이 포함하고, 래스터 엔진(2808)은 셋업 엔진, 대략적 래스터 엔진, 컬링 엔진, 클리핑 엔진, 미세한 래스터 엔진, 타일 합체 엔진, 및 이들의 임의의 적합한 조합을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 셋업 엔진은 변환된 버텍스들을 수신하고 버텍스들에 의해 정의되는 지오메트리 프리미티브와 연관된 평면 방정식들을 생성하고; 평면 방정식들은 프리미티브에 대한 커버리지 정보(예를 들어, 타일에 대한 x, y 커버리지 마스크)를 생성하기 위해 대략적 래스터 엔진에 송신되고; 대략적 래스터 엔진의 출력은 z-테스트에 실패한 프리미티브와 연관된 프래그먼트들이 컬링되는 컬링 엔진에 송신되고, 뷰잉 절두체 외부에 놓인 프래그먼트들이 클리핑되는 클리핑 엔진에 송신된다. 적어도 하나의 실시예에서, 클리핑 및 컬링을 견디는 프래그먼트들은 셋업 엔진에 의해 생성되는 평면 방정식들에 기초하여 픽셀 프래그먼트들에 대한 속성들을 생성하기 위해 미세한 래스터 엔진에 전달된다. 적어도 하나의 실시예에서, 래스터 엔진(2808)의 출력은, DPC(2806) 내에 구현되는 프래그먼트 셰이더와 같은, 임의의 적합한 엔티티에 의해 처리될 프래그먼트들을 포함한다.
적어도 하나의 실시예에서, GPC(2800)에 포함되는 각각의 DPC(2806)는, 제한 없이, "MPC"(M-Pipe Controller)(2810); 프리미티브 엔진(2812); 하나 이상의 SM(2814); 및 이들의 임의의 적합한 조합을 포함한다. 적어도 하나의 실시예에서, MPC(2810)는, 파이프라인 관리기(2802)로부터 수신되는 패킷들을 DPC(2806)에서의 적절한 유닛들로 라우팅하는, DPC(2806)의 연산을 제어한다. 적어도 하나의 실시예에서, 버텍스와 연관된 패킷들은, 메모리로부터 버텍스와 연관된 버텍스 속성들을 인출하도록 구성되는, 프리미티브 엔진(2812)에 라우팅되고; 대조적으로, 셰이더 프로그램과 연관된 패킷들이 SM(2814)에 송신될 수 있다.
적어도 하나의 실시예에서, SM(2814)은 다수의 스레드들에 의해 표현되는 태스크들을 처리하도록 구성되는 프로그램가능 스트리밍 프로세서를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, SM(2814)은 멀티-스레딩되고, 스레드들의 특정 그룹으로부터의 복수의 스레드들(예를 들어, 32개의 스레드들)을 동시에 실행하도록 구성되며, 스레드들의 그룹(예를 들어, 워프)에서의 각각의 스레드가 동일한 세트의 명령어들에 기초하여 상이한 세트의 데이터를 처리하도록 구성되는 SIMD(Single-Instruction, Multiple-Data) 아키텍처를 구현한다. 적어도 하나의 실시예에서, 스레드들의 그룹에서의 모든 스레드들은 동일한 명령어들을 실행한다. 적어도 하나의 실시예에서, SM(2814)은 "SIMT"(Single-Instruction, Multiple Thread) 아키텍처를 구현하며, 여기서 스레드들의 그룹에서의 각각의 스레드는 동일한 세트의 명령어들에 기초하여 상이한 세트의 데이터를 처리하도록 구성되지만, 스레드들의 그룹에서의 개별 스레드들은 실행 동안 발산하는 것이 허용된다. 적어도 하나의 실시예에서, 프로그램 카운터, 호출 스택, 및 실행 상태가 각각의 워프에 대해 유지되어, 워프 내의 스레드들이 발산할 때 워프들 사이의 동시성 및 워프들 내의 직렬 실행을 가능하게 한다. 다른 실시예에서, 프로그램 카운터, 호출 스택, 및 실행 상태가 각각의 개별 스레드에 대해 유지되어, 워프들 내에서 그리고 워프들 사이에서, 모든 스레드들 사이에 동일한 동시성을 가능하게 한다. 적어도 하나의 실시예에서, 실행 상태가 각각의 개별 스레드에 대해 유지되고, 동일한 명령어들을 실행하는 스레드들은 더 나은 효율을 위해 병렬로 수렴되고 실행될 수 있다. SM(2814)의 적어도 하나의 실시예가 아래에 더 상세히 설명된다.
적어도 하나의 실시예에서, MMU(2818)는 GPC(2800)와 메모리 파티션 유닛(예를 들어, 도 27의 파티션 유닛(2722)) 사이의 인터페이스를 제공하고, MMU(2818)는 가상 어드레스의 물리 어드레스로의 변환, 메모리 보호, 및 메모리 요청들의 중재를 제공한다. 적어도 하나의 실시예에서, MMU(2818)는 가상 어드레스의 메모리에서의 물리 어드레스로의 변환을 수행하기 위한 하나 이상의 "TLB"(translation lookaside buffers)를 제공한다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 심층 학습 애플리케이션 프로세서는 GPC(2800)에 제공되는 정보를 예측 또는 추론하기 위해, 신경망과 같은, 머신 학습 모델을 훈련하기 위해 사용된다. 적어도 하나의 실시예에서, GPC(2800)는 다른 프로세서 또는 시스템에 의해 또는 GPC(2800)에 의해 훈련된 훈련된 머신 학습 모델(예를 들어, 신경망)에 기초하여 정보를 추론 또는 예측하기 위해 사용된다. 적어도 하나의 실시예에서, GPC(2800)는 본 명세서에 설명되는 하나 이상의 신경망 사용 사례를 수행하기 위해 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
도 29는, 적어도 하나의 실시예에 따른, "PPU"(parallel processing unit)의 메모리 파티션 유닛(2900)을 예시한다. 적어도 하나의 실시예에서, 메모리 파티션 유닛(2900)은, 제한 없이, ROP(Raster Operations) 유닛(2902); "L2"(level two) 캐시(2904); 메모리 인터페이스(2906); 및 이들의 임의의 적합한 조합을 포함한다. 적어도 하나의 실시예에서, 메모리 인터페이스(2906)는 메모리에 연결된다. 적어도 하나의 실시예에서, 메모리 인터페이스(2906)는 고속 데이터 전송을 위해 32, 64, 128, 1024-비트 데이터 버스들, 또는 유사한 구현들을 구현할 수 있다. 적어도 하나의 실시예에서, PPU는, 파티션 유닛들(2900)의 쌍 당 하나의 메모리 인터페이스(2906)가 있는, U개의 메모리 인터페이스들(2906)을 포함하고, 파티션 유닛들(2900)의 각각의 쌍은 대응하는 메모리 디바이스에 접속된다. 예를 들어, 적어도 하나의 실시예에서, PPU는, 고 대역폭 메모리 스택들 또는 "GDDR5 SDRAM"(graphics double-data-rate, version 5, synchronous dynamic random access memory)와 같은 최대 Y개의 메모리 디바이스에 접속될 수 있다.
적어도 하나의 실시예에서, 메모리 인터페이스(2906)는 "HBM2"(high bandwidth memory second generation) 메모리 인터페이스를 구현하고, Y는 U의 절반과 동일하다. 적어도 하나의 실시예에서, HBM2 메모리 스택들은 PPU와 동일한 물리 패키지 상에 위치되어, 종래의 GDDR5 SDRAM 시스템들과 비교하여 실질적인 전력 및 면적 절약들을 제공한다. 적어도 하나의 실시예에서, 각각의 HBM2 스택은 4개의 메모리 다이들을, 제한 없이, 포함하고 Y는 4와 동일하고, 각각의 HBM2 스택은 총 8개의 채널들에 대해 다이 당 2개의 128-비트 채널들 및 1024 비트의 데이터 버스 폭을 포함한다. 적어도 하나의 실시예에서, 메모리는 데이터를 보호하기 위해 "SECDED"(Single-Error Correcting Double-Error Detecting) "ECC"(Error Correction Code)를 지원한다. 적어도 하나의 실시예에서, ECC는 데이터 손상에 민감한 컴퓨팅 애플리케이션들에 대해 더 높은 신뢰성을 제공한다.
적어도 하나의 실시예에서, PPU는 멀티-레벨 메모리 계층을 구현한다. 적어도 하나의 실시예에서, 메모리 파티션 유닛(2900)은 "CPU"(central processing unit) 및 PPU 메모리를 위한 단일의 통합 가상 어드레스 공간을 제공하기 위해 통합 메모리를 지원하여, 가상 메모리 시스템들 사이의 데이터 공유를 가능하게 한다. 적어도 하나의 실시예에서, 페이지들에 더 빈번하게 액세스하고 있는 PPU의 물리 메모리로 메모리 페이지들이 이동되는 것을 보장하기 위해 다른 프로세서들 상에 위치되는 메모리에 대한 PPU에 의한 액세스들의 빈도가 추적된다. 적어도 하나의 실시예에서, 고속 GPU 인터커넥트(2708)는 PPU가 CPU의 페이지 테이블에 직접 액세스하는 것을 허용하는 그리고 PPU에 의한 CPU 메모리로의 전체 액세스를 제공하는 어드레스 변환 서비스들을 지원한다.
적어도 하나의 실시예에서, 복사 엔진들은 다수의 PPU들 사이에 또는 PPU들과 CPU들 사이에 데이터를 전송한다. 적어도 하나의 실시예에서, 복사 엔진들은 페이지 테이블들에 매핑되지 않은 어드레스들에 대한 페이지 장애들을 생성할 수 있고, 메모리 파티션 유닛(2900)은 다음으로 페이지 장애들을 서비스하여, 어드레스들을 페이지 테이블에 매핑하고, 그 후에 복사 엔진은 전송을 수행한다. 적어도 하나의 실시예에서, 메모리는 다수의 프로세서들 사이의 다수의 복사 엔진 연산들을 위해 고정(즉, 페이징가능하지 않음)되어, 이용가능한 메모리를 실질적으로 감소시킨다. 적어도 하나의 실시예에서, 하드웨어 페이지 장애로, 어드레스들은 메모리 페이지들이 상주하는지에 관계 없이 복사 엔진들에 전달될 수 있고, 복사 프로세스는 투명하다.
도 27의 메모리(2704) 또는 다른 시스템 메모리로부터의 데이터는, 적어도 하나의 실시예에 따라, 메모리 파티션 유닛(2900)에 의해 인출되고, 온-칩으로 위치되고 다양한 GPC들 사이에 공유되는, L2 캐시(2904)에 저장된다. 각각의 메모리 파티션 유닛(2900)은, 적어도 하나의 실시예에서, 대응하는 메모리 디바이스와 연관된 L2 캐시의 적어도 일부를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 하위 레벨 캐시들은 GPC들 내에서 다양한 유닛들로 구현된다. 적어도 하나의 실시예에서, SM들(2814) 각각은 "L1"(level one) 캐시를 구현할 수 있고, 여기서 L1 캐시는 특정 SM(2814)에 전용되는 사적 메모리이고, L2 캐시(2904)로부터의 데이터는 SM들(2814)의 기능 유닛들에서의 처리를 위해 인출되어 L1 캐시들 각각에 저장된다. 적어도 하나의 실시예에서, L2 캐시(2904)는 메모리 인터페이스(2906) 및 XBar(2720)에 연결된다.
ROP 유닛(2902)은, 적어도 하나의 실시예에서, 컬러 압축, 픽셀 혼합 등과 같은, 픽셀 컬러와 관련된 그래픽 래스터 연산들을 수행한다. ROP 유닛(2902)은, 적어도 하나의 실시예에서, 래스터 엔진(2808)의 컬링 엔진으로부터 픽셀 프래그먼트와 연관된 샘플 위치에 대한 심도를 수신하는, 래스터 엔진(2808)과 함께 심도 테스팅을 구현한다. 적어도 하나의 실시예에서, 심도는 프래그먼트와 연관된 샘플 위치에 대한 심도 버퍼에서의 대응하는 심도에 대해 테스트된다. 적어도 하나의 실시예에서, 프래그먼트가 샘플 위치에 대한 심도 테스트를 통과하면, 다음으로 ROP 유닛(2902)은 심도 버퍼를 업데이트하고 심도 테스트의 결과를 래스터 엔진(2808)에 송신한다. 파티션 유닛(2900)들의 수는 GPC들의 수와 상이할 수 있고, 따라서 각각의 ROP 유닛(2902)은, 적어도 하나의 실시예에서, GPC들 각각에 연결될 수 있다는 점이 이해될 것이다. 적어도 하나의 실시예에서, ROP 유닛(2902)은 상이한 GPC들로부터 수신되는 패킷들을 추적하고, ROP 유닛(2902)에 의해 생성되는 결과가 XBar(2720)을 통해 라우팅될 것인지를 결정한다.
도 30은, 적어도 하나의 실시예에 따른, "SM"(streaming multi-processor)(3000)를 예시한다. 적어도 하나의 실시예에서, SM(3000)은 도 28의 SM(2814)이다. 적어도 하나의 실시예에서, SM(3000)은, 제한 없이, 명령어 캐시(3002); 하나 이상의 스케줄러 유닛(3004); 레지스터 파일(3008); 하나 이상의 처리 코어("코어(cores)")(3010); 하나 이상의 "SFU"(special function units)(3012); 하나 이상의 "LSU"(load/store units)(3014); 인터커넥트 네트워크(3016); 공유 메모리/"L1"(level one) 캐시(3018); 및 이들의 임의의 적합한 조합을 포함한다. 적어도 하나의 실시예에서, 작업 분배 유닛은 "PPU들"(parallel processing units)의 "GPC들"(general processing clusters) 상에서의 실행을 위해 태스크들을 디스패치하고, 각각의 태스크는 GPC 내의 특정 "DPC"(Data Processing Cluster)에 할당되고, 태스크가 셰이더 프로그램과 연관되면, 태스크는 SM들(3000) 중 하나에 할당된다. 적어도 하나의 실시예에서, 스케줄러 유닛(3004)은 작업 분배 유닛으로부터 태스크들을 수신하고 SM(3000)에 배정되는 하나 이상의 스레드 블록에 대한 명령어 스케줄링을 관리한다. 적어도 하나의 실시예에서, 스케줄러 유닛(3004)은 병렬 스레드들의 워프들로서 실행하기 위한 스레드 블록들을 스케줄링하고, 여기서 각각의 스레드 블록에는 적어도 하나의 워프가 할당된다. 적어도 하나의 실시예에서, 각각의 워프는 스레드들을 실행한다. 적어도 하나의 실시예에서, 스케줄러 유닛(3004)은 복수의 상이한 스레드 블록들을 관리하고, 상이한 스레드 블록들에 워프들을 할당하며 다음으로 각각의 클록 사이클 동안 복수의 상이한 협력 그룹들로부터의 명령어들을 다양한 기능 유닛들(예를 들어, 처리 코어들(3010), SFU들(3012) 및 LSU들(3014))에 디스패치한다.
적어도 하나의 실시예에서, 협력 그룹들(Cooperative Groups)은, 개발자들이 스레드들이 통신하고 있는 입도를 표현하는 것을 허용하여, 더 풍부하고, 더 효율적인 병렬 분해들의 표현을 가능하게 하는 통신 스레드 그룹들을 조직화하기 위한 프로그래밍 모델을 지칭할 수 있다. 적어도 하나의 실시예에서, 협력 론칭 API들은 병렬 알고리즘들의 실행을 위한 스레드 블록들 사이의 동기화를 지원한다. 적어도 하나의 실시예에서, 종래의 프로그래밍 모델들의 애플리케이션들은 협력하는 스레드들을 동기화하기 위한 단일의, 단순한 구성: 스레드 블록의 모든 스레드들에 걸친 장벽(예를 들어, syncthreads() 함수)을 제공한다. 그러나, 적어도 하나의 실시예에서, 프로그래머들은 집합적 그룹-와이드 기능 인터페이스들의 형태로 더 큰 성능, 설계 유연성, 및 소프트웨어 재사용을 가능하게 하기 위해 스레드 블록보다 더 작은 입도들로 스레드들의 그룹들을 정의하고 정의된 그룹들 내에서 동기화할 수 있다. 적어도 하나의 실시예에서, 협력 그룹들은 프로그래머들이 서브블록(즉, 단일의 스레드만큼 작음) 및 멀티-블록 입도들로 명시적으로 스레드들의 그룹들을 정의하는 것 및 협력 그룹에서의 스레드들에 대한 동기화와 같은 집합적 연산들을 수행하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 프로그래밍 모델은 소프트웨어 경계들에 걸쳐 깨끗한 합성을 지원하여, 라이브러리들 및 유틸리티 함수들이 수렴에 관한 가정들을 할 필요 없이 그들의 로컬 컨텍스트 내에서 안전하게 동기화할 수 있다. 적어도 하나의 실시예에서, 협력 그룹 프리미티브들은, 생산자-소비자 병렬화, 기회주의적 병렬화, 및 스레드 블록들의 전체 그리드에 걸친 글로벌 동기화를, 제한 없이, 포함하는, 협력적 병렬화의 새로운 패턴들을 가능하게 한다.
적어도 하나의 실시예에서, 디스패치 유닛(3006)은 하나 이상의 기능 유닛 및 스케줄러 유닛(3004)에 명령어들을 송신하도록 구성되고, 각각의 클록 사이클 동안 동일한 워프로부터의 2개의 상이한 명령어들이 디스패치되는 것을 가능하게 하는 2개의 디스패치 유닛들(3006)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 스케줄러 유닛(3004)은 단일의 디스패치 유닛(3006) 또는 추가적인 디스패치 유닛들(3006)을 포함한다.
적어도 하나의 실시예에서, 각각의 SM(3000)은, 적어도 하나의 실시예에서, SM(3000)의 기능 유닛들에 대한 레지스터들의 세트를 제공하는 레지스터 파일(3008)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 레지스터 파일(3008)은 기능 유닛들 각각 사이에서 분할되어, 각각의 기능 유닛이 레지스터 파일(3008)의 전용 부분에 할당된다. 적어도 하나의 실시예에서, 레지스터 파일(3008)은 SM(3000)에 의해 실행되는 상이한 워프들 사이에서 분할되고, 레지스터 파일(3008)은 기능 유닛들의 데이터 경로들에 접속되는 피연산자들에 대한 임시 스토리지를 제공한다. 적어도 하나의 실시예에서, 각각의 SM(3000)은 복수의 L개의 처리 코어들(3010)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, SM(3000)은 많은 수(예를 들어, 128개 이상)의 별개의 처리 코어들(3010)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 처리 코어(3010)는, 적어도 하나의 실시예에서, 부동 소수점 산술 로직 유닛 및 정수 산술 로직 유닛을, 제한 없이, 포함하는 완전-파이프라이닝된, 단일-정밀도, 더블-정밀도, 및/또는 혼합 정밀도 처리 유닛을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 부동 소수점 산술 로직 유닛은 부동 소수점 산술을 위한 IEEE 754-2008 표준을 구현한다. 적어도 하나의 실시예에서, 처리 코어들(3010)은 64개의 단일-정밀도(32-비트) 부동 소수점 코어들, 64개의 정수 코어들, 32개의 더블-정밀도(64-비트) 부동 소수점 코어들, 및 8개의 텐서 코어들을, 제한 없이, 포함한다.
텐서 코어들은 적어도 하나의 실시예에 따라 행렬 연산들을 수행하도록 구성된다. 적어도 하나의 실시예에서, 하나 이상의 텐서 코어가 처리 코어들(3010)에 포함된다. 적어도 하나의 실시예에서, 텐서 코어들은, 신경망 훈련 및 추론을 위한 콘볼루션 연산들과 같은, 심층 학습 행렬 산술을 수행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 텐서 코어는 4x4 행렬에 대해 동작하고 행렬 곱셈 및 누적 연산 D = A X B + C를 수행하며, 여기서 A, B, C, 및 D는 4x4 행렬들이다.
적어도 하나의 실시예에서, 행렬 곱셈 입력들 A 및 B는 16-비트 부동 소수점 행렬이고 누적 행렬들 C 및 D는 16-비트 부동 소수점 또는 32-비트 부동 소수점 행렬들이다. 적어도 하나의 실시예에서, 텐서 코어들은, 32-비트 부동 소수점 누적과 함께 16-비트 부동 소수점 입력 데이터에 관해 동작한다. 적어도 하나의 실시예에서, 16-비트 부동 소수점 곱셈은 64개의 연산들을 사용하고, 4x4x4 행렬 곱셈을 위한 다른 중간 곱들과 함께 32-비트 부동 소수점 덧셈을 사용하여 다음으로 누적되는 완전한 정밀도 곱을 초래한다. 텐서 코어들은, 적어도 하나의 실시예에서, 이러한 더 작은 엘리먼트들로부터 구축되는, 훨씬 더 큰 2-차원 또는 더 높은 차원의 행렬 연산들을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, CUDA 9 C++ API와 같은, API는 CUDA-C++ 프로그램으로부터의 텐서 코어들을 효율적으로 사용하기 위해 특수화된 행렬 로드, 행렬 곱셈 및 누적, 및 행렬 저장 연산들을 노출시킨다. 적어도 하나의 실시예에서, CUDA 레벨로, 워프-레벨 인터페이스는 워프의 모든 32개의 스레드들에 걸쳐 있는 16x16 크기 행렬들을 가정한다.
적어도 하나의 실시예에서, 각각의 SM(3000)은 특수 함수들(예를 들어, 속성 평가, 역 제곱근 등)을 수행하는 M개의 SFU들(3012)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, SFU들(3012)은 계층적 트리 데이터 구조를 트래버스하도록 구성되는 트리 트래버스 유닛을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, SFU들(3012)은 텍스처 맵 필터링 연산들을 수행하도록 구성되는 텍스처 유닛을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 텍스처 유닛들은 SM(3000)에 의해 실행되는 셰이더 프로그램들에서 사용하기 위한 샘플링된 텍스처 값들을 생산하기 위해 텍스처 맵들(예를 들어, 텍셀들의 2D 어레이)을 메모리 및 샘플 텍스처 맵들로부터 로딩하도록 구성된다. 적어도 하나의 실시예에서, 텍스처 맵들은 공유 메모리/L1 캐시(3018)에 저장된다. 적어도 하나의 실시예에서, 텍스처 유닛들은, 적어도 하나의 실시예에 따라, 밉-맵들(예를 들어, 다양한 레벨들의 상세사항의 텍스처 맵들)을 사용하는 필터링 연산들과 같은 텍스처 연산들을 구현한다. 적어도 하나의 실시예에서, 각각의 SM(3000)은 2개의 텍스처 유닛들을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, 각각의 SM(3000)은 공유 메모리/L1 캐시(3018)와 레지스터 파일(3008) 사이의 로드 및 저장 연산들을 구현하는 N개의 LSU(3014)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 SM(3000)은 기능 유닛들 각각을 레지스터 파일(3008)에 그리고 LSU(3014)를 레지스터 파일(3008) 및 공유 메모리/L1 캐시(3018)에 접속하는 인터커넥트 네트워크(3016)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 인터커넥트 네트워크(3016)는, 기능 유닛들 중 임의의 것을 레지스터 파일(3008)에서의 레지스터들 중 임의의 것에 접속하고 LSU(3014)를 레지스터 파일(3008) 및 공유 메모리/L1 캐시(3018)에서의 메모리 위치들에 접속하도록 구성될 수 있는 크로스바이다.
적어도 하나의 실시예에서, 공유 메모리/L1 캐시(3018)는, 적어도 하나의 실시예에서, SM(3000)과 프리미티브 엔진 사이 및 SM(3000)에서의 스레드들 사이의 데이터 스토리지 및 통신을 허용하는 온-칩 메모리의 어레이이다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(3018)는 128KB의 스토리지 용량을, 제한 없이, 포함하고, SM(3000)으로부터 파티션 유닛으로의 경로에 있다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(3018)는, 적어도 하나의 실시예에서, 판독 및 기입을 캐싱하기 위해 사용된다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(3018), L2 캐시, 및 메모리 중 하나 이상은 보조 저장소들이다.
데이터 캐시와 공유 메모리 기능을 단일의 메모리 블록으로 조합하는 것은, 적어도 하나의 실시예에서, 양쪽 타입들의 메모리 액세스들에 대해 개선된 성능을 제공한다. 적어도 하나의 실시예에서, 공유 메모리가 용량의 절반을 사용하도록 구성되고, 텍스처 및 로딩/저장 연산들이 나머지 용량을 사용할 수 있는 경우와 같이, 용량은 공유 메모리를 사용하지 않는 프로그램들에 의해 캐시로서 사용되거나 또는 사용가능하다. 적어도 하나의 실시예에 따르면, 공유 메모리/L1 캐시(3018) 내의 통합은 공유 메모리/L1 캐시(3018)가 데이터를 스트리밍하는 동시에 빈번하게 재사용되는 데이터에 대한 고-대역폭 및 저-레이턴시 액세스를 제공하기 위한 고-처리량 도관으로서 기능하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 범용 병렬 계산을 위해 구성될 때, 그래픽 처리와 비교하여 더 단순한 구성이 사용될 수 있다. 적어도 하나의 실시예에서, 고정 기능 그래픽 처리 유닛들은 바이패스되어, 훨씬 더 단순한 프로그래밍 모델을 생성한다. 범용 병렬 계산 구성에서, 적어도 하나의 실시예에서, 작업 분배 유닛은 스레드들의 블록들을 DPC들에 직접 배정하고 분배한다. 적어도 하나의 실시예에서, 블록 내의 스레드들은 동일한 프로그램을 실행하고, 각각의 스레드가 고유 결과들을 생성하는 것을 보장하기 위해 계산에서 고유 스레드 ID를 사용하고, SM(3000)을 사용하여 프로그램을 실행하고 계산들을 수행하고, 공유 메모리/L1 캐시(3018)를 사용하여 스레드들 사이에서 통신하고, LSU(3014)를 사용하여 공유 메모리/L1 캐시(3018) 및 메모리 파티션 유닛을 통해 글로벌 메모리를 판독 및 기입한다. 적어도 하나의 실시예에서, 범용 병렬 계산을 위해 구성될 때, SM(3000)은 스케줄러 유닛(3004)이 DPC들 상에서 새로운 작업을 론칭하기 위해 사용할 수 있는 커맨드들을 기입한다.
적어도 하나의 실시예에서, PPU는 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 서버들, 슈퍼컴퓨터들, 스마트폰 (예를 들어, 무선, 핸드헬드 디바이스), "PDA"(personal digital assistant), 디지털 카메라, 차량, 헤드 마운티드 디스플레이, 핸드헬드 전자 디바이스 등에 포함되거나 또는 그에 연결된다. 적어도 하나의 실시예에서, PPU는 단일의 반도체 기판 상에 구현된다. 적어도 하나의 실시예에서, PPU는 추가적인 PPU들, 메모리, "RISC"(reduced instruction set computer) CPU, "MMU"(memory management unit), "DAC"(digital-to-analog converter) 등과 같은 하나 이상의 다른 디바이스와 함께 "SoC"(system-on-a-chip)에 포함된다.
적어도 하나의 실시예에서, PPU는 하나 이상의 메모리 디바이스를 포함하는 그래픽 카드 상에 포함될 수 있다. 그래픽 카드는 데스크톱 컴퓨터의 마더보드 상의 PCIe 슬롯과 인터페이스하도록 구성될 수 있다. 적어도 하나의 실시예에서, PPU는 마더보드의 칩셋에 포함되는 "iGPU"(integrated graphics processing unit)일 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 추론 및/또는 훈련 로직(615)에 관한 상세사항들이 도 6a 및/또는 도 6b와 함께 아래에 제공된다. 적어도 하나의 실시예에서, 심층 학습 애플리케이션 프로세서는 SM(3000)에 제공되는 정보를 예측 또는 추론하기 위해, 신경망과 같은, 머신 학습 모델을 훈련하기 위해 사용된다. 적어도 하나의 실시예에서, SM(3000)은 다른 프로세서 또는 시스템에 의해 또는 SM(3000)에 의해 훈련된 훈련된 머신 학습 모델(예를 들어, 신경망)에 기초하여 정보를 추론 또는 예측하기 위해 사용된다. 적어도 하나의 실시예에서, SM(3000)은 본 명세서에 설명되는 하나 이상의 신경망 사용 사례들을 수행하기 위해 사용될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
본 개시내용의 적어도 하나의 실시예는 다음의 조항들의 관점에서 설명될 수 있다:
1. 프로세서로서,
하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하는 하나 이상의 회로를 포함하는 프로세서.
2. 제1항에 있어서, 하나 이상의 회로는 추가로, 하나 이상의 이전 이미지에 대해 사용되는 하나 이상의 이전 지터 오프셋과 상이한, 생성될 이미지에 대해, 적용될 지터 오프셋을 결정하는 프로세서.
3. 제2항에 있어서, 하나 이상의 회로는 추가로, 지터 오프셋을 적용하여, 이미지의 하나 이상의 픽셀에 대해, 하나 이상의 객체에 대한 모션 데이터를 샘플링할 위치를 결정하는 프로세서.
4. 제3항에 있어서, 하나 이상의 회로는 추가로, 모션 버퍼로부터, 지터 오프셋에 대응하는 위치로부터 모션 데이터를 샘플링하는 시스템.
5. 제4항에 있어서, 모션 버퍼에 저장되는 모션 데이터는 생성될 이미지의 출력 해상도보다 낮은 해상도인 프로세서.
6. 제5항에 있어서, 하나 이상의 회로는 추가로, 모션 데이터를 사용하여 이미지를 생성하기 전에 모션 데이터를 출력 해상도로 업샘플링하는 프로세서.
7. 시스템으로서,
하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하는 하나 이상의 프로세서를 포함하는 시스템.
8. 제7항에 있어서, 하나 이상의 프로세서는 추가로, 하나 이상의 이전 이미지에 대해 사용되는 하나 이상의 이전 지터 오프셋과 상이한, 생성될 이미지에 대해, 적용될 지터 오프셋을 결정하는 시스템.
9. 제8항에 있어서, 하나 이상의 프로세서는 추가로, 지터 오프셋을 적용하여, 이미지의 하나 이상의 픽셀에 대해, 하나 이상의 객체에 대한 모션 데이터를 샘플링할 위치를 결정하는 시스템.
10. 제9항에 있어서, 하나 이상의 프로세서는 추가로, 모션 버퍼로부터, 지터 오프셋에 대응하는 위치로부터 모션 데이터를 샘플링하는 시스템.
11. 제10항에 있어서, 모션 버퍼에 저장되는 모션 데이터는 생성될 이미지의 출력 해상도보다 낮은 해상도인 시스템.
12. 제11항에 있어서, 하나 이상의 프로세서는 추가로, 모션 데이터를 사용하여 이미지를 생성하기 전에 모션 데이터를 출력 해상도로 업샘플링하는 시스템.
13. 방법으로서,
하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하는 단계를 포함하는 방법.
14. 제13항에 있어서, 추가로,
하나 이상의 이전 이미지에 대해 사용되는 하나 이상의 이전 지터 오프셋과 상이한, 생성될 이미지에 대해, 적용될 지터 오프셋을 결정하는 단계를 포함하는 방법.
15. 제14항에 있어서, 추가로,
지터 오프셋을 적용하여, 이미지의 하나 이상의 픽셀에 대해, 하나 이상의 객체에 대한 모션 데이터를 샘플링할 위치를 결정하는 단계를 포함하는 방법.
16. 제15항에 있어서, 추가로,
모션 버퍼로부터, 지터 오프셋에 대응하는 위치로부터 모션 데이터를 샘플링하는 단계를 포함하는 방법.
17. 제16항에 있어서, 모션 버퍼에 저장되는 모션 데이터는 생성될 이미지의 출력 해상도보다 낮은 해상도인 방법.
18. 제17항에 있어서, 모션 데이터를 사용하여 이미지를 생성하기 전에 모션 데이터를 출력 해상도로 업샘플링하는 방법.
19. 명령어들의 세트가 저장된 머신-판독가능 매체로서, 명령어들의 세트는, 하나 이상의 프로세서에 의해 수행되면, 하나 이상의 프로세서로 하여금 적어도:
하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하는 머신-판독가능 매체.
20. 제19항에 있어서, 명령어들은, 수행되면 추가로 하나 이상의 프로세서로 하여금,
하나 이상의 이전 이미지에 대해 사용되는 하나 이상의 이전 지터 오프셋과 상이한, 생성될 이미지에 대해, 적용될 지터 오프셋을 결정하게 하는 머신-판독가능 매체.
21. 제20항에 있어서, 명령어들은, 수행되면 추가로 하나 이상의 프로세서로 하여금,
지터 오프셋을 적용하여, 이미지의 하나 이상의 픽셀에 대해, 하나 이상의 객체에 대한 모션 데이터를 샘플링할 위치를 결정하게 하는 머신-판독가능 매체.
22. 제21항에 있어서, 명령어들은, 수행되면 추가로 하나 이상의 프로세서로 하여금,
모션 버퍼로부터, 지터 오프셋에 대응하는 위치로부터 모션 데이터를 샘플링하게 하는 머신-판독가능 매체.
23. 제22항에 있어서, 모션 버퍼에 저장되는 모션 데이터는 생성될 이미지의 출력 해상도보다 낮은 해상도인 머신-판독가능 매체.
24. 제23항에 있어서, 명령어들은, 수행되면 추가로 하나 이상의 프로세서로 하여금,
모션 데이터를 사용하여 이미지를 생성하기 전에 모션 데이터를 출력 해상도로 업샘플링하게 하는 머신-판독가능 매체.
25. 이미지 재구성 시스템으로서,
하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하는 하나 이상의 프로세서; 및
하나 이상의 신경망에 대한 네트워크 파라미터들을 저장하기 위한 메모리를 포함하는 이미지 재구성 시스템.
26. 제25항에 있어서, 하나 이상의 프로세서는 추가로, 하나 이상의 이전 이미지에 대해 사용되는 하나 이상의 이전 지터 오프셋과 상이한, 생성될 이미지에 대해, 적용될 지터 오프셋을 결정하는 이미지 재구성 시스템.
27. 제26항에 있어서, 지터 오프셋을 적용하여, 이미지의 하나 이상의 픽셀에 대해, 하나 이상의 객체에 대한 모션 데이터를 샘플링할 위치를 결정하는 이미지 재구성 시스템.
28. 제27항에 있어서, 하나 이상의 프로세서는 추가로, 모션 버퍼로부터, 지터 오프셋에 대응하는 위치로부터 모션 데이터를 샘플링하는 이미지 재구성 시스템.
29. 제28항에 있어서, 모션 버퍼에 저장되는 모션 데이터는 생성될 이미지의 출력 해상도보다 낮은 해상도인 이미지 재구성 시스템.
30. 제29항에 있어서, 하나 이상의 프로세서는 추가로, 모션 데이터를 사용하여 이미지를 생성하기 전에 모션 데이터를 출력 해상도로 업샘플링하는 이미지 재구성 시스템.
적어도 하나의 실시예에서, 단일의 반도체 플랫폼은, 유일한 단일의 반도체 기반 집적 회로 또는 칩을 지칭할 수 있다. 적어도 하나의 실시예에서, 온-칩 연산을 시뮬레이션하고, 종래의 "CPU"(central processing unit) 및 버스 구현을 이용하는 것에 비해 실질적인 개선들을 행하는 증가된 접속성이 있는 멀티-칩 모듈이 사용될 수 있다. 적어도 하나의 실시예에서, 다양한 모듈들은 사용자의 요구들 당 반도체 플랫폼들의 다양한 조합으로 또는 별개로 또한 놓일 수 있다.
적어도 하나의 실시예에서, 머신-판독가능 실행가능 코드 또는 컴퓨터 제어 로직 알고리즘 형태의 컴퓨터 프로그램들이 메인 메모리(1004) 및/또는 부 스토리지에 저장된다. 컴퓨터 프로그램들은, 적어도 하나의 실시예에 따라, 하나 이상의 프로세서에 의해 실행되면, 시스템(1000)이 다양한 기능을 수행하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 메모리(1004), 스토리지, 및/또는 임의의 다른 스토리지는 컴퓨터-판독가능한 매체의 가능한 예들이다. 적어도 하나의 실시예에서, 부 스토리지는, 플로피 디스크 드라이브, 자기 테이프 드라이브, 컴팩트 디스크 드라이브, DVD(digital versatile disk) 드라이브, 기록 디바이스, USB(universal serial bus) 플래시 메모리 등을 표현하는, 하드 디스크 드라이브 및/또는 착탈식 스토리지 드라이브와 같은 임의의 적합한 스토리지 디바이스 또는 시스템을 지칭할 수 있다. 적어도 하나의 실시예에서, 다양한 이전 도면들의 아키텍처 및/또는 기능성은, CPU(1002) 병렬 처리 시스템(1012); 양쪽 CPU(1002)의 능력들의 적어도 일부가 가능한 집적 회로; 병렬 처리 시스템(1012); 칩셋 (예를 들어, 관련 기능들을 수행하기 위한 유닛으로서 작동하고 판매되도록 설계되는 집적 회로들의 그룹 등); 집적 회로(들)의 임의의 적합한 조합의 맥락에서 구현된다.
적어도 하나의 실시예에서, 다양한 이전 도면들의 아키텍처 및/또는 기능성은, 일반 컴퓨터 시스템, 회로 기판 시스템, 엔터테인먼트 목적 전용의 게임 콘솔 시스템, 주문형 시스템 등의 맥락에서 구현된다. 적어도 하나의 실시예에서, 컴퓨터 시스템(1000)은 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 서버들, 슈퍼컴퓨터들, 스마트폰(예를 들어, 무선, 핸드헬드 디바이스), "PDA"(personal digital assistant), 디지털 카메라, 차량, 헤드 마운티드 디스플레이, 핸드헬드 전자 디바이스, 모바일 폰 디바이스, 텔레비전, 워크스테이션, 게임 콘솔들, 내장 시스템, 및/또는 임의의 다른 타입의 로직의 형태를 취할 수 있다.
적어도 하나의 실시예에서, 병렬 처리 시스템(1012)은 복수의 "PPU들"(parallel processing units)(1014) 및 연관된 메모리들(1016)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, PPU(1014)는 인터커넥트(1018) 및 스위치(1020) 또는 멀티플렉서를 통해 호스트 프로세서 또는 다른 주변 디바이스들에 접속된다. 적어도 하나의 실시예에서, 병렬 처리 시스템(1012)은- 예를 들어, 다수의 "GPU"(graphics processing unit) 스레드 블록들에 걸친 계산 태스크들의 분배의 일부로서 - 병렬화가능할 수 있는 계산 태스크들을 PPU들(1014)에 걸쳐 분배한다. 적어도 하나의 실시예에서, 메모리는 PPU들(1014)의 일부 또는 전부에 걸쳐 (예를 들어, 판독 및/또는 기입 액세스에 대해) 공유되고 액세스가능하지만, 이러한 공유 메모리는 PPU(1014)에 상주하는 레지스터들 및 로컬 메모리의 사용과 관련하여 성능 페널티를 초래할 수 있다. 적어도 하나의 실시예에서, PPU들(1014)의 연산은 __syncthreads()와 같은 커맨드의 사용을 통해 동기화되며, 여기서 블록에서의 모든 스레드들(예를 들어, 다수의 PPU(1014)에 걸쳐 실행됨)은 진행 전에 코드의 실행의 특정 포인트에 도달한다.
가상화된 컴퓨팅 플랫폼
이미지 추론 및 이미지 처리와 같은, 진보된 컴퓨팅을 위한 관련 가상화된 컴퓨팅 플랫폼에 관한 실시예들이 개시된다. 도 31을 참조하면, 도 31은, 적어도 하나의 실시예에 따른, 이미지 처리 및 추론 파이프라인을 생성 및 배치하는 프로세스(3100)에 대한 예시적인 데이터 흐름도이다. 적어도 하나의 실시예에서, 프로세스(3100)는, 의료 시설, 병원, 의료 기관, 클리닉, 연구 또는 진단 실험실 등과 같은, 하나 이상의 시설(3102)에서의 촬영 디바이스, 처리 디바이스, 유전체학 디바이스, 유전자 시퀀싱 디바이스, 방사선학 디바이스, 및/또는 다른 디바이스 타입들과 함께 사용하기 위해 배치될 수 있다. 적어도 하나의 실시예에서, 프로세스(3100)는 유전체학 분석 및 시퀀싱 데이터에 관한 추론을 수행하도록 배치될 수 있다. 본 명세서에 설명되는 시스템들 및 프로세스들을 사용하여 수행될 수 있는 유전체 분석의 예들은 변이 추출, 돌연변이 검출, 및 유전자 표현 정량화를, 제한 없이, 포함한다. 프로세스(3100)는 훈련 시스템(3104) 및/또는 배치 시스템(3106) 내에서 실행될 수 있다. 적어도 하나의 실시예에서, 훈련 시스템(3104)은 배치 시스템(3106)에서 사용하기 위한 머신 학습 모델들(예를 들어, 신경망, 객체 검출 알고리즘, 컴퓨터 비전 알고리즘 등)의 훈련, 배치 및 구현을 수행하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 배치 시스템(3106)은 시설(3102)에서의 인프라스트럭처 요건을 감소시키기 위해 분산 컴퓨팅 환경 사이에 처리 및 컴퓨팅 리소스를 오프로드하도록 구성될 수 있다. 적어도 하나의 실시예에서, 배치 시스템(3106)은 시설(3102)에서 촬영 디바이스(예를 들어, MRI, CT 스캔, X-선, 초음파 등) 또는 시퀀싱 디바이스와 함께 사용하기 위한 가상 기기들을 선택하고, 맞춤화하고, 구현하기 위한 간소화된 플랫폼을 제공할 수 있다. 적어도 하나의 실시예에서, 가상 기기들은 촬영 디바이스들, 시퀀싱 디바이스들, 방사선 디바이스들 및/또는 다른 디바이스 타입들에 의해 생성되는 촬영 데이터에 대해 하나 이상의 처리 연산을 수행하기 위한 소프트웨어-정의 애플리케이션을 포함할 수 있다. 적어도 하나의 실시예에서, 파이프라인에서의 하나 이상의 애플리케이션은 애플리케이션의 실행 동안 배치 시스템(3106)의 서비스(예를 들어, 추론, 시각화, 컴퓨팅, AI 등)를 사용하거나 또는 호출할 수 있다.
적어도 하나의 실시예에서, 진보된 처리 및 추론 파이프라인들에서 사용되는 애플리케이션들 중 일부는 하나 이상의 처리 단계를 수행하기 위해 머신 학습 모델들 또는 다른 AI를 사용할 수 있다. 적어도 하나의 실시예에서, 머신 학습 모델은, 시설(3102)에서 생성되는(및 시설(3102)의 하나 이상의 PACS(picture archiving and communication system) 서버에 저장되는)(촬영 데이터와 같은) 데이터(3108)를 사용하여 시설(3102)에서 훈련될 수 있거나, 다른 시설(들)(예를 들어, 상이한 병원, 실험실, 클리닉 등)로부터의 촬영 또는 시퀀싱 데이터(3108)를 사용하여 훈련될 수 있거나, 또는 이들의 조합일 수 있다. 적어도 하나의 실시예에서, 훈련 시스템(3104)은 배치 시스템(3106)에 대한 작업, 분배 가능 머신 학습 모델들을 생성하기 위한 애플리케이션들, 서비스들, 및/또는 다른 리소스들을 제공하기 위해 사용될 수 있다.
적어도 하나의 실시예에서, 모델 레지스트리(3124)는 버전화 및 객체 메타데이터를 지원할 수 있는 객체 스토리지에 의해 보조될 수 있다. 적어도 하나의 실시예에서, 객체 스토리지는, 예를 들어, 클라우드 플랫폼 내로부터 클라우드 스토리지(예를 들어, 도 32의 클라우드(3226)) 호환가능 API(application programming interface)를 통해 액세스가능할 수 있다. 적어도 하나의 실시예에서, 모델 레지스트리(3124) 내의 머신 학습 모델은, API와 상호작용하는 시스템의 개발자 또는 파트너에 의해 업로드, 열거, 수정 또는 삭제될 수 있다. 적어도 하나의 실시예에서, API는 적절한 자격이 있는 사용자가 모델들을 애플리케이션들과 연관시키는 것을 허용하는 방법들에 대한 액세스를 제공하여, 모델들이 애플리케이션들의 컨테이너화된 인스턴스화들의 실행의 일부로서 실행될 수 있게 한다.
적어도 하나의 실시예에서, 훈련 파이프라인(3204)(도 32)은, 시설(3102)이 그들 자신의 머신 학습 모델을 훈련하고 있거나, 또는 최적화되거나 또는 업데이트될 필요가 있는 기존의 머신 학습 모델을 갖는 시나리오를 포함할 수 있다. 적어도 하나의 실시예에서, 촬영 디바이스(들), 시퀀싱 디바이스들, 및/또는 다른 디바이스 타입들에 의해 생성되는 촬영 데이터(3108)가 수신될 수 있다. 적어도 하나의 실시예에서, 일단 촬영 데이터(3108)가 수신되면, AI-보조 주석(3110)은 머신 학습 모델에 대한 실측 자료 데이터로서 사용될 촬영 데이터(3108)에 대응하는 주석을 생성하는 것을 돕기 위해 사용될 수 있다. 적어도 하나의 실시예에서, AI-보조 주석(3110)은 (예를 들어, 특정 디바이스들로부터의) 특정 타입들의 촬영 데이터(3108) 및/또는 촬영 데이터(3108)에서의 특정 타입들의 이상들에 대응하는 주석들을 생성하도록 훈련될 수 있는 하나 이상의 머신 학습 모델들(예를 들어, CNN들(convolutional neural networks))을 포함할 수 있다. 적어도 하나의 실시예에서, 다음으로, 실측 자료 데이터를 생성하기 위해, AI-보조 주석들(3110)이 직접 사용될 수 있거나, 또는 (예를 들어, 연구자, 임상의, 의사, 과학자 등에 의해) 주석 툴을 사용하여 조절되거나 또는 미세-튜닝될 수 있다. 적어도 하나의 실시예에서, 일부 예들에서, 라벨링된 클리닉 데이터(3112)(예를 들어, 임상의, 의사, 과학자, 기술자 등에 의해 제공되는 주석들)는 머신 학습 모델을 훈련하기 위한 실측 자료 데이터로서 사용될 수 있다. 적어도 하나의 실시예에서, AI-보조 주석들(3110), 라벨링된 클리닉 데이터(3112), 또는 이들의 조합은 머신 학습 모델을 훈련시키기 위한 실측 자료 데이터로서 사용될 수 있다. 적어도 하나의 실시예에서, 훈련된 머신 학습 모델은 출력 모델(3116)이라고 지칭될 수 있고, 본 명세서에 설명되는 바와 같이, 배치 시스템(3106)에 의해 사용될 수 있다.
적어도 하나의 실시예에서, 훈련 파이프라인(3204)(도 32)은 시설(3102)이 배치 시스템(3106) 내의 하나 이상의 애플리케이션에 대한 하나 이상의 처리 태스크를 수행하기 위해 사용하기 위한 머신 학습 모델을 필요로 하지만, 시설(3102)이 현재 이러한 머신 학습 모델을 갖지 않을 수 있는 (또는 이러한 목적들을 위해 최적화되거나, 효율적이거나, 또는 효과적인 모델을 갖지 않을 수 있는) 시나리오를 포함할 수 있다. 적어도 하나의 실시예에서, 기존의 머신 학습 모델이 모델 레지스트리(3124)로부터 선택될 수 있다. 적어도 하나의 실시예에서, 모델 레지스트리(3124)는 촬영 데이터에 관해 다양한 상이한 추론 태스크들을 수행하도록 훈련되는 머신 학습 모델을 포함할 수 있다. 적어도 하나의 실시예에서, 모델 레지스트리(3124)에서의 머신 학습 모델은 시설(3102)과는 상이한 시설들(예를 들어, 원격 위치한 시설들)로부터의 촬영 데이터에 관해 훈련되었을 수 있다. 적어도 하나의 실시예에서, 머신 학습 모델들은 하나의 위치, 2개의 위치들, 또는 임의의 수의 위치들로부터의 촬영 데이터에 대해 훈련되었을 수 있다. 적어도 하나의 실시예에서, 구체적인 위치로부터의 촬영 데이터에 대해 훈련될 때, 훈련은 해당 위치에서, 또는 적어도 촬영 데이터의 기밀성을 보호하는 또는 (예를 들어, HIPAA 규정들, 프라이버시 규정들 등을 준수하기 위해) 촬영 데이터가 구외로 전송되는 것을 제한하는 방식으로 발생할 수 있다. 적어도 하나의 실시예에서, 일단 모델이 하나의 위치에서 훈련되면- 또는 부분적으로 훈련되면 -, 머신 학습 모델이 모델 레지스트리(3124)에 추가될 수 있다. 적어도 하나의 실시예에서, 다음으로 머신 학습 모델은 임의의 수의 다른 시설에서 재훈련되거나, 또는 업데이트될 수 있고, 재훈련된 또는 업데이트된 모델은 모델 레지스트리(3124)에서 이용가능하게 될 수 있다. 적어도 하나의 실시예에서, 다음으로 머신 학습 모델이 모델 레지스트리(3124)로부터 선택될 수 있고- 출력 모델(3116)이라고 지칭됨 -, 배치 시스템의 하나 이상의 애플리케이션에 대한 하나 이상의 처리 태스크를 수행하기 위해 배치 시스템(3106)에서 사용될 수 있다.
적어도 하나의 실시예에서, 훈련 파이프라인(3204)(도 32), 시나리오는 시설(3102)이 배치 시스템(3106)에서의 하나 이상의 애플리케이션에 대한 하나 이상의 처리 태스크를 수행하기 위해 사용하기 위한 머신 학습 모델을 요구하는 것을 포함할 수 있지만, 시설(3102)은 현재 이러한 머신 학습 모델을 갖지 않을 수 있다(또는 이러한 목적들을 위해 최적화되거나, 효율적이거나, 또는 효과적인 모델을 갖지 않을 수 있다). 적어도 하나의 실시예에서, 모델 레지스트리(3124)로부터 선택되는 머신 학습 모델은, 모집단들에서의 차이들, 유전적 변형들, 머신 학습 모델을 훈련하기 위해 사용되는 훈련 데이터의 강건성, 훈련 데이터의 이상에서의 다양성, 및/또는 훈련 데이터와의 다른 이슈들 때문에, 시설(3102)에서 생성되는 촬영 데이터(3108)에 대해 미세-튜닝되거나 또는 최적화되지 않을 수 있다. 적어도 하나의 실시예에서, AI-보조 주석(3110)은, 머신 학습 모델을 재훈련 또는 업데이트하기 위한 실측 자료 데이터로서 사용될 촬영 데이터(3108)에 대응하는 주석을 생성하는 것을 돕기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 라벨링된 클리닉 데이터(3112)(예를 들어, 임상의, 의사, 과학자 등에 의해 제공되는 주석들)는 머신 학습 모델을 훈련시키기 위한 실측 자료 데이터로서 사용될 수 있다. 적어도 하나의 실시예에서, 머신 학습 모델을 재훈련 또는 업데이트하는 것이 모델 훈련(3114)이라고 지칭될 수 있다. 적어도 하나의 실시예에서, 모델 훈련(3114)- 예를 들어, AI-보조 주석들(3110), 라벨링된 클리닉 데이터(3112), 또는 이들의 조합 -은 머신 학습 모델을 재훈련 또는 업데이트하기 위한 실측 자료 데이터로서 사용될 수 있다. 적어도 하나의 실시예에서, 훈련된 머신 학습 모델은 출력 모델(3116)이라고 지칭될 수 있고, 본 명세서에 설명되는 바와 같이, 배치 시스템(3106)에 의해 사용될 수 있다.
적어도 하나의 실시예에서, 배치 시스템(3106)은 소프트웨어(3118), 서비스들(3120), 하드웨어(3122), 및/또는 다른 컴포넌트들, 특징들, 및 기능성을 포함할 수 있다. 적어도 하나의 실시예에서, 배치 시스템(3106)은 소프트웨어 "스택(stack)"을 포함할 수 있어서, 소프트웨어(3118)는 서비스들(3120)의 상부에 구축될 수 있고, 서비스들(3120)을 사용하여 처리 태스크들 중 일부 또는 전부를 수행할 수 있으며, 서비스들(3120) 및 소프트웨어(3118)는 하드웨어(3122)의 상부에 구축될 수 있고, 하드웨어(3122)를 사용하여 배치 시스템(3106)의 처리, 스토리지, 및/또는 다른 컴퓨팅 태스크들을 실행할 수 있다. 적어도 하나의 실시예에서, 소프트웨어(3118)는 임의의 수의 상이한 컨테이너들을 포함할 수 있고, 각각의 컨테이너는 애플리케이션의 인스턴스화를 실행할 수 있다. 적어도 하나의 실시예에서, 각각의 애플리케이션은 진보된 처리 및 추론 파이프라인(예를 들어, 추론, 객체 검출, 특징 검출, 세그먼트화, 이미지 강화, 교정 등)에서 하나 이상의 처리 태스크를 수행할 수 있다. 적어도 하나의 실시예에서, 각각의 타입의 촬영 디바이스(예를 들어, CT, MRI, X-선, 초음파, 초음파 검사, 심장 초음파 검사 등), 시퀀싱 디바이스, 방사선학 디바이스, 유전체학 디바이스 등에 대해, 디바이스에 의해 생성되는 촬영 데이터(3108)(또는 본 명세서에 설명되는 것들과 같은 다른 데이터 타입)에 관련하여 데이터 처리 태스크를 수행할 수 있는 임의의 수의 컨테이너가 있을 수 있다. 적어도 하나의 실시예에서, 진보된 처리 및 추론 파이프라인은, (예를 들어, 시설(3102)에서의 스토리지 및 디스플레이를 위해, DICOM(digital imaging and communications in medicine) 데이터, RIS(radiology information system) 데이터, CIS(clinical information system) 데이터, RPC(remote procedure call) 데이터, REST(representation state transfer) 인터페이스에 실질적으로 준수하는 데이터, 파일-기반 인터페이스에 실질적으로 준수하는 데이터, 및/또는 원시 데이터와 같은, 사용가능한 데이터 타입으로 출력을 다시 변환하기 위해) 파이프라인을 통한 처리 후에 시설(3102)에 의한 사용 및/또는 각각의 컨테이너에 의한 사용을 위해 촬영 데이터를 수신 및 구성하는 컨테이너 외에도, 촬영 데이터(3108)를 처리하기 위해 원하는 또는 요구되는 상이한 컨테이너들의 선택에 기초하여 정의될 수 있다. 적어도 하나의 실시예에서, (예를 들어, 파이프라인을 구성하는) 소프트웨어(3118) 내의 컨테이너들의 조합은 (본 명세서에서 더 상세히 설명되는 바와 같이)가상 기기라고 지칭될 수 있고, 가상 기기는 서비스들(3120) 및 하드웨어(3122)를 활용하여 컨테이너들 내에 인스턴스화된 애플리케이션들의 일부 또는 모든 처리 태스크들을 실행할 수 있다.
적어도 하나의 실시예에서, 데이터 처리 파이프라인은 추론 요청(예를 들어, 임상의, 의사, 방사선 전문의 등과 같은 배치 시스템(3106)의 사용자로부터의 요청)에 응답하여 DICOM, RIS, CIS, REST 준수, RPC, 원시, 및/또는 다른 포맷으로 입력 데이터(예를 들어, 촬영 데이터(3108))를 수신할 수 있다. 적어도 하나의 실시예에서, 입력 데이터는, 하나 이상의 촬영 디바이스, 시퀀싱 디바이스, 방사선 디바이스, 유전체학 디바이스, 및/또는 다른 디바이스 타입에 의해 생성되는 하나 이상의 이미지, 비디오, 및/또는 다른 데이터 표현을 나타낼 수 있다. 적어도 하나의 실시예에서, 데이터는 하나 이상의 애플리케이션에 의한 처리를 위한 데이터를 준비하기 위해 데이터 처리 파이프라인의 일부로서 전처리를 겪을 수 있다. 적어도 하나의 실시예에서, 후처리는 다음 애플리케이션에 대한 출력 데이터를 준비하기 위해 및/또는 (예를 들어, 추론 요청에 대한 응답으로서) 사용자에 의한 송신 및/또는 사용을 위한 출력 데이터를 준비하기 위해 파이프라인의 하나 이상의 추론 태스크 또는 다른 처리 태스크의 출력에 대해 수행될 수 있다. 적어도 하나의 실시예에서, 추론 태스크들은, 훈련 시스템(3104)의 출력 모델(3116)을 포함할 수 있는, 훈련된 또는 배치된 신경망과 같은, 하나 이상의 머신 학습 모델에 의해 수행될 수 있다.
적어도 하나의 실시예에서, 데이터 처리 파이프라인의 태스크들은 머신 학습 모델들을 참조할 수 있는 애플리케이션 및 가상화된 컴퓨팅 환경의 개별, 완전 기능 인스턴스화를 각각 나타내는 컨테이너(들) 내에 캡슐화될 수 있다. 적어도 하나의 실시예에서, 컨테이너 또는 애플리케이션은 (본 명세서에서 더 상세히 설명되는) 컨테이너 레지스트리의 사적(예를 들어, 제한된 액세스) 영역에 게시될 수 있고, 훈련된 또는 배치된 모델은 모델 레지스트리(3124)에 저장되고 하나 이상의 애플리케이션과 연관될 수 있다. 적어도 하나의 실시예에서, 애플리케이션들의 이미지들(예를 들어, 컨테이너 이미지들)은 컨테이너 레지스트리에서 이용가능할 수 있고, 일단 파이프라인에서의 배치를 위해 컨테이너 레지스트리로부터 사용자에 의해 선택되면, 이미지는 사용자의 시스템에 의한 사용을 위해 애플리케이션의 인스턴스화를 위한 컨테이너를 생성하기 위해 사용될 수 있다.
적어도 하나의 실시예에서, 개발자들(예를 들어, 소프트웨어 개발자들, 임상의들, 의사들 등)은 공급된 데이터에 대해 이미지 처리 및/또는 추론을 수행하기 위한 애플리케이션들을 (예를 들어, 컨테이너들로서) 개발, 발행 및 저장할 수 있다. 적어도 하나의 실시예에서, 개발, 게시, 및/또는 저장은 (예를 들어, 개발된 애플리케이션 및/또는 컨테이너가 시스템을 준수하는 것 또는 이와 호환가능한 것을 보장하기 위해) 시스템과 연관된 SDK(software development kit)를 사용하여 수행될 수 있다. 적어도 하나의 실시예에서, 개발된 애플리케이션은 서비스(3120) 중 적어도 일부를 시스템 (예를 들어, 도 32의 시스템(3200))으로서 지원할 수 있는 SDK로 로컬로(예를 들어, 제1 시설에서, 제1 시설로부터의 데이터에 대해) 테스트될 수 있다. 적어도 하나의 실시예에서, DICOM 객체는 1개 내지 수백개의 이미지 또는 다른 데이터 타입을 포함할 수 있기 때문에, 그리고 데이터의 변형으로 인해, 개발자는 인입 DICOM 데이터의 추출 및 준비를 관리(예를 들어, 구성물을 설정하는 것, 애플리케이션으로 전처리를 구축하는 것 등)하는 것을 담당할 수 있다. 적어도 하나의 실시예에서, 일단 (예를 들어, 정확도, 안전, 환자 사생활 등을 위해) 시스템(3200)에 의해 유효성확인되고 나면, 애플리케이션은, 사용자의 시설 (예를 들어, 제2 시설)에서 데이터에 관한 하나 이상의 처리 태스크를 수행하기 위해 사용자 (예를 들어, 병원, 클리닉, 실험실, 건강관리 제공자 등)에 의한 선택 및/또는 구현을 위해 컨테이너 레지스트리에서 이용가능할 수 있다.
적어도 하나의 실시예에서, 개발자는 다음으로 시스템 (예를 들어, 도 32의 시스템(3200))의 사용자에 의한 액세스 및 사용을 위해 네트워크를 통해 애플리케이션 또는 컨테이너를 공유할 수 있다. 적어도 하나의 실시예에서, 완료되고 검증된 애플리케이션 또는 컨테이너는 컨테이너 레지스트리에 저장될 수 있고 연관된 머신 학습 모델은 모델 레지스트리(3124)에 저장될 수 있다. 적어도 하나의 실시예에서, - 추론 또는 이미지 처리 요청을 제공하는 - 요청 엔티티(예를 들어, 의료 시설의 사용자)는, 애플리케이션, 컨테이너, 데이터세트, 머신 학습 모델 등에 대한 컨테이너 레지스트리 및/또는 모델 레지스트리(3124)를 브라우징하고, 데이터 처리 파이프라인에 포함시키기 위한 엘리먼트들의 원하는 조합을 선택하며, 촬영 처리 요청을 제출할 수 있다. 적어도 하나의 실시예에서, 요청은 요청을 수행하기 위해 필요한 입력 데이터 (및 일부 예들에서, 연관된 환자 데이터)를 포함할 수 있고, 및/또는 요청을 처리함에 있어서 실행될 애플리케이션(들) 및/또는 머신 학습 모델들의 선택을 포함할 수 있다. 적어도 하나의 실시예에서, 요청은 다음으로 데이터 처리 파이프라인의 처리를 수행하기 위해 배치 시스템(3106)의 하나 이상의 컴포넌트(예를 들어, 클라우드)에 전달될 수 있다. 적어도 하나의 실시예에서, 배치 시스템(3106)에 의한 처리는 컨테이너 레지스트리 및/또는 모델 레지스트리(3124)로부터 선택되는 엘리먼트들(예를 들어, 애플리케이션들, 컨테이너들, 모델들 등)을 참조하는 것을 포함할 수 있다. 적어도 하나의 실시예에서, 일단 결과들이 파이프라인에 의해 생성되면, 결과들은 참조를 위해(예를 들어, 로컬, 구내 워크스테이션 또는 단말기 상에서 실행되는 보기 애플리케이션 모음에서 보기 위해) 사용자에게 리턴될 수 있다. 적어도 하나의 실시예에서, 방사선 전문의는 임의의 수의 애플리케이션 및/또는 컨테이너를 포함하는 데이터 처리 파이프라인으로부터 결과를 수신할 수 있고, 여기서 결과는 X-선들, CT 스캔들, MRI들 등에서의 이상 검출을 포함할 수 있다.
적어도 하나의 실시예에서, 파이프라인들에서 애플리케이션들 또는 컨테이너들의 처리 또는 실행을 돕기 위해, 서비스들(3120)이 활용될 수 있다. 적어도 하나의 실시예에서, 서비스들(3120)은 컴퓨팅 서비스들, 인공 지능 (AI) 서비스들, 시각화 서비스들, 및/또는 다른 서비스 타입들을 포함할 수 있다. 적어도 하나의 실시예에서, 서비스(3120)는 소프트웨어(3118) 내의 하나 이상의 애플리케이션에 공통인 기능성을 제공할 수 있어서, 기능성은 애플리케이션에 의해 호출되거나 또는 활용될 수 있는 서비스로 추상화될 수 있다. 적어도 하나의 실시예에서, 서비스(3120)에 의해 제공되는 기능성은 동적으로 그리고 보다 효율적으로 실행될 수 있는 반면, 또한 애플리케이션이(예를 들어, 병렬 컴퓨팅 플랫폼(3230)(도 32)을 사용하여) 데이터를 병렬로 처리하는 것을 허용하는 것에 의해 잘 스케일링될 수 있다. 적어도 하나의 실시예에서, 서비스(3120)의 각각의 인스턴스를 가질 필요가 있는 서비스(3120)에 의해 제공되는 동일한 기능성을 공유하는 각각의 애플리케이션이 아니라 오히려, 서비스(3120)가 다양한 애플리케이션들 사이에 그리고 이들 중에 공유될 수 있다. 적어도 하나의 실시예에서, 서비스들은 비-제한적인 예들로서, 검출 또는 세그먼트화 태스크들을 실행하기 위해 사용될 수 있는 추론 서버 또는 엔진을 포함할 수 있다. 적어도 하나의 실시예에서, 머신 학습 모델 훈련 및/또는 재훈련 능력을 제공할 수 있는 모델 훈련 서비스가 포함될 수 있다. 적어도 하나의 실시예에서, GPU 가속된 데이터(예를 들어, DICOM, RIS, CIS, REST 준수, RPC, 원시 등) 추출, 리사이징, 스케일링, 및/또는 다른 증강을 제공할 수 있는 데이터 증강 서비스가 추가로 포함될 수 있다. 적어도 하나의 실시예에서, 2D(two-dimensional) 및/또는 3D(three-dimensional) 모델들에 리얼리즘을 추가하기 위해, 광선-추적, 래스터화, 노이즈 제거, 선명화 등과 같은 이미지 렌더링 효과들을 추가할 수 있는 시각화 서비스가 사용될 수 있다. 적어도 하나의 실시예에서, 가상 기기의 파이프라인 내의 다른 애플리케이션을 위한 빔-형성, 세그먼트화, 추론, 촬영 및/또는 지원을 제공하는 가상 기기 서비스가 포함될 수 있다.
적어도 하나의 실시예에서, 서비스(3120)가 AI 서비스(예를 들어, 추론 서비스)를 포함하는 경우, 이상 검출(예를 들어, 종양, 성장 이상, 흉터 등)을 위한 애플리케이션과 연관된 하나 이상의 머신 학습 모델은, 애플리케이션 실행의 일부로서, 머신 학습 모델(들), 또는 이들의 처리를, 실행하기 위해 추론 서비스(예를 들어, 추론 서버)를 (예를 들어, API 호출로서) 호출하는 것에 의해 실행될 수 있다. 적어도 하나의 실시예에서, 다른 애플리케이션이 세그먼트화 태스크들을 위한 하나 이상의 머신 학습 모델을 포함하는 경우, 애플리케이션은 추론 서비스를 호출하여 세그먼트화 태스크들과 연관된 처리 연산들 중 하나 이상을 수행하기 위한 머신 학습 모델들을 실행할 수 있다. 적어도 하나의 실시예에서, 세그먼트화 애플리케이션 및 이상 검출 애플리케이션을 포함하는 진보된 처리 및 추론 파이프라인을 구현하는 소프트웨어(3118)는 각각의 애플리케이션이 하나 이상의 추론 태스크를 수행하기 위해 동일한 추론 서비스를 호출할 수 있기 때문에 간소화될 수 있다.
적어도 하나의 실시예에서, 하드웨어(3122)는 GPU들, CPU들, 그래픽 카드들, AI/심층 학습 시스템(예를 들어, NVIDIA의 DGX와 같은, AI 슈퍼컴퓨터), 클라우드 플랫폼, 또는 이들의 조합을 포함할 수 있다. 적어도 하나의 실시예에서, 배치 시스템(3106)에서의 소프트웨어(3118) 및 서비스들(3120)에 대한 효율적이고, 목적-구축된 지원을 제공하기 위해 상이한 타입의 하드웨어(3122)가 사용될 수 있다. 적어도 하나의 실시예에서, GPU 처리의 사용은, AI/심층 학습 시스템 내에서, 클라우드 시스템에서, 및/또는 배치 시스템(3106)의 다른 처리 컴포넌트들에서, 로컬로 (예를 들어, 시설(3102)에서) 처리하여, 이미지 처리, 이미지 재구성, 세그먼트화, MRI 검사, (예를 들어, 실시간으로) 스트로크 또는 심장 마비 검출, 렌더링시 이미지 품질 등의 효율, 정확도, 및 효능을 개선하도록 구현될 수 있다. 적어도 하나의 실시예에서, 시설은, 촬영 디바이스, 유전체학 디바이스, 시퀀싱 디바이스, 및/또는 피험자의 해부학적 구조를 나타내는 촬영 데이터를 생성하기 위해 GPU를 활용할 수 있는 구내(on-premise)의 다른 디바이스 타입을 포함할 수 있다. 적어도 하나의 실시예에서, 소프트웨어(3118) 및/또는 서비스들(3120)은, 비-제한적인 예들로서, 심층 학습, 머신 학습, 및/또는 고-성능 컴퓨팅에 관련하여 GPU 처리를 위해 최적화될 수 있다. 적어도 하나의 실시예에서, 배치 시스템(3106) 및/또는 훈련 시스템(3104)의 컴퓨팅 환경의 적어도 일부가, GPU 최적화된 소프트웨어(예를 들어, NVIDIA의 DGX System의 하드웨어 및 소프트웨어 조합)를 사용하여, 데이터 센터 하나 이상의 슈퍼컴퓨터 또는 고 성능 컴퓨팅 시스템에서 실행될 수 있다. 적어도 하나의 실시예에서, 데이터센터는 HIPAA의 제공들을 준수할 수 있어서, 촬영 데이터 및/또는 다른 환자 데이터의 수신, 처리, 및 송신이 환자 데이터의 사생활 보호와 관련하여 안전하게 핸들링된다. 적어도 하나의 실시예에서, 하드웨어(3122)는, 본 명세서에 설명되는 바와 같이, 데이터의 처리를 병렬로 수행하기 위해 호출될 수 있는 임의의 수의 GPU들을 포함할 수 있다. 적어도 하나의 실시예에서, 클라우드 플랫폼은 심층 학습 태스크들, 머신 학습 태스크들, 또는 다른 컴퓨팅 태스크들의 GPU-최적화된 실행을 위한 GPU 처리를 추가로 포함할 수 있다. 적어도 하나의 실시예에서, 클라우드 플랫폼(예를 들어, NVIDIA의 NGC)은 하드웨어 추상화 및 스케일링 플랫폼으로서 AI/심층 학습 슈퍼컴퓨터(들) 및/또는 GPU-최적화된 소프트웨어(예를 들어, NVIDIA의 DGX System들 상에 제공됨)를 사용하여 실행될 수 있다. 적어도 하나의 실시예에서, 클라우드 플랫폼은 매끄러운 스케일링 및 로드 밸런싱을 가능하게 하기 위해 다수의 GPU들 상에 애플리케이션 컨테이너 클러스터링 시스템 또는 오케스트레이션 시스템(예를 들어, KUBERNETES)을 통합할 수 있다.
도 32는, 적어도 하나의 실시예에 따른, 촬영 배치 파이프라인을 생성하고 배치하기 위한 예시적인 시스템(3200)에 대한 시스템 다이어그램이다. 적어도 하나의 실시예에서, 시스템(3200)은 도 31의 프로세스(3100) 및/또는 진보된 처리 및 추론 파이프라인들을 포함하는 다른 프로세스들을 구현하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 시스템(3200)은 훈련 시스템(3104) 및 배치 시스템(3106)을 포함할 수 있다. 적어도 하나의 실시예에서, 훈련 시스템(3104) 및 배치 시스템(3106)은, 본 명세서에 설명되는 바와 같이, 소프트웨어(3118), 서비스들(3120), 및/또는 하드웨어(3122)를 사용하여 구현될 수 있다.
적어도 하나의 실시예에서, 시스템(3200)(예를 들어, 훈련 시스템(3104) 및/또는 배치 시스템(3106))은 클라우드 컴퓨팅 환경에서(예를 들어, 클라우드(3226)를 사용하여) 구현될 수 있다. 적어도 하나의 실시예에서, 시스템(3200)은 헬스케어 서비스 시설에 대해 로컬로, 또는 클라우드 및 로컬 컴퓨팅 리소스들 양자 모두의 조합으로서 구현될 수 있다. 적어도 하나의 실시예에서, 클라우드 컴퓨팅이 구현되는 실시예에서, 환자 데이터는, HIPAA 및/또는 다른 데이터 핸들링 및 프라이버시 규정 또는 법규에 따르지 않는 처리를 렌더링하는 시스템(3200)의 하나 이상의 컴포넌트로부터 분리되거나, 또는 이에 의해 처리되지 않을 수 있다. 적어도 하나의 실시예에서, 클라우드(3226) 내의 API들에 대한 액세스는 시행된 보안 조치들 또는 프로토콜들을 통해 인가된 사용자들로 제한될 수 있다. 적어도 하나의 실시예에서, 보안 프로토콜은 인증(예를 들어, AuthN, AuthZ, Gluecon 등) 서비스에 의해 서명될 수 있고 적절한 허가를 전달할 수 있는 웹 토큰을 포함할 수 있다. 적어도 하나의 실시예에서, 가상 기기(본 명세서에 설명됨)의 API 또는 시스템(3200)의 다른 인스턴스화는 상호작용을 위해 조사된 또는 인가된 공공 IP 세트로 제한될 수 있다.
적어도 하나의 실시예에서, 시스템(3200)의 다양한 컴포넌트들은 유선 및/또는 무선 통신 프로토콜들을 통해 이에 제한되는 것은 아니지만 LAN들(local area networks) 및/또는 WAN들(wide area networks)을 포함하는 다양한 상이한 네트워크 타입들 중 임의의 것을 사용하여 서로 사이에서 통신할 수 있다. 적어도 하나의 실시예에서, (예를 들어, 추론 요청을 송신하기 위한, 추론 요청의 결과를 수신하기 위한 등의) 시스템(3200)의 시설과 컴포넌트들 사이의 통신은, 데이터 버스(들), 무선 데이터 프로토콜들(Wi-Fi), 유선 데이터 프로토콜들(예를 들어, Ethernet) 등을 통해 통신될 수 있다.
적어도 하나의 실시예에서, 훈련 시스템(3104)은, 도 31과 관련하여 본 명세서에 설명되는 것들과 유사한, 훈련 파이프라인(3204)을 실행할 수 있다. 하나 이상의 머신 학습 모델들이 배치 시스템(3106)에 의해 배치 파이프라인들(3210)에서 사용되는 적어도 하나의 실시예에서, 훈련 파이프라인들(3204)은 하나 이상의 (예를 들어, 미리 훈련된) 모델들을 훈련 또는 재훈련하고, 및/또는 (예를 들어, 재훈련 또는 업데이트에 대한 필요 없이) 미리 훈련된 모델들(3206) 중 하나 이상을 구현하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 훈련 파이프라인(3204)의 결과로서, 출력 모델(들)(3116)이 생성될 수 있다. 적어도 하나의 실시예에서, 훈련 파이프라인들(3204)은, 이에 제한되는 것은 아니지만 (예를 들어, DICOM 이미지들을, NIfTI(Neuroimaging Informatics Technology Initiative) 포맷과 같은, 각각의 머신 학습 모델들에 의한 처리에 적합한 다른 포맷으로 변환하기 위해 DICOM 어댑터(3202A)를 사용하는) 촬영 데이터(또는 다른 입력 데이터) 변환 또는 적응, AI-보조 주석(3110), 라벨링된 클리닉 데이터(3112)를 생성하기 위한 촬영 데이터(3108)의 라벨링 또는 주석부기, 모델 레지스트리로부터의 모델 선택, 모델 훈련(3114), 훈련, 재훈련, 또는 업데이트 모델들, 및/또는 다른 처리 단계들과 같은, 그러나 이들로 제한되지 않는, 임의의 수의 처리 단계들을 포함할 수 있다. 적어도 하나의 실시예에서, 배치 시스템(3106)에 의해 사용되는 상이한 머신 학습 모델들에 대해, 상이한 훈련 파이프라인들(3204)이 사용될 수 있다. 적어도 하나의 실시예에서, 도 31과 관련하여 설명되는 제1 예와 유사한 훈련 파이프라인(3204)은 제1 머신 학습 모델에 대해 사용될 수 있고, 도 31과 관련하여 설명되는 제2 예와 유사한 훈련 파이프라인(3204)은 제2 머신 학습 모델에 대해 사용될 수 있으며, 도 31과 관련하여 설명되는 제3 예와 유사한 훈련 파이프라인(3204)은 제3 머신 학습 모델에 대해 사용될 수 있다. 적어도 하나의 실시예에서, 훈련 시스템(3104) 내의 태스크들의 임의의 조합은 각각 각각의 머신 학습 모델에 대해 요구되는 것에 의존하여 사용될 수 있다. 적어도 하나의 실시예에서, 머신 학습 모델들 중 하나 이상은 이미 훈련되고 배치를 위해 준비될 수 있으므로, 머신 학습 모델들은 훈련 시스템(3104)에 의한 어떠한 처리도 겪지 않을 수 있고, 배치 시스템(3106)에 의해 구현될 수 있다.
적어도 하나의 실시예에서, 출력 모델(들)(3116) 및/또는 미리 훈련된 모델(들)(3206)은 구현 또는 실시예에 의존하여 임의의 타입의 머신 학습 모델을 포함할 수 있다. 적어도 하나의 실시예에서, 및 제한 없이, 시스템(3200)에 의해 사용되는 머신 학습 모델은, 선형 회귀, 로지스틱 회귀, 결정 트리, SVM(support vector machines), Naive Bayes, Knn(k-nearest neighbor), K 평균 클러스터링, 랜덤 포레스트, 차원수 감소 알고리즘, 그래디언트 부스팅 알고리즘, 신경망(예를 들어, 자동-인코더, 콘볼루션, 순환, 퍼셉트론, LSTM(Long/Short Term Memory), Hopfield, Boltzmann, 심층 신뢰, 디콘볼루션, 생성 적대, 액체 상태 머신 등), 및/또는 다른 타입의 머신 학습 모델을 사용하는 머신 학습 모델(들)을 포함할 수 있다.
적어도 하나의 실시예에서, 훈련 파이프라인들(3204)은 적어도 도 35b와 관련하여 본 명세서에서 더 상세히 설명되는 바와 같이 AI-보조 주석을 포함할 수 있다. 적어도 하나의 실시예에서, 라벨링된 병원 데이터(3112)(예를 들어, 전통적인 주석)가 임의의 수의 기술에 의해서 생성될 수 있다. 적어도 하나의 실시예에서, 라벨들 또는 다른 주석들은, 일부 예들에서, 드로잉 프로그램 (예를 들어, 주석 프로그램), CAD(computer aided design) 프로그램, 라벨링 프로그램, 실측 자료에 대한 주석들 또는 라벨들을 생성하기에 적합한 다른 타입의 프로그램 내에서 생성될 수 있고 및/또는, 핸드 드로잉될 수 있다. 적어도 하나의 실시예에서, 실측 자료 데이터는 합성적으로 생산(예를 들어, 컴퓨터 모델들 또는 렌더링들로부터 생성)되거나, 실제 생산(예를 들어, 실세계 데이터로부터 설계되고 생산)되거나, 머신 자동화(예를 들어, 데이터로부터 특징들을 추출하고 다음으로 라벨들을 생성하기 위해 특징 분석 및 학습을 사용함)되거나, 인간 주석(예를 들어, 라벨러, 또는 주석 전문가는 라벨들의 위치를 정의함)되거나, 및/또는 이들의 조합일 수 있다. 적어도 하나의 실시예에서, 촬영 데이터(3108)(또는 머신 학습 모델에 의해 사용되는 다른 데이터 타입)의 각각의 인스턴스에 대해, 훈련 시스템(3104)에 의해 생성되는 대응하는 실측 자료 데이터가 있을 수 있다. 적어도 하나의 실시예에서, AI-보조 주석이 배치 파이프라인들(3210)의 일부로서 수행될 수 있고; 훈련 파이프라인들(3204)에 포함되는 AI-보조 주석 외에도 또는 그 대신이다. 적어도 하나의 실시예에서, 시스템(3200)은, 하나 이상의 의료 촬영 및 진단 기능을 수행할 수 있는 진단 애플리케이션 (또는 다른 애플리케이션 타입)의 소프트웨어 레이어 (예를 들어, 소프트웨어(3118))을 포함할 수 있는 멀티-레이어 플랫폼을 포함할 수 있다. 적어도 하나의 실시예에서, 시스템(3200)은 하나 이상의 시설의 PACS 서버 네트워크에 (예를 들어, 암호화된 링크를 통해) 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, 시스템(3200)은, (예를 들어, DICOM 어댑터(3202), 또는 RIS, CIS, REST 준수, RPC, 원시 등과 같은 다른 데이터 타입 어댑터를 통해) PACS 서버로부터의 참조된 데이터(예를 들어, DICOM 데이터, RIS 데이터, 원시 데이터, CIS 데이터, REST 준수 데이터, RPC 데이터, 원시 데이터 등)에 액세스하여, 훈련 머신 학습 모델, 배치 머신 학습 모델, 이미지 처리, 추론, 및/또는 다른 연산들과 같은, 연산들을 수행하도록 구성될 수 있다.
적어도 하나의 실시예에서, 소프트웨어 레이어는 이를 통해 애플리케이션 또는 컨테이너가 외부 환경(들)(예를 들어, 시설(3102))으로부터 호출 (예를 들어, 호출)될 수 있는 보안, 암호화 및/또는 인증된 API로서 구현될 수 있다. 적어도 하나의 실시예에서, 애플리케이션들은 다음으로 각각의 애플리케이션들과 연관된 컴퓨팅, AI, 또는 시각화 태스크들을 수행하기 위해 하나 이상의 서비스(3120)를 호출하거나 또는 실행할 수 있고, 소프트웨어(3118) 및/또는 서비스들(3120)은 하드웨어(3122)를 활용하여 효과적이고 효율적인 방식으로 처리 태스크들을 수행할 수 있다.
적어도 하나의 실시예에서, 배치 시스템(3106)은 배치 파이프라인들(3210)을 실행할 수 있다. 적어도 하나의 실시예에서, 배치 파이프라인들(3210)은, 위에 설명된 바와 같이, AI-보조 주석을 포함하는, 촬영 디바이스들, 시퀀싱 디바이스들, 유전체학 디바이스들 등에 의해 생성되는 촬영 데이터(및/또는 다른 데이터 타입들)에 순차적으로, 비-순차적으로, 또는 다른 방식으로 적용될 수 있는 임의의 수의 애플리케이션들을 포함할 수 있다. 적어도 하나의 실시예에서, 본 명세서에 설명되는 바와 같이, 개별 디바이스에 대한 배치 파이프라인(3210)은 디바이스에 대한 가상 기기(예를 들어, 가상 초음파 기기, 가상 CT 스캔 기기, 가상 시퀀싱 기기 등)라고 지칭될 수 있다. 적어도 하나의 실시예에서, 단일의 디바이스에 대해, 디바이스에 의해 생성되는 데이터로부터 원하는 정보에 의존하여 하나보다 많은 배치 파이프라인(3210)이 존재할 수 있다. 적어도 하나의 실시예에서, MRI 머신으로부터 이상의 검출이 원해지는 경우, 제1 배치 파이프라인(3210)이 존재할 수 있고, MRI 머신의 출력으로부터 이미지 강화가 원해지는 경우, 제2 배치 파이프라인(3210)이 존재할 수 있다.
적어도 하나의 실시예에서, 배치 파이프라인들(3210)에 이용가능한 애플리케이션들은 디바이스들로부터의 촬영 데이터 또는 다른 데이터에 대해 처리 태스크들을 수행하기 위해 사용될 수 있는 임의의 애플리케이션을 포함할 수 있다. 적어도 하나의 실시예에서, 상이한 애플리케이션들은 이미지 강화, 세그먼트화, 재구성, 이상 검출, 객체 검출, 특징 검출, 치료 계획, 선량측정, 빔 계획(또는 다른 방사선 치료 절차들), 및/또는 다른 분석, 이미지 처리, 또는 추론 태스크들을 담당할 수 있다. 적어도 하나의 실시예에서, 배치 시스템(3106)은 애플리케이션들 각각에 대한 구성물들을 정의할 수 있어, 배치 시스템(3106)의 사용자들(예를 들어, 의료 시설들, 실험실들, 클리닉들 등)이 구성물들을 이해하고 그 각각의 시설 내에서의 구현을 위해 애플리케이션들을 적응시킬 수 있다. 적어도 하나의 실시예에서, 이미지 재구성을 위한 애플리케이션이 배치 파이프라인(3210)에 포함시키기 위해 선택될 수 있지만, 촬영 디바이스에 의해 생성되는 데이터 타입이 애플리케이션 내에서 사용되는 데이터 타입과 상이할 수 있다. 적어도 하나의 실시예에서, DICOM 어댑터(3202B)(및/또는 DICOM 판독기) 또는 다른 데이터 타입 어댑터 또는 판독기(예를 들어, RIS, CIS, REST 준수, RPC, 원시 등)가 데이터를 배치 시스템(3106) 내의 애플리케이션에 의해 사용가능한 형태로 변환하기 위해 배치 파이프라인(3210) 내에서 사용될 수 있다. 적어도 하나의 실시예에서, DICOM, RIS, CIS, REST 준수, RPC, 원시, 및/또는 다른 데이터 타입 라이브러리들에 대한 액세스는, 임의의 콘볼루션들, 컬러 정정들, 선명도, 감마, 및/또는 데이터에 대한 다른 증강들을 디코딩하는 것, 추출하는 것, 및/또는 수행하는 것을 포함하는, 누적되고 전처리될 수 있다. 적어도 하나의 실시예에서, DICOM, RIS, CIS, REST 준수, RPC, 및/또는 원시 데이터는 정렬되지 않을 수 있고, 수집된 데이터를 조직화 또는 분류하기 위해 프리-패스가 실행될 수 있다. 적어도 하나의 실시예에서, 다양한 애플리케이션들이 공통 이미지 연산들을 공유할 수 있기 때문에, 일부 실시예들에서, (예를 들어, 서비스들(3120) 중 하나로서의) 데이터 증강 라이브러리가 이러한 연산들을 가속하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, CPU 처리에 의존하는 종래의 처리 접근법들의 병목현상을 회피하기 위해, 병렬 컴퓨팅 플랫폼(3230)이 이러한 처리 태스크들의 GPU 가속을 위해 사용될 수 있다.
적어도 하나의 실시예에서, 이미지 재구성 애플리케이션은 머신 학습 모델의 사용을 포함하는 처리 태스크를 포함할 수 있다. 적어도 하나의 실시예에서, 사용자는 그 자신의 머신 학습 모델을 사용하기를 또는 모델 레지스트리(3124)로부터 머신 학습 모델을 선택하기를 원할 수 있다. 적어도 하나의 실시예에서, 사용자는 그들 자신의 머신 학습 모델을 구현하거나, 또는 처리 태스크를 수행하기 위해 애플리케이션에 포함시키기 위한 머신 학습 모델을 선택할 수 있다. 적어도 하나의 실시예에서, 애플리케이션들은 선택가능하고 맞춤화가능할 수 있으며, 애플리케이션들의 구성물들을 정의하는 것에 의해, 특정 사용자에 대한 애플리케이션들의 배치 및 구현이 더 매끄러운 사용자 경험으로서 제시된다. 적어도 하나의 실시예에서, 시스템(3200)의 다른 특징들- 서비스들(3120) 및 하드웨어(3122)와 같음 -을 활용하는 것에 의해, 배치 파이프라인들(3210)은 훨씬 더 사용자 친화적이고, 보다 용이한 통합을 제공하며, 더 정확하고, 효율적이며, 적시의 결과들을 생산할 수 있다.
적어도 하나의 실시예에서, 배치 시스템(3106)은 배치 파이프라인(들)(3210)에 포함시키기 위한 애플리케이션들을 선택하고, 애플리케이션들을 배열하며, 애플리케이션들 또는 이들의 파라미터들 또는 구성물들을 수정 또는 변경하고, 셋-업 및/또는 배치 동안 배치 파이프라인(들)(3210)을 사용하고 그와 상호작용하고, 및/또는 배치 시스템(3106)과 다른 방식으로 상호작용하기 위해 사용될 수 있는 사용자 인터페이스(3214)(예를 들어, 그래픽 사용자 인터페이스, 웹 인터페이스 등)를 포함할 수 있다. 적어도 하나의 실시예에서, 훈련 시스템(3104)과 관련하여 예시되어 있지 않지만, 사용자 인터페이스(3214)(또는 상이한 사용자 인터페이스)는 배치 시스템(3106)에서 사용하기 위한 모델들을 선택하기 위해, 훈련 시스템(3104)에서 훈련 또는 재훈련을 위한 모델들을 선택하기 위해, 그리고/또는 훈련 시스템(3104)과 다른 방식으로 상호작용하기 위해 사용될 수 있다.
적어도 하나의 실시예에서, 배치 파이프라인(들)(3210)의 애플리케이션들 또는 컨테이너들과 서비스들(3120) 및/또는 하드웨어(3122) 사이의 상호작용을 관리하기 위해, 애플리케이션 오케스트레이션 시스템(3228) 외에도, 파이프라인 관리기(3212)가 사용될 수 있다. 적어도 하나의 실시예에서, 파이프라인 관리기(3212)는 애플리케이션으로부터 애플리케이션으로의, 애플리케이션으로부터 서비스(3120)로의, 및/또는 애플리케이션 또는 서비스로부터 하드웨어(3122)로의 상호작용을 용이하게 해주도록 구성될 수 있다. 적어도 하나의 실시예에서, 소프트웨어(3118)에 포함되는 것으로 예시되지만, 이러한 것은 제한적인 것으로 의도되지 않으며, 일부 예들에서 파이프라인 관리기(3212)가 서비스들(3120)에 포함될 수 있다. 적어도 하나의 실시예에서, 애플리케이션 오케스트레이션 시스템(3228)(예를 들어, Kubernetes, DOCKER 등)은 애플리케이션들을 조정, 관리, 스케일링, 및 배치를 위한 논리 유닛들로서 컨테이너들로 그룹화할 수 있는 컨테이너 오케스트레이션 시스템을 포함할 수 있다. 적어도 하나의 실시예에서, 배치 파이프라인(들)(3210)으로부터의 애플리케이션들(예를 들어, 재구성 애플리케이션, 세그먼트화 애플리케이션 등)을 개별 컨테이너들과 연관시키는 것에 의해, 각각의 애플리케이션은 속도 및 효율을 증가시키기 위해 자립형 환경에서 (예를 들어, 커널 레벨로) 실행될 수 있다.
적어도 하나의 실시예에서, 각각의 애플리케이션 및/또는 컨테이너(또는 이들의 이미지)는 개별적으로 개발, 수정 및 배치될 수 있으며(예를 들어, 제1 사용자 또는 개발자는 제1 애플리케이션을 개발, 수정 및 배치할 수 있고, 제2 사용자 또는 개발자는 제1 사용자 또는 개발자와는 별개의 제2 애플리케이션을 개발, 수정 및 배치할 수 있음), 이는 다른 애플리케이션(들) 또는 컨테이너(들)의 태스크들에 의해 방해받지 않고 단일의 애플리케이션 및/또는 컨테이너(들)의 태스크에 대한 집중 및 주의를 허용할 수 있다. 적어도 하나의 실시예에서, 상이한 컨테이너들 또는 애플리케이션들 사이의 통신 및 협력이 파이프라인 관리기(3212) 및 애플리케이션 오케스트레이션 시스템(3228)에 의해 도움을 받을 수 있다. 적어도 하나의 실시예에서, 각각의 컨테이너 또는 애플리케이션의 예상된 입력 및/또는 출력이(예를 들어, 애플리케이션들 또는 컨테이너들의 구성물들에 기초하여) 시스템에 의해 알려져 있는 한, 애플리케이션 오케스트레이션 시스템(3228) 및/또는 파이프라인 관리기(3212)는 애플리케이션들 또는 컨테이너들 각각 사이의 그리고 사이에 통신, 및 이들 사이의 그리고 사이에 리소스들의 공유를 용이하게 할 수 있다. 적어도 하나의 실시예에서, 배치 파이프라인(들)(3210)에서의 애플리케이션들 또는 컨테이너들 중 하나 이상이 동일한 서비스들 및 리소스들을 공유할 수 있기 때문에, 애플리케이션 오케스트레이션 시스템(3228)은 다양한 애플리케이션들 또는 컨테이너들 사이에 서비스들 또는 리소스들의 공유를 오케스트레이션, 로드 밸런스, 및 결정할 수 있다. 적어도 하나의 실시예에서, 애플리케이션 또는 컨테이너의 리소스 요건, 이러한 리소스의 현재 사용 또는 계획된 사용, 및 리소스 이용가능성을 추적하기 위해 스케줄러가 사용될 수 있다. 적어도 하나의 실시예에서, 스케줄러는 따라서 상이한 애플리케이션들에 리소스들을 할당하고 시스템의 요건들 및 이용가능성의 관점에서 애플리케이션들 사이에 리소스들을 분배할 수 있다. 일부 예들에서, 스케줄러(및/또는 애플리케이션 오케스트레이션 시스템(3228)의 다른 컴포넌트)는, QoS(quality of service), (예를 들어, 실시간 처리를 실행할지 또는 지연된 처리를 실행할지를 결정하기 위해) 데이터 출력들에 대한 필요성의 긴급성 등과 같은, 시스템에 부과되는 제약들(예를 들어, 사용자 제약들)에 기초하여 리소스 이용가능성 및 분배를 결정할 수 있다.
적어도 하나의 실시예에서, 배치 시스템(3106) 내의 애플리케이션들 또는 컨테이너들에 의해 활용되고 공유되는 서비스들(3120)은 컴퓨팅 서비스들(3216), AI 서비스들(3218), 시각화 서비스들(3220), 및/또는 다른 서비스 타입들을 포함할 수 있다. 적어도 하나의 실시예에서, 애플리케이션들은 애플리케이션에 대한 처리 연산들을 수행하기 위해 서비스들(3120) 중 하나 이상을 호출 (예를 들어, 실행)할 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 서비스들(3216)은 슈퍼-컴퓨팅 또는 다른 HPC(high-performance computing) 태스크들을 수행하기 위해 애플리케이션들에 의해 활용될 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 서비스(들)(3216)는, 실질적으로 동시에, 하나 이상의 애플리케이션 및/또는 단일의 애플리케이션의 하나 이상의 태스크를 통해 데이터를 처리하기 위해 (예를 들어, 병렬 컴퓨팅 플랫폼(3230)을 사용하여) 병렬 처리를 수행하도록 활용될 수 있다. 적어도 하나의 실시예에서, 병렬 컴퓨팅 플랫폼(3230)(예를 들어, NVIDIA의 CUDA)은 GPU들(GPGPU)(예를 들어, GPU들(3222)) 상에서의 범용 컴퓨팅을 가능하게 할 수 있다. 적어도 하나의 실시예에서, 병렬 컴퓨팅 플랫폼(3230)의 소프트웨어 레이어는 컴퓨팅 커널들의 실행을 위해, GPU들의 병렬 계산 엘리먼트들 및 가상 명령어 세트들에 대한 액세스를 제공할 수 있다. 적어도 하나의 실시예에서, 병렬 컴퓨팅 플랫폼(3230)은 메모리를 포함할 수 있고, 일부 실시예들에서, 메모리는 다수의 컨테이너 사이에서, 및/또는 단일의 컨테이너 내의 상이한 처리 태스크들 사이에서 공유될 수 있다. 적어도 하나의 실시예에서, 병렬 컴퓨팅 플랫폼(3230)의 메모리의 공유 세그먼트로부터의 동일한 데이터를 사용하기 위해 다수의 컨테이너에 대해 그리고/또는 컨테이너 내의 다수의 프로세스에 대해 IPC(inter-process communication) 호출들이 생성될 수 있다(예를 들어, 여기서 애플리케이션 또는 다수의 애플리케이션들의 다수의 상이한 스테이지들이 동일한 정보를 처리하고 있다). 적어도 하나의 실시예에서, 데이터의 복사를 만들고 데이터를 메모리 내의 상이한 위치들로 이동시키는 것(예를 들어, 판독/기입 연산)보다는 오히려, 메모리의 동일한 위치에서의 동일한 데이터가 임의의 수의 처리 태스크들에 대해 (예를 들어, 동시에, 상이한 시간들에 등) 사용될 수 있다. 적어도 하나의 실시예에서, 데이터가 처리의 결과로서 새로운 데이터를 생성하기 위해 사용될 때, 데이터의 새로운 위치의 이러한 정보는 다양한 애플리케이션들 사이에 저장되고 공유될 수 있다. 적어도 하나의 실시예에서, 데이터의 위치 및 업데이트된 또는 수정된 데이터의 위치는 페이로드가 컨테이너들 내에서 어떻게 이해되는지에 대한 정의의 일부일 수 있다.
적어도 하나의 실시예에서, AI 서비스들(3218)은 애플리케이션들과 연관된 머신 학습 모델(들)을 실행하기 위한 추론 서비스들을 수행하도록 활용될 수 있다(예를 들어, 애플리케이션의 하나 이상의 처리 태스크를 수행하는 것으로 태스킹됨). 적어도 하나의 실시예에서, AI 서비스들(3218)은 세그먼트화, 재구성, 객체 검출, 특징 검출, 분류, 및/또는 다른 추론 태스크들을 위해 머신 학습 모델(들)(예를 들어, CNN들과 같은 신경망들)을 실행하기 위해 AI 시스템(3224)을 활용할 수 있다. 적어도 하나의 실시예에서, 배치 파이프라인(들)(3210)의 애플리케이션들은, 촬영 데이터(예를 들어, DICOM 데이터, RIS 데이터, CIS 데이터, REST 준수 데이터, RPC 데이터, 원시 데이터 등)에 대한 추론을 수행하기 위해, 훈련 시스템(3104)으로부터의 출력 모델들(3116) 및/또는 애플리케이션들의 다른 모델들 중 하나 이상을 사용할 수 있다. 적어도 하나의 실시예에서, 애플리케이션 오케스트레이션 시스템(3228)(예를 들어, 스케줄러)을 사용하여 추론하는 2개 이상의 예들이 이용가능할 수 있다. 적어도 하나의 실시예에서, 제1 카테고리는, 긴급상황 동안 긴급 요청들에 대한 추론을 수행하기 위해, 또는 진단 동안 방사선 전문의를 위해서와 같이, 더 높은 서비스 레벨 협약들을 달성할 수 있는 높은 우선순위/낮은 레이턴시 경로를 포함할 수 있다. 적어도 하나의 실시예에서, 제2 카테고리는 비-긴급일 수 있는 또는 분석이 나중에 수행될 수 있는 요청들에 대해 사용될 수 있는 표준 우선순위 경로를 포함할 수 있다. 적어도 하나의 실시예에서, 애플리케이션 오케스트레이션 시스템(3228)은 AI 서비스들(3218)의 상이한 추론 태스크들에 대한 우선순위 경로들에 기초하여 리소스들(예를 들어, 서비스들(3120) 및/또는 하드웨어(3122))을 분배할 수 있다.
적어도 하나의 실시예에서, 공유 스토리지가 시스템(3200) 내의 AI 서비스들(3218)에 장착될 수 있다. 적어도 하나의 실시예에서, 공유 스토리지는 캐시(또는 다른 스토리지 디바이스 타입)로서 동작할 수 있고, 애플리케이션들로부터의 추론 요청들을 처리하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 추론 요청이 제출될 때, 배치 시스템(3106)의 API 인스턴스 세트에 의해 요청이 수신될 수 있고, 요청을 처리하기 위해 하나 이상의 인스턴스가 (예를 들어, 최상의 맞춤을 위해, 로드 밸런싱을 위해 등으로) 선택될 수 있다. 적어도 하나의 실시예에서, 요청을 처리하기 위해, 요청이 데이터베이스에 입력될 수 있고, 이미 캐시에 있지 않다면 모델 레지스트리(3124)로부터 머신 학습 모델이 위치될 수 있고, 검증 단계는 적절한 머신 학습 모델이 캐시(예를 들어, 공유 스토리지)에 로딩되는 것을 보장할 수 있고, 및/또는 모델의 사본이 캐시에 저장될 수 있다. 적어도 하나의 실시예에서, 애플리케이션이 아직 실행 중이 아니거나 또는 애플리케이션의 충분한 인스턴스가 존재하지 않으면, 요청에서 참조되는 애플리케이션을 론칭하기 위해 (예를 들어, 파이프라인 관리기(3212)의) 스케줄러가 사용될 수 있다. 적어도 하나의 실시예에서, 추론 서버가 모델을 실행하기 위해 이미 론칭되지 않았다면, 추론 서버가 론칭될 수 있다. 모델 당 임의의 수의 추론 서버가 론칭될 수 있다. 적어도 하나의 실시예에서, 추론 서버들이 클러스터링되는 풀 모델에서, 로드 밸런싱이 유리할 때마다 모델들이 캐싱될 수 있다. 적어도 하나의 실시예에서, 추론 서버들은 대응하는 분산 서버들에 정적으로 로딩될 수 있다.
적어도 하나의 실시예에서, 추론은 컨테이너에서 실행되는 추론 서버를 사용하여 수행될 수 있다. 적어도 하나의 실시예에서, 추론 서버의 인스턴스는 모델(및 선택적으로 모델의 복수의 버전들)과 연관될 수 있다. 적어도 하나의 실시예에서, 모델에 대해 추론을 수행하라는 요청이 수신될 때 추론 서버의 인스턴스가 존재하지 않는 경우, 새로운 인스턴스가 로딩될 수 있다. 적어도 하나의 실시예에서, 추론 서버를 시작할 때, 추론 서버가 상이한 인스턴스로서 실행되고 있는 한, 동일한 컨테이너가 상이한 모델들을 서비스하기 위해 사용될 수 있도록 추론 서버에 모델이 전달될 수 있다.
적어도 하나의 실시예에서, 애플리케이션 실행 동안, 주어진 애플리케이션에 대한 추론 요청이 수신될 수 있고, 컨테이너(예를 들어, 추론 서버의 인스턴스를 호스팅함)가 로딩될 수 있고 (아직 그렇지 않은 경우), 시작 절차가 호출될 수 있다. 적어도 하나의 실시예에서, 컨테이너 내의 전처리 로직은 (예를 들어, CPU(들) 및/또는 GPU(들)를 사용하여) 인입 데이터에 대해 임의의 추가적인 전처리를 로딩, 디코딩 및/또는 수행할 수 있다. 적어도 하나의 실시예에서, 일단 데이터가 추론을 위해 준비되면, 컨테이너는 데이터에 대해 필요에 따라 추론을 수행할 수 있다. 적어도 하나의 실시예에서, 이러한 것은 하나의 이미지(예를 들어, 손 X-선)에 대한 단일의 추론 호출을 포함할 수 있거나, 또는 수백 개의 이미지(예를 들어, 흉부 CT)에 대한 추론을 요구할 수 있다. 적어도 하나의 실시예에서, 애플리케이션은, 제한 없이, 단일의 신뢰도 점수, 픽셀 레벨-세그먼트화, 복셀-레벨 세그먼트화, 시각화 생성, 또는 발견들을 요약하기 위한 텍스트 생성을 포함할 수 있는, 완료 전의 결과들을 요약할 수 있다. 적어도 하나의 실시예에서, 상이한 모델들 또는 애플리케이션들에는 상이한 우선순위들이 배정될 수 있다. 예를 들어, 일부 모델들은 실시간 (TAT < 1분) 우선순위를 가질 수 있는 반면, 다른 모델들은 더 낮은 우선순위(예를 들어, TAT < 10 분)를 가질 수 있다. 적어도 하나의 실시예에서, 모델 실행 시간들은 요청 기관 또는 엔티티로부터 측정될 수 있고, 파트너 네트워크 트래버스 시간 뿐만 아니라 추론 서비스에서의 실행을 포함할 수 있다.
적어도 하나의 실시예에서, 서비스(3120)와 추론 애플리케이션 사이의 요청의 전송이 SDK(software development kit) 뒤에 은닉될 수 있고, 큐를 통해 강건한 전송이 제공될 수 있다. 적어도 하나의 실시예에서, 요청은 개별 애플리케이션/테넌트 ID 조합에 대한 API를 통해 큐에 배치될 것이고, SDK는 큐로부터 요청을 풀링하고 애플리케이션에 요청을 제공할 것이다. 적어도 하나의 실시예에서, 큐의 이름은 SDK가 큐를 픽업할 환경에서 제공될 수 있다. 적어도 하나의 실시예에서, 큐를 통한 비동기식 통신이 유용할 수 있는데, 그 이유는 그것이 이용가능하게 될 때 애플리케이션의 임의의 인스턴스가 작업을 픽업하는 것을 허용할 수 있기 때문이다. 결과들은 데이터가 손실되지 않는 것을 보장하기 위해 큐를 통해 다시 전송될 수 있다. 적어도 하나의 실시예에서, 큐들은 또한 작업을 세그먼트화하는 능력을 제공할 수 있는데, 그 이유는 최고 우선순위 작업이 그에 접속되는 애플리케이션의 대부분의 인스턴스들이 있는 큐로 갈 수 있는 반면, 최저 우선순위 작업이 수신된 순서로 태스크들을 처리하는 그에 접속되는 단일의 인스턴스가 있는 큐로 갈 수 있기 때문이다. 적어도 하나의 실시예에서, 애플리케이션은 클라우드(3226)에서 생성되는 GPU-가속된 인스턴스 상에서 실행될 수 있고, 추론 서비스는 GPU 상에서 추론을 수행할 수 있다.
적어도 하나의 실시예에서, 시각화 서비스들(3220)은 애플리케이션들 및/또는 배치 파이프라인(들)(3210)의 출력을 보기 위한 시각화를 생성하기 위해 활용될 수 있다. 적어도 하나의 실시예에서, GPU(3222)는 시각화 서비스(3220)에 의해 활용되어 시각화를 생성할 수 있다. 적어도 하나의 실시예에서, 광선-추적과 같은 렌더링 효과는 더 높은 품질의 시각화를 생성하기 위해 시각화 서비스(3220)에 의해 구현될 수 있다. 적어도 하나의 실시예에서, 시각화는 2D 이미지 렌더링, 3D 볼륨 렌더링, 3D 볼륨 재구성, 2D 단층촬영 슬라이스, 가상 현실 디스플레이, 증강 현실 디스플레이 등을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 가상화된 환경들은 시스템의 사용자들(예를 들어, 의사들, 간호사들, 방사선 전문의들 등)에 의한 상호작용을 위한 가상 대화형 디스플레이 또는 환경(예를 들어, 가상 환경)을 생성하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 시각화 서비스(3220)는 내부 시각화기, 시네마틱, 및/또는 다른 렌더링 또는 이미지 처리 능력 또는 기능성(예를 들어, 광선 추적, 래스터화, 내부 광학 등)을 포함할 수 있다.
적어도 하나의 실시예에서, 하드웨어(3122)는 GPU들(3222), AI 시스템(3224), 클라우드(3226), 및/또는 훈련 시스템(3104) 및/또는 배치 시스템(3106)을 실행하기 위해 사용되는 임의의 다른 하드웨어를 포함할 수 있다. 적어도 하나의 실시예에서, GPU들(3222)(예를 들어, NVIDIA의 TESLA 및/또는 QUADRO GPU들)은 컴퓨팅 서비스들(3216), AI 서비스들(3218), 시각화 서비스들(3220), 다른 서비스들, 및/또는 소프트웨어(3118)의 특징들 또는 기능성 중 임의의 것의 처리 태스크들을 실행하기 위해 사용될 수 있는 임의의 수의 GPU들을 포함할 수 있다. 예를 들어, AI 서비스들(3218)과 관련하여, GPU들(3222)은 촬영 데이터(또는 머신 학습 모델들에 의해 사용되는 다른 데이터 타입들)에 대해 전처리를 수행하고, 머신 학습 모델들의 출력들에 대해 후처리를 수행하기 위해, 및/또는 추론을 수행하기 위해(예를 들어, 머신 학습 모델들을 실행하기 위해) 사용될 수 있다. 적어도 하나의 실시예에서, 클라우드(3226), AI 시스템(3224), 및/또는 시스템(3200)의 다른 컴포넌트들은 GPU들(3222)을 사용할 수 있다. 적어도 하나의 실시예에서, 클라우드(3226)는 심층 학습 태스크들을 위한 GPU-최적화된 플랫폼을 포함할 수 있다. 적어도 하나의 실시예에서, AI 시스템(3224)은 GPU들을 사용할 수 있고, 클라우드(3226)- 또는 심층 학습 또는 추론으로 태스킹되는 적어도 일부 -는 하나 이상의 AI 시스템(3224)을 사용하여 실행될 수 있다. 이와 같이, 하드웨어(3122)가 개별 컴포넌트들로서 예시되어 있지만, 이러한 것이 제한적인 것으로 의도되는 것은 아니고, 하드웨어(3122)의 임의의 컴포넌트들은 하드웨어(3122)의 임의의 다른 컴포넌트들과 조합되거나, 또는 이들에 의해 활용될 수 있다.
적어도 하나의 실시예에서, AI 시스템(3224)은 추론, 심층 학습, 머신 학습, 및/또는 다른 인공 지능 태스크들을 위해 구성된 목적 구축 컴퓨팅 시스템(예를 들어, 슈퍼 컴퓨터 또는 HPC)을 포함할 수 있다. 적어도 하나의 실시예에서, AI 시스템(3224)(예를 들어, NVIDIA의 DGX)은 CPU들, RAM, 스토리지, 및/또는 다른 컴포넌트들, 특징들, 또는 기능성 외에도, 복수의 GPU(3222)를 사용하여 실행될 수 있는 GPU-최적화된 소프트웨어(예를 들어, 소프트웨어 스택)를 포함할 수 있다. 적어도 하나의 실시예에서, 하나 이상의 AI 시스템(3224)은 시스템(3200)의 AI-기반 처리 태스크들의 일부 또는 전부를 수행하기 위해 클라우드(3226)에서(예를 들어, 데이터 센터에서) 구현될 수 있다.
적어도 하나의 실시예에서, 클라우드(3226)는 시스템(3200)의 처리 태스크들을 실행하기 위한 GPU-최적화된 플랫폼을 제공할 수 있는 GPU-가속된 인프라스트럭처(예를 들어, NVIDIA의 NGC)를 포함할 수 있다. 적어도 하나의 실시예에서, 클라우드(3226)는 (예를 들어, 하드웨어 추상화 및 스케일링 플랫폼으로서) 시스템(3200)의 AI-기반 태스크들 중 하나 이상을 수행하기 위한 AI 시스템(들)(3224)을 포함할 수 있다. 적어도 하나의 실시예에서, 클라우드(3226)는 애플리케이션들 및 서비스들(3120) 사이에 그리고 이들 중에서 매끄러운 스케일링 및 로드 밸런싱을 가능하게 하기 위해 다수의 GPU들을 활용하는 애플리케이션 오케스트레이션 시스템(3228)과 통합될 수 있다. 적어도 하나의 실시예에서, 클라우드(3226)는, 본 명세서에 설명되는 바와 같이, 컴퓨팅 서비스들(3216), AI 서비스들(3218), 및/또는 시각화 서비스들(3220)을 포함하는, 시스템(3200)의 서비스(3120)들 중 적어도 일부를 실행하는 것으로 태스킹될 수 있다. 적어도 하나의 실시예에서, 클라우드(3226)는 작고 큰 일괄 추론(예를 들어, NVIDIA의 TENSOR RT를 실행하는 것)을 수행하고, 가속된 병렬 컴퓨팅 API 및 플랫폼(3230)(예를 들어, NVIDIA의 CUDA)을 제공하고, 애플리케이션 오케스트레이션 시스템(3228)(예를 들어, KUBERNETES)을 실행하고, (예를 들어, 광선-추적, 2D 그래픽, 3D 그래픽, 및/또는 더 높은 품질의 영화들을 생산하기 위한 다른 렌더링 기술들을 위한) 그래픽 렌더링 API 및 플랫폼을 제공하고, 및/또는 시스템(3200)에 대한 다른 기능성을 제공할 수 있다.
적어도 하나의 실시예에서, 환자 기밀성을 보존하기 위한 노력으로 (예를 들어, 환자 데이터 또는 기록이 구외에서 사용될 경우), 클라우드(3226)는 심층 학습 컨테이너 레지스트리와 같은 레지스트리를 포함할 수 있다. 적어도 하나의 실시예에서, 레지스트리는, 환자 데이터에 관해 전처리, 후처리, 또는 다른 처리 태스크를 수행할 수 있는 애플리케이션의 인스턴스화를 위한 컨테이너를 저장할 수 있다. 적어도 하나의 실시예에서, 클라우드(3226)는 환자 데이터는 물론 컨테이너들 내의 센서 데이터를 포함하는 데이터를 수신하고, 그 컨테이너들 내의 센서 데이터에 대해서만 요청된 처리를 수행하며, 다음으로 결과 출력 및/또는 시각화들을 적절한 당사자들 및/또는 디바이스들(예를 들어, 시각화 또는 진단들을 위해 사용되는 구내 의료 디바이스들)로 전달할 수 있으며, 이들 모두는 환자 데이터를 추출, 저장, 또는 다른 방식으로 액세스할 필요가 없다. 적어도 하나의 실시예에서, 환자 데이터의 기밀성은 HIPAA 및/또는 다른 데이터 규정들에 따라 보존된다.
도 33a는, 적어도 하나의 실시예에 따른, 머신 학습 모델을 훈련, 재훈련, 또는 업데이트하기 위한 프로세스(3300)에 대한 데이터 흐름도를 예시한다. 적어도 하나의 실시예에서, 프로세스(3300)는 비-제한적인 예로서 도 32의 시스템(3200)을 사용하여 실행될 수 있다. 적어도 하나의 실시예에서, 프로세스(3300)는, 본 명세서에 설명되는 바와 같이, 시스템(3200)의 서비스(3120) 및/또는 하드웨어(3122)를 활용할 수 있다. 적어도 하나의 실시예에서, 프로세스(3300)에 의해 생성되는 정제된 모델들(3312)은 배치 파이프라인들(3210)에서의 하나 이상의 컨테이너화된 애플리케이션에 대해 배치 시스템(3106)에 의해 실행될 수 있다.
적어도 하나의 실시예에서, 모델 훈련(3114)은 새로운 훈련 데이터(예를 들어, 고객 데이터세트(3306)와 같은 새로운 입력 데이터, 및/또는 입력 데이터와 연관된 새로운 실측 자료 데이터)를 사용하여 초기 모델(3304)(예를 들어, 미리 훈련된 모델)을 재훈련 또는 업데이트하는 것을 포함할 수 있다. 적어도 하나의 실시예에서, 초기 모델(3304)을 재훈련하거나, 또는 업데이트하기 위해, 초기 모델(3304)의 출력 또는 손실 레이어(들)는 리셋되거나, 또는 삭제되거나, 및/또는 업데이트된 또는 새로운 출력 또는 손실 레이어(들)로 치환될 수 있다. 적어도 하나의 실시예에서, 초기 모델(3304)은 이전 훈련으로부터 남아 있는 이전에 미세-튜닝된 파라미터(예를 들어, 가중치 및/또는 바이어스)를 가질 수 있으므로, 훈련 또는 재훈련(3114)은 스크래치로부터 모델을 훈련하는 것만큼 오래 걸리지 않거나 또는 많은 처리를 요구하지 않을 수 있다. 적어도 하나의 실시예에서, 모델 훈련(3114) 동안, 초기 모델(3304)의 출력 또는 손실 레이어(들)를 리셋 또는 치환하는 것에 의해, 파라미터들은 새로운 고객 데이터세트(3306)(예를 들어, 도 31의 이미지 데이터(3108))에 대한 예측들을 생성할 때 출력 또는 손실 레이어(들)의 정확도와 연관된 손실 계산들에 기초하여 새로운 데이터 세트에 대해 업데이트되고 재튜닝될 수 있다.
적어도 하나의 실시예에서, 미리 훈련된 모델들(3206)은 데이터 저장소 또는 레지스트리 (예를 들어, 도 31의 모델 레지스트리(3124))에 저장될 수 있다. 적어도 하나의 실시예에서, 미리 훈련된 모델들(3206)은 프로세스(3300)를 실행하는 시설 이외의 하나 이상의 시설에서 적어도 부분적으로 훈련되었을 수 있다. 적어도 하나의 실시예에서, 상이한 시설들의 환자들, 피험자들, 또는 클라이언트들의 프라이버시 및 권리들을 보호하기 위해, 미리 훈련된 모델들(3206)은 구내에서 생성된 고객 또는 환자 데이터를 사용하여 구내에서 훈련되었을 수 있다. 적어도 하나의 실시예에서, 미리 훈련된 모델들(3206)은 클라우드(3226) 및/또는 다른 하드웨어(3122)를 사용하여 훈련될 수 있지만, 기밀, 프라이버시 보호된 환자 데이터는 클라우드(3226)의 임의의 컴포넌트들(또는 다른 구외 하드웨어)에 전송되거나, 이들에 의해 사용되거나, 또는 이들에 액세스가능하지 않을 수 있다. 적어도 하나의 실시예에서, 미리 훈련된 모델(3206)이 하나보다 많은 시설로부터의 환자 데이터를 사용하여 훈련되는 경우, 미리 훈련된 모델(3206)은 다른 시설로부터의 환자 또는 고객 데이터에 대해 훈련되기 이전에 각각의 시설에 대해 개별적으로 훈련되었을 수 있다. 고객 또는 환자 데이터가 (예를 들어, 면제에 의해, 실험적 사용을 위해 등으로) 프라이버시 우려를 발표한 경우, 또는 고객 또는 환자 데이터가 공개 데이터 세트에 포함되는 경우와 같은 적어도 하나의 실시예에서, 임의의 수의 시설로부터의 고객 또는 환자 데이터는, 데이터센터 또는 다른 클라우드 컴퓨팅 인프라스트럭처에서와 같이, 구내 및/또는 구외에서 미리 훈련된 모델(3206)을 훈련시키기 위해 사용될 수 있다.
적어도 하나의 실시예에서, 배치 파이프라인들(3210)에서 사용하기 위한 애플리케이션들을 선택할 때, 사용자는 또한 구체적인 애플리케이션들에 대해 사용될 머신 학습 모델들을 선택할 수 있다. 적어도 하나의 실시예에서, 사용자는 사용을 위한 모델을 갖지 않을 수 있고, 따라서 사용자는 애플리케이션과 함께 사용할 미리 훈련된 모델(3206)을 선택할 수 있다. 적어도 하나의 실시예에서, 미리 훈련된 모델(3206)은 (예를 들어, 환자 다양성, 인구통계, 사용되는 의료 촬영 디바이스들의 타입들 등에 기초하여) 사용자의 시설의 고객 데이터세트(3306)에 대한 정확한 결과들을 생성하기 위해 최적화되지 않을 수 있다. 적어도 하나의 실시예에서, 애플리케이션(들)과 함께 사용하기 위해 미리 훈련된 모델(3206)을 배치 파이프라인(3210)에 배치하기 이전에, 미리 훈련된 모델(3206)은 각각의 시설에서 사용하기 위해 업데이트, 재훈련, 및/또는 미세-튜닝될 수 있다.
적어도 하나의 실시예에서, 사용자는 업데이트, 재훈련, 및/또는 미세-튜닝될 미리 훈련된 모델(3206)을 선택할 수 있고, 미리 훈련된 모델(3206)은 프로세스(3300) 내의 훈련 시스템(3104)에 대한 초기 모델(3304)이라고 지칭될 수 있다. 적어도 하나의 실시예에서, 고객 데이터세트(3306)(예를 들어, 촬영 데이터, 유전체학 데이터, 시퀀싱 데이터, 또는 시설에 있는 디바이스들에 의해 생성되는 다른 데이터 타입들)는 정제된 모델(3312)을 생성하기 위해 초기 모델(3304)에 대해 모델 훈련(3114)(전송 학습을, 제한 없이, 포함할 수 있음)을 수행하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 고객 데이터세트(3306)에 대응하는 실측 자료 데이터는 훈련 시스템(3104)에 의해 생성될 수 있다. 적어도 하나의 실시예에서, 실측 자료 데이터는, 적어도 부분적으로, 임상의, 과학자, 의사, 진료의에 의해, 시설에서 (예를 들어, 도 31의 라벨링된 병원 데이터(3112)로서) 생성될 수 있다.
적어도 하나의 실시예에서, AI-보조 주석(3110)은 실측 자료 데이터를 생성하기 위해 일부 예들에서 사용될 수 있다. 적어도 하나의 실시예에서, AI-보조 주석(3110)(예를 들어, AI-보조 주석 SDK를 사용하여 구현됨)은 고객 데이터세트에 대한 제안된 또는 예측된 실측 자료 데이터를 생성하기 위해 머신 학습 모델들(예를 들어, 신경망들)을 활용할 수 있다. 적어도 하나의 실시예에서, 사용자(3310)는 컴퓨팅 디바이스(3308) 상의 사용자 인터페이스(GUI(graphical user interface)) 내의 주석 툴들을 사용할 수 있다.
적어도 하나의 실시예에서, 사용자(3310)는 (자동)주석들을 편집하거나 또는 미세-튜닝하기 위해 컴퓨팅 디바이스(3308)를 통해 GUI와 상호작용할 수 있다. 적어도 하나의 실시예에서, 다각형 편집 특징은 다각형의 버텍스들을 더 정확한 또는 미세-튜닝된 위치들로 이동시키기 위해 사용될 수 있다.
적어도 하나의 실시예에서, 일단 고객 데이터세트(3306)가 연관된 실측 자료 데이터를 가지면, (예를 들어, AI-보조 주석, 수동 라벨링 등으로부터의) 실측 자료 데이터는 정제된 모델(3312)을 생성하기 위해 모델 훈련(3114) 동안 사용될 수 있다. 적어도 하나의 실시예에서, 고객 데이터세트(3306)는 임의의 횟수로 초기 모델(3304)에 적용될 수 있고, 정제된 모델(3312)에 대해 수용가능한 정확도 레벨이 달성될 때까지 초기 모델(3304)의 파라미터들을 업데이트하기 위해 실측 자료 데이터가 사용될 수 있다. 적어도 하나의 실시예에서, 일단 정제된 모델(3312)이 생성되면, 정제된 모델(3312)은 의료 촬영 데이터에 대해 하나 이상의 처리 태스크를 수행하기 위한 시설에서 하나 이상의 배치 파이프라인(3210) 내에 배치될 수 있다.
적어도 하나의 실시예에서, 정제된 모델(3312)은 다른 시설에 의해 선택되도록 모델 레지스트리(3124) 내의 미리 훈련된 모델들(3206)에 업로드될 수 있다. 적어도 하나의 실시예에서, 그의 프로세스는 임의의 수의 시설들에서 완료될 수 있어서, 정제된 모델(3312)은 더 범용적인 모델을 생성하기 위해 새로운 데이터세트들에 대해 임의의 횟수만큼 추가로 정제될 수 있다.
도 33b는, 적어도 하나의 실시예에 따른, 미리 훈련된 주석 모델들로 주석 툴들을 강화하는 클라이언트-서버 아키텍처(3332)의 예시적인 예시이다. 적어도 하나의 실시예에서, AI-보조 주석 툴들(3336)은 클라이언트-서버 아키텍처(3332)에 기초하여 인스턴스화될 수 있다. 적어도 하나의 실시예에서, 촬영 애플리케이션들에서의 주석 툴들(3336)은 방사선 전문의들을 도울 수 있다, 예를 들어, 기관들 및 비정상들을 식별할 수 있다. 적어도 하나의 실시예에서, 촬영 애플리케이션들은 사용자(3310)가 비-제한적인 예로서, 원시 이미지들(3334)에서(예를 들어, 3D MRI 또는 CT 스캔에서) 관심 있는 특정 조직 상의 몇몇 극점들을 식별하고, 특정 조직의 모든 2D 슬라이스들에 대한 자동-주석 결과들을 수신하는 것을 돕는 소프트웨어 툴들을 포함할 수 있다. 적어도 하나의 실시예에서, 결과들은 훈련 데이터(3338)로서 데이터 저장소에 저장될 수 있고(예를 들어, 그리고 제한 없이) 훈련을 위한 실측 자료 데이터로서 사용될 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 디바이스(3308)가 AI-보조 주석(3110)에 대한 극점들을 전송할 때, 심층 학습 모델은, 예를 들어, 이러한 데이터를 입력으로서 수신하고 세그먼트화된 조직 또는 이상의 추론 결과들을 리턴할 수 있다. 적어도 하나의 실시예에서, 도 33b에서의 AI-보조 주석 툴(3336B)과 같은, 미리 인스턴스화된 주석 툴들은, 예를 들어, 주석 모델 레지스트리에 저장되는 미리 훈련된 모델들(3342)의 세트를 포함할 수 있는 주석 지원 서버(3340)와 같은 서버에 API 호출들(예를 들어, API 호출(3344))을 행하는 것에 의해 강화될 수 있다. 적어도 하나의 실시예에서, 주석 모델 레지스트리는 특정 조직 또는 이상에 대한 AI-보조 주석을 수행하도록 미리 훈련되는 미리 훈련된 모델들(3342)(예를 들어, 심층 학습 모델들과 같은 머신 학습 모델들)을 저장할 수 있다. 이러한 모델들은 훈련 파이프라인(3204)을 사용하여 추가로 업데이트될 수 있다. 적어도 하나의 실시예에서, 미리 설치된 주석부기 툴은, 새로운 라벨링된 병원 데이터(3112)가 추가됨에 따라, 시간이 지남에 따라 개선될 수 있다.
추론 및/또는 훈련 로직(615)은 하나 이상의 실시예와 연관된 추론 및/또는 훈련 연산을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, 이러한 로직은, 하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하기 위해 이러한 도면들의 컴포넌트들과 함께 사용될 수 있다.
다른 변형들은 본 개시내용의 사상 내에 있다. 따라서, 개시된 기술들은 다양한 수정 및 대안적인 구성이 가능하지만, 이들의 특정 예시된 실시예들은 도면들에 도시되고 상세히 위에 설명되었다. 그러나, 개시된 구체적인 형태 또는 형태들로 본 개시내용을 제한하려는 의도는 없지만, 대조적으로, 첨부된 청구항들에 정의되는 바와 같이 본 개시내용의 사상 및 범위 내에 속하는 모든 수정, 대안적 구성 및 균등물을 커버하고자 하는 의도임이 이해되어야 한다.
개시된 실시예를 설명하는 맥락에서(특히 다음의 청구항들의 맥락에서) 단수("a" 및 "an" 및 "the" ) 용어 및 유사한 지시대상의 사용은, 본 명세서에 달리 표시되거나 또는 맥락에 의해 명백하게 모순되지 않는 한, 단수 및 복수 양자 모두를 커버하는 것으로 해석되어야 하며, 용어의 정의로서 해석되지 않는다. "포함하는(comprising)", "갖는(having)", "포함하는(including)" 및 "포함하는(containing)"이라는 용어들은, 달리 언급되지 않는 한, 제약을 두지 않는 용어들(즉, "이에 제한되는 것은 아니지만, 포함하는(including, but not limited to)"을 의미함)로 해석되어야 한다. "접속되는(connected)"이라는 용어는, 수정되지 않고 물리 접속들을 참조할 때, 심지어 개재하는 것이 있더라도, 부분적으로 또는 전체적으로 내부에 포함되거나, 부착되거나, 또는 함께 결합되는 것으로 해석되어야 한다. 본 명세서에서 값들의 범위들의 나열은, 본 명세서에서 달리 표시되지 않는 한, 그 범위 내에 속하는 각각의 별개의 값을 개별적으로 언급하는 약식 방법으로서 역할하는 것으로 단지 의도되며, 각각의 별개의 값은 본 명세서에서 개별적으로 나열된 것처럼 본 명세서에 통합된다. "세트(set)"(예를 들어, "항목들의 세트(a set of items)") 또는 "서브세트(subset)"이라는 용어의 사용은, 맥락에 의해 달리 언급되거나 또는 모순되지 않는 한, 하나 이상의 멤버를 포함하는 비어 있지 않은 집합으로서 해석되어야 한다. 추가로, 맥락에 의해 달리 언급되거나 또는 모순되지 않는 한, 대응하는 세트의 "서브세트(subset)"이라는 용어는 반드시 대응하는 세트의 적절한 서브세트를 나타내는 것은 아니며, 서브세트 및 대응하는 세트는 동일할 수 있다.
"A, B, 및 C 중 적어도 하나(at least one of A, B, and C)", 또는 "A, B 및 C 중 적어도 하나(at least one of A, B and C)"이라는 형태의 문구들과 같은, 연결 언어는, 달리 구체적으로 언급되지 않는 한 또는 그렇지 않으면 맥락에 의해 명백히 모순되지 않는 한, 항목, 용어 등이 A 또는 B 또는 C 중 어느 하나, 또는 A와 B와 C의 세트의 임의의 비어 있지 않은 서브세트일 수도 있다는 것을 제시하기 위해 일반적으로 사용되는 맥락으로 달리 이해된다. 예를 들어, 3개의 멤버들을 갖는 세트의 예시적인 예에서, "A, B, 및 C 중 적어도 하나(at least one of A, B, and C)" 및 "A, B 및 C 중 적어도 하나(at least one of A, B and C)"라는 연결 문구들은 다음의 세트들: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C} 중 임의의 것을 지칭한다. 따라서, 이러한 연결 언어는 특정 실시예들이 각각 제시될 적어도 하나의 A, 적어도 하나의 B 및 적어도 하나의 C를 요구함을 암시하도록 일반적으로 의도되지 않는다. 또한, 맥락상 달리 언급되거나 또는 모순되지 않는 한, 용어 "복수(plurality)"는 복수인 상태를 표시한다(예를 들어, "복수의 항목들(a plurality of items)"은 다수의 항목들을 표시한다). 복수는 적어도 2개의 항목들이지만, 명시적으로 또는 맥락에 의해 그렇게 표시될 때 더 많을 수 있다. 추가로, 달리 언급되거나 또는 맥락으로부터 달리 명백하지 않는 한, "~에 기초하여(based on)"이라는 문구는 "~에 단독으로 기초하여(based solely on)"가 아니라 "~에 적어도 부분적으로 기초하여(based at least in part on)"를 의미한다.
본 명세서에 설명되는 프로세스들의 연산들은, 본 명세서에 달리 표시되지 않거나 또는 맥락상 달리 명백히 모순되지 않는 한 임의의 적합한 순서로 수행될 수 있다. 적어도 하나의 실시예에서, 본 명세서에 설명되는 프로세스들(또는 이들의 변형들 및/또는 조합들)과 같은 프로세스는, 실행가능한 명령어들로 구성된 하나 이상의 컴퓨터 시스템의 제어하에 수행되고, 하나 이상의 프로세서 상에서 집합적으로 실행되는 코드(예를 들어, 실행가능한 명령어들, 하나 이상의 컴퓨터 프로그램 또는 하나 이상의 애플리케이션)로서, 하드웨어에 의해 또는 이들의 조합으로 구현된다. 적어도 하나의 실시예에서, 코드는, 예를 들어, 하나 이상의 프로세서에 의해 실행가능한 복수의 명령어를 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터-판독가능 스토리지 매체 상에 저장된다. 적어도 하나의 실시예에서, 컴퓨터-판독가능 스토리지 매체는, 일시적인 신호들(예를 들어, 전파하는 과도적인 전기 또는 전자기 전송)을 배제하지만 일시적인 신호들의 송수신기들 내의 비-일시적 데이터 스토리지 회로(예를 들어, 버퍼, 캐시 및 큐)를 포함하는 비-일시적 컴퓨터-판독가능 스토리지 매체이다. 적어도 하나의 실시예에서, 코드(예를 들어, 실행가능한 코드 또는 소스 코드)는, 컴퓨터 시스템의 하나 이상의 프로세서에 의해 실행될 때(즉, 실행의 결과로서), 컴퓨터 시스템으로 하여금 본 명세서에 설명되는 연산들을 수행하게 하는 실행가능한 명령어들이 저장된 하나 이상의 비-일시적 컴퓨터-판독가능 스토리지 매체(또는 실행가능한 명령어들을 저장하는 다른 메모리)의 세트 상에 저장된다. 비-일시적 컴퓨터-판독가능 스토리지 매체들의 세트는, 적어도 하나의 실시예에서, 다수의 비-일시적 컴퓨터-판독가능 스토리지 매체들을 포함하고, 다수의 비-일시적 컴퓨터-판독가능 스토리지 매체들의 개별 비-일시적 스토리지 매체들 중 하나 이상은 코드의 전부가 결여된 반면, 다수의 비-일시적 컴퓨터-판독가능 스토리지 매체들은 모든 코드를 집합적으로 저장한다. 적어도 하나의 실시예에서, 실행가능한 명령어들은 상이한 명령어들이 상이한 프로세서들에 의해 실행되도록 실행된다. 예를 들어, 비-일시적 컴퓨터-판독가능 스토리지 매체 저장소 명령어들 및 메인 "CPU"(central processing unit)는 명령어들의 일부를 실행하는 반면 "GPU"(graphics processing unit)은 다른 명령어들을 실행한다. 적어도 하나의 실시예에서, 컴퓨터 시스템의 상이한 컴포넌트들은 별개의 프로세서들을 갖고 상이한 프로세서들은 명령어들의 상이한 서브세트들을 실행한다.
따라서, 적어도 하나의 실시예에서, 컴퓨터 시스템들은 본 명세서에 설명되는 프로세스들의 연산들을 단독으로 또는 집합적으로 수행하는 하나 이상의 서비스를 구현하도록 구성되고 이러한 컴퓨터 시스템들은 연산들의 수행을 가능하게 하는 적용가능한 하드웨어 및/또는 소프트웨어로 구성된다. 추가로, 본 개시내용의 적어도 하나의 실시예를 구현하는 컴퓨터 시스템은 단일의 디바이스이고, 다른 실시예에서는, 상이하게 동작하는 다수의 디바이스들을 포함하는 분산형 컴퓨터 시스템으로서, 분산형 컴퓨터 시스템이 본 명세서에 설명되는 연산들을 수행하지만 단일의 디바이스가 연산들 모두를 수행하지는 않는다.
본 명세서에 제공되는 임의의 그리고 모든 예들, 또는 예시적인 언어(예를 들어, "~와 같은(such as)")의 사용은 단지 본 개시내용의 실시예들을 더 잘 예시하도록 의도되고, 달리 청구되지 않는 한 본 개시내용의 범위에 제한을 두지 않는다. 명세서에서의 어떠한 언어도 본 개시내용의 실시에 필수적인 임의의 청구되지 않은 엘리먼트를 표시하는 것으로 해석되어서는 안 된다.
본 명세서에서 인용되는 간행물들, 특허 출원들, 및 특허들을 포함하는 모든 참조 문헌들은, 마치 각각의 참조 문헌이 개별적으로 그리고 구체적으로 참조에 의해 원용되는 것으로 표시되고 그 전체내용이 본 명세서에 제시되는 것과 동일한 정도로 참조에 의해 본 명세서에 원용된다.
상세한 설명 및 청구항들에서, 그들의 파생어들과 함께, "연결된(coupled)" 및 "접속된(connected)"이라는 용어들이 사용될 수 있다. 이러한 용어들은 서로 동의어로서 의도될 수 있는 것은 아니라는 점이 이해되어야 한다. 오히려, 특정 예들에서, "접속된(connected)" 또는 "연결된(coupled)"은 2개 이상의 엘리먼트들이 서로 직접 또는 간접 물리 또는 전기적으로 접촉하는 점을 표시하기 위해 사용될 수 있다. "연결된(coupled)"은, 2개 이상의 엘리먼트들이 서로 직접 접촉하지는 않지만 여전히 서로 상호작용하거나 또는 협력하는 것을 또한 의미할 수 있다.
구체적으로 달리 언급되지 않는 한, 명세서 전반적으로, "처리(processing)", "컴퓨팅(computing)", "계산(calculating)", "결정(determining)" 등과 같은 용어들은, 컴퓨팅 시스템의 레지스터들 및/또는 메모리들 내의 전자적 양들과 같은 물리 양들로서 표현되는 데이터를, 컴퓨팅 시스템의 메모리들, 레지스터들 또는 다른 이러한 정보 저장, 송신 또는 디스플레이 디바이스들 내의 물리 양들로서 유사하게 표현되는 다른 데이터로 조작 및/또는 변환하는 컴퓨터 또는 컴퓨팅 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 액션 및/또는 프로세스들을 지칭한다는 점이 이해될 수 있다.
유사한 방식으로, "프로세서(processor)"라는 용어는 전자 데이터를 레지스터들 및/또는 메모리에 저장될 수도 있는 다른 전자 데이터로 변환하기 위해 레지스터들 및/또는 메모리로부터의 전자 데이터를 처리하는 임의의 디바이스 또는 디바이스의 일부를 지칭할 수도 있다. 비-제한적인 예로서, "프로세서(processor)"는 CPU 또는 GPU일 수 있다. "컴퓨팅 플랫폼(computing platform)"은 하나 이상의 프로세서를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, "소프트웨어(software)" 프로세스들은, 예를 들어, 태스크들, 스레드들, 및 지능형 에이전트들과 같은, 시간이 지남에 따라 작업을 수행하는 소프트웨어 및/또는 하드웨어 엔티티들을 포함할 수 있다. 또한, 각각의 프로세스는, 명령어들을 시퀀스로 또는 병렬로, 연속적으로 또는 간헐적으로 실행하기 위해 다수의 프로세스들을 참조할 수 있다. "시스템(system)" 및 "방법(method)"이라는 용어들은, 시스템이 하나 이상의 방법을 구현할 수 있고 방법이 시스템으로 고려될 수 있는 한, 본 명세서에서 상호교환가능하게 사용된다.
본 문서에서, 아날로그 또는 디지털 데이터를 획득하거나, 취득하거나, 수신하거나, 또는 서브시스템, 컴퓨터 시스템 또는 컴퓨터-구현된 머신에 입력하는 것에 대한 참조가 이루어질 수 있다. 아날로그 및 디지털 데이터를 획득, 취득, 수신 또는 입력하는 프로세스는 함수 호출 또는 애플리케이션 프로그래밍 인터페이스에 대한 호출의 파라미터로서 데이터를 수신하는 것과 같은 다양한 방식으로 달성될 수 있다. 일부 구현들에서, 아날로그 또는 디지털 데이터를 획득, 취득, 수신 또는 입력하는 프로세스는 직렬 또는 병렬 인터페이스를 통해 데이터를 전송하는 것에 의해 달성될 수 있다. 다른 구현에서, 아날로그 또는 디지털 데이터를 획득, 취득, 수신, 또는 입력하는 프로세스는 제공 엔티티로부터 취득 엔티티로 컴퓨터 네트워크를 통해 데이터를 전송하는 것에 의해 달성될 수 있다. 아날로그 또는 디지털 데이터를 제공, 출력, 전송, 송신, 또는 제시하는 것이 또한 참조될 수 있다. 다양한 예들에서, 아날로그 또는 디지털 데이터를 제공, 출력, 송신, 전송 또는 제시하는 프로세스는 함수 호출의 입력 또는 출력 파라미터, 애플리케이션 프로그래밍 인터페이스 또는 프로세스간 통신 메커니즘의 파라미터로서 데이터를 전송하는 것에 의해 달성될 수 있다.
위 논의가 설명된 기술들의 예시적인 구현들을 제시하지만, 다른 아키텍처들이 설명된 기능성을 구현하기 위해 사용될 수 있고, 본 개시내용의 범위 내에 있는 것으로 의도된다. 또한, 논의의 목적들을 위해 책임들의 구체적인 분배들이 위에서 정의되지만, 다양한 기능들 및 책임들은 상황들에 의존하여 상이한 방식들로 분산되고 분할될 수 있다.
또한, 구조적 특징들 및/또는 방법론적 작용들에 구체적인 언어로 주제가 설명되었지만, 첨부된 청구항들에서 청구되는 주제는 반드시 설명된 구체적 특징들 또는 작용들로 제한되는 것은 아니라는 점이 이해되어야 한다. 오히려, 개시된 구체적인 특징들 및 작용들은 청구항들을 구현하는 예시적인 형태들로서 개시된 것이다.
Claims (30)
- 프로세서로서,
하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하는 하나 이상의 회로를 포함하는 프로세서. - 제1항에 있어서, 상기 하나 이상의 회로는 추가로, 상기 하나 이상의 이전 이미지에 대해 사용되는 하나 이상의 이전 지터 오프셋과 상이한, 생성될 이미지에 대해, 적용될 지터 오프셋을 결정하는 프로세서.
- 제2항에 있어서, 상기 하나 이상의 회로는 추가로, 상기 지터 오프셋을 적용하여, 상기 이미지의 하나 이상의 픽셀에 대해, 상기 하나 이상의 객체에 대한 모션 데이터를 샘플링할 위치를 결정하는 프로세서.
- 제3항에 있어서, 상기 하나 이상의 회로는 추가로, 모션 버퍼로부터, 상기 지터 오프셋에 대응하는 위치로부터 상기 모션 데이터를 샘플링하는 프로세서.
- 제4항에 있어서, 상기 모션 버퍼에 저장되는 모션 데이터는 생성될 이미지의 출력 해상도보다 낮은 해상도인 프로세서.
- 제5항에 있어서, 상기 하나 이상의 회로는 추가로, 상기 모션 데이터를 사용하여 상기 이미지를 생성하기 전에 상기 모션 데이터를 상기 출력 해상도로 업샘플링하는 프로세서.
- 시스템으로서,
하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하는 하나 이상의 프로세서를 포함하는 시스템. - 제7항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 하나 이상의 이전 이미지에 대해 사용되는 하나 이상의 이전 지터 오프셋과 상이한, 생성될 이미지에 대해, 적용될 지터 오프셋을 결정하는 시스템.
- 제8항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 지터 오프셋을 적용하여, 상기 이미지의 하나 이상의 픽셀에 대해, 상기 하나 이상의 객체에 대한 모션 데이터를 샘플링할 위치를 결정하는 시스템.
- 제9항에 있어서, 상기 하나 이상의 프로세서는 추가로, 모션 버퍼로부터, 상기 지터 오프셋에 대응하는 위치로부터 상기 모션 데이터를 샘플링하는 시스템.
- 제10항에 있어서, 상기 모션 버퍼에 저장되는 모션 데이터는 생성될 이미지의 출력 해상도보다 낮은 해상도인 시스템.
- 제11항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 모션 데이터를 사용하여 상기 이미지를 생성하기 전에 상기 모션 데이터를 상기 출력 해상도로 업샘플링하는 시스템.
- 방법으로서,
하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하는 단계를 포함하는 방법. - 제13항에 있어서, 추가로,
상기 하나 이상의 이전 이미지에 대해 사용되는 하나 이상의 이전 지터 오프셋과 상이한, 생성될 이미지에 대해, 적용될 지터 오프셋을 결정하는 단계를 포함하는 방법. - 제14항에 있어서, 추가로,
상기 지터 오프셋을 적용하여, 상기 이미지의 하나 이상의 픽셀에 대해, 상기 하나 이상의 객체에 대한 모션 데이터를 샘플링할 위치를 결정하는 단계를 포함하는 방법. - 제15항에 있어서, 추가로,
모션 버퍼로부터, 상기 지터 오프셋에 대응하는 위치로부터 상기 모션 데이터를 샘플링하는 단계를 포함하는 방법. - 제16항에 있어서, 상기 모션 버퍼에 저장되는 모션 데이터는 생성될 이미지의 출력 해상도보다 낮은 해상도인 방법.
- 제17항에 있어서, 상기 모션 데이터를 사용하여 상기 이미지를 생성하기 전에 상기 모션 데이터를 상기 출력 해상도로 업샘플링하는 방법.
- 명령어들의 세트가 저장된 머신-판독가능 매체로서, 상기 명령어들의 세트는, 하나 이상의 프로세서에 의해 수행되면, 상기 하나 이상의 프로세서로 하여금 적어도:
하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하는 머신-판독가능 매체. - 제19항에 있어서, 상기 명령어들은, 수행되면 추가로 상기 하나 이상의 프로세서로 하여금,
상기 하나 이상의 이전 이미지에 대해 사용되는 하나 이상의 이전 지터 오프셋과 상이한, 생성될 이미지에 대해, 적용될 지터 오프셋을 결정하게 하는 머신-판독가능 매체. - 제20항에 있어서, 상기 명령어들은, 수행되면 추가로 상기 하나 이상의 프로세서로 하여금,
상기 지터 오프셋을 적용하여, 상기 이미지의 하나 이상의 픽셀에 대해, 상기 하나 이상의 객체에 대한 모션 데이터를 샘플링할 위치를 결정하게 하는 머신-판독가능 매체. - 제21항에 있어서, 상기 명령어들은, 수행되면 추가로 상기 하나 이상의 프로세서로 하여금,
모션 버퍼로부터, 상기 지터 오프셋에 대응하는 위치로부터 상기 모션 데이터를 샘플링하게 하는 머신-판독가능 매체. - 제22항에 있어서, 상기 모션 버퍼에 저장되는 모션 데이터는 생성될 이미지의 출력 해상도보다 낮은 해상도인 머신-판독가능 매체.
- 제23항에 있어서, 상기 명령어들은, 수행되면 추가로 상기 하나 이상의 프로세서로 하여금,
상기 모션 데이터를 사용하여 상기 이미지를 생성하기 전에 상기 모션 데이터를 상기 출력 해상도로 업샘플링하게 하는 머신-판독가능 매체. - 이미지 재구성 시스템으로서,
하나 이상의 이전 이미지에 대한 하나 이상의 객체의 모션에 하나 이상의 오프셋을 적용하는 것에, 적어도 부분적으로, 기초하여 이미지에서의 하나 이상의 객체로 하여금 생성되게 하는 하나 이상의 프로세서; 및
상기 하나 이상의 신경망에 대한 네트워크 파라미터들을 저장하기 위한 메모리를 포함하는 이미지 재구성 시스템. - 제25항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 하나 이상의 이전 이미지에 대해 사용되는 하나 이상의 이전 지터 오프셋과 상이한, 생성될 이미지에 대해, 적용될 지터 오프셋을 결정하는 이미지 재구성 시스템.
- 제26항에 있어서, 상기 지터 오프셋을 적용하여, 상기 이미지의 하나 이상의 픽셀에 대해, 상기 하나 이상의 객체에 대한 모션 데이터를 샘플링할 위치를 결정하는 이미지 재구성 시스템.
- 제27항에 있어서, 상기 하나 이상의 프로세서는 추가로, 모션 버퍼로부터, 상기 지터 오프셋에 대응하는 위치로부터 상기 모션 데이터를 샘플링하는 이미지 재구성 시스템.
- 제28항에 있어서, 상기 모션 버퍼에 저장되는 모션 데이터는 생성될 이미지의 출력 해상도보다 낮은 해상도인 이미지 재구성 시스템.
- 제29항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 모션 데이터를 사용하여 상기 이미지를 생성하기 전에 상기 모션 데이터를 상기 출력 해상도로 업샘플링하는 이미지 재구성 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/541,628 US20230177649A1 (en) | 2021-12-03 | 2021-12-03 | Temporal image blending using one or more neural networks |
| US17/541,628 | 2021-12-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230083985A true KR20230083985A (ko) | 2023-06-12 |
Family
ID=86382108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220061961A KR20230083985A (ko) | 2021-12-03 | 2022-05-20 | 하나 이상의 신경망을 사용하는 시간적 이미지 혼합 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230177649A1 (ko) |
| JP (1) | JP2023083200A (ko) |
| KR (1) | KR20230083985A (ko) |
| CN (1) | CN116245707A (ko) |
| DE (1) | DE102022131119A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101836636B1 (ko) * | 2016-05-19 | 2018-03-09 | 현대자동차주식회사 | 착용식 보행 보조 로봇 시스템 및 그 제어 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102163477B1 (ko) * | 2012-12-04 | 2020-10-07 | 인텔렉추얼디스커버리 주식회사 | 비디오 부호화 및 복호화 방법, 그를 이용한 장치 |
| US9706086B2 (en) * | 2015-08-26 | 2017-07-11 | Intel Corporation | Camera-assisted display motion compensation |
| US9978180B2 (en) * | 2016-01-25 | 2018-05-22 | Microsoft Technology Licensing, Llc | Frame projection for augmented reality environments |
| JP7109558B2 (ja) * | 2018-02-14 | 2022-07-29 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 適応型補間フィルタ |
| WO2020228692A1 (en) * | 2019-05-12 | 2020-11-19 | Beijing Bytedance Network Technology Co., Ltd. | Motion prediction from temporal blocks with reference picture resampling |
-
2021
- 2021-12-03 US US17/541,628 patent/US20230177649A1/en active Pending
-
2022
- 2022-05-11 JP JP2022077846A patent/JP2023083200A/ja active Pending
- 2022-05-20 KR KR1020220061961A patent/KR20230083985A/ko not_active Application Discontinuation
- 2022-10-28 CN CN202211333274.3A patent/CN116245707A/zh active Pending
- 2022-11-24 DE DE102022131119.8A patent/DE102022131119A1/de active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230177649A1 (en) | 2023-06-08 |
| CN116245707A (zh) | 2023-06-09 |
| JP2023083200A (ja) | 2023-06-15 |
| DE102022131119A1 (de) | 2023-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11810268B2 (en) | Image enhancement using one or more neural networks | |
| US20220114702A1 (en) | Upsampling an image using one or more neural networks | |
| US20220130013A1 (en) | Training one or more neural networks using synthetic data | |
| US20220138903A1 (en) | Upsampling an image using one or more neural networks | |
| US20220148256A1 (en) | Image blending using one or more neural networks | |
| US20220028037A1 (en) | Image generation using one or more neural networks | |
| KR20230101665A (ko) | 이미지 혼합 가중치들을 생성함 | |
| KR20240101535A (ko) | 하나 이상의 신경망을 사용하는 이미지 혼합 | |
| GB2610027A (en) | Pixel blending for neural network-based image generation | |
| WO2022072685A1 (en) | Image generation using one or more neural networks | |
| US20230177649A1 (en) | Temporal image blending using one or more neural networks | |
| KR20230042617A (ko) | 하나 이상의 신경망을 사용하는 시간적 이미지 혼합 | |
| KR20230091755A (ko) | 하나 이상의 신경망을 사용하는 공간적 및 시간적 이미지 혼합 | |
| KR20230062348A (ko) | 하나 이상의 신경망을 사용하는 이미지 업샘플링 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |