KR101786767B1 - 유저 모드로부터 그래픽 처리 디스패치 - Google Patents

Abstract

유저 모드 애플리케이션에 대한 가속 처리 디바이스의 연산 자원에 개선된 액세스를 제공하기 위한 방법 시스템 및 컴퓨터 프로그램 제품이 개시된다. 개시된 기능은 유저 모드 애플리케이션으로 하여금 단일화된 링 버퍼에 액세스하기 위하여 커널 모드로 전이할 필요 없이 가속 처리 디바이스로 명령을 제공할 수 있게 한다. 대신, 애플리케이션은 각각 자기 자신의 버퍼를 구비하며, 가속 처리 디바이스 하드웨어는 처리 명령에 액세스할 수 있다. 전체 운영 시스템 지원을 통해 유저 모드 애플리케이션은 CPU와 동일한 방식으로 가속 처리 디바이스를 사용할 수 있다.

Description

유저 모드로부터 그래픽 처리 디스패치{GRAPHICS PROCESSING DISPATCH FROM USER MODE}

본 발명은 일반적으로 컴퓨팅 시스템(computing system)에 관한 것이다. 보다 상세하게는, 본 발명은 컴퓨팅 시스템 내 연산 성분을 단일화하는 것에 관한 것이다.

일반적인 연산(computation)에 그래픽 처리 유닛(GPU: graphics processing unit)을 사용하려는 요구가 최근에 단위 전력 및/또는 비용당 GPU의 예시적인 성능으로 인해 훨씬 더 높아지고 있다. GPU의 연산 능력(computational capability)은 일반적으로 대응하는 CPU(central processing unit) 플랫폼의 것을 초과하는 율(rate)로 성장하였다. 모바일 컴퓨팅 시장(예를 들어, 노트북, 모바일 스마트폰, 태블릿 등) 및 필요한 지원 서버/기업용 시스템의 폭발적 증가와 연결된 이러한 성장은 원하는 유저 경험의 특정된 품질을 제공하는데 사용되고 있다. 그 결과, 데이터와 병렬로 콘텐츠에 작업부하(workload)를 실행하기 위해 CPU와 GPU를 결합하여 사용하는 것은 볼륨 기술(volume technology)이 되고 있다.

그러나, GPU는 전통적으로 주로 그래픽을 가속시키기 위하여 이용가능한 제약된 프로그래밍 환경에서 동작된다. 이들 제약은 GPU가 CPU만큼 풍부한 프로그래밍 에코시스템을 가지지 않는다는 것에 기인한다. 그리하여, 그 사용은 그래픽 및 비디오 애플리케이션 프로그래밍 인터페이스(API: application programming interface)로 처리하는 것에 이미 익숙해진, 대부분 2차원(2D)과 3차원(3D) 그래픽 및 일부 선도하는 멀티미디어 애플리케이션으로 제한된다.

다수 벤더 지원 OpenCL(등록상표)과 DirectCompute(등록상표), 표준 API 및 지원 툴의 도래로, 전통적인 애플리케이션에서 GPU의 제한은 전통적인 그래픽을 넘어 확장되었다. OpenCL 및 DirectCompute가 유망한 시작이라 하더라도, CPU와 GPU의 조합이 대부분 프로그래밍 작업에 CPU만큼 유동적으로 사용되게 하는 환경 및 에코시스템을 생성하는 것에 많은 장애들이 남아있다.

현존하는 컴퓨팅 시스템은 종종 다수의 처리 디바이스를 포함한다. 예를 들어, 일부 컴퓨팅 시스템은 별개의 칩에 CPU와 GPU를 포함하거나(예를 들어, CPU는 마더보드 상에 위치될 수 있고 GPU는 그래픽 카드 상에 위치될 수 있다) 단일 칩 패키지에 CPU와 GPU를 모두 포함한다. 그러나, 이들 두 배열은 전력 소비를 최소화하면서 (i) 별개의 메모리 시스템, (ii) 효과적인 스케줄링, (iii) 처리 사이에 서비스 품질(QoS: quality of service) 보장 제공, (iv) 모델 프로그래밍 및 (v) 다수의 타깃 인스트럭션 세트 아키텍처(ISA: instruction set architecture)로 컴파일링하는 것과 연관된 상당한 문제를 여전히 포함한다.

예를 들어, 이산 칩 배열은 각 프로세서가 메모리에 액세스하기 위한 칩 대 칩 인터페이스를 시스템과 소프트웨어 아키텍처가 이용할 수 있게 한다. 이들 외부 인터페이스(예를 들어, 칩 대 칩)는 이종 프로세서와 협력하기 위해 메모리 지체와 전력 소비에 부작용을 나타내지만, 별개의 메모리 시스템(즉, 별개의 어드레스 공간)과 드라이버로 관리되는 공유 메모리는 정밀 입도 오프로드(fine grain offload)에 허용가능하지 않는 오버헤드를 생성한다.

이산적인 및 단일 칩 배열은 실행을 위해 GPU로 송신될 수 있는 명령의 유형을 제한할 수 있다. 예를 들어, 연산 명령(예를 들어, 물리 또는 인공 지능 명령)은 종종 실행을 위해 GPU로 송신되지 못할 수 있다. 이 제한은 CPU가 연산 명령에 의해 수행된 동작의 결과를 상대적으로 신속하게 요구할 수 있기 때문에 존재한다. 그러나, 현재 시스템에서 GPU에 작업을 디스패치하는(dispatching) 높은 오버헤드로 인해 그리고 이들 명령은 다른 이전에 발송된 명령이 제일 먼저 실행되는 라인에서 대기해야 할 수 있다는 것으로 인해, GPU에 연산 명령을 송신하는 것에 의해 초래되는 레이턴시(latency)는 종종 허용될 수 없다.

연산 오프로딩을 하기 위해 GPU를 사용할 때 직면하는 추가적인 곤란성은 GPU와 상호작용하고 작업을 제공하는데 개발자에게 이용가능한 소프트웨어 도구에 있다. 현존하는 소프트웨어 도구 중 많은 것은 GPU의 그래픽 성능을 가지게 설계되어 있어서 비 그래픽 작업을 GPU에 용이하게 제공하는 성능이 부재한다.

그러므로, GPU 연산 자원의 액세스 가능성에 대한 개선된 지원이 요구된다.

GPU, 가속 처리 유닛(APU: accelerated processing unit) 및 일반 목적 사용의 그래픽 처리 유닛(GPGPU: general purpose use of the graphics processing unit)이 이 분야에서 일반적으로 사용되는 용어이지만, "가속 처리 디바이스(APD: accelerated processing device)"라는 표현이 더 넓은 표현인 것으로 고려된다. 예를 들어, APD는 종래의 CPU, 종래의 GPU, 소프트웨어 및/또는 이들의 조합에 비해 가속된 방식으로 가속 그래픽 처리 작업, 데이터 병렬 작업 또는 내포 데이터 병렬 작업과 연관된 기능(function)과 연산을 수행하는 하드웨어 및/또는 소프트웨어의 임의의 협력하는 집합을 말한다.

본 발명의 여러 실시예는 커널 모드 드라이버(kernel mode driver)를 통해 애플리케이션을 위해 APD 작업 큐(APD work queue)를 할당하고, 상기 애플리케이션으로부터 상기 작업 큐로 명령을 전달하는 단계; 및 상기 작업 큐로부터 명령을 상기 APD로 디스패치하는 단계를 더 포함한다.

본 발명의 추가적인 특징과 이점 및 본 발명의 여러 실시예의 구조와 동작이 첨부 도면을 참조하여 상세히 후술한다. 본 발명은 본 명세서에 설명된 특정 실시예로 제한되는 것은 아니라는 것이 주목된다. 이 실시예는 단지 예시를 위해서만 본 명세서에 제공된 것이다. 추가적인 실시예는 본 명세서에 포함된 개시 내용에 기초하여 관련 기술 분야(들)에서 통상의 지식을 가진 자에게는 명백할 것이다.

본 명세서의 일부를 형성하고 본 명세서에 포함된 첨부 도면은 본 발명의 실시예를 예시하고, 본 상세한 설명과 함께 본 발명의 원리를 설명하고 관련 기술 분야에 통상의 지식을 가진 자라면 본 발명을 제조하고 사용할 수 있게 하는 역할을 한다.
도 1a는 본 발명의 실시예에 따른 처리 시스템의 예시적인 블록도;
도 1b는 도 1a에 도시된 APD의 예시적인 블록도;
도 2는 도 1b에 도시된 APD의 상세 블록도;
도 3은 명령을 APD에 제공하기 위해 커널 모드 드라이버에 의존하는 데이터 흐름 모델을 도시한 도면;
도 4는 도 3의 데이터 흐름 모델의 개념을 예시적인 윈도우즈 환경에 적용하는 추가적인 데이터 흐름 모델을 도시한 도면;
도 5는 본 발명의 일 실시예에 따라 시스템 스택의 예시적인 성분을 도시한 도면;
도 6은 본 발명의 일 실시예에 따라 예시적인 데이터 흐름 모델을 도시한 도면;
도 7은 본 발명의 일 실시예에 따라 실행시간에 아키텍처의 시스템 개요를 도시한 도면;
도 8은 본 발명의 일 실시예에 따라 애플리케이션이 초기화되는 단계를 도시한 흐름도;
도 9는 APD에 의해 실행하기 위해 애플리케이션이 명령을 제공하는 단계를 도시한 흐름도;
도 10은 본 발명의 일 실시예에 따라 스케줄러가 APD 명령의 처리를 스케줄링하는 단계를 도시한 흐름도;
도 11은 본 발명의 일 실시예에 따라 실행의 상태가 문맥 스위치에 보존되는 단계를 도시한 흐름도;
도 12는 본 발명의 일 실시예에 따라 소프트웨어 기반 스케줄러가 하드웨어 기반 스케줄러에 가이드를 제공할 수 있는 단계를 도시한 흐름도.

본 발명의 다른 특징과 이점, 또한 본 발명의 여러 실시예의 구조와 동작이 첨부 도면을 참조하여 이하 상세히 설명된다. 본 발명은 본 명세서에 설명된 특정 실시예로 제한되지 않는다는 것이 주목된다. 이 실시예는 예시를 위한 목적만을 위해 본 명세서에 제시된다. 추가적인 실시예는 본 명세서에 포함된 개시 내용에 기초하여 이 기술 분야에 통상의 지식을 가진 자에게 명백할 것이다.

이하 상세한 설명에서 "하나의 실시예", "일 실시예", "예시적인 실시예" 등으로 언급하는 것은 설명된 실시예가 특정 특징, 구조 또는 특성을 포함할 수 있으나 모든 실시예가 이 특정 특징, 구조 또는 특성을 반드시 포함하는 것은 아니라는 것을 나타낸다. 나아가, 이 어구는 반드시 동일한 실시예를 언급하는 것이 아니다. 나아가, 특정 특징, 구조 또는 특성이 일 실시예와 관련하여 설명될 때 이 특징, 구조 또는 특성이 명시적으로 설명되었건 아니건 간에 다른 실시예에도 영향을 미친다는 것은 이 기술 분야에 통상의 지식을 가진 자의 지식 범위 내인 것으로 제시된다.

"본 발명의 실시예"라는 용어는 본 발명의 모든 실시예가 설명된 특징, 이점 또는 동작 모드를 포함하는 것을 요구하는 것이 아니다. 대안적인 실시예가 본 발명의 범위를 벗어남이 없이 고안될 수 있고, 본 발명의 잘 알려진 요소들은 본 발명의 관련 상세를 흐리게 하지 않기 위하여 상세히 설명되지 않거나 생략될 수 있다. 나아가, 본 명세서에 사용된 용어는 특정 실시예를 단지 설명하기 위한 것일 뿐 본 발명을 제한하려고 의도된 것이 전혀 아니다. 예를 들어, 본 명세서에 사용된 바와 같이, 단수 형태 "하나", "일" 및 "상기"는 문맥이 달리 명확히 지시하지 않는 한, 복수의 형태를 또한 포함하는 것을 의미한다. 또한 "포함한다", "포함하는", "구비한다" 및/또는 "구비하는"이라는 용어가 본 명세서에 사용될 때 이 용어는 언급된 특징, 완전체, 단계, 동작, 요소 및/또는 성분의 존재를 특정하는 것이나, 하나 이상의 다른 특징, 완전체, 단계, 동작, 요소, 성분 및/또는 이들의 그룹의 존재나 추가를 배제하는 것은 아니다.

도 1a는 2개의 프로세서, 즉 CPU(102)와 APD(104)를 구비하는 단일화된 컴퓨팅 시스템(100)의 예시적인 도면이다. CPU(102)는 하나 이상의 단일 또는 다수의 코어(CPU)를 포함할 수 있다. 본 발명의 일 실시예에서, 시스템(100)은 단일 실리콘 다이 또는 패키지 상에 형성되되 CPU(102)와 APD(104)를 결합하여 단일화된 프로그래밍 및 실행 환경을 제공한다. 이 환경은 APD(104)가 일부 프로그래밍 작업에 CPU(102)만큼 유동적으로 사용될 수 있게 한다. 그러나, CPU(102)와 APD(104)는 단일 실리콘 다이 상에 형성되는 것이 본 발명의 절대적 요건은 아니다. 일부 실시예에서 이들은 동일한 기판 상에 또는 상이한 기판 상에 별개로 형성되고 장착되는 것이 가능하다.

일례에서, 시스템(100)은 메모리(106), 운영 시스템(108) 및 통신 인프라(109)를 또한 포함한다. 운영 시스템(108)과 통신 인프라(109)는 아래에서 보다 상세히 설명된다.

시스템(100)은 또한 커널 모드 드라이버(KMD: kernel mode driver)(110), 소프트웨어 스케줄러(SWS: software scheduler)(112) 및 메모리 관리 유닛(memory management unit)(116), 예를 들어, 입력/출력 메모리 관리 유닛(IOMMU: input/output memory management unit)을 포함한다. 시스템(100)의 성분은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 이 기술 분야에 통상의 지식을 가진 자라면 시스템(100)이 도 1a에 도시된 실시예에 도시된 것에 더하여 또는 이와 다르게 하나 이상의 소프트웨어, 하드웨어 및 펌웨어를 포함할 수 있다는 것을 인식할 수 있을 것이다.

일례에서, KMD(110)와 같은 드라이버는 일반적으로 하드웨어와 연결된 컴퓨터 버스 또는 통신 서브시스템을 통해 디바이스와 통신한다. 호출 프로그램(calling program)이 드라이버에서 루틴을 호출할 때, 드라이버는 명령을 이 디바이스에 발송한다. 디바이스가 드라이버에 다시 데이터를 송신하면, 드라이버는 원래의 호출 프로그램에서 루틴을 호출할 수 있다. 일례에서, 드라이버는 하드웨어에 종속하고 연산 시스템에 특정된다. 이들 드라이버는 통상 임의의 필요한 비동기 시간 종속 하드웨어 인터페이스에 필요한 인터럽트 핸들링(handling)을 제공한다.

특히 현대 마이크로소프트 윈도우(Microsoft Windows)(등록상표) 플랫폼에 있는 디바이스 드라이버는 커널 모드(kernel-mode)(링 0)이나 유저 모드(링 3)에서 실행할 수 있다. 유저 모드에서 드라이버를 실행하는 주요 이점은 불량하게 기록된 유저 모드 디바이스 드라이버가 커널 메모리를 덮어쓰기하는(overwrite) 것에 의해 시스템과 충돌할 수 없으므로 안정성이 개선된다는 것이다. 한편, 유저/커널 모드 전이(transition)는 통상적으로 상당한 성능 오버헤드를 부과하여 이에 의해 낮은 지체(latency)와 높은 처리량 요구조건에 유저 모드 드라이버를 금지한다. 커널 공간은 시스템 호출의 사용을 통해서만 유저 모듈에 의해 액세스될 수 있다. UNIX 쉘(shell) 또는 다른 GUI 기반 애플리케이션과 같은 최종 유저 프로그램은 유저 공간의 일부이다. 이들 애플리케이션은 커널 지원 기능을 통해 하드웨어와 상호작용한다.

CPU(102)는 제어 프로세서(control processor), 전계 프로그래밍가능한 게이트 어레이(FPGA: field programmable gate array), 애플리케이션 특정 집적 회로(ASIC: application specific integrated circuit) 또는 디지털 신호 프로세서(DSP: digital signal processor) 중 하나 이상(미도시)을 포함할 수 있다. CPU(102)는 예를 들어, 컴퓨팅 시스템(100)의 동작을 제어하는 운영 시스템(108), KMD(110), SWS(112) 및 애플리케이션(111)을 포함하는 제어 로직(control logic)을 실행한다. 이 예시적인 실시예에서, CPU(102)는 일 실시예에 따라, 예를 들어 CPU(102)에 걸쳐 이 애플리케이션과 연관된 처리와 APD(104)와 같은 다른 처리 자원을 분배하는 것에 의해 애플리케이션(111)의 실행을 개시하고 제어한다.

특히 APD(104)는 그래픽 동작, 및 예를 들어 특히 병렬 처리에 적합할 수 있는 다른 동작과 같은 선택된 기능을 위한 명령 및 프로그램을 실행한다. 일반적으로, APD(104)는 픽셀 동작, 기하학적 연산과 같은 그래픽 파이프라인 동작을 실행하고 이미지를 디스플레이로 렌더링하는데 종종 사용될 수 있다. 본 발명의 여러 실시예에서, APD(104)는 CPU(102)로부터 수신된 명령(command) 또는 인스트럭션(instruction)에 기초하여 연산(compute) 처리 동작(예를 들어, 비디오 동작, 물리적 시뮬레이션, 연산 유동 역학 등과 같은 예를 들어 그래픽과 관계없는 동작)을 더 실행할 수 있다.

예를 들어, 명령(command)은 일반적으로 인스트럭션 세트 아키텍처(ISA)에서 한정되지 않은 특정 인스트럭션(instruction)으로 고려될 수 있다. 명령은 디스패치 프로세서, 명령 프로세서 또는 네트워크 제어기와 같은 특별 프로세서에 의해 실행될 수 있다. 한편, 인스트럭션은 예를 들어 컴퓨터 아키텍처 내 프로세서의 단일 동작으로 고려될 수 있다. 일례에서, ISA의 2개의 세트를 사용할 때, 일부 인스트럭션은 x86 프로그램을 실행하는데 사용되고 일부 인스트럭션은 APD 연산 유닛에서 커널을 실행하는데 사용된다.

예시적인 실시예에서, CPU(102)는 APD(104)에 선택된 명령을 전송한다. 이들 선택된 명령은 그래픽 명령과, 병렬 실행을 따르는 다른 명령을 포함할 수 있다. 연산 처리 명령을 더 포함할 수 있는 이 선택된 명령은 CPU(102)와는 실질적으로 독립적으로 실행될 수 있다.

APD(104)는 하나 이상의 SIMD 처리 코어를 포함하나 이로 제한되지 않는 자기 자신의 연산 유닛(미도시)을 포함할 수 있다. 본 명세서에 언급된 바와 같이, SIMD는 파이프라인이거나 프로그래밍 모델이고, 여기서 커널은 자기 자신의 데이터와 공유 프로그램 카운터를 각각 구비하는 다수의 처리 요소에서 동시에 실행된다. 모든 처리 요소는 동일한 인스트럭션 세트를 실행한다. 예측을 사용하면 작업 항목이 각 발송된 명령에 관여하거나 관여하지 않게 된다.

일례에서, 각 APD(104) 연산 유닛은 하나 이상의 스칼라 및/또는 벡터 부동 소수점 유닛(floating-point unit) 및/또는 산술 및 로직 유닛(ALU: arithmetic and logic unit)을 포함할 수 있다. APD 연산 유닛은 또한 역 RMS 유닛(inverse-square root unit) 및 사인/코사인 유닛(sine/cosine unit)과 같은 특수 목적 처리 유닛(미도시)을 더 포함할 수 있다. 일례에서, APD 연산 유닛은 본 명세서에서 집합적으로 셰이더 코어(shader core)(122)라고 지칭된다.

하나 이상의 SIMD를 구비하면 일반적으로 그래픽 처리에 공통인 것과 같은 데이터-병렬 작업을 실행하는데 APD(104)가 이상적으로 적합하게 된다.

픽셀 처리와 같은 일부 그래픽 파이프라인 동작, 및 다른 병렬 연산 동작은 동일한 명령 스트림이나 연산 커널이 입력 데이터 요소의 스트림이나 집합에 수행되는 것을 요구할 수 있다. 동일한 연산 커널의 각 인스턴스화(instantiation)는 이 데이터 요소를 병렬 처리하기 위하여 셰이더 코어(122)에 있는 다수의 연산 유닛에 동시에 실행될 수 있다. 본 명세서에 언급된 바와 같이, 예를 들어, 연산 커널은 프로그램에 선언되고 APD 연산 유닛에서 실행되는 인스트럭션을 포함하는 함수(function)이다. 이 함수는 또한 커널, 셰이더, 셰이더 프로그램 또는 프로그램이라고도 지칭된다.

하나의 예시적인 실시예에서, 각 연산 유닛(예를 들어, SIMD 처리 코어)은 입력 데이터를 처리하도록 특정 작업 항목의 각 인스턴스화를 실행할 수 있다. 작업 항목은 명령에 의해 디바이스에서 호출되는 커널의 병렬 실행의 집합 중 하나이다. 작업 항목은 연산 유닛에서 실행되는 작업 그룹의 일부로서 하나 이상의 처리 요소에 의해 실행될 수 있다.

작업 항목이 전체 ID와 국부 ID에 의해 집합 내에서 다른 실행과 구별된다. 일례에서, SIMD에서 동시에 실행되는 작업 그룹에 있는 작업 항목의 서브세트는 웨이브프론트(wavefront)(136)라고 지칭될 수 있다. 웨이브프론트의 폭은 연산 유닛(예를 들어, SIMD 처리 코어)의 하드웨어의 특성이다. 본 명세서에 언급된 바와 같이, 작업 그룹은 단일 연산 유닛에서 실행되는 관련된 작업 항목의 집합이다. 이 그룹에 있는 작업 항목은 동일한 커널을 실행하고 국부 메모리와 작업 그룹 배리어(barrier)를 공유한다.

예시적인 실시예에서, 작업 그룹으로부터 모든 웨이브프론트는 동일한 SIMD 처리 코어에서 실행된다. 웨이브프론트에 걸친 인스트럭션은 한번에 하나씩 발송되고, 모든 작업 항목이 동일한 제어 흐름을 따를 때, 각 작업 항목은 동일한 프로그램을 실행한다. 웨이브프론트는 또한 워프(warp), 벡터 또는 쓰레드(thread)라고도 지칭될 수 있다.

실행 마스크 및 작업 항목 예측은 웨이브프론트 내 제어 흐름을 발산하는데 사용되는데, 여기서 각 개별 작업 항목은 커널을 통해 사실상 유니크한 코드 경로를 취할 수 있다. 부분적으로 식재된 웨이브프론트는 작업 항목의 전체 세트가 웨이브프론트 시작 시간에 이용가능하지 않을 때 처리될 수 있다. 예를 들어, 셰이더 코어(122)는 미리 결정된 개수의 웨이브프론트(136)를 동시에 실행할 수 있는데, 여기서 각 웨이브프론트(136)는 다수의 작업 항목을 포함한다.

시스템(100)에서 APD(104)는 그래픽 메모리(130)와 같은 자기 자신의 메모리를 포함한다(메모리(130)는 그래픽 전용 사용으로 제한되지 않는다). 그래픽 메모리(130)는 APD(104)에서 연산 동안 사용하기 위해 국부 메모리를 제공한다. 셰이더 코어(122) 내에서 개별 연산 유닛(미도시)은 자기 자신의 국부 데이터 저장소(미도시)를 구비할 수 있다. 일 실시예에서, APD(104)는 메모리(106)에의 액세스뿐만 아니라 국부 그래픽 메모리(130)에의 액세스를 포함한다. 다른 실시예에서, APD(104)는 APD(104)에 직접 부착되고 메모리(106)와는 별도로 부착된 동적 랜덤 액세스 메모리(DRAM: dynamic random access memory) 또는 다른 그러한 메모리(미도시)에의 액세스를 포함할 수 있다.

도시된 예에서, APD(104)는 하나 또는 "n"개의 명령 프로세서(CP: command processor)(124)를 더 포함한다. CP(124)는 APD(104)에서 처리를 제어한다. CP(124)는 메모리(106)에서 명령 버퍼(125)로부터 실행될 명령을 검색하며 APD(104)에서 이 명령의 실행을 조정한다.

일례에서, CPU(102)는 애플리케이션(111)에 기반한 명령을 적절한 명령 버퍼(125)에 입력한다. 본 명세서에 언급된 바와 같이, 애플리케이션은 CPU와 APD 내 연산 유닛에서 실행되는 프로그램 부분의 조합이다.

복수의 명령 버퍼(125)는 각각의 처리가 APD(104)에서 실행하도록 스케줄링되게 유지될 수 있다.

CP(124)는 하드웨어, 펌웨어 또는 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, CP(124)는 스케줄링 로직을 포함하는 로직을 구현하는 마이크로코드를 가지는 감소된 인스트럭션 세트 컴퓨터(RISC: reduced instruction set computer) 엔진으로 구현된다.

APD(104)는 하나 또는 "n"개의 디스패치 제어기(DC: dispatch controller)(126)를 더 포함한다. 본 출원에서, 디스패치 라는 용어는 연산 유닛의 세트에서 작업 그룹 세트의 커널의 실행 시작을 개시하는 문맥 상태(context state)를 사용하는 디스패치 제어기에 의해 실행되는 명령을 말한다. DC(126)는 셰이더 코어(122)에서 작업 그룹을 개시하는 로직을 포함한다. 일부 실시예에서, DC(126)는 CP(124)의 일부로서 구현될 수 있다.

시스템(100)은 APD(104)에서 실행하기 위한 실행 리스트(150)로부터 처리를 선택하는 하드웨어 스케줄러(HWS: hardware scheduler)(128)를 더 포함한다. HWS(128)는 라운드 로빈 방법, 우선순위 레벨을 사용하거나 또는 다른 스케줄링 정책에 기초하여 실행 리스트(150)로부터 처리를 선택할 수 있다. 예를 들어, 우선순위 레벨은 동적으로 결정될 수 있다. HWS(128)는 예를 들어 새로운 처리를 추가하고 실행 리스트(150)로부터 현존하는 처리를 삭제하는 것에 의해 실행 리스트(150)를 관리하는 기능(functionality)을 더 포함할 수 있다. HWS(128)의 실행 리스트 관리 로직은 실행 리스트 제어기(RLC: run list controller)라고 종종 지칭된다.

본 발명의 여러 실시예에서, HWS(128)가 실행 리스트(150)로부터 처리의 실행을 개시할 때, CP(124)는 대응하는 명령 버퍼(125)로부터 명령을 검색하고 실행하기 시작한다. 일부 경우에, CP(124)는 CPU(102)로부터 수신된 명령에 대응하는 APD(104)에서 실행될 하나 이상의 명령을 생성할 수 있다. 일 실시예에서, CP(124)는 다른 성분과 함께 APD(104) 자원 및/또는 시스템(100)의 자원의 이용을 개선하거나 최대화하는 방식으로 APD(104)에서 명령의 우선순위 및 스케줄링을 구현한다.

APD(104)는 인터럽트 생성기(146)에 액세스하거나 이를 포함할 수 있다. 인터럽트 생성기(146)는 페이지 폴트(page fault)와 같은 인터럽트 이벤트가 APD(104)에 의해 나타날 때 운영 시스템(108)을 인터럽트하도록 APD(104)에 의해 구성될 수 있다. 예를 들어, APD(104)는 IOMMU(116) 내 인터럽트 생성 로직에 의존하여 전술한 페이지 폴트 인터럽트를 생성할 수 있다.

APD(104)는 셰이더 코어(122) 내에서 동시에 실행되는 처리를 선취하는 선취 및 문맥 스위치 로직(120)을 더 포함할 수 있다. 문맥 스위치 로직(120)은 예를 들어 처리를 중지하고 그 현재 상태(예를 들어, 셰이더 코어(122) 상태 및 CP(124) 상태)를 저장하는 기능을 포함한다.

본 명세서에 언급된 바와 같이, 상태 라는 용어는 초기 상태, 중간 상태 및/또는 최종 상태를 포함할 수 있다. 초기 상태는 기계가 프로그래밍 순서에 따라 입력 데이터 세트를 처리하여 출력 데이터 세트를 생성하는 시작점이다. 예를 들어 처리가 순방향 진행을 하게 하는 여러 지점에서 저장될 필요가 있는 중간 상태가 있을 수 있다. 이 중간 상태는 일부 다른 처리에 의해 인터럽트될 때 차후에 계속 실행을 허용하기 위해 종종 저장된다. 출력 데이터 세트의 일부로 기록될 수 있는 최종 상태가 또한 있다.

선취 및 문맥 스위치 로직(120)은 다른 처리를 APD(104)로 문맥 스위칭하는 로직을 더 포함할 수 있다. 다른 처리를 APD(104)에서 실행되는 것으로 문맥 스위칭하는 기능은 예를 들어 APD(104)에서 실행되는 CP(124)와 DC(126)를 통해 처리를 인스턴스화하고 이 처리에 대해 이전에 저장된 상태를 복원하며 그 실행을 시작하는 것을 포함할 수 있다.

메모리(106)는 DRAM(미도시)과 같은 비 영구적인 메모리를 포함할 수 있다. 메모리(106)는 예를 들어, 애플리케이션이나 다른 처리 로직의 부분의 실행 동안 처리 로직 인스트럭션, 상수값 및 변수값을 저장할 수 있다. 예를 들어, 일 실시예에서, CPU(102)에서 하나 이상의 동작을 수행하는 제어 로직의 부분들은 CPU(102)에 의한 동작의 각 부분의 실행 동안 메모리(106) 내에 상주할 수 있다.

실행 동안, 각 애플리케이션, 운영 시스템 함수, 처리 로직 명령 및 시스템 소프트웨어는 메모리(106)에 상주할 수 있다. 운영 시스템(108)에 기본적인 제어 로직 명령은 일반적으로 실행 동안 메모리(106)에 상주한다. 예를 들어, 커널 모드 드라이버(110)와 소프트웨어 스케줄러(112)를 포함하는 다른 소프트웨어 명령이 또한 시스템(100)의 실행 동안 메모리(106)에 상주할 수 있다.

이 예에서, 메모리(106)는 APD(104)에 명령을 송신하도록 CPU(102)에 의해 사용되는 명령 버퍼(125)를 포함한다. 메모리(106)는 처리 리스트와 처리 정보(예를 들어, 활성 리스트(152)와 처리 제어 블록(154))를 더 포함한다. 이들 리스트 및 정보는 CPU(102)에서 실행되는 스케줄링 소프트웨어에 의해 사용되어 스케줄링 정보를 APD(104) 및/또는 관련된 스케줄링 하드웨어에 전달한다. 메모리(106)에 액세스는 메모리(106)에 연결된 메모리 제어기(140)에 의해 관리될 수 있다. 예를 들어, CPU(102)로부터 또는 다른 디바이스로부터 메모리(106)를 판독하거나 이 메모리에 기록하는 요청은 메모리 제어기(140)에 의해 관리된다.

시스템(100)의 다른 측면을 더 참조하면, IOMMU(116)는 다수 문맥의 메모리 관리 유닛이다.

본 명세서에 사용된 바와 같이 문맥은 커널이 실행되는 환경과, 동기화와 메모리 관리가 한정되는 범위로 고려될 수 있다. 문맥은 디바이스 세트, 이들 디바이스에 액세스가능한 메모리, 대응하는 메모리 특성 및 메모리 객체에 대한 동작이나 커널(들)의 실행을 스케줄링하는데 사용되는 하나 이상의 명령 큐(command-queue)를 포함한다.

도 1a에 도시된 예를 더 참조하면, IOMMU(116)는 APD(104)를 포함하는 디바이스에 대한 메모리 페이지 액세스를 위한 가상 어드레스-물리적 어드레스의 변환(virtual to physical address translation)을 수행하는 로직을 포함한다. IOMMU(116)는 예를 들어 APD(104)와 같은 디바이스에 의해 페이지 액세스가 페이지 폴트를 초래할 때 인터럽트를 생성하는 로직을 더 포함할 수 있다. IOMMU(116)는 변환 룩어사이드 버퍼(TLB: translation lookaside buffer)(118)를 더 포함하거나 이에 대한 액세스를 구비할 수 있다. TLB(118)는 일례로서 메모리(106)에 있는 데이터에 대해 APD(104)에 의해 이루어진 요청에 대해 논리적(즉, 가상) 메모리 어드레스를 물리적 메모리 어드레스로 변환을 가속시키기 위해 콘텐츠 어드레스 가능한 메모리(CAM: content addressable memory)에 구현될 수 있다.

도시된 예에서, 통신 인프라(109)는 필요에 따라 시스템(100)의 성분을 상호연결한다. 통신 인프라(109)는 주변 성분 상호연결(PCI: peripheral component interconnect) 버스, 확장된 PCI(extended PCI)(PCI-E) 버스, 개선된 마이크로제어기 버스 아키텍처(advanced microcontroller bus architecture)(AMBA) 버스, 개선된 그래픽 포트(advanced graphics port)(AGP), 또는 다른 이러한 통신 인프라 중 하나 이상(미도시)을 포함할 수 있다. 통신 인프라(109)는 이더넷, 또는 유사한 네트워크, 또는 애플리케이션의 데이터 전달률 요구조건(data transfer rate requirement)을 충족하는 임의의 적절한 물리적 통신 인프라를 더 포함할 수 있다. 통신 인프라(109)는 컴퓨팅 시스템(100)의 성분을 포함하는 성분을 상호연결하는 기능을 포함한다.

이 예에서, 운영 시스템(108)은 시스템(100)의 하드웨어 성분을 관리하고 공통 서비스를 제공하는 기능을 포함한다. 여러 실시예에서, 운영 시스템(108)은 CPU(102)에서 실행되어 공통 서비스를 제공할 수 있다. 이 공통 서비스는 예를 들어, CPU(102)에서 실행하기 위한 애플리케이션의 스케줄링, 폴트 관리, 인터럽트 서비스, 및 다른 애플리케이션의 입력과 출력의 처리를 포함할 수 있다.

일부 실시예에서, 인터럽트 제어기(148)와 같은 인터럽트 제어기에 의해 생성된 인터럽트에 기초하여 운영 시스템(108)은 적절한 인터럽트 핸들링 루틴을 호출한다. 예를 들어, 페이지 폴트 인터럽트를 검출할 때 운영 시스템(108)은 인터럽트 핸들러를 호출하여 메모리(106)에 관련 페이지의 로딩을 개시하고 대응하는 페이지 테이블을 업데이트할 수 있다.

운영 시스템(108)은 운영 시스템으로 관리되는 커널 기능을 통해 하드웨어 성분에의 액세스가 중재되는 것을 보장하는 것에 의해 시스템(100)을 보호하는 기능을 더 포함할 수 있다. 사실상, 운영 시스템(108)은 애플리케이션(111)과 같은 애플리케이션이 유저 공간에서 CPU(102)에서 실행되는 것을 보장한다. 운영 시스템(108)은 애플리케이션(111)이 하드웨어 및/또는 입력/출력 기능에 액세스하기 위해 운영 시스템에 의해 제공되는 커널 기능을 호출하는 것을 더 보장한다.

예를 들어, 애플리케이션(111)은 CPU(102)에서 또한 실행되는 유저 연산을 수행하는 여러 프로그램이나 명령을 포함한다. CPU(102)는 APD(104)에서 처리하기 위해 선택된 명령을 끊김없이 송신할 수 있다. 일례에서, KMD(110)는 CPU(102), 또는 CPU(102) 또는 다른 로직에서 실행되는 애플리케이션이 APD(104) 기능을 호출할 수 있게 하는 애플리케이션 프로그램 인터페이스(API: application program interface)를 구현한다. 예를 들어, KMD(110)는 CPU(102)로부터 명령 버퍼(125)로 명령을 인큐잉시키고(enqueue) 이 명령 버퍼로부터 APD(104)는 이 명령을 후속적으로 검색할 수 있다. 추가적으로, KMD(110)는 SWS(112)와 함께 APD(104)에서 실행되는 처리의 스케줄링을 수행할 수 있다. SWS(112)는 예를 들어 APD에서 실행되는 처리의 우선순위 리스트를 유지하는 로직을 포함할 수 있다.

본 발명의 다른 실시예에서, CPU(102)에서 실행되는 애플리케이션은 명령을 인큐잉시킬 때 KMD(110)를 완전히 바이패스(bypass)할 수 있다.

일부 실시예에서, SWS(112)는 APD(104)에서 실행되는 처리의 메모리(106)에 활성 리스트(152)를 유지한다. SWS(112)는 하드웨어에서 HWS(128)에 의해 관리되는 활성 리스트(152)에서 처리의 서브세트를 더 선택한다. APD(104)에서 각 처리를 실행하는데 관련된 정보는 CPU(102)로부터 처리 제어 블록(PCB: process control block)(154)을 통해 APD(104)로 전달된다.

애플리케이션, 운영 시스템 및 시스템 소프트웨어를 위한 처리 로직은 궁극적으로 본 명세서에 설명된 본 발명의 측면을 구현하는 하드웨어 디바이스를 생성하도록 마스크작업/포토마스크의 생성을 통해 제조 공정을 구성할 수 있도록 C와 같은 프로그래밍 언어로 및/또는 베릴로그(Verilog), RTL 또는 네트리스트와 같은 하드웨어 설명 언어(hardware description language)로 지정된 명령을 포함할 수 있다.

이 기술 분야에 통상의 지식을 가진 자라면 본 설명을 판독하는 것에 의해 연산 시스템(100)이 도 1a에 도시된 것보다 더 많거나 더 적은 수의 성분을 포함할 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 연산 시스템(100)은 하나 이상의 입력 인터페이스, 비휘발성 저장매체, 하나 이상의 출력 인터페이스, 네트워크 인터페이스, 및 하나 이상의 디스플레이 또는 디스플레이 인터페이스를 포함할 수 있다.

도 1b는 도 1a에 도시된 APD(104)의 보다 상세한 설명을 보여주는 일 실시예이다. 도 1b에서, CP(124)는 CP 파이프라인(124a, 124b, 124c)을 포함할 수 있다. CP(124)는 도 1a에 도시된 명령 버퍼(125)로부터 입력으로 제공된 명령 리스트를 처리하도록 구성될 수 있다. 도 1b의 예시적인 동작에서, CP 입력 0(124a)은 그래픽 파이프라인(graphics pipeline)(162)으로 명령을 구동하는 일을 담당한다. CP 입력 1 및 2(124b, 124c)는 연산 파이프라인(160)에 명령을 전달한다. 또한, HWS(128)의 동작을 제어하는 제어기 메커니즘(166)이 제공된다.

도 1b에서, 그래픽 파이프라인(162)은 본 명세서에서 정렬된 파이프라인(164)라고 지칭된 블록 세트를 포함할 수 있다. 일례로서, 정렬된 파이프라인(164)은 정점 그룹 변환기(VGT: vertex group translator)(164a), 프리미티브 어셈블러(PA: primitive assembler)(164b), 스캔 변환기(SC: scan converter)(164c), 및 셰이더-엑스포트(shader-export), 렌더-백 유닛(SX/RB: render-back unit)(176)을 포함한다. 정렬된 파이프라인(164) 내 각 블록은 그래픽 파이프라인(162)에서 상이한 그래픽 처리 단계를 나타낼 수 있다. 정렬된 파이프라인(164)은 고정된 함수의 하드웨어 파이프라인일 수 있다. 또한 본 발명의 사상과 범위 내에 있을 수 있는 다른 구현들이 사용될 수 있다.

소량의 데이터만이 그래픽 파이프라인(162)에 입력으로 제공될 수 있지만 이 데이터는 그래픽 파이프라인(162)으로부터 출력으로 제공되는 시간만큼 증폭된다. 그래픽 파이프라인(162)은 CP 파이프라인(124a)으로부터 수신된 작업 항목 그룹 내 범위를 통해 카운트하는 DC(166)를 더 포함한다. DC(166)를 통해 제출된 연산 작업은 그래픽 파이프라인(162)과 반동기적이다.

연산 파이프라인(160)은 셰이더 DC(168, 170)를 포함한다. DC(168, 170) 각각은 CP 파이프라인(124b, 124c)으로부터 수신된 작업 그룹 내 연산 범위를 통해 카운트하도록 구성된다.

도 1b에 도시된 DC(166, 168, 170)는 입력 범위를 수신하고 이 범위를 작업그룹으로 분할하고 이후 작업그룹을 셰이더 코어(122)로 전달한다.

그래픽 파이프라인(162)은 일반적으로 고정된 함수의 파이프라인이므로, 그 상태를 저장하고 복원하는 것은 어렵고, 그 결과 그래픽 파이프라인(162)은 문맥 스위칭하는 것이 어렵다. 그리하여 대부분의 경우에 본 명세서에 설명된 바와 같이 문맥 스위칭은 그래픽 처리 중에서 문맥 스위칭에 관한 것이 아니다. 예외는 문맥 스위칭될 수 있는 셰이더 코어(122)에서 그래픽 작업에 대한 것이다.

그래픽 파이프라인(162)에서 작업의 처리가 완료된 후에 완료된 작업은 렌더 백 유닛(176)을 통해 처리되는데, 이 렌더백 유닛은 깊이와 컬러 계산을 한 후에 최종 결과를 메모리(130)에 기록한다.

셰이더 코어(122)는 그래픽 파이프라인(162)과 연산 파이프라인(160)에 의해 공유될 수 있다. 셰이더 코어(122)는 웨이브프론트를 실행하도록 구성된 일반 프로세서일 수 있다. 일례에서, 연산 파이프라인(160) 내 모든 작업은 셰이더 코어(122) 내에서 처리된다. 셰이더 코어(122)는 프로그래밍가능한 소프트웨어 코어를 실행하고 상태 데이터와 같은 여러 형태의 데이터를 포함한다.

모든 작업 항목이 APD 자원에 액세스할 수 없을 때 QoS에서 중단이 일어난다. 본 발명의 실시예는 APD(104)에 있는 자원에 2개 이상의 작업을 효과적이고 동시에 론칭(launching)하는 것을 가능하게 하여 모든 작업 항목이 여러 APD 자원에 액세스할 수 있게 한다. 일 실시예에서, APD 입력 방식은 모든 작업 항목이 APD의 작업 부하를 관리하는 것에 의해 APD의 자원에 병렬로 액세스할 수 있게 한다. APD의 작업 부하가 (예를 들어, 최대 I/O 율에 도달하는 동안) 최대 레벨에 접근할 때, 이 APD 입력 방식은 그렇지 않은 경우 미사용되는 처리 자원이 많은 시나리오에서 동시에 사용될 수 있는 것을 지원한다. 예를 들어, 직렬 입력 스트림은 APD에 병렬 동시 입력으로 보이도록 추출될 수 있다.

예를 들어, CP(124) 각각은 APD(104)에 있는 다른 자원에 입력으로 제공하는 하나 이상의 작업을 구비할 수 있으며, 각 작업은 다수의 웨이브프론트를 나타낼 수 있다. 제 1 작업이 입력으로 제공된 후에, 이 작업은 일정 시간 기간 동안 증가(ramp up)하여 작업 완료에 필요한 모든 APD 자원을 이용하도록 될 수 있다. 그것만으로, 이 제 1 작업은 최대 APD 이용 임계값에 도달하거나 도달하지 않을 수 있다. 그러나, 다른 작업이 인큐잉되고 APD(104) 내에 처리될 것을 기다릴 때, APD 자원의 할당은 모든 작업이 APD(104)를 동시에 사용할 수 있고 각 작업은 APD의 최대 이용 퍼센트를 달성할 수 있는 것을 보장하도록 관리될 수 있다. 결합된 이용 퍼센트와 다수의 작업에 의해 APD(104)를 동시에 사용하는 것은 미리 결정된 최대 APD 이용 임계값이 달성되는 것을 보장한다.

도 2는 도 1b에 도시된 APD(104)의 상세를 도시하는 블록도이다. 도 2의 도시에서, APD(104)는 셰이더 코어(122)에 액세스를 중재하는 셰이더 자원 아비터(arbiter)(204)를 포함한다. 도 2에서 셰이더 자원 아비터(204)는 셰이더 코어(122)의 외부에 있다. 다른 실시예에서, 셰이더 자원 아비터(204)는 셰이더 코어(122) 내에 있을 수 있다. 다른 실시예에서, 셰이더 자원 아비터(204)는 그래픽 파이프라인(162)에 포함될 수 있다. 셰이더 자원 아비터(204)는 연산 파이프라인(160), 그래픽 파이프라인(162) 또는 셰이더 코어(122)와 통신하도록 구성될 수 있다.

셰이더 자원 아비터(204)는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 사용하여 구현될 수 있다. 예를 들어, 셰이더 자원 아비터(204)는 프로그래밍가능한 하드웨어로 구현될 수 있다.

전술된 바와 같이, 연산 파이프라인(160)은 입력 쓰레드 그룹을 수신하는, 도 1b에 도시된 바와 같은 DC(168, 170)를 포함한다. 이 쓰레드 그룹은 미리 결정된 수의 쓰레드를 포함하는 웨이브프론트로 분할된다. 각 웨이브프론트 쓰레드는 정점 셰이더(vertex shader)와 같은 셰이더 프로그램을 포함할 수 있다. 셰이더 프로그램은 일반적으로 문맥 상태 데이터의 세트와 연관된다. 셰이더 프로그램은 셰이더 코어 프로그램 실행을 위해 셰이더 코어(122)로 전달된다.

동작 동안, 각 셰이더 코어 프로그램은 프로그램을 실행하기 전에 셰이더 코어(122)에 동적으로 할당되는 다수의 일반적인 목적의 레지스터(GPR: general purpose register)(미도시)에 액세스한다. 웨이브프론트가 처리될 준비가 되면, 셰이더 자원 아비터(204)는 GPR과 쓰레드 공간을 할당한다. 셰이더 코어(122)에는 새로운 웨이브프론트가 실행할 준비가 되고 웨이브프론트에서 셰이더 코어 프로그램을 실행하는 것이 통지된다.

도 1에서 참조된 바와 같이, APD(104)는 하나 이상의 SIMD와 같은 연산 유닛을 포함한다. 도 2에서 예를 들어 셰이더 코어(122)는 특정 작업 그룹의 각 인스턴스화(instantiation)를 실행하거나 입력 데이터를 처리하는 SIMD(206A 내지 206N)를 포함한다. SIMD(206A 내지 206N)는 국부 데이터 저장소(LDS: local data store)(208A 내지 208N)에 각각 연결된다. LDS(208A 내지 208N)는 각 SIMD에 의해서만 액세스가능한 프라이빗 메모리 영역(private memory region)을 제공하고 작업 그룹에 개별적이다. LDS(208A 내지 208N)는 셰이더 프로그램 문맥 상태 데이터를 저장한다.

후술되는 바와 같이 본 발명의 측면은 소프트웨어, 하드웨어, 펌웨어 및/또는 도면에 도시된 개체의 많은 다른 실시예로 구현될 수 있다는 것은 이 기술 분야에 통상의 지식을 가진 자에게는 명백할 것이다. 본 발명을 구현하는데 하드웨어의 전문화된 제어를 하는 실제 소프트웨어 코드는 본 발명을 제한하지 않는다. 따라서, 본 발명의 동작 거동은 본 명세서에 제시된 상세 레벨이 주어진 실시예에 대한 변형과 변경이 가능하다는 이해와 함께 설명된다.

추가적으로, 그리고 이 기술 분야에 통상의 지식을 가진 자에게는 명백한 바와 같이, 본 발명의 여러 실시예를 시뮬레이션하고, 합성하고 및/또는 제조하는 것은 부분적으로 일반적인 프로그래밍 언어(예를 들어, C 또는 C++), Verilog HDL, VHDL, 알터라(Altera) HDL(AHDL) 등을 포함하는 하드웨어 설명 언어(HDL: hardware description language) 또는 다른 이용가능한 프로그래밍 및/또는 체계적 캡쳐 도구(예를 들어, 회로 캡처 도구)를 포함하는 컴퓨터 판독가능한 코드(전술된)를 사용하여 달성될 수 있다. 이 컴퓨터 판독가능한 코드는 반도체, 자기 디스크, 광 디스크(예를 들어, CD-ROM, DVD-ROM)를 포함하는 임의의 알려진 컴퓨터 사용가능한 매체에 배열될 수 있다.

그리하여, 코드는 인터넷과 인트라넷을 포함하는 통신 네트워크를 통해 전송될 수 있다. 전술된 시스템과 기술에 의해 달성된 기능 및/또는 이에 의해 제공된 구조는 프로그램 코드로 구현되어 집적 회로의 제품의 일부로서 하드웨어로 변환될 수 있는 코어(예를 들어, APD 코어 및/또는 CPU 코어 또는 다른 처리 코어)로 표현될 수 있는 것으로 이해된다.

도 3은 명령을 APD에 제공하기 위해 커널 모드 드라이버에 의존하는 데이터 흐름 모델(300)을 도시한다. 이 데이터 흐름 모델에서, 유저 모드 애플리케이션(302)은 명령 버퍼(304)를 동작시키고, 이 명령 버퍼(304)에 애플리케이션(302)은 APD 코어에 의해 실행을 위한 명령을 기록한다. 애플리케이션(302)이 준비가 될 때(예를 들어, 명령 버퍼가 가득 차 있으므로), 애플리케이션(302)은 명령 버퍼로부터 데이터를 APD 엔진 링 버퍼(308)에 액세스하는 커널 모드 드라이버(306)에 전달한다. 커널 모드 드라이버(306)(또는 다른 커널 모드 소프트웨어)는 명령 버퍼(304)로부터 명령을 판독하고 이를 APD 엔진 링 버퍼(308)에 기록할 수 있다.

데이터 흐름 모델(300)의 접근법은 링 버퍼(308)에 명령을 제출할 때마다 유저 모드와 커널 모드 사이를 전이한다. 도 4는 도 3의 데이터 흐름 모델(300)의 개념을 예시적인 윈도우즈 환경에 적용하는 추가적인 데이터 흐름 모델(400)을 도시하지만 이 기술 분야에 통상의 지식을 가진 자는 다른 동작 환경에 데이터 흐름 모델(400)을 적용할 수 있다는 것을 인식할 수 있을 것이다.

데이터 흐름 모델(400)에 도시된 바와 같이, 유저 모드 애플리케이션(302)과 같은 애플리케이션을 위한 APD 문맥은 단계(402)에서 생성되고 메모리는 단계(404)에서 커널 모드 드라이버 기능(예를 들어 명령 버퍼(304)의 할당을 포함)을 사용하여 할당된다. 유저 모드 애플리케이션(302)은 단계(406)에서 인스트럭션으로 명령 버퍼(304)를 채우며, 이 명령은 단계(408)에서 윈도우즈 디스플레이 드라이버 모델(예시적인 윈도우즈 환경에서 "WDDM")로 전달된다. 단계(410)에서 커널 모드 드라이버는 명령 버퍼(304)가 처리 준비가 된 것을 나타내는, 애플리케이션(302)을 위한 문맥을 문맥 큐에 추가할 수 있다. 커널 모드 소프트웨어는 단계(414)에서 명령 버퍼(304)로부터 명령을 APD 엔진 링 버퍼(308)로 제출할 수 있다.

이 접근법은 커널 모드 드라이버(예를 들어, 윈도우즈 환경에서 DXGKRNL)를 통해 애플리케이션의 APD 인스트럭션을 퍼널링(funnel)한다. 이 접근법에는 다수의 단점이 있고, 이는 APD의 원래의 디자인 초점으로부터 주로 유래한다. 이 접근법에서 APD는 그래픽 문맥의 외부 애플리케이션으로부터 일반적인 처리 인스트럭션을 핸들링하기 위해 의도된 것이 아니다. 표준 그래픽 인터페이스를 통해 모든 것은 패키징되어야 한다. 명령을 제출할 때 유저 모드와 커널 모드 사이에 필요한 전이는 하드웨어 특권 레벨 전이(hardware privilege level)를 요구하여 고가이다. 추가적으로, 단일 APD 엔진 링 버퍼(308)에 기록하는 것은 다른 APD 한정(bound) 애플리케이션을 차단할 수 있는 잠금(lock)을 요구한다.

이 레거시 접근법(legacy approach)에 의해 직면하는 추가적인 문제는 APD 링 버퍼에 추가되는 동작이 가상 메모리 공간에 대한 참조(references)에 대해 테스트되어야 한다는 것이다. 구체적으로, APD는 APD 메모리와 핀드 시스템 메모리(pinned system memory)에서만 동작하는 것이 허가된다. 그렇지 않으면, 동작에 의해 참조된 데이터는 참조된 데이터를 메인 메모리에 복사하고 이를 고정하는 것과 같이 APD 메모리 또는 핀드 시스템 메모리로 제공되어야 한다.

명령을 APD 엔진 링 버퍼(308)에 제출하기 전에, 단계(412)는 APD가 APD 엔진 링 버퍼(308)에 기록되는 명령에 의해 참조된 메모리에 액세스할 수 있는 것을 보장하도록 수행된다. 이것은 가상 메모리를 모두 참조하는 명령 버퍼를 횡단(traversing)하며 물리적 메모리 어드레스 참조에 이들 참조를 패치(patch)하는 것을 포함한다. 물리적 메모리 참조가 동시에 존재하지 않으면, 가상 메모리에 의해 참조된 데이터는 APD에 의해 사용될 수 있도록 APD 메모리의 핀드 시스템 메모리에 페이지인(paged in)되어야 한다.

APD 링 버퍼에 동작을 포스팅하기 전에 모든 동작에 참조된 메모리의 이용가능성을 보장하는 필요성은 고가로 될 수 있다. 패치 체크는 참조된 데이터가 핀드 시스템 메모리 또는 APD 메모리에 이미 존재하는지 상관없이 모든 동작에 수행되어야 한다. 그 결과, APD 링 버퍼에 명령을 제출하는 것은 상당한 오버헤드를 수반된다.

도 3 및 도 4에 도시된 데이터 흐름 모델과 연관된 성능 문제를 극복하거나 감소시키기 위하여 APD를 1급 객체(first-class citizen)로 처리될 수 있는 기능을 매립하는 것이 유리하다. 다시 말해, 연산 자원으로 처리되는 것은 CPU에 파(par)(또는 파에 더 가까이)에 있다. APD 및 APD 액세스가능한 메모리 공간이 CPU와 유사한 방식으로 처리될 수 있게 하는 개념은 다수의 다른 방식으로 달성될 수 있다. 그러나, 여러 실시예에서 (예를 들어, 운영 시스템으로부터 완전히 지원되는 및 네이티브 하드웨어로 지원되는(native hardware support)), 애플리케이션의 초기화를 넘어 커널 모드 전이를 회피하는 것이 가능하다.

도 5는 본 발명의 일 실시예에 따라 시스템 스택(system stack)(500)의 예시적인 성분을 도시한다. 각 유저 모드 애플리케이션은 이 애플리케이션과 자원의 수립과 연결을 허용하는 실행시간(502)을 포함한다. DXGKRNL(504)(이는 APD에 레거시 그래픽 지향 커널 모드 드라이버 인터페이스를 나타내는 마이크로소프트 윈도우즈 다이렉트X 그래픽 커널 서브시스템임)을 통해 명령을 채널링하는 대신에, 전술된 예를 통해 시스템 스택(500)은 애플리케이션을 위해 메모리와 명령 큐의 할당을 허가하는 IOMMUv2 드라이버(506)를 도입한다.

시스템 스택(500)은 APD 스케줄러(508a)와 CPU 스케줄러(508b)를 더 포함한다. CPU 스케줄러(508b)가 CPU 한정 작업을 스케줄링하는 현존하는 시스템에 존재하는 전통적인 스케줄러와 유사하지만 APD 스케줄러(508a)는 APD 한정 작업의 스케줄링을 핸들링한다. APD 스케줄러(508a)의 동작은 이하에서 보다 상세히 설명된다.

시스템 스택(500)은 APD 메모리 관리 성분(510a)과 CPU 메모리 관리 성분(510b)을 추가적으로 포함한다. CPU 메모리 관리 성분(510b)은 CPU 한정 애플리케이션에 메모리를 할당하는 현존하는 운영 시스템에 존재하는 전통적인 메모리 관리자와 유사하지만, APD 메모리 관리 성분(510a)은 APD 한정 명령으로 애플리케이션을 위해 메모리 객체의 할당을 핸들링한다.

도 5는 운영 시스템과 기반 하드웨어로부터 협력이 획득되는 예시적인 실시예를 도시하지만 이 기술 분야에 통상의 지식을 가진 자라면 도 3 및 도 4의 데이터 흐름 모델과 연관된 성능 문제를 회피하기 위해 다른 메커니즘이 사용될 수 있다는 것을 이해할 수 있을 것이다.

도 6은 본 발명의 일 실시예에 따라 예시적인 데이터 흐름 모델(600)을 도시한다. 데이터 흐름 모델(600)은 마이크로 윈도우즈 운영 시스템의 성분을 참조하지만, 이 기술 분야에 통상의 지식을 가진 자라면 데이터 흐름 모델(600)에 의해 도시된 개념은 다른 운영 시스템을 포함하나 이로 제한되지 않는 다른 시스템에도 적용될 수 있다는 것을 이해할 수 있을 것이다.

도 5의 IOMMUv2 드라이버(506)(또는 다른 커널 모드 드라이버 또는 커널 모드 소프트웨어 성분)에 의하여, 유저 모드 애플리케이션은 단계(602)에서 자기 자신의 유저 모드 액세스가능한 작업 큐(예를 들어, 링 버퍼)를 생성할 수 있다. 초기화 동안, 그리고 비 제한적인 예로써, 유저 모드 애플리케이션은 작업 큐를 할당하기 위해 실행시간(502)에서 함수를 호출한다. 이 작업 큐는 비 제한적인 예로써 링 버퍼 또는 다른 FIFO 큐일 수 있으나 이 기술 분야에 통상의 지식을 가진 자라면 명령 버퍼링을 위한 다른 기술이 사용될 수 있다는 것을 이해할 수 있을 것이다. 애플리케이션은 APD에 의해 액세스하기 위해 단계(604)에서 링 버퍼를 등록하는 커널 모드 드라이버에서 커널 모드 함수를 더 호출한다.

이 동일한 커널 모드 드라이버는 애플리케이션으로부터 단계(606)에서 자원 할당 요청을 또한 수용하며 본 발명의 다른 실시예에 따라 단계(608)에서 APD 메모리 또는 핀드 시스템 메모리와 같은 자원을 할당한다. 메모리는 (초기화 전의 경우와 같이) 물리적 메모리 공간에 존재하지 않는 데이터에 대응할 수 있는 가상 메모리 어드레스를 사용하여 할당될 수 있다.

초기화 후에, 데이터 흐름 모델(600)은 실행 시간 동안 유저 모드 애플리케이션의 거동을 도시한다. 애플리케이션 실행 시간 동안, 애플리케이션은 단계(610)에서 명령 버퍼를 채울 수 있다. 명령 버퍼의 콘텐츠는 단계(612)에서 애플리케이션의 링 버퍼로 전달될 수 있고, 이로부터 명령은 단계(614)에서 APD에 디스패치된다.

이 기술 분야에 통상의 지식을 가진 자라면 단계(610)에서 명령 버퍼와 같은 명령 버퍼의 사용은 선택적이고 대신 명령은 단계(612)에서 사용되는 링 버퍼로 직접 전달될 수 있다는 것을 이해할 수 있을 것이다. 명령 버퍼는 비 제한적인 예를 들어 (기록 동작이 도 3 및 도 4의 예에서 단일화된 링 버퍼를 차단할 때와 같이) 링 버퍼에의 기록이 고가의 동작일 수 있는 상황에서 사용될 수 있다. 그러나, 각 애플리케이션이 커널 모드 드라이버에 의해 할당된 자기 자신의 링 버퍼를 구비하는 경우에, 그 동작은 이와 전통적으로 연관된 것과 동일한 비용을 가지지 않을 수 있어서 성능 비용 절감이 명령 버퍼를 앞서가는 것에 의해 실현될 수 있다. 본 명세서에서 명령 버퍼라는 언급은 그리하여 명령 버퍼에 배치된 명령이 대신 애플리케이션의 링 버퍼로 직접 전달되는 시나리오를 고려한다.

실행시간에서, 예시적인 실시예는 APD에 의해 인스트럭션 처리를 핸들링하기 위하여 여러 개의 성분에 의존한다. 도 7은 본 발명의 일 실시예에 따라 실행 시간에 예시적인 아키텍처의 시스템 개요(700)를 도시한다. 전술된 바와 같이, 각 애플리케이션(702)은 자기 자신의 링 버퍼(704)에 할당된다. 이 링 버퍼(704)는 하나 이상의 명령 버퍼(706)에 저장된 명령에 의해 기록될 수 있다. 그러나, 전술된 바와 같이, 명령 버퍼(706)를 사용하는 것은 선택적인 것이며 대신 명령은 링 버퍼(704)로 직접 기록될 수 있다.

추가적으로, 커널 모드 드라이버는 수 개의 커널 공간 메모리 객체를 할당하고 유지한다. 이들 커널 공간 메모리 객체는 대응하는 애플리케이션(702)에 각각 할당된 연산 처리 제어 블록 및 실행 리스트 엔트리(710)를 포함한다. 연산 처리 제어 블록(710)의 미해결의 경우(outstanding instance)를 참조하는 마스터 연산 처리 리스트(708)는 등록된 애플리케이션의 리스트를 추적하는데 사용된다. 이 기술 분야에 통상의 지식을 가진 자라면 개별 애플리케이션(702)에 관한 정보를 유지하는 다른 방법이 사용될 수 있고 이 특정 방법은 예를 들어 제공된 것이고 발명을 제한하는 것이 아니라는 것을 이해할 수 있을 것이다. 커널 공간 메모리 객체는 또한 문맥 스위치 블록(712)을 더 포함한다. 이들 메모리 블록은 대응하는 애플리케이션이 다중 작업 환경에서 스위칭 아웃(switched out)될 때마다 APD의 현재 상태(즉, 문맥)를 저장하는데 사용된다. 애플리케이션 문맥 스위칭은 스케줄러의 동작에 대해 아래에서 더 설명된다.

전술된 바와 같이, 시스템 개요(700)에서 설명된 아키텍처의 이점 중 하나는 유저 모드 애플리케이션으로부터 APD로 작업을 송신할 때 커널 모드 전이를 회피하는 능력이다. 애플리케이션(702)이 커널 모드 드라이버에 등록할 때, 이는 대응하는 연산 처리 제어 블록(710)이 할당된다. APD는 연산 처리 제어 블록(710)에 액세스하여 애플리케이션(702)의 링 버퍼(704)의 위치를 포함하는 연관된 처리 문맥과 관련된 특권 상태 정보를 획득한다. 그 결과, APD는 값비싼 커널 모드 전이를 할 필요 없이 링 버퍼(704)로부터 명령에 액세스할 수 있다.

연산 처리 제어 블록(710)은 처리 스케줄링에 유용한 추가적인 정보를 포함할 수 있다. 예를 들어, 대응하는 애플리케이션(702)의 우선순위 레벨(예를 들어, 낮은, 중간, 높은, 실시간)은 연산 처리 제어 블록(710)에 유지될 수 있고 이는 이후 더 자세히 설명되는 바와 같이 애플리케이션(702)에 APD 처리 시간을 할당하기 위해 스케줄러에 의해 사용될 수 있다. 우선순위 정보는 그 다음 스케줄링 윈도우 동안 처리할 APD 처리 시간의 양(클록 사이클이나 개별 인스트럭션의 수와 같은)을 나타내는 타이머 리셋 값을 더 포함할 수 있다. 연산 처리 제어 블록(710)은 APD가 애플리케이션 문맥을 스위칭할 때 사용할 수 있는 대응하는 문맥 스위치 블록(712)의 참조를 더 포함한다. APD는 그리하여 서비스하는 개별 애플리케이션(702)의 표현으로 연산 처리 제어 블록(710)을 사용한다.

본 발명의 일 실시예에 따라, 링 버퍼(704)는 APD에 의해 액세스될 때 메모리에 상주하는 것이 보장되며 페이지 아웃(paged out)되지 않는다. 커널 모드 드라이버 연산 인터페이스는 APD 하드웨어에 의해 직접 액세스가능한 유저 공간 상주 명령 버퍼를 할당하는데 사용되어 연산 작업 부하 디스패치 및 완료 처리가 임의의 커널 모드 전이를 바이패스할 수 있게 한다. IOMMUv2 및 APD 하드웨어의 지원으로, 페이지 폴트(page faulting)는 유저 공간 명령( 및 데이터) 버퍼(706)에 지원되며 이는 이들 버퍼로 하여금 본 발명의 추가적인 실시예에 따라 메모리 피닝의 오버헤드를 피할 수 있게 한다.

커널 모드 소프트웨어가 유저 모드 애플리케이션에 의해 제출된 명령을 횡단하며 가상 메모리 참조를 패치하여, 이에 의해 모든 참조가 상주하는 핀드 시스템 또는 APD 메모리에 있는 것을 보장할 수 있는 도 3 및 도 4의 데이터 흐름 모델과는 대조적으로, APD는 임의의 패치가 일어나기 전에 링 버퍼(704)에 직접 액세스할 수 있다. 그러므로, APD는 여러 메커니즘 중 하나에 의해 페이지 폴트를 식별하거나 핸들링할 수 있어야 한다.

예를 들어, 가상 메모리를 참조하는 인스트럭션이 APD에 의해 핸들링될 때, 가상 메모리 어드레스가 물리적 메모리 어드레스(예를 들어 페이지 테이블을 사용하여)에 대응하는지 여부에 대해 결정이 이루어진다. 그렇지 않다면, APD는 시스템의 CPU에 페이지 폴트를 트리거하여 CPU로 하여금 대응하는 가상 메모리 어드레스로부터 핀드 시스템이나 APD 메모리로 데이터를 검색할 수 있게 한다. APD의 성능이 허락하는 경우 APD는 페이지 폴트를 차단하면서 다른 애플리케이션 문맥으로 스위칭되거나 대신 페이지 폴트가 서비스되는 것을 기다리면서 스톨(stall)할 수 있다.

본 발명의 다른 실시예에 따라, APD는 페이지 폴트가 필요한지 여부를 결정하는 서비스 전에 인스트럭션을 검사하고 만약 그렇다면 CPU의 페이지 폴트 메커니즘 인터럽트를 트리거할 수 있다.

유저 모드 애플리케이션(702)의 관점으로부터, 전술된 기능은 시스템의 CPU와 유사한 방식으로 APD와 직접 상호작용을 허용한다. 본 발명의 특정 실시예의 이러한 특성은 CPU에 대해 APD를 "1급 객체"로 수립하는 것이라고 언급된다.

도 8은 도 7의 애플리케이션(702)과 같은 애플리케이션이 본 발명의 일 실시예에 따라 초기화되는 단계를 도시한 흐름도이다. 본 방법은 단계(802)에서 시작하며 애플리케이션이 초기화되는 단계(804)로 진행한다. 이 기술 분야에 통상의 지식을 가진 자라면 단계(804)의 초기화 처리는 애플리케이션이 특정된 다수의 여러 기능을 포함할 수 있다는 것을 이해할 수 있을 것이다.

비 제한적인 예로써, 단계(804)에서 애플리케이션의 초기화는 도 7의 연산 처리 제어 블록(710)과 같은 연산 처리 제어 블록의 생성을 포함한다. 이 기술 분야에 통상의 지식을 가진 자라면 APD에 액세스가능한 애플리케이션의 표현이 유지되고 업데이트될 수 있는 다른 메커니즘이 사용될 수 있다는 것을 이해할 수 있을 것이다.

단계(806, 808)는 본 발명의 측면을 이용하는 애플리케이션에 대한 초기화 처리를 도시한다. 단계(806)에서, 링 버퍼(도 7의 링 버퍼(704) 또는 명령 버퍼의 다른 형태(예를 들어, FIFO 큐))가 이 애플리케이션에 할당되고 메모리 자원은 단계(808)에서 할당된다. 본 방법은 단계(810)에서 종료한다.

전술된 바와 같이, 단계(806, 808)에서 각각 링 버퍼(704)와 메모리 자원을 할당하는 것은 커널 모드 드라이버 또는 다른 커널 모드 소프트웨어(예를 들어 애플리케이션은 링 버퍼(704)를 할당하고 이를 도 6의 단계(604)에서와 같이 커널 모드 소프트웨어에 등록함)와의 상호작용을 통해 핸들링된다. 링 버퍼(704)와 메모리 자원은 자원을 이용하기 위해 커널 모드로 전이하거나 다른 애플리케이션을 차단할 필요 없이 APD와 애플리케이션에 액세스할 수 있다.

도 9는 애플리케이션이 APD에 의해 실행하기 위한 명령을 제공하는 단계를 도시한 흐름도(900)이다. 본 방법은 단계(902)에서 시작하고 애플리케이션이 명령 버퍼와 참조 데이터 버퍼를 채우는 단계(904)로 진행한다. 도 7의 명령 버퍼(706)와 같은 명령 버퍼에 저장된 명령은 도 7의 링 버퍼(704)와 같은 링 버퍼로 전달된다. 본 발명의 다른 실시예에 따라 명령은 단계(906)에서와 같이 링 버퍼(704)에서 직접 애플리케이션에 의해 배치되어 별개의 명령 버퍼의 사용을 스킵할 수 있다.

단계(908)에서, 링 버퍼(704)에서 명령은 디스패치할 준비가 된다. 본 방법은 단계(910)에서 종료한다. 전술된 바와 같이, APD 하드웨어는 링 버퍼(704)에 저장된 명령에 직접 액세스를 하고 스케줄링 알고리즘에 의해 그렇게 하도록 명령받을 때와 같이 요구될 때 적절한 애플리케이션의 링 버퍼(704)로부터 처리 명령을 시작할 수 있다.

도 6의 단계(604)에 의한 것과 같은 각 애플리케이션에 링 버퍼를 할당하는 것에 의해 여러 상이한 방법으로 스케줄링을 핸들링하는 것은 가능하다. 특히, 도 3 및 도 4에 도시된 데이터 흐름 모델에서 스케줄링하는 것은 데이터를 APD를 위한 단일화된 링 버퍼로 푸시하는 것에 의해 달성되며, 이로부터 APD 하드웨어는 어떤 순서로 이들이 제시되던 간에 동작을 풀링(pull)할 수 있다. 링에 배치된 데이터의 특정 패킷의 완료를 알리기 위해 단일화된 링 버퍼에 동작 패킷에서 마지막 동작이 타임스탬프를 증가시키는 기술이 사용된다. 그러나, 이 동작은 레이턴시를 추가하고 하드웨어 인터럽트의 실행에 의해 도입된 비효율성을 요구한다. 이 접근법은 또한 전체적으로 동작 패킷에 대한 완료가 결정되므로 특정 시간 프레임 내에 정확히 얼마나 많은 동작이 처리되었는지를 결정할 때에는 해상도(resolution)가 없다.

이와 대조적으로, 본 발명의 예시적인 실시예는 스케줄러 또는 다른 메커니즘이 (도 7의 연산 처리 제어 블록(710)에 의해 식별된 애플리케이션과 같은) 그 다음 것을 실행하는 특정 애플리케이션 문맥을 선택하게 하여 선택된 애플리케이션(702)의 링 버퍼(704)로부터 인스트럭션을 실행을 위해 APD로 제공하게 한다. 추가적으로, 애플리케이션의 링 버퍼(704)의 작업 패킷은 완전히 유저 모드 내의 완료를 나타내고 완료 신호에 저비용과 해상도 구성가능한 솔루션을 제공한다.

이 기술 분야에 통상의 지식을 가진 자라면 다수의 스케줄링 접근법이 본 명세서에 개시된 실시예에 적용될 수 있고 본 명세서에 설명된 접근법이 예를 들어 제공된 것이고 발명을 제한하는 것이 아니라는 것을 이해할 수 있을 것이다. 도 10은 도 5의 APD 스케줄러(508a)와 같은 스케줄러가 본 발명의 일 실시예에 따라 APD 명령의 처리를 스케줄링하는 단계를 도시한 흐름도(1000)이다. 본 방법은 단계(1002)에서 시작하고 연산 처리 제어 블록(710)이 (예를 들어, 애플리케이션 초기화 동안) 애플리케이션(702)에 할당되는 단계(1004)로 진행한다. 단계(1006)에서, 애플리케이션(702)으로부터 명령을 큐잉하기 위한 링 버퍼(704) 또는 다른 데이터 구조가 애플리케이션(702)에 할당된다.

단계(1008)에서, 스케줄러는 스케줄링될 그 다음 애플리케이션을 결정한다. 이것은 비 제한적인 예로써 스케줄링될 그 다음 애플리케이션에 대응하는 연산 처리 제어 블록 또는 실행 리스트(710)의 선택을 통해 달성될 수 있다. 그 다음 연산 처리 제어 블록(710)의 선택은 라운드 로빈(round-robin) 스케줄링과 같은 다수의 스케줄링 알고리즘에 의해 핸들링될 수 있다. 다른 스케줄링 알고리즘을 사용하는 것은 이 기술 분야에 통상의 지식을 가진 자에게 명백할 것이다.

본 발명의 추가적인 실시예에 따라, 애플리케이션(702)은 실행을 위해 선택되기에 적합하다는 것을 APD에 통지할 수 있다. 이것은 비 제한적인 예로써 명령이 링 버퍼(704)에 추가될 때마다 애플리케이션에 의해 "도어벨(doorbell)" 신호를 사용하여 핸들링된다. APD가 "도어벨" 신호를 사용하여 명령을 기다리는 것이 통지되지 못하면, 이 APD는 단계(1008)에서 그 다음 연산 처리 제어 블록(710)으로 스킵할 수 있고, 여기서 명령이 링 버퍼(704)에서 제시된 것을 나타내거나 APD가 준비된 APD 명령을 가지는 것을 알고 있다는 것을 나타낸다.

스케줄러가 대응하는 연산 처리 제어 블록(710)으로 실행될 그 다음 애플리케이션(702)을 식별하면, APD는 연산 처리 제어 블록(710)으로부터 애플리케이션의 링 버퍼(704)의 위치를 획득한다. APD는 단계(1012)에서 링 버퍼(704)로부터 직접 명령을 서비스할 수 있다.

애플리케이션(702)은 CPU 한정 명령을 개별적으로 자유로이 실행하게 유지되는 동안 링 버퍼(704)에 APD 한정 명령만을 배치할 수 있다. 이것은 CPU 및 APD가 (종속 이벤트에서를 제외하고) 다른 것에 의해 완료되기를 기다리지 않고 다른 속도와 주파수의 인스트럭션에 대해 동작할 수 있다는 것을 의미한다. APD가 단계(1012)에서 명령을 서비스하는 동안, CPU는 자기 자신의 명령에서 계속 동작할 수 있다.

APD는 단계(1012)에서 다수의 명령을 계속 서비스하며 단계(1014)로 진행하고 여기서 스케줄러는 APD 시간에 다른 애플리케이션을 스케줄링할 수 있고 이 경우에 본 방법은 단계(1008)로 더 진행한다. 다른 애플리케이션이 스케줄링되지 않는다면, 본 방법은 단계(1016)에서 종료하고 APD는 휴면 상태(dile)에 유지된다.

후속 애플리케이션의 스케줄링 전에 단계(1012)에서 APD에 의해 서비스 되는 명령의 수는 다수의 인자(factor)에 의해 제어될 수 있다. 이 기술 분야에 통상의 지식을 가진 자라면 이들 인자는 예시적인 것이고 애플리케이션에 할당된 APD 시간의 양을 제어하는 대신에 다른 기술이 사용될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 애플리케이션(702)이 종료하거나 링 버퍼(704)가 APD(즉, 실행을 위해 큐잉된 다른 APD 한정 명령 없이)에 의해 비게 되면, 스케줄러는 실행을 위한 그 다음 애플리케이션을 즉시 스케줄링할 수 있다.

추가적으로, 스케줄러는 APD가 다중 작업을 할 수 있게 하는 링 버퍼(704)에서 모든 명령을 서비스 하기 전에 다른 애플리케이션(단계(1014) 이후 단계(1018))으로 문맥을 스위칭할 수 있다. 이것은 만료할 때(예를 들어, 일정 수의 클록 사이클 후에, 또는 특정 양의 "벽 시간(wall-time)"이 경과한 후에) 문맥 스위치를 트리거하는 타이머를 사용하여 핸들링될 수 있다. 이 타이머는 애플리케이션(702)으로 할당되고 연산 처리 제어 블록(710)에 저장된 값을 통해 최적으로 설정될 수 있다. 추가적으로, 연산 처리 제어 블록(710)에 있는 우선순위 값은 문맥 스위치 전에 단계(1012)에서 링 버퍼(704)로부터 서비스할 명령이 얼마나 많은지를 결정할 때 스케줄러를 지원할 수 있다.

문맥 스위치가 발생할 때, 링 버퍼(704)로부터 현재 애플리케이션의 APD 한정 명령의 실행 상태가 저장된다. 이것은 APD로 하여금 명령이 의존할 수 있는 임의의 레지스터 값을 포함하는 동일한 실행 상태를 사용하여 링 버퍼(704)로부터 명령을 계속 처리할 수 있게 한다. 도 11은 본 발명의 일 실시예에 따라 실행 상태가 문맥 스위치에 보존되는 단계를 도시한 흐름도(1100)이다.

본 방법은 단계(1102)에서 시작하고, 단계(1104)로 진행하며, 여기서 다른 것을 위하여 문맥 스위칭 아웃(context-switched-out)될 애플리케이션(702)의 APD 상태(예를 들어, 레지스터 값, 그 다음 인스트럭션 등)이 애플리케이션(702)의 대응하는 문맥 스위치 블록(712)에 저장된다. 단계(1106)에서, 스케줄러는 연산 처리 제어 블록(710)에 의해 참조된 대응하는 링 버퍼(704)와 문맥 스위치 블록(712)과 함께, (연산 처리 제어 블록(710)을 통해) 스케줄링될 그 다음 애플리케이션(702)을 식별한다. 단계(1108)에서, APD는 그 다음 애플리케이션(702)을 위한 문맥 스위치 블록(712)에서 저장된 상태를 사용하여 그 상태를 복원한다. 본 방법은 단계(1110)에서 종료한다. 이것은 문맥 스위치 인(context-switched-in)된 애플리케이션(702)이 멈췄던 APD 실행을 계속 할 수 있게 한다.

전술된 애플리케이션이 하드웨어 한정 스케줄링을 설명하지만 본 발명의 다른 실시예에 따라 하드웨어 및 소프트웨어 한정 스케줄링을 결합하는 것도 또한 가능하다. 이 기술은 소프트웨어 기반 스케줄러가 어느 애플리케이션이 그 다음으로 APD 시간에 허가되는지를 (비 제한적인 예로써 학습법을 사용하여) 예측하고 APD 에 의해 그 다음 스케줄링될 애플리케이션을 등록할 수 있게 한다.

도 12는 소프트웨어 기반 스케줄러가 하드웨어 기반 스케줄러에 가이드를 제공할 수 있는 단계를 도시한 흐름도(1200)이다. 본 방법은 단계(1202)에서 시작하고 단계(1204)로 진행하며, 여기서 소프트웨어 기반 스케줄러는 스케줄링되는 그 다음 애플리케이션(702)의 일부 학습 결정을 수행한다. 단계(1206)에서, 소프트웨어 기반 스케줄러는 하드웨어 스케줄러에 애플리케이션(702)의 실행리스트 엔트리(710)를 등록하고, 애플리케이션(702)이 실행하는데 스케줄링될 수 있게 한다. 본 방법은 단계(1210)에서 종료한다. 이것은 실행할 모든 애플리케이션 문맥을 자동으로 스케줄링하는 것과는 대조적으로 대신 소프트웨어 기반 성분에 의해 정밀 제어(fine grain control)를 가능하게 한다.

본 발명의 추가적인 실시예에 따라, 이 변경이 APD에 의해 알려진 실행 리스트 엔트리(710)의 세트에 이루어질 때, 실행 리스트 엔트리(710)의 전체 세트는 하드웨어 스케줄러가 스케줄링 순서를 재평가하도록 재제출된다. 이 거동을 트리거하는 변경은 다른 실행 리스트 엔트리를 추가하거나, 실행 리스트 엔트리를 삭제하거나, 또는 (예를 들어, 애플리케이션의 문맥의 우선순위를 변경하기 위하여) 실행리스트 엔트리 중 하나 이상을 편집하는 것을 포함한다.

본 발명의 여러 측면은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 도 3의 흐름도(300), 도 8의 흐름도(800), 도 9의 흐름도(900), 도 10의 흐름도(1000), 도 11의 흐름도(1100), 도 12의 흐름도(1200)로 예시된 방법은 도 1의 단일화된 컴퓨팅 시스템(100)으로 구현될 수 있다. 본 발명의 여러 실시예는 이 예시적인 단일화된 컴퓨팅 시스템(100)에 비춰 설명된다. 이 기술 분야에 통상의 지식을 가진 자에게는 다른 컴퓨터 시스템 및/또는 컴퓨터 아키텍처를 사용하여 본 발명을 구현할 수 있다는 것은 명백할 것이다.

본 문서에서, "컴퓨터 프로그램 매체" 및 "컴퓨터 사용가능한 매체"라는 용어는 일반적으로 이동식 저장 유닛 또는 하드 디스크 드라이브와 같은 매체를 말하는 데 사용된다. 컴퓨터 프로그램 매체 및 컴퓨터 사용가능한 매체는 메모리 반도체(예를 들어, DRAM 등)일 수 있을 시스템 메모리(106)와 그래픽 메모리(130)와 같은 메모리를 또한 말할 수 있다. 이들 컴퓨터 프로그램 제품은 단일화된 컴퓨팅 시스템(100)에 소프트웨어를 제공하는 수단이다.

본 발명은 또한 임의의 컴퓨터 사용가능한 매체에 저장된 소프트웨어를 포함하는 컴퓨터 프로그램 제품에 관한 것이다. 이러한 소프트웨어는 하나 이상의 데이터 처리 디바이스에서 실행될 때 데이터 처리 디바이스(들)로 하여금 본 명세서에 설명된 바와 같이 동작하게 하거나 또는 전술된 바와 같이 본 명세서에 설명된 본 발명의 실시예를 구현하도록 컴퓨팅 디바이스(예를 들어, ASIC 또는 프로세서)를 합성하거나 및/또는 제조할 수 있게 한다. 본 발명의 실시예는 현재 알려지거나 미래에 알려진 임의의 컴퓨터 사용하거나 판독가능한 매체를 사용한다. 컴퓨터 사용가능한 매체의 예로는 1차 저장 디바이스(예를 들어, 임의의 유형의 랜덤 액세스 메모리), 2차 저장 디바이스(예를 들어, 하드 드라이브, 플로피 디스크, CD ROMS, ZIP 디스크, 테이프, 자기 저장 디바이스, 광 저장 디바이스, MEMS, 나노기술 저장 디바이스 등)를 포함하나 이로 제한되지 않는다.

결론

본 발명의 여러 실시예가 전술되었으나, 본 발명의 이들 실시예는 예를 들어 제한 없이 제공된 것인 것으로 이해된다. 이 기술 분야에 통상의 지식을 가진 자라면 형태와 상세에서 여러 변경이 첨부된 청구범위에 한정된 본 발명의 사상과 범위를 벗어남이 없이 이루어질 수 있다는 것을 이해할 수 있을 것이다. 본 발명은 이들 예로만 제한되지 않는 것으로 이해된다. 본 발명은 본 명세서에 설명된 바와 같이 동작하는 임의의 요소에 적용가능하다. 따라서, 본 발명의 폭과 범위는 전술된 예시적인 실시예 중 어느 하나로 제한되어서는 안 되며, 이하의 특허청구범위와 그 균등물에 따라서만 한정되어야 한다.

Claims (21)

1. 연산 자원에 대한 개선된 액세스를 제공하기 위한 방법으로서,
   스케줄러에 의한 스케줄링을 위해, 유저 모드 애플리케이션을 선택하는 단계; 및
   유저 모드에서, 커널 모드 드라이버(kernel mode driver)에 의해서 상기 유저 모드 애플리케이션에 할당된 작업 큐(work queue)로부터 가속 처리 디바이스로 곧바로(directly) 명령들을 디스패치하는(dispatching) 단계
   를 포함하며,
   상기 작업 큐는 커널 모드로의 전이(transition) 없이, 상기 유저 모드 애플리케이션 및 상기 가속 처리 디바이스에 액세스가능한 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 방법.
2. 제1항에 있어서,
   상기 명령들은 명령 버퍼에 저장되고, 그리고 상기 명령들은 상기 명령 버퍼로부터 상기 작업 큐로 전달되는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 방법.
3. 제1항에 있어서,
   가속 처리 디바이스의 액세스가능한 메모리 자원이 상기 유저 모드 애플리케이션으로 할당되는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 방법.
4. 제1항에 있어서,
   상기 유저 모드 애플리케이션에 상기 작업 큐를 할당하는 것은, 연산 명령 링 버퍼를 할당하는 단계를 포함하는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 방법.
5. 제1항에 있어서,
   상기 유저 모드 애플리케이션에 대응하는 연산 처리 제어 블록이 할당되고, 상기 연산 처리 제어 블록은 상기 유저 모드 애플리케이션을 위해 상기 작업 큐의 위치를 식별하는 정보를 저장하는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 방법.
6. 제5항에 있어서,
   상기 명령들을 상기 작업 큐로부터 상기 가속 처리 디바이스로 디스패치하는 단계는,
   명령들을 판독하기 위해 상기 연산 처리 제어 블록으로부터 위치 정보에 기초하여 상기 가속 처리 디바이스에 의해 상기 작업 큐에 액세스하는 단계를 포함하는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 방법.
7. 제5항에 있어서,
   하나 이상의 추가적인 연산 처리 제어 블록들 및 상기 연산 처리 제어 블록에 대한 참조(references)를 포함하는 연산 처리 리스트가 할당되는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 방법.
8. 명령들을 기록한 비-일시적인 컴퓨터 판독가능한 매체로서,
   상기 명령들은, 컴퓨팅 디바이스에 의해 실행될 때, 상기 컴퓨팅 디바이스로 하여금,
   스케줄러에 의한 스케줄링을 위해, 유저 모드 애플리케이션을 선택하는 단계; 및
   유저 모드에서, 커널 모드 드라이버(kernel mode driver)에 의해서 상기 유저 모드 애플리케이션에 할당된 작업 큐(work queue)로부터 가속 처리 디바이스로 곧바로(directly) 명령들을 디스패치하는(dispatching) 단계를 포함하는 방법을 수행하게 하며,
   상기 작업 큐는 커널 모드로의 전이(transition) 없이, 상기 유저 모드 애플리케이션 및 상기 가속 처리 디바이스에 액세스가능한 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
9. 제8항에 있어서,
   상기 명령들은 명령 버퍼에 저장되고, 그리고 상기 명령들은 상기 명령 버퍼로부터 상기 작업 큐로 전달되는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
10. 제8항에 있어서,
    가속 처리 디바이스의 액세스 가능한 메모리 자원이 상기 유저 모드 애플리케이션에 할당되는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
11. 제8항에 있어서,
    상기 유저 모드 애플리케이션에 상기 작업 큐를 할당하는 것은,
    상기 유저 모드 애플리케이션을 위해 연산 명령 링 버퍼를 할당하는 단계를 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
12. 제8항에 있어서,
    상기 유저 모드 애플리케이션에 대응하는 연산 처리 제어 블록이 할당되고, 상기 연산 처리 제어 블록은 상기 유저 모드 애플리케이션을 위해 상기 작업 큐의 위치를 식별하는 정보를 저장하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
13. 제12항에 있어서,
    상기 작업 큐로부터 상기 명령들을 상기 가속 처리 디바이스로 디스패치하는 단계는, 명령을 판독하기 위해 상기 연산 처리 제어 블록으로부터의 위치 정보에 기초하여 상기 가속 처리 디바이스에 의해 상기 작업 큐에 액세스하는 단계를 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
14. 제12항에 있어서,
    하나 이상의 추가적인 연산 처리 제어 블록 및 상기 연산 처리 제어 블록에 대한 참조를 포함하는 연산 처리 리스트가 할당되는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
15. 연산 자원에 대한 개선된 액세스를 제공하기 위한 시스템으로서,
    메모리; 및
    프로세서를 포함하고, 상기 프로세서는,
    스케줄러에 의한 스케줄링을 위해, 유저 모드 애플리케이션을 선택하고; 그리고
    유저 모드에서, 커널 모드 드라이버(kernel mode driver)에 의해서 상기 유저 모드 애플리케이션에 할당된 작업 큐(work queue)로부터 가속 처리 디바이스로 곧바로(directly) 명령들을 디스패치하도록 구성되며,
    상기 작업 큐는 커널 모드로의 전이(transition) 없이, 상기 유저 모드 애플리케이션 및 상기 가속 처리 디바이스에 액세스가능한 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 시스템.
16. 제15항에 있어서,
    상기 프로세서는 또한, 상기 명령들을 명령 버퍼에 저장하고 그리고 상기 명령들을 상기 명령 버퍼로부터 상기 작업 큐로 전달하도록 구성되는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 시스템.
17. 제15항에 있어서,
    상기 프로세서는 또한, 가속 처리 디바이스의 액세스가능한 자원을 상기 유저 모드 애플리케이션에 할당하도록 구성된 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 시스템.
18. 제15항에 있어서,
    상기 유저 모드 애플리케이션을 위해 상기 작업 큐를 할당하는 것은 상기 유저 모드 애플리케이션을 위해 연산 명령 링 버퍼를 할당하는 것을 포함하는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 시스템.
19. 제15항에 있어서,
    상기 프로세서는 또한, 상기 유저 모드 애플리케이션에 대응하는 연산 처리 제어 블록을 할당하도록 구성되고, 상기 연산 처리 제어 블록은 상기 유저 모드 애플리케이션을 위해 상기 작업 큐의 위치를 식별하는 정보를 저장하는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 시스템.
20. 제19항에 있어서,
    상기 명령들을 상기 작업 큐로부터 상기 가속 처리 디바이스로 디스패치하는 것은 명령을 판독하기 위해 상기 연산 처리 제어 블록으로부터의 위치 정보에 기초하여 상기 가속 처리 디바이스에 의해 상기 작업 큐에 액세스하는 것을 포함하는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 시스템.
21. 제19항에 있어서,
    상기 프로세서는 또한, 하나 이상의 추가적인 연산 처리 제어 블록 및 상기 연산 처리 제어 블록에 대한 참조를 포함하는 연산 처리 리스트를 할당하도록 구성되는 것을 특징으로 하는 연산 자원에 대한 개선된 액세스를 제공하기 위한 시스템.

Images