KR20220124551A - 이종 하드웨어 타입의 가속기들을 포함한 전자 장치 - Google Patents

이종 하드웨어 타입의 가속기들을 포함한 전자 장치 Download PDF

Info

Publication number
KR20220124551A
KR20220124551A KR1020210028358A KR20210028358A KR20220124551A KR 20220124551 A KR20220124551 A KR 20220124551A KR 1020210028358 A KR1020210028358 A KR 1020210028358A KR 20210028358 A KR20210028358 A KR 20210028358A KR 20220124551 A KR20220124551 A KR 20220124551A
Authority
KR
South Korea
Prior art keywords
electronic device
accelerators
sub
operations
host processor
Prior art date
Application number
KR1020210028358A
Other languages
English (en)
Inventor
이승욱
김장우
박평수
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020210028358A priority Critical patent/KR20220124551A/ko
Priority to US17/402,848 priority patent/US20220283851A1/en
Publication of KR20220124551A publication Critical patent/KR20220124551A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/22—Microcontrol or microprogram arrangements
    • G06F9/28—Enhancement of operational speed, e.g. by using several microcontrol devices operating in parallel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/541—Interprogram communication via adapters, e.g. between incompatible applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/3017—Runtime instruction translation, e.g. macros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3877—Concurrent instruction execution, e.g. pipeline or look ahead using a slave processor, e.g. coprocessor
    • G06F9/3879—Concurrent instruction execution, e.g. pipeline or look ahead using a slave processor, e.g. coprocessor for non-native instruction execution, e.g. executing a command; for Java instruction set
    • G06F9/3881—Arrangements for communication of instructions and data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Advance Control (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Nitrogen Condensed Heterocyclic Rings (AREA)

Abstract

이종 하드웨어 타입의 가속기들을 포함한 전자 장치가 개시된다. 개시된 전자 장치는 상기 전자 장치의 동작을 관리하는 호스트 프로세서, 직접 통신으로 데이터를 서로 교환하는 이종 하드웨어 타입(heterogeneous hardware type)의 가속기들 및 상기 호스트 프로세서로부터 수신된 명령어를 각 가속기들의 타입에 따라 변환하여 대응하는 가속기로 전달하는 컨트롤 유닛을 포함한다.

Description

이종 하드웨어 타입의 가속기들을 포함한 전자 장치{ELECTRONIC DEVICES INCLUDING ACCELERATORS OF HETEROGENEOUS HARDWARE TYPES}
아래 실시예들은 이종 하드웨어 타입의 가속기들을 포함한 전자 장치에 관한 것이다.
인공 지능(Artificial Intelligence; AI) 기술이 발전함에 따라 인공 지능만을 위한 독자적인 하드웨어의 필요성이 증가하고 있다. 인공 지능은 예를 들어, 특정한 연산을 통해 추론이나 학습을 수행할 수 있다. 이와 같이 인공 지능을 구현하고 실행하기 위한 전용 하드웨어로서 다양한 장치들이 개발되고 있다.
인공 지능을 위한 전용 하드웨어는 예를 들어, CPU(Central Processing Unit), GPU(Graphics Processing Unit) 등에 의해 구현될 수도 있고, 용도 변경이 가능한 FPGA(Field Programmable Gate Array), 및 ASIC(Application Specific Integrated Circuit) 등에 의해 구현될 수도 있다.
일 실시예에 따른 전자 장치는 상기 전자 장치의 동작을 관리하는 호스트 프로세서; 직접 통신으로 데이터를 서로 교환하는 이종 하드웨어 타입(heterogeneous hardware type)의 가속기들; 및 상기 호스트 프로세서로부터 수신된 명령어를 각 가속기들의 타입에 따라 변환하여 대응하는 가속기로 전달하는 컨트롤 유닛을 포함한다.
일 실시예에 따른 전자 장치는 상기 호스트 프로세서 및 소프트웨어 스택의 관여 없이 상기 가속기들 간 직접 통신을 관리하는 인터커넥트 스위치(interconnect switch)를 더 포함할 수 있다.
일 실시예에 따른 전자 장치에서 상기 컨트롤 유닛은 상기 호스트 프로세서 및 소프트웨어 스택의 관여 없이, 상기 가속기들 간 인터페이스 차이에 기반하여 상기 호스트 프로세서로부터 수신된 명령어에 대해 인터페이스 번역(interface translation)을 수행하여 대응하는 가속기로 전달할 수 있다.
일 실시예에 따른 전자 장치에서 상기 컨트롤 유닛은 각 오퍼레이션을 데이터 수신 동작, 데이터 처리 동작 및 데이터 전송 동작으로 나누고, 상기 데이터 수신 동작, 상기 데이터 처리 동작 및 상기 데이터 전송 동작 각각을 서브-오퍼레이션(sub-operation)으로 나누고, 상기 나눠진 서브-오퍼레이션들 간 의존성(dependency) 및 상기 서브-오퍼레이션들의 특성에 기반하여 상기 서브-오퍼레이션들을 상기 가속기들 중 하나 이상에 대해 스케줄링할 수 있다.
일 실시예에 따른 전자 장치에서 상기 컨트롤 유닛은 상기 서브-오퍼레이션들 중 연산의 복잡성, 반복성, 수행시간 중 하나 또는 둘 이상의 조합에 기초하여 상기 가속기들 중 하나 이상에 대해 스케줄링할 수 있다.
일 실시예에 따른 전자 장치에서 상기 가속기들은 ASIC(application specific integrated circuit), FPGA(field programmable gate array), GPU(graphic processing unit), CPU(central processing unit), NPU(neural processing unit), TPU(tensor processing unit), DSP(digital signal processor) 중 둘 이상의 조합을 포함할 수 있다.
일 실시예에 따른 전자 장치는 상기 전자 장치의 동작을 관리하는 호스트 프로세서; 직접 통신으로 데이터를 서로 교환하는 이종 하드웨어 타입의 가속기들; 및 상기 호스트 프로세서 및 소프트웨어 스택의 관여 없이 상기 가속기들 간 직접 통신을 관리하는 인터커넥트 스위치를 포함한다.
일 실시예에 따른 전자 장치는 상기 전자 장치의 동작을 관리하는 호스트 프로세서; 직접 통신으로 데이터를 서로 교환하는 이종 하드웨어 타입(heterogeneous hardware type)의 가속기들; 및 상기 가속기들에서 실행하고자 하는 오퍼레이션에 대해 상기 가속기들을 스케줄링하는 컨트롤 유닛을 포함하고, 상기 컨트롤 유닛은 상기 오퍼레이션을 데이터 수신 동작, 데이터 처리 동작 및 데이터 전송 동작으로 나누고, 상기 데이터 수신 동작, 상기 데이터 처리 동작 및 상기 데이터 전송 동작 각각을 서브-오퍼레이션으로 나누고, 상기 나눠진 서브-오퍼레이션들 간 의존성 및 상기 서브-오퍼레이션들의 특성에 기반하여 상기 서브-오퍼레이션들을 상기 가속기들 중 하나 이상에 대해 스케줄링한다.
도 1은 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 이종 하드웨어 타입의 가속기들을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 인터커넥트 스위치를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 컨트롤 유닛을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 서브-오퍼레이션 스케줄링을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 전자 장치의 예시를 나타낸 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(100)는 호스트 프로세서(110), 가속기들(120), 컨트롤 유닛(130), 인터커넥터 스위치(도면 미도시)를 포함할 수 있다. 전자 장치(100)는 하나의 호스트 프로세서(110)가 복수의 가속기들(120)을 제어 및/또는 관리하는 단일 노드로 설계될 수 있다. 단일 노드로 설계된 전자 장치(100)는 복수의 노드들로 설계된 방식에 비해 관리가 용이하고, 비용이 낮으며, 성능이 높을 수 있다. 전자 장치(100)는 이종 하드웨어 타입의 가속기들(120)을 단일 노드로 포함함으로써, 각 가속기들(120)이 가지는 장점들을 활용한 고성능과 유연성을 가질 수 있다. 이를테면, 전자 장치(100)는 가속기들(120)을 활용하여 뉴럴 네트워크에 기반한 워크로드(또는, 응용 프로그램 등)를 분산 처리할 수 있다.
호스트 프로세서(110)는 전자 장치(100) 및 전자 장치(100)에 포함된 컴포넌트들의 동작을 제어하는 디바이스로서, 예를 들어, CPU를 포함할 수 있다. 호스트 프로세서(110)는 전자 장치(100)의 운영체제(operating system)에 따라 전자 장치(100)에 포함된 다양한 구성요소들의 동작을 제어할 수 있다. 예를 들어, 호스트 프로세서(110)는 뉴럴 네트워크를 하나 이상의 가속기들에서 실행시키기 위한 하나 이상의 요청이 수신되면 해당 요청에 대응하는 명령어를 컨트롤 유닛(130)을 통해 하나 이상의 가속기들로 전달할 수 있다. 요청은 뉴럴 네트워크에 대한 학습이나 뉴럴 네트워크에 기반한 추론을 위한 것일 수 있다. 뉴럴 네트워크는 예를 들어, 패턴 인식(예: 객체 인식, 얼굴 식별 등), 시퀀스 인식(예: 음성, 제스처, 필기 텍스트 인식, 기계 번역, 기계 통역 등), 제어(예: 차량 제어, 프로세스 제어 등), 추천 서비스, 의사 결정, 의료 진단, 금융 어플리케이션, 데이터 마이닝 등을 수행하는 모델을 포함할 수 있으나, 뉴럴 네트워크의 예시가 이에 한정되는 것은 아니다.
호스트 프로세서(110)는 가속기들(120)에 대한 관리 및/또는 제어를 위한 이종 하드웨어 매니저(111)를 포함할 수 있다. 이종 하드웨어 매니저(111)는 소프트웨어로 구현될 수 있으며, 예를 들어, 프레임워크나 라이브러리 형태를 가질 수 있다. 또한, 호스트 프로세서(110)는 서브-오퍼레이터 생성기(113)를 포함할 수 있다. 서브-오퍼레이터 생성기(113)는 이후에 설명할 서브-오퍼레이터 스케줄링(140)을 위해 오퍼레이터를 복수의 서브-오퍼레이터들로 나누는 소프트웨어일 수 있다.
가속기들(120)은 뉴럴 네트워크를 실행하기 위한 하드웨어 디바이스로, 앞서 설명한 호스트 프로세서(110)와 구별되는 별도의 프로세서일 수 있다. 예를 들어, 가속기들(120)는 ASIC, FPGA, GPU, CPU, NPU, TPU, DSP 중 둘 이상의 조합을 포함할 수 있다.
가속기는 뉴럴 네트워크에 따른 연산들의 특성상 범용의 호스트 프로세서(110)에서 처리되기 보다는 별도의 전용 프로세서(다시 말해, 가속기)에서 처리되는 것이 보다 효율적인 작업이나 연산을 수행할 수 있다. 이때 가속기에 포함된 하나 이상의 프로세싱 엘리먼트들(PEs; Processing Elements) 및 온-칩 메모리가 활용될 수 있다. 예를 들어, 온-칩 메모리는 주소 공간(address space)을 통해 액세스 가능한 스크래치패드 메모리(scratchpad memory), SRAM(Static Random Access Memory) 등을 포함할 수 있다.
뉴럴 네트워크는 복수의 레이어들을 포함한다. 일실시예에서, 뉴럴 네트워크는 입력 레이어, 복수의 히든 레이어들 및 출력 레이어를 포함한다. 각각의 레이어들은 인공 뉴런이라고도 불리는 복수의 노드들을 포함한다. 각 노드는 하나 이상의 입력 및 출력을 가지는 계산 단위를 나타내고, 노드들은 상호 연결될 수 있다. 노드들 간의 연결에는 가중치가 설정될 수 있으며, 이러한 가중치는 조정 또는 변경될 수 있다. 가중치는 연관된 데이터 값을 증폭, 감소 또는 유지시킴으로써 해당 데이터 값이 최종 결과에 미치는 영향도를 결정할 수 있다. 출력 레이어에 포함된 각각의 노드에는 이전 레이어에 포함된 노드들의 가중된 입력들이 입력될 수 있다. 가중된 데이터가 임의의 레이어로부터 다음 레이어로 입력되는 과정을 전파(propagation)라고 지칭할 수 있다.
데이터 저장 장치는 데이터를 저장하는 하드웨어 디바이스로서, 예를 들어, 메모리, 스토리지를 포함할 수 있다. 메모리는 단기 데이터 액세스를 허용하는 하드웨어 디바이스로서, 예를 들어 DRAM을 포함할 수 있다. 스토리지는 장기 데이터 액세스를 허용하는 하드웨어 디바이스로서, 예를 들어 SSD(solid state drive), HDD(hard disk drive)를 포함할 수 있다. 메모리에 저장된 데이터는 해당 데이터의 어드레스에 기반하여 로딩되어 대응하는 프로세서 또는 가속기들(120)에서 처리될 수 있는 반면, 스토리지에 저장된 데이터가 대응하는 프로세서 또는 가속기들(120)에서 처리되기 위해서는 일정한 데이터 가공이 요구될 수 있다. 데이터 저장 장치는 가속기들(120)에서 뉴럴 네트워크에 따른 처리가 수행되는 데 필요한 데이터를 저장할 수 있으며, 데이터 저장 장치에 저장된 데이터는 호스트 프로세서(110)를 통하지 않고 디바이스 간 직접 통신 등을 통해 가속기들(120)로 전달됨으로써, 호스트 프로세서(110)의 부담을 효과적으로 감소시킬 수 있다.
컨트롤 유닛(130)은 호스트 프로세서(110)로부터 수신된 명령어를 각 가속기들(120)의 타입에 따라 변환하여 대응하는 가속기로 전달한다. 앞선 설명처럼, 가속기들(120)은 이종 하드웨어 타입의 디바이스로, 인터페이스 방식에 차이가 있을 수 있으므로, 컨트롤 유닛(130)은 호스트 프로세서(110)로부터 수신된 명령어를 각 가속기에 적합한 인터페이스 형태로 변환하여 해당 가속기로 전달할 수 있다. 다시 말해, 컨트롤 유닛(130)은 이종 디바이스 간 인터페이스 차이를 해결하고, 소프트웨어 상의 디바이스 드라이버 간 통신을 제거할 수 있다. 컨트롤 유닛(130)에 대해서는 도 4를 통해 상세히 설명한다.
인터커넥터 스위치는 호스트 프로세서(110)의 관여 없이 가속기들(120) 간 직접 통신을 관리할 수 있다. 인터커넥터 스위치는 커널 접근 오버헤드를 제거하여 디바이스들 간 인터커넥터 대역폭을 보다 효율적으로 활용 가능한 직접 통신을 가능하게 할 수 있다. 인터커넥터 스위치에 대해서는 도 3을 통해 상세히 설명한다.
서브-오퍼레이션 스케줄링(140)을 통해, 수행하고자 하는 오퍼레이션이 나눠진 서브-오퍼레이션들을 각 특성에 적합한 가속기가 수행하게 함으로써, 전자 장치(100)의 성능을 극대화시킬 수 있다. 서브-오퍼레이션 스케줄링(140)에 대해서는 도 5를 통해 상세히 설명한다.
도 2는 일 실시예에 따른 이종 하드웨어 타입의 가속기들을 설명하기 위한 도면이다.
도 2를 참조하면, 가속기들의 특성을 설명하기 위한 예시가 도시된다.
CPU(210)는 명령어를 해독하고 실행하는 범용의 프로세서로서, 다른 디바이스에 비해 유연성이 높은 반면, 효율성이 낮은 특성을 가질 수 있다.
GPU(220)는 특정 목적(예: 영상 처리 등)을 위한 프로세서로서, CPU(210)보다는 유연성이 낮지만 대체로 다른 디바이스보다는 높은 유연성을 가질 수 있다. GPU(220)는 ASIC(240) 대비 낮은 성능을 보이지만, 프로그램어블(programmable)하여 다양한 분야에 적용될 수 있다. GPU(220)는 특정 함수가 아닌 일반적인 함수들을 대상으로 데이터 경로(data path)를 설계하기 때문에, 다수의 일반적인 ALU(arithmetic logic unit)를 활용하여 다양한 함수를 처리할 수 있다. 다만, GPU(220)가 일반적인 ALU을 이용하여 다양한 함수를 처리할 수 있는 반면, ASIC(240)처럼 특정 함수를 가속하는 디바이스보다는 낮은 성능을 가질 수 있다. 또한, GPU(220)는 GPU(220)에 우호적인(friendly) 함수(또는, 병렬 함수 등)를 효율적으로 가속할 수 있기 때문에, CPU(210)보다는 유연성이 낮을 수 있다.
FPGA(230)는 프로그램이 가능한 비메모리 반도체를 이용한 가속기로서, 회로 변경이 불가능한 일반 반도체와 달리 용도에 맞게 회로가 다시 설계될 수 있다. FPGA(230)는 GPU(220)보다는 유연성이 낮은 반면 효율성이 높은 특징을 가지고, ASIC(240)보다는 유연성이 높은 반면 효율성이 낮은 특징을 가질 수 있다.
ASIC(240)은 특정 용도에 따라 설계된 주문형 반도체를 이용한 가속기로서, 특정 함수에 고도로 최적화되도록 설계될 수 있다. 예를 들어, ASIC(240)은 어플리케이션에서 반복적으로 수행되는 패턴을 가속화할 수 있으며, 다른 가속기들보다 고성능, 고효율, 저전력으로 동작할 수 있다. ASIC(240)은 특정 함수에 대해서는 상당한 효율성을 나타내지만, 다른 함수에 대해서는 적용하기 어렵기 때문에 낮은 유연성을 가질 수 있다. ASIC(240)은 내부 회로에서 다양성(generality)을 희생하는 대신 특정 함수를 최적화시킨 것으로, 임의의 다른 함수에 적용하기 어려울 수 있다. 예를 들어, 뉴럴 네트워크의 경우에는 행렬 곱셈(matrix multiplication)이 연산 시간의 대부분을 차지하기 때문에, 행렬 곱셈을 가속할 수 있는 ASIC이 설계되어 연산에 활용될 수 있다.
앞선 설명처럼, 가속기들의 유연성과 효율성 사이에 트레이드-오프(trade-off)가 존재할 수 있다. 이러한 특성을 이용하여 수행하고자 하는 오퍼레이션을 최적의 가속기로 수행한다면, 전자 장치의 성능을 향상시킬 수 있다. 이를테면, 복잡하고 빈번하게 반복되며, 수행시간이 긴 연산은 ASIC(240)에서 수행되고, 반대로 간단하고 자주 실행되지 않으며, 수행시간이 짧은 연산은 GPU(220) 등에서 수행될 수 있다. 만약 새로운 연산이 요구된다면 우선은 프로그램어블한 GPU(220), FPGA(230)에서 실행하고, 만약 해당 연산이 빈번히 요구되고, 수행시간이 길어진다면 해당 연산에 전용의 ASIC(240)가 새로 제작되어 전자 장치에 추가될 수 있다. 이 경우, 해당 연산을 GPU(220)나 FPGA(230)이 아닌, 새로 추가된 ASIC(240)에서 수행되게끔 함으로써, 전자 장치의 성능을 지속적으로 향상시킬 수 있다. 이러한 과정은 다음과 같이 정리될 수 있다.
단계 1(phase 1)으로, 초기 배치(initial deployment)가 수행될 수 있다. 목표 어플리케이션의 함수 구조 및 수행시간이 프로파일링될 수 있다. 함수들 중에서 비교적 구조적이고, 수행시간이 긴 함수는 ASIC(240)에서 실행되고, 비규칙적이고 수행시간이 짧은 함수는 프로그램어블 가속기에서 실행되도록 결정될 수 있다. 프로그램어블 가속기는 예를 들어, GPU(220), FPGA(230) 및 연산 기능이 추가된 smart NIC(network interface card)를 포함할 수 있다.
단계 2로, 시스템 개선(system refinement)이 수행될 수 있다. 기존 또는 추가 어플리케이션에 대한 함수 구조 및 수행시간이 프로파일링될 수 있다. 이때, 함수들의 수행 비중의 변화에 기반하여 전자 장치에 포함된 가속기들의 타입 비중이 조절될 수 있다. 또한, 새로운 함수가 발견되었다면, 프로파일링을 통해 해당 함수를 지원할 수 있는 최적의 프로그램어블 가속기가 선택될 수 있다.
단계 3으로, 시스템 교체(system replacement)가 수행될 수 있다. 새로운 함수의 복잡성과 반복성 중 하나 또는 둘의 조합에 기반하여 해당 함수를 지원하는 ASIC(240)을 추가할지 여부가 결정될 수 있다. 만약 추가하는 것으로 결정된다면, ASIC(240)이 전자 장치에 추가되어 해당 함수가 실행될 수 있다.
도 3은 일 실시예에 따른 인터커넥트 스위치를 설명하기 위한 도면이다.
도 3을 참조하면, 가속기들 간 직접 통신을 관리하는 인터커넥트 스위치의 동작을 설명하기 위한 예시가 도시된다. 도 3에 도시된 가속기들 A, B는 이종 하드웨어 타입의 디바이스일 수 있다.
제1 케이스(310)는 가속기들 A, B 간 직접 통신을 위해 많은 하드웨어 스택과 소프트웨어 스택을 거쳐야 하는 상황을 나타낼 수 있다. 이종 가속기들을 이용하여 전자 장치를 구성할 경우, 이종 가속기들 간 빈번한 데이터 동기화에 의해 전자 장치의 성능이 제한될 수 있다. 여기서, 동기화는 각 가속기들 A, B이 수행할 함수에 대한 입력과 출력을 전송하는 과정을 나타낼 수 있다. 제1 케이스(310)에서 가속기 A에서 가속기 B로 데이터를 전송하기 위해서는, 인터커넥트 스위치, RC(remote control), 호스트 프로세서와 같은 하드웨어 스택들과 드라이버, 라이브러리, 어플리케이션과 같은 소프트웨어 스택들이 이용되어야 한다. 이러한 긴 데이터 경로로 인해, 상당한 동기화 오버헤드가 발생하고, 인터커넥트 대역폭이 비효율적일 수 있다.
제2 케이스(320)는 가속기들 A, B 간 직접 통신이 인터커넥트 스위치(321)에 의해 수행되는 상황을 나타낼 수 있다. 인터커넥트 스위치(321)는 제1 케이스(310)의 인터커넥트 스위치와 달리, 통신 방식 자체를 직접 제어할 수 있는 연산 능력을 가질 수 있다. 인터커넥트 스위치(321)는 해당 연산 능력을 통해 프로토콜 변환 기능이 구현한 하드웨어 디바이스일 수 있다. 인터커넥트 스위치(321)는 호스트 프로세서나 소프트웨어 스택의 관여 없이 가속기들 A, B 간 직접 통신을 관리 및/또는 지원할 수 있다. 제2 케이스(320)에서는 직접 통신에 인터커넥트 스위치(321)와 실제 통신을 수행하는 가속기들 A, B 외에는 통신에 관여하지 않기 때문에, 데이터 경로가 짧고, 인터커넥트 대역폭이 효율적으로 활용될 수 있다. 또한, 직접 통신에 호스트 프로세서가 관여하지 않으므로, 호스트 프로세서가 다른 작업을 처리하게끔 함으로써 전자 장치의 전체적인 성능 향상을 기대할 수 있다.
도 4는 일 실시예에 따른 컨트롤 유닛을 설명하기 위한 도면이다.
도 4를 참조하면, 컨트롤 유닛을 통해 인터커넥트 대역폭의 효율성이 향상되는 과정을 설명하기 위한 예시가 도시된다. 도 4에 도시된 가속기들 A, B는 이종 하드웨어 타입의 디바이스일 수 있다.
제1 케이스(410)는 다른 인터페이스에 기반한 가속기들 A, B에 명령어(또는, 제어 신호)를 전달하기 위해 많은 하드웨어 스택과 소프트웨어 스택을 거쳐야 하는 상황을 나타낼 수 있다. 예를 들어, NIC은 명령어 큐(command queue) 방식의 인터페이스에 기반하여 동작하고, GPU는 memory mapped IO(input output) 방식의 인터페이스에 기반하여 동작할 수 있다. 서로 상이한 인터페이스에 기반한 가속기들 A, B와 통신을 수행하기 위해서는 인터페이스 번역이 요구되고, 이러한 인터페이스 번역은 호스트 프로세서에 의해 수행될 수 있다. 나아가, 도 4에 도시된 것처럼, 라이브러리, 드라이버와 같은 소프트웨어 스택들과 호스트 프로세서, RC와 같은 하드웨어 스택들이 요구되어, 인터커넥트 대역폭의 활용성 저하가 야기될 수 있다.
제2 케이스(420)는 다른 인터페이스에 기반한 가속기들 A, B에 명령어를 전달하기 위해 컨트롤 유닛(421)이 이용되는 상황을 나타낼 수 있다. 여기서, 명령어는 개별 가속기들 A, B에 제어 신호로 전달되는 다양한 데이터를 포함할 수 있다. 컨트롤 유닛(421)은 제1 케이스(410)의 호스트 프로세서와 구분되는 별도의 연산 능력을 가진 디바이스로서, 내부 로직을 사용하는 하드웨어 제어 장치일 수 있다. 예를 들어, 컨트롤 유닛(421)은 FPGA나 인터커넥트 스위치로 구현될 수 있으나, 컨트롤 유닛(421)의 구현 예시를 제한하는 것은 아니다. 컨트롤 유닛(421)은 호스트 프로세서나 소프트웨어 스택의 관여 없이, 내부 로직을 이용해 앞서 설명한 인터페이스 번역을 수행할 수 있다. 이를테면, 컨트롤 유닛(421)은 도 1의 호스트 프로세서(110)로부터 수신된 명령어에 대해 인터페이스 번역을 수행하고, 그 결과를 대응하는 가속기로 전달할 수 있다. 하드웨어 디바이스인 컨트롤 유닛(421)이 인터페이스 번역을 수행함으로써, 제어 경로(control path)를 단축시키고, 인터커넥트 대역폭의 효율을 향상시켜서, 전자 장치의 전체적인 성능 향상을 기대할 수 있다.
도 5는 일 실시예에 따른 서브-오퍼레이션 스케줄링을 설명하기 위한 도면이다.
도 5를 참조하면, 서브-오퍼레이션 스케줄링을 통해 데이터 통신의 효율성이 향상되는 과정을 설명하기 위한 예시가 도시된다. 도 5에 도시된 인터커넥트 채널 1, 2는 각각 가속기 A와 다른 디바이스(예: 가속기 등) 간 통신 채널을 나타낼 수 있다. 가속기 A에서 동작하는 오퍼레이션은 처리할 데이터를 수신하는 동작, 수신된 데이터를 처리하는 동작 및 처리된 데이터를 전송하는 동작으로 분류될 수 있다.
제1 케이스(510)는 가속기 A에서 수행되는 데이터 수신 동작, 데이터 처리 동작, 데이터 전송 동작이 상이한 시간에서 수행되는 상황을 나타낼 수 있다. 다시 말해, 가속기 A는 데이터 전체를 수신한 뒤에 해당 데이터를 처리하고, 처리가 완료된 후 데이터를 전송할 수 있다. 도 5에서 확인되는 것처럼, 각 동작이 상이한 시간에서 수행됨에 따라 전체적인 오퍼레이션 시간이 상당할 수 있다.
제2 케이스(520)는 가속기 A에서 수행되는 오퍼레이션의 데이터 수신 동작, 데이터 처리 동작, 데이터 전송 동작을 각각 서브-오퍼레이션으로 나누어 스케줄링하는 상황을 나타낼 수 있다. 도 5에서 각 동작에 포함된 복수의 작은 박스들이 각 동작의 서브-오퍼레이션을 나타낼 수 있다. 각 동작이 서브-오퍼레이션으로 분할됨에 따라, 가속기 A는 제1 시점에서 1번째 서브-데이터를 수신하고, 제2 시점에서 1번째 서브-데이터를 처리하며, 제3 시점에서 1번째 처리된 서브-데이터를 전송할 수 있다. 달리 표현하면, 가속기 A는 제3 시점에서 3번째 서브-데이터를 수신하고, 2번째 서브-데이터를 처리하며, 제1 번째 처리된 서브-데이터를 전송할 수 있다. 가속기들 간 인터커넥트는 양방향 채널(bidirectional channel)을 지원하기 때문에, 양방향 대역폭을 활용하여 전자 장치의 전체적인 성능이 향상될 수 있다. 또한, 가속기 A는 데이터 통신과 데이터 처리를 동시에 수행함으로써, 전자 장치의 추가적인 성능이 향상될 수 있다. 이러한 서브-오퍼레이션 스케줄링은 호스트 프로세서의 관여 없이 컨트롤 유닛에 의해 빠르게 제어됨으로써 수행될 수 있다.
일 실시예에 따르면, 컨트롤 유닛은 전자 장치의 구성(configuration)을 확인할 수 있다. 예를 들어, 컨트롤 유닛은 가속기들 간 양방향 채널이 존재하는지 여부, 전자 장치에 포함된 가속기들의 특성 등을 확인할 수 있다. 그리고, 컨트롤 유닛은 수행하고자 하는 오퍼레이션 내 의존성을 확인할 수 있다. 이를테면, 배치(batch) 또는 알고리즘 내 채널 기반으로 수행되는 연산들은 상호 의존성이 없기 때문에, 함께 처리될 수 있다. 그리고, 컨트롤 유닛은 오퍼레이션을 데이터 수신 동작, 데이터 처리 동작 및 데이터 전송 동작으로 나눌 수 있다. 그리고, 컨트롤 유닛은 각 동작을 서브-오퍼레이션으로 나눌 수 있다. 그리고, 컨트롤 유닛은 서브-오퍼레이션들 간 의존성을 나타내는 그래프를 생성할 수 있다. 의존성 그래프는 임의의 서브-오퍼레이션을 수행하기 위해 어느 데이터를 어느 디바이스로부터 입력 받아서 처리한 후 해당 데이터를 어느 디바이스로 전송해야 하는지를 나타내는 그래프일 수 있다. 컨트롤 유닛은 서브-오퍼레이션들 간 의존성(dependency) 및 서브-오퍼레이션들의 특성에 기반하여 서브-오퍼레이션 스케줄링을 수행할 수 있다.
도 6은 일 실시예에 따른 전자 장치의 예시를 나타낸 도면이다.
앞서 설명한 전자 장치는 다수의 하드웨어를 이용하는 인공 지능(artificial intelligence), 데이터베이스, 스토리지 시스템 등 연산기와 메모리를 포함한 복수의 노드들을 연결하여 하나의 시스템을 구성하는 다양한 분야에 적용되어 성능을 향상시킬 수 있다.
도 6을 참조하면, 일실시예에 따른 전자 장치는 서버(600)로 구현될 수 있다. 도 6에서는 설명의 편의를 위해 전자 장치가 서버(600)로 도시되어 있으나, 이외에도 다양한 전자 장치의 예시들이 제한 없이 적용될 수 있다.
서버(600)는 호스트 프로세서(610) 및 가속기들(620)을 포함할 수 있다. 호스트 프로세서(610)는 서버(600)의 동작을 관리할 수 있다.
가속기들(620)은 직접 통신으로 데이터를 서로 교환하는 이종 하드웨어 타입의 디바이스일 수 있다. 가속기들(620)은 ASIC, FPGA, GPU, CPU, NPU, TPU, DSP 중 둘 이상의 조합을 포함할 수 있다.
또한, 서버(600)는 호스트 프로세서(610)로부터 수신된 명령어를 각 가속기들(620)의 타입에 따라 변환하여 대응하는 가속기로 전달하는 컨트롤 유닛(도면 미도시)을 더 포함할 수 있다. 컨트롤 유닛은 호스트 프로세서(610) 및 소프트웨어 스택의 관여 없이, 가속기들(620) 간 인터페이스 차이에 기반하여 호스트 프로세서(610)로부터 수신된 명령어에 대해 인터페이스 번역을 수행하여 대응하는 가속기로 전달할 수 있다.
컨트롤 유닛은 각 오퍼레이션을 데이터 수신 동작, 데이터 처리 동작 및 데이터 전송 동작으로 나누고, 데이터 수신 동작, 데이터 처리 동작 및 데이터 전송 동작 각각을 서브-오퍼레이션으로 나누고, 나눠진 서브-오퍼레이션들 간 의존성 및 서브-오퍼레이션들의 특성에 기반하여 서브-오퍼레이션들을 가속기들(620) 중 하나 이상에 대해 스케줄링할 수 있다. 컨트롤 유닛은 서브-오퍼레이션들 중 연산의 복잡성, 반복성, 수행시간 중 하나 또는 둘 이상의 조합에 기초하여 가속기들(620) 중 하나 이상에 대해 스케줄링할 수 있다. 예를 들어, 컨트롤 유닛은 서브-오퍼레이션들 중 구조적이고, 수행 시간이 긴 것을 ASIC에 할당하고, 비 규칙적이고, 수행 시간이 짧은 것을 프로그램어블 가속기에 할당할 수 있다.
또한, 서버(600)는 호스트 프로세서(610) 및 소프트웨어 스택의 관여 없이 가속기들(620) 간 직접 통신을 관리하는 인터커넥트 스위치(도면 미도시)를 더 포함할 수 있다.
그 밖에, 서버(600)에 관해서는 상술된 동작을 처리할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 전자 장치에 있어서,
    상기 전자 장치의 동작을 관리하는 호스트 프로세서;
    직접 통신으로 데이터를 서로 교환하는 이종 하드웨어 타입(heterogeneous hardware type)의 가속기들; 및
    상기 호스트 프로세서로부터 수신된 명령어를 각 가속기들의 타입에 따라 변환하여 대응하는 가속기로 전달하는 컨트롤 유닛
    을 포함하는
    전자 장치.
  2. 제1항에 있어서,
    상기 호스트 프로세서 및 소프트웨어 스택의 관여 없이 상기 가속기들 간 직접 통신을 관리하는 인터커넥트 스위치(interconnect switch)
    를 더 포함하는
    전자 장치.
  3. 제1항에 있어서,
    상기 컨트롤 유닛은
    상기 호스트 프로세서 및 소프트웨어 스택의 관여 없이, 상기 가속기들 간 인터페이스 차이에 기반하여 상기 호스트 프로세서로부터 수신된 명령어에 대해 인터페이스 번역(interface translation)을 수행하여 대응하는 가속기로 전달하는,
    전자 장치.
  4. 제1항에 있어서,
    상기 컨트롤 유닛은
    각 오퍼레이션을 데이터 수신 동작, 데이터 처리 동작 및 데이터 전송 동작으로 나누고,
    상기 데이터 수신 동작, 상기 데이터 처리 동작 및 상기 데이터 전송 동작 각각을 서브-오퍼레이션(sub-operation)으로 나누고,
    상기 나눠진 서브-오퍼레이션들 간 의존성(dependency) 및 상기 서브-오퍼레이션들의 특성에 기반하여 상기 서브-오퍼레이션들을 상기 가속기들 중 하나 이상에 대해 스케줄링하는,
    전자 장치.
  5. 제4항에 있어서,
    상기 컨트롤 유닛은
    상기 서브-오퍼레이션들 중 연산의 복잡성, 반복성, 수행시간 중 하나 또는 둘 이상의 조합에 기초하여 상기 가속기들 중 하나 이상에 대해 스케줄링하는,
    전자 장치.
  6. 제1항에 있어서,
    상기 가속기들은
    ASIC(application specific integrated circuit), FPGA(field programmable gate array), GPU(graphic processing unit), CPU(central processing unit), NPU(neural processing unit), TPU(tensor processing unit), DSP(digital signal processor) 중 둘 이상의 조합을 포함하는,
    전자 장치.
  7. 전자 장치에 있어서,
    상기 전자 장치의 동작을 관리하는 호스트 프로세서;
    직접 통신으로 데이터를 서로 교환하는 이종 하드웨어 타입의 가속기들; 및
    상기 호스트 프로세서 및 소프트웨어 스택의 관여 없이 상기 가속기들 간 직접 통신을 관리하는 인터커넥트 스위치
    를 포함하는
    전자 장치.
  8. 제7항에 있어서,
    상기 호스트 프로세서로부터 수신된 명령어를 각 가속기들의 타입에 따라 변환하여 대응하는 가속기로 전달하는 컨트롤 유닛
    를 더 포함하는
    전자 장치.
  9. 제8항에 있어서,
    상기 컨트롤 유닛은
    상기 호스트 프로세서 및 소프트웨어 스택의 관여 없이, 상기 가속기들 간 인터페이스 차이에 기반하여 상기 호스트 프로세서로부터 수신된 명령어에 대해 인터페이스 번역(interface translation)을 수행하여 대응하는 가속기로 전달하는,
    전자 장치.
  10. 제8항에 있어서,
    상기 컨트롤 유닛은
    각 오퍼레이션을 데이터 수신 동작, 데이터 처리 동작 및 데이터 전송 동작으로 나누고,
    상기 데이터 수신 동작, 상기 데이터 처리 동작 및 출력 데이터 전송 동작 각각을 서브-오퍼레이션(sub-operation)으로 나누고,
    상기 나눠진 서브-오퍼레이션들 간 의존성(dependency) 및 상기 서브-오퍼레이션들의 특성에 기반하여 상기 서브-오퍼레이션들을 상기 가속기들 중 하나 이상에 대해 스케줄링하는,
    전자 장치.
  11. 제10항에 있어서,
    상기 컨트롤 유닛은
    상기 서브-오퍼레이션들 중 연산의 복잡성, 반복성, 수행시간 중 하나 또는 둘 이상의 조합에 기초하여 상기 가속기들 중 하나 이상에 대해 스케줄링하는,
    전자 장치.
  12. 제8항에 있어서,
    상기 가속기들은
    ASIC(application specific integrated circuit), FPGA(field programmable gate array), GPU(graphic processing unit), CPU(central processing unit) 중 둘 이상의 조합을 포함하는,
    전자 장치.
  13. 전자 장치에 있어서,
    상기 전자 장치의 동작을 관리하는 호스트 프로세서;
    직접 통신으로 데이터를 서로 교환하는 이종 하드웨어 타입(heterogeneous hardware type)의 가속기들; 및
    상기 가속기들에서 실행하고자 하는 오퍼레이션에 대해 상기 가속기들을 스케줄링하는 컨트롤 유닛
    을 포함하고,
    상기 컨트롤 유닛은
    상기 오퍼레이션을 데이터 수신 동작, 데이터 처리 동작 및 데이터 전송 동작으로 나누고,
    상기 데이터 수신 동작, 상기 데이터 처리 동작 및 상기 데이터 전송 동작 각각을 서브-오퍼레이션으로 나누고,
    상기 나눠진 서브-오퍼레이션들 간 의존성 및 상기 서브-오퍼레이션들의 특성에 기반하여 상기 서브-오퍼레이션들을 상기 가속기들 중 하나 이상에 대해 스케줄링하는,
    전자 장치.
  14. 제13항에 있어서,
    상기 컨트롤 유닛은
    상기 호스트 프로세서로부터 수신된 명령어를 각 가속기들의 타입에 따라 변환하여 대응하는 가속기로 전달하는,
    전자 장치.
  15. 제13항에 있어서,
    상기 호스트 프로세서 및 소프트웨어 스택의 관여 없이 상기 가속기들 간 직접 통신을 관리하는 인터커넥트 스위치
    를 더 포함하는
    전자 장치.
KR1020210028358A 2021-03-03 2021-03-03 이종 하드웨어 타입의 가속기들을 포함한 전자 장치 KR20220124551A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210028358A KR20220124551A (ko) 2021-03-03 2021-03-03 이종 하드웨어 타입의 가속기들을 포함한 전자 장치
US17/402,848 US20220283851A1 (en) 2021-03-03 2021-08-16 Electronic device including accelerators of heterogeneous hardware types

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210028358A KR20220124551A (ko) 2021-03-03 2021-03-03 이종 하드웨어 타입의 가속기들을 포함한 전자 장치

Publications (1)

Publication Number Publication Date
KR20220124551A true KR20220124551A (ko) 2022-09-14

Family

ID=83115722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210028358A KR20220124551A (ko) 2021-03-03 2021-03-03 이종 하드웨어 타입의 가속기들을 포함한 전자 장치

Country Status (2)

Country Link
US (1) US20220283851A1 (ko)
KR (1) KR20220124551A (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101727272B1 (ko) * 2016-01-19 2017-04-17 쉬프트정보통신 주식회사 자바스크립트 언어 기반의 비동기 통신 환경에서 클라이언트와 서버 사이의 대용량 데이터 분할 전송 및 처리 방법
US10310897B2 (en) * 2016-09-30 2019-06-04 Intel Corporation Hardware accelerators and methods for offload operations
CN107798117B (zh) * 2017-11-08 2020-12-04 杭州迪普科技股份有限公司 一种数据存储与读取的方法和装置
US20190303159A1 (en) * 2018-03-29 2019-10-03 Intel Corporation Instruction set architecture to facilitate energy-efficient computing for exascale architectures
CN110231986B (zh) * 2019-06-18 2021-03-02 北京邮电大学 基于多fpga的动态可重配置的多任务调度和放置方法

Also Published As

Publication number Publication date
US20220283851A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
US10942716B1 (en) Dynamic computational acceleration using a heterogeneous hardware infrastructure
US10282659B2 (en) Device for implementing artificial neural network with multiple instruction units
US10902315B2 (en) Device for implementing artificial neural network with separate computation units
US10789544B2 (en) Batching inputs to a machine learning model
US10783436B2 (en) Deep learning application distribution
KR20200092994A (ko) 소프트웨어 정의(software-defined) 양자 컴퓨터
US11609792B2 (en) Maximizing resource utilization of neural network computing system
KR20180070103A (ko) 인식 방법 및 인식 장치
US20210232435A1 (en) Tile subsystem and method for automated data flow and data processing within an integrated circuit architecture
KR20210148586A (ko) 스케줄러, 스케줄러의 동작 방법 및 이를 포함한 가속기 시스템
KR20210021263A (ko) 작업부하의 정적 매핑의 비순차적 파이프라이닝된 실행을 가능하게 하기 위한 방법들 및 장치
KR20210108749A (ko) 가속기, 가속기의 동작 방법 및 이를 포함한 가속기 시스템
KR20220056621A (ko) 매니코어 시스템을 위한 뉴럴 네트워크 모델 처리의 병렬화 방법 및 장치
EP3779778A1 (en) Methods and apparatus to enable dynamic processing of a predefined workload
US11221979B1 (en) Synchronization of DMA transfers for large number of queues
KR20220102399A (ko) 호스트 박스와 하나 이상의 확장 박스들을 포함한 전자 장치
US20190272460A1 (en) Configurable neural network processor for machine learning workloads
KR20220124551A (ko) 이종 하드웨어 타입의 가속기들을 포함한 전자 장치
KR101620896B1 (ko) 이기종 프로세싱 타입을 고려한 맵리듀스 프로그램 모델의 수행 성능 향상 방법, 수행 성능 향상 장치 및 수행 성능 향상 시스템
US11847507B1 (en) DMA synchronization using alternating semaphores
US11704562B1 (en) Architecture for virtual instructions
KR20220107616A (ko) 추론 태스크들을 병렬적으로 처리하는 가속기 및 이의 동작 방법
KR20210103367A (ko) 가속기, 가속기의 동작 방법 및 이를 포함한 전자 장치
Nayak et al. Mapping of independent tasks in the cloud computing environment
KR20200110092A (ko) 복수의 뉴럴 네트워크들을 실행하기 위한 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination