KR20230136154A

KR20230136154A - 뉴럴 프로세서 회로에 대한 분기 동작

Info

Publication number: KR20230136154A
Application number: KR1020237028480A
Authority: KR
Inventors: 케네스 더블유. 워터스; 크리스토퍼 엘. 밀스
Original assignee: 애플 인크.
Priority date: 2021-01-22
Filing date: 2022-01-11
Publication date: 2023-09-26
Also published as: DE112022000723T5; CN116762084A; WO2022159300A1; US20220237439A1

Abstract

뉴럴 프로세서는 하나 이상의 태스크들에 대응하는 입력 데이터에 대해 콘볼루션 동작들을 수행하여 출력 데이터를 생성하기 위한 뉴럴 엔진들을 포함한다. 뉴럴 프로세서 회로는 또한 하나 이상의 뉴럴 엔진에 커플링된 데이터 프로세서 회로를 포함한다. 데이터 프로세서 회로는 뉴럴 엔진으로부터 출력 데이터를 수신하고, 출력 데이터로부터 분기 커맨드를 생성한다. 뉴럴 프로세서 회로는 데이터 프로세서 회로에 커플링된 태스크 관리자를 추가로 포함한다. 태스크 관리자는 데이터 프로세서 회로로부터 분기 커맨드를 수신한다. 태스크 관리자는 수신된 분기 커맨드에 따라 2개 이상의 세그먼트 분기들 중 하나를 인큐잉한다. 2개 이상의 세그먼트 분기들은 분기-전 태스크를 포함하는 분기-전 태스크 세그먼트에 후속한다. 태스크 관리자는 세그먼트 분기들 중 선택된 하나로부터 데이터 프로세서 회로로 태스크를 송신하여 태스크를 수행한다.

Description

뉴럴 프로세서 회로에 대한 분기 동작

본 발명은 뉴럴 네트워크들에 관련된 동작들을 수행하기 위한 회로에 관한 것으로, 더 구체적으로는, 뉴럴 프로세서(neural processor, NP) 회로들에서의 태스크 세그먼트들의 분기 및 선택에 관련된 동작들에 관한 것이다.

인공 뉴럴 네트워크(artificial neural network, ANN)는 입력 데이터를 프로세싱하기 위해, 연결된 노드들의 집합을 사용하는 컴퓨팅 시스템 또는 모델이다. ANN은 전형적으로, 상이한 계층들이 그들의 입력에 대해 상이한 타입의 변환을 수행하는 계층들로 구성된다. ANN의 확장들 또는 변형들, 이를테면, 콘볼루션 뉴럴 네트워크(convolution neural network, CNN), 순환 뉴럴 네트워크(recurrent neural network, RNN)들, 및 심층 신뢰 네트워크(deep belief network, DBN)들이 많은 관심을 받게 되었다. 이러한 컴퓨팅 시스템들 또는 모델들은 종종, 승산 및 누산을 포함하는 광범위한 컴퓨팅 동작들을 수반한다. 예컨대, CNN은, 승산 및 누산 동작들로 분해될 수 있는, 입력 데이터와 커널 데이터 사이의 콘볼루션을 주로 사용하는 기계 학습 기법들의 하나의 종류이다.

수행될 동작들 및 입력 데이터의 타입들에 따라, 이들 기계 학습 시스템들 또는 모델들은 상이하게 구성될 수 있다. 그러한 다양한 구성들은, 예컨대, 사전-프로세싱 동작들, 입력 데이터 내의 채널들의 수, 사용될 커널 데이터, 콘볼루션 결과에 적용될 비-선형 함수, 및 다양한 사후-프로세싱 동작들의 적용을 포함할 것이다. 다양한 구성들의 기계 학습 시스템들 또는 모델들을 인스턴스화 및 실행하기 위해 중앙 프로세싱 유닛(central processing unit, CPU) 및 이의 메인 메모리를 사용하는 것은 비교적 용이한데, 그 이유는 그러한 시스템들 또는 모델들이 코드에 대한 단순한 업데이트들로 인스턴스화될 수 있기 때문이다. 그러나, 이들 기계 학습 시스템들 또는 모델들의 다양한 동작들에 대해 단지 CPU에만 의존하는 것은 중앙 프로세싱 유닛(CPU)의 상당한 대역폭을 소비할 뿐만 아니라 전체 전력 소비를 증가시킬 것이다.

기계 학습 모델들과 관련된 계산(computation)들을 수행하는 데 특화된 뉴럴 프로세서가 구비된 전자 디바이스들이 점점 더 보편화되고 있다. 다양한 소프트웨어 애플리케이션들에서의 인공 지능에 대한 증가된 의존성으로 인해, 전자 디바이스는 종종 하나 이상의 뉴럴 네트워크들을 실행하는 다수의 소프트웨어 애플리케이션들을 동작시킨다.

실시예들은, 분기-전 태스크에 대응하는 입력 데이터에 대해 콘볼루션 동작들을 수행하여 출력 데이터를 생성하기 위한 하나 이상의 뉴럴 엔진 회로들을 포함하는 뉴럴 프로세서 회로에 관한 것이다. 뉴럴 프로세서 회로는 또한 하나 이상의 뉴럴 엔진 회로들에 커플링된 데이터 프로세서 회로를 포함한다. 데이터 프로세서 회로는 뉴럴 엔진 회로들로부터 출력 데이터를 수신하고, 출력 데이터로부터 분기 커맨드를 생성한다. 뉴럴 프로세서 회로는 데이터 프로세서 회로에 커플링된 태스크 관리자 회로를 추가로 포함한다. 태스크 관리자 회로는 데이터 프로세서 회로로부터 분기 커맨드를 수신한다. 태스크 관리자 회로는 수신된 분기 커맨드에 따라 2개 이상의 세그먼트 분기들 중 하나를 인큐잉(enqueuing)한다. 2개 이상의 세그먼트 분기들은 분기-전 태스크를 포함하는 분기-전 태스크 세그먼트에 후속한다. 태스크 관리자 회로는 세그먼트 분기들 중 선택된 하나로부터 데이터 프로세서 회로로 태스크를 송신하여 태스크를 수행한다.

도 1은 일 실시예에 따른 전자 디바이스의 고레벨 도면이다.
도 2는 일 실시예에 따른 전자 디바이스 내의 컴포넌트들을 예시하는 블록도이다.
도 3은 일 실시예에 따른 뉴럴 프로세서 회로를 예시하는 블록도이다.
도 4는 일 실시예에 따른 뉴럴 프로세서 회로 내의 뉴럴 엔진의 블록도이다.
도 5는 일 실시예에 따른 뉴럴 프로세서 회로 내의 평면 엔진(planar engine, PE)의 블록도이다.
도 6은 일 실시예에 따른, 뉴럴 프로세서 회로의 컴포넌트들을 구성하기 위한 데이터 흐름 제어 회로 및 래스터라이저(rasterizer)들의 프로그래밍을 예시하는 도면이다.
도 7은 일 실시예에 따른, 태스크들의 리스트에 의해 표현되는 뉴럴 네트워크를 예시하는 개략적인 블록도이다.
도 8은 일 실시예에 따른 뉴럴 프로세서 회로에서의 태스크들의 실행을 예시하는 타이밍도이다.
도 9는 일 실시예에 따른 데이터 프로세서 회로 내의 데이터 제어 회로의 블록도이다.
도 10은 일 실시예에 따른 뉴럴 프로세서 회로 내의 뉴럴 태스크 관리자의 블록도이다.
도 11a는 일 실시예에 따른 하나 이상의 뉴럴 네트워크 표현들을 예시하는 블록도이다.
도 11b는 일 실시예에 따른 하나 이상의 태스크 큐들을 예시하는 블록도이다.
도 12는 일 실시예에 따른 태스크 디스크립터를 예시하는 블록도이다.
도 13은 일 실시예에 따른 분기 프로세스를 예시하는 블록도이다.
도 14는 일 실시예에 따른, 분기를 이용하여 뉴럴 프로세싱 동작들을 수행하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도면들은 오로지 예시의 목적을 위해 다양한 비제한적 실시예들을 도시하고 발명을 실시하기 위한 구체적인 내용은 오로지 예시의 목적을 위해 다양한 비제한적 실시예들을 설명한다.

이제, 실시예들이 상세하게 참조될 것이며, 그 실시예들의 예들이 첨부 도면들에 예시된다. 하기의 상세한 설명에서, 많은 구체적인 상세사항들이 다양하게 설명된 실시예들의 완전한 이해를 제공하기 위해 기재된다. 그러나, 설명된 실시예들은 이러한 구체적인 상세사항들 없이 실시될 수 있다. 다른 예시들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 설명되지 않았다.

본 발명의 실시예들은, 분기에 선택하는 태스크의 출력에 기초하여 2개 이상의 분기 옵션들 중에서 한 분기를 선택하는 태스크 관리자 회로를 포함하는 뉴럴 프로세서에 관한 것이다. 태스크 관리자는 선행 태스크의 결과가 결정된 후에 태스크들의 선택된 분기를 인큐잉한다. 태스크들의 선택된 분기는 분기 결정 태스크를 포함하는 뉴럴 네트워크와는 상이한 뉴럴 네트워크에 할당될 수 있다. 뉴럴 프로세서 레벨 상에서의 분기의 결정은 하나의 뉴럴 네트워크로부터 다른 뉴럴 네트워크로 전이하는 것의 레이턴시를 감소시키며, 그에 의해 뉴럴 프로세서의 동작을 가속시킨다.

예시적인 전자 디바이스

전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 기술된다. 일부 실시예들에서, 디바이스는 PDA(personal digital assistant) 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는 휴대용 통신 디바이스, 예컨대 모바일 전화기이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 Apple Inc.로부터의 iPhone®, iPod Touch®, Apple Watch®, 및 iPad® 디바이스들을 제한 없이 포함한다. 웨어러블(wearable)들, 랩톱들 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이 선택적으로 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라, 휴대용 용도를 위해 설계되지 않은 데스크톱 컴퓨터 또는 다른 컴퓨팅 디바이스이다. 일부 실시예들에서, 개시되는 전자 디바이스는 터치 감지형 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치패드)을 포함할 수 있다. 도 1과 관련하여 아래에서 설명되는 예시적인 전자 디바이스(예컨대, 디바이스(100))는 사용자 입력을 수신하기 위한 터치 감지형 표면을 포함할 수 있다. 전자 디바이스는 또한 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들을 포함할 수 있다.

도 1은 일 실시예에 따른 전자 디바이스(100)의 고레벨 도면이다. 디바이스(100)는 "홈" 또는 메뉴 버튼(104)과 같은 하나 이상의 물리적 버튼들을 포함할 수 있다. 메뉴 버튼(104)은, 예를 들어, 디바이스(100) 상에서 실행되는 애플리케이션들의 세트 내의 임의의 애플리케이션으로 내비게이팅하는 데 사용된다. 일부 실시예들에서, 메뉴 버튼(104)은 메뉴 버튼(104) 상의 지문을 식별하는 지문 센서를 포함한다. 지문 센서는 메뉴 버튼(104) 상의 손가락이 디바이스(100)를 잠금해제하기 위해 저장된 지문과 매칭하는 지문을 갖는지의 여부를 결정하는 데 사용될 수 있다. 대안적으로, 일부 실시예들에서, 메뉴 버튼(104)은 터치 스크린 상에 디스플레이된 그래픽 사용자 인터페이스(GUI)에서 소프트 키로서 구현된다.

일부 실시예들에서, 디바이스(100)는 터치 스크린(150), 메뉴 버튼(104), 디바이스의 전원을 온/오프하고 디바이스를 잠그기 위한 푸시 버튼(106), 음량 조절 버튼들(108), 가입자 식별 모듈(SIM) 카드 슬롯(110), 헤드셋 잭(112), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(106)은, 버튼을 누르고 미리정의된 시간 간격 동안 버튼을 누른 상태로 유지함으로써 디바이스 상에서 전원을 턴 온/오프시키고; 버튼을 누르고 미리정의된 시간 간격이 경과하기 전에 버튼을 누름해제함으로써 디바이스를 잠그고/잠그거나; 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하는 데 사용될 수 있다. 대안적인 실시예에서, 디바이스(100)는 또한 마이크로폰(113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력을 수용한다. 디바이스(100)는, 메모리(이는 하나 이상의 컴퓨터 판독가능 저장 매체들을 포함할 수 있음), 메모리 제어기, 하나 이상의 중앙 프로세싱 유닛(CPU)들, 주변기기 인터페이스, RF 회로부, 오디오 회로부, 스피커(111), 마이크로폰(113), 입출력(I/O) 서브시스템, 및 다른 입력 또는 제어 디바이스들을 포함하지만 이들로 제한되지 않는 다양한 컴포넌트들을 포함한다. 디바이스(100)는 하나 이상의 이미지 센서들(164), 하나 이상의 근접 센서들(166), 및 하나 이상의 가속도계들(168)을 포함할 수 있다. 디바이스(100)는 하나 초과의 타입의 이미지 센서들(164)을 포함할 수 있다. 각각의 타입은 하나 초과의 이미지 센서(164)를 포함할 수 있다. 예를 들어, 하나의 타입의 이미지 센서들(164)은 카메라들일 수 있고, 다른 타입의 이미지 센서들(164)은 디바이스(100)에 저장된 하나 이상의 기계 학습 모델들에 의해 수행되는 얼굴 인식을 위한 적외선 센서들일 수 있다. 디바이스(100)는 주변 광 센서, 도트 프로젝터(dot projector) 및 얼굴 인식을 지원할 플러드 조명기(flood illuminator)와 같은 도 1에 도시되지 않은 컴포넌트들을 포함할 수 있다.

디바이스(100)는 전자 디바이스의 일례일 뿐이고, 디바이스(100)는 위에 열거된 것보다 더 많거나 더 적은 컴포넌트들을 가질 수 있으며, 이들 중 일부는 컴포넌트로 조합될 수 있거나 상이한 구성 또는 배열을 가질 수 있다. 위에 열거된 디바이스(100)의 다양한 컴포넌트들은, 하나 이상의 신호 프로세싱 및/또는 주문형 집적 회로(application specific integrated circuit, ASIC)들을 비롯한, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구체화된다.

도 2는 일 실시예에 따른, 디바이스(100) 내의 컴포넌트들을 예시하는 블록도이다. 디바이스(100)는 하나 이상의 기계 학습 모델들을 구현하는 것을 포함하는 다양한 동작들을 수행할 수 있다. 이러한 목적 및 다른 목적들을 위해, 디바이스(100)는, 다른 컴포넌트들 중에서도, 이미지 센서들(202), SOC(system-on-a chip) 컴포넌트(204), 시스템 메모리(230), 영구적 저장소(예컨대, 플래시 메모리)(228), 모션 센서(234), 및 디스플레이(216)를 포함할 수 있다. 도 2에 예시된 바와 같은 컴포넌트들은 단지 예시적인 것이다. 예를 들어, 디바이스(100)는 도 2에 예시되지 않은 다른 컴포넌트들(예컨대, 스피커 또는 마이크로폰)을 포함할 수 있다. 또한, 일부 컴포넌트들(예컨대, 모션 센서(234))은 디바이스(100)로부터 생략될 수 있다.

이미지 센서(202)는 이미지 데이터를 캡처하기 위한 컴포넌트이고, 예컨대, CMOS(complementary metal-oxide-semiconductor) 능동 픽셀 센서, 카메라, 비디오 카메라, 또는 다른 디바이스들로서 구체화될 수 있다. 이미지 센서(202)는 추가적인 프로세싱을 위해 SOC 컴포넌트(204)로 전송되는 원시 이미지 데이터를 생성한다. 일부 실시예들에서, SOC 컴포넌트(204)에 의해 프로세싱된 이미지 데이터는 디스플레이(216) 상에 디스플레이되거나, 시스템 메모리(230) 및 영구적 저장소(228)에 저장되거나, 네트워크 연결을 통해 원격 컴퓨팅 디바이스로 전송된다. 이미지 센서(202)에 의해 생성된 원시 이미지 데이터는 베이어(Bayer) 컬러 커널 어레이(color kernel array, CFA) 패턴일 수 있다.

모션 센서(234)는 디바이스(100)의 모션을 감지하기 위한 컴포넌트 또는 컴포넌트들의 세트이다. 모션 센서(234)는 디바이스(100)의 배향 및/또는 가속도를 나타내는 센서 신호들을 생성할 수 있다. 센서 신호들은 디바이스(100)를 턴온시키는 것 또는 디스플레이(216) 상에 디스플레이된 이미지들을 회전시키는 것과 같은 다양한 동작들을 위해 SOC 컴포넌트(204)로 전송된다.

디스플레이(216)는 SOC 컴포넌트(204)에 의해 생성된 바와 같은 이미지들을 디스플레이하기 위한 컴포넌트이다. 디스플레이(216)는, 예를 들어, 액정 디스플레이(liquid crystal display, LCD) 디바이스 또는 유기 발광 다이오드(organic light-emitting diode, OLED) 디바이스를 포함할 수 있다. SOC 컴포넌트(204)로부터 수신된 데이터에 기초하여, 디스플레이(116)는 메뉴들, 선택된 동작 파라미터들, 이미지 센서(202)에 의해 캡처되고 SOC 컴포넌트(204)에 의해 프로세싱된 이미지들, 및/또는 디바이스(100)의 사용자 인터페이스로부터 수신된 다른 정보(도시되지 않음)와 같은 다양한 이미지들을 디스플레이할 수 있다.

시스템 메모리(230)는 SOC 컴포넌트(204)에 의해 실행될 명령어들을 저장하기 위한 그리고 SOC 컴포넌트(204)에 의해 프로세싱되는 데이터를 저장하기 위한 컴포넌트이다. 시스템 메모리(230)는, 예를 들어, 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 이중 데이터 레이트(double data rate)(DDR, DDR2, DDR3 등), 램버스 DRAM(RAMBUS DRAM, RDRAM), 정적 RAM(static RAM, SRAM), 또는 이들의 조합을 포함하는 임의의 타입의 메모리로서 구체화될 수 있다.

영구적 저장소(228)는 데이터를 비휘발성 방식으로 저장하기 위한 컴포넌트이다. 영구적 저장소(228)는 전력이 이용가능하지 않을 때에도 데이터를 유지한다. 영구적 저장소(228)는 판독 전용 메모리(ROM), 플래시 메모리 또는 다른 비휘발성 랜덤 액세스 메모리 디바이스들로서 구체화될 수 있다. 영구적 저장소(228)는 디바이스(100)의 운영 체제 및 다양한 소프트웨어 애플리케이션들을 저장한다. 영구적 저장소(228)는 또한 회귀 모델들, 랜덤 포레스트 모델(random forest model)들과 같은 하나 이상의 기계 학습 모델들, 커널 SVM(support vector machine)들과 같은 SVM들, 및 콘볼루션 뉴럴 네트워크(CNN)들, 순환 뉴럴 네트워크(RNN)들과 같은 인공 뉴럴 네트워크(ANN)들, 자동인코더, 및 장단기 메모리(long short term memory, LSTM)를 저장할 수 있다. 기계 학습 모델은 뉴럴 프로세서 회로(218) 및 디바이스(100)의 다양한 소프트웨어 애플리케이션들 또는 센서들과 함께 작동하는 독립적인 모델일 수 있다. 기계 학습 모델은 또한 소프트웨어 애플리케이션의 일부일 수 있다. 기계 학습 모델들은 얼굴 인식, 이미지 분류, 객체, 개념, 및 정보 분류, 스피치 인식, 기계 변환, 음성 인식, 음성 커맨드 인식, 텍스트 인식, 텍스트 및 콘텍스트 분석, 다른 자연 언어 프로세싱, 예측, 및 추천과 같은 다양한 태스크들을 수행할 수 있다.

디바이스(100)에 저장된 다양한 기계 학습 모델들은 완전히 훈련되거나, 훈련되지 않거나, 또는 부분적으로 훈련되어, 디바이스(100)가 사용됨에 따라, 디바이스(100)가 기계 학습 모델들을 보강하거나 계속해서 훈련하는 것을 허용할 수 있다. 기계 학습 모델들의 동작들은, 모델들을 훈련시키고 모델들을 사용하여 런타임 내에 결과를 결정하는 데 사용되는 다양한 계산들을 포함한다. 예를 들어, 하나의 사례에서, 디바이스(100)는 사용자의 얼굴 이미지들을 캡처하고 이미지들을 사용하여 디바이스(100)를 잠금 또는 잠금해제하는 데 사용되는 기계 학습 모델을 계속해서 개선한다.

SOC 컴포넌트(204)는 하나 이상의 집적 회로(IC) 칩으로서 구체화되고, 다양한 데이터 프로세싱 프로세스들을 수행한다. SOC 컴포넌트(204)는, 다른 서브컴포넌트들 중에서도, 이미지 신호 프로세서(image signal processor, ISP)(206), 중앙 프로세서 유닛(CPU)(208), 네트워크 인터페이스(210), 센서 인터페이스(212), 디스플레이 제어기(214), 뉴럴 프로세서 회로(218), 그래픽 프로세서(graphics processor, GPU)(220), 메모리 제어기(222), 비디오 인코더(224), 저장소 제어기(226), 및 이러한 서브컴포넌트들을 연결시키는 버스(232)를 포함할 수 있다. SOC 컴포넌트(204)는 도 2에 도시된 것들보다 더 많거나 더 적은 서브컴포넌트들을 포함할 수 있다.

ISP(206)는 이미지 프로세싱 파이프라인의 다양한 스테이지들을 수행하는 회로이다. 일부 실시예들에서, ISP(206)는 이미지 센서(202)로부터 원시 이미지 데이터를 수신할 수 있고, 원시 이미지 데이터를, 디바이스(100)의 컴포넌트들 또는 SOC 컴포넌트(204)의 다른 서브컴포넌트들에 의해 사용가능한 형태로 프로세싱할 수 있다. ISP(206)는 이미지 변환 동작들, 수평 및 수직 스케일링, 색공간 변환 및/또는 이미지 안정화 변환들과 같은 다양한 이미지 조작 동작들을 수행할 수 있다.

CPU(208)는 임의의 적합한 명령어 세트 아키텍처(instruction set architecture, ISA)를 사용하여 구체화될 수 있고, 그 명령어 세트 아키텍처 내에 정의된 명령어들을 실행시키도록 구성될 수 있다. CPU(208)는 다양한 명령어 세트 아키텍처(ISA)들 중 임의의 것, 예컨대 x86, PowerPC, SPARC, RISC, ARM 또는 MIPS ISA들, 또는 임의의 다른 적합한 ISA를 사용하는 범용 또는 임베디드 프로세서(embedded processor)들일 수 있다. 도 2에 단일 CPU가 도시되어 있지만, SOC 컴포넌트(204)는 다수의 CPU들을 포함할 수 있다. 다중프로세서 시스템들에서, CPU들 각각은 보편적으로는 동일한 ISA를 구현할 수 있지만 반드시 그러한 것은 아니다.

그래픽 프로세싱 유닛(GPU)(220)은 그래픽 데이터를 수행하기 위한 그래픽 프로세싱 회로부이다. 예를 들어, GPU(220)는 프레임 버퍼(예컨대, 전체 프레임에 대한 픽셀 데이터를 포함하는 것) 내에 디스플레이될 객체들을 렌더링(rendering)할 수 있다. GPU(220)는 그래픽 동작의 일부 또는 전부, 또는 소정 그래픽 동작들의 하드웨어 가속을 수행하도록 그래픽 소프트웨어를 실행시킬 수 있는 하나 이상의 그래픽 프로세서들을 포함할 수 있다.

뉴럴 프로세서 회로(218)는 승산, 가산, 및 누산을 포함하는 계산에 기초하여 다양한 기계 학습 동작들을 수행하는 회로이다. 그러한 계산은 예를 들어, 입력 데이터와 커널 데이터의 텐서 곱(tensor product) 및 콘볼루션과 같은 다양한 타입들의 텐서 승산들을 수행하도록 배열될 수 있다. 뉴럴 프로세서 회로(218)는 CPU(208)로부터 뉴럴 네트워크 동작들과 연관된 자원-집약적 동작들을 완화시키면서 고속 및 전력-효율적인 방식으로 이들 동작들을 수행하는 구성가능 회로이다. 뉴럴 프로세서 회로(218)는 센서 인터페이스(212), 이미지 신호 프로세서(206), 영구적 저장소(228), 시스템 메모리(230), 또는 다른 소스들, 이를테면 네트워크 인터페이스(210) 또는 GPU(220)로부터 입력 데이터를 수신할 수 있다. 뉴럴 프로세서 회로(218)의 출력은, 다양한 동작들을 위해, 디바이스(100)의 다양한 컴포넌트들, 이를테면, 이미지 신호 프로세서(206), 시스템 메모리(230), 또는 CPU(208)에 제공될 수 있다. 뉴럴 프로세서 회로(218)의 구조 및 동작은 도 3을 참조하여 아래에서 상세히 설명된다.

네트워크 인터페이스(210)는 하나 이상의 네트워크들(예컨대, 캐리어 또는 에이전트 디바이스들)을 통해 데이터가 디바이스들(100)과 다른 디바이스들 사이에서 교환될 수 있게 하는 서브컴포넌트이다. 예를 들어, 비디오 또는 다른 이미지 데이터는 네트워크 인터페이스(210)를 통해 다른 디바이스들로부터 수신될 수 있고, (예컨대, 이미지 신호 프로세서(206)에 대한 백엔드 인터페이스를 통한) 후속 프로세싱 및 디스플레이를 위해 시스템 메모리(230)에 저장될 수 있다. 네트워크들은 근거리 통신망(Local Area Network, LAN)들(예컨대, 이더넷(Ethernet) 또는 기업 네트워크(corporate network)) 및 광역 통신망(WAN)들을 포함할 수 있지만, 이들로 제한되지 않는다. 네트워크 인터페이스(210)를 통해 수신된 이미지 데이터는 ISP(206)에 의해 이미지 프로세싱 프로세스들을 겪을 수 있다.

센서 인터페이스(212)는 모션 센서(234)와 인터페이싱(interfacing)하기 위한 회로부이다. 센서 인터페이스(212)는 모션 센서(234)로부터 센서 정보를 수신하고, 센서 정보를 프로세싱하여 디바이스(100)의 배향 또는 이동을 결정한다.

디스플레이 제어기(214)는 디스플레이(216) 상에 디스플레이될 이미지 데이터를 전송하기 위한 회로부이다. 디스플레이 제어기(214)는 ISP(206), CPU(208), 그래픽 프로세서 또는 시스템 메모리(230)로부터 이미지 데이터를 수신하고, 이미지 데이터를 디스플레이(216) 상에 디스플레이하기에 적합한 포맷으로 프로세싱한다.

메모리 제어기(222)는 시스템 메모리(230)와 통신하기 위한 회로부이다. 메모리 제어기(222)는 ISP(206), CPU(208), GPU(220) 또는 SOC 컴포넌트(204)의 다른 서브컴포넌트들에 의한 프로세싱을 위해 시스템 메모리(230)로부터 데이터를 판독할 수 있다. 메모리 제어기(222)는, 또한, SOC 컴포넌트(204)의 다양한 서브컴포넌트들로부터 수신된 데이터를 시스템 메모리(230)에 기입할 수 있다.

비디오 인코더(224)는, 영구적 저장소(128)에 저장하기에 적합한 포맷으로 비디오 데이터를 인코딩하기 위한, 또는 네트워크를 통한 다른 디바이스로의 송신을 위해 데이터를 네트워크 인터페이스(210)에 전달하기 위한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합이다.

일부 실시예들에서, SOC 컴포넌트(204)의 하나 이상의 서브컴포넌트들 또는 이러한 서브컴포넌트들의 일부 기능은 뉴럴 프로세서 회로(218), ISP(206), CPU(208) 또는 GPU(220) 상에서 실행되는 소프트웨어 컴포넌트들에 의해 수행될 수 있다. 그러한 소프트웨어 컴포넌트들은 시스템 메모리(230), 영구적 저장소(228), 또는 네트워크 인터페이스(210)를 통해 디바이스(100)와 통신하는 다른 디바이스에 저장될 수 있다.

예시적인 뉴럴 프로세서 회로

뉴럴 프로세서 회로(218)는 뉴럴 프로세서 회로(218)의 입력 데이터에 대해 기계 학습 동작들을 수행하는 프로그래밍가능 회로이다. 기계 학습 동작들은 기계 학습 모델의 훈련을 위한 그리고 훈련된 기계 학습 모델에 기초하여 추론 또는 예측을 수행하기 위한 상이한 계산들을 포함할 수 있다.

기계 학습 모델로서 CNN의 예를 취하면, CNN의 훈련은 순방향 전파 및 역전파를 포함할 수 있다. 뉴럴 네트워크는 입력 계층, 출력 계층, 및 은닉 계층들로 지칭될 수 있는 하나 이상의 중간 계층들을 포함할 수 있다. 각각의 계층은 인접한 계층들 내의 다른 노드들에 완전히 또는 부분적으로 연결될 수 있는 하나 이상의 노드들을 포함할 수 있다. 순방향 전파에서, 뉴럴 네트워크는 선행 계층의 출력들에 기초하여 순방향으로 계산을 수행한다. 노드의 동작은 하나 이상의 함수들에 의해 정의될 수 있다. 노드의 동작을 정의하는 함수들은 하나 이상의 커널들과 데이터의 콘볼루션, 계층들의 풀링(pooling), 텐서 승산 등과 같은 다양한 계산적 동작들을 포함할 수 있다. 함수들은 또한 노드의 출력의 가중치(weight)를 조정하는 활성화 함수를 포함할 수 있다. 상이한 계층들의 노드들은 상이한 함수들과 연관될 수 있다. 예를 들어, CNN은 풀링 계층들과 혼합되고 하나 이상의 완전히 연결된 계층들이 뒤따르는 하나 이상의 콘볼루션 계층들을 포함할 수 있다.

기계 학습 모델에서, 커널들을 포함하는 함수들 각각은 훈련 동안 조정가능한 상이한 계수들과 연관될 수 있다. 또한, 뉴럴 네트워크의 노드들 중 일부는 각각 또한, 순방향 전파에서 노드의 출력의 가중치를 결정하는 활성화 함수와 연관될 수 있다. 보편적인 활성화 함수들은 스텝 함수들, 선형 함수들, 시그모이드 함수들, 쌍곡 탄젠트 함수들(tanh), 및 정류된 선형 유닛 함수들(ReLU)을 포함할 수 있다. 순방향 전파에서 트레이닝 샘플들의 데이터의 배치가 뉴럴 네트워크를 통과한 후, 결과들이 트레이닝 샘플들의 트레이닝 라벨들과 비교되어 네트워크의 성능을 나타내는 네트워크의 손실 함수를 계산할 수 있다. 이어서, 뉴럴 네트워크는 손실 함수의 값을 개선하기 위해 확률적 좌표 하강(stochastic coordinate descent, SGD)과 같은 좌표 하강을 사용함으로써 역전파를 수행하여 다양한 함수들에서 계수들을 조정한다.

훈련에서, 디바이스(100)는 순방향 전파 및 역전파에서 동작들 중 전부 또는 일부를 수행하기 위해 뉴럴 프로세서 회로(218)를 사용할 수 있다. 순방향 전파 및 역전파의 다수의 라운드들은 뉴럴 프로세서 회로(218)에 의해 단독으로, 또는 CPU(208), GPU(220), 및 ISP(206)와 같은 다른 프로세서들과 협력하여 수행될 수 있다. 훈련은 손실 함수가 더 이상 개선되지 않을 때(예컨대, 기계 학습 모델이 수렴되었음) 또는 훈련 샘플들의 특정 세트에 대한 미리 결정된 수의 라운드들 후에 완료될 수 있다. 디바이스(100)가 사용됨에 따라, 디바이스(100)는 뉴럴 네트워크에 대한 추가적인 훈련 샘플들을 계속 수집할 수 있다.

예측 또는 추론을 위해, 디바이스(100)는 하나 이상의 입력 샘플들을 수신할 수 있다. 뉴럴 프로세서 회로(218)는 하나 이상의 결과들을 결정하기 위해 입력 샘플들을 취하여 순방향 전파를 수행할 수 있다. 입력 샘플들은 이미지들, 스피치들, 텍스트 파일들, 센서 데이터, 또는 다른 데이터일 수 있다.

기계 학습에서의 데이터 및 함수들(예를 들어, 입력 데이터, 커널들, 함수들, 계층 출력들, 기울기 데이터)은 하나 이상의 텐서들에 의해 저장되고 표현될 수 있다. 기계 학습 모델의 훈련 및 런타임과 관련된 보편적인 동작들은 텐서 곱, 텐서 전치(transpose), 텐서 요소별 동작, 콘볼루션, 활성화 함수의 적용, 기울기를 결정하기 위한 자동 미분, 텐서들의 값들의 통계 및 집계(예컨대, 평균, 분산, 표준 편차), 텐서 랭크 및 크기 조작 등을 포함할 수 있다.

뉴럴 네트워크의 훈련 및 런타임이 예로서 논의되지만, 뉴럴 프로세서 회로(218)는 또한, 커널 SVM과 같은 다른 타입의 기계 학습 모델들의 동작들에 사용될 수 있다. 단순화를 위해, 본 발명은 뉴럴 네트워크들의 동작들을 설명할 수 있지만, 동작들은 또한 다른 타입들의 기계 학습 모델들에 사용될 수 있다.

도 3을 참조하면, 예시적인 뉴럴 프로세서 회로(218)는, 다른 컴포넌트들 중에서도, 뉴럴 태스크 관리자(310), 복수의 뉴럴 엔진들(314A 내지 314N)(이하에서 "뉴럴 엔진(314)"으로 일괄적으로 지칭되고, 또한 "뉴럴 엔진(314)"으로 개별적으로 지칭됨), 커널 다이렉트 메모리 액세스(direct memory access, DMA)(324), 데이터 프로세서 회로(318), 데이터 프로세서 DMA(320), 평면 엔진(340), 및 뉴럴 프로세서(NP) 제어기(350)를 포함할 수 있다. 뉴럴 프로세서 회로(218)는 도 3에 예시된 것보다 더 적은 컴포넌트들을 포함할 수 있거나, 도 3에 예시되지 않은 추가적인 컴포넌트들을 포함할 수 있다.

뉴럴 엔진들(314) 각각은 기계 학습을 위한 컴퓨팅 동작들을 병렬로 수행한다. 동작의 부하에 따라, 뉴럴 엔진들(314)의 전체 세트가 동작하고 있을 수 있거나, 또는 나머지 뉴럴 엔진들(314)이 전력을 보존하기 위해 전력 절약 모드로 배치되면서, 뉴럴 엔진들(314)의 서브세트만이 동작하고 있을 수 있다. 뉴럴 엔진들(314) 각각은, 도 4를 참조하여 아래에서 상세히 설명되는 바와 같이, 하나 이상의 커널들을 저장하기 위한 컴포넌트, 승산-누산 동작들을 수행하기 위한 컴포넌트, 및 출력 데이터(328)를 생성하기 위한 사후-프로세싱을 위한 컴포넌트를 포함한다. 뉴럴 엔진들(314)은 콘볼루션 동작들 및 텐서 곱 동작들과 같은 계산이 많은 동작들을 수행하는 데 특화될 수 있다. 콘볼루션 동작들은 크로스-채널 콘볼루션들(상이한 채널들로부터의 값들을 누산하는 콘볼루션), 채널별 콘볼루션들, 및 전치 콘볼루션들과 같은 상이한 종류들의 콘볼루션들을 포함할 수 있다.

평면 엔진(340)은, 속도가 평면 엔진(340) 내의 계산 속도 대신에 데이터 송신의 입력 및 출력(I/O) 속도에 주로 의존할 수 있는, 더 단순한 컴퓨팅 동작들을 수행하는 데 특화될 수 있다. 이러한 컴퓨팅 동작들은 I/O 바운드 계산(I/O bound computation)들로 지칭될 수 있고, 본 명세서에서 또한 "비-콘볼루션 동작들"로 지칭된다. 대조적으로, 뉴럴 엔진들(314)은 그의 속도가 주로 각각의 뉴럴 엔진(314) 내의 계산 속도에 의존할 수 있는 콘볼루션 동작들과 같은 복잡한 계산에 초점을 맞출 수 있다. 예를 들어, 평면 엔진(340)은 단일 채널 내에서 동작들을 수행하는 데 효율적인 반면, 뉴럴 엔진들(314)은 데이터의 많은 누산을 수반할 수 있는 다수의 채널들에 걸친 동작들을 수행하는 데 효율적이다. I/O 바운드 계산들을 계산하기 위한 뉴럴 엔진(314)의 사용은 속도 및 전력 소비 둘 모두에 관하여 효율적이지 않을 수 있다. 일 실시예에서, 입력 데이터는 랭크가 3 보다 큰 텐서(예컨대, 3 이상의 차원들을 가짐)일 수 있다. 텐서에서 차원들(2 이상)의 세트는 평면으로 지칭될 수 있는 반면, 다른 차원은 채널로 지칭될 수 있다. 뉴럴 엔진들(314)은 텐서 내의 평면의 데이터를 커널과 콘볼루션하고 상이한 채널들에 걸쳐 상이한 평면들의 콘볼루션의 결과들을 누산할 수 있다. 한편, 평면 엔진(340)은 평면 내의 동작들에 특화될 수 있다.

평면 엔진(340)의 회로부는 풀링 모드, 요소별 모드, 및 감소 모드를 포함하는 다수의 모드들 중 하나에서의 동작을 위해 프로그래밍될 수 있다. 풀링 모드에서, 평면 엔진(340)은 입력 데이터의 공간 크기를 감소시킨다. 요소별 모드에서, 평면 엔진(340)은 하나 이상의 입력들의 요소별 동작들로부터 도출되는 출력을 생성한다. 감소 모드에서, 평면 엔진(340)은 텐서의 랭크를 감소시킨다. 예를 들어, 랭크 5 텐서는 랭크 2 텐서로 감소될 수 있거나, 또는 랭크 3 텐서가 랭크 0 텐서(예컨대, 스칼라)로 감소될 수 있다. 평면 엔진(340)의 동작들은 도 5에 관하여 아래에서 더 상세히 논의될 것이다.

뉴럴 태스크 관리자(310)는 뉴럴 프로세서 회로(218)의 전체 동작을 관리한다. 뉴럴 태스크 관리자(310)는 CPU(208)에 의해 실행되는 컴파일러로부터 태스크 리스트를 수신하고, 이의 태스크 큐들에 태스크들을 저장하고, 수행할 태스크를 선택하고, 선택된 태스크를 수행하기 위해 태스크 커맨드(task command)들을 뉴럴 프로세서 회로(218)의 다른 컴포넌트들에 전송할 수 있다. 데이터는 데이터에 대해 수행될 동작들의 타입들을 나타내는 태스크 커맨드와 연관될 수 있다. 뉴럴 프로세서 회로(218)의 데이터는 시스템 메모리(230)와 같은 다른 소스로부터 송신되는 입력 데이터, 및 이전 동작 사이클에서 뉴럴 프로세서 회로(218)에 의해 생성된 데이터를 포함한다. 각각의 데이터세트는 데이터에 대해 수행될 동작들의 타입을 특정하는 태스크 커맨드와 연관될 수 있다. 뉴럴 태스크 관리자(310)는 또한, CPU(208)로부터 명령어들을 수신하는 것과 같은 이벤트들의 검출 시에 태스크들의 스위칭을 수행할 수 있다. 하나 이상의 실시예들에서, 뉴럴 태스크 관리자(310)는, 컴포넌트들 각각이 입력 데이터 및 커널 데이터의 적절한 세그먼트들을 추적, 검색, 또는 프로세싱할 수 있게 하기 위해, 뉴럴 프로세서 회로(218)의 컴포넌트들에 래스터라이저(rasterizer) 정보를 전송한다. 예를 들어, 뉴럴 태스크 관리자(310)는 뉴럴 프로세서 회로(218)에 의한 프로세싱을 위한 데이터세트의 크기 및 랭크에 관한 정보를 저장하는 레지스터들을 포함할 수 있다. 뉴럴 태스크 관리자(310)가 뉴럴 프로세서 회로(218)의 일부로서 도 3에 예시되어 있지만, 뉴럴 태스크 관리자(310)는 뉴럴 프로세서 회로(218) 외부의 컴포넌트일 수 있다.

커널 DMA(324)는 소스(예컨대, 시스템 메모리(230))로부터 커널 데이터를 페치(fetch)하고, 커널 데이터(326A 내지 326N)를 뉴럴 엔진들(314) 각각에 전송하는 판독 회로이다. 커널 데이터는 커널 요소들이 추출될 수 있는 정보를 나타낸다. 일 실시예에서, 커널 데이터는 뉴럴 엔진들(314) 각각에서 압축해제되는 압축된 포맷일 수 있다. 뉴럴 엔진들(314) 각각에 제공되는 커널 데이터가 일부 경우들에서 동일할 수 있지만, 뉴럴 엔진들(314) 각각에 제공되는 커널 데이터는 대부분의 경우들에서 상이하다. 일 실시예에서, 커널 DMA(324)의 다이렉트 메모리 액세스 특성은 커널 DMA(324)가 CPU(208)의 개입 없이 소스로부터 직접 데이터를 페치 및 기입하는 것을 허용할 수 있다.

데이터 프로세서 회로(318)는 뉴럴 프로세서 회로(218)의 데이터 트래픽 및 태스크 성능을 관리한다. 데이터 프로세서 회로(318)는 데이터 제어 회로(332) 및 버퍼(334)를 포함할 수 있다. 버퍼(334)는 뉴럴 프로세서 회로(218)의 동작들과 연관된 데이터, 이를테면 시스템 메모리(230)로부터 송신되는 입력 데이터(예컨대, 기계 학습 모델로부터의 데이터) 및 뉴럴 프로세서 회로(218) 내에서 생성되는 다른 데이터를 저장하기 위한 임시 저장소이다. 입력 데이터는 시스템 메모리(230)로부터 송신될 수 있다. 데이터 프로세서 회로(318)에 저장된 데이터는 뉴럴 엔진들(314) 및 평면 엔진(340)과 같은 다양한 다운스트림 컴포넌트들로 전송되는 상이한 서브세트들을 포함할 수 있다.

일 실시예에서, 버퍼(334)는 뉴럴 엔진들(314) 및 평면 엔진(340)에 의해 액세스될 수 있는 비일시적 메모리로서 구체화된다. 버퍼(334)는, 대응하는 뉴럴 엔진들(314A 내지 314N)에 공급할 입력 데이터(322A 내지 322N)(본 명세서에서 또한 "뉴럴 입력 데이터"로 지칭됨) 및 평면 엔진(340)에 공급할 입력 데이터(342)(본 명세서에서 또한 "평면 입력 데이터"로 지칭됨)뿐만 아니라, 하나 이상의 뉴럴 엔진들(314) 또는 평면 엔진(340)에 다시 공급하거나 타깃 회로(예컨대, 시스템 메모리(230))에 전송할 뉴럴 엔진들(314A 내지 314N) 각각으로부터의 출력 데이터(328A 내지 328N)(본 명세서에서 또한 "뉴럴 출력 데이터"로 지칭됨) 및 평면 엔진(340)으로부터의 출력 데이터(344)(본 명세서에서 또한 "평면 출력 데이터"로 지칭됨)를 저장할 수 있다. 버퍼(334)는 또한 평면 엔진(340)의 입력 데이터(342) 및 출력 데이터(344)를 저장할 수 있고, 뉴럴 엔진(314)과 평면 엔진(340) 사이에서 데이터의 교환을 허용할 수 있다. 예를 들어, 뉴럴 엔진들(314)의 하나 이상의 출력 데이터(328A 내지 328N)는 평면 엔진(340)에 대한 평면 입력 데이터(342)로서 사용된다. 마찬가지로, 평면 엔진(340)의 평면 출력 데이터(344)는 뉴럴 엔진들(314)의 입력 데이터(322A 내지 322N)로서 사용될 수 있다. 뉴럴 엔진들(314) 또는 평면 엔진(340)의 입력들은 버퍼(334)에 저장된 임의의 데이터일 수 있다. 예를 들어, 다양한 동작 사이클들에서, 엔진들 중 하나가 입력들로서 페치되는 소스 데이터세트들은 상이할 수 있다. 엔진의 입력은 이전 사이클들에서 동일한 엔진의 출력, 상이한 엔진들의 출력들, 또는 버퍼(334)에 저장된 임의의 다른 적합한 소스 데이터세트들일 수 있다. 또한, 버퍼(334) 내의 데이터세트는 분할되어 다음 동작 사이클에서 상이한 동작들을 위해 상이한 엔진들로 전송될 수 있다. 버퍼(334) 내의 2개의 데이터세트들이 또한 다음 동작을 위해 조인(join)될 수 있다.

데이터 프로세서 회로(318)의 데이터 제어 회로(332)는 뉴럴 엔진들(314)과 평면 엔진(340) 사이의 데이터의 교환을 제어할 수 있다. 데이터 프로세서 회로(318) 및 뉴럴 프로세서 회로(218)의 다른 컴포넌트들의 동작들은, 데이터 프로세서 회로(318)에 저장된 입력 데이터 및 중간 데이터가 뉴럴 엔진들(314) 및 평면 엔진(340)에서 다수의 동작들에 걸쳐 재사용될 수 있도록 조정되며, 그에 의해 시스템 메모리(230)로의 그리고 그로부터의 데이터 전송을 감소시킨다. 데이터 제어 회로(332)는 다음의 동작들 중 하나 이상을 수행할 수 있다: (i) 뉴럴 엔진들(314) 및 평면 엔진(340)에 의해 프로세싱되고 있는 데이터(예컨대, 데이터는 하나 이상의 텐서들일 수 있음)의 크기 및 랭크를 모니터링하는 것, (ii) 데이터의 상이한 서브세트들과 연관된 태스크 커맨드들에 기초하여 데이터의 어떤 서브세트들이 뉴럴 엔진들(314) 또는 평면 엔진(340)으로 송신되는지를 결정하는 것, (iii) 데이터가 뉴럴 엔진들(314) 및 평면 엔진(340)으로 송신되는 방식을 결정하는 것(예컨대, 데이터 프로세서 회로(318)는, 다수의 또는 모든 뉴럴 엔진들(314)이 동일한 데이터를 수신하도록 동일한 데이터가 뉴럴 엔진들(314)의 다수의 입력 채널들로 공급되는 브로드캐스트 모드에서, 또는 상이한 뉴럴 엔진들(314)이 상이한 데이터를 수신하는 유니캐스트 모드에서 동작할 수 있음), (iv) 평면 엔진(340)에 구성 커맨드를 송신하여 평면 엔진(340)이 다수의 동작 모드들 중 하나에서 동작하기 위해 스스로 프로그래밍하도록 지시하는 것. 데이터 제어 회로(332)의 상세사항들은 도 9를 참조하여 아래에서 상세히 설명된다.

버퍼(334)에 저장된 뉴럴 프로세서 회로(218)의 데이터는, 특히, 이미지 데이터, 기울기 방향성 히스토그램(histogram of oriented gradients, HOG) 데이터, 오디오 데이터, 메타 데이터, 뉴럴 엔진(314)의 이전 사이클의 출력 데이터(328), 및 SOC 컴포넌트(204)의 다른 컴포넌트들로부터 수신된 다른 프로세싱된 데이터의 일부일 수 있다.

데이터 프로세서 DMA(320)는 버퍼(334)에 저장하기 위한 입력 데이터의 일부분을 소스(예를 들어, 시스템 메모리(230))로부터 수신하는 판독 회로, 및 버퍼(334)로부터 타깃 컴포넌트(예컨대, 시스템 메모리)로 데이터를 포워딩(forwarding)하는 기입 회로를 포함한다. 일 실시예에서, 데이터 프로세서 DMA(320)의 다이렉트 메모리 액세스 특성은 데이터 프로세서 DMA(320)가 CPU(208)의 개입 없이 소스(예컨대, 시스템 메모리(230))로부터 직접 데이터를 페치 및 기입하는 것을 허용할 수 있다. 버퍼(334)는 CPU(208)의 개입 없이 디바이스(100)의 기계 학습 모델의 데이터를 저장하는 다이렉트 메모리 액세스 버퍼일 수 있다.

뉴럴 프로세서(NP) 제어기(350)는 뉴럴 프로세서 회로(218)의 전체 동작을 제어하기 위해 다양한 동작들을 수행하는 제어 회로이다. NP 제어기(350)는 CPU(208)와 인터페이싱하고, 뉴럴 프로세서 회로(218)의 컴포넌트들에 레지스터를 설정함으로써 컴포넌트들을 프로그래밍하고, 보조 관리 동작(housekeeping operation)들을 수행할 수 있다. NP 제어기(350)는 또한, 뉴럴 프로세서 회로(218)가 턴온될 때, 뉴럴 프로세서 회로(218) 내의 컴포넌트들을 초기화할 수 있다.

예시적인 뉴럴 엔진 아키텍처

도 4는 일 실시예에 따른 뉴럴 엔진(314)의 블록도이다. 뉴럴 엔진(314)은 기계 학습을 용이하게 하기 위해 콘볼루션, 텐서 곱과 같은 다양한 동작들을 수행하는 회로이고, 다른 동작들은 많은 계산을 수반할 수 있다. 이러한 목적을 위해, 뉴럴 엔진(314)은 입력 데이터(322)를 수신하고, 저장된 커널 데이터에 기초하여 입력 데이터(322)에 대해 승산-누산 동작들(예컨대, 콘볼루션 동작들)을 수행하고, 승산-누산 동작들의 결과에 대해 추가의 사후-프로세싱 동작들을 수행하고, 출력 데이터(328)를 생성한다. 뉴럴 엔진(314)의 입력 데이터(322) 및/또는 출력 데이터(328)는 단일 채널로 이루어지거나 다수의 채널들에 걸쳐 확장될 수 있다.

뉴럴 엔진(314)은, 다른 컴포넌트들 중에서도, 입력 버퍼 회로(402), 계산 코어(416), 뉴럴 엔진(NE) 제어부(418), 커널 추출 회로(432), 누산기(414), 및 출력 회로(424)를 포함할 수 있다. 뉴럴 엔진(314)은 도 4에 도시된 것보다 더 적은 컴포넌트들을 포함할 수 있거나 도 4에 도시되지 않은 추가적인 컴포넌트들을 포함할 수 있다.

입력 버퍼 회로(402)는 데이터의 서브세트가 소스로부터 수신됨에 따라 뉴럴 프로세서 회로(218)의 데이터의 서브세트를 저장하는 회로이다. 소스는 데이터 프로세서 회로(318), 평면 엔진(340), 또는 다른 적합한 컴포넌트일 수 있다. 입력 버퍼 회로(402)는 현재 태스크 또는 프로세스 루프에 대한 데이터의 적절한 부분(408)을 프로세싱을 위해 계산 코어(416)로 전송한다. 입력 버퍼 회로(402)는 계산 코어(416)로 전송되는 데이터의 부분(408)을 변경하기 위해 입력 버퍼 회로(402)의 판독 위치들을 시프팅(shifting)하는 시프터(shifter)(410)를 포함할 수 있다. 시프팅을 통해 계산 코어(416)에 제공되는 입력 데이터의 부분들을 변경함으로써, 뉴럴 엔진(314)은 더 적은 수의 판독 동작들에 기초하여 입력 데이터의 상이한 부분들에 대해 승산-누산을 수행할 수 있다. 하나 이상의 실시예들에서, 뉴럴 프로세서 회로의 데이터(218)는 상이한 콘볼루션 그룹들 및/또는 입력 채널들의 데이터를 포함한다.

커널 추출 회로(432)는, 커널 DMA(324)로부터 커널 데이터(326)를 수신하고, 커널 계수들(422)을 추출하는 회로이다. 일 실시예에서, 커널 추출 회로(432)는 룩업 테이블(lookup table, LUT)을 참조하고, LUT에 기초한 압축된 커널 데이터(326)로부터 커널을 재구성하기 위해 마스크를 사용한다. 마스크는 제로(zero)로 패딩될 재구성된 커널 내의 위치들 및 숫자들로 채워질 나머지 위치들을 나타낸다. 재구성된 커널의 커널 계수들(422)은 계산 코어(416)의 승산-가산(multiply-add, MAD) 회로들에서의 레지스터를 채우기 위해 계산 코어(416)로 전송된다. 다른 실시예들에서, 커널 추출 회로(432)는 비압축 포맷으로 커널 데이터를 수신하고, 커널 계수들은 LUT를 참조하거나 또는 마스크를 사용하지 않으면서 결정된다.

계산 코어(416)는 계산 동작들을 수행하는 프로그래밍가능 회로이다. 이러한 목적을 위해, 계산 코어(416)는 MAD 회로들(MAD0 내지 MADN) 및 사후-프로세서(428)를 포함할 수 있다. MAD 회로들(MAD0 내지 MADN) 각각은 입력 데이터의 부분(408)에서의 입력 값, 및 커널 계수들(422)에서의 대응하는 커널 계수를 저장할 수 있다. 입력 값과 대응하는 커널 계수는 프로세싱된 값(412)을 생성하기 위해, 각각의 MAD 회로들에서 승산된다.

누산기(414)는 MAD 회로들로부터 프로세싱된 값들(412)을 수신 및 저장하는 메모리 회로이다. 누산기(414)에 저장된 프로세싱된 값들은 MAD 회로들에서의 추가적인 승산 및 가산 동작들을 위한 피드백 정보(419)로서 다시 전송될 수 있거나, 또는 사후-프로세싱을 위해 사후-프로세서(428)로 전송될 수 있다. 누산기(414)는 MAD 회로들과 조합하여, 승산-누산기(MAC)(404)를 형성한다. 하나 이상의 실시예들에서, 누산기(414)는 서브유닛들을 가질 수 있으며, 여기서, 각각의 서브유닛은 뉴럴 엔진(314)의 상이한 컴포넌트들로 데이터를 전송한다. 예컨대, 프로세싱 사이클 동안, 누산기(414)의 제1 서브유닛에 저장된 데이터는 MAC 회로로 전송되는 한편, 누산기(414)의 제2 서브유닛에 저장된 데이터는 사후-프로세서(428)로 전송된다.

사후-프로세서(428)는 누산기(414)로부터 수신된 값들(412)의 추가적인 프로세싱을 수행하는 회로이다. 사후-프로세서(428)는, 선형 함수들(예컨대, 정류된 선형 유닛(ReLU))을 적용하는 것, 정규화된 교차-상관(normalized cross-correlation, NCC), 8-비트 데이터에 대해 뉴럴 동작들을 수행한 결과들을 16-비트 데이터로 병합하는 것, 및 로컬 응답 정규화(local response normalization, LRN)를 포함하는(그러나 이에 제한되지는 않음) 동작들을 수행할 수 있다. 그러한 동작들의 결과는 사후-프로세서(428)로부터 프로세싱된 값들(417)로서 출력 회로(424)로 출력된다. 일부 실시예들에서, 사후-프로세서(428)에서의 프로세싱이 우회된다. 예를 들어, 누산기(414)의 데이터는 뉴럴 프로세서 회로(218)의 다른 컴포넌트들에 의한 액세스를 위해 출력 회로(424)로 직접 전송될 수 있다.

NE 제어부(418)는 뉴럴 프로세서 회로(218)의 동작 모드들 및 파라미터들에 기초하여 뉴럴 엔진(314)의 다른 컴포넌트들의 동작들을 제어한다. 상이한 동작 모드들(예컨대, 그룹 콘볼루션 모드 또는 비-그룹 콘볼루션 모드) 또는 파라미터들(예컨대, 입력 채널들의 수 및 출력 채널들의 수)에 따라, 뉴럴 엔진(314)은 상이한 시퀀스들로 상이한 입력 데이터에 대해 동작하고, 누산기(414)로부터의 상이한 값들을 MAD 회로들로 리턴하고, 사후-프로세서(428)에서 상이한 타입의 사후-프로세싱 동작들을 수행할 수 있다. 뉴럴 엔진(314)의 컴포넌트들을 원하는 방식으로 동작하도록 구성하기 위해, NE 제어부(418)는 정보(419)에 포함될 수 있는 태스크 커맨드들을 뉴럴 엔진(314)의 컴포넌트들로 전송한다. NE 제어부(418)는 뉴럴 엔진(314)에서 프로세싱되는 현재 태스크 또는 프로세스 루프를 추적하는 래스터라이저(430)를 포함할 수 있다.

입력 데이터는 전형적으로, 다수의 뉴럴 엔진들(314) 또는 뉴럴 엔진들(314) 및 평면 엔진(340)에서의 병렬 프로세싱을 위해 더 작은 데이터 조각들로 분할된다. 콘볼루션 동작에 사용되는 데이터의 세트는 다수의 더 작은 유닛들로 분할될 수 있는 콘볼루션 그룹으로 지칭될 수 있다. 더 작은 유닛들(데이터 부분들)의 계층구조는 콘볼루션 그룹들, 슬라이스들, 타일들, 작업 유닛들, 출력 채널 그룹(output channel group, OCG)들, 입력 채널들(Cin), 입력 스트라이드(input stride)를 위한 서브-Cin들, 등일 수 있다. 예를 들어, 콘볼루션 그룹은 여러 슬라이스들로 분할될 수 있고; 슬라이스는 여러 타일들로 분할될 수 있고; 타일은 여러 작업 유닛들로 분할될 수 있고; 기타 등등이다. 뉴럴 엔진(314)의 맥락에서, 작업 유닛은, 계산 코어(416)의 단일 사이클 동안 뉴럴 엔진(314)의 누산기(414)에 맞는 출력 값들을 생성하는 크기를 갖는, 평면 엔진들(340)에 의해 프로세싱된 데이터 또는 뉴럴 엔진들(314)의 이전 사이클에서 프로세싱된 데이터와 같은, 입력 데이터의 일부분일 수 있다. 하나의 사례에서, 각각의 작업 유닛의 크기는 256 바이트이다. 그러한 실시예들에서, 예를 들어, 작업 유닛들은 16 x 16, 32 x 8, 64 x 4, 128 x 2, 또는 256 x 1 데이터세트들 중 하나로 형상화될 수 있다. 평면 엔진(340)의 맥락에서, 작업 유닛은 (i) 입력 데이터의 일부분, (ii) 뉴럴 엔진(314)으로부터의 데이터, 또는 (iii) 평면 엔진(340)에서 동시에 프로세싱될 수 있는 평면 엔진(340)의 이전 사이클로부터의 데이터일 수 있다.

래스터라이저(430)는 입력 데이터를 더 작은 유닛들(부분들)로 분할하는 것과 연관된 동작들을 수행하고, MAC들(404) 및 누산기(414)를 통해 더 작은 유닛들의 프로세싱을 조절할 수 있다. 래스터라이저(430)는, 입/출력 데이터의 부분들(예컨대, 그룹들, 작업 유닛들, 입력 채널들, 출력 채널들)의 크기들 및 랭크들을 추적하고, 입력 데이터의 부분들의 적절한 핸들링을 위해 뉴럴 프로세서 회로(218)의 컴포넌트들에 명령한다. 예를 들어, 래스터라이저(430)는 입력 버퍼 회로들(402) 내의 시프터들(410)을 동작시켜 입력 데이터의 정확한 부분들(408)을 MAC(404)으로 포워딩하고, 완성된 출력 데이터(328)를 데이터 버퍼(334)로 전송한다. 뉴럴 프로세서 회로(218)의 다른 컴포넌트들(예컨대, 커널 DMA(324), 데이터 프로세서 DMA(320), 데이터 버퍼(334), 평면 엔진(340))은 또한, 상이한 컴포넌트들에서 입력 데이터의 분할 및 입력 데이터의 다양한 부분들의 병렬 계산을 모니터링하기 위해 그들의 대응하는 래스터라이저들을 가질 수 있다.

출력 회로(424)는 사후-프로세서(428)로부터 프로세싱된 값들(417)을 수신하고, 데이터 프로세서 회로(318)와 인터페이싱하여 프로세싱된 값들(417)을 데이터 프로세서 회로(318)에 저장한다. 이러한 목적을 위해, 출력 회로(424)는 프로세싱된 값들(417)이 사후-프로세서(428)에서 프로세싱되는 시퀀스 또는 포맷과 상이한 시퀀스 또는 포맷으로 출력 데이터(328)로서 전송할 수 있다.

뉴럴 엔진(314) 내의 컴포넌트들은 NE 제어부(418) 및 뉴럴 태스크 관리자(310)에 의해 구성 기간 동안 구성될 수 있다. 이러한 목적을 위해, 뉴럴 태스크 관리자(310)는 구성 기간 동안 구성 정보를 뉴럴 엔진(314)에 전송한다. 구성가능 파라미터들 및 모드들은, 입력 데이터 요소들과 커널 요소들 사이의 맵핑, 입력 채널들의 수, 출력 채널들의 수, 출력 스트라이드들의 수행, 및 사후-프로세서(428)에서의 사후-프로세싱 동작들의 인에이블링(enabling)/선택을 포함할 수 있지만, 이에 제한되지는 않는다.

예시적인 평면 엔진 아키텍처

도 5는 일 실시예에 따른 평면 엔진(340)의 블록도이다. 평면 엔진(340)은 뉴럴 엔진들(314)로부터 분리되고 상이한 동작 모드들에서 수행하도록 프로그래밍될 수 있는 회로이다. 예를 들어, 평면 엔진(340)은 데이터의 공간 크기를 감소시키는 풀링 모드에서, 텐서의 랭크를 감소시키는 감소 모드에서, 스케일 인자에 의한 바이어스 및 스케일링의 단일 패스 가산을 제공하는 이득-바이어스(gain-and-bias) 모드에서, 그리고 요소별 동작들을 포함하는 요소별 모드에서 동작할 수 있다. 이러한 목적을 위해, 평면 엔진(340)은, 다른 컴포넌트들 중에서도, 제1 포맷 변환기(502), 제1 필터(506)(본 명세서에서 "다중 모드 수평 필터(506)로도 지칭됨), 라인 버퍼(510), 제2 필터(514)(본 명세서에서 "다중 모드 수직 필터(514)"로도 지칭됨), 사후-프로세서(518), 제2 포맷 변환기(522), 및 평면 엔진(PE) 제어부(530)(래스터라이저(540)를 포함함)를 포함할 수 있다. 평면 엔진(340)은 더 적은 컴포넌트들 또는 도 5a에 예시되지 않은 추가적인 컴포넌트들을 포함할 수 있다. 평면 엔진(340) 내의 각각의 컴포넌트는 회로, 또는 펌웨어 또는 소프트웨어와 조합한 회로로서 구체화될 수 있다.

평면 엔진(340)의 입력 데이터(342)는 데이터 프로세서 회로(318)에 저장된 하나 이상의 소스 데이터세트들로부터 페치될 수 있다. 평면 엔진(340)에 의해 프로세싱될 데이터세트가 평면 엔진(340)에 의해 동시에 프로세싱될 수 있는 데이터의 작업 유닛보다 더 크면, 이러한 데이터세트는 평면 엔진(340)에 대한 입력 데이터(342)로서 판독하기 위해 다수의 작업 유닛들로 분할될 수 있다. 평면 엔진(340)의 모드에 따라, 입력 데이터(342)는 하나 이상의 소스 데이터세트들로부터의 데이터를 포함할 수 있다. 본 명세서에 설명된 소스 데이터세트는 프로세싱을 위해 뉴럴 프로세서 회로(218)에 저장된 상이한 데이터를 지칭한다. 뉴럴 프로세서 회로(218)의 상이한 컴포넌트들은 데이터 프로세서 회로(318)에 저장되는 데이터를 생성 또는 송신할 수 있다. 예를 들어, 뉴럴 엔진들(314), 평면 엔진(340)(이전 동작 사이클에서 데이터를 생성함), 및 시스템 메모리(230)는 데이터 프로세서 회로(318)의 상이한 메모리 위치들에 저장되는 상이한 데이터세트들을 생성 또는 송신할 수 있다. 다양한 소스 데이터세트들은 상이한 텐서들을 나타낼 수 있다. 평면 엔진(340)의 동작 사이클에서, 상이한 소스 데이터세트들이 입력 데이터(342)로서 함께 페치될 수 있다. 예를 들어, 결과적인 텐서를 도출하기 위해 2개의 상이한 텐서들의 가산을 수반하는 요소별 모드에서, 입력 데이터(342)는 각각 별개의 텐서를 제공하는 2개의 상이한 소스 데이터세트들로부터의 데이터를 포함할 수 있다. 다른 모드들에서, 단일 소스 데이터세트는 입력 데이터(342)를 제공할 수 있다. 예를 들어, 풀링 모드에서, 입력 데이터(342)는 단일 소스 데이터세트로부터 페치될 수 있다.

제1 포맷 변환기(502)는 평면 엔진(340)의 후속 컴포넌트들에서의 프로세싱을 위해 하나의 포맷(예를 들어, 버퍼(334)에 저장하기 위해 사용되는 포맷)의 입력 데이터(342)에 대해 다른 포맷으로의 하나 이상의 포맷 변환들을 수행하는 회로이다. 이러한 포맷 변환들은, 특히, 다음을 포함할 수 있다: 입력 데이터(342)의 하나 이상의 값들에 ReLU 함수를 적용하는 것, 입력 데이터(342)의 하나 이상의 값들을 그들의 절대 값들로 변환하는 것, 소스들에 포함된 텐서를 전치시키는 것, 입력 데이터(342)의 하나 이상의 값들에 이득을 적용하는 것, 입력 데이터(342)의 하나 이상의 값들을 바이어싱하는 것, 입력 데이터(342)의 하나 이상의 값들을 정규화 또는 비정규화하는 것, 부동 소수점 수들을 부호있는 또는 부호없는 수들로 변환하는 것(또는 그 반대), 수들을 정량화하는 것, 및 텐서의 랭크를 확대하기 위해 하나 이상의 차원들의 텐서의 값을 브로드캐스트함으로써와 같이 텐서의 크기를 변경하는 것. 평면 엔진(340)에 대한 변환된 입력 데이터(342) 및 변환되지 않은 입력 데이터(342)는 본 명세서에서 "입력 데이터의 버전"으로 일괄적으로 지칭된다.

제1 필터(506)는 한 방향으로 필터링 동작을 수행하는 회로이다. 이러한 목적을 위해, 제1 필터(506)는, 다른 컴포넌트들 중에서도, 가산기들, 비교기들, 및 승산기들을 포함할 수 있다. 제1 필터(506)에 의해 수행되는 필터링은, 예를 들어, 평균화, 최대값 선택 또는 최소값 선택일 수 있다. 평균화할 때, 입력 데이터(342)의 값들을 합산하기 위해 가산기들이 사용되고, 결과값들로서 평균을 얻기 위해 승산기를 사용하여 합계에 가중 인자가 적용될 수 있다. 최대값 및 최소값을 선택할 때, 값들을 선택하기 위해 비교기들이 가산기들 및 승산기들 대신에 사용될 수 있다.

라인 버퍼(510)는 제1 필터(506) 또는 제2 필터(514)로부터 획득된 하나 이상의 중간 데이터와 같은 결과를 저장하기 위한 메모리 회로이다. 라인 버퍼(510)는 상이한 라인들의 값들을 저장할 수 있고, 추가적인 프로세싱을 위한 중간 데이터를 페치하기 위해 제2 필터(514) 또는 다른 다운스트림 컴포넌트들로부터의 액세스를 허용할 수 있다. 일부 모드들에서, 라인 버퍼(510)가 우회된다. 라인 버퍼(510)는 또한 단지 중간 데이터를 저장하는 것 이외의 추가 동작들을 수행하기 위해 로직 회로들을 포함할 수 있다. 예를 들어, 라인 버퍼(510)는 가산기 회로들(512)을 포함하며, 이는 메모리 컴포넌트와 조합되어, 감소되지 않을 차원의 집계된 데이터를 개별적으로 저장하기 위해 라인 버퍼(510)가 제1 필터(506) 또는 제2 필터(514)의 결과들로부터 생성된 데이터를 집계하는 누산기로서 기능할 수 있게 한다.

제1 필터(506)와 유사하게, 제2 필터(514)는 필터링 동작들을 수행하지만 제1 필터(506)와 상이한 방향으로 수행한다. 이러한 목적을 위해, 제2 필터(514)는, 다른 컴포넌트들 중에서도, 가산기들, 비교기들, 및 승산기들을 포함할 수 있다. 풀링 모드에서, 제1 필터(506)는 제1 차원에서 필터링 동작을 수행하는 반면, 제2 필터(514)는 제2 차원에서 필터링 동작을 수행한다. 다른 모드들에서, 제1 필터(506) 및 제2 필터(514)는 상이하게 동작할 수 있다. 감소 모드에서, 예를 들어, 제1 필터(506)는 요소별 동작들을 수행하는 반면, 제2 필터(514)는 데이터의 값들을 집계하기 위한 감소 트리(reduction tree)로서 기능한다.

사후-프로세서(518)는 다른 업스트림 컴포넌트들로부터 페치된 값들의 추가적인 프로세싱을 수행하는 회로이다. 사후-프로세서(518)는 일반적인 계산 회로를 사용하여 수행하기에 비효율적일 수 있는 특정 타입들의 수학적 계산들을 수행하는 데 효율적인 특화된 회로들을 포함할 수 있다. 사후-프로세서(518)에 의해 수행되는 동작들은, 특히, 감소 모드에서 제곱근 동작들 및 값들의 역(inverse)을 수행하는 것을 포함할 수 있다. 사후-프로세서(518)는 다른 동작 모드들에서 우회될 수 있다.

제2 포맷 변환기(522)는 평면 엔진(340)에서 선행 컴포넌트들의 결과들을 하나의 포맷으로부터 출력 데이터(344)를 위한 다른 포맷으로 변환하는 회로이다. 이러한 포맷 변환들은, 특히, 다음을 포함할 수 있다: 결과들에 ReLU 함수를 적용하는 것, 결과적인 텐서를 전치시키는 것, 결과들의 하나 이상의 값들을 정규화 또는 비정규화하는 것, 및 다른 수 포맷 변환들. 출력 데이터(344)는 뉴럴 프로세서 회로(218)의 출력 또는 뉴럴 프로세서 회로(218)의 다른 컴포넌트들(예컨대, 뉴럴 엔진(314))에 대한 입력들로서 데이터 프로세서 회로(318)에 저장될 수 있다.

PE 제어부(530)는 평면 엔진(340)의 동작 모드에 기초하여 평면 엔진(340) 내의 다른 컴포넌트들의 동작들을 제어하는 회로이다. 상이한 동작 모드들에 따라, PE 제어부(530)는 프로그래밍된 컴포넌트들이 특정 방식으로 동작하도록 평면 엔진(340) 내의 상이한 컴포넌트들과 연관된 레지스터를 프로그래밍한다. 평면 엔진(340) 내의 컴포넌트들의 파이프라인 또는 컴포넌트들 사이의 연결들은 또한 재구성될 수 있다. 풀링 모드에서, 예를 들어, 제1 필터(506)에 의해 프로세싱된 데이터는 라인 버퍼(510)에 저장된 다음 추가적인 필터링을 위해 제2 필터(514)에 의해 판독될 수 있다. 그러나, 감소 모드에서, 데이터는 제1 필터(506)에 의해 프로세싱되고, 이어서 제2 필터(514)에서 프로세싱되고, 이어서 누산기로서 프로그래밍되는 라인 버퍼(510)에 누산된다. 요소별 모드에서, 라인 버퍼(510)가 우회될 수 있다.

PE 제어부(530)는 또한, 평면 엔진(340)에서 프로세싱되고 있는 현재 태스크 또는 프로세스 루프를 추적하는 래스터라이저(540)를 포함한다. 래스터라이저(540)는 입력 데이터의 유닛들 또는 부분들 및/또는 평면 엔진(340)에서 입력 데이터를 프로세싱하기 위한 루프들을 추적하는 회로이다. 래스터라이저(540)는 각각의 동작 사이클에서 평면 엔진(340)에 대한 부분들의 페치를 제어할 수 있고, 평면 엔진(340)에 의해 프로세싱되고 있는 각각의 부분의 크기 및 랭크를 모니터링할 수 있다. 예를 들어, 데이터세트의 더 작은 부분들은 소스 데이터세트의 모든 부분들이 프로세싱될 때까지 평면 엔진(340)에서 프로세싱하기 위한 래스터 순서로 입력 데이터(342)로서 페치될 수 있다. 부분들을 페치하는 데 있어서, 래스터라이저(540)는 데이터세트에서 부분의 좌표를 모니터링한다. 데이터세트가 평면 엔진(340)에서 프로세싱하기 위해 입력 데이터(342)로 분할되는 방식은 데이터세트가 뉴럴 엔진들(314)에서의 프로세싱을 위해 입력 데이터(328)로 분할되는 방법과 비교하여 상이할 수 있다.

평면 엔진(340)에서 프로세싱하기 위한 데이터세트는 단일 동작 사이클에서 프로세싱될 수 있는 평면 엔진(340)의 용량보다 더 클 수 있다. 이러한 경우, 평면 엔진(340)은 다수의 동작 사이클들에서 입력 데이터(342)로서 데이터세트의 상이한 부분들을 페치한다. 페치된 부분은 이전에 페치된 부분 및/또는 페치될 다음 부분과 부분적으로 중첩될 수 있다. 일 실시예에서, 중첩 데이터의 일부는 데이터를 페치하는 데 있어서 평면 엔진(340)의 시간 및 전력 소비 비용을 감소시키기 위해 단지 한 번 페치되고 재사용된다.

예시적인 뉴럴 태스크 관리자 및 태스크 리스트 편집

도 6은 일 실시예에 따른, 뉴럴 프로세서 회로(218)의 컴포넌트들(314, 318, 322, 340) 내의 래스터라이저들(614, 622, 624) 및 데이터 제어 회로(332)의 프로그래밍을 예시하는 도면이다. 그들의 기능들을 수행하기 위해, 래스터라이저들(614, 622, 624) 및 데이터 제어 회로(332)는, 입력 데이터 및/또는 커널 데이터가 어떻게 세그먼트화되어야 하는지 그리고 뉴럴 프로세서 회로(218)의 각각의 컴포넌트에 의해 어떻게 핸들링되어야 하는지를 나타내는 구성 데이터(610)를 수신한다. 태스크 정보는 현재 계층의 세부사항들(예컨대, 입력 및 출력 데이터의 치수, 연관된 커널의 치수, 입력 데이터의 경계들에서의 패딩의 타입들)에 관한 정보를 포함한다. 래스터라이저들(614, 622, 624) 및 데이터 제어 회로(332)는 또한, 그들의 동작들에 대한 제약들(예컨대, 임계치 초과의 타일 폭을 허용할지 또는 허용하지 않을지)을 수신할 수 있다. 데이터 제어 회로(332)로 전송된 구성 데이터(610)는 데이터 종속성 및 데이터 위험들에 관한 정보를 추가로 포함할 수 있으며, 이에 따라 데이터 제어 회로(332)가 데이터 프로세서 회로(318)로부터 뉴럴 엔진들(314) 및 평면 엔진(340)으로의 입력 데이터의 판독 및 뉴럴 엔진들(314) 및 평면 엔진(340)의 출력 데이터의 데이터 프로세서 회로(318)로의 기입을 조정할 수 있게 된다.

뉴럴 프로세서 회로(218)의 상이한 컴포넌트들에 래스터라이저들을 제공함으로써, 뉴럴 프로세서 회로(218)의 컴포넌트들 사이에서 송신되는 데이터에서의 오버헤드가 감소될 수 있다. 단일 중앙 래스터라이저가 뉴럴 프로세서 회로(218)의 상이한 컴포넌트들을 제어하기 위해 제공되는 경우, 컴포넌트들 사이에서 송신되는 커널 데이터, 입력 데이터, 및 출력 데이터는, 이들 데이터에서, 태스크의 루프들 내의 연관된 포지션, 이를테면, 콘볼루션 그룹, 타일, 슬라이스, 작업 유닛, 입력 채널, 및 출력 채널을 식별할 필요가 있을 수 있다. 분배된 래스터라이저들을 사용함으로써, 뉴럴 프로세서 회로(218)의 컴포넌트들 사이에서 커널 데이터, 입력 데이터, 및 출력 데이터를 송신하기 위해 별개의 메타데이터가 필요하지 않게 된다.

뉴럴 네트워크는 뉴럴 프로세서 회로(218)에 의해 실행되는 일련의 태스크들로서 인스턴스화 또는 구현되는 네트워크 계층들 또는 서브-계층들을 포함할 수 있다. 도 7은 일 실시예에 따른, 태스크들의 리스트(704)에 의해 표현되는 뉴럴 네트워크(700)를 예시하는 개략적인 블록도이다. 뉴럴 네트워크(700)는 콘볼루션 계층들(C1, C2, C3(서브-계층들(C3₀₀, C3₁₀, C3₁₁, C3₂₀, 및 C3₂₁을 포함함), C4) 및 비-콘볼루션 계층들(예를 들어, 풀링 계층들)(P1, P2, P3, P4)을 포함하는 네트워크 계층들(또는 서브-계층들)을 포함한다. 뉴럴 네트워크(700)는 뉴럴 프로세서 회로(218)에 의해 인스턴스화될 수 있는 뉴럴 네트워크 아키텍처의 예이다. 즉, 뉴럴 네트워크(700) 내의 태스크들은 뉴럴 프로세서 회로(218)에 의해 실행가능하게 되도록 태스크 리스트(704)로 변환된다. 상이한 타입의 네트워크 계층들 또는 네트워크 계층들의 순서들을 갖는 다른 타입의 뉴럴 네트워크 아키텍처들이 또한, 뉴럴 프로세서 회로(218)에 의해 인스턴스화될 수 있다.

뉴럴 네트워크(700)는, 예를 들어, CPU(208)에 의해 실행되는 컴파일러 프로세스를 통해 태스크 리스트(704)로 변환된다. 태스크 리스트(704)는 뉴럴 엔진 태스크들 TC1 내지 TC4(콘볼루션 계층들 C1 내지 C4에 대응함) 및 평면 엔진 태스크들 TP1 내지 TP5(풀링 계층들 P1 내지 P5에 대응함)를 포함하는 태스크들의 시퀀스를 포함한다. 뉴럴 엔진 태스크 TC3은 더 작은 뉴럴 엔진 태스크들 TC3₀₀ 내지 TC3₂₁(서브-계층들 C3₀₀ 내지 C3₂₁에 대응함)로 분할된다. 일부 실시예들에서, 태스크 리스트(704)는 링크된 리스트 포맷으로 저장된다. 다른 실시예들에서, 태스크 리스트(704)는 하나 이상의 세그먼트들로서 저장된다. 각각의 세그먼트는 실행될 하나 이상의 태스크들을 포함하는 연속한(contiguous) 메모리 영역에 저장될 수 있다. 세그먼트의 상세한 구조 및 구성은 도 11a를 참조하여 추가로 논의된다. 도 7에 도시된 예시적인 태스크 리스트(704)가 태스크들의 선형 링크 체인으로서 예시되어 있지만, 뉴럴 엔진 태스크들 및 평면 엔진 태스크들은 이러한 시퀀스에서 수행될 필요 없다. 오히려, 뉴럴 프로세서 회로(218)의 효율을 높이기 위해서는, 데이터 종속성 및 데이터 위험들 문제들이 해결되는 한, 뉴럴 엔진 태스크들과 병렬로 평면 엔진 태스크들을 수행하는 것이 바람직하다. 하나 이상의 실시예들에서, 컴파일러 프로세스 동안 결정된 바와 같은 평면 엔진 태스크들 사이의 태스크들의 시퀀스 및 뉴럴 엔진 태스크들 사이의 태스크들의 시퀀스는 유지되지만, 평면 엔진 태스크와 뉴럴 엔진 태스크 사이의 시퀀스는 스위칭될 수 있다.

각각의 태스크는 태스크를 실행하기 위해 뉴럴 프로세서 회로(218)의 구성을 정의하는 태스크 디스크립터와 연관된다. 각각의 태스크는 뉴럴 네트워크(700)의 단일 네트워크 계층, 뉴럴 네트워크(700)의 네트워크 계층의 일부분, 또는 뉴럴 네트워크(700)의 다수의 네트워크 계층들과 대응할 수 있다. 뉴럴 프로세서 회로(218)는 뉴럴 태스크 관리자(310)의 제어 하에서 태스크 리스트(704)의 태스크들을 실행함으로써 뉴럴 네트워크(700)를 인스턴스화한다.

뉴럴 엔진 태스크들 및 평면 엔진 태스크들의 비동기식 실행

도 8은 일 실시예에 따른, 뉴럴 프로세서 회로(218)에서의 태스크들의 실행을 예시하는 타이밍도이다. 이러한 예에서, 태스크들은 TC1, TP1, TC2, TC3, TP2, TP3, TP4, TP5 및 TC4의 시퀀스에서 시작된다. 그러한 시퀀스는 도 7의 태스크 리스트(704) 내의 태스크들의 시퀀스와 일치하지 않는다. 태스크 TC3은 긴 뉴럴 엔진 태스크이고 평면 엔진(340)은 뉴럴 엔진들(314)과 병렬로 동작들을 수행할 수 있기 때문에, 평면 엔진 태스크들 TP2 내지 TP4는 뉴럴 엔진 태스크 TC3이 수행되고 있는 동안 수행된다. 태스크들 TP2 내지 TP4를 태스크 TC3과 병렬로 프로세싱함으로써, 태스크 TP5에 대한 데이터가 태스크 리스트(704)의 시퀀스에서 프로세스를 수행하는 것보다 더 빠르게 이용가능하게 된다.

도 8은 설명을 용이하게 하기 위해 인접한 뉴럴 엔진 태스크들 및 인접한 평면 엔진 태스크들을 일정 시간 차만큼 분리되어 있는 것으로 도시하고 있지만, 실제로, 인접한 뉴럴 엔진 태스크들 및 인접한 평면 엔진 태스크들이 수행되는 시간들은 중첩될 수 있다. 뉴럴 엔진들(314) 및 평면 엔진(340)은 파이프라인식 프로세싱 아키텍처를 채택할 수 있으며, 여기서 그들은 하나의 태스크에 대한 입력 데이터를, 이전 태스크에 대한 출력 데이터를 생성하면서 수신할 수 있고, 뉴럴 엔진들(314) 및 평면 엔진(340)은 동시에 상이한 태스크들 상에서 데이터에 대해 동작할 수 있다. 예를 들어, 뉴럴 엔진(314)은 태스크 TC2가 끝나기 전에 태스크 TC3 상에서 시작할 수 있고, 평면 엔진(340)은 태스크 TP2가 끝나기 전에 태스크 TP3 상에서 시작할 수 있다.

데이터 종속성 문제를 해결하기 위해, 데이터 제어 회로(332)는 뉴럴 입력 데이터 및 평면 입력 데이터가 뉴럴 엔진들(314) 및 평면 엔진(340)으로 각각 전송되는 시간들을 제어한다. 이러한 목적을 위해, 데이터 제어 회로(332)는, 다른 컴포넌트들 중에서, 도 9에 예시된 바와 같은 액세스 인에이블 회로(910), 래스터라이저(920)를 포함할 수 있다. 데이터 제어 회로(332)는 도 9에 예시되지 않은 다른 컴포넌트들을 포함할 수 있다.

액세스 인에이블 회로(910)는 데이터 프로세서 회로(318)의 버퍼(334)로부터 데이터를 판독하거나 또는 그것에 데이터를 기입하기 위한 액세스를 선택적으로 승인하는 프로그래밍가능 회로이다. 뉴럴 엔진들(314) 및 평면 엔진(340)은, 그들의 회로들 및 컴포넌트들이 입력 데이터가 제공될 때까지 출력 데이터를 생성하지 않도록 구조화될 수 있다. 따라서, 액세스 인에이블 회로(910)는, 보류 중인 태스크에 대한 모든 종속적 데이터가 버퍼(334)에서 이용가능할 때까지, 뉴럴 엔진들(314) 또는 평면 엔진(340)이 버퍼(334) 내의 입력 데이터에 액세스하는 것을 방지함으로써 뉴럴 엔진들(314) 또는 평면 엔진(340)이 그의 보류 중인 태스크를 미루게 할 수 있다. 액세스 인에이블 회로(910)는 태스크에 대응하는 태스크 정보 엔트리에 포함된 종속성 정보를 판독하고 분석함으로써 태스크에 대한 데이터 종속성을 결정하고, 래스터라이저(920)에 의해 추적된 태스크들의 상태를 참조함으로써 모든 종속적 데이터가 버퍼(334)에서 이용가능한지를 결정할 수 있다. 이러한 방식으로, 액세스 인에이블 회로(910)는, 이전 태스크의 출력 데이터가 버퍼(334)에 저장되고 이용가능할 때까지, 이전 태스크의 출력 데이터에 종속하는 다음 태스크의 시작을 방지할 수 있다.

액세스 인에이블 회로(910)는 또한 데이터 위험들 문제들을 해결하기 위해 (뉴럴 엔진들(314) 및 평면 엔진(340)에 의해 생성된) 출력 데이터의 버퍼(334)에의 기입 또는 입력 데이터의 판독을 방지할 수 있다. 이러한 목적을 위해, 액세스 인에이블 회로(910)는 래스터라이저(920)에 의해 표시된 바와 같은 동작들의 상태를 참조할 수 있다. 표시된 상태들에 기초하여, 액세스 인에이블 회로(910)는, 다른 동작 또는 태스크가 끝날 때까지 뉴럴 엔진들(314) 또는 평면 엔진(340)이 출력 데이터를 버퍼(334)에 기입하는 것을 방지할 수 있거나, 또는 이전 태스크로부터의 출력 데이터의 적어도 일부분이 버퍼(334)에 저장될 때까지 뉴럴 엔진들(314) 또는 평면 엔진(340)이 현재 태스크를 위해 버퍼(334)로부터 입력 데이터를 판독하는 것을 방지할 수 있다. 액세스 인에이블 회로(910)는 또한, 버퍼(334)에의 액세스에 대하여 임의의 뉴럴 엔진들(314)과 평면 엔진(340) 사이에서 다른 중재를 수행할 수 있다.

래스터라이저(920)는 데이터 프로세서 회로(318)에서 프로세싱되고 있는 각각의 태스크 또는 프로세스 루프에 대한 데이터의 현재 크기를 추적하는 회로이다. 래스터라이저(920)의 기능 및 동작들은 도 4 및 도 6을 참조하여 상세히 전술된 래스터라이저들과 실질적으로 동일하다. 하나 이상의 실시예들에서, 주어진 시간에, 래스터(920)는, 다른 래스터라이저들(예컨대, 래스터라이저(620) 및 래스터라이저(622))이 추적하고 있는 태스크들과는 상이한 태스크를 추적할 수 있다.

예시적인 태스크 관리

도 10은 일 실시예에 따른 뉴럴 태스크 관리자(310)를 예시하는 블록도이다. 뉴럴 태스크 관리자(310)는 뉴럴 프로세서 회로(218)에 의한 하나 이상의 뉴럴 네트워크들(700)에 대한 태스크들의 실행을 관리한다. 뉴럴 태스크 관리자(310)는, 다른 컴포넌트들 중에서도, 태스크 아비터(arbiter)(1002), 태스크 큐들(1004A 내지 1004N)(이하에서 "태스크 큐들(1004)"로 일괄적으로 지칭되고, 또한 "태스크 큐(1004)"로 개별적으로 지칭됨), 태스크 관리자 다이렉트 메모리 액세스(DMA)(1006), 페치 큐(1008), 및 구성 큐(1010)를 포함할 수 있다. 뉴럴 태스크 관리자(310)는 도 10에 예시되지 않은 다른 컴포넌트들을 포함할 수 있다. 각각의 태스크에 대해, 뉴럴 태스크 관리자(310)는 소프트웨어 컴파일링 프로세스로부터 태스크 디스크립터(1012)를 수신할 수 있다. 태스크 디스크립터는 대응하는 뉴럴 엔진 태스크 또는 대응하는 평면 엔진 태스크를 실행하기 위한 뉴럴 프로세서 회로(218)의 구성을 정의할 수 있다. 뉴럴 태스크 관리자(310)는 일정 버전의 태스크 디스크립터(1012)(예컨대, 태스크 디스크립터(1012) 또는 태스크 디스크립터(1012)로부터 추출된 데이터 구성(1014))를 데이터 프로세서 회로(318)로 송신한다.

태스크 아비터(1002)는 뉴럴 프로세서 회로(218)에 의한 실행을 위해 태스크 큐들(1004)로부터 태스크들을 선택하는 회로 또는 회로와 펌웨어의 조합이다. 태스크 아비터(1002)는 태스크 큐들(1004)로부터 태스크들을 디큐잉(dequeuing)하고, 태스크들을 구성 큐(1010)에 배치한다. 태스크가 구성 큐에 있는 동안, 그것은 실행을 위해 커밋되고, 뉴럴 프로세서 회로는, 태스크가 뉴럴 프로세서 회로(218)의 다른 컴포넌트들에 의해 실행되기 전에, 입력 데이터 및 커널 데이터에 대한 프리페치(prefetch)를 수행한다. 예를 들어, 태스크 아비터(1002)는 다수의 태스크 큐들(1004) 사이에서 우선순위 중재를 수행하고, 태스크 큐(1004)에서 최고 우선순위를 갖는 태스크들을 디큐잉할 수 있다.

뉴럴 태스크 관리자(310)는 하나 이상의 태스크 큐들(1004)을 포함할 수 있다. 각각의 태스크 큐(1004)는 CPU(208) 및 태스크 아비터(1002)에 커플링된다. 각각의 태스크 큐(1004)는 시스템 메모리(230)와 같은 메모리 위치에 저장될 수 있는 네트워크 세그먼트들을 배열하기 위한 선입선출(first-in-first-out, FIFO) 하드웨어를 포함할 수 있다. 네트워크 세그먼트들의 예시적인 구성이 도 11a에 세그먼트들(1150)로서 도시되어 있다. 세그먼트들(1150) 각각은 복수의 태스크들을 포함할 수 있다. 각각의 태스크는 태스크 디스크립터(1012)를 참조할 수 있다. 태스크의 태스크 디스크립터(1012)는 태스크를 실행하기 위한 뉴럴 프로세서 회로(218)의 구성을 특정한다. 각각의 태스크 큐(1004)는 태스크 큐들(1004)의 상대적 우선순위를 정의하는 우선순위 파라미터와 추가로 연관될 수 있다.

태스크 관리자 DMA(1006)는 태스크 아비터(1002), 시스템 메모리(230), 및 페치 큐(1008)에 커플링된다. 태스크 관리자 DMA(1006)는 페치 큐(1008)에 태스크들의 태스크 디스크립터들(1012)을 저장하기 위해 소스(예컨대, 시스템 메모리(230))로부터 태스크 디스크립터들(1012)을 수신하는 판독 회로를 포함한다. 예컨대, 태스크 아비터(1002)는 태스크 큐들(1004)의 우선순위들에 따라 태스크 큐(1004)를 선택하고, 태스크 관리자 DMA(1006)를 제어하여 태스크의 태스크 디스크립터(1012)를 선택한다.

페치 큐(1008)는 실행을 위한 커밋을 위해 보류중인 태스크의 태스크 디스크립터(1012)를 저장하는 단일 엔트리 큐이다. 페치 큐(1008)는 태스크 관리자 DMA(1006)에 커플링되어 시스템 메모리(230)로부터 태스크 디스크립터(1012)를 수신한다. 페치 큐(1008)는 태스크 디스크립터(1012)를 구성 큐(1010)에 제공하거나, 또는 태스크 디스크립터(1012)로부터 추출된 구성 데이터(1014)를 구성 큐(1010)에 제공한다.

구성 큐(1010)는 실행을 위해 커밋된 다수의 태스크들의 구성 데이터(1014)를 보유한다. 태스크가 구성 큐(1010)에 있을 때, 커널 DMA(324)는 뉴럴 엔진들(314)의 커널 추출 회로(432)에 저장하기 위해 시스템 메모리(230)로부터 커널 데이터를 페치할 수 있으며, 데이터 프로세서 DMA(320)는 데이터 프로세서 회로(318)의 버퍼(334)에 저장하기 위해 시스템 메모리(230)로부터 입력 데이터를 페치할 수 있다. 태스크를 실행하기 위해, 커널 추출 회로(432)는 뉴럴 엔진(314)의 MAC(404)에 프리페치된 커널 데이터를 제공하고, 데이터 버퍼(334)는 뉴럴 엔진(314)의 MAC(404)에 프리페치된 입력 데이터를 제공한다. 평면 엔진(340)은 또한 데이터 프로세서 회로(318)에 액세스하여 그의 입력 데이터(342)를 판독한다. 일부 실시예들에서, 구성 큐(1010)는 커밋된 태스크 디스크립터들(1012)로부터 추출된 구성 데이터(1014)를 보유하는 다수의 큐들을 포함할 수 있다.

도 11a는 실시예에 따른 하나 이상의 뉴럴 네트워크 표현들(1100)을 예시하는 블록도이다． 각각의 뉴럴 네트워크 표현(1100)은 뉴럴 네트워크에 대응하는 정보, 메타데이터, 및 태스크들을 포함한다. 뉴럴 네트워크 표현(1100)은 뉴럴 프로세서 회로(218)가 프로세싱하도록 CPU(208)에 의해 인스턴스화될 수 있다. 예를 들어, 뉴럴 네트워크 표현(1100)은, CPU(208)가 뉴럴 네트워크 또는 임의의 기계 학습 모델(논의의 목적을 위해 간단히 뉴럴 네트워크로도 지칭됨)을 컴파일할 때 생성될 수 있다. CPU(208)는 실행될 필요가 있는 태스크들을 결정하고 태스크들을 뉴럴 네트워크 표현(1100)에 저장한다. 뉴럴 네트워크 표현(1100)은 메모리(예컨대, 시스템 메모리(230) 또는 데이터 프로세서 회로(318) 내의 메모리)에 저장될 수 있다. 주어진 시간에, 뉴럴 프로세서 회로(218)는 하나 초과의 뉴럴 네트워크에 관련된 계산들을 수행할 수 있다. 예를 들어, 디바이스(100)는 다양한 목적들을 위해 뉴럴 네트워크들을 사용하는 다수의 소프트웨어 애플리케이션들을 실행할 수 있다. 이와 같이, 뉴럴 프로세서 회로(218)는 복수의 뉴럴 네트워크 표현들(1100)에 액세스할 수 있고, 때때로, 뉴럴 태스크 관리자(310)가 하나의 뉴럴 네트워크가 다른 뉴럴 네트워크에 비해 우선순위화되어야 한다고 결정하는 경우, 다양한 뉴럴 네트워크들 사이에서 동작들을 스위칭할 수 있다.

뉴럴 네트워크 표현(1100)은 네트워크 디스크립터(1110) 및 하나 이상의 세그먼트들(1130)을 포함할 수 있다. 네트워크 디스크립터(1110)는 콘텍스트 스위치 태스크(1120)로 지칭될 수 있는, 콘텍스트 스위치를 위한 보조 태스크와 함께 네트워크-폭 구성에 관련된 정보를 저장하는 연속한 메모리 영역에 저장될 수 있다. 네트워크 디스크립터(1110)를 저장하는 메모리는 실시예들에 따를 수 있다. 예를 들어, 일부 실시예들에서, 네트워크 디스크립터(1110)는 시스템 메모리(230)에 저장되는 반면, 다른 실시예들에서, 네트워크 디스크립터(1110)는 뉴럴 프로세서 회로(218) 내에, 예컨대, 데이터 프로세서 회로(318) 또는 태스크 관리자(310)의 메모리 위치에 저장된다. 일부 실시예들에서, 네트워크 디스크립터(1110) 내의 정보는 CPU(208)가 뉴럴 네트워크 표현(1100)을 컴파일할 때 고정된다. 그러한 실시예들에서, 뉴럴 프로세서 회로(218)는 네트워크 디스크립터(1110)에 기입을 하지 않는다.

뉴럴 디스크립터(1110)는, 뉴럴 네트워크 표현(1100)의 네트워크-폭 설정을 설명하고 뉴럴 네트워크에 대한 데이터 위치를 특정하는 다양한 필드들을 포함한다. 예를 들어, 뉴럴 디스크립터(1110)는 네트워크 식별자(ID)(1102), 하나 이상의 기준 어드레스 인덱스들(1106), 카운트 파라미터(1108), 외부 시스템 메모리 어드레스(1112), 통지 파라미터(1114), 대기 파라미터(1116), 및 콘텍스트 스위치 태스크(1120)를 포함할 수 있다. 네트워크 디스크립터(1110) 내의 데이터 필드들 중 일부는 데이터 비트 헤더의 형태를 취하는 비트들로서 저장될 수 있다. 다른 데이터 필드들은 메모리 위치에서 개별 객체들로서 저장될 수 있다. 예를 들어, 일 실시예에서, 필드들(1102, 1112, 1106, 1108)은 네트워크 디스크립터(1110)의 헤더에 포함되는 데이터 비트들이고, 콘텍스트 스위치 태스크(1120)는 태스크 디스크립터(1012)의 형태를 취하는데, 그의 구성은 도 12를 참조하여 추가로 논의된다.

네트워크 디스크립터들(1110) 내의 다양한 필드들은 뉴럴 네트워크 표현(1100)의 구성 정보를 제공한다. 예를 들어, 네트워크 ID(1102)는 뉴럴 네트워크를 식별하는 고유 식별자일 수 있다. 네트워크 디스크립터(1110)는 하나 이상의 기준 어드레스 인덱스들(1106)을 포함할 수 있다. 각각의 기준 어드레스 인덱스(1106)는 네트워크 디스크립터(1110)와 연관된 세그먼트(1150)에 대한 기준 어드레스 레지스터 값들을 표현하는 포인터이다. 세그먼트(1150)는 뉴럴 네트워크에 대해 실행될 하나 이상의 태스크들을 포함한다. 카운트 파라미터(1108)는 뉴럴 네트워크와 연관된 세그먼트들의 수를 기록한다. 예를 들어, 카운트 파라미터(1108)는 네트워크 디스크립터(1110)에 포함된 기준 어드레스 인덱스들(1106)의 수를 카운트한다.

외부 시스템 메모리 어드레스(1112)는 버퍼(334)와 시스템 메모리(230) 사이에서 데이터를 이동시키기 위한 시스템 메모리(230)에서의 배킹 저장 위치(backing storage location)의 어드레스를 나타내는 포인터이다. 데이터 프로세서 회로(318) 내의 버퍼(334)는 뉴럴 프로세서 회로(218) 내에서 뉴럴 엔진들(314) 및 평면 엔진(340)의 입력 및 출력 데이터를 저장하는 데 사용되는 캐시 메모리와 같은 고속 액세스 메모리일 수 있다. 하나의 태스크의 출력 데이터는 뉴럴 작업 내의 중간 계층에 대응할 수 있고, 다른 계층에 대한 입력으로서 사용될 수 있다. 버퍼(334)는 제한된 저장소를 갖고, 뉴럴 네트워크와 연관된 데이터를 저장하는 데 사용될 수 있다. 일부 상황들에서, 뉴럴 프로세서 회로(218)는, 제1 뉴럴 네트워크의 계산이 완료되지 않았더라도, 콘텍스트 스위치를 수행하고 제1 뉴럴 네트워크로부터 제2 뉴럴 네트워크로 그의 현재 동작들을 전이할 수 있다. 그러한 경우에, 현재 제1 뉴럴 네트워크와 연관된, 버퍼(334)에 저장된 데이터는 제1 뉴럴 네트워크와 연관된 계산이 재개될 때 나중의 취출을 위해 시스템 메모리(230)의 한 위치에 배치된다. 이러한 상황에서, 시스템 메모리(230)는, 메모리가 뉴럴 프로세서 회로(218)의 외부에 있기 때문에, 외부 시스템 메모리로 지칭될 수 있다. 외부 메모리 시스템 어드레스(1112)는 버퍼(334)로부터 나가는(outgoing) 데이터를 저장하는 시스템 메모리(230)에서의 위치의 어드레스를 기록한다. 일부 실시예들에서, 각각의 뉴럴 네트워크 표현(1100)은 버퍼(334)로부터의 임의의 나가는 데이터를 저장하기 위한 시스템 메모리(230)에서의 지정된 위치를 가질 수 있다. 그러한 실시예들에서, 각각의 뉴럴 네트워크 표현(1100)에 대한 외부 시스템 메모리 어드레스(1112)는 고유하다.

콘텍스트 스위치는 뉴럴 프로세서 회로(218)가 제1 태스크(나가는 태스크)로부터 제1 태스크와 관련이 없는 제2 태스크(들어오는(incoming) 태스크)로 스위칭하기 위한 프로세스를 지칭한다. 콘텍스트 스위치는 종종 제1 뉴럴 네트워크로부터 제2 뉴럴 네트워크로의 계산들의 스위치와 연관되지만, 다른 타입들의 스위칭(예컨대, 태스크 큐들의 스위칭)이 또한 콘텍스트 스위치일 수 있다. 콘텍스트 스위치 동안, 제1 뉴럴 네트워크와 연관된 커널들 및 데이터, 특히 버퍼(334)에 저장된 중간 데이터는 시스템 메모리(230)에 스왑아웃(swap out)되고, 제2 뉴럴 네트워크와 연관된 데이터는 시스템 메모리(230)로부터 스왑인(swap in)된다.

통지 파라미터(1114) 및 대기 파라미터(1116)는 현재 실행 중인 뉴럴 네트워크의 추적을 유지하고 콘텍스트 스위치의 표시를 제공하는 데 사용된다. 통지 파라미터(1114)는 CPU(208)에 의해 실행되는 소프트웨어(예컨대, 소프트웨어 애플리케이션 또는 운영 체제)가 현재 실행 중인 뉴럴 네트워크를 추적할 수 있게 하는 하나 이상의 비트 값들의 형태를 취할 수 있다. 통지 파라미터(1114)는, 네트워크 디스크립터(1110)가 파싱될 때, 뉴럴 태스크 관리자(310)가 인터럽트를 발생시키게 할 수 있다. 대기 파라미터(1116)는, 소프트웨어가 동기식으로 데이터를 시스템 메모리(230)에 기입하고 들어오는 태스크에 대해 데이터를 버퍼(334)에 스왑인할 수 있게 하기 위해 제공되는 하나 이상의 비트 값들의 형태를 취할 수 있다. 예를 들어, 대기 파라미터(1116)는 뉴럴 프로세서 회로(218)가 콘텍스트 스위칭 스테이지에 있음을 나타내는 스테이지로 설정될 수 있다. 대기 파라미터(1116)가 그러한 스테이지로 설정되어 있을 때, 뉴럴 태스크 관리자(310)는 일시정지하고 소프트웨어가 콘텍스트 스위치를 확인응답하기를 기다릴 수 있다.

콘텍스트 스위치 태스크(1120)는 특수 태스크 디스크립터(1012)의 형태를 취할 수 있다. 콘텍스트 스위치 태스크(1120)는, 데이터 프로세서 회로(318)가 나가는 태스크를 핸들링하는 것에서부터 들어오는 태스크를 핸들링하는 것으로의 콘텍스트 스위치를 수행하기 위한 절차들을 특정한다. 나가는 태스크는 제1 뉴럴 네트워크에 할당될 수 있는 반면, 들어오는 태스크는 제1 뉴럴 네트워크와는 상이한 제2 뉴럴 네트워크에 할당될 수 있다. 예를 들어, 콘텍스트 스위치 태스크(1120)를 큐잉할 시에, 뉴럴 태스크 관리자(310)는 콘텍스트 스위치 태스크(1120)의 구성 데이터를 데이터 프로세서 회로(318)로 전송하여, 데이터 프로세서 회로(318)가 나가는 태스크에 대응하는 하나 이상의 뉴럴 엔진들(314) 또는 평면 엔진의 출력을 버퍼(334)로부터 시스템 메모리(230)로 송신하게 할 수 있다. 콘텍스트 스위치 태스크(1120)의 구성 데이터는 또한, 데이터 프로세서 회로(318)가 들어오는 태스크에 대응하는 데이터를 시스템 메모리(230)로부터 버퍼(334)로 페치하게 할 수 있다.

뉴럴 네트워크 표현(1100)은 또한 하나 이상의 세그먼트들(1150)을 포함한다. 세그먼트(1150)는 뉴럴 네트워크와 연관된 태스크들의 집합이다. 세그먼트(1150)는 태스크 관련 데이터의 형태를 취할 수 있고, 하나 이상의 태스크 디스크립터들(1012)을 포함할 수 있다. 일부 실시예들에서, 세그먼트(1150)는 헤더(1152) 및 태스크 디스크립터(1012)의 시퀀스를 포함할 수 있다.

헤더(1152)는 특정 세그먼트(1150) 내의 태스크들에 공통인 데이터 필드들을 저장한다. 헤더(1152)는 종료 표시자(1154), 분기 표시자(1156), 제1 분기 어드레스(1158), 제2 분기 어드레스(1160), 세그먼트 마스킹 인덱스(1162), 및 분기 태스크 식별자(1164)를 포함할 수 있다. 종료 표시자(1154)는 특정 세그먼트(1150)가 뉴럴 네트워크 표현(1100)의 마지막 세그먼트인지를 나타낸다.

뉴럴 태스크 관리자(310)는 분기를 지원할 수 있는데, 이는 뉴럴 태스크 관리자(310)가 현재 세그먼트(1150)에 후속하여 태스크 큐들의 2개 이상의 분기들 중 하나를 선택적으로 인큐잉할 수 있게 한다. 뉴럴 태스크 관리자(310)는 데이터 프로세서 회로(318)로부터 분기 커맨드를 수신할 수 있다. 분기 커맨드는 현재 세그먼트(1150) 내의 태스크의 출력들의 하나 이상의 값들에 기초하여 결정될 수 있다. 분기 커맨드에 기초하여, 뉴럴 태스크 관리자(310)는 분기들 중 인큐잉할 하나의 분기를 선택한다. 분기 표시자(1156)는 현재 세그먼트(1150)에 대해 분기가 인에이블되는지를 나타낸다. 그렇다면, 세그먼트(1150)는 또한 제1 분기 어드레스(1158) 및 제2 분기 어드레스(1160)를 포함할 수 있는데, 이들은 각각 제1 분기를 표현하는 제1 후속 세그먼트(1150)의 어드레스 및 제2 분기를 표현하는 제2 후속 세그먼트(1150)의 어드레스이다. 2개의 분기들은 동일한 뉴럴 네트워크 또는 상이한 뉴럴 네트워크들에 속할 수 있다. 뉴럴 태스크 관리자(310)는 제1 분기 어드레스(1158) 및 제2 분기 어드레스(1160)를 사용하여 인큐잉할, 선택된 세그먼트 분기를 취출한다. 분기 태스크 식별자(1162)는 세그먼트(1150) 내의 어느 태스크가 분기의 결과를 결정하기 위한 출력 데이터를 생성하는 분기 결정 태스크인지를 식별한다.

세그먼트 마스킹 인덱스(1162)는 또한 라이브-인(live-in) 값으로 지칭될 수 있다. 세그먼트 마스킹 인덱스(1162)는 콘텍스트 스위치가 발생할 시에, 세그먼트(1150)가 세그먼트 중간에서 스위칭 아웃될 때 마스킹 정보를 제공한다. 예를 들어, 세그먼트(1150)는 하나 초과의 태스크를 포함하고, 콘텍스트 스위치는 최종 태스크가 아니라 중간 태스크의 완료 후에 발생한다. 세그먼트 마스킹 인덱스(1162)는 콘텍스트 스위치 동안 데이터가 버퍼(334)로부터 스왑아웃될 때 마스킹 정보를 제공한다.

세그먼트(1150)는 또한, 뉴럴 태스크 관리자(310)가 디큐잉하기 위한 특정 순서로 배열된 하나 이상의 태스크 디스크립터들(1012)을 포함한다. 태스크 디스크립터들(1012)이 순서대로 배열되지만, 일부 실시예들에서, 태스크들은 도 8 및 도 9에서 논의된 바와 같이, 비동기식으로 수행될 수 있다. 도 11a에 도시된 구성과 같은 일부 실시예들에서, 태스크 디스크립터(1012)는 특정 세그먼트(1150)에 관련된 데이터를 저장하기 위해 메모리 위치의 블록의 일부로서 세그먼트(1150) 내에 저장될 수 있다. 다른 실시예들(도시되지 않음)에서, 세그먼트(1150)는 세그먼트(1150)와는 별도로 저장된 다양한 태스크 디스크립터들(1012)에 대한 포인터들을 포함할 수 있다. 예를 들어, 태스크 디스크립터들(1012)은 시스템 메모리(230)에 저장될 수 있다. 이어서, 세그먼트(1150)는 태스크 디스크립터들(1012)의 리스트를 표현하는 메모리 어드레스들의 리스트를 저장한다.

도 11b는 일 실시예에 따른 태스크 큐들(1004)의 예시적인 구성을 예시하는 블록도이다. 도 11b는 태스크 아비터(1002) 및 복수의 태스크 큐들(1004A 내지 1004N)을 도시하는 도 10에 도시된 뉴럴 태스크 관리자(310)의 부분에 대응할 수 있다. 뉴럴 태스크 관리자(310)는 미리결정된 수(예컨대, 8)의 별개의 태스크 큐들(1004)을 포함할 수 있다. 태스크 큐(1004)는 미리결정된 수까지의 세그먼트들(1150)을 저장하기 위한 메모리 슬롯들(예컨대, 세그먼트 슬롯들)을 포함하는 하드웨어 큐일 수 있다. 하나 이상의 뉴럴 네트워크 표현들(1100)로부터의 세그먼트들(1150)이 태스크 큐(1004)에 인큐잉되고, 태스크 큐(1004)의 우선순위 및 태스크 큐(1004) 내에서의 세그먼트들(1150)의 순서에 기초하여 디큐잉(예컨대, 실행을 위해 전송됨)될 수 있다.

태스크 큐(1004)는 태스크 큐(1004)의 상태들 및 구성을 표현하는 값들을 저장하기 위한 하나 이상의 레지스터들을 포함할 수 있다. 레지스터들은 상태 레지스터(1172), 빈 공간 레지스터(1174), 큐 우선순위 레지스터(1176), 및 현재 태스크 포인터(1178)에 대한 하나 이상의 레지스터들을 포함할 수 있다. 상태 레지스터(1172)는 큐의 실행 상태를 표현하는 값(들)을 저장한다. 빈 공간 레지스터(1174)는 하드웨어 큐 내의, 비어 있는 빈 슬롯들의 수를 나타낸다. 슬롯은 세그먼트(1150)에 의해 점유될 수 있고, 세그먼트(1150) 내의 태스크들이 실행을 위해 디큐잉될 때 비워질 수 있다. 큐 우선순위 레지스터(1176)는 태스크 큐(1004)에 대한 우선순위 파라미터를 저장한다. 태스크 아비터(1002)는 우선순위 파라미터에 기초하여 복수의 태스크 큐들(1004) 중 실행될 하나의 태스크 큐를 선택한다. 태스크 큐(1004)가 선택된 후에, 세그먼트들(1150)은, 태스크 큐(1004) 내의 세그먼트들(1150)이 실행될 때까지 또는 콘텍스트 스위치가 있을 때까지, 선입선출(FIFO) 방식으로 실행된다. 현재 태스크 포인터(1178)는 최전방 세그먼트(1150) 내의 현재 태스크 디스크립터(1012)의 메모리 어드레스를 제공한다.

일부 실시예들에서, 뉴럴 태스크 관리자(310)는 큐-내 콘텍스트 스위치 및 큐-간 콘텍스트 스위치를 지원할 수 있다. 큐-내 콘텍스트 스위치는 태스크 큐(1004) 내에서 콘텍스트 스위치가 있을 때 발생한다. 달리 말해서, 뉴럴 태스크 관리자(310)는 태스크 큐(1004)를 실행하고, 동일한 큐(1004) 내의 하나의 세그먼트와 다른 세그먼트 사이에서 콘텍스트 스위치가 발생한다. 큐-간 콘텍스트 스위치에서는, 현재 실행 중인 제1 태스크 큐(1004)가 종료되고, 뉴럴 태스크 관리자(310)는 다른 큐로 스위칭된다.

큐-내 콘텍스트 스위치를 수반하는 태스크 큐(1004)의 경우, 상이한 뉴럴 네트워크 표현들(1100)로부터의 세그먼트들(1150)은, 예컨대 인터리빙된 방식(interleaved manner)으로 또는 임의의 적합한 순서들로, 동일한 태스크 큐(1004) 상에 인큐잉될 수 있다. 태스크 큐(1004) 내의 세그먼트들(1150)의 실행은 세그먼트들의 순서를 따른다. 뉴럴 태스크 관리자(310)는 동일한 태스크 큐(1004) 상의 상이한 뉴럴 네트워크 표현들(1100)의 세그먼트들(1150) 사이에 콘텍스트 스위치 태스크(1120)를 삽입한다. 다수의 뉴럴 네트워크들과 동일한 태스크 큐를 공유하는 것은 소프트웨어 및 컴파일러가 (동일한 우선순위 파라미터로) 단일 우선순위 레벨을 다수의 뉴럴 네트워크들 사이에서 시간분할 방식으로 공유할 수 있게 한다. 뉴럴 태스크 관리자(310)가 제1 뉴럴 네트워크 표현(1100)으로부터의 제1 세그먼트(1150)를 완료함에 따라, 뉴럴 태스크 관리자(310)는 큐-내 콘텍스트 스위치를 수행하여 제2 뉴럴 네트워크 표현(1100)으로부터의 제2 세그먼트(1150)로 스위칭한다. 동일한 뉴럴 네트워크 표현(1100)의 2개의 연속적인 세그먼트들(1150)이 연이어(back-to-back) 인큐잉되는 경우, 콘텍스트 스위치는 삽입되지 않는다.

일부 경우들에서, 큐-내 콘텍스트 스위치는 세그먼트(1150)가 완료되지 않았을 때 발생할 수 있다(예컨대, 세그먼트들 내의 태스크들이 디큐잉된 채로 완료되지 않았음). 뉴럴 태스크 관리자(310)는 세그먼트 마스킹 인덱스(1162)를 사용하여 콘텍스트 스위치 이전에 특정 세그먼트(1150)에 대한 마스킹 정보를 저장하며, 이에 따라, 뉴럴 태스크 관리자(310)가 나중에 그 세그먼트(1150)로 복귀할 수 있게 한다.

뉴럴 태스크 관리자(310)가 태스크 큐(1004)를 완료한 후, 뉴럴 태스크 관리자(310)는 또한 큐-간 콘텍스트 스위치를 수행하여 다른 태스크 큐(1004)를 디큐잉할 수 있다. 콘텍스트 스위치는 2개의 연속 태스크 큐들(1004)이 상이한 뉴럴 네트워크 표현들(1100)로부터의 태스크를 포함하는 경우에 발생할 수 있다. 예를 들어, 제1 태스크 큐(1004) 내의 마지막 태스크는 제1 뉴럴 네트워크에 할당될 수 있고, 제2 태스크 큐(1004) 내의 제1 태스크는 제2 뉴럴 네트워크에 할당될 수 있다. 일부 경우들에서, 콘텍스트 스위치는 2개의 큐들 사이의 전이 시에 발생할 필요는 없다. 예를 들어, 후속 태스크 큐(1004) 내의 제1 태스크는 단순히 이전 큐 내의 마지막 태스크의 계속일 수 있다.

상태 레지스터(1172) 내의 값들은 콘텍스트 스위치와 관련된 태스크 큐(1004)의 다양한 실행 상태들을 나타낼 수 있다. 일 실시예에서, 태스크 큐(1004)는 4개의 상태들 중 하나에 있을 수 있다. 인에이블 상태에서, 태스크 큐(1004)는 태스크 중재에 참여하고, 태스크들을 정상적으로 실행한다. 정지 상태(stopped state)에서, 태스크 큐(1004)는 중재에 참여하지만, 태스크들을 실행하지는 않는다. 태스크 큐(1004)가 현재 큐가 되는 경우, 뉴럴 태스크 관리자(310)는 콘텍스트 스위치를 수행하고 정지 태스크 큐(1004) 내의 임의의 태스크의 실행을 정지시킨다. 중지 상태(suspended state)에서, 태스크 큐(1004)는 중재에 참여하지 않는다. 다음 콘텍스트 스위치 지점에서, 중재에 의해 새로운 큐가 선택될 것이다. 다른 큐들이 없는 경우, 중지 태스크 큐(1004)가 현재 큐로 유지된다. 디스에이블 상태에서, 태스크 큐(1004)는 중재에 참여하지 않는다. 다음 콘텍스트 스위치 지점에서, 중재에 의해 새로운 큐가 선택될 것이다. 다른 큐들이 없는 경우, 디스에이블 태스크 큐(1004)는 유휴 상태로 콘텍스트 스위칭 아웃된다. 이는, 버퍼(334)에 데이터가 대응하게 채워지지 않은 상태로, 버퍼(334)가 시스템 메모리(230)에 유출(spill)되게 한다. 콘텍스트 스위치 태스크(1120)는 가장 최근의 세그먼트(1150)로부터의 현재 큐의 네트워크 디스크립터(1110)로부터 제공된다.

도 12는 일 실시예에 따른 태스크 디스크립터(1012)를 예시하는 도면이다. 태스크 큐(1004)의 선택 시에, 세그먼트(1150) 내의 태스크들은 디큐잉되고 순서대로 실행으로 전송된다. 예로서, 태스크 아비터(1002)는 시스템 메모리(230)로부터 페치 큐(1008)에 태스크 디스크립터(1012)를 배치하며, 이는 이어서 구성 큐(1010)로 송신된다. 구성 큐(1010) 내의 최고 우선순위(예컨대, 선입(first in)) 태스크 디스크립터(1012)는 구성 기간 동안 실행을 위해 뉴럴 프로세서 회로(218)를 구성하는 데 사용된다. 태스크 디스크립터(1012)의 구성 데이터(1014)는 태스크 디스크립터 헤더(1202) 및 어드레스 데이터(1204A 내지 1204X)(이하에서 "어드레스 데이터(1204)"로 지칭됨)를 포함한다.

태스크 디스크립터 헤더(1202)는 태스크 선택, 콘텍스트 스위칭, 태스크 스위칭, 및 데이터 종속성과 관련된 동작들을 포함하는, 특정 태스크 디스크립터(1012)에 관련된 뉴럴 태스크 관리자(310)의 다양한 동작들을 구성한다. 태스크 디스크립터 헤더(1202)는, 뉴럴 태스크 관리자(310) 및 뉴럴 프로세싱 회로(218)의 다른 컴포넌트들을 프로그래밍하는 구성 데이터(1014)를 추출하기 위해, 태스크 아비터(1002)에 의해 파싱될 수 있다.

태스크 디스크립터 헤더(1202)는, 태스크를 식별하는 태스크 식별자(ID)(1206), 콘텍스트 스위치 동안, 데이터가 버퍼(334)로부터 스왑아웃될 때 마스킹 정보를 정의하는 태스크 마스킹 인덱스(1208), 태스크의 실행 후에 (예컨대, 세그먼트(1150)의 끝에서) 뉴럴 태스크 관리자(310)가 태스크 스위치를 개시해야 하는지를 정의하는 태스크 스위치 파라미터(1210), 태스크에 대한 입력 데이터가 시스템 메모리(230)로부터 취출되어야 하는지 또는 데이터 프로세서 회로(318)로부터 취출되어야 하는지를 정의하는 입력 표면 파라미터(1212), 태스크의 출력 데이터가 시스템 메모리(230)에 저장되어야 하는지 또는 데이터 프로세서 회로(318)에 저장되어야 하는지를 정의하는 출력 표면 파라미터(1214), 뉴럴 프로세서 회로(218)의 프로그래밍을 용이하게 하기 위한 다양한(예컨대, 기준 어드레스) 포인터들(1216), 이벤트, 예외, 또는 디버그 로깅을 제어하는 하나 이상의 디버그/예외 파라미터들(1218), 및 특정 태스크가 이전 태스크에 종속하는지를 정의하는 종속성 파라미터(1220)를 포함할 수 있다.

태스크 마스킹 인덱스(1208)는 콘텍스트 스위치 동안 데이터가 버퍼(334)로부터 스왑아웃되거나 버퍼(334)로 스왑인될 때 마스킹 정보를 제공한다. 태스크 마스킹 인덱스(1208)는 또한 라이브-아웃(live-out) 값으로 지칭될 수 있다. 나가는 태스크와 관련된 계산들 동안에는, 버퍼(334) 내의 모든 메모리 위치가 나가는 태스크 또는 나가는 태스크들에 관련된 후속 태스크들의 계산들에 유용한 데이터로 항상 점유될 필요는 없다. 태스크 마스킹 인덱스(1208)는 버퍼(334)의 일부가 스왑인되거나 스왑아웃될 필요가 있는 데이터를 나타내는 마스킹 정보를 제공한다. 예를 들어, 태스크 마스킹 인덱스(1208)는 각각의 비트가 버퍼(334) 내의 영역에 대응하는 다중 비트 값일 수 있다. "1"의 비트 값 또는 그 반대는 스왑인 또는 스왑아웃될 필요가 있는 비트에 대응하는 영역을 표현할 수 있다.

어드레스 데이터(1204A 내지 1204N)("어드레스 데이터(1204)"로 일괄적으로 또는 개별적으로 지칭됨)의 각각의 인스턴스는 뉴럴 프로세서 회로(218)의 컴포넌트들을 프로그래밍하는 데 사용되는 어드레스 및 데이터 페이로드 쌍을 정의한다. 데이터 페이로드는 태스크를 실행하는 데 사용되는 입력 데이터 및 커널 데이터를 포함할 수 있다. 예컨대, 어드레스 데이터(1204)의 각각의 인스턴스는, 데이터 페이로드를 정의하는 레지스터 데이터, 레지스터 데이터를 수신하기 위한 뉴럴 프로세싱 회로(218)의 목적지 메모리 위치를 정의하는 레지스터 어드레스, 및 레지스터 데이터로 기입될 다수의 연속 메모리 위치들(예컨대, 레지스터들)을 정의하는 레지스터 카운트를 포함한다. 일부 실시예들에서, 레지스터 어드레스는 각각의 메모리 위치의 전체 어드레스를 정의하기 위해, 네트워크 디스크립터(1110)에 저장된 기준 어드레스 인텍스(1106)와 조합된다. 태스크 디스크립터(1012)가 컴파일 시간에 생성되는 경우, 실제 실행 시간 어드레스들은 알려져 있지 않을 수 있다. 기준 어드레스 인텍스(1106)는 동적으로 할당된 어드레스들을 갖는 모든 태스크 디스크립터들을 복제 또는 업데이트하는 것을 회피하는 데 사용된다.

하나 이상의 실시예들에서, 기준 어드레스 인덱스(1106)는 데이터 프로세서 회로(318)를 프로그래밍하는 데 사용된다. 기준 어드레스 인덱스(1106)는 데이터 종속성 정보를 포함한다. 데이터 종속성 정보는 데이터 프로세서 회로(318)로 전송되는 구성 데이터(1014)의 부분으로서 포함된다.

예시적인 분기 동작

도 13은 실시예에 따른 예시적인 동적 분기 프로세스를 예시하는 개념도이다. 뉴럴 프로세서 회로(218)는, 뉴럴 태스크 관리자(310)가 분기-전 세그먼트와 연관된 분기-전 태스크의 결과에 기초하여 2개의 대안적인 분기들 중 인큐잉할 하나의 분기를 선택하는 분기 프로세스를 지원한다. 분기는 뉴럴 프로세서 회로(218)가 실행할 하나 이상의 뉴럴 네트워크들을 동적으로 선택할 수 있게 한다. 예를 들어, 2개의 분기들은 상이한 뉴럴 네트워크들에 대응할 수 있다. 뉴럴 프로세서 회로(218)는 뉴럴 프로세서 회로(218)에 의해 실행된 선행 뉴럴 네트워크의 결과에 기초하여 뉴럴 네트워크들 중 하나를 선택한다.

분기 동작은 데이터 프로세서 회로(318)와 통신하는 뉴럴 태스크 관리자(310)에 의해 수행될 수 있다. 뉴럴 프로세서 회로(218)는 인스턴스화된 다수의 뉴럴 네트워크 표현들(1100)을 가질 수 있다. 각각의 뉴럴 네트워크 표현(1100)은 다수의 세그먼트들(1150)을 포함할 수 있지만, 도 13에 도시된 3개의 뉴럴 네트워크 표현들(1100) 각각에 대해서는 단지 하나의 세그먼트(1150)만이 도시되어 있다. 도시된 세그먼트들(1150)은 분기-전 세그먼트(1310), 제1 세그먼트 분기(1320) 및 제2 세그먼트 분기(1330)를 포함할 수 있다. 각각의 세그먼트는 그들의 대응하는 태스크 디스크립터들(1012)에 의해 설명되는 하나 이상의 태스크들을 포함할 수 있다.

뉴럴 태스크 관리자(310)는 분기-전 세그먼트(1310) 내의 헤더 정보를 통해 분기-전 세그먼트(1310), 제1 세그먼트 분기(1320) 및 제2 세그먼트 분기(1330)를 연결한다. 도 11a를 참조하면, 분기-전 세그먼트(1310)는, 이러한 세그먼트가 분기로 종료된다는 것을 나타내는 값과 연관된 분기 표시자(1156)를 포함한다. 분기를 링크시키기 위해, 분기-전 세그먼트(1310)는 또한, 제1 세그먼트 분기(1320)의 어드레스를 표현하는 제1 분기 어드레스(1158) 및 제2 세그먼트 분기(1330)의 어드레스를 표현하는 제2 분기 어드레스(1160)를 포함한다. 2개의 분기들이 예로서 도 13에 도시되어 있지만, 일부 실시예들에서, 뉴럴 태스크 관리자(310)는 2개 초과의 분기를 지원할 수 있고, 분기-전 세그먼트(1310)의 헤더에 저장된 대응하는 분기 어드레스들을 가질 수 있다.

분기 동작은 데이터 프로세서 회로(318)와 통신하는 뉴럴 태스크 관리자(310)를 통해 수행될 수 있다. 일 실시예에서, 뉴럴 태스크 관리자(310)는 분기-전 세그먼트(1310)를 하드웨어 태스크 큐(1004)에 인큐잉한다. 뉴럴 태스크 관리자(310)가 다양한 세그먼트들 및 태스크들을 프로세싱함에 따라, 분기-전 세그먼트(130)는 뉴럴 태스크 관리자(310)가 분기-전 태스크들(1312)을 실행을 위해 디큐잉하고 있는 현재 세그먼트가 된다. 뉴럴 태스크 관리자(310)가 분기-전 세그먼트(1310) 내의 분기-전 태스크(1312)를 디큐잉함에 따라, 태스크의 구성 데이터가 추출된다. 구성 데이터는 하나 이상의 계산 엔진들(1350)이 분기-전 태스크(1312)에 대응하는 계산을 수행하여 출력 데이터(1352)를 생성하게 한다. 계산 엔진들(1350)은 뉴럴 엔진들(314) 또는 평면 엔진들(340)일 수 있다. 예를 들어, 분기-전 태스크(1312)의 구성 데이터는 하나 이상의 뉴럴 엔진(314)이 분기-전 태스크(1312)에 대응하는 입력 데이터에 대해 콘볼루션 동작들을 수행하여 출력 데이터(1352)를 생성하게 할 수 있다.

데이터 프로세서 회로(318)는 출력 데이터(1352)를 수신하여 분기 커맨드(1354)를 생성한다. 출력 데이터(1352)는 하나 이상의 뉴럴 엔진들(314) 또는 평면 엔진(340)으로부터 생성될 수 있다. 데이터 프로세서 회로(318)는 출력 데이터(1352) 내의 하나 이상의 값들을 하나 이상의 기준 값들과 비교하여 분기 커맨드(1354)를 생성하며, 분기 커맨드는 분기 목적들을 위해 뉴럴 태스크 관리자(310)로 전송된다. 다양한 방식들이 분기 커맨드(1354)를 생성하는 데 사용될 수 있다. 일 실시예에서는, 계산 엔진(1350)의 제1 출력 값이 데이터 프로세서 회로(318)의 레지스터에 저장된 기준 값과 비교된다. 다른 실시예에서는, 다른 출력 값이 기준 값과의 비교를 위해 선택된다. 비교의 용이함을 위해, 기준 값의 포맷은 계산 엔진(1350)으로부터의 출력 값과 동일하도록 설정된다. 데이터 프로세서 회로(318)는 비교가 어떻게 수행되는지를 정의하는 값을 저장하기 위한 레지스터를 추가로 포함할 수 있다. 예를 들어, 비교는 같음, 미만, 이하, 초과, 이상, 같지 않음, 항상 거짓, 및 항상 참일 수 있다. 비교에 기초하여, 데이터 프로세서 회로(318)는 출력 데이터로부터 분기 커맨드(1354)를 생성한다. 일부 실시예들에서, 분기 커맨드(1354)는 2개의 분기들 중 하나를 선택하기 위한 이진 비트일 수 있다. 다른 실시예들에서, 분기 커맨드(1354)는 다수의 분기들 중의 선택을 허용하기 위해 더 복잡할 수 있다.

뉴럴 태스크 관리자(310)는 분기 커맨드(1354)를 수신하고 수신된 분기 커맨드(1354)에 따라 분기를 선택한다. 선택된 세그먼트 분기는 태스크 큐(1004)에 인큐잉된다. 일 실시예에서, 인큐잉된 태스크 큐(1004)는 분기-전 세그먼트(1310)가 인큐잉된 동일한 태스크 큐이다. 다른 실시예에서, 선택된 세그먼트 분기는 또한, 상이한 우선순위 파라미터로 상이한 태스크 큐(1004)에서 인큐잉될 수 있다. 뉴럴 태스크 관리자(310)는 세그먼트 헤더(1152)에 특정된 제1 분기 어드레스(1158) 또는 제2 분기 어드레스(1160)에 기초하여 분기를 취출함으로써 선택된 세그먼트 분기를 인큐잉한다. 뉴럴 태스크 관리자(310)는, 결국, 분기들 중 선택된 하나의 분기로부터 데이터 프로세서 회로(318)로 태스크를 송신하여 태스크를 수행한다. 예를 들어, 태스크의 구성 데이터가 추출되어, 계산 엔진(1350)이 계산(calculation)을 수행하기 위해 적절한 데이터를 취출하도록 데이터 프로세서 회로(318)에 지시하는 데 사용된다.

제1 세그먼트 분기(1320), 제2 세그먼트 분기(1330), 및 분기-전 세그먼트(1310)가 상이한 뉴럴 네트워크 표현들(1100)에 할당된 것으로 도 13에 표현되어 있지만, 일부 실시예들에서, 그러한 세그먼트들(1310) 중 하나 이상은 또한 동일한 뉴럴 네트워크 표현(1100)에 속할 수 있다. 분기-전 세그먼트(1310) 및 선택된 세그먼트 분기가 상이한 뉴럴 네트워크 표현들(1100)에 할당된 경우, 뉴럴 태스크 관리자(1310)는 또한, 분기-전 세그먼트(1310)를 포함하는 뉴럴 네트워크 표현(1100)의 네트워크 디스크립터(1110)에 저장된 콘텍스트 스위치 태스크(1120)를 인큐잉할 수 있다(도 11a 참조). 일부 경우들에서, 분기-전 세그먼트(1310)의 마지막 태스크는 뉴럴 네트워크와 연관된 마지막 태스크이고, 그러한 경우, 콘텍스트 스위치는 필요하지 않을 수 있다.

어떤 분기-전 태스크(1312)가 분기 결과를 결정하는지는 다양한 실시예들에서 다를 수 있다. 일부 실시예들에서, 분기 결과를 결정하는 분기-전 태스크(1312)는 분기-전 세그먼트(1310) 내의 마지막 태스크이다. 분기 커맨드(1354)는 선택된 세그먼트 분기가 분기-전 세그먼트(1310)를 현재 저장하고 있는 동일한 태스크 큐(1004)에 추가되게 할 수 있다. 이러한 예에서, 뉴럴 태스크 관리자(310)는 분기-전 세그먼트(1310) 내의 마지막 태스크를 끝내고 있기 때문에, 태스크 큐(1004)는 선택된 세그먼트 분기를 수용하기 위한 적어도 하나의 세그먼트 슬롯을 가질 것이다. 일 실시예에서, (예컨대, 마지막 분기-전 태스크(1312)가 길고 복잡한 태스크인 상황에서) 뉴럴 태스크 관리자(310)가 마지막 분기-전 태스크(1312)를 실행을 위해 디큐잉했지만 분기 커맨드(1354)를 수신하지 않은 경우, 뉴럴 태스크 관리자(310)는 일시정지하고 실행할 추가적인 태스크들을 디큐잉하는 것을 정지할 수 있다.

일부 실시예들에서, 마지막 분기-전 태스크(1312)를 분기 결정 태스크로서 고정하는 대신에, 뉴럴 태스크 관리자(310)는 분기-전 세그먼트(1310) 내의 임의의 분기-전 태스크(1312)를 분기 결정 태스크로서 기능할 수 있게 한다. 분기-전 세그먼트(1310)의 헤더(1152)는 분기 결정 태스크를 식별하는 분기 태스크 식별자(1162)를 포함한다. 예를 들어, 도 13에서, 제3 분기-전 태스크(1312)는 분기 커맨드(1354)를 생성하는 데 사용되는 출력 데이터(1352)를 생성할 태스크로서 식별된다. 중간 태스크가 분기 결정 태스크로서 선택됨에 따라, 뉴럴 태스크 관리자(310)는 분기 전에 추가적인 분기-전 태스크들(1312)을 계속 프로세싱한다. 예를 들어, 분기가 발생하기 전에 2개의 추가적인 분기-전 태스크들(1312)이 디큐잉된다.

일부 실시예들에서, 분기 결정 태스크가 디큐잉된 후에 그리고 분기 커맨드(1354)가 수신되기 전에, 뉴럴 태스크 관리자(310)는 태스크들의 계속된 프로세싱을 지원한다. 예를 들어, 분기 결정 태스크는 프로세싱하는 데 비교적 오랜 시간이 걸리는 복잡한 태스크(예컨대, 도 8의 태스크 TC3)일 수 있고, 뉴럴 태스크 관리자(130)는 분기-전 세그먼트(1310) 내의 후속 분기-전 태스크들(1312)을 계속 프로세싱할 수 있다. 모든 분기-전 태스크들(1312)이 디큐잉되었지만 분기 커맨드(1354)가 수신되지 않은 경우, 뉴럴 태스크 관리자(130)는 추가적인 태스크들을 인큐잉할 수 있다. 콘텍스트 스위칭 태스크들 및 그러한 후속 태스크들이 분기 결정 태스크와 관련되는지 또는 아닌지를 포함하는, 임의의 적합한 태스크가 인큐잉될 수 있다. 분기 결과를 기다리는 동안의 뉴럴 태스크 관리자(310)의 계속된 동작은 뉴럴 프로세서 회로(218)의 효율을 증가시킨다. 다른 뉴럴 네트워크와 관련된 그러한 태스크들과 같은 추가적인 태스크들은, 뉴럴 태스크 관리자(310)가 분기 결과를 기다리고 있는 동안 프로세싱될 수 있다.

일부 실시예들에서, 뉴럴 태스크 관리자(310)는 콘텍스트 스위치로 분기가 인에이블된 세그먼트(1150)를. 뉴럴 태스크 관리자(310)는 각각의 태스크 큐(1004) 내의 최전방 세그먼트(1150)의 분기 상태를 모니터링한다. 분기 결정 태스크가 완료된 경우, 분기 상태는 분기 결정 태스크의 분기 커맨드(1354)일 수 있다. 예를 들어, 도 13의 제4 분기-전 태스크(1312)에서 콘텍스트 스위치가 발생하고 제3 분기-전 태스크(1312)가 분기 결정 태스크인 경우, 뉴럴 태스크 관리자(310)는 분기 상태로서 분기 커맨드(1354)(이용가능한 경우)를 저장한다. 분기 결정 태스크가 완료되지 않은 경우, 분기 상태는 또한 분기 태스크 식별자(1162)일 수 있다. 이는, 뉴럴 태스크 관리자(310)가 분기 커맨드(1354)를 여전히 기다리고 있거나 또는 분기 결정 태스크의 디큐잉 전에 콘텍스트 스위치가 발생할 때 일어난다. 뉴럴 태스크 관리자(310)가 현재 실행 중인 세그먼트의 끝에 도달하고 분기 커맨드(1354)가 이용가능하지 않은 경우, 뉴럴 태스크 관리자(310)는 또한 다른 태스크들의 프로세싱을 위해 다른 태스크 큐(1004)로의 콘텍스트 스위치를 수행할 수 있다.

일부 실시예들에서, 뉴럴 태스크 관리자(310)는 또한, 분기 커맨드(1354)를 수신하기 전에 세그먼트 분기(제1 세그먼트 분기(1320) 또는 제2 세그먼트 분기(1330)) 내의 태스크들 중 하나를 프로세스하기 시작할 수 있다. 예를 들어, 소정 상황들에서, 뉴럴 태스크 관리자(310)는 분기들 중 하나를 예측하거나 무작위로 선택하고, 예측된 분기를 인큐잉하고, 분기 커맨드(1354)의 수신 전에 예측된 분기와 관련된 동작들을 수행할 수 있다. 예측된 분기가 분기 커맨드(1354)에 의해 특정된 선택된 분기인 것으로 판명되는 경우, 뉴럴 태스크 관리자(310)는 계산 프로세스를 가속화하였다. 예측된 분기가 잘못된 것으로 판명되는 경우, 뉴럴 태스크 관리자(310)는 예측된 분기와 관련된 동작들을 폐기하고 예측된 분기를 비운다. 뉴럴 태스크 관리자(310)는 결국 정확한 분기를 인큐잉한다.

도 13에 도시된 분기들은 상이한 뉴럴 네트워크들에 할당될 수 있다. 예를 들어, 분기는 2개의 대안적인 모델들의 선택이 선행 모델의 결과에 기초하는 한 그룹의 기계 학습 모델들의 동작에 대응할 수 있다. 예를 들어, 분기-전 세그먼트(1310)는 제1 분류기에 대응할 수 있다. 제1 분류기의 결과가 결정된 후에, 뉴럴 프로세서 회로(218)는 2개의 대안적인 후속 분류기들 중 하나로 즉시 스위칭하여 더 미세한 예측을 하게 할 수 있다. 뉴럴 프로세서 회로(218)를 사용하여 분기 선택을 하는 것은 일련의 기계 학습 모델들에 관련된 동작들을 수행하는 레이턴시를 개선한다. 예를 들어, 제1 분류기의 결정은, 소프트웨어가 어느 후속 분류기를 선택할지를 결정하기 위해 애플리케이션 계층으로 다시 송신할 필요가 없다.

분기를 위한 예시적인 프로세스

도 14는 실시예에 따른, 뉴럴 프로세서 회로(218)에서 분기 동작들을 수행하기 위한 예시적인 프로세스를 도시하는 흐름도이다. 프로세스는 뉴럴 프로세서 회로(218)의 다양한 컴포넌트들에 의해 협력적으로 수행될 수 있다. 분기는, 예를 들어, 뉴럴 프로세서 회로(218)가 제1 뉴럴 네트워크와 연관된 결과를 결정하고, 뉴럴 네트워크들의 2개 이상의 선택들로부터 선택된 제2 뉴럴 네트워크를 이용하여 계산들을 수행하는 것으로 전이할 때 발생할 수 있다.

뉴럴 프로세서 회로(218)는 하나 이상의 뉴럴 엔진 회로들(314)에 의해, 분기-전 태스크에 대응하는 입력 데이터에 대해 콘볼루션 동작들을 수행하여 출력 데이터를 생성한다(1410). 콘볼루션 동작들은 CNN 내의 하나 이상의 콘볼루션 계층들에서의 동작들에 대응할 수 있다. 콘볼루션 동작들은 또한 다른 타입들의 기계 학습 모델들에서의 동작들에 대응할 수 있다. 일부 경우들에서, 분기 커맨드를 초래하는 출력 데이터를 생성하는 데 사용되는 분기-전 태스크는 또한 평면 엔진(340)에 의해 수행될 수 있다.

뉴럴 프로세서 회로(218)는 데이터 프로세서 회로(318)에 의해, 하나 이상의 뉴럴 엔진 회로들로부터 출력 데이터를 수신한다(1420). 일부 실시예들에서, 출력 데이터는 콘볼루션의 결과일 수 있다. 데이터 프로세서 회로(318)는 전체 출력 데이터를 사용하여 분기 결정을 결정할 수 있다. 다른 실시예들에서, 데이터 프로세서 회로(318)는 출력 데이터 내의 값들 중 하나를 선택하거나 또는 분기의 결정을 위한 값들의 서브세트를 샘플링할 수 있다. 예를 들어, 일 실시예에서, 뉴럴 프로세서 회로(318)는 출력 데이터 내의 제1 값을 분기의 결정을 위한 값으로서 사용할 수 있다.

뉴럴 프로세서 회로(218)는 출력 데이터로부터 분기 커맨드를 생성한다(1430). 예를 들어, 분기 커맨드는 출력 데이터 내의 하나 이상의 값들을 하나 이상의 기준 값들과 비교하는 것에 기초하여 생성될 수 있다. 일 실시예에서, 데이터 프로세서 회로(318)는 기준 값을 저장하는 레지스터를 포함한다. 출력 데이터의 출력 값은 기준 값과 비교되어, 두 부분으로 이루어진 분기들의 2가지 가능성들을 표현하기 위한 이진 값일 수 있는 분기 커맨드를 생성한다. 분기 커맨드는 또한, 2개 초과의 분기들이 수반되는 경우, 더 복잡할 수 있다.

뉴럴 프로세서 회로(218)는, 뉴럴 태스크 관리자 회로(310)에 의해, 데이터 프로세서 회로로부터 분기 커맨드를 수신한다(1440). 일부 실시예들에서, 뉴럴 태스크 관리자(310)가 분기 커맨드를 수신하지 않았고 뉴럴 태스크 관리자(310)가 분기-전 태스크 세그먼트 내의 태스크들이 실행을 위해 송신되었다고 결정하는 경우, 뉴럴 태스크 관리자(310)는 분기 커맨드가 수신될 때까지 일시정지될 수 있다. 다른 실시예들에서, 뉴럴 태스크 관리자(130)는 분기 커맨드를 수신하기 전에 2개 이상의 세그먼트 분기들과는 상이한 별개의 태스크 세그먼트를 프로세싱할 수 있다.

뉴럴 태스크 관리자(310)는 수신된 분기 커맨드에 따라 2개 이상의 세그먼트 분기들 중 하나를 인큐잉하며, 2개 이상의 세그먼트 분기들은 분기-전 태스크를 포함하는 분기-전 태스크 세그먼트에 후속한다(1450). 뉴럴 태스크 관리자(310)는 분기-전 태스크 세그먼트에 저장된 그러한 세그먼트 분기들의 어드레스들에 의해 2개 이상의 세그먼트 분기들을 식별할 수 있다. 일부 실시예들에서, 세그먼트 분기들 중 선택된 하나는 분기-전 태스크 세그먼트가 인큐잉된 태스크 큐에 인큐잉된다.

데이터 프로세서 회로(318)는 세그먼트 분기들 중 선택된 하나로부터 데이터 프로세서 회로로 태스크를 송신하여 태스크를 수행한다. 예를 들어, 태스크의 구성 데이터가 태스크 디스크립터로부터 추출된다. 구성 데이터는 데이터 프로세서 회로(318)가 버퍼(334)로부터 데이터를 취출하고, 계산을 위해 뉴럴 엔진(314) 또는 평면 엔진(340)으로 데이터를 송신하게 한다. 분기-전 태스크 세그먼트 내의 태스크들은 제1 뉴럴 네트워크에 할당될 수 있고, 선택된 세그먼트 분기 내의 태스크들은 제1 뉴럴 네트워크와는 상이한 제2 뉴럴 네트워크에 할당될 수 있다. 따라서, 뉴럴 프로세서 회로(218)는 선행 뉴럴 네트워크의 결과에 기초하여 후속 뉴럴 네트워크를 선택한다.

일부 실시예들에서, 분기를 결정하는 분기-전 태스크가 실행을 위해 디큐잉된 후, 데이터 프로세서 회로(318)가 분기 커맨드를 생성하기 위해 분기 결정 태스크의 출력 데이터를 수신하는 데 비교적 긴 시간이 걸릴 수 있다. 예를 들어, 분기 결정 태스크는 완료하기에 긴 태스크일 수 있다. 일부 경우들에서, 분기 커맨드를 기다리는 동안, 분기-전 내의 나머지 태스크들은 디큐잉되었다. 뉴럴 태스크 관리자(310)는, 다양한 실시예들에서 그러한 상황들을 핸들링하기 위해 상이한 접근법들을 가질 수 있다. 일 실시예에서, 뉴럴 태스크 관리자(310)는 태스크 커맨드가 수신될 때까지 일시정지할 수 있다. 다른 실시예에서, 뉴럴 태스크 관리자(310)는 분기와 관련이 없는 다른 태스크들을 수행할 수 있다. 예를 들어, 뉴럴 태스크 관리자(310)는 콘텍스트 스위치를 수행하여, 대기 시간을 활용해, 분기들과 관련이 없는 다른 뉴럴 네트워크들에 대한 동작들을 수행할 수 있다. 또 다른 실시예에서, 뉴럴 태스크 관리자(310)는 분기 커맨드가 수신되기 전에, 디큐잉할 분기를 예측하거나 무작위로 선택할 수 있다. 예측이 부정확하다고 판명되는 경우, 뉴럴 태스크 관리자(310)는 정확한 분기로 스위칭하고, 잘못 예측된 태스크에 대해 행해진 작업을 폐기한다.

특정 실시예들 및 애플리케이션들이 예시되고 설명되었지만, 본 발명은 본 명세서에서 개시되는 정확한 구성 및 컴포넌트들로 제한되지 않으며, 당업자에게 자명하게 될 다양한 수정들, 변경들, 및 변화들이, 본 개시내용의 사상 및 범주로부터 벗어나지 않으면서, 본 명세서에 개시되는 방법 및 장치의 배열, 동작, 및 상세사항들에서 이루어질 수 있다는 것이 이해되어야 한다.

Claims

뉴럴 프로세서 회로(neural processor circuit)로서,
분기-전 태스크에 대응하는 입력 데이터에 대해 콘볼루션 동작들을 수행하여 출력 데이터를 생성하도록 구성된 하나 이상의 뉴럴 엔진 회로들;
상기 하나 이상의 뉴럴 엔진 회로들에 커플링된 데이터 프로세서 회로로서, 상기 데이터 프로세서 회로는,
상기 하나 이상의 뉴럴 엔진 회로들로부터 상기 출력 데이터를 수신하도록; 그리고
상기 출력 데이터로부터 분기 커맨드를 생성하도록 구성되는, 상기 데이터 프로세서 회로; 및
상기 데이터 프로세서 회로에 커플링된 태스크 관리자 회로로서, 상기 태스크 관리자 회로는,
상기 데이터 프로세서 회로로부터 상기 분기 커맨드를 수신하도록;
상기 수신된 분기 커맨드에 따라 2개 이상의 세그먼트 분기들 중 하나의 세그먼트 분기를 인큐잉(enqueuing)하도록 - 상기 2개 이상의 세그먼트 분기들은 상기 분기-전 태스크를 포함하는 분기-전 태스크 세그먼트에 후속함 -; 그리고
상기 세그먼트 분기들 중 선택된 하나의 세그먼트 분기로부터 상기 데이터 프로세서 회로로 태스크를 송신하여 상기 태스크를 수행하도록 구성되는, 상기 태스크 관리자 회로를 포함하는, 뉴럴 프로세서 회로.
제1항에 있어서, 상기 분기-전 태스크 세그먼트는 제1 뉴럴 네트워크에 할당되고, 상기 선택된 세그먼트 분기는 상기 제1 뉴럴 네트워크와는 상이한 제2 뉴럴 네트워크에 할당되는, 뉴럴 프로세서 회로.
제1항에 있어서, 상기 분기 커맨드는 상기 출력 데이터 내의 하나 이상의 값들을 하나 이상의 기준 값들과 비교하는 것에 기초하여 생성되는, 뉴럴 프로세서 회로.
제1항에 있어서, 상기 세그먼트 분기들 중 상기 선택된 하나의 세그먼트 분기는 상기 분기-전 태스크 세그먼트가 인큐잉된 태스크 큐에 인큐잉되는, 뉴럴 프로세서 회로.
제1항에 있어서, 상기 2개 이상의 세그먼트 분기들의 어드레스들은 상기 분기-전 태스크 세그먼트에 저장되는, 뉴럴 프로세서 회로.
제1항에 있어서, 상기 분기 커맨드를 결정하는 상기 분기-전 태스크는 상기 분기-전 태스크 세그먼트에 저장된 분기 태스크 식별자에 의해 식별되는, 뉴럴 프로세서 회로.
제1항에 있어서, 상기 분기 커맨드를 결정하는 상기 분기-전 태스크는 상기 분기-전 태스크 세그먼트 내의 마지막 태스크인, 뉴럴 프로세서 회로.
제1항에 있어서, 상기 분기 커맨드를 결정하는 상기 분기-전 태스크는 상기 분기-전 태스크 세그먼트 내의 중간 태스크인, 뉴럴 프로세서 회로.
제1항에 있어서, 상기 태스크 관리자 회로는,
상기 분기 커맨드를 수신하기 전에, 상기 분기-전 태스크 세그먼트 내의 태스크들이 실행을 위해 송신되었다고 결정하도록; 그리고
상기 분기 커맨드가 수신될 때까지 상기 태스크 관리자 회로를 일시정지하도록 추가로 구성되는, 뉴럴 프로세서 회로.
제1항에 있어서, 상기 태스크 관리자 회로는,
상기 분기 커맨드를 수신하기 전에, 상기 분기-전 태스크 세그먼트 내의 태스크들이 실행을 위해 송신되었다고 결정하도록; 그리고
상기 분기 커맨드를 수신하기 전에, 상기 2개 이상의 세그먼트 분기들과는 상이한 별개의 태스크 세그먼트를 프로세싱하도록 추가로 구성되는, 뉴럴 프로세서 회로.
뉴럴 프로세싱 동작들을 수행하는 방법으로서,
하나 이상의 뉴럴 엔진 회로들에 의해, 분기-전 태스크에 대응하는 입력 데이터에 대해 콘볼루션 동작들을 수행하여 출력 데이터를 생성하는 단계;
데이터 프로세서 회로에 의해, 상기 하나 이상의 뉴럴 엔진 회로들로부터 상기 출력 데이터를 수신하는 단계;
상기 출력 데이터로부터 분기 커맨드를 생성하는 단계;
태스크 관리자 회로에 의해, 상기 데이터 프로세서 회로로부터 상기 분기 커맨드를 수신하는 단계;
상기 수신된 분기 커맨드에 따라 2개 이상의 세그먼트 분기들 중 하나의 세그먼트 분기를 인큐잉하는 단계 - 상기 2개 이상의 세그먼트 분기들은 상기 분기-전 태스크를 포함하는 분기-전 태스크 세그먼트에 후속함 -; 및
상기 세그먼트 분기들 중 선택된 하나의 세그먼트 분기로부터 상기 데이터 프로세서 회로로 태스크를 송신하여 상기 태스크를 수행하는 단계를 포함하는, 방법.
제11항에 있어서, 상기 분기-전 태스크 세그먼트는 제1 뉴럴 네트워크에 할당되고, 상기 선택된 세그먼트 분기는 상기 제1 뉴럴 네트워크와는 상이한 제2 뉴럴 네트워크에 할당되는, 방법.
제11항에 있어서, 상기 분기 커맨드는 상기 출력 데이터 내의 하나 이상의 값들을 하나 이상의 기준 값들과 비교하는 것에 기초하여 생성되는, 방법.
제11항에 있어서, 상기 세그먼트 분기들 중 상기 선택된 하나의 세그먼트 분기는 상기 분기-전 태스크 세그먼트가 인큐잉된 태스크 큐에 인큐잉되는, 방법.
제11항에 있어서, 상기 분기 커맨드를 결정하는 상기 분기-전 태스크는 상기 분기-전 태스크 세그먼트 내의 중간 태스크인, 방법.
제11항에 있어서,
상기 분기 커맨드를 수신하기 전에, 상기 분기-전 태스크 세그먼트 내의 태스크들이 실행을 위해 송신되었다고 결정하는 단계; 및
상기 분기 커맨드를 수신하기 전에, 상기 2개 이상의 세그먼트 분기들과는 상이한 별개의 태스크 세그먼트를 프로세싱하는 단계를 추가로 포함하는, 방법.
전자 디바이스로서,
하나 이상의 기계 학습 모델들을 저장한 시스템 메모리; 및
뉴럴 프로세서를 포함하며, 상기 뉴럴 프로세서는,
분기-전 태스크에 대응하는 입력 데이터에 대해 콘볼루션 동작들을 수행하여 출력 데이터를 생성하도록 구성된 하나 이상의 뉴럴 엔진 회로들;
상기 하나 이상의 뉴럴 엔진 회로들에 커플링된 데이터 프로세서 회로로서, 상기 데이터 프로세서 회로는,
상기 하나 이상의 뉴럴 엔진 회로들로부터 상기 출력 데이터를 수신하도록; 그리고
상기 출력 데이터로부터 분기 커맨드를 생성하도록 구성되는, 상기 데이터 프로세서 회로; 및
상기 데이터 프로세서 회로에 커플링된 태스크 관리자 회로로서, 상기 태스크 관리자 회로는,
상기 데이터 프로세서 회로로부터 상기 분기 커맨드를 수신하도록;
상기 수신된 분기 커맨드에 따라 2개 이상의 세그먼트 분기들 중 하나의 세그먼트 분기를 인큐잉하도록 - 상기 2개 이상의 세그먼트 분기들은 상기 분기-전 태스크를 포함하는 분기-전 태스크 세그먼트에 후속함 -; 그리고
상기 세그먼트 분기들 중 선택된 하나의 세그먼트 분기로부터 상기 데이터 프로세서 회로로 태스크를 송신하여 상기 태스크를 수행하도록
구성되는, 상기 태스크 관리자 회로를 포함하는, 전자 디바이스.
제17항에 있어서, 상기 분기-전 태스크 세그먼트는 제1 뉴럴 네트워크에 할당되고, 상기 선택된 세그먼트 분기는 상기 제1 뉴럴 네트워크와는 상이한 제2 뉴럴 네트워크에 할당되는, 시스템.
제17항에 있어서, 상기 분기 커맨드는 상기 출력 데이터 내의 하나 이상의 값들을 하나 이상의 기준 값들과 비교하는 것에 기초하여 생성되는, 시스템.
제17항에 있어서, 상기 분기 커맨드는 상기 기계 학습 모델들 중 하나의 기계 학습 모델의 예측 결과에 대응하는, 시스템.