KR20200110165A - 뉴럴 네트워크의 레이어들의 처리에서 제로 값(zero value)의 연산을 처리하는 방법 및 장치 - Google Patents

뉴럴 네트워크의 레이어들의 처리에서 제로 값(zero value)의 연산을 처리하는 방법 및 장치 Download PDF

Info

Publication number
KR20200110165A
KR20200110165A KR1020200010482A KR20200010482A KR20200110165A KR 20200110165 A KR20200110165 A KR 20200110165A KR 1020200010482 A KR1020200010482 A KR 1020200010482A KR 20200010482 A KR20200010482 A KR 20200010482A KR 20200110165 A KR20200110165 A KR 20200110165A
Authority
KR
South Korea
Prior art keywords
kernel
ifm
pixels
tiles
ofm
Prior art date
Application number
KR1020200010482A
Other languages
English (en)
Inventor
샙타르시 다스
사비타 쿠수마
이세환
안쿠르 대쉬왈
키란 콜라 찬드라세카란
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/816,861 priority Critical patent/US11604958B2/en
Publication of KR20200110165A publication Critical patent/KR20200110165A/ko
Priority to US18/107,210 priority patent/US11915118B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Abstract

뉴럴 네트워크의 레이어들을 처리하는 방법 및 장치는, 입력 피처맵(IFM) 텐서의 IFM 타일들 및 커널 텐서의 커널 타일들을 인출(fetch)하고, IFM 희소성(sparsity) 및 커널 희소성을 이용하여 IFM 타일들 및 커널 타일들에 대한 컨볼루션 연산을 수행하고, IFM 타일들에 대응하는 복수의 OFM 타일들을 생성한다.

Description

뉴럴 네트워크의 레이어들의 처리에서 제로 값(zero value)의 연산을 처리하는 방법 및 장치 {Method and apparatus for processing computation of zero value in processing of layers in a neural network}
뉴럴 네트워크의 처리에 관하고, 보다 상세하게는 제로 값들의 연산을 제거하거나 스킵함으로써 뉴럴 네트워크의 레이어들의 처리에서 실행 시간 및 전력 소모를 감소시키는 것에 관한다.
CNN(Convolutional Neural Network)은 이미지 인식, 비디오 분석 등과 같은 작업에 사용될 수 있는, 깊은(deep) 피드 포워드(feed-forward) 인공 뉴럴 네트워크(artificial neural network, ANN)이다. CNN의 구현에는 두 가지 단계, 즉 트레이닝 단계(training phase)와 추론 단계(inference phase)가 포함된다. 트레이닝 단계에는 트레이닝 예시들(또는, 트레이닝 샘플들)을 사용하여 CNN의 파라미터들을 학습함으로써 트레이닝된 CNN 모델을 생성하는 것을 포함한다. 트레이닝된 CNN 모델은 복수의 프로세싱 레이어들 및 각 프로세싱 레이어에 연관된 커널 값들 또는 픽셀들의 집합을 포함할 수 있다. 추론 단계는 트레이닝된 CNN 모델을 처리하여 주어진 입력에 대한 출력 또는 레이블(label)을 예측한다.
도 1a는 트레이닝된 CNN 모델의 레이어들을 처리하는 컨볼루션 가속기(convolutional accelerator)(100)의 아키텍처를 도시한 도면이다. 트레이닝된 CNN 모델은 복수의 프로세싱 레이어들 및 각 프로세싱 레이어에 연관된 커널 데이터를 포함한다. 컨볼루션 가속기(100)는 오프-칩(off-chip) 메모리(102), 온-칩(on-chip) 버퍼(104), 입력 데이터 스테이징 로직 모듈(input data staging logic module)(106), 프로세싱 엘리먼트(processing element, PE) 어레이(108) 및 출력 데이터 매니지먼트 로직 모듈(output data management logic module)(110)을 포함할 수 있다. 오프-칩 메모리(102)는 입력(이미지, 비디오, 오디오 등)에 대응하는 입력 피처맵(input feature map, IFM) 및 커널 데이터를 저장한다. 온-칩 버퍼(104)는 컨볼루션 연산에 필요한(IFM 데이터 및 커널 데이터의) IFM 픽셀들 및 커널 픽셀들을 인출(fetch)하고, 이는 IFM에 대한 출력 피처맵(output feature map, OFM)을 생성하기 위해 수행될 수 있다. OFM은 입력에 대한 출력을 생성하기 위해 CNN의 다른 레이어들에 의해 추가적으로 처리될 수 있다. 온-칩 버퍼(104)는 또한 다양한 종류의 데이터 재사용을 이용하기 위해 필요한 스토리지(storage)를 제공한다.
입력 데이터 스테이징 로직 모듈(106)은 PE 어레이(108)에 의한 컨볼루션 연산 또는 MAC(Multiply-Accumulate) 연산을 수행하는데 필요한 IFM 픽셀들 및 커널 픽셀들을 인출한다. PE 어레이(108)는 복수의 PE들(108a-108n)을 포함한다. PE들(108a-108n)은 입력 데이터 스테이징 로직 모듈(106)로부터 수신된 IFM 픽셀들 및 커널 픽셀들에 대한 컨볼루션 연산을 수행한다. 컨볼루션 연산은 부분 OFM 픽셀들을 생성하기 위해 IFM 값들 및 커널 값들에 대한 곱셈을 수행하고, 하나의 OFM 픽셀을 생성하기 위해 부분 OFM 픽셀들(partial OFM pixels)을 누적하여(accumulate) 더한다(add). 그러나, 종래의 컨볼루션 연산은 제로 값(zero value, 0)(커널 픽셀의 0 값 또는 IFM 픽셀의 0 값)에 대하여도 픽셀(예를 들어, IFM 픽셀 또는 커널 픽셀)에 대한 곱셈을 수행하는 것을 포함할 수 있다. 따라서, 불필요한 연산들이 초래되어, 컨볼루션 가속기(100)의 에너지/전력 소비와 실행 시간이 증가할 수 있다. 나아가서, 각각의 PE(108a-108n)는 한번에 단 하나의 OFM 픽셀만을 생성할 수 있어, 컨볼루션 루프 횡단(convolution loop traversal)을 제어하기 위한 오버헤드를 더 증가시킨다. 게다가, 각각의 PE(108a-108n)의 로컬 버퍼는 완전한 OFM 픽셀을 형성하는데 필요한 일정량 이상의 부분 OFM 픽셀들을 버퍼링하기 어려울 수 있다.
도 1b는 컨볼루션 가속기(100)에 의해 수행된 컨볼루션 연산을 설명하기 위한 도면이다. 일 예에서, 종래의 가속기(100)는 IFM 텐서(tensor)에 대한 OFM 텐서를 생성하기 위하여, H(height) X W(width) X C(채널/깊이 수)의 차원의 IFM 텐서와, S(height) X R(width) X C(채널/깊이 수)의 차원의 커널 텐서의 모든 채널들을 컨볼루션한다. 하지만, OFM 텐서는 한번에 하나의 OFM 픽셀을 생성하는 것에 의해 처리될 수 밖에 없으므로, 픽셀 수준의 계산은 실행 시간과 전력 소모를 증가시킨다.
다양한 실시예들은 뉴럴 네트워크의 레이어들의 처리에서 제로 값(zero value)의 연산을 처리하는 방법 및 장치를 제공하는데 있다. 본 개시가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 측면에 따르면, 뉴럴 네트워크의 레이어들을 처리하는 방법은, 복수의 프론트-엔드 코어들에 의해, 메모리로부터 적어도 하나의 입력 피처맵(IFM) 텐서(tensor)의 복수의 IFM 타일들 및 적어도 하나의 커널 텐서의 복수의 커널 타일들을 인출(fetch)하는 단계 - 각각의 IFM 타일은 복수의 IFM 픽셀들을 포함하고, 각각의 커널 타일은 복수의 커널 픽셀들을 포함함 -; 상기 프론트-엔드 코어들에 의해, IFM 희소성(sparsity) 및 커널 희소성을 이용하여 복수의 부분 출력 피처맵(OFM) 타일들(partial OFM tiles)을 생성하기 위하여, 상기 IFM 타일들 및 상기 커널 타일들에 대한 컨볼루션 연산을 수행하는 단계 - 상기 컨볼루션 연산은 적어도 하나의 프론트-엔드 코어에 의해 배타적으로(exclusively) 수행되거나, 또는 상기 프론트-엔드 코어들에 의해 병렬적으로 수행됨 -; 및 복수의 백-엔드 누산기들에 의해, 상기 생성된 부분 OFM 타일들을 이용하여, 상기 IFM 타일들에 대응하는 복수의 OFM 타일들을 생성하는 단계를 포함한다.
다른 측면에 따르면, 뉴럴 네트워크의 레이어들을 처리하는 장치는, 메모리; 상기 메모리에 연결된 복수의 프론트-엔드 코어들(front-end cores); 및 상기 메모리 및 상기 프론트-엔드 코어들에 연결된 복수의 백-엔드 누산기들(back-end accumulators)을 포함하고, 상기 프론트-엔드 코어들은 상기 메모리로부터 적어도 하나의 입력 피처맵(IFM) 텐서(tensor)의 복수의 IFM 타일들 및 적어도 하나의 커널 텐서의 복수의 커널 타일들을 인출(fetch)하고 - 각각의 IFM 타일은 복수의 IFM 픽셀들을 포함하고, 각각의 커널 타일은 복수의 커널 픽셀들을 포함함 -, IFM 희소성(sparsity) 및 커널 희소성을 이용하여 복수의 부분 출력 피처맵(OFM) 타일들(partial OFM tiles)을 생성하기 위하여, 상기 IFM 타일들 및 상기 커널 타일들에 대한 컨볼루션 연산을 수행하고 - 상기 컨볼루션 연산은 적어도 하나의 프론트-엔드 코어에 의해 배타적으로(exclusively) 수행되거나, 또는 상기 프론트-엔드 코어들에 의해 병렬적으로 수행됨 -, 상기 백-엔드 누산기들은 상기 생성된 부분 OFM 타일들을 이용하여, 상기 IFM 타일들에 대응하는 복수의 OFM 타일들을 생성한다.
본 실시예에 따르면, 제로 값들의 연산들을 제거하거나 스킵함으로써 뉴럴 네트워크의 레이어들의 처리에서 실행 시간 및 전력 소모를 감소시키기 위한 방법 및 장치를 개시한다.
본 실시예에 따르면, 입력 피처맵 희소성(IFM sparsity) 및 커널 희소성(kernel sparsity)을 이용함으로써 제로 연산을 제거하기 위한 방법 및 장치를 개시한다.
본 실시예에 따르면, IFM 텐서(들) 및 커널 텐서(들)를 타일링하여(tiling) OFM 텐서를 생성함으로써, 컨볼루션 연산을 수행하기 위한 방법 및 장치를 개시한다. 여기서 OFM 텐서는 한번에 하나의 OFM 타일을 생성함으로써 생성될 수 있다.
본 실시예에 따르면, 채널 우선 입력 고정 루프 횡단 기반 순서에 따라 컨볼루션 연산을 수행하기 위한 방법 및 장치를 개시한다.
본 실시예에 따르면, 커널 타일 경계(kernel tile boundary) 또는 커널 타일 픽셀(kernel tile pixel)에서 PE 간(inter-Processing Element) 동기화를 가능하게 하는 방법 및 장치를 개시한다.
도 1a는 트레이닝된 CNN 모델의 레이어들을 처리하는 컨볼루션 가속기(convolutional accelerator)의 아키텍처를 도시한 도면이다.
도 1b는 컨볼루션 가속기에 의해 수행된 컨볼루션 연산을 설명하기 위한 도면이다.
도 2a 및 2b는 일 실시예에 따른 가속기를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른, 가속기의 프론트-엔드 코어들의 다양한 유닛들을 도시한 블록도이다.
도 4는 일 실시예에 따른 프론트-엔드 코어들의 다양한 서브 유닛들을 설명하기 위한 블록도이다.
도 5는 일 실시예에 따른 PE 컨트롤러 및 PE 어레이의 PE의 다양한 유닛들을 도시한 블록도이다.
도 6은 일 실시예에 따른 백-엔드 누산기의 다양한 유닛들을 도시한 블록도이다.
도 7a 및 7b는 일 실시예에 따른, 채널-우선 입력-고정 기반 루프 횡단 순서에 따라 각각의 프론트-엔드 코어들에 의해 수행되는 타일형 컨볼루션 연산(tiled convolutional operation)을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른, 뉴럴 네트워크의 레이어들의 처리에서 제로 연산을 제거하기 위한 방법을 설명하기 위한 흐름도이다.
도 9는 일 실시예에 따른 타일형 컨볼루션 연산을 설명하기 위한 도면이다.
도 10a 및 10b는 일 실시예에 따른, 제로 연산들을 제거하여 CNN의 레이어들을 처리함으로써 향상된 레이턴시 및 실행 시간을 설명하기 위한 도면들이다.
실시예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 실시예는 뉴럴 네트워크의 레이어들의 처리에서 제로 값들의 연산들을 제거하거나 스킵하기 위한 방법 및 장치를 제공한다. 이하에서는 도면들을 참조하여 보다 상세하게 설명하도록 한다. 유사한 참조 문자들은 도면 전체에 걸쳐 대응하는 특징들을 나타내고, 예시적인 실시예들이 도시된다.
도 2a 및 2b는 일 실시예에 따른 가속기(200)를 설명하기 위한 도면이다. 가속기(200)는 뉴럴 네트워크의 레이어들을 처리하는 장치에 해당하고, 입력(오디오, 음성, 텍스트, 이미지, 비디오 등)을 예측하기 위해 뉴럴 네트워크의 추론 단계를 실행한다. 본 실시예에서 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN)인 것으로 예를 들어 설명되지만, 당업자라면 다른 타입의 깊은 인공 피드-포워드 뉴럴 네트워크 또한 고려될 수 있음을 용이하게 이해할 수 있다. 본 실시예에 따른 가속기(200)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 멀티-코어 프로세서, FPGA(Field Programmable Gate Arrays), ASIC(Application Specific Integrated Circuits) 또는 이 밖에 다른 특수-목적 컴퓨팅 시스템에 해당할 수 있다. 가속기(200)는 메모리(202), 복수의 프론트-엔드 코어들(front-end cores)(204a-204n) 및 복수의 백-엔드 누산기들(back-end accumulators)(206a-206n)를 포함한다.
메모리(202)는 입력, 입력과 관련된 IFM 데이터, CNN의 컨볼루션 레이어와 관련된 커널 데이터, OFM 데이터 등을 저장하는데 사용될 수 있는 휘발성 메모리 일 수 있다. 또한, 메모리(202)는 IFM 데이터를 저장하기 위한 IFM 버퍼 및 커널 데이터를 저장하기 위한 커널 버퍼를 포함할 수 있다. 본 실시예에서 메모리(202)는 SRAM(Static Random Access Memory)을 고려하여 설명되지만, 당업자라면 메모리(202)는 이 밖에도 DRAM(Dynamic Random Access Memory), SDRAM(Synchronous Dynamic Random Access Memory) 등이 고려될 수 있음을 용이하게 이해할 수 있다.
입력에 대응하는, 메모리(202)에 저장된 IFM 데이터는 입력의 높이(height), 폭(width) 및 깊이(depth)를 나타낼 수 있고, 여기서 깊이는 IFM 채널들(예를 들어, Red Green Blue(RGB) 채널들, 이전 레이어의 OFM 채널들은 나머지 레이어들에 대한 입력으로서 사용될 수 있음)의 개수에 대응한다. 각각의 IFM 채널은 2차원(2D) 매트릭스일 수 있다. 따라서, IFM 데이터의 다수의 IFM 채널들은 IFM 텐서를 형성할 수 있다. IFM 텐서는 복수의 IFM 픽셀들/값들을 포함하는 3차원(3D) 구조 또는 3D 매트릭스일 수 있다. 본 실시예에 따르면, 메모리 크기 요구를 감소시킬 수 있도록, 메모리(202)에 IFM 텐서들을 저장하기 위한 타일링(tiling) 기법이 적용될 수 있다. 타일링 기법에 따르면, IFM 텐서는 IFM 타일들의 형태로 저장될 수 있다. 예를 들어, 16X16 IFM 텐서의 32개 채널들은 4개의 4X4 IFM 타일들의 형태로 저장될 수 있다. 각각의 4X4 IFM 타일은, 각각 8비트인 16개의 IFM 픽셀들(16개의 IFM 픽셀들 = 128비트)을 포함할 수 있다. 유사하게, CNN의 컨볼루션 레이어와 관련된 커널 데이터는 특정 높이 및 폭을 갖는 웨이트/필터 파라미터들을 포함한다. 커널 데이터의 각각의 커널 채널은 2D 매트릭스일 수 있다. 커널 데이터의 다수의 커널 채널들이 커널 텐서를 형성할 수 있다. 커널 텐서는 복수의 커널 픽셀들/값들을 포함하는 3 차원(3D) 구조 또는 3D 매트릭스일 수 있다. 커널 텐서는 하나의 OFM 채널의 생성을 담당한다. 다수의 OFM 채널들이 존재할 수 있기 때문에, 뉴럴 네트워크의 주어진 레이어에 대한 전체 커널 텐서는 4차원(4D)일 수 있다. 본 실시예에 따르면, 메모리(202)에 커널 텐서를 커널 타일들의 형태로 저장하기 위한 타일링 기법이 적용될 수 있다.
프론트-엔드 코어들(204a-204n) 및 백-엔드 누산기들(206a-206n)은 IFM 텐서를 처리하여 OFM 텐서를 생성하도록 구성될 수 있다. OFM 텐서는 입력에 대한 출력을 예측/추론하기 위해 CNN의 다른 레이어들에 의해서 추가적으로 처리될 수 있다. 프론트-엔드 코어들(204a-204n)은 메모리(202)로부터 IFM 텐서 및 커널 텐서를 인출하고 컨볼루션 연산을 수행한다. 프론트-엔드 코어들(204a-204n) 각각은 IFM 텐서의 다수의 IFM 채널들을 처리하는 것을 담당하고, OFM 텐서의 다수의 OFM 채널들(즉, 부분 OFM 채널들)에 대한 업데이트를 생성할 수 있다. 따라서, 프론트-엔드 코어들(204a-204n)은 IFM 텐서의 다수의 IFM 채널들 전체를 처리한다. 백-엔드 누산기들(206a-206n)은 프론트-엔드 코어들(204a-204n)에 의해 생성된 각각의 OFM 채널에 대응하는 부분 업데이트들(partial updates)을 누적한다. 백-엔드 누산기들(206a-206n) 각각은 하나의 OFM 채널을 생성한다.
3X3X32X16의 커널 텐서를 이용하여 14X14X16(채널들)의 OFM 텐서를 생성하기 위하여 16X16X32(32 채널)의 IFM 텐서가 처리되는 시나리오를 예시하도록 한다. IFM 텐서의 32개의 IFM 채널들을 4개의 프론트-엔드 코어들에 분배한다. 각각의 프론트 엔드 코어는, IFM 텐서의 8 개의 IFM 채널들을 처리하고 OFM 텐서의 16개의 OFM 채널들(즉, 16개의 부분 OFM 채널들)에 대한 부분 합들(partial sums)을 생성하는 것을 담당할 수 있다. 나아가서, 16개의 백-엔드 누산기는, 각 프론트-엔드 코어로부터 OFM 텐서의 16개의 부분 OFM 채널들을 누적하고 OFM 텐서의 16 개의 OFM 채널들을 생성할 수 있다.
도 2b에 도시된 바와 같이, 프론트-엔드 코어들(204a-204n)은 IFM 텐서 및 커널 텐서를 타일링함으로써 컨볼루션 연산을 수행하도록 구성될 수 있다. 프론트-엔드 코어들(204a-204n)은 채널-우선 입력-고정 루프 횡단 순서(channel-first input-stationary loop traversal order)에 따라 컨볼루션 연산을 수행한다. 채널-우선 입력-고정 루프 횡단 순서에 따르면, IFM 타일들은 고정되어 있고 서로 다른 채널들의 커널 타일들이 이용될 수 있다.
채널-우선 입력-고정 루프 횡단 순서에 따라, 프론트-엔드 코어들(204a-204n)은 부분 OFM 타일들을 병렬적으로 생성하기 위하여, IFM 타일들 및 서로 다른 커널 채널들의 커널 타일들을 컨볼루션한다. 본 실시예에 따르면, 프론트-엔드 코어들(204a-204n)은 IFM 희소성(sparsity)(IFM 픽셀들에서 논-제로 값들(non-zero values)) 및 커널 희소성(커널 픽셀들에서 논-제로 값들)을 활용하여 컨볼루션 연산을 수행할 수 있다. 그러므로, 불필요한 컨볼루션 연산들(즉, 제로 값들에 대한 연산)이 감소될 수 있다.
백-엔드 누산기들(206a-206n)은 프론트-엔드 코어들(204a-204n)에 의해 생성된 부분 OFM 타일들을 누적하고 OFM 타일들을 생성하도록 구성될 수 있다. OFM 타일들은 IFM 텐서에 대한 OFM 텐서를 형성하기 위하여 결합될 수 있다. 또한, OFM 데이터는, 한번에 하나의 OFM 픽셀을 생성하는 대신에, 한번에 서로 다른 채널들의 OFM 타일을 생성함으로써 형성될 수 있다. 따라서, 실행 시간 및 전력 소모가 감소될 수 있다.
한편, 설명의 편의를 위하여 도 2a 및 2b에는 가속기(200)의 유닛들이 예시적으로 도시되어 있을 뿐, 본 실시예는 이에 제한되지 않고 가속기(200)는 더 적거나 더 많은 수의 유닛들을 포함하도록 구현될 수 있다. 또한, 각 유닛의 명칭은 단지 예시일 뿐, 다른 명칭으로도 변경될 수 있다. 나아가서, 가속기(200)의 하나 이상의 유닛들이 결합되어 동일하거나 실질적으로 유사한 기능을 수행하도록 구현될 수 있다.
도 3은 일 실시예에 따른, 가속기(200)의 프론트-엔드 코어들(204a-204n)의 다양한 유닛들을 도시한 블록도이다.
프론트-엔드 코어들(204a-204n)은 IFM/커널 로더들(IFM/kernel loaders)(302a-302n), 데이터-스테이징 유닛들(data-staging units)(304a-304n) 및 PE 어레이들(306a-306n)을 포함한다. 예를 들어, 프론트 엔드 코어(204a)는 IFM/커널 로더(302a), 데이터-스테이징 유닛(304a) 및 PE 어레이(306a)를 포함한다. 유사하게, 프론트-엔드 코어(204n)는 IFM/커널 로더(302n), 데이터-스테이징 유닛(304n) 및 PE 어레이(306n)를 포함한다.
IFM/커널 로더들(302a-302n)은 메모리(202)의 IFM 버퍼로부터 IFM 텐서의 IFM 타일들 및 메모리(202)의 커널 버퍼로부터 커널 텐서의 커널 타일들을 인출하도록 구성될 수 있다. IFM/커널 로더들(302a-302n)은 인출된(fetched) IFM 타일들 및 커널 타일들을, 각각의 데이터-스테이징 유닛들(304a-304n)로 전달한다.
데이터-스테이징 유닛들(304a-304n)은 인출된 IFM 타일들과 커널 타일들을 저장하기 위해 로컬 버퍼를 유지할 수 있다. 데이터-스테이징 유닛들(304a-304n)은 인출된 IFM 타일들의 IFM 픽셀들에서 논-제로 값들(non-zero values) 및 인출된 커널 타일들의 커널 픽셀들에서 논-제로 값들을 검출하도록 구성될 수 있다. 데이터-스테이징 유닛들(304a-304n)은 IFM 픽셀들 및 커널 픽셀들 중 적어도 하나가 논-제로 값을 포함하는지 여부를 검사하기 위하여, 커널 픽셀들로 IFM 픽셀들을 처리한다. 데이터-스테이징 유닛들(304a-304n)은 IFM 픽셀들 및 커널 픽셀들에 대한 비트마스크들(bitmasks)을 형성하고, IFM 픽셀들 및 커널 픽셀들 중 적어도 하나가 논-제로 값을 포함하는지 여부를 검사하기 위하여 비트마스크들을 비교한다. 제로 값들을 검출한 경우, 데이터-스테이징 유닛들(304a-304n)은 IFM 픽셀들 및 커널 픽셀들 중 적어도 하나에서 결정된 제로 값들을 제거하거나 스킵할 수 있다. 따라서, 이와 같이 불필요한 연산들의 제거를 통해, 메모리(202)와 프론트-엔드 코어들(204a-204n) 사이의 데이터 트래픽이 최소화될 수 있다. 나아가서, 데이터-스테이징 유닛들(304a-304n)은 IFM 픽셀들 및 IFM 픽셀들에 대해 적절한 커널 픽셀들에서 논-제로 값들을, 각각의 PE 어레이들(306a-306n)에 전달한다.
PE 어레이들(306a-306n)은 채널-우선 입력-고정 루프 횡단 순서에 따라, MAC 연산 및 컨볼루션 연산을 수행한다. MAC 연산은 OFM 타일의 서로 다른 OFM 채널들의 부분 OFM 픽셀들을 병렬적으로 생성하기 위하여, 논-제로 값을 갖는 IFM 픽셀들과 커널 타일의 서로 다른 커널 채널들에서 논-제로 값을 갖는 커널 픽셀들 간의 곱셈 연산을 수행하는 것을 포함한다. 따라서, PE 어레이들(306a-306n)에 의한 코스 그레인(coarse grain) 데이터의 처리(예를 들어, IFM 타일들 및 커널 타일들의 병렬 처리)는, 컨볼루션 루프 횡단(convolutional loop traversal)의 제어를 위한 오버헤드를 감소시킨다. 또한, PE 어레이들(306a-306n)은 OFM 타일의 서로 다른 OFM 채널들의 부분 OFM 픽셀들을, 각각의 중재 버스들(arbitration buses)(308a-308n) 상에 배치할 수 있다.
나아가서, 백-엔드 누산기들(206a-206n)은 중재 버스들(308a-308n) 각각으로부터 OFM 타일의 서로 다른 OFM 채널들의 부분 OFM 픽셀들을 인출하고 IFM 타일들에 대한 OFM 타일들을 생성한다.
한편, 설명의 편의를 위하여 도 3에는 프론트-엔드 코어들(204a-204n)에 포함된 유닛들이 예시적으로 도시되어 있을 뿐, 본 실시예는 이에 제한되지 않고 프론트-엔드 코어들(204a-204n)은 더 적거나 더 많은 수의 유닛들을 포함하도록 구현될 수 있다. 또한, 각 유닛의 명칭은 단지 예시일 뿐, 다른 명칭으로도 변경될 수 있다. 나아가서, 프론트-엔드 코어들(204a-204n)의 하나 이상의 유닛들이 결합되어 동일하거나 실질적으로 유사한 기능을 수행하도록 구현될 수 있다.
도 4는 일 실시예에 따른 프론트-엔드 코어들(204a-204n)의 다양한 서브 유닛들을 설명하기 위한 블록도이다. 도 4에서는 프론트-엔드 코어(204a)의 다양한 유닛들을 고려하여 설명되지만, 적어도 하나의 다른 프론트-엔드 코어(204b-204n)도 유사한 유닛들을 구비하거나 대응하는 기능들을 구비할 수 있음을 당업자라면 이해할 수 있다.
프론트-엔드 코어(204a)는 IFM/커널 로더(302a), 데이터-스테이징 유닛(304a) 및 PE 어레이(306a)를 포함한다. IFM/커널 로더(302a)는 어드레스 생성기(address generator)(402a), 중재 유닛(arbiter unit)(404a) 및 복수의 압축해제 유닛들(decompression units)(406a1-404an)을 포함한다. 어드레스 생성기(402a)는 어드레스를 생성하도록 구성될 수 있으며, 이 어드레스는 메모리(202)의 서로 다른 위치들에 저장된 서로 다른 커널 채널들의 커널 타일에 액세스하는데 사용될 수 있다. 어드레스 생성기(402a)는 생성된 어드레스를 중재 유닛(404a)에 전달한다. 중재 유닛(404a)은 메모리(202)로부터 IFM 타일 및 서로 다른 커널 채널들의 커널 타일을 인출한다. 중재 유닛(404a)은 인출된 IFM 타일을 데이터-스테이징 유닛(304a)에 제공한다. 중재 유닛(404a)은 서로 다른 커널 채널들의 커널 타일을 압축해제 유닛들(406a1-406an)에 추가로 제공한다. 메모리(202)에 저장된 서로 다른 커널 채널들의 커널 픽셀들은 압축되었을 수 있기 때문에, 압축해제 유닛들(406a1-406an)은 인출된 서로 다른 커널 채널들의 커널 타일에 대하여 압축해제를 수행하도록 구성될 수 있다. 압축해제 유닛들(406a1-406an)은 압축해제된 데이터(서로 다른 커널 채널들의 커널 타일)를 데이터-스테이징 유닛(304a)에 제공한다.
데이터-스테이징 유닛(304a)은 IFM 버퍼(408a), 복수의 커널 버퍼들(410a-410n) 및 복수의 컨트롤 유닛들(412a-412n)을 포함한다. IFM 버퍼(408a)는 중재 유닛(404a)으로부터 인출된 IFM 타일을 저장한다. 커널 버퍼들(410a-410n)은 서로 다른 커널 채널들의 커널 타일의 커널 픽셀들을 저장한다. 커널 버퍼들(410a-410n)은 SRAM으로 구현될 수 있다. 각각의 커널 버퍼(410a-410n)는 IFM 픽셀을 처리하는데 필요한 서로 다른 커널 채널들의 커널 픽셀들을 컨트롤 유닛들(412a-412n)에 제공할 수 있다.
컨트롤 유닛들(412a-412n)은 IFM 버퍼(408a) 및 적어도 하나의 커널 버퍼(410a-410n)로부터 IFM 및 커널 픽셀들을 수신하고, 이를 처리하기 위하여 IFM 및 커널 픽셀들의 스트림들(streams)을 형성한다. 나아가서, 컨트롤 유닛들(412a-412n)은 복수의 디스패치(dispatch) 컨트롤러들(414a-414n), 복수의 커널 리포매터 레지스터들(kernel reformatter registers)(416a-416n) 및 복수의 PE 컨트롤러들((418a1-418an)-(418n1-418nm))을 포함한다. 디스패치 컨트롤러들(414a-414n)은 IFM 버퍼(408a)로부터 IFM 타일의 IFM 픽셀들을 인출하고, 인출된 IFM 픽셀들을 PE 컨트롤러들((418a1-418an)-(418n1-418nm))에 제공하도록 구성될 수 있다. 커널 리포매터 레지스터들(416a-416n)은 IFM 타일의 IFM 픽셀들을 처리하는데 필요한 서로 다른 커널 채널들의 커널 픽셀들을 인출하고 저장한다. 커널 리포매터 레지스터들(416a-416n)은 서로 다른 커널 채널들의 커널 픽셀들을 PE 컨트롤러들((418a1-418an)-(418n1-418nm))에 제공한다.
PE 컨트롤러들((418a1-418an)-(418n1-418nm))은 디스패치 컨트롤러들(414a-414n)로부터 IFM 픽셀들을 수신하고 커널 리포매터 레지스터들(416a-416n)로부터 커널 픽셀들을 수신할 때, 논-제로 값들을 포함하는 IFM 픽셀들 및 커널 픽셀들을 검출하도록 구성될 수 있다. PE 컨트롤러들((418a1-418an)-(418n1-418nm))은 수신된 IFM 픽셀들과 커널 픽셀들을 벡터 포맷(예를 들어, 1X1X N 엘리먼트 벡터)으로 표현한다. PE 컨트롤러들((418a1-418an)-(418n1-418nm))은 IFM 픽셀들의 벡터 및 커널 픽셀들의 벡터의 값들을 검사하여 IFM 픽셀들 및 커널 픽셀들에 대한 비트마스크들을 생성한다. 나아가서, PE 컨트롤러들((418a1-418an)-(418n1-418nm))은 IFM 픽셀들 및 커널 픽셀들에 대응하는 비트마스크들을 비교하여 IFM 픽셀들 및 커널 픽셀들 중 적어도 하나가 제로 값 또는 논-제로 값을 포함하는지 여부를 검출한다. PE 컨트롤러들((418a1-418an)-(418n1-418nm))은 IFM 픽셀들 및 커널 픽셀들의 비트마스크들을 생성하기 위해 제로 비교기들(zero comparators)을 포함할 수 있다. 제로 비교기들은 IFM 픽셀들의 벡터에서 각각의 값/비트를 검사하여 IFM 픽셀들의 각각의 값이 제로 값 또는 논-제로 값에 해당하는지 여부를 판단한다. 제로 비교기들은, 제로 값이 검출된 경우에는 IFM 픽셀들의 비트마스크들에서 해당 비트 위치를 '0'으로 마킹하고, 논-제로 값이 검출된 경우에는 IFM 픽셀들의 비트마스크들에서 해당 비트 위치를 '1'로 마킹한다. 유사하게, 제로 비교기들은 커널 픽셀들의 벡터에서 각각의 값/비트를 검사하여 커널 픽셀들의 각각의 값이 제로 값 또는 논-제로 값에 해당하는지 여부를 판단한다. 제로 비교기들은, 제로 값이 검출된 경우에는 커널 픽셀들의 비트마스크들에서 해당 비트 위치를 '0'으로 마킹하고, 논-제로 값이 검출된 경우에는 커널 픽셀들의 비트마스크들에서 해당 비트 위치를 '1'로 마킹한다.
PE 컨트롤러((418a1-418an)-(418n1-418nm))들 각각이 IFM 픽셀들의 1X1X8 벡터를 수신하는 시나리오를 예시하도록 한다. 여기서, 1X1X8 벡터는 동일한 X-Y 좌표를 갖는 8 개의 서로 다른 채널들에서의 8개의 IFM 픽셀들에 해당한다. 각각의 PE 컨트롤러들((418a1-418an)-(418n1-418nm))은 8개의 제로 비교기들을 이용하여 IFM 픽셀들의 8개의 비트마스크들을 생성할 수 있다. 각각의 제로 비교기는 해당 IFM 픽셀의 값이 제로(0)인지 아닌지 여부를 검사한다. IFM 픽셀의 값이 제로(0)이면, IFM 픽셀의 비트마스크에서 해당 비트 위치는 '0'으로 마킹된다. IFM 픽셀의 값이 제로(0)가 아니면, IFM 픽셀의 비트마스크에서 해당 비트 위치는 '1'로 마킹된다.
비트마스크를 이용하여 IFM 픽셀들 및 커널 픽셀들에서 제로 값이 결정된 경우, PE 컨트롤러들((418a1-418an)-(418n1-418nm))은 제로 값을 갖는 IFM 픽셀들과 커널 픽셀들을 제거하거나 스킵한다. PE 컨트롤러들((418a1-418an)-(418n1-418nm))은 논-제로 값을 갖는 IFM 픽셀들을 PE 어레이들(306a1-306an)에 제공한다. 나아가서, 디스패치 컨트롤러들(414a-414n)은 커널 리포매터 레지스터들(416a-416n)로부터 서로 다른 채널들의 커널 픽셀들을 선택하고, 이는 논-제로 값을 갖는 IFM 픽셀들을 처리하는데 필요한 것들일 수 있다. 디스패치 컨트롤러들(414a-414n)은 서로 다른 채널들에서 선택된 커널 픽셀들을 PE 어레이들(306a1-306an)에 제공한다.
PE 어레이들(306a1-306an) 각각에는 복수의 PE들(PE_0 - PE_n)을 포함한다. PE 어레이들(306a1-306an) 각각에서 PE들(PE_0 - PE_n)은 IFM 픽셀들을 처리하여 예를 들어 채널-우선 입력-고정 루프 횡단 순서에 따라 컨볼루션 연산을 수행하고, 서로 다른 OFM 채널들의 부분 OFM 픽셀들을 병렬적으로 생성한다. 컨볼루션 연산은, IFM 픽셀들과 서로 다른 커널 채널들의 커널 픽셀들의 벡터 곱셈들을 수행하고, 각각의 Psum 송신기(Psum transmitter)(420a-420n)에서 벡터 곱셈들의 결과들을 더하고 누적하여, 서로 다른 OFM 채널들의 부분 OFM 픽셀들을 병렬적으로 생성하는 MAC(Multiply-Accumulate) 연산을 포함한다. 따라서, PE 어레이들(306a1-306an) 각각은, 하나의 OFM 픽셀을 생성하는 대신에, OFM 타일의 서로 다른 OFM 채널들의 다수의 부분 OFM 픽셀들을 생성할 수 있다. 일 예에서, 각각의 PE 어레이들(306a1-306an)의 PE들(PE_0 - PE_n)은 제어 및 동기화 오버 헤드를 감소시키기 위해, 거친 타일 입도(coarse tile granularity)로 OFM 타일에 걸쳐 동기화될 수 있다. 다른 예에서, PE들(PE_0 - PE_n))은 가속기(200)의 성능을 향상시키기 위해, 커널 타일 경계(kernel tile boundary)에서 동기화 될 수 있다. 또 다른 예에서, PE들(PE_0 - PE_n))은 영역 활용도(area utilization)를　높이기 위해, 커널 픽셀 경계(kernel pixel boundary)에서 동기화될 수 있다.
나아가서, 서로 다른 OFM 채널들의 다수의 부분 OFM 픽셀들은 백-엔드 누산기들(206a-206n)에 의해 누적됨으로써 IFM 타일에 대한 OFM 타일을 생성할 수 있다. 백-엔드 누산기들(206a-206n)은 OFM 타일을 생성하기 위해 프론트-엔드 코어들(204a-204n)로부터 수신된 부분 OFM 픽셀 값들을 픽셀 단위(pixel wise)로 가산한다.
가속기(200)가 입력과 관련된 4개의 프론트-엔드 코어들(204a-204d) 및 16X16 IFM 텐서를 이용하여 처리를 수행하는, 예시적인 시나리오를 고려하도록 한다. 16X16 IFM 텐서는, 메모리(202)에 4개의 4X4(각 8 비트의 16 픽셀들) IFM 타일들의 형태로 저장될 수 있다. 16X16 IFM 텐서를 처리하기 위하여, 5X5 커널 텐서가 사용될 수 있다. 5X5 커널 텐서는, 메모리(202)에 4X4 커널 타일들의 형태로 저장될 수 있다. 각각의 프론트-엔드 코어(204a / 204b / 204c / 204d)는 4X4 IFM 타일을 처리한다.
프론트-엔드 코어(204a)는 4X4 IFM 타일을 처리하기 위하여, 16개의 PE 어레이들을 포함할 수 있다. 또한, 각각의 프론트-엔드 코어(예를 들어, 204a)에서, 데이터-스테이징 유닛은 16개의 커널 버퍼들(410a-410p) 및 16개의 컨트롤 유닛들(412a-412p)을 포함할 수 있다. 나아가서, 각각의 컨트롤 유닛들(412a-412p)은 16개의 PE 컨트롤러들(418a1-418ap)을 포함할 수 있다. 프론트-엔드 코어(204a)의 IFM/커널 로더의 중재 유닛(404a)은 메모리(202)로부터 IFM 픽셀들의 128 비트(한번에 8 비트씩 16 픽셀들)를 메모리(202)로부터 인출한다. 또한, 어드레스 생성기(402a)에 의해 생성된 어드레스들에 기초하여, 중재 유닛(404a)은 메모리(202)에 저장된 서로 다른 커널 채널들의 커널 타일의 128 비트의 커널 픽셀들(128비트의 IFM 픽셀들을 처리하는데 필요하도록, 한번에 8비트씩 16픽셀)을 인출한다. 또한, 중재 유닛(404a)은 128 비트의 IFM 픽셀들을 데이터-스테이징 유닛(304a)의 IFM 버퍼(408a)에 전달한다. 중재 유닛(404a)은 인출된 128 비트의 커널 픽셀들을 16개의 압축해제 유닛들(406a-406p)에 제공한다. 압축해제 유닛들(406a-406p)은 128 비트의 커널 픽셀들을 압축해제하고, 압축해제된 128 비트의 커널 픽셀들을 데이터-스테이징 유닛(304a)의 16개의 커널 버퍼들에 제공한다.
IFM 버퍼(408a)는 1024비트의 IFM 픽셀들을 16개의 컨트롤 유닛들의 디스패치 컨트롤러들에 전달한다. 1024비트는 4X4X8 크기의 픽셀들과 픽셀당 8비트의 3D IFM 타일에 해당한다. 각각의 디스패치 컨트롤러는 4X4X8 픽셀들을 16개의 PE 컨트롤러들에 분배하고, 이때 각각의 PE 컨트롤러는 8개의 픽셀들을 수신한다. 따라서, 각각의 PE 컨트롤러는 64 비트의 IFM 픽셀들을 수신한다. 또한, 각각의 커널 리포매터 레지스터는 64 비트의 커널 픽셀들을 각각의 PE 컨트롤러들에 제공한다. 64 비트는 8개의 서로 다른 커널 채널들로부터의 각각 8비트인 8개의 커널 픽셀들을 갖는 1X1X8의 커널 텐서에 해당한다. 각각의 컨트롤 유닛의 16개의 PE 컨트롤러들은 4X4X8 크기의 IFM 및 커널 텐서들을 함께 처리한다. 각각의 PE 컨트롤러는 1X1X8 크기의 IFM 및 커널 텐서를 처리하고, 1X1X8 IFM 픽셀들과 1X1X8 커널 픽셀들에 대한 비트마스크들(벡터들)을 생성한다. 주어진 비트마스크에서 각각의 비트는 해당 픽셀이 제로인지 또는 논-제로인지 여부를 나타낸다. 제로 값들이 식별된 경우, 각각의 컨트롤 유닛의 PE 컨트롤러들은 제로 값들을 제거한다. 따라서, 불필요한 연산들이 제거 또는 스킵됨으로써 실행 시간과 전력 소모가 감소될 수 있다. 예시적인 시나리오에서, PE 컨트롤러는 IFM 비트마스크/벡터(Z, NZ, NZ, Z)와 커널 비트마스크/벡터(Z, Z, NZ, Z)를 생성할 수 있다. 여기서, Z는 제로(zero), NZ는 논-제로(non-zero)를 지칭한다. PE 컨트롤러는 IFM 비트마스크들의 비트들과 커널 비트마스크들의 비트들을 각각의 위치에서 비교하여, 제로 값을 갖는 IFM 픽셀들과 커널 픽셀들을 검사한다. 이와 같은 예에서, PE 컨트롤러는 논-제로 값을 갖는 IFM 픽셀 및 논-제로 값을 갖는 커널 픽셀을 포함하는, 논-제로 값 쌍(non-zero value pair)이 세 번째 위치에 있음을 검출할 수 있다. PE 컨트롤러는 IFM 픽셀들 또는 커널 픽셀들이 첫 번째, 두 번째 및 네 번째 위치들에서 제로 값을 갖기 때문에, 첫 번째 위치, 두 번째 위치 및 네 번째 위치에서 제로 값 쌍들(zero value pairs)을 검출할 수 있다. 논-제로 값 쌍이 없는 경우(다시 말하면, 제로 값 쌍이 있는 경우), PE 컨트롤러는 제로 스키핑(zero skipping)을 수행하고, OFM 픽셀들은 변경되지 않은 상태로 유지된다. 한편, PE 컨트롤러는 컨볼루션 연산 또는 MAC 연산을 수행하기 위한 횡단 순서(traversal order)에 기초하여, 뒤이은 IFM 타일들의 IFM 픽셀들 및 뒤이은 커널 타일들의 커널 픽셀들을 획득한다.
각각의 PE 컨트롤러는 IFM 픽셀들 및 커널 픽셀들에 대한 비트마스크들을 생성하기 위해 2 개의 64 비트 텐서들을 국부적으로(locally) 저장한다. IFM 픽셀들에서 논-제로 값들이 판단된 경우, 각각의 컨트롤 유닛의 16개의 PE 컨트롤러들은 128비트(서로 다른 채널들의 8비트씩의 16개 픽셀들)의 IFM 픽셀들을, 8 비트의 IFM 픽셀들을 각각 포함하는 16 개의 배치들(batches)로 분할한다. 그리고, 각각의 컨트롤 유닛의 16개의 PE 컨트롤러들은 8비트의 IFM 픽셀들을 각각의 PE 어레이와 연관된 16개의 PE 어레이들의 각각의 PE에 제공한다. PE 어레이들은 IFM 3D 타일(4X4X8 차원)을 함께 처리한다. 16개의 PE 어레이들 각각은 제로 스키핑을 수행함으로써 독자적으로 IFM 벡터(1X1X8 차원)를 처리한다. 제로 스키핑 동안에, 각각의 PE는 1X1X8 벡터에서 제로 값을 스킵하여 논-제로 값으로 건너뛴다. 따라서, 임의의 시점에서, 서로 다른 PE 어레이들는 각각의 벡터(1X1X8)에서 서로 다른 채널 위치에 있을 수 있다.
또한, 각각의 컨트롤 유닛의 디스패치 컨트롤러는 커널 리포매터 레지스터로부터 서로 다른 커널 채널들의 8비트의 커널 픽셀들을 선택하고, 8비트의 커널 픽셀들을 각각의 PE 어레이의 16개의 PE들에 제공한다. 각각의 PE 어레이의 16개의 PE들은 수신된 IFM 픽셀들 및 커널 픽셀들에 대한 MAC 연산들을 수행하여 서로 다른 OFM 채널들의 다수의 부분 OFM 픽셀들을 생성한다. 서로 다른 OFM 채널들의 다수의 부분 OFM 픽셀들은 백-엔드 누산기들에 의해 사용되어 4X4 IFM 타일에 대한 OFM 타일을 형성할 수 있다.
한편, 설명의 편의를 위하여 도 4에는 프론트-엔드 코어들(204a-204n)에 포함된 유닛들이 예시적으로 도시되어 있을 뿐, 본 실시예는 이에 제한되지 않고 프론트-엔드 코어들(204a-204n)은 더 적거나 더 많은 수의 유닛들을 포함하도록 구현될 수 있다. 또한, 각 유닛의 명칭은 단지 예시일 뿐, 다른 명칭으로도 변경될 수 있다. 나아가서, 프론트-엔드 코어들(204a-204n)의 하나 이상의 유닛들이 결합되어 동일하거나 실질적으로 유사한 기능을 수행하도록 구현될 수 있다.
도 5는 일 실시예에 따른 PE 컨트롤러(418a-418n) 및 PE 어레이(306a1-306an)의 PE의 다양한 유닛들을 도시한 블록도이다. 도 5를 참고하면, PE 컨트롤러들(418a-418n) 각각은 서브-배치 벡터 모듈(sub-batch vector module)(502), 논-제로 검출 모듈(non-zero detection module)(504) 및 유한 상태 머신(finite state machine, FSM)(506)을 포함한다. 서브-배치 벡터 모듈(502)은 IFM 픽셀들과 커널 픽셀들의 벡터들을 보유한다. 서브-배치 벡터 모듈(502)은 IFM 및 커널 벡터들 내의 각각의 개별 IFM 및 커널 픽셀이 0인지 아닌지를 검사함으로써, IFM 픽셀들 및 커널 픽셀들에 대한 비트마스크들을 생성한다. 서브-배치 벡터 모듈(502)은 IFM 픽셀들 및 커널 픽셀들에 대해 생성된 비트마스크들을 논-제로 검출 모듈(504)에 제공한다. FSM(506)과 함께 논-제로 검출 모듈(504)은 비트마스크들에서 제로 값들을 건너뛰어(skip) IFM 픽셀들 및 커널 픽셀들(논-제로 IFM 및 커널 픽셀 쌍)의 논-제로 값들을 검출하기 위하여, IFM 픽셀들 및 커널 픽셀들의 비트마스크들을 비교한다. FSM(506)과 함께 논-제로 검출 모듈(504)은 매 클럭 사이클에서, 논-제로 IFM 픽셀 및 커널 픽셀의 쌍을 PE 어레이들(306a-306n)의 각각의 PE에 전달한다.
PE 어레이들(306a-306n)의 각각의 PE는 MAC 연산 모듈(508), PE OFM 선택 모듈(510) 및 PE OFM 버퍼(512)를 포함한다. MAC 연산 모듈(508)은 PE 컨트롤러들(418a-418n)로부터 IFM 픽셀들 및 커널 픽셀들의 서브-배치들을 수신한다. MAC 연산 모듈(508)은 IFM 픽셀들과 서로 다른 커널 채널들의 커널 픽셀들 간의 곱셈 연산을 수행하고, 중간 결과들(곱셈 연산의 결과들)을 PE OFM 버퍼 모듈(512)에 저장한다. PE OFM 선택 모듈(510)은 MAC 연산 모듈(508)에 의해 생성된 부분 OFM 픽셀들에 대한 벡터/X-Y 위치들/좌표들을 생성한다. 부분 OFM 픽셀들에 대한 X-Y 위치들은 PE 컨트롤러들(418a-418n)로부터 획득될 수 있는 IFM 픽셀들 및 커널 픽셀들의 벡터/X-Y 위치들을 이용하여 생성될 수 있다. PE OFM 선택 모듈(510)은 백-엔드 누산기들(206a-206n)에 추가적으로 제공될 수 있도록, PE OFM 데이터 버퍼(512)에 부분 OFM 픽셀들을 추가로 저장한다.
한편, 설명의 편의를 위하여 도 5에는 컨트롤 유닛들(412a-412n)의 각각의 PE 컨트롤러들(418a-418n) 및 PE 어레이들(306a1-306an)의 각각의 PE에 포함된 유닛들에 대해 예시적으로 도시되어 있을 뿐, 본 실시예는 이에 제한되지 않고 컨트롤 유닛들(412a-412n)의 각각의 PE 컨트롤러들(418a-418n) 및 PE 어레이들(306a1-306an)의 각각의 PE는 더 적거나 더 많은 수의 유닛들을 포함하도록 구현될 수 있다. 또한, 각 유닛의 명칭은 단지 예시일 뿐, 다른 명칭으로도 변경될 수 있다. 나아가서, 컨트롤 유닛들(412a-412n)의 각각의 PE 컨트롤러들(418a-418n) 및 PE 어레이들(306a1-306an)의 각각의 PE의 하나 이상의 유닛들은 서로 결합되어 동일하거나 실질적으로 유사한 기능을 수행하도록 구현될 수 있다.
도 6은 일 실시예에 따른 백-엔드 누산기(206a-206n)의 다양한 유닛들을 도시한 블록도이다. 도 6을 참고하면, 각각의 백-엔드 누산기(206a-206n)는 누산 로직 모듈(accumulate logic module)(602), OFM 선택 로직 모듈(604), 백-엔드 OFM 버퍼(606), 멀티플렉서(608) 및 누산기 FSM(accumulator FSM)(610)을 포함한다. OFM 선택 로직 모듈(604)은 PE 어레이(306a1-306an)로부터 부분 OFM 픽셀들에 대한 X-Y 위치들을 수신하도록 구성될 수 있다. OFM 선택 로직 모듈(604)은 업데이트가 필요한, 백-엔드 OFM 버퍼(606)로부터 OFM 픽셀들을 포함하는 OFM 벡터를 선택한다. OFM 선택 로직 모듈(604)은 수신된 부분 OFM 픽셀들의 X-Y 위치들에 기초하여, OFM 벡터를 선택한다. 누산 로직 모듈(602)은 가산기와 작은 엔트리 세트를 포함한다. 누산 로직 모듈(602)은 PE들로부터 부분 OFM 픽셀들을 수신하고, OFM 선택 로직 모듈(604)로부터 OFM 벡터를 수신한다. 또한, 누산 로직 모듈(602)은 PE들로부터 수신된 부분 OFM 픽셀들의 OFM 벡터와 OFM 선택 로직 모듈(604)에 의해 선택된 OFM 벡터를 가산하고(add) 누산한다(accumulate). 누산 로직 모듈(602)은 누산 결과를, OFM 선택 로직 모듈(604)을 통하여 백-엔드 OFM 버퍼(606)에 저장한다. 백-엔드 OFM 버퍼(606)는 OFM 픽셀들의 OFM 벡터들의 인덱스/벡터 위치를 리드(read)하고, OFM 벡터들의 인덱스/벡터 위치를 멀티플렉서(608)에 제공한다. 멀티플렉서(608)는 누산기 FSM(610)을 이용하여 OFM 타일의 OFM 채널들을 형성하기 위해, OFM 벡터들을 결합한다. IFM 타일에 대해 생성된 OFM 타일은 메모리(202)에 저장될 수 있다.
한편, 설명의 편의를 위하여 도 6에는 백-엔드 누산기들(206a-206n) 각각에 포함된 유닛들에 대해 예시적으로 도시되어 있을 뿐, 본 실시예는 이에 제한되지 않고 백-엔드 누산기들(206a-206n) 각각은 더 적거나 더 많은 수의 유닛들을 포함하도록 구현될 수 있다. 또한, 각 유닛의 명칭은 단지 예시일 뿐, 다른 명칭으로도 변경될 수 있다. 나아가서, 백-엔드 누산기들(206a-206n) 각각의 하나 이상의 유닛들은 서로 결합되어 동일하거나 실질적으로 유사한 기능을 수행하도록 구현될 수 있다.
도 7a 및 7b는 일 실시예에 따른, 채널-우선 입력-고정 기반 루프 횡단 순서에 따라 각각의 프론트-엔드 코어들(204a-204n)에 의해 수행되는 타일형 컨볼루션 연산(tiled convolutional operation)을 설명하기 위한 도면이다. 16X16 IFM 텐서(32 채널)가 프론트-엔드 코어들(204a-204d)을 포함하는 가속기(200)에 의해 처리되는 경우에 대해 고려하도록 한다. 각각의 프론트-엔드 코어에 의해 처리될 채널들의 개수('B')는 다음과 같이 계산될 수 있다.
B=C / (number of front-end cores)
여기서 'C'는 IFM 텐서의 채널들의 개수를 나타낸다. 도시된 예에서, 'C'=32 및 프론트-엔드 코어 수=4이므로, 각각의 프론트 엔드 코어가 처리해야 하는 채널 수('B')는 8개(X-Y 차원의 4 개의 4X4 IFM 타일과 8 개의 채널들을 갖는 16X16X8 IFM 텐서)일 수 있다. 이하에서는, 프론트-엔드 코어(204a)에 의해 수행될 타일형 컨볼루션 연산을 설명하지만, 다른 프론트-엔드 코어들(204b-204d)도 타일형 컨볼루션 연산을 유사한 방식으로 수행할 수 있다.
프론트-엔드 코어(204a)의 IFM/커널 로더(204a)는 메모리(202)로부터 (T + S-1) X (T + R-1) 차원의 4X4 IFM 타일(8 채널) 및 (SXR) 차원의 커널 타일을 인출하여, (TXT) 차원의 OFM (x, y) 타일을 생성한다. 여기서, (T + S-1)은 16으로 고려될 수 있으나, 이에 제한되지 않는다. 또한, 프론트-엔드 코어(204a)는 16개의 서로 다른 OFM 채널들을 동시에 처리하기 위한, 16개의 컨트롤 유닛들 및 16개의 PE 어레이들을 포함할 수 있다. 또한, 각각의 컨트롤 유닛은 16개의 PE 컨트롤러들을 포함하고, 각각의 PE 어레이는 16개의 PE들을 포함한다. 16개의 컨트롤 유닛들과 16개의 PE 어레이들은 4X4 IFM 타일(8 채널)을 배치 단위(batch wise)로 처리할 수 있다. 따라서, 4X4 IFM 타일(8 채널)의 처리는 'Bl' 배치들로 나눌 수 있다. 또한, 각각의 ‘Bl’은 ‘Bll’의 서브-크기들/루프 경계들(sub-sizes/loop bounds)로 나눌 수 있다.
루프 0(loop 0)에서, 16개의 컨트롤 유닛들의 PE 컨트롤러 각각은 주어진 커널 픽셀들로, 4X4 IFM 타일에 대응하는 16개의 IFM 픽셀들의 병렬 처리를 수행한다. 나아가서, 루프 1(loop 1)에서, 16개의 컨트롤 유닛들의 PE 컨트롤러 각각은 4X4X8 IFM 픽셀과 1X1X8 커널 픽셀에 대한 곱셈 연산을 수행한다. 여기서, 서로 다른 채널들로부터의 8개의 커널 픽셀들은 "Bll"서브-크기를 형성한다. 16개의 컨트롤 유닛들의 PE 컨트롤러 각각은 0 값들을 제거하거나 스킵한다. 또한, IFM 픽셀들에서 논-제로 값들 및 서로 다른 커널 채널들의 커널 픽셀들에서 논-제로 값들은 16개의 PE 어레이들의 각각의 PE에 제공될 수 있다.
루프 2(loop 2)에서, 1X1X8 형태의 커널 픽셀들의 서로 다른 커널 벡터들은 차원 4X4X8의 3D 커널 타일 내에서 횡단될(traversed) 수 있다. 루프 3(loop 3)에서, 16개의 PE 어레이들의 각각의 PE는 고정된 8개의 IFM 픽셀들(두 번째 'Bll' 하위 크기)을 처리하기 위하여, 서로 다른 커널 채널들의 8개의 커널 픽셀들을 인출할 수 있다. 루프 4(loop 4)에서, 16개의 PE 어레이들의 각각의 PE는 하나의 4X4X8 커널 텐서의 처리를 마치고, 다음 4X4X8 커널 텐서의 처리를 시작한다. 루프 5(loop 5)에서, 16개의 PE 어레이들의 각각의 PE는 하나의 4X4X8 IFM 텐서의 처리를 마치고, 다음 4X4X8 텐서의 처리를 시작한다. 또한, 루프 0 내지 루프 1에서 설명된 동작들/횡단은 마지막 'Bll' 하위 크기까지 계속될 수 있다. 마지막 'Bll' 하위 크기 내에서 IFM 픽셀들을 처리한 후, 루프 6(loop 6)에서 설명된 동작들이 수행될 수 있다.
루프 6(loop 6)에서 16개의 컨트롤 유닛들의 각각의 PE 컨트롤러들과 16개의 PE 어레이들의 각각의 PE는 IFM 픽셀들의 처리를 시작하여, 다음 배치 크기(batch size) 'B1'로 이동하여 OFM 타일(TXT)의 부분 OFM 픽셀들을 동시에 생성한다. 다음 배치 크기 ‘Bl’에 대해 루프 0 내지 루프 5에서 설명된 동작들/횡단이 반복될 수 있다. 또한, 루프 0 내지 루프 1에서 설명된 동작들은 'Bl' 배치들 내에서 병렬적으로 수행될 수 있다.
루프 0 내지 루프 1에서 설명된 동작들/횡단은 다음과 같이 표현될 수 있다.
for(ifm_batch in B){ Loop 6
for(ifm_cell_x_y in(T+S-1)x(T+R-1)){ Loop 5
for(k_cell_x_y in SxR){ Loop 4
for(ifm_sub_batch in B'){ Loop 3
for(k_pixel_x_y in 4x4){ Loop 2
for(ifm_ch in B''){ Loop 1
for(ifm_pixel_x_y in 4x4){ Loop 0
perform mac_op
도 7c는 일 실시예에 따른, 각각의 PE 어레이(306a-306n) 내 PE들 간의 동기화 경계(synchronization boundary)를 설명하기 위한 도면이다. 각각의 PE 어레이의 PE들은 컨볼루션 연산을 수행한 후에 동기화될 수 있다(도 5a 및 5b에서의 루프 2의 설명을 참고). 일 예에서, 각각의 PE 어레이들(306a1-306an)의 PE들은 제어 및 동기화 오버 헤드를 감소시키기 위해, 거친 타일 입도(coarse tile granularity)로 OFM 타일에 걸쳐 동기화될 수 있다. 다른 예에서, PE들은 가속기(200)의 성능을 향상시키기 위해, 커널 타일 경계(kernel tile boundary)에서 동기화 될 수 있다. 또 다른 예에서, PE들은 영역 활용도(area utilization)를　높이기 위해, 커널 픽셀 경계(kernel pixel boundary)에서 동기화될 수 있다.
도 8은 일 실시예에 따른, 뉴럴 네트워크의 레이어들의 처리에서 제로 연산을 제거하기 위한 방법을 설명하기 위한 흐름도이다.
802 단계에서, 복수의 프론트-엔드 코어들(204a-204n)은, 메모리(202)로부터 적어도 하나의 입력 피처맵(IFM) 텐서(tensor)의 복수의 IFM 타일들 및 적어도 하나의 커널 텐서의 복수의 커널 타일들을 인출(fetch)한다. 각각의 IFM 타일은 복수의 IFM 픽셀들을 포함하고, 각각의 커널 타일은 복수의 커널 픽셀들을 포함한다. 복수의 커널 타일들을 인출하기 위해, 프론트-엔드 코어들(204a-204n)은 서로 다른 커널 채널들에서의 커널 타일들에 대한 메모리 어드레스들을 생성한다. 프론트-엔드 코어들(204a-204n)은 생성된 메모리 어드레스들에 기초하여, 메모리(202)의 서로 다른 영역들로부터 서로 다른 커널 채널들의 커널 타일들의 커널 픽셀들을 인출한다. 인출된 커널 픽셀들은 압축되었기 때문에, 프론트-엔드 코어들(204a-204n)은 인출된 커널 픽셀들에 대한 압축해제를 수행한다.
804 단계에서, 프론트-엔드 코어들(204a-204n)은, IFM 희소성(sparsity) 및 커널 희소성을 이용하여 복수의 부분 출력 피처맵(OFM) 타일들(partial OFM tiles)을 생성하기 위하여, IFM 타일들 및 커널 타일들에 대한 컨볼루션 연산을 수행한다. 컨볼루션 연산은 적어도 하나의 프론트-엔드 코어에 의해 배타적으로(exclusively) 수행되거나, 또는 프론트-엔드 코어들에 의해 병렬적으로 수행될 수 있다. 복수의 IFM 타일들의 복수의 IFM 픽셀들 및 복수의 커널 타일들의 복수의 커널 픽셀들을 인출할 때, 프론트-엔드 코어들(204a-204n)은 IFM 픽셀들 중 적어도 하나의 IFM 픽셀이 제로 값 또는 논-제로 값을 포함하는지 여부 및 커널 픽셀들 중 적어도 하나의 커널 픽셀이 제로 값 또는 논-제로 값을 포함하는지 여부를 검사한다. 프론트-엔드 코어들(204a-204n)은 인출된 IFM 픽셀들을, 벡터 포맷으로 표현하고, IFM 픽셀들의 벡터 포맷에 기초하여 IFM 픽셀들에 대한 IFM 비트마스크들을 생성한다. 프론트-엔드 코어들(204a-204n)은 인출된 커널 픽셀들을, 벡터 포맷으로 표현하고, 커널 픽셀들의 벡터 포맷에 기초하여 커널 픽셀들에 대한 커널 비트마스크들을 생성한다. 프론트-엔드 코어들(204a-204n)은 제로 비교기들을 이용하여 IFM 픽셀들 및 커널 픽셀들의 비트마스크들을 비교하여, 적어도 하나의 IFM 픽셀이 제로 값 또는 논-제로 값을 포함하는지 여부 및 적어도 하나의 커널 픽셀이 제로 값 또는 논-제로 값을 포함하는지 여부를 검출한다. 제로 값이 검출된 경우, 프론트-엔드 코어들(204a-204n)은 제로 값을 포함하는 적어도 하나의 IFM 픽셀 및 제로 값을 포함하는 적어도 하나의 커널 픽셀을 제거하거나 스킵하는 제로 스키핑을 수행한다. 제로 값이 제거(스킵)된 후, 프론트-엔드 코어들(204a-204n)은 서로 다른 채널들에서의 논-제로 값을 갖는 커널 픽셀들에 대하여, 서로 다른 채널들에서의 논-제로 값을 갖는 IFM 픽셀들을 선택한다. 따라서, IFM 픽셀 및 커널 픽셀의 논-제로 값 쌍들이 형성될 수 있다.
또한, 프론트-엔드 코어들(204a-204n)은 IFM 픽셀들 및 커널 픽셀들에 대한 논-제로 값 쌍들에 대해 MAC 연산들을 수행한다. MAC 연산들은 논-제로 값을 포함하는 IFM 픽셀들 및 논-제로 값을 포함하는 커널 픽셀들에 대해 벡터 곱셈을 수행하고, 벡터 곱셈의 결과를 누적하여 복수의 부분 OFM 타일들의 복수의 부분 OFM 픽셀들을 생성하는 것을 포함한다. 프론트-엔드 코어들(204a-204n)은 채널-우선 입력-고정 루프 횡단 기반 순서(channel-first input-stationary loop traversal based order)에 따라 컨볼루션 연산/MAC 연산을 수행한다.
806 단계에서, 백-엔드 누산기들(206a-206n)은 생성된 부분 OFM 타일들을 이용하여, IFM 타일들에 대응하는 복수의 OFM 타일들을 생성한다. 백-엔드 누산기들(206a-206n)은 프론트-엔드 코어들(204a-204n)로부터 복수의 부분 OFM 픽셀들을 누적하고 연관된 인덱스에 기초하여 복수의 부분 OFM 픽셀들을 결합함으로써 복수의 OFM 타일들을 생성한다.
도 9는 일 실시예에 따른 타일형 컨볼루션 연산을 설명하기 위한 도면이다. 가속기는(HXWXC) 차원의 IFM 텐서의 "C" 채널들 및 차원(SXR)의 커널 텐서의 "C" 채널들을 수신한다. 가속기(200)는 IFM 및 커널 텐서들을 타일링하여 컨볼루션 연산을 수행함으로써 타일들에서의 OFM 텐서를 생성한다. 각각의 OFM 타일은 채널-우선 입력-고정 루프 횡단 순서에 따라 IFM 픽셀들에 서로 다른 모든 커널 채널들의 커널 픽셀들을 적용함으로써 생성 할 수 있다. 또한, 컨볼루션 연산은 IFM 픽셀들 및 커널 픽셀들의 제로 값들을 스킵함으로써 수행될 수 있다. 따라서, 가속기의 전력 소모 및 실행 시간이 감소 될 수 있다.
도 10a 및 10b는 일 실시예에 따른, 제로 연산들을 제거하여 CNN의 레이어들을 처리함으로써 향상된 레이턴시 및 실행 시간을 설명하기 위한 도면들이다.
종래의 가속기는 IFM 텐서를 커널 텐서와 컨볼루션함으로써 OFM 텐서를 생성하는데, 여기서 종래의 컨볼루션 연산은 IFM 픽셀들 및 커널 픽셀들에서의 제로 값들의 계산을 포함할 수 있다. OFM 텐서는 한번에 하나의 OFM 픽셀을 생성함으로써 생성될 수 있다. 따라서, 불필요한 계산들(도 10a 및 10b의 그래프에서의(IS))로 인해 레이턴시 및 실행 시간이 증가 될 수 있다.
본 실시예에 따르면, 가속기(200)는 IFM 텐서 및 커널 텐서를 타일링하여 컨볼루션 계산을 수행함으로써, 타일들에서의 OFM 텐서를 생성 할 수 있다. 또한, IFM 픽셀들 및 커널 픽셀들의 제로 값들을 제거하거나 스킵함으로써, 컨볼루션 연산이 수행될 수 있다. 따라서, 도 10a의 그래프에 도시된 바와 같이, 제로 스키핑(ZSKP)으로 인해 레이턴시가 향상될 수 있다. 또한, 도 10b의 테이블에 도시된 바와 같이, 실행 시간도 제로 값들의 스킵으로 인해 감소될 수 있다.
본 실시예는 적어도 하나의 하드웨어 장치에서 실행되고 엘리먼트들을 제어하기 위한 네트워크 관리 기능들을 수행하는 적어도 하나의 소프트웨어 프로그램을 통해 구현될 수 있다. 도 2 내지 10은 적어도 하나의 하드웨어 장치 또는 하드웨어 장치와 소프트웨어 모듈의 조합으로 구현될 수 있다.
본 실시예는 뉴럴 네트워크의 레이어들의 처리에서 제로 값들의 연산들을 제거하거나 스킵하기 위한 방법 및 장치를 설명한다. 따라서, 본 실시예의 보호의 범위는 이와 같은 방법 및 장치를 실행하는 프로그램으로 확장될 수 있고, 프로그램이 서버, 모바일 장치 또는 적절한 프로그래머블 장치에서 실행될 때 방법의 단계들을 실행하기 위한 프로그램 코드를 포함하는 컴퓨터로 읽을 수 있는 기록매체 수단을 포함한다. 바람직한 실시예에서, 이와 같은 방법은 예를 들어 VHDL(Very high speed integrated circuit Hardware Description Language), 다른 프로그래밍 언어, 또는 적어도 하나의 하드웨어 장치에서 실행되는 몇몇의 소프트웨어 모듈들에 의해 구현될 수 있다. 하드웨어 장치는 프로그래밍 가능한 모든 종류의 휴대용 장치일 수 있다. 또한, 하드웨어 장치는 예를 들어 ASIC과 같은 하드웨어 수단, ASIC 및 FPGA와 같은 하드웨어 및 소프트웨어가 조합된 수단, 또는 하나 이상의 마이크로프로세서 및 그 안에 위치한 소프트웨어 모듈을 갖는 하나 이상의 메모리를 포함한 수단 등을 포함할 수 있다. 본 실시예에 따른 방법은 부분적으로 하드웨어 및 부분적으로 소프트웨어로 구현될 수도 있다. 또한, 본 실시예는, 서로 다른 하드웨어 장치들, 예를 들어 복수의 CPU들을 이용하여 구현될 수도 있다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 실시예가 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 실시예에 포함된 것으로 해석되어야 할 것이다.

Claims (22)

  1. 뉴럴 네트워크의 레이어들을 처리하는 방법에 있어서,
    복수의 프론트-엔드 코어들에 의해, 메모리로부터 적어도 하나의 입력 피처맵(IFM) 텐서(tensor)의 복수의 IFM 타일들 및 적어도 하나의 커널 텐서의 복수의 커널 타일들을 인출(fetch)하는 단계 - 각각의 IFM 타일은 복수의 IFM 픽셀들을 포함하고, 각각의 커널 타일은 복수의 커널 픽셀들을 포함함 -;
    상기 프론트-엔드 코어들에 의해, IFM 희소성(sparsity) 및 커널 희소성을 이용하여 복수의 부분 출력 피처맵(OFM) 타일들(partial OFM tiles)을 생성하기 위하여, 상기 IFM 타일들 및 상기 커널 타일들에 대한 컨볼루션 연산을 수행하는 단계 - 상기 컨볼루션 연산은 적어도 하나의 프론트-엔드 코어에 의해 배타적으로(exclusively) 수행되거나, 또는 상기 프론트-엔드 코어들에 의해 병렬적으로 수행됨 -; 및
    복수의 백-엔드 누산기들에 의해, 상기 생성된 부분 OFM 타일들을 이용하여, 상기 IFM 타일들에 대응하는 복수의 OFM 타일들을 생성하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 인출하는 단계는
    상기 프론트-엔드 코어들에 의해, 서로 다른 커널 채널들에서의 상기 커널 타일들에 대한 메모리 어드레스들을 생성하는 단계;
    상기 프론트-엔드 코어들에 의해, 상기 생성된 메모리 어드레스들에 기초하여, 상기 메모리의 서로 다른 영역들로부터 상기 커널 채널들의 상기 커널 타일들의 상기 커널 픽셀들을 인출하는 단계 - 상기 인출된 커널 픽셀들은 압축됨 -; 및
    상기 프론트-엔드 코어들에 의해, 상기 인출된 커널 픽셀들에 대한 압축해제를 수행하는 단계를 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 컨볼루션 연산을 수행하는 단계는
    상기 프론트-엔드 코어들에 의해, 상기 IFM 픽셀들의 적어도 하나의 IFM 픽셀 또는 상기 커널 픽셀들의 적어도 하나의 커널 픽셀의 값들이 제로 값(zero value) 또는 논-제로 값(non-zero value)인지 여부를 판단하는 단계;
    상기 프론트-엔드 코어들에 의해, 상기 IFM 픽셀들에서 논-제로 값을 갖는 IFM 픽셀 및 상기 커널 픽셀들에서 논-제로 값을 갖는 커널 픽셀이 판단된 경우, 적어도 하나의 논-제로 값 쌍(non-zero value pair)을 검출하는 단계; 및
    상기 프론트-엔드 코어들에 의해, 상기 적어도 하나의 논-제로 값 쌍에 대한 MAC(Multiply-Accumulate) 연산들을 수행하는 단계 - 상기 프론트-엔드 코어들은 상기 MAC 연산들을 수행하는 복수의 PE(Processing Element) 어레이들을 포함함 -;
    를 포함하는, 방법.
  4. 제 3 항에 있어서,
    상기 프론트-엔드 코어들에 의해, 상기 논-제로 값 쌍들이 검출된 경우 제로 스키핑(zero skipping)을 수행하는 단계 - 상기 제로 스키핑 동안에 적어도 하나의 OFM 픽셀들은 변경되지 않고 유지됨 -; 및
    상기 프론트-엔드 코어들에 의해, 상기 제로 스키핑을 수행하면서 소정의 횡단 순서(traversal order)에 기초하여 적어도 하나의 뒤이은 IFM 타일 및 적어도 하나의 뒤이은 커널 타일에 대한 상기 컨볼루션 연산을 수행하는 단계를 더 포함하는, 방법.
  5. 제 3 항에 있어서,
    상기 판단하는 단계는
    상기 프론트-엔드 코어들에 의해, 상기 IFM 타일들의 상기 IFM 픽셀들 및 상기 커널 타일들의 상기 커널 픽셀들을, 벡터 포맷으로 표현하는 단계;
    상기 프론트-엔드 코어들에 의해, 상기 IFM 픽셀들 및 상기 커널 픽셀들에 대한 상기 벡터 포맷에 기초하여, 상기 IFM 픽셀들에 대한 IFM 비트마스크들 및 상기 커널 픽셀들에 대한 커널 비트마스크들을 생성하는 단계; 및
    상기 프론트-엔드 코어들에 의해, 상기 IFM 비트마스크들 및 상기 커널 비트마스크들의 적어도 하나의 위치에서 제로 값 및 논-제로 값을 갖는 IFM 픽셀 및 커널 픽셀을 검출하기 위해, 상기 IFM 비트마스크들 및 상기 커널 비트마스크들을 비교하는 단계를 포함하는, 방법.
  6. 제 5 항에 있어서,
    상기 프론트-엔드 코어들에 의해, 상기 IFM 비트마스크들의 적어도 하나의 위치에서 제로 값을 갖는 적어도 하나의 IFM 픽셀 및 상기 커널 비트마스크들의 적어도 하나의 위치에서 제로 값을 갖는 적어도 하나의 커널 픽셀 중 적어도 하나에 대한 제로 스키핑을 수행하는 단계를 더 포함하는, 방법.
  7. 제 5 항에 있어서,
    상기 적어도 하나의 논-제로 값 쌍은
    상기 IFM 비트마스크들의 상기 적어도 하나의 위치에서 논-제로 값을 갖는 상기 IFM 픽셀 및 상기 커널 비트마스크들에서 적어도 하나의 대응 위치에서 논-제로 값을 갖는 상기 커널 픽셀을 포함하고,
    상기 적어도 하나의 논-제로 값 쌍은
    적어도 하나의 OFM 픽셀의 생성에 이용되는, 방법.
  8. 제 3 항에 있어서,
    상기 프론트-엔드 코어들에 의해, 상기 적어도 하나의 논-제로 값 쌍을 검출하기 위하여 상기 커널 채널들의 상기 커널 타일들의 상기 커널 픽셀들을 선택하는 단계를 더 포함하는 방법.
  9. 제 3 항에 있어서,
    상기 MAC 연산들을 수행하는 단계는
    상기 프론트-엔드 코어들에 의해, 상기 IFM 픽셀들에서 논-제로 값을 갖는 상기 IFM 픽셀 및 상기 커널 픽셀들에서 논-제로 값을 갖는 상기 커널 픽셀로 구성된 상기 적어도 하나의 논-제로 값 쌍에 대한 벡터 곱셈(vector multiplication)을 수행하는 단계; 및
    상기 프론트-엔드 코어들에 의해, 복수의 OFM 채널들에 대한 상기 OFM 타일들에서의 복수의 부분 OFM 픽셀들을 생성하기 위하여, 상기 벡터 곱셈의 결과들을 누적하는(accumulate) 단계를 포함하는, 방법.
  10. 제 9 항에 있어서,
    상기 프론트-엔드 코어들에 의해, 상기 MAC 연산들을 수행한 후에 상기 PE 어레이들의 복수의 PE들을 동기화하는 단계를 더 포함하고,
    상기 복수의 PE들은 상기 복수의 커널 타일들 또는 상기 복수의 커널 픽셀들의 경계에서 동기화되는, 방법.
  11. 제 1 항에 있어서,
    상기 OFM 타일들을 생성하는 단계는
    복수의 OFM 채널들에 대한 상기 부분 OFM 타일들에서의 복수의 부분 OFM 픽셀들을 누적하는 단계; 및
    상기 부분 OFM 픽셀들에 연관된 인덱스를 이용하여 상기 IFM 타일들에 대응하는 상기 OFM 타일들을 생성하기 위하여, 상기 부분 OFM 픽셀들을 결합하는 단계를 포함하는, 방법.
  12. 뉴럴 네트워크의 레이어들을 처리하는 장치에 있어서,
    메모리;
    상기 메모리에 연결된 복수의 프론트-엔드 코어들(front-end cores); 및
    상기 메모리 및 상기 프론트-엔드 코어들에 연결된 복수의 백-엔드 누산기들(back-end accumulators)을 포함하고,
    상기 프론트-엔드 코어들은
    상기 메모리로부터 적어도 하나의 입력 피처맵(IFM) 텐서(tensor)의 복수의 IFM 타일들 및 적어도 하나의 커널 텐서의 복수의 커널 타일들을 인출(fetch)하고 - 각각의 IFM 타일은 복수의 IFM 픽셀들을 포함하고, 각각의 커널 타일은 복수의 커널 픽셀들을 포함함 -,
    IFM 희소성(sparsity) 및 커널 희소성을 이용하여 복수의 부분 출력 피처맵(OFM) 타일들(partial OFM tiles)을 생성하기 위하여, 상기 IFM 타일들 및 상기 커널 타일들에 대한 컨볼루션 연산을 수행하고 - 상기 컨볼루션 연산은 적어도 하나의 프론트-엔드 코어에 의해 배타적으로(exclusively) 수행되거나, 또는 상기 프론트-엔드 코어들에 의해 병렬적으로 수행됨 -,
    상기 백-엔드 누산기들은
    상기 생성된 부분 OFM 타일들을 이용하여, 상기 IFM 타일들에 대응하는 복수의 OFM 타일들을 생성하는,
    장치.
  13. 제 12 항에 있어서,
    상기 프론트-엔드 코어들은
    서로 다른 커널 채널들에서의 상기 커널 타일들에 대한 메모리 어드레스들을 생성하고,
    상기 생성된 메모리 어드레스들에 기초하여, 상기 메모리의 서로 다른 영역들로부터 상기 커널 채널들의 상기 커널 타일들의 상기 커널 픽셀들을 인출하고 - 상기 인출된 커널 픽셀들은 압축됨 -,
    상기 인출된 커널 픽셀들에 대한 압축해제를 수행하는,
    장치.
  14. 제 12 항에 있어서,
    상기 프론트-엔드 코어들은
    상기 IFM 픽셀들의 적어도 하나의 IFM 픽셀 또는 상기 커널 픽셀들의 적어도 하나의 커널 픽셀의 값들이 제로 값(zero value) 또는 논-제로 값(non-zero value)인지 여부를 판단하고,
    상기 IFM 픽셀들에서 논-제로 값을 갖는 IFM 픽셀 및 상기 커널 픽셀들에서 논-제로 값을 갖는 커널 픽셀이 판단된 경우, 적어도 하나의 논-제로 값 쌍(non-zero value pair)을 검출하고,
    상기 적어도 하나의 논-제로 값 쌍에 대한 MAC(Multiply-Accumulate) 연산들을 수행하고,
    상기 프론트-엔드 코어들은 상기 MAC 연산들을 수행하는 복수의 PE(Processing Element) 어레이들을 포함하는,
    장치.
  15. 제 14 항에 있어서,
    상기 프론트-엔드 코어들은
    상기 논-제로 값 쌍들이 검출된 경우 제로 스키핑(zero skipping)을 수행하고 - 상기 제로 스키핑 동안에 적어도 하나의 OFM 픽셀들은 변경되지 않고 유지됨 -,
    상기 제로 스키핑을 수행하면서 소정의 횡단 순서(traversal order)에 기초하여 적어도 하나의 뒤이은 IFM 타일 및 적어도 하나의 뒤이은 커널 타일에 대한 상기 컨볼루션 연산을 수행하는,
    장치.
  16. 제 14 항에 있어서,
    상기 프론트-엔드 코어들은
    상기 IFM 타일들의 상기 IFM 픽셀들 및 상기 커널 타일들의 상기 커널 픽셀들을, 벡터 포맷으로 표현하고,
    상기 IFM 픽셀들 및 상기 커널 픽셀들에 대한 상기 벡터 포맷에 기초하여, 상기 IFM 픽셀들에 대한 IFM 비트마스크들 및 상기 커널 픽셀들에 대한 커널 비트마스크들을 생성하고,
    상기 IFM 비트마스크들 및 상기 커널 비트마스크들의 적어도 하나의 위치에서 제로 값 및 논-제로 값을 갖는 IFM 픽셀 및 커널 픽셀을 검출하기 위해, 상기 IFM 비트마스크들 및 상기 커널 비트마스크들을 비교하는,
    장치.
  17. 제 16 항에 있어서,
    상기 프론트-엔드 코어들은
    상기 IFM 비트마스크들의 적어도 하나의 위치에서 제로 값을 갖는 적어도 하나의 IFM 픽셀 및 상기 커널 비트마스크들의 적어도 하나의 위치에서 제로 값을 갖는 적어도 하나의 커널 픽셀 중 적어도 하나에 대한 제로 스키핑을 수행하는,
    장치.
  18. 제 16 항에 있어서,
    상기 적어도 하나의 논-제로 값 쌍은
    상기 IFM 비트마스크들의 상기 적어도 하나의 위치에서 논-제로 값을 갖는 상기 IFM 픽셀 및 상기 커널 비트마스크들에서 적어도 하나의 대응 위치에서 논-제로 값을 갖는 상기 커널 픽셀을 포함하고,
    상기 적어도 하나의 논-제로 값 쌍은
    적어도 하나의 OFM 픽셀의 생성에 이용되는,
    장치.
  19. 제 14 항에 있어서,
    상기 프론트-엔드 코어들은
    상기 적어도 하나의 논-제로 값 쌍을 검출하기 위하여 상기 커널 채널들의 상기 커널 타일들의 상기 커널 픽셀들을 선택하는,
    장치.
  20. 제 14 항에 있어서,
    상기 프론트-엔드 코어들은
    상기 IFM 픽셀들에서 논-제로 값을 갖는 상기 IFM 픽셀 및 상기 커널 픽셀들에서 논-제로 값을 갖는 상기 커널 픽셀로 구성된 상기 적어도 하나의 논-제로 값 쌍에 대한 벡터 곱셈(vector multiplication)을 수행하고,
    복수의 OFM 채널들에 대한 상기 OFM 타일들에서의 복수의 부분 OFM 픽셀들을 생성하기 위하여, 상기 벡터 곱셈의 결과들을 누적하는(accumulate),
    장치.
  21. 제 20 항에 있어서,
    상기 프론트-엔드 코어들은
    상기 MAC 연산들을 수행한 후에 상기 PE 어레이들의 복수의 PE들을 동기화하고,
    상기 복수의 PE들은 상기 복수의 커널 타일들 또는 상기 복수의 커널 픽셀들의 경계에서 동기화되는,
    장치.
  22. 제 12 항에 있어서,
    상기 백-엔드 누산기들은
    복수의 OFM 채널들에 대한 상기 부분 OFM 타일들에서의 복수의 부분 OFM 픽셀들을 누적하고,
    상기 부분 OFM 픽셀들에 연관된 인덱스를 이용하여 상기 IFM 타일들에 대응하는 상기 OFM 타일들을 생성하기 위하여, 상기 부분 OFM 픽셀들을 결합하는,
    장치.
KR1020200010482A 2019-03-13 2020-01-29 뉴럴 네트워크의 레이어들의 처리에서 제로 값(zero value)의 연산을 처리하는 방법 및 장치 KR20200110165A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/816,861 US11604958B2 (en) 2019-03-13 2020-03-12 Method and apparatus for processing computation of zero value in processing of layers in neural network
US18/107,210 US11915118B2 (en) 2019-03-13 2023-02-08 Method and apparatus for processing computation of zero value in processing of layers in neural network

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201941009806 2019-03-13
IN201941009806 2019-03-13

Publications (1)

Publication Number Publication Date
KR20200110165A true KR20200110165A (ko) 2020-09-23

Family

ID=72708168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200010482A KR20200110165A (ko) 2019-03-13 2020-01-29 뉴럴 네트워크의 레이어들의 처리에서 제로 값(zero value)의 연산을 처리하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20200110165A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220157799A (ko) 2021-05-21 2022-11-29 연세대학교 산학협력단 인공지능 알고리즘의 효율적인 하드웨어 구현을 위한 수용 영역의 분할 연산 방법
KR20230034655A (ko) * 2021-09-03 2023-03-10 연세대학교 산학협력단 n차원 텐서 곱 연산을 이용한 합성곱 신경망 압축 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220157799A (ko) 2021-05-21 2022-11-29 연세대학교 산학협력단 인공지능 알고리즘의 효율적인 하드웨어 구현을 위한 수용 영역의 분할 연산 방법
KR20230034655A (ko) * 2021-09-03 2023-03-10 연세대학교 산학협력단 n차원 텐서 곱 연산을 이용한 합성곱 신경망 압축 방법 및 장치

Similar Documents

Publication Publication Date Title
US20230067421A1 (en) Methods and apparatus to tile walk a tensor for convolution operations
US11403069B2 (en) Accelerated mathematical engine
CN110046702B (zh) 神经网络计算加速器及其执行的方法
CN109891435B (zh) 张量运算和加速
US11915118B2 (en) Method and apparatus for processing computation of zero value in processing of layers in neural network
US20190179635A1 (en) Method and apparatus for tensor and convolution operations
KR20180005241A (ko) Cnn 처리 방법 및 디바이스
KR20200081044A (ko) 뉴럴 네트워크의 컨볼루션 연산을 처리하는 방법 및 장치
US20130249923A1 (en) Methods and apparatus for image processing at pixel rate
KR20200110165A (ko) 뉴럴 네트워크의 레이어들의 처리에서 제로 값(zero value)의 연산을 처리하는 방법 및 장치
CN112074847A (zh) 拆分用于在神经网络处理器中处理的输入数据
US8108661B2 (en) Data processing apparatus and method of controlling the data processing apparatus
JP6970827B2 (ja) 演算処理装置
US10049487B2 (en) Identifying duplicate indices in an input index stream
US20230376733A1 (en) Convolutional neural network accelerator hardware
US11409840B2 (en) Dynamically adaptable arrays for vector and matrix operations
Zeng et al. Optimizing frequency domain implementation of CNNs on FPGAs
Zhang et al. Bucket-FEM: A Bucket-based Architecture of Real-time ORB Feature Extraction and Matching for Embedded SLAM Applications
US11132569B2 (en) Hardware accelerator for integral image computation
KR20240068718A (ko) 컨볼루션 신경망 연산
US20230097279A1 (en) Convolutional neural network operations
JP2004145493A (ja) マッチング演算回路
Ma et al. An Efficient Dataflow for Convolutional Generative Models
CN118043777A (en) Convolutional neural network operation
Ranawaka et al. High Performance Application Specific Stream Architecture for Hardware Acceleration of HOG-SVM on FPGA