KR20210072524A - 뉴럴 네트워크 장치 및 그 동작 방법 - Google Patents

뉴럴 네트워크 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20210072524A
KR20210072524A KR1020190162910A KR20190162910A KR20210072524A KR 20210072524 A KR20210072524 A KR 20210072524A KR 1020190162910 A KR1020190162910 A KR 1020190162910A KR 20190162910 A KR20190162910 A KR 20190162910A KR 20210072524 A KR20210072524 A KR 20210072524A
Authority
KR
South Korea
Prior art keywords
layer
feature map
buffer memory
neural network
output
Prior art date
Application number
KR1020190162910A
Other languages
English (en)
Inventor
유형석
심현욱
이종은
Original Assignee
삼성전자주식회사
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 울산과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020190162910A priority Critical patent/KR20210072524A/ko
Priority to US16/893,560 priority patent/US11829862B2/en
Priority to CN202010599092.5A priority patent/CN113033790A/zh
Publication of KR20210072524A publication Critical patent/KR20210072524A/ko
Priority to US18/489,209 priority patent/US20240046082A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따르면, 뉴럴 네트워크에 포함되는 제1 레이어의 입력 피처맵을 저장하는 온칩 버퍼 메모리, 온칩 버퍼 메모리의 단일 포트를 통해 제1 레이어의 입력 피처맵을 수신하고, 제1 레이어의 입력 피처맵에 대해 뉴럴 네트워크 연산을 수행함으로써 제1 레이어의 입력 피처맵에 대응되는 제1 레이어의 출력 피처맵을 출력하는 연산 회로 및 제1 레이어의 출력 피처맵을 단일 포트를 통해 온칩 버퍼 메모리로 전송함으로써, 온칩 버퍼 메모리에 제1 레이어의 출력 피처맵과 제1 레이어의 입력 피처맵을 함께 저장하는 제어부를 포함하는, 뉴럴 네트워크 장치가 개시된다.

Description

뉴럴 네트워크 장치 및 그 동작 방법{Neural network device and operating method for the same}
본 개시는 뉴럴 네트워크 장치 및 그 동작 방법에 관한 것이다.
뉴럴 네트워크(neural network)는 생물학적 뇌를 모델링한 컴퓨터 과학적 아키텍쳐(computational architecture)를 참조한다. 최근 뉴럴 네트워크 기술이 발전함에 따라, 다양한 종류의 전자 시스템에서 뉴럴 네트워크 장치를 사용하여 입력 데이터를 분석하고 유효한 정보를 추출하는 연구가 활발히 진행되고 있다.
뉴럴 네트워크 장치는 복잡한 입력 데이터에 대한 많은 양의 연산을 필요로 한다. 뉴럴 네트워크 장치가 많은 양의 연산을 처리하기 위해서는 연산에 필요한 많은 양의 데이터를 메모리로부터 독출하거나, 기입하는 동작이 수반되는바, 빈번한 메모리의 접근(access)으로 인해 많은 양의 에너지가 소모될 수 있다. 한편, 모바일 또는 IoT(Internet of Things) 기기와 같은, 저전력 고성능 시스템은 제한된 리소스를 가지므로, 많은 양의 데이터를 처리하는데 필요한 에너지 소모를 최소화할 수 있는 기술이 요구된다.
뉴럴 네트워크 장치 및 그 동작 방법을 제공하는데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 본 개시가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 해결하기 위한 수단으로서, 일 측면에 따른 뉴럴 네트워크 장치는, 뉴럴 네트워크에 포함되는 제1 레이어의 입력 피처맵(input feature map)을 저장하는 온칩 버퍼 메모리(on-chip buffer memory); 상기 온칩 버퍼 메모리의 단일 포트를 통해 상기 제1 레이어의 입력 피처맵을 수신하고, 상기 제1 레이어의 입력 피처맵에 대해 뉴럴 네트워크 연산을 수행함으로써 상기 제1 레이어의 입력 피처맵에 대응되는 상기 제1 레이어의 출력 피처맵(output feature map)을 출력하는 연산 회로; 및 상기 제1 레이어의 출력 피처맵을 상기 단일 포트를 통해 상기 온칩 버퍼 메모리로 전송함으로써, 상기 온칩 버퍼 메모리에 상기 제1 레이어의 출력 피처맵과 상기 제1 레이어의 입력 피처맵을 함께 저장하는 제어부를 포함하고, 상기 제1 레이어의 출력 피처맵은 상기 제1 레이어의 다음 레이어인 제2 레이어의 뉴럴 네트워크 연산을 위한 입력 피처맵으로서 재사용될 수 있다.
또한, 다른 측면에 따른 뉴럴 네트워크 장치의 동작 방법은, 뉴럴 네트워크에 포함되는 제1 레이어의 입력 피처맵을 온칩 버퍼 메모리에 저장하는 단계; 상기 온칩 버퍼 메모리의 단일 포트를 통해 상기 제1 레이어의 입력 피처맵을 연산 회로로 전송하는 단계; 상기 연산 회로가 상기 제1 레이어의 입력 피처맵에 대해 뉴럴 네트워크 연산을 수행함으로써 상기 제1 레이어의 입력 피처맵에 대응되는 상기 제1 레이어의 출력 피처맵을 출력하는 단계; 및 상기 제1 레이어의 출력 피처맵을 상기 단일 포트를 통해 상기 온칩 버퍼 메모리로 전송함으로써, 상기 온칩 버퍼 메모리에 상기 제1 레이어의 출력 피처맵과 상기 제1 레이어의 입력 피처맵을 함께 저장하는 단계를 포함하고, 상기 제1 레이어의 출력 피처맵은 상기 제1 레이어의 다음 레이어인 제2 레이어의 뉴럴 네트워크 연산을 위한 입력 피처맵으로 재사용될 수 있다.
또한, 또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 기록매체를 포함할 수 있다.
도 1은 뉴럴 네트워크에서 입력 피처맵 및 출력 피처맵의 관계의 일 예를 나타낸 도면이다.
도 2는 뉴럴 네크워크 아키텍처의 일 예를 나타낸 도면이다.
도 3은 일부 실시예에 따른 뉴럴 네트워크 장치의 일 예를 나타낸 블록도이다.
도 4는 일부 실시예에 따라 온칩 버퍼 메모리에 피처맵을 저장하기 위한 메모리 어드레스 할당 방식의 일 예를 나타낸 도면이다.
도 5는 일부 실시예에 따른 뉴럴 네트워크 장치의 다른 예를 나타낸 도면이다.
도 6은 일부 실시예에 따른 뉴럴 네트워크 장치의 피처맵의 이동 경로의 일 예를 나타낸 도면이다.
도 7은 일부 실시예에 따른 뉴럴 네트워크 연산을 수행하기 위해 실행되는 연산 루프를 나타낸 알고리즘이다.
도 8은 일부 실시예에 따른 전자 시스템을 나타내는 블록도이다.
도 9는 일부 실시예에 따른 뉴럴 네트워크 장치의 동작 방법의 일 예를 나타낸 흐름도이다.
도 10은 일부 실시예에 따른 뉴럴 네트워크 장치의 동작 방법의 다른 예를 나타낸 흐름도이다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시예들에 대한 설명들에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 실시예들에서 사용되는 "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 도는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 명세서에서 사용되는 제1 레이어와 같은 용어는 뉴럴 네트워크 내의 첫 번째 레이어를 의미하는 것으로 한정되어서는 안되고, 제2 레이어 등으로부터 구별하는 목적으로 사용된다.
하기 실시예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.
도 1은 뉴럴 네트워크에서 입력 피처맵 및 출력 피처맵의 관계의 일 예를 나타낸 도면이다.
뉴럴 네트워크는 딥 뉴럴 네트워크(Deep Neural Network, DNN) 또는 n-계층 뉴럴 네트워크(n-layers neural networks)의 아키텍처일 수 있다. DNN 또는 n-계층 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(Convolutional Neural Networks, CNN), 리커런트 뉴럴 네트워크(Recurrent Neural Networks, RNN), Deep Belief Networks, Restricted Boltzman Machines 등에 해당될 수 있다.
도 1을 참조하면, 뉴럴 네트워크의 어느 레이어에서, 제1 피처맵(FM1)은 입력 피처맵에 해당될 수 있고, 제2 피처맵(FM2)는 출력 피처맵에 해당될 수 있다. 피처맵은 입력 데이터의 다양한 특징들이 표현된 데이터 세트를 의미할 수 있다. 피처맵들(FM1, FM2)은 2차원 매트릭스의 엘리먼트들을 갖거나 또는 3차원 매트릭스의 엘리먼트들을 가질 수 있고, 각각의 엘리먼트에는 픽셀 값이 정의될 수 있다. 피처맵들(FM1, FM2)은 너비(W)(또는 칼럼이라고 함), 높이(H)(또는 로우라고 함) 및 깊이(D)를 가진다. 이때, 깊이(D)는 채널들의 개수에 해당될 수 있다.
제1 피처맵(FM1) 및 웨이트맵(weight map, WM)에 대한 컨벌루션 연산이 수행될 수 있고, 그 결과 제2 피처맵(FM2)이 생성될 수 있다. 웨이트맵은 각 엘리먼트에 정의된 웨이트 파라미터로 제1 피처맵(FM1)과 컨벌루션 연산을 수행함으로써 제1 피처맵(FM1)의 특징들을 필터링한다. 웨이트맵은 제1 피처맵(FM1)을 슬라이딩 윈도우 방식으로 시프트하면서 제1 피처맵(FM1)의 윈도우들(또는 타일이라고도 함)과 컨벌루션 연산을 수행한다. 각 시프트 동안, 웨이트맵에 포함된 웨이트 파라미터들 각각은 제1 피처맵(FM1) 내 중첩된 윈도우의 픽셀 값들 각각과 곱해지고 더해질 수 있다. 제1 피처맵(FM1)과 웨이트맵이 컨벌루션됨에 따라, 제2 피처맵(FM2)의 하나의 채널이 생성될 수 있다. 도 1에는 하나의 웨이트맵만이 도시되었으나, 실제로는 복수의 웨이트맵들이 제1 피처맵(FM1)과 각각 컨벌루션되어, 복수의 채널들의 제2 피처맵(FM2)이 생성될 수 있다.
한편, 제2 피처맵(FM2)은 다음 레이어의 입력 피처맵에 해당될 수 있다. 예를 들어, 제2 피처맵(FM2)은 풀링(또는 서브샘플링) 레이어의 입력 피처맵이 될 수 있다.
도 2는 뉴럴 네크워크 아키텍처의 일 예를 나타낸 도면이다.
도 2를 참조하면, 뉴럴 네트워크(2)는 입력 레이어, 히든 레이어들 및 출력 레이어를 포함하는 구조를 가지며, 수신되는 입력 데이터(예를 들어,
Figure pat00001
및
Figure pat00002
)를 기초로 연산을 수행하고, 수행 결과를 기초로 출력 데이터(예를 들어,
Figure pat00003
및
Figure pat00004
)를 생성할 수 있다.
뉴럴 네트워크(2)는 앞서 설명된 바와 같이, 2개 이상의 히든 레이어들을 포함하는 DNN 또는 n-계층 뉴럴 네트워크일 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 뉴럴 네트워크(2)는 입력 레이어(Layer 1), 2개의 히든 레이어들(Layer 2 및 Layer 3) 및 출력 레이어(Layer 4)를 포함하는 DNN일 수 있다. 뉴럴 네트워크(2)가 DNN 아키텍처로 구현된 경우 유효한 정보를 처리할 수 있는 보다 많은 레이어들을 포함하므로, 뉴럴 네트워크(2)는 싱글 레이어를 갖는 뉴럴 네트워크보다 복잡한 데이터 집합들을 처리할 수 있다. 한편, 뉴럴 네트워크(2)는 4개의 레이어들을 포함하는 것으로 도시되어 있으나, 이는 예시에 불과할 뿐 뉴럴 네트워크(2)는 더 적거나 많은 레이어들을 포함하거나, 더 적거나 많은 채널들을 포함할 수 있다. 즉, 뉴럴 네트워크(2)는 도 2에 도시된 것과는 다른, 다양한 구조의 레이어들을 포함할 수 있다.
뉴럴 네트워크(2)에 포함된 레이어들 각각은 복수의 채널들을 포함할 수 있다. 채널은 뉴런(neuron), 프로세싱 엘리먼트(Processing element, PE), 유닛(unit) 또는 이와 유사한 용어들로 알려진, 복수의 인공 노드(artificial node)들에 해당될 수 있다. 예를 들어, 도 2에 도시된 바와 같이, Layer 1은 2개의 채널들(노드들), Layer 2 및 Layer 3 각각은 3개의 채널들을 포함할 수 있다. 다만, 이는 예시에 불과할 뿐 뉴럴 네트워크(2)에 포함된 레이어들 각각은 다양한 개수의 채널들(노드들)을 포함할 수 있다.
뉴럴 네트워크(2)의 레이어들 각각에 포함된 채널들은 서로 연결되어 데이터를 처리할 수 있다. 예를 들어, 하나의 채널은 다른 채널들로부터 데이터를 수신하여 연산할 수 있고, 연산 결과를 또 다른 채널들로 출력할 수 있다.
채널들 각각의 입력 및 출력 각각은 입력 액티베이션 및 출력 액티베이션이라고 지칭될 수 있다. 즉, 액티베이션은 한 채널의 출력임과 동시에, 다음 레이어에 포함된 채널들의 입력에 해당되는 파라미터일 수 있다. 한편, 채널들 각각은 이전 레이어에 포함된 채널들로부터 수신된 액티베이션들 및 웨이트 및 바이어스에 기초하여 자신의 액티베이션을 결정할 수 있다. 웨이트는 각 채널에서의 출력 액티베이션을 계산하기 위해 이용되는 파라미터로서, 채널들 간의 연결관계에 할당되는 값일 수 있다.
채널들 각각은 입력을 수신하여 출력 액티베이션을 출력하는 연산 유닛(computational unit) 또는 프로세싱 엘리먼트(processing element)에 의해 처리될 수 있고, 채널들 각각의 입력-출력은 매핑될 수 있다. 예를 들어,
Figure pat00005
는 액티베이션 함수(activation function)이고,
Figure pat00006
는 (i-1) 번째 레이어에 포함된 k 번째 채널로부터 i 번째 레이어에 포함된 j번째 채널로의 웨이트며,
Figure pat00007
는 i 번째 레이어에 포함된 j 번째 채널의 바이어스(bias)이고,
Figure pat00008
는 i 번째 레이어의 j 번째 채널의 액티베이션이라고 할 때, 액티베이션
Figure pat00009
는 다음과 같은 수학식 1을 이용하여 계산될 수 있다.
Figure pat00010
도 2에 도시된 바와 같이, 2번째 레이어(Layer 2)의 첫 번째 채널(CH 1)의 액티베이션은
Figure pat00011
로 표현될 수 있다. 또한,
Figure pat00012
은 수학식 1에 따라
Figure pat00013
의 값을 가질 수 있다. 다만, 앞서 설명한 수학식 1은 뉴럴 네트워크(2)에서 데이터를 처리하기 위해 이용되는 액티베이션 및 웨이트 및 바이어스를 설명하기 위한 예시일 뿐, 이에 제한되지 않는다. 액티베이션은 이전 레이어로부터 수신된 액티베이션들의 가중치 합(weighted sum)을 sigmoid 함수나 Rectified Linear Unit (ReLU) 함수 등의 액티베이션 함수에 통과시킴으로써 획득된 값일 수 있다.
앞서 설명한 것과 같이, 뉴럴 네트워크(2)에서는 수많은 데이터 집합들이 상호 연결된 복수의 채널들 간에 교환되고, 레이어를 지나면서 수많은 연산 과정을 거친다. 따라서, 수많은 연산 과정에 필요한 많은 양의 데이터를 독출하거나, 기입하는 동작에 필요한 전력 소모를 감소시킬 수 있는 기술이 요구된다.
도 1 및 도 2에서는 설명의 편의를 위하여 뉴럴 네트워크(2)의 개략적인 아키텍처에 대해서만 도시되어 있다. 하지만, 뉴럴 네트워크(2)는 도시된 바와 달리, 보다 많거나 적은 개수의 레이어들, 피처맵들, 웨이트맵들 등으로 구현될 수 있고, 그 크기들 또한 다양하게 변형될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
도 3은 일부 실시예에 따른 뉴럴 네트워크 장치(300)의 일 예를 나타낸 블록도이다.
도 3을 참조하면, 뉴럴 네트워크 장치(300)는 온칩 버퍼 메모리(310), 연산 회로(320) 및 제어부(330)를 포함하고, 뉴럴 네트워크 장치(300)의 외부에 존재하는 외부 메모리(390)와 데이터를 송수신할 수 있다. 뉴럴 네트워크 장치(300)는 온칩(on-chip) 구조의 장치로서 뉴럴 네트워크 장치(300) 내의 구성들은 모두 하나의 칩 내에 실장될 수 있다.
뉴럴 네트워크 장치(300)는 뉴럴 네트워크를 구현하기에 적합하도록 설계된 하드웨어 가속기일 수 있다. 뉴럴 네트워크 장치(300)는 가속기로서 뉴럴 네트워크 장치(300)가 포함된 전자 시스템의 처리 속도를 향상시키기 위해 사용될 수 있다.
도 3에 도시된 뉴럴 네트워크 장치(300)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 뉴럴 네트워크 장치(300)에는 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
온칩 버퍼 메모리(310)는 뉴럴 네트워크 장치(300)에 대응되는 칩 내부에 구비된 메모리를 의미한다. 온칩 버퍼 메모리(310)는 입력 피처맵과 출력 피처맵을 함께 저장함으로써 피처맵의 이동 과정을 뉴럴 네트워크 장치(300) 내부로 한정시킬 수 있다. 이에 따라, 입력 피처맵 또는 출력 피처맵의 독출/기입을 위한 외부 메모리(390)로의 접속이 최소화될 수 있다.
온칩 버퍼 메모리(310)는 하나의 메모리 어드레스 공간(memory address space)으로 구성될 수 있다. 메모리 어드레스 공간은 데이터를 저장하기 위한 메모리 어드레스의 범위를 정의한 공간으로서, 메모리 어드레스를 할당 받은 피처맵이 저장될 수 있는 공간을 의미한다. 예를 들어, 온칩 버퍼 메모리(310)의 메모리 어드레스 공간에 대응되는 메모리 어드레스의 범위가 0x0000~0xFFFF인 경우, 입력 피처맵 또는 출력 피처맵은 0x0000~0xFFFF 중 적어도 일부에 대응되는 메모리 어드레스를 할당 받음에 따라 온칩 버퍼 메모리(310)에 저장될 수 있다. 일반적인 뉴럴 네트워크 장치(300)에 구비되는 종래의 메모리는 복수의 메모리 어드레스 공간들을 포함한다. 따라서, 입력 피처맵이 저장되는 메모리 어드레스 공간과, 출력 피처맵이 저장되는 메모리 어드레스 공간이 분리되어 있다. 이에 반해, 본 개시에 따른 온칩 버퍼 메모리(310)는 하나의 메모리 어드레스 공간에 입력 피처맵과 출력 피처맵을 함께 저장할 수 있다.
온칩 버퍼 메모리(310)는 하나의 메모리 어드레스 공간에 입력 피처맵과 출력 피처맵을 함께 저장함으로써, 온칩 버퍼 메모리(310)의 크기를 최소화하여 뉴럴 네트워크 장치(300)가 차지하는 면적을 최소화할 수 있다. 입력 피처맵과 출력 피처맵을 별개의 버퍼 메모리 또는 하나의 버퍼 메모리 내의 별개의 메모리 어드레스 공간에 저장하는 종래의 메모리의 경우 입력 피처맵의 최대 크기와 출력 피처맵의 최대 크기의 합을 수용할 수 있는 공간이 요구된다.
예를 들어, 제1 레이어의 입력 피처맵 및 출력 피처맵의 크기가 각각 2MB 및 6MB이고, 제2 레이어의 입력 피처맵 및 출력 피처맵의 크기가 각각 7MB 및 1MB인 경우, 종래의 버퍼 메모리는 적어도 13MB의 데이터를 수용할 수 있는 크기를 가져야 한다. 이에 반해, 본 개시에 따른 온칩 버퍼 메모리(310)는 전술한 예시에 있어서, 단지 8MB의 데이터를 수용할 수 있는 크기만 가지면 된다. 온칩 버퍼 메모리의 하나의 어드레스 공간에 입력 피처맵과 출력 피처맵을 함께 저장하기 위한 메모리 어드레스 할당 방식에 관해서는 도 4를 참조하여 후술하도록 한다.
온칩 버퍼 메모리(310)는 단일 포트를 사용한다. 온칩 버퍼 메모리(310)가 단일 포트를 사용한다는 것은 피처맵에 대한 독출 동작에 이용되는 포트와 기입 동작에 이용되는 포트가 동일함을 의미할 수 있다. 온칩 버퍼 메모리(310)는 하나의 메모리 어드레스 공간과 연결되는 단일 포트를 통해 하나의 메모리 어드레스 공간에 저장된 피처맵의 이동을 수행할 수 있다. 단일 포트를 사용하는 온칩 버퍼 메모리(310)는 동일 용량의 듀얼 포트를 사용하는 종래의 버퍼 메모리에 비하여 면적 및 전력 소모가 절반일 수 있다. 다시 말해, 단일 포트를 사용하는 온칩 버퍼 메모리(310)와 듀얼 포트를 사용하는 종래의 버퍼 메모리의 면적이 동일한 경우, 단일 포트를 사용하는 온칩 버퍼 메모리(310)는 듀얼 포트를 사용하는 종래의 버퍼 메모리에 비해 2배의 용량을 가질 수 있다.
온칩 버퍼 메모리(310)의 단일 포트의 폭은 피처맵의 저장 단위에 따라 결정될 수 있다. 단일 포트의 폭은 TN 워드로 결정될 수 있다. TN은 피처맵의 병렬화 매개변수(degree of parallelism)이다. 병렬화 매개변수란, 한 번의 동작으로 처리될 수 있는, 피처맵을 이루는 피처들의 단위를 표현한 변수이다. 워드는 하나의 피처에 대응되는 데이터를 나타내기 위해 필요한 비트 수를 의미한다. 하나의 워드에 대응되는 비트 수는 데이터의 소수점 포맷에 따라 결정될 수 있다. 소수점 포맷은 뉴럴 네트워크 장치(300)의 설계 방식에 따라 부동 소수점 포맷 또는 고정 소수점 포맷 등으로 선택될 수 있다.
일 실시예에서, 온칩 버퍼 메모리(310)는 뉴럴 네트워크에 포함되는 제1 레이어의 입력 피처맵을 저장할 수 있다. 제1 레이어란 뉴럴 네트워크 내의 첫 번째 레이어로 한정되는 것이 아닌, 뉴럴 네트워크에 포함되는 여러 레이어들 중 어느 하나의 레이어를 의미하는 것으로서, 다른 레이어들과의 구별을 위한 용어이다.
연산 회로(320)는 입력 피처맵에 대한 뉴럴 네트워크 연산을 수행함으로써 입력 피처맵에 대응되는 출력 피처맵을 출력하는 하드웨어 구성일 수 있다. 예를 들어, 연산 회로(320)는 온칩 버퍼 메모리(310)의 단일 포트를 통해 제1 레이어의 입력 피처맵을 수신하고, 이에 대한 뉴럴 네트워크 연산을 수행함으로써 제1 레이어의 출력 피처맵을 출력할 수 있다.
일 실시예에서, 뉴럴 네트워크 연산은 컨볼루션 연산, 액티베이션 연산 및 풀링 연산을 포함할 수 있다. 연산 회로(320)는 입력 피처맵에 대한 컨볼루션 연산을 수행한 결과에 대해 액티베이션 연산을 수행하고, 액티베이션 연산을 수행한 결과에 대해 풀링 연산까지 수행하여, 그 결과를 출력 피처맵으로 출력할 수 있다. 연산 회로(320) 내의 3 가지의 연산 과정들은 외부메모리로의 접속 없이 하나의 칩 내에서 모두 이루어질 수 있다. 연산 회로(320)의 연산에는 상술한 연산들 외에도 배치 정규화 등 뉴럴 네트워크의 연산에 사용되는 다양한 연산들이 포함될 수 있다.
제어부(330)는 뉴럴 네트워크 장치(300)를 제어하기 위한 전반적인 역할을 할 수 있다. 예를 들어, 제어부(330)는 온칩 버퍼 메모리(310)의 동작을 제어할 수 있다. 한편, 제어부(330)는 다수의 논리 게이트들의 어레이로 구현될 수 있고, 범용적인 마이크로 프로세서와 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다.
제어부(330)는 온칩 버퍼 메모리(310)의 단일 포트를 통해, 온칩 버퍼 메모리(310)에 저장된 입력 피처맵을 온칩 버퍼 메모리(310)로부터 연산 회로(320)로 전송할 수 있다. 제어부(330)는 온칩 버퍼 메모리(310)의 단일 포트를 통해, 입력 피처맵에 대한 뉴럴 네트워크 연산의 출력 결과인 출력 피처맵을 온칩 버퍼 메모리(310)로 전송할 수 있다.
제어부(330)는 입력 피처맵과 출력 피처맵을 온칩 버퍼 메모리(310)에 함께 저장할 수 있다. 예를 들어, 제어부(330)는 제1 레이어의 출력 피처맵을 온칩 버퍼 메모리(310)의 단일 포트를 통해 온칩 버퍼 메모리(310)로 전송하여 제1 레이어의 출력 피처맵을 온칩 버퍼 메모리(310)에 제1 레이어의 입력 피처맵과 함께 저장할 수 있다. 제1 레이어의 출력 피처맵은 제1 레이어의 다음 레이어인 제2 레이어의 뉴럴 네트워크 연산을 위한 입력 피처맵으로 재사용될 수 있다.
온칩 버퍼 메모리(310)를 이용하여 피처맵의 재사용이 이루어지는 경우, 온칩 구조인 뉴럴 네트워크 장치(300) 내에서만 피처맵의 이동 및 저장이 수행되므로 피처맵의 기입과 독출을 위한 외부 메모리(390)로의 접속이 배제될 수 있다.
도 4는 일부 실시예에 따라 온칩 버퍼 메모리에 피처맵을 저장하기 위한 메모리 어드레스 할당 방식의 일 예를 나타낸 도면이다.
하나의 메모리 어드레스 공간에 입력 피처맵과 출력 피처맵을 함께 저장하기 위해서 뉴럴 네트워크 장치(예를 들어, 도 3의 뉴럴 네트워크 장치(300))는 온칩 버퍼 메모리에 피처맵의 메모리 어드레스를 할당하는 지점과 방향을 조정하는 방식을 채용한다.
뉴럴 네트워크 장치는 특정 레이어에서의 입력 피처맵과 출력 피처맵을 저장하기 위한 메모리 어드레스를 반대 방향으로 할당할 수 있다. 예를 들어, 입력 피처맵 및 출력 피처맵 중 어느 하나의 메모리 어드레스가 메모리 어드레스의 시작 지점(메모리 어드레스: 0)부터 할당되기 시작하여, 메모리 어드레스의 마지막 지점(메모리 어드레스: Max)을 향하는 방향으로 할당되는 경우, 입력 피처맵 및 출력 피처맵 중 다른 하나의 메모리 어드레스는 메모리 어드레스의 마지막 지점부터 할당되기 시작하여, 메모리 어드레스의 시작 지점을 향하는 방향으로 할당될 수 있다.
도 4에 따른 일 실시예에서, 제1 레이어의 입력 피처맵을 저장하기 위한 온칩 버퍼 메모리의 제1 메모리 어드레스(410)는 메모리 어드레스의 시작 지점부터 할당되기 시작하여, 메모리 어드레스의 마지막 지점을 향하는 방향으로 할당되고, 제1 레이어의 출력 피처맵을 저장하기 위한 온칩 버퍼 메모리의 제2 메모리 어드레스(420)는 메모리 어드레스의 마지막 지점부터 할당되기 시작하여, 메모리 어드레스의 시작 지점을 향하는 방향으로 할당될 수 있다.
제2 메모리 어드레스(420)에 저장된 제1 레이어의 출력 피처맵이 제2 레이어의 입력 피처맵으로 재사용됨에 따라 제2 레이어의 입력 피처맵에 대응되는 제2 레이어의 출력 피처맵이 연산 회로로부터 출력될 수 있다. 제2 레이어의 출력 피처맵을 저장하기 위한 온칩 버퍼 메모리의 제3 메모리 어드레스(430)는 메모리 어드레스의 시작 지점부터 할당되기 시작하여, 메모리 어드레스의 마지막 지점을 향하는 방향으로 할당될 수 있다.
도 4에 따른 메모리 어드레스 할당 방식으로 인해, 뉴럴 네트워크 장치는 하나의 메모리 어드레스 공간 내에 입력 피처맵과 출력 피처맵 간의 중첩을 최소화하며 입력 피처맵과 출력 피처맵을 함께 저장할 수 있다. 뉴럴 네트워크 장치는 온칩 버퍼 메모리에 입력 피처맵과 출력 피처맵 모두를 저장함으로써, 외부 메모리로의 접속을 최소화할 수 있다. 온칩 구조인 뉴럴 네트워크 장치 내에서 피처맵의 저장 및 이동이 모두 수행될 수 있다.
상기 설명한 바와 같이 뉴럴 네트워크 장치는 피처맵의 이동 및 저장을 모두 온칩 구조의 뉴럴 네트워크 장치 내부에서 수행함으로써 외부 메모리로의 접속에 따라 발생되는 전력 소모를 최소화할 수 있다. 다만, 입력 피처맵과 출력 피처맵의 총합 크기에 따라 온칩 버퍼 메모리에 입력 피처맵과 출력 피처맵을 함께 저장하기 어려운 경우, 뉴럴 네트워크 장치는 대비책으로 동작할 수 있다. 이하 도 4에 따른 메모리 어드레스 할당 방식에도 불구하고, 입력 피처맵과 출력 피처맵이 온칩 버퍼 메모리에 함께 저장될 수 없는 경우에 대해서 도 5를 참조하여 설명하도록 한다.
도 5는 일부 실시예에 따른 뉴럴 네트워크 장치(500)의 다른 예를 나타낸 도면이다.
도 5를 참조하면, 뉴럴 네트워크 장치(500)는 온칩 버퍼 메모리(510), 연산 회로(520), 제어부(530) 및 보조 버퍼 메모리(550)를 포함하고, 뉴럴 네트워크 장치(500)의 외부에 존재하는 외부 메모리(590)와 데이터를 송수신할 수 있다. 뉴럴 네트워크 장치(500)는 온칩(on-chip) 구조의 장치로서 뉴럴 네트워크 장치(500) 내의 구성들은 모두 하나의 칩 내에 실장될 수 있다. 도 5의 온칩 버퍼 메모리(510), 연산 회로(520) 및 제어부(530)는 각각 도 3의 온칩 버퍼 메모리(310), 연산 회로(320) 및 제어부(330)에 대응될 수 있다. 따라서, 중복되는 설명은 생략한다.
제어부(530)는 입력 피처맵과 출력 피처맵의 총합 크기가 온칩 버퍼 메모리(510)의 크기를 초과하는지 여부를 판단할 수 있다. 뉴럴 네트워크 장치(500)는 입력 피처맵과 출력 피처맵의 총합 크기가 온칩 버퍼 메모리(510)의 크기를 초과하여 온칩 버퍼 메모리(510)에 입력 피처맵 및 출력 피처맵을 함께 저장할 수 없는 경우, 대비책으로 동작할 수 있다. 대비책에서 뉴럴 네트워크 장치(500)는 피처맵의 저장을 위해 온칩 버퍼 메모리(510) 외에 보조 버퍼 메모리(550)도 활용할 수 있다.
보조 버퍼 메모리(550)는 대비책에서만 동작하는 구성으로서, 연산 회로(520)로부터 출력된 출력 피처맵이 온칩 버퍼 메모리(510)에 저장될 수 없는 경우, 출력 피처맵을 일시 저장할 수 있다. 보조 버퍼 메모리(550)는 출력 피처맵을 일시 저장하고, 보조 버퍼 메모리(550)에 일시 저장되어 있던 출력 피처맵은 기 설정된 주기에 따라 외부 메모리(590)로 전송될 수 있다. 출력 피처맵은 외부 메모리(590)에 저장되고, 외부 메모리(590)로부터 연산 회로(520)로 전송되어 다음 레이어의 뉴럴 네트워크 연산을 위한 입력 피처맵으로 재사용될 수 있다.
도 6은 일부 실시예에 따른 뉴럴 네트워크 장치의 피처맵의 이동 경로의 일 예를 나타낸 도면이다.
도 6을 참조하면, 뉴럴 네트워크 장치는 웨이트 버퍼 메모리(640), 온칩 버퍼 메모리(610), 보조 버퍼 메모리(650), 로컬 버스(660), 연산 회로 및 제어부를 포함한다. 도 6의 온칩 버퍼 메모리(610), 연산 회로, 보조 버퍼 메모리(650) 및 제어부는 각각 도 5의 온칩 버퍼 메모리(510), 연산 회로(520), 보조 버퍼 메모리(550) 및 제어부(530)에 대응될 수 있으므로, 중복되는 설명은 생략한다. 연산 회로는 컨볼루션 연산 회로(621), 액티베이션 연산 회로(622) 및 풀링 연산 회로(623)를 나열한 순서대로 포함할 수 있다. 외부 메모리(690)는 뉴럴 네트워크 장치의 외부에 존재한다.
TZ는 입력 피처맵의 병렬화 매개변수로서, 한 번의 동작으로 처리될 수 있는, 입력 피처맵을 이루는 피처들의 단위를 표현한 변수이다. TM은 출력 피처맵의 병렬화 매개변수로서, 한 번의 동작으로 처리될 수 있는, 출력 피처맵을 이루는 피처들의 단위를 표현한 변수이다.
뉴럴 네트워크 장치의 외부 메모리(690)로의 접속은, 외부 데이터의 뉴럴 네트워크 장치의 첫 레이어(입력 레이어)로의 입력, 뉴럴 네트워크 장치의 마지막 레이어(출력 레이어)에서의 출력 및 웨이트의 독출 과정에서 이루어진다. 이외의 레이어들에서 피처맵의 이동, 연산 및 저장 등 뉴럴 네트워크 장치의 동작들은 외부 메모리(690)로의 접속 없이 온칩 구조인 뉴럴 네트워크 장치 내부에서 모두 수행되는 것이 바람직할 수 있다.
웨이트 버퍼 메모리(640)는 입력 피처맵에 대한 뉴럴 네트워크 연산에 이용되는 웨이트를 저장할 수 있다. 웨이트 버퍼 메모리(640)는 단일 포트를 사용할 수 있다. 웨이트 버퍼 메모리(640)는 외부 메모리(690)로부터 단일 포트를 통해 웨이트를 수신할 수 있다. 웨이트 버퍼 메모리(640)는 입력 피처맵에 대한 뉴럴 네트워크 연산을 위해 단일 포트를 통해 웨이트를 컨볼루션 연산 회로(621)에 전송할 수 있다. 컨볼루션 연산 회로(621)는 웨이트에 기초하여 입력 피처맵에 대한 컨볼루션 연산을 수행할 수 있다.
온칩 버퍼 메모리(610)에 저장된 입력 피처맵은 컨볼루션 연산 회로(621)로 전송되고 웨이트에 기초하여 입력 피처맵에 대한 컨볼루션 연산이 수행될 수 있다. 입력 피처맵에 대한 컨볼루션 연산의 수행 결과는 액티베이션 연산 회로(622)로 입력될 수 있고, 이어서 액티베이션 연산이 수행될 수 있다. 액티베이션 연산의 수행 결과는 풀링 연산 회로(623)로 입력될 수 있고, 이에 대해 바로 풀링 연산이 수행될 수 있다. 풀링 연산의 수행결과 출력된 출력 피처맵은 온칩 버퍼 메모리(610)로 전송되어, 입력 피처맵과 함께 저장될 수 있다. 다만, 뉴럴 네트워크 장치는 입력 피처맵과 출력 피처맵의 총합 크기가 온칩 버퍼 메모리(610)의 크기를 초과하여 온칩 버퍼 메모리(610)에 입력 피처맵 및 출력 피처맵을 함께 저장할 수 없는 경우, 대비책으로 동작할 수 있다. 뉴럴 네트워크 장치가 대비책으로 동작하는 경우, 보조 버퍼 메모리(650)가 동작할 수 있다. 제어부(예를 들어, 도 3 및 도 5의 제어부(330) 또는 제어부(530))는 온칩 버퍼 메모리(610)에 저장된 입력 피처맵과 풀링 연산 회로(623)로부터 출력된 출력 피처맵의 총합 크기가 온칩 버퍼 메모리(610)의 크기를 초과하는 경우, 출력 피처맵을 보조 버퍼 메모리(650)에 일시 저장할 수 있다. 출력 피처맵은 보조 버퍼 메모리(650)에 일시 저장되고, 기 설정된 주기에 따라 외부 메모리(690)로 전송될 수 있다.
예를 들어, 제어부는 온칩 버퍼 메모리(610)에 저장된 제2 레이어의 입력 피처맵과 연산 회로로부터 출력된 제2 레이어의 출력 피처맵의 총합 크기가 온칩 버퍼 메모리(610)의 크기를 초과하는 경우, 제2 레이어의 출력 피처맵을 보조 버퍼 메모리(650)에 일시 저장할 수 있다.
제어부는 입력 피처맵이 외부 메모리(690)에 저장된 경우, 출력 피처맵의 크기가 온칩 버퍼 메모리(610)의 크기를 초과하는지 여부에 따라 출력 피처맵의 저장 위치를 결정할 수 있다. 예를 들어, 제2 레이어의 출력 피처맵이 외부 메모리(690)에 저장되어있고, 제2 레이어의 출력 피처맵이 제3 레이어의 입력 피처맵으로 재사용되는 경우, 제어부는 연산 회로로부터 출력된 제3 레이어의 출력 피처맵의 크기가 온칩 버퍼 메모리(610)를 초과하는지 판단할 수 있다. 제어부는 제3 레이어의 출력 피처맵의 크기가 온칩 버퍼 메모리(610)의 크기를 초과하는 경우, 제3 레이어의 출력 피처맵을 보조 버퍼 메모리(650)에 일시 저장할 수 있다. 제어부는 제3 레이어의 출력 피처맵의 크기가 온칩 버퍼 메모리(610)의 크기 이하인 경우, 제3 레이어의 출력 피처맵을 온칩 버퍼 메모리(610)에 저장할 수 있다.
다만, 뉴럴 네트워크 장치가 대비책으로 동작하여 피처맵을 외부 메모리(690)에 저장하는 경우라도, 피처맵의 재사용을 위해 필요한 최소한의 부분은 온칩 버퍼 메모리(610)에 저장하고 나머지 부분을 외부 메모리(690)에 저장할 수 있다.
뉴럴 네트워크 장치는 풀링 연산을 별개의 레이어에서 처리하지 않고, 연산 회로 내에서 처리함에 따라, 출력 피처맵의 크기를 감소시킬 수 있다. 예를 들어, 출력 피처맵의 크기는 풀링 연산에 의해, 풀링(623) 스트라이드(stride)의 제곱만큼 감소할 수 있다. 따라서, 온칩 버퍼 메모리(610)에 출력 피처맵을 저장할 수 있는 가능성이 증대될 수 있고, 외부 메모리(690)로의 접속이 최소화될 수 있다.
로컬 버스(local bus)(660)는 단일 포트가 사용되는 버퍼 메모리들과 다른 구성들과의 사이에 존재하는 데이터(피처맵 또는 웨이트)의 이동 통로이다. 피처맵은 로컬 버스(660)를 통해 온칩 버퍼 메모리(610)와 연산 회로 사이에서 이동될 수 있다. 웨이트는 로컬 버스(660)를 통해 웨이트 버퍼 메모리(640)와 외부 메모리(690) 또는 연산 회로 사이에서 이동될 수 있다. 로컬 버스(660)는 단일 포트를 통해 많은 양의 데이터가 전송되어야 하는 경우, 단일 포트 에서 충돌이 일어나는 것을 방지할 수 있다. 피처맵의 독출 동작과 기입 동작이 동시에 요청되는 경우 로컬 버스(660)에서 독출 동작과 기입 동작의 순서가 조정됨으로써 단일 포트에서 피처맵의 독출 동작과 기입 동작의 충돌이 방지될 수 있다.
도 7은 일부 실시예에 따른 뉴럴 네트워크 연산을 수행하기 위해 실행되는 연산 루프를 나타낸 알고리즘이다.
M은 출력 피처맵의 피처의 개수, R 및 C는 출력 피처맵의 로우 및 칼럼의 개수, Z는 입력 피처맵의 피처의 개수, K는 컨볼루션 필터의 크기, S는 컨볼루션의 스트라이드, P는 풀링의 스트라이드, 그리고 Q는 풀링 필터의 크기를 의미한다.
뉴럴 네트워크 장치는 뉴럴 네트워크 연산을 수행하기 위해 적어도 하나의 연산 루프를 실행할 수 있다. 예를 들어, 뉴럴 네트워크 장치는 입력 피처맵을 입력으로 하여 M-loop를 실행할 수 있다. M-loop는 출력되는 출력 피처맵의 피처들의 개수의 범위를 지정하는 루프이다. 피처들의 개수의 범위는 매 루프마다 TM개의 단위로 확장될 수 있다. M-loop는 R/C-loop를 포함할 수 있다. R/C-loop는 출력 피처맵을 출력하는데 있어 출력될 출력 피처맵의 로우와 칼럼을 지정하는 루프로서, RR-loop, CC-loop, R-loop 및 C-loop를 포함한다.
R/C-loop가 M-loop 안에 있음으로 인해 웨이트 버퍼 메모리의 크기는 상대적으로 작게 정해질 수 있다. R/C-loop가 M-loop 안에 있음은, 출력되는 출력 피처맵의 피처들의 개수의 범위를 고정한 상태로 로우와 칼럼을 확장하며 출력 피처맵의 피처들을 출력하는 과정이 완료되면, 출력되는 피처들의 개수의 범위를 TM개 만큼 이동시켜가면서 로우와 칼럼을 확장하며 출력 피처맵의 피처들을 출력하는 과정을 반복함을 의미한다.
연산 루프 내에서 웨이트의 재사용을 최대화하기 위해서 요구되는 웨이트 버퍼 메모리의 크기는 TM*Z*K2에 비례할 수 있다. 이는 도 7에 따른 알고리즘과 달리 M-loop가 R/C-loop 안에 있는 경우, 웨이트 버퍼 메모리에 요구되는 크기가 M*Z*K2인 것에 비하여 작은 크기이다. 도 7에 따른 알고리즘으로 인해 뉴럴 네트워크 장치 내에서 웨이트 버퍼 메모리가 차지하는 면적이 최소화될 수 있다.
K-loop #1은 입력 피처맵과 웨이트에 대한 컨볼루션 연산을 수행하는 루프이다. K-loop #1의 컨볼루션 연산이 수행된 직후, 액티베이션 연산과 풀링 연산이 연달아 수행된다. 풀링 연산이 별개의 루프에서 처리되지 않고 한 루프 내에서 연달아 처리됨에 따라, 뉴럴 네트워크 연산의 과정이 간소화될 수 있다. R/C-loop가 다른 루프의 개입 없이 연달아 진행됨에 따라, 루프 내에서 풀링 연산이 용이하게 처리되도록 할 수 있다.
입력 피처맵에 대한 독출 요청은 컨볼루션 연산에 쓰이는 입력 피처맵의 피처들의 범위가 변경될 때마다 이루어질 수 있다. 즉, Z-loop 내에서 입력 피처맵에 대한 z 값이 변경되는 매 주기마다 독출이 요청될 수 있다. 출력 피처맵의 기입 요청은 로우 또는 칼럼이 변경될 때마다 이루어질 수 있다. 즉, R/C-loop에서 r 또는 c 값이 변경될 때(K-loop #1의 순환이 완료될 때)마다 기입이 요청될 수 있다. z 값이 변경되는 입력 피처맵에 대한 독출 요청은 매 주기마다 이루어지고, r 또는 c 값이 변경되는 출력 피처맵의 기입 요청은 K*K*Z/TZ의 주기마다 이루어질 수 있다.
독출 동작이 매 주기 수행되고, 기입 동작이 K*K*Z/TZ의 주기마다 수행됨에 따라 K*K*Z/TZ의 주기마다 단일 포트에서 기입 동작과 독출 동작의 충돌이 발생할 수 있다. 다만, K*K*Z/TZ의 주기마다 발생하는 기입 요청의 빈도수는 매 주기 발생하는 독출 요청의 빈도수에 비하여 매우 작은 빈도수에 해당할 수 있다. 예를 들어, K*K*Z/TZ의 주기로 발생하는 단일 포트에서의 충돌 빈도수는 전체 루프가 반복되는 빈도수에 있어 1% 이내로 발생하는 것으로서, 뉴럴 네트워크 장치의 동작 속도에 미치는 영향은 매우 작을 수 있다.
라인 700 및 라인 710은 뉴럴 네트워크 장치가 대비책으로 동작할 경우에만 사용되는 코드이다. 라인 700은 입력 피처맵이 외부 메모리에 저장되어있는 경우, 외부 메모리로부터 입력 피처맵의 독출을 수행하는 코드이다. 라인 710은 출력 피처맵을 외부 메모리에 기입하는 코드이다.
도 8은 일부 실시예에 따른 전자 시스템을 나타내는 블록도이다.
도 8을 참고하면, 전자 시스템(800)은 뉴럴 네트워크를 기초로 입력 데이터를 실시간으로 분석하여 유효한 정보를 추출하고, 추출된 정보를 기초로 상황 판단을 하거나 또는 전자 시스템(800)이 탑재되는 전자 디바이스의 구성들을 제어할 수 있다. 예컨대 전자 시스템(800)은 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 로봇 장치, 스마트 TV, 스마트폰, 의료 디바이스, 모바일 디바이스, 영상 표시 디바이스, 계측 디바이스, IoT 디바이스 등에 적용될 수 있으며, 이 외에도 다양한 종류의 전자 디바이스들 중 적어도 하나에 탑재될 수 있다.
전자 시스템(800)은 CPU(810), RAM(820), 뉴럴 네트워크 장치(830), 메모리(840), 센서 모듈(850) 및 통신 모듈(860)을 포함할 수 있다. 전자 시스템(800)은 입출력 모듈, 보안 모듈, 전력 제어 장치 등을 더 포함할 수 있다. 전자 시스템(800)의 하드웨어 구성들 중 일부는 적어도 하나의 반도체 칩에 탑재될 수 있다. 뉴럴 네트워크 장치(830)는 앞서 설명된 온칩 구조의 뉴럴 네트워크 장치(예를 들어, 도 3의 뉴럴 네트워크 장치(300) 또는 도 5의 뉴럴 네트워크 장치(500)) 자체 또는 이를 포함하는 장치일 수 있다.
CPU(810)는 전자 시스템(800)의 전반적인 동작을 제어한다. CPU(810)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. CPU(810)는 메모리(840)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 일 실시예에 있어서, CPU(810)는 메모리(840)에 저장된 프로그램들을 실행함으로써, 뉴럴 네트워크 장치(830)의 기능을 제어할 수 있다. CPU(810)는 CPU, GPU, AP 등으로 구현될 수 있다.
RAM(820)은 프로그램들, 데이터, 또는 명령들(instructions)을 일시적으로 저장할 수 있다. 예컨대 메모리(840)에 저장된 프로그램들 및/또는 데이터는 CPU(810)의 제어 또는 부팅 코드에 따라 RAM(820)에 일시적으로 저장될 수 있다. RAM(820)은 DRAM(Dynamic RAM) 또는 SRAM(Static RAM) 등의 메모리로 구현될 수 있다.
뉴럴 네트워크 장치(830)는 수신되는 입력 데이터를 기초로 뉴럴 네트워크의 연산을 수행하고, 수행 결과를 기초로 정보 신호를 생성할 수 있다. 뉴럴 네트워크는 CNN, RNN, Deep Belief Networks, Restricted Boltzman Machines 등을 포함할 수 있으나 이에 제한되지 않는다. 뉴럴 네트워크 장치(830)는 뉴럴 네트워크 전용 하드웨어 가속기에 해당될 수 있다.
정보 신호는 음성 인식 신호, 사물 인식 신호, 영상 인식 신호, 생체 정보 인식 신호 등과 같은 다양한 종류의 인식 신호 중 하나를 포함할 수 있다. 예를 들어, 뉴럴 네트워크 장치(830)는 비디오 스트림에 포함되는 프레임 데이터를 입력 데이터로서 수신하고, 프레임 데이터로부터 프레임 데이터가 나타내는 이미지에 포함된 사물에 대한 인식 신호를 생성할 수 있다. 그러나, 이에 제한되는 것은 아니며, 전자 시스템(800)이 탑재된 전자 장치의 종류 또는 기능에 따라 뉴럴 네트워크 장치(830)는 다양한 종류의 입력 데이터를 수신할 수 있고, 입력 데이터에 따른 인식 신호를 생성할 수 있다.
메모리(840)는 데이터를 저장하기 위한 저장 장소로서, OS(Operating System), 각종 프로그램들, 및 각종 데이터를 저장할 수 있다. 메모리(840)는 도 3에 따른 외부 메모리(390)에 해당할 수 있다. 메모리(840)에 뉴럴 네트워크 장치(830)의 연산 수행 과정에서 생성되는 중간 결과들, 예컨대 출력 피처맵이 연산 수행 과정마다 저장되는 경우, 메모리(840)로의 빈번한 접속으로 인한 전력 소모가 높을 수 있다. 본 개시에 따른 뉴럴 네트워크 장치(830)는 연산 수행 과정에서 생성되는 피처맵의 저장을 뉴럴 네트워크 장치(830) 내부로 최대한 한정시킴으로써 메모리(840)로의 접속을 최소화할 수 있다. 이로 인하여 본 개시에 따른 뉴럴 네트워크 장치(830)는 전력 소모를 최소화할 수 있다. 또한, 메모리(840)는 뉴럴 네트워크 장치(830)에서 이용되는 양자화된 뉴럴 네트워크 데이터, 예컨대, 파라미터들, 웨이트 맵 또는 웨이트 리스트를 저장할 수 있다.
메모리(840)는 DRAM일 수 있으나, 이에 한정되는 것은 아니다. 메모리(840)는 휘발성 메모리 또는 불휘발성 메모리 중 적어도 하나를 포함할 수 있다. 불휘발성 메모리는 ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FRAM (Ferroelectric RAM) 등을 포함한다. 휘발성 메모리는 DRAM (Dynamic RAM), SRAM (Static RAM), SDRAM (Synchronous DRAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FeRAM (Ferroelectric RAM) 등을 포함한다. 실시예에 있어서, 메모리(840)는 HDD(Hard Disk Drive), SSD(Solid State Drive), CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 중 적어도 하나를 포함할 수 있다.
센서 모듈(850)은 전자 시스템(800)이 탑재되는 전자 장치 주변의 정보를 수집할 수 있다. 센서 모듈(850)은 전자 장치의 외부로부터 신호(예컨대 영상 신호, 음성 신호, 자기 신호, 생체 신호, 터치 신호 등)를 센싱 또는 수신하고, 센싱 또는 수신된 신호를 데이터로 변환할 수 있다. 이를 위해, 센서 모듈(850)은 센싱 장치, 예컨대 마이크, 촬상 장치, 이미지 센서, 라이더(LIDAR; light detection and ranging) 센서, 초음파 센서, 적외선 센서, 바이오 센서, 및 터치 센서 등 다양한 종류의 센싱 장치 중 적어도 하나를 포함할 수 있다.
센서 모듈(850)은 변환된 데이터를 뉴럴 네트워크 장치(830)에 입력 데이터로서 제공할 수 있다. 예를 들어, 센서 모듈(850)은 이미지 센서를 포함할 수 있으며, 전자 장치의 외부 환경을 촬영하여 비디오 스트림을 생성하고, 비디오 스트림의 연속하는 데이터 프레임을 뉴럴 네트워크 장치(830)에 입력 데이터로서 순서대로 제공할 수 있다. 그러나 이에 제한되는 것은 아니며 센서 모듈(850)은 다양한 종류의 데이터를 뉴럴 네트워크 장치(830)에 제공할 수 있다.
통신 모듈(860)은 외부 장치와 통신할 수 있는 다양한 유선 또는 무선 인터페이스를 구비할 수 있다. 예컨대 통신 모듈(860)은 유선 근거리통신망(Local Area Network; LAN), Wi-fi(Wireless Fidelity)와 같은 무선 근거리 통신망 (Wireless Local Area Network; WLAN), 블루투스(Bluetooth)와 같은 무선 개인 통신망(Wireless Personal Area Network; WPAN), 무선 USB (Wireless Universal Serial Bus), Zigbee, NFC (Near Field Communication), RFID (Radio-frequency identification), PLC(Power Line communication), 또는 3G (3rd Generation), 4G (4th Generation), LTE (Long Term Evolution) 등 이동 통신망(mobile cellular network)에 접속 가능한 통신 인터페이스 등을 포함할 수 있다.
도 9는 일부 실시예에 따른 뉴럴 네트워크 장치의 동작 방법의 일 예를 나타낸 흐름도이다.
도 9를 참조하면, 뉴럴 네트워크 장치의 동작 방법은 도 3 및 도 5에 도시된 뉴럴 네트워크 장치(300) 또는 뉴럴 네트워크 장치(500)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 3 내지 도 8에 도시된 뉴럴 네트워크 장치에 관하여 전술된 내용은 도 9의 방법에도 적용됨을 알 수 있다.
단계 910에서, 뉴럴 네트워크 장치는 뉴럴 네트워크에 포함되는 제1 레이어의 입력 피처맵을 온칩 버퍼 메모리에 저장할 수 있다.
단계 920에서, 뉴럴 네트워크 장치는 온칩 버퍼 메모리의 단일 포트를 통해 제1 레이어의 입력 피처맵을 연산 회로로 전송할 수 있다.
단계 930에서, 뉴럴 네트워크 장치는 제1 레이어의 입력 피처맵에 대해 뉴럴 네트워크 연산을 수행함으로써 제1 레이어의 입력 피처맵에 대응되는 제1 레이어의 출력 피처맵을 출력할 수 있다.
뉴럴 네트워크 장치는 적어도 하나의 연산 루프들에 기초하여 뉴럴 네트워크 연산을 수행할 수 있다. 한편, 뉴럴 네트워크 장치는 적어도 하나의 연산 루프들 각각이 실행되는 주기마다, 제1 레이어의 입력 피처맵의 적어도 일부를 구성하는 데이터를 온칩 버퍼 메모리로부터 단일 포트를 통해 독출하는 독출 동작을 수행할 수 있다. 다만, 독출 동작을 수행할 타이밍에, 제1 레이어의 출력 피처맵의 적어도 일부를 구성하는 데이터를 단일 포트를 통해 온칩 버퍼 메모리로 기입하는 기입 동작이 요청되는 경우 독출 동작보다 기입 동작을 우선하여 수행할 수 있다.
뉴럴 네트워크 연산은 컨볼루션 연산, 액티베이션 연산 및 풀링 연산을 포함하고, 뉴럴 네트워크 장치는 제1 레이어의 입력 피처맵에 대해 컨볼루션 연산 및 액티베이션 연산뿐만 아니라 풀링 연산까지 수행한 결과를 제1 레이어의 출력 피처맵으로 출력할 수 있다.
단계 940에서, 뉴럴 네트워크 장치는 제1 레이어의 출력 피처맵을 단일 포트를 통해 온칩 버퍼 메모리로 전송함으로써, 온칩 버퍼 메모리에 제1 레이어의 출력 피처맵과 제1 레이어의 입력 피처맵을 함께 저장할 수 있다.
뉴럴 네트워크 장치는 제1 레이어의 입력 피처맵을 저장하기 위한 온칩 버퍼 메모리의 제1 메모리 어드레스 및 제1 레이어의 출력 피처맵을 저장하기 위한 온칩 버퍼 메모리의 제2 메모리 어드레스를 서로 다른 방향으로 할당함으로써, 제1 메모리 어드레스 및 제2 메모리 어드레스 간의 중첩을 최소화할 수 있다.
뉴럴 네트워크 장치는 온칩 버퍼 메모리의 저장 공간에 대응되는 메모리 어드레스의 시작 지점부터 제1 방향으로 제1 메모리 어드레스를 할당하고, 온칩 버퍼 메모리의 저장 공간에 대응되는 메모리 어드레스의 마지막 지점부터 제1 방향과 반대인 제2 방향으로 제2 메모리 어드레스를 할당할 수 있다.
뉴럴 네트워크 장치는 제2 메모리 어드레스에 저장된 제1 레이어의 출력 피처맵이 제2 레이어의 입력 피처맵으로 재사용됨에 따라 제2 레이어의 입력 피처맵에 대응되는 제2 레이어의 출력 피처맵이 연산 회로로부터 출력되는 경우, 제2 레이어의 출력 피처맵을 저장하기 위한 온칩 버퍼 메모리의 제3 메모리 어드레스를 시작 지점부터 제1 방향으로 할당함으로써, 제2 메모리 어드레스 및 제3 메모리 어드레스 간의 중첩을 최소화할 수 있다.
일 실시예에서, 뉴럴 네트워크 장치는 웨이트 버퍼 메모리에 제1 레이어의 입력 피처맵에 대한 뉴럴 네트워크 연산에 이용되는 제1 레이어의 웨이트를 저장할 수 있다. 웨이트 버퍼 메모리는, 웨이트 버퍼 메모리의 단일 포트를 통해 뉴럴 네트워크 장치 외부의 외부 메모리로부터 제1 레이어의 웨이트를 수신할 수 있다. 웨이트 버퍼 메모리는, 웨이트 버퍼 메모리의 단일 포트를 통해 제1 레이어의 웨이트를 연산 회로에 전송할 수 있다.
뉴럴 네트워크 장치의 온칩 버퍼 메모리, 연산 회로 및 제어부는 단일 칩 내에 실장될 수 있다. 도 9의 각 단계들은 단일 칩 내에서 모두 수행될 수 있다.
다른 실시예에서, 뉴럴 네트워크 장치는 제2 레이어의 입력 피처맵에 대응되는 제2 레이어의 출력 피처맵이 연산 회로로부터 출력되는 경우 제2 레이어의 입력 피처맵과 제2 레이어의 출력 피처맵의 총합 크기가 온칩 버퍼 메모리의 크기를 초과하는지 여부를 판단할 수 있다. 뉴럴 네트워크 장치는 제2 레이어의 입력 피처맵과 제2 레이어의 출력 피처맵의 총합 크기가 온칩 버퍼 메모리의 크기를 초과한다고 판단되는 경우, 제2 레이어의 출력 피처맵을 온칩 버퍼 메모리 대신 보조 버퍼 메모리에 일시 저장할 수 있다. 보조 버퍼 메모리에 일시 저장된 제2 레이어의 출력 피처맵은 기 설정된 주기에 따라 뉴럴 네트워크 장치 외부의 외부 메모리로 전송될 수 있다.
뉴럴 네트워크 장치는, 제2 레이어의 출력 피처맵이 제2 레이어의 다음 레이어인 제3 레이어의 뉴럴 네트워크 연산을 위한 입력 피처맵으로서 재사용됨에 따라 제3 레이어의 입력 피처맵에 대응되는 제3 레이어의 출력 피처맵을 연산 회로로부터 출력할 수 있다.
뉴럴 네트워크 장치는 제3 레이어의 출력 피처맵의 크기가 온칩 버퍼 메모리의 크기를 초과하는지 여부를 판단할 수 있다. 뉴럴 네트워크 장치는 제3 레이어의 출력 피처맵의 크기가 온칩 버퍼 메모리의 크기를 초과한다고 판단되는 경우 제3 레이어의 출력 피처맵을 보조 버퍼 메모리에 일시 저장할 수 있다. 뉴럴 네트워크 장치는 제3 레이어의 출력 피처맵의 크기가 온칩 버퍼 메모리의 크기 이하라고 판단되는 경우 제3 레이어의 출력 피처맵을 온칩 버퍼 메모리에 저장할 수 있다.
도 10은 일부 실시예에 따른 뉴럴 네트워크 장치의 동작 방법의 다른 예를 나타낸 흐름도이다.
도 10을 참조하면, 뉴럴 네트워크 장치의 동작 방법은 도 3 및 도 5에 도시된 뉴럴 네트워크 장치(300) 또는 뉴럴 네트워크 장치(500)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 3 내지 도 8에 도시된 뉴럴 네트워크 장치에 관하여 전술된 내용은 도 10의 방법에도 적용됨을 알 수 있다.
본 개시에 따른 뉴럴 네트워크 장치의 원칙적인 동작 방법은 온칩 버퍼 메모리에 입력 피처맵과 출력 피처맵을 함께 저장하는 방법이다. 다만, 온칩 버퍼 메모리에 입력 피처맵과 출력 피처맵을 함께 저장될 수 없는 예외적인 경우가 발생할 수 있다. 이러한 예외적인 경우에 대비하기 위하여 본 개시에 따른 뉴럴 네트워크 장치는 원칙적인 동작 방법 외에 대비책으로도 동작할 수 있다. 뉴럴 네트워크 장치는 입력 피처맵과 출력 피처맵의 총합 크기가 온칩 버퍼 메모리의 크기를 초과하는 경우, 예외적인 동작 방법으로서 대비책으로 동작할 수 있다. 도 10은 뉴럴 네트워크 장치의 원칙적인 동작 방법 및 대비책을 포함하는 전반적인 동작 과정을 설명하는 도면이다.
각 단계의 참조번호에서 번호 앞에 S가 수식되어 있는 단계들은 뉴럴 네트워크 장치가 대비책으로 동작하는 경우의 단계들을 의미한다.
도 10을 참조하면, 뉴럴 네트워크 장치의 첫 레이어(입력 레이어)부터 뉴럴 네트워크 장치의 마지막 레이어(출력 레이어)까지의 동작 방법이 도시되어 있다. 도 10에서 표현되는 'n'은 뉴럴 네트워크 장치 내의 레이어들의 순서를 나타낸다. 예를 들어 뉴럴 네트워크 장치가 총 5개의 레이어들로 구성된 경우, 첫 번째 레이어에 대응되는 n=1이고, 두 번째 레이어에 대응되는 n=2이며, 마지막 레이어에 대응되는 n=5이다.
단계 1010 및 1020에서, 뉴럴 네트워크 장치는 외부 데이터가 입력되어 처음 생성되는 첫 번째 레이어(n=1)의 입력 피처맵을 외부 메모리에 저장할 수 있다. 단계 1030에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 입력 피처맵의 크기가 온칩 버퍼 메모리의 크기 이하인 경우 단계 1040을 수행할 수 있다. 단계 1040에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 입력 피처맵을 온칩 버퍼 메모리에 저장할 수 있다. 단계 1030에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 입력 피처맵의 크기가 온칩 버퍼 메모리의 크기를 초과하는 경우 단계 S1031을 수행할 수 있다. 단계 S1031에서 뉴럴 네트워크 장치는 대비책으로 동작하여 첫 번째 레이어의 입력 피처맵을 외부 메모리에 저장할 수 있다. 단계 1050에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 입력 피처맵을 연산회로로 전송하여 뉴럴 네트워크 연산을 수행하고 첫 번째 레이어의 출력 피처맵을 출력할 수 있다.
단계 1060에서 뉴럴 네트워크 장치는 첫 번째 레이어가 마지막 레이어인 경우, 단계 1120을 수행할 수 있다. 단계 1120에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 출력 피처맵을 외부 메모리에 저장할 수 있다. 단계 1060에서 뉴럴 네트워크 장치는 첫 번째 레이어가 마지막 레이어가 아닌 경우, 단계 1070을 수행할 수 있다. 단계 1070에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 입력 및 출력 피처맵의 총합 크기가 온칩 버퍼 메모리의 크기 이하인 경우 단계 1080을 수행할 수 있다. 단계 1080에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 출력 피처맵을 온칩 버퍼 메모리에 저장할 수 있다. 단계 1070에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 입력 및 출력 피처맵의 총합 크기가 온칩 버퍼 메모리의 크기를 초과하는 경우 단계 S1071로 진입하여 대비책으로 동작할 수 있다.
단계 S1071에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 입력 피처맵이 단계 1040에 따라 온칩 버퍼 메모리에 저장되어 있는 경우 단계 S1072를 수행할 수 있다. 단계 S1072에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 출력 피처맵을 보조 버퍼 메모리에 일시 저장할 수 있다. 단계 S1072에서, 보조 버퍼 메모리에 일시 저장된 첫 번째 레이어의 출력 피처맵은 외부 메모리로 전송되어 외부 메모리에 저장될 수 있다. 뉴럴 네트워크 장치는 첫 번째 레이어의 입력 피처맵이 단계 S1031에 따라 외부 메모리에 저장되어 있는 경우 단계 S1073으로 진입할 수 있다.
단계 S1073에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 출력 피처맵의 크기가 온칩 버퍼 메모리의 크기 이하인 경우 단계 1080을 수행할 수 있다. 단계 1080에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 출력 피처맵을 온칩 버퍼 메모리에 저장할 수 있다. 단계 S1073에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 출력 피처맵의 크기가 온칩 버퍼 메모리의 크기를 초과하는 경우 단계 S1072를 수행할 수 있다. 단계 S1072에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 출력 피처맵을 보조 버퍼 메모리에 저장할 수 있다.
단계 1090에서, 뉴럴 네트워크 장치는 첫 번째 레이어의 출력 피처맵을 두 번째 레이어(n=2)의 입력 피처맵으로 재사용할 수 있다. 첫 번째 레이어의 출력 피처맵이 두 번째 레이어의 입력 피처맵으로 재사용됨에 따라 이후의 단계들에서 n=n+1에 대응될 수 있다. 단계 1100에서, 뉴럴 네트워크 장치는 두 번째 레이어의 입력 피처맵을 연산 회로로 전송하여 뉴럴 네트워크 연산을 수행하고 두 번째 레이어의 출력 피처맵을 출력할 수 있다.
단계 1110에서 뉴럴 네트워크 장치는 두 번째 레이어가 마지막 레이어인지 판단하여 마지막 레이어인 경우 단계 1120을 수행할 수 있다. 단계 1120에서, 뉴럴 네트워크 장치는 출력 피처맵을 외부 메모리에 저장할 수 있다. 마지막 레이어가 아닌 경우 단계 1070을 수행하여 두 번째 레이어의 입력 및 출력 피처맵의 총합 크기에 따라 대비책으로의 동작 여부를 판단할 수 있다.
이후 단계 1090가 반복됨에 따라 다음 레이어에 대해 동일한 전술한 과정이 수행되고, 마지막 레이어에 도달하게 되면 뉴럴 네트워크 장치는 뉴럴 네트워크의 마지막 레이어의 출력 피처맵을 외부 메모리에 저장하고, 동작을 종료할 수 있다.
한편, 전술한 도 9 및 도 10의 뉴럴 네트워크 장치의 동작 방법은 그 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다. 컴퓨터로 읽을 수 있는 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 뉴럴 네트워크 장치에 있어서,
    뉴럴 네트워크에 포함되는 제1 레이어의 입력 피처맵(input feature map)을 저장하는 온칩 버퍼 메모리(on-chip buffer memory);
    상기 온칩 버퍼 메모리의 단일 포트를 통해 상기 제1 레이어의 입력 피처맵을 수신하고, 상기 제1 레이어의 입력 피처맵에 대해 뉴럴 네트워크 연산을 수행함으로써 상기 제1 레이어의 입력 피처맵에 대응되는 상기 제1 레이어의 출력 피처맵(output feature map)을 출력하는 연산 회로; 및
    상기 제1 레이어의 출력 피처맵을 상기 단일 포트를 통해 상기 온칩 버퍼 메모리로 전송함으로써, 상기 온칩 버퍼 메모리에 상기 제1 레이어의 출력 피처맵과 상기 제1 레이어의 입력 피처맵을 함께 저장하는 제어부를 포함하고,
    상기 제1 레이어의 출력 피처맵은 상기 제1 레이어의 다음 레이어인 제2 레이어의 뉴럴 네트워크 연산을 위한 입력 피처맵으로서 재사용되는, 뉴럴 네트워크 장치.
  2. 제 1항에 있어서,
    상기 연산 회로는,
    적어도 하나의 연산 루프들에 기초하여 상기 뉴럴 네트워크 연산을 수행하고,
    상기 제어부는,
    상기 적어도 하나의 연산 루프들 각각이 실행되는 주기마다, 상기 제1 레이어의 입력 피처맵의 적어도 일부를 구성하는 데이터를 상기 온칩 버퍼 메모리로부터 상기 단일 포트를 통해 독출하는 독출 동작을 수행하되,
    상기 독출 동작을 수행할 타이밍에, 상기 제1 레이어의 출력 피처맵의 적어도 일부를 구성하는 데이터를 상기 단일 포트를 통해 상기 온칩 버퍼 메모리로 기입하는 기입 동작이 요청되는 경우 상기 독출 동작보다 상기 기입 동작을 우선하여 수행하는, 뉴럴 네트워크 장치.
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 제1 레이어의 입력 피처맵을 저장하기 위한 상기 온칩 버퍼 메모리의 제1 메모리 어드레스 및 상기 제1 레이어의 출력 피처맵을 저장하기 위한 상기 온칩 버퍼 메모리의 제2 메모리 어드레스를 서로 다른 방향으로 할당함으로써, 상기 제1 메모리 어드레스 및 상기 제2 메모리 어드레스 간의 중첩을 최소화하는, 뉴럴 네트워크 장치.
  4. 제 3항에 있어서,
    상기 제어부는,
    상기 온칩 버퍼 메모리의 저장 공간에 대응되는 메모리 어드레스의 시작 지점부터 제1 방향으로 상기 제1 메모리 어드레스를 할당하고,
    상기 온칩 버퍼 메모리의 저장 공간에 대응되는 메모리 어드레스의 마지막 지점부터 상기 제1 방향과 반대인 제2 방향으로 상기 제2 메모리 어드레스를 할당하는, 뉴럴 네트워크 장치.
  5. 제 4항에 있어서,
    상기 제어부는,
    상기 제2 메모리 어드레스에 저장된 상기 제1 레이어의 출력 피처맵이 상기 제2 레이어의 입력 피처맵으로 재사용됨에 따라 상기 제2 레이어의 입력 피처맵에 대응되는 상기 제2 레이어의 출력 피처맵이 상기 연산 회로로부터 출력되는 경우,
    상기 제2 레이어의 출력 피처맵을 저장하기 위한 상기 온칩 버퍼 메모리의 제3 메모리 어드레스를 상기 시작 지점부터 상기 제1 방향으로 할당함으로써, 상기 제2 메모리 어드레스 및 상기 제3 메모리 어드레스 간의 중첩을 최소화하는, 뉴럴 네트워크 장치.
  6. 제 1항에 있어서,
    상기 뉴럴 네트워크 연산은 컨볼루션 연산, 액티베이션(activation) 연산 및 풀링(pooling) 연산을 포함하고,
    상기 연산 회로는 상기 제1 레이어의 입력 피처맵에 대해 상기 컨볼루션 연산 및 상기 액티베이션 연산뿐만 아니라 상기 풀링 연산까지 수행한 결과를 상기 제1 레이어의 출력 피처맵으로 출력하는, 뉴럴 네트워크 장치.
  7. 제 1항에 있어서,
    상기 뉴럴 네트워크 장치는,
    상기 제1 레이어의 입력 피처맵에 대한 상기 뉴럴 네트워크 연산에 이용되는 상기 제1 레이어의 웨이트(weight)를 저장하는 웨이트 버퍼 메모리를 더 포함하고,
    상기 웨이트 버퍼 메모리는, 상기 웨이트 버퍼 메모리의 단일 포트를 통해 상기 뉴럴 네트워크 장치 외부의 외부 메모리로부터 상기 제1 레이어의 웨이트를 수신하고, 상기 웨이트 버퍼 메모리의 단일 포트를 통해 상기 제1 레이어의 웨이트를 상기 연산 회로에 전송하는, 뉴럴 네트워크 장치.
  8. 제 1항에 있어서,
    상기 온칩 버퍼 메모리, 상기 연산 회로 및 상기 제어부는 단일 칩 내에 실장되는, 뉴럴 네트워크 장치.
  9. 제 1항에 있어서,
    상기 뉴럴 네트워크 장치는,
    보조 버퍼 메모리를 더 포함하고,
    상기 제어부는,
    상기 제2 레이어의 입력 피처맵에 대응되는 상기 제2 레이어의 출력 피처맵이 상기 연산 회로로부터 출력되는 경우 상기 제2 레이어의 입력 피처맵과 상기 제2 레이어의 출력 피처맵의 총합 크기가 상기 온칩 버퍼 메모리의 크기를 초과하는지 여부를 판단하고, 상기 제2 레이어의 입력 피처맵과 상기 제2 레이어의 출력 피처맵의 총합 크기가 상기 온칩 버퍼 메모리의 크기를 초과한다고 판단되는 경우, 상기 제2 레이어의 출력 피처맵을 상기 온칩 버퍼 메모리 대신 상기 보조 버퍼 메모리에 일시 저장하고,
    상기 보조 버퍼 메모리에 일시 저장된 상기 제2 레이어의 출력 피처맵은 기 설정된 주기에 따라 상기 뉴럴 네트워크 장치 외부의 외부 메모리로 전송되는, 뉴럴 네트워크 장치.
  10. 제 9항에 있어서,
    상기 제어부는,
    상기 제2 레이어의 출력 피처맵이 상기 제2 레이어의 다음 레이어인 제3 레이어의 뉴럴 네트워크 연산을 위한 입력 피처맵으로서 재사용됨에 따라 상기 제3 레이어의 입력 피처맵에 대응되는 상기 제3 레이어의 출력 피처맵이 상기 연산 회로로부터 출력되는 경우, 상기 제3 레이어의 출력 피처맵의 크기가 상기 온칩 버퍼 메모리의 크기를 초과하는지 여부를 판단하고,
    상기 제3 레이어의 출력 피처맵의 크기가 상기 온칩 버퍼 메모리의 크기를 초과한다고 판단되는 경우 상기 제3 레이어의 출력 피처맵을 상기 보조 버퍼 메모리에 일시 저장하고,
    상기 제3 레이어의 출력 피처맵의 크기가 상기 온칩 버퍼 메모리의 크기 이하라고 판단되는 경우 상기 제3 레이어의 출력 피처맵을 상기 온칩 버퍼 메모리에 저장하는, 뉴럴 네트워크 장치.
  11. 뉴럴 네트워크 장치의 동작 방법에 있어서,
    뉴럴 네트워크에 포함되는 제1 레이어의 입력 피처맵을 온칩 버퍼 메모리에 저장하는 단계;
    상기 온칩 버퍼 메모리의 단일 포트를 통해 상기 제1 레이어의 입력 피처맵을 연산 회로로 전송하는 단계;
    상기 연산 회로가 상기 제1 레이어의 입력 피처맵에 대해 뉴럴 네트워크 연산을 수행함으로써 상기 제1 레이어의 입력 피처맵에 대응되는 상기 제1 레이어의 출력 피처맵을 출력하는 단계; 및
    상기 제1 레이어의 출력 피처맵을 상기 단일 포트를 통해 상기 온칩 버퍼 메모리로 전송함으로써, 상기 온칩 버퍼 메모리에 상기 제1 레이어의 출력 피처맵과 상기 제1 레이어의 입력 피처맵을 함께 저장하는 단계를 포함하고,
    상기 제1 레이어의 출력 피처맵은 상기 제1 레이어의 다음 레이어인 제2 레이어의 뉴럴 네트워크 연산을 위한 입력 피처맵으로 재사용되는, 방법.
  12. 제 11항에 있어서,
    상기 방법은,
    적어도 하나의 연산 루프들에 기초하여 상기 뉴럴 네트워크 연산을 수행하기 위해, 상기 적어도 하나의 연산 루프들 각각이 실행되는 주기 마다, 상기 제1 레이어의 입력 피처맵의 적어도 일부를 구성하는 데이터를 상기 온칩 버퍼 메모리로부터 상기 단일 포트를 통해 독출하는 단계; 및
    상기 독출 동작을 수행할 타이밍에, 상기 제1 레이어의 출력 피처맵의 적어도 일부를 구성하는 데이터를 상기 단일 포트를 통해 상기 온칩 버퍼 메모리로 기입하는 기입 동작이 요청되는 경우 상기 독출 동작보다 상기 기입 동작을 우선하여 수행하는 단계를 더 포함하는, 방법.
  13. 제 11항에 있어서,
    상기 온칩 버퍼 메모리에 상기 제1 레이어의 출력 피처맵과 상기 제1 레이어의 입력 피처맵을 함께 저장하는 단계는,
    상기 제1 레이어의 입력 피처맵을 저장하기 위한 상기 온칩 버퍼 메모리의 제1 메모리 어드레스 및 상기 제1 레이어의 출력 피처맵을 저장하기 위한 상기 온칩 버퍼 메모리의 제2 메모리 어드레스를 서로 다른 방향으로 할당하는 단계를 포함하는, 방법.
  14. 제 13항에 있어서,
    상기 할당하는 단계는,
    상기 온칩 버퍼 메모리의 저장 공간에 대응되는 메모리 어드레스의 시작 지점부터 제1 방향으로 상기 제1 레이어의 입력 피처맵을 저장하기 위한 상기 제1 메모리 어드레스를 할당하는 단계; 및
    상기 온칩 버퍼 메모리의 저장 공간에 대응되는 메모리 어드레스의 마지막 지점부터 상기 제1 방향과 반대인 제2 방향으로 상기 제1 레이어의 출력 피처맵을 저장하기 위한 상기 제2 메모리 어드레스를 할당하는 단계를 포함하는, 방법.
  15. 제 14항에 있어서,
    상기 방법은,
    상기 제2 메모리 어드레스에 저장된 상기 제1 레이어의 출력 피처맵이 상기 제2 레이어의 입력 피처맵으로 재사용됨에 따라 상기 제2 레이어의 입력 피처맵에 대응되는 상기 제2 레이어의 출력 피처맵이 상기 연산 회로로부터 출력되는 경우,
    상기 제2 레이어의 출력 피처맵을 저장하기 위한 상기 온칩 버퍼 메모리의 제3 메모리 어드레스를 상기 시작 지점부터 상기 제1 방향으로 할당하는 단계를 더 포함하는, 방법.
  16. 제 11항에 있어서,
    상기 뉴럴 네트워크 연산은 컨볼루션 연산, 액티베이션 연산 및 풀링 연산을 포함하고,
    상기 출력하는 단계는,
    상기 제1 레이어의 입력 피처맵에 대해 상기 컨볼루션 연산 및 상기 액티베이션 연산뿐만 아니라 상기 풀링 연산까지 수행한 결과를 상기 제1 레이어의 출력 피처맵으로 출력하는, 방법.
  17. 제 11항에 있어서,
    상기 방법은,
    웨이트 버퍼 메모리의 단일 포트를 통해 상기 뉴럴 네트워크 장치 외부의 외부 메모리로부터 상기 웨이트 버퍼 메모리에 상기 제1 레이어의 웨이트가 전송되면, 상기 웨이트 버퍼 메모리에 상기 뉴럴 네트워크 연산에 이용되는 상기 제1 레이어의 웨이트를 저장하는 단계; 및
    상기 웨이트 버퍼 메모리의 단일 포트를 통해 상기 제1 레이어의 웨이트를 상기 웨이트 버퍼 메모리로부터 상기 연산 회로에 전송하는 단계를 더 포함하는, 방법.
  18. 제 11항에 있어서,
    상기 방법은,
    상기 제2 레이어의 입력 피처맵에 대응되는 상기 제2 레이어의 출력 피처맵이 상기 연산 회로로부터 출력되는 경우 상기 제2 레이어의 입력 피처맵과 상기 제2 레이어의 출력 피처맵의 총합 크기가 상기 온칩 버퍼 메모리의 크기를 초과하는지 여부를 판단하는 단계; 및
    상기 제2 레이어의 입력 피처맵과 상기 제2 레이어의 출력 피처맵의 총합 크기가 상기 온칩 버퍼 메모리의 크기를 초과한다고 판단되는 경우, 상기 제2 레이어의 출력 피처맵을 상기 온칩 버퍼 메모리 대신 보조 버퍼 메모리에 일시 저장하는 단계를 더 포함하고,
    상기 보조 버퍼 메모리에 일시 저장된 상기 제2 레이어의 출력 피처맵은 기 설정된 주기에 따라 상기 뉴럴 네트워크 장치 외부의 외부 메모리로 전송되는, 방법.
  19. 제 18항에 있어서,
    상기 제2 레이어의 출력 피처맵이 상기 제2 레이어의 다음 레이어인 제3 레이어의 뉴럴 네트워크 연산을 위한 입력 피처맵으로서 재사용됨에 따라 상기 제3 레이어의 입력 피처맵에 대응되는 상기 제3 레이어의 출력 피처맵이 상기 연산 회로로부터 출력되는 경우, 상기 제3 레이어의 출력 피처맵의 크기가 상기 온칩 버퍼 메모리의 크기를 초과하는지 여부를 판단하는 단계; 및
    상기 제3 레이어의 출력 피처맵의 크기가 상기 온칩 버퍼 메모리의 크기를 초과한다고 판단되는 경우 상기 제3 레이어의 출력 피처맵을 상기 보조 버퍼 메모리에 일시 저장하고, 상기 제3 레이어의 출력 피처맵의 크기가 상기 온칩 버퍼 메모리의 크기 이하라고 판단되는 경우 상기 제3 레이어의 출력 피처맵을 상기 온칩 버퍼 메모리에 저장하는 단계를 더 포함하는, 방법.
  20. 제 11항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020190162910A 2019-12-09 2019-12-09 뉴럴 네트워크 장치 및 그 동작 방법 KR20210072524A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190162910A KR20210072524A (ko) 2019-12-09 2019-12-09 뉴럴 네트워크 장치 및 그 동작 방법
US16/893,560 US11829862B2 (en) 2019-12-09 2020-06-05 Method and device with neural network implementation
CN202010599092.5A CN113033790A (zh) 2019-12-09 2020-06-28 神经网络装置及其操作方法
US18/489,209 US20240046082A1 (en) 2019-12-09 2023-10-18 Method and device with neural network implementation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190162910A KR20210072524A (ko) 2019-12-09 2019-12-09 뉴럴 네트워크 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20210072524A true KR20210072524A (ko) 2021-06-17

Family

ID=76209973

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190162910A KR20210072524A (ko) 2019-12-09 2019-12-09 뉴럴 네트워크 장치 및 그 동작 방법

Country Status (3)

Country Link
US (2) US11829862B2 (ko)
KR (1) KR20210072524A (ko)
CN (1) CN113033790A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886973B2 (en) 2022-05-30 2024-01-30 Deepx Co., Ltd. Neural processing unit including variable internal memory

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008463B2 (en) * 2019-09-11 2024-06-11 Expedera, Inc. Methods and apparatus for accessing external memory in a neural network processing system
GB2615754B (en) * 2022-02-15 2024-02-21 Advanced Risc Mach Ltd Method and processing unit for generating an output feature map
WO2023249859A1 (en) * 2022-06-23 2023-12-28 Expedera, Inc. Methods and apparatus for accessing external memory in a neural network processing system
CN117217274B (zh) * 2023-11-08 2024-06-04 深圳市九天睿芯科技有限公司 向量处理器、神经网络加速器、芯片及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843775B (zh) 2016-04-06 2018-12-04 中国科学院计算技术研究所 片上数据划分读写方法、系统及其装置
AU2016203619A1 (en) 2016-05-31 2017-12-14 Canon Kabushiki Kaisha Layer-based operations scheduling to optimise memory for CNN applications
US10621486B2 (en) 2016-08-12 2020-04-14 Beijing Deephi Intelligent Technology Co., Ltd. Method for optimizing an artificial neural network (ANN)
WO2018071546A1 (en) 2016-10-11 2018-04-19 The Research Foundation For The State University Of New York System, method, and accelerator to process convolutional neural network layers
WO2018158293A1 (en) * 2017-02-28 2018-09-07 Frobas Gmbh Allocation of computational units in object classification
US10706349B2 (en) * 2017-05-25 2020-07-07 Texas Instruments Incorporated Secure convolutional neural networks (CNN) accelerator
KR102452951B1 (ko) 2017-08-23 2022-10-11 삼성전자주식회사 뉴럴 네트워크의 컨볼루션 연산을 수행하는 방법 및 장치
US10699160B2 (en) 2017-08-23 2020-06-30 Samsung Electronics Co., Ltd. Neural network method and apparatus
US11429848B2 (en) * 2017-10-17 2022-08-30 Xilinx, Inc. Host-directed multi-layer neural network processing via per-layer work requests
EP3480746A1 (en) * 2017-11-06 2019-05-08 Imagination Technologies Limited Weight buffers
EP3502974A1 (de) * 2017-12-20 2019-06-26 Siemens Aktiengesellschaft Verfahren zur realisierung eines neuronalen netzes
US10768856B1 (en) * 2018-03-12 2020-09-08 Amazon Technologies, Inc. Memory access for multiple circuit components
JP7240657B2 (ja) * 2018-05-15 2023-03-16 Ｔｏｋｙｏ Ａｒｔｉｓａｎ Ｉｎｔｅｌｌｉｇｅｎｃｅ株式会社 ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886973B2 (en) 2022-05-30 2024-01-30 Deepx Co., Ltd. Neural processing unit including variable internal memory

Also Published As

Publication number Publication date
US11829862B2 (en) 2023-11-28
US20210174177A1 (en) 2021-06-10
US20240046082A1 (en) 2024-02-08
CN113033790A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
KR102601604B1 (ko) 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
KR102526650B1 (ko) 뉴럴 네트워크에서 데이터를 양자화하는 방법 및 장치
KR20210072524A (ko) 뉴럴 네트워크 장치 및 그 동작 방법
US20220261615A1 (en) Neural network devices and methods of operating the same
EP3664093B1 (en) Semiconductor memory device employing processing in memory (pim) and method of operating the semiconductor memory device
JP7329455B2 (ja) ニューラルネットワーク量子化のための方法及び装置
US11600340B2 (en) Semiconductor memory device employing processing in memory (PIM) and operation method of the semiconductor memory device
KR20190125141A (ko) 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
KR102390379B1 (ko) 뉴럴 네트워크 프로세서, 뉴럴 네트워크 프로세서의 동작 방법, 및 뉴럴 네트워크 장치
KR20210083935A (ko) 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
US11501166B2 (en) Method and apparatus with neural network operation
KR20220010362A (ko) 뉴럴 네트워크 장치 및 그의 동작 방법
CN110443347B (zh) 神经网络方法和装置
KR20210121946A (ko) 뉴럴 네트워크 양자화를 위한 방법 및 장치
KR20210053791A (ko) 뉴럴 네트워크의 데이터를 처리하는 방법 및 장치
KR102581471B1 (ko) 분류를 위한 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치
US11823029B2 (en) Method and apparatus with neural network processing
KR20210073300A (ko) 뉴럴 네트워크 장치, 이의 동작 방법 및, 이를 포함하는 뉴럴 네트워크 시스템
KR20200139071A (ko) 뉴럴 네트워크에서 파라미터를 양자화하는 방법 및 장치
KR20240025827A (ko) Imc(in memory computing) 프로세서 및 imc 프로세서의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination