WO2023080291A1

WO2023080291A1 - 딥러닝 가속기를 위한 풀링 장치

Info

Publication number: WO2023080291A1
Application number: PCT/KR2021/016092
Authority: WO
Inventors: 이상설; 박종희; 장성준; 이은총
Original assignee: 한국전자기술연구원
Priority date: 2021-11-08
Filing date: 2021-11-08
Publication date: 2023-05-11
Also published as: KR20230066697A

Abstract

딥러닝 가속기를 위한 풀링 장치가 제공된다. 본 발명의 실시예에 따른 풀링 장치는, 입력 데이터를 구성하는 라인들이 하나씩 순차적으로 저장되는 라인 메모리, 라인 메모리에 현재 저장된 데이터들 중 제1 윈도우가 위치한 데이터들을 비교하여 특정 값을 선택하는 제1 비교기, 제1 비교기에서 이전에 선택되었던 특정 값인 제1 이전 특정 값이 저장되는 메모리, 라인 메모리에 현재 저장된 데이터들 중 제1 윈도우가 위치한 데이터들과 메모리로부터 인가되는 제1 이전 특정 값을 비교하여, 특정 값을 선택하는 제3 비교기를 포함한다. 이에 의해, 딥러닝 가속기에서 내부 메모리의 입출력을 최소화할 수 있어, 연산시간을 줄일 수 있고 하드웨어 리소스 사용량을 줄여 저전력 동작을 가능하게 한다.

Description

딥러닝 가속기를 위한 풀링 장치

본 발명은 영상 처리 및 시스템 SoC(System on Chip) 기술에 관한 것으로, 더욱 상세하게는 딥러닝 연산 가속기에 적용 가능한 데이터 풀링(pooling) 장치에 관한 것이다.

딥러닝 하드웨어 가속기는 피처 맵(feature map)과 컨볼루션 파라미터(Weight)로 구성되는 입력 데이터를 보다 빠르게 연산하는 것을 목표로 하고 있다.

외부 메모리 접근 시에는 물리적 제약사항인 외부 메모리 허용 Bandwidth를 넘어갈 수 없기 때문에, 데이터의 출력이 최소화 되면 많은 연산을 처리할 여유가 생긴다.

대부분의 딥러닝 하드웨어 가속기에서는 PE 연산(Conv)에 집중하고 있으나, 실제로 풀링(pooling) 연산에 많은 데이터 입출력을 필요로 하므로 총 연산가능성 대비 실제 연산시간은 더 많이 늘어나게 된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 딥러닝 가속기에서 내부 메모리의 입출력을 최소화할 수 있는 풀링 장치 및 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 풀링 장치는, 입력 데이터를 구성하는 라인들이 하나씩 순차적으로 저장되는 라인 메모리; 라인 메모리에 현재 저장된 데이터들 중 제1 윈도우가 위치한 데이터들을 비교하여, 특정 값을 선택하는 제1 비교기; 제1 비교기에서 이전에 선택되었던 특정 값인 제1 이전 특정 값이 저장되는 메모리; 라인 메모리에 현재 저장된 데이터들 중 제1 윈도우가 위치한 데이터들과 메모리로부터 인가되는 제1 이전 특정 값을 비교하여, 특정 값을 선택하는 제3 비교기;를 포함한다.

본 발명의 일 실시예에 따른 풀링 장치는, 라인 메모리에 현재 저장된 데이터들 중 제2 윈도우가 위치한 데이터들을 비교하여, 특정 값을 선택하는 제2 비교기;를 더 포함하고, 메모리는, 제2 비교기에서 이전에 선택되었던 특정 값인 제2 이전 특정 값이 더 저장될 수 있다.

본 발명의 일 실시예에 따른 풀링 장치는, 라인 메모리에 현재 저장된 데이터들 중 제2 윈도우가 위치한 데이터들과 메모리로부터 인가되는 제2 이전 특정 값을 비교하여, 특정 값을 선택하는 제4 비교기;를 더 포함할 수 있다.

제1 윈도우와 제2 윈도우의 사이즈는, N×N이고, 제1 윈도우와 제2 윈도우의 스트라이드(stride)는, N/2 보다 클 수 있다.

특정 값은, 최대 값일 수 있다. 또한, 라인 메모리는, 1개일 수 있다. 그리고, 라인 메모리는, 듀얼 포트 메모리일 수 있다.

한편, 본 발명의 다른 실시예에 따른 풀링 방법은, 입력 데이터를 구성하는 라인들을 하나씩 순차적으로 라인 메모리에 저장하는 단계; 라인 메모리에 현재 저장된 데이터들 중 제1 윈도우가 위치한 데이터들을 비교하여, 특정 값을 선택하는 단계; 라인 메모리에 현재 저장된 데이터들 중 제1 윈도우가 위치한 데이터들과 이전에 선택되었던 특정 값인 제1 이전 특정 값을 비교하여, 특정 값을 선택하는 단계;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 딥러닝 가속기에서 내부 메모리의 입출력을 최소화할 수 있어, 연산시간을 줄일 수 있고 하드웨어 리소스 사용량을 줄여 저전력 동작을 가능하게 한다.

도 1은 본 발명이 적용 가능한 딥러닝 가속기의 구조를 도시한 도면,

도 2는 N개의 라인 메모리들로 구성한 풀링 장치,

도 3은 본 발명의 일 실시예에 따른 풀링 장치의 구성을 도시한 도면, 그리고,

도 4는 본 발명의 다른 실시예에 따른 풀링 장치의 구성을 도시한 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는 딥러닝 가속기의 내부 메모리 입출력을 최소화할 수 있는 풀링 장치 및 방법을 제시한다.

도 1은 본 발명이 적용 가능한 딥러닝 가속기의 구조를 도시한 도면이다. 출력 데이터(output feature map)을 순차적으로 생성하는 딥러닝 가속기 하드웨어 구조에서는 풀링(Pooling) 연산을 PE 연산(Conv)과 동일 파이프라인에서 처리한다. 데이터 입력에 복잡도가 증가하지만 출력 데이터를 줄여 줄수 있다는 장점 때문이다.

도 2는, 도 1에 도시된 딥러닝 가속기에서 순차적으로 데이터가 들어 온다는 가정 하에 N×N 정방향 풀링 연산을 위해 N개의 라인 메모리들을 구성하여 풀링 연산 처리를 하는 구조를 나타내었다. 하지만 여러 개의 라인 메모리들이 배치되어야 하므로, 하드웨어 리소스를 많이 필요로 한다.

또한, 비교기의 입력은 N×N으로 다양하게 구현할 수 있는데, 입력되는 데이터의 개수가 많을수록 Throughput은 상승하지만 critical path 및 비교기의 크기가 커지게 된다. 반대로 입력되는 데이터의 개수가 적을수록 하드웨어 사이즈는 작아지게 되지만 iteration을 돌기 때문에 latency가 증가하게 된다.

도 3은 본 발명의 일 실시예에 따른 풀링 장치의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 풀링 장치는, 도 3에 도시된 바와 같이, 라인 메모리(110), 비교기들(121,122,131,132) 및 라인 버퍼 SRAM(Static Random Access Memory)(140)을 포함하여 구성된다.

라인 메모리(110)는 입력 데이터를 구성하는 라인들이 하나씩 순차적으로 저장되는 메모리이다. 입력 데이터는 입력 피처 맵(input feature map)과 컨볼루션 파라미터(Weight)로 구성된다.

도 3의 좌측에 입력 데이터를 예시하였다. 도시된 입력 데이터의 경우, 라인 메모리(110)에는, 먼저, 데이터 #1, 데이터 #2, 데이터 #3, 데이터 #4, 데이터 #5가 저장되고, 다음, 데이터 #6, 데이터 #7, 데이터 #8, 데이터 #9, 데이터 #10이 저장되며, ... , 마지막으로 데이터 #21, 데이터 #22, 데이터 #23, 데이터 #24, 데이터 #25가 저장된다.

비교기 #0(121)은 라인 메모리(110)에 현재 저장된 데이터들 중 윈도우 #0이 위치한 3개의 데이터들을 비교하여 최대 값을 선택한다. 원래 윈도우 #0의 사이즈는 3×3이지만, 라인 메모리(110)에서 윈도우 #0의 사이즈는 3×1이 된다.

비교기 #1(131)은 라인 메모리(110)에 현재 저장된 데이터들 중 윈도우 #1이 위치한 3개의 데이터들을 비교하여 최대 값을 선택한다. 원래 윈도우 #1의 사이즈는 3×3이지만, 라인 메모리(110)에서 윈도우 #0의 사이즈는 3×1이 된다.

한편, 윈도우의 스트라이드(stride)는 2이다. 즉, 윈도우 #0와 윈도우 #1의 간격은 2이다. 이에 따라, 데이터 #1, 데이터 #2, 데이터 #3, 데이터 #4, 데이터 #5를 처리함에 있어, 데이터 #3에서 윈도우 #0과 윈도우 #1이 겹쳐지게 되므로, 비교기 #0(121)과 비교기 #1(131)을 ping-pong 형태로 구성하여 partial pooling 결과를 얻도록 하였다.

라인 버퍼 SRAM(140)은 비교기 #0(121)에서 이전에 선택되었던 최대 값(이하, '이전 최대 값 #0'으로 표기)과 비교기 #1(131)에서 이전에 선택되었던 최대 값(이하, '이전 최대 값 #1'으로 표기)이 저장된다.

비교기 #2(122)는 라인 메모리(110)에 현재 저장된 데이터들 중 윈도우 #0이 위치한 3개의 데이터들과 라인 버퍼 SRAM(140)으로부터 인가되는 이전 최대 값 #0을 비교하여, 최대 값을 선택/출력한다.

비교기 #3(132)은 라인 메모리(110)에 현재 저장된 데이터들 중 윈도우 #1이 위치한 3개의 데이터들과 라인 버퍼 SRAM(140)으로부터 인가되는 이전 최대 값 #1을 비교하여, 최대 값을 선택/출력한다.

윈도우의 스트라이드가 2이므로, 데이터 #11, 데이터 #12, 데이터 #13, 데이터 #14, 데이터 #15를 처리함에 있어, 데이터 #11, 데이터 #12, 데이터 #14, 데이터 #15에서는 상/하에서 2개의 윈도우가 겹쳐지고, 데이터 #13에서는 상/하/좌/우에서 4개의 윈도우가 겹쳐지게 된다.

이를 위해, 비교기 #2(122)와 비교기 #3(132)을 더 구성하여 처리할 수 있도록 하였다.

비교기 #0(121)과 비교기 #1(131)은 partial pooling 결과가 생성되는 타이밍이 다르기 때문에, 라인 메모리(110)는 1개로 구현하여도 된다. 데이터 #11 부터 필요한 비교기 #2(122)와 비교기 #3(132)은 이전의 partial pooling 결과를 이용하여야 하므로, 라인 버퍼 SRAM(140)이 추가되어야 한다.

라인 메모리(110)의 Read/Write 타이밍이 다르기 때문에 라인 메모리(110)는 1개로 구현할 수 있으며, 고속 동작을 위해 동시 Read/Write가 가능한 듀얼 포트 SRAM으로 구현할 수도 있다.

본 발명의 실시예에 따른 풀링 장치는 스트라이드가 윈도우 사이즈의 절반 보다 큰 경우, 즉, 윈도우의 사이즈가 N×N 일 때 스트라이드가 N/2 보다 큰 경우에 적용가능하다.

물론 스트라이드 크기에 따라 윈도우 내에서 겹치는 activation의 개수가 1보다 큰 경우가 있을 수 있지만, 현재 대다수의 뉴럴 네트워크에서 사용하는 pooling은 본 발명의 실시예에 따른 풀링 장치로 처리 가능하다.

도 4는 본 발명의 다른 실시예에 따른 풀링 장치의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 풀링 장치는, 도 4에 도시된 바와 같이, 라인 메모리(110), 비교기-1(120), 비교기-2(130) 및 라인 버퍼 SRAM(140)을 포함하여 구성된다.

비교기-1(120)은 비교기 #0(121)과 비교기 #2(122)의 기능을 수행한다. 이를 위해 비교기-1(120)은 라인 메모리(110)로부터 데이터를 입력받고 멀티플렉서(151)를 통해 라인 버퍼 SRAM(140)에 저장된 이전 최대 값을 입력받는다.

비교기-2(130)는 비교기 #1(131)과 비교기 #3(132)의 기능을 수행한다. 이를 위해 비교기-2(130)는 라인 메모리(110)로부터 데이터를 입력받고 멀티플렉서(152)를 통해 라인 버퍼 SRAM(140)에 저장된 이전 최대 값을 입력받는다.

Tmp Pool(161,162)은 비교기-1(120)과 비교기-2(130)를 통해 선택된 최대 값들이 각각 저장되는 버퍼이다. Tmp Pool(161,162)에 저장되는 데이터들로부터 선택한 최대 값은 멀티플렉서(170)를 통해 번차례로 라인 버퍼 SRAM(140)에 저장되지만, 데이터들과 SRAM(140)에 저장된 이전 최대 값과 비교하여 선택된 최대 값은 디멀티플렉서(180)를 통해 번차례로 외부로 출력된다.

지금까지, 딥러닝 가속기를 위한 풀링 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.

위 실시예에서는, 경량의 병렬 데이터 처리장치를 적용한 딥러닝 하드웨어 장치로써, PE 연산과 풀링 연산을 동시 병렬에 처리하되, 내부 메모리에서 데이터 입출력을 획기적으로 줄여 적은 리소스만으로 병렬 데이터 처리가 가능한 딥러닝 가속기용 풀링 장치를 제시하였다.

가속기의 연산 출력 데이터를 최소한으로 줄일 수 있는 구조로, 스트라이드의 크기가 윈도우의 크기와 동일하지 않은 경우에도 처리가 가능하므로, 유연한 딥러닝 장치 및 다양한 네트워크 및 레이어에서도 적용 가능하다.

즉, 병렬 데이터 처리 및 필요에 따른 풀링 크기가 제어 가능한 하드웨어 구조로, 딥러닝 가속기에서 다양한 형태의 레이어 처리를 위해 내부 메모리 접근 패턴 변경을 적용한 가속 하드웨어 구조이다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

입력 데이터를 구성하는 라인들이 하나씩 순차적으로 저장되는 라인 메모리;

라인 메모리에 현재 저장된 데이터들 중 제1 윈도우가 위치한 데이터들을 비교하여, 특정 값을 선택하는 제1 비교기;

제1 비교기에서 이전에 선택되었던 특정 값인 제1 이전 특정 값이 저장되는 메모리;

라인 메모리에 현재 저장된 데이터들 중 제1 윈도우가 위치한 데이터들과 메모리로부터 인가되는 제1 이전 특정 값을 비교하여, 특정 값을 선택하는 제3 비교기;를 포함하는 것을 특징으로 하는 풀링 장치.
청구항 1에 있어서,

라인 메모리에 현재 저장된 데이터들 중 제2 윈도우가 위치한 데이터들을 비교하여, 특정 값을 선택하는 제2 비교기;를 더 포함하고,

메모리는,

제2 비교기에서 이전에 선택되었던 특정 값인 제2 이전 특정 값이 더 저장되는 것을 특징으로 하는 풀링 장치.
청구항 2에 있어서,

라인 메모리에 현재 저장된 데이터들 중 제2 윈도우가 위치한 데이터들과 메모리로부터 인가되는 제2 이전 특정 값을 비교하여, 특정 값을 선택하는 제4 비교기;를 더 포함하는 것을 특징으로 하는 풀링 장치.
청구항 3에 있어서,

제1 윈도우와 제2 윈도우의 사이즈는,

N×N이고,

제1 윈도우와 제2 윈도우의 스트라이드(stride)는,

N/2 보다 큰 것을 특징으로 하는 풀링 장치.
청구항 3에 있어서,

특정 값은,

최대 값인 것을 특징으로 하는 풀링 장치.
청구항 1에 있어서,

라인 메모리는,

1개인 것을 특징으로 하는 풀링 장치.
청구항 1에 있어서,

라인 메모리는,

듀얼 포트 메모리인 것을 특징으로 하는 풀링 장치.
입력 데이터를 구성하는 라인들을 하나씩 순차적으로 라인 메모리에 저장하는 단계;

라인 메모리에 현재 저장된 데이터들 중 제1 윈도우가 위치한 데이터들을 비교하여, 특정 값을 선택하는 단계;

라인 메모리에 현재 저장된 데이터들 중 제1 윈도우가 위치한 데이터들과 이전에 선택되었던 특정 값인 제1 이전 특정 값을 비교하여, 특정 값을 선택하는 단계;를 포함하는 것을 특징으로 하는 풀링 방법.