WO2023085443A1 - 딥러닝 경량 가속장치 - Google Patents

딥러닝 경량 가속장치 Download PDF

Info

Publication number
WO2023085443A1
WO2023085443A1 PCT/KR2021/016179 KR2021016179W WO2023085443A1 WO 2023085443 A1 WO2023085443 A1 WO 2023085443A1 KR 2021016179 W KR2021016179 W KR 2021016179W WO 2023085443 A1 WO2023085443 A1 WO 2023085443A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
memory
specific value
window
comparator
Prior art date
Application number
PCT/KR2021/016179
Other languages
English (en)
French (fr)
Inventor
이상설
장성준
성민용
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2023085443A1 publication Critical patent/WO2023085443A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C8/00—Arrangements for selecting an address in a digital store
    • G11C8/16—Multiple access memory array, e.g. addressing one storage element via at least two independent addressing line groups

Definitions

  • the present invention relates to image processing and system SoC (System on Chip) technology, and more particularly, to a hardware design technology that reduces hardware resources in performing calculations for deep learning calculation acceleration processing.
  • SoC System on Chip
  • Deep learning hardware accelerators aim to more quickly compute input data consisting of feature maps and convolution parameters (weights).
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a pooling apparatus and method capable of minimizing input and output of an internal memory in a deep learning accelerator.
  • a pooling device includes a line memory in which lines constituting input data are sequentially stored one by one; a comparator for selecting a specific value by comparing data where the window is located among data currently stored in the line memory with a previous specific value applied from the memory; and a memory in which a previous specific value, which is a specific value previously selected by the comparator, is stored.
  • a specific value may be a maximum value.
  • the size of the window may be NxN, and the stride of the window may be N.
  • the line memory may be a dual port memory.
  • a pooling device temporarily stores a specific value selected from a comparator, applies it to a memory, and outputs the selected specific value to the outside when a specific value is selected for all data within a window; a temporary buffer. can include more.
  • the previous data stored in the memory is It may further include a multiplexer for multiplexing so that a specific value is applied to the comparator.
  • a pooling method includes sequentially storing lines constituting input data one by one in a line memory; and selecting a specific value by comparing data where the window is located among data currently stored in the line memory with a previous specific value applied from the memory.
  • FIG. 1 is a diagram showing the structure of a deep learning accelerator to which the present invention can be applied;
  • 2 is a pooling device composed of N line memories
  • FIG. 3 is a diagram showing the configuration of a pulling device according to an embodiment of the present invention.
  • FIG. 4 is a diagram showing the configuration of a pulling device according to another embodiment of the present invention.
  • a pooling apparatus and method capable of minimizing input/output to an internal memory of a deep learning accelerator are proposed.
  • FIG. 1 is a diagram showing the structure of a deep learning accelerator to which the present invention can be applied.
  • the deep learning accelerator hardware structure that sequentially generates output data (output feature map)
  • the pooling operation is processed in the same pipeline as the PE operation (Conv). This is because the complexity of data input increases, but the output data can be reduced.
  • FIG. 2 shows a structure in which N line memories are configured for a N ⁇ N forward pooling operation and pooling operation processing is performed under the assumption that data is sequentially received from the deep learning accelerator shown in FIG. 1 .
  • N line memories are configured for a N ⁇ N forward pooling operation and pooling operation processing is performed under the assumption that data is sequentially received from the deep learning accelerator shown in FIG. 1 .
  • line memories since several line memories must be arranged, a lot of hardware resources are required.
  • the input of the comparator can be implemented in various ways as N ⁇ N.
  • a pooling device includes a line memory 110 , a comparator 120 and a line buffer SRAM (Static Random Access Memory) 130 .
  • the line memory 110 is a memory in which lines constituting input data are sequentially stored one by one.
  • Input data consists of an input feature map and a convolution parameter (Weight).
  • Input data is illustrated on the right side of FIG. 3 .
  • the line memory 110 first stores data #1, data #2, data #3, data #4, and data #5, and then data #6, data #7, and data #8, data #9, and data #10 are stored, ... , and finally data #21, data #22, data #23, data #24, and data #25 are stored.
  • the comparator 120 selects a maximum value by comparing two pieces of data at which a pulling window is located among data currently stored in the line memory 110 with a previous maximum value applied from the line buffer SRAM 130 to be described later.
  • the line buffer SRAM 130 is a memory in which a maximum value previously selected in the comparator 120 (previous maximum value) is stored.
  • the size of the pooling window is 2 ⁇ 2, but the size of the window in the line memory 110 becomes 2 ⁇ 1.
  • the stride of the pooling window is 2. That is, the interval between the current pooling window and the next pooling window is 2. Accordingly, in processing data #1, data #2, data #3, and data #4, the pooling windows do not overlap.
  • the stride of the pooling window is 2
  • the pooling windows do not overlap even when processing data #11, data #12, data #13, data #14, and data #15.
  • data scanning by a pooling window is performed pixel by pixel and line to frame in the same manner as general image processing.
  • pooling starts simultaneously with input and partial pooling results are stored in the line buffer SRAM (130) save to It becomes 50% of the existing line memory 110 for this purpose.
  • the comparator 120 when the pooling window is located between data #1 and data #2, the comparator 120 stores the maximum value of data #1 and data #2 in the line buffer SRAM 130, and the pooling window is set between data #3 and #2.
  • the comparator 120 stores the maximum value of data #3 and data #4 in the line buffer SRAM 130.
  • the comparator 120 compares data #6 and data #7 and the previous maximum value (the maximum value of data #1 and data #2) and outputs the maximum value. do.
  • the comparator 120 compares data #8 and data #9 and the previous maximum value (maximum value among data #3 and data #4) and outputs the maximum value. do.
  • the line memory 110 may be implemented with one unit, or may be implemented with a dual-port SRAM capable of simultaneous read/write for high-speed operation.
  • the pooling apparatus is applicable when the stride is equal to the size of the pooling window, that is, when the size of the window is N ⁇ N and the stride is N.
  • the pooling device includes a line memory 110, a comparator 120, a line buffer SRAM 130, a temporary buffer 140, and a multiplexer 150. It consists of
  • the comparator 120 receives data from the line memory 110 and receives 0 or the previous maximum value stored in the line buffer SRAM 130 through the multiplexer 150 and selects the maximum value.
  • the multiplexer 150 is controlled so that 0 is applied to the comparator 120 when the input data stored in the line memory 110 is the first line of the pooling window, and the input data stored in the line memory 110 is not the first line of the window. In this case, the previous maximum value stored in the line buffer SRAM 130 is controlled to be applied to the comparator 120 .
  • the temporary buffer 140 temporarily stores the maximum value selected by the comparator 120 and applies it to the line buffer SRAM 130. When the maximum value is selected for all data within the pooling window, it is output to the outside.
  • PE operation and pooling operation are processed simultaneously and in parallel, but data input and output in the internal memory are drastically reduced.
  • a pulling device for an accelerator was presented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Neurology (AREA)
  • Human Computer Interaction (AREA)
  • Memory System (AREA)

Abstract

딥러닝 경량 가속장치가 제공된다. 본 발명의 실시예에 따른 풀링 장치는, 입력 데이터를 구성하는 라인들이 하나씩 순차적으로 저장되는 라인 메모리, 라인 메모리에 현재 저장된 데이터들 중 윈도우가 위치한 데이터들과 메모리로부터 인가되는 이전 특정 값을 비교하여 특정 값을 선택하는 비교기 및 비교기에서 이전에 선택되었던 특정 값인 이전 특정 값이 저장되는 메모리를 포함한다. 이에 의해, 딥러닝 가속기에서 내부 메모리의 입출력을 최소화할 수 있어, 연산시간을 줄일 수 있고 하드웨어 리소스 사용량을 줄여 저전력 동작을 가능하게 한다.

Description

딥러닝 경량 가속장치
본 발명은 영상 처리 및 시스템 SoC(System on Chip) 기술에 관한 것으로, 더욱 상세하게는 딥러닝 연산 가속 처리를 위한 연산을 수행함에 있어 하드웨어 리소스를 경량화 하드웨어 설계 기술에 관한 것이다.
딥러닝 하드웨어 가속기는 피처 맵(feature map)과 컨볼루션 파라미터(Weight)로 구성되는 입력 데이터를 보다 빠르게 연산하는 것을 목표로 하고 있다.
외부 메모리 접근 시에는 물리적 제약사항인 외부 메모리 허용 Bandwidth를 넘어갈 수 없기 때문에, 데이터의 출력이 최소화 되면 많은 연산을 처리할 여유가 생긴다.
대부분의 딥러닝 하드웨어 가속기에서는 PE 연산(Conv)에 집중하고 있으나, 실제로 풀링(pooling) 연산에 많은 데이터 입출력을 필요로 하므로 총 연산가능성 대비 실제 연산시간은 더 많이 늘어나게 된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 딥러닝 가속기에서 내부 메모리의 입출력을 최소화할 수 있는 풀링 장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 풀링 장치는, 입력 데이터를 구성하는 라인들이 하나씩 순차적으로 저장되는 라인 메모리; 라인 메모리에 현재 저장된 데이터들 중 윈도우가 위치한 데이터들과 메모리로부터 인가되는 이전 특정 값을 비교하여, 특정 값을 선택하는 비교기; 및 비교기에서 이전에 선택되었던 특정 값인 이전 특정 값이 저장되는 메모리;를 포함한다.
특정 값은 최대 값일 수 있다. 윈도우의 사이즈는 N×N이고, 윈도우의 스트라이드(stride)는 N일 수 있다.
라인 메모리는 1개일 수 있다. 그리고, 라인 메모리는 듀얼 포트 메모리일 수 있다.
본 발명의 일 실시예에 따른 풀링 장치는, 비교기에서 선택된 특정 값을 임시 저장하며 메모리로 인가하고, 윈도우 내의 모든 데이터들에 대해 특정 값이 선택되면 선택된 특정 값을 외부로 출력하는 임시 버퍼;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 풀링 장치는, 라인 메모리에 저장된 입력 데이터가 윈도우의 첫 라인인 경우 0이 비교기에 인가되고, 라인 메모리에 저장된 입력 데이터가 윈도우의 첫 라인이 아닌 경우 메모리에 저장된 이전 특정 값이 비교기에 인가되도록, 멀티플렉싱하는 멀티플렉서;를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 풀링 방법은, 입력 데이터를 구성하는 라인들을 하나씩 순차적으로 라인 메모리에 저장하는 단계; 및 라인 메모리에 현재 저장된 데이터들 중 윈도우가 위치한 데이터들과 메모리로부터 인가되는 이전 특정 값을 비교하여, 특정 값을 선택하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 딥러닝 가속기에서 내부 메모리의 입출력을 최소화할 수 있어, 연산시간을 줄일 수 있고 하드웨어 리소스 사용량을 줄여 저전력 동작을 가능하게 한다.
도 1은 본 발명이 적용 가능한 딥러닝 가속기의 구조를 도시한 도면,
도 2는 N개의 라인 메모리들로 구성한 풀링 장치,
도 3은 본 발명의 일 실시예에 따른 풀링 장치의 구성을 도시한 도면, 그리고,
도 4는 본 발명의 다른 실시예에 따른 풀링 장치의 구성을 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 딥러닝 가속기의 내부 메모리 입출력을 최소화할 수 있는 풀링 장치 및 방법을 제시한다.
도 1은 본 발명이 적용 가능한 딥러닝 가속기의 구조를 도시한 도면이다. 출력 데이터(output feature map)을 순차적으로 생성하는 딥러닝 가속기 하드웨어 구조에서는 풀링(Pooling) 연산을 PE 연산(Conv)과 동일 파이프라인에서 처리한다. 데이터 입력에 복잡도가 증가하지만 출력 데이터를 줄여 줄수 있다는 장점 때문이다.
도 2는, 도 1에 도시된 딥러닝 가속기에서 순차적으로 데이터가 들어 온다는 가정 하에 N×N 정방향 풀링 연산을 위해 N개의 라인 메모리들을 구성하여 풀링 연산 처리를 하는 구조를 나타내었다. 하지만 여러 개의 라인 메모리들이 배치되어야 하므로, 하드웨어 리소스를 많이 필요로 한다.
또한, 비교기의 입력은 N×N으로 다양하게 구현할 수 있는데, 입력되는 데이터의 개수가 많을수록 Throughput은 상승하지만 critical path 및 비교기의 크기가 커지게 된다. 반대로 입력되는 데이터의 개수가 적을수록 하드웨어 사이즈는 작아지게 되지만 iteration을 돌기 때문에 latency가 증가하게 된다.
도 3은 본 발명의 일 실시예에 따른 풀링 장치의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 풀링 장치는, 도 3에 도시된 바와 같이, 라인 메모리(110), 비교기(120) 및 라인 버퍼 SRAM(Static Random Access Memory)(130)을 포함하여 구성된다.
라인 메모리(110)는 입력 데이터를 구성하는 라인들이 하나씩 순차적으로 저장되는 메모리이다. 입력 데이터는 입력 피처 맵(input feature map)과 컨볼루션 파라미터(Weight)로 구성된다.
도 3의 우측에 입력 데이터를 예시하였다. 도시된 입력 데이터의 경우, 라인 메모리(110)에는, 먼저, 데이터 #1, 데이터 #2, 데이터 #3, 데이터 #4, 데이터 #5가 저장되고, 다음, 데이터 #6, 데이터 #7, 데이터 #8, 데이터 #9, 데이터 #10이 저장되며, ... , 마지막으로 데이터 #21, 데이터 #22, 데이터 #23, 데이터 #24, 데이터 #25가 저장된다.
비교기(120)는 라인 메모리(110)에 현재 저장된 데이터들 중 풀링 윈도우가 위치한 2개의 데이터들과 후술할 라인 버퍼 SRAM(130)으로부터 인가되는 이전 최대 값을 비교하여 최대 값을 선택한다.
라인 버퍼 SRAM(130)은 비교기(120)에서 이전에 선택되었던 최대 값(이전 최대 값)이 저장되는 메모리이다.
원래 풀링 윈도우의 사이즈는 2×2이지만, 라인 메모리(110)에서 윈도우의 사이즈는 2×1이 된다.
한편, 풀링 윈도우의 스트라이드(stride)는 2이다. 즉, 현재 풀링 윈도우와 다음 풀링 윈도우의 간격은 2이다. 이에 따라, 데이터 #1, 데이터 #2, 데이터 #3, 데이터 #4를 처리함에 있어, 풀링 윈도우는 겹쳐지지 않는다.
또한, 풀링 윈도우의 스트라이드가 2이므로, 데이터 #11, 데이터 #12, 데이터 #13, 데이터 #14, 데이터 #15를 처리함에 있어사도, 풀링 윈도우는 겹쳐지지 않는다.
본 발명의 실시예에서, 풀링 윈도우에 의한 데이터 스캐닝은 일반적인 영상처리와 동일하게 픽셀 by 픽셀, 라인 to 프레임으로 진행된다. activation이 입력되면 풀링 윈도우 만큼 라인 데이터를 버퍼링 한 뒤에 데이터가 충분히 모이면 풀링을 시작하는 기존 방식과 달리, 본 발명의 실시예에서는 입력과 동시에 풀링을 시작하고 partial 풀링 결과를 라인 버퍼 SRAM(130)에 저장한다. 이를 위한 라인 메모리(110)의 기존 대비 50%가 된다.
도 3에서, 풀링 윈도우가 데이터 #1과 데이터 #2에 위치하면 비교기(120)는 데이터 #1과 데이터 #2 중 최대 값을 라인 버퍼 SRAM(130)에 저장하고, 풀링 윈도우가 데이터 #3과 데이터 #4에 위치하게 되면 비교기(120)는 데이터 #3과 데이터 #4 중 최대 값을 라인 버퍼 SRAM(130)에 저장한다.
다음 풀링 윈도우가 데이터 #6과 데이터 #7에 위치하면, 비교기(120)는 데이터 #6과 데이터 #7 및 이전 최대 값(데이터 #1과 데이터 #2 중 최대 값)을 비교하여 최대 값을 출력한다.
이후 풀링 윈도우가 데이터 #8과 데이터 #9에 위치하면, 비교기(120)는 데이터 #8과 데이터 #9 및 이전 최대 값(데이터 #3과 데이터 #4 중 최대 값)을 비교하여 최대 값을 출력한다.
라인 메모리(110)의 Read/Write 타이밍이 다르기 때문에 라인 메모리(110)는 1개로 구현할 수 있으며, 고속 동작을 위해 동시 Read/Write가 가능한 듀얼 포트 SRAM으로 구현할 수도 있다.
본 발명의 실시예에 따른 풀링 장치는 스트라이드가 풀링 윈도우 사이즈와 동일한 경우, 즉, 윈도우의 사이즈가 N×N 일 때 스트라이드가 N인 경우에 적용가능하다.
도 4는 본 발명의 다른 실시예에 따른 풀링 장치의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 풀링 장치는, 도 4에 도시된 바와 같이, 라인 메모리(110), 비교기(120), 라인 버퍼 SRAM(130), 임시 버퍼(140) 및 멀티플렉서(150)을 포함하여 구성된다.
비교기(120)는 라인 메모리(110)로부터 데이터를 입력받고 멀티플렉서(150)를 통해 0 또는 라인 버퍼 SRAM(130)에 저장된 이전 최대 값을 입력받아 최대 값을 선택한다.
멀티플렉서(150)는 라인 메모리(110)에 저장된 입력 데이터가 풀링 윈도우의 첫 라인인 경우 0이 비교기(120)에 인가되도록 제어되고, 라인 메모리(110)에 저장된 입력 데이터가 윈도우의 첫 라인이 아닌 경우 라인 버퍼 SRAM(130)에 저장된 이전 최대 값이 비교기(120)에 인가되도록 제어된다.
임시 버퍼(140)는 비교기(120)에서 선택된 최대 값을 임시 저장하며 라인 버퍼 SRAM(130)로 인가하는데, 풀링 윈도우 내의 모든 데이터들에 대해 최대 값이 선택되면 외부로 출력한다.
지금까지, 딥러닝 가속기를 위한 풀링 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는, 경량의 병렬 데이터 처리장치를 적용한 딥러닝 하드웨어 장치로써, PE 연산과 풀링 연산을 동시 병렬에 처리하되, 내부 메모리에서 데이터 입출력을 획기적으로 줄여 적은 리소스만으로 병렬 데이터 처리가 가능한 딥러닝 가속기용 풀링 장치를 제시하였다.
병렬 데이터 처리 및 필요에 따른 풀링 크기가 제어 가능한 하드웨어 구조로, 딥러닝 가속기에서 다양한 형태의 레이어 처리를 위해 내부 메모리 접근 패턴 변경을 적용한 가속 하드웨어 구조이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

  1. 입력 데이터를 구성하는 라인들이 하나씩 순차적으로 저장되는 라인 메모리;
    라인 메모리에 현재 저장된 데이터들 중 윈도우가 위치한 데이터들과 메모리로부터 인가되는 이전 특정 값을 비교하여, 특정 값을 선택하는 비교기; 및
    비교기에서 이전에 선택되었던 특정 값인 이전 특정 값이 저장되는 메모리;를 포함하는 것을 특징으로 하는 풀링 장치.
  2. 청구항 1에 있어서,
    특정 값은,
    최대 값인 것을 특징으로 하는 풀링 장치.
  3. 청구항 1에 있어서,
    윈도우의 사이즈는,
    N×N이고,
    윈도우의 스트라이드(stride)는,
    N인 것을 특징으로 하는 풀링 장치.
  4. 청구항 1에 있어서,
    라인 메모리는,
    1개인 것을 특징으로 하는 풀링 장치.
  5. 청구항 1에 있어서,
    라인 메모리는,
    듀얼 포트 메모리인 것을 특징으로 하는 풀링 장치.
  6. 청구항 1에 있어서,
    비교기에서 선택된 특정 값을 임시 저장하며 메모리로 인가하고, 윈도우 내의 모든 데이터들에 대해 특정 값이 선택되면 선택된 특정 값을 외부로 출력하는 임시 버퍼;를 더 포함하는 것을 특징으로 하는 풀링 장치.
  7. 청구항 6에 있어서,
    라인 메모리에 저장된 입력 데이터가 윈도우의 첫 라인인 경우 0이 비교기에 인가되고, 라인 메모리에 저장된 입력 데이터가 윈도우의 첫 라인이 아닌 경우 메모리에 저장된 이전 특정 값이 비교기에 인가되도록, 멀티플렉싱하는 멀티플렉서;를 더 포함하는 것을 특징으로 하는 풀링 장치.
  8. 입력 데이터를 구성하는 라인들을 하나씩 순차적으로 라인 메모리에 저장하는 단계; 및
    라인 메모리에 현재 저장된 데이터들 중 윈도우가 위치한 데이터들과 메모리로부터 인가되는 이전 특정 값을 비교하여, 특정 값을 선택하는 단계;를 포함하는 것을 특징으로 하는 풀링 방법.
PCT/KR2021/016179 2021-11-09 2021-11-09 딥러닝 경량 가속장치 WO2023085443A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0152668 2021-11-09
KR1020210152668A KR20230067029A (ko) 2021-11-09 2021-11-09 딥러닝 경량 가속장치

Publications (1)

Publication Number Publication Date
WO2023085443A1 true WO2023085443A1 (ko) 2023-05-19

Family

ID=86335938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016179 WO2023085443A1 (ko) 2021-11-09 2021-11-09 딥러닝 경량 가속장치

Country Status (2)

Country Link
KR (1) KR20230067029A (ko)
WO (1) WO2023085443A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200090023A1 (en) * 2018-09-14 2020-03-19 Huawei Technologies Co., Ltd. System and method for cascaded max pooling in neural networks
KR20200100812A (ko) * 2018-01-04 2020-08-26 테슬라, 인크. 하드웨어 기반 풀링을 위한 시스템 및 방법
KR20210036715A (ko) * 2019-09-26 2021-04-05 삼성전자주식회사 뉴럴 프로세싱 장치 및 뉴럴 프로세싱 장치에서 뉴럴 네트워크의 풀링을 처리하는 방법
KR20210065830A (ko) * 2019-11-27 2021-06-04 인텔 코포레이션 에너지 효율적인 컴퓨팅 니어 메모리 이진 신경망 회로들

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200100812A (ko) * 2018-01-04 2020-08-26 테슬라, 인크. 하드웨어 기반 풀링을 위한 시스템 및 방법
US20200090023A1 (en) * 2018-09-14 2020-03-19 Huawei Technologies Co., Ltd. System and method for cascaded max pooling in neural networks
KR20210036715A (ko) * 2019-09-26 2021-04-05 삼성전자주식회사 뉴럴 프로세싱 장치 및 뉴럴 프로세싱 장치에서 뉴럴 네트워크의 풀링을 처리하는 방법
KR20210065830A (ko) * 2019-11-27 2021-06-04 인텔 코포레이션 에너지 효율적인 컴퓨팅 니어 메모리 이진 신경망 회로들

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE EUNCHONG; LEE SANG-SEOL; SUNG MINYONG; JANG SUNG-JOON; CHOI BYOUNG-HO: "Mini Pool: Pooling hardware architecture using minimized local memory for CNN accelerators", 2021 36TH INTERNATIONAL TECHNICAL CONFERENCE ON CIRCUITS/SYSTEMS, COMPUTERS AND COMMUNICATIONS (ITC-CSCC), IEEE, 27 June 2021 (2021-06-27), pages 1 - 2, XP033958224, DOI: 10.1109/ITC-CSCC52171.2021.9501470 *

Also Published As

Publication number Publication date
KR20230067029A (ko) 2023-05-16

Similar Documents

Publication Publication Date Title
US4891787A (en) Parallel processing system with processor array having SIMD/MIMD instruction processing
US4873626A (en) Parallel processing system with processor array having memory system included in system memory
US5165023A (en) Parallel processing system with processor array and network communications system for transmitting messages of variable length
US7574573B2 (en) Reactive placement controller for interfacing with banked memory storage
US6587906B2 (en) Parallel multi-threaded processing
KR20060116729A (ko) 데이터 전송 장치, 데이터 전송 방법 및 프로그램
JPS6131502B2 (ko)
WO2014209045A1 (en) Method and apparatus for controlling memory operation
US11789865B2 (en) Semiconductor device
CN112905530A (zh) 片上架构、池化计算加速器阵列、单元以及控制方法
US11941528B2 (en) Neural network training in a distributed system
WO2023085443A1 (ko) 딥러닝 경량 가속장치
US10769004B2 (en) Processor circuit, information processing apparatus, and operation method of processor circuit
WO2020222379A1 (en) Performing an iterative bundle adjustment for an imaging device
US20200090046A1 (en) System and method for cascaded dynamic max pooling in neural networks
WO2023080291A1 (ko) 딥러닝 가속기를 위한 풀링 장치
WO2020116672A1 (ko) 딥러닝 하드웨어 가속장치
CN112348179B (zh) 一种高效的卷积神经网络运算指令集架构构建方法及装置、服务器
EP1570372B1 (en) A simd processor with multi-port memory unit
CN112639747A (zh) 处理器的寻址方法、处理器、可移动平台和电子设备
US20040183804A1 (en) Method for a display controller to access data stored in a system memory of a computer device
US7757048B2 (en) Data processor apparatus and memory interface
WO2021096053A1 (ko) 클라우드 기반 서버리스 플랫폼에서의 실시간성 서비스 제공 방법
WO2021049829A1 (ko) 인공 신경망 연산을 수행하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2017034200A1 (ko) 매니코어 플랫폼에서 코어에 프로세스를 할당하는 방법 및 코어 프로세스간 통신 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964153

Country of ref document: EP

Kind code of ref document: A1