KR20230096657A - Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법 - Google Patents

Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법 Download PDF

Info

Publication number
KR20230096657A
KR20230096657A KR1020210186363A KR20210186363A KR20230096657A KR 20230096657 A KR20230096657 A KR 20230096657A KR 1020210186363 A KR1020210186363 A KR 1020210186363A KR 20210186363 A KR20210186363 A KR 20210186363A KR 20230096657 A KR20230096657 A KR 20230096657A
Authority
KR
South Korea
Prior art keywords
snn
cnn
accumulator
processing
data
Prior art date
Application number
KR1020210186363A
Other languages
English (en)
Inventor
홍윤표
김희탁
황태호
전석훈
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210186363A priority Critical patent/KR20230096657A/ko
Priority to PCT/KR2021/019861 priority patent/WO2023120788A1/ko
Publication of KR20230096657A publication Critical patent/KR20230096657A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)

Abstract

SNN/CNN 동시 구동이 가능한 데이터 처리 시스템이 제공된다. 상기 시스템은 복수의 채널에서 입력되는 입력 데이터에 대하여 설정된 가중치를 기반으로 컨볼루션 연산을 수행하는 복수의 처리 소자, 및 상기 복수의 처리 소자로부터의 연산 결과를 누적하는 합산기 및 복수의 CNN 기반의 활성화 함수 모듈 및 복수의 SNN 뉴런 모듈을 기반으로 상기 합산기의 누적된 데이터를 처리하는 누적기를 포함한다.

Description

SNN/CNN 동시 구동이 가능한 데이터 처리 시스템 및 방법{SYSTEM AND METHOD FOR DATA PROCESSING CAPABLE OF SIMULTANEOUS OPERATION OF SNN/CNN}
본 발명은 SNN/CNN 동시 구동이 가능한 데이터 처리 시스템 및 방법에 관한 것이다.
현재 인공지능에서 가장 많이 사용하는 기술인 CNN(Convolutional Neural Network)은 학습을 위해 많은 샘플이 필요하고, 높은 정확도를 이루어 내기 위해 많은 수의 파라미터를 사용하므로 소모되는 에너지 역시 상당하다.
이를 해결하기 위해 파라미터의 수를 줄이려는 다양한 방법이 CNN 분야에서 연구되고 있지만, 한편으로는 이러한 한계를 뛰어 넘기 위해 다음 세대의 인공지능을 찾는 연구도 활발히 진행되고 있다.
이러한 연구를 통해 나온 여러 후보군 중 차세대 인공지능으로 각광받는 기술이 SNN(Spiking Neural Network)이다. SNN은 인간의 뇌에서는 학습을 위해 CNN처럼 많은 샘플이 필요하지 않고 에너지도 훨씬 적게 소모한다는 점에 착안하여, 인간의 뇌를 조금 더 정밀하게 모사하면 CNN의 한계점을 뛰어넘을 것이 기대되어 연구가 활발히 진행되고 있다.
하지만, SNN의 하드웨어 구현 분야에서는 기존 CNN의 구조를 사용할 수 없어 새로운 구조의 제안이 필요하며, 기존 SNN의 하드웨어 구현에서는 큰 네트워크 구조보다는 SNN의 뉴런 구조에 초점이 맞춰져 개발이 진행 중이다. 또한, SNN의 Data간 Dependency가 CNN과 다르기 때문에 기존의 CNN 하드웨어를 그대로 SNN에서 사용할 수 없는 실정이다.
공개특허공보 제10-2020-0098308호 (2020.08.20)
본 발명의 실시예는 차세대 인공지능인 SNN의 하드웨어 구조에 관한 것으로, CNN과 SNN을 하나의 누적기로 동시 구동을 가능하게 하는 SNN/CNN 동시 구동이 가능한 데이터 처리 시스템 및 방법에 관한 것이다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면에 따른 SNN/CNN 동시 구동이 가능한 데이터 처리 시스템은 복수의 채널에서 입력되는 입력 데이터에 대하여 설정된 가중치를 기반으로 컨볼루션 연산을 수행하는 복수의 처리 소자, 상기 복수의 처리 소자로부터의 연산 결과를 누적하는 합산기 및 복수의 CNN 기반의 활성화 함수 모듈 및 복수의 SNN 뉴런 모듈을 기반으로 상기 합산기의 누적된 데이터를 처리하는 누적기를 포함한다.
본 발명의 일부 실시예에서, 상기 누적기는 상기 복수의 처리 소자 중 제1 처리 소자에서의 입력 데이터의 제1 픽셀과 상기 가중치로 설정된 커널의 제1 픽셀 간의 제1 연산 처리 결과를 수신하여 저장하고, 상기 제1 처리 소자에서의 입력 데이터의 제2 픽셀과 상기 가중치로 설정된 커널의 제2 픽셀 간의 제2 연산 처리 결과를 수신함에 따라, 상기 제1 및 제2 연산 처리 결과를 누적하여 저장할 수 있다.
본 발명의 일부 실시예에서, 상기 누적기는 제1 연산 처리 결과를 수신하는 경우 이전 시간 도메인에서의 멤브레인 에너지 값을 독출하여 상기 제1 연산 처리 결과와 누적하여 저장할 수 있다.
본 발명의 일부 실시예에서, 상기 누적기는 상기 복수의 처리 소자 중 제1 처리 소자의 제1 연산 결과를 저장하고, 제2 처리 소자의 제2 연산 결과를 수신하면 상기 제1 연산 결과를 독출하여 상기 제2 연산 결과와 누적한 후 저장할 수 있다.
본 발명의 일부 실시예에서, 상기 누적기는 제1 연산 결과를 수신하는 경우 이전 시간 도메인에서의 멤브레인 에너지 값을 독출하여 상기 제1 연산 결과와 누적하여 저장할 수 있다.
본 발명의 일부 실시예에서, 상기 합산기는 상기 복수의 처리 소자의 수보다 적은 개수를 구비할 수 있다.
본 발명의 일부 실시예에서, 상기 누적기는 병렬 배치된 상기 복수의 CNN 기반의 활성화 함수 모듈 및 복수의 SNN 뉴런 모듈을 기반으로 상기 합산기의 누적된 데이터를 처리할 수 있다.
또한, 본 발명의 제2 측면에 따른 SNN/CNN 동시 구동이 가능한 데이터 처리 시스템에서 수행되는 방법은 복수의 처리 소자에서, 복수의 채널에서 입력되는 입력 데이터에 대하여 설정된 가중치를 기반으로 컨볼루션 연산을 수행하는 단계; 누적기에서, 합산기를 통해 상기 복수의 처리 소자로부터의 연산 결과를 누적하는 단계; 및 상기 누적기에서, 병렬 배치된 복수의 CNN 기반의 활성화 함수 모듈 및 복수의 SNN 뉴런 모듈을 기반으로 상기 합산기의 누적된 데이터를 처리하는 단계를 포함한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
전술한 본 발명의 일 실시예에 의하면, SNN과 CNN 네트워크를 모두 구동시킬 수 있는 누적기 구조를 제공할 수 있으며, 이에 따라 두 기술이 혼용되는 시기에 하나의 HW IP만 탑재하면 두 기술을 모두 사용할 수 있기 때문에 하드웨어 면적을 줄일 수 있는 장점이 있다.
또한, CNN의 컨볼루션 연산에서 성능이 입증된 하드웨어 구조를 SNN에서도 적용 가능하도록 하여, SNN에서도 효율적인 시스템으로 컨볼루션 연산이 수행 가능하다.
이와 더불어, CNN 활성화 함수와 SNN 뉴런 모듈을 병렬로 배치시켜 추가적인 활성화 함수 모듈이나 뉴런 모듈을 용이하게 탑재할 수 있는 장점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래 기술에 따른 처리 소자 및 누적기를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 SNN/CNN 동시 구동이 가능한 데이터 처리 시스템을 설명하기 위한 도면이다.
도 3은 종래기술 및 본 발명에 따른 데이터 처리 시스템에서의 연산 처리 과정을 설명하기 위한 도면이다.
도 4는 SNN/CNN 동시 구동이 가능한 데이터 처리 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다.
도 1은 종래 기술에 따른 처리 소자 및 누적기를 설명하기 위한 도면이다.
종래 기술에서의 CNN 누적기 구조는 가중치와 여러 채널에서의 입력 데이터를 곱하는 연산(Multiply)과, 해당 값들을 누적하는 연산(Accumulate)이 하나의 MAC(Multiply and Accumulate) 모듈로 구현되었다.
이때, 종래 기술에 따른 CNN 누적기는 누적된 값이 재사용되는 일이 없기 때문에 누적기가 가중치와 입력 데이터를 곱하는 처리 소자와 결합된 형태로 구현된다.
이러한 구조로 인해, SNN의 멤브레인 에너지(Membrane Energy)는 이전 시간 도메인에서의 멤브레인 에너지와 의존성(dependency)이 있어, 기존 CNN 누적기의 구조로는 SNN을 동작시킬 수 없는 문제가 있다. 아래 식 1은 CNN 누적기의 연산 식을 나타내고, 식 2는 SNN의 멤브레인 에너지를 산출하는 식을 나타내고, 식 3은 SNN의 스파이크(Spike)를 산출하는 식을 나타낸다. 이때,
Figure pat00001
는 가중치,
Figure pat00002
는 이전 레이어에서 현재 뉴런으로 오는 입력 값을 의미하며,
Figure pat00003
는 결과값을 의미한다. 또한,
Figure pat00004
는 t-1 시간에서의 멤브레인 에너지를 의미하고,
Figure pat00005
는 Step Function을 의미한다.
이때, CNN의 입력 및 출력은 [채널*Height*Width]의 3차원 데이터인 반면, SNN의 입력 및 출력은 [시간*채널*Height*Width]의 4차원 데이터이며, 이때 시간축을 제외하면 컨볼루션 연산은 CNN과 동일하다. SNN은 시간축으로 증가할 때 이전 시간의 데이터인 멤브레인 에너지를 사용한다.
[식 1]
Figure pat00006
[식 2]
Figure pat00007
[식 3]
Figure pat00008
한편, SNN의 경우 하드웨어에 대한 연구는 많은 연산이 필요한 컨볼루션에 특화되지 않고 뉴런 모듈의 효율적인 구현에 집중되어 왔다. 이에 따라, SNN과 CNN에서 모두 사용할 수 있는 하드웨어 구조는 부재한 실정이다.
이러한 문제를 해소하기 위해 본 발명의 일 실시예는 CNN과 SNN을 하나의 누적기로 동시 구동을 가능하게 하는 구조를 제공하는 것을 특징으로 한다.
도 2는 본 발명의 일 실시예에 따른 SNN/CNN 동시 구동이 가능한 데이터 처리 시스템(100)을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 데이터 처리 시스템(100)은 복수의 처리 소자(110, Processing Element: PE)와 누적기(120)를 포함한다.
복수의 처리 소자(110)는 복수의 채널에서 입력되는 입력 데이터(입력 맵)에 대하여 설정된 가중치(커널)를 기반으로 컨볼루션 연산을 수행한다.
누적기(120)는 복수의 처리 소자(110)로부터의 연산 결과를 누적하는 합산기와, 복수의 CNN 기반의 활성화 함수 모듈 및 복수의 SNN 뉴런 모듈을 기반으로 합산기의 누적된 데이터를 처리한다.
이러한 본 발명의 일 실시예는 종래 기술의 하드웨어 구조를, SNN의 시간(time) 간 의존성을 위해 누적기를 처리 소자와 분리함으로써 SNN 연산에서도 활용할 수 있는 하드웨어 구조로 변경하였다.
일 실시예로, 누적기(120)에 구비된 합산기는 처리 소자(110)별로 하나씩 존재하지 않고, 복수의 처리 소자(110)의 수보다 적은 개수를 구비하는 것을 특징으로 한다. 즉, 합산기는 시간 공유(Time Sharing)를 통해 처리 소자보다 더 적은 개수가 구비된다.
일 실시예로, 누적기(120)에 구비되는 복수의 CNN 기반의 활성화 함수 모듈과, 복수의 SNN 뉴런 모듈은 병렬 배치되는 것을 특징으로 한다. 즉, 복수의 CNN 기반의 활성화 함수 모듈과 복수의 SNN 뉴런 모듈을 누적기 내에 병렬 배치함으로써, 공통으로 사용하는 모듈들을 최대한 공유할 수 있으며, 또한 새로운 뉴런 모듈이나 활성화 함수가 개발되어도 구조 변경 없이 병렬로 새로운 모델이나 함수를 연결할 수 있는 구조를 갖는 것을 특징으로 한다.
이하, 도 3을 참조하여 본 발명에 따른 데이터 처리 시스템(100)에서 수행되는 연산 방법에 대해 설명하도록 한다.
도 3은 종래기술 및 본 발명에 따른 데이터 처리 시스템에서의 연산 처리 과정을 설명하기 위한 도면이다.
도 3은 5x5의 입력(input feature map)과 3x3의 커널(weight)을 이용하여 3x3의 출력 매트릭스를 구성하는 예로서, 3x3 출력 매트릭스 값 중 하나를 산출하는 과정을 설명하기 위한 것이다.
먼저 종래 기술의 경우, 처리 소자 1(PE1)에 입력 맵의 첫번째 행(1, 2, 3, 4, 5)와 커널의 첫번째 행(1, 0, 1)이 입력되면, 입력 맵의 1번 픽셀(1)과 커널의 1번 픽셀(1)을 곱셈 연산한다. 그 다음, 곱셈 연산 결과 값을 PSUM pad에 저장한다(1x1).
마찬가지로 입력 맵의 2번 픽셀(2)과 커널의 2번 픽셀(0)을 곱셈 연산하고, 곱셈 연산 결과 값을 PSUM pad에 누적 저장한다(1x1+2x0). 또한, 입력 맵의 3번 픽셀(3)과 커널의 3번 픽셀(1)을 곱셈 연산하고, 곱셈 연산 결과 값을 PSUM pad에 누적 저장한다(1x1+2x0+3x1).
처리소자 1(PE1)에 대한 연산이 완료되면, 처리소자 2(PE2)는 처리소자 1(PE1)에서 출력된 값(1x1+2x0+3x1=4)을 처리소자 2(PE2)의 PSUM pad에 저장한다. 그리고 입력 맵의 두번째 행(2, 1, 0, 1, 2)와 커널의 두번째 행(1, 0, 1)이 입력되면, 입력 맵의 1번 픽셀(2)과 커널의 1번 픽셀(1)을 곱셈 연산하고, 곱셈 연산 결과 값을 PSUM pad에 저장한다(4+2x1).
마찬가지로 입력 맵의 2번 픽셀(1)과 커널의 2번 픽셀(0)을 곱셈 연산하고, 곱셈 연산 결과 값을 PSUM pad에 누적 저장한다(4+2x1+1x0). 또한, 입력 맵의 3번 픽셀(0)과 커널의 3번 픽셀(1)을 곱셈 연산하고, 곱셈 연산 결과 값을 PSUM pad에 누적 저장한다(4+2x1+1x0+0x1).
처리소자 3(PE3)도 전술한 바와 같은 연산 및 처리과정이 수행되며, 이에 따라 처리소자 3(PE3)의 출력값(6)을 BUS로 보내 출력 특징 맵을 출력한다.
이와 달리, 본 발명의 일 실시예의 경우, 누적기는 복수의 처리 소자 중 제1 처리 소자에서의 입력 데이터의 제1 픽셀과 가중치로 설정된 커널의 제1 픽셀 간의 제1 연산 처리 결과를 수신하여 저장한다.
그 다음, 누적기는 제1 처리 소자에서의 입력 데이터의 제2 픽셀과 가중치로 설정된 커널의 제2 픽셀 간의 제2 연산 처리 결과를 수신하면, 제1 및 제2 연산 처리 결과를 누적하여 저장한다.
또한, 본 발명의 일 실시예에서, 누적기는 복수의 처리 소자 중 제1 처리 소자의 제1 연산 결과를 저장하고, 제2 처리 소자의 제2 연산 결과를 수신하면 제1 연산 결과를 독출하여 제2 연산 결과와 누적한 후 저장한다. 이때, 누적기는 제1 연산 결과를 수신하는 경우 이전 도메인에서의 멤브레인 에너지 값을 독출하여 제1 연산 결과와 누적하여 저장한다.
도 3의 예시를 참조하면, CNN의 연산의 경우 제1 처리 소자(PE1)에 입력 맵의 첫번째 행(1, 2, 3, 4, 5)와 커널의 첫번째 행(1, 0, 1)이 입력되면, 입력 맵의 1번 픽셀(1)과 커널의 1번 픽셀(1)을 곱셈 연산한다. 그 다음, 곱셈 연산 결과 값을 누적기로 이동시켜 누적기의 SRAM for Psum에 저장한다(1x1).
마찬가지로 입력 맵의 2번 픽셀(1)과 커널의 2번 픽셀(0)을 곱셈 연산하고, 곱셈 연산 결과 값을 누적기로 이동시키고, 이전 저장한 값을 누적기의 SRAM for Psum에서 독출한 후, 누적 저장한다(1x1+2x0). 또한, 입력 맵의 3번 픽셀(0)과 커널의 3번 픽셀(1)을 곱셈 연산하고, 곱셈 연산 결과 값을 누적기로 이동시키고, 이전 저장한 값을 누적기의 SRAM for Psum에서 독출한 후, 누적 저장한다 (1x1+2x0+3x1).
제1 처리 소자(PE1)에 대한 연산이 완료되고 난 후, 제2 처리소자(PE2)에 입력 맵의 두번째 행(2, 1, 0, 1, 2)와 커널의 두번째 행(1, 0, 1)이 입력되면, 입력 맵의 1번 픽셀(2)과 커널의 1번 픽셀(1)을 곱셈 연산하고, 곱셈 연산 결과 값을 누적기로 이동시켜 누적기의 SRAM for Psum에 저장한다(1x1+2x0+3x1+2x1).
PE1에서 수행된 과정은 PE2와 PE3에서도 동일하게 수행되며, 최종적으로 누적기의 SRAM for Psum에는 (1x1+2x0+3x1+2x1+1x0+0x1+3x0+0x1+1x0) 값이 누적 저장된다.
한편, 본 발명의 일 실시예는 CNN 연산과 함께 SNN 연산이 동시에 수행되는 것을 특징으로 한다. 이때, SNN 연산의 경우 이전 시간 도메인에서의 데이터를 입력으로 받는 부분을 제외하면 CNN 연산과 동일하다.
도 3의 예시에서 제1 처리 소자(PE1)에 입력 맵의 첫번째 행(1, 2, 3, 4, 5)와 커널의 첫번째 행(1, 0, 1)이 입력되면, 입력 맵의 1번 픽셀(1)과 커널의 1번 픽셀(1)을 곱셈 연산한다. 그 다음, 곱셈 연산 결과 값을 누적기로 이동시키고, 이전 시간 도메인에서의 데이터인 멤브레인 에너지 값을 누적기의 SRAM for Psum에서 독출하여 누적한 후 다시 SRAM for Psum에 저장한다(Prev's memb energy+1x1).
이처럼, 종래 기술의 경우 CNN 활성화 함수 모듈 또는 SNN 뉴런 모듈의 출력값을 동일 레이어에서 입력으로 다시 사용하지 않으나, 본 발명의 경우 이전 시간 도메인에서의 멤브레인 에너지 값을 동일 레이어에서 다시 입력으로 사용하고 있다는 점에서 종래 기술과 차이가 있다.
참고로, 본 발명의 실시예에 따른 도 2 및 도 3에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 4를 참조하여 본 발명의 일 실시예에 따른 SNN/CNN 동시 구동이 가능한 데이터 처리 시스템에서 수행되는 방법에 대해 설명하도록 한다.
도 4는 SNN/CNN 동시 구동이 가능한 데이터 처리 방법의 순서도이다.
먼저, 복수의 처리 소자에서, 복수의 채널에서 입력되는 입력 데이터에 대하여 설정된 가중치를 기반으로 컨볼루션 연산을 수행한다(S110).
다음으로 누적기에서, 합산기를 통해 상기 복수의 처리 소자로부터의 연산 결과를 누적한다(S120).
다음으로 누적기에서, 병렬 배치된 복수의 CNN 기반의 활성화 함수 모듈 및 복수의 SNN 뉴런 모듈을 기반으로 상기 합산기의 누적된 데이터를 처리한다(S130).
한편, 상술한 설명에서, 단계 S110 내지 S130은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 2 내지 도 3의 내용은 도 4의 SNN/CNN 동시 구동이 가능한 데이터 처리 방법의 내용에도 적용될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 SNN/CNN 동시 구동이 가능한 데이터 처리 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100: 데이터 처리 시스템
110: 처리 소자
120: 누적기

Claims (8)


  1. 복수의 채널에서 입력되는 입력 데이터에 대하여 설정된 가중치를 기반으로 컨볼루션 연산을 수행하는 복수의 처리 소자,
    상기 복수의 처리 소자로부터의 연산 결과를 누적하는 합산기 및 복수의 CNN 기반의 활성화 함수 모듈 및 복수의 SNN 뉴런 모듈을 기반으로 상기 합산기의 누적된 데이터를 처리하는 누적기를 포함하는,
    SNN/CNN 동시 구동이 가능한 데이터 처리 시스템.
  2. 제1항에 있어서,
    상기 누적기는 상기 복수의 처리 소자 중 제1 처리 소자에서의 입력 데이터의 제1 픽셀과 상기 가중치로 설정된 커널의 제1 픽셀 간의 제1 연산 처리 결과를 수신하여 저장하고,
    상기 제1 처리 소자에서의 입력 데이터의 제2 픽셀과 상기 가중치로 설정된 커널의 제2 픽셀 간의 제2 연산 처리 결과를 수신함에 따라, 상기 제1 및 제2 연산 처리 결과를 누적하여 저장하는 것인,
    SNN/CNN 동시 구동이 가능한 데이터 처리 시스템.
  3. 제2항에 있어서,
    상기 누적기는 제1 연산 처리 결과를 수신하는 경우 이전 시간 도메인에서의 멤브레인 에너지 값을 독출하여 상기 제1 연산 처리 결과와 누적하여 저장하는 것인,
    SNN/CNN 동시 구동이 가능한 데이터 처리 시스템.
  4. 제1항에 있어서,
    상기 누적기는 상기 복수의 처리 소자 중 제1 처리 소자의 제1 연산 결과를 저장하고, 제2 처리 소자의 제2 연산 결과를 수신하면 상기 제1 연산 결과를 독출하여 상기 제2 연산 결과와 누적한 후 저장하는 것인,
    SNN/CNN 동시 구동이 가능한 데이터 처리 시스템.
  5. 제4항에 있어서,
    상기 누적기는 제1 연산 결과를 수신하는 경우 이전 시간 도메인에서의 멤브레인 에너지 값을 독출하여 상기 제1 연산 결과와 누적하여 저장하는 것인,
    SNN/CNN 동시 구동이 가능한 데이터 처리 시스템.
  6. 제1항에 있어서,
    상기 합산기는 상기 복수의 처리 소자의 수보다 적은 개수를 구비하는 것을 특징으로 하는,
    SNN/CNN 동시 구동이 가능한 데이터 처리 시스템.
  7. 제1항에 있어서,
    상기 누적기는 병렬 배치된 상기 복수의 CNN 기반의 활성화 함수 모듈 및 복수의 SNN 뉴런 모듈을 기반으로 상기 합산기의 누적된 데이터를 처리하는 것인,
    SNN/CNN 동시 구동이 가능한 데이터 처리 시스템.
  8. SNN/CNN 동시 구동이 가능한 데이터 처리 시스템에서 수행되는 방법에 있어서,
    복수의 처리 소자에서, 복수의 채널에서 입력되는 입력 데이터에 대하여 설정된 가중치를 기반으로 컨볼루션 연산을 수행하는 단계;
    누적기에서, 합산기를 통해 상기 복수의 처리 소자로부터의 연산 결과를 누적하는 단계; 및
    상기 누적기에서, 병렬 배치된 복수의 CNN 기반의 활성화 함수 모듈 및 복수의 SNN 뉴런 모듈을 기반으로 상기 합산기의 누적된 데이터를 처리하는 단계를 포함하는,
    SNN/CNN 동시 구동이 가능한 데이터 처리 방법.
KR1020210186363A 2021-12-23 2021-12-23 Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법 KR20230096657A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210186363A KR20230096657A (ko) 2021-12-23 2021-12-23 Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법
PCT/KR2021/019861 WO2023120788A1 (ko) 2021-12-23 2021-12-24 Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210186363A KR20230096657A (ko) 2021-12-23 2021-12-23 Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230096657A true KR20230096657A (ko) 2023-06-30

Family

ID=86903033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210186363A KR20230096657A (ko) 2021-12-23 2021-12-23 Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20230096657A (ko)
WO (1) WO2023120788A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200098308A (ko) 2019-02-12 2020-08-20 서울대학교산학협력단 스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095966B (zh) * 2015-07-16 2018-08-21 北京灵汐科技有限公司 人工神经网络和脉冲神经网络的混合计算系统
CN109816026B (zh) * 2019-01-29 2021-09-10 清华大学 卷积神经网络和脉冲神经网络的融合装置及方法
CN110751067B (zh) * 2019-10-08 2022-07-26 艾特城信息科技有限公司 一种结合生物形态神经元模型的动态表情识别方法
CN113643725A (zh) * 2021-07-08 2021-11-12 河南工业大学 一种基于动态卷积神经网络及脉冲神经网络的语音情感识别模型

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200098308A (ko) 2019-02-12 2020-08-20 서울대학교산학협력단 스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치

Also Published As

Publication number Publication date
WO2023120788A1 (ko) 2023-06-29

Similar Documents

Publication Publication Date Title
EP3349153B1 (en) Convolutional neural network (cnn) processing method and apparatus
US10691996B2 (en) Hardware accelerator for compressed LSTM
CN109190756B (zh) 基于Winograd卷积的运算装置及包含该装置的神经网络处理器
US20180260710A1 (en) Calculating device and method for a sparsely connected artificial neural network
US20200151573A1 (en) Dynamic precision scaling at epoch granularity in neural networks
CN111105023B (zh) 数据流重构方法及可重构数据流处理器
CN111898733A (zh) 一种深度可分离卷积神经网络加速器架构
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN115186821A (zh) 面向芯粒的神经网络推理开销估计方法及装置、电子设备
JP2021507345A (ja) 畳み込みニューラル・ネットワークの完全なカーネルを近似するためのスパース・カーネルの融合
CN105677755A (zh) 一种处理图数据的方法及装置
KR20200132305A (ko) 전자 장치가 뉴럴 네트워크 내의 소정 레이어에서 컨볼루션 연산을 수행하는 방법 및 그 방법을 수행하는 전자 장치
CN112200310B (zh) 智能处理器、数据处理方法及存储介质
EP4033446A1 (en) Method and apparatus for image restoration
KR20230096657A (ko) Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법
CN112101538B (zh) 基于内存计算的图神经网络硬件计算系统及方法
CN111767204B (zh) 溢出风险检测方法、装置及设备
KR20220078819A (ko) 딥러닝 연산 수행 방법 및 장치
Feng et al. Accelerating CNN-RNN based machine health monitoring on FPGA
CN110689475A (zh) 一种图像数据处理方法、系统、电子设备及存储介质
CN111506522A (zh) 数据处理设备及方法
KR102424538B1 (ko) 영상 복원 방법 및 장치
Chen et al. Dandelion: Boosting dnn usability under dataset scarcity
TWI768497B (zh) 智慧處理器、資料處理方法及儲存介質
CN111767980B (zh) 模型优化方法、装置及设备