KR102402255B1 - 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법 - Google Patents

멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법 Download PDF

Info

Publication number
KR102402255B1
KR102402255B1 KR1020190080635A KR20190080635A KR102402255B1 KR 102402255 B1 KR102402255 B1 KR 102402255B1 KR 1020190080635 A KR1020190080635 A KR 1020190080635A KR 20190080635 A KR20190080635 A KR 20190080635A KR 102402255 B1 KR102402255 B1 KR 102402255B1
Authority
KR
South Korea
Prior art keywords
core
global
neuromorphic
address
neuron
Prior art date
Application number
KR1020190080635A
Other languages
English (en)
Other versions
KR20210004348A (ko
Inventor
코르니축 블라디미르
정두석
곽준영
김재욱
박종길
김인호
박종극
이수연
정연주
장준연
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020190080635A priority Critical patent/KR102402255B1/ko
Publication of KR20210004348A publication Critical patent/KR20210004348A/ko
Application granted granted Critical
Publication of KR102402255B1 publication Critical patent/KR102402255B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1078—Data input circuits, e.g. write amplifiers, data input buffers, data input registers, data input level conversion circuits
    • G11C7/1096—Write circuits, e.g. I/O line write drivers

Abstract

본 발명은 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법에 관한 것으로, 상기 멀티코어 뉴로모픽 장치는 출발지 뉴로모픽 코어, 코어 주소와 프리시냅틱 뉴런의 주소로 구성된 글로벌 뉴런의 주소를 순차적으로 처리하는 입력 FIFO 버퍼를 포함하는 목적지 뉴로모픽 코어 및 목적지 뉴로모픽 코어에 글로벌 뉴런의 주소를 제공하는 글로벌 라우터를 포함할 수 있으며, 이를 통해 재구성 가능한 신경망 아키텍쳐를 기초로 멀티 코어들이 병렬로 연결되어 뉴로모픽 클러스터를 형성함으로써 단일 코어에서 스파이크 라이팅 속도에 기인한 크기의 제한을 극복할 수 있는 효과를 제공한다.

Description

멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법{MULTI-CORE NEUROMODULE DEVICE AND GLOBAL ROUTING METHOD PERFORMED ON THE SAME}
본 발명은 멀티코어 뉴로모픽 기술에 관한 것으로, 보다 상세하게는 재구성 가능한 신경망 아키텍쳐를 기초로 멀티 코어들이 병렬로 연결되어 뉴로모픽 클러스터를 형성할 수 있는 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법에 관한 것이다.
딥러닝(deep learning) 기술은 고정밀 얼굴인식, 자동 이미지 색상화 및 게임 마스터링 등 다양한 작업에서 뛰어난 성공으로 인해 엄청난 관심을 모으고 있다. 이러한 성공은 심층 신경망에 주로 기인한다. 일반적으로, 그러한 네트워크들은 비록 텐서 프로세싱 유닛과 같은 애플리케이션에 특화된 집적회로에 의해 주로 전원이 공급되지만 사실상 범용 하드웨어 상에서 구축된다. 이러한 지속적인 성공에도 불구하고, 작업 복잡성과 관련하여 필요한 기계 성능의 천문학적인 예상치에 따라 회의적인 견해가 나타나고 있다. 이와 반대로, 인간의 뇌는 단지 약 15W를 소비하는 제한된 시냅스 연산들(약 1015 SynOP/s)에 의해 높은 복잡성의 작업을 수행할 수 있다.
뉴로모픽 엔지니어링(Neuromorphic engineering)은 인간의 두뇌와 같이 에너지 효율적인 방식으로 작업을 수행하는 기능을 실현하기 위해 실리콘 웨이퍼에 생물학적으로 그럴듯한 스파이크 신경망(SNN)을 구축하는 것을 목표로 하고 있다. 뉴로모픽 시스템은 시냅스를 통해 상호 연결되는 뉴런을 사용하여 구축될 수 있다. 뉴런과 시냅스의 구현은 다양하며, 표준 CMOS 기술에 기반한 아날로그 및/또는 디지털 집적 회로(IC)가 일반적이다.
한국공개특허 제10-2018-0093245(2018.08.21)호는 뉴로모픽 연산 장치에 관한 것으로, 아날로그 방식으로 처리된 연산의 결과를 디지털 값으로 변환하여 출력하는 뉴로모픽 연산 장치를 제공하는 기술을 개시하고 있다.
한국공개특허 제10-2019-0008670(2019.01.25)호는 뉴런회로 및 이를 포함하는 뉴로모픽 시스템에 관한 것으로, 비선형적 저항 특성을 가지는 시냅스 소자의 인식률 향상을 위한 뉴런회로를 제공하고, 뉴런회로를 포함하는 뉴로모픽 시스템을 제공하는 기술을 개시하고 있다.
한국공개특허 제10-2018-0093245(2018.08.21)호 한국공개특허 제10-2019-0008670(2019.01.25)호
본 발명의 일 실시예는 재구성 가능한 신경망 아키텍쳐를 기초로 멀티 코어들이 병렬로 연결되어 뉴로모픽 클러스터를 형성할 수 있는 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법을 제공하고자 한다.
본 발명의 일 실시예는 단일 코어에서 스파이크 라우팅 속도에 기인한 크기의 제한을 극복할 수 있는 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법을 제공하고자 한다.
실시예들 중에서, 멀티코어 뉴로모픽 장치는 출발지 뉴로모픽 코어, 코어 주소와 프리시냅틱 뉴런의 주소로 구성된 글로벌 뉴런의 주소를 순차적으로 처리하는 입력 FIFO 버퍼를 포함하는 목적지 뉴로모픽 코어 및 상기 출발지 뉴로모픽 코어로부터 수신되는 상기 글로벌 뉴런의 주소를 기초로 상기 목적지 뉴로모픽 코어를 결정하고 상기 목적지 뉴로모픽 코어에 상기 글로벌 뉴런의 주소를 제공하는 글로벌 라우터를 포함한다.
상기 출발지 뉴로모픽 코어는 상기 프리시냅틱 뉴런(즉, 스파이킹 뉴런)으로부터 상기 코어 주소와 함께 상기 프리시냅틱 뉴런의 주소를 생성하여 상기 글로벌 라우터를 통해 상기 목적지 뉴로모픽 코어에 제공할 수 있다.
상기 목적지 뉴로모픽 코어는 뉴런 블록에 있는 뉴런에서 생성된 로컬 뉴런의 주소를 수신하고 상기 로컬 뉴런의 주소를 상기 글로벌 라우터에 제공할 것인지를 판단하는 코어 출력부를 더 포함할 수 있다.
상기 목적지 뉴로모픽 코어는 상기 로컬 뉴런의 주소가 상기 글로벌 라우터에 제공되기 전에 출력 FIFO(First-In First-Out) 버퍼에 상기 로컬 뉴런의 주소를 저장할 수 있다.
상기 글로벌 라우터는 상기 코어 주소와 상기 프리시냅틱 뉴런의 주소가 수신되면 상기 목적지 뉴로모픽 코어에 있는 입력 FIFO 버퍼에 쓰기 신호를 제공할 수 있다.
상기 글로벌 라우터는 상기 쓰기 신호가 송신된 후에 상기 입력 FIFO 버퍼에 상기 코어 주소와 상기 프리시냅틱 뉴런의 주소를 송신하도록 딜레이 소자를 포함할 수 있다.
상기 글로벌 라우터는 상기 코어 주소와 상기 프리시냅틱 주소의 병합을 통해 상기 출발지 뉴로모픽 코어에 제공될 스파이크 처리 신호를 생성할 수 있다.
상기 글로벌 라우터는 상기 스파이크 처리 신호의 생성 후에 상기 쓰기 신호를 생성할 수 있다.
실시예들 중에서, 멀티코어 뉴로모픽 장치에서 수행되는 글로벌 라우팅 방법은 (a) 상기 출발지 뉴로모픽 코어에서, 상기 글로벌 라우터로 로컬 뉴런의 주소를 글로벌 라우터에 제공할 것인지 여부를 결정하는 단계; (b) 상기 글로벌 라우터에서, 상기 출발지 뉴로모픽 코어로부터 상기 로컬 뉴런의 주소를 글로벌 뉴런의 주소로서 수신하여 상기 목적지 뉴로모픽 코어를 결정하는 단계; (c) 상기 글로벌 라우터에서, 상기 목적지 뉴로모픽 코어에 상기 글로벌 뉴런의 주소를 제공하는 단계; 및 (d) 상기 목적지 뉴로모픽 코어에서, 상기 글로벌 뉴런의 주소를 순차적으로 처리하는 단계를 포함한다.
상기 (b) 단계는 각각이 독립적으로 형성되는 복수의 LUT들을 이용하여 상기 로컬 뉴런의 주소를 상기 글로벌 뉴런의 주소로 변환하는 단계를 포함할 수 있다.
상기 (b) 단계는 상기 로컬 뉴런의 주소를 기초로 상기 복수의 LUT들의 순차적인 인덱싱을 통해 상기 글로벌 뉴런의 주소를 결정하는 단계를 포함할 수 있다.
상기 (b) 단계는 상기 로컬 뉴런의 주소를 기초로 제1 LUT를 통해 글로벌 인덱스를 결정하고, 상기 글로벌 인덱스를 기초로 제2 LUT를 통해 대상 코어 인덱스를 결정하는 단계를 포함할 수 있다.
상기 (b) 단계는 상기 대상 코어 인덱스를 기초로 제3 LUT를 통해 상기 목적지 뉴로모픽 코어를 결정하는 단계를 더 포함할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법은 단일 코어에서 스파이크 라우팅 속도에 기인한 크기의 제한을 극복할 수 있다.
본 발명의 일 실시예에 따른 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법은 재구성 가능한 신경망 아키텍쳐를 기초로 멀티 코어들이 병렬로 연결되어 뉴로모픽 클러스터를 형성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 뉴로모픽 코어를 설명하는 도면이다.
도 2는 뉴런 및 시냅스로 구성된 네트워크의 일 실시예를 설명하는 도면이다.
도 3은 도 1의 토폴로지 블록에서 사용되는 LUT를 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 멀티코어 뉴로모픽 장치에서 사용하는 신호들을 설명하는 도면이다.
도 5는 RAM 기법 및 CAM 기법을 설명하는 도면이다.
도 6은 P-RAM 기법을 설명하는 도면이다.
도 7은 서로 다른 라우팅 기법들에 대해 최대 네트워크 크기에 관한 실험 결과를 설명하는 도면이다.
도 8은 3개의 코어로 구성된 네트워크 클러스터를 설명하는 도면이다.
도 9는 멀티코어 클러스터의 개념을 설명하는 도면이다.
도 10은 LUT들을 설명하는 도면이다.
도 11은 클러스터 크기에 대한 이론적인 실험 결과을 설명하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 멀티코어 뉴로모픽 장치를 설명하는 도면이다.
도 13은 도 12에 있는 목적지 뉴로모픽 코어를 설명하는 도면이다.
도 14는 도 12에 있는 글로벌 라우터를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
뉴로모픽(neuromorphic) 시스템은 시냅스를 통해 상호 연결되는 뉴런을 사용하여 구축될 수 있다. 뉴런과 시냅스의 구현은 다양하며, 표준 CMOS(complementary metal oxide semiconductor) 기술에 기반한 아날로그 및/또는 디지털 집적 회로(IC)가 일반적이다. 몇몇 새로운 접근들로는 상변화 메모리(phasechange memory), 자기 터널 접합(magnetic tunnel junctions), 휘발성 임계 스위치(volatile threshold switches) 및 플로팅 게이트 트랜지스터(floating-gate transistors) 등의 새로운 장치들을 이용하고 있다. 뉴런들 간의 이벤트 라우팅(event routing) 방법은 일반적으로 i)전용 라우팅 방식과 ii)LUT(lookup table) 기반 라우팅 방식으로 분류할 수 있다.
전용 라우팅 기법에서, 뉴런은 하드와이어(hardwires) 또는 인코더-디코더 쌍(encoder-decoder pairs)에 의해 직접 할당되는 시냅스 집합을 통해 연결될 수 있다. 이러한 방식은 세미 또는 완전 병렬(semi- or fully parallel) 이벤트 라우팅 프로토콜이 빠른 뉴런 및 시냅스 IC를 목표로 하지 않더라도 SNN의 실시간 연산을 지원할 수 있다는 장점을 가질 수 있다.
그러나, 제한적인 재구성 가능성(reconfigurability)은 N2 프로그램 가능한 시냅스들이 N개의 뉴런들에 대해 적용되지 않을 경우 단점으로 작용할 수 있다. 완전 연결 네트워크의 사용은 관심 네트워크에 따라 제한될 수 있고, 예를 들어, 피드백 연결을 갖는 보상 예측 네트워크는 특정한 고유 시냅스 경로를 보유하고, 학습은 그러한 경로를 따라 가중치를 변화시킬 수 있다. 따라서, N2 시냅스들의 오직 일부만이 이 경우에 사용될 수 있고 시냅스 중복(synapse redundancy) 문제에 노출될 수 있다.
LUT 기반 라우팅 기법은 연결을 물리적으로 구현하는 대신 LUT의 전체 뉴런의 연결들을 표로 작성하고 LUT에 따라 이벤트를 전송함으로써 이 문제를 해결할 수 있다. 즉, 시냅스 배열의 모든 시냅스들은 재구성 가능성을 최대한 활용하도록 해당 네트워크 아키텍처에 따라 임의의 쌍의 뉴런에 사용될 수 있다.
결과적으로, N2보다 훨씬 적은 수의 내장된 시냅스들로 재구성 가능성이 유지될 수 있다. 이 라우팅 기법은 단일 뉴로모픽 코어뿐만 아니라 SpiNNaker, TrueNorth, Neurogrid, HiAER, DYNAPs 및 Loihi와 같은 대규모 멀티코어 뉴로모픽 시스템에도 적용될 수 있다. 대부분의 이러한 예들은 각 스파이크에 방출 뉴런의 주소를 표시하고 순차 전송을 위해 스파이크를 큐에 넣는 AER (Address Event Representation) 프로토콜을 기반으로 한다.
AER 프로토콜은 표준 메모리 기술을 사용하여 쉽게 적용할 수 있지만 높은 클럭 속도를 필요로 한다. 더욱이, 대규모 뉴로모픽 시스템들은 종종 "추론"(온칩 학습은 포함되지 않음)에만 적합할 수 있다. 온칩 로컬 학습은 지역 정보에만 의존하는 로컬 학습 규칙에서 시냅스 가중치 업데이트를 기반으로 할 수 있고, 실시간 온칩 로컬 학습의 주된 어려움은 상당한 시간을 소비하여 실시간 학습을 방해하는 역-룩업 (inverse lookup)으로부터 발생할 수 있다.
도 1은 본 발명의 일 실시예에 따른 뉴로모픽 코어를 설명하는 도면이다.
도 1을 참조하면, 뉴로모픽 코어는 시냅스 블록, 뉴런 블록, 큐 레지스터 블록 및 토폴로지 블록을 포함할 수 있다.
뉴로모픽 코어는 재구성 가능한 스파이킹 신경망의 집적화를 위해 신경망 내 신호 전달을 위한 아키텍쳐에 해당할 수 있다. 또한, 뉴로모픽 코어(neuromorphic core)는 하나의 시스템으로 구현되어 동작할 수 있다.
뉴로모픽 코어에서 동작하는 스파이크(spike)의 신호 전달은 다음과 같이 동작할 수 있다. 스파이크가 발생한 뉴런의 주소(address)가 큐 레지스터(Queue register) 블록에 임시로 저장되어 핸드셰이킹 프로토콜(handshaking protocol)을 따라 토폴로지 블록의 허가(ACK)를 기다릴 수 있다. 토폴로지 블록의 허가와 동시에 뉴런의 주소가 토폴로지 블록으로 전달되어 모든 뉴런의 연결 정보를 기록하고 있는 룩업 테이블(LookUp Table, 이하 LUT)을 읽기 시작하며 이 뉴런과 연결을 하고 있는 모든 뉴런의 정보를 검색할 수 있다. 연결 관계에 있는 뉴런의 정보를 순차적으로 파악하여 즉시 해당 뉴런을 스파이크를 전달하며 이 때, 시냅스 블록에 해당 연결의 연결 가중치가 더해져 시냅스 후(postsynaptic) 뉴런으로 정보가 전달되며 이와 동시에 시냅스후 뉴런의 멤브레인 전위를 증가시킬 수 있다.
뉴로모픽 코어는 추론(inference) 뿐 아니라 온칩학습(on-chip learning)의 구현을 가능하게 하며, 시냅스의 연결 관계 및 시냅스 전/후(pre and postsynaptic) 뉴런의 스파이크 파이밍을 고려하여 온칩학습이 가능한 실시간 연결가중치 업데이트가 가능한 장점을 가질 수 있다.
시냅스 블록은 복수의 시냅스들로 구성된 시냅스 배열(array)을 포함할 수 있고, 복수의 시냅스들 각각은 시냅스 주소를 고유적으로 가질 수 있다. 즉, 시냅스 배열은 특정 시냅스를 나타내는 S_ADR 포인터로 지정될 수 있다.
뉴런 블록은 복수의 뉴런들로 구성된 뉴런 배열을 포함할 수 있고, 복수의 뉴런들 각각은 뉴런의 주소를 고유적으로 가질 수 있다. 즉, 뉴런 배열은 특정 뉴런을 나타내는 POST_ADR 포인터로 지정될 수 있다. 또한, 각 뉴런들은 외부에서 EXT_ADR 포인터를 통해 지정될 수 있고, EXT_SPIKE 신호에 의해 시뮬레이션될 수 있다.
큐 레지스터 블록은 스파이크의 순차적인 전송을 위하여 뉴런에서 발생한 스파이킹 시간 순서에 따라 뉴런의 주소를 저장하는 표준 FIFO(First In First Out) 버퍼에 해당할 수 있다. 특정 뉴런이 스파이크를 발생시킨 경우 해당 뉴런의 주소(N_ADR)가 전송되어 큐 레지스터 블록에 저장될 수 있다. 큐 레지스터 블록은 핸드셰이크 프로토콜을 통해 토폴로지 블록과 통신할 수 있다. 스파이크에 관한 이벤트를 수신한 경우, 큐 레지스터 블록은 큐(queue)로부터 이벤트를 제거하기 위하여 토폴로지 블록에게 라우팅 요청 신호(REQ)를 전송할 수 있고, 토폴로지 블록으로부터의 승인 신호(ACK)를 기다릴 수 있다.
토폴로지 블록은 이벤트 라우팅(routing) LUT(s)을 저장하는 메모리 배열에 해당할 수 있다. SRAM은 LUT 메모리로 사용되므로 클록 속도 범위(10 ~ 200 MHz)에서 단일 클록 사이클 내에서 읽을 수 있도록 충분히 빠를 수 있다. 일반적으로 사용되는 LUT은 2열 테이블이며 각 열의 길이는 해당 네트워크의 총 시냅스 수와 같을 수 있다. 큐 레지스터 블록으로부터 REQ를 수신한 경우 토폴로지 블록은 유휴(idle) 상태인 경우 ACK를 전송할 수 있고, N_ADR을 읽어 해당 뉴런과 관련된 팬인 및/또는 팬아웃 연결들을 LUT에서 탐색할 수 있다.
도 2는 뉴런 및 시냅스로 구성된 네트워크의 일 실시예를 설명하는 도면이다. 도 3은 도 1의 토폴로지 블록에서 사용되는 LUT를 설명하는 도면이다.
도 2를 참조하면, LUT는 시냅스 인덱스(또는 주소)에 따라 정렬될 수 있다. 도 2의 네트워크의 경우, 시냅스 73은 각각 1 및 2의 PRE_ADR 및 POST_ADR을 가질 수 있다. 따라서, 도 3에서, 네트워크의 LUT에는 각각 왼쪽과 오른쪽 열에 1과 2가 있는 73번째 행이 존재할 수 있다. 주어진 뉴런이 시냅스 후 뉴런(postsynaptic neuron, 이하 포스트시냅틱 뉴런)인 경우 해당 시냅스는 그 뉴런의 팬인(fan-in) 시냅스에 해당할 수 있다. 예를 들어, 도 2에서, 뉴런 2의 경우 시냅스 74와 75가 이에 해당할 수 있다. 주어진 뉴런이 시냅스 전 뉴런(presynaptic neuron, 이하 프리시냅틱 뉴런)인 시냅스는 팬아웃(fan-out) 시냅스에 해당할 수 있다. 예를 들어, 뉴런 2의 경우 시냅스 73 및 77이 이에 해당할 수 있다.
도 4는 본 발명의 일 실시예에 따른 멀티코어 뉴로모픽 장치에서 사용하는 신호들을 설명하는 도면이다.
도 4를 참조하면, 멀티코어 뉴로모픽 장치에서 사용되는 신호들의 표기를 구체적으로 확인할 수 있다. 대표적으로, N_ADR은 이벤트 주소(Event address)에 해당할 수 있고, POST_ADR은 포스트시냅틱 뉴런의 주소에 해당할 수 있으며, S_ADR은 시냅스 주소에 해당할 수 있다. 또한, S_W는 시냅스 가중치에 해당할 수 있다. PRE_ADR은 프리시냅틱 뉴런의 주소에 해당할 수 있고, S_UPD는 시냅스 갱신 신호에 해당할 수 있다. UPD_SEL은 S-ADR이 지정하는 시냅스가 팬인 시냅스인지 팬아웃 시냅스인지를 나타내는 신호에 해당할 수 있다.
도 5는 RAM 기법 및 CAM 기법을 설명하는 도면이다. 도 7은 서로 다른 라우팅 기법들에 대해 최대 네트워크 크기에 관한 실험 결과를 설명하는 도면이다.
LUT 탐색은 시간을 소비하는 동작에 해당할 수 있다. 즉, 네트워크를 구성하는 시냅스가 많을수록 더 큰 LUT가 필요하므로 더 많은 시간을 소비할 수 있다. 따라서, 이벤트가 큐 레지스터 블록에 쌓일수록 라우팅에서 지연이 발생할 가능성이 높아질 수 있다. 이를 방지하기 위해 총 이벤트 라우팅 시간(Tsrch + Tsend + Tupd)은 큐 레지스터 블록에 동일한 파이프 라인을 공유하는 모든 뉴런으로부터의 모든 스파이크에 대한 평균 ISI(Inter Spike Interval)보다 짧을 필요가 있다. 스파이크 전송이 푸아송(갱신) 과정을 따르는 푸아송(poisson) 뉴런을 가정하면, 이 상태는 다음의 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure 112019068655587-pat00001
여기에서, 1/aN은 푸아송 스파이크에 대한 평균 ISI이며, a와 N은 각 뉴런의 스파이킹 행위(spiking activity)와 총 뉴런 수에 해당할 수 있다. 따라서, 트래픽 정체없이 SNN 크기(N)를 늘리려면 Tsrch, Tsend 및/또는 Tupd를 줄일 필요가 있다.
도 5를 참조하면, 도 1의 토폴로지 블록에 대해 적용될 수 있는 이벤트 라우팅 기법으로서 RAM 및 CAM 기법을 확인할 수 있다. RAM 및 CAM 기법은 극단적인 두 가지 경우로 LUT의 완전 순차 탐색 및 병렬 탐색을 각각 지원할 수 있다.
도 5의 그림 (a)에서, RAM 기법은 도 3과 동일하게 구성된 LUT에 대해 단일 RAM 어레이를 사용할 수 있다. LUT는 S*2 행렬(S는 시냅스의 수)에 해당할 수 있다. 시냅스의 수는 네트워크를 구성하는 모든 N개의 뉴런들에 있어서 팬인 뉴런(Fin)의 개수의 합에 해당할 수 있고, 팬아웃 뉴런(Fout)의 개수의 합에 해당할 수 있으며, 다음의 수학식 2와 같이 표현될 수 있다.
[수학식 2]
Figure 112019068655587-pat00002
여기에서, Fin i와 Fout i의 위 첨자 i는 뉴런 인덱스에 해당할 수 있다. LUT는 특정 N_ADR을 포함하는 행을 검색하기 위해 주소 포인터(S_ADR)에 의해 접근될 수 있다. 주소 포인터는 인덱스 주소 생성기(ADR GEN)에 의해 생성될 수 있다. LUT는 각 행의 PRE_ADR 및 POST_ADR을 출력하면서 순차적으로 행 단위로 판독될 수 있다.
또한, 비교기(COMP)는 N_ADR과 PRE_ADR(POST_ADR) 사이의 매칭을 검출할 수 있고, 매칭이 검출되면 비교기는 업데이트를 위한 트리거인 S_UPD(= 1)를 출력할 수 있다. 각 열은 단일 클록 사이클 내에서 동시에 판독되고 비교되므로, LUT 탐색 시간은 S/fclk, 즉 Tsrch = S/fclk에 해당할 수 있다.
또한, 스파이크 전송 및 업데이트 프로세스는 모두 LUT 탐색과 동시에 수행할 수 있으므로 Tsend 및 Tupd는 0에 해당할 수 있고, 이 경우, 수학식 1은 S ≤ fclk/(aN)이 되어 최대 시냅스 수는 (Smax)에 해당할 수 있으며, 다음의 수학식 3과 같이 표현될 수 있다.
[수학식 3]
Figure 112019068655587-pat00003
상이한 클럭 속도에 대한 이러한 관계는 a = 50Hz에 대해 도 7의 그림 a에서 확인할 수 있다. 균일한 뉴런의 상호 연결(uniform neuronal interconnection)을 가정하면, 수학식 2는 S = NFin = NFout에 해당할 수 있다. 이 경우, 최대로 허용된 Fout(Fout_max)은 Fout_max = fclk/(aN2)(도 7의 그림 b)로서 수학식 3으로부터 도출될 수 있다. 즉, RAM 기법은 200MHz 클럭 속도에서 총 200개의 뉴런 각각에 대해 100의 Fout_max를 지원할 수 있다. 이러한 이론적인 추정은 50MHz 클럭 속도로 FPGA에서 구현된 네트워크(N = 100)에서의 실시간 모니터링 이벤트 라우팅에 의해 검증될 수 있다.
또한, S를 6000에서 14000으로 변경하고(도 7의 그림 a에서 빨간색 파선을 따라) 평균적으로 라우팅 트래픽 정체를 평가할 수 있다-초당 뉴런당 큐 레지스터 블록에 쌓여 있는 평균 이벤트 수 (B)로 파라미터화 될 수 있다. B는 트래픽 정체없이 0에 해당할 수 있다. 모든 뉴런은 a = 50Hz에서 푸아송 스파이크를 만들기 위해 외부에서 시뮬레이션될 수 있다. 도 7의 그림 c에서, S가 수학식 3에서 Smax와 같은 10,000을 초과할 때 이벤트 빌드업(트래픽 정체)이 명백하다는 이론적인 추정을 뒷받침할 수 있다.
도 5의 그림 (b)에서, LUT(S*2 행렬)는 CAM 어레이에 저장될 수 있다. 한편, 각 메모리 행은 독립적인 비교기를 가질 수 있다. 스파이크 라우팅 중에 LUT의 모든 행들은 N_ADR을 포함하는 행을 탐색하는 과정에서 한 번에 검색될 수 있고, 모든 행에 대한 검색 결과- “0”(일치하지 않음) 또는 “1”(일치함) -는 버퍼(BUF)에 임시로 저장될 수 있다.
버퍼는 S개의 엘리먼트 메모리 배열- LUT의 각 행에 대해 하나의 엔트리 -에 해당할 수 있고, 매칭된 시냅스 주소(S_ADR)를 출력하는 우선순위 인코더(priority encoder)에 연결될 수 있다. 버퍼에 있는 “1”의 각 엔트리는 우선순위 인코더에 의해 해당 주소(S_ADR)로 변환될 수 있고, S_UPD(= 1)과 함께 동시에 전송될 수 있다. 다음 클럭 사이클에서, 버퍼에 있는 해당 엔트리는 삭제되고, “1”의 다음 엔트리(존재한다면)가 한번에 전송될 수 있다. 이러한 과정은 버퍼가 공백이 될 때까지 반복될 수 있다.
CAM 기법의 검색 시간 Tsrch는 CAM 매칭 대기시간(latency)과 매칭 데이터를 버퍼에 전송하는데 필요한 시간을 합한 것에 해당할 수 있다. CAM이 클럭 속도 범위 내에서 충분히 빠르다고 가정하면, 상기 두 동작 모두 단일 클럭 사이클 내에서 수행될 수 있고, 따라서, Tsrch = 1/fclk에 해당할 수 있다.
또한, 스파이크 전송 시간 Tsend는 버퍼의 모든 매칭들을 지정하는데 필요한 시간에 해당할 수 있다. 균일한 뉴런의 상호연결을 위해 이벤트 당 2Fout(Fout = Fin) 매칭이 존재하므로 Tsend = 2Fout/fclk이고, 여기에서 Fout = S/N에 해당할 수 있다.
또한, 뉴런 및 시냅스 업데이트는 스파이크 전송과 동시에 발생하므로 효과적으로 Tupd = 0이 될 수 있다. 따라서, 이 기법에 대한 수학식 1은 다음의 수학식 4와 같이 표현되는 Smax 및 Fout_max를 적용하여 S ≤ fclk/(2a) - N/2에 해당할 수 있다.
[수학식 4]
Figure 112019068655587-pat00004
도 7의 그림 d는 서로 다른 클럭 속도에 대해 N과 관련하여 Smax를 확인할 수 있고, 이 경우 a는 50Hz로 설정될 수 있다. 추정된 Smax값은 RAM 기법의 값을 몇 배 더 초과하며(도 7의 그림 b), 보다 많은 뉴런과 시냅스를 수용할 수 있다. 도 7의 그림 e는 더 큰 Fout_max의 성능을 나타낼 수 있다.
예를 들어, 20,000개의 뉴런 각각은 라우팅 트래픽 정체없이 200MHz fclk에서 100의 Fout을 가질 수 있다. 이론적인 추정은 10MHz 클럭 속도에서 500개의 뉴런들(a = 50Hz)로 구성된 네트워크에 대한 이벤트 라우팅을 시뮬레이션 하여 검증할 수 있다.
이 경우 B는 60,000에서 140,000까지 다양한 S값으로 모니터링 될 수 있다(도 7의 그림 d의 빨간색 파선을 따라). 도 7의 그림 f는 Smax(약 100,000) 이하의 S에 대한 이벤트 라우팅에서 지연이 없음을 나타낼 수 있다. 이론적인 추정은 FPGA 보드 상의 CAM 구현이 작은 SNN으로 제한되는 점에서 오직 시뮬레이션에 의해서만 검증될 수 있다.
도 6은 P-RAM 기법을 설명하는 도면이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 멀티코어 뉴로모픽 장치는 전체 LUT(S*2 행렬)를 M개의 하위 LUT들로 분할할 수 있고, 각 하위 LUT는 도 3에서와 같이 P*2개의 엔트리들(P = S/M)을 포함할 수 있다. 분할된 각 파티션은 RAM 어레이(예를 들어, RAM_0 또는 RAM_1)과 비교기(COMP)로 구성될 수 있다. 모든 파티션은 한 번에 모든 M개의 하위 LUT들에 대해 특정 행을 지정하는 동일한 주소 포인터(PTR)을 공유할 수 있다.
예를 들어, 도 3에서, ADR GEN에 의해 생성된 PTR(= 2)은 동시에 M개의 하위 LUT들의 모든 제2행을 지정할 수 있다. 다음으로, 각 하위 LUT의 출력인 PRE_ADR 및 POST_ADR을 N_ADR과 비교하여 일치하는 엔트리를 검출할 수 있다. 이 때, 모든 파티션에 대한 모든 M 비교는 병렬적으로 수행될 수 있다. PTR은 P행까지 생성될 수 있고, 각 행에 대한 일치 결과- “0”(불일치) 및 “1”(일치) -가 버퍼(BUF)로 전송될 수 있다.
토폴로지 블록은 복수의 시냅스들을 지정할 수 있는 시냅스 주소의 상위 비트열에 해당하는 제1 시냅스 주소(PART)를 기초로 표현될 수 있는 개수만큼 분할되는 복수의 병렬 LUT(Look-Up Table) 모듈들을 포함할 수 있다. 여기에서, 병렬 LUT 모듈은 분할된 램 어레이에 해당할 수 있고, RAM 어레이는 PTR이 지정하는 전후 뉴런 엘리먼트에서 프리시냅틱 뉴런 주소로서 PRE_ADR과 포스트시냅틱 뉴런 주소로서 POST_ADR을 출력하는 출력기(OUTPUT)를 포함할 수 있다.
토폴로지 블록에서 수행되는 이벤트 당 총 검색 시간은 Tsrch = P/fclk로 표시될 수 있다. 총 이벤트 전송 시간은 CAM 기법의 경우와 동일하며, 균일한 뉴런 상호연결에 대해 Fout = S/N인 Tsend = 2Fout/fclk에 해당할 수 있다. 또한, 뉴런 및 시냅스 업데이트는 이벤트 전송과 동시에 발생될 수 있다. 그러므로, P-RAM 기법에 대해 Smax와 Fout_max를 다음의 수학식 5로 표현할 수 있다.
[수학식 5]
Figure 112019068655587-pat00005
도 7의 그림 g는 a = 50Hz와 P = 256에 대한 관계를 나타낼 수 있다. 뉴런 당 Fout_max는 도 7의 그림 h에서 확인할 수 있다. 그림 h의 빨간색 파선으로 표시된 바와 같이, 약 9,000개의 뉴런들 각각에 대해 100의 Fout_max는 200MHz 클럭 속도에서 P-RAM 기법으로 지원될 수 있다. 따라서, 그 용량은 RAM과 CAM 기법 사이에 해당할 수 있다(도 7의 그림 h와 그림 b, e 비교 참조).
P = 1일 때, P-RAM 기법은 CAM 기법과 동일해지고, 수학식 5는 수학식 4와 동일할 수 있다. 이 이론적인 추정을 검증하기 위해, P-RAM 기법(20MHz 클럭 속도로 FPGA 보드에 구현됨)이 적용된 네트워크(N = 500, a = 50Hz 및 P = 256)를 실시간으로 모니터링하여 S(80,000 ~ 210,000)에 관한 이벤트 빌드업 B를 분석할 수 있다. 도 7의 그림 i의 결과는 라우팅 트래픽 정체가 이론상 Smax값과 동일한 136,000 시냅스에서 시작된다는 점에서 수학식 5를 검증할 수 있다.
도 8은 3개의 코어로 구성된 네트워크 클러스터를 설명하는 도면이다. 도 9는 멀티코어 클러스터의 개념을 설명하는 도면이다. 도 10은 LUT들을 설명하는 도면이다. 도 11은 클러스터 크기에 대한 이론적인 실험 결과을 설명하는 도면이다.
이하, 도 8 내지 11를 기초로 본 발명의 일 실시예에 따른 멀티코어 뉴로모픽 장치에 대해 설명한다.
도 5 및 6에서 설명한 라우팅 기법들에 의해 지원되는 단일 SNN 유닛(코어)의 크기(N 및 Smax)는 스파이크라우팅(spikerouting) 속도로 인해 제한될 수 있다. 이 한계를 극복하기 위해, 멀티 코어들은 병렬로 연결되어 뉴로모픽 클러스터를 형성할 수 있다. 도 8은 3개의 SNN 서브 네트워크들(코어들)의 클러스터를 나타낼 수 있고, 이들은 도 9의 글로벌 토폴로지 블록을 통해 통신할 수 있다.
통신은 동시적인 비동기 요청들을 조절하기 위해 아비터(ARBITER)와 멀티플렉서(MUX)가 필요한 핸드셰이크 프로토콜을 기반으로 수행될 수 있다. 외부 코어들에 연결된 뉴런은 글로벌 뉴런(global neuron)에 해당하고, 그렇지 않으면 로컬 뉴런(local neuron)에 해당할 수 있다. 글로벌 프리시냅틱 뉴런은 다른 코어에 포스트시냅틱 뉴런을 가지고 있는 글로벌 뉴런에 해당할 수 있다. 코어(N개의 뉴런들을 포함)의 각 글로벌 프리시냅택 뉴런은 0 ~ (N(g)-1) 범위의 로컬 인덱스를 가지며, 여기서 N(g)은 주어진 코어의 글로벌 프리시냅택 뉴런의 수를 나타낼 수 있다. 다른 뉴런들에는 N(g)-(N-1) 범위의 인덱스가 할당될 수 있다. 또한, 글로벌 프리시냅틱 뉴런은 0 ~ (Nall (g) -1) 범위의 글로벌 라우팅을 위한 글로벌 인덱스가 필요할 수 있다
Nall (g)은 코어들에서의 전체 프리시냅틱 뉴런의 수를 의미할 수 있다. n번째 코어(CORE_n)의 글로벌 프리시냅틱 뉴런(로컬 인덱스: N_ADR)에는 N_ADR_G =
Figure 112019068655587-pat00006
+ N_ADR과 같은 글로벌 인덱스 N_ADR_G가 부여될 수 있다. 첨자 i는 코어 인덱스를 나타낼 수 있다. CORE_0의 글로벌 프리시냅틱 뉴런들의 경우 로컬 및 글로벌 인덱스가 동일할 수 있다.
도 8에서, 시냅스(검은 색 동그라미)는 그들의 포스트시냅틱 뉴런들과 동일한 코어에 속할 수 있다. 즉, 글로벌 포스트시냅틱 뉴런이 스파이크를 발사하면 이벤트가 글로벌 토폴로지 블록으로 전송되는 대신 코어 내의 관련 시냅스 가중치를 로컬에서 업데이트할 수 있다. 따라서, 글로벌 토폴로지 블록은 글로벌 프리시냅틱 뉴런들로부터의 이벤트에 의해서만 액세스될 수 있다. 이러한 이유로, 글로벌 라우팅은 글로벌 프리시냅틱 뉴런들로부터의 스파이크만을 처리할 수 있다.
글로벌 라우팅을 위한 3개의 LUT들: PTR_RAM1, PTR_RAM2 및 DEST_RAM을 제안할 수 있다(도 10의 그림 (a) 참조). PTR_RAM1은 글로벌 프리시냅틱 뉴런의 로컬 인덱스를 해당 글로벌 인덱스로 변환하는 C개의 엘리먼트 배열에 해당할 수 있다(C는 코어 수). 만약 n > 0이면 PTR_RAM1[n]에
Figure 112019068655587-pat00007
가 로드(load)되고 n = 0이면 0이 로드될 수 있다. 또한, 배열은 코어 인덱스에 따라 정렬될 수 있다.
도 8에서, CORE_1의 뉴런 2가 스파이크를 발생시키면 글로벌 프리시냅틱 이벤트를 나타내는, N_ADR = 2, CORE = 1 및 REQ = 1이 CORE_1에서 출력될 수 있다. 이 이벤트는 PTR_RAM1로 보내지고 PTR_RAM1[1](=N0 (g)=1)을 지정할 수 있다. CORE_0은 오직 하나의 글로벌 프리시냅틱 뉴런만을 포함하기 때문에 N0 (g) = 1에 해당할 수 있다. 결과적으로 뉴런은 글로벌 인덱스 N_ADR_G(=N0 (g)+2=3)가 주어지며, 이후에 PTR_RAM2[3]를 지정할 수 있다.
라우팅 기법의 PTR_RAM에 있어서, PTR_RAM2(Nall (g)*2 행렬)는 DEST_RAM에서 블록의 범위를 지정할 수 있다. PTR_RAM2는 글로벌 프리시냅틱 뉴론 인덱스로 정렬될 수 있다. 따라서, 주소가 지정된 PTR_RAM2[3]은 대상 코어 인덱스 0과 2를 나타내는 DEST_RAM[4:5]를 지정할 수 있다(도 10의 그림 (a) 참조). DEST_RAM은 Nall (g)fout (g) 개의 엘리먼트 배열이며, 여기서 fout (g)는 글로벌 프리시냅틱 뉴런 당 대상 코어들의 총 수에 해당하는 글로벌 팬아웃에 해당할 수 있다. DEST_RAM은 또한 글로벌 프리시냅틱 뉴론 인덱스로 정렬될 수 있다. 마지막으로, DEST_RAM에서 블록의 각 엔트리는 순차적으로 지정되어 관련 코어들 각각에 이벤트(N_ADR 및 CORE)가 전송될 수 있다. 이벤트는 각 대상 코어에서 추가적으로 라우팅될 수 있다.
본 발명의 글로벌 라우팅 방법은 글로벌 라우팅은 오직 글로벌 전-후 연결(post-to-pre 연결이 아님)에만 관련된다는 점에서 차이가 존재할 수 있다. 또한, 글로벌 포스트시냅틱 스파이킹에 대한 가중치 업데이트는 글로벌 포스트시냅틱 뉴런을 포함하는 코어 내에서 처리되므로 이벤트가 코어밖으로 전송되지 않을 수 있다. 따라서, PTR_RAM2는 2개의 열을 포함할 수 있다. 특히, 이 LUT는 추론 전용 뉴로모픽 시스템과 유사할 수 있다.
뉴로모픽 코어는 그에 따라 글로벌 이벤트를 처리하도록 수정될 수 있다. 각 코어에는 글로벌 이벤트를 송수신하기 위한 두 개의 추가적인 큐 레지스터(블록)가 각각 제공될 수 있다. 로컬 LUT의 글로벌 프리시냅틱 뉴런의 PRE_ADR에는 코어 인덱스(도 10의 그림 (b)의 CORE열)가 부여될 수 있다. 주어진 코어의 글로벌 프리시냅틱 뉴런들은 추가 메모리 배열(EXT)에서 “1”로 표시될 수 있다. 예를 들어, 뉴런 0, 1 및 2는 도 10의 그림 (b)에서 EXT[0], EXT[1] 및 EXT[2]가 1이 되는 CORE_1의 글로벌 프리시냅틱 뉴런에 해당할 수 있다.
이후에는 이와 같은 글로벌 이벤트에 대해 독립적인 클럭이 사용될 수 있다. 이것은 글로벌 클럭(global clock)에 해당하고 그것의 속도는 글로벌 클럭 속도에 해당할 수 있다. 비록 2개의 상이한 클록이 사용되지만, 동기화는 상기의 추가의 큐 레지스터(블록)에 의해 보호될 수 있다.
CORE_i에서 글로벌 프리시냅틱 뉴런의 비율을 k = Ni (g)/N으로 정의될 수 있다. 각 코어가 동일한 k를 가졌다고 가정하면, 클러스터의 글로벌 프리시냅틱 뉴런들의 총 수는 kNC에 해당할 수 있다. 따라서, 수학식 1은 다음의 수학식 6과 같이 글로벌 이벤트 라우팅에 적용될 수 있다.
[수학식 6]
Figure 112019068655587-pat00008
RAM 기반 기법과 마찬가지로, LUT 탐색은 단일 클럭 사이클을 필요로 할 수 있고, Tsrch = 1/fclk (g)에 해당할 수 있으며, 여기에서 fclk (g)는 글로벌 클럭 속도에 해당할 수 있다. Tsend는 글로벌 팬아웃 fout (g)에 의해 Tsend = fout (g)/fclk (g)로 결정될 수 있다(도 11의 그림 a 참조). 마찬가지로, Tupd는 사실상 0에 해당할 수 있다. 결과적으로, 클러스터에서 최대 허용 코어 수(Cmax)는 다음의 수학식 7과 같이 표현될 수 있다.
[수학식 7]
Figure 112019068655587-pat00009
도 11의 그림 b는 a = 50Hz, N = 10000 및 k = 0.1 인 경우 4개의 다른 글로벌 클럭 속도에 대해 fout (g)에 대한 Cmax를 나타낼 수 있다. 예를 들어, 클러스터(fclk (g) = 100Hz 및 fout (g) = 10)는 트래픽 정체없이 최대 181 개의 코어들을 지원할 수 있으며 이는 181 만 개의 스파이킹 뉴런과 동일할 수 있다.
글로벌 라우팅은 외부 이벤트들에 의한 추가 워크로드(workload)로 인해 로컬 라우팅에도 영향을 줄 수 있다. P-RAM 및 CAM 기법의 경우 해당 결과는 다음의 수학식 8과 같이 표현될 수 있다.
[수학식 8]
Figure 112019068655587-pat00010
여기에서, P-RAM 기법에 대해서는 A = P이고, CAM 기법에 대해서는 A = 1에 해당할 수 있다. 즉, 코어 당 시냅스의 수와 대응하는 팬아웃은 글로벌 연결들의 수가 증가함에 따라 감소할 수 있다(수학식 4 및 5 참조). 도 11의 그림 c는 상이한 라우팅 기법들에서 상이한 fout (g)에 대해 N에 관한 Smax를 나타낼 수 있다. 따라서, fout (g)이 클수록 각 코어에 더 많은 워크로드가 주어지고, 이는 Smax를 제한할 수 있다. fout (g)의 0은 격리된 코어를 나타낼 수 있다. 도 11의 그림 d는 N에 대한 해당 Fout_max를 나타낼 수 있다. 그 결과는 클러스터(fclk = 200 MHz, N = 10000, C = 181, fout (g) = 10)가 로컬 라우팅에서 CAM 기법을 사용함으로써 이론적으로 3 억 6 천 2 백만 개의 시냅스를 지원할 수 있음을 나타낼 수 있다.
도 12는 본 발명의 일 실시예에 따른 멀티코어 뉴로모픽 장치를 설명하는 도면이다.
도 12를 참조하면, 멀티코어 뉴로모픽 장치(1200)는 복수의 뉴로모픽 코어들과 하나이 라우터를 포함하여 구현될 수 있다. 멀티코어 뉴로모픽 장치(1200)는 출발지 뉴로모픽 코어(1210), 목적지 뉴로모픽 코어(1230) 및 글로벌 라우터(1250)를 포함할 수 있다.
출발지 뉴로모픽 코어(1210)는 내부에서 발화한 스파이크를 외부의 다른 뉴로모픽 코어로 전파하는 뉴로모픽 코어에 해당할 수 있다. 즉, 출발지 뉴로모픽 코어(1210)는 특정 스파이크에 대해 최초로 발화한 뉴런을 포함하는 뉴로모픽 코어에 해당할 수 있다. 출발지 뉴로모픽 코어(1210)는 글로벌 라우터(1250)와 연결되어 글로벌 라우팅을 수행할 수 있다.
일 실시예에서, 출발지 뉴로모픽 코어(1210)는 프리시냅틱 뉴런(즉, 스파이킹 뉴런)으로부터 코어 주소(CORE)와 함께 프리시냅틱 뉴런의 주소(N_ADR)를 생성하여 글로벌 라우터(1250)를 통해 목적지 뉴로모픽 코어(1230)에 제공할 수 있다.
목적지 뉴로모픽 코어(1230)는 다른 뉴로모픽 코어로부터의 스파이크를 수신하여 처리할 수 있는 뉴로모픽 코어에 해당할 수 있다. 특정 스파이크에 대해 출발지 뉴로모픽 코어(1210)는 하나인 반면, 스파이크는 병렬적으로 다수의 뉴로모픽 코어로 전파될 수 있으므로 목적지 뉴로모픽 코어(1230)는 복수개로 존재할 수 있다. 예를 들어, 도 12에서 목적지 뉴로모픽 코어(1230)는 총 3개(1230a, 1230b 및 1230c)에 해당할 수 있다. 목적지 뉴로모픽 코어(1230)는 글로벌 라우터(1250)와 연결되어 글로벌 라우팅을 수행할 수 있다. 출발지 뉴로모픽 코어(1210)와 목적지 뉴로모픽 코어(1230)는 스파이크의 발화 위치에 따라 역할을 상호 변경되어 동작할 수 있음은 물론이다.
글로벌 라우터(1250)는 멀티코어 뉴로모픽 장치(1200)에서 수행되는 글로벌 라우팅을 유기적으로 조절하는 역할을 수행할 수 있고, 이 때, 복수의 뉴로모픽 코어들과의 통신을 위하여 동시적인 비동기 요청들을 조절할 수 있는 아비터(ARBITER)와 멀티플렉서(MUX)가 필요한 핸드셰이크 프로토콜이 사용될 수 있다.
도 13은 도 12에 있는 목적지 뉴로모픽 코어를 설명하는 도면이다.
도 13을 참조하면, 목적지 뉴로모픽 코어(1230)는 로컬 토폴로지 블록부(1231) 및 코어 출력부(1233)를 포함할 수 있다.
로컬 토폴로지 블록부(1231)는 뉴런 블록(NEURON BLOCK)에 있는 스파이킹 뉴런(이하, 프리시냅틱 뉴런)으로부터 코어 주소(CORE)와 함께 프리시냅틱 뉴런의 주소(N_ADR)를 수신하고 코어 주소(CORE)를 기초로 프리시냅틱 뉴런(N_ADR)의 처리를 수행할 수 있다.
코어 출력부(1233)는 뉴런 블록에 있는 뉴런에서 생성된 로컬 뉴런의 주소를 수신하고 로컬 뉴런의 주소를 글로벌 라우터(1250)에 제공할 것인지를 판단할 수 있다. 여기에서, 로컬 뉴런의 주소는 또 다른 뉴모로픽 코어의 주소와 프리시냅틱 뉴런의 주소를 포함할 수 있다. 구체적으로, 코어 출력부(1233)는 글로벌 라우터(1250)으로의 포워딩을 위한 요청 신호(REQ)를 전송할 수 있고, 그에 대한 승인 신호(ACK)의 수신을 대기할 수 있으며, 승인 신호(ACK)의 수신에 따라 포워딩을 처리할 수 있다.
일 실시예에서, 목적지 뉴로모픽 코어(1230)는 로컬 뉴런의 주소가 글로벌 라우터(1250)에 제공되기 전에 출력 FIFO(First-In First-Out) 버퍼에 로컬 뉴런의 주소를 저장할 수 있다. 도 13에서, 출력 FIFO 버퍼는 OUT_FIFO에 해당할 수 있고, OUT_FIFO는 코어 출력부(1233)의 내부에 포함되어 구현될 수 있다. 출력 FIFO 버퍼는 로컬 뉴런의 주소(N_ADR)를 순차적으로 저장한 후 순서대로 처리할 수 있다.
일 실시예에서, 목적지 뉴로모픽 코어(1230)는 각각이 독립적으로 형성되는 3개의 LUT들을 이용하여 로컬 뉴런의 주소를 글로벌 뉴런의 주소로 변환할 수 있다. 예를 들어, 3개의 LUT들은 도 10의 그림 (a)에서 PTR_RAM1, PTR_RAM2 및 DEST_RAM에 해당할 수 있다. 또한, 목적지 뉴로모픽 코어(1230)는 로컬 뉴런의 주소를 기초로 3개의 LUT들의 순차적인 인덱싱을 통해 글로벌 뉴런의 주소를 결정할 수 있다.
일 실시예에서, 목적지 뉴로모픽 코어(1230)는 로컬 뉴런의 주소를 기초로 제1 LUT(PTR_RAM1)를 통해 글로벌 인덱스를 결정하고, 글로벌 인덱스를 기초로 제2 LUT(PTR_RAM2)를 통해 대상 코어 인덱스를 결정할 수 있으며, 대상 코어 인덱스를 기초로 제3 LUT(DEST_RAM)를 통해 목적지 뉴로모픽 코어(1230)를 결정할 수 있다.
도 14는 도 12에 있는 글로벌 라우터를 설명하는 도면이다.
도 14를 참조하면, 글로벌 라우터(1250)는 출발지 뉴로모픽 코어(1210)로부터 수신되는 글로벌 뉴런의 주소를 기초로 목적지 뉴로모픽 코어(1230)를 결정하고 목적지 뉴로모픽 코어(1230)에 글로벌 뉴런의 주소를 제공할 수 있다. 즉, 글로벌 라우터(1250)는 글로벌 뉴런의 주소(CORE)를 기초로 멀티플렉서(MUX)를 통해 전송 대상이 되는 목적지 뉴로모픽 코어(1230)를 결정할 수 있다.
일 실시예에서, 글로벌 라우터(1250)는 코어 주소(CORE)와 프리시냅틱 뉴런의 주소(N_ADR)가 수신되면 목적지 뉴로모픽 코어(1230)에 있는 입력 FIFO 버퍼(IN_FIFO)에 쓰기 신호(WRITE)를 제공할 수 있다. 즉, 목적지 뉴로모픽 코어(1230)는 쓰기 신호(WRITE)에 따라 수신된 프리시냅틱 뉴런의 주소(N_ADR)를 입력 FIFO 버퍼(IN_FIFO)에 저장할 수 있다.
일 실시예에서, 글로벌 라우터(1250)는 쓰기 신호(WRITE)가 송신된 후에 입력 FIFO 버퍼(IN_FIFO)에 코어 주소(CORE)와 프리시냅틱 뉴런의 주소(N_ADR)를 송신하도록 딜레이 소자(도 14의 DELAY)를 포함할 수 있다. 딜레이 소자(DELAY)는 입력 수신 시점부터 설정된 시간이 경과한 후에 입력을 그대로 출력하는 동작을 수행할 수 있고, 글로벌 라우터(1250)는 ARBITER/MUX를 통과한 CORE와 N_ADR을 외부로 출력하기 전에 딜레이 소자(DELAY)에 입력할 수 있다.
일 실시예에서, 글로벌 라우터(1250)는 코어 주소(CORE)와 프리시냅틱 뉴런의 주소(N_ADR)의 병합을 통해 출발지 뉴로모픽 코어(1210)에 제공될 스파이크 처리 신호(ACK)를 생성할 수 있다. 이를 위하여, 글로벌 라우터(1250)는 글로벌 토폴로지 블록(GLOBAL TOPOLOGY BLOCK)의 DEST_LUT로부터 DEST_CORE를 검출하는 과정에서 스파이크 처리 신호를 발생시킬 수 있다.
일 실시예에서, 글로벌 라우터(1250)는 스파이크 처리 신호(ACK)의 생성 후에 쓰기 신호(WRITE)를 생성할 수 있다. 즉, 글로벌 라우터(1250)는 출발지 뉴로모픽 코어(1210)로부터 요청 신호(REQ)를 수신하면 이에 대한 응답으로서 스파이크 처리 신호(ACK)를 전송할 수 있고, 이후 쓰기 신호(WRITE)를 생성하여 해당 스파이크 연산을 처리를 개시할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1200: 멀티코어 뉴로모픽 장치
1210: 출발지 뉴로모픽 코어 1230: 목적지 뉴로모픽 코어
1250: 글로벌 라우터
1231: 로컬 토폴로지 블록부 1233: 코어 출력부

Claims (13)

  1. 출발지 뉴로모픽(neuromorphic) 코어;
    코어 주소와 프리시냅틱(presynaptic) 뉴런의 주소로 구성된 글로벌 뉴런의 주소를 순차적으로 처리하는 입력 FIFO 버퍼를 포함하는 목적지 뉴로모픽 코어; 및
    상기 출발지 뉴로모픽 코어로부터 수신되는 상기 글로벌 뉴런의 주소를 기초로 상기 목적지 뉴로모픽 코어를 결정하고 상기 목적지 뉴로모픽 코어에 상기 글로벌 뉴런의 주소를 제공하며 상기 코어 주소와 상기 프리시냅틱 뉴런의 주소가 수신되면 상기 목적지 뉴로모픽 코어에 있는 입력 FIFO 버퍼에 쓰기 신호를 제공하는 글로벌 라우터를 포함하는 멀티코어 뉴로모픽 장치.
  2. 제1항에 있어서, 상기 출발지 뉴로모픽 코어는
    상기 프리시냅틱 뉴런으로부터 상기 코어 주소와 함께 상기 프리시냅틱 뉴런의 주소를 생성하여 상기 글로벌 라우터를 통해 상기 목적지 뉴로모픽 코어에 제공하는 것을 특징으로 하는 멀티코어 뉴로모픽 장치.
  3. 제1항에 있어서, 상기 목적지 뉴로모픽 코어는
    뉴런 블록에 있는 뉴런에서 생성된 로컬 뉴런의 주소를 수신하고 상기 로컬 뉴런의 주소를 상기 글로벌 라우터에 제공할 것인지를 판단하는 코어 출력부를 더 포함하는 것을 특징으로 하는 멀티코어 뉴로모픽 장치.
  4. 제3항에 있어서, 상기 목적지 뉴로모픽 코어는
    상기 로컬 뉴런의 주소가 상기 글로벌 라우터에 제공되기 전에 출력 FIFO(First-In First-Out) 버퍼에 상기 로컬 뉴런의 주소를 저장하는 것을 특징으로 하는 멀티코어 뉴로모픽 장치.
  5. 삭제
  6. 제1항에 있어서, 상기 글로벌 라우터는
    상기 쓰기 신호가 송신된 후에 상기 입력 FIFO 버퍼에 상기 코어 주소와 상기 프리시냅틱 뉴런의 주소를 송신하도록 딜레이 소자를 포함하는 것을 특징으로 하는 멀티코어 뉴로모픽 장치.
  7. 제6항에 있어서, 상기 글로벌 라우터는
    상기 코어 주소와 상기 프리시냅틱 뉴런의 주소의 병합을 통해 상기 출발지 뉴로모픽 코어에 제공될 스파이크 처리 신호를 생성하는 것을 특징으로 하는 멀티코어 뉴로모픽 장치.
  8. 제7항에 있어서, 상기 글로벌 라우터는
    상기 스파이크 처리 신호의 생성 후에 상기 쓰기 신호를 생성하는 것을 특징으로 하는 멀티코어 뉴로모픽 장치.
  9. 출발지 뉴로모픽 코어, 목적지 뉴로모픽 코어 및 글로벌 라우터를 포함하는 멀티코어 뉴로모픽 장치에서 수행되는 방법에 있어서,
    (a) 상기 출발지 뉴로모픽 코어에서, 상기 글로벌 라우터로 로컬 뉴런의 주소를 글로벌 라우터에 제공할 것인지 여부를 결정하는 단계;
    (b) 상기 글로벌 라우터에서, 상기 출발지 뉴로모픽 코어로부터 상기 로컬 뉴런의 주소를 글로벌 뉴런의 주소로서 수신하여 상기 목적지 뉴로모픽 코어를 결정하는 단계;
    (c) 상기 글로벌 라우터에서, 상기 목적지 뉴로모픽 코어에 상기 글로벌 뉴런의 주소를 제공하는 단계; 및
    (d) 상기 목적지 뉴로모픽 코어에서, 상기 글로벌 뉴런의 주소를 순차적으로 처리하는 단계를 포함하고,
    상기 (b) 단계는 각각이 독립적으로 형성되는 복수의 LUT(Lookup Table)들을 이용하여 상기 로컬 뉴런의 주소를 상기 글로벌 뉴런의 주소로 변환하는 단계를 포함하는 것을 특징으로 하는 멀티코어 뉴로모픽 장치에서의 글로벌 라우팅 방법.
  10. 삭제
  11. 제9항에 있어서, 상기 (b) 단계는
    상기 로컬 뉴런의 주소를 기초로 상기 복수의 LUT들의 순차적인 인덱싱을 통해 상기 글로벌 뉴런의 주소를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티코어 뉴로모픽 장치에서의 글로벌 라우팅 방법.
  12. 제11항에 있어서, 상기 (b) 단계는
    상기 로컬 뉴런의 주소를 기초로 제1 LUT를 통해 글로벌 인덱스를 결정하고, 상기 글로벌 인덱스를 기초로 제2 LUT를 통해 대상 코어 인덱스를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티코어 뉴로모픽 장치에서의 글로벌 라우팅 방법.
  13. 제12항에 있어서, 상기 (b) 단계는
    상기 대상 코어 인덱스를 기초로 제3 LUT를 통해 상기 목적지 뉴로모픽 코어를 결정하는 단계를 더 포함하는 것을 특징으로 하는 멀티코어 뉴로모픽 장치에서의 글로벌 라우팅 방법.

KR1020190080635A 2019-07-04 2019-07-04 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법 KR102402255B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190080635A KR102402255B1 (ko) 2019-07-04 2019-07-04 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190080635A KR102402255B1 (ko) 2019-07-04 2019-07-04 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법

Publications (2)

Publication Number Publication Date
KR20210004348A KR20210004348A (ko) 2021-01-13
KR102402255B1 true KR102402255B1 (ko) 2022-05-27

Family

ID=74142759

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190080635A KR102402255B1 (ko) 2019-07-04 2019-07-04 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법

Country Status (1)

Country Link
KR (1) KR102402255B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117634564A (zh) * 2024-01-26 2024-03-01 之江实验室 一种基于可编程神经拟态核的脉冲延时测量方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371583A1 (en) * 2015-06-22 2016-12-22 International Business Machines Corporation Communicating postsynaptic neuron fires to neuromorphic cores
US20180174023A1 (en) * 2016-12-20 2018-06-21 Intel Corporation Autonomous navigation using spiking neuromorphic computers

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102314300B1 (ko) 2017-02-10 2021-10-21 한국전자통신연구원 뉴로모픽 연산 장치
KR102067189B1 (ko) 2017-07-17 2020-01-15 포항공과대학교 산학협력단 뉴런회로 및 이를 포함하는 뉴로모픽 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371583A1 (en) * 2015-06-22 2016-12-22 International Business Machines Corporation Communicating postsynaptic neuron fires to neuromorphic cores
US20180174023A1 (en) * 2016-12-20 2018-06-21 Intel Corporation Autonomous navigation using spiking neuromorphic computers

Also Published As

Publication number Publication date
KR20210004348A (ko) 2021-01-13

Similar Documents

Publication Publication Date Title
US11410017B2 (en) Synaptic, dendritic, somatic, and axonal plasticity in a network of neural cores using a plastic multi-stage crossbar switching
US10785745B2 (en) Scaling multi-core neurosynaptic networks across chip boundaries
US10650301B2 (en) Utilizing a distributed and parallel set of neurosynaptic core circuits for neuronal computation and non-neuronal computation
Liu et al. Neu-NoC: A high-efficient interconnection network for accelerated neuromorphic systems
US9373073B2 (en) Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a universal substrate of adaptation
US20190080229A1 (en) Hierarchical scalable neuromorphic synaptronic system for synaptic and structural plasticity
US10782726B2 (en) Optimizing core utilization in neurosynaptic systems
US9152916B2 (en) Multi-compartment neurons with neural cores
US9239984B2 (en) Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a neural network
US10755165B2 (en) Converting spike event data to digital numeric data
US10769519B2 (en) Converting digital numeric data to spike event data
Wu et al. A multicast routing scheme for a universal spiking neural network architecture
KR102588838B1 (ko) 초전도 뉴로모픽 코어
KR102402255B1 (ko) 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법
KR102380970B1 (ko) 뉴로모픽 장치 및 그 장치에서 수행되는 시그널링 방법
KR102301041B1 (ko) 뉴로모픽 장치
KR102380584B1 (ko) 뉴로모픽 장치 및 그 장치에서 수행되는 가중치 갱신 방법
KR102402253B1 (ko) 멀티코어 뉴로모픽 장치 및 그 장치에서 수행되는 글로벌 라우팅 방법
Rozhko et al. Packet matching on FPGAs using HMC memory: Towards one million rules
KR102355611B1 (ko) 뉴로모픽 장치의 스파이크 연산 방법
KR102355612B1 (ko) 뉴로모픽 장치 및 그 장치에서 수행되는 큐잉 방법
Sadeghi et al. Hardware Implementation of a Resource-Efficient Router for Multi-Core Spiking Neural Networks
TW202333044A (zh) 電子裝置及操作方法
JPS60256864A (ja) デ−タ転送装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant