KR102288075B1 - 스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치 - Google Patents

스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치 Download PDF

Info

Publication number
KR102288075B1
KR102288075B1 KR1020190016291A KR20190016291A KR102288075B1 KR 102288075 B1 KR102288075 B1 KR 102288075B1 KR 1020190016291 A KR1020190016291 A KR 1020190016291A KR 20190016291 A KR20190016291 A KR 20190016291A KR 102288075 B1 KR102288075 B1 KR 102288075B1
Authority
KR
South Korea
Prior art keywords
neural network
spiking neural
spiking
inference
membrane potential
Prior art date
Application number
KR1020190016291A
Other languages
English (en)
Other versions
KR20200098308A (ko
Inventor
박병국
황성민
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020190016291A priority Critical patent/KR102288075B1/ko
Priority to US16/693,029 priority patent/US20200257973A1/en
Publication of KR20200098308A publication Critical patent/KR20200098308A/ko
Application granted granted Critical
Publication of KR102288075B1 publication Critical patent/KR102288075B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Abstract

실시예들은 아날로그 뉴럴 네트워크를 이용하여 결정된 파라미터를 포함한 스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치와 관련된다. 상기 추론 방법 및 장치이 이용하는 스파이킹 뉴럴 네트워크는 음의 막전위를 가질 수 있거나, 사전 충전된 막전위를 가질 수 있는 인공 뉴런을 포함한다. 또한, 상기 추론 방법 및 장치에 의한 추론 동작은 스파이킹 뉴럴 네트워크의 동작 시점으로부터 소정 시간 이후에 수행된다.

Description

스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치{INFERENCE METHOD AND DEVICE USING SPIKING NEURAL NETWORK}
본 발명은 스파이킹 뉴럴 네트워크 기술에 관한 것으로서, 보다 상세하게는 음의 막전위가 허용되거나 사전 충전된 인공 뉴런을 포함한 스파이킹 뉴럴 네트워크를 이용하여 출력 스파이크를 출력하되, 소정 시간 이후의 출력 스파이크에 기초하여 추론하는 방법 및 장치에 관한 것이다.
복잡하거나 해가 알려지지 않은 문제를 해결하기 위해, 인간의 사고 방식을 컴퓨팅 장치에서 구현하려는 다양한 연구가 진행되고 있다. 이들 중 하나로서, 인간의 생물학적 신경 세포를 모델링한 뉴럴 네트워크(nueral network) 기술이 있다. 뉴럴 네트워크 기술은 시냅스의 신경 전달 과정을 수학적으로 표현한 뉴럴 네트워크 기반 학습 모델을 모델링하는데 사용되어 인간이 가지고 있는 학습 능력에 접근한다. 뉴럴 네트워크는 학습을 통해 입력과 출력 사이의 사상(mapping)을 수행할 수 있다.
현재 인공지능관련 산업에서 널리 사용되며 높은 성능을 보여주고 있는 뉴럴 네트워크는 연속적인 값을 출력하는 아날로그 뉴럴 네트워크(ANN, Analog Nueral Network)이다. 아날로그 뉴럴 네트워크는 실제 생물학적 신경계로부터 영감을 받아 시작되었지만, 유사한 네트워크 구조를 채택할 뿐, 정보의 표현 방법, 뉴런의 전달 함수, 학습 방법 등 다양한 측면에서 실제 생물학적 신경계와는 차이점을 보인다.
반면, 실제 신경계와 거의 동일하게 동작하는 뉴럴 네트워크로서, 스파이킹 뉴럴 네트워크(SNN, Spiking Neural Network)가 있다. 스파이킹 뉴럴 네트워크는 뉴런 및 시냅스의 상태뿐만 아니라, 모델의 동작에 시간의 개념을 편입한다. 이로 인해, 스파이킹 뉴럴 네트워크에서 사실성의 레벨이 증가한다.
최근 스파이킹 뉴럴 네트워크에 대한 관심이 높아지고 있지만, 대부분의 스파이킹 뉴럴 네트워크의 경우 대응하는 시스템 구조를 갖는 아날로그 뉴럴 네트워크의 성능에 도달하지 못하는 한계가 있다.
특허공개공보 제10-2016-0084401호
본 발명의 일 측면에 따르면 미리 학습된 아날로그 뉴럴 네트워크에 기초하여 생성된 스파이킹 뉴럴 네트워크를 이용하는 추론 방법 및 장치를 제공할 수 있다.
본 발명의 일 측면에 따른 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 스파이킹 뉴럴 네트워크를 이용한 추론 방법은, 복수의 레이어를 포함한 스파이킹 뉴럴 네트워크에 입력 신호를 입력하는 단계; 상기 입력 신호에 기초하여 출력 스파이크를 출력하는 단계; 및 상기 출력 스파이크에 기초하여 입력 신호에 대응하는 결과를 결정하는 단계를 포함한다. 여기서, 상기 스파이킹 뉴럴 네트워크는 미리 학습된 아날로그 뉴럴 네트워크에 기초하여 생성된다.
일 실시예에서, 상기 스파이킹 뉴럴 네트워크는, 미리 학습된, 복수의 노드를 포함한 아날로그 뉴럴 네트워크의 구조에 기초하여 복수의 인공 뉴런을 포함한 스파이킹 뉴럴 네트워크의 구조를 형성하고, 상기 아날로그 뉴럴 네트워크의 파라미터에 기초하여 상기 스파이킹 뉴럴 네트워크의 파라미터를 결정하며, 그리고 상기 스파이킹 뉴럴 네트워크의 파라미터 및 구조를 결합하여 생성된다.
일 실시예에서, 상기 스파이킹 뉴럴 네트워크의 인공 뉴런은, 가중된 입력의 합이 음의 값인 경우 음의 막전위를 가질 수 있도록 구성된다.
일 실시예에서, 상기 스파이킹 뉴럴 네트워크의 인공 뉴런은, 상기 입력 신호를 수신하기 이전에 미리 설정된 값을 기준으로 막전위의 충전이 개시되도록 구성된다.
일 실시예에서, 상기 미리 설정된 막전위 값은, 입력 신호 및 임계치에 기초하여 설정된다.
일 실시예에서, 상기 결과를 결정하는 단계는, 상기 스파이킹 뉴럴 네트워크의 동작 시점으로부터 소정 시간 이후에 입력 신호에 대응하는 결과를 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 결과를 결정하는 단계는, 상기 스파이킹 뉴럴 네트워크가 입력 신호를 수신하는 시점으로부터 상기 소정 시간 이내의 상기 스파이킹 뉴럴 네트워크의 출력 스파이크를 필터링하고, 상기 소정 시간 이후의 출력 스파이크를 이용함으로써 수행될 수 있다.
일 실시예에서, 상기 소정 시간은, 상기 스파이킹 뉴럴 네트워크의 평균 발화율(N(t))과 상기 스파이킹 뉴럴 네트워크에 대응하는 아날로그 뉴럴 네트워크의 평균 출력 값의 비율이 최대가 되는 시점 이후로 설정될 수 있다.
일 실시예에서, 상기 소정 시간은, 막전위 충전이 개시되는 소정의 값이 미리 설정된 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크의 성능이 최고가 되는 시점 또는 막전위 충전이 개시되는 소정의 값이 미리 설정되지 않은 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크의 성능이 최고가 되는 시점 이전으로 더 설정될 수 있다.
본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는, 컴퓨터에 의해 판독가능하고, 상기 컴퓨터에 의해 동작 가능한 프로그램 명령어를 저장한다. 여기서, 상기 프로그램 명령어가 상기 컴퓨터의 프로세서에 의해 실행되는 경우 상기 프로세서가 상술한 실시예들에 따른 추론 방법을 수행하게 할 수 있다.
본 발명의 또 다른 일 측면에 따른 스파이킹 뉴럴 네트워크를 이용한 추론 장치는, 추론을 위해, 복수의 인공 뉴런을 포함한 스파이킹 뉴럴 네트워크를 이용하여 입력 데이터에 대응하는 결과를 출력하는 프로세서; 및 상기 프로세서에 의해 실행 가능한 명령어를 저장한 메모리를 포함할 수 있다.
일 실시예에서, 상기 스파이킹 뉴럴 네트워크의 인공 뉴런은, 가중된 입력의 합이 음의 값인 경우, 음의 막전위를 가질 수 있도록 구성될 수 있다.
일 실시예에서, 상기 스파이킹 뉴럴 네트워크의 인공 뉴런은 상기 입력 데이터를 수신하기 이전에 미리 설정된 값을 기준으로 막전위의 충전이 개시되도록 구성될 수 있다.
일 실시예에서 상기 프로세서는, 상기 스파이킹 뉴럴 네트워크의 동작 시점으로부터 소정 시간 이후에 추론 동작을 수행하도록 더 구성될 수 있다.
본 발명의 일 측면에 따르면, 이미 소개된 아날로그 뉴럴 네트워크를 위한 다양하고 고성능의 학습 기술(예컨대, 역전파(back propagation))을 통해 미리 학습된 아날로그 뉴럴 네트워크의 파라미터에 기초하여 스파이킹 뉴럴 네트워크의 파라미터를 결정함으로써 생성된 스파이킹 뉴럴 네트워크를 이용하여, 입력 데이터(또는 입력 신호)에 대해 대응하는 결과를 출력하기 위한 추론 동작(또는 인식 동작)을 수행할 수 있다.
여기서, 추론 동작에 이용되는 상기 스파이킹 뉴럴 네트워크의 인공 뉴런은 음의 막전위를 가질 수 있도록 구성된다. 그 결과, 정보의 손실이 발생하지 않는다.
또한, 상기 스파이킹 뉴럴 네트워크의 인공 뉴런은 소정의 막전위 값이 사전 충전되도록 구성되어 개선된 신호 처리 속도를 가진다. 이로 인해, 상기 인공 뉴런을 포함한 스파이킹 뉴럴 네트워크는 고성능의 추론 성능(또는, 인식 성능)을 나타낸다.
나아가, 추론 동작(또는 인식 동작)을 수행함에 있어서, 네트워크에서 출력되는 출력 스파이크 중 소정 시간 이후의 출력 스파이크를 이용한다. 그 결과, 내부 지연시간 또는 사전 충전에 의해 발생하는 오버슈트(overshoot)에 의한 오차를 감소시킬 수 있어 추론의 정확도와 신호 처리 속도를 개선할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 스파이킹 뉴럴 네트워크의 구조를 설명하기 위한 도면이다.
도 2는, 본 발명의 일 실시예에 따른, 스파이킹 뉴럴 네트워크를 이용하는 추론 방법의 흐름도이다.
도 3은, 본 발명의 일 실시예에 따른, 음의 막전위를 가질 수 있는 인공 뉴런을 설명하기 위한 도면이다.
도 4는, 본 발명의 일 실시예에 따른, 소정의 값으로 사전 충전된 막전위를 갖는 인공 뉴런을 설명하기 위한 도면이다.
도 5는, 본 발명의 일 실시예에 따른, 지연 추론 동작을 설명하기 위한 도면이다.
도 6은, 본 발명의 일 실시예에 따른, 스파이킹 뉴럴 네트워크를 생성하는 방법의 흐름도이다.
도 7a 내지 도 7c는, 본 발명의 제1 실험예에 따른, 음의 막전위 허용에 의한 네트워크 성능 개선을 설명하기 위한 도면이다.
도 8a 및 도 8b는, 본 발명의 제1 실험예에 따른, 인공 뉴런의 사전 충전에 의한 네트워크 성능 개선을 설명하기 위한 도면이다.
도 9는, 본 발명의 제1 실험예에 따른, 지연 추론 동작의 네트워크 성능 개선을 설명하기 위한 도면이다.
도 10은, 본 발명의 제2 실험예에 따른, 음의 막전위 허용에 의한 네트워크 성능 개선을 설명하기 위한 도면이다.
도 11a및 도 11b는, 본 발명의 제2 실험예에 따른, 사전 충전의 네트워크 성능 개선을 설명하기 위한 도면이다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 본 발명의 일 실시예에 따른, 스파이킹 뉴럴 네트워크(100)의 구조를 설명하기 위한 도면이다.
생물학적 뉴런들에서, 뉴런이 발화할 때 생성되는 출력 스파이크는 활동 전위(action potential)로 지칭된다. 상기 출력 스파이크는 전기 신호로 표현되며, 대략 100mV의 진폭 및 약 1ms의 지속 시간을 갖는, 일시적이고 양단적인(all or nothing) 임펄스 신호이다. 뉴런이 일련으로 연결되어 구성되는 뉴럴 네트워크에 있어서, 모든 활동 전위는 기본적으로 동일한 진폭 및 지속 시간을 가진다. 따라서, 신호에서의 정보는 스파이크의 빈도(frequency), 스파이크의 개수, 스파이크의 지속 시간, 스파이크 간의 시간 간격 및 이들의 조합에 의해 표현된다. 활동 전위에 의해 운반된 정보는 스파이크, 스파이크를 출력한 뉴런, 및 하나 이상의 다른 스파이크에 대한 스파이크 간의 시간에 기초한다.
스파이킹 뉴럴 네트워크(spiking neural network, SNN)는 이러한 생물학적 뉴런의 동작과 매우 유사한 동작을 갖도록 구성된다.
도 1을 참조하면, 스파이킹 뉴럴 네트워크(100)는 복수의 히든 레이어(hidden layer)를 포함하고, 히든 레이어들 각각은 복수의 인공 뉴런을 포함한다. 각 레이어는 시냅스를 통해 연결되어 뉴럴 네트워크를 구성한다.
예를 들어, 도 1에 도시된 바와 같이 스파이킹 뉴럴 네트워크(100)는 복수의 인공 뉴런을 포함한 히든 레이어(102) 및 히든 레이어(109)를 포함할 수 있다. 히든 레이어(102)는 시냅스의 네트워크(105)를 통해 히든 레이어(109)에 연결된다. 그러나, 상기 구조는 단지 예시적인 것으로서, 스파이킹 뉴럴 네트워크(100)는 2 이상의 히든 레이어를 더 포함하거나, 또는 단일 히든 레이어를 포함할 수 있다.
일부 실시예에서, 인공 뉴런의 일부는 측면 연결을 통해 동일 층의 다른 인공 뉴런에 연결될 수 있다. 또한, 인공 뉴런의 일부는 피드백 연결 등을 통해 이전 히든 레이어의 인공 뉴런에 연결될 수 있다.
스파이킹 뉴럴 네트워크(100)는 막전위가 일정한 임계치에 도달하면 발화하여 스파이크를 출력하도록 구성되는 인공 뉴런을 포함한다. 여기서 인공 뉴런의 막전위는 인공 뉴런의 상태를 나타내는 값으로서, 일 실시예에서, 인공 뉴런의 출력 신호가 전기적 신호(예컨대, 전류)인 경우, 인공 뉴런의 전기적 신호의 강도(예컨대, 전위 값)일 수 있다.
히든 레이어(102)의 각각의 인공 뉴런은 이전 히든 레이어(미도시)의 입력에 의해 생성될 수도 있는 신호(101)를 입력 신호로 수신할 수 있다. 일 실시예에서, 신호(101)는 히든 레이어(102)의 입력(예컨대, 입력 전류)을 나타낼 수 있다. 히든 레이어(102)의 인공 뉴런에 대한 입력들은 해당 인공 뉴런의 막 전위를 충전시킨다. 막 전위가 그 임계치에 도달할 때, 인공 뉴런은 다음의 인공 뉴런들을 포함한 히든 레이어(예를 들어, 히든 레이어(109))로 전달될 스파이크를 발화하게 된다.
이전 히든 레이어로부터 다음 히든 레이어로의 스파이크의 전달은 도 1에 도시된 바와 같이, 시냅스 연결의 네트워크(또는 "시냅스 네트워크"로 지칭됨)(105)를 통해 수행된다. 시냅스 네트워크(105)는 시냅스 네트워크(105)에 대한 시냅스 이전(pre-synaptic) 뉴런인 히든 레이어(102)의 인공 뉴런으로부터 스파이크를 수신한다.
일 실시예에서, 시냅스 네트워크(105)에는 하나 이상의 가중치가 부여될 수 있다. 예를 들어, 시냅스 네트워크(105)의 입력 신호는 조정 가능한 가중치(w1, ??., ws)(여기서, s는 히든 레이어(102, 109) 사이의 시냅스 연결의 수이다)에 따라 스케일링될 수 있다. 상기 스파이킹 뉴럴 네트워크(100)의 가중치(w1, ??, ws)는 음수가 될 수 있다.
다른 일 실시예에서, 시냅스 네트워크(105)는 가중치가 적어도 일부 적용되지 않도록 구성될 수도 있다.
이러한 시냅스 네트워크(105) 내 신호는 히든 레이어(109)에 포함된 인공 뉴런에 대하여 각각의 입력 신호로서 조합될 수 있다. 히든 레이어(109)는 히든 레이어(109)의 모든 인공 뉴런에 대응하는 조합된 입력 신호에 기초하여 스파이크(110)를 생성하고 출력할 수 있다. 히든 레이어(109)의 출력 스파이크(110)는 다른 시냅스 네트워크(미도시)를 통해 다른 레이어(예컨대, 또 다른 히든 레이어(미도시) 또는 출력 레이어(미도시))로 전달될 수 있다.
이와 같이, 스파이킹 뉴럴 네트워크(100)는 뉴런 및 시냅스 상태뿐만 아니라 그 동작 모델에 시간의 개념을 통합한 뉴럴 네트워크이다.
본 발명에 따르면, 상기 스파이킹 뉴럴 네트워크(100)를 이용하여 미리 결정된 네트워크의 기능을 수행할 수 있다.
일 실시예에서, 상기 스파이킹 뉴럴 네트워크(100)는 미리 학습된 아날로그 뉴럴 네트워크에 기초하여 생성된다. 예를 들어, 상기 스파이킹 뉴럴 네트워크(100)의 구조 및 파라미터는 아날로그 뉴럴 네트워크에 의존할 수 있다. 이에 대해서는 아래의 도 6을 참조하여 보다 상세하게 서술한다.
도 2는, 본 발명의 일 실시예에 따른, 스파이킹 뉴럴 네트워크(100)를 이용한 추론 방법의 흐름도이다.
상기 스파이킹 뉴럴 네트워크(100)의 기능은 미리 학습된 아날로그 뉴럴 네트워크의 기능에 기초하여 결정된다. 예를 들어, 상기 스파이킹 뉴럴 네트워크(100)의 기초가 된 아날로그 뉴럴 네트워크가 학습 데이터에 기초하여 입력 데이터에 대응하는 결과를 출력하는 추론 기능을 갖도록 학습된 경우, 상기 스파이킹 뉴럴 네트워크의 기능은 추론 기능으로 결정된다.
이하, 설명의 명료성을 위해, 스파이킹 뉴럴 네트워크(100)의 기능을 추론 기능으로 지칭하여 본 발명을 설명한다. 그러나, 상기 스파이킹 뉴럴 네트워크(100)의 기초가 되는 아날로그 뉴럴 네트워크의 기능이 추론 기능 이외인 경우, 상기 스파이킹 뉴럴 네트워크(100)의 기능이 추론 기능에 제한되지 않는 것이 통상의 기술자에게 명백할 것이다. 도 2를 참조하면, 네트워크 기능 수행 방법(즉, 추론 방법)은 복수의 레이어를 포함한 스파이킹 뉴럴 네트워크에 입력 신호를 입력하는 단계(S210); 상기 입력 신호에 기초하여 출력 스파이크를 출력하는 단계(S230)를 포함한다. 또한, 일부 실시예에서, 상기 출력 스파이크에 기초하여 입력 신호에 대응하는 결과를 결정하는 단계(S250)를 더 포함할 수 있다.
상기 스파이킹 뉴럴 네트워크(100)는 레이어 간 전달 과정에서의 정보의 손실이 최소화되고, 더 빠른 시스템 구동이 가능하며, 네트워크의 성능을 향상시킬 수 있도록 더 구성된다. 도 3은, 본 발명의 일 실시예에 따른, 음의 막전위를 가질 수 있는 인공 뉴런을 설명하기 위한 도면이다.
도 3을 참조하면, 스파이킹 뉴럴 네트워크(100)의 인공 뉴런은 음의 막전위(negative membrane potential)를 갖는 것이 허용된다. 이로 인해, 본 발명의 스파이크 뉴럴 네트워크(100)의 인공 뉴런은 음의 가중치와 연결된 입력을 수신하는 경우, 이러한 입력이 축적되는 시간 동안 인공 뉴런의 막전위는 음의 값을 가질 수 있다.
아날로그 뉴럴 네트워크의 활성과 스파이킹 뉴럴 네트워크의 활성이 동등하다는 전제하에 아날로그 뉴럴 네트워크를 이용하여 스파이킹 뉴럴 네트워크를 구성할 수 있다. 아날로그 뉴럴 네트워크의 정류선형유닛(Rectified Linear Unit, ReLU) 함수에서는 가중치 합(weighted sum)이 음수인 경우에는 출력 값이 0이다. 따라서, 종래에는 이러한 특성을 인공 뉴런(예컨대, integrate-fire neuron)의 출력 활성으로 모사할 때, 막전위가 허용할 수 있는 하한값을 0으로 제한해왔다.
그러나 스파이킹 뉴럴 네트워크(100)에서는 시간에 따라서 이산적으로 분포하는 스파이크들의 빈도(frequency), 개수, 시간 간격에 따라서 정보가 표현되고, 이들이 입력되어 막전위에서 합해진다.
따라서 매 시간마다 들어오는 입력 중, 음의 가중치와 연결된 입력의 효과가 더 우세하여 가중된 입력의 합이 음의 값이 되었을 때 막전위의 하한값을 0으로 제한해 버린다면, 전체 네트워크의 동작(예컨대, 추론 동작) 시간 동안에 총 신호의 축적량은 아날로그 뉴럴 네트워크의 ReLU 함수와 동등하지 않게 된다. 즉, 매 시간마다 순간적으로 0 이하의 막전위로 내려가지 못한 부분만큼 정확하게 동일한 양의 축적이 더 일어나며, 이는 인공 뉴런의 출력을 과잉발화(overfire)하게 만드는 오차로써 작용한다. 이러한 오차는 많은 수의 히든 레이어를 갖는 심층 뉴럴 네트워크(deep neural network)에서 더욱 심하게 일어나는데, 앞선 층에서 과잉 발화하여 다음 층으로 전달된 입력에 또 다시 막전위의 하한값을 0으로 제한함으로서 생기는 에러가 더해져서 최종 출력에서의 발화율은 아날로그 뉴럴 네트워크의 ReLU 함수의 출력 특성과 큰 차이를 보이게 된다.
반면, 도 3에 도시된 바와 같이, 스파이킹 뉴럴 네트워크(100)의 인공 뉴런이 수신한, 가중된 입력의 합이 음의 값을 갖는 경우, 음의 막전위를 가질 수 있도록 구성된다. 인공 뉴런이 충분한 음의 막전위를 가질 수 있으면, 네트워크(100)의 정보 손실 및 시스템 성능 저하가 최소화된다.
일부 실시예에서, 스파이킹 뉴럴 네트워크(100)의 모든 인공 뉴런에 대해서 음의 막 전위가 허용될 수 있다.
추가적으로, 스파이킹 뉴럴 네트워크(100)는 네트워크 구조 측면에서 성능 향상을 위한 다른 특징을 갖도록 더 구성될 수 있다.
도 4는, 본 발명의 일 실시예에 따른, 소정의 값으로 사전 충전된 막전위를 갖는 인공 뉴런을 설명하기 위한 도면이다.
심층 스파이킹 뉴럴 네트워크(100)의 구조 특성 상 이전 레이어(예컨대, 히든 레이어(102))로부터 출력 신호(예컨대, 스파이크)가 적절한 시간에 출력되지 않는다면 다음 레이어(예컨대, 히든 레이어(109))에서도 적절한 시간에 출력 신호(110)를 얻을 수 없다. 전술한 바와 같이, 스파이킹 뉴럴 네트워크(100)의 출력 스파이크는 입력 신호에 의한 막전위가 임계치에 도달함으로써 출력된다. 따라서, 종래의 스파이킹 뉴럴 네트워크는 출력 스파이크가 출력되기까지 일정 시간이 걸리고, 결국, 네트워크의 최고 성능을 얻기 위해서는 상당한 시간이 요구된다. 최고 성능을 얻기 이전에 스파이킹 뉴럴 네트워크가 추론 등의 동작을 수행하는 경우, 낮은 성능이 나타난다. 결국, 종래의 스파이킹 뉴럴 네트워크를 이용하는 시스템은 구동 시간이 오래 걸리는 한계가 있다. 통상적으로 상기 상당한 시간은 내부 지연 시간으로 지칭된다.
반면, 도 4를 참조하면, 스파이킹 뉴럴 네트워크(100)의 인공 뉴런은 최초의 입력 신호를 수신하는 시점이전에 소정의 막전위를 갖도록 설정된다. 즉, 상기 인공 뉴런은 사전 충전된 막전위(pre-charged Vmem)를 가진다.
이와 같이 스파이킹 뉴럴 네트워크(100)의 인공 뉴런이 사전 충전된 막전위를 가질 경우, 입력 신호에 의한 인공 뉴런의 막전위 변화는 상기 사전 충전된 막전위를 기준으로 개시된다. 따라서, 인공 뉴런의 막전위 상태는 상기 사전 충전된 막전위에 대응하는 소정 전위 값만큼 출력 스파이크를 발화하는 임계치에 신속하게 도달할 수 있다.
그 결과, 소정의 값으로 막전위가 사전 충전된 인공 뉴런에서는 막전위가 사전 충전되지 않은 인공 뉴런에 비해 첫 출력 스파이크가 발생하기까지의 시간이 더 적게 요구된다.
사전 충전된 막전위는 첫 스파이크의 출력 발생 시점을 앞당길 뿐, 그 다음 축적은 뉴런의 막전위 초기화 과정(reset)에 의해 정해진 부분부터 시작되므로 내부 지연을 줄이는 작용을 하고, 전체 네트워크의 성능 저하를 가져오지 않는다.
일 실시예에서, 스파이킹 뉴럴 네트워크(100)의 인공 뉴런은 첫 입력 신호를 수신하기 이전에 미리 설정된 값을 기준으로 입력 신호에 의한 막전위의 충전이 개시되도록 구성될 수 있다.
여기서, 상기 소정의 값(즉, 사전 충전된 막전위)은 입력 신호 및 임계치에 기초하여 설정된다. 예를 들어, 특정 입력 신호가 사전 충전되지 않은 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크(100)에 입력되는 경우, 이전 레이어(예컨대, 히든 레이어(102)))의 막전위가 임계치에 도달하지 못하여 이전의 출력 스파이크가 출력되지 않는다면 다음 레이어(예컨대, 히든 레이어(109))의 출력 스파이크가 발생하지 않는다. 반면, 상기 특정 입력 신호가 사전 충전된 스파이킹 뉴럴 네트워크(100)에 입력되는 경우 이전의 출력 스파이크가 출력되어 다음 레이어(예컨대, 히든 레이어(109))의 출력 스파이크가 발생 가능한 값이다. 따라서, 소정의 막전위 값이 충전되기 이전에는 출력 스파이크를 야기할 수 없는 입력 신호가 입력되는 경우에도 도 4의 스파이킹 뉴럴 네트워크(100)의 인공 뉴런은 출력 스파이크를 출력할 수 있다.
상기 소정의 값은 뉴럴 네트워크의 구조, 입력되는 입력 신호에 기초하여 설정된다.
일부 실시예에서, 스파이킹 뉴럴 네트워크(100)의 모든 인공 뉴런에 대하여 소정의 막전위 값이 사전 충전되도록 설정될 수 있다.
이와 같이, 본 발명의 스파이킹 뉴럴 네트워크(100)는 인공 뉴런의 막전위를 사전 충전함으로써 내부 지연시간을 크게 줄일 수 있다. 따라서, 전술한 특징들을 갖는 스파이킹 뉴럴 네트워크(100)을 통해 네트워크 기능(예컨대, 추론 또는 인식 등)을 수행하는 경우 개선된 시스템 성능을 얻을 수 있다.
추가적으로, 본 발명의 스파이킹 뉴럴 네트워크(100)를 이용한 네트워크 기능을 수행하는 방법(즉, 추론 방법)은 네트워크 구성 측면 이외에도 네트워크 기능 수행 측면에서 시스템 성능을 향상시킬 수 있다.
다시 도 2를 참조하면, 단계(S210)에서 전술한 구조적 특징들 중 적어도 하나를 갖는 스파이킹 뉴럴 네트워크(100)가 입력 신호를 수신하면, 스파이킹 뉴럴 네트워크(100) 내 레이어에서 스파이크의 전달에 의해 출력 스파이크가 출력되고(S230), 스파이킹 뉴럴 네트워크(100)의 출력 스파이크를 이용하여 입력 신호에 대응하는 결과가 결정된다(S250).
일반적인 스파이킹 뉴럴 네트워크를 이용한 추론 과정은 네트워크가 입력 신호를 수신함과 동시에 추론 동작을 시작한다. 즉, 네트워크에서 출력된 출력 스파이크 전부가 추론 동작에 이용된다. 그러나, 본 발명의 일 실시예에 따르면, 네트워크가 입력 신호를 수신한 시점으로부터 소정 시간 이후에 추론 동작이 수행된다.
도 5는, 본 발명의 일 실시예에 따른, 지연 추론 동작을 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 스파이킹 뉴럴 네트워크(100)를 이용한 추론 방법에서는 네트워크의 기능을 위한 특정 동작(예컨대, 추론 동작)을 네트워크(100)가 동작을 개시하는 시점으로부터 소정 시간 이후에 수행한다. 즉, 소정의 시간 전까지 나오는 출력들을 무시하고, 그 이후의 스파이크만으로 네트워크의 기능이 수행된다. 여기서, 스파이킹 뉴럴 네트워크(100)의 동작 시점은 네트워크(100)가 입력 신호를 수신하는 시점 또는 0타임스텝 개시 시점을 나타낸다.
이와 같이, 네트워크(100)의 추론 동작이, 입력 시점으로부터 소정 시간 이후에 실질적으로 수행됨으로, 이러한 네트워크(100)의 동작 실시 양태를 지연(delay)으로 표현할 수 있다.
사전 막전위가 충전된 축적-발화 인공 뉴런(integrate-fire neuron)으로 구성한 스파이킹 뉴럴 네트워크의 경우, 출력 레이어에서 출력 스파이크가 발생한 초기 시점에 상당한 오차가 발생할 수 있다. 통상적으로 상기 오차는 오버슈트(overshoot)로 지칭된다.
그러나, 시간이 지날수록 오차의 영향이 줄어들며, 사전 충전이 없는 경우의 임계치에 도달하는 시간을 지나면 오차는 더욱 줄어든다. 즉, 오차 정보는 스파이킹 뉴럴 네트워크의 출력 스파이크가 최초로 출력되는 시점으로부터 초기에 집중되어 있다.
따라서, 도 5에 도시된 바와 같이, 스파이킹 뉴럴 네트워크(100)가 동작하는 시점으로부터 소정의 시간 이후 네트워크(100)에서 출력되는 출력 스파이크를 이용한다면 오버슈트(overshoot)에 의한 영향이 줄어들어, 스파이킹 뉴럴 네트워크(100)의 결과(즉, 정보)를 활용하여 네트워크(100) 기능을 수행하는데 있어 보다 높은 성능을 가진다.
이를 위해, 일 실시예에서, 단계(S250)에서, 스파이킹 뉴럴 네트워크(100)는 네트워크(100)의 동작 시점으로부터 소정의 시간 동안 네트워크(100)의 출력 스파이크를 필터링하고, 상기 소정 시간 이후의 출력 스파이크에 기초하여 지연 추론 동작함으로써, 스파이킹 뉴럴 네트워크의 특성에 따른 오차영향을 최소화하여 높은 성능을 신속하게 얻을 수 있다.
상기 소정의 시간은 스파이킹 뉴럴 네트워크(100)의 결과 및 상기 스파이킹 뉴럴 네트워크(100)에 대응하는 아날로그 뉴럴 네트워크의 결과에 기초하여 설정된다. 여기서 대응하는 아날로그 뉴럴 네트워크는 스파이킹 뉴럴 네트워크(100)의 모델링에 활용된 아날로그 뉴럴 네트워크를 지칭한다.
또한, 상기 소정의 시간은 내부 지연 시간 및 과잉 발화에 기초하여 네트워크(100) 성능 개선 측면과 네트워크(100) 처리 속도 측면에서 적절한 값으로 설정될 수도 있다.
일 실시예에서, 지연 추론 동작이 시작되는 지연 시간은 스파이킹 뉴럴 네트워크(100)의 평균 발화율(N(t))과 대응 아날로그 뉴럴 네트워크의 평균 출력 값(V)의 비율이 최대가 되는 시점 이후로 설정된다.
일부 실시예에서, 상기 지연 시간은 스파이킹 뉴럴 네트워크(100)의 출력 레이어(l.o)의 평균 발화율(Nl.o(t))과 대응 아날로그 뉴럴 네트워크의 평균 출력 값에 기초하여 설정될 수도 있다.
그리고, 지연 시간은 지연 추론 동작이 수행되지 않는 스파이킹 뉴럴 네트워크(100)의 성능이 최고가 되는 시점 이전으로 설정된다. 예를 들어, 사전 충전이 없는 경우의 스파이킹 뉴럴 네트워크(100)의 성능이 최고가 되는 시점 또는 지연 시간은 사전 충전이 있는 경우 성능이 최고가 되는 시점 이전으로 설정된다. 지연 추론 동작이 수행되지 않는 스파이킹 뉴럴 네트워크(100)의 성능이 최고가 되는 시점 이후로 지연 시간이 설정되는 경우, 종래의 스파이킹 뉴럴 네트워크 보다 더 늦은 처리 속도를 얻기 때문이다. 일부 실시예에서, 지연 시간은 막전위 충전이 개시되는 소정의 값 미리 설정된 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크의 성능이 최고가 되는 시점(제1 시점) 또는 막전위 충전이 개시되는 소정의 값 미리 설정되지 않은 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크의 성능이 최고가 되는 시점(제2 시점) 이전으로 설정될 수 있다. 예를 들어, 상기 제1 시점 및 제2 시점 중에서 빠른 시점 이전으로 설정될 수 있다.
이러한 지연 시간에 기초하여 네트워크(100) 동작을 수행하는 경우, 네트워크(100)의 성능이 최고가 되는 시간이 단축된다.
예를 들어, 스파이킹 뉴럴 네트워크(100)의 동작 이후의 모든 출력 스파이크를 이용할 경우 네트워크(100)의 최고 성능에 도달하는 제1 시간(예컨대, 180 타임스텝)에 있어서, 스파이킹 뉴럴 네트워크(100)의 동작 시점으로부터 소정 시간(예컨대, 30 타임스텝) 이후의 출력 스파이크를 이용하는 경우, 상기 소정 시간 이후로부터 제2 시간(예컨대, 50 타임스텝)이 요구될 수 있다. 이 경우, 상기 제2 시간과 소정 시간의 합(즉, 80 타임스텝)이 상기 제1 시간 보다 적은 시간이다. 즉, 네트워크(100)가 가장 높은 성능을 보이는데까지 걸리는 시간은 상기 지연 시간을 고려하더라도 훨씬 단축될 수 있다.
다른 실시예에서, 상기 지연 추론 동작은 네트워크의 성능을 평가하는데 활용될 수 있다. 예를 들어, 네트워크의 성능을 평가하기 위해, 상기 지연 시간 이후의 출력 스파이크가 이용될 수 있다.
이와 같이, 본 발명의 실시예들에 따르면 정보의 손실이 없고, 내부 지연시간이 적으며, 우수한 추론 능력을 갖는 스파이킹 뉴럴 네트워크(100)를 제공할 수 있다.
본 발명의 실시예들에 따른 스파이킹 뉴럴 네트워크(100)의 생성은 아날로그 뉴럴 네트워크를 이용하여 수행될 수 있다.
상기 아날로그 뉴럴 네트워크는 복수의 히든 레이어를 포함하는 심층 뉴럴 네트워크로서, 예를 들어, 컨볼루션 뉴럴 네트워크(CNN, Convolutional Neural Network)를 포함할 수 있다.
도 6은, 본 발명의 일 실시예에 따른, 스파이킹 뉴럴 네트워크를 생성하는 방법의 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 스파이킹 뉴럴 네트워크 생성 방법은 미리 학습된, 복수의 노드를 포함한 아날로그 뉴럴 네트워크의 구조에 기초하여 복수의 인공 뉴런을 포함한 스파이킹 뉴럴 네트워크의 구조를 형성하는 단계(S610); 상기 아날로그 뉴럴 네트워크의 파라미터에 기초하여 상기 스파이킹 뉴럴 네트워크의 파라미터를 결정하는 단계(S620); 및 상기 스파이킹 뉴럴 네트워크의 파라미터 및 구조를 결합하여 스파이킹 뉴럴 네트워크를 생성하는 단계(S630)를 포함한다.
단계(S610)에서, 일 실시예에서, 스파이킹 뉴럴 네트워크(100)의 구조는 스파이킹 뉴럴 네트워크(100)의 인공 뉴런과 아날로그 뉴럴 네트워크의 노드에 일대일 대응하여 형성될 수 있다. 이로 인해, 스파이킹 뉴럴 네트워크(100)의 레이어는 아날로그 뉴럴 네트워크의 레이어에 일대일 대응하도록 구성된다.
단계(S610)는, 음의 막전위를 가질 수 있는 인공 뉴런을 형성하는 단계를 포함한다. 일 실시예에서, 스파이킹 뉴럴 네트워크(100)의 인공 뉴런은 음의 가중치와 연결된 신호를 수신하는 경우 음의 막전위를 가질 수 있도록 구성될 수 있다.
또한, 일 실시예에서, 스파이킹 뉴럴 네트워크(100)의 인공 뉴런은 소정의 값이 사전 충전되도록 구성된 사전 충전 인공 뉴런일 수 있다. 상기 소정의 값은 아래의 단계(S630) 이후에 설정되어 충전될 수 있다.
단계(S620)는, 미리 학습된 아날로그 뉴럴 네트워크의 파라미터에 기초하여 상기 스파이킹 뉴럴 네트워크의 파라미터를 결정하는 단계를 포함한다. 예를 들어, 스파이킹 뉴럴 네트워크(100)의 가중치는 아날로그 뉴럴 네트워크의 파라미터를 정규화하여 결정될 수 있다.
상기 아날로그 뉴럴 네트워크는 복수의 레이어들을 포함할 수 있고, 레이어들 각각은 복수의 단위들을 포함할 수 있다. 이웃한 레이어들의 단위들은 시냅스들로 연결될 수 있다. 다양한 아날로그 뉴럴 네트워크의 학습 방법에 따라 아날로그 뉴럴 네트워크 내 시냅스들에는 가중치들이 부여될 수 있고, 아날로그 뉴럴 네트워크의 파라미터들은 이러한 가중치들을 포함할 수 있다. 또한, 아날로그 뉴럴 네트워크의 파라미터들은 복수의 단위들에 적용된 바이어스를 더 포함할 수도 있다.
일 실시예에서, 기 학습된 아날로그 뉴럴 네트워크의 파라미터에서 미리 학습된 아날로그 뉴럴 네트워크의 가중치는 아날로그 뉴럴 네트워크의 각 레이어에 포함된 노드들에 대하여 최대 활성 값과 최대 양의 가중치(positive weight) 중 더 큰 값을 기준으로 정규화하고, 정규화된 가중치에 기초하여 스파이킹 뉴럴 네트워크(100)의 가중치가 결정된다.
스파이킹 뉴럴 네트워크(100)가 이산적인 타임스텝(discrete timesteps) 동안 동작하는 경우, 인공 뉴런의 발화율은 역시간 레졸루션(inverse time resolution)에 의해 제한될 수 있다. 아날로그 뉴럴 네트워크는 이러한 제약이 없어, 아날로그 뉴럴 네트워크의 파라미터를 그대로 스파이킹 뉴럴 네트워크(100)에 적용하는 경우 포화가 발생한다. 따라서, 아날로그 뉴럴 네트워크의 파라미터(예컨대, 가중치)를 정규화하여 포화를 방지한다.
일부 실시예에서, 정규화 처리는 아날로그 뉴럴 네트워크에 있어서 네트워크의 입력 레이어부터 출력 레이어까지의 각 레이어 내 모든 노드에 대해 최대 활성 값과 최대 양의 가중치 중에서 더 큰 값을 기준으로 수행될 수 있다.
출력 특성이 포화되지 않도록 정규화된 최대 활성 값은 1 이하의 값을 갖도록 더 결정된다. 또한, 하나의 가중치가 너무 큰 활성을 유도하지 않도록 정규화된 가중치는 1 이하의 값을 갖도록 더 결정된다.
또한, 아날로그 뉴럴 네트워크의 파라미터는 활성화와 관련된 바이어스를 더 포함할 수 있다. 상기 바이어스에 대한 정규화는 전술한 가중치에 대한 정규화와 유사하므로, 자세한 설명은 생략한다.
일 실시예에서, 아날로그 뉴럴 네트워크가 평균 풀링 레이어를 포함하는 경우, 스파이킹 뉴럴 네트워크(100)의 평균 풀링 레이어에 대해서는, 스파이킹 뉴럴 네트워크(100)의 평균 풀링 레이어는 1/(이전 레이어의 인공 뉴런으로부터 연결된 가중치의 수)를 기본 가중치로 가지고, 기 평균 풀링 레이어의 기본 가중치는 평균 풀링 처리 이후의 신호가 다음 레이어의 인공 뉴런의 출력특성에 의한 포화를 야기하지 않도록 더 결정되는, 정규화 처리가 수행될 수 있다.
스파이킹 뉴럴 네트워크(100)의 파라미터의 결정하기 위한 상술한 방식은 단지 예시적인 것으로서, 본 발명은 이에 제한되지 않으며, 스파이킹 뉴럴 네트워크(100)의 목적, 구조 등을 더 고려한 다른 방식들에 의해 다양하게 수행될 수 있다는 것이 통상의 기술자들에게 명백할 것이다.
상기 스파이킹 뉴럴 네트워크(100)는 소프트웨어 또는 하드웨어로 구현(예컨대, 에뮬레이팅)될 수도 있다. 일 실시예에서, 스파이킹 뉴럴 네트워크(100)는 프로세서 및/또는 메모리를 포함한 컴퓨팅 장치에 의해 에뮬레이팅 또는 수행될 수 있다. 구체적으로, 상기 컴퓨팅 장치는 프로세서가 실행되는 경우, 상기 프로세서가 스파이킹 뉴럴 네트워크(100)를 생성하는 방법 및/또는 상기 스파이킹 뉴럴 네트워크(100)를 이용하는 추론 방법을 수행하게 하는 프로그램 명령어를 저장한 메모리를 포함할 수 있다.
다른 일 실시예에서, 스파이킹 뉴럴 네트워크(100)는 전기 회로에 의해 에뮬레이팅될 수 있다. 예를 들어, 스파이킹 뉴럴 네트워크(100)에서의 각각의 인공 뉴런은 뉴런 회로로 구현되며, 출력 스파이크를 개시하는 임계값까지 뉴런 막전위를 충전하는 것은, 예를 들어, 흐르는 전류를 통합하는 커패시터로서 구현될 수 있다.
본 발명의 실시예들에 따른 스파이킹 뉴럴 네트워크(100)는 단순히 분류(claissfication) 기능뿐만 아니라, 추론, 인지 등과 같은, 뉴럴 네트워크를 활용하는 모든 애플리케이션(예컨대, 회귀(regression), GAN(Generative Adversarial Network) 등)에 적용 가능하다.
일 실시예에서, 스파이킹 뉴럴 네트워크(100)를 이용한 추론 장치는 상술한 실시예들에 따른 스파이킹 뉴럴 네트워(100)를 이용하여 입력 데이터에 대응하는 결과를 출력하는 프로세서; 및 상기 프로세서에 의해 실행 가능한 명령어를 저장한 메모리를 포함한다. 여기서, 명령어는 전술한 스파이킹 뉴럴 네트워크(100)를 이용한 추론 방법을 구현하기 위한 명령어를 포함한다.
제1 실험예
본 발명의 스파이킹 뉴럴 네트워크(100)의 성능을 평가하기 위한 제1 실험예에서 이용되는 아날로그 뉴럴 네트워크는 CNN으로서, 상기 아날로그 뉴럴 네트워크의 구조는 9개의 히든 레이어 및 풀링 레이어를 포함한, 96c3(1) - 96c3(1) - 96c3(2) - 192c3(1) -192c3(1)- 192c3(2) - 192c3(1) - 192c1(1) - 10c1(1) - GAP(Global Average Pooling)의 구조를 가지며, 학습 및 테스트 데이터는 입력 데이터는 구글의 CIFAR10 데이터 세트이다. 여기서, 96c3로 표현된 히든 레이어는 96개의 출력 채널 및 3Х3 필터를 포함한다. 각 히든 레이어의 출력에는 활성 함수 ReLU가 적용된다.
상기 실험예에서, 스파이킹 뉴럴 네트워크(100) 또한 9개의 히든 레이어를 포함하며, 스파이킹 뉴럴 네트워크(100)의 파라미터는 CIFAR10을 이용하여 학습된 아날로그 뉴럴 네트워크의 파라미터에 기초하여 결정된다.
도 7a 내지 도 7c는, 본 발명의 제1 실험예에 따른, 음의 막전위 허용에 의한 네트워크 성능 개선을 설명하기 위한 도면이다.
도 7a는 아날로그 뉴럴 네트워크의 성능, 음의 막전위가 허용되지 않는 경우 및 허용되는 경우의 스파이킹 뉴럴 네트워크의 성능을 도시한다. 도 7a에 도시된 바와 같이, CIFAR10을 이용하여 학습된 아날로그 뉴럴 네트워크의 성능은 93.84%의 분류 정확도를 보인다. 한편, 음의 막전위가 허용된 경우의 스파이킹 뉴럴 네트워크(100)는 음의 막전위가 허용되지 않은 경우의 스파이킹 뉴럴 네트워크(100)에 비해 빠른 시간 내에 보다 높은 성능을 가진다. 특히, 음의 막전위를 허용하였을 경우에는 각각의 시간 동안 손실되는 정보가 없으므로 시간이 지남에 따라 아날로그 뉴럴 네트워크의 성능에 근접하는 것을 확인할 수 있다. 반면, 음의 막전위를 허용하지 않는 경우에는 손실되는 정보로 인해 낮은 성능을 보이며, 시간이 충분히 지난 후에도 90%에 미치지 못하는 결과를 보여준다.
도 7b는은 음의 막전위가 허용되지 않는 스파이킹 뉴럴 네트워크 및 음의 막전위가 허용되는 인공 뉴런의 막전위 및 그에 따른 결과를 도시한다.
스파이킹 뉴럴 네트워크의 9번째 레이어 내 동일한 인공 뉴런에 있어서, 동일한 입력 신호에도 불구하고, 도 7b의 상부에 도시된 바와 같이, 음의 막전위가 허용되지 않는 경우에 해당 인공 뉴런이 음의 막전위를 가질 수 없어, 음의 막전위가 허용되는 경우와 비교하여 막전위가 더 많이 축적된다.
그 결과, 도 7b의 하부에 도시된 바와 같이, 동일한 입력 신호에도 불구하고 상이한 출력 스파이크가 발생한다. 이와 같이, 음의 막전위를 허용하지 않는 경우에는 도 3의 스파이킹 뉴럴 네트워크(100)와 다른 측면에서 오버슈트(overshoot)가 발생하게 되고, 결국 출력 스파이크의 정확한 주파수를 얻을 수 없다.
도 7c는 타임스텝이 600인 경우 제1 히든 레이어 내지 제9 히든 레이어별 아날로그 뉴럴 네트워크와 스파이킹 뉴럴 네트워크(100)의 상관도를 도시한 도면이다. 여기서, 색은 각각의 히든 레이어를 나타내며, 예를 들어, 보라색 점 하나는 해당 타임스텝에서 출력 레이어에서의 스파이킹 뉴럴 네트워크(100)의 발화율과 아날로그 뉴럴 네트워크의 출력 값의 상관도를 나타낸다.
상기 스파이킹 뉴럴 네트워크(100)는 미리 학습된 아날로그 뉴럴 네트워크에 기초하여 생성되므로, 상기 스파이킹 뉴럴 네트워크(100)의 추론 동작은, 학습 데이터에 기초한 아날로그 뉴럴 네트워크의 추론 동작에 대응한다. 이러한 측면에서, 스파이킹 뉴럴 네트워크(100)의 성능은 아날로그 뉴럴 네트워크의 추론 동작과의 상관도(correlation)에 기초하여 평가될 수 있다.
도 7c에 도시된 바와 같이, 음의 막전위가 허용된 경우가 더 높은 상관도를 가진다. 상관도가 높을수록 스파이킹 뉴럴 네트워크(100)의 성능이 아날로그 뉴럴 네트워크의 성능에 근접함에 기초할 때, 음의 막전위가 허용되는 경우 스파이킹 뉴럴 네트워크(100)의 성능이 향상됨을 확인할 수 있다.
도 8a 및 도 8b는, 본 발명의 제1 실험예에 따른, 인공 뉴런의 사전 충전에 의한 네트워크 성능 개선을 설명하기 위한 도면이다.
도 8a는 소정의 막전위(예컨대, 0.4V) 값이 사전 충전된 경우와 사전 충전되지 않는 경우의 스파이킹 뉴럴 네트워크(100)의 성능을 도시한 도면이다.
도 8a에 도시된 바와 같이, 소정의 막전위가 사전 충전된 경우 그렇지 않은 경우 보다 빠르게 최고 성능에 도달한다.
도 8b는 9번째 히든 레이어(l9)에 소정의 막전위가 사전 충전된 경우와 사전충전되지 않은 경우의 스파이킹 뉴럴 네트워크의 성능을 도시한 도면이다. 스파이킹 뉴럴 네트워크(100)의 평균 발화율(N(t))와 아날로그 뉴럴 네트워크의 평균 출력 값의 비율이 1에 가까울수록 스파이킹 뉴럴 네트워크(100)의 성능이 아날로그 뉴럴 네트워크의 성능에 근접한다.
도 8b에 도시된 바와 같이, 타임스텝 초기에는 사전 충전에 의한 오버슈트(overshoot)가 발생한다. 그 후 시간이 지나면서 1에 가까워진다. 이와 같이 사전 충전된 경우의 스파이킹 뉴럴 네트워크(100)가 과잉발화를 거쳐 1에 도달하는 시간이 사전 충전이 되지 않는 경우에 비해 더 빠르므로, 사전 충전된 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크(100)의 데이터 처리, 시스템 구동 속도가 더 빠름을 확인할 수 있다.
도 9는, 본 발명의 제1 실험예에 따른, 지연 추론 동작의 네트워크 성능 개선을 설명하기 위한 도면이다.
도 9를 참조하면, 정보의 평가를 적절한 시간 이후부터 시작하는 기법(즉, 지연 추론 동작)이 적용된다.
출력 레이어(예컨대, 9번째 히든 레이어)를 통해 정보를 판단할 때, 네트워크가 동작되는 시점(즉, 타임스텝이 0에 해당되는 시점)으로부터 소정 시간 이내의 정보는 모두 필터링하고, 상기 소정 시간 이후로부터 정보를 판단하는 것과 같이, 지연 추론 동작을 수행한다.
도 9의 그래프와 같이, 예를 들어 50 타임스텝과 같은, 소정 시간 이후부터 정보를 판단하기 시작하면 처음부터 정보를 판단하는 경우 보다 빠르게 인식률이 수렴하여 최고 성능에 도달하는 것을 확인할 수 있다.
제2 실험예
본 발명의 스파이킹 뉴럴 네트워크(100)의 성능을 평가하기 위한 제2 실험예에서 이용되는 아날로그 뉴럴 네트워크의 구조는 20c5(1) - 50c3(1) - 500FC - 10FC의 구조를 가지며, 학습 및 시험 데이터는 구글의 MNIST의 데이터 세트이다. 여기서, 500FC로 표현된 레이어는 500개의 뉴런를 포함한 완전 연결 레이어(fully-connected layer)를 나타낸다. 각 히든 레이어의 출력에는 활성 함수 ReLU가 적용된다.
도 10은, 본 발명의 제2 실험예에 따른, 음의 막전위 허용에 의한 네트워크 성능 개선을 설명하기 위한 도면이다.
스파이킹 뉴럴 네트워크(100)의 출력과 실제 아날로그 뉴럴 네트워크(즉, CNN)의 출력 값 사이의 상관도(correlation plot)에서 그래프의 기울기가 1에 가까울수록 스파이킹 뉴럴 네트워크(100)의 출력이 실제 아날로그 뉴럴 네트워크의 출력 값을 잘 표현하는지를 나타낸다.
도 10을 참조하면, 음의 막전위를 허용하는 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크(100)의 경우 실제 아날로그 뉴럴 네트워크에 더 높은 상관도를 가진다. 반면, 음의 막전위가 허용되지 않는 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크(100)의 경우 상관도에서 다소 편차(두께)가 존재한다. 결국, 음의 막전위를 허용하는 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크(100)의 경우 더 높은 성능을 가지는 것을 확인할 수 있다.
도 11a및 도 11b는, 본 발명의 제2 실험예에 따른, 사전 충전의 네트워크 성능 개선을 설명하기 위한 도면이다.
도 11a는 소정의 막전위(예컨대, 0.4V) 값이 사전 충전된 경우와 사전 충전되지 않는 경우의 스파이킹 뉴럴 네트워크(100)의 성능을 도시한 도면이다.
도 11a에 도시된 바와 같이, 도 8a와 유사하게, 소정의 막전위가 사전 충전된 경우 그렇지 않은 경우 보다 빠르게 최고 성능에 도달한다.
도 11b를 참조하면, 사전 충전되지 않은 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크(100)는 아날로그 뉴럴 네트워크의 출력이 큰 값에 해당되는 영역에서 기울기가 1에 도달하지 못하는 딜레이(즉, 오차)가 존재한다. 반면, 사전 충전된 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크(100)에서는 오차가 없음을 확인할 수 있다.
이상에서 설명한 실시예들에 따른 장치 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
본 발명의 실시예들에 따른 스파이킹 뉴럴 네트워크(100)는 단순히 분류(claissfication) 기능뿐만 아니라, 추론과 같은, 뉴럴 네트워크를 활용하는 모든 애플리케이션(예컨대, 회귀(regression), GAN(Generative Adversarial Network) 등)에 적용 가능하다.
스파이킹 뉴럴 네트워크 기술은 최근 4차 산업의 핵심 기술인 기계 학습 분야에서 활발히 활용되는 아날로그 뉴럴 네트워크의 다음 세대의 버전으로 활용될 가능성이 매우 높다. 본 발명의 실시예들에 따른 스파이킹 뉴럴 네트워크(100)는 스파이킹 뉴럴 네트워크를 사용하는 소프트웨어 및/또는 하드웨어의 모든 분야에서 도입되어 고성능을 얻을 수 있으므로, 그 활용 가능성 및 경제적 가치가 무궁무진할 것으로 판단된다.

Claims (14)

  1. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 스파이킹 뉴럴 네트워크를 이용한 추론 방법에 있어서,
    복수의 레이어를 포함한 스파이킹 뉴럴 네트워크에 입력 신호를 입력하는 단계;
    상기 입력 신호에 기초하여 출력 스파이크를 출력하는 단계; 및
    상기 출력 스파이크에 기초하여 입력 신호에 대응하는 결과를 결정하는 단계를 포함하되,
    상기 스파이킹 뉴럴 네트워크는 미리 학습된 아날로그 뉴럴 네트워크에 기초하여 생성된 것이고, 상기 스파이킹 뉴럴 네트워크의 인공 뉴런은,
    가중된 입력의 합이 음의 값인 경우 음의 막전위를 가질 수 있는 것을 특징으로 하는 추론 방법.
  2. 제1항에 있어서, 상기 스파이킹 뉴럴 네트워크는,
    미리 학습된, 복수의 노드를 포함한 아날로그 뉴럴 네트워크의 구조에 기초하여 복수의 인공 뉴런을 포함한 스파이킹 뉴럴 네트워크의 구조를 형성하고, 상기 아날로그 뉴럴 네트워크의 파라미터에 기초하여 상기 스파이킹 뉴럴 네트워크의 파라미터를 결정하며, 그리고 상기 스파이킹 뉴럴 네트워크의 파라미터 및 구조를 결합하여 생성된 것을 특징으로 하는 추론 방법.
  3. 삭제
  4. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 스파이킹 뉴럴 네트워크를 이용한 추론 방법에 있어서,
    복수의 레이어를 포함한 스파이킹 뉴럴 네트워크에 입력 신호를 입력하는 단계;
    상기 입력 신호에 기초하여 출력 스파이크를 출력하는 단계; 및
    상기 출력 스파이크에 기초하여 입력 신호에 대응하는 결과를 결정하는 단계를 포함하되,
    상기 스파이킹 뉴럴 네트워크는 미리 학습된 아날로그 뉴럴 네트워크에 기초하여 생성된 것이고, 상기 스파이킹 뉴럴 네트워크의 인공 뉴런은,
    상기 입력 신호를 수신하기 이전에 미리 설정된 값을 기준으로 막전위의 충전이 개시되도록 구성되는 것을 특징으로 하는 추론 방법.
  5. 제4항에 있어서, 상기 막전위의 충전에 대해서 미리 설정된 값은,
    입력 신호 및 임계치에 기초하여 설정되는 것을 특징으로 하는 추론 방법.
  6. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 스파이킹 뉴럴 네트워크를 이용한 추론 방법에 있어서,
    복수의 레이어를 포함한 스파이킹 뉴럴 네트워크에 입력 신호를 입력하는 단계;
    상기 입력 신호에 기초하여 출력 스파이크를 출력하는 단계; 및
    상기 출력 스파이크에 기초하여 입력 신호에 대응하는 결과를 결정하는 단계를 포함하되,
    상기 스파이킹 뉴럴 네트워크는 미리 학습된 아날로그 뉴럴 네트워크에 기초하여 생성된 것이고, 상기 결과를 결정하는 단계는,
    상기 스파이킹 뉴럴 네트워크의 동작 시점으로부터 소정 시간 이후에 입력 신호에 대응하는 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 추론 방법.
  7. 제6항에 있어서, 상기 결과를 결정하는 단계는,
    상기 스파이킹 뉴럴 네트워크가 입력 신호를 수신하는 시점으로부터 상기 소정 시간 이내의 상기 스파이킹 뉴럴 네트워크의 출력 스파이크를 필터링하고, 상기 소정 시간 이후의 출력 스파이크를 이용하는 것을 특징으로 하는 추론 방법.
  8. 제6항에 있어서, 상기 소정 시간은,
    상기 스파이킹 뉴럴 네트워크의 평균 발화율(N(t))과 상기 스파이킹 뉴럴 네트워크에 대응하는 아날로그 뉴럴 네트워크의 평균 출력 값의 비율이 최대가 되는 시점 이후로 설정되는 것을 특징으로 하는 추론 방법.
  9. 제8항에 있어서, 상기 소정 시간은,
    막전위 충전이 개시되는 소정의 값이 미리 설정된 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크의 성능이 최고가 되는 시점 또는 막전위 충전이 개시되는 소정의 값이 미리 설정되지 않은 인공 뉴런을 갖는 스파이킹 뉴럴 네트워크의 성능이 최고가 되는 시점 이전으로 더 설정되는 것을 특징으로 하는 추론 방법.
  10. 컴퓨터에 의해 판독가능하고, 상기 컴퓨터에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨터의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항, 제2항, 제4항 내지 제9항 중 어느 하나의 항에 따른 추론 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
  11. 스파이킹 뉴럴 네트워크를 이용한 추론 장치에 있어서,
    추론을 위해, 복수의 인공 뉴런을 포함한 스파이킹 뉴럴 네트워크를 이용하여 입력 데이터에 대응하는 결과를 출력하는 프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어를 저장한 메모리를 포함하고,
    상기 스파이킹 뉴럴 네트워크의 인공 뉴런은,
    가중된 입력의 합이 음의 값인 경우, 음의 막전위를 가질 수 있도록 구성되는 것을 특징으로 하는 추론 장치.
  12. 삭제
  13. 스파이킹 뉴럴 네트워크를 이용한 추론 장치에 있어서,
    추론을 위해, 복수의 인공 뉴런을 포함한 스파이킹 뉴럴 네트워크를 이용하여 입력 데이터에 대응하는 결과를 출력하는 프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어를 저장한 메모리를 포함하고,
    상기 스파이킹 뉴럴 네트워크의 인공 뉴런은 상기 입력 데이터를 수신하기 이전에 미리 설정된 값을 기준으로 막전위의 충전이 개시되도록 구성되는 것을 특징으로 하는 추론 장치.
  14. 스파이킹 뉴럴 네트워크를 이용한 추론 장치에 있어서,
    추론을 위해, 복수의 인공 뉴런을 포함한 스파이킹 뉴럴 네트워크를 이용하여 입력 데이터에 대응하는 결과를 출력하는 프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어를 저장한 메모리를 포함하고,
    상기 프로세서는,
    상기 스파이킹 뉴럴 네트워크의 동작 시점으로부터 소정 시간 이후에 추론 동작을 수행하도록 더 구성되는 것을 특징으로 하는 추론 장치.
KR1020190016291A 2019-02-12 2019-02-12 스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치 KR102288075B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190016291A KR102288075B1 (ko) 2019-02-12 2019-02-12 스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치
US16/693,029 US20200257973A1 (en) 2019-02-12 2019-11-22 Inference method and device using spiking neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190016291A KR102288075B1 (ko) 2019-02-12 2019-02-12 스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200098308A KR20200098308A (ko) 2020-08-20
KR102288075B1 true KR102288075B1 (ko) 2021-08-11

Family

ID=71945280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190016291A KR102288075B1 (ko) 2019-02-12 2019-02-12 스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치

Country Status (2)

Country Link
US (1) US20200257973A1 (ko)
KR (1) KR102288075B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102515089B1 (ko) 2020-10-22 2023-03-27 경북대학교 산학협력단 초저전력 소비를 위한 스파이킹 뉴럴 네트워크(snn) 하드웨어의 동작 방법, 이를 수행하기 위한 회로
KR102535007B1 (ko) 2020-11-13 2023-05-19 숭실대학교 산학협력단 Snn 모델 파라미터를 기반으로 모델 수행을 위한 뉴로모픽 아키텍처 동적 선택 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102514656B1 (ko) * 2021-11-04 2023-03-29 서울대학교산학협력단 스파이킹 뉴럴 네트워크 제공 장치 및 그 동작 방법
KR20230096658A (ko) 2021-12-23 2023-06-30 한국전자기술연구원 하이브리드 이진 심층 신경망 기반의 데이터 압축 및 복원 시스템 및 방법
KR20230096657A (ko) 2021-12-23 2023-06-30 한국전자기술연구원 Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법
CN117493955A (zh) * 2023-11-01 2024-02-02 北京大学 一种癫痫患者的脑电信号分类模型的训练方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150134582A1 (en) 2013-11-08 2015-05-14 Qualcomm Incorporated Implementing synaptic learning using replay in spiking neural networks
KR20160112186A (ko) * 2015-03-18 2016-09-28 삼성전자주식회사 뉴럴 네트워크에서 이벤트에 기반한 학습 방법 및 장치
KR102565273B1 (ko) * 2016-01-26 2023-08-09 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 학습 방법
KR20180048109A (ko) * 2016-11-02 2018-05-10 삼성전자주식회사 뉴럴 네트워크 변환 방법 및 이를 이용한 인식 장치

Also Published As

Publication number Publication date
KR20200098308A (ko) 2020-08-20
US20200257973A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
KR102288075B1 (ko) 스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치
KR20170031695A (ko) 신경망들에서의 콘볼루션 동작의 분해
KR20160084401A (ko) 스파이킹 뉴럴 네트워크들에서 리플레이를 사용한 시냅스 학습의 구현
KR20170041724A (ko) 비동기 펄스 변조를 이용한 인공 뉴런들 및 스파이킹 뉴런들
US20150248609A1 (en) Neural network adaptation to current computational resources
KR20160138002A (ko) 스파이킹 dbn (deep belief network) 에서의 트레이닝, 인식, 및 생성
EP3063706A2 (en) Methods and apparatus for tagging classes using supervised learning
US20150046382A1 (en) Computed synapses for neuromorphic systems
WO2015112643A1 (en) Monitoring neural networks with shadow networks
Han et al. Efficient self-organizing multilayer neural network for nonlinear system modeling
US11238333B2 (en) STDP with synaptic fatigue for learning of spike-time-coded patterns in the presence of parallel rate-coding
US9361545B2 (en) Methods and apparatus for estimating angular movement with a single two dimensional device
US9710749B2 (en) Methods and apparatus for implementing a breakpoint determination unit in an artificial nervous system
US10552734B2 (en) Dynamic spatial target selection
KR20160062052A (ko) 뉴럴 역학을 수정하기 위한 자동화 방법
Miao et al. A supervised multi-spike learning algorithm for spiking neural networks
Xiao et al. A spiking neural network model for sound recognition
US9269045B2 (en) Auditory source separation in a spiking neural network
KR101825933B1 (ko) 좌표 변환을 위한 위상 코딩
US9449272B2 (en) Doppler effect processing in a neural network model
Jin et al. Calcium-modulated supervised spike-timing-dependent plasticity for readout training and sparsification of the liquid state machine
KR20210146002A (ko) 다층 스파이킹 뉴럴 네트워크의 학습 방법 및 장치
Scardapane et al. Significance-based pruning for reservoir’s neurons in echo state networks
Christodoulou et al. Temporal Pattern Detection and Recognition Using the Temporal Noisy Leaky Integrator Neuron Model with the Postsynaptic Delays Trained Using Hebbian Learning
Guo et al. A novel biologically plausible supervised learning method for spiking neurons

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant