KR20200068051A - 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치 - Google Patents

스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치 Download PDF

Info

Publication number
KR20200068051A
KR20200068051A KR1020180147415A KR20180147415A KR20200068051A KR 20200068051 A KR20200068051 A KR 20200068051A KR 1020180147415 A KR1020180147415 A KR 1020180147415A KR 20180147415 A KR20180147415 A KR 20180147415A KR 20200068051 A KR20200068051 A KR 20200068051A
Authority
KR
South Korea
Prior art keywords
data
neural network
signal
spiking neural
spike
Prior art date
Application number
KR1020180147415A
Other languages
English (en)
Other versions
KR102464490B1 (ko
Inventor
황태호
권진산
김병수
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180147415A priority Critical patent/KR102464490B1/ko
Priority to PCT/KR2018/015188 priority patent/WO2020111356A1/ko
Publication of KR20200068051A publication Critical patent/KR20200068051A/ko
Application granted granted Critical
Publication of KR102464490B1 publication Critical patent/KR102464490B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치이 개시된다. 본 발명의 스파이킹 뉴럴 네트워크 장치는 다채널의 데이터를 수신하고, 상기 수신된 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 상기 변환된 다차원 데이터의 특징점을 추출하는 전처리부 및 특징점이 추출된 다차원 데이터마다 하나의 뉴런을 할당하여 신호의 강도에 따라 스파이크 신호를 생성하도록 설계하고, 각 뉴런을 연결하며, 연결된 뉴런 간에 하나의 시냅스를 할당하고, 시냅스 중 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 스파이크 신호를 내보내며, 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화하는 스파이킹 뉴럴 네트워크부를 포함한다.

Description

스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치{Spiking neural network device and intelligent apparatus comprising the same}
본 발명은 뉴로모픽 기술에 관한 것으로, 더욱 상세하게는 생체의 스파이킹 기반의 뉴런 간 신호전달 및 학습 체계를 단순화하여 모델링하는 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치에 관한 것이다.
최근 인가의 뇌를 모방하는 뉴로모픽 기술이 주목받고 있다. 뉴로모픽 기술은 다수의 프리-시냅스 뉴런들, 다수의 포스트-시냅스 뉴런들 및 다수의 시냅스들을 포함한다.
한편 기존 딥러닝과 같은 뉴럴 네트워크 소프트웨어 모델은 역전파(back propagation) 알고리즘에 최적화된 모델로서 학습을 위해 대용량의 데이터와 높은 성능의 컴퓨팅 리소스를 요구한다.
서버에서 오프라인(off-line)으로 학습된 네트워크는 소형 하드웨어어에 로드되어 실행되는 형태로 적용되는 상황에서 실제의 다양한 환경에 적응이 어려운 점이 있어 범용성의 측면에서는 제한적이다.
이를 해결하기 위해서 서버와의 별도 유무선 네트워크를 통해 학습을 진행하는 방법이 적용되고 있으나, 저전력 IoT 장치들에서는 지능형 학습과 처리를 위하여 통신장치의 높은 비용을 요구하는 문제점이 발생되고 있다.
최근 생체신호 모방을 통해 낮은 복잡도의 장치에서 지능을 구현하고자 하는 뉴로모픽 기술이 연구되고 있다. 하지만 주로 뉴런, 시냅스의 구조와 신호전달 체계에 관한 모델을 연구되고 있어 아직까지 반도체에 즉시 적용 가능한 단순하고 효과적인 모델이 없는 실정이다.
한국공개특허공보 제10-2017-0117861호(2017.10.24.)
본 발명이 이루고자 하는 기술적 과제는 뉴로모픽 분야에서 연구되는 뉴런 모델, 시냅스 모델 및 스파이크 모델을 단순화하여 통합하고, 지도 및 비지도 학습을 통해 지능형 IoT 장치에서 만족할만한 인식 성능의 모델을 지원하는 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치를 제공하는데 목적이 있다.
상기 목적을 달성하기 위해, 본 발명에 따른 스파이킹 뉴럴 네트워크 장치는 다채널의 데이터를 수신하고, 상기 수신된 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 상기 변환된 다차원 데이터의 특징점을 추출하는 전처리부 및 상기 특징점이 추출된 다차원 데이터마다 하나의 뉴런을 할당하여 신호의 강도에 따라 스파이크 신호를 생성하도록 설계하고, 각 뉴런을 연결하며, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하고, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 상기 스파이크 신호를 내보내며, 상기 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화하는 스파이킹 뉴럴 네트워크부를 포함한다.
또한 상기 전처리부는, 실시간으로 다채널의 데이터를 수신하는 센서 인터페이스부, 상기 데이터를 잡음 제거를 수행하고, 상기 잡음 제거된 데이터를 증폭한 후, 일정 범위 내의 데이터로 표준화하여 상기 다차원 데이터로 변환하는 신호처리부 및 상기 변환된 다차원 데이터를 합성곱(convolution) 연산 또는 타임 윈도우(time window) 구간에서 신호의 변화량을 측정하여 상기 특징점을 추출하는 특징점 추출부를 포함하는 것을 특징으로 한다.
또한 상기 스파이킹 뉴럴 네트워크부는, 상기 다차원 데이터에 각 차원 또는 시간별로 하나의 뉴런이 할당되고, 신호의 강도에 따라 확률기반으로 스파이크 신호를 생성하도록 설계하는 입력 레이어, 상기 뉴런이 모두 연결되는 형태로 구성되고, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하며, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값이 상기 문턱치 값보다 높은 경우 상기 스파이크 신호를 내보내고, 상기 문턱치 값보다 낮은 경우 상기 스파이크 신호를 내보내지 않는 히든 레이어 및 상기 내보진 스파이크 신호를 그룹핑하여 데이터를 분류하고, 군집화하여 결과를 출력하는 출력 레이어를 포함하는 것을 특징으로 한다.
또한 상기 히든 레이어는, 단일 층 또는 완전 연결(fully connected) 방식의 다층으로 구성되는 것을 특징으로 한다.
또한 상기 출력 레이어는, 상기 그룹핑된 데이터 중 라벨링된 데이터가 있는 경우, 상기 스파이크 신호를 카운팅하고, 해당 라벨링 그룹에 매핑하여 출력하는 것을 특징으로 한다.
또한 상기 스파이킹 뉴럴 네트워크부는, 프리(pre) 뉴런이 내보내는 스파이크 신호와 포스트(post) 뉴런이 내보내는 스파이크 신호의 시간차를 이용하여 상기 시냅스의 가중치 값을 업데이트하는 것을 특징으로 한다.
또한 상기 스파이킹 뉴럴 네트워크부는, 상기 프리 뉴런이 스파이크 신호를 내보내는 시간과 상기 포스트 뉴런이 스파이크 신호를 내보내는 시간의 차이가 0보다 클 경우 LTP(Long Term Potentiation)으로 가중치를 올리고, 상기 차이가 0보다 작을 경우 LTD(Long Term Digression)시키는 것을 특징으로 한다.
본 발명에 따른 지능형 장치는 외부 장치와의 통신을 수행하는 통신부, 복수의 센서를 이용하여 환경정보, 영상정보, 감지정보 및 인지정보 중 적어도 하나의 센싱 데이터를 측정하는 센서부 및 상기 통신부로부터 수신된 데이터 및 센서부로부터 측정된 센싱 데이터를 다채널로 수신하고, 상기 수신된 다채널 데이터를 기초로 뉴로모픽 기술을 기반으로 하는 스파이킹 뉴럴 네트워크 장치를 이용하여 학습 및 연산 처리를 수행하는 제어부를 포함하되, 상기 스파이킹 뉴럴 네트워크 장치는, 상기 다채널의 데이터를 수신하고, 상기 수신된 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 상기 변환된 다차원 데이터의 특징점을 추출하는 전처리부 및 상기 특징점이 추출된 다차원 데이터마다 하나의 뉴런을 할당하여 신호의 강도에 따라 스파이크 신호를 생성하도록 설계하고, 각 뉴런을 연결하며, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하고, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 상기 스파이크 신호를 내보내며, 상기 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화하는 스파이킹 뉴럴 네트워크부를 포함하는 것을 특징으로 한다.
본 발명의 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치는 스파이킹 기반의 뉴런의 단순화된 네트워크 모델 구조를 지원할 수 있다.
또한 생체 유사도가 높은 극파 기간 의존 가소성(STDP) 기반의 단순한 학습 모델을 적용하고, 생체와 유사한 리워드(reward) 방식의 추가 학습 모델을 적용할 수 있다.
이를 통해 본 발명은 뉴런 모델, 시냅스 모델, 스파이크 모델을 단순화하여 통합하고, 지도 및 비지도 학습을 통해 지능형 IoT 장치에서 만족할만한 인식 성능을 지원할 수 있다.
도 1은 본 발명의 실시예에 따른 지능형 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 스파이킹 뉴럴 네트워크 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 시냅틱 뉴런 및 스파이킹 신호를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 푸아송 분포의 히스토그램을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 레이어 간의 완전 연결을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 스파이킹 스냅틱 뉴런을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 극파 기간 의존 가소성 룰을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 스파이킹 뉴럴 네트워크 장치의 MNIST 데이터에 대한 동작을 설명하기 위한 도면이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 지능형 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 지능형 장치(200)는 IoT(Internet of Things) 장치로써, 다양한 데이터를 기초로 지능형 학습과 연산 처리를 수행한다. 즉 지능형 장치(200)는 학습을 통한 연산뿐만 아니라 IoT 통신을 통해 다양한 장치들과의 통신을 통해 실시간으로 다양한 정보를 습득할 수 있다. 지능형 장치(200)는 냉장고, TV, 로봇 청소기, 에어콘, 가습기, 공기청정기 등을 포함할 수 있다. 지능형 장치(200)는 통신부(210), 센서부(220) 및 제어부(230)를 포함하고, 출력부(240) 및 저장부(250)를 더 포함한다.
통신부(210)는 외부 장치와의 통신을 수행한다. 이때 통신부(210)는 IoT 통신을 지원할 수 있다. 통신부(210)는 다양한 외부 장치로부터 데이터를 수신하거나 외부 장치로 데이터를 전송할 수 있다. 여기서 외부 장치는 IoT 통신을 지원하는 장치로써, 냉장고, TV, 로봇 청소기, 에어콘, 가습기, 공기청정기 등을 포함할 수 있다.
센서부(220)는 복수의 센서를 포함하고, 이를 이용하여 환경정보, 감지정보 및 인지정보 중 적어도 하나의 센싱 데이터를 측정한다. 센서부(220)는 온도 센서, 습도 센서, 적외선 센서, 압력 센서, 카메라, 마이크, 심전도(ECG) 센서, 심박(PPG) 센서 등을 포함할 수 있다.
제어부(230)는 통신부(210)로부터 수신된 데이터 및 센서부(220)로부터 측정된 센싱 데이터를 다채널로 실시간 수신할 수 있다. 제어부(230)는 수신된 다채널의 데이터를 기초로 뉴로모픽 기술을 기반으로 하는 스파이킹 뉴럴 네트워크(SNN) 모델(100)을 이용하여 학습 및 연산 처리를 수행한다. 제어부(230)는 스파이킹 뉴럴 네트워크 장치(100)을 통해 학습 및 연산 처리를 함으로써, 데이터의 분류(classification), 군집화(clusterign), 연관성(association)의 실행을 진행할 수 있다. 스파이킹 뉴럴 네트워크 장치(100)의 자세한 설명은 도 2 내지 도 7에서 설명하기로 한다.
출력부(240)는 제어부(230)를 통해 학습 및 연산 처리된 결과를 출력한다. 출력부(240)는 영상, 음성, 동작 등의 형태로 출력할 수 있다. 이를 위해, 출력부(240)는 디스플레이, 스피커, 이송장치, 로봇팔 등 다양한 형태의 모듈을 포함할 수 있다.
저장부(250)는 통신부(210)로부터 수신된 외부 데이터 및 센서부(220)로부터 측정된 센싱 데이터가 저장된다. 저장부(250)는 제어부(230)로부터 학습된 데이터 및 연산 처리된 데이터가 저장된다. 저장부(250)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 스파이킹 뉴럴 네트워크 장치를 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 따른 시냅틱 뉴런 및 스파이킹 신호를 설명하기 위한 도면이며, 도 4는 본 발명의 실시예에 따른 푸아송 분포의 히스토그램을 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따른 레이어 간의 완전 연결을 설명하기 위한 도면이며, 도 6은 본 발명의 실시예에 따른 스파이킹 스냅틱 뉴런을 설명하기 위한 도면이고, 도 7은 본 발명의 실시예에 따른 극파 기간 의존 가소성 룰을 설명하기 위한 도면이다.
도 2 내지 도 7을 참조하면, 스파이킹 뉴럴 네트워크 장치(100)은 전처리부(10) 및 스파이킹 뉴럴 네트워크부(30)를 포함한다.
전처리부(10)는 다채널의 데이터를 수신하고, 수신된 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 변환된 다차원 데이터의 특징점을 추출한다. 이를 수행하기 위해, 전처리부(10)는 센서 인터페이스부(sensor I/F)(11), 신호 처리부(signal processing)(13) 및 특징점 추출부(feature extraction)(15)를 포함한다.
센서 인터페이스부(11)는 아날로그/디지털의 다양한 인터페이스를 지원하여 실시간으로 다채널의 데이터를 수신할 수 있다. 센서 인터페이스부(11)는 I2C, I2S, UART(Universal asynchronous receiver/transmitter), ADC(analog-digital converter), SPI(Serial Peripheral Interface), GPIO(General-purpose input/output)를 지원한다.
신호 처리부(13)는 센서 인터페이스부(11)로부터 수신된 다채널의 데이터에 포함된 잡음을 제거한한다. 이때 신호 처리부(13)는 로우 패스 필터(low pass filter), 하이 패스 필터(high pass filter) 및 밴드 패스 필터(band pass filter) 중 적어도 하나의 필터를 사용하여 잡음을 제거할 수 있다. 신호 처리부(13)는 잡음이 제거된 데이터의 신호를 증폭한 후, 일정 범위 내의 데이터로 표준화하여 다차원 데이터로 변환한다.
특징점 추출부(15)는 변환된 다차원 데이터를 합성곱(convolution) 연산 또는 타임 윈도우(time window) 구간에서 신호의 변화량을 측정하여 특징점을 추출한다. 여기서 특징점은 데이터 신호에서 최대치(peak), 최저치, 기 설정된 패턴 등일 수 있다.
스파이킹 뉴럴 네트워크부(30)는 인가의 뉴런 세포간에 전달되는 전기적 신호가 합쳐져 특정 문턱치(threshold)를 넘어서는 경우(도 3(a)), 스파이크 신호를 내보냄으로써(도 3(b)), 정보를 전달하게 되는 과정을 단순화하여 모델링된 제어모듈이다. 즉 스파이킹 뉴럴 네트워크부(30)는 특징점이 추출된 다차원 데이터마다 하나의 뉴런을 할당하여 신호의 강도에 따라 스파이크 신호를 생성하도록 설계한다. 스파이킹 뉴럴 네트워크부(30)는 각 뉴런을 연결하고, 상기 연결된 뉴런 간에 하나의 시냅스를 할당한다. 이때 스파이킹 뉴럴 네트워크부(30)는 시냅스 중 스파이크 신호를 생성한 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 상기 스파이크 신호를 내보내고, 상기 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화한다. 스파이킹 뉴럴 네트워크부(30)는 입력 레이어(input layer)(31), 히든 레이어(hidden layer)(33) 및 출력 레이어(output layer)(35)를 포함한다.
입력 레이어(31)는 다차원 데이터에 각 차원 또는 시간별로 하나의 뉴런이 할당되고, 신호의 강도에 따라 확률 기반으로 스파이크 신호를 생성하도록 설계한다. 이때 입력 레이어(31)는 푸아송 분포(poisson distribution) 기반으로 스파이크 신호를 생성하도록 설계할 수 있다(도 4). 즉 입력 레이어(31)는 신호의 크기가 클 때 높은 비율로 스파이크 신호를 발생하도록 한다.
히든 레이어(33)는 뉴런이 모두 연결되는 형태로 구성된다. 히든 레이어(33)는 연결된 뉴런 간에 하나의 시냅스를 할당한다. 여기서 히든 레이어(33)는 단일 층 또는 완전 연결(fully connected) 방식의 다층으로 구성될 수 있다. 완전 연결 방식의 다층인 경우, 제1 레이어의 뉴런들이 제2 레이어 중 하나의 뉴런에 모두 연결되는 형태로 구성할 수 있다(도 5). 여기서, 히든 레이어(33)는 2개 이상의 다층 레이어로 구성될 경우, 보다 추상화된 정보를 얻을 수 있으나, 시냅스와 뉴런의 개수가 지수승으로 증가하는 단점이 있어 응용에 맞도록 적절한 개수의 레이어로 구성될 수 있다.
히든 레이어(33)는 시냅스 중 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 스파이크 신호를 내보낸다. 여기서 시냅스는 가중치 값을 가지고 있는 메모리로써, 히든 레이어(33)에서 내보내는 시냅스의 빈도수를 조정하는 역할을 한다. 상세하게는 히든 레이어(33)는 시냅스 중 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값이 기 설정된 문턱치 값보다 높은 경우 스파이크 신호를 내보내고, 기 설정된 문턱치 값보다 낮은 경우 스파이크 신호를 내보내지 않는다.
출력 레이어(35)는 히든 레이어(33)에서 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화하여 결과를 출력한다. 그룹핑된 데이터중 라벨링된 데이터가 있는 경우, 출력 레이어(35)는 스파이크 신호를 카운팅하고, 해당 라벨링 그룹에 매핑하여 출력한다. 이때 출력 레이어(35)는 단순 스파이크 신호의 횟수뿐만 아니라 확률 기반의 매핑방법이 적용될 수 있다.
예를 들어 제1 신호에 대하여 스파이크 신호를 생성한 히든 레이어(33)의 뉴런은 제2 신호에도 상대적으로 낮은 빈도의 스파이크 신호를 내보낼 수 있기 때문에 라벨링된 데이터 셋의 개수에 대한 확률 값으로 변환하여 판단함으로써 정확도를 높일 수 있다.
한편 스파이킹 뉴럴 네트워크부(30)는 학습을 수행할 수 있다. 학습은 생체와 유사한 방식의 프리(pre) 뉴런이 내보내는 스파이크 신호와 포스트(post) 뉴런이 내보내는 스파이크 신호의 시간차를 이용하여 시냅스의 가중치 값을 업데이트하는 것이다. 예를 들어 프리(시냅틱) 뉴런이 스파이크 신호를 내보내는 시간과 포스트(시냅틱) 뉴런이 스파이크를 내보내는 시간차가 0보다 클 경우 LTP(Long Term Potentiation)으로 가중치를 올리고, 상기 차이가 0보다 작을 경우 LTD(Long Term Digression)시킨다(도 6). 이때 스파이킹 뉴럴 네트워크부(30)는 LTP와 LTD에 따라 변경시킬 가중치의 양을 △t에 따라 도 7과 같이 간단한 수학식으로 결정한다. 즉 극파 기간 의존 가소성(Spike-timing-dependent plasticity, STDP) 룰에 따라 결정된 가중치의 값은 사용자의 입력(예: positive/negative) 값을 더하여 리워드(reward) 방식의 가중치 값을 결정한다.
도 8은 본 발명의 실시예에 따른 스파이킹 뉴럴 네트워크 장치의 MNIST 데이터에 대한 동작을 설명하기 위한 도면이다.
도 2 및 도 8을 참조하면, 스파이킹 뉴럴 네트워크 장치(100) 구조에 따라 숫자 0~9의 필기 글자를 인식하는 응용에 대한 실시예를 설명한다.
28×28 2차원 이미지 데이터를 픽셀당 하나의 뉴런을 할당하여 입력 레이어(31)를 구성하고, 400개의 뉴런으로 구성된 히든 레이어(33)를 완전 연결 방식으로 연결하여 약 30만개의 시냅스가 할당된 스파이킹 뉴럴 네트워크 장치(100)를 구성하였다.
도 8은 입력 레이어(33)에서 확률 기반으로 생성된 스파이크 신호와 히든 레이어(33)에서 발생하는 스파이크 신호 간의 시간차에 의해 STDP 룰에 따라 시냅스의 가중치를 업데이트하여 학습한 과정의 결과이다.
즉 도 8의 가중치를 도시한 도면은 20×20인 400개의 히든 레이어(33)에 대한 각 뉴런이 내부적으로 28×28인 784개의 점에 대한 값의 정도에 따라 256 그레이스케일로 도시된 도면이다.
따라서 스파이킹 뉴럴 네트워크 장치(100)는 숫자 1의 이미지가 입력되면 스파이크 신호를 발생하는 히든 레이어(33)의 뉴런에 대한 위치와 횟수를 카운트하여 출력 레이어(35)에서 숫지 1임을 결과로 내보내게 되어 인지하는 동작을 가진다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10: 전처리부
11: 센서 인터페이스부
13: 신호처리부
15: 특징점 추출부
30: 스파이킹 뉴럴 네트워크부
31: 입력 레이어
33: 히든 레이어
35: 출력 레이어
100: 스파이킹 뉴럴 네트워크 장치
200: 지능형 장치
210: 통신부
220: 센서부
230: 제어부
240: 출력부
250: 저장부

Claims (8)

  1. 다채널의 데이터를 수신하고, 상기 수신된 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 상기 변환된 다차원 데이터의 특징점을 추출하는 전처리부; 및
    상기 특징점이 추출된 다차원 데이터마다 하나의 뉴런을 할당하여 신호의 강도에 따라 스파이크 신호를 생성하도록 설계하고, 각 뉴런을 연결하며, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하고, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 상기 스파이크 신호를 내보내며, 상기 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화하는 스파이킹 뉴럴 네트워크부;
    를 포함하는 스파이킹 뉴럴 네트워크 장치.
  2. 제 1항에 있어서,
    상기 전처리부는,
    실시간으로 다채널의 데이터를 수신하는 센서 인터페이스부;
    상기 데이터를 잡음 제거를 수행하고, 상기 잡음 제거된 데이터를 증폭한 후, 일정 범위 내의 데이터로 표준화하여 상기 다차원 데이터로 변환하는 신호처리부; 및
    상기 변환된 다차원 데이터를 합성곱(convolution) 연산 또는 타임 윈도우(time window) 구간에서 신호의 변화량을 측정하여 상기 특징점을 추출하는 특징점 추출부;
    를 포함하는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.
  3. 제 1항에 있어서,
    상기 스파이킹 뉴럴 네트워크부는,
    상기 다차원 데이터에 각 차원 또는 시간별로 하나의 뉴런이 할당되고, 신호의 강도에 따라 확률기반으로 스파이크 신호를 생성하도록 설계하는 입력 레이어;
    상기 뉴런이 모두 연결되는 형태로 구성되고, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하며, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값이 상기 문턱치 값보다 높은 경우 상기 스파이크 신호를 내보내고, 상기 문턱치 값보다 낮은 경우 상기 스파이크 신호를 내보내지 않는 히든 레이어; 및
    상기 내보진 스파이크 신호를 그룹핑하여 데이터를 분류하고, 군집화하여 결과를 출력하는 출력 레이어;
    를 포함하는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.
  4. 제 3항에 있어서,
    상기 히든 레이어는,
    단일 층 또는 완전 연결(fully connected) 방식의 다층으로 구성되는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.
  5. 제 3항에 있어서,
    상기 출력 레이어는,
    상기 그룹핑된 데이터 중 라벨링된 데이터가 있는 경우, 상기 스파이크 신호를 카운팅하고, 해당 라벨링 그룹에 매핑하여 출력하는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.
  6. 제 1항에 있어서,
    상기 스파이킹 뉴럴 네트워크부는,
    프리(pre) 뉴런이 내보내는 스파이크 신호와 포스트(post) 뉴런이 내보내는 스파이크 신호의 시간차를 이용하여 상기 시냅스의 가중치 값을 업데이트하는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.
  7. 제 6항에 있어서,
    상기 스파이킹 뉴럴 네트워크부는,
    상기 프리 뉴런이 스파이크 신호를 내보내는 시간과 상기 포스트 뉴런이 스파이크 신호를 내보내는 시간의 차이가 0보다 클 경우 LTP(Long Term Potentiation)으로 가중치를 올리고, 상기 차이가 0보다 작을 경우 LTD(Long Term Digression)시키는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.
  8. 외부 장치와의 통신을 수행하는 통신부;
    복수의 센서를 이용하여 환경정보, 영상정보, 감지정보 및 인지정보 중 적어도 하나의 센싱 데이터를 측정하는 센서부; 및
    상기 통신부로부터 수신된 데이터 및 센서부로부터 측정된 센싱 데이터를 다채널로 수신하고, 상기 수신된 다채널 데이터를 기초로 뉴로모픽 기술을 기반으로 하는 스파이킹 뉴럴 네트워크 장치를 이용하여 학습 및 연산 처리를 수행하는 제어부;를 포함하되,
    상기 스파이킹 뉴럴 네트워크 장치는,
    상기 다채널의 데이터를 수신하고, 상기 수신된 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 상기 변환된 다차원 데이터의 특징점을 추출하는 전처리부; 및
    상기 특징점이 추출된 다차원 데이터마다 하나의 뉴런을 할당하여 신호의 강도에 따라 스파이크 신호를 생성하도록 설계하고, 각 뉴런을 연결하며, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하고, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 상기 스파이크 신호를 내보내며, 상기 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화하는 스파이킹 뉴럴 네트워크부;
    를 포함하는 것을 특징으로 하는 지능형 장치.
KR1020180147415A 2018-11-26 2018-11-26 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치 KR102464490B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180147415A KR102464490B1 (ko) 2018-11-26 2018-11-26 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치
PCT/KR2018/015188 WO2020111356A1 (ko) 2018-11-26 2018-12-03 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180147415A KR102464490B1 (ko) 2018-11-26 2018-11-26 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치

Publications (2)

Publication Number Publication Date
KR20200068051A true KR20200068051A (ko) 2020-06-15
KR102464490B1 KR102464490B1 (ko) 2022-11-09

Family

ID=70852188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180147415A KR102464490B1 (ko) 2018-11-26 2018-11-26 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치

Country Status (2)

Country Link
KR (1) KR102464490B1 (ko)
WO (1) WO2020111356A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220065549A (ko) 2020-11-13 2022-05-20 숭실대학교산학협력단 Snn 모델 파라미터를 기반으로 모델 수행을 위한 뉴로모픽 아키텍처 동적 선택 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20220071821A (ko) * 2020-11-24 2022-05-31 한남대학교 산학협력단 지능형 응용 IoT를 위한 스파이킹 신경망 기반 컴포넌트 생성시스템
CN114925721A (zh) * 2022-04-27 2022-08-19 中国电子科技集团公司第二十九研究所 一种基于U-Net分割网络的信号分选方法
CN117311516A (zh) * 2023-11-28 2023-12-29 北京师范大学 一种运动想象脑电通道选择方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010008715A (ko) * 1999-07-02 2001-02-05 학교법인 인하학원 다-차원 신경 회로망을 이용한 얼굴 검출 방법 및 그 장치
KR20170117861A (ko) 2016-04-14 2017-10-24 에스케이하이닉스 주식회사 뉴럴 네트워크 시스템
KR20180027887A (ko) * 2016-09-07 2018-03-15 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 트레이닝 방법
KR20180069452A (ko) * 2016-12-15 2018-06-25 삼성전자주식회사 뉴럴 네트워크의 학습 방법 및 뉴럴 네트워크를 이용한 인식 방법, 및 그 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3035249B1 (en) * 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
KR20170135563A (ko) * 2016-05-31 2017-12-08 한국과학기술원 웨어러블 디바이스 형태의 뉴로모픽 기기 및 상기 뉴로모픽 기기를 이용한 생체 정보 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010008715A (ko) * 1999-07-02 2001-02-05 학교법인 인하학원 다-차원 신경 회로망을 이용한 얼굴 검출 방법 및 그 장치
KR20170117861A (ko) 2016-04-14 2017-10-24 에스케이하이닉스 주식회사 뉴럴 네트워크 시스템
KR20180027887A (ko) * 2016-09-07 2018-03-15 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 트레이닝 방법
KR20180069452A (ko) * 2016-12-15 2018-06-25 삼성전자주식회사 뉴럴 네트워크의 학습 방법 및 뉴럴 네트워크를 이용한 인식 방법, 및 그 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220065549A (ko) 2020-11-13 2022-05-20 숭실대학교산학협력단 Snn 모델 파라미터를 기반으로 모델 수행을 위한 뉴로모픽 아키텍처 동적 선택 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20220071821A (ko) * 2020-11-24 2022-05-31 한남대학교 산학협력단 지능형 응용 IoT를 위한 스파이킹 신경망 기반 컴포넌트 생성시스템
CN114925721A (zh) * 2022-04-27 2022-08-19 中国电子科技集团公司第二十九研究所 一种基于U-Net分割网络的信号分选方法
CN117311516A (zh) * 2023-11-28 2023-12-29 北京师范大学 一种运动想象脑电通道选择方法和系统
CN117311516B (zh) * 2023-11-28 2024-02-20 北京师范大学 一种运动想象脑电通道选择方法和系统

Also Published As

Publication number Publication date
WO2020111356A1 (ko) 2020-06-04
KR102464490B1 (ko) 2022-11-09

Similar Documents

Publication Publication Date Title
KR102464490B1 (ko) 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치
Khalil et al. Energy efficiency prediction using artificial neural network
Wu et al. A biologically plausible speech recognition framework based on spiking neural networks
Kulsoom et al. A review of machine learning-based human activity recognition for diverse applications
US11468337B2 (en) System and methods for facilitating pattern recognition
CN111612136B (zh) 一种神经形态视觉目标分类方法及系统
SG182933A1 (en) A data structure and a method for using the data structure
EP4040320A1 (en) On-device activity recognition
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
Suriani et al. Smartphone sensor accelerometer data for human activity recognition using spiking neural network
CN113505356A (zh) 识别用户身份的单类分类器、识别方法、介质及计算设备
Dabbous et al. Touch modality classification using spiking neural networks and supervised-stdp learning
US11276285B2 (en) Artificial intelligence based motion detection
Segarceanu et al. Neural networks for automatic environmental sound recognition
Pan et al. Artificial neural network model and its application in signal processing
Chu et al. The proximity capacitive gesture recognition for recursive chebyshev neural network
Rasamuel et al. Specialized visual sensor coupled to a dynamic neural field for embedded attentional process
Mahmood et al. A new hand gesture recognition system using artificial neural network
Abed et al. Machine learning algorithms for distributed operations in internet of things IoT
Sengar Enhanced Artificial Neural Network Approach to Identify Specific Binary Pattern
Chauraisa et al. Optimized XGBoost algorithm using agglomerative clustering for effective user context identification
Kulakov et al. Learning patterns in wireless sensor networks based on wavelet neural networks
Saini et al. Identifying the Source of Water on Plant Using the Leaf Wetness Sensor and via Deep Learning Based Ensemble Method
Li et al. Mandarin digital speech recognition based on a chaotic neural network and fuzzy c-means clustering
Esmaeilzadeh Khorasani Agricultural harvester sound classification using convolutional neural networks and spectrograms

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right