KR102464490B1 - Spiking neural network device and intelligent apparatus comprising the same - Google Patents
Spiking neural network device and intelligent apparatus comprising the same Download PDFInfo
- Publication number
- KR102464490B1 KR102464490B1 KR1020180147415A KR20180147415A KR102464490B1 KR 102464490 B1 KR102464490 B1 KR 102464490B1 KR 1020180147415 A KR1020180147415 A KR 1020180147415A KR 20180147415 A KR20180147415 A KR 20180147415A KR 102464490 B1 KR102464490 B1 KR 102464490B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- neural network
- spiking neural
- signal
- spike signal
- Prior art date
Links
- 238000012421 spiking Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 48
- 210000002569 neuron Anatomy 0.000 claims abstract description 51
- 210000000225 synapse Anatomy 0.000 claims abstract description 36
- 239000010410 layer Substances 0.000 claims description 49
- 238000004891 communication Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000027928 long-term synaptic potentiation Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 18
- 230000000946 synaptic effect Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000001153 interneuron Anatomy 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 210000005215 presynaptic neuron Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000019491 signal transduction Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치이 개시된다. 본 발명의 스파이킹 뉴럴 네트워크 장치는 다채널의 데이터를 수신하고, 상기 수신된 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 상기 변환된 다차원 데이터의 특징점을 추출하는 전처리부 및 특징점이 추출된 다차원 데이터마다 하나의 뉴런을 할당하여 신호의 강도에 따라 스파이크 신호를 생성하도록 설계하고, 각 뉴런을 연결하며, 연결된 뉴런 간에 하나의 시냅스를 할당하고, 시냅스 중 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 스파이크 신호를 내보내며, 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화하는 스파이킹 뉴럴 네트워크부를 포함한다.The present invention discloses a spiking neural network device and an intelligent device including the same. The spiking neural network device of the present invention receives multi-channel data, filters and normalizes the received data to convert it into multi-dimensional data, and a pre-processing unit for extracting feature points of the transformed multi-dimensional data and feature points Design to generate a spike signal according to the signal strength by allocating one neuron to each extracted multidimensional data, connecting each neuron, allocating one synapse between the connected neurons, and the value of the synapse where the spike signal occurred among the synapses. and a spiking neural network unit that compares the sum of values for , and a preset threshold value, outputs a spike signal, groups and classifies the emitted spike signal, and clusters the spike signal.
Description
본 발명은 뉴로모픽 기술에 관한 것으로, 더욱 상세하게는 생체의 스파이킹 기반의 뉴런 간 신호전달 및 학습 체계를 단순화하여 모델링하는 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치에 관한 것이다.The present invention relates to neuromorphic technology, and more particularly, to a spiking neural network device that simplifies and models a spiking-based interneuron signaling and learning system in a living body, and an intelligent device including the same.
최근 인가의 뇌를 모방하는 뉴로모픽 기술이 주목받고 있다. 뉴로모픽 기술은 다수의 프리-시냅스 뉴런들, 다수의 포스트-시냅스 뉴런들 및 다수의 시냅스들을 포함한다.Recently, neuromorphic technology that mimics the human brain is attracting attention. Neuromorphic technology includes multiple pre-synaptic neurons, multiple post-synaptic neurons, and multiple synapses.
한편 기존 딥러닝과 같은 뉴럴 네트워크 소프트웨어 모델은 역전파(back propagation) 알고리즘에 최적화된 모델로서 학습을 위해 대용량의 데이터와 높은 성능의 컴퓨팅 리소스를 요구한다.On the other hand, neural network software models such as existing deep learning are optimized for back propagation algorithms and require large amounts of data and high-performance computing resources for training.
서버에서 오프라인(off-line)으로 학습된 네트워크는 소형 하드웨어어에 로드되어 실행되는 형태로 적용되는 상황에서 실제의 다양한 환경에 적응이 어려운 점이 있어 범용성의 측면에서는 제한적이다.The network learned off-line from the server is limited in terms of versatility because it is difficult to adapt to a variety of actual environments in a situation where it is loaded and executed in a small hardware language.
이를 해결하기 위해서 서버와의 별도 유무선 네트워크를 통해 학습을 진행하는 방법이 적용되고 있으나, 저전력 IoT 장치들에서는 지능형 학습과 처리를 위하여 통신장치의 높은 비용을 요구하는 문제점이 발생되고 있다.In order to solve this problem, a method of learning through a separate wired/wireless network with a server is applied, but low-power IoT devices have a problem that requires a high cost of a communication device for intelligent learning and processing.
최근 생체신호 모방을 통해 낮은 복잡도의 장치에서 지능을 구현하고자 하는 뉴로모픽 기술이 연구되고 있다. 하지만 주로 뉴런, 시냅스의 구조와 신호전달 체계에 관한 모델을 연구되고 있어 아직까지 반도체에 즉시 적용 가능한 단순하고 효과적인 모델이 없는 실정이다.Recently, neuromorphic technology to implement intelligence in low-complexity devices through biosignal imitation is being studied. However, there is no simple and effective model that can be immediately applied to semiconductors, as models related to the structure of neurons and synapses and signal transduction systems are mainly being studied.
본 발명이 이루고자 하는 기술적 과제는 뉴로모픽 분야에서 연구되는 뉴런 모델, 시냅스 모델 및 스파이크 모델을 단순화하여 통합하고, 지도 및 비지도 학습을 통해 지능형 IoT 장치에서 만족할만한 인식 성능의 모델을 지원하는 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치를 제공하는데 목적이 있다.The technical task of the present invention is to simplify and integrate neuromorphic, synaptic, and spike models studied in the neuromorphic field, and to support models of satisfactory recognition performance in intelligent IoT devices through supervised and unsupervised learning. An object of the present invention is to provide a king neural network device and an intelligent device including the same.
상기 목적을 달성하기 위해, 본 발명에 따른 스파이킹 뉴럴 네트워크 장치는 다채널의 데이터를 수신하고, 상기 수신된 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 상기 변환된 다차원 데이터의 특징점을 추출하는 전처리부 및 상기 특징점이 추출된 다차원 데이터마다 하나의 뉴런을 할당하여 신호의 강도에 따라 스파이크 신호를 생성하도록 설계하고, 각 뉴런을 연결하며, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하고, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 상기 스파이크 신호를 내보내며, 상기 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화하는 스파이킹 뉴럴 네트워크부를 포함한다.In order to achieve the above object, the spiking neural network device according to the present invention receives multi-channel data, filters and normalizes the received data to convert it into multi-dimensional data, and features points of the converted multi-dimensional data. A preprocessing unit for extracting and designing to generate a spike signal according to the signal strength by allocating one neuron to each multidimensional data from which the feature point is extracted, connecting each neuron, and allocating one synapse between the connected neurons, A spiking neural network unit that compares the sum of the values of the synapses in which the spike signal is generated among the synapses with a preset threshold value and emits the spike signal, groups and classifies the emitted spike signal, and clusters it do.
또한 상기 전처리부는, 실시간으로 다채널의 데이터를 수신하는 센서 인터페이스부, 상기 데이터를 잡음 제거를 수행하고, 상기 잡음 제거된 데이터를 증폭한 후, 일정 범위 내의 데이터로 표준화하여 상기 다차원 데이터로 변환하는 신호처리부 및 상기 변환된 다차원 데이터를 합성곱(convolution) 연산 또는 타임 윈도우(time window) 구간에서 신호의 변화량을 측정하여 상기 특징점을 추출하는 특징점 추출부를 포함하는 것을 특징으로 한다.In addition, the pre-processing unit, a sensor interface unit for receiving multi-channel data in real time, performs noise removal on the data, amplifies the noise-removed data, normalizes the data within a certain range, and converts it into the multi-dimensional data It characterized in that it comprises a signal processing unit and a feature point extractor for extracting the feature point by measuring a signal change amount in a convolution operation or a time window section on the transformed multidimensional data.
또한 상기 스파이킹 뉴럴 네트워크부는, 상기 다차원 데이터에 각 차원 또는 시간별로 하나의 뉴런이 할당되고, 신호의 강도에 따라 확률기반으로 스파이크 신호를 생성하도록 설계하는 입력 레이어, 상기 뉴런이 모두 연결되는 형태로 구성되고, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하며, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값이 상기 문턱치 값보다 높은 경우 상기 스파이크 신호를 내보내고, 상기 문턱치 값보다 낮은 경우 상기 스파이크 신호를 내보내지 않는 히든 레이어 및 상기 내보진 스파이크 신호를 그룹핑하여 데이터를 분류하고, 군집화하여 결과를 출력하는 출력 레이어를 포함하는 것을 특징으로 한다.In addition, the spiking neural network unit is configured such that one neuron is assigned to the multidimensional data for each dimension or time, and an input layer designed to generate a spike signal based on probability according to the strength of the signal, in which all the neurons are connected. configured, allocating one synapse between the connected neurons, and sending out the spike signal when the sum of the values of the synapses in which the spike signal is generated among the synapses is higher than the threshold value, and when the threshold value is lower than the threshold value and a hidden layer that does not emit a spike signal and an output layer that classifies data by grouping the emitted spike signal, and outputs a result by grouping.
또한 상기 히든 레이어는, 단일 층 또는 완전 연결(fully connected) 방식의 다층으로 구성되는 것을 특징으로 한다.In addition, the hidden layer is characterized in that it is composed of a single layer or a multi-layer of a fully connected (fully connected) method.
또한 상기 출력 레이어는, 상기 그룹핑된 데이터 중 라벨링된 데이터가 있는 경우, 상기 스파이크 신호를 카운팅하고, 해당 라벨링 그룹에 매핑하여 출력하는 것을 특징으로 한다.In addition, when there is labeled data among the grouped data, the output layer counts the spike signal, maps it to the corresponding labeling group, and outputs the counted signal.
또한 상기 스파이킹 뉴럴 네트워크부는, 프리(pre) 뉴런이 내보내는 스파이크 신호와 포스트(post) 뉴런이 내보내는 스파이크 신호의 시간차를 이용하여 상기 시냅스의 가중치 값을 업데이트하는 것을 특징으로 한다.In addition, the spiking neural network unit is characterized in that it updates the weight value of the synapse using a time difference between the spike signal emitted by the pre-neuron and the spike signal emitted by the post neuron.
또한 상기 스파이킹 뉴럴 네트워크부는, 상기 프리 뉴런이 스파이크 신호를 내보내는 시간과 상기 포스트 뉴런이 스파이크 신호를 내보내는 시간의 차이가 0보다 클 경우 LTP(Long Term Potentiation)으로 가중치를 올리고, 상기 차이가 0보다 작을 경우 LTD(Long Term Digression)시키는 것을 특징으로 한다.In addition, the spiking neural network unit increases the weight to LTP (Long Term Potentiation) when a difference between the time that the pre-neuron emits a spike signal and the time that the post-neuron emits a spike signal is greater than 0, and the difference is greater than 0 If it is small, it is characterized by LTD (Long Term Digression).
본 발명에 따른 지능형 장치는 외부 장치와의 통신을 수행하는 통신부, 복수의 센서를 이용하여 환경정보, 영상정보, 감지정보 및 인지정보 중 적어도 하나의 센싱 데이터를 측정하는 센서부 및 상기 통신부로부터 수신된 데이터 및 센서부로부터 측정된 센싱 데이터를 다채널로 수신하고, 상기 수신된 다채널 데이터를 기초로 뉴로모픽 기술을 기반으로 하는 스파이킹 뉴럴 네트워크 장치를 이용하여 학습 및 연산 처리를 수행하는 제어부를 포함하되, 상기 스파이킹 뉴럴 네트워크 장치는, 상기 다채널의 데이터를 수신하고, 상기 수신된 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 상기 변환된 다차원 데이터의 특징점을 추출하는 전처리부 및 상기 특징점이 추출된 다차원 데이터마다 하나의 뉴런을 할당하여 신호의 강도에 따라 스파이크 신호를 생성하도록 설계하고, 각 뉴런을 연결하며, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하고, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 상기 스파이크 신호를 내보내며, 상기 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화하는 스파이킹 뉴럴 네트워크부를 포함하는 것을 특징으로 한다.The intelligent device according to the present invention includes a communication unit for communicating with an external device, a sensor unit for measuring at least one sensing data among environmental information, image information, sensing information, and recognition information using a plurality of sensors, and receiving from the communication unit A control unit that receives the detected data and the sensed data measured from the sensor unit in multiple channels, and performs learning and computation processing using a spiking neural network device based on neuromorphic technology based on the received multi-channel data. Including, wherein the spiking neural network device receives the data of the multi-channel, converts the received data into multi-dimensional data by filtering and normalization, and preprocessing for extracting feature points of the converted multi-dimensional data Design to generate a spike signal according to the signal strength by allocating one neuron for each multidimensional data from which the part and the feature point are extracted, connecting each neuron, allocating one synapse between the connected neurons, and assigning one neuron among the synapses. Comparing the sum of the values of the synapses in which the spike signal is generated and a preset threshold value, the spike signal is emitted, the spike signal is grouped and classified, and a spiking neural network unit for clustering is included. do.
본 발명의 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치는 스파이킹 기반의 뉴런의 단순화된 네트워크 모델 구조를 지원할 수 있다.The spiking neural network device of the present invention and an intelligent device including the same can support a simplified network model structure of a spiking-based neuron.
또한 생체 유사도가 높은 극파 기간 의존 가소성(STDP) 기반의 단순한 학습 모델을 적용하고, 생체와 유사한 리워드(reward) 방식의 추가 학습 모델을 적용할 수 있다.In addition, a simple learning model based on STDP with high biosimilarity can be applied, and an additional learning model with a reward method similar to that of a living body can be applied.
이를 통해 본 발명은 뉴런 모델, 시냅스 모델, 스파이크 모델을 단순화하여 통합하고, 지도 및 비지도 학습을 통해 지능형 IoT 장치에서 만족할만한 인식 성능을 지원할 수 있다.Through this, the present invention can simplify and integrate a neuron model, a synaptic model, and a spike model, and support satisfactory recognition performance in intelligent IoT devices through supervised and unsupervised learning.
도 1은 본 발명의 실시예에 따른 지능형 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 스파이킹 뉴럴 네트워크 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 시냅틱 뉴런 및 스파이킹 신호를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 푸아송 분포의 히스토그램을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 레이어 간의 완전 연결을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 스파이킹 스냅틱 뉴런을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 극파 기간 의존 가소성 룰을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 스파이킹 뉴럴 네트워크 장치의 MNIST 데이터에 대한 동작을 설명하기 위한 도면이다.1 is a diagram for explaining an intelligent device according to an embodiment of the present invention.
2 is a diagram for explaining a spiking neural network device according to an embodiment of the present invention.
3 is a diagram for explaining a synaptic neuron and a spiking signal according to an embodiment of the present invention.
4 is a diagram for explaining a histogram of a Poisson distribution according to an embodiment of the present invention.
5 is a diagram for explaining a complete connection between layers according to an embodiment of the present invention.
6 is a diagram for explaining a spiking snaptic neuron according to an embodiment of the present invention.
7 is a view for explaining a plasticity rule dependent on a spike period according to an embodiment of the present invention.
8 is a diagram for explaining an operation on MNIST data of a spiking neural network device according to an embodiment of the present invention.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated in different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function is obvious to those skilled in the art or may obscure the gist of the present invention, the detailed description thereof will be omitted.
도 1은 본 발명의 실시예에 따른 지능형 장치를 설명하기 위한 도면이다.1 is a diagram for explaining an intelligent device according to an embodiment of the present invention.
도 1을 참조하면, 지능형 장치(200)는 IoT(Internet of Things) 장치로써, 다양한 데이터를 기초로 지능형 학습과 연산 처리를 수행한다. 즉 지능형 장치(200)는 학습을 통한 연산뿐만 아니라 IoT 통신을 통해 다양한 장치들과의 통신을 통해 실시간으로 다양한 정보를 습득할 수 있다. 지능형 장치(200)는 냉장고, TV, 로봇 청소기, 에어콘, 가습기, 공기청정기 등을 포함할 수 있다. 지능형 장치(200)는 통신부(210), 센서부(220) 및 제어부(230)를 포함하고, 출력부(240) 및 저장부(250)를 더 포함한다.Referring to FIG. 1 , an
통신부(210)는 외부 장치와의 통신을 수행한다. 이때 통신부(210)는 IoT 통신을 지원할 수 있다. 통신부(210)는 다양한 외부 장치로부터 데이터를 수신하거나 외부 장치로 데이터를 전송할 수 있다. 여기서 외부 장치는 IoT 통신을 지원하는 장치로써, 냉장고, TV, 로봇 청소기, 에어콘, 가습기, 공기청정기 등을 포함할 수 있다.The
센서부(220)는 복수의 센서를 포함하고, 이를 이용하여 환경정보, 감지정보 및 인지정보 중 적어도 하나의 센싱 데이터를 측정한다. 센서부(220)는 온도 센서, 습도 센서, 적외선 센서, 압력 센서, 카메라, 마이크, 심전도(ECG) 센서, 심박(PPG) 센서 등을 포함할 수 있다.The
제어부(230)는 통신부(210)로부터 수신된 데이터 및 센서부(220)로부터 측정된 센싱 데이터를 다채널로 실시간 수신할 수 있다. 제어부(230)는 수신된 다채널의 데이터를 기초로 뉴로모픽 기술을 기반으로 하는 스파이킹 뉴럴 네트워크(SNN) 모델(100)을 이용하여 학습 및 연산 처리를 수행한다. 제어부(230)는 스파이킹 뉴럴 네트워크 장치(100)을 통해 학습 및 연산 처리를 함으로써, 데이터의 분류(classification), 군집화(clusterign), 연관성(association)의 실행을 진행할 수 있다. 스파이킹 뉴럴 네트워크 장치(100)의 자세한 설명은 도 2 내지 도 7에서 설명하기로 한다.The
출력부(240)는 제어부(230)를 통해 학습 및 연산 처리된 결과를 출력한다. 출력부(240)는 영상, 음성, 동작 등의 형태로 출력할 수 있다. 이를 위해, 출력부(240)는 디스플레이, 스피커, 이송장치, 로봇팔 등 다양한 형태의 모듈을 포함할 수 있다.The
저장부(250)는 통신부(210)로부터 수신된 외부 데이터 및 센서부(220)로부터 측정된 센싱 데이터가 저장된다. 저장부(250)는 제어부(230)로부터 학습된 데이터 및 연산 처리된 데이터가 저장된다. 저장부(250)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다. The
도 2는 본 발명의 실시예에 따른 스파이킹 뉴럴 네트워크 장치를 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 따른 시냅틱 뉴런 및 스파이킹 신호를 설명하기 위한 도면이며, 도 4는 본 발명의 실시예에 따른 푸아송 분포의 히스토그램을 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따른 레이어 간의 완전 연결을 설명하기 위한 도면이며, 도 6은 본 발명의 실시예에 따른 스파이킹 스냅틱 뉴런을 설명하기 위한 도면이고, 도 7은 본 발명의 실시예에 따른 극파 기간 의존 가소성 룰을 설명하기 위한 도면이다.2 is a diagram for explaining a spiking neural network device according to an embodiment of the present invention, FIG. 3 is a diagram for explaining a synaptic neuron and a spiking signal according to an embodiment of the present invention, and FIG. 4 is a diagram for the present invention A diagram for explaining a histogram of a Poisson distribution according to an embodiment of the present invention, FIG. 5 is a diagram for explaining a complete connection between layers according to an embodiment of the present invention, and FIG. 6 is a spiking according to an embodiment of the present invention A diagram for explaining a snaptic neuron, and FIG. 7 is a diagram for explaining a spike period dependent plasticity rule according to an embodiment of the present invention.
도 2 내지 도 7을 참조하면, 스파이킹 뉴럴 네트워크 장치(100)은 전처리부(10) 및 스파이킹 뉴럴 네트워크부(30)를 포함한다.2 to 7 , the spiking
전처리부(10)는 다채널의 데이터를 수신하고, 수신된 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 변환된 다차원 데이터의 특징점을 추출한다. 이를 수행하기 위해, 전처리부(10)는 센서 인터페이스부(sensor I/F)(11), 신호 처리부(signal processing)(13) 및 특징점 추출부(feature extraction)(15)를 포함한다.The
센서 인터페이스부(11)는 아날로그/디지털의 다양한 인터페이스를 지원하여 실시간으로 다채널의 데이터를 수신할 수 있다. 센서 인터페이스부(11)는 I2C, I2S, UART(Universal asynchronous receiver/transmitter), ADC(analog-digital converter), SPI(Serial Peripheral Interface), GPIO(General-purpose input/output)를 지원한다. The
신호 처리부(13)는 센서 인터페이스부(11)로부터 수신된 다채널의 데이터에 포함된 잡음을 제거한한다. 이때 신호 처리부(13)는 로우 패스 필터(low pass filter), 하이 패스 필터(high pass filter) 및 밴드 패스 필터(band pass filter) 중 적어도 하나의 필터를 사용하여 잡음을 제거할 수 있다. 신호 처리부(13)는 잡음이 제거된 데이터의 신호를 증폭한 후, 일정 범위 내의 데이터로 표준화하여 다차원 데이터로 변환한다. The
특징점 추출부(15)는 변환된 다차원 데이터를 합성곱(convolution) 연산 또는 타임 윈도우(time window) 구간에서 신호의 변화량을 측정하여 특징점을 추출한다. 여기서 특징점은 데이터 신호에서 최대치(peak), 최저치, 기 설정된 패턴 등일 수 있다. The
스파이킹 뉴럴 네트워크부(30)는 인간의 뉴런 세포간에 전달되는 전기적 신호가 합쳐져 특정 문턱치(threshold)를 넘어서는 경우(도 3(a)), 스파이크 신호를 내보냄으로써(도 3(b)), 정보를 전달하게 되는 과정을 단순화하여 모델링된 제어모듈이다. 즉 스파이킹 뉴럴 네트워크부(30)는 특징점이 추출된 다차원 데이터마다 하나의 뉴런을 할당하여 신호의 강도에 따라 스파이크 신호를 생성하도록 설계한다. 스파이킹 뉴럴 네트워크부(30)는 각 뉴런을 연결하고, 상기 연결된 뉴런 간에 하나의 시냅스를 할당한다. 이때 스파이킹 뉴럴 네트워크부(30)는 시냅스 중 스파이크 신호를 생성한 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 상기 스파이크 신호를 내보내고, 상기 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화한다. 스파이킹 뉴럴 네트워크부(30)는 입력 레이어(input layer)(31), 히든 레이어(hidden layer)(33) 및 출력 레이어(output layer)(35)를 포함한다.The spiking
입력 레이어(31)는 다차원 데이터에 각 차원 또는 시간별로 하나의 뉴런이 할당되고, 신호의 강도에 따라 확률 기반으로 스파이크 신호를 생성하도록 설계한다. 이때 입력 레이어(31)는 푸아송 분포(poisson distribution) 기반으로 스파이크 신호를 생성하도록 설계할 수 있다(도 4). 즉 입력 레이어(31)는 신호의 크기가 클 때 높은 비율로 스파이크 신호를 발생하도록 한다.The
히든 레이어(33)는 뉴런이 모두 연결되는 형태로 구성된다. 히든 레이어(33)는 연결된 뉴런 간에 하나의 시냅스를 할당한다. 여기서 히든 레이어(33)는 단일 층 또는 완전 연결(fully connected) 방식의 다층으로 구성될 수 있다. 완전 연결 방식의 다층인 경우, 제1 레이어의 뉴런들이 제2 레이어 중 하나의 뉴런에 모두 연결되는 형태로 구성할 수 있다(도 5). 여기서, 히든 레이어(33)는 2개 이상의 다층 레이어로 구성될 경우, 보다 추상화된 정보를 얻을 수 있으나, 시냅스와 뉴런의 개수가 지수승으로 증가하는 단점이 있어 응용에 맞도록 적절한 개수의 레이어로 구성될 수 있다.The hidden
히든 레이어(33)는 시냅스 중 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값과 기 설정된 문턱치 값을 비교하여 스파이크 신호를 내보낸다. 여기서 시냅스는 가중치 값을 가지고 있는 메모리로서, 히든 레이어(33)에서 내보내는 시냅스의 빈도수를 조정하는 역할을 한다. 상세하게는 히든 레이어(33)는 시냅스 중 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값이 기 설정된 문턱치 값보다 높은 경우 스파이크 신호를 내보내고, 기 설정된 문턱치 값보다 낮은 경우 스파이크 신호를 내보내지 않는다. The hidden
출력 레이어(35)는 히든 레이어(33)에서 내보내진 스파이크 신호를 그룹핑하여 분류하고, 군집화하여 결과를 출력한다. 그룹핑된 데이터중 라벨링된 데이터가 있는 경우, 출력 레이어(35)는 스파이크 신호를 카운팅하고, 해당 라벨링 그룹에 매핑하여 출력한다. 이때 출력 레이어(35)는 단순 스파이크 신호의 횟수뿐만 아니라 확률 기반의 매핑방법이 적용될 수 있다.The
예를 들어 제1 신호에 대하여 스파이크 신호를 생성한 히든 레이어(33)의 뉴런은 제2 신호에도 상대적으로 낮은 빈도의 스파이크 신호를 내보낼 수 있기 때문에 라벨링된 데이터 셋의 개수에 대한 확률 값으로 변환하여 판단함으로써 정확도를 높일 수 있다.For example, since neurons of the hidden
한편 스파이킹 뉴럴 네트워크부(30)는 학습을 수행할 수 있다. 학습은 생체와 유사한 방식의 프리(pre) 뉴런이 내보내는 스파이크 신호와 포스트(post) 뉴런이 내보내는 스파이크 신호의 시간차를 이용하여 시냅스의 가중치 값을 업데이트하는 것이다. 예를 들어 프리(시냅틱) 뉴런이 스파이크 신호를 내보내는 시간과 포스트(시냅틱) 뉴런이 스파이크를 내보내는 시간차가 0보다 클 경우 LTP(Long Term Potentiation)으로 가중치를 올리고, 상기 차이가 0보다 작을 경우 LTD(Long Term Digression)시킨다(도 6). 이때 스파이킹 뉴럴 네트워크부(30)는 LTP와 LTD에 따라 변경시킬 가중치의 양을 △t에 따라 도 7과 같이 간단한 수학식으로 결정한다. 즉 극파 기간 의존 가소성(Spike-timing-dependent plasticity, STDP) 룰에 따라 결정된 가중치의 값은 사용자의 입력(예: positive/negative) 값을 더하여 리워드(reward) 방식의 가중치 값을 결정한다. Meanwhile, the spiking
도 8은 본 발명의 실시예에 따른 스파이킹 뉴럴 네트워크 장치의 MNIST 데이터에 대한 동작을 설명하기 위한 도면이다.8 is a diagram for explaining an operation on MNIST data of a spiking neural network device according to an embodiment of the present invention.
도 2 및 도 8을 참조하면, 스파이킹 뉴럴 네트워크 장치(100) 구조에 따라 숫자 0~9의 필기 글자를 인식하는 응용에 대한 실시예를 설명한다.An embodiment of an application for recognizing handwritten characters of
28×28 2차원 이미지 데이터를 픽셀당 하나의 뉴런을 할당하여 입력 레이어(31)를 구성하고, 400개의 뉴런으로 구성된 히든 레이어(33)를 완전 연결 방식으로 연결하여 약 30만개의 시냅스가 할당된 스파이킹 뉴럴 네트워크 장치(100)를 구성하였다.The
도 8은 입력 레이어(33)에서 확률 기반으로 생성된 스파이크 신호와 히든 레이어(33)에서 발생하는 스파이크 신호 간의 시간차에 의해 STDP 룰에 따라 시냅스의 가중치를 업데이트하여 학습한 과정의 결과이다.8 is a result of learning by updating the weight of the synapse according to the STDP rule by the time difference between the spike signal generated based on probability in the
즉 도 8의 가중치를 도시한 도면은 20×20인 400개의 히든 레이어(33)에 대한 각 뉴런이 내부적으로 28×28인 784개의 점에 대한 값의 정도에 따라 256 그레이스케일로 도시된 도면이다.That is, the diagram showing the weights of FIG. 8 is a diagram in which each neuron for 400
따라서 스파이킹 뉴럴 네트워크 장치(100)는 숫자 1의 이미지가 입력되면 스파이크 신호를 발생하는 히든 레이어(33)의 뉴런에 대한 위치와 횟수를 카운트하여 출력 레이어(35)에서 숫지 1임을 결과로 내보내게 되어 인지하는 동작을 가진다.Therefore, the spiking
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific preferred embodiments described above, and in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Anyone with ordinary skill in the art can make various modifications, of course, and such modifications are within the scope of the claims.
10: 전처리부
11: 센서 인터페이스부
13: 신호처리부
15: 특징점 추출부
30: 스파이킹 뉴럴 네트워크부
31: 입력 레이어
33: 히든 레이어
35: 출력 레이어
100: 스파이킹 뉴럴 네트워크 장치
200: 지능형 장치
210: 통신부
220: 센서부
230: 제어부
240: 출력부
250: 저장부10: preprocessor
11: sensor interface
13: signal processing unit
15: feature point extraction unit
30: spiking neural network unit
31: input layer
33: hidden layer
35: output layer
100: spiking neural network device
200: intelligent device
210: communication unit
220: sensor unit
230: control unit
240: output unit
250: storage
Claims (8)
상기 다차원 데이터에 각 차원 또는 시간별로 하나의 뉴런이 할당되고, 상기 전처리부로부터 전달되는 데이터 신호의 크기에 따라 확률기반으로 스파이크 신호를 생성하도록 설계하는 입력 레이어; 상기 뉴런이 모두 연결되는 형태로 구성되고, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하며, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값이 기 설정된 문턱치 값보다 높은 경우 상기 스파이크 신호를 내보내고, 상기 문턱치 값보다 낮은 경우 상기 스파이크 신호를 내보내지 않는 히든 레이어; 및 상기 내보내진 스파이크 신호를 그룹핑하여 데이터를 분류하고, 군집화하여 결과를 출력하는 출력 레이어;를 포함하는 스파이킹 뉴럴 네트워크부
를 포함하는 스파이킹 뉴럴 네트워크 장치.a preprocessor for receiving multi-channel data, converting the received data into multi-dimensional data by filtering and normalization, and extracting feature points of the converted multi-dimensional data; and
an input layer in which one neuron is allocated to the multidimensional data for each dimension or time, and designed to generate a spike signal based on probability according to the size of the data signal transmitted from the preprocessor; The neurons are all connected, and one synapse is allocated between the connected neurons, and when the sum of the values of the synapses in which the spike signal is generated among the synapses is higher than a preset threshold value, the spike signal a hidden layer that emits the signal and does not emit the spike signal when it is lower than the threshold value; and an output layer for classifying data by grouping the emitted spike signal, and outputting a result by clustering; a spiking neural network unit including a
A spiking neural network device comprising a.
상기 전처리부는,
실시간으로 다채널의 데이터를 수신하는 센서 인터페이스부;
상기 데이터를 잡음 제거를 수행하고, 상기 잡음 제거된 데이터를 증폭한 후, 일정 범위 내의 데이터로 표준화하여 상기 다차원 데이터로 변환하는 신호처리부; 및
상기 변환된 다차원 데이터를 합성곱(convolution) 연산 또는 타임 윈도우(time window) 구간에서 신호의 변화량을 측정하여 상기 특징점을 추출하는 특징점 추출부;
를 포함하는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.The method of claim 1,
The preprocessor is
a sensor interface unit for receiving multi-channel data in real time;
a signal processing unit that performs noise reduction on the data, amplifies the noise-removed data, normalizes the data within a predetermined range, and converts the data into the multidimensional data; and
a feature point extracting unit for extracting the feature point by measuring a signal change amount in a time window section or a convolution operation on the converted multidimensional data;
A spiking neural network device comprising a.
상기 히든 레이어는,
단일 층 또는 완전 연결(fully connected) 방식의 다층으로 구성되는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.The method of claim 1,
The hidden layer is
A spiking neural network device, characterized in that it is composed of a single layer or a multi-layer of a fully connected method.
상기 출력 레이어는,
상기 내보내진 스파이크 신호를 그룹핑하여 분류된 데이터 중 라벨링된 데이터가 있는 경우, 상기 스파이크 신호를 카운팅하고, 해당 라벨링 그룹에 매핑하여 출력하는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.The method of claim 1,
The output layer is
A spiking neural network device, characterized in that, when there is labeled data among data classified by grouping the emitted spike signals, the spike signals are counted, and the spike signals are mapped and outputted to the corresponding labeling group.
상기 스파이킹 뉴럴 네트워크부는,
프리(pre) 뉴런이 내보내는 스파이크 신호와 포스트(post) 뉴런이 내보내는 스파이크 신호의 시간차를 이용하여 상기 시냅스의 가중치 값을 업데이트하는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.The method of claim 1,
The spiking neural network unit,
A spiking neural network device, characterized in that the weight value of the synapse is updated by using a time difference between a spike signal emitted by a pre neuron and a spike signal emitted by a post neuron.
상기 스파이킹 뉴럴 네트워크부는,
상기 프리 뉴런이 스파이크 신호를 내보내는 시간과 상기 포스트 뉴런이 스파이크 신호를 내보내는 시간의 차이가 0보다 클 경우 LTP(Long Term Potentiation)으로 가중치를 올리고, 상기 차이가 0보다 작을 경우 LTD(Long Term Digression)시키는 것을 특징으로 하는 스파이킹 뉴럴 네트워크 장치.7. The method of claim 6,
The spiking neural network unit,
When the difference between the time that the pre-neuron emits a spike signal and the time that the post-neuron emits a spike signal is greater than 0, the weight is increased to LTP (Long Term Potentiation), and when the difference is less than 0, LTD (Long Term Digression) A spiking neural network device, characterized in that
복수의 센서를 이용하여 환경정보, 영상정보, 감지정보 및 인지정보 중 적어도 하나의 센싱 데이터를 측정하는 센서부; 및
상기 통신부로부터 수신된 데이터 및 센서부로부터 측정된 센싱 데이터를 다채널로 수신하고, 상기 다채널로 수신된 데이터를 기초로 뉴로모픽 기술을 기반으로 하는 스파이킹 뉴럴 네트워크 장치를 이용하여 학습 및 연산 처리를 수행하는 제어부;를 포함하되,
상기 스파이킹 뉴럴 네트워크 장치는,
상기 다채널로 수신된 데이터를 데이터를 필터링 및 표준화(normalization)하여 다차원 데이터로 변환하며, 상기 변환된 다차원 데이터의 특징점을 추출하는 전처리부; 및
상기 다차원 데이터에 각 차원 또는 시간별로 하나의 뉴런이 할당되고, 상기 전처리부로부터 전달되는 데이터 신호의 크기에 따라 확률기반으로 스파이크 신호를 생성하도록 설계하는 입력 레이어; 상기 뉴런이 모두 연결되는 형태로 구성되고, 상기 연결된 뉴런 간에 하나의 시냅스를 할당하며, 상기 시냅스 중 상기 스파이크 신호가 발생된 시냅스의 값에 대한 합산 값이 기 설정된 문턱치 값보다 높은 경우 상기 스파이크 신호를 내보내고, 상기 문턱치 값보다 낮은 경우 상기 스파이크 신호를 내보내지 않는 히든 레이어; 및 상기 내보내진 스파이크 신호를 그룹핑하여 데이터를 분류하고, 군집화하여 결과를 출력하는 출력 레이어;를 포함하는 스파이킹 뉴럴 네트워크부
를 포함하는 것을 특징으로 하는 지능형 장치.a communication unit for communicating with an external device;
a sensor unit for measuring at least one sensing data of environmental information, image information, sensing information, and recognition information using a plurality of sensors; and
Receive data received from the communication unit and sensed data measured from the sensor unit in multiple channels, and learn and operate using a spiking neural network device based on neuromorphic technology based on the data received in multiple channels A control unit for performing processing; including,
The spiking neural network device,
a preprocessor configured to filter and normalize the data received through the multi-channel data, convert the data into multi-dimensional data, and extract feature points of the converted multi-dimensional data; and
an input layer in which one neuron is allocated to the multidimensional data for each dimension or time, and designed to generate a spike signal based on probability according to the size of the data signal transmitted from the preprocessor; The neurons are all connected, and one synapse is allocated between the connected neurons, and when the sum of the values of the synapses in which the spike signal is generated among the synapses is higher than a preset threshold value, the spike signal a hidden layer that emits the signal and does not emit the spike signal when it is lower than the threshold value; and an output layer for classifying data by grouping the emitted spike signal, and outputting a result by clustering; a spiking neural network unit including a
An intelligent device comprising a.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180147415A KR102464490B1 (en) | 2018-11-26 | 2018-11-26 | Spiking neural network device and intelligent apparatus comprising the same |
PCT/KR2018/015188 WO2020111356A1 (en) | 2018-11-26 | 2018-12-03 | Spiking neural network device and intelligent device including same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180147415A KR102464490B1 (en) | 2018-11-26 | 2018-11-26 | Spiking neural network device and intelligent apparatus comprising the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200068051A KR20200068051A (en) | 2020-06-15 |
KR102464490B1 true KR102464490B1 (en) | 2022-11-09 |
Family
ID=70852188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180147415A KR102464490B1 (en) | 2018-11-26 | 2018-11-26 | Spiking neural network device and intelligent apparatus comprising the same |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102464490B1 (en) |
WO (1) | WO2020111356A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102535007B1 (en) | 2020-11-13 | 2023-05-19 | 숭실대학교 산학협력단 | Neuromorphic architecture dynamic selection method for snn model parameter-based modeling, recording medium and device for performing the method |
KR102553366B1 (en) * | 2020-11-24 | 2023-07-06 | 한남대학교 산학협력단 | Spiking Neural Network-Based Component Generating System for Intelligent Application IoT |
CN114925721B (en) * | 2022-04-27 | 2023-04-25 | 中国电子科技集团公司第二十九研究所 | Signal sorting method based on U-Net segmentation network |
CN117311516B (en) * | 2023-11-28 | 2024-02-20 | 北京师范大学 | Motor imagery electroencephalogram channel selection method and system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100338473B1 (en) * | 1999-07-02 | 2002-05-30 | 조양호 | Face detection method using multi-dimensional neural network and device for the same |
EP3035249B1 (en) * | 2014-12-19 | 2019-11-27 | Intel Corporation | Method and apparatus for distributed and cooperative computation in artificial neural networks |
KR20170117861A (en) | 2016-04-14 | 2017-10-24 | 에스케이하이닉스 주식회사 | Neural Network Systems |
KR20170135563A (en) * | 2016-05-31 | 2017-12-08 | 한국과학기술원 | A neuromotor device in the form of a wearable device and a method of processing biometric information using the neuromotor device |
KR20180027887A (en) * | 2016-09-07 | 2018-03-15 | 삼성전자주식회사 | Recognition apparatus based on neural network and training method of neural network |
KR20180069452A (en) * | 2016-12-15 | 2018-06-25 | 삼성전자주식회사 | Method for training the neural network, method for recogning using neural network and apparatus thereof |
-
2018
- 2018-11-26 KR KR1020180147415A patent/KR102464490B1/en active IP Right Grant
- 2018-12-03 WO PCT/KR2018/015188 patent/WO2020111356A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR20200068051A (en) | 2020-06-15 |
WO2020111356A1 (en) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102464490B1 (en) | Spiking neural network device and intelligent apparatus comprising the same | |
Alaslani | Convolutional neural network based feature extraction for iris recognition | |
Nunes et al. | Spiking neural networks: A survey | |
US11157798B2 (en) | Intelligent autonomous feature extraction system using two hardware spiking neutral networks with spike timing dependent plasticity | |
US11468337B2 (en) | System and methods for facilitating pattern recognition | |
Hinton | How neural networks learn from experience | |
CN111612136B (en) | Neural morphology visual target classification method and system | |
JP4970408B2 (en) | An adaptive driver assistance system using robust estimation of object properties | |
US5875284A (en) | Neuro-fuzzy-integrated data processing system | |
Shrestha et al. | Stable spike-timing dependent plasticity rule for multilayer unsupervised and supervised learning | |
US20130018832A1 (en) | Data structure and a method for using the data structure | |
Fu et al. | An ensemble unsupervised spiking neural network for objective recognition | |
Zhang et al. | Spiking echo state convolutional neural network for robust time series classification | |
Chaturvedi et al. | Review of handwritten pattern recognition of digits and special characters using feed forward neural network and Izhikevich neural model | |
Dabbous et al. | Touch modality classification using spiking neural networks and supervised-stdp learning | |
US20160321538A1 (en) | Pattern Recognition System and Method | |
Park et al. | A single depth sensor based human activity recognition via convolutional neural network | |
CN112801283B (en) | Neural network model, action recognition method, device and storage medium | |
Berlin et al. | R-STDP based spiking neural network for human action recognition | |
Rekabdar et al. | Scale and translation invariant learning of spatio-temporal patterns using longest common subsequences and spiking neural networks | |
Raut et al. | IoT‐assisted smart device for blind people | |
KR20220075025A (en) | Neuromorphic computing device | |
Rasamuel et al. | Specialized visual sensor coupled to a dynamic neural field for embedded attentional process | |
Amin et al. | Hybrid spiking neural model for clustering smart environment activities | |
KR102502387B1 (en) | Method, device and system for handling logistics based on voice recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right |