KR101997975B1 - 신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법 - Google Patents

신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법 Download PDF

Info

Publication number
KR101997975B1
KR101997975B1 KR1020170108470A KR20170108470A KR101997975B1 KR 101997975 B1 KR101997975 B1 KR 101997975B1 KR 1020170108470 A KR1020170108470 A KR 1020170108470A KR 20170108470 A KR20170108470 A KR 20170108470A KR 101997975 B1 KR101997975 B1 KR 101997975B1
Authority
KR
South Korea
Prior art keywords
information
learning rule
neural network
learning
storing
Prior art date
Application number
KR1020170108470A
Other languages
English (en)
Other versions
KR20180062934A (ko
KR101997975B9 (ko
Inventor
백세범
박영진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US15/720,772 priority Critical patent/US11068774B2/en
Publication of KR20180062934A publication Critical patent/KR20180062934A/ko
Application granted granted Critical
Publication of KR101997975B1 publication Critical patent/KR101997975B1/ko
Publication of KR101997975B9 publication Critical patent/KR101997975B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G11C11/165—Auxiliary circuits
    • G11C11/1675—Writing or programming circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법이 개시된다. 정보 저장 방법은, 입력되는 정보를 스파이크(spike) 형태의 시간적 패턴(temporal pattern)으로 변환하는 단계; 및 상기 시간적 패턴으로 변환된 정보를 스파이킹 신경망(spiking neural network)에 저장하는 단계를 포함하고, 상기 저장하는 단계는, 비교사 학습 규칙(unsupervised learning rule)인 STDP(spike-timing-dependent plasticity) 학습 규칙을 상기 스파이킹 신경망에 적용하여 정보를 저장할 수 있다.

Description

신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법{SPIKING NEURAL NETWORK SYSTEM FOR DYNAMIC CONTROL OF FLEXIBLE, STABLE AND HYBRID MEMORY STORAGE}
아래의 설명은 신경망을 이용한 정보의 선택적인 저장과 조절 방법에 관한 것이다.
스파이킹 신경망(Spiking neural network)을 스파이크 타이밍 의존성 가소성(spike-timing-dependent plasticity)(이하, 'STDP'라 약칭함)으로 학습시키는 기술은 인간의 뇌의 학습 및 정보처리 방식을 모사한 것으로, 그 특징과 알고리즘에 대해 신경과학과 전자공학 분야에서 기초적인 연구가 활발하게 진행되고 있다.
일반적으로 널리 사용되는 퍼셉트론(perceptron) 기반이나 발화율 모델(firing rate model) 기반의 인공신경망과는 달리, 스파이킹 신경망 시스템은 정보 전달의 매체로 스파이크(spike) 형태의 신호를 사용하므로 실제 생물학적 뇌의 특성인 고등 인지, 추론 등의 고차원적인 기능을 수행할 수 있다.
신경망에서의 정보 저장 방법들은 하나의 신경망에서 새로운 정보 학습과 이미 저장된 기존 정보의 안정적인 유지를 동시에 컨트롤 할 수 없는 문제점을 가지고 있다. 다시 말해, 신규 정보 저장의 효율을 높이려면 기존 저장된 정보의 손실이 커지고, 기존 정보의 유지 효율을 높이면 신규 정보의 저장이 불가능해지는 "안정성과 유연성의 딜레마(stability-plasticity dilemma)"를 가지고 있다.
신규 정보의 저장 효율과 기존 정보의 유지 효율을 필요에 따라 선택하거나 능동적으로 조절 및 변환할 수 있는 방법 및 시스템을 제공한다.
간단하게 신경망의 학습율(learning rate)의 대칭성을 바꾸는 것만으로 안정성과 유연성의 딜레마를 해결할 수 있는 방법 및 시스템을 제공한다.
컴퓨터로 구현되는 정보 저장 방법에 있어서, 입력되는 정보를 스파이크(spike) 형태의 시간적 패턴(temporal pattern)으로 변환하는 단계; 및 상기 시간적 패턴으로 변환된 정보를 스파이킹 신경망(spiking neural network)에 저장하는 단계를 포함하고, 상기 저장하는 단계는, 비교사 학습 규칙(unsupervised learning rule)인 STDP(spike-timing-dependent plasticity) 학습 규칙을 상기 스파이킹 신경망에 적용하여 정보를 저장하는 것을 특징으로 하는 정보 저장 방법을 제공한다.
일 측면에 따르면, 상기 저장하는 단계는, 상기 STDP 학습 규칙에서의 개별 시냅스(synapse) 연결의 안정성(stability)을 조절함으로써 상기 스파이킹 신경망에 저장된 정보의 특성을 조절하는 단계를 포함할 수 있다.
다른 측면에 따르면, 상기 저장하는 단계는, 상기 STDP 학습 규칙에서의 학습율(learning rate)의 대칭성을 변형함으로써 상기 스파이킹 신경망에 저장된 정보의 특성을 조절하는 단계를 포함하고, 상기 학습율의 대칭성을 변형하는 것은, 상기 STDP 학습 규칙에서의 연결 가중치 기반 학습율(weight-dependent learning rate)을 대칭적으로 또는 비대칭적으로 바꿔 줄 수 있다.
또 다른 측면에 따르면, 상기 저장하는 단계는, 상기 STDP 학습 규칙에서의 개별 시냅스 연결의 안정성을 조절하여 휘발성 기억을 형성하는 단기 기억 모델의 비대칭적 학습 규칙(asymmetric learning rule)을 구현하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 저장하는 단계는, 상기 STDP 학습 규칙에서의 개별 시냅스 연결의 안정성을 조절하여 비휘발성 기억을 형성하는 장기 기억 모델의 대칭적 학습 규칙(symmetric learning rule)을 구현하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 저장하는 단계는, 상기 STDP 학습 규칙에서의 개별 시냅스 연결의 안정성을 조절하여 휘발성 기억을 형성하는 단기 기억 모델의 비대칭적 학습 규칙과 비휘발성 기억을 형성하는 장기 기억 모델의 대칭적 학습 규칙의 중간 형태의 특성을 가진 하이브리드 기억 모델의 하이브리드 학습 규칙(hybrid learning rule)을 구현하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 하이브리드 학습 규칙을 구현하는 단계는, 상기 비대칭적 학습 규칙과 상기 대칭적 학습 규칙의 선형 결합을 통해 상기 하이브리드 학습 규칙을 구현할 수 있다.
또 다른 측면에 따르면, 상기 저장하는 단계는, 상기 스파이킹 신경망에서 입력 신경과 출력 신경의 연결 강도(synaptic strength)를 입력 스파이크와 출력 스파이크의 시간적 차이에 의해서 바꾸어 주는 STDP 학습 규칙을 통해 정보를 저장할 수 있다.
또 다른 측면에 따르면, 상기 STDP 학습 규칙은, 상기 입력 스파이크가 상기 출력 스파이크보다 먼저 들어올 경우 상기 연결 강도를 강화시키고 상기 출력 스파이크가 상기 입력 스파이크보다 먼저 들어올 경우 상기 연결 강도를 약화시킬 수 있다.
컴퓨터로 구현되는 정보 저장 방법에 있어서, 입력되는 정보를 스파이크 형태의 시간적 패턴으로 변환하는 단계; 및 상기 시간적 패턴으로 변환된 정보를 스파이킹 신경망에 저장하는 단계를 포함하고, 상기 저장하는 단계는, 상기 스파이킹 신경망에 STDP 학습 규칙을 적용하여 정보를 저장하되, 상기 STDP 학습 규칙에서의 개별 시냅스(synapse) 연결의 안정성(stability)을 조절하여 휘발성 기억을 형성하는 단기 기억 모델의 비대칭적 학습 규칙, 또는 비휘발성 기억을 형성하는 장기 기억 모델의 대칭적 학습 규칙, 또는 상기 비대칭적 학습 규칙과 상기 대칭적 학습 규칙의 중간 형태의 특성을 가진 하이브리드 기억 모델의 하이브리드 학습 규칙을 구현하는 것을 특징으로 하는 정보 저장 방법을 제공한다.
컴퓨터로 구현되는 정보 저장 시스템에 있어서, 컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 입력되는 정보를 스파이크 형태의 시간적 패턴으로 변환하여 스파이킹 신경망에 저장하고, 상기 적어도 하나의 프로세서는, 상기 스파이킹 신경망에 저장하기 위해, 상기 스파이킹 신경망에 STDP 학습 규칙을 적용하여 정보를 저장하되, 상기 STDP 학습 규칙에서의 개별 시냅스(synapse) 연결의 안정성(stability)을 조절함으로써 상기 스파이킹 신경망에 저장된 정보의 특성을 조절하는 것을 특징으로 하는 정보 저장 시스템을 제공한다.
본 발명의 실시예들에 따르면, 신규 정보의 저장 효율과 기존 정보의 유지 효율을 필요에 따라 선택하거나 능동적으로 조절 및 변환할 수 있는 기능을 제공함으로써 신경망 시스템의 기술적 유연성을 더욱 향상시킬 수 있다.
본 발명의 실시예들에 따르면, 신경망에서의 정보 저장 방법에 있어 간단하게 신경망의 학습율의 대칭성을 바꾸는 것만으로 신경망 시스템의 가장 핵심적인 문제 중 하나인 안정성과 유연성의 딜레마를 해결할 수 있다.
도 1은 본 발명의 일실시예에 있어서 스파이킹 신경망 구조의 예를 도시한 것이다.
도 2는 본 발명의 일실시예에 있어서 스파이킹 신경망에 사용하는 STDP 학습 규칙을 설명하기 위한 예시 도면이다.
도 3은 본 발명의 일실시예에 있어서 신규 정보 학습과 기존 기억 유지의 조절을 위한 STDP 프로파일의 형태 변경 예시를 도시한 것이다.
도 4는 본 발명의 일실시예에 있어서 단기 기억 모델과 장기 기억 모델의 중간 형태의 특성을 가지는 하이브리드 기억 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 있어서 시간에 따른 기억의 지속성 변화 측정 결과를 나타낸 그래프이다.
도 6은 본 발명의 일실시예에 있어서 새로운 정보가 추가되었을 때 기존 기억과 신규 기억의 기억 효율 측정 결과를 나타낸 그래프이다.
도 7은 본 발명의 일실시예에 있어서 여러 개의 정보를 차례대로 넣어줄 때 기존 기억과 신규 기억의 기억 효율 측정 결과를 나타낸 그래프이다.
도 8 내지 도 9는 본 발명의 일실시예에 있어서 STDP 형태 별 기억의 특성 그래프를 도시한 것이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 신경망을 이용한 정보의 선택적인 저장과 조절 방법에 관한 것으로서, 신경망에서의 정보 저장과 조절을 위해서 인간의 두뇌에서의 학습 및 정보 처리 방식을 모사하는 스파이킹 신경망(Spiking neural network)과 스파이크 타이밍 의존성 가소성(spike-timing-dependent plasticity: STDP)을 사용한다.
스파이킹 신경망에 STDP 학습 규칙을 사용하여 정보를 저장하게 하는 기존 기술에서는 저장된 정보가 단기 기억 또는 장기 기억의 특성을 가질 수 있도록 능동적으로 조절하는 기능은 없다. 구체적으로 기존 기술들은 저장된 정보가 휘발성 또는 비휘발성 특성을 가지도록 조절하거나 이전에 기록된 정보가 이후에 새로 입력된 정보에 의해 지워지거나 지워지지 않도록 능동적으로 조절하는 방법을 제시하지 못하고 있다.
본 발명에서는 STDP 학습 규칙에서의 학습율(learning rate)의 대칭성을 변형함으로써 스파이킹 신경망에 저장된 정보의 특성을 능동적으로 조절할 수 있다. 구체적으로는 STDP의 연결 가중치 기반 학습율(weight-dependent learning rate)을 대칭적/비대칭적으로 바꿔 주어 이를 통해 개별 시냅스(synapse) 연결의 안정성을 조절하여 저장된 정보의 지속성 및 신규 정보에 의해 영향을 받는 정도를 자유롭게 조정할 수 있다. 이는 신경망 모델에서 단순히 법칙 한가지를 변형함으로써 종래 기술의 한계를 극복하는 간단하지만 새로운 방법이다.
다시 말해, 본 발명은 STDP 학습 규칙의 안정성(stability)을 조절함으로써 스파이킹 신경망에 저장되는 정보의 특성, 즉 비휘발성이면서 새로운 정보에 의해 간섭 받지 않는 장기 기억, 또는 휘발성이면서 새로운 정보에 의해 지워지는 단기 기억이 형성되도록 조절하거나, 장기/단기 기억의 중간 형태의 특성을 가지는 하이브리드 기억이 형성되도록 조절할 수 있다. 이를 통하여 하나의 신경망에서 학습율의 대칭성을 연속적으로 조절하는 것만으로 새로이 저장되는 정보의 지속성 및 휘발성을 능동적으로 조절 및 변환할 수 있는 시스템을 구현할 수 있다.
본 발명에서는 이미 정보가 저장되어 있는 신경망에서도 물리적인 연결 회로의 변형 없이 저장된 정보의 특성을 능동적으로 조정하는 것이 가능하다. 또한, 학습율의 대칭성은 완전히 대칭적인 것부터 완전히 비대칭적인 것까지 연속적으로 변환 가능하므로 장기 기억과 단기 기억의 중간적인 특성을 나타내는 하이브리드 기억의 구현이 가능하고, 신경망이 저장하는 정보들이 어느 정도 안정성을 가지게 할 것인지 필요에 따라 자유롭게 선택 및 변형할 수 있다. 이를 통해 기존의 신경망이 가지고 있던 '안정성과 유연성의 딜레마'를 효율적으로 해결할 수 있고, 인간의 생물학적 뇌의 기능 특성에 보다 가까운 기억 시스템을 구현할 수 있다.
도 1은 본 발명에서 사용하는 피드포워드(feed forward) 스파이킹 신경망 구조의 예를 도시한 것이다. 도 1을 참조하면, 본 발명에 따른 정보 저장 시스템은 텍스트나 이미지 등의 일반적인 정보(101)를 스파이크(신경 활동)의 시간적 패턴(temporal pattern)(102)으로 변환시켜 스파이킹 신경망(103)에 저장할 수 있다.
본 발명에 따른 정보 저장 시스템은 비교사 학습 규칙(unsupervised learning rule)의 한 종류인 STDP를 스파이킹 신경망(103)에 적용시켜 패턴 학습 및 정보 저장이 가능하게 하는 신경망 시스템을 포함할 수 있다.
도 2는 본 발명의 일실시예에 있어서 스파이킹 신경망에 사용하는 STDP 학습 규칙의 예를 도시한 것이다. STDP는 신경망에서 입력 신경과 출력 신경의 연결 강도(synaptic strength)를 입력 스파이크와 출력 스파이크의 시간적 차이에 의해서 바꾸어 주는 학습 규칙으로서, 도 2에 도시한 바와 같이 입력 스파이크가 출력 스파이크보다 먼저 들어올 경우(t>0) 연결 강도를 강화시키고(w 증가) 출력 스파이크가 입력 스파이크보다 먼저 들어올 경우(t<0) 연결 강도를 약화시킨다(w 감소).
도 3은 본 발명의 일실시예에 있어서 신규 정보 학습과 기존 기억 유지의 조절을 위한 STDP 프로파일의 형태 변경 예시를 도시한 것이다. 도 3의 좌측 도면은 새로운 기억이 들어왔을 때 기존 기억이 쉽게 대체되고 정보의 지속성이 짧은 휘발성 기억을 형성하는 단기 기억 모델의 비대칭적 학습 규칙(asymmetric learning rule)을 나타내고 있고, 우측 도면은 새로운 기억을 더해도 기존 정보가 유지되고 정보가 영구히 유지되는 비휘발성 기억을 형성하는 장기 기억 모델의 대칭적 학습 규칙(symmetric learning rule)을 나타내고 있다.
다시 말해, 학습 규칙의 안정성을 조절하는 것의 한가지 예로, 일반적으로 사용되는 비대칭적 STDP과는 다른, 새로운 형태의 대칭적 가소성 규칙을 사용하면 새로운 정보의 입력을 더해도 기존 정보가 유지되고 저장된 정보가 영구히 유지되는 인간의 장기 기억과 흡사한 특징을 가지는 비휘발성 기억을 형성하는 신경망 시스템이 구현될 수 있다. 반면, 같은 신경망에서 가소성의 대칭성을 비대칭적 형태로 조절하면 새로운 정보가 입력되었을 때 기존 기억이 쉽게 대체되고 정보의 지속성도 짧은, 컴퓨터의 랜덤 액세스 메모리(RAM)나 인간의 단기 기억과 유사한 휘발성 기억을 형성하는 시스템이 구현될 수 있다. 또한, 이미 정보가 저장되어 있는 신경망에서도 이렇게 학습 규칙의 형태를 바꿔줌으로써 저장된 정보의 특성을 능동적으로 조정 가능하다.
도 4는 본 발명의 일실시예에 있어서 하이브리드 기억 모델을 설명하기 위한 도면이다. 도 4에 도시한 바와 같이, 하이브리드 기억 모델은 비대칭적 학습 규칙과 대칭적 학습 규칙의 형태를 임의의 비율로 합성한 형태를 가진다. 즉, 단기 기억 모델과 장기 기억 모델의 원리를 이용하여 대칭 학습 규칙과 비대칭 학습 규칙의 중간적인 형태를 통해 장기 기억과 단기 기억의 중간 형태의 특성을 나타내는 하이브리드 기억 저장 방법을 구현할 수 있다.
본 발명에서의 STDP 학습율 대칭성 변화는 실제 STDP 커널(kernel)의 모양을 대칭적/비대칭적으로 바꾸는 것이 아니라, 도 3과 도 4에 도시한 바와 같이 커널의 모양은 비대칭적인 STDP를 그대로 유치한 채 연결 가중치 기반 학습율을 대칭적/비대칭적으로 바꾸는 것을 의미한다.
스파이킹 신경망과 STDP 모델링에 대한 구체적인 실시예를 설명하면 다음과 같다.
생물학적으로 타당한 스파이킹 신경망을 LIF(Leaky-integrate-and-fire) 신경세포 모델을 사용하여 구현할 수 있고, 이러한 신경망을 기반으로 대칭적/비대칭적 학습율 STDP를 적용하여 형성되는 기억의 지속성 및 안정성을 보장할 수 있다.
LIF 신경세포 모델은 수학식 1과 같이 기술된다.
[수학식 1]
Figure 112017082862985-pat00001
여기서, C는 세포막 커패시턴트, gL은 막 컨덕턴스, EL은 휴지전위, Esyn은 반전전위를 나타낸다. 그리고, gj는 전위 의존성 채널 컨덕턴스를 나타내는 것으로, 수학식 2와 같이 기술된다.
[수학식 2]
Figure 112017082862985-pat00002
Sj는 시냅스 전 뉴런이 발화하는 스파이크, wij는 시냅스 전-후 뉴런 사이의 연결 가중치, csyn은 입력 스파이크에 의해 유도되는 시냅스 후 뉴런의 EPSC(excitatory postsynaptic conductance)의 크기를 나타내는 값이다. 막전위 Vj가 특정 한계점(예컨대, -55mV)을 넘으면 활동 전위가 일어나 뉴런이 발화하게 되고, 발화한 직후 Vj는 휴지전위 값으로 돌아간다.
시냅스 전-후 뉴런의 스파이크 타이밍 차이에 의해 뉴런 사이의 연결 가중치를 업데이트 하는 STDP 학습 규칙은 수학식 3과 같이 기술된다.
[수학식 3]
Figure 112017082862985-pat00003
이때, 연결 가중치 기반 학습률을 의미하는
Figure 112017082862985-pat00004
를 어떻게 설정하느냐에 따라 STDP 학습율의 대칭성이 변하게 된다.
연결 가중치 기반 학습률을 비대칭적으로 정의한 비대칭적 학습율 규칙은 수학식 4와 같이 기술된다.
[수학식 4]
Figure 112017082862985-pat00005
수학식 5는 연결 가중치 기반 학습률을 대칭적으로 정의한 대칭적 학습율 규칙을 나타낸 것이다.
[수학식 5]
Figure 112017082862985-pat00006
또한, 비대칭적 학습율 규칙과 대칭적 학습율 규칙을 규칙의 선형 결합을 통해 하이브리드 학습 규칙을 수학식 6과 같이 정의할 수 있다.
[수학식 6]
Figure 112017082862985-pat00007
이때,
Figure 112017082862985-pat00008
은 대칭적 학습율 규칙의 비율을 나타낸다.
본 발명에 따른 신경망은 수학식 1에서 기술한 LIF 뉴런으로 이루어져 있으며, 일례로 입력과 출력이 각각 50개의 뉴런으로 구성될 수 있다. 이때, 뉴런들 사이의 시냅스 연결은 0.2의 확률로 무작위로 구성되며, 연결 가중치는 0과 1 사이에서 무작위로 초기화 될 수 있다.
신경망의 학습 방식은 다음과 같다.
먼저, 모든 입력 뉴런이 무작위로 한 번씩 발화하는 일정 길이(예컨대, 100ms)의 시간적 패턴을 형성하고 이 패턴을 신경망에 반복적으로 일정 회수(예컨대, 1000회) 입력하여 학습시킨다. 신경망의 기억 효율을 측정하기 위하여 '학습한' 패턴과 '학습하지 않은' 패턴을 각각 신경망에 입력하여 얼마나 일정한 출력 패턴을 내는지를 측정할 수 있다. 신경망의 기억 효율을 나타내는 기억 인덱스(memory index)는 수학식 7과 같이 정의된다.
[수학식 7]
Figure 112017082862985-pat00009
여기서, S는 출력 패턴을 의미하고 Npair와 Nfiring은 기억 인덱스를 총 신경 개수와 스파이크 개수에 따라 정규화 하기 위한 상수이다.
도 5에서는 대칭적 학습율 규칙과 비대칭적 학습율 규칙 각각에 대해 노이즈 스파이크가 들어오는 환경에서 기억 인덱스가 시간에 따라 어떻게 달라지는지를 볼 수 있고, 이를 통해 본 발명에서 제안하는 기술이 기억의 지속성을 조절할 수 있음을 알 수 있다. 도 5를 보면, 비대칭적 학습율 규칙을 사용한 신경망은 반복적으로 들어오는 노이즈에 의해 기억이 유의미하게 감소하는 반면, 대칭적 학습율 규칙을 사용한 신경망은 노이즈에도 불구하고 기존 기억을 대부분 유지하는 것을 알 수 있다.
도 6에서는 대칭적 학습율 규칙과 비대칭적 학습율 규칙 각각에 대해 새로운 기억을 학습할 때 기존의 기억이 어떻게 변하는지를 볼 수 있고, 이를 통해 본 발명에서 제안하는 기술이 기존 정보의 유지성을 조절할 수 있음을 알 수 있다. 도 6을 보면, 비대칭적 학습율 규칙을 사용한 신경망은 새로운 기억이 들어옴에 따라 기존에 저장된 기억이 지워지지만, 대칭적 학습율 규칙을 사용한 신경망은 새로운 기억이 학습되어도 기존 기억이 지워지지 않고 두 기억의 정보가 공존하는 것을 알 수 있다.
도 7에서는 대칭적 학습율 규칙과 비대칭적 학습율 규칙에 대해 여러 개의 정보를 차례대로 넣어줄 때 기존 기억과 신규 기억의 효율 변화가 극명하게 대비되는 것을 볼 수 있다. 비대칭적 학습율 규칙을 사용한 신경망은 새로운 기억이 들어오면 기존 기억이 지워지기 시작하여 결국 완전히 사라진다. 반면, 대칭적 학습율 규칙을 사용한 신경망은 새로운 기억이 학습되어도 기존 기억이 지워지지 않고 계속 누적되어 다수의 입력 정보 패턴을 동시에 기억할 수 있다.
마지막으로 같은 방법으로 수학식 6에서 표현된 하이브리드 학습 규칙의 기억 변화를 측정할 수 있다. 도 8과 도 9는 STDP 형태 별 기억의 특성 그래프를 도시한 것이다.
도 8은 기억 모델의 시간에 따른 기존 기억의 지속성 변화를 나타낸 것이다. 도 8에서 알 수 있듯이, 대칭적 학습 방법에서는 저장 정보가 장기적으로 지속되는 반면 비대칭 학습 방법에서는 시간에 따라 정보가 빠르게 소실되는 특성을 보인다. 그리고, 하이브리드 학습 방법에 따라 저장된 정보는 비대칭적 학습 규칙과 대칭적 학습 규칙의 중간적인 특성을 보임을 알 수 있다.
도 9는 새로운 정보가 추가되었을 때 기존 정보의 유지성을 나타낸 것으로, 세 가지 학습 방법이 각각 다른 결과를 보이며, 정보의 지속성과 마찬가지로 하이브리드 학습 방법에 따른 기존 정보의 유지성 또한 비대칭적 학습 규칙과 대칭적 학습 규칙의 중간적인 특성을 보인다.
본 실시예에서는 STDP 학습 규칙에서의 학습율의 대칭성을 변형함으로써 저장된 정보의 특성을 조절하는 것으로 설명하였으나, 저장된 정보의 특성을 조절하는 방법이 학습율의 대칭성을 변형하는 것에 한정되는 것은 아니며 시냅스의 안정성을 기반으로 한 방식이라면 모두 적용할 수 있다. 시냅스의 안정성을 크게 변형시키지 않는 한도 내에서 학습율의 대칭성을 변형하는 것은 가능하다. 대칭적 학습 규칙을 구현하기 위하여 반드시 연결 가중치 기반 학습율이 정확하게 대칭일 필요가 없으며, 시냅스가 최소값 '0'과 최대값 '1'에서 안정하도록 시냅스 연결 가중치(synaptic weight)가 0과 1인 지점에서 학습율이 상대적으로 낮기만 하면 대칭적 학습 규칙과 같은 방식으로 작동할 수 있다. 마찬가지로, 비대칭적 학습 규칙을 구현하기 위하여 반드시 실시예와 같은 STDP 형태일 필요가 없으며, 중간 정도 세기의 시냅스(예컨대, 연결강도=0.4)에서 안정한 형태라면 비대칭적 학습 규칙과 같은 방식으로 작동할 수 있다.
이처럼 본 발명의 실시예들에 따르면, 신규 정보의 저장 효율과 기존 정보의 유지 효율을 필요에 따라 선택하거나 능동적으로 조절 및 변환할 수 있는 기능을 제공함으로써 신경망 시스템의 기술적 유연성을 더욱 향상시킬 수 있으며, 더욱이 신경망에서의 정보 저장 방법에 있어 간단하게 신경망의 학습율의 대칭성을 바꾸는 것만으로 신경망 시스템의 가장 핵심적인 문제 중 하나인 안정성과 유연성의 딜레마를 해결할 수 있다.
본 발명의 실시예들은 스파이킹 신경망을 사용하는 산업 및 제품 전반에 적용 및 응용 가능하다. 예를 들어, 스파이킹 신경망을 메모리로 사용하는 인공지능 로봇에 본 발명을 적용함으로써 필요에 따라 기존의 정보 유지와 새로운 정보 학습 사이의 밸런스를 능동적으로 조절 가능하게 만들 수 있다. 스파이킹 신경망을 사용하는 기술의 예시로는 딥 러닝, 인지 컴퓨팅, 인공 시각, 로봇 제어 등 신경망을 핵심 알고리즘으로 이용하는 시스템들이 있는데, 거의 모든 경우 학습 가능한 메모리 시스템을 탑재하여야 하므로 본 발명에서 제시하는 방법이 중요하게 적용될 수 있다. 예를 들어, 사람의 뇌를 모사한 뉴로모픽 저장 장치 하드웨어의 설계 시, 본 발명의 학습 규칙 및 시스템을 그대로 적용하여 생물학적 뇌의 장기 및 단기 기억 특성을 모사할 수 있다.
본 발명의 실시예들은 스파이킹 신경망을 이용하는 대부분의 시스템에 탑재될 수 있다. 스파이킹 신경망은 가장 뛰어난 지능시스템인 사람의 생물학적 뇌를 구조적/기능적으로 모사하는 구조이므로, 얼굴 인식, 자율주행 자동차, 스마트 로봇 제어 등 인간 수준의 인지 기능이 필요한 다양한 분야에서 사용될 수 있다. 또한, 본 발명은 현재 기대되고 있는 기술 중 하나인 뉴로모픽(neuromorphic) 시스템의 저장 장치 설계 시 그대로 적용 가능한데, 본 발명에서 제시하는 방법을 적용하면 기존의 뉴로모픽 칩이나 인공신경망에서는 불가능했던, 하드웨어의 특성이나 연결성 변경 등의 물리적인 작업 없이 간단한 학습 룰의 변경만으로 메모리의 특징을 변환시킬 수 있는 효율적인 시스템 설계가 가능하다.
본 발명에 따른 정보 저장 방법은 도 1 내지 도 9를 통해 설명한 상세 내용을 바탕으로 둘 이상의 동작들을 포함할 수 있다. 본 발명에 따른 정보 저장 시스템은 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함할 수 있으며, 이때 적어도 하나의 프로세서는 도 1 내지 도 9를 통해 설명한 정보 저장 방법을 실행할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 컴퓨터로 구현되는 정보 저장 방법에 있어서,
    입력되는 정보를 스파이크(spike) 형태의 시간적 패턴(temporal pattern)으로 변환하는 단계; 및
    상기 시간적 패턴으로 변환된 정보를 스파이킹 신경망(spiking neural network)에 저장하는 단계
    를 포함하고,
    상기 저장하는 단계는,
    비교사 학습 규칙(unsupervised learning rule)인 STDP(spike-timing-dependent plasticity) 학습 규칙을 상기 스파이킹 신경망에 적용하여 정보를 저장하는 것으로,
    상기 STDP 학습 규칙에서의 학습율(learning rate)의 대칭성을 변형함으로써 상기 스파이킹 신경망에 저장된 정보의 특성을 조절하는 단계
    를 포함하고,
    상기 학습율의 대칭성을 변형하는 것은,
    상기 STDP 학습 규칙에서의 연결 가중치 기반 학습율(weight-dependent learning rate)을 대칭적으로 또는 비대칭적으로 바꿔 주는 것
    을 특징으로 하는 정보 저장 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 컴퓨터로 구현되는 정보 저장 방법에 있어서,
    입력되는 정보를 스파이크(spike) 형태의 시간적 패턴(temporal pattern)으로 변환하는 단계; 및
    상기 시간적 패턴으로 변환된 정보를 스파이킹 신경망(spiking neural network)에 저장하는 단계
    를 포함하고,
    상기 저장하는 단계는,
    비교사 학습 규칙(unsupervised learning rule)인 STDP(spike-timing-dependent plasticity) 학습 규칙을 상기 스파이킹 신경망에 적용하여 정보를 저장하는 것으로,
    상기 STDP 학습 규칙에서의 개별 시냅스 내 정보 저장의 안정성을 조절하여 휘발성 기억을 형성하는 단기 기억 모델의 비대칭적 학습 규칙(asymmetric learning rule)과 비휘발성 기억을 형성하는 장기 기억 모델의 대칭적 학습 규칙(symmetric learning rule)의 중간 형태의 특성을 가진 하이브리드 기억 모델의 하이브리드 학습 규칙(hybrid learning rule)을 구현하는 단계
    를 포함하는 정보 저장 방법.
  7. 제6항에 있어서,
    상기 하이브리드 학습 규칙을 구현하는 단계는,
    상기 비대칭적 학습 규칙과 상기 대칭적 학습 규칙의 선형 결합을 통해 상기 하이브리드 학습 규칙을 구현하는 것
    을 특징으로 하는 정보 저장 방법.
  8. 제1항에 있어서,
    상기 저장하는 단계는,
    상기 스파이킹 신경망에서 입력 신경과 출력 신경의 연결 강도(synaptic strength)를 입력 스파이크와 출력 스파이크의 시간적 차이에 의해서 바꾸어 주는 STDP 학습 규칙을 통해 정보를 저장하는 것
    을 특징으로 하는 정보 저장 방법.
  9. 제8항에 있어서,
    상기 STDP 학습 규칙은,
    상기 입력 스파이크가 상기 출력 스파이크보다 먼저 들어올 경우 상기 연결 강도를 강화시키고 상기 출력 스파이크가 상기 입력 스파이크보다 먼저 들어올 경우 상기 연결 강도를 약화시키는 것
    을 특징으로 하는 정보 저장 방법.
  10. 컴퓨터로 구현되는 정보 저장 방법에 있어서,
    입력되는 정보를 스파이크 형태의 시간적 패턴으로 변환하는 단계; 및
    상기 시간적 패턴으로 변환된 정보를 스파이킹 신경망에 저장하는 단계
    를 포함하고,
    상기 저장하는 단계는,
    상기 스파이킹 신경망에 STDP 학습 규칙을 적용하여 정보를 저장하되, 상기 STDP 학습 규칙에서의 개별 시냅스(synapse) 내 정보 저장의 안정성(stability)을 조절하여 휘발성 기억을 형성하는 단기 기억 모델의 비대칭적 학습 규칙(asymmetric learning rule), 또는 비휘발성 기억을 형성하는 장기 기억 모델의 대칭적 학습 규칙(symmetric learning rule), 또는 상기 비대칭적 학습 규칙과 상기 대칭적 학습 규칙의 중간 형태의 특성을 가진 하이브리드 기억 모델의 하이브리드 학습 규칙(hybrid learning rule)을 구현하는 것
    을 특징으로 하는 정보 저장 방법.
  11. 컴퓨터로 구현되는 정보 저장 시스템에 있어서,
    컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    입력되는 정보를 스파이크 형태의 시간적 패턴으로 변환하여 스파이킹 신경망에 저장하고,
    상기 적어도 하나의 프로세서는, 상기 스파이킹 신경망에 저장하기 위해,
    상기 스파이킹 신경망에 STDP 학습 규칙을 적용하여 정보를 저장하되,
    상기 STDP 학습 규칙에서의 학습율(learning rate)의 대칭성을 변형함으로써 상기 스파이킹 신경망에 저장된 정보의 특성을 조절하고,
    상기 학습율의 대칭성을 변형하는 것은,
    상기 STDP 학습 규칙에서의 연결 가중치 기반 학습율(weight-dependent learning rate)을 대칭적으로 또는 비대칭적으로 바꿔 주는 것
    을 특징으로 하는 정보 저장 시스템.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 컴퓨터로 구현되는 정보 저장 시스템에 있어서,
    컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    입력되는 정보를 스파이크 형태의 시간적 패턴으로 변환하여 스파이킹 신경망에 저장하고,
    상기 적어도 하나의 프로세서는, 상기 스파이킹 신경망에 저장하기 위해,
    상기 스파이킹 신경망에 STDP 학습 규칙을 적용하여 정보를 저장하되,
    상기 STDP 학습 규칙에서의 개별 시냅스 내 정보 저장의 안정성을 조절함으로써 휘발성 기억을 형성하는 단기 기억 모델의 비대칭적 학습 규칙(asymmetric learning rule)과 비휘발성 기억을 형성하는 장기 기억 모델의 대칭적 학습 규칙(symmetric learning rule)의 중간 형태의 특성을 가진 하이브리드 기억 모델의 하이브리드 학습 규칙(hybrid learning rule)을 구현하여 정보를 저장하는 것
    을 특징으로 하는 정보 저장 시스템.
KR1020170108470A 2016-12-01 2017-08-28 신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법 KR101997975B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/720,772 US11068774B2 (en) 2016-12-01 2017-09-29 Spiking neural network system for dynamic control of flexible, stable and hybrid memory storage

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160162934 2016-12-01
KR20160162934 2016-12-01

Publications (3)

Publication Number Publication Date
KR20180062934A KR20180062934A (ko) 2018-06-11
KR101997975B1 true KR101997975B1 (ko) 2019-07-08
KR101997975B9 KR101997975B9 (ko) 2021-08-23

Family

ID=62634844

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170108470A KR101997975B1 (ko) 2016-12-01 2017-08-28 신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법

Country Status (2)

Country Link
US (1) US11068774B2 (ko)
KR (1) KR101997975B1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US10929058B2 (en) * 2019-03-25 2021-02-23 Western Digital Technologies, Inc. Enhanced memory device architecture for machine learning
KR102325047B1 (ko) 2019-06-10 2021-11-11 포항공과대학교 산학협력단 그래프 데이터 처리 방법 및 그래프 데이터 처리 장치
US11487464B2 (en) 2019-07-03 2022-11-01 Micron Technology, Inc. Neural network memory
KR20210063721A (ko) 2019-11-25 2021-06-02 삼성전자주식회사 뉴로모픽 장치 및 이를 포함하는 뉴로모픽 시스템
KR102344678B1 (ko) 2019-12-05 2021-12-28 연세대학교 산학협력단 스파이킹 신경망의 학습 장치
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US11580401B2 (en) 2019-12-11 2023-02-14 Inait Sa Distance metrics and clustering in recurrent neural networks
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
US20210182655A1 (en) * 2019-12-11 2021-06-17 Inait Sa Robust recurrent artificial neural networks
US11816553B2 (en) 2019-12-11 2023-11-14 Inait Sa Output from a recurrent neural network
KR102468711B1 (ko) 2019-12-17 2022-11-17 연세대학교 산학협력단 스파이킹 신경망 및 이의 운용 방법
KR102500633B1 (ko) 2020-05-11 2023-02-15 연세대학교 산학협력단 스파이킹 신경망 학습 장치 및 방법
KR102514656B1 (ko) * 2021-11-04 2023-03-29 서울대학교산학협력단 스파이킹 뉴럴 네트워크 제공 장치 및 그 동작 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03102459A (ja) * 1989-09-14 1991-04-26 Toshiba Corp 神経回路網装置
US9092736B2 (en) * 2010-07-07 2015-07-28 Qualcomm Incorporated Communication and synapse training method and hardware for biologically inspired networks
US9015092B2 (en) * 2012-06-04 2015-04-21 Brain Corporation Dynamically reconfigurable stochastic learning apparatus and methods
CN103117087B (zh) * 2013-01-16 2015-08-26 华中科技大学 一种短时与长时存储器件及存储方法
US9542643B2 (en) * 2013-05-21 2017-01-10 Qualcomm Incorporated Efficient hardware implementation of spiking networks
US20150220831A1 (en) * 2014-02-06 2015-08-06 Qualcomm Incorporated Short-term synaptic memory based on a presynaptic spike
US20160034812A1 (en) * 2014-07-31 2016-02-04 Qualcomm Incorporated Long short-term memory using a spiking neural network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Williamson, Adam, et al. "Synaptic behavior and STDP of asymmetric nanoscale memristors in biohybrid systems." Nanoscale 5.16 (2013): 7297-7303.

Also Published As

Publication number Publication date
US11068774B2 (en) 2021-07-20
US20180197076A1 (en) 2018-07-12
KR20180062934A (ko) 2018-06-11
KR101997975B9 (ko) 2021-08-23

Similar Documents

Publication Publication Date Title
KR101997975B1 (ko) 신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법
US11544538B2 (en) Pulse driving apparatus for minimising asymmetry with respect to weight in synapse element, and method therefor
Sporea et al. Supervised learning in multilayer spiking neural networks
Beyeler et al. Categorization and decision-making in a neurobiologically plausible spiking network using a STDP-like learning rule
Panda et al. Asp: Learning to forget with adaptive synaptic plasticity in spiking neural networks
Schliebs et al. Evolving spiking neural network—a survey
US10339447B2 (en) Configuring sparse neuronal networks
KR101793011B1 (ko) 스파이킹 네트워크들의 효율적인 하드웨어 구현
US8504502B2 (en) Prediction by single neurons
US9330355B2 (en) Computed synapses for neuromorphic systems
US11182676B2 (en) Cooperative neural network deep reinforcement learning with partial input assistance
US20150019468A1 (en) Thermodynamic computing
KR20160076520A (ko) 인과적 현출성 시간 추론
KR20170031695A (ko) 신경망들에서의 콘볼루션 동작의 분해
Teramae et al. Computational implications of lognormally distributed synaptic weights
US20160260012A1 (en) Short-term synaptic memory based on a presynaptic spike
TWI550530B (zh) 用於產生尖峰定時依賴可塑性曲線的緊湊表示的方法、設備、電腦可讀取媒體及電腦程式產品
CN110428042A (zh) 往复地缩放神经元的连接权重和输入值来挫败硬件限制
KR20200100302A (ko) 신경망 기반의 데이터 처리 방법, 신경망 트레이닝 방법 및 그 장치들
US20150242744A1 (en) Stochastic delay plasticity
Horzyk Human-like knowledge engineering, generalization, and creativity in artificial neural associative systems
Kasabov et al. Evolving spiking neural networks
Sboev et al. To the role of the choice of the neuron model in spiking network learning on base of spike-timing-dependent plasticity
JP2020532013A (ja) 階層型ニューラル・ネットワークにおけるフィードバックのための計算方法
Gardner et al. Supervised learning with first-to-spike decoding in multilayer spiking neural networks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction