KR20130048246A - 보상-조절된 스파이크-타이밍-의존-가소성을 위한 방법 및 시스템들 - Google Patents

보상-조절된 스파이크-타이밍-의존-가소성을 위한 방법 및 시스템들 Download PDF

Info

Publication number
KR20130048246A
KR20130048246A KR1020137005533A KR20137005533A KR20130048246A KR 20130048246 A KR20130048246 A KR 20130048246A KR 1020137005533 A KR1020137005533 A KR 1020137005533A KR 20137005533 A KR20137005533 A KR 20137005533A KR 20130048246 A KR20130048246 A KR 20130048246A
Authority
KR
South Korea
Prior art keywords
memory
logic state
synapses
synapse
elements
Prior art date
Application number
KR1020137005533A
Other languages
English (en)
Other versions
KR101432198B1 (ko
Inventor
수브라마니암 벤카트라만
벤카트 랑간
제프리 에이. 레빈
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130048246A publication Critical patent/KR20130048246A/ko
Application granted granted Critical
Publication of KR101432198B1 publication Critical patent/KR101432198B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G11C11/165—Auxiliary circuits
    • G11C11/1675—Writing or programming circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G11C11/165—Auxiliary circuits
    • G11C11/1693—Timing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron

Abstract

본 개시의 특정한 실시예들은 스파이킹 뉴런들의 네트워크들에서 보상-조절된 스파이크-타이밍-의존 가소성(STDP) 학습 규칙의 단순화된 하드웨어 구현을 위한 기술들을 지원한다.

Description

보상-조절된 스파이크-타이밍-의존-가소성을 위한 방법 및 시스템들{METHODS AND SYSTEMS FOR REWARD-MODULATED SPIKE-TIMING-DEPENDENT-PLASTICITY}
본 개시의 특정한 실시예들은 일반적으로 뉴럴 시스템 엔지니어링에 관한 것이고, 더 상세하게는, 보상-조절된(reward-modulated) 스파이크-타이밍-의존-가소성(spike-timing dependent plasticity)(STDP)의 하드웨어 구현을 위한 방법에 관한 것이다.
보상-조절된 스파이크-타이밍-의존 가소성(STDP)은 스파이킹 뉴런(neuron)들의 네트워크들에서 동작 관련 가중치 변화들을 설명하기 위한 학습 규칙에 대한 강력한 후보로서 고려된다. 이 방식은 모든 시냅스에 대해 수초(a plurality of seconds)의 시상수를 갖는 지수적으로 감쇠하는 적격성 트레이스(eligibility trace)를 요구한다. 해당 뉴럴(neural) 네트워크들은 종종 수백만개의 시냅스들을 갖기 때문에, 모든 시냅스에 대해 이러한 지수적으로 감쇠하는 적격성 트레이스를 구현하는 것은 실리콘 영역의 측면에서 매우 비쌀 수 있다.
하드웨어에서 적격성 트레이스의 직접 구현은 지수적 시상수를 생성하기 위해 각각의 시냅스에 아날로그 또는 디지털 회로들을 배치시킬 수 있다. 이러한 솔루션은 시냅스 당 수백 평방 마이크론을 요구할 수 있다. 따라서, 보상-조절된 STDP의 영역-효율적 구현이 요구될 수 있다.
본 개시의 특정한 실시예들은 뉴럴 전기 회로를 제공한다. 전기 회로는 일반적으로, 복수의 뉴런 회로들 및 시냅스들 ―여기서 시냅스들 각각은 한 쌍의 뉴런 회로들을 접속시킴―, 및 시냅스들의 가중치들을 저장하는 제 1 메모리, 동일한 가중치들을 저장하는 제 2 메모리 및 시냅스들 각각에 대한 하나의 엘리먼트를 포함하는 제 3 메모리를 포함하고, 여기서, 한 쌍의 뉴런 회로들이 스파이크하면, 그 쌍의 뉴런 회로들을 접속시키는 시냅스의 가중치는 제 2 메모리에서 업데이트되고 그 시냅스와 연관된 제 3 메모리의 엘리먼트는 제 1 논리 상태로부터 제 2 논리 상태로 스위칭되고, 제 2 논리 상태에 있었던 제 3 메모리의 모든 엘리먼트들은 정의된 주파수에서 일 확률로 제 1 논리 상태로 스위칭하고, 보상이 발생하는 경우, 엘리먼트가 제 2 논리 상태에 있으면, 시냅스의 업데이트된 가중치는 제 2 메모리로부터 제 1 메모리로 카피되고, 엘리먼트가 제 1 논리 상태에 있으면, 시냅스의 가중치는 제 1 메모리로부터 제 2 메모리로 카피되어 그 업데이트된 가중치를 오버라이팅(overwriting)한다.
본 개시의 특정한 실시예들은 복수의 뉴런 회로들 및 시냅스들을 갖는 뉴럴 시스템을 구현하기 위한 방법을 제공하며, 여기서, 시냅스들 각각은 한 쌍의 뉴런 회로들을 접속시킨다. 방법은 일반적으로, 뉴럴 시스템의 제 1 메모리 및 제 2 메모리에 시냅스들의 가중치들을 저장하는 단계 ―여기서, 뉴럴 시스템의 제 3 메모리는 시냅스들 각각에 대한 하나의 엘리먼트를 포함함―, 한 쌍의 뉴런 회로들이 스파이크하면, 그 쌍의 뉴런 회로들을 접속시키는 시냅스의 가중치를 제 2 메모리에서 업데이트하고 그 시냅스와 연관된 제 3 메모리의 엘리먼트를 제 1 논리 상태로부터 제 2 논리 상태로 스위칭하는 단계, 제 2 논리 상태에 있었던 제 3 메모리의 모든 엘리먼트들을 정의된 주파수에서 일 확률로 제 1 논리 상태로 스위칭하는 단계, 보상이 발생하는 경우, 엘리먼트가 제 2 논리 상태에 있으면, 시냅스의 업데이트된 가중치를 제 2 메모리로부터 제 1 메모리로 카피하는 단계, 및 엘리먼트가 제 1 논리 상태에 있으면, 시냅스의 가중치를 제 1 메모리로부터 제 2 메모리로 카피하여 그 업데이트된 가중치를 오버라이팅하는 단계를 포함한다.
본 개시의 특정한 실시예들은 복수의 뉴런 회로들 및 시냅스들을 갖는 뉴럴 시스템을 구현하기 위한 장치를 제공하며, 여기서, 시냅스들 각각은 한 쌍의 뉴런 회로들을 접속시킨다. 장치는 일반적으로, 뉴럴 시스템의 제 1 메모리 및 제 2 메모리에 시냅스들의 가중치들을 저장하기 위한 수단 ―여기서, 뉴럴 시스템의 제 3 메모리는 시냅스들 각각에 대한 하나의 엘리먼트를 포함함―, 한 쌍의 뉴런 회로들이 스파이크하면, 그 쌍의 뉴럴 회로들을 접속시키는 시냅스의 가중치를 제 2 메모리에서 업데이트하고 그 시냅스와 연관된 제 3 메모리의 엘리먼트를 제 1 논리 상태로부터 제 2 논리 상태로 스위칭하기 위한 수단, 제 2 논리 상태에 있었던 제 3 메모리의 모든 엘리먼트들을 정의된 주파수에서 일 확률로 제 1 논리 상태로 스위칭하기 위한 수단, 보상이 발생하는 경우, 엘리먼트가 제 2 논리 상태에 있으면, 시냅스의 업데이트된 가중치를 제 2 메모리로부터 제 1 메모리로 카피하기 위한 수단, 및 엘리먼트가 제 1 논리 상태에 있으면, 시냅스의 가중치를 제 1 메모리로부터 제 2 메모리로 카피하여 그 업데이트된 가중치를 오버라이팅하기 위한 수단을 포함한다.
본 개시의 특정한 실시예들은 복수의 뉴런 회로들 및 시냅스들을 갖는 뉴럴 시스템을 구현하기 위한 컴퓨터 프로그램 저장 장치를 제공하며, 여기서, 시냅스들 각각은 한 쌍의 뉴런 회로들을 접속시키고, 상기 장치는 소프트웨어 명령들이 저장된 컴퓨터 판독가능 메모리를 포함하고, 소프트웨어 명령들은 하나 또는 그 초과의 프로세서들에 의해 실행가능하다. 소프트웨어 명령들은 일반적으로, 뉴럴 시스템의 제 1 메모리 및 제 2 메모리에 시냅스들의 가중치들을 저장하기 위한 명령들 ―여기서, 뉴럴 시스템의 제 3 메모리는 시냅스들 각각에 대한 하나의 엘리먼트를 포함함―, 한 쌍의 뉴런 회로들이 스파이크하면, 그 쌍의 뉴럴 회로들을 접속시키는 시냅스의 가중치를 제 2 메모리에서 업데이트하고 그 시냅스와 연관된 제 3 메모리의 엘리먼트를 제 1 논리 상태로부터 제 2 논리 상태로 스위칭하기 위한 명령들, 제 2 논리 상태에 있었던 제 3 메모리의 모든 엘리먼트들을 정의된 주파수에서 일 확률로 제 1 논리 상태로 스위칭하기 위한 명령들, 보상이 발생하는 경우, 엘리먼트가 제 2 논리 상태에 있으면, 시냅스의 업데이트된 가중치를 제 2 메모리로부터 제 1 메모리로 카피하기 위한 명령들, 및 엘리먼트가 제 1 논리 상태에 있으면, 시냅스의 가중치를 제 1 메모리로부터 제 2 메모리로 카피하여 그 업데이트된 가중치를 오버라이팅하기 위한 명령들을 포함한다.
본 개시의 전술된 특징들이 상세히 이해될 수 있는 방식으로, 상기에 간략하게 요약되어 있는 설명의 더 상세한 설명이 실시예들을 참조하여 행해질 수 있는데, 이러한 실시예들 중 일부는 첨부된 도면들에서 도시된다. 그러나, 이 설명은 다른 동등하게 효과적인 실시예들에 대해 허용될 수 있기 때문에, 첨부된 도면들은 본 개시의 오직 특정한 통상적인 실시예들만을 도시하고, 따라서, 본 개시의 범주에 대한 한정으로 고려되어서는 안됨을 주목해야 한다.
도 1은 본 개시의 특정한 실시예들에 따른 예시적인 뉴럴 시스템을 도시한다.
도 2는 본 개시의 특정한 실시예들에 따른 프리-시냅틱(pre-synaptic) 및 포스트-시냅틱(posr-synaptic) 스파이크들의 상대적 타이밍의 함수로서 시냅틱 가중치 변화의 예시적인 그래프 도면을 도시한다.
도 3은 본 개시의 특정한 실시예들에 따른 적격성 트레이스 및 말단(distal) 보상을 갖는 시냅스 가중치 변화의 일례를 도시한다.
도 4는 본 개시의 특정한 실시예들에 따른 복수의 트레이닝(training)들에 걸친 시냅스의 예시적인 가중치 증가를 도시한다.
도 5는 본 개시의 특정한 실시예들에 따른 보상-조절된 스파이크-타이밍-의존 가소성(STDP) 학습 규칙에 대한 적격성 트레이스의 예시적인 지수적 버전 및 스텝-함수 버전을 도시한다.
도 6은 본 개시의 특정한 실시예들에 따른 스핀 토크 전달 랜덤 액세스 메모리(STT-RAM)의 예시적인 구조를 도시한다.
도 7은 본 개시의 특정한 실시예들에 따른 시냅스들을 강화(potentiate)하기 위한 예시적인 STT-RAM 기반 적격성 규칙을 도시한다.
도 8은 본 개시의 특정한 실시예들에 따른 보상-조절된 STDP를 갖는 뉴럴 시스템을 구현하기 위한 예시적인 동작들을 도시한다.
도 8a는 도 8에 도시된 동작들을 수행할 수 있는 예시적인 컴포넌트들을 도시한다.
이하, 본 개시의 다양한 실시예들을 첨부한 도면들을 참조하여 더 상세히 설명한다. 그러나, 본 개시는 다수의 다른 형태들로 구현될 수 있고, 본 개시 전체에 제시되는 임의의 특정한 구조 또는 기능에 제한되는 것으로 해석되어서는 안된다. 오히려, 이 실시예들은, 본 개시가 철저하고 완전해지도록 제공되고, 본 개시의 범주를 당업자들에게 완전하게 전달할 것이다. 본 명세서의 교시들에 기초하여, 당업자는, 본 개시의 범주가 본 개시의 임의의 다른 실시예과 결합되어 구현되든 독립적으로 구현되든, 본 명세서에 개시된 본 개시의 임의의 실시예를 커버하도록 의도됨을 인식해야 한다. 예를 들어, 본 명세서에 기술된 실시예들 중 임의의 수의 실시예들을 이용하여 장치가 구현될 수 있거나, 또는 방법이 실시될 수 있다. 또한, 본 개시의 범주는, 본 명세서에 기술된 본 개시의 다양한 실시예들에 부가하여 또는 그 이외의 다른 구조, 기능, 또는 구조 및 기능을 이용하여 실시되는 이러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에 개시된 본 개시의 임의의 실시예는 청구항의 하나 또는 그 초과의 엘리먼트들에 의해 구현될 수 있음을 이해해야 한다.
용어 "예시적인"은 "예, 예시, 또는 예증으로서 제공되는"의 의미로 본 명세서에서 사용된다. "예시적인" 것으로서 본 명세서에서 설명되는 임의의 실시예는 다른 실시예들에 비하여 반드시 바람직하거나 유리한 것으로서 해석될 필요는 없다.
본 명세서에 특정한 실시예들이 개시되지만, 이 실시예들의 다수의 변형들 및 치환들은 본 개시의 범주에 속한다. 바람직한 실시예들의 몇몇 이점들 및 장점들이 언급되지만, 본 개시의 범주는 특정한 이점들, 이용들 또는 목적들에 한정되는 것으로 의도되지 않는다. 오히려, 본 개시의 실시예들은 여러 기술들, 시스템 구성들, 네트워크들 및 프로토콜들에 널리 적용될 수 있는 것으로 의도되고, 이들 중 일부는 선호되는 실시예들의 하기 설명 및 도면들에 예시로 설명되어 있다. 상세한 설명 및 도면들은 본 개시에 대한 한정이 아닌 단순한 예시이고, 본 개시의 범주는 첨부된 청구항 및 이들의 균등물들에 의해 정의된다.
예시적인 뉴럴 시스템
도 1은 본 개시의 특정한 실시예들에 따른 다수의 레벨들의 뉴런들을 갖는 예시적인 뉴럴 시스템(100)을 도시한다. 뉴럴 시스템(100)은 시냅틱 접속들(104)의 네트워크를 통해 또 다른 레벨(106)의 뉴런들에 접속된 일 레벨(102)의 뉴런들을 포함할 수 있다. 간략화를 위해, 단지 2개의 레벨들의 뉴런들만이 도 1에 도시되지만, 더 많은 레벨들의 뉴런들이 통상적인 뉴럴 시스템에 존재할 수 있다.
도 1에 도시된 바와 같이, 레벨(102) 내의 각각의 뉴런은, (도 1에 도시되지 않은) 이전의 레벨의 복수의 뉴런들에 의해 생성될 수 있는 입력 신호(108)를 수신할 수 있다. 신호(108)는 레벨(102)의 뉴런의 입력 전류를 표현할 수 있다. 이러한 전류는 멤브레인 전위를 충전시키기 위해 뉴런 멤브레인 상에 누산될 수 있다. 멤브레인 전위가 그의 임계값에 도달하는 경우, 뉴런은 파이어(fire)할 수 있으며, 다음 레벨(예를 들어, 레벨(106))의 뉴런들로 전달될 출력 스파이크를 생성할 수 있다.
도 1에 도시된 바와 같이, 하나의 레벨의 뉴런들로부터 또 다른 레벨의 뉴런으로의 스파이크들의 전달은 시냅틱 접속들(또는 간단히 "시냅스들")(104)의 네트워크를 통해 달성될 수 있다. 시냅스들(104)은 레벨(102)의 뉴런들로부터 출력 신호들(즉, 스파이크들)을 수신하고, 조정가능한 시냅스 가중치들
Figure pct00001
Figure pct00002
(여기서, P는 레벨들(102 및 106)의 뉴런들 사이의 시냅틱 접속들의 총 수임)에 따라 그 신호들을 스케일링하고, 그 스케일링된 신호들을 레벨(106) 내의 각각의 뉴런의 입력 신호로서 결합할 수 있다. 레벨(106) 내의 모든 뉴런은, 대응하는 결합된 입력 신호에 기초하여 출력 스파이크들(110)을 생성할 수 있다. 그 다음, 출력 스파이크들(110)은 (도 1에 도시되지 않은) 시냅틱 접속들의 또 다른 네트워크를 사용하여 또 다른 레벨의 뉴런들로 전달될 수 있다.
뉴럴 시스템(100)은 전기 회로에 의해 에뮬레이팅(emulate)될 수 있고, 이미지 및 패턴 인식, 머신 학습 및 모터 제어와 같은 넓은 범위의 애플리케이션들에서 활용될 수 있다. 뉴럴 시스템(100) 내의 각각의 뉴런은 뉴런 회로로서 구현될 수 있다. 출력 스파이크를 개시하는 임계값으로 충전되는 뉴런 멤브레인은, 자신을 통해 흐르는 전기 전류를 통합하는 커패시터로서 구현될 수 있다.
예시적인 보상-조절된 스파이크-타이밍-의존-가소성
트레이닝 프로세스 동안 시냅스 네트워크(104)의 시냅스 가중치들의 조정은 스파이크-타이밍-의존 가소성(STDP)에 기초할 수 있다. 도 2는 STDP에 따른 프리-시냅틱 및 포스트-시냅틱 스파이크들의 상대적 타이밍의 함수로서 시냅틱 가중치 변화의 예시적인 그래프 도면(200)을 도시한다. 그래프(200)의 부분(202)에 도시된 바와 같이, 프리-시냅틱 뉴런이 포스트-시냅틱 뉴런 전에 파이어하면, 대응하는 시냅틱 가중치는 증가될 수 있다. 이 가중치 증가는 시냅스의 롱텀 강화(LTP)로 지칭될 수 있다. LTP의 양은 프리-시냅틱 스파이크 시간과 포스트-시냅틱 스파이크 시간 사이의 차의 함수로서 대략 지수적으로 감소할 수 있음을 그래프 부분(202)으로부터 관찰할 수 있다. 그래프(200)의 부분(204)에 도시된 바와 같이, 파이어의 역순은 시냅틱 가중치를 감소시켜 시냅스의 롱텀 약화(depression)(LTD)를 초래할 수 있다.
도 2에 도시된 바와 같이, 시냅틱 가중치 트레이닝 커브는 비대칭일 수 있다. 그래프 부분(202)에 의해 표현되는 LTP 가중치 증분은 짧은 스파이크간(inter-spike) 인터벌들에 대해 더 클 수 있지만, LTD 가중치 증분보다 더 빨리 감쇠할 수 있다. 인과(causality) 윈도우 외부에서 LTD의 우세는, 프리-시냅픽 스파이크들이 포스트-시냅틱 동작 전위들에 대해 시간상 랜덤으로 발생하는 경우 시냅스들의 약화를 초래할 수 있다. 따라서, 이 랜덤 이벤트들은 시냅스들의 환기(evoke)에 일정하게 기여하지는 않을 수 있다.
도 3은 본 개시의 특정한 실시예들에 따른 말단 보상을 갖는 STDP에 기초한 시냅스 가중치 변화의 일례를 도시한다. 프리-시냅틱 뉴런(302)은 시냅스(306)를 통해 포스트-시냅틱 뉴런(304)과 접속될 수 있다. 시냅스(306)의 상태는 2개의 변수들: 시냅틱 강도(즉, 가중치) S 및 가소성에 대해 중요한 엔자임(enzyme)의 활성도 C에 의해 설명될 수 있다.
프리-시냅틱 뉴런(302)은 스파이크(308)를 파이어할 수 있고, 포스트-시냅틱 뉴런(304)에 의해 파이어된 다른 스파이크(310)가 스파이크(308)에 후속할 수 있다. 스파이킹 이벤트들의 이러한 시퀀스 이후, 시냅틱 접속(306)에 대한 보상은, 프리- 및 포스트-시냅틱 스파이크들의 시퀀스로부터 1 내지 3초의 랜덤 지연을 갖는 세포외(extracellular) 도파민(DA)의 스파이크의 형태로 전달될 수 있다. 시간에 걸친 DA의 세포외 농도의 변화는:
Figure pct00003
(1)
로서 표현될 수 있고, 여기서 D는 DA의 세포외 농도이고, τD는 감쇠 시상수이고, DA(t)는 도파미너직(dopaminergic) 뉴런들의 활성도들에 기인한 DA의 소스를 모델링한다. 도 3으로부터의 지수적으로 감쇠하는 커브(312)는 수식(1)에 의해 주어지는 시간에 걸쳐 DA의 세포외 농도의 변화를 도시한다.
시간에 걸친 변수 C의 변화는:
Figure pct00004
(2)
에 의해 주어질 수 있고, 여기서 τC는 감쇠 시상수이고, δ(t)는 Dirac 델타 함수이다. 시간들 tpre/post에서 발생하는 프리- 및 포스트-시냅틱 뉴런들(302-304)의 파이어들은 각각 도 2에 도시된 양 STDP(Δt)만큼 변수 C를 변경할 수 있고, 여기서 Δt=tpost-tpre는 스파이크간 인터벌이다. 변수 C는 도 3의 플롯(314)으로 도시된 바와 같이, 시상수 τC로 제로까지 지수적으로 감쇠할 수 있다.
커브(314)의 감쇠율은 지연된 보상에 대한 가소성의 감도를 제어할 수 있다. 변수 C는 DA의 세포외 농도(변수 D)에 의해 게이팅되는 경우 시냅틱 강도 S의 변화를 허용할 수 있기 때문에, 커브(314)는 시냅틱 변형에 대한 적격성 트레이스로서 동작할 수 있다. 따라서, 시냅틱 강도의 변화는:
Figure pct00005
(3)
로서 주어질 수 있다. 도 3의 플롯(316)은 수식(3)에 의해 정의되는 시냅틱 강도의 변화를 도시한다.
전술된 보상-조절된 STDP는 스파이킹 뉴런들의 네트워크들에서 동작 관련 시냅스 가중치 변화들에 대한 학습 규칙을 표현한다. 도 3에 의해 도시된 바와 같이, 이 방식은 모든 시냅스에 대해 수초의 시상수를 갖는 지수적으로 감쇠하는 적격성 트레이스를 요구할 수 있다. 해당 뉴럴 시스템들은 종종 수백만개의 시냅스들을 갖기 때문에, 모든 시냅스에 대해 이러한 지수적으로 감쇠하는 적격성 트레이스를 구현하는 것은 실리콘 영역의 측면에서 매우 비쌀 수 있다.
본 개시는 적격성 트레이스의 더 단순한 버전을 제안하고, 이 변형된 적격성 트레이스에 기초한 2개의 하드웨어 구현들이 제시된다. 그 다음, 뉴런들의 시냅틱 가중치에 대한 변형된 적격성 트레이스의 효과가 시뮬레이션되고, 이 방식이 종래의(즉, 지수적) 적격성 트레이스와 유사한 결과들을 제공함을 나타낸다. 제안된 하드웨어 구현들은 스핀 토크 전달 랜덤 액세스 메모리(STT-RAM) 및 종래의 디지털 메모리를 각각 활용하고, 보상-조절된 STDP를 하드웨어로 구현하기 위한 영역-효율적 접근법들을 보여준다.
예시적인 시뮬레이션들
시뮬레이션들은 먼저, 이러한 프리-포스트 스파이크 쌍이 보상을 트리거하는 경우 적격성 트레이스 기반 메커니즘이 프리-시냅틱 뉴런에 응답하는 포스트-시냅틱 뉴런의 확률을 증가시킬 수 있는 것을 나타내기 위해 본 개시에 제시된다.
도 4는 본 개시의 특정한 실시예들에 따른 보상(플롯(404))을 이끌어내는 확률을 증가시키는 것과 함께 3천개의 트레이닝들(플롯(402)) 동안 시냅스의 예시적인 가중치 증가를 도시한다. 이 시뮬레이션은, 추후 상세히 논의되는 변형된 적격성 트레이스들이 종래의(즉, 지수적) 적격성 트레이스와 유사한 결과들을 제공하는지 여부를 체크하기 위한 메트릭(metric)으로서 이용될 수 있다. 포스트-시냅틱 뉴런 B 이전에 프리-시냅틱 뉴런 A가 파이어할 때마다 랜덤 인터벌 이후 보상이 전달될 수 있다. 이것은, 모든 다른 시냅스들을 약화시키면서 뉴런들 A 및 B를 접속시키는 시냅스만을 강화시킬 수 있다.
도 5는 본 개시의 특정한 실시예들에 따른 적격성 트레이스의 예시적인 지수적 버전 및 스텝-함수 버전을 도시한다. 도 5의 트레이스(502)와 같이, 지수적으로 감쇠하는 적격성 트레이스를 하드웨어로 구현하는 것은, 시냅스 당 전용 회로를 요구할 수 있기 때문에 영역적으로 매우 비쌀 수 있다. 몇몇 추정치들은, 이러한 시냅스의 아날로그 구현이 대략 3,371 ㎛2를 요구할 수 있는 반면, 디지털 구현이 대략 149 ㎛2를 요구할 수 있음을 시사한다. 조밀한 뉴럴 아키텍쳐들을 하드웨어로 구현하는 것은, 시냅스 당 영역 버짓(budget)이 1 ㎛2 미만일 수 있음을 요구할 수 있다.
이 요건을 달성하기 위해, 도 5의 트레이스(504)에 의해 도시된 바와 같이, 주어진 시상수에 대해 평탄하고 그 후 제로로 드롭되는 적격성 트레이스의 변형된 버전이 본 개시에서 제안된다. 이러한 이산 스텝-함수는, 적격성 트레이스가 지수적이 되어야 하는 어떠한 실험적 증거도 존재하지 않기 때문에 가능한 솔루션을 표현할 수 있다. 대신에, 실험적 증거는 오직, 도파민에 대한 응답의 시상수가 통상적으로 15 초보다 더 짧음을 시사한다.
적격성 트레이스의 예시적인 STT-RAM 기반 구현
스핀 토크 전달 랜덤 액세스 메모리(STT-RAM)는, 자기 터널 접합(MTJ) 엘리먼트를 통해 흐르는 전자들의 스핀을 정렬시킴으로써 전기 전류가 분극될 수 있는 메모리 기술이다. MTJ 엘리먼트는 도 6a에 도시된 바와 같이, 2개의 자기층들 및 이들 사이의 터널 장벽층을 포함할 수 있다. 자기층들 중 하나는 스위칭층을 표현할 수 있고, 다른 하나의 자기층은 그의 자화 방향에서 고정될(pinned) 수 있다. MTJ 엘리먼트의 스위칭층의 자기 배향을 변경시키기 위해 스핀-분극된 전류를 이용함으로써 데이터 기록이 수행될 수 있다. MTJ 엘리먼트의 결과적 저항 차는 정보 판독을 위해 이용될 수 있다.
STT-RAM들은, 임계 전류 펄스를 제공받을 때 이들의 스위칭이 확률적일 수 있는 고유한 특성을 갖는다. 인가된 전류의 함수로서의 스위칭 확률이 도 6b에 도시된다. 이 동작은, 보상-조절된 STDP에 대해 도 5로부터 변형된 적격성 트레이스(504)를 구현하기 위해 본 개시에서 이용된다.
적격성 트레이스의 제 1 구현은 모든 시냅틱 가중치들을 저장하기 위한 메모리 어레이 S, 이 메모리 어레이의 클론 S' 및 시냅스 당 STT-RAM 엘리먼트 R을 활용할 수 있다. S i 의 가중치에서의 변화를 초래할 수 있는 프리-포스트 스파이킹 이벤트가 발생할 때마다, S i '는 새로운 가중치로 업데이트될 수 있는 반면(S i '=S i '+Δw), S i 는 일정하게 유지될 수 있다. 또한, R i 는 논리 '1'로 설정될 수 있다. 예를 들어, 1 Hz의 주파수에서 임계 펄스가 전체 뉴럴 네트워크에 인가될 수 있고, 논리 '1' 상태에 있었던 모든 STT-RAM들은 일 확률(P=1/2)로 논리 '0' 상태로 스위칭될 수 있다. 그 다음, 가중치 변화로부터 N초 이후 S i '에 대해 P(R i ==1)=(1/2)N이 발생한다.
따라서, STT-RAM들은, 모든 프리-포스트 스파이크 쌍 이후 확률적으로 제로로 감쇠할 수 있는 1 비트 신호를 각각의 시냅스에 제공할 수 있다. 이러한 분포를 생성하는 것은 극도로 영역 효율적일 수 있어서, 즉, 1 비트의 정보를 저장하기 위해 STT-RAM 엘리먼트 당 하나의 네거티브-채널 금속 산화물 반도체(NMOS) 트랜지스터가 요구될 수 있다. 추가로, 이 솔루션은 또한 전력 효율적일 수 있어서, 즉, 매 초마다 오직 천개의 펄스만이 요구될 수 있다.
보상이 발생하는 경우, 각각의 STT-RAM 엘리먼트가 체크될 수 있고, 다음의 규칙이 적용될 수 있다:
R i =1이면, S i =S i '(즉, STT-RAM이 하이이면, 변화를 채택함) 및 R i =0,
그렇지 않으면, Si'=Si(즉, STT-RAM이 로우이면, 백업 메모리로 복귀함).
이것은, 전체 메모리 어레이가 판독되고 카피될 필요가 있을 수 있기 때문에 비경제적인 동작일 수 있다. 그러나, 이것은 매우 드문 이벤트일 수 있고, 따라서, 시스템은 보상 이후 곧 오버-클럭될 수 있다. 대안적으로, 이러한 가중치 변화는 많은 클럭 사이클들에 걸쳐 구현될 수 있다.
이러한 변형된 적격성 트레이스가 원래의 지수적 적격성 트레이스에 비해 유사한 결과들을 제공할 수 있음을 입증하기 위해, 도 4로부터의 시뮬레이션들이 변형된 적격성 트레이스에 대해 반복되고, 획득된 결과들이 도 7에 도시된다. 프리- 및 포스트-시냅틱 뉴런들 A 및 B의 쌍을 접속시키는 시냅스의 가중치는 시간에 걸쳐 증가할 수 있고, 시냅틱 가중치들의 최종적 분포는 도 4에 도시된 것과 매우 유사할 수 있음을 또한 관찰할 수 있다.
전술된 하드웨어 구현 방식에 의한 하나의 잠재적 문제는, 디바이스를 스위칭하기 위해 요구될 수 있는 임계 전류 펄스에 관한 STT-RAM의 고유의 가변성이다. 몇몇 시뮬레이션 데이터는, 이러한 분산이 디바이스의 영역에서의 증가에 따라 감소하는 것으로 예상될 수 있고, 임계(critical) 전류, 펄스 폭, 자기 터널링 접합(MTJ) 저항, 및 터널 자기저항(TMR)의 함수일 수 있음을 시사한다.
그럼에도 불구하고, 디바이스들 중 일부는 확률 (1/2)N로 스위칭할 수 있고, 디바이스들 중 나머지는 확률들의 분포, 따라서 시상수들의 분포로 스위칭할 수 있음이 예상될 수 있다. 따라서, 디바이스들의 응답을 2개의 극단들, 즉, P=1 및 P=0의 확률들을 갖는 극단들에서 검사하는 것이 유리할 수 있다.
P=1의 확률로 스위칭할 수 있는 엘리먼트들은 매우 짧은 적격성 트레이스와 연관될 수 있고, 도파민에 둔감할 수 있는 도 7에 도시된 다른 뉴런들과 유사한 방식으로 응답할 수 있다. P=0의 스위칭 확률을 갖는 엘리먼트들은 일정하게 '높은' 적격성 트레이스를 가질 수 있고, 이 뉴런들은 또한 도파민에 응답하지 않을 수 있다. 이것은, 일정하게 높은 적격성 트레이스는 도파민에 대해 STDP의 타이밍에 관한 임의의 정보를 전달하지 않을 수 있고 따라서 제로 적격성 트레이스와 동등할 수 있기 때문에, 직관적으로 이해될 수 있다.
적격성 트레이스의 예시적인 디지털 메모리 기반 구현
보상-조절된 STDP에 대한 적격성 트레이스의 대안적인 하드웨어 구현은 종래의 디지털 메모리와 유사한 동적 랜덤 액세스 메모리(DRAM)를 활용할 수 있다. 이것은, 시냅스 당 단일 비트 R i 및 시냅틱 가중치의 카피 S'를 다시 유지함으로써 달성될 수 있다. 이 시냅스 당 단일 비트는 시냅틱 가중치들과 동일한 메모리 맵핑으로 별개의 메모리 뱅크에 저장될 수 있다.
STT-RAM 구현과 유사하게, S i 의 가중치에서의 변화를 초래할 수 있는 프리-포스트 스파이킹 이벤트가 발생할 때마다, S i '는 새로운 가중치로 업데이트(S i '=S i '+Δw)될 수 있는 반면, S i 는 일정하게 유지될 수 있다. 또한, R i 는 논리 '1'로 설정될 수 있다. 모든 논리 1들, 즉, R개의 메모리 뱅크의 전체 페이지들은, 예를 들어, 1 Hz의 주파수로 판독될 수 있고, 랜덤 비트 시퀀스와 논리적으로 'AND'될 수 있다. 이것은, 논리 '1' 상태에 있던 모든 엘리먼트들이 확률(P=1/2)로 논리 '0' 상태로 스위칭될 수 있는 것을 보장할 수 있다. 그 다음, 가중치 변화로부터 N초 이후 S i '에 대해 P(R i ==1)=(1/2)N이 발생한다. 보상이 발생하는 경우, R개의 메모리가 체크될 수 있고, 시냅틱 가중치들을 변경하기 위해 다음의 규칙이 적용될 수 있다:
R i =1이면, S i =S i ' 및 R i =0,
그렇지 않으면, S i '=S i
적격성 트레이스의 이러한 하드웨어 구현 방식은 STT-RAM 기반 구현의 확률적 스위칭을 회피할 수 있다. 한편, 이 솔루션은 R개의 메모리의 판독 및 기록 오버헤드를 겪을 수 있다.
도 8은 본 개시의 특정한 실시예들에 따라 도 5로부터의 변형된 적격성 트레이스에 기초하여 보상-조절된 STDP를 갖는 뉴럴 시스템을 구현하기 위한 예시적인 동작들(800)을 도시한다. 뉴럴 시스템은 복수의 뉴런 회로들 및 시냅스들을 포함할 수 있고, 여기서, 시냅스들 각각은 한 쌍의 뉴런 회로들을 접속시킬 수 있다. 802에서, 시냅스들의 가중치들은 뉴럴 시스템의 제 1 메모리 및 제 2 메모리에 저장될 수 있고, 여기서, 뉴럴 시스템의 제 3 메모리는 시냅스들 각각에 대한 하나의 메모리 엘리먼트를 포함한다. 804에서, 한 쌍의 뉴런 회로들이 스파이크하면, 그 쌍의 뉴런 회로들을 접속시키는 시냅스의 가중치는 제 2 메모리에서 업데이트될 수 있고, 그 시냅스와 연관된 제 3 메모리의 메모리 엘리먼트는 제 1 논리 상태로부터 제 2 논리 상태로 스위칭될 수 있다.
806에서, 제 2 논리 상태들에 있었던 제 3 메모리의 모든 메모리 엘리먼트들은 정의된 주파수에서 일 확률로 제 1 논리 상태로 스위칭할 수 있다. 808에서, 보상이 발생하는 경우, 메모리 엘리먼트가 제 2 논리 상태에 있으면, 시냅스의 업데이트된 가중치는 제 2 메모리로부터 제 1 메모리로 카피될 수 있다. 한편, 메모리 엘리먼트가 제 1 논리 상태에 있으면, 810에서, 시냅스의 가중치는 제 1 메모리로부터 제 2 메모리로 카피되어, 제 2 메모리에서 그 업데이트된 가중치를 오버라이트할 수 있다.
요약하면, 변형된 적격성 트레이스의 2개의 하드웨어 구현들이 본 개시에서 제안된다. 이 방식들은 최소의 영역 패널티로 보상-조절된 STDP의 구현을 허용할 수 있다.
전술된 방법들의 다양한 동작들은 대응하는 기능들을 수행할 수 있는 임의의 적절한 수단에 의해 수행될 수 있다. 이 수단은, 회로, 주문형 집적 회로(ASIC) 또는 프로세서를 포함하는(그러나, 이에 한정되지는 않는) 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들) 및/또는 모듈(들)을 포함할 수 있다. 일반적으로, 도면들에 도시된 동작들이 존재하는 경우, 이 동작들은 유사한 넘버링을 갖는 상응하는 대응 수단-및-기능(means-plus-function) 컴포넌트들을 가질 수 있다. 예를 들어, 도 8에 도시된 동작들(800)은 도 8a에 도시된 컴포넌트들(800A)에 대응한다.
본 명세서에서 사용되는 용어 "결정"은 광범위한 동작들을 포함한다. 예를 들어, "결정"은 계산, 컴퓨팅, 프로세싱, 유도, 검사, 검색(예를 들어, 표, 데이터베이스 또는 다른 데이터 구조에서의 검색), 확인 등을 포함할 수 있다. 또한, "결정"은 수신(예를 들어, 정보 수신), 액세스(예를 들어, 메모리 내의 데이터에 액세스) 등을 포함할 수 있다. 또한, "결정"은 해결, 선택, 선정, 설정 등을 포함할 수 있다.
본 명세서에서 사용되는 바와 같이, 아이템들의 리스트 "중 적어도 하나"로 지칭되는 구문은 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 예를 들어, "a, b 또는 c 중 적어도 하나"는 a, b, c, a-b, a-c, b-c, 및 a-b-c를 커버하는 것으로 의도된다.
본 개시와 관련하여 설명되는 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 다른 프로그래머블 로직 디바이스(PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로 프로세서일 수 있지만, 대안적으로, 프로세서는 임의의 상용 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 또한 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어 DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 또는 그 초과의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다.
본 개시와 관련하여 설명되는 방법 또는 알고리즘의 단계들은 직접적으로 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이 둘의 조합으로 구현될 수 있다. 소프트웨어 모듈은 당업계에 공지된 임의의 형태의 저장 매체에 상주할 수 있다. 사용될 수 있는 저장 매체의 몇몇 예로는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 플래쉬 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드디스크, 착탈식 디스크, CD-ROM 등이 포함된다. 소프트웨어 모듈은 단일 명령 또는 다수의 명령들을 포함할 수 있고, 다수의 저장 매체에 걸쳐 상이한 프로그램들 사이에서 그리고 몇몇 상이한 코드 세그먼트들에 걸쳐 분산될 수 있다. 저장 매체는, 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있도록 프로세서에 커플링될 수 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수 있다.
본 명세서에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 또는 그 초과의 단계들 또는 동작들을 포함한다. 방법 단계들 및/또는 동작들은 청구항들의 범주를 벗어나지 않고 서로 교환될 수 있다. 즉, 단계들 또는 동작들의 특정한 순서가 규정되지 않으면, 특정 단계들 및/또는 동작들의 순서 및/또는 이용은 청구항들의 범주를 벗어나지 않고 변형될 수 있다.
설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 상기 기능들은 컴퓨터 판독가능 매체 상에 하나 또는 그 초과의 명령들로서 저장될 수 있다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 한정이 아닌 예시로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 요구되는 프로그램 코드를 저장 또는 반송하는데 사용될 수 있고, 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 여기서 사용되는 디스크(disk) 및 디스크(disc)는 컴팩트 디스크(disc(CD)), 레이저 디스크(disc), 광 디스크(disc), 디지털 다기능 디스크(disc)(DVD), 플로피 디스크(disk), 및 Blu-ray? 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 데이터를 보통 자기적으로 재생하지만, 디스크(disc)들은 레이저를 이용하여 광학적으로 데이터들을 재생한다.
따라서, 특정한 실시예들은 본 명세서에 제시된 동작들을 수행하기 위한 컴퓨터 프로그램 물건을 포함할 수 있다. 예를 들어, 이러한 컴퓨터 프로그램 저장 장치는 명령들이 저장(및/또는 인코딩)된 컴퓨터 판독가능 메모리를 포함할 수 있고, 명령들은, 본 명세서에 설명된 동작들을 수행하도록 하나 또는 그 초과의 프로세서들에 의해 실행될 수 있다. 특정한 실시예들의 경우, 컴퓨터 프로그램 저장 장치는 컴퓨터 판독가능 메모리를 위한 패키징 재료를 포함할 수 있다.
소프트웨어 또는 명령들이 또한 송신 매체를 통해 송신될 수 있다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 라인(DSL), 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술들을 이용하여 송신되는 경우, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술들이 송신 매체의 정의에 포함된다.
추가로, 본 명세서에 설명된 방법들 및 기술들을 수행하기 위한 모듈들 및/또는 다른 적절한 수단들은 적용가능한 경우 사용자 단말 및/또는 기지국에 의해 획득 및/또는 그렇지 않으면 다운로딩될 수 있음을 인식해야 한다. 예를 들어, 이러한 디바이스는 본 명세서에 설명된 방법들을 수행하기 위한 수단의 전송을 용이하게 하기 위해 서버에 커플링될 수 있다. 대안적으로, 본 명세서에 설명된 다양한 방법들은 저장 수단들(예를 들어, RAM, ROM, 컴팩트 디스크(CD) 또는 플로피 디스크와 같은 물리적 저장 매체 등)을 통해 제공될 수 있어서, 사용자 단말 및/또는 기지국은 저장 수단들을 디바이스에 커플링 또는 제공할 때 다양한 방법들을 획득할 수 있다. 아울러, 본 명세서에 설명된 방법들 및 기술들을 디바이스에 제공하기 위한 임의의 다른 적절한 기술이 활용될 수 있다.
청구항들은 전술한 것과 정확히 같은 구성 및 컴포넌트들에 한정되지 않음을 이해해야 한다. 청구항들의 범주를 벗어나지 않으면서 전술한 방법들 및 장치의 배열, 동작 및 세부사항들에서 다양한 변형들, 변경들 및 변화들이 행해질 수 있다.
상기 내용은 본 개시의 실시예들에 관한 것이지만, 본 개시의 기본적 범주를 벗어나지 않으면서 본 개시의 다른 양상들 및 추가적 실시예들이 고안될 수 있고, 이들의 범주는 후속하는 청구항들에 의해 결정된다.

Claims (27)

  1. 뉴럴(neural) 전기 회로로서,
    복수의 뉴런(neuron) 회로들 및 시냅스(synapse)들 ―상기 시냅스들 각각은 한 쌍의 뉴런 회로들을 접속시킴―, 및
    상기 시냅스들의 가중치들을 저장하는 제 1 메모리, 동일한 가중치들을 저장하는 제 2 메모리 및 상기 시냅스들 각각에 대한 하나의 엘리먼트를 포함하는 제 3 메모리를 포함하고,
    한 쌍의 뉴런 회로들이 스파이크하면, 상기 쌍의 뉴런 회로들을 접속시키는 시냅스의 가중치는 상기 제 2 메모리에서 업데이트되고 상기 시냅스와 연관된 상기 제 3 메모리의 엘리먼트는 제 1 논리 상태로부터 제 2 논리 상태로 스위칭되고,
    상기 제 2 논리 상태에 있었던 상기 제 3 메모리의 모든 엘리먼트들은 정의된 주파수에서 일 확률로 상기 제 1 논리 상태로 스위칭하고,
    보상이 발생하는 경우, 상기 엘리먼트가 상기 제 2 논리 상태에 있으면, 시냅스의 업데이트된 가중치는 상기 제 2 메모리로부터 상기 제 1 메모리로 카피되고, 그리고
    상기 엘리먼트가 상기 제 1 논리 상태에 있으면, 상기 시냅스의 가중치는 상기 제 1 메모리로부터 상기 제 2 메모리로 카피되어 상기 업데이트된 가중치를 오버라이팅(overwriting)하는,
    뉴럴 전기 회로.
  2. 제 1 항에 있어서,
    상기 정의된 주파수에서 임계 펄스가 인가되어, 상기 제 3 메모리의 엘리먼트들을 상기 확률로 상기 제 2 논리 상태로부터 상기 제 1 논리 상태로 스위칭하게 하는, 뉴럴 전기 회로.
  3. 제 1 항에 있어서,
    상기 제 2 논리 상태에 있었던 상기 제 3 메모리의 모든 엘리먼트들은 상기 정의된 주파수에서 판독되고, 랜덤 비트 시퀀스와 논리적으로 'AND'되는, 뉴럴 전기 회로.
  4. 제 1 항에 있어서,
    상기 제 3 메모리는 스핀 토크 전달 랜덤 액세스 메모리(STT-RAM)를 포함하는, 뉴럴 전기 회로.
  5. 제 1 항에 있어서,
    상기 제 3 메모리는 동적 랜덤 액세스 메모리(DRAM)를 포함하는, 뉴럴 전기 회로.
  6. 제 1 항에 있어서,
    상기 정의된 주파수는 1 Hz와 동일하고, 상기 확률은 1/2과 동일한, 뉴럴 전기 회로.
  7. 제 1 항에 있어서,
    상기 제 3 메모리의 엘리먼트들 각각은, 1 비트의 정보를 저장하기 위한 하나의 네거티브-채널 금속 산화물 반도체(NMOS) 트랜지스터를 포함하는, 뉴럴 전기 회로.
  8. 제 1 항에 있어서,
    상기 제 1 논리 상태는 논리 '0' 상태를 포함하고, 상기 제 2 논리 상태는 논리 '1' 상태를 포함하는, 뉴럴 전기 회로.
  9. 복수의 뉴런 회로들 및 시냅스들을 갖는 뉴럴 시스템을 구현하기 위한 방법으로서,
    상기 시냅스들 각각은 한 쌍의 뉴런 회로들을 접속시키고,
    상기 방법은,
    상기 뉴럴 시스템의 제 1 메모리 및 제 2 메모리에 상기 시냅스들의 가중치들을 저장하는 단계 ―상기 뉴럴 시스템의 제 3 메모리는 상기 시냅스들 각각에 대한 하나의 엘리먼트를 포함함―;
    한 쌍의 뉴런 회로들이 스파이크하면, 상기 쌍의 뉴런 회로들을 접속시키는 시냅스의 가중치를 상기 제 2 메모리에서 업데이트하고 상기 시냅스와 연관된 상기 제 3 메모리의 엘리먼트를 제 1 논리 상태로부터 제 2 논리 상태로 스위칭하는 단계;
    상기 제 2 논리 상태에 있었던 상기 제 3 메모리의 모든 엘리먼트들을 정의된 주파수에서 일 확률로 상기 제 1 논리 상태로 스위칭하는 단계;
    보상이 발생하는 경우, 상기 엘리먼트가 상기 제 2 논리 상태에 있으면, 시냅스의 업데이트된 가중치를 상기 제 2 메모리로부터 상기 제 1 메모리로 카피하는 단계; 및
    상기 엘리먼트가 제 1 논리 상태에 있으면, 상기 시냅스의 가중치를 상기 제 1 메모리로부터 상기 제 2 메모리로 카피하여 상기 업데이트된 가중치를 오버라이팅하는 단계를 포함하는,
    뉴럴 시스템을 구현하기 위한 방법.
  10. 제 9 항에 있어서,
    상기 엘리먼트들을 상기 확률로 상기 제 2 논리 상태로부터 상기 제 1 논리 상태로 스위칭하게 하는 임계 펄스를 상기 정의된 주파수에서 상기 뉴럴 시스템에 인가하는 단계를 더 포함하는, 뉴럴 시스템을 구현하기 위한 방법.
  11. 제 9 항에 있어서,
    상기 제 2 논리 상태에 있었던 상기 제 3 메모리의 모든 엘리먼트들을 상기 정의된 주파수에서 판독하는 단계; 및
    판독된 엘리먼트들과 랜덤 비트 시퀀스 사이의 논리 연산을 수행하는 단계를 더 포함하는, 뉴럴 시스템을 구현하기 위한 방법.
  12. 제 9 항에 있어서,
    상기 제 3 메모리는 스핀 토크 전달 랜덤 액세스 메모리(STT-RAM)를 포함하는, 뉴럴 시스템을 구현하기 위한 방법.
  13. 제 9 항에 있어서,
    상기 제 3 메모리는 동적 랜덤 액세스 메모리(DRAM)를 포함하는, 뉴럴 시스템을 구현하기 위한 방법.
  14. 제 9 항에 있어서,
    상기 정의된 주파수는 1 Hz와 동일하고, 상기 확률은 1/2과 동일한, 뉴럴 시스템을 구현하기 위한 방법.
  15. 제 9 항에 있어서,
    상기 제 3 메모리의 엘리먼트들 각각은, 1 비트의 정보를 저장하기 위한 하나의 네거티브-채널 금속 산화물 반도체(NMOS) 트랜지스터를 포함하는, 뉴럴 시스템을 구현하기 위한 방법.
  16. 제 9 항에 있어서,
    상기 제 1 논리 상태는 논리 '0' 상태를 포함하고, 상기 제 2 논리 상태는 논리 '1' 상태를 포함하는, 뉴럴 시스템을 구현하기 위한 방법.
  17. 복수의 뉴런 회로들 및 시냅스들을 갖는 뉴럴 시스템을 구현하기 위한 장치로서,
    상기 시냅스들 각각은 한 쌍의 뉴런 회로들을 접속시키고,
    상기 장치는,
    상기 뉴럴 시스템의 제 1 메모리 및 제 2 메모리에 상기 시냅스들의 가중치들을 저장하기 위한 수단 ―상기 뉴럴 시스템의 제 3 메모리는 상기 시냅스들 각각에 대한 하나의 엘리먼트를 포함함―;
    한 쌍의 뉴런 회로들이 스파이크하면, 상기 쌍의 뉴런 회로들을 접속시키는 시냅스의 가중치를 상기 제 2 메모리에서 업데이트하고 상기 시냅스와 연관된 상기 제 3 메모리의 엘리먼트를 제 1 논리 상태로부터 제 2 논리 상태로 스위칭하기 위한 수단;
    상기 제 2 논리 상태에 있었던 상기 제 3 메모리의 모든 엘리먼트들을 정의된 주파수에서 일 확률로 상기 제 1 논리 상태로 스위칭하기 위한 수단;
    보상이 발생하는 경우, 상기 엘리먼트가 상기 제 2 논리 상태에 있으면, 시냅스의 업데이트된 가중치를 상기 제 2 메모리로부터 상기 제 1 메모리로 카피하기 위한 수단; 및
    상기 엘리먼트가 제 1 논리 상태에 있으면, 상기 시냅스의 가중치를 상기 제 1 메모리로부터 상기 제 2 메모리로 카피하여 상기 업데이트된 가중치를 오버라이팅하기 위한 수단을 포함하는,
    뉴럴 시스템을 구현하기 위한 장치.
  18. 제 17 항에 있어서,
    상기 엘리먼트들을 상기 확률로 상기 제 2 논리 상태로부터 상기 제 1 논리 상태로 스위칭하게 하는 임계 펄스를 상기 정의된 주파수에서 상기 뉴럴 시스템에 인가하기 위한 수단을 더 포함하는, 뉴럴 시스템을 구현하기 위한 장치.
  19. 제 17 항에 있어서,
    상기 제 2 논리 상태에 있었던 상기 제 3 메모리의 모든 엘리먼트들을 상기 정의된 주파수에서 판독하기 위한 수단; 및
    판독된 엘리먼트들과 랜덤 비트 시퀀스 사이의 논리 연산을 수행하기 위한 수단을 더 포함하는, 뉴럴 시스템을 구현하기 위한 장치.
  20. 제 17 항에 있어서,
    상기 제 3 메모리는 스핀 토크 전달 랜덤 액세스 메모리(STT-RAM)를 포함하는, 뉴럴 시스템을 구현하기 위한 장치.
  21. 제 17 항에 있어서,
    상기 제 3 메모리는 동적 랜덤 액세스 메모리(DRAM)를 포함하는, 뉴럴 시스템을 구현하기 위한 장치.
  22. 제 17 항에 있어서,
    상기 정의된 주파수는 1 Hz와 동일하고, 상기 확률은 1/2과 동일한, 뉴럴 시스템을 구현하기 위한 장치.
  23. 제 17 항에 있어서,
    상기 제 3 메모리의 엘리먼트들 각각은, 1 비트의 정보를 저장하기 위한 하나의 네거티브-채널 금속 산화물 반도체(NMOS) 트랜지스터를 포함하는, 뉴럴 시스템을 구현하기 위한 장치.
  24. 제 17 항에 있어서,
    상기 제 1 논리 상태는 논리 '0' 상태를 포함하고, 상기 제 2 논리 상태는 논리 '1' 상태를 포함하는, 뉴럴 시스템을 구현하기 위한 장치.
  25. 복수의 뉴런 회로들 및 시냅스들을 갖는 뉴럴 시스템을 구현하기 위한 컴퓨터 프로그램 저장 장치로서,
    상기 시냅스들 각각은 한 쌍의 뉴런 회로들을 접속시키고,
    상기 장치는 소프트웨어 명령들이 저장된 컴퓨터 판독가능 메모리를 포함하고, 상기 소프트웨어 명령들은 하나 또는 그 초과의 프로세서들에 의해 실행가능하고, 상기 소프트웨어 명령들은,
    상기 뉴럴 시스템의 제 1 메모리 및 제 2 메모리에 상기 시냅스들의 가중치들을 저장하기 위한 명령들 ―상기 뉴럴 시스템의 제 3 메모리는 상기 시냅스들 각각에 대한 하나의 엘리먼트를 포함함―;
    한 쌍의 뉴런 회로들이 스파이크하면, 상기 쌍의 뉴런 회로들을 접속시키는 시냅스의 가중치를 상기 제 2 메모리에서 업데이트하고 상기 시냅스와 연관된 상기 제 3 메모리의 엘리먼트를 제 1 논리 상태로부터 제 2 논리 상태로 스위칭하기 위한 명령들;
    상기 제 2 논리 상태에 있었던 상기 제 3 메모리의 모든 엘리먼트들을 정의된 주파수에서 일 확률로 상기 제 1 논리 상태로 스위칭하기 위한 명령들;
    보상이 발생하는 경우, 상기 엘리먼트가 상기 제 2 논리 상태에 있으면, 시냅스의 업데이트된 가중치를 상기 제 2 메모리로부터 상기 제 1 메모리로 카피하기 위한 명령들; 및
    상기 엘리먼트가 제 1 논리 상태에 있으면, 상기 시냅스의 가중치를 상기 제 1 메모리로부터 상기 제 2 메모리로 카피하여 상기 업데이트된 가중치를 오버라이팅하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 저장 장치.
  26. 제 25 항에 있어서,
    상기 엘리먼트들을 상기 확률로 상기 제 2 논리 상태로부터 상기 제 1 논리 상태로 스위칭하게 하는 임계 펄스를 상기 정의된 주파수에서 상기 뉴럴 시스템에 인가하기 위한 명령들을 더 포함하는, 컴퓨터 프로그램 저장 장치.
  27. 제 25 항에 있어서,
    상기 제 2 논리 상태에 있었던 상기 제 3 메모리의 모든 엘리먼트들을 상기 정의된 주파수에서 판독하기 위한 명령들; 및
    판독된 엘리먼트들과 랜덤 비트 시퀀스 사이의 논리 연산을 수행하기 위한 명령들을 더 포함하는, 컴퓨터 프로그램 저장 장치.
KR1020137005533A 2010-08-04 2011-08-03 보상-조절된 스파이크-타이밍-의존-가소성을 위한 방법 및 시스템들 KR101432198B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/850,493 US8606732B2 (en) 2010-08-04 2010-08-04 Methods and systems for reward-modulated spike-timing-dependent-plasticity
US12/850,493 2010-08-04
PCT/US2011/046472 WO2012018946A1 (en) 2010-08-04 2011-08-03 Methods and systems for reward-modulated spike-timing-dependent-plasticity

Publications (2)

Publication Number Publication Date
KR20130048246A true KR20130048246A (ko) 2013-05-09
KR101432198B1 KR101432198B1 (ko) 2014-08-20

Family

ID=44630012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137005533A KR101432198B1 (ko) 2010-08-04 2011-08-03 보상-조절된 스파이크-타이밍-의존-가소성을 위한 방법 및 시스템들

Country Status (7)

Country Link
US (1) US8606732B2 (ko)
EP (1) EP2601619A1 (ko)
JP (1) JP5512895B2 (ko)
KR (1) KR101432198B1 (ko)
CN (1) CN103052963B (ko)
TW (1) TW201214308A (ko)
WO (1) WO2012018946A1 (ko)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US9269042B2 (en) 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US20120084240A1 (en) * 2010-09-30 2012-04-05 International Business Machines Corporation Phase change memory synaptronic circuit for spiking computation, association and recall
US8812414B2 (en) 2011-05-31 2014-08-19 International Business Machines Corporation Low-power event-driven neural computing architecture in neural networks
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
US8990133B1 (en) 2012-12-20 2015-03-24 Brain Corporation Apparatus and methods for state-dependent learning in spiking neuron networks
US9053428B2 (en) 2011-07-21 2015-06-09 Qualcomm Incorporated Method and apparatus of robust neural temporal coding, learning and cell recruitments for memory using oscillation
US9147155B2 (en) 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US9015092B2 (en) 2012-06-04 2015-04-21 Brain Corporation Dynamically reconfigurable stochastic learning apparatus and methods
US9156165B2 (en) 2011-09-21 2015-10-13 Brain Corporation Adaptive critic apparatus and methods
US9104186B2 (en) 2012-06-04 2015-08-11 Brain Corporation Stochastic apparatus and methods for implementing generalized learning rules
US9213937B2 (en) 2011-09-21 2015-12-15 Brain Corporation Apparatus and methods for gating analog and spiking signals in artificial neural networks
US9146546B2 (en) 2012-06-04 2015-09-29 Brain Corporation Systems and apparatus for implementing task-specific learning using spiking neurons
US9092735B2 (en) 2011-09-21 2015-07-28 Qualcomm Incorporated Method and apparatus for structural delay plasticity in spiking neural networks
US9111224B2 (en) 2011-10-19 2015-08-18 Qualcomm Incorporated Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks
US8909575B2 (en) * 2012-02-29 2014-12-09 Qualcomm Incorporated Method and apparatus for modeling neural resource based synaptic placticity
US9053071B2 (en) 2012-03-15 2015-06-09 Qualcomm, Incorporated Spin torque transfer magnetic tunnel junction intelligent sensing
US8977583B2 (en) * 2012-03-29 2015-03-10 International Business Machines Corporation Synaptic, dendritic, somatic, and axonal plasticity in a network of neural cores using a plastic multi-stage crossbar switching
US9064215B2 (en) 2012-06-14 2015-06-23 Qualcomm Incorporated Learning spike timing precision
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
EP2877958B1 (en) * 2012-07-25 2019-09-04 HRL Laboratories, LLC Neuron circuit and method
US9256215B2 (en) * 2012-07-27 2016-02-09 Brain Corporation Apparatus and methods for generalized state-dependent learning in spiking neuron networks
US9159020B2 (en) 2012-09-14 2015-10-13 International Business Machines Corporation Multiplexing physical neurons to optimize power and area
US9189730B1 (en) 2012-09-20 2015-11-17 Brain Corporation Modulated stochasticity spiking neuron network controller apparatus and methods
US9367798B2 (en) 2012-09-20 2016-06-14 Brain Corporation Spiking neuron network adaptive control apparatus and methods
US9082079B1 (en) 2012-10-22 2015-07-14 Brain Corporation Proportional-integral-derivative controller effecting expansion kernels comprising a plurality of spiking neurons associated with a plurality of receptive fields
US8990130B2 (en) 2012-11-21 2015-03-24 International Business Machines Corporation Consolidating multiple neurosynaptic cores into one memory
US9195934B1 (en) 2013-01-31 2015-11-24 Brain Corporation Spiking neuron classifier apparatus and methods using conditionally independent subsets
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US20140310216A1 (en) * 2013-04-15 2014-10-16 Qualcomm Incorporated Method for generating compact representations of spike timing-dependent plasticity curves
US9008840B1 (en) 2013-04-19 2015-04-14 Brain Corporation Apparatus and methods for reinforcement-guided supervised learning
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
US9558443B2 (en) 2013-08-02 2017-01-31 International Business Machines Corporation Dual deterministic and stochastic neurosynaptic core circuit
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US10339041B2 (en) 2013-10-11 2019-07-02 Qualcomm Incorporated Shared memory architecture for a neural simulator
US11501143B2 (en) 2013-10-11 2022-11-15 Hrl Laboratories, Llc Scalable integrated circuit with synaptic electronics and CMOS integrated memristors
US9489623B1 (en) 2013-10-15 2016-11-08 Brain Corporation Apparatus and methods for backward propagation of errors in a spiking neuron network
US9753959B2 (en) 2013-10-16 2017-09-05 University Of Tennessee Research Foundation Method and apparatus for constructing a neuroscience-inspired artificial neural network with visualization of neural pathways
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US20150206050A1 (en) * 2014-01-23 2015-07-23 Qualcomm Incorporated Configuring neural network for low spiking rate
US9358685B2 (en) 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US9852006B2 (en) 2014-03-28 2017-12-26 International Business Machines Corporation Consolidating multiple neurosynaptic core circuits into one reconfigurable memory block maintaining neuronal information for the core circuits
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
US10679120B2 (en) * 2014-11-10 2020-06-09 International Business Machines Corporation Power driven synaptic network synthesis
US10489705B2 (en) 2015-01-30 2019-11-26 International Business Machines Corporation Discovering and using informative looping signals in a pulsed neural network having temporal encoders
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
US10736561B2 (en) 2015-10-23 2020-08-11 Hrl Laboratories, Llc Neural model-based controller
US10360496B2 (en) * 2016-04-01 2019-07-23 Intel Corporation Apparatus and method for a digital neuromorphic processor
US9734880B1 (en) * 2016-04-01 2017-08-15 Intel Corporation Apparatuses, methods, and systems for stochastic memory circuits using magnetic tunnel junctions
US10147035B2 (en) 2016-06-30 2018-12-04 Hrl Laboratories, Llc Neural integrated circuit with biological behaviors
US11281963B2 (en) 2016-09-26 2022-03-22 Intel Corporation Programmable neuron core with on-chip learning and stochastic time step control
US11344723B1 (en) 2016-10-24 2022-05-31 Hrl Laboratories, Llc System and method for decoding and behaviorally validating memory consolidation during sleep from EEG after waking experience
US10846595B2 (en) 2016-12-20 2020-11-24 Intel Corporation Rapid competitive learning techniques for neural networks
WO2018182827A1 (en) * 2017-03-28 2018-10-04 Hrl Laboratories, Llc A neural model-based controller
WO2019155957A1 (ja) * 2018-02-06 2019-08-15 国立大学法人東北大学 磁気抵抗効果素子、回路装置及び回路ユニット
US11915124B2 (en) 2019-09-05 2024-02-27 Micron Technology, Inc. Performing processing-in-memory operations related to spiking events, and related methods, systems and devices
EP4026062A4 (en) * 2019-09-05 2024-01-24 Micron Technology Inc PERFORMING PROCESSING OPERATIONS IN MEMORY ASSOCIATED WITH PRESYNAPTIC IMPULSE SIGNALS, AND ASSOCIATED METHODS AND SYSTEMS
US11727250B2 (en) 2019-09-06 2023-08-15 International Business Machines Corporation Elastic-centroid based clustering
JP7383528B2 (ja) * 2020-03-03 2023-11-20 株式会社東芝 スパイキングニューラルネットワーク装置およびスパイキングニューラルネットワーク装置の学習方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9226192D0 (en) 1992-12-16 1993-02-10 Univ London Neural network architecture
AU2002356946A1 (en) * 2001-11-16 2003-06-10 Joseph Chen Pausible neural network with supervised and unsupervised cluster analysis
JP4272967B2 (ja) * 2003-10-16 2009-06-03 キヤノン株式会社 演算回路およびその動作制御方法
US8103602B2 (en) 2006-12-29 2012-01-24 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of STDP and dopamine signaling
JP5155843B2 (ja) * 2008-12-22 2013-03-06 シャープ株式会社 情報処理装置及びこれを用いたニューラルネットワーク回路
US7978510B2 (en) * 2009-03-01 2011-07-12 International Businesss Machines Corporation Stochastic synapse memory element with spike-timing dependent plasticity (STDP)

Also Published As

Publication number Publication date
KR101432198B1 (ko) 2014-08-20
US20120036099A1 (en) 2012-02-09
WO2012018946A1 (en) 2012-02-09
CN103052963A (zh) 2013-04-17
JP2013538396A (ja) 2013-10-10
EP2601619A1 (en) 2013-06-12
JP5512895B2 (ja) 2014-06-04
CN103052963B (zh) 2016-01-06
US8606732B2 (en) 2013-12-10
TW201214308A (en) 2012-04-01

Similar Documents

Publication Publication Date Title
KR101432198B1 (ko) 보상-조절된 스파이크-타이밍-의존-가소성을 위한 방법 및 시스템들
US8433665B2 (en) Methods and systems for three-memristor synapse with STDP and dopamine signaling
KR101793011B1 (ko) 스파이킹 네트워크들의 효율적인 하드웨어 구현
EP2776988B1 (en) Method and apparatus for using memory in probabilistic manner to store synaptic weights of neural network
US10713562B2 (en) Neuromorphic memory circuit
US11630993B2 (en) Artificial neuron for neuromorphic chip with resistive synapses
US9830981B2 (en) Neuromorphic memory circuit using a leaky integrate and fire (LIF) line to transmit axon LIF pulse and a conductive denrite LIF line
WO2012006592A1 (en) Methods and systems for neural processor training by encouragement of correct output
US20150134582A1 (en) Implementing synaptic learning using replay in spiking neural networks
US20150278641A1 (en) Invariant object representation of images using spiking neural networks
JP2017509951A (ja) スパースニューラルネットワークを構成すること
US20150212861A1 (en) Value synchronization across neural processors
US9959499B2 (en) Methods and apparatus for implementation of group tags for neural models
US20150286925A1 (en) Modulating plasticity by global scalar values in a spiking neural network
US9710749B2 (en) Methods and apparatus for implementing a breakpoint determination unit in an artificial nervous system
US20150046381A1 (en) Implementing delays between neurons in an artificial nervous system
US20150242746A1 (en) Dynamic spatial target selection
US20150278685A1 (en) Probabilistic representation of large sequences using spiking neural network
JP6219509B2 (ja) シナプス遅延を動的に割り当てることおおよび検査すること
Oh et al. Spiking neural networks with time-to-first-spike coding using TFT-type synaptic device model
US9418332B2 (en) Post ghost plasticity
US9449272B2 (en) Doppler effect processing in a neural network model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 5