KR20140041866A

KR20140041866A - 오실레이션을 이용하는 강건한 뉴럴 시간적 코딩, 학습 및 메모리에 대한 셀 동원들의 방법 및 장치

Info

Publication number: KR20140041866A
Application number: KR1020147004466A
Authority: KR
Inventors: 제이슨 프랭크 헌징거; 빅터 호키우 챈
Original assignee: 퀄컴 인코포레이티드
Priority date: 2011-07-21
Filing date: 2012-07-19
Publication date: 2014-04-04
Also published as: BR112014001180A2; US9053428B2; KR101851838B1; CA2842334A1; US20130024409A1; JP2014523592A; CN103688277B; KR101596656B1; EP2734958A1; CN103688277A; RU2014106545A; JP5840776B2; WO2013013095A1; KR20150091186A; JP2016027485A; JP6092334B2

Abstract

본 개시물의 특정 양태들은 오실레이션들을 이용하는 강건한 뉴럴 시간 코딩, 학습 및 메모리에 대한 셀 동원들에 대한 기법을 지원한다. 시간적 패턴들을 구별하고, 다른 "시간적 패턴" 방법들과는 대조적으로, 단지 입력들의 일치 또는 입력들의 순서만을 구별하지 않는 방법들을 지원한다. 또한, 본 개시물은, 생물학적으로-영감받은/일관성있는 그러나 복잡도가 감소되고 시간적 스파이크 신호 패턴들을 코딩, 디코딩, 인식, 및 학습하는 것이 가능한 실제적인 방법들을 제안한다. 본 개시물에서, 강건성, 신뢰성 또는 무결성 코딩을 위한 스케일링가능한 시간적 뉴럴 모델, 및 효율적인 시간적 패턴 메모리를 위한 셀들의 동원에 대해 확장들이 제안된다.

Description

오실레이션을 이용하는 강건한 뉴럴 시간적 코딩, 학습 및 메모리에 대한 셀 동원들의 방법 및 장치{METHOD AND APPARATUS OF ROBUST NEURAL TEMPORAL CODING, LEARNING AND CELL RECRUITMENTS FOR MEMORY USING OSCILLATION}

본 개시물의 특정 양태들은 일반적으로 뉴럴 시스템 (neural system) 및 엔지니어링에 관한 것이며, 더욱 구체적으로는, 오실레이션들을 이용하는 강건한 뉴럴 시간적 코딩, 학습 및 메모리에 대한 셀 동원 (cell recruitment) 들의 방법 및 장치에 관한 것이다.

뉴럴 시스템 내의 뉴런들은 시간적 코드들을 이용하여 시간지정된 스파이크 (spike) 들의 형태로 정보를 시간적으로 전달할 수 있다. 이 때문에, 이러한 시간적 정보를 학습하는 방법들과 코딩 및 디코딩하는 방법들이 주된 관심사이다.

특히, 다른 시간적 패턴 방법들과는 대조적으로, 단지 입력들의 일치 (coincidence) 또는 입력들의 순서만이 아니라, 시간적 패턴들을 구별하는 것이 바람직하다. 본 개시물은, 생물학적으로-영감받은/일관성있는 그러나 복잡도가 감소되고 시간적 스파이크 신호 패턴들을 코딩, 디코딩, 인식, 및 학습하는 것이 가능한 방법들을 제공한다.

본 개시물의 특정 양태들은, 스파이킹 (spiking) 뉴런 회로들의 네트워크를 뉴런 회로들과 연관된 시냅스 가중치 (synaptic weight) 들을 학습하기 위한 규칙에 의해 병합하는 방법을 제공한다. 이 방법은 일반적으로, 네트워크의 뉴런 회로에 시냅스 입력 (synaptic input) 들을 제공하는 단계로서, 시냅스 입력들 각각은 시냅스 가중치들의 시냅스 가중치 및 시간 지연과 연관되는, 그 시냅스 입력들을 제공하는 단계, 시냅스 입력들을 포함하는 뉴런 회로의 입력에서의 상승시, 가중되고 지연되는 시냅스 입력들 각각을 래치 (latch) 하는 단계, 및 입력시 또는 입력에서의 상승에 기초한 뉴런 회로의 스파이킹시, 래치된 시냅스 입력들에 학습 규칙을 적용하여, 그 시냅스 입력과 연관된 시냅스 가중치의 변화를 결정하는 단계를 포함한다.

본 개시물의 특정 양태들은, 스파이킹 뉴런 회로들의 네트워크를 뉴런 회로들과 연관된 시냅스 가중치들을 학습하기 위한 규칙에 의해 병합하는 전기 회로를 제공한다. 이 전기 회로는 일반적으로, 네트워크의 뉴런 회로에 시냅스 입력들을 제공하도록 구성된 제 1 회로로서, 시냅스 입력들 각각은 시냅스 가중치 및 시간 지연과 연관되는, 그 제 1 회로, 시냅스 입력들을 포함하는 뉴런 회로의 입력에서의 상승시, 가중되고 지연되는 시냅스 입력들 각각을 래치하도록 구성된 제 2 회로, 및 입력시 또는 입력에서의 상승에 기초한 뉴런 회로의 스파이킹시, 래치된 시냅스 입력들에 학습 규칙을 적용하여, 그 시냅스 입력과 연관된 시냅스 가중치의 변화를 결정하도록 구성된 제 3 회로를 포함한다.

본 개시물의 특정 양태들은, 스파이킹 뉴런 회로들의 네트워크를 뉴런 회로들과 연관된 시냅스 가중치들을 학습하기 위한 규칙에 의해 병합하는 장치를 제공한다. 이 장치는 일반적으로, 네트워크의 뉴런 회로에 시냅스 입력들을 제공하는 수단으로서, 시냅스 입력들 각각은 시냅스 가중치 및 시간 지연과 연관되는, 그 시냅스 입력들을 제공하는 수단, 시냅스 입력들을 포함하는 뉴런 회로의 입력에서의 상승시, 가중되고 지연되는 시냅스 입력들 각각을 래치하는 수단, 및 입력시 또는 입력에서의 상승에 기초한 뉴런 회로의 스파이킹시, 래치된 시냅스 입력들에 학습 규칙을 적용하여, 그 시냅스 입력과 연관된 시냅스 가중치의 변화를 결정하는 수단을 포함한다.

본 개시물의 특정 양태들은, 뉴럴 네트워크 (neural network) 의 뉴런 회로의 발화 레이트 (firing rate) 를 규제하는 방법을 제공한다. 이 방법은 일반적으로, 뉴런 회로의 발화들의 개수를 기간 내에 카운트함으로써 뉴런 회로의 발화 레이트를 주기적으로 컴퓨팅하는 단계, 발화 레이트가 하한보다 낮은지 또는 상한보다 높은지 여부를 결정하는 단계, 및 결정에 기초하여 단계 양 (step amount) 만큼 발화 레이트를 조정하는 단계를 포함한다.

본 개시물의 특정 양태들은, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 전기 회로를 제공한다. 이 전기 회로는 일반적으로, 뉴런 회로의 발화들의 개수를 기간 내에 카운트함으로써 뉴런 회로의 발화 레이트를 주기적으로 컴퓨팅하도록 구성된 제 1 회로, 발화 레이트가 하한보다 낮은지 또는 상한보다 높은지 여부를 결정하도록 구성된 제 2 회로, 및 결정에 기초하여 단계 양만큼 발화 레이트를 조정하도록 구성된 제 3 회로를 포함한다.

본 개시물의 특정 양태들은, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 장치를 제공한다. 이 장치는 일반적으로, 뉴런 회로의 발화들의 개수를 기간 내에 카운트함으로써 뉴런 회로의 발화 레이트를 주기적으로 컴퓨팅하는 수단, 발화 레이트가 하한보다 낮은지 또는 상한보다 높은지 여부를 결정하는 수단, 및 결정에 기초하여 단계 양만큼 발화 레이트를 조정하는 수단을 포함한다.

본 개시물의 상술된 특징들이 상세히 이해될 수 있는 방식으로, 위에서 간략히 약술된 보다 구체적인 설명은 첨부한 도면들에서 일부가 예시되는 양태들을 참조할 수도 있다. 그러나, 첨부한 도면들은 본 개시물의 특정한 통상적인 양태들만을 예시하며, 이에 따라 그의 범주의 제한으로 간주되지 않고, 설명을 위해 다른 동일하게 효과적인 양태들로 인정할 수도 있다는 것에 주목해야 한다.
도 1 은 본 개시물의 특정 양태들에 따른 뉴런들의 일 예시적인 네트워크를 예시한 것이다.
도 2 는 본 개시물의 특정 양태들에 따른 일 예시적인 상대적 지연 뉴런 모델을 예시한 것이다.
도 3 은 본 개시물의 특정 양태들에 따른 수지상 모델 (dendritic model) 에 의한 상대적 지연 입력들의 일 예시적인 재정렬을 예시한 것이다.
도 4 는 본 개시물의 특정 양태들에 따른 학습 곡선들의 일 예시적인 시간적 시프트를 예시한 것이다.
도 5 는 본 개시물의 특정 양태들에 따른 학습 곡선들의 일 예시적인 시간적 시프트 및 감도 댐핑 (sensitivity damping) 을 예시한 것이다.
도 6 은 본 개시물의 특정 양태들에 따른 동적 스파이킹 헤비안 규칙 방법 (dynamic spiking Hebbian rule method) 으로부터 발생되는 예시적인 학습 곡선들을 예시한 것이다.
도 7 은 본 개시물의 특정 양태들에 따른 상대적 지연 뉴런 모델의 강건성 양태들의 일 예를 예시한 것이다.
도 8 은 본 개시물의 특정 양태들에 따른 무결성 코딩을 위한 기본 촉매로서의 일 예시적인 단일 오실레이션을 예시한 것이다.
도 9 는 본 개시물의 특정 양태들에 따른 일 예시적인 오실레이션 참조 및 무결성 시간적 코딩을 예시한 것이다.
도 10 은 본 개시물의 특정 양태들에 따른 일 예시적인 무결성 레이트 코딩을 예시한 것이다.
도 11 은 본 개시물의 특정 양태들에 따른 메모리에 대한 특정 셀의 동원을 위한 연결성의 일 예를 예시한 것이다.
도 12 는 본 개시물의 특정 양태들에 따른 메모리에 대한 특정 셀의 동원의 일 예시적인 시간적 뷰를 예시한 것이다.
도 13 은 본 개시물의 특정 양태들에 따라 시간적 패턴을 고 분해가능 서브-패턴들로 분리하기 위해 오실레이션을 이용하는 일 예를 예시한 것이다.
도 14 는 본 개시물의 특정 양태들에 따라 패턴들을 연관시키기 위해 오실레이션들을 이용하는 일 예를 예시한 것이다.
도 15 는 본 개시물의 특정 양태들에 따라 뉴런 회로들의 네트워크에서 수행될 수도 있는 예시적인 동작들을 예시한 것이다.
도 15a 는 도 15 에 예시된 동작들을 수행하는 것이 가능한 예시적인 컴포넌트들을 예시한 것이다.
도 16 은 본 개시물의 특정 양태들에 따라 뉴럴 네트워크의 뉴런 회로에서 수행될 수도 있는 다른 예시적인 동작들을 예시한 것이다.
도 16a 는 도 16 에 예시된 동작들을 수행하는 것이 가능한 예시적인 컴포넌트들을 예시한 것이다.

본 개시물의 다양한 양태들은 첨부한 도면들을 참조하여 이하에서 보다 충분히 설명된다. 그러나, 본 개시물은 많은 상이한 형태들로 구현될 수도 있으며, 본 개시물 전반에 제시된 임의의 특정 구조 또는 기능으로 제한되는 것으로 이해되어서는 안 된다. 오히려, 이들 양태들은 본 개시물이 철저하고 완전하게 되도록 그리고 본 개시물의 범주를 당업자에게 충분히 전달하도록 제공된다. 여기에서의 교시사항들에 기초하여, 당업자는, 본 개시물의 임의의 다른 양태와는 독립적으로 구현되든 또는 그와 조합되든, 본 개시물의 범주가 여기에 개시된 본 개시물의 임의의 양태를 커버하도록 의도된다는 것을 인지해야 한다. 예를 들어, 장치는 여기에서 설명되는 임의의 수의 양태들을 이용하여 실시될 수도 있다. 또한, 본 개시물의 범주는 여기에서 설명되는 본 개시물의 다양한 양태들에 더해 또는 그 외에 다른 구조, 기능성, 또는 구조 및 기능성을 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 여기에 개시되는 본 개시물의 임의의 양태는 청구범위의 하나 이상의 엘리먼트들에 의해 구현될 수도 있음이 이해되어야 한다.

단어 "예시적인" 은 "예, 경우, 또는 예시로서 기능하는 것" 을 의미하기 위해 사용된다. 여기에서 "예시적인" 것으로 설명되는 임의의 양태는 다른 양태들에 비해 반드시 더 선호되거나 또는 더 유익한 것으로 해석될 필요는 없다.

특정 양태들이 여기에 설명되지만, 이들 양태들의 많은 변형들 및 치환들이 본 개시물의 범주 내에 있다. 바람직한 양태들의 몇몇 이득들 및 이점들이 언급되지만, 본 개시물의 범주는 특정 이득들, 이용들 또는 목적들로 제한되는 것으로는 의도되지 않는다. 오히려, 본 개시물의 양태들은, 일부가 바람직한 양태들의 다음 설명 및 도면들에서 예로서 예시되는, 상이한 기술들, 시스템 구성들, 네트워크들 및 프로토콜들에 폭넓게 적용가능한 것으로 의도된다. 상세한 설명 및 도면들은 첨부한 청구범위 및 그의 등가물들에 의해 정의되는 본 개시물의 범주를 제한하는 것이 아니라 본 개시물을 예시하는 것에 단지 불과하다.

일 예시적인 뉴럴 시스템 ( NEURAL SYSTEM )

도 1 은 본 개시물의 특정 양태들에 따른 다수의 레벨들의 뉴런들을 갖는 일 예시적인 뉴럴 시스템 (100) 을 예시한 것이다. 뉴럴 시스템 (100) 은 시냅스 연결들 (104) 의 네트워크를 통해 뉴런들의 또 다른 레벨 (106) 에 연결된 뉴런들의 일 레벨 (102) 을 포함할 수도 있다. 단순화를 위해, 단지 2개의 레벨들의 뉴런들만이 도 1 에 예시되지만, 더 적거나 또는 더 많은 레벨들의 뉴런들이 통상적인 뉴럴 시스템에 존재할 수도 있다.

도 1 에 예시된 바와 같이, 레벨 (102) 내의 각각의 뉴런은, (도 1 에 도시되지 않은) 이전 레벨의 복수의 뉴런들에 의해 발생될 수도 있는 입력 신호 (108) 를 수신할 수도 있다. 신호 (108) 는 레벨 (102) 의 뉴런의 입력 전류를 표현할 수도 있다. 이러한 전류는 멤브레인 전위를 충전시키기 위해 뉴런 멤브레인 상에 누산될 수도 있다. 멤브레인 전위가 그의 임계치에 도달할 경우, 뉴런은 발화 (fire) 할 수도 있으며, 뉴런들의 다음 레벨 (예를 들어, 레벨 (106)) 로 전송될 출력 스파이크 (output spike) 를 발생시킬 수도 있다.

도 1 에 예시된 바와 같이, 뉴런들의 하나의 레벨로부터 또 다른 레벨로의 스파이크들의 전송은 시냅스 연결들 (또는 단순히 "시냅스들") (104) 의 네트워크를 통해 달성될 수도 있다. 시냅스들 (104) 은 레벨 (102) 의 뉴런들로부터 출력 신호들 (즉, 스파이크들) 을 수신하고, 조정가능한 시냅스 가중치 (synaptic weight) 들

, ...,

(여기서 P 는 레벨들 (102 및 106) 의 뉴런들 간의 시냅스 연결들의 총 개수이다) 에 따라 이들 신호들을 스케일링하며, 레벨 (106) 내의 각각의 뉴런의 입력 신호로서 그 스케일링된 신호들을 결합할 수도 있다. 레벨 (106) 내의 모든 뉴런은, 대응하는 결합된 입력 신호에 기초하여 출력 스파이크들 (110) 을 발생시킬 수도 있다. 그 후에, 출력 스파이크들 (110) 은 (도 1 에 도시되지 않은) 시냅스 연결들의 또 다른 네트워크를 이용하여 또 다른 레벨의 뉴런들로 전송될 수도 있다.

뉴럴 시스템 (100) 은 전기 회로에 의해 에뮬레이트 (emulate) 되어 이미지 및 패턴 인식, 머신 학습, 모터 제어 등과 같은 넓은 범위의 애플리케이션들에서 활용될 수도 있다. 뉴럴 시스템 (100) 내의 각각의 뉴런은 뉴런 회로로서 구현될 수도 있다. 출력 스파이크를 개시하는 임계치로 충전된 뉴런 멤브레인은, 예를 들어, 자신을 통해 흐르는 전류를 통합하는 커패시터로서 구현될 수도 있다.

일 양태에서, 커패시터는 뉴런 회로의 전류 통합 디바이스로서 제거될 수도 있으며, 보다 작은 멤리스터 엘리먼트 (memristor element) 가 그 장소에서 사용될 수도 있다. 이러한 접근법은 뉴런 회로들뿐만 아니라, 벌키 커패시터 (bulky capacitor) 들이 전류 통합기들로서 활용되는 다양한 다른 애플리케이션에 적용될 수도 있다. 또한, 시냅스들 (104) 각각은 멤리스터 엘리먼트에 기초하여 구현될 수도 있으며, 여기서 시냅스 가중치 변화들은 멤리스터 저항의 변화들에 관련될 수도 있다. 나노미터 피처-사이징된 멤리스터들 (nanometer feature-sized memristors) 을 이용하여, 뉴런 회로 및 시냅스들의 영역이 실질적으로 감소될 수도 있으며, 이는 매우 큰-스케일의 뉴럴 시스템 하드웨어 구현의 구현을 실시가능하게 할 수도 있다.

뉴럴 시스템 (100) 의 뉴런 회로들이 소위 시간적 코드들을 이용하여 시간지정된 스파이크들의 형태로 정보를 시간적으로 전달할 수도 있기 때문에, 이러한 시간적 정보의 학습 방법들뿐만 아니라 코딩 및 디코딩 방법들은 주된 관심사이다. 본 개시물의 특정 양태들은, 다른 "시간적 패턴" 방법들과는 대조적으로, 단지 입력들의 일치 (coincidence) 또는 입력들의 순서만이 아니라, 시간적 패턴들을 구별하는 방법들을 지원한다. 또한, 본 개시물은, 생물학적으로-영감받은/일관성있는 그러나 복잡도가 감소되고 시간적 스파이크 신호 패턴들을 코딩, 디코딩, 인식, 및 학습하는 것이 가능한 실제적인 방법들을 제안한다. 본 개시물에서, 강건성, 신뢰성 또는 무결성 코딩을 위한 스케일링가능한 시간적 뉴럴 모델, 및 효율적인 시간적 패턴 메모리를 위한 셀 (cell) 들의 동원 (recruitment) 에 대한 확장들이 제안된다. 제안된 접근법들은 동기화 및 리듬들 또는 오실레이션들의 실험 증거에 의해 생물학적으로 영감받고, 동시에, 모델링 복잡도를 감소시키도록 유발된다.

상대적 지연 및 수지상 지연 라인들 ( DENDRITIC DELAY LINES )

시냅스들에서의 입력들 간의 상대적 지연, 시냅스들에서의 입력들과 참조 입력 사이의 상대적 지연, 또는 그 양쪽에 기초하여 뉴런의 거동이 결정될 수도 있는 방법이 본 개시물에 제안된다. 시간적 코딩 모델의 기본 양태가 도 2 에 예시되어 있다. 뉴런들 (202, 204, 206, 208) (즉, 입력 뉴런들) 로부터 출력된 스파이크들의 공간적-시간적 패턴은 뉴런 (210) 에 대한 스파이크 입력들을 구성할 수도 있다. 각 입력 뉴런은 뉴런 (210) 의 하나 이상의 수상돌기 상의 하나 이상의 시냅스들을 통해 뉴런 (210) 에 연결할 수도 있다. 각 시냅스는, 뉴런 (204) 을 뉴런 (210) 과 연결하는 시냅스들 (212) 에 대해 도 2 에 예시된 바와 같이, 뉴런 (210) 의 세포체에 도달하기 전에 입력 뉴런으로부터의 스파이크가 경험하는 시간 지연을 특성화한 관련 지연을 가질 수도 있다. 도 2 에 예시된 바와 같이, 입력들은 지연 및 통합 이전에 스케일링을 경험할 수도 있다. 대안적으로, 입력들은 큰-스케일의 네트워크들에서의 감소된 프로세싱을 위해 스케일링 이전에 지연을 경험할 수도 있다.

이 방법을 이용하면, 뉴런은 입력 뉴런들의 출력들에서 공간적-시간적 패턴들 (입력 뉴런들의 관점에서 공간적, 스파이크들 간의 상대적 스파이크 타이밍 또는 시간적 차이들의 관점에서 시간적) 을 인식할 수도 있다. 이것은 도 3 에 예시되어 있고, 여기서 입력 뉴런들 (302, 304, 306, 308) 은 상이한 시간들에서 스파이킹할 수도 있다. 그러나, 수상돌기(들) 에서의 지연들의 결과로서, 입력 뉴런들로부터의 신호들은 시간 단위로 정렬된 출력 뉴런 x 의 세포체에 도달할 수도 있다. 시간 t 에서의 출력 뉴런 x 로의 입력은 이에 따라 입력 뉴런들의 지연된 출력들의 함수로서 나타낼 수도 있다, 즉:

여기서 j 는 시냅스 인덱스이고, i_j 는 시냅스 j 가 연결한 입력 뉴런이고, n_j 는

의 단위들에 있어서의 시냅스 지연이고, v_i(t) 는 입력 뉴런 i 의 출력이며, w_j 는 시냅스 가중치이다. 식 (1) 에서, 시냅스 지연은, 총 지연이 추출되는 지연을 표현한다. 이러한 총 지연은, 디지털-아날로그 지연 (즉, 활동 전위 (action potential; AP) 로부터 시냅스 후 전위 (post-synaptic potential; PSP) 로의 변환을 위한 시간), 수지상 지연 (즉, 세포체에 도달하기 위한 PSP 에 대한 패시브 이동 시간), 또는 다른 지연들 (예를 들어, 뉴런들의 개수 또는 상이한 계층들을 통한 경로들로 인한 네트워크 아키텍처 지연들 또는 신경돌기 지연들) 로 인한 하나 이상의 (결합의) 실제 시냅스 지연들로 인한 것일 수도 있다.

도 3 에서 뉴런들 (302, 304, 306, 308) 의 발화의 실제 타이밍들은 310 으로 표기된다. 시냅스들에 대응하는 특정 지연들 (즉, 시간 지연 분해능

의 배수들로 나타냄) 때문에, 지연들 이후의 입력 타이밍들은 일단 상대적 지연들이 설명된다면 정렬할 수도 있거나 또는 정렬하지 않을 수도 있다 (도 3 에서 312 로 표기됨). 일부 시냅스들은, 다른 시냅스들의 지연들과 일치하기에 너무 길거나 (예를 들어, 지연 (314) 을 가진 시냅스) 또는 짧은 (예를 들어, 지연 (316) 을 가진 시냅스) 지연들과 연관된다는 것을 도 3 으로부터 관찰할 수 있다. 일 양태에서, 이들 짧고 긴 지연들은 인식된 패턴으로부터 폐기될 수도 있거나 또는 인식된 패턴에 부가되지 않을 수도 있지만, 일치하는 지연된 스파이크들을 발생시키는 지연들은 인식된 패턴에 대응하도록 유지되거나 또는 부가될 수도 있다.

본 개시물의 바람직한 양태에서, 정수 밀리초들의 이산 시간 지연들이 활용될 수도 있다 (즉, 시간 지연 분해능

= 1ms 의 배수들의 지연들). 그러나, 일반적으로, 임의의 이산 또는 연속 분해능이 이용될 수도 있다. 이산 모델에서, 지연은 정수 n_xi 로 표현될 수도 있고, 여기서 x 는 입력 뉴런 (예를 들어, 도 3 의 뉴런 (302)) 이고, i 는 각 입력에 대한 하나 이상의 시냅스들이 있을 수도 있기 때문에 이 입력 뉴런에 대한 시냅스 인덱스이다.

다음에는, 공간적 시간적 패턴들을 강건한 방식으로 학습하는 방법이 나타나 있다.

스파이크 기반 헤비안 학습 방법 ( SPIKE - BASED HEBBIAN LEARNING METHOD )

시간적 코딩 및 학습을 위한 강건한 감소 방법이 우선 본 개시물에 제안된다. 그 후에, 이 방법은 오실레이션들 및 리듬들을 이용한 추가의 강건성의 방법을 위한 기초로 활용될 수도 있다. 본 개시물의 일 양태에서, 이들 두 방법들은 메모리에 대한 셀 동원을 위해 함께 이용될 수 있다.

헤비안 학습 규칙들은 통상적으로 레이트 코딩 또는 다른 윈도우된 뉴런 모델들에 기초하여 동작하여, 시험적 시간 윈도우 (trial time window) 를 통한 발화 출력에 기초하여 시냅스 가중치들을 조정한다. 그러나, 스파이크 기반 모델들은, 발화를 일으키는 것을 담당하는 특정 입력들과 반드시 일치하지는 않는 특정 지연들을 갖고 발화할 수도 있는 뉴런들의 정밀한 타이밍 거동을 재현하기 위해 이용될 수도 있다. 감소 모델에 이용되는 방법들은 이들 차이들을 조화시키는 것을 허용한다.

일반적으로, 헤비안 학습은, 입력과 출력이 동시에 발생할 때 입력을 출력과 연관시키는 (함께 연결하는) 학습을 지칭한다. 그러나, 다양한 이러한 규칙들 및 관련 변형들은 특정한 시간적 양태들 때문에 본 개시물에 제안된 방법들에 적절한 것으로 고려될 수 있다. 레이트 코딩에 의하면, 하나는 헤비안 원리들에 따른 연관을 위한 시간 윈도우 동안 일반적으로 발화하고 있는 2개의 뉴런들을 고려할 수도 있다. 그러나, 제안된 방법론에서는, 개별적인 스파이크들의 상대적 타이밍이 고려될 수도 있다. 또한, 뉴런이 입력들 이후에 얼마간의 지연을 갖고 발화할 수도 있기 때문에 (인과 관계), "동시성" 은 개별적인 스파이크 레벨에서의 거동을 고려할 때 반드시 최적의 연관 조건이 아닐 수도 있다. 이것은 아래에 설명되는 이유들 때문에 중요할 수도 있다.

학습 시냅스 가중치들은 통상적으로 시냅스 가소성이라고 지칭될 수 있다. 스파이크-타이밍-의존 가소성 (Spike-Timing-Dependent Plasticity; STDP) 에 대해, 학습에 있어서의 시냅스 가중치 조정들은 통상적으로, ΔΤ 로 지칭되는, 시냅스 전 입력 스파이크 (pre-synaptic input spike) 가 발생할 때와 시냅스 후 뉴런이 발화할 때 사이의 시간차의 관점에서 설명될 수 있다. 여기서, 포지티브 값은 시냅스 전 입력이 시냅스 후 뉴런 이후에 발화하였음을 의미한다는 규정이 이용될 수 있다. 이러한 학습은 시간차 값들의 범위에 걸쳐 가중치 조정의 양 및 방향을 설명하는 곡선으로서 나타낼 수 있다. 표준 STDP 곡선은 원점에서 불연속성을 갖는다는 것에 주목해야 한다.

그러나, 학습 곡선들의 중요한 양태는 시프트일 수도 있다. 시프트된 곡선들의 예들이 도 4 및 도 5 에 예시되어 있다. 도 4 는 본 개시물의 특정 양태들에 따른 학습 곡선들의 시간적 시프트의 일 예 (400) 를 예시한 것이다. 도 5 는 본 개시물의 특정 양태들에 따른 학습 곡선들의 시간적 시프트 및 감도 댐핑 (sensitivity damping) 의 일 예 (500) 를 예시한 것이다. 시프트는 보강 또는 경감 변형들 또는 다른 형상 양태들과 같은 다른 양태들과 조합될 수도 있다는 것에 주목해야 한다.

이러한 가중치 학습 곡선의 시프팅은 다양한 이유로 유발될 수 있다. 우선, 뉴런 탈분극 지연들 (예를 들어, 세포체의 시간 상수) 을 수용하는 것이 바람직할 수도 있다. 즉, 발화가 뉴런들의 생물학적으로 유발된 동적 모델들에서와 같이 지연되는 경우, 충분한 탈분극이 입력된 후에 그러나 뉴런이 발화하기 전에 우연히 도달할 수도 있는 외부 입력들에 대한 시냅스 가중치들을 보강할 필요가 없을 수도 있다. 이것은, 도 5 에 예시된 바와 같이, 좌측을 향해 곡선을 시프트시킴으로써 방지될 수도 있고, 이는 뉴런이 외부 입력 시간들을 향해 전방으로 슬라이딩하는 것을 억제할 수도 있다. 두 번째로, 공칭 학습 곡선 형상으로 인해 뉴런이 패턴의 일 부분을 학습하고 패턴의 앞선 부분을 향해 전진을 시작한 경우에 발생할 수도 있는 슬라이딩 영향을 제어 (제한) 하는 것이 바람직할 수도 있다 (즉, 더 일찍 입력이 도달하여 발화를 더 일찍 발생시키는 시냅스들의 보강). 이것은, 우측으로 곡선을 시프트시켜 비-인과 관계의 입력들의 좁은 윈도우를 보강함으로써 방지될 수도 있고, 이는 뉴런이 후방으로 슬라이딩하는 것을 억제할 수도 있다.

이론상의 신경과학 분야에 적용되는 통상적인 헤비안 가소성 규칙들, 예컨대, Oja 규칙 또는 BCM 규칙 (Bienenstock-Cooper-Munro rule) 및 이들의 변형들은, 이들 규칙들로부터 발생되는 학습을 안정화시킬 수도 있는 가중치 규제 영향들을 갖는다. 예를 들어, Oja 의 규칙은 다음과 같이 주어진 (벡터로서의) 가중치 변화를 제공할 수도 있고:

여기서 ν 는 뉴런의 출력이고 u 는 뉴런의 입력이고, τ 는 가중치 적응 (학습) 레이트를 제어하는 시간 상수이며, α 는 정규화를 제어하는 파라미터이다. 정상 상태에서

라는 것을 알 수 있다. 따라서, 일치하는 입력 및 출력에 대해, 가중치들은 1/α 의 값으로 정규화될 수도 있다. 이것은 규제 또는 소위 항상성 (homeostasis) 의 영향을 가질 수도 있다. 뉴런 규제 또는 항상성 (예를 들어, 장기간 발화 레이트 (long-term firing rate) 를 일정하게 유지하는 것) 이 중요한 컴포넌트인 것이 본 개시물에 제안된다. 이에 따라, (Oja 또는 BCM 규칙들과는 대조적으로) 도 4 및 도 5 에 예시된 것들과 같은 곡선들 또는 STDP 를 이용할 때, 뉴런 규제 또는 항상성의 부가가 중요할 수도 있다.

항상성에 관하여, 특정한 발화 레이트를 타깃으로 하기보다는, 뉴런들이 발화 레이트 범위에서 동작하게 될 수도 있다는 것을 추천할 수도 있다. 이에 따라, 이러한 레이트가 상위 또는 하위 범위를 넘는 경우에만 임계치들 (또는 입력들) 이 스케일링된다는 것이 본 개시물에 제안된다. 이것은 상이한 패턴 밀도들에 대한 유연성뿐만 아니라 안정성을 제공할 수도 있다. 이에 따라, 이러한 조정이 느려서, 즉, 대략 적어도 다수의 패턴 노출들을 발생시키고 단계들에 적용되는 것이 제안된다.

그러나, STDP-유사 영향들 (곡선들) 이 실제로 이러한 학습 곡선들을 직접 적용하는 일 없이 재현될 수도 있다는 것을 관찰할 수 있다 (즉, 감소된 복잡도 모델). 오히려, Oja 규칙과 같은 헤비안 규칙들을 이용하면, 이즈히케비치 (Izhikevich) 의 단순 모델과 같은 동적 스파이킹 뉴런 모델과 결합될 때, (실험적으로 관찰된 STDP 곡선들과 유사하든지 또는 상술된 변형들과 유사하든지 간에) 상술된 시간적 학습 곡선 영향들을 관찰하는 것이 가능할 수도 있다.

동적 스파이킹 헤비안 규칙 방법으로부터 발생되는 학습 곡선들의 일 예가 도 6 에 예시되어 있다. 생물학적으로 관찰된 (이상화된) STDP 곡선들과 유사성들이 존재하지만, 실제 데이터 포인트들이 0 가까이에서 다소 산란되는 미가공의 생물학적인 관찰된 데이터와 불일치되지 않는 차이들이 존재할 수도 있다는 것에 주목해야 한다. 또한, 이것은 상술된 바와 같은 상이한 곡선들을 고려하도록 하는 유발을 표현할 수도 있다. 일 양태에서, 가중치들은 초기에는, 피자극성을 촉진하고 지연 응답의 분배 및 학습을 가속화하기 위해 높게 설정될 수도 있다. 도 6 에 예시된 평균 곡선 (602) 및 포지티브 변화들의 평균 곡선 (604) 을 관찰하면, 최적의 시간적 가소성 곡선은 통상적으로 렌더링되는 것과 같이 정확하지 않을 수도 있다는 인식을 제공할 수도 있다. 비-인과 관계 (좌측으로) 의 지연들에 대한 제한된 부정적인 영향으로서 곡선 (604) 의 비교적 평평한 테일 (tail) 이 관찰될 수 있다.

그러나, 학습 곡선을 직접 적용하는 일 없이 이들 영향들을 획득하는 것은, 임계적 컴포넌트, 즉, 입력들이 래치 (latch) 되는 것을 필요로 할 수도 있다. 이러한 래치는 Oja 또는 BCM 규칙들과 같은 학습 규칙들이 통상적으로 발화 레이트 관점에서 입력들 및 출력들을 가정할 수도 있기 때문에 임계적일 수도 있는 반면, 동적 스파이킹 모델은 입력들로부터의 얼마간의 지연 이후에 스파이킹할 수도 있다. 이것을 달성하기 위한 하나의 방법은 총 입력이 증가되어 발화할 때까지 래치를 유지하는 경우 입력들을 래치하도록 하는 것일 수도 있다. 그 후에, 래치 콘텐츠 및 발화는 학습 규칙에 따라 활용될 수도 있다.

위의 양태들은 시간적 가소성의 다음 감소 모델에서 나타낼 수 있다. 도 6 에 예시된 다이어그램은, (시냅스에서의) 발화와 입력 사이의 지연에 따라, 가중치 변화들 (606) 의 산란 플롯을 평균 가중치 변화 (602), 평균 포지티브 가중치 변화 (604) 및 평균 네거티브 가중치 변화 (608) 에 오버레이한다. 래치 동작은 수학적으로 다음과 같이 설명될 수도 있다:

Oja 학습 규칙 (또는 BCM 또는 다른 규칙) 을 적용할 때, 발화 시간 u(t) 에서의 입력들의 현재 값들을 이용하는 대신에, 입력들의 래치된 버전 u_latch 이 이용될 수도 있다. 이것은 몇몇 이점들을 가질 수도 있다. 우선, 학습 곡선을 적용하기 위해 타임 스탬프들을 저장하고 시간 지연들을 컴퓨팅할 필요가 없을 수도 있다. 또한, 작은 메모리 (래치) 가 활용될 수도 있다. 이것은 (예를 들어, 동적 스파이킹 모델에서) 뉴런이 다시 발화하기 전에 입력이 증가될 수도 있기 때문에 효과적일 수도 있다. 또한, 이러한 래치 조건에 대한 변형들이 이용될 수도 있다. 예를 들어, 마지막 발화 이후의 최대 총 입력이 활용될 수도 있고, 여기서 이것은 입력 후 수지상 지연이라고 지칭되고 있다.

학습 안정성

헤비안 규칙을 적용하든지 또는 STDP-유사 영향들을 적용하든지 간에, 가중치들이 분극하도록 허용 또는 심지어 설계되어야 한다는 것이 본 개시물에 제안된다 (예를 들어, 패턴의 안정적인 학습시 0 또는 1 로의 양극성 경향). 즉, 학습 규칙이 학습 뉴런들에 대한 가중치들을 분극하고 비-학습 뉴런들 (주어진 패턴을 코딩하기 위해 다른 메모리들에 대해 예비되거나 또는 경쟁에서 진 뉴런들) 에 대한 가중치들을 탈분극해야 한다는 것이 제안된다.

이에 대한 이유는, 학습 규칙들 (STDP, 헤비안 또는 그 이외) 의 적용으로부터 발생되는 양극성 상태 (0 또는 1 로의 가중치들의 경향) 는 다수의 패턴들 또는 서브-패턴들을 학습할 때 안정성 이점들을 가질 수도 있다는 것이다. 이것은 학습 규칙 성질 (예를 들어, 덧셈 또는 곱셈 성질) 에 관련될 수도 있다. 일 양태에서, 뉴런은 패턴에 대해 노출될 수도 있고, 그 후에 제안에 따라 학습하여 양극성 가중치 상태에 도달한다. (그 이전 자극을 학습한) 이러한 양극성 가중치들을 가진 이 뉴런의 새로운 자극 (상이한 시간적 패턴) 에 대한 후속 노출은 가중치들의 외란의 가능성을 보다 적게 제공할 수도 있다. 이에 따라, 학습 규칙이 가중치들을 (양극성이 아닌) 0 과 1 사이에 분포하도록 한 경우보다 뉴런이 이전 패턴을 학습하지 않을 가능성이 보다 적을 수도 있다.

기술적으로, 이것은, 이전 패턴과는 반대로 가중치들을 보강하기 위해 학습 인자로 곱해지는, 0 에서 또는 0 가까이에서의 가중치들에 대해, 0 에 또는 0 가까이에 있는 가중치들로 인해 변화가 최소화될 수도 있기 때문에 발생할 수도 있다. 또한, 이전 패턴과는 반대로 가중치들을 경감하기 위해 1 보다 작은 학습 인자로 곱해지는, 1 에 가까운 가중치들에 대해, 1 에 또는 1 가까이에 있는 가중치로 인해 변화가 최소화될 수도 있다. 한편, 중간 범위의 (또는 탈분극된) 가중치들을 갖는 나이브 (naive) 시냅스들은 새로운 패턴에 대해 동원될 가능성이 훨씬 더 많을 수도 있다. 이에 따라, 일반적으로, 가중치들을 조정하기 위해 어떤 방법이 이용되든, (a) (주어진 패턴을 학습하는) 경쟁적인 승리에 대해 가중치들을 분극해야 하고, (b) 다르게는 탈분극해야 하며 (주어진 패턴을 학습하도록 할당되지 않은 뉴런들) (c) 분극한 가중치들이 쉽게 탈분극되지 않을 수도 있도록 학습 규칙이 설계되어야 하는 것이 제안된다.

강건성 및 신뢰성의 개선

본 개시물의 특정 양태들은 패턴 매치 및 이것을 시간적 코드로 바꾸는 방법의 신뢰성 또는 강건성을 효율적으로 측정하는 방법을 지원한다. 도 7 은, 시냅스 가중치들, 수지상 지연들의 결과로서 크기가 변화하고, 동일한 패턴에 대해 노출될 때 결합하는 뉴런의 세포체에 대한 일치하는 입력들의 3개의 케이스들에 대한 일 예 (700) 를 예시한 것이다.

발화 임계치를 초과하기 위해, 결합된 일치하는 입력은 일반적으로 (휴지 전위에 대해) 임계치를 초과할 필요가 있을 수도 있다는 것에 주목해야 한다. 시냅스들의 가중치들, 임계치, 및 개수의 기여가 추가의 설명에 나타나 있다. 도 7 에 예시된 케이스 (702) 에서, 너무 적은 일치하는 시냅스들이 존재할 수도 있다 (또는 너무 적은 가중치들, 또는 임계치 (708) 가 너무 높을 수도 있다). 케이스 (704) 에서, 반대상황이 발생할 수도 있다. 단지 케이스 (706) 에서 매치가 완벽할 수도 있다. 케이스 (704) 는 시각, 문맥 또는 노이즈 레벨에 따라 루즈 (loose) (과다) 한 것으로 또는 강건한 것으로 고려될 수도 있다. 이와 유사하게, 케이스 (706) 는 완벽한 (정밀하거나 또는 효율적인) 것으로 또는 민감한 (취약, 비-강건한) 것으로 고려될 수도 있다.

또한, 주어진 발화에 대해, 단일 입력 뉴런의 총 기여는 일치하는 지연을 가진 총 시냅스들 (서로에 대해서뿐만 아니라 다른 입력들과의 결합에 대해서) 및 이들의 가중치들에 의해 결정될 수도 있다는 것에 주목해야 한다. 이들 시냅스들에 대한 입력 뉴런들에 걸친 총 일치하는 입력이 임계치 (708) 보다 낮으면, 발화가 발생하지 않을 수도 있다. 한편, 이들 시냅스들에 대한 입력 뉴런들에 걸친 총 일치하는 입력이 임계치 (708) 보다 높으면, 발화가 발생할 수도 있다. 이것은 도 7 로부터 관찰될 수 있는 바와 같이 문제가 있을 수도 있다. 케이스 (704) 로서 나타낸 바와 같다면, 뉴런 (710) 으로부터의 입력 패턴과 같은 패턴의 일부 부분들이 발화를 위해 필요하지 않을 수도 있다. 이에 따라, 패턴 매치 신뢰성이 낮을 수도 있다.

강건성에 대한 솔루션

강건성에 관련된 상술된 문제들을 해결하기 위해 하나 이상의 양태들의 조합이 본 개시물에 제안된다. 우선, 개수, 가중치 또는 그 이외의 관점에서, 기여하는 입력들의 총 기여를 제어 또는 정규화하기 위해 뉴런 규제 또는 항상성이 이용될 수도 있다. 이에 따라, 뉴런의 입력 레벨은 도 7 로부터의 케이스 (706) 에 대응하도록 타깃 패턴에 대해 조정될 수도 있다 (즉, 충분히 임계치 (708) 이상으로, 그러나 올바른 패턴 없이 발화를 발생시키기에 지나치게 과도하지 않게). 사실상, 입력 레벨은 가중치들을 스케일링함으로써 조정될 수도 있다. 또한, 이들 가중치들은 원하는 강건성 (초과 입력) 이 주어지도록 조정될 수도 있다. 이것은 신뢰성 또는 무결성 코딩 방법의 다음의 설명에 대한 빌딩 블록일 수 있다.

출력 뉴런 x 가 도 8 에 예시된 입력 뉴런들 (802, 804, 806, 808) 의 시간적 스파이크 패턴에 매치하는 것이 바람직할 수도 있다. 오실레이션 (810) 이 멤브레인 전위 또는 발화 임계치로 도입되는 경우, 출력 뉴런 x 가 고려하는 페이즈 (phase) 에 따라, 입력들은 얼마나 정밀하게 입력이 매턴에 매치해야 할 필요가 있을 수도 있는지를 결정할 수도 있다는 것을 알 수 있다. 일 양태에서, 오실레이션 (810) 의 트로프 (trough; 812) 에서 가장 큰 정밀도가 요구될 수도 있다. 그러나, 814 또는 심지어 816 에서, 뉴런을 발화하기 위해 보다 작은 정밀도가 요구될 수도 있다. 예를 들어, 814 에서, 뉴런 (802) 으로부터의 스파이크가 전부 도달되지 못할 수도 있고, 816 에서, 뉴런 (806) 으로부터의 스파이크가 요구되지 않을 수도 있다.

그 다음에, 도 9 에 예시된 바와 같이, 참조 발화가 포함될 수도 있다. (예를 들어, 사인 곡선 (902) 의 트로프에서) 발화하는 참조 뉴런 (904) 과 관련하여 오실레이션 (902) 은 신뢰성을 시간적 코드로 변환하기 위해 이용될 수도 있다. 도 9 에 예시된 바와 같이, 패턴 인식 뉴런이 참조 (트로프) (904) 에 대해 더 가까이 발화할수록, 매치가 더 양호해진다. 따라서, 참조 뉴런 (904) 의 출력 및 매처 뉴런 (matcher neuron; 906) 의 출력이 뉴런 (908) 에 공급되면, 뉴런 (908) 의 시간적으로 코딩된 출력이 스파이킹 패턴 (910) 을 검출하는 신뢰성 척도로서 이용될 수도 있다.

패턴 (910) 의 중요한 양태들은 입력 뉴런들 (912, 914, 916, 918) 의 스파이크 타이밍에 있을 수도 있다. 또한, 참조 뉴런 (904) 은 오실레이션 (902) 에 기초하여 특정 페이즈에서 발화할 수도 있다. 매치에 있어서의 신뢰성은 뉴런 (906) 에 의해, 단지 참조 뉴런 (904) 및 뉴런 (906) 의 출력을, 정렬에 대응하는 지연들을 갖고 학습할 (또는 구성될) 수 있는 뉴런 (908) 에 제공하는 것에 의해 평가될 수도 있다. 예를 들어, 하나의 가능한 구성은, 뉴런 (906) 의 출력이 오실레이션 트로프와 정렬하면, 뉴런 (908) 이 발화할 수도 있고, 그렇지 않으면 발화하지 않을 수도 있도록 하는 것일 수 있다. 이 예는 일반적으로 오실레이션 페이즈에 대한 임의의 대응이 결정되어 시간적으로 코딩될 수도 있다는 것을 나타낸다.

또한, 후보 x (또는 또 다른 변형 y 또는 z) 가 오실레이션 (902) 의 업-웨이브 (또는 다운-웨이브) 동안 발화하면, 패턴 (910) 은 정확히 매치하지 않을 수도 있다는 것에 주목해야 한다. 일 양태에서, 시간차를 참조 시간에 매치시킴으로써, 뉴런 (908) 은 보다 열악한 품질을 시간적으로 코딩하도록 쉽게 구성 (또는 학습) 될 수도 있다. 시간적 코딩 뉴런 모델은 이들 뉴런들 모두에 대한 기초로서 활용된다는 것을 알 수 있다.

본질적으로, 신뢰성은 오실레이션 페이즈, 멤브레인 시간 상수, 및 일치하는 입력들의 개수 및 가중치들의 함수일 수도 있다. 따라서, (a) 감도를 입력들의 개수로 증가 또는 감소시키거나, (b) 입력들의 일치에 대한 감도를 증가 또는 감소시키거나, 또는 (c) 그 양쪽을 행하도록 오실레이션이 이용될 수도 있다.

확률적 신뢰성 및 레이트 코딩

매턴 매칭 정확성 또는 신뢰성에 대한 감도들의 범위를 갖는 뉴런들의 뱅크를 이용함으로써 신뢰성이 레이트 코드로서 코딩될 수도 있다는 것에 주목해야 한다. 뉴런들의 결합된 스파이킹은, 신뢰성의 총 스파이크 카운트 또는 레이트 코드로서 동작할 수도 있다 (즉, 보다 많은 뉴런들의 발화는 보다 많은 신뢰성을 의미한다). 이 목적을 위해, 변하는 정밀도의 뉴런들의 뱅크의 출력들은, 도 10 에 예시된 바와 같이, 레이트 코딩 신뢰성 뉴런 (1002) 에 공급될 수도 있다. 도 10 은 2개의 패턴 케이스들 (1004 및 1006) 을 예시한 것이고, 여기서 제 1 패턴 케이스 (1004) 는 패턴들에 매치하는 입력을 가질 수도 있어서 모든 정밀도 뉴런들이 발화하고 신뢰성이 뉴런 (1002) 으로부터의 높은 레이트 스파이크 패턴 (1008) 으로 레이트 코딩될 수도 있다. 제 2 케이스에서, 패턴 (1006) 이 또한 매치되지 않을 수도 있어서, 단지 뉴런들의 서브세트만이 발화할 수도 있고, 뉴런 (1002) 이, 스파이크 패턴 (1010) 으로 예시된 바와 같이, 더 느린 레이트로 레이트 코딩할 수도 있다.

본 개시물의 일 양태에서, 뉴런 (1002) 은 입력들의 개수의 함수인 레이트 또는 개수에 있어서의 일련의 스파이크들을 발화할 수도 있다. 또한, 이것은 다양한 조합들 (네트워크 아키텍처의 스테이지들 또는 피스들 (pieces)) 로 시간적 코딩의 상술된 방법과 조합되어 원하는 고레벨 강건성 영향들을 달성할 수도 있다.

메모리들에 대한 셀들의 동원

또한, 무결성 또는 신뢰성 및 정밀도의 상술된 개념들이 특히 메모리 양태들에 관련된다는 것이 본 개시물에 제안된다. 도 11 은 네트워크 (1102) 에 의해 기억되기를 원하는 특정 입력에 대해 노출될 수도 있는 다수의 상호연결된 뉴런들의 네트워크 (1102) 를 예시한 것이다. 대답에 대한 중요한 질문은 네트워크 (1102) 가 다음에 네트워크가 이 특정 입력 패턴에 대해 노출될 때 이 입력을 인식하는 것이 가능하도록 하기 위해 모든 단일 뉴런의 출력을 기억 (코딩) 하는 것이 필요한지 여부이다. 대답에 대한 또 다른 중요한 질문은 네트워크가 최고 계층 (출력) 뉴런들 모두의 출력을 기억 (코딩) 할 필요가 있는지 여부이다.

이러한 전역적이거나 또는 큰 스케일의 메모리가 불필요할 뿐만 아니라 비효율적이라는 것이 본 개시물에 제안된다. 그 대신에, 얼마 안 되는 (심지어 하나의) 뉴런의 출력이 입력 패턴을 기억하기에 충분할 수도 있는 일 방법이 제안된다. 또한, 메모리 및 네트워크 시스템에 의해 동원된 셀 또는 셀들이 학습될 수 있는 방법이 개시되어 있다.

위에 제안된 신뢰성 방법을 부분적으로 이용함으로써 메모리에 대한 중요한 뉴런 또는 뉴런들을 식별하는 일 방법이 본 개시물에 제안된다. 오실레이션의 적용이 어떤 뉴런들이 특히 시간적 신뢰성 코드 또는 확률적/레이트 코드에 의해 정확한 패턴(들) 으로 바뀌는지를 식별할 수 있는 방법이 나타나 있다. 이에 따라, 특정 메모리에 대한 이러한 셀 또는 셀들을 식별하고 동원하는 것이 가능할 수도 있다. 이러한 특정 셀 또는 셀들은 그 후에 학습될 메모리 셀 입력들에 연결될 수도 있다 (보강된 가중치들). 메모리 셀 뱅크 및 측면 억제에 의해, 많은 패턴들의 매우 효율적인 저장이 이에 따라 달성될 수도 있다.

이것은, 네트워크 계층 또는 계층들 (1102) 이 추출되는 도 11 의 맥락에서 설명될 수 있다. 입력들 (1104) 은 네트워크 (1102) 에 공급될 수도 있고, 뉴런들 (1106, 1108, 1110) 은 네트워크 (1102) 내의 얼마 안 되는 뉴런들을 표현할 수도 있다. 주어진 입력에 대한 가장 정밀한 시간적 코딩 매치가 어떤 것인지를 결정하고, 이것을 메모리 셀 (예를 들어, 뉴런 (1106)) 에 대한 우세한 (또는 유일한) 입력으로서 할당하는 것이 가능할 수도 있다. 어떤 의미에서, 뉴런 (1106) 은 "메모리 뉴런" 이라고 지칭될 수 있지만, m 셀 (1112) 은 메모리 셀이라고 지칭되는데, 이는 뉴런 (1106) 의 출력 및 오실레이션 참조 (1114) 의 일치를 코딩할 수도 있기 때문이다.

이러한 선택 프로세스는 또한 헤비안 학습 규칙에 의해 수행될 수도 있다. 이에 따라, 일치하는 입력 및 출력이 함께 연결될 수도 있어서 메모리 뉴런이 일치를 학습하도록 한다. 이러한 케이스에서, 많은 네트워크 뉴런들은 초기에는 하나 이상의 메모리 셀들에 연결될 수도 있고, 그 후에 참조에 의한 대응이 가중치들을 적응함으로써 학습될 수도 있다. 예를 들어, 도 11 에서, 셀 (1112) 및 뉴런 (1106) 을 연결하는 시냅스의 가중치는 강한 가중치를 표현할 수도 있다. 시간적 코딩이 네트워크 계층들에서 발생할 수도 있기 때문에 시간적 패턴 모델이 메모리 뉴런에 대해 요구되지 않을 수도 있다는 것에 주목해야 한다. 이것은 도 12 의 맥락에서 설명될 수 있다.

도 12 에서, 뉴런 (1202) 은 오실레이션 트로프로부터 최소 오프셋을 갖고 발화하기 때문에 가장 정밀하게 입력 패턴을 코딩한다는 것이 명백하다. 최소 시간적 코딩 지연 범위 (즉, 주로 일치 코더) 를 갖는 메모리 셀이 이용되면 (즉, 메모리 셀 (1204)), 메모리 셀 (1204) 은, 입력들 (1202 및 1206) 일 수 있는 가장 일치하는 입력에 대해 발화하도록 트레이닝될 수도 있다. 이에 따라, 최소 리소스들 (뉴런들) 로 입력 패턴을 기억하기 위한 메커니즘이 본 개시물에 전개될 수도 있다.

장시간 프레임들에 걸친 강건성

또한, 상이한 오실레이션 주파수들 또는 오프셋들의 영향을 받는 네트워크의 상이한 부분들에 입력을 공급함으로써 (도 13 에 도시된 예), 입력의 시간적 패턴의 이들 부분들이 이들 네트워크 부분들 내의 강건한 패턴 매칭을 위해 분리 (격리) 될 수도 있고 그 후에 그 결과들이 재결합될 수도 있다는 것이 본 개시물에 제안된다. 매우 효율적인 네트워크에서, 이것은 심지어, 어느 한쪽에서의 오실레이션 피크들로서의 2개의 네트워크 부분들 간에서 패턴 매치가 앞뒤로 이동함으로써 발생할 수도 있다.

또한, 네트워크는 패턴의 단지 샘플 부분들 및 오직 하나의 오실레이션으로 구성되어, 패턴을 명확히 분리된 부분들로 분리시켜, 섹션들 간의 개별적인 뉴런 상태들을 "명확" 하게 하고 코딩/인식 충실도를 개선시키도록 할 수도 있다.

시간적으로 상관된 메모리들

일 양태에서, 2개의 시간적으로 코딩된 심볼 메모리들이 고려될 수 있고, 이 심볼 메모리들은 서로 연결 (연관) 되기를 원한다. 일 양태에서, 뉴럴 어셈블리들을 재정렬하여 시간적으로 인코딩될 수 있는 임의의 원하는 오버랩을 획득하기 위해 오실레이션 (리듬들) 이 이용될 수도 있다. 이와 같이 하는 방법을 이해하기 위해, 상술된 시간적-신뢰성 코딩 빌딩 블록이 고려될 수 있다.

도 14 는 (오실레이션이 없을 때, 즉, 높은 충실도의) 특정 뉴런들에 의해 인식된 패턴의 부분들을 나타내는 직사각형들을 갖는 공간적-시간적 입력 패턴 (1402) 을 예시한 것이다. 이제, 2개의 오실레이션들 (1404 및 1406) 이 부가될 수도 있고, 각각의 리듬이 2개의 회로들에 인가된다 - 하나의 회로는 뉴런들 (1408) 을 포함하고 또 다른 회로는 뉴런들 (1410) 을 포함한다. 이들 2개의 세트들의 뉴런들이 2개의 시간적 신뢰성 코드들인 것으로 고려되는 경우, 이들 뉴런들은 오실레이션의 (페이즈) 시프팅 또는 스케일링 (주파수의 변화) 에 의해 2차적인 일치 코딩을 위해 정렬될 수도 있다. 오실레이션 업-페이즈들에 의해, 뉴런들은 덜 엄격한 조건들 때문에 보다 일찍 발화할 수도 있다는 것에 주목해야 한다. 이 2개를 분해가능한 시간 윈도우에 있게 함으로써, 이들의 연관이 코딩될 수도 있다.

도 15 는 본 개시물의 특정 양태들에 따라 뉴런 회로들과 연관된 시냅스 가중치들을 학습하기 위한 규칙으로 네트워크를 병합하기 위해 스파이킹 뉴런 회로들의 네트워크에서 수행될 수도 있는 예시적인 동작들 (1500) 을 예시한 것이다. 1502 에서, 시냅스 입력들은 네트워크의 뉴런 회로에 제공될 수도 있고, 여기서 시냅스 입력들 각각은 시냅스 가중치 및 시간 지연과 연관될 수도 있다. 1504 에서, 시냅스 입력들을 포함하는 뉴런 회로의 입력에서의 상승시, 가중되고 지연되는 시냅스 입력들 각각이 래치될 수도 있다. 1506 에서, 입력시 또는 입력에서의 상승에 기초한 뉴런 회로 스파이킹시, 학습 규칙이 래치된 시냅스 입력들에 적용되어, 그 시냅스 입력과 연관된 시냅스 가중치의 변화를 결정할 수도 있다.

일 양태에서, 뉴런 회로가 마지막으로 발화한 이래로 뉴런 회로의 입력이 최대치에 있을 때, 가중되고 지연되는 시냅스 입력들이 래치될 수도 있다. 본 개시물의 특정 양태들에 따르면, 학습 규칙은 실가의 헤비안 학습 규칙들 중 하나, 예컨대, Oja 학습 규칙에 대응할 수도 있다. 또한, 적용된 학습 규칙은 시냅스 입력과 연관된 시냅스 가중치를 분극할 수도 있다. 또한, 학습 규칙은, 시냅스 입력들의 정의된 레벨의 탈분극으로부터 뉴런 회로의 스파이킹까지의 지연을 보상하기 위해, 시프트된 STDP 학습 곡선과 연관될 수도 있다.

일 양태에서, 시간 지연은 시간 지연 분해능의 하나 이상의 배수들과 동일할 수도 있다. 뉴런 회로의 입력은 시냅스 입력들의 합계를 포함할 수도 있고, 여기서 합산된 시냅스 입력들 각각은, (예를 들어, 식 (1) 에 의해 정의된 바와 같이) 가중치 및 시간 지연으로 특성화되는 시냅스와 연관될 수도 있다.

하나의 양태에서, 뉴런 회로 및 시냅스 입력들은 동적 스파이킹 뉴런 모델과 연관될 수도 있다. 또 다른 양태에서, 뉴런 회로 및 시냅스 입력들은 누설-통합-그리고-발화 뉴런 모델 (leaky-integrate-and-fire neuron model) 과 연관될 수도 있다.

본 개시물의 일 양태에서, 도 9 에 예시된 바와 같이, 뉴런 회로의 발화와 네트워크의 참조 뉴런 회로의 발화 사이의 시간차가 활용되어 네트워크의 또 다른 뉴런 회로의 출력을 시간적으로 코딩하도록 할 수도 있다. 시간적으로 코딩된 출력은, 시냅스 입력들의 스파이킹 패턴이 정의된 패턴에 매치한다는 신뢰성에 관한 정보를 포함할 수도 있는 한편, 뉴런 회로 및 참조 뉴런 회로의 출력들은 다른 뉴런 회로에 공급되어 시간적으로 코딩된 출력을 발생시킬 수도 있다. 또 다른 양태에서, 도 10 에 예시된 바와 같이, 뉴런 회로의 출력이 네트워크의 또 다른 뉴런 회로에 제공되어 다른 뉴런 회로의 출력을 발생시킬 수도 있다. 그 후에, 다른 뉴런 회로의 출력의 발화 레이트는, 뉴런 회로에의 시냅스 입력들의 스파이킹 패턴이 정의된 패턴에 매치한다는 신뢰성을 나타낼 수도 있다.

본 개시물의 하나의 양태에서, 도 11 및 도 12 에 예시된 바와 같이, 뉴런 회로들 중 하나는 네트워크에 공급된 스파이킹 패턴을 기억하기 위한 메모리 셀로서 선택될 수도 있는 한편, 네트워크의 참조 뉴런 회로의 입력에 오실레이션이 제공될 수도 있다. 이러한 선택은, 뉴런 회로들의 세트 중에서 오실레이션의 트로프에 가장 가까운 스파이킹 패턴에 응답하는 뉴런 회로에 기초할 수도 있다.

도 16 은 본 개시물의 특정 양태들에 따라 뉴럴 네트워크의 뉴런 회로에서 수행될 수도 있는 예시적인 동작들 (1600) 을 예시한 것이다. 1602 에서, 뉴런 회로의 발화들의 개수를 기간 내에 카운트함으로써 뉴런 회로의 발화 레이트가 주기적으로 컴퓨팅될 수도 있다. 1604 에서, 발화 레이트가 하한보다 낮은지 또는 상한보다 높은지 여부가 결정될 수도 있다. 1606 에서, 이 결정에 기초하여 단계 양 (step amount) 만큼 발화 레이트가 조정될 수도 있다.

본 개시물의 양태에서, 컴퓨팅된 발화 레이트가 하한보다 낮은 경우, 발화 레이트를 조정하는 것은 발화 레이트를 부스팅 (boosting) 하는 것을 포함할 수도 있다. 또 다른 양태에서, 컴퓨팅된 발화 레이트가 상한보다 높은 경우, 발화 레이트를 조정하는 것은 발화 레이트를 댐프닝 (dampening) 하는 것을 포함할 수도 있다.

본 개시물의 특정 양태들에 따르면, 발화 레이트를 규제하기 위해 일반적 멀티플라이어가 뉴런 회로의 모든 시냅스 입력들에 적용될 수도 있다. 일 양태에서, 단계 양만큼 발화 레이트를 조정하는 것은 적용된 멀티플라이어를 조정함으로써 달성될 수도 있다.

상술된 방법들의 다양한 동작들은 대응하는 기능들을 수행하는 것이 가능한 임의의 적합한 수단에 의해 수행될 수도 있다. 수단은 회로, 주문형 집적 회로 (ASIC), 또는 프로세서를 포함하지만 이들로 제한되지는 않는 다양한 하드웨어 및/또는 소프트웨어 콤포넌트(들) 및/또는 모듈(들) 을 포함할 수도 있다. 일반적으로, 도면들에 동작들이 예시되어 있는 경우, 이들 동작들은 유사한 번호매김을 갖는 대응하는 상응 수단-플러스-기능 콤포넌트들을 가질 수도 있다. 예를 들어, 도 15 및 도 16 에 예시된 동작들 (1500 및 1600) 은 도 15a 및 도 16a 에 예시된 콤포넌트들 (1500A 및 1600A) 에 대응한다.

여기에 사용되는 바와 같이, 용어 "결정하는" 은 광범위한 액션들을 포괄한다. 예를 들어, "결정하는" 은 계산하는, 컴퓨팅하는, 프로세싱하는, 도출하는, 조사하는, 찾아보는 (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 찾아보는), 확인하는 등을 포함할 수도 있다. 또한, "결정하는" 은 수신하는 (예를 들어, 정보를 수신하는), 액세스하는 (예를 들어, 메모리의 데이터에 액세스하는) 등을 포함할 수도 있다. 또한, "결정하는" 은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수도 있다.

여기에서 사용되는 바와 같이, 아이템들의 리스트 "중 적어도 하나" 를 지칭하는 구문은 단일 부재들을 포함하는 그들 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c 중 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 를 커버하도록 의도된다.

상술된 방법들의 다양한 동작들은, 다양한 하드웨어 및/또는 소프트웨어 콤포넌트(들), 회로들, 및/또는 모듈(들) 과 같은, 동작들을 수행하는 것이 가능한 임의의 적합한 수단에 의해 수행될 수도 있다. 일반적으로, 도면들에 예시된 임의의 동작들은 동작들을 수행하는 것이 가능한 대응하는 기능적 수단에 의해 수행될 수도 있다.

본 개시물과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 여기에 설명된 기능들을 수행하도록 설계된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 신호 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 콤포넌트들, 또는 이들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 프로세서는 임의의 상업적으로 입수가능한 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.

본 명세서와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양쪽의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 당업계에 공지된 임의의 형태의 저장 매체에 상주할 수도 있다. 사용될 수도 있는 저장 매체들의 몇몇 예들은 RAM (random access memory), ROM (read only memory), 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드디스크, 탈착식 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈은 단일 명령 또는 많은 명령들을 포함할 수도 있으며, 상이한 프로그램들 중에서 여러 상이한 코드 세그먼트들을 통해 그리고 다수의 저장 매체들에 걸쳐서 분배될 수도 있다. 저장 매체는 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링될 수도 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수도 있다.

여기에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구범위의 범주를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 즉, 단계들 또는 액션들의 구체적인 순서가 특정되지 않는다면, 특정 단계들 및/또는 액션들의 순서 및/또는 이용은 청구범위의 범주로부터 벗어나지 않으면서 수정될 수도 있다.

설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령들 또는 코드로서 저장되거나 또는 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함한, 컴퓨터 저장 매체들 및 통신 매체들 양쪽을 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속은 컴퓨터 판독가능 매체라고 적절히 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 라인 (DSL), 또는 적외선 (IR), 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 여기에 사용된 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, DVD (digital versatile disc), 플로피 디스크, 및 Blu-ray^® 디스크를 포함하며, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저를 이용하여 데이터를 광학적으로 재생한다. 이에 따라, 일부 양태들에서, 컴퓨터 판독가능 매체들은 비일시적 컴퓨터 판독가능 매체들 (예를 들어, 유형적 매체들) 을 포함할 수도 있다. 또한, 다른 양태들에 대해, 컴퓨터 판독가능 매체들은 일시적 컴퓨터 판독가능 매체들 (예컨대, 신호) 를 포함할 수도 있다. 또한, 위의 조합들도 컴퓨터 판독가능 매체들의 범주 내에 포함되어야 한다.

이에 따라, 특정 양태들은 여기에 제시되는 동작들을 수행하는 컴퓨터 프로그램 제품을 포함할 수도 있다. 예를 들어, 이러한 컴퓨터 프로그램 제품은 명령들이 저장된 (그리고/또는 인코딩된) 컴퓨터 판독가능 매체를 포함할 수도 있으며, 명령들은 여기에 설명된 동작들을 수행하도록 하나 이상의 프로세서들에 의해 실행가능하다. 특정 양태들에 대해, 컴퓨터 프로그램 제품은 재료를 패키징하는 것을 포함할 수도 있다.

소프트웨어 또는 명령들은 또한 송신 매체를 통해 송신될 수도 있다. 예를 들어, 소프트웨어가 동축 케이블, 광 섬유 케이블, 연선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및/또는 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광 섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 송신 매체의 정의 내에 포함된다.

또한, 여기에 설명된 방법들 및 기법들을 수행하는 모듈들 및/또는 다른 적절한 수단은 적용가능하다면 사용자 단말기 및/또는 기지국에 의해 다운로드 및/또는 다른 방식으로 획득될 수 있다. 예를 들어, 여기에 설명된 방법들을 수행하기 위한 수단의 전송을 용이하게 하기 위해 이러한 디바이스가 서버에 커플링될 수 있다. 대안적으로, 여기에 설명된 다양한 방법들은 저장 수단 (예를 들어, RAM, ROM, CD (compact disc) 또는 플로피디스크 등과 같은 물리적 저장 매체 등) 을 통해 제공될 수 있어서, 사용자 단말기 및/또는 기지국이 저장 수단을 디바이스에 커플링하거나 제공할 때 다양한 방법들을 획득할 수 있도록 한다. 또한, 여기에 설명된 방법들 및 기법들을 디바이스에 제공하기 위한 임의의 다른 적합한 기법들이 활용될 수 있다.

청구범위는 위에 예시된 정밀한 구성 및 컴포넌트들로 제한되는 것이 아님을 이해해야 한다. 청구범위의 범주를 벗어나지 않으면서, 위에 설명된 방법들 및 장치의 배열, 동작 및 세부사항들에서 다양한 수정, 변경 및 변형이 이루어질 수도 있다.

상술된 사항이 본 개시물의 양태들에 관한 것이지만, 본 개시물의 다른 및 추가 양태들은 그의 기본 범주로부터 벗어나지 않고 개조될 수도 있고, 그의 범주는 다음의 청구범위에 의해 결정된다.

Claims

스파이킹 (spiking) 뉴런 회로들의 네트워크를 상기 뉴런 회로들과 연관된 시냅스 가중치 (synaptic weight) 들을 학습하기 위한 규칙에 의해 병합하는 방법으로서,
상기 네트워크의 뉴런 회로에 시냅스 입력 (synaptic input) 들을 제공하는 단계로서, 상기 시냅스 입력들 각각은 시냅스 가중치 및 시간 지연과 연관되는, 상기 시냅스 입력들을 제공하는 단계;
상기 시냅스 입력들을 포함하는 상기 뉴런 회로의 입력에서의 상승시, 가중되고 지연되는 상기 시냅스 입력들 각각을 래치 (latch) 하는 단계; 및
상기 입력시 또는 상기 입력에서의 상승에 기초한 상기 뉴런 회로의 스파이킹시, 래치된 상기 시냅스 입력들에 학습 규칙을 적용하여, 상기 시냅스 입력과 연관된 상기 시냅스 가중치의 변화를 결정하는 단계
를 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 학습 규칙은 실가의 헤비안 학습 규칙 (real-valued Hebbian learning rule) 을 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 2 항에 있어서,
상기 헤비안 학습 규칙은 Oja 학습 규칙을 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 시간 지연은 시간 지연 분해능의 하나 이상의 배수들과 동일한, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 뉴런 회로의 입력은 상기 시냅스 입력들의 합계를 포함하고,
합산된 상기 시냅스 입력들 각각은, 상기 시냅스 가중치 및 상기 시간 지연으로 특성화되는 시냅스와 연관되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 래치하는 단계는,
상기 뉴런 회로가 마지막으로 발화 (fire) 한 이래로 상기 뉴런 회로의 입력이 최대치에 있을 때, 가중되고 지연되는 상기 시냅스 입력들을 래치하는 단계를 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 래치하는 단계는,
상기 뉴런 회로의 입력에서의 어떤 증가시에도, 가중되고 지연되는 상기 시냅스 입력들을 래치하는 단계를 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
적용된 상기 학습 규칙은, 상기 시냅스 입력과 연관된 상기 시냅스 가중치를 분극하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 뉴런 회로 및 상기 시냅스 입력들은 동적 스파이킹 뉴런 모델과 연관되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 뉴런 회로 및 상기 시냅스 입력들은 누설-통합-그리고-발화 뉴런 모델 (leaky-integrate-and-fire neuron model) 과 연관되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 학습 규칙은, 시프트된 스파이크-타이밍-의존 가소성 (Spike-Timing-Dependent Plasticity; STDP) 학습 곡선과 연관되어 상기 시냅스 입력들의 정의된 레벨의 탈분극으로부터 상기 뉴런 회로의 스파이킹까지의 지연을 보상하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 뉴런 회로의 발화와 상기 네트워크의 참조 뉴런 회로의 발화 사이의 시간에 있어서의 차이를 활용하여 상기 네트워크의 또 다른 뉴런 회로의 출력을 시간적으로 코딩하는 단계를 더 포함하고,
시간적으로 코딩된 상기 출력은, 상기 시냅스 입력들의 스파이킹 패턴이 정의된 패턴에 매치한다는 신뢰성에 관한 정보를 포함하고,
상기 뉴런 회로 및 상기 참조 뉴런 회로의 출력들이 상기 다른 뉴런 회로에 공급되어 시간적으로 코딩된 출력을 발생시키는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 뉴런 회로의 출력을 상기 네트워크의 또 다른 뉴런 회로에 제공하여 상기 다른 뉴런 회로의 출력을 발생시키는 단계를 더 포함하고,
상기 다른 뉴런 회로의 출력의 발화 레이트 (firing rate) 는, 상기 뉴런 회로에의 상기 시냅스 입력들의 스파이킹 패턴이 정의된 패턴에 매치한다는 신뢰성을 나타내는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
제 1 항에 있어서,
상기 네트워크의 참조 뉴런 회로의 입력에서의 오실레이션을 이용하여, 상기 네트워크에 공급된 스파이킹 패턴을 기억하기 위한 메모리 셀로서 상기 뉴런 회로들 중 하나를 선택하는 단계를 더 포함하고,
상기 선택은 상기 뉴런 회로들의 세트 중에서 상기 오실레이션의 트로프 (trough) 에 가장 가까운 스파이킹 패턴에 응답하는 상기 뉴런 회로에 기초하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 방법.
스파이킹 뉴런 회로들의 네트워크를 상기 뉴런 회로들과 연관된 시냅스 가중치들을 학습하기 위한 규칙에 의해 병합하는 전기 회로로서,
상기 네트워크의 뉴런 회로에 시냅스 입력들을 제공하도록 구성된 제 1 회로로서, 상기 시냅스 입력들 각각은 시냅스 가중치 및 시간 지연과 연관되는, 상기 제 1 회로;
상기 시냅스 입력들을 포함하는 상기 뉴런 회로의 입력에서의 상승시, 가중되고 지연되는 상기 시냅스 입력들 각각을 래치하도록 구성된 제 2 회로; 및
상기 입력시 또는 상기 입력에서의 상승에 기초한 상기 뉴런 회로의 스파이킹시, 래치된 상기 시냅스 입력들에 학습 규칙을 적용하여, 상기 시냅스 입력과 연관된 상기 시냅스 가중치의 변화를 결정하도록 구성된 제 3 회로
를 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 학습 규칙은 실가의 헤비안 학습 규칙을 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 16 항에 있어서,
상기 헤비안 학습 규칙은 Oja 학습 규칙을 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 시간 지연은 시간 지연 분해능의 하나 이상의 배수들과 동일한, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 뉴런 회로의 입력은 상기 시냅스 입력들의 합계를 포함하고,
합산된 상기 시냅스 입력들 각각은, 상기 시냅스 가중치 및 상기 시간 지연으로 특성화되는 시냅스와 연관되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 제 2 회로는 또한, 상기 뉴런 회로가 마지막으로 발화한 이래로 상기 뉴런 회로의 입력이 최대치에 있을 때, 가중되고 지연되는 상기 시냅스 입력들을 래치하도록 구성되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 제 2 회로는 또한, 상기 뉴런 회로의 입력에서의 어떤 증가시에도, 가중되고 지연되는 상기 시냅스 입력들을 래치하도록 구성되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
적용된 상기 학습 규칙은, 상기 시냅스 입력과 연관된 상기 시냅스 가중치를 분극하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 뉴런 회로 및 상기 시냅스 입력들은 동적 스파이킹 뉴런 모델과 연관되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 뉴런 회로 및 상기 시냅스 입력들은 누설-통합-그리고-발화 뉴런 모델과 연관되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 학습 규칙은, 시프트된 스파이크-타이밍-의존 가소성 (Spike-Timing-Dependent Plasticity; STDP) 학습 곡선과 연관되어 상기 시냅스 입력들의 정의된 레벨의 탈분극으로부터 상기 뉴런 회로의 스파이킹까지의 지연을 보상하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 뉴런 회로의 발화와 상기 네트워크의 참조 뉴런 회로의 발화 사이의 시간에 있어서의 차이를 활용하여 상기 네트워크의 또 다른 뉴런 회로의 출력을 시간적으로 코딩하도록 구성된 제 4 회로를 더 포함하고,
시간적으로 코딩된 상기 출력은, 상기 시냅스 입력들의 스파이킹 패턴이 정의된 패턴에 매치한다는 신뢰성에 관한 정보를 포함하고,
상기 뉴런 회로 및 상기 참조 뉴런 회로의 출력들이 상기 다른 뉴런 회로에 공급되어 시간적으로 코딩된 출력을 발생시키는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 뉴런 회로의 출력을 상기 네트워크의 또 다른 뉴런 회로에 제공하여 상기 다른 뉴런 회로의 출력을 발생시키도록 구성된 제 4 회로를 더 포함하고,
상기 다른 뉴런 회로의 출력의 발화 레이트는, 상기 뉴런 회로에의 상기 시냅스 입력들의 스파이킹 패턴이 정의된 패턴에 매치한다는 신뢰성을 나타내는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
제 15 항에 있어서,
상기 네트워크의 참조 뉴런 회로의 입력에서의 오실레이션을 이용하여, 상기 네트워크에 공급된 스파이킹 패턴을 기억하기 위한 메모리 셀로서 상기 뉴런 회로들 중 하나를 선택하도록 구성된 제 4 회로를 더 포함하고,
상기 선택은 상기 뉴런 회로들의 세트 중에서 상기 오실레이션의 트로프에 가장 가까운 스파이킹 패턴에 응답하는 상기 뉴런 회로에 기초하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 전기 회로.
스파이킹 뉴런 회로들의 네트워크를 상기 뉴런 회로들과 연관된 시냅스 가중치들을 학습하기 위한 규칙에 의해 병합하는 장치로서,
상기 네트워크의 뉴런 회로에 시냅스 입력들을 제공하는 수단으로서, 상기 시냅스 입력들 각각은 시냅스 가중치 및 시간 지연과 연관되는, 상기 시냅스 입력들을 제공하는 수단;
상기 시냅스 입력들을 포함하는 상기 뉴런 회로의 입력에서의 상승시, 가중되고 지연되는 상기 시냅스 입력들 각각을 래치하는 수단; 및
상기 입력시 또는 상기 입력에서의 상승에 기초한 상기 뉴런 회로의 스파이킹시, 래치된 상기 시냅스 입력들에 학습 규칙을 적용하여, 상기 시냅스 입력과 연관된 상기 시냅스 가중치의 변화를 결정하는 수단
을 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 학습 규칙은 실가의 헤비안 학습 규칙을 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 30 항에 있어서,
상기 헤비안 학습 규칙은 Oja 학습 규칙을 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 시간 지연은 시간 지연 분해능의 하나 이상의 배수들과 동일한, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 뉴런 회로의 입력은 상기 시냅스 입력들의 합계를 포함하고,
합산된 상기 시냅스 입력들 각각은, 상기 시냅스 가중치 및 상기 시간 지연으로 특성화되는 시냅스와 연관되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 뉴런 회로가 마지막으로 발화한 이래로 상기 뉴런 회로의 입력이 최대치에 있을 때, 가중되고 지연되는 상기 시냅스 입력들을 래치하는 수단을 더 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 뉴런 회로의 입력에서의 어떤 증가시에도, 가중되고 지연되는 상기 시냅스 입력들을 래치하는 수단을 더 포함하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
적용된 상기 학습 규칙은, 상기 시냅스 입력과 연관된 상기 시냅스 가중치를 분극하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 뉴런 회로 및 상기 시냅스 입력들은 동적 스파이킹 뉴런 모델과 연관되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 뉴런 회로 및 상기 시냅스 입력들은 누설-통합-그리고-발화 뉴런 모델과 연관되는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 학습 규칙은, 시프트된 스파이크-타이밍-의존 가소성 (Spike-Timing-Dependent Plasticity; STDP) 학습 곡선과 연관되어 상기 시냅스 입력들의 정의된 레벨의 탈분극으로부터 상기 뉴런 회로의 스파이킹까지의 지연을 보상하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 뉴런 회로의 발화와 상기 네트워크의 참조 뉴런 회로의 발화 사이의 시간에 있어서의 차이를 활용하여 상기 네트워크의 또 다른 뉴런 회로의 출력을 시간적으로 코딩하는 수단을 더 포함하고,
시간적으로 코딩된 상기 출력은, 상기 시냅스 입력들의 스파이킹 패턴이 정의된 패턴에 매치한다는 신뢰성에 관한 정보를 포함하고,
상기 뉴런 회로 및 상기 참조 뉴런 회로의 출력들이 상기 다른 뉴런 회로에 공급되어 시간적으로 코딩된 출력을 발생시키는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 뉴런 회로의 출력을 상기 네트워크의 또 다른 뉴런 회로에 제공하여 상기 다른 뉴런 회로의 출력을 발생시키는 수단을 더 포함하고,
상기 다른 뉴런 회로의 출력의 발화 레이트는, 상기 뉴런 회로에의 상기 시냅스 입력들의 스파이킹 패턴이 정의된 패턴에 매치한다는 신뢰성을 나타내는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
제 29 항에 있어서,
상기 네트워크의 참조 뉴런 회로의 입력에서의 오실레이션을 이용하여, 상기 네트워크에 공급된 스파이킹 패턴을 기억하기 위한 메모리 셀로서 상기 뉴런 회로들 중 하나를 선택하는 수단을 더 포함하고,
상기 선택은 상기 뉴런 회로들의 세트 중에서 상기 오실레이션의 트로프에 가장 가까운 스파이킹 패턴에 응답하는 상기 뉴런 회로에 기초하는, 스파이킹 뉴런 회로들의 네트워크를 병합하는 장치.
뉴럴 네트워크 (neural network) 의 뉴런 회로의 발화 레이트를 규제하는 방법으로서,
상기 뉴런 회로의 발화들의 개수를 기간 내에 카운트함으로써 상기 뉴런 회로의 상기 발화 레이트를 주기적으로 컴퓨팅하는 단계;
상기 발화 레이트가 하한보다 낮은지 또는 상한보다 높은지 여부를 결정하는 단계; 및
상기 결정에 기초하여 단계 양 (step amount) 만큼 상기 발화 레이트를 조정하는 단계
를 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 방법.
제 43 항에 있어서,
상기 발화 레이트를 조정하는 단계는,
컴퓨팅된 상기 발화 레이트가 상기 하한보다 낮은 경우, 상기 발화 레이트를 부스팅 (boosting) 하는 단계를 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 방법.
제 43 항에 있어서,
상기 발화 레이트를 조정하는 단계는,
컴퓨팅된 상기 발화 레이트가 상기 상한보다 높은 경우, 상기 발화 레이트를 댐프닝 (dampening) 하는 단계를 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 방법.
제 43 항에 있어서,
상기 발화 레이트를 규제하기 위해 상기 뉴런의 모든 시냅스 입력들에 멀티플라이어를 적용하는 단계를 더 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 방법.
제 43 항에 있어서,
상기 단계 양만큼 상기 발화 레이트를 조정하는 단계는, 적용된 멀티플라이어를 조정하는 단계를 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 방법.
뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 전기 회로로서,
상기 뉴런 회로의 발화들의 개수를 기간 내에 카운트함으로써 상기 뉴런 회로의 상기 발화 레이트를 주기적으로 컴퓨팅하도록 구성된 제 1 회로;
상기 발화 레이트가 하한보다 낮은지 또는 상한보다 높은지 여부를 결정하도록 구성된 제 2 회로; 및
상기 결정에 기초하여 단계 양만큼 상기 발화 레이트를 조정하도록 구성된 제 3 회로
를 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 전기 회로.
제 48 항에 있어서,
상기 제 3 회로는 또한,
컴퓨팅된 상기 발화 레이트가 상기 하한보다 낮은 경우, 상기 발화 레이트를 부스팅하도록 구성되는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 전기 회로.
제 48 항에 있어서,
상기 제 3 회로는 또한,
컴퓨팅된 상기 발화 레이트가 상기 상한보다 높은 경우, 상기 발화 레이트를 댐프닝하도록 구성되는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 전기 회로.
제 48 항에 있어서,
상기 발화 레이트를 규제하기 위해 상기 뉴런의 모든 시냅스 입력들에 적용되도록 구성된 멀티플라이어를 더 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 전기 회로.
제 48 항에 있어서,
상기 단계 양만큼 상기 발화 레이트를 조정하는 것은, 적용된 멀티플라이어를 조정하는 것을 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 전기 회로.
뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 장치로서,
상기 뉴런 회로의 발화들의 개수를 기간 내에 카운트함으로써 상기 뉴런 회로의 상기 발화 레이트를 주기적으로 컴퓨팅하는 수단;
상기 발화 레이트가 하한보다 낮은지 또는 상한보다 높은지 여부를 결정하는 수단; 및
상기 결정에 기초하여 단계 양만큼 상기 발화 레이트를 조정하는 수단
을 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 장치.
제 53 항에 있어서,
상기 발화 레이트를 조정하는 수단은,
컴퓨팅된 상기 발화 레이트가 상기 하한보다 낮은 경우, 상기 발화 레이트를 부스팅하는 수단을 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 장치.
제 53 항에 있어서,
상기 발화 레이트를 조정하는 수단은,
컴퓨팅된 상기 발화 레이트가 상기 상한보다 높은 경우, 상기 발화 레이트를 댐프닝하는 수단을 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 장치.
제 53 항에 있어서,
상기 발화 레이트를 규제하기 위해 상기 뉴런의 모든 시냅스 입력들에 멀티플라이어를 적용하는 수단을 더 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 장치.
제 53 항에 있어서,
상기 단계 양만큼 상기 발화 레이트를 조정하는 수단은, 적용된 멀티플라이어를 조정하는 수단을 포함하는, 뉴럴 네트워크의 뉴런 회로의 발화 레이트를 규제하는 장치.