KR101616749B1

KR101616749B1 - 뉴럴 시간적 코딩, 학습 및 인식을 위한 방법 및 장치

Info

Publication number: KR101616749B1
Application number: KR1020147006948A
Authority: KR
Inventors: 빅터 호키우 챈; 제이슨 프랭크 헌징거; 바르디아 팔라 베하바디
Original assignee: 퀄컴 인코포레이티드
Priority date: 2011-08-16
Filing date: 2012-08-14
Publication date: 2016-04-29
Also published as: WO2013025708A2; BR112014003581A2; CN103733209B; WO2013025708A3; TWI522935B; IN2014CN00716A; JP2016106299A; KR101945678B1; KR101972282B1; KR20180027627A; US9147155B2; EP2745244A2; RU2014110033A; KR20140054267A; JP2014526110A; JP6092213B2; CN103733209A; TW201510883A; CA2844777A1; US20130046716A1

Abstract

본 개시의 소정의 양태들은 뉴럴 시간적 코딩, 학습 및 인식을 위한 기술을 지원한다. 크거나 긴 공간적-시간적 패턴들의 뉴럴 코딩의 방법도 또한 제안된다. 또한, 시간적 및 레이트 코딩을 통한 일반화된 뉴럴 코딩 및 학습이 본 개시에서 개시된다.

Description

뉴럴 시간적 코딩, 학습 및 인식을 위한 방법 및 장치{METHOD AND APPARATUS FOR NEURAL TEMPORAL CODING, LEARNING AND RECOGNITION}

본 개시의 소정 양태들은 일반적으로 뉴럴 시스템 엔지니어링에 관한 것으로, 특히, 뉴럴 시간적 코딩, 학습 및 인식의 방법 및 장치에 관한 것이다.

뉴럴 시스템에서의 뉴런들은 시한 스파이크들 (timed spikes) 의 형태의 소위 시간적 코드들 (temporal codes) 을 사용하여 일시적으로 정보를 전달할 수 있다. 이 때문에, 이러한 시간적 정보의 코딩 및 디코딩 방법들 및 학습 방법들이 주 관심사이다.

특히, 단순히 입력들의 순서 또는 입력들의 동시성 (coincidence) 이 아니라, 시간적 패턴들을, 다른 시간적 패턴 방법들과 대조하여 구분하는 것이 바람직하다. 본 개시는 생물학적으로 영감을 받고/부합하지만, 복잡도가 감소되고 시간적 스파이크 신호 패턴들 (temporal spike signal patterns) 을 코딩, 디코딩, 인지, 및 학습할 수 있는 방법들을 제공한다.

개요

본 개시의 소정의 양태들은 뉴럴 시간적 코딩의 방법을 제공한다. 일반적으로, 그 방법은 뉴런 회로로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시키는 상대적 지연 라인 추상화를 활용하는 단계, 뉴런 회로의 가중된 그리고 지연된 시냅틱 입력들에 기초하여 뉴런 회로의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델을 적용하는 단계, 및, 비교사 학습 룰 (unsupervised learning rule) 에 따라, 지연된 시냅틱 입력들 및 뉴런 회로 스파이킹의 시간 관계에 따른 시냅틱 입력들과 관련된 가중치들을 조정하는 단계를 포함한다.

본 개시의 소정의 양태들은 뉴럴 시간적 코딩을 위한 장치를 제공한다. 일반적으로, 그 장치는 뉴런 회로로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시키는 상대적 지연 라인 추상화를 활용하도록 구성된 제 1의 회로, 뉴런 회로의 가중된 그리고 지연된 시냅틱 입력들에 기초하여 뉴런 회로의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델을 적용하도록 구성된 제 2의 회로, 및 비교사 학습 룰에 따라, 지연된 시냅틱 입력들 및 뉴런 회로 스파이킹의 시간 관계에 따른 시냅틱 입력들과 관련된 가중치들을 조정하도록 구성된 제 3의 회로를 포함한다.

본 개시의 소정의 양태들은 뉴럴 시간적 코딩을 위한 장치를 제공한다. 일반적으로, 그 장치는 뉴런 회로로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시키는 상대적 지연 라인 추상화를 활용하는 수단, 뉴런 회로의 가중된 그리고 지연된 시냅틱 입력들에 기초하여 뉴런 회로의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델을 적용하는 수단, 및, 비교사 학습 룰에 따라, 지연된 시냅틱 입력들 및 뉴런 회로 스파이킹의 시간 관계에 따른 시냅틱 입력들과 관련된 가중치들을 조정하는 수단을 포함한다.

본 개시의 소정의 양태들은 뉴럴 시간적 코딩을 위한 컴퓨터 프로그램 제품을 제공한다. 일반적으로, 그 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함하고, 컴퓨터 판독가능 매체는, 뉴런 회로로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시키는 상대적 지연 라인 추상화를 활용하고, 뉴런 회로의 가중된 그리고 지연된 시냅틱 입력들에 기초하여 뉴런 회로의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델을 적용하고, 그리고, 비교사 학습 룰에 따라, 지연된 시냅틱 입력들 및 뉴런 회로 스파이킹의 시간 관계에 따른 시냅틱 입력들과 관련된 가중치들을 조정하는 코드를 포함한다.

본 개시의 소정의 양태들은 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩의 방법을 제공한다. 그 방법은 일반적으로, 계층적 다층 뉴럴 네트워크에서의 뉴런 회로들의 각각의 계층을 입력에 그리고 다층 뉴럴 네트워크에서의 다른 계층의 뉴런 회로들에 연결하는 단계, 및 다층 뉴럴 네트워크에서의 제 1의 계층의 뉴런 회로들을 입력 패턴의 제 1의 서브섹션과 매칭시키는 단계를 포함하고, 그 연결된 계층은, 입력 패턴의 서브섹션과 입력 패턴의 다른 서브섹션의 매칭의 결과로서 또 다른 계층의 뉴런 회로들의 발화의 조합과 매칭한다.

본 개시의 소정의 양태들은 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩을 위한 장치를 제공한다. 그 장치는 일반적으로, 계층적 다층 뉴럴 네트워크에서의 뉴런 회로들의 각각의 계층을 입력에 그리고 다층 뉴럴 네트워크에서의 다른 계층의 뉴런 회로들에 연결하도록 구성된 제 1의 회로, 및 다층 뉴럴 네트워크에서의 제 1의 계층의 뉴런 회로들을 입력 패턴의 제 1의 서브섹션과 매칭시키도록 구성된 제 2의 회로를 포함하고, 그 연결된 계층은, 입력 패턴의 서브섹션과 입력 패턴의 다른 서브섹션의 매칭의 결과로서 또 다른 계층의 뉴런 회로들의 발화의 조합과 매칭한다.

본 개시의 소정의 양태들은 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩을 위한 장치를 제공한다. 그 장치는 일반적으로, 계층적 다층 뉴럴 네트워크에서의 뉴런 회로들의 각각의 계층을 입력에 그리고 다층 뉴럴 네트워크에서의 다른 계층의 뉴런 회로들에 연결하는 수단, 및 다층 뉴럴 네트워크에서의 제 1의 계층의 뉴런 회로들을 입력 패턴의 제 1의 서브섹션과 매칭시키는 수단을 포함하고, 그 연결된 계층은, 입력 패턴의 서브섹션과 입력 패턴의 다른 서브섹션의 매칭의 결과로서 또 다른 계층의 뉴런 회로들의 발화의 조합과 매칭한다.

본 개시의 소정의 양태들은 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩을 위한 컴퓨터 프로그램 제품을 제공한다. 일반적으로 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함하고, 컴퓨터 판독가능 매체는, 계층적 다층 뉴럴 네트워크에서의 뉴런 회로들의 각각의 계층을 입력에 그리고 다층 뉴럴 네트워크에서의 다른 계층의 뉴런 회로들에 연결하고, 및 다층 뉴럴 네트워크에서의 제 1의 계층의 뉴런 회로들을 입력 패턴의 제 1의 서브섹션과 매칭시키는 코드를 포함하고, 그 연결된 계층은, 입력 패턴의 서브섹션과 입력 패턴의 다른 서브섹션의 매칭의 결과로서 또 다른 계층의 뉴런 회로들의 발화의 조합과 매칭한다.

본 개시의 소정의 양태들은 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩의 방법을 제공한다. 그 방법은 일반적으로, 관련된 지연들을 갖는 시냅스들을 통해, 시냅틱 입력들을 뉴런 회로에 제공하는 단계를 포함하고, 시냅틱 입력들 중 적어도 하나는 자가 연결되어 있는 시냅스들 중 적어도 하나와 관련되고, 시냅스들은 복수의 세트들에 속하고, 그 세트들 중 적어도 하나는 재귀적 자가 연결을 포함하지 않는 시냅틱 입력들의 패턴의 제 1의 부분과 매칭하는 지연 조합을 포함한다.

본 개시의 소정의 양태들은 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩을 위한 장치를 제공한다. 그 장치는 일반적으로, 관련된 지연들을 갖는 시냅스들을 통해, 시냅틱 입력들을 뉴런 회로에 제공하도록 구성된 제 1의 회로를 포함하고, 시냅틱 입력들 중 적어도 하나는 자가 연결되어 있는 시냅스들 중 적어도 하나와 관련되고, 시냅스들은 복수의 세트들에 속하고, 그 세트들 중 적어도 하나는 재귀적 자가 연결을 포함하지 않는 시냅틱 입력들의 패턴의 제 1의 부분과 매칭하는 지연 조합을 포함한다.

본 개시의 소정의 양태들은 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩을 위한 장치를 제공한다. 그 장치는 일반적으로, 관련된 지연들을 갖는 시냅스들을 통해, 시냅틱 입력들을 뉴런 회로에 제공하는 수단을 포함하고, 시냅틱 입력들 중 적어도 하나는 자가 연결되어 있는 시냅스들 중 적어도 하나와 관련되고, 시냅스들은 복수의 세트들에 속하고, 그 세트들 중 적어도 하나는 재귀적 자가 연결을 포함하지 않는 시냅틱 입력들의 패턴의 제 1의 부분과 매칭하는 지연 조합을 포함한다.

본 개시의 소정의 양태들은 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩을 위한 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품은 일반적으로 컴퓨터 판독가능 매체를 포함하고, 상기 컴퓨터 판독가능 매체는, 관련된 지연들을 갖는 시냅스들을 통해, 시냅틱 입력들을 뉴런 회로에 제공하는 코드를 포함하고, 시냅틱 입력들 중 적어도 하나는 자가 연결되어 있는 시냅스들 중 적어도 하나와 관련되고, 시냅스들은 복수의 세트들에 속하고, 그 세트들 중 적어도 하나는 재귀적 자가 연결을 포함하지 않는 시냅틱 입력들의 패턴의 제 1의 부분과 매칭하는 지연 조합을 포함한다.

본 개시의 소정의 양태들은 일반적인 입력 패턴들에 대한 뉴럴 코딩의 방법을 제공한다. 그 방법은 일반적으로, 하나 이상의 시냅스들을 소마 (soma) 를 갖는 뉴런 회로에 연결하는 단계로서, 하나 이상의 시냅스들의 각각은 뉴런 회로의 입력 구심성에 대응하고 가중치 및 상대적 지연을 갖는, 연결하는 단계, 및 상대적 지연들의 각각에 의해, 대응하는 입력 구심성과 소마 사이에 지연을 초래하는 단계를 포함하고, 하나 이상의 시냅스들의 하나 이상의 세트들은, 조합하여 일반적 입력 패턴들 중 하나를 형성하는 서브-패턴들에 대응하는 입력 구심성들 및 지연들을 가지며, 서브-패턴들은 동시성들, 발화율들, 또는 시간적 패턴들 중 적어도 하나를 포함한다.

본 개시의 소정의 양태들은 일반적인 입력 패턴들에 대한 뉴럴 코딩을 위한 장치를 제공한다. 그 장치는 일반적으로, 하나 이상의 시냅스들을 소마를 갖는 뉴런 회로에 연결하도록 구성된 제 1의 회로로서, 하나 이상의 시냅스들의 각각은 뉴런 회로의 입력 구심성에 대응하고 가중치 및 상대적 지연을 갖는, 제 1의 회로, 및 상대적 지연들의 각각에 의해, 대응하는 입력 구심성과 소마 사이에 지연을 초래하도록 구성된 제 2의 회로를 포함하고, 하나 이상의 시냅스들의 하나 이상의 세트들은, 조합하여 일반적 입력 패턴들 중 하나를 형성하는 서브-패턴들에 대응하는 입력 구심성들 및 지연들을 가지며, 서브-패턴들은 동시성들, 발화율들, 또는 시간적 패턴들 중 적어도 하나를 포함한다.

본 개시의 소정의 양태들은 일반적인 입력 패턴들에 대한 뉴럴 코딩을 위한 장치를 제공한다. 그 장치는 일반적으로, 하나 이상의 시냅스들을 소마를 갖는 뉴런 회로에 연결하는 수단으로서, 하나 이상의 시냅스들의 각각은 뉴런 회로의 입력 구심성에 대응하고 가중치 및 상대적 지연을 갖는, 연결하는 수단, 및 상대적 지연들의 각각에 의해, 대응하는 입력 구심성과 소마 사이에 지연을 초래하는 수단을 포함하고, 하나 이상의 시냅스들의 하나 이상의 세트들은, 조합하여 일반적 입력 패턴들 중 하나를 형성하는 서브-패턴들에 대응하는 입력 구심성들 및 지연들을 가지며, 서브-패턴들은 동시성들, 발화율들, 또는 시간적 패턴들 중 적어도 하나를 포함한다.

본 개시의 소정의 양태들은 일반적인 입력 패턴들에 대한 뉴럴 코딩을 위한 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품은 일반적으로 컴퓨터 판독가능 매체를 포함하고, 상기 컴퓨터 판독가능 매체는, 하나 이상의 시냅스들을 소마를 갖는 뉴런 회로에 연결하는 것으로서, 하나 이상의 시냅스들의 각각은 뉴런 회로의 입력 구심성에 대응하고 가중치 및 상대적 지연을 갖는, 연결하는 것, 및 상대적 지연들의 각각에 의해, 대응하는 입력 구심성과 소마 사이에 지연을 초래하는 것을 하는 코드를 포함하고, 하나 이상의 시냅스들의 하나 이상의 세트들은, 조합하여 일반적 입력 패턴들 중 하나를 형성하는 서브-패턴들에 대응하는 입력 구심성들 및 지연들을 가지며, 서브-패턴들은 동시성들, 발화율들, 또는 시간적 패턴들 중 적어도 하나를 포함한다.

상기 언급된 본 개시의 특징들이 상세히 이해될 수 있는 방식으로, 위에서 간략히 요약된 보다 특정적인 설명이 양태들을 참조로 이루어질 수도 있으며, 그 몇몇은 첨부된 도면들에서 도시된다. 그러나, 첨부된 도면들은 단지 본 개시의 소정의 통상적 양태들만을 도시하며, 따라서 본 개시의 범위를 제한하는 것으로 간주되어선 안되며, 설명에 있어서는 다른 동등하게 효과적인 양태들을 인정할 수도 있음을 유의해야 한다.
도 1 은 본 개시의 소정의 양태들에 따른 뉴런들의 예시적인 네트워크를 도시한다.
도 2는 본 개시의 소정의 양태들에 따른 방법 컴포넌트 및 피쳐들의 일 예를 도시한다.
도 3은 본 개시의 소정의 양태들에 따른 예시적인 상대적 지연 뉴런 모델을 도시한다.
도 4는 본 개시의 소정의 양태들에 따른 수지상 모델 (dendritic model) 에 의한 상대적 지연 입력들의 예시적인 재배치 (realignment) 를 도시한다.
도 5는 본 개시의 소정의 양태들에 따른 통상의 STDP (spike-timing-dependent plasticity; 스파이크-타이밍-의존 가소성) 학습 곡선들의 실시형태를 도시한다.
도 6은 본 개시의 소정의 양태들에 따른 STDP 학습 곡선들의 시간적 민감도에 대한 변형예들을 도시한다.
도 7은 본 개시의 소정의 양태에 따른 STDP 학습 곡선들의 재강화/강조해제 밸런스 (re-enforcement/de-emphasis balance) 에 대한 변형예들을 도시한다.
도 8은 본 개시의 소정의 양태에 따른 시간적 입력 패턴에 대한 뉴런 응답의 정확도 및 견고성의 예를 도시한다.
도 9는 본 개시의 소정의 양태들에 따른 예시적인 시냅틱 턴오버 (synaptic turnover) 를 도시한다.
도 10은 본 개시의 소정의 양태들에 따른 시간적 패턴 학습에 대한 발화율 (firing rate) 의 예시적인 효과들을 도시한다.
도 11은 본 개시의 소정의 양태들에 따른 뉴럴 시간적 코딩에 대한 뉴럴 네트워크 (neural network) 의 뉴런 회로에 의해 수행될 수도 있는 예시적인 동작들을 도시한다.
도 11a는 도 11에 도시된 동작들을 수행할 수 있는 예시적인 컴포넌트들을 도시한다.
도 12는 본 개시의 소정의 양태들에 따른 길고 큰 공간적-시간적 패턴의 예를 도시한다.
도 13은 본 개시의 소정의 양태들에 따른 더 길고 및/또는 더 큰 공간적-시간적 패턴 코딩을 위한 다층 네트워크의 예를 도시한다.
도 14는 본 개시의 소정의 양태들에 따른 축삭 지연 (axonal delay) 을 갖는 긴 공간적-시간적 패턴 코딩을 위한 다층 네트워크의 예를 도시한다.
도 15는 본 개시의 소정의 양태들에 따른 더 길고 및/또는 더 큰 공간적-시간적 패턴 코딩을 위한 예시적인 스케일러블 네트워크를 도시한다.
도 16은 본 개시의 소정의 양태들에 따른 예시적인 재귀적 스케일러블 공간적-시간적 패턴 코딩을 도시한다.
도 17은 본 개시의 소정의 양태들에 따른 각 뉴런에서 가중치들의 적응의 예시적인 그래프들을 도시한다.
도 18은 본 개시의 소정의 양태들에 따른 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩을 위해 다층 뉴럴 네트워크에서 수행될 수도 있는 예시적인 동작들을 도시한다.
도 18a는 도 18 에 도시된 동작들을 수행할 수 있는 예시적인 컴포넌트들을 도시한다.
도 19는 본 개시의 소정의 양태들에 따른 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩을 위해 뉴럴 네트워크의 뉴런 회로에서 수행될 수도 있는 다른 예시적인 동작들을 도시한다.
도 19a는 도 19에 도시된 동작들을 수행할 수 있는 예시적인 컴포넌트들을 도시한다.
도 20은 본 개시의 소정의 양태들에 따른 스파이크 타이밍을 정렬하는 것에 의해 상이한 뉴럴 코딩 스킴들을 디코딩하는 예를 도시한다.
도 21은 본 개시의 소정의 양태들에 따른 상대적 지연들에 대한 의존성을 갖는 동시 디코딩의 예를 도시한다.
도 22는 본 개시의 소정의 양태들에 따른 상대적 지연들에 대한 의존성을 갖는 시간적 패턴 디코딩의 예를 도시한다.
도 23은 본 개시의 소정의 양태들에 따른 논리적 OR 시간적 패턴 매칭의 예를 도시한다.
도 24는 본 개시의 소정의 양태들에 따른 상대적 지연들에 대한 의존성을 갖는 발화율 디코딩의 예를 도시한다.
도 25는 발화율 디코딩의 예를 도시하는데, 여기서 발화율은 본 개시의 소정의 양태들에 따라 디코딩하는 목표율이다.
도 26은 본 개시의 소정의 양태들에 따라 일치하는 변환율을 갖는 발화율 디코딩의 예를 도시한다.
도 27은, 본 개시의 소정의 양태에 따른, 출력 발화율의 불변성을 통한 발화율 디코딩의 실시형태를 도시한다.
도 28은, 본 개시의 소정의 양태에 따른, 상이한 입력 타이밍에 노출된 단순한 스파이킹 모델의 시간적 페이즈 포트레이트 (portrait) 의 실시형태를 예시한다.
도 29는, 본 개시의 소정의 양태에 따른, 상이한 공칭 시상수에 노출된 단순한 스파이킹 모델의 시간적 페이즈 포트레이트의 실시형태를 예시한다.
도 30은 본 개시의 소정의 양태들에 따른 예시적인 STDP 구현예를 도시한다.
도 31은 본 개시의 소정의 양태들에 따른 일반적 입력 패턴들에 대한 뉴럴 코딩의 예시적인 동작들을 도시한다.
도 31a는 도 31에 도시된 동작들을 수행할 수 있는 예시적인 컴포넌트들을 도시한다.
도 32는, 본 개시의 소정의 양태들에 따른, 범용 프로세서를 사용한 뉴럴 코딩의 예시적인 소프트웨어 구현예를 도시한다.
도 33은, 본 개시의 소정의 양태들에 따른, 메모리가 개개의 분산된 프로세싱 유닛들과 접속될 수도 있는, 뉴럴 코딩의 예시적인 구현예를 도시한다.
도 34는, 본 개시의 소정의 양태에 따른, 분산된 메모리들 및 분산된 프로세싱 유닛들에 기초한 뉴럴 코딩의 예시적인 구현예를 도시한다.

상세한 설명

본 개시의 다양한 양태들은 첨부 도면들을 참조하여 이후에서 좀 더 충분히 설명된다. 본 개시는, 그러나, 많은 상이한 형태들로 실시될 수도 있고, 본 개시의 전반에서 제시된 임의의 특정 구조 또는 기능으로 제한되는 것으로 해석되어서는 안된다. 오히려, 이들 양태들이 제공되어 본 개시가 철저하고 완벽하게 될 것이고, 당업자들에게 본 개시의 범위를 충분히 전달할 것이다. 독립적으로 구현되든지 또는 본 개시의 임의의 다른 양태들과 결합하여 구현되든지 간에, 본 교시들에 기초하여, 당업자들은 본 개시의 범위가 본원에서 개시된 개시의 임의의 양태를 커버하도록 의도된 것을 이해해야할 것이다. 예를 들어, 본원에 제시된 임의의 수의 양태들을 이용하여 장치가 구현될 수도 있거나 방법이 실시될 수도 있다. 또한, 본 개시의 범위는, 본원에 제시된 개시의 다양한 양태들에 더해 또는 그 외에, 다른 구조, 기능성, 또는 구조 및 기능성을 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본원에 개시된 개시의 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구체화될 수도 있다.

단어 "예시적인"은 본원에서 "실시형태인, 예시인 또는 예증인" 것을 의미하기 위해 사용된다. "예시적인"으로서 본원에서 설명된 임의의 양태는 다른 양태들에 비해 더 선호되거나 또는 더 유익한 것으로 해석될 필요는 없다.

비록 특정 양태들이 본원에서 설명되지만, 이러한 양태들의 많은 변형예들 및 치환예들이 본 개시의 범위 내에 속한다. 비록 바람직한 양태들의 일부 이득들 및 이점들이 언급되었지만, 본 개시의 범위는 특정 이득들, 이용들, 또는 목적들로 제한되는 것으로 의도되지 않는다. 오히려, 본 개시의 양태들은 상이한 기술들, 시스템 구성들, 네트워크들, 및 프로토콜들에 광범위하게 적용되도록 의도되며, 그 중 몇몇은 도면들에서 그리고 다음의 발명의 상세한 설명에서 예로서 예시된다. 상세한 설명 및 도면들은 제한하는 것이기 보다는 단지 본 개시의 예시일 뿐이며, 본 개시의 범위는 첨부된 청구항들 및 그의 등가물들에 의해 정의된다.

예시적인 뉴럴 시스템

도 1 은 본 개시의 소정의 양태들에 따른 다수의 레벨들의 뉴런들을 갖는 예시적인 뉴럴 시스템 (100) 을 도시한다. 뉴럴 시스템 (100) 은 시냅틱 연결들 (104) 의 네트워크를 통해 다른 레벨의 뉴런들 (106) 에 연결된 일 레벨의 뉴런들 (102) 을 포함할 수도 있다. 간략화를 위해, 단지 2 개의 레벨들의 뉴런들만이 도 1 에 도시되나, 더 적거나 더 많은 레벨들의 뉴런들이 통상적인 뉴럴 시스템에 존재할 수도 있다.

도 1 에 도시된 바와 같이, 레벨 (102) 에서의 각각의 뉴런은 이전 레벨의 복수의 뉴런들 (도 1에 도시되지 않음) 에 의해 생성될 수도 있는 입력 신호 (108) 를 수신할 수도 있다. 신호 (108) 는 레벨 (102) 의 뉴런의 입력 전류를 나타낼 수도 있다. 이러한 전류는 뉴런 멤브레인 상에 축적되어 멤브레인 전위를 충전할 수도 있다. 멤브레인 전위가 그 임계치에 도달하면, 뉴런은 다음 레벨 (예를 들면, 레벨 106) 의 뉴런들로 전송되도록 발화되어 출력 스파이크를 생성할 수도 있다.

일 레벨의 뉴런들로부터 다른 것으로의 스파이크들의 전송은, 도 1 에 도시된 바와 같이, 시냅틱 연결들 (또는 단순히 "시냅스들") (104) 의 네트워크를 통해 달성될 수도 있다. 시냅스들 (104) 은 레벨 (102) 의 뉴런들로부터의 출력 신호들 (즉, 스파이크들) 을 수신할 수도 있고, 그 신호들을 조정 가능한 시냅틱 가중치들

,...,

(여기서 P는 레벨들 (102 및 106) 의 뉴런들 사이의 시냅틱 연결들의 전체 수) 에 따라 스케일링할 수도 있고, 레벨 (106) 에서의 각 뉴런의 입력 신호로서 스케일링된 신호들을 결합할 수도 있다. 레벨 (106) 에서의 모든 뉴런은 대응하는 결합된 입력 신호에 기초하여 출력 스파이크들 (110) 을 생성할 수도 있다. 출력 스파이크들 (110) 은 그 다음에 시냅틱 연결들의 다른 네트워크 (도 1에 도시되지 않음) 를 이용하여 다른 레벨의 뉴런들로 전송될 수도 있다.

뉴럴 시스템 (100) 은 전기 회로에 의해 에뮬레이트되고, 이미지 및 패턴 인식, 머신 학습, 모터 제어 등과 같은 광범위한 어플리케이션들에서 활용될 수도 있다. 뉴럴 시스템 (100) 에서의 각 뉴런은 뉴런 회로로서 구현될 수도 있다. 출력 스파이크를 개시하는 임계치로 충전된 뉴런 멤브레인은, 예를 들어, 자신을 통해 흐르는 전류를 통합하는 커패시터로서 구현될 수도 있다.

일 양태에서, 커패시터는 뉴런 회로의 전류 통합 디바이스로서 제거될 수도 있고, 보다 작은 멤리스터 (memristor) 엘리먼트가 그 대신 이용될 수도 있다. 이러한 접근법은 뉴런 회로들뿐만 아니라, 전류 적분기들 (electrical current integrators) 로서 대형 커패시터들이 활용되는 다양한 다른 어플리케이션들에 적용될 수도 있다. 또한, 시냅스들 (104) 각각은 멤리스터 엘리먼트에 기초하여 구현될 수도 있으며, 여기서 시냅틱 가중치 변화들은 멤리스터 저항의 변화들에 관련될 수도 있다. 나노미터 피처 사이즈의 멤리스터들을 통해, 시냅스들 및 뉴런 회로의 영역이 실질적으로 감소될 수도 있으며, 이는 매우 큰 크기의 뉴럴 시스템 하드웨어의 구현예가 실용화되도록 할 수도 있다.

뉴럴 시간적 패턴 코딩, 학습 및 인식의 방법

뉴럴 시스템 (100) 의 뉴런 회로들이 시한 스파이크들의 형태의 소위 시간적 코드들을 사용하여 일시적으로 정보를 통신할 수 있기 때문에, 코딩 및 디코딩 방법들뿐만 아니라 이러한 시간적 정보를 학습하는 방법들이 주 관심사이다. 본 개시의 소정의 양태들은 시간적 패턴들을, 단순히 입력들의 순서 또는 입력들의 동시성이 아니라 다른 "시간적 패턴" 방법들과 비교하여, 구분하는 방법들을 지원한다. 또한, 본 개시는 생물학적으로 영감을 받고/생물학적으로 부합하지만, 복잡도가 감소되고 시간적 스파이크 신호 패턴들을 코딩, 디코딩, 인식, 및 학습할 수 있는 실용적 방법들을 제안한다.

본 개시에서 제안된 시스템은 도 2에 예시된 상호의존적 피쳐들의 조합 (combination) 을 포함할 수도 있다. 일반적으로, 시스템 (200) 은 학습의 양태 (예를 들면, 헤비안 학습 (Hebbian learning)) 및 실행의 양태 (동적 스파이킹 모델) 를 중심으로 돌아갈 수도 있다. 스파이킹 모델에 대한 상대적 입력 타이밍은 수지상 지연 라인(들) (dendritic delay line(s)) 양태에 의해 결정될 수도 있고, 이것은 시냅틱 턴오버 및 다른 양태들에 의해 영향을 받을 수도 있다. 학습은 시냅틱 가중치들뿐만 아니라 다른 양태들에 대한 영향력들을 결정할 수도 있고, 그것은 조절 (정규화), 배열, 어닐링뿐만 아니라 다른 양태들에 의해 영향을 받을 수도 있다. 이들 양태들의 각각이, 다른 양태들에 대한 관계, 및 그들의 중요도, 파라미터들, 및 이점들과 함께 설명된다.

상대적 지연 및 수지상 지연 라인들

시냅스들에서의 입력들 사이의 상대적 지연, 시냅스들에서의 입력들과 기준 입력 사이의 상대적 지연과, 또는 이들 양자에 기초하여 뉴런의 거동이 결정될 수도 있는 방법이 본 개시에서 제안된다. 시간적 코딩 모델의 기본 양태는 도 3에 도시된다. 뉴런들 (302, 304, 306, 308) (즉, 입력 뉴런들) 로부터 출력된 스파이크들의 공간적-시간적 패턴은 뉴런 (310) (즉, 출력 뉴런) 에 대한 스파이크 입력들을 구성할 수도 있다. 각각의 입력 뉴런은 뉴런 (310) 의 하나 이상의 수지상 돌기 (dendrite) 상의 하나 이상의 시냅스들을 통해 뉴런 (310) 에 연결될 수도 있다. 각각의 시냅스는, 뉴런 (304) 을 뉴런 (310) 과 연결하는 시냅스들 (312) 에 대해 도 3에 예시된 바와 같이, 뉴런 (310) 의 소마에 도달하기 이전에 입력 뉴런으로부터의 스파이크가 겪게 되는 시간 지연을 특징으로 하는 관련된 지연을 구비할 수도 있다. 도 3에 예시된 바와 같이, 지연 및 통합 이전에 입력들에 대해 스케일링이 행해질 수도 있다. 대안적으로, 큰 규모의 뉴럴 네트워크들에서의 감소된 프로세싱을 위해 스케일링 이전에 입력들에 대해 지연이 행해질 수도 있다.

이 방법을 사용하면, 뉴런은 입력 뉴런들의 출력들에서 공간적-시간적 패턴들을 인식할 수도 있다 (입력 뉴런들의 의미에서 공간적, 상대적 스파이크 타이밍 또는 스파이크들 사이의 차이들의 의미에서 시간적). 이것은 도 4에 예시되는데, 여기서 입력 뉴런들 (402, 404, 406, 408) 은 상이한 시간들에서 스파이크할 수도 있다. 그러나, 수지상 돌기(들) 에서의 지연들 때문에, 입력 뉴런들로부터의 신호들은 시간적으로 정렬된 출력 뉴런 (x) 의 소마에 도달할 수도 있다. 따라서, 시간 t에서의 출력 뉴런 (x) 으로의 입력은 입력 뉴런들의 지연된 출력들의 함수로서 다음과 같이 표현될 수도 있다:

여기서 j는 시냅스 인덱스이며, i_j는 시냅스 (j) 가 연결되는 입력 뉴런이며, n_j는 Δt의 단위들의 시냅틱 지연이며, v_i(t)는 입력 뉴런 (i) 의 출력이며, w_j는 시냅틱 가중치이다. 식 (1) 에서, 시냅틱 지연은 전체 지연이 추상화되도록 하는 지연을 나타낸다. 그 전체 지연은, 디지탈-아날로그 지연 (즉, 액션 포텐셜 (action potential; AP) 에서 포스트-시냅틱 포텐셜 (post-synaptic potential; PSP) 로의 변환에 대한 시간) 에 기인하는 하나 이상의 실제 시냅틱 지연들 (실제 시냅틱 지연들의 조합), 수지상 지연 (즉, PSP가 소마에 도달하는 패시브 이동 시간 (passive travel time)), 또는 다른 지연들 (예를 들면, 뉴런들의 수 또는 상이한 계층들을 통한 경로들에 기인하는 네트워크 아키텍쳐 지연들 또는 축삭 지연들 (axonal delays)) 에 기인할 수도 있다.

뉴런들 (402, 404, 406, 408) 의 발화의 실제 타이밍은 도 4에서 410으로 표기된다. (시간 지연 해상도 Δt의 배수들에 의해 표시된) 시냅스들에 대응하는 특정 지연들 때문에, 상대적 지연들이 일단 설명되면 (도 4에서 412로 표기됨) 지연들 이후의 입력 타이밍들은 정렬될 수도 있거나 정렬되지 않을 수도 있다. 도 4로부터, 몇몇 시냅스들은 다른 시냅스들의 지연들과 일치하기에 너무 길거나 (예를 들면, 지연 (414) 을 갖는 시냅스) 또는 짧은 (예를 들면, 지연 (416) 을 갖는 시냅스) 지연들과 관련됨을 알 수 있다. 일 양태에서, 이들 짧은 그리고 긴 지연들은 인식 패턴으로부터 버려지거나 또는 인식 패턴에 추가되지 않을 수도 있으며, 한편, 동시성의 지연된 스파이크들 (coincident delayed spikes) 로 귀결되는 지연들은 인식된 패턴에 대응하도록 유지되거나 또는 추가될 수도 있다.

본 개시의 양호한 양태에서, 정수값의 밀리초 (integer milliseconds) 의 이산 시간 지연들 (즉, 시간 지연 해상도 Δt=1ms의 배수들에서의 지연들) 이 활용될 수도 있다. 그러나, 일반적으로, 임의의 이산 또는 연속적인 해상도가 사용될 수도 있다. 이산 모델에서, 지연은 정수 n_xi에 의해 표현될 수도 있는데, 여기서 x는 입력 뉴런 (예를 들면, 도 4의 뉴런 (402)) 이고, i는 각각의 입력에 하나 이상의 시냅스들이 있을 수도 있기 때문에, 그 입력 뉴런에 대한 시냅스 인덱스이다.

STDP (spike-timing-dependent plasticity) 의 증거는 실험적으로 측정되고 보고될 수 있다. 이러한 학습 관계들의 통상적 묘사들은, 장기 증강 (long-term potentiation; LTP) 의 곡선 (502) 및 장기 억제 (long-term depression; LTD) 의 곡선 (504) 을 갖는 도 5에 예시된다. 통상적으로, x축은 입력 및 출력 사이의 시간 차이를 나타낸다 (곡선 (502) 에 대해서는 캐주얼, 곡선 (504) 에 대해서는 비캐주얼 (non-casual)). 제안된 방법은 수지상 돌기들에서 지연들을 야기할 수도 있음을 주목해야 한다. 따라서, x축은 학습 곡선들에서 뉴런 발화 및 재정렬된 입력들 사이의 지연들로서 간주될 수도 있다. 본 개시에서, Δt는 "뉴런 발화의 시간-뉴런의 소마에 소정의 입력이 도달하는 시간"으로서 정의될 수도 있다. 이것은 신호가 시냅스로부터 소마 (n_j·Δt) 로의 지연 라인을 여행하는데 걸리는 시간과 구별되어야 한다.

또한, 시간 차이들에 대한 가변 민감도를 반영하기 위한 다양한 변형예뿐만 아니라, 순전히 강화하거나 강조해제하는 관계들, 이들에 대한 스케일링 및 변형예들이 제안될 수 있다. 일반적으로, 캐주얼 및 비캐주얼 방향들에서의 수평 연장들이 반드시 동일할 필요가 없을 수도 있다는 것을 주목해야만 한다. 마찬가지로, 피크의 네가티브 및 포지티브 크기들은 학습을 동등하지 않게 강조/강조해제 하기 위해 상이할 수도 있다. 도 6은 본 개시의 소정의 양태들에 따른, 시간 차이에 대한 민감도 (sensitivity) 에서의 변형예들 (602, 604) 을 예시한다. 도 7은 본 개시의 소정의 양태에 따른, 전적으로 강화하는 예 (702) 및 전적으로 강조해제하는 예 (704) 를 예시한다.

공간적-시간적 패턴 매칭에 대한 제어들

뉴런들이 주어진 지속기간 (duration) 의 시간적 스파이크 패턴을 인식할 수 있기 위해, 시냅스들의 세트는 패턴 지속기간에 대응하는 수지상 지연들의 스팬을 갖는 넌제로 (또는 무시할 수 없는) 가중치들을 가질 필요가 있을 수도 있다. 따라서, 여러 인자들 (factors) 이 분해가능한 패턴 지속기간 (시간 윈도우 스팬), 사이즈 (윈도우에서의 스파이크들) 및 분해가능한 타이밍 정밀도를 결정하는 것에 관련될 수도 있다. 본 개시의 소정의 양태들에 따르면, 이들 인자들은: 수지상 돌기 (dendrite) 길이 (최대 지연), 컴파트먼트 메모리 (소마 또는 수지상 돌기에서의 멤브레인의 시상수), 프리-시냅틱 멤브레인 응답성 (프리-시냅틱 필터링 효과들의 시상수; AP 폭 결정), 시냅틱 컨덕턴스들, 또는 수지상 돌기 내의 기능적 동작 (예를 들면, 논리적 OR 대 논리적 AND) 의 시상수들 중 적어도 하나를 포함할 수도 있다.

멤브레인의 저역통과 필터링 효과가 상이한 지연들에서 스파이크 응답의 차별성을 감소시키기 때문에 더 긴 시상수가 시간적 해상도를 감소시키지만, 여전히 더 긴 패턴이 고려되는 것을 허용할 수도 있음을 주목해야만 한다. 다시 말하면, 상이한 뉴런들은 상이한 시간 스케일들로 구성될 수도 있거나 또는 주어진 뉴런의 시간 스케일이 변할 수도 있거나, 또는 상이한 뉴런의 어레이들이 상이한 (어쩌면 중첩하는) 시간 스케일들에서 동작할 수도 있다. 또한, (지속기간에 더하여) 분해가능한 패턴 복잡도는 다음의 요인들에 의해 또한 제한될 수도 있다: (동일한 가중치 및 임계치가 주어진) 시냅스들의 수, (동일한 임계치, 시냅스들의 수가 주어진) 가중치 분포, (동일한 수의 시냅스들, 가중치가 주어진) 임계치 (및 상대적인 레스팅 레벨 (resting level)).

본 개시의 소정의 양태들에 따르면, 상기 중 하나 이상에서의 제한이 주어지면, 패턴은 뉴런이 (임계치를 교차하여) 발화하기에 너무 적은 스파이크들을 가지거나 또는 개개의 뉴런이 특정 패턴을 변형예들과 구분하기에 너무 많은 스파이크들을 가질 수도 있기 때문에, 밸런스가 중요해질 수 있다. 이러한 양태들은 각 시냅스의 가중치들을 포함하는 도 8에 도시된다.

발화 임계치 (802) 를 초과하기 위해, 결합된 동시성 입력이 (레스팅 포텐셜에 대한) 그 임계치를 초과할 필요가 있을 수도 있다. 가중치들, 임계치, 및 시냅스들의 수의 기여도는 도 8에 묘사된다. 804의 경우, 동시성 시냅스들이 너무 적게 존재할 수도 있다 (또는 가중치들이 너무 적거나 또는 임계치 (804) 가 너무 높을 수도 있다). 806의 경우, 정반대의 것이 참일 수도 있다. 808의 경우에서만, 매칭가 완전할 수도 있다. 806의 경우는 관점에 따라, 컨텍스트 또는 노이즈 레벨에 따라, 느슨하거나 (용장성이거나) 또는 견고한 것으로 간주될 수도 있다. 마찬가지로, 808의 경우는 완전하거나 (정확하거나 효율적이거나) 또는 민감한 (부서지기 쉽거나, 견고하지 못한) 것으로 간주될 수도 있다.

주어진 발화에 대해, 단일 입력 뉴런의 전체 기여도는 (단순히 서로에 대해 상대적인 것이 아니라 다른 입력들과의 조합에 대해) 동시성 지연 (coincident delay) 을 갖는 시냅스들과 그들의 가중치들 전체에 의해 결정될 수도 있음을 주목해야만 한다. 이들 시냅스들에 대한 입력 뉴런들 전체에 걸친 전체의 동시성 입력이 임계치 아래이면, 발화는 발생하지 않을 수도 있다. 이들 시냅스들에 대한 입력 뉴런들을 가로지르는 전체의 동시성 입력이 임계치 초과이면, 발화가 발생할 수도 있다. 도 8의 806의 경우로서 묘사된 바와 같이, 입력 a의 패턴 (즉, 패턴 (812)) 과 같은, 패턴 (810) 의 몇몇 부분들이 발화에 필요하지 않을 수도 있기 때문에, 이것은 문제가 될 수도 있다.

이 이슈를 해결하기 위한 방법들은 신경 조절 (neuronal regulation), 즉, 수, 가중치, 발화 빈도 또는 다른 것에 의해, 기여 입력들의 전체 기여도를 제어하거나 정규화는 것을 포함할 수도 있다.

시냅틱 턴오버

본 개시의 소정의 양태들에 따르면, 시냅스 턴오버는 상술된 이슈들을 해결하는 데 또한 중요할 수도 있다. 사실, 시냅스들의 수 또는 가중치들 (또는 양자) 이 제한되면, 시냅스 턴오버는 상기 이슈들을 해결하는 데 필요할 수도 있다. 시냅스 턴오버는 상이한 시간 지연 또는 상이한 입력에 대해 시냅스 리소스를 재사용하는 것을 포함할 수도 있다. 리소스가 제한되거나 연결들이 제한되는 경우, 이것은 중요할 수도 있다.

수지상 돌기 상의 시냅스의 위치가 스파이크 타이밍을 암시적으로 인코딩할 수도 있기 때문에, 특정 시냅스 위치 (그러므로 상대적인 레이턴시) 가 특정하게 입력 a에 의해 점유되면, 그러면 동일한 수지상 레이턴스는 동일한 수지상 돌기 상의 상이한 입력 b에 의해 사용되지 않을 수도 있다. 그러나, 입력 b가 동일한 상대적 레이턴시를 사용하면, 상이한 수지상 돌기 상의 시냅스를 사용하는 것이 필요할 수도 있다. 결과적으로, 동일한 레이턴시가 다른 입력들에 의해 활용될 수 있도록 특정 입력들과 관련성들이 거의 없거나 또는 전혀 없는 시냅스들 (상대적 레이턴시들) 을 재사용함에 있어서의 관련 효율성 및 특정 스파이크 패턴을 나타내기 위해 사용되는 시냅스들의 수의 절약이 요구될 수도 있다. 본 개시에서 사용된 모델에서, 수지상 돌기들은 이와 같이 제한이 없도록 추상화될 수도 있다. 그러나, 시냅스들의 전체 수를 제한하고 리소스들을 재사용하는 동기부여 (motivation) 가 존재할 수도 있다. 이것은 하드웨어 또는 소프트웨어 리소스들뿐만 아니라 신경 조절에 관련될 수도 있다.

본 시스템의 컨텍스트에서, 시냅틱 턴오버 양태는 도 9에서 예시된다. 시냅틱 턴오버의 프로세스는 모델의 다른 양태들의 하나 이상의 반복들 사이에서 주기적으로 (지연 라인 해상도 또는 동적 스파이킹 모델의 매번의 스텝은 아님) 효율적으로 실행될 수도 있음을 주목해야만 한다. 도 9에 도시된 바와 같이, 도 9의 뉴런 (x) 이, 랜덤한 지연들을 갖는 랜덤한 입력들에 대해 랜덤하거나 균일한 가중치들로 초기화될 수 있음이 가정될 수 있다. 모델이 반복됨에 따라, 학습 메커니즘은 몇몇 가중치들을 증가시키고 다른 것들을 감소시킬 수도 있다. 제안된 모델에서, 학습 곡선 또는 헤비안 룰에 의해, 이것은 가중치들을 0으로 가져가거나 또는 그들의 최대치 (또는 몇몇 정규화된 최대치) 로 가져갈 수도 있다. 그러나, 이것은 일반적인 경우는 아닐 수도 있다. 0 근처 (낮은 임계치가 사용됨) 의 가중치들을 갖는 시냅스들은 시냅스 턴오버에 의해 재순환되어, 새로운 지연, 새로운 입력, 또는 새로운 가중치 중 적어도 하나를 획득할 수도 있다. 이들의 각각은 랜덤하게 또는 결정적 방식으로 결정될 수도 있고, 제한될 수도 있다 (예를 들면, 가중치의 범위 또는 입력 당 시냅스들의 수). 그 다음, 시스템은 학습을 포함하는 다른 양태들을 반복을 계속할 수도 있고, 가중치들은 더 적응될 수도 있다.

일반적으로, 새로운 시냅스는, 그 가중치가 임계치 아래로 떨어지는 경우에도 재순환되지 않을 수도 있게 되는 "시도 기간 (trial-period) 허용될 수도 있음을 주목해야만 한다.

학습 방법을 반복한 이후, 가중치는 쇠퇴하거나 성장할 수도 있다. (동기부여가 있는) 시냅스들의 수가 제한되고 (또한 신경 조절에 대한 동기부여가 있는) 가중치들이 제한되면, 낮은 (또는 상대적으로 무시할 수 있는) 가중치 시냅스들의 몇몇이 사용되지 않는 한 패턴 인식 능력은 제한될 수도 있다. 시냅틱 턴오버는 상이한 지연 및/또는 가중치 및/또는 연결성 (상이한 입력 뉴런) 으로 시냅스를 재구성하는 것을 포함할 수도 있다. 이렇게 함으로써, 뉴런의 시냅틱 패턴은 특정 입력 패턴에 대한 임계 크기 (critical mass) 를 향해 진화할 수도 있다 (즉, 특정 수의 시냅스들이 패턴에서의 특정 수의 스파이크들에 대응하는 것을 필요로 함). 그 다음, 턴오버 및 재반복의 이 시퀀스가 반복되면, 가중치들은 패턴(들) 에 대한 매칭를 향상시키기 위해 점진적으로 학습될 수도 있다.

뉴런 학습 부트스트랩핑

STDP 또는 다른 헤비안 학습 메커니즘을 통해, 학습은 발화를 요구할 수도 있음을 주목해야만 한다. 발화하지 않는 뉴런은 학습하지 않는다. 뉴럴 네트워크를 다른 방식들로 제한하지 않으면서 학습이 효율적으로 시작할 수 있는 것을 확보하기 위한 소정의 방법들이 본 개시에서 제안된다. 큰 가중치들, 큰 수의 시냅스들, 더 긴 시상수들, 낮은 임계치 (높은 상대적 레스트 상태), 처음에는 덜 억제, 또는 더 큰 입력 노이즈 중 적어도 하나를 구성함으로써 뉴런은 발화하도록 보장될 수도 있다.

따라서, 일 양태에서, 뉴런이 발화를 시작하기 위해, 뉴런의 입력에서 오실레이션이 활용될 수도 있다. 다른 양태에서, 뉴런과 관련된 시냅틱 가중치들은 하이로 설정될 수도 있다. 또 다른 양태에서, 시냅스들의 수는 하이로 설정될 수도 있다. 도 10은, 초기에 더 흥분성인 뉴런들이, 그들이 더 많이 발화하고 따라서 그들의 가중치들을 더 빨리 조정하기 때문에, 어떻게 더 빨리 학습할 수도 있는지에 관한 실시형태 (1000) 를 도시한다. 예를 들면, 실시형태 (1000) 에서, 뉴런 (1002) 은 거의 발화하지 않을 수도 있다. 이 뉴런은 시간적 패턴 인식기이기보다 스파이크 카운터로서 더 행동할 수도 있다. 그것이 거의 발화하지 않기 때문에, 시간적 코드에 대한 가중치들을 학습할 기회를 거의 갖지 못할 수도 있다. 마찬가지로, 뉴런 (1004) 은, 단지, 더 적은 스파이크들 (예를 들면, 4개의 스파이크들) 의 스파이크 카운터인 것으로 보일 수도 있다. 뉴런 (1004) 은 적응할 수도 있지만, 4개의 스파이크 패턴 당 한 번만 발화할 수도 있기 때문에, 이것은 느린 프로세스일 수도 있다.

대조적으로, 뉴런들 (1006, 1008) 은 초기에 아주 빨리 발화할 수도 있고 시간적 패턴을 인식할 수 없게 보일 수도 있다. 그러나, 정확히 반대 상황이 참일 수도 있다. 이들 뉴런들은 자주 발화하기 때문에, 그들의 가중치들은 신속히 적응될 수도 있고, 그 이력에 따라, 도 10에 도시된 바와 같이, 상이한 패턴들로 락 (lock) 될 수도 있다. 가중치들이 적응됨에 따라, 발화율은 느려질 수도 있고 특정 시간 윈도우/지연으로 락될 수도 있다. 이 프로세스가 평활하게 발생하면, 이들 뉴런들은 느린 발화 뉴런들보다 훨씬 더 많이/빨리 시간적 코드들을 학습할 수도 있다. 그러면, 그들 패턴들이 나중에 다시 나타나면, 이들 뉴런들은 패턴들의 상이한 부분들 또는 상이한 패턴들과 잘 매칭하는 것으로 응답할 수도 있다.

이 접근법에 추가적인 시간적 이점이 있을 수도 있다. 뉴런은 초기에 높은 레이트에서 발화하여, 넓은 시간 윈도우들에 걸쳐 측면 억제를 야기할 수도 있다. 그 다음, 뉴런들은, 상이한 입력 조합들 및 신경 조절을 조건으로, 다양화를 시작할 수도 있다. 그 후, 뉴런들은 그들의 발화율들을 늦추는 것을 시작하여 더 미세한 지연들 및 학습 지연 오프셋들에 더 민감하게 될 수도 있다. 일 양태에서, 뉴런들은 오프셋 시간들에서 발화할 수도 있고 측면 억제는 시간 지연들에 걸쳐 감소될 수도 있다. 이제, 유사하지만 상이한 패턴들을 갖는 뉴런들은 발화율 및 다양화를 정제하는 것을 증가시킬 수도 있다.

액티비티 레벨들 사이의 트랜지션들은 다양화에 대해 중요할 수도 있다. 이것은, 느린 발화를 갖는 뉴런들이 다른 것들에 대한 그들의 억제 효과를 감소시킬 수도 있기 때문일 수도 있다. 또한, 더 적은 억제를 받는 뉴런들은 그들의 발화율과 억제 효과를 증가시킬 수도 있다. 상기에 따르면, 액티비티 레벨은 시간적 코딩 능력에 영향을 끼칠 수도 있고, 따라서 가변하는 발화율들과의 조합에서, 학습은 조합 탐구의 효율적인 분포 방식으로 진행하여, 수렴시까지 일련의 스테이지들에서의 낮은 시간적 민감도에서 높은 시간적 민감도 사이에서 가변할 수도 있다. 일 양태에서, 네트워크의 메모리 성능은 억제뿐만 아니라 연결성 및 개개의 뉴런 양태들에 의존할 수도 있으며, 효율적인 분포의 멀티 스테이지의 프로세스에서 발생할 수도 있다.

시뮬레이트된 어닐링

발화 카운트 (액티비티의 이력) 에 기초하여 가중치 조정의 레이트를 감소시킴으로써, 뉴런의 학습률은, 일단 패턴이 학습되면 뉴런의 학습률이 굳어지도록 "냉각될" 수도 있다. 이것은 위에서 설명된 이슈들 때문에 시간적 코딩에서 특히 유용할 수도 있다. 예를 들면, STDP 또는 다른 룰들의 사용은, 패턴 윈도우들이 중첩하여 그에 따라 용장성이 될 때까지 패턴 윈도우들을 시프트하려는 경향이 있을 수도 있다. 가중치들이 "냉각"되면, 이것은 방지될 수도 있다.

마지막으로, 수지상 프로세싱이 모두 통합적이 되도록 (논리적 AND) 하는 것이 중요하지는 않지만, 시간적 시스템이 기능하도록, 임계치를 넘어, 가산의 몇몇 성분이 존재해야만 함을 주목해야만 한다. 다시 말하면, 수지상 돌기들에 걸쳐 또는 소마에서 통합적 성분이 존재할 수도 있는 한, 논리적 OR 동작들로서 단독으로 수지상 돌기들을 모델링할 수도 있다.

도 11은 본 개시의 소정의 양태들에 따른 뉴럴 시간적 코딩에 대한 뉴럴 네트워크의 뉴런 회로에 의해 수행될 수도 있는 예시적인 동작들 (1100) 을 도시한다. 1102에서, 상대적 지연 라인 추상화가 활용될 수도 있고, 이것은 뉴런 회로로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시킬 수도 있다. 1104에서, 뉴런 회로의 가중치가 부여된 그리고 지연된 시냅틱 입력들에 기초하여 뉴런 회로의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델이 적용될 수도 있다. 1106에서, 시냅틱 입력들과 관련된 가중치들은, 지연된 시냅틱 입력들과 뉴런 회로 스파이킹의 타이밍 관계에 의존하여 비교사 학습 룰에 따라 조정될 수도 있다.

본 개시의 일 양태에서, 가중치들, 뉴런 회로와 관련된 시냅스들의 수, 시냅스들의 시상수들, 뉴런 회로의 발화 임계치, 뉴런 회로의 억제 정도, 또는 뉴런 회로와 관련된 노이즈 중 적어도 하나는 뉴런 회로의 초기 발화율을 야기하도록 제어될 수도 있다. 또한, 가중치들의 조정에 대한 비교사 학습 룰 (unsupervised learning rule) 에 의해 시뮬레이팅된 어닐링이 적용될 수도 있다.

본 개시의 일 양태에서, 뉴런 회로와 관련된 재사용 가능한 시냅스가 선택될 수도 있고, 가중치, 지연, 또는 재사용 가능한 시냅스의 구심성 (afferent) 중 적어도 하나가 수정될 수도 있다. 재사용 가능한 시냅스의 선택은, 비교사 학습룰에 의해 임계치 아래의 값으로 감소되어 있는 재사용 가능한 시냅스의 가중치에 기초할 수도 있다. 또한, 재사용 가능한 시냅스를 선택하는 것은, 시냅스가 재사용된 이후 경과한 시간을 조건으로 할 수도 있다.

큰 또는 긴 공간적-시간적 패턴들의 뉴럴 코딩의 방법

제안된 시간적 패턴 방법은, 패턴의 주어진 지속기간 및 사이즈 (입력들의 수) 와 매칭하는 시간적 패턴을 수행할 수 있는 뉴런을 설계하도록 활용될 수도 있다. 그러나, 더 큰 패턴과 매칭하는 것이 더 바람직할 수도 있다. 도 12는 입력들 (스파이크들) 을 나타내는 바들의 플롯 (1200) 을 도시한다. 스파이크의 수직 위치는 입력 인덱스 또는 공간적 치수를 나타내는데, 여기서 수평 방향은 시간을 나타낸다. 도 12에 도시된 바와 같이, 뉴런들 (x, y 및 z) 과 매칭하는 3개의 패턴이 존재할 수도 있고, 이들은 대응하는 박스들 (1202, 1204, 1206) 에 의해 나타내어진 모든 패턴의 공간적-시간적 부분들을 인식할 수도 있다. 패턴 매칭 뉴런들 각각은 상이한 공간-시간 프레임에서 입력들로서 간주될 수도 있는데, 이들은 중첩할 수도 있다.

본 개시는 패턴이 발생하는 경우 전체 패턴을 인식하는 방법에 대한 해결책을 제안한다. 이것은 효율적으로 (즉, 너무 많은 뉴런 계층들 없이) 수행될 필요가 있을 수도 있다. 또한, 제안된 해결책은 소망의 패턴과 상호 교환되거나 재순서화된 부분들을 포함하는 패턴을 잘못 인식하는 것을 방지할 수도 있다.

개개의 뉴런들은, 위에서 설명된 바와 같이, 공간적 패턴 분해가능성 (고려되는 시냅스들 또는 입력 뉴런들의 수) 또는 시간적 패턴 분해가능성 (예를 들면, 정밀도 또는 윈도우) 에 의해 능력들을 제한할 수도 있다. 그러나, 더 긴 시간적 패턴들 또는 더 큰 공간적 패턴들 (또는 양자) 의 학습 및 인식은 다수의 뉴런들 또는 뉴런들의 다수의 계층을 사용하여 달성될 수도 있다.

더 긴 그리고 더 큰 공간적-시간적 패턴들을 코딩하기 위한 네트워크

도 12에 도시된 실시형태 (1200) 에 있어서, 뉴런들 (x, y 및 z) 이 모두 발화하면 대부분의 완전한 패턴은 매칭될 수도 있다. 그러나, 공간적-시간적 프레임워크에서, 이것은 출력들을 공간적으로 결합하는 것뿐만 아니라 이들을 시간적으로도 결합하는 것을 요구할 수도 있다. 따라서, 다음 계층의 뉴런 (i) 은, 도 13에 도시된 바와 같이, 동시성 지연들을 가질 수도 있다. 도 13에서, 3개의 계층들 (1302, 1304, 1306) 은 계층 (1302) 에서의 입력들, 계층 (1304) 에서의 작은 패턴의 뉴런들 (x, y, z), 및 계층 (1306) 에서의 길고/큰 패턴 뉴런 (i) 으로 도시되어 있다. 양 계층들 (1304 및 1306) 의 출력들이 공간적-시간적 패턴들을 형성할 수도 있음을 도 13으로부터 알 수 있다. 계층 (1306) 의 뉴런 (i) 은 x, y, z 뉴런 스파이크 패턴과 매칭하는 시냅스들에 대한 가중치들 및 지연들을 포함할 수도 있다. 도 13에 도시된 실시형태에서, 뉴런 (i) 은 (x/z의 그리고 y의) 인접한 시간 윈도우들에 걸쳐 결과들을 결합할 수도 있지만, 이 구조적 빌딩 블록이 계층적 네트워크 아키텍쳐 (여기에서 후속하는 계층들은 지금보다 더 길거나 더 큰 공간적 시간적 패턴들을 인코딩/디코딩/응답한다) 로 조립될 수 있기 때문에 이것은 단지 실시형태에 불과할 수도 있다.

그러나, 개개의 뉴런의 시간 윈도우들이 위에서 설명된 바와 같이 제어될 수 있기 때문에 (그리고 따라서 네트워크 시간 윈도우들이 제어될 수 있기 때문에) 점점 더 긴 시간적 패턴들을 인식/디코딩하기 위해 점점 더 많은 계층들을 더하는 것이 필요하지 않을 수도 있다.

스케일러블 공간적-시간적 네트워크 해결책들

또한, 축삭 지연들 또는 네트워크 아키텍쳐의 (상이한 경로) 지연들과 결합하여, 더 긴 패턴들이 더 적은 계층들과 또한 매칭될 수도 있다. 이것은 도 14에서 설명될 수 있다. 한 계층 (1404) 의 뉴런들 (w, x, y, 및 z) 은 계층 (1402) 의 구심성들에서의 공간적-시간적 패턴의 서브-패턴들을 인식할 수 있다. 계층 (1404) 의 발화 시간 (액션 포텐셜 (AP) 시작 시간) 은 계층 (1406) 에서 나타내어진다. 그러나, AP들이 그들 각각의 축삭들을 따라 전파하여 계층 (1410) 에 있는 뉴런 (i) 상의 시냅스(들) 에 도달하는 데 약간의 시간이 걸릴 수도 있다. 또한, 축삭 케이블 특성들 (길이, 컨덕턴스, 멤브레인 컨덕턴스 등) 에 따라, 이것은 뉴런에 의존하는 상이한 양들의 시간이 걸릴 수도 있다. 이 경우, 뉴런들 (x, y, 및 z) 은, 소마로부터 뉴런 (i) 과의 시냅틱 접합에서의 프리-시냅틱 포인트까지, 뉴런 (w) 이 가질 수 있는 것보다, 더 긴 축삭 거리 (또는 더 느린 속도 (더 얇은 미엘린 (myelin)), 또는 더 큰 홉 네트워크 경로) 를 가질 수도 있다. 프리-시냅틱 포인트에서의 AP 타이밍은 계층 (1408) 에서 도시된다. 이 포인트에서의 타이밍은, 뉴런 (i) 이 분해할 수 있는 시간 윈도우 (1412) 내에 존재할 수도 있다 (즉, 그들은 시간에서 그들의 원점들에서 보다 훨씬 더 가깝다). 뉴런 (i) 은 이 패턴과 따라서 계층 (1402) 의 전체 패턴을 인식할 수도 있고, 적절히 발화할 수도 있다. 실제, 축삭 지연은 임의의 긴 패턴의 패턴 인식을 뉴런 (i) 이 인식할 윈도우로 압축했다.

시간적 패턴 능력을 스케일링하는 다른 방법은 재귀 연결들 또는 자가 재귀 연결들 (self-recurrent connections) 로 구현될 수 있다. 뉴런 또는 복수의 뉴런들은, 도 15에 도시된 바와 같이, 앞선 부분과 결합하여 패턴의 후속 부분과 매칭하는 뉴런으로 부분적 패턴 매칭가 공급될 수 있도록 연결될 수도 있다.

이 개념은 여러 방식들로 확장될 수 있다. 본 개시의 일 양태에서, 뉴런들은 더 긴 패턴들을 학습하도록 더해질 수도 있다. 다른 양태에서, 뉴런들은 인접한 또는 인접하지 않은 패턴 부분들을 컴파일할 수도 있다. 또 다른 양태에서, 뉴런들은 상이한 정밀도 또는 보편성을 갖는 패턴의 다른 부분들을 인식할 수도 있거나, 또는 패턴의 한 부분이 얼마나 중요한가에 따라, 또는 패턴의 그 부분에서 입력이 얼마나 가변적인지에 따라 상이한 민감도들을 가질 수도 있다.

생물학적으로, 프리-시냅틱 뉴런에 대한 축삭 지연은, 그 뉴런을 갖는 모든 시냅스들에 대해 동등한 것으로 통상 특징지워질 수도 있음을 주목해야만 한다. 위에서 설명한 바와 같이 이것이 정렬/압축에 대해 유용한 메커니즘일 수도 있지만, 지연 프로세싱 양태들이 추상화될 수도 있기 때문에, 본 개시에서 제안된 방법들은 이것을 엄격히 요구하지 않을 수도 있다. 제 1의 뉴런이 상이한 수지상 지연들을 갖는 다음 계층 뉴런으로 입력하든 또는 정확히 동일한 프로세싱을 갖지만 상이한 축삭 지연들을 갖는 2개의 뉴런들이 다음 계층 뉴런으로 입력하든, 계산적 관점에서, 등가의 지연 표현이 모델링될 수도 있다.

슈퍼- 스케일러블 /재귀적 시간적 패턴 코딩

또한, 더 긴 시간적 패턴 매칭은 단일의 뉴런을 사용하여 달성될 수도 있다. 단일의 뉴런이 다수의 패턴들을 인식하도록 구성될 수도 있음을 주목해야만 한다. 상이한 시냅스들이 입력 패턴 (부분) 에 따라 일치할 수도 있기 때문에, 이것은 가능할 수도 있다. 도 16에서는, 동일한 4개의 입력 뉴런들 (1602, 1604, 1606, 1608) 로부터의 패턴의 두 부분들이 도시된다. 제 1의 부분 (절반) 에 대해, 몇몇 지연들은 일치하는 배열을 야기할 수도 있지만 다른 것들은 그렇지 않을 수도 있음을 주목해야만 한다. 그러나, 그것은 패턴의 제 2의 부분 (절반) 에서 정렬하는 다른 지연들 (시냅스들) 일 수도 있다. 시냅스들의 가중치들 (및 수) 이 패턴의 제 1의 부분의 인식시 뉴런 (1610) 이 발화하도록 하는 것이면, 이것은 그 자체로 (또한 지연을 가지고) 다시 공급될 수도 있고 패턴의 제 2의 부분과 매칭하도록 사용될 수도 있다. 물론, 이것은 패턴의 임의의 길이로 일반화될 수도 있다. 따라서, 그 하나의 싱글의 재귀적 뉴런 (1610) 은 긴 패턴들 및/또는 큰 공간적 패턴들을 인식할 수도 있다.

이러한 더 크거나 더 긴 공간적 패턴들을 코딩하는 메커니즘을 갖는 것에 더해, 다수의 뉴런들 사이에서 시간적 패턴 코딩의 작업을 효율적으로 분할할 수도 있는 네트워크 학습 방법들이 추가로 제안된다.

공간적-시간적 패턴들 학습에서의 차별화를 위한 방법들

상이한 뉴런들로 상이한 패턴들이 인식될 수도 있다. 비교사 트레이닝에서,뉴런들이 상이한 패턴들을 자율적으로 학습/선택하는 것이 바람직할 수도 있다. 그러나, STDP (spike-timing-dependent plasticity) 는, 통상적으로 표현되는 바와 같이, 뉴런들이 차별화되는 것을 방지할 수도 있다. 이것은 상이한 부분들에 대해 개개의 뉴런들을 사용하여 더 긴 패턴들을 학습함에 있어서 또한 중요할 수도 있다. (부분들 사이에서) 차이가 없다면, 전체 패턴 대응 (매칭/학습) 은 방지될 수도 있다.

STDP가 문제가 될 수 있는 이유는, 뉴런이 학습을 시작하는 부분이 패턴의 어느 부분이든간에, 뉴런은 패턴의 가장 초기의 부분을 향해 시프트할 수도 있도록, STDP가 시간적 드리프트를 야기할 수도 있기 때문이다. 이 이슈를 해결하기 위해, 분열 정상화 (divisive normalization) (출력 억제) 또는 측면 억제 (즉, 승자독식) 와 같은 여러 방법들이 제안될 수 있다.

측면 억제 또는 승자독식은, 시간적 패턴들 사이에 경쟁을 도입하고, 상이한 시간에 발화하는 뉴런들을 지지하고, 따라서 패턴 커버리지를 잠재적으로 확산함으로써 다양성을 향상시킬 수도 있다. 측면 억제의 영향력은 도 17에서 알 수 있다. 플롯들 (1702, 1704) 이, 각각, 측면 억제를 갖는 그리고 측면 억제가 없는 각각의 뉴런에서의 가중치들의 적응을 나타낸다.

관측된 STDP 효과들과 부합하여, 가중치들은, 최대로 성장하거나 또는 거의 제로로 줄어드는 극단들 (poles) (바이폴라 가중치들) 을 향할 수도 있다. 플롯 (1702) 에서, 측면 억제가 없으면, 모든 뉴런들은 동일한 패턴을 학습할 수도 있다 (비효율적이고 제한됨). 플롯 (1704) 에서, 측면 억제를 통해, 뉴런들 (1706, 1708) 은 패턴의 상이한 부분들을 학습할 수도 있고 한편 뉴런들 (1710, 1712) 은 미사용 (프리 메모리) 으로 유지될 수도 있다.

도 18은 본 개시의 소정의 양태들에 따른 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩을 위해 다층 뉴럴 네트워크에서 수행될 수도 있는 예시적인 동작들 (1800) 을 도시한다. 1802에서, 계층적 다층 뉴럴 네트워크에서의 뉴런 회로들의 각 계층은 입력에 그리고 다층 뉴럴 네트워크에서의 뉴런 회로들의 다른 계층에 연결될 수도 있다. 1804에서, 다층 뉴럴 네트워크에서의 뉴런 회로들의 제 1의 계층은 입력 패턴의 제 1의 서브섹션과 매칭할 수도 있고, 여기서 그 연결된 계층은, 입력 패턴의 서브섹션과 입력 패턴의 다른 서브섹션의 매칭의 결과로서 또 다른 계층의 뉴런 회로들의 발화의 조합과 매칭할 수도 있다. 일 양태에서, 입력 패턴의 다른 서브섹션은 입력 패턴의 서브섹션에 연속적일 수도 있다.

본 개시의 소정의 양태들에 따르면, 제 1의 계층은 폴리크로너스 발화 웨이브 (polychronous firing wave) 를 리플레이함으로써 시간적 코드에서 메모리를 유지하는 입력 패턴의 제 1의 서브섹션에 의해 흥분되는 재귀적 뉴런 회로들의 네트워크를 포함할 수도 있다. 다층 뉴럴 네트워크의 재귀적 뉴런 회로들의 다른 네트워크는 입력 패턴의 제 2의 서브섹션 및 폴리크로너스 발화 웨이브의 조합에 의해 흥분될 수도 있다. 본 개시의 일 양태에서, 계층적 다층 뉴럴 네트워크의 계층들 사이의 축삭 지연은 입력 패턴의 제 1의 부분과의 매칭에 대한 응답을, 그 응답이 입력 패턴의 제 2의 부분에 대응하는 시간의 윈도우 내에 떨어지도록 지연시킬 수도 있다.

도 19는 본 개시의 소정의 양태들에 따른 길고 큰 공간적-시간적 패턴들의 뉴럴 시간적 코딩을 위해 뉴럴 네트워크의 뉴런 회로에서 수행될 수도 있는 다른 예시적인 동작들 (1900) 을 도시한다. 1902에서, 시냅틱 입력들은, 관련된 지연들을 갖는 시냅스들을 통해, 뉴런 회로에 제공될 수도 있는데, 여기서 시냅틱 입력들 중 적어도 하나는 자가 연결되어 있는 시냅스들 중 적어도 하나와 관련될 수도 있고, 시냅스들은 복수의 세트들에 속할 수도 있고, 그 세트들 중 적어도 하나는 재귀적 자가 연결을 포함하지 않는 시냅틱 입력들의 패턴의 제 1의 부분과 매칭하는 지연 조합을 포함할 수도 있다.

본 개시의 소정의 양태들에 따르면, 복수의 세트들 중 적어도 하나의 다른 세트는, 패턴의 제 2의 부분과 매칭하는 다른 지연 조합 및 패턴의 제 1의 부분을 다른 지연 조합과 매칭하는 패턴의 제 2의 부분과 상관시키는 지연을 갖는 자가 연결되어 있는 적어도 하나의 시냅스를 포함할 수도 있다. 일 양태에서, 자가 연결되어 있는 적어도 하나의 시냅스와 관련된 축삭 지연은 패턴의 제 1의 부분과의 매칭에 대한 응답을, 그 응답이 패턴의 제 2의 부분에 대응하는 시간의 윈도우 내에 떨어지도록 지연시킬 수도 있다.

일반화된 뉴럴 코딩 및 학습의 방법: 시간적 및 레이트 코딩

전통적으로, 뉴럴 통신은 뉴런들의 발화 (스파이킹) 레이트들로 코딩되도록 이론화되어 왔다. 그러나, 스파이크 타이밍의 중요도는 통신이 스파이크들의 시간적 동시성으로 코딩될 수도 있도록 제안되었다. 또한, 스파이크 타이밍에서의 시간적 패턴들이 정보를 코딩할 수도 있다는 것이 제안되었고, 이러한 시간적 패턴들의 디코딩 및 학습이 생물학적으로 그럴듯한 방식으로 달성될 수도 있게 하는 방법이 제안되어 있다. 본 개시에 있어서, 발화 (스파이크) 레이트로부터 시간적 패턴들을 스파이크하는 스파이크 동시성에 이르는 정보 코딩 스킴들의 스펙트럼을 어떻게 단일의 모델이 인코딩/디코딩하는지 그리고 어떻게 이러한 모델이 이러한 스펙트럼에 걸쳐 디코딩 방법을 동적으로 적응시키거나 또는 다수의 코드 형태들에 대해 심지어 동시적이며 보편적으로 동작할 수 있는지가 더 제안된다. 또한, 생물학적으로 영감을 받고/부합하지만 계산 복잡도가 감소된 실제 방법들이 제안된다.

보편적 뉴럴 코딩-동시성, 시간적 및 발화율 조합들-코드들의 스펙트럼

본 개시에서 제안된 방법의 주요 이점은, 발화율에서 코딩된 정보, 스파이크 타이밍 동시성, 또는 스파이크 공간적-시간적 패턴들 모두가 동일한 뉴런 모델에 의해 디코딩될 수도 있다는 것이다. 예시적인 경우에서, 도 20에 도시된 바와 같이, 뉴런들 (a 내지 d) 로부터의 구심성들 (입력들) 을 갖는 뉴런 (x) 이 고려될 수 있다. 또한, 뉴런 (x) 으로 이들 구심성들 입력 정보가 동시성, 시간적 패턴 또는 발화율 (또는 발화율 조합들) 중 어느 하나의 형태로 코딩될 수도 있다는 것이 가정될 수 있다. 도 20은 이러한 형태들을 디코딩하는 3개의 대표적인 예들 (2002, 2004, 2006) 을 도시하는데, 여기서 Δt로 표기되는 임의의 시간 해상도가 존재할 수도 있고 개개의 연결 지연들은 그 배수에 의해 표기될 수도 있다 (즉, 지연 n_Ai은 정수이다).

실제 입력 스파이크 시간들은 그 입력에 대한 하나 이상의 연결들과 관련된 하나 이상의 지연들에 의해 지연될 수도 있다. 뉴런 (x) 의 시상수에 대략 대응하는 시간 윈도우 (통합 윈도우 (integrative window)) 에 도달하는 지연된 입력들은 통합되어, 뉴런을 잠재적으로 소극시키고 (depolarizing) 따라서 (잠재적으로 그 소극, 액티비티 레벨 또는 뉴런의 흥분성에 의존하여 지연 이후에) 출력 스파이크를 야기하게 될 수도 있다.

입력 스파이크 타이밍 (도 20의 예 (2002)) 의 동시성은, 동일하거나 (즉, n_ai=n_bi) 또는 결과적으로 발생하는 지연된 스파이크들이 뉴런 (x) 에 대한 통합 윈도우 내에 떨어질 수 있도록 충분히 가까운 임의의 지연들로 디코딩될 수도 있고, 그 결과 동시발생의 지연된 구심성들의 조합 (통합) 이, 뉴런 (x) 으로 하여금 입력 동시성과 관련된 넌제로 상호 정보를 전달하는 타이밍으로 발화하게 하는 임계치를 초과할 수도 있게 된다. 다시 말하면, 뉴런 (x) 이 발화하는 사실과 뉴런 (x) 의 출력 스파이크의 타이밍이 입력들의 동시성에 관한 정보를 전달할 수도 있다. 뉴런 (x) 이 발화하지 않으면, 이것은 입력 동시성의 부족 또는 불충분성에 관한 정보를 전달할 수도 있다.

뉴런은, 구심성 (b) 에 대해 도 20의 예 (2002) 에서 도시된 바와 같이, 구심성으로의 다수의 연결들 및 이들 연결들과 관련된 상이한 지연들을 포함할 수도 있다. 이러한 지연들 모두가 서로 (예를 들면, 도 20에서의 지연

) 대응하는 것이 요구되지 않을 수도 있음을 주목해야만 한다. 또한, 도 20의 예 (2004) 에서 도시된 바와 같이, 불충분한 수의 지연들이 동일하면, 지연 이후에 그 만큼 많지 않은 동시성의 실제 스파이크들이 정렬될 수도 있고 따라서 뉴런 (x) 으로 하여금 발화하지 않게 할 수도 있다 (또는 뉴런으로 하여금 상이한 시간에, 예를 들면, 나중에 발화하게 할 수도 있다).

또한, 지연들이 상이하게 구성되면, 입력들에서의 동시성은 뉴런 (x) 에 의해 인식되지 않을 수도 있다 (도 21의 예 (2102) 참조). 다시 말하면, 뉴런은 입력들의 동시성을 인식하거나 하지 않도록 (동시성에 노출시 발화하거나 하지 않도록) 구성될 수도 있다. 지연들의 몇몇 (모두는 아님) 이 상이하다는 사실을 식별하기 위해, 이들 지연들은 프라임 부호에 의해 표기된다 (예를 들면 도 21의 지연

).

입력 스파이크 타이밍의 시간적 패턴들 (예를 들면, 도 20에서의 예 (2004)) 은, 시간적 패턴에서의 스파이크들 사이의 시간 차이들에 대응하는 상대적 차이들을 갖는 지연들의 프로파일로 디코딩될 수도 있다. 구체적으로는, Δt의 시간 해상도가 주어지면, 시간 기준 t_ref에 상대적인 시간 t_A에 도달하는 구심성 (A) 에 대한 적어도 하나의 지연 n_Ai가 존재할 수도 있다, 즉,

일 수도 있다.

기준 시간은 기준 구심성 (예를 들면, 구심성 (a)) 또는 구심성들 (예를 들면, 오실레이션) 대신 절대 시간 기준 또는 상대 시간 기준을 참조할 수도 있고, 타이밍 t_A는 동시성이 되도록 상대적이거나 절대적일 수도 있음을 주목해야만 한다.

이것의 한 견지는, 시간 지연들이 지연 패턴을 위에서 설명된 바와 같이 디코딩된 동시성으로 효과적으로 표현할 수도 있다는 것일 수 있다. 충분한 수의 필수 지연들이 존재하지 않으면 (도 20~도 21에서의 지연들의 프라임 표시들은 그들이 상이함을 나타냄),지연된 스파이크들은 정렬하기 보다는 때를 맞춰 더 분포될 수도 있다 (도 22의 예 (2202) 참조). 이것은 뉴런 (x) 으로 하여금 스파이크하지 않도록 (또는 상이한 시간, 예를 들면, 나중에 스파이크 하게) 할 수도 있다. 이것은 필수 패턴이 입력으로서 제공되지 않는 경우 (도 22의 예 (2204) 참조) 와는 상이할 수도 있는데, 여기서 유사한 결과가 발생할 수도 있지만 (비발화) 뉴런이 그 패턴을 인식하도록 구성되지 않을 수도 있기 때문은 아니다.

예를 들면, 도 20의 예 (2004) 에서의 또는 도 22의 예 (2206) 에서의 지연 n_b2에서와 같이, 이러한 지연들 모두가 시간적 패턴에 대응하는 것이 요구되지 않을 수도 있음이 다시 주목될 수 있다. 사실, 뉴런은 입력들에 대해 대응하는 지연들보다 상당히 많은 비대응 지연들을 구비할 수도 있으며, 아주 많은 수의 가능한 입력들 사이에서 소망의 시간적 패턴을 여전히 구별할 수 있다. M개의 구심성들이 존재하면, 분해가능한 시간 해상도는 Δt일 수도 있고, 지연 범위는 Δt와 T 사이에 있을 수도 있으며, 구심성 당 하나의 스파이크를 갖는 가능한 입력 시간적 패턴들의 수는:

일 수도 있다.

구심성 당 임의의 수의 스파이크들을 갖는 가능한 입력 시간적 패턴들의 수는:

일 수도 있다.

명백하게, 가능한 패턴들의 수는 상대적으로 작은 수의 구심성들 및 지연 범위에 대해서도 아주 크게 성장할 수도 있다. 따라서, 단일의 뉴런이, 예를 들면, 2개의 시간적 패턴들에 대응하는 지연들을 가지면, 제 3의 소망하지 않는 패턴을 인식하는 확률은 사라지게 작을 (즉, 1/ (C₁-2)) 수도 있고, 목표 지연 패턴들의 하이브리드인 시간적 패턴과 관련될 수도 있다. 다시 말하면, 도 23 (패턴 C는 패턴들 (A 및 B) 의 하이브리드일 수도 있다) 에서 도시된 바와 같이, 논리적 OR 동작이 입력 패턴들에 대해 높은 효율로 구현될 수도 있다. 필요하면, 이러한 목표로 하지 않은 패턴들은 억제를 갖는 아키텍쳐들에 의해 또는 패턴들을 구별하는 별개의 뉴런들에 의해 거절될 수도 있거나, 또는 특정 패턴들에 대응하는 지연들이 브랜치 내에서 그러나 브랜치를 넘지 않고 초선형적으로 (super-linearly) 합산될 수도 있도록 지연들이 "수지상 브랜치"에서 그룹화될 수도 있다. 이것을 달성하는 다른 방식은 뉴런 (x) 의 수지상 브랜치마다 발화 임계치를 적용하는 것일 수도 있다. 적어도 하나의 지연이 재사용될 수도 있기 때문에 (예를 들면, 도 23의 지연 n_c1 참조), 2개의 상이한 패턴들을 매칭시키기 위해 연결들의 수를 두 배로 할 필요가 없을 수도 있음을 또한 주목되어야 한다.

패턴들 (A 및 B) 이 도 23에서 시간적 패턴들인 것으로 도시되었지만, 하나 또는 양자가 부분적으로 또는 전체적으로 (동일한 지연들을 갖는) 동시성 패턴일 수 없을 이유가 없음을 더 알 수 있다. 다시 말하면, 싱글 뉴런은 시간적 패턴들 및 동시성들의 혼합을 인식하도록 구성될 수도 있다.

2개 이상의 지연들이 입력 (구심성) 마다 제공되면, 입력들 (도 20의 예 (2002)) 의 발화 (스파이크) 율이 이러한 방법에 의해 또한 디코딩 될 수도 있음이 본 개시에서 더 제안되는데, 여기서 지연들은 구심성의 스파이크간 인터벌 (구심성 (A) 에 대한 목표의 입력 발화율 (f_A) 의 역수) 에 대응할 수도 있다.

싱글 입력의 스파이크들이 통합 윈도우 속으로 재정렬될 수도 있기 때문에, 뉴런 (x) 은, 동시적으로 발생하는 지연된 입력들의 조합 (통합) 이 임계치를 초과하는 경우 발화하는 발화율을 디코딩할 수도 있다. 동시성 및 시간적 패턴 매칭과 마찬가지로, 도 24에 도시된 바와 같이, 모든 지연들이 서로 대응하는 것 (예를 들면, 도 24의 예 (2402) 에서의 그리고 도 20의 예 (2006) 에서의 지연 (n_d2)) 은 필요하지 않을 수도 있다. 또한, 하나의 입력으로부터의 스파이크들을 정렬시키는 지연들이, 정렬하지 않을 수도 있는 여분의 보조 지연된 스파이크들을 또한 생성할 수도 있지만 (예를 들면, 도 24에서의 구심성 (a) 으로부터 제 2의 입력 스파이크에 적용된 지연 (n_a1)), 이들은 서브-임계치일 수도 있으며 따라서 패턴 매칭 퍼포먼스를 저해 (disrupt) 하지 않을 수도 있음이 예상될 수도 있다.

또한, 뉴런에 제출된 상이한 레이트에 대응하는 지연들은 구별용 임계치가 주어지면 (즉, 도 24에서의 예들 (2402, 2404) 에서 동일 패턴을 제출하는 것을 상이한 지연들과 비교하고; 예 (2406) 에서 상이한 패턴을 제출하는 것을 동일한 지연 구성에 비교하는 것) 발화로 귀결되지 않을 수도 있다. 예를 들면, 도 24에서, 예 (2402) 에서 도시된 발화율 조합들 (목표 발화율 조합) 이 발생하고 다른 것들은 아닌 경우에 뉴런 (x) 의 발화가 발생할 수도 있도록 임계치는 6에서 구성될 수도 있다.

도 25는, 2개의 상이한 발화율들이 구심성 (a) 에 대해 그 구심성 (a) 에 대한 동일한 지연 쌍으로 구성된 뉴런 (x) 으로 제출될 수도 있는 예 (2500) 를 도시한다. 지연 쌍은 목표 레이트 (A) 에 대해, 즉, 원래 스파이크들의 이미지들이 밀접하게 동시에 일어나게 하도록 구성될 수도 있다.

도 26은 원래의 스파이크의 이미지들을 정렬하기 위해 구심성 (이 경우 구심성들 (a 및 b)) 마다 2개의 지연들이 어떻게 사용될 수도 있는지에 대한 예 (2600) 를 도시한다. 동시적으로 발생하는 이미지들의 수 (예를 들면, 도 26의 2개) 에 대응하는 레벨로 뉴런 (x) 의 임계치를 설정함으로써, 싱글 구심성의 발화율은 매칭될 수도 있다. 그러나, 레이트들의 조합 (A로부터의 한 레이트와 B로부터의 한 레이트) 과 매칭하도록 시도하는 경우, 구심성마다 단지 한 쌍의 지연들이 사용되면, 구심성의 발화율 시퀀스들의 정렬에 의존하여, 구심성들 양자로부터의 이미지들 (지연들 스파이크들) 이 통합 윈도우 내에 정렬될 수도 있기 이전에 약간의 시간이 걸릴 수도 있다. (구심성 (a) 에 대한 이미지들을 구심성 (b) 에 대한 케이스 1의 이미지들과 비교).

그러나, 예상된 지연은 더 많은 지연들을 더함으로써 감소될 수도 있다 (예를 들면, 구심성 (b) 의 케이스 2에서, 3개의 지연들이 존재하며 구심성들 (a 및 b) 의 이미지들이 윈도우 내에 떨어질 가능성이 더 높다). 목표 입력 발화율에서 발생하는 입력 스파이크들의 쌍이 아니라 (예를 들면, 견고성을 위해) 목표 입력 발화율에서 스파이크들의 시퀀스를 매칭시키기 위해 구심성마다 2개보다 많은 지연 탭들로 뉴런 (x) 을 구성하는 것이 고려될 수도 있다. 그러나, 구심성마다 한 쌍보다 많은 지연들이 사용되고 이들이 연속적인 스파이크들에 대해 구성되면, 임계치가 풀 시퀀스와만 매칭하도록 충분히 높게 설정되지 않는 한, 앨리어싱이 발생할 수도 있음을 주목해야만 한다. 따라서, (지연들이 2개 보다 많이 존재한다면) 지연들을 성긴 시간 배치로 구성하는 것이 바람직할 수도 있다. 예를 들면, 1의 레이트와 매칭하기 위해, 0과 1의 지연들에서 제안될 수도 있다. 더 긴 시간 윈도우가 소망되면, 지연들은 지연 해상도의 3, 4 단위들에서 동일한 구심성에 대해 더해질 수도 있다. 그러나, 임계치가 4개의 입력 단위들을 요구하도록 증가되면, 시간은 매칭하도록 지연될 수도 있다 (이것은 적어도 최대 지연이다).

이것을 수행하는 다른 방식은 개별 뉴런들이 각각의 구심성에 대한 발화율을 디코딩하게 하는 것일 수 있다. 일 양태에서, 뉴런들 (x, y, z 및 w) 은 구심성들 (a, b, c, 및 d) 에 대한 목표 발화율을 각각 디코딩할 수도 있다. 그 다음, 목표 발화율 조합을 인식하기 위해, 4개의 모든 동시성과 매칭하도록 느린 시상수로 구성된 다른 뉴런이 사용될 수도 있다. 그러나, 이것은, 상이한 발화율들과 매칭하기 위해 상이한 지연들로 구성된 별개의 수지상 브랜치들에 대한 각각의 발화율을 디코딩하는 하나의 뉴런으로 또한 달성될 수도 있다. 발화율 인식을 달성하기 위한 또 다른 방식은 재귀적일 수도 있다. 그러나, 이것은, 출력이 일반적인 것 대신 레이트 코딩되는 것 (스파이크 카운팅) 을 요구할 수도 있다.

그럼에도 불구하고, 발화율의 형태의 인코딩 정보가 (동일한 수의 구심성들이 주어지면) 시간적 패턴 코딩으로서 본질적으로 더 느리기 때문에 입력 발화율들이 서로의 합리적인 범위 내에 있는 경우 이들 기술들의 어느 것도 요구되지 않을 수도 있음이 제안된다. 따라서, 발화율들을 디코딩하는 것은 반드시 빠를 필요는 없을 수도 있다. 그러나, 이것으로부터 잠재적으로 흥미있는 통찰이 관측될 수 있다: 구심성 (x) 의 발화율은 (구심성들의 상대적 오프셋들이 아니라) 단지 구심성들의 주기성들의 함수일 수도 있지만, 발화를 시작하는 구심성 (x) 에 대한 지연은 그들의 오프셋들의 함수일 수도 있다. 다시 말하면, 구심성의 발화율 조합을 디코딩함에 있어서, 뉴런 (x) 은, 도 27에 도시된 바와 같이, 개개의 구심성 발화율들의 오프셋들에 무관하게 일정한 레이트에서 발화할 수도 있다. 이것은 2개의 구심성들에 대해 유효할 수도 있고 많은 구심성들에 대해 확률적으로 유효할 수도 있다. 그러나, 2개 보다 많은 구심성들이 존재하는 경우 이미지들의 중첩의 확률에 의존하여 발화율은 변할 수도 있다. 또한, 다수의 지연 쌍들이 사용될 수 있고, 뉴런의 통합 시간 윈도우가 수정될 수 있기 때문에 발화율 조합 오프셋들과 무관하게 동일한 발화율로 귀결되는 방식으로 학습이 적용될 수 있는 것이 가능할 수도 있다.

상기 3개의 코딩 케이스들 (동시성, 시간적, 발화율/레이트 조합) 에 있어서, 모든 지연들이 목표 입력 타이밍을 정렬할 필요가 없음을 알 수 있다. 따라서, 싱글 뉴런이 다수의 차이 동시성들 (multiple difference coincidences), 다수의 상이한 시간적 패턴들, 또는 다수의 발화율들 또는 레이트 조합들을 디코딩 (인식) 하도록 구성될 수도 있다. 또한, 동시성 패턴들, 시간적 패턴들, 및 발화율들 또는 레이트 조합들의 혼합을 디코딩하도록 싱글 뉴런이 구성될 수도 있다. 상기 방법들은 일반화될 수도 있고, 하이브리드 또는 목표화되지 않은 패턴의 매칭의 가능성을 감소시키기 위해 아키텍쳐적인 또는 수지상의 브랜치 방법들이 이들 조합들에 적용될 수도 있다.

보편적 학습-모든 코드들에 대한 한 방법: 동시성, 시간적 및 발화율 조합들

뉴런의 구성은 가소성일 수도 있고, 특정 입력에 대한 연결과 관련된 가중치(들) (및/또는 지연들 및/또는 연결들/시냅스들의 수) 는 학습될 수도 있다. 통상적으로, 헤비안 학습 또는 STDP (spike-timing-dependent plasticity) 는 입력과 출력 사이의 근사적인 인과관계를 학습하기 위해 비교사 학습에서 사용될 수 있다. 이러한 방법들은 시간적 패턴 학습에 적용될 수도 있고, 본 개시에서는 발화율과 매칭하기 위해 구심성마다 2개 이상의 지연들이 어떻게 사용될 수도 있는지가 도시되며, 이러한 학습이 동시성들, 시간적 패턴들 및/또는 발화율들 또는 특정 뉴런으로의 레이트 조합 입력을 보편적으로 학습하기 위해 적용될 수도 있다. 이것에 대한 주요 엘리먼트는, 원래의 스파이크 타이밍이 아니라 정렬된 (이미지) 스파이크들의 타이밍에 기초하여 학습이 연결들에 적용될 수도 있다는 것이다.

위에서 언급된 바와 같이, 입력 동시성, 시간적 패턴 또는 발화율의 뉴런 디코딩 품질은 뉴런의 통합 윈도우에 의존할 수도 있다. 이 윈도우는 본질적으로 뉴런 (예를 들면, 소마 멤브레인) 의 순간적 시상수일 수도 있다. 따라서, 시간적 그리고 레이트 충실도는 이것에 의존할 수도 있다. 그러나, 시상수는 동적으로 변경될 수도 있고, 이것은 코딩 스펙트럼 (레이트, 시간적 또는 동시성) 의 상이한 영역들에서 학습하고 동작하는 데 중요할 수도 있다.

도 28은 모델링된 뉴런의 전압의 경로를 마크하는 시간적 페이즈 포트레이트와 상이한 입력을 수신하여 스파이크할 때 (또는 스파이크하지 않을 때) 의 리커버리 변수들의 예 (2800) 를 도시한다. 제 1의 입력 이후의 경로의 임의의 포인트는 소정의 지연과 관련될 수도 있다 (예를 들면, 지연은 0ms와 50ms 사이에 있을 수도 있다). Izhikevich에 의해 제안된 심플한 스파이킹 모델 (신피질의 피라미드의 세포 파라미터들 (neocortical pyramidal cell parameters) 로 구성됨) 이 사용될 수 있다. 시간이 (연결 또는 구심성마다 임의의 지연들이 적용된 이후) 소마에서의 도달 시간을 가리키는 경우의 하기의 케이스들이 예시된다: 0ms에서 10개의 시냅스들의 입력, 0ms에서 20개의 시냅스들의 입력, 0ms에서 30개의 시냅스들의 입력, 0ms에서 15개의 시냅스들 및 10ms에서 15개의 시냅스들의 입력들, 및 (상기 3 이후) 35ms에서 30개의 시냅스들의 입력.

2800의 다이어그램에서 숫자가 기입된 핀들은 입력이 적용된 직후의 지점에 대응한다. 입력들은 핀에 대한 소극 단계 (예를 들면 레스트 (REST) 로부터) 에 대응할 수도 있다. 입력 소극이 서브-임계치 (v_t) 이면, 전압은 레스트를 향해 소멸할 수도 있다. 입력 소극이 임계치 위이면, 소극은 불안정하게 되어 v_peak로 성장하고, 스파이크가 발생할 수도 잇다. 스파이크 이후, 전압은 리커버리 포인트로 회복하지만, 뉴런의 리커버리는 추가적인 시간을 필요로 할 수도 있다 (다시 레스트 (REST) 로의 u의 리커버리).

3개의 시간적 충실도 양태들이 포인팅될 수 있다. 먼저, 서브-임계치 입력 소극으로부터 회복하는 시간은 입력에 따라 변할 수도 있다 (도 28의 1 대 4a를 비교). 두 번째로, 발화 시간은 입력 타이밍, (입력 컴포넌트들 간의) 밸런스 및 전체 양에 의존하여 변할 수도 있다 (도 28의 2 대 3 대 4b를 비교). 세 번째로, 발화 시간은 (발화 이전의) 액티비티 레벨에 의존하여 변할 수도 있다 (도 28의 3 대 5를 비교).

따라서, 아주 활동적인 뉴런은 더 낮은 시상수 따라서 더 높은 시간적 (그리고 따라서 레이트) 충실도로 동작할 수도 있다. 발화율 코딩 방식에서의 동작이 상대적으로 높은 액티비티 레벨들에서의 동작으로서 간주될 수 있으면, 뉴런은 자신의 충실도가 적절히 더 정확하게 되게 조정함으로써 높은 발화율로 적응될 수도 있다. 시상수가 효과적으로 수정될 수 있기 때문에, 이것은 코딩 및 학습에 대한 주요 양태일 수도 있다. 더 많은 입력을 제공하거나 더 높은 액티비티 레벨에서 동작하는 것으로서 유사한 효과가 달성될 수도 있음을 나타내기 위해, 비교를 위해 (도 29의 그래프 참조), 모델의 공칭 시상수는 1/2만큼 (즉, 2배 빠른) 변경될 수도 있다.

본 개시의 소정의 양태들에 따르면, 항상성 (homeostais) 또는 신경 조절 및 측면 억제는, 뉴런의 발화 액티비티를 조절하기 위한 학습에서 따라서 학습에서 주요 엘리먼트일 수도 있다. 코딩 스펙트럼 (예를 들면, 발화율 대 시간적 패턴) 의 상이한 부분에서 동작하는 동안, 뉴런의 액티비티 레벨은 상이할 수도 있다. 따라서, 특정 발화율을 목표로 하는 것이 아니라 대신 발화율들의 범위를 허용하는 것이 제안될 수도 있다. 발화율들이 하한 아래에 있으면 장기간에 걸쳐 발화율들을 부스트하고 발화율들이 상한 위에 있으면 장기간에 걸쳐 발화율들을 약화시키는 것이 본 개시에서 제안된다. 이러한 범위를 허용하는 것은 일반적인 코딩에 주요 엘리먼트일 수도 있다. 뉴런이 의존하는 것에 따라 동시성, 시간적 패턴들, 또는 발화율들 또는 레이트 조합들 중 어느 하나를 뉴런이 학습할 수 있는 것이 바람직할 수도 있다. 따라서, 특정 장기간의 출력 레이트를 목표로 하는 것보다 뉴런이 발화율들의 범위를 갖도록 허용하는 것이 추천될 수 있다.

생물학적으로 부합하는 스파이크 타이밍 의존 가소성은 다음과 같이 정의될 수 있다. 뉴런 (j) 으로의 구심성 연결 (i) 의 입력 스파이크 시퀀스가 (원래의 구심성 신호에 지연의 적용에 후속하여) x_j _,j(t)에 의해 주어지고 뉴런 (j) 의 출력이 y_j(t)에 의해 주어지면, 양자는 이진 시퀀스들이며, j의 발화에 대한 학습 민감도는 다음에 의해 정의될 수도 있고:

,

입력에 대한 민감도는 다음에 의해 정의될 수도 있고:

,

여기서 LTP는 장기 증강을 지칭하고, LTD는 장기 억제를 지칭하며,

는 대응하는 IIR (Infinite Impulse Response) 필터 계수들이다.

따라서, 추가의 입력의 없을 경우, 필터들은 이들 계수들에 따라 감쇠할 수도 있다. 시냅스 (연결) (i) 에 대한 가중치는 발화시

(도 30에서의 도트 (3002)) 의 양만큼 조정될 수도 있는 데 반해, 시냅스 (연결) (i) 에 대한 가중치는, 입력이 지연 (도 30에서의 도트 (3004)) 이후 소마에서 수신되는 경우

의 양만큼 조정될 수도 있다.

뉴런에 대한 상세한 스파이킹 모델이 요구되지 않을 수도 있지만, 디코딩 및 학습에 대한 뉴런의 통합 시간 윈도우 (시상수) 를 적응시키는 것은 구심성 당 2개 이상의 시간 지연들과 조합하여, 일반화된 디코딩 및 학습이 가능하도록 하는 주요 양태일 수도 있음이 본 개시에서 제안된다. 본 개시의 소정의 양태들에 따르면, 상기 언급한 학습 룰은, 입력 패턴들이 동시성이든, 시간적 패턴들이든, 또는 발화율 또는 이들의 조합들이든 입력 패턴들을 학습하는 일반적 방식에 적용될 수도 있다. 또한, 학습 룰들은 지연된 타이밍에 기초하여 적용되어야 할 필요가 있을 수도 있다. 다르게는, 발화율들 및 시간적 패턴 매칭이 절충될 수도 있다.

패턴을 학습하기 위해, 뉴런은 동시성, 시간적 패턴 또는 발화율에 대응하는 지연들의 세트와 관련될 필요가 있을 수도 있다. 또한, 일반적으로, 이들 지연들 및 연결들의 특성들은 코딩 스킴에 따라 변할 수도 있고; 동시성은 상이한 입력들 전체에 걸쳐 동일한 지연들을 요구할 수도 있고, 시간적 패턴은 상이한 입력들 전체에 걸쳐 상이한 지연들을 요구할 수도 있고, 발화율 조합들은 입력마다 다수의 상이한 지연 연결들을 요구할 수도 있다. 그러나, 효율성을 위해, 연결들의 수를 최소화하는 것이 바람직할 수도 있다. 따라서, 본 개시에서 다음과 같이 구조적 가소성이 또한 제안된다. 일반화된 학습을 위해, 뉴런은 사용하고 있는 코딩 스킴에 의존하여 하나의 입력에 또는 다양한 입력들에 다수의 연결들을 학습시킬 수도 있다. 이것은 학습 스킴이 상기 룰들에 따라 가중치들을 감소시키거나 증가시키는 것을 허용함으로써 달성될 수도 있다. 그러나, 구조적 가소성의 방법은, 새로운 연결들이 상이한 지연들을 갖는 상이한 입력들에 대해 이루어도록 제안된다. 바람직한 양태에서, 학습에 의해 아주 낮은 값으로 억제된 연결은 재사용될 수도 있고, (허용된 범위 내에서) 랜덤한 지연을 갖는 랜덤한 입력에 재할당될 수도 있다. 단지 새로운 (또는 재사용된) 연결의 추가 때문에 전체 뉴런의 거동이 크게 변경되지 않을 수도 있도록 그 새로운 연결을 낮은 가중치로 시작하는 것이 추천될 수 있다.

도 31은 본 개시의 소정의 양태들에 따른 일반적 입력 패턴들에 대한 뉴럴 코딩의 예시적인 동작들 (3100) 을 도시한다. 3102에서, 하나 이상의 시냅스들은 소마를 갖는 뉴런 회로에 연결될 수도 있는데, 하나 이상의 시냅스들의 각각은 뉴런 회로의 입력 구심성에 대응하고 가중치 및 상대적 지연을 갖는다. 3104에서, 상대적 지연들의 각각에 의해, 대응하는 입력 구심성 및 소마 사이의 지연을 초래할 수도 있고, 하나 이상의 시냅스들의 하나 이상의 세트들은, 조합하여, 일반적 입력 패턴들의 하나를 형성하는 서브-패턴들에 대응하는 입력 구심성들 및 지연들을 가질 수도 있고, 서브 패턴들은 동시성들, 발화율들, 또는 시간적 패턴들 중 적어도 하나를 포함할 수도 있다.

본 개시의 소정의 양태들에 따르면, 동시성 서브-패턴에 대응하는 시냅스들의 세트는 상이한 입력 구심성들에 대해 동일한 지연들을 가지며, 발화율 서브-패턴에 대응하는 시냅스들의 세트는 동일한 입력 구심성에 대해 상이한 지연들을 가질 수도 있고, 시간적 패턴 서브-패턴에 대응하는 시냅스들의 세트는 상이한 입력 구심성들에 대해 상이한 지연들을 가질 수도 있다.

본 개시의 일 양태에서, 서로 오프셋된 지연들을 갖는 발화 패턴에 대응하는 시냅스들의 2개 이상의 세트들을 갖는 것에 의해 뉴런 회로가 학습된 발화율에 응답하는 지연은 최소화될 수도 있다. 또한, 2개 이상의 세트들로부터의 시냅스들 중 몇몇은, 하나 이상의 소망하지 않는 레이트들의 앨리어스들로 인해 뉴런 회로의 발화를 야기하는 시간 오프셋들을 생략하도록 천자될 (punctured) 수도 있다 (제거될 수도 있다). 일 양태에서, 뉴런 회로의 발화의 통합 윈도우는, 뉴런 회로가 연결마다 다수의 지연들을 가지거나 또는 다른 연결들에 동일하지 않은 지연들을 갖는 싱글 연결들 입력과 대조적으로 상이한 연결들에 대해 동일한 지연들을 갖는 정도에 의존하여 변할 수도 있다.

본 개시의 일 양태에서, 학습 때문에 억제된 연결들은, 동일한 입력에 이미 존재하는 연결에 의해 이미 사용 중인 임의의 것과는 상이한 지연을 가지고 그 동일한 입력에 재할당될 수도 있다. 다른 양태에서, 학습 때문에 억제된 연결들은 상이한 입력에 재할당될 수도 있다.

본 개시의 일 양태에서, 뉴런 회로의 입력 구심성들 중 하나에 대한 지연들의 세트에서의 지연들 사이의 시간에서의 차이는 그 하나의 입력 구심성과 관련된 발화율의 역수의 배수에 대응할 수도 있다. 또한, 정렬되어 있지 않은 입력 구심성의 하나 이상의 여분의 보조 지연된 스파이크들은 하나 이상의 임계치들 아래에 있을 수도 있고, 하나 이상의 서브-임계치의 여분의 보조 지연된 스파이크들은 뉴런 회로의 패턴 매칭 퍼포먼스를 저해하지 않을 수도 있다.

도 32는, 본 개시의 소정의 양태들에 따른, 범용 프로세서 (3202) 를 사용하여 뉴럴 시간적 코딩을 하기 위한 상기 언급된 방법들의 예시적인 소프트웨어 구현예 (3200) 를 도시한다. 계산 네트워크 (computational network) (뉴럴 네트워크) 의 각 연결 (시냅스) 과 관련된 가중치들 및 지연들은 메모리 블록 (3204) 에 저장될 수도 있고, 범용 프로세서 (3202) 에서 실행되고 있는 뉴럴 코딩에 관련된 명령들은 프로그램 메모리 (3206) 로부터 로딩될 수도 있다.

본 개시의 일 양태에서, 범용 프로세서 (3202) 에 로딩된 명령들은, 뉴럴 네트워크의 뉴런 회로로의 하나 이상의 시냅틱 입력들을 시간 지연만큼 지연시키는 상대적 지연 라인 추상화를 활용하는 코드, 뉴런 회로의 가중치가 부여된 그리고 지연된 시냅틱 입력들에 기초하여 뉴런 회로의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델을 적용하는 코드, 및 비교사 학습 룰에 따라, 지연된 시냅틱 입력들 및 뉴런 회로 스파이킹의 시간 관계에 의존하여, 시냅틱 입력들과 관련된 가중치들을 조정하는 코드를 포함할 수도 있다. 다른 양태에서, 범용 프로세서 (3202) 에 로딩된 명령들은, 계층적 다층 뉴럴 네트워크에서의 뉴런 회로들의 각각의 계층을 입력에 그리고 다층 뉴럴 네트워크에서의 다른 계층의 뉴런 회로들에 연결하는 코드, 및 다층 뉴럴 네트워크에서의 제 1의 계층의 뉴런 회로들을 입력 패턴의 제 1의 서브섹션과 매칭시키는 코드를 포함하고, 그 연결된 계층은, 입력 패턴의 서브섹션과 입력 패턴의 다른 서브섹션의 매칭의 결과로서 또 다른 계층의 뉴런 회로들의 발화의 조합과 매칭할 수도 있다. 또 다른 양태에서, 범용 메모리 (3202) 에 로딩된 명령들은, 관련된 지연들을 갖는 시냅스들을 통해, 시냅틱 입력들을 뉴럴 네트워크의 뉴런 회로에 제공하는 코드를 포함할 수도 있고, 시냅틱 입력들 중 적어도 하나는 자가 연결되어 있는 시냅스들 중 적어도 하나와 관련될 수도 있고, 시냅스들은 복수의 세트들에 속할 수도 있고, 세트들 중 적어도 하나는 재귀적 자가 연결을 포함하지 않는 시냅틱 입력들의 패턴의 제 1의 부분과 매칭하는 지연 조합을 포함할 수도 있다. 또 다른 양태에서, 범용 메모리 (3202) 에 로딩된 명령들은, 하나 이상의 시냅스들을 뉴럴 네트워크의 소마를 갖는 뉴런 회로에 연결하는 코드 (하나 이상의 시냅스들 각각은 뉴런 회로의 입력 구심성에 대응할 수도 있고 가중치 및 상대적 지연을 가질 수도 있다), 및 상대적 지연들의 각각에 의해, 대응하는 입력 구심성 및 소마 사이의 지연을 초래하는 코드를 포함할 수도 있고, 하나 이상의 시냅스들의 하나 이상의 세트들은, 조합하여, 일반적 입력 패턴들을 형성하는 서브-패턴들에 대응하는 입력 구심성들 및 지연들을 가질 수도 있고, 서브 패턴들은 동시성들, 발화율들, 또는 시간적 패턴들 중 적어도 하나를 포함할 수도 있다.

도 33은, 본 개시의 소정의 양태들에 따른, 메모리 (3302) 가 상호접속 네트워크 (3304) 를 통해 계산 네트워크 (뉴럴 네트워크) 의 개개의 (분산된) 프로세싱 유닛들 (뉴럴 프로세서들) (3306) 과 접속될 수도 있는, 뉴럴 시간적 코딩을 위한 상기 언급된 방법들의 예시적인 구현예 (3300) 를 도시한다. 계산 네트워크 (뉴럴 네트워크) 의 하나 이상의 연결들 (시냅스들) 과 관련된 하나 이상의 가중치들 및 지연들은 상호접속 네트워크 (3304) 의 연결(들) 을 통해 메모리 (3302) 로부터 각각의 프로세싱 유닛 (뉴럴 프로세서) (3306) 으로 로딩될 수도 있다.

본 개시의 일 양태에서, 프로세싱 유닛 (3306) 은, 뉴럴 네트워크의 뉴런으로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시키는 상대적 지연 라인 추상화를 활용하고, 뉴런의 가중치가 부여된 그리고 지연된 시냅틱 입력들에 기초하여 뉴런의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델을 적용하고, 및 비교사 학습 룰에 따라, 지연된 시냅틱 입력들 및 뉴런 스파이킹의 시간 관계에 의존하여, 시냅틱 입력들과 관련된 가중치들을 조정하도록 구성될 수도 있다. 다른 양태에서, 프로세싱 유닛 (3306) 은, 계층적 다층 뉴럴 네트워크에서의 뉴런들의 각각의 계층을 입력에 그리고 다층 뉴럴 네트워크에서의 다른 계층의 뉴런들에 연결하고, 그리고 다층 뉴럴 네트워크에서의 제 1의 계층의 뉴런들을 입력 패턴의 제 1의 서브섹션과 매칭시키도록 구성될 수도 있고, 그 연결된 계층은, 입력 패턴의 서브섹션과 입력 패턴의 다른 서브섹션의 매칭의 결과로서 또 다른 계층의 뉴런들의 발화의 조합과 매칭할 수도 있다. 또 다른 양태에서, 프로세싱 유닛 (3306) 은, 관련된 지연들을 갖는 시냅스들을 통해, 시냅틱 입력들을 뉴럴 네트워크의 뉴런에 제공하는 것을 하도록 구성될 수도 있고, 시냅틱 입력들 중 적어도 하나는 자가 연결되어 있는 시냅스들 중 적어도 하나와 관련될 수도 있고, 시냅스들은 복수의 세트들에 속할 수도 있고, 세트들 중 적어도 하나는 재귀적 자가 연결을 포함하지 않는 시냅틱 입력들의 패턴의 제 1의 부분과 매칭하는 지연 조합을 포함할 수도 있다. 또 다른 양태에서, 프로세싱 유닛 (3306) 은, 하나 이상의 시냅스들을 뉴럴 네트워크의 소마를 갖는 뉴런에 연결하고 (하나 이상의 시냅스들 각각은 뉴런의 입력 구심성에 대응할 수도 있고 가중치 및 상대적 지연을 가질 수도 있다), 그리고 상대적 지연들의 각각에 의해, 대응하는 입력 구심성 및 소마 사이의 지연을 초래하도록 구성될 수도 있고, 하나 이상의 시냅스들의 하나 이상의 세트들은, 조합하여, 일반적 입력 패턴들의 하나를 형성하는 서브-패턴들에 대응하는 입력 구심성들 및 지연들을 가질 수도 있고, 서브 패턴들은 동시성들, 발화율들, 또는 시간적 패턴들 중 적어도 하나를 포함할 수도 있다.

도 34는, 본 개시의 소정의 양태들에 따른, 분산된 가중치/지연 메모리들 (3402) 및 분산된 프로세싱 유닛들 (뉴럴 프로세서들) (3404) 에 기초하여 뉴럴 시간적 코딩을 하기 위한 상기 언급된 방법들의 예시적인 소프트웨어 구현예 (3400) 를 도시한다. 도 34에 도시된 바와 같이, 하나의 메모리 뱅크 (3402) 는 계산 네트워크 (뉴럴 네트워크) 의 하나의 프로세싱 유닛 (3404) 과 직접적으로 접속될 수도 있고, 그 메모리 뱅크 (3402) 는 프로세싱 유닛 (뉴럴 프로세서) (3404) 과 관련된 하나 이상의 연결들 (시냅스들) 의 하나 이상의 가중치들 및 지연들을 저장할 수도 있다.

본 개시의 일 양태에서, 프로세싱 유닛 (3404) 은, 뉴럴 네트워크의 뉴런으로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시키는 상대적 지연 라인 추상화를 활용하고, 뉴런의 가중치가 부여된 그리고 지연된 시냅틱 입력들에 기초하여 뉴런의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델을 적용하고, 그리고 비교사 학습 룰에 따라, 지연된 시냅틱 입력들 및 뉴런 스파이킹의 시간 관계에 의존하여, 시냅틱 입력들과 관련된 가중치들을 조정하도록 구성될 수도 있다. 다른 양태에서, 프로세싱 유닛 (3404) 은, 계층적 다층 뉴럴 네트워크에서의 뉴런들의 각각의 계층을 입력에 그리고 다층 뉴럴 네트워크에서의 다른 계층의 뉴런들에 연결하고, 그리고 다층 뉴럴 네트워크에서의 제 1의 계층의 뉴런들을 입력 패턴의 제 1의 서브섹션과 매칭시키도록 구성될 수도 있고, 그 연결된 계층은, 입력 패턴의 서브섹션과 입력 패턴의 다른 서브섹션의 매칭의 결과로서 또 다른 계층의 뉴런들의 발화의 조합과 매칭할 수도 있다. 또 다른 양태에서, 프로세싱 유닛 (3404) 은, 관련된 지연들을 갖는 시냅스들을 통해, 시냅틱 입력들을 뉴럴 네트워크의 뉴런에 제공하도록 구성될 수도 있고, 시냅틱 입력들 중 적어도 하나는 자가 연결되어 있는 시냅스들 중 적어도 하나와 관련될 수도 있고, 시냅스들은 복수의 세트들에 속할 수도 있고, 세트들 중 적어도 하나는 재귀적 자가 연결을 포함하지 않는 시냅틱 입력들의 패턴의 제 1의 부분과 매칭하는 지연 조합을 포함할 수도 있다. 또 다른 양태에서, 프로세싱 유닛 (3404) 은, 하나 이상의 시냅스들을 뉴럴 네트워크의 소마를 갖는 뉴런에 연결하고 (하나 이상의 시냅스들 각각은 뉴런의 입력 구심성에 대응할 수도 있고 가중치 및 상대적 지연을 가질 수도 있다), 그리고 상대적 지연들의 각각에 의해, 대응하는 입력 구심성 및 소마 사이의 지연을 초래하도록 구성될 수도 있고, 하나 이상의 시냅스들의 하나 이상의 세트들은, 조합하여, 일반적 입력 패턴들의 하나를 형성하는 서브-패턴들에 대응하는 입력 구심성들 및 지연들을 가질 수도 있고, 서브 패턴들은 동시성들, 발화율들, 또는 시간적 패턴들 중 적어도 하나를 포함할 수도 있다.

위에서 설명된 방법들의 다양한 동작들은 대응하는 기능들을 수행할 수 있는 임의의 적절한 수단으로 수행될 수도 있다. 그 수단은 회로, 주문형 반도체 (ASIC), 또는 프로세서를 포함하지만 이에 제한되지 않는 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들) 및/또는 모듈(들) 을 포함할 수도 있다. 일반적으로, 도면들에 도시된 동작들이 있는 경우, 이들 동작들은 유사한 도면 부호를 갖는 대응하는 카운터파트의 기능식 수단 컴포넌트들을 가질 수도 있다. 예를 들면, 도 11, 도 18, 도 19, 및 도 31의 동작들 (1100, 1800, 1900 및 3100) 은 도 11a, 도 18a, 도 19a, 및 도 31a에 도시된 컴포넌트들 (1100A, 1800A, 1900A 및 3100A) 에 대응한다.

본원에서 이용되는 바와 같이, 용어 "결정하는" 은 매우 다양한 액션들을 망라한다. 예를 들어, "결정하는" 은 계산하는, 컴퓨팅, 프로세싱, 도출하는, 조사하는, 검색하는 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조에서 검색하는), 확인하는 등을 포함할 수도 있다. 또한, "결정하는"은 수신하는 (예를 들면, 정보를 수신하는), 액세스하는 (메모리의 데이터에 액세스하는) 등을 포함할 수 있다. 또한, "결정하는"은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수 있다.

본원에서 이용되는 바와 같이, 아이템들의 리스트 중 "그 중 적어도 하나" 를 지칭하는 구절은 단일 멤버들을 포함하여, 이들 아이템들의 임의의 조합을 지칭한다. 예로서, "a, b, 또는 c: 중 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 를 포함하도록 의도된다.

본원 개시와 연계하여 설명된 다양한 예증적인 논리 블록들, 모듈들, 및 회로들은 본원에서 개시된 기능들을 수행하도록 디자인된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA) 또는 다른 프로그래머블 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 이들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있으나, 대안으로, 프로세서는 임의의 상업적으로 이용가능한 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 연계한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성의 조합으로 구현될 수도 있다.

본 개시와 연계하여 설명된 방법의 단계들 또는 알고리즘은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 공지된 임의의 형태의 저장 매체 내에 상주할 수도 있다. 이용될 수도 있는 저장 매체들의 일부 예들은, 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈식 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈을 단일 명령 또는 많은 명령들을 포함할 수도 있고, 상이한 프로그램들 사이에서 여러 상이한 코드 세그먼트들을 통해, 그리고 다수의 저장 매체들에 걸쳐 분포될 수도 있다. 저장 매체는, 프로세가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있도록 프로세서에 커플링될 수도 있다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다.

본원에서 개시된 방법들은 상술된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 단계들 또는 액션들에 대한 특정 순서가 명시되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다.

설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능한 매체 상에 저장되거나 또는 컴퓨터 판독 가능한 매체를 통해 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 컴퓨터 저장 매체들 및 통신 매체들 양자를 포함한다. 기억 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독 가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 요구되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속은 컴퓨터 판독가능 매체로서 적절히 칭해진다. 예를 들면, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선 (IR), 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본원에서 사용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피디스크 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 는 통상 자기적으로 데이터를 재생하고, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 따라서, 일부 양태들에서 컴퓨터 판독가능 매체들은 비일시적 컴퓨터 판독가능 매체들 (예를 들어, 유형의 매체들) 을 포함할 수도 있다. 또한, 다른 양태들에 있어서 컴퓨터 판독가능 매체들은 일시적 판독가능 매체들 (예를 들어, 신호) 을 포함할 수도 있다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.

따라서, 소정의 양태들은 본원에 제시된 동작들을 수행하는 컴퓨터 프로그램 제품을 포함할 수도 있다. 예를 들어, 이러한 컴퓨터 프로그램 제품은 저장된 (및/또는 인코딩된) 명령들을 갖는 컴퓨터 판독가능 매체를 포함할 수도 있으며, 명령들은 본원에 설명된 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능할 수도 있다. 소정의 양태들에 있어서, 컴퓨터 프로그램 제품은 패키징 재료를 포함할 수도 있다.

소프트웨어 또는 명령들은 또한 송신 매체를 통해 송신될 수도 있다. 예를 들어, 소프트웨어가 동축 케이블, 광 섬유 케이블, 연선, 디지털 가입자 회선 (digital subscriber line; DSL), 또는 적외선, 무선, 및/또는 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광 섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 송신 매체의 정의 내에 포함된다

또한, 본원에 설명된 방법들 및 기법들을 수행하는 모듈들 및/또는 다른 적절한 수단은 다운로드될 수도 있고/있거나, 그렇지 않으면 가능한 적용가능한 사용자 단말 및/또는 기지국에 의해 획득될 수도 있다. 예를 들면, 이러한 디바이스는 본원에서 설명된 방법들을 수행하기 위한 수단의 전송을 용이하게 하는 서버에 커플링될 수도 있다. 대안으로, 사용자 단말 및/또는 기지국이 디바이스에 커플링할 시에 또는 디바이스에 저장 수단을 제공할 시에 다양한 방법들을 획득할 수 있도록, 본원에 설명된 다양한 방법들이 저장 수단 (예를 들어, RAM, ROM, 컴팩트 디스크 (CD) 나 플로피 디스크와 같은 물리적 저장 매체 등) 을 통해 제공될 수도 있다. 또한, 본원에서 설명된 상기 방법들 및 기술들을 디바이스에 제공하기 위한 임의의 다른 적절한 기술들이 활용될 수 있다.

하기의 특허청구범위는 상기 설명된 정확한 구성 및 컴포넌트들로 제한되는 것이 아님을 이해해야 한다. 특허청구범위의 범위를 벗어나지 않으면서, 위에서 설명된 장치 및 방법들의 배치, 동작 및 세부사항들에서 다양한 수정예들, 변경예들 및 변형예들이 행해질 수도 있다.

앞서 언급한 것이 본 개시의 양태들에 대한 것이나, 본 개시의 기본 범위로부터 벗어나지 않으면서 본 개시의 다른 그리고 추가적인 양태들이 고안될 수도 있고, 본 개시의 범위는 하기의 특허청구범위에 의해 결정된다.

Claims

뉴럴 네트워크 내의 뉴럴 시간적 코딩을 위한 장치에 의해서 수행되는, 뉴럴 시간적 코딩의 방법으로서,
뉴런 회로로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시키는 상대적 지연 라인 추상화 (relative delay line abstraction) 를 활용하는 단계로서, 상기 뉴런 회로의 각각의 시냅틱 입력은 상기 뉴런 회로의 다른 시냅틱 입력들의 다른 시간 지연들에 대해 상대적으로 측정된 시간 지연을 갖는, 상기 상대적 지연 라인 추상화를 활용하는 단계;
상기 뉴런 회로의 가중치가 부여된 (weighted) 그리고 지연된 시냅틱 입력들에 기초하여 상기 뉴런 회로의 스파이킹 거동 (spiking behavior) 을 결정하기 위해 동적 스파이킹 모델을 적용하는 단계; 및
비교사 학습 룰 (unsupervised learning rule) 에 따라, 상기 지연된 시냅틱 입력들 및 뉴런 회로 스파이킹의 타이밍 관계에 의존하여, 상기 시냅틱 입력들과 관련된 가중치들을 조정하는 단계를 포함하는, 뉴럴 시간적 코딩의 방법.
제 1항에 있어서,
상기 뉴런 회로의 초기 발화율들을 야기하기 위해, 상기 가중치들, 상기 뉴런 회로와 관련된 시냅스들의 수, 상기 시냅스들의 시상수들, 상기 뉴런 회로의 발화 임계치, 상기 뉴런 회로의 억제 정도, 또는 상기 뉴런 회로와 관련된 노이즈 중 적어도 하나를 제어하는 단계를 더 포함하는, 뉴럴 시간적 코딩의 방법.
제 1항에 있어서,
상기 비교사 학습 룰에 의해, 상기 가중치들의 조정에 대해 시뮬레이팅된 어닐링을 적용하는 단계를 더 포함하는, 뉴럴 시간적 코딩의 방법.
제 1항에 있어서,
상기 뉴런 회로와 관련된 재사용 가능한 시냅스를 선택하는 단계; 및
상기 재사용 가능한 시냅스의 가중치, 지연, 또는 구심성 (afferent) 중 적어도 하나를 수정하는 단계를 더 포함하는, 뉴럴 시간적 코딩의 방법.
제 4항에 있어서,
상기 재사용 가능한 시냅스를 선택하는 단계는, 상기 비교사 학습 룰에 의해 임계치 아래의 값으로 감소되어 있는 상기 재사용 가능한 시냅스의 가중치에 기초하는, 뉴럴 시간적 코딩의 방법.
제 4항에 있어서,
상기 재사용 가능한 시냅스를 선택하는 단계는, 상기 시냅스가 재사용된 후 경과된 시간을 조건으로 하는 (conditioned), 뉴럴 시간적 코딩의 방법.
뉴럴 시간적 코딩을 위한 장치로서,
뉴런 회로로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시키는 상대적 지연 라인 추상화를 활용하고, 상기 뉴런 회로의 각각의 시냅틱 입력은 상기 뉴런 회로의 다른 시냅틱 입력들의 다른 시간 지연들에 대해 상대적으로 측정된 시간 지연을 가지며;
상기 뉴런 회로의 가중치가 부여된 그리고 지연된 시냅틱 입력들에 기초하여 상기 뉴런 회로의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델을 적용하고; 그리고
비교사 학습 룰에 따라, 상기 지연된 시냅틱 입력들 및 뉴런 회로 스파이킹의 타이밍 관계에 의존하여, 상기 시냅틱 입력들과 관련된 가중치들을 조정하도록 구성되는 처리 유닛 (processing unit) 을 포함하는, 뉴럴 시간적 코딩을 위한 장치.
제 7항에 있어서,
상기 처리 유닛은, 또한, 상기 뉴런 회로의 초기 발화율들을 야기하기 위해, 상기 가중치들, 상기 뉴런 회로와 관련된 시냅스들의 수, 상기 시냅스들의 시상수들, 상기 뉴런 회로의 발화 임계치, 상기 뉴런 회로의 억제 정도, 또는 상기 뉴런 회로와 관련된 노이즈 중 적어도 하나를 제어하도록 구성되는, 뉴럴 시간적 코딩을 위한 장치.
제 7항에 있어서,
상기 처리 유닛은, 또한, 상기 비교사 학습 룰에 의해, 상기 가중치들의 조정에 대해 시뮬레이팅된 어닐링을 적용하도록 구성되는, 뉴럴 시간적 코딩을 위한 장치.
제 7항에 있어서,
상기 처리 유닛은, 또한,
상기 뉴런 회로와 관련된 재사용 가능한 시냅스를 선택하도록 구성되고; 그리고
상기 재사용 가능한 시냅스의 가중치, 지연, 또는 구심성 중 적어도 하나를 수정하도록 구성되는, 뉴럴 시간적 코딩을 위한 장치.
제 10항에 있어서,
상기 처리 유닛은, 또한,
상기 비교사 학습 룰에 의해 임계치 아래의 값으로 감소되어 있는 상기 재사용 가능한 시냅스의 가중치에 기초하여, 상기 재사용 가능한 시냅스를 선택하도록 구성되는, 뉴럴 시간적 코딩을 위한 장치.
제 10항에 있어서,
상기 처리 유닛은, 또한,
상기 시냅스가 재사용된 후 경과된 시간을 조건으로 하는, 상기 재사용 가능한 시냅스를 선택하도록 구성되는, 뉴럴 시간적 코딩을 위한 장치.
뉴럴 시간적 코딩을 위한 장치로서,
뉴런 회로로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시키는 상대적 지연 라인 추상화를 활용하는 수단으로서, 상기 뉴런 회로의 각각의 시냅틱 입력은 상기 뉴런 회로의 다른 시냅틱 입력들의 다른 시간 지연들에 대해 상대적으로 측정된 시간 지연을 갖는, 상기 상대적 지연 라인 추상화를 활용하는 수단;
상기 뉴런 회로의 가중치가 부여된 그리고 지연된 시냅틱 입력들에 기초하여 상기 뉴런 회로의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델을 적용하는 수단; 및
비교사 학습 룰에 따라, 상기 지연된 시냅틱 입력들 및 뉴런 회로 스파이킹의 타이밍 관계에 의존하여, 상기 시냅틱 입력들과 관련된 가중치들을 조정하는 수단을 포함하는, 뉴럴 시간적 코딩을 위한 장치.
제 13항에 있어서,
상기 뉴런 회로의 초기 발화율들을 야기하기 위해, 상기 가중치들, 상기 뉴런 회로와 관련된 시냅스들의 수, 상기 시냅스들의 시상수들, 상기 뉴런 회로의 발화 임계치, 상기 뉴런 회로의 억제 정도, 또는 상기 뉴런 회로와 관련된 노이즈 중 적어도 하나를 제어하는 수단을 더 포함하는, 뉴럴 시간적 코딩을 위한 장치.
제 13항에 있어서,
상기 비교사 학습 룰에 의해, 상기 가중치들의 조정에 대해 시뮬레이팅된 어닐링을 적용하는 수단을 더 포함하는, 뉴럴 시간적 코딩을 위한 장치.
제 13항에 있어서,
상기 뉴런 회로와 관련된 재사용 가능한 시냅스를 선택하는 수단; 및
상기 재사용 가능한 시냅스의 가중치, 지연, 또는 구심성 중 적어도 하나를 수정하는 수단을 더 포함하는, 뉴럴 시간적 코딩을 위한 장치.
제 16항에 있어서,
상기 재사용 가능한 시냅스를 선택하는 것은, 상기 비교사 학습 룰에 의해 임계치 아래의 값으로 감소되어 있는 상기 재사용 가능한 시냅스의 가중치에 기초하는, 뉴럴 시간적 코딩을 위한 장치.
제 16항에 있어서,
상기 재사용 가능한 시냅스를 선택하는 것은, 상기 시냅스가 재사용된 후 경과된 시간을 조건으로 하는, 뉴럴 시간적 코딩을 위한 장치.
뉴럴 시간적 코딩을 위한 컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 판독가능 저장 매체는,
뉴런 회로로의 하나 이상의 시냅틱 입력들을 시간 지연들만큼 지연시키는 상대적 지연 라인 추상화를 활용하고, 상기 뉴런 회로의 각각의 시냅틱 입력은 상기 뉴런 회로의 다른 시냅틱 입력들의 다른 시간 지연들에 대해 상대적으로 측정된 시간 지연을 가지며;
상기 뉴런 회로의 가중치가 부여된 그리고 지연된 시냅틱 입력들에 기초하여 상기 뉴런 회로의 스파이킹 거동을 결정하기 위해 동적 스파이킹 모델을 적용하고; 그리고
비교사 학습 룰에 따라, 상기 지연된 시냅틱 입력들 및 뉴런 회로 스파이킹의 타이밍 관계에 의존하여, 상기 시냅틱 입력들과 관련된 가중치들을 조정하는
코드를 포함하는, 뉴럴 시간적 코딩을 위한 컴퓨터 판독가능 저장 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
제 19항에 있어서,
상기 뉴런 회로의 초기 발화율들을 야기하기 위해, 상기 가중치들, 상기 뉴런 회로와 관련된 시냅스들의 수, 상기 시냅스들의 시상수들, 상기 뉴런 회로의 발화 임계치, 상기 뉴런 회로의 억제 정도, 또는 상기 뉴런 회로와 관련된 노이즈 중 적어도 하나를 제어하는 코드를 더 포함하는, 뉴럴 시간적 코딩을 위한 컴퓨터 판독가능 저장 매체.
제 19항에 있어서,
상기 컴퓨터 판독가능 저장 매체는,
상기 비교사 학습 룰에 의해, 상기 가중치들의 조정에 대해 시뮬레이팅된 어닐링을 적용하는 코드를 더 포함하는, 뉴럴 시간적 코딩을 위한 컴퓨터 판독가능 저장 매체.
제 19항에 있어서,
상기 컴퓨터 판독가능 저장 매체는,
상기 뉴런 회로와 관련된 재사용 가능한 시냅스를 선택하고,
상기 재사용 가능한 시냅스의 가중치, 지연, 또는 구심성 (afferent) 중 적어도 하나를 수정하는 코드를 더 포함하는, 뉴럴 시간적 코딩을 위한 컴퓨터 판독가능 저장 매체.
제 73항에 있어서,
상기 재사용 가능한 시냅스를 선택하는 것은, 상기 비교사 학습 룰에 의해 임계치 아래의 값으로 감소되어 있는 상기 재사용 가능한 시냅스의 가중치에 기초하는, 뉴럴 시간적 코딩을 위한 컴퓨터 판독가능 저장 매체.
제 73항에 있어서,
상기 재사용 가능한 시냅스를 선택하는 것은, 상기 시냅스가 재사용된 후 경과된 시간을 조건으로 하는 (conditioned), 뉴럴 시간적 코딩을 위한 컴퓨터 판독가능 저장 매체.