KR20160135206A

KR20160135206A - 역치하 변조를 통한 아날로그 신호 재구성 및 인식

Info

Publication number: KR20160135206A
Application number: KR1020167025590A
Authority: KR
Inventors: 라이언 마이클 캐리; 빅터 호키우 챈
Original assignee: 퀄컴 인코포레이티드
Priority date: 2014-03-12
Filing date: 2015-02-27
Publication date: 2016-11-25
Also published as: EP3117372A2; WO2015138161A2; JP2017513108A; US9652711B2; US20150262054A1; CN106104585A; WO2015138161A3

Abstract

본 개시의 소정 양태들은 역치하 변조를 통한 아날로그 신호 재구성 및 인식을 위한 방법 및 장치를 지원한다. 인공 신경 시스템의 인공 뉴런의 역치하 영역에서의 아날로그 파형 인식은 인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 수행될 수 있다. 예측된 파형은 입력과 비교되고 신호가 그 비교에 적어도 부분적으로 기초하여 생성될 수 있다. 그 신호는 입력과 예측된 파형 사이의 매칭 및 미스매칭을 검출하는 검출 신호일 수 있다.

Description

역치하 변조를 통한 아날로그 신호 재구성 및 인식{ANALOG SIGNAL RECONSTRUCTION AND RECOGNITION VIA SUB-THRESHOLD MODULATION}

35 U.S.C. §119 하의 우선권 주장

본원은 2014년 4월 10일자로 출원된 미국 특허 출원 번호 제14/249,762호 및 2014년 3월 12일자로 출원된 미국 특허 가출원 번호 61/952,000 에 대한 우선권을 주장하고, 이들 양자 모두는 본원의 양수인에게 양도되었으며 이들 양자 모두는 참조에 의해 본원에 원용된다.

기술분야

본 개시의 소정 양태들은 일반적으로 인공 신경 시스템에 관한 것이고, 보다 구체적으로는 역치하 변조를 통한 아날로그 신호 재구성 및 인식을 위한 방법 및 장치에 관한 것이다.

인공 뉴런들 (즉, 신경 처리 유닛) 의 상호접속된 그룹을 포함할 수도 있는 인공 신경 망은 연산 디바이스이거나 또는 연산 디바이스에 의해 수행될 방법을 나타낸다. 인공 신경 망은 생물학적 신경 망에서의 대응하는 구조 및/또는 기능을 가질 수도 있다. 하지만, 인공 신경 망은, 통상적인 연산 기법들이 다루기 힘들거나, 비실용적이거나, 또는 부적절한 소정 애플리케이션들에 혁신적이고 유용한 연산 기법들을 제공할 수도 있다. 인공 신경 망은 관측으로부터 기능을 추론할 수 있기 때문에, 이러한 망은 태스크 또는 데이터의 복잡도가 종래 기법들에 의한 기능의 설계를 다루기 힘들게 만드는 응용들에서 특히 유용하다.

일 유형의 인공 신경 망은 스파이킹 신경 망이고, 이 스파이킹 신경 망은 뉴런 및 시냅스 상태뿐만 아니라 그 동작 모델에 시간의 개념을 포함시킴으로써, 연산 기능이 신경망에서 나올 수 있는 풍부한 거동들의 세트를 제공한다. 스파이킹 신경망은 뉴런의 상태에 기초한 특정 시간 또는 시간들에서 뉴런이 발화하거나 또는 "스파이크" (spike) 하고, 시간이 뉴런 기능에 중요하다는 개념에 기초한다. 뉴런이 발화하는 경우, 그것은 다른 뉴런들로 이동하는 스파이크를 생성하고, 이 다른 뉴런들은 차례로 이 스파이크가 수신되는 시간에 기초하여 그들의 상태들을 조정할 수도 있다. 다시 말해, 정보는 신경 망에서의 스파이크들의 상대적 또는 절대적인 타이밍으로 인코딩될 수도 있다.

개요

본 개시의 소정 양태들은 인공 신경 시스템을 동작시키기 위한 방법을 제공한다. 그 방법은 일반적으로, 인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 인공 신경 시스템의 인공 뉴런의 역치하 영역 (sub-threshold region) 에서 아날로그 파형 인식을 수행하는 단계, 예측된 파형을 그 입력과 비교하는 단계, 및 비교에 적어도 부분적으로 기초하여 신호를 생성하는 단계를 포함한다.

본 개시의 소정 양태들은 인공 신경 시스템을 동작시키기 위한 장치를 제공한다. 그 장치는 일반적으로, 인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 인공 신경 시스템의 인공 뉴런의 역치하 영역에서 아날로그 파형 인식을 수행하도록 구성된 제 1 회로, 예측된 파형을 그 입력과 비교하도록 구성된 제 2 회로, 및 비교에 적어도 부분적으로 기초하여 신호를 생성하도록 구성된 제 3 회로를 포함한다.

본 개시의 소정 양태들은 인공 신경 시스템을 동작시키기 위한 장치를 제공한다. 그 장치는 일반적으로, 인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 인공 신경 시스템의 인공 뉴런의 역치하 영역에서 아날로그 파형 인식을 수행하는 수단, 예측된 파형을 그 입력과 비교하는 수단, 및 비교에 적어도 부분적으로 기초하여 신호를 생성하는 수단을 포함한다.

본 개시의 소정 양태들은 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 일반적으로, 명령들을 갖는 비일시적 컴퓨터 판독가능 매체 (예를 들어, 저장 디바이스) 를 포함하고 그 명령들은 인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 인공 신경 시스템의 인공 뉴런의 역치하 영역에서 아날로그 파형 인식을 수행하고, 예측된 파형을 그 입력과 비교하고, 그리고 비교에 적어도 부분적으로 기초하여 신호를 생성하도록 실행가능하다.

본 개시의 위에서 언급된 특징들이 상세히 이해될 수 있도록, 위에서 간략하게 요약된 보다 특정한 설명은 양태들을 참조로 이루질 수도 있으며, 그 양태들 중 일부가 첨부된 도면들에 예시된다. 하지만, 첨부된 도면들은 본 개시의 소정 통상적인 양태들만을 예시할 뿐이고, 본 설명은 다른 동일 효과의 양태들을 허용할 수도 있으므로, 본 발명의 범위를 제한하는 것으로 고려되서는 안된다는 점에 유의해야 한다.
도 1 은 본 개시의 소정 양태들에 따른 예시적인 뉴런 망을 예시한다.
도 2 는 본 개시의 소정 양태들에 따른, 연산 망 (신경 시스템 또는 신경 망) 의 예시적인 처리 유닛 (뉴런) 을 예시한다.
도 3 은 본 개시의 소정 양태들에 따른, 예시적인 스파이크-타이밍 의존 가소성 (spike-timing dependent plasticity; STDP) 곡선을 예시한다.
도 4 는 본 개시의 소정 양태들에 따른, 뉴런의 거동을 정의하기 위한 양의 체제 (positive regime) 및 음의 체제 (negative regime) 를 예시하는 인공 뉴런에 대한 상태의 예시적인 그래프이다.
도 5 는 본 개시의 소정 양태들에 따른 일시적으로 동적인, 냄새를 맡는 거동에 응답한 후각 신경구에 대한 감각 입력들의 예를 예시한다.
도 6 은 본 개시의 소정 양태들에 따른 일시적으로 동적인, 유성의 모음에 응답한 청각 피질에 대한 감각 입력들의 예를 예시한다.
도 7 은 본 개시의 소정 양태들에 따른 시간의 함수로서 총 입력 전류의 예를 예시한다.
도 8 은 본 개시의 소정 양태들에 따른 흥분성 입력의 인식의 예를 예시한다.
도 9 는 본 개시의 소정 양태들에 따른 예시적 검출자 뉴런, 막 전압 전위의 함수로서 스파이크까지 시간의 그래프, 및 시냅스 입력들의 밸런스를 표시하는 순 시냅스 입력의 함수로서 스파이크간 간격의 그래프를 예시한다.
도 10 은 본 개시의 소정 양태들에 따른 흥분성 입력을 인식하기 위한 방법들의 예들을 예시한다.
도 11 은 본 개시의 소정 양태들에 따른 스파이크간 간격 ("지터 검출자" (jitter detector)) 의 변화를 표시하는 2D Cold 뉴런 모델의 예시적인 그래프를 예시한다.
도 12 는 본 개시의 소정 양태들에 따른 예측 신호를 구성하는 예를 예시한다.
도 13 은 본 개시의 소정 양태들에 따른 아날로그 파형 매칭에 사용되는 예측 신호들의 예들을 예시한다.
도 14 는 본 개시의 소정 양태들에 따른 입력 파형에 의해 예측이 매칭될 때를 나타내는 스파이크간 간격 (ISI) 들의 예들을 예시한다.
도 15 은 본 개시의 소정 양태들에 따른 단일 억제성 성분 (single inhibitory component) 을 학습하기 위한 학습 규칙들의 예를 예시한다.
도 16 은 본 개시의 소정 양태들에 따른 단일 억제성 성분을 학습하는 예를 예시한다.
도 17 은 본 개시의 소정 양태들에 따른 "혼돈" (chaotic) Cold 뉴런 모델의 예를 예시한다.
도 18 은 본 개시의 소정 양태들에 따른 "혼돈" Cold 뉴런 모델을 이용할 때 입력 진폭의 함수로서 스파이크 래스터들의 예시적인 그래프를 예시한다.
도 19 는 본 개시의 소정 양태들에 따른 가중치 STDP (weight STDP) 를 이용하여 억제성 성분의 동시 학습을 위한 예시적인 학습 규칙을 예시한다.
도 20 은 본 개시의 소정 양태들에 따른 가중치 STDP 를 이용하여 억제성 성분들을 동시 학습하는 예를 예시한다.
도 21 은 본 개시의 소정 양태들에 따른 집단 활동 (population activity) 에 의해 트리거된 억제성 예측 릴레이의 예를 예시한다.
도 22 은 본 개시의 소정 양태들에 따른 인공 신경 시스템을 동작시키기 위한 예시적인 동작들의 흐름도를 예시한다.
도 22a 는 도 22에 도시된 동작들을 수행할 수 있는 예시적인 수단을 예시한다.
도 23 은 본 개시의 소정 양태들에 따른 범용 프로세서를 이용하여 인공 신경 시스템을 동작시키기 위한 예시적 구현을 예시한다.
도 24 는 본 개시의 소정 양태들에 따라 개별 분산 처리 유닛들과 메모리가 인터페이스 접속될 수도 있는 인공 신경 시스템을 동작시키기 위한 예시적 구현을 예시한다.
도 25 는 본 개시의 소정 양태들에 따라 분산된 메모리들 및 분산된 처리 유닛들에 기초하여 인공 신경 시스템을 동작시키기 위한 예시적 구현을 예시한다.
도 26 은 본 개시의 소정 양태들에 따른 신경 망의 예시적 구현을 예시한다.
도 27 은 본 개시의 소정 양태들에 따른 인공 신경 망의 예시적 하드웨어 구현을 예시한다.

상세한 설명

본 개시의 다양한 양태들이 첨부 도면들을 참조하여 이하에서 더 충분히 설명된다. 하지만, 본 개시는 많은 다른 형태들에서 구체화될 수 있고 본 개시 전체에 걸쳐 제시된 임의의 특정 구조 또는 기능에 한정되는 것으로 해석되서는 안된다. 오히려, 이들 양태들은 본 개시가 철저하고 완전해지게 하기 위하여 그리고 본 개시의 범위를 당업자에게 완전히 전달되게 하기 위해서 제공된다. 여기의 교시들에 기초하여 당업자는, 본 개시의 범위가, 여기에 개시된 본 개시의 임의의 양태를, 본 개시의 임의의 다른 양태와 독립적으로 또는 조합되든지 간에, 커버하도록 의도된다는 것이 인식되야 한다. 예를 들어, 본원에 제시된 임의의 수의 양태들을 이용하여 장치가 구현될 수도 있거나 또는 방법이 실시될 수도 있다. 또한, 본 개시의 범위는 여기에 제시된 본 개시의 다양한 양태들 외에 또는 추가하여 다른 구조, 기능, 또는 구조 및 기능을 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 여기에 개시된 본 개시의 임의의 양태는 청구항의 하나 이상의 구성 요소들에 의해 구체화될 수도 있다는 것이 이해되야 한다.

"예시적" 이라는 용어는 "예, 실례, 또는 예시의 역할을 하는 것" 을 의미하는 것으로 여기에서 사용된다. "예시적" 으로서 여기에 설명된 임의의 양태는 반드시 다른 양태들보다 바람직하거나 또는 유리한 것으로 해석될 필요는 없다.

특정 양태들이 여기에서 설명되었지만, 이들 양태들의 많은 변형 및 치환이 본 개시의 범위내에 속한다. 바람직한 양태들의 일부 혜택 및 이점들이 언급되었지만, 본 개시의 범위는 특정 혜택, 용도 또는 목적에 한정되도록 의도되지 않았다. 오히려, 본 개시의 양태들은 상이한 기술들, 시스템 구성들, 네트워크들 및 프로토콜들에 폭넓게 적용가능하도록 의도되고, 이들 중 일부는 예로써 도면에 그리고 다음의 바람직한 양태들의 설명에 예시되어 있다. 상세한 설명 및 도면들은 본 개시를 제한하는 것이 아니라 예시할뿐이고, 본 개시의 범위는 첨부된 청구항들 및 이의 균등물에 의해 정의된다.

예시적인 신경 시스템

도 1 은 본 개시물의 소정의 양태들에 따른 다수의 뉴런 레벨들을 갖는 예시적인 신경 시스템 (100) 을 예시한다. 신경 시스템 (100) 은 시냅스 접속들 (즉, 피드-포워드 접속들) 의 망 (104) 을 통해서 다른 뉴런 레벨 (106) 에 접속된 뉴런 레벨 (102) 을 포함할 수도 있다. 간략화를 위해, 2 개의 뉴런 레벨들만이 도 1 에 예시되었지만, 더 적거나 더 많은 뉴런 레벨들이 통상적인 신경 시스템에 존재할 수도 있다. 뉴런들 중 일부는 측면 접속 (lateral connection) 들을 통해서 동일한 계층의 다른 뉴런들에 접속될 수도 있음을 유의해야 한다. 또한, 뉴런들 중 일부는 피드백 접속들을 통해서 이전 계층의 뉴런에 다시 접속할 수도 있다.

도 1 에 예시된 바처럼, 레벨 (102) 에 있는 각각의 뉴런은 이전 레벨의 복수의 뉴런들 (도 1 에 미도시) 에 의해 생성될 수도 있는 입력 신호 (108) 를 수신할 수도 있다. 신호 (108) 는 레벨 (102) 뉴런에 대한 입력 (예를들어, 입력 전류) 을 나타낼 수도 있다. 그러한 입력들은 뉴런 막에 축적되어 막 전위를 충전할 수도 있다. 막 전위가 그의 역치 값에 도달하는 경우, 뉴런은 발화하고, 다음 뉴런 레벨 (예를 들어, 레벨 106) 로 전달될 출력 스파이크를 생성할 수도 있다. 그러한 거동은 아날로그 및 디지털 구현들을 포함한 하드 웨어 및/또는 소프트웨어에서 에뮬레이션되거나 또는 시뮬레이션될 수 있다.

생물학적 뉴런들에서, 뉴런이 발화하는 경우에 생성되는 출력 스파이크는 활동 전위라고 지칭된다. 이 전기 신호는 비교적 고속이고, 과도적이며, 양단간의 (all-or nothing) 신경 임펄스이며, 약 1 ms 의 지속 기간과 대략 100 mV 의 진폭을 갖는다. 일련의 접속된 뉴런들 (예를 들어, 도 1 에서 하나의 뉴런 레벨로부터 다른 레벨로의 스파이크의 전달) 을 갖는 신경 시스템의 특정 양태에서, 모든 활동 전위는 기본적으로 동일한 진폭 및 지속기간을 가지므로, 신호에 있는 정보는 진폭에 의해서가 아니라, 스파이크들의 주파수 및 횟수 (또는 스파이크들의 시간) 에의해서만 나타내어진다. 활동 전위에 의해 전달되는 정보는 스파이크, 스파이크된 뉴런, 및 하나 이상의 다른 스파이크들에 대한 스파이크의 시간에 의해 결정된다.

하나의 뉴런 레벨로부터 다른 레벨로의 스파이크들의 전달은 도 1 에 예시된 바처럼, 시냅스 접속들 (또는 단순히 "시냅스들") (104) 의 망을 통해 달성될 수도 있다. 시냅스들 (104) 은 레벨 (102) 뉴런들 (시냅스들 (104) 에 대한 시냅스전 (pre-synaptic) 뉴런들) 로부터 출력 신호들 (즉, 스파이크들) 을 수신할 수도 있다. 소정 양태들에서, 이들 신호들은 조절가능한 시냅스 가중치

에 따라 스케일링될 수도 있다 (여기서 P 는 레벨 (102) 및 레벨 (106) 의 뉴런들 사이의 시냅스 접속들의 전체 수이다). 다른 양태들에 있어서, 시냅스들 (104) 은 시냅스 가중치를 적용하지 않을 수도 있다. 또한, (스케일링된) 신호들은 레벨 (106) 에서의 각각의 뉴런 (시냅스들 (104) 에 대한 시냅스후 (post-synaptic) 뉴런들) 의 입력 신호로서 합성될 수도 있다. 레벨 (106) 에서의 모든 뉴런은 대응하는 합성된 입력 신호에 기초하여 출력 스파이크들 (110) 을 생성할 수도 있다. 출력 스파이크들 (110) 은 그 다음에 시냅스 접속들의 다른 망 (도 1 에 미도시) 을 이용하여 다른 뉴런 레벨에 전달될 수도 있다.

생물학적 시냅스들은 전기적 또는 화학적으로서 분류될 수도 있다. 전기적 시냅스들이 흥분성 신호들을 전송하는데 주로 이용되지만, 화학적 시냅스들은 시냅스후 뉴런들에서의 흥분성 또는 억제성 (과분극하는) 활동들을 조정할 수 있고 또한 뉴런 신호들을 증폭하는 역할을 할 수 있다. 흥분성 신호들은 통상적으로 막 전위를 탈분극시킨다 (즉, 휴지 전위에 대해 막 전위를 증가시킨다). 충분한 흥분성 신호들이 소정 기간 내에서 수신되어 막 전위를역치보다 높게 탈분극시키면, 활동 전위가 시냅스후 뉴런들에서 생긴다. 대조적으로, 억제성 신호들은 일반적으로 막 전위를 과분극시킨다 (즉, 낮춘다). 억제성 신호들은 충분히 강하다면, 흥분성 신호들의 합을 상쇄시키고 막 전위가 역치에 도달하는 것을 방지할 수 있다. 시냅스 흥분을 상쇄시키는 것에 더해, 시냅스 억제는 자발적 활성 뉴런들에 대해 강력한 제어를 가할 수 있다. 자발적 활성 뉴런은, 추가의 입력 없이, 예를 들어, 그것의 역학 (dynamics) 또는 피드백 (feedback) 에 기인하여 스파이크하는 뉴런을 지칭한다. 이러한 뉴런들에서의 활동 전위들의 자발적 생성을 억압함으로써, 시냅스 억제는 뉴런에서 발화하는 패턴을 형상화할 수 있으며,이는 일반적으로 조각 (sculpturing) 이라고 지칭된다. 다양한 시냅스들 (104) 은, 원하는 거동에 따라, 흥분성 또는 억제성 시냅스들의 임의의 조합으로서 작용할 수도 있다.

신경 시스템 (100) 은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 이들의 임의의조합에 의해 에뮬레이션될 수도 있다. 신경 시스템 (100) 은 넓은 범위의 애플리케이션들, 예컨대 이미지 및 패턴 인식, 머신 학습, 운동 제어 (motor control) 등에 활용될 수도 있다. 신경 시스템 (100) 에서 각각의 뉴런은 뉴런 회로로서 구현될 수도있다. 출력 스파이크를 개시하는 역치 값으로 충전된 뉴런 막은, 예를 들어, 뉴런 막을 통해 흐르는 전류를 적분하는 커패시터로서 구현될 수도 있다.

일 양태에서, 커패시터는 뉴런 회로의 전류 적분 디바이스로서 제거될 수도 있고, 보다 작은 멤리스터 (memristor) 소자가 그 대신에 이용될 수도 있다. 이러한 접근법은 뉴런 회로들, 그리고 전류 적분기들로서 대용량 커패시터 (bulky capacitor) 들이 활용되는 다양한 다른 애플리케이션들에 적용될 수도 있다. 또한, 시냅스들 (104) 의 각각은 멤리스터 소자에 기초하여 구현될 수도 있으며, 여기서 시냅스 가중치 변화들은 멤리스터 저항의 변화들에 관한 것일 수도 있다. 나노미터 피처 크기의 멤리스터들로, 뉴런 회로 및 시냅스들의 영역이 실질적으로 감소될 수도 있으며, 이는 매우 큰 규모의 신경 시스템 하드웨어 구현예의 구현을 실용적으로 만들 수도 있다.

신경 시스템 (100) 을 에뮬레이션하는 신경 프로세서의 기능은 뉴런들 사이의 접속들의 강도들을 제어할 수도 있는 시냅스 접속들의 가중치에 의존할 수도 있다. 시냅스 가중치들은 전원이 꺼진 후 프로세서의 기능을 유지하기 위해 비휘발성 메모리에 저장될 수도 있다. 일 양태에서, 시냅스 가중치 메모리는 메인 신경 프로세서 칩과 별개인 외부 칩 상에 구현될 수도 있다. 시냅스 가중치 메모리는 교체가능한 메모리 카드로서 신경 프로세서 칩과는 따로 패키징될 수도 있다. 이는 신경 프로세서에 다양한 기능들을 제공할 수도 있으며, 여기서 특정 기능은 신경 프로세서에 현재 부착된 메모리 카드에 저장되는시냅스 가중치들에 기초할 수도 있다.

도 2 는 본 개시의 소정의 양태들에 따른, 연산 망 (예를 들어, 신경 시스템 또는 신경 망) 의 처리 유닛 (예를 들어, 인공 뉴런 (202)) 의 예 (200) 를 예시한다. 예를 들어, 뉴런 (202) 은 도 1 로부터의 레벨들 (102 및 106) 의 뉴런들 중 임의의 뉴런에 대응할 수도 있다. 뉴런 (202) 은, 신경 시스템 외부의 신호들, 또는 동일한 신경 시스템의 다른 뉴런들에 의해 발생된 신호들, 또는 양자 모두일 수도 있는, 다수의 입력 신호들

을 수신할 수도 있다. 입력 신호는 실수 값 또는 복소 값의 전류 또는 전압일 수도 있다. 입력 신호는 고정-소수점 또는 부동-소수점 표현을 가진 수치값을 포함할 수도 있다. 이들 입력 신호들은 조정가능한 시냅스 가중치들

에 따라서 신호들을 스케일링하는 시냅스 접속들을 통해서 뉴런 (202) 으로 전달될 수도 있으며, 여기서 N 은 뉴런 (202) 의 입력 접속들의 전체 수일 수도 있다.

뉴런 (202) 은 스케일링된 입력 신호들을 합성하고 그 합성된 스케일링된 입력들을 이용하여 출력 신호 (208) (즉, 신호 y) 를 생성할 수도 있다. 출력 신호 (208) 는 실수 값 또는 복소 값의 전류 또는 전압일 수도 있다. 출력 신호는 고정-소수점 또는 부동-소수점 표현을 가진 수치값을 포함할 수도 있다. 출력 신호 (208) 는 그 후 동일한 신경 시스템의 다른 뉴런들에 대한 입력 신호로서, 또는 동일한 뉴런 (202) 에 대한 입력 신호로서, 또는 신경 시스템의 출력으로서 전달될 수도 있다.

처리 유닛 (뉴런 (202)) 은 전기 회로에 의해 에뮬레이션될 수도 있으며, 그의 입력 및 출력 접속들은 시냅스 회로들과 와이어들에 의해 에뮬레이션될 수도 있다. 처리 유닛, 그의 입력, 및 출력 접속들은 또한 소프트웨어 코드에 의해 에뮬레이션될 수도 있다. 처리 유닛은 또한 전기 회로에 의해 에뮬레이션될 수도 있는 반면, 그의 입력 및 출력 접속들은 소프트웨어 코드에 의해 에뮬레이션될 수도 있다. 일 양태에서, 연산 망에서의 처리 유닛은 아날로그 전기 회로를 포함할 수도 있다. 다른 양태에서, 처리 유닛은 디지털 전기 회로를 포함할 수도 있다. 또 다른 양태에서, 처리 유닛은 아날로그 및 디지털 성분들 양자 모두와의 혼합된 신호 전기 회로를 포함할 수도 있다. 연산 망은 전술한 형태들 중 임의의 형태의 처리 유닛들을 포함할 수도 있다. 이러한 처리 유닛들을 이용하는 연산 망 (신경 시스템 또는 신경망) 은 이미지 및 패턴 인식, 머신 학습, 운동 제어 등과 같은, 넒은 범위의 애플리케이션들에 활용될 수도 있다.

신경망을 트레이닝하는 과정 동안, 시냅스 가중치 (예를 들어, 도1 로부터의 가중치들

및/또는 도 2 로부터의 가중치

) 는 랜덤 값들로 초기화되고 학습 규칙에 따라 증가되거나 감소될 수도 있다. 학습 규칙의 일부 예들은 스파이크-타이밍-의존 가소성 (STDP) 학습 규칙, Hebb 규칙, Oja 규칙, Bienenstock-Copper-Munro (BCM) 규칙 등이다. 아주 흔하게, 가중치들은 2 개의 값들 중 하나로 정착될 수도 있다 (즉, 가중치들의 양봉 분포). 이 효과는 시냅스 가중치 당 비트수를 감소시키고, 시냅스 가중치들을 저장하는 메모리에 대해 판독 및 기록하는 속도를 증가시키고, 그리고 시냅스 메모리의 전력 소비를 감소시키는데 활용될 수 있다.

시냅스 유형

신경망들의 하드웨어 및 소프트웨어 모델들에서, 시냅스 관련 기능들의 처리는 시냅스 유형에 기초할 수 있다. 시냅스 유형들은 비-가소성 시냅스들 (가중치 및 지연의 변화 없음), 가소성 시냅스들 (가중치가 변할 수도 있다), 구조적 지연 가소성 시냅스들 (가중치 및 지연이 변할 수도 있다), 완전 가소성 시냅스들 (가중치, 지연, 및 접속성이 변할 수도 있다), 및 그에 대한 변동들 (예를 들어, 지연은 변할 수도 있으나, 가중치 또는 접속성의 변화는 없을 수도 있다) 을 포함할 수도 있다. 이것의 이점은 처리가 세분화될 수 있다는 것이다. 예를 들어, 비-가소성 시냅스들은 가소성 기능들이 실행될 것을 (또는 그러한 기능들이 완료되기를 대기하는 것을) 요구하지 않을 수도 있다. 유사하게, 지연 및 가중치 가소성은, 순차적으로 또는 병행하여, 함께 또는 따로 동작할 수도 있는 동작들로 세분화될 수도 있다. 상이한 유형들의 시냅스들은, 적용하는 상이한 가소성 유형들의 각각에 대해 상이한 룩업 테이블들 또는 공식들 및 파라미터들을 가질 수도 있다. 따라서, 방법들은 시냅스의 유형에 대해 관련 있는 테이블들에 액세스할 것이다.

스파이크-타이밍 의존 구조적 가소성이 시냅스 가소성에 상관 없이 실행될 수도 있다는 사실의 추가적인 암시들이 있다. 구조적 가소성 (즉, 지연 변화의 양) 이 전-후 스파이크 시간 차이의 직접적인 함수일 수도 있기 때문에, 구조적 가소성은 가중치 규모 (weight magnitude) 에 변화가 없는 경우 (예를 들어, 가중치가 최소 또는 최대 값에 도달한 경우, 또는 기타 이유로 인해 변하지 않은 경우) 에도 실행될 수도 있다. 대안적으로, 이는 가중치 변화 양의 함수로서, 또는 가중치들 또는 가중치 변화들의 한계들에 관련된 조건들에 기초하여 설정될 수도 있다. 예를 들어, 시냅스 지연은 오직 가중치 변화가 일어나는 경우, 또는 가중치가 최대 한도에 달한 경우가 아니라, 가중치가 0 에 도달한 경우에 변화될 수도 있다. 그러나, 이러한 프로세스들이 병렬화되어 메모리 액세스들의 수 및 오버랩을 감소시킬 수 있도록 독립적인 기능들을 가지는 것이 이로울 수 있다.

시냅스 가소성의 결정

신경가소성 (또는, 간단히 "가소성") 은 새로운 정보, 감각의 자극, 발달, 손상, 또는 기능장애에 응답하여, 자신의 시냅스 접속들 및 거동을 변화시키는 뇌에서의 뉴런들 및 신경 망들의 능력 (capacity) 이다. 가소성은 생물학에서의 학습 및 기억, 그리고 연산 신경 과학 및 신경 망들에 대해 중요하다. (예를 들어, Hebbian 이론에 따른) 시냅스 가소성, 스파이크-타이밍-의존 가소성 (STDP), 비-시냅스 가소성, 활동-의존 가소성, 구조적 가소성, 및 항상적 가소성 (homeostatic plasticity) 과 같은, 여러 형태의 가소성이 연구되었다.

STDP 는 뇌에서의 뉴런들과 같은 뉴런들 사이의 시냅스 접속들의 강도를 조절하는 학습 프로세스이다. 접속 강도들은 특정 뉴런의 출력 및 수신된 입력 스파이크들 (즉, 활동 전위들) 의 상대적인 타이밍에 기초하여 조정된다. STDP 프로세스 하에서, 장기 강화 (long-term potentiation; LTP) 는, 소정의 뉴런에 대한 입력 스파이크가 평균적으로, 그 뉴런의 출력 스파이크 직전에 생기는 경향이 있으면, 일어날 수도 있다. 그 후, 그 특정의 입력은 다소 더 강해진다. 반면에, 장기 억압 (long-term depression; LTD) 은 입력 스파이크가 평균적으로, 출력 스파이크 직후에 일어나는 경향이 있으면, 일어날 수도 있다. 그 후, 그 특정의 입력은 다소 더 약해지며, 따라서 "스파이크-타이밍-의존 가소성" 으로 명명한다. 그 결과, 시냅스후 뉴런의 흥분 (excitation) 의 원인일 수도 있는 입력들은 미래에 기여할 가능성이 훨씬 더 많아지는 반면, 시냅스후 스파이크의 원인이 아닌 입력들은 미래에 기여할 가능성이 더 작아진다. 초기 접속 세트의 서브세트가 남는 한편, 다른 것들 전부의 영향이 제로 또는 거의 제로로 감소될 때까지 프로세스는 계속된다.

뉴런은 그의 입력들 중 대부분이 (즉, 출력을 일으키기에 충분히 누적되는) 짧은 기간 내에 일어날 때 일반적으로 출력 스파이크를 생성하기 때문에, 일반적으로 남아 있는 입력들의 서브세트는 시간적으로 상관되려는 경향이 있는 입력들을 포함한다. 더불어, 출력 스파이크 전에 일어나는 입력들이 강화되기 때문에, 가장 빠른 충분히 누적되는 상관의 표시를 제공하는 입력들이 결국 뉴런에 대한 최종 입력이 될 것이다.

STDP 학습 규칙은 시냅스전 뉴런의 스파이크 시간 t _pre 과 시냅스후 뉴런의 스파이크 시간 t _post 사이의 시간 차이의 함수 (즉, t = t _post - t _pre ) 로서 시냅스전 뉴런을 시냅스후 뉴런에 접속시키는 시냅스의 시냅스 가중치를 효과적으로 적응시킬 수도 있다. STDP 의 전형적인 공식화 (formulation) 는, 시간 차이가 양이면 (시냅스전 뉴런이 시냅스후 뉴런 전에 발화하면) 시냅스 가중치를 증가시키고 (즉, 시냅스를 강화시키고 (potentiate)), 그리고 시간 차이가 음이면 (시냅스후 뉴런이 시냅스전 뉴런 전에 발화하면) 시냅스 가중치를 감소시키는 (즉, 시냅스를 억압하는) 것이다.

STDP 프로세스에서, 시간에 걸친 시냅스 가중치의 변화는 다음에 주어진 바와 같이, 지수적인 감쇠 (exponential decay) 를 이용하여 달성될 수도 있다

여기서, k ₊ 및 k _- 는 각각 양 및 음의 시간 차이에 대한 시간 상수들이고, α ₊ 및 α _- 는 대응하는 스케일링 규모들이고, 그리고 μ 는 양의 시간 차이 및/또는 음의 시간 차이에 적용될 수도 있는 오프셋이다.

도 3 은 STDP 에 따른 시냅스전 및 시냅스후 스파이크들의 상대적인 타이밍의 함수로서의 시냅스 가중치 변화의 예시적인 그래프 (300) 를 예시한다. 시냅스전 뉴런이 시냅스후 뉴런 전에 발화하면, 대응하는 시냅스 가중치가 그래프 (300) 의 부분 (302) 에 예시된 바와 같이, 증가될 수도 있다. 이 가중치 증가는 시냅스의 LTP 로서 지칭될 수 있다. LTP 의 양이 시냅스전 및 시냅스후 스파이크 시간들 사이의 차이의 함수로서 대략 지수적으로 감소할 수도 있다는 것이 그래프 부분 (302) 으로부터 관찰될 수 있다. 그래프 (300) 의 부분 (304) 에 예시된 바와 같이, 발화의 역순은 시냅스 가중치를 감소시켜, 시냅스의 LTD 를 초래할 수도 있다.

도 3 에서 그래프 (300) 에 예시된 바와 같이, 음의 오프셋 μ 은 STDP 그래프의 LTP (인과적) 부분 (302) 에 적용될 수도 있다. x-축의 교차 지점 (306) (y=0) 은 계층 i-1 (시냅스전 계층) 로부터의 인과적 입력들에 대한 상관을 고려하기 위해 최대 시간 지체와 일치하도록 구성될 수도 있다. 프레임-기반의 입력 (즉, 입력은 스파이크들 또는 펄스들을 포함하는 특정의 지속기간의 프레임 형태이다) 의 경우에, 오프셋 값 μ 는 프레임 경계를 반영하도록 연산될 수 있다. 프레임에서 제 1 입력 스파이크 (펄스) 는 시냅스후 전위에 의해 직접적으로 모델링되는 바처럼 또는 신경 상태에 대한 효과의 관점에서 시간에 걸쳐서 감쇠하는 것으로 간주될 수도 있다. 프레임에서 제 2 입력 스파이크 (펄스) 가 특정의 시간 프레임과 상관되거나 또는 관련 있는 것으로 고려되면, 프레임 전후의 관련 있는 시간들은, 그 시간 프레임 경계에서 분리될 수도 있으며, 관련 있는 시간들에서의 값이 상이 (예를 들어, 하나의 프레임보다 큰 것에 대해서는 음 및 하나의 프레임보다 작은 것에 대해서는 양) 할 수 있도록 STDP 곡선의 하나 이상의 부분들을 오프셋시키는 것에 의해 가소성 항들 (terms) 에서 상이하게 취급될 수도 있다. 예를 들어, 음의 오프셋 μ 은, 실제로 프레임 시간보다 큰 전-후 시간에서 곡선이 제로 아래로 내려가며 따라서 이것이 LTP 대신 LTD 의 부분이 되도록 LTP 를 오프셋시키도록 설정될 수도 있다.

뉴런 모델들 및 동작

유용한 스파이킹 뉴런 모델을 설계하기 위한 몇몇의 일반적인 원리들이 존재한다. 양호한 뉴런 모델은 2 개의 연산 체제들: 일치 검출 및 함수 연산 (functional computation) 의 관점에서, 풍부한 전위 거동을 가질 수도 있다. 또한, 양호한 뉴런 모델은 시간 코딩을 가능하게 하기 위해 2 개의 엘리먼트들을 가져야 하는데: 입력들의 도착 시간은 출력 시간에 영향을 미치며 일치 검출은 좁은 시간 윈도우를 가질 수 있다. 마지막으로, 연산적으로 매력적이기 위해서, 양호한 뉴런 모델은 연속 시간에서 닫힌 형태의 해 (closed-form solution) 를 가지고 가까운 어트랙터들 (attractors) 및 새들 (saddle) 지점들을 포함한 안정적인 거동을 가질 수도 있다. 다시 말해, 유용한 뉴런 모델은, 실용적이며, 풍부하고 현실적이고 생물학적으로 일관된 거동들을 모델링하는데 사용될 수 있으며, 그리고 신경 회로들을 엔지니어링 및 리버스 엔지니어링하는 것 양자 모두에 사용될 수 있는 모델이다.

뉴런 모델은 입력 도착, 출력 스파이크 또는 내부든 또는 외부든 다른 이벤트와 같은 이벤트들에 의존할 수도 있다. 풍부한 거동 레퍼토리를 달성하기 위해, 복잡한 거동들을 나타낼 수 있는 상태 머신이 요망될 수도 있다. 입력 기여 (있다면) 와는 별개인, 이벤트 자체의 발생이 상태 머신에 영향을 미치거나 그 이벤트에 후속하는 역학을 제약할 수 있으면, 시스템의 미래 상태는 상태 및 입력의 함수뿐만 아니라, 상태, 이벤트, 및 입력의 함수이다.

일 양태에서, 뉴런 n 은 다음의 역학에 의해 지배되는 막 전압

을 가진 스파이킹 누설-통합-및-발화 (spiking leaky-integrate-and-fire) 뉴런로서 모델링될 수도 있다

여기서, α 및 β 는 파라미터들이고, w _m,n 는 시냅스전 뉴런 m 을 시냅스후 뉴런 n 에 접속시키는 시냅스에 대한 시냅스 가중치이고, 그리고

는 뉴런 n 의 세포체에 도착할때까지

에 따른 수상 (dendritic) 또는 축삭 (axonal) 지연 만큼 지연될 수도 있는 뉴런 m 의 스파이킹 출력이다.

시냅스후 뉴런에 대한 충분한 입력이 확립될 때의 시간으로부터 시냅스후 뉴런이 실제로 발화할 때의 시간까지 지연이 존재한다는 점에 유의해야 한다. Izhikevich 의 단순 모델과 같은, 동적 스파이킹 뉴런 모델에서, 탈분극 역치

와 피크 스파이크 전압

사이의 차이가 있으면 시간 지연이 초래될 수도 있다. 예를 들어, 단순 모델에서, 전압 및 회복에 대한 미분 방정식들의 쌍에 의해 뉴런 세포체 역학이 지배될 수 있다, 즉:

여기서, v 는 막 전위이고, u 는 막 회복 변수이고, k 는 막 전위 v 의 시간 척도를 기술하는 파라미터이고, a 는 회복 변수 u 의 시간 스케일을 기술하는 파라미터이고, b 는 막 전위 v 의 역치하 (sub-threshold) 변동들에 대한 회복 변수 u 의 감도를 기술하는 파라미터이고, v _r 는 막 휴지 전위이고, I 는 시냅스 전류이고, 그리고 C 는 막의 커패시턴스이다. 이 모델에 따르면, 뉴런은

일 때 스파이크하도록 정의된다.

Hunzinger Cold 모델

Hunzinger Cold 뉴런 모델은 풍부한 다양한 신경 거동들을 재현할 수 있는 최소 이중-체제 스파이킹 선형 역학 모델이다. 모델의 1 또는 2 차원 선형 역학은 2개의 체제들을 가질 수 있으며, 여기서, 시간 상수 (및 커플링) 는 그 체제에 의존할 수 있다. 역치하 체제에서, 관례에 의해 음인 시간 상수는 생물학적으로 일관된 선형 방식으로 셀을 휴지로 복귀시키려고 일반적으로 작용하는 누설 채널 역학을 나타낸다. 관례에 의해 양인, 역치상 (supra-threshold) 체제에서의 시간 상수는, 일반적으로 셀을 스파이크하도록 구동하지만 스파이크 발생에서 레이턴시를 초래하는 누설 방지 채널 역학을 반영한다.

도 4 에 도시된 바와 같이, 모델의 역학은 2개의 (또는 그보다 많은) 체제들로 나누어질 수도 있다. 이들 체제들은 (또한 누설-통합-및-발화 (leaky-integrate-and-fire; LIF) 뉴런 모델과 혼동되지 않도록 LIF 체제로서 상호교환가능하게 지칭되는) 음의 체제 (402) 및 (또한 누설-방지-통합-및-발화 (anti-leaky-integrate-and-fire; ALIF) 뉴런 모델과 혼동되지 않도록, ALIF 체제로서 상호교환가능하게 지칭되는) 양의 체제 (404) 로 불릴 수도 있다. 음의 체제 (402) 에서, 그 상태는 미래 이벤트 시에 휴지 (v _- ) 를 향하는 경향이 있다. 이 음의 체제에서, 모델은 일반적으로 시간적 입력 검출 성질들 및 다른 역치하 거동을 나타낸다. 양의 체제 (404) 에서, 그 상태는 스파이킹 이벤트 (v _s ) 로 향하는 경향이 있다. 이 양의 체제에서, 모델은 후속 입력 이벤트들에 따라 스파이크까지의 레이턴시를 초래하는 것과 같은, 연산 성질들을 나타낸다. 이벤트들의 관점에서 역학의 공식화 및 이들 2 개의 체제들로의 역학의 분리는 모델의 기본적인 특성들이다.

(상태들 v 및 u 에 대해) 선형 이중 체제 2차원 역학은 다음과 같이 관례에 의해 정의될 수도 있다:

여기서,

및 r 는 커플링을 위한 선형 변환 변수들이다.

심볼 ρ 는 여기서, 역학 체제를 표기하기 위해 이용되며, 특정의 체제에 대한 관계를 논의하거나 또는 표현할 때, 심볼 ρ 를 음의 및 양의 체제들에 대해 부호 "-" 또는 "+" 로 각각 대체하는 관례가 있다.

모델 상태는 막 전위 (전압) v 및 회복 전류 u 에 의해 정의된다. 기본 형태에서, 체제는 본질적으로 모델 상태에 의해 결정된다. 정확하고 일반적인 정의의 미묘하지만 중요한 양태들이 존재하지만, 지금은, 전압 v 이 역치값 (v ₊) 보다 높으면 양의 체제 (404) 에, 그리고 그렇지 않으면 음의 체제 (402) 에 모델이 있는 것으로 고려한다.

체제-의존 시간 상수들은 음의 체제 시간 상수인 τ _- , 및 양의 체제 시간 상수인 τ ₊ 을 포함한다. 회복 전류 시간 상수 τ _μ 는 일반적으로 체제와 무관하다. 편의를 위해, 음의 체제 시간 상수 τ _- 는, τ _μ 와 같이, 지수 및 τ ₊ 가 일반적으로 양이 되는 양의 체제에 대해 전압 발전 (voltage evolution) 에 대한 동일한 표현이 사용될 수 있도록 감쇠를 반영하기 위해 음의 양으로서 통상적으로 지정된다.

2 개의 상태 엘리먼트들의 역학은 이벤트들에서 그들의 널-클라인 (null-cline) 들로부터 그 상태들을 오프셋시키는 변환들에 의해 커플링될 수도 있으며, 여기서, 변환 변수들은 다음과 같다

여기서

및

는 파라미터들이다.

에 대한 2 개의 값들은 2 개의 체제들에 대한 기준 전압들을 위한 베이스이다. 파라미터

는 음의 체제를 위한 베이스 전압이며, 막 전위는 일반적으로 음의 체제에서 쪽으로 감쇠할 것이다. 파라미터

는 양의 체제를 위한 베이스 전압이며, 막 전위는 일반적으로 양의 체제에서

로부터 멀어지는 경향이 있을 것이다.

v 및 u 를 위한 널-클라인들은 변환 변수들

및 r 의 음수에 의해 각각 주어진다. 파라미터 δ 는 u 널-클라인의 기울기를 제어하는 스케일 펙터이다. 파라미터 ε 은 일반적으로 -ν _- 과 동일하게 설정된다. 파라미터 β 는 양쪽의 체제들에서 v 널-클라인들의 기울기를 제어하는 저항 값이다. τ _ρ 시간-상수 파라미터들은 지수적 감쇠들 뿐만 아니라, 널-클라인 기울기들을 각각의 체제에서 따로따로 제어한다.

모델은 전압 v 이 값 v _S 에 도달할 때 스파이크하도록 정의된다. 후속하여, 그 상태는 통상적으로 (기술적으로 스파이크 이벤트와 동일할 수도 있는) 리셋 이벤트에서 리셋된다:

여기서

및

는 파라미터들이다. 리셋 전압

은 통상적으로 으로 v _- 로 설정된다.

순간적인 커플링의 원리에 의해, 닫힌 형태의 해는 상태 (그리고 단일 지수 항을 가진 상태) 에 대해서 뿐만 아니라, 특정의 상태에 도달하기 위해 필요한 시간에 대해서도 가능하다. 닫힌 형태의 상태 해들은 다음과 같다:

따라서, 모델 상태는 입력 (시냅스전 스파이크) 또는 출력 (시냅스후 스파이크) 와 같은 이벤트들 시에만 업데이트될 수도 있다. 동작들은 또한 (입력이든 또는 출력이든) 임의의 특정의 시간에 수행될 수도 있다.

또한, 순간적인 커플링 원리에 의해, 반복 기법들 또는 수치 방법들 (예를 들어, Euler 수치 방법) 없이 특정의 상태에 도달하기 위한 시간이 미리 결정될 수도 있도록 시냅스후 스파이크의 시간이 예상될 수도 있다. 이전 전압 상태 v ₀ 를 고려하면, 전압 상태 v _f 에 도달될 때까지의 시간 지연은 다음에 의해 주어진다

전압 상태 v 가 v _S 에 도달하는 시간에서 일어나는 것으로 스파이크가 정의되면, 전압이 주어진 상태 v 에 있는 시간으로부터 측정되는 스파이크들이 발생할 때까지, 시간의 양, 또는 상대적인 지연에 대한 닫힌 형태의 해는 다음과 같다

여기서

는 일반적으로 파라미터 v ₊ 로 설정되지만, 다른 변형도 가능할 수 있다.

상기 모델 역학의 정의들은 모델이 양의 체제 또는 음의 체제인지 여부에 의존한다. 언급한 바와 같이, 커플링 및 체제 ρ 는 이벤트들 시에 연산될 수도 있다. 상태 전파의 목적들을 위해, 체제 및 커플링 (변환) 변수들은 최종 (이전의) 이벤트 시의 상태에 기초하여 정의될 수도 있다. 스파이크 출력 시간을 이후에 예상하려는 목적을 위해, 체제 및 커플링 변수는 다음 (현재의) 이벤트 시의 상태에 기초하여 정의될 수도 있다.

시뮬레이션, 에뮬레이션 또는 모델을 적시에 실행하는, Cold 모델의 여러 가능한 구현들이 있다. 이것은, 예를 들어, 이벤트-업데이트, 스텝-이벤트 업데이트, 및 스텝-업데이트 모드들을 포함한다. 이벤트 업데이트는 (특정의 순간에서) 이벤트들 또는 "이벤트 업데이트" 에 기초하여 상태들이 업데이트되는 업데이트이다. 스텝 업데이트는 모델이 간격들 (예를 들어, 1ms) 로 업데이트되는 업데이트이다. 이것은 반복 방법들 또는 수치적 방법들을 반드시 요구하지는 않는다. 이벤트-기반의 구현은 또한 스텝들에서 또는 스텝들 사이에, 또는 "스텝-이벤트" 업데이트에 의해 이벤트가 발생하면 모델을 업데이트하는 것만에 의해 스텝-기반의 시뮬레이터에서 제한된 시간 해상도로 가능하다.

신경 코딩

도 1 의 인공 뉴런들 (102, 106) 로 이루어진 모델과 같은, 유용한신경망 모델은 일치 코딩 (coincidence coding), 시간 코딩 (temporal coding) 또는 레이트 코딩 (rate coding) 과 같은, 여러 적합한 신경 코딩 방식들 중 어느 것을 통해서 정보를 인코딩할 수도 있다. 일치 코딩에서, 정보는 뉴런 집단 (population) 의 활동 전위들 (스파이킹 활동) 의 일치 (또는, 시간적 근접성) 로 인코딩된다. 시간적 코딩에서, 뉴런은 절대 시간으로든 또는 상대 시간으로든, 활동 전위들 (즉, 스파이크들) 의 정확한 타이밍을 통해서 정보를 인코딩한다. 정보는 따라서 뉴런들의 집단 중 스파이크들의 상대적인 타이밍으로 인코딩될 수도 있다. 이에 반해, 레이트 코딩은 신경 정보를 발화 레이트 또는 집단발화 레이트로 코딩하는 것을 수반한다.

뉴런 모델이 시간적 코딩을 수행할 수 있으면, 뉴런 모델은 또한 (레이트가 단지 타이밍 또는 스파이크간 간격들의 함수이기 때문에) 레이트 코딩을 수행할 수 있다. 시간 코딩을 제공하기 위해, 우수한 뉴런 모델은 다음의 2개의 엘리먼트들을 가져야 한다: (1) 입력들의 도착 시간이 출력 시간에 영향을 미친다; 그리고 (2) 일치 검출이 좁은 시간 윈도우를 가질 수 있다. 시간적 패턴의 엘리먼트들을 적절히 지연시킴으로써, 엘리먼트들이 타이밍 일치가 될 수도 있기 때문에, 접속 지연들은 일치 검출을 시간적 패턴 디코딩으로 확장하기 위한 하나의 수단을 제공한다.

도착 시간

양호한 뉴런 모델에서, 입력의 도착 시간은 출력의 시간에 영향을미쳐야 한다. 시냅스 입력 - Dirac delta 함수든 또는 형상화된 시냅스후 전위 (PSP) 든- 은, 흥분성 (EPSP) 이든 또는 억제성 (IPSP) 이든 - 입력 시간으로서 지칭될 수도 있는 도착 시간 (예를 들어, delta 함수의 시간 또는 스텝 또는 다른 입력 함수의 시작 또는 피크) 을 갖는다. 뉴런 출력 (즉, 스파이크) 은 (예를 들어, 세포체에서, 축삭을 따른 지점에서, 또는 축삭의 말단 등 어디서 측정될 경우에도) 발생의 시간을 갖고, 이것은 출력 시간으로 지칭될 수도 있다. 그 출력 시간은 스파이크의 피크의 시간, 스파이크의 시작, 또는 출력 파형과 관련된 임의의 다른 시간일 수도 있다. 아주 중요한 원리는 출력 시간이 입력 시간에 의존한다는 것이다.

언뜻 보기에는 모든 뉴런 모델들이 이 원리에 따른다고 생각할지 모르지만, 이것은 일반적으로 사실이 아니다. 예를 들어, 레이트-기반의 모델들은 이 특징을 갖지 않는다. 많은 스파이킹 모델들도 일반적으로 따르지 않는다. 누설-통합-및-발화 (LIF) 모델은 (역치를 넘는) 여분의 입력들이 존재하면, 더 이상 빠르게 발화하지 않는다. 더욱이, 아주 높은 타이밍 해상도로 모델링된 경우에 따를수도 있는 모델들은 종종 타이밍 해상도가 예컨대, 1 ms 스텝들로 제한될 때 따르지 않을 것이다.

입력

뉴런 모델에 대한 입력은 전류들로서의 입력, 또는 컨덕턴스-기반의 입력과 같은, Dirac delta 함수들을 포함할 수도 있다. 후자의 경우에, 뉴런 상태에 대한 기여는 연속적이거나 또는 상태-의존적일 수도 있다.

역치하 변조를 통한 아날로그 신호 재구성 및 인식

패턴 인식은 두뇌에서 뿐만 아니라 이를 도 1로부터의 신경 망 (100) 과 같은 스파이킹 신경 망을 사용하여 에뮬레이션하려고 하는 이들에게 널리 퍼져 있는 문제이다. 선행 기술에서 사용된 시간적 코딩 학습 (TCL) 모듈은, 시간에 걸쳐 스파이크들을 상관시키고 스파이킹 뉴런에 의해 검출될 일치를 구축하기 위하여 상이한 입력들간의 상대적인 시냅스 지연들을 이용함으로써 스파이킹 패턴들을 인식할 수도 있다. 하지만, (예를 들어, r(t) 인, 시간의 함수로서 발화 레이트가 변화하는 패턴으로 표현되는) 세포체에서의 총 연속 시간 신호를 인식하기를 원하는 경우, 패턴을 검출하는데 TCL 만을 사용하는 것은 매우 비효율적일 수 있다. 단일 스파이크 패턴을 다수의 서브 패턴들로 분해하고 서브 패턴들의 스파이크들간의 상대적인 레이턴시를 계산함으로써 상대적인 스파이크 시간들을 만들어내는 것이 가능할 수도 있지만, 그러한 행위는 다루기 힘들고 비효율적이다. 본 개시의 소정 양태들은, 스파이크 레이트의 변화를 인식하기 위하여 역치하 변조 (sub-threshold modulation) 를 사용하는 방법을 지원한다.

본 개시에서, 발화 레이트 변화 r(t) 의 검출은 스파이킹 뉴런의 역치하 아날로그 도메인에서 수행될 수도 있다. 2개 유형의 뉴런들, 즉 "검출자" 뉴런의 역할을 하는 흥분성 뉴런, 및 "예측자" 뉴런의 역할을 하는 억제성 뉴런이 사용될 수 있다. 도 5 및 도 6은 일시적으로 동적인 감각 입력들 (즉, 검출자 뉴런의 세포체에서의 입력 신호들) 의 예들 (500 및 600) 을 예시한다. 예 (500) 는 동적인 냄새맡는 거동 (dynamic sniffing behavior) 동안에 5개의 상이한 냄새들이 동물에게 제시될 때 설치류 후각 신경구 (rodent olfactory bulb) 에 있는 40개 사구체들에 걸친 칼슘 농도 레벨에 관한 데이터 세트를 포함한다. 예 (600) 은 5개의 상이한 청각 입력들에 대한 조기 청각 경로에서의 감각 표현들을 포함한다.

입력 신호들은 시냅스에 의해 수신되고 검출자 뉴런의 세포체에서 종합되어 흥분성 전류 파형을 형성하고, 이것은 다음으로 예측자 뉴런 세트에 의해 생성된 "예측" 파형과 비교될 수도 있다. 도 7 은 본 개시의 소정 양태들에 따른 시간의 함수로서 인식될 필요가 있는 입력 전류 (702 및 704) 를 종합하는 예 (700) 를 예시한다. 도 8 은 본 개시의 소정 양태들에 따른 억제성 예측과의 밸런싱에 의해 흥분성 입력들을 인식하는 예 (800) 를 예시한다. 매칭되는 예측자 신호 (예를 들어, 도 8 에서 억제성 입력 (802)) 은 도 8 에서 순 입력 전류 (804) 에 의해 예시된 바처럼 (설계된 시간적 해상도내에서) 실제 입력 신호를 상쇄할 수도 있다. 다른 한편, 미스매치 (예를 들어, 도 8 에서 억제성 입력 (806)) 는 도 8 에서 순 입력 전류 (808) 에 의해 예시된 바처럼 실제 입력 신호를 상쇄하지 못할 수도 있고 상이한 시점에서 순 양의 또는 음의 입력 전류를 초래할 수도 있다.

본 개시의 소정 양태들에 따르면, 검출자 뉴런의 스파이킹과 연관된 스파이크간 간격 (ISI) 은 시냅스 입력들의 밸런스를 나타낼 수도 있다. 특히, 순 시냅스 입력이 검출자 뉴런의 단발성 발화 (tonic firing) 의 ISI 에서 코딩되어, 규칙적인 ISI 지속시간은 각각의 ISI 기간내에서 예측 (억제성 전류) 과 실제 신호 (흥분성 전류) 사이의 매치 (예를 들어, 도 8 에서 스파이크 (810) 에 의해 예시되는 규칙적 스파이킹 거동) 을 나타낼 수도 있다. 다른 한편, ISI 지속시간의 변동은 미스매치 (예를 들어, 도 8 에서 스파이크 (812) 에 의해 예시되는 불규칙적 스파이킹 거동) 을 나타낼 수도 있다.

도 9는 본 개시의 소정 양태들에 따른 예시적인 검출자 뉴런 (900) 을 예시하고, 여기서 흥분성 감각 입력 (902) 은 검출자 뉴런 (900) 의 단발성 발화의 ISI (906) 에 기초하여 억제성 예측 (904) 에 의해 인식될 수도 있다. Hunzinger Cold 뉴런 모델의 소정 구성들에 있어서, 식 (13) 에 의해 정의된 스파이크까지의 시간은 높은 막 전위 v 에서 대략 선형적일 수 있다. 도 9 에서 예시적인 그래프 (908) 는 검출자 뉴런에서 막 전위 v 의 함수로서 스파이크까지의 시간을 예시한다. 이 예시적인 구성에서, v _reset 는, 검출자 뉴런이 이 대략 선형인 체제에서 동작하도록 보장하기 위해, v ₊ 보다 높게 그리고 v _spike 에 가깝게 설정된다. 그래프 (910) 는, 이 예시적인 검출자 뉴런에 대해, 순 시냅스 입력 (예를 들어, 흥분성 감각 입력 (902) 및 억제성 예측 (904)) 의 함수로서 ISI 를 예시한다. 이 구성에 있어서, 순 시냅스 입력과 ISI 사이에 대략 선형적인 관계가 존재하고, 여기서 ISI 값은 시냅스 입력의 밸런스를 나타낼 수 있고 따라서 감각 입력이 예측에 매칭되는 정도를 나타낼 수 있다.

본 개시의 일 양태에서, 도 10 에서의 예 (1002) 에 예시된 바처럼, 전송자 인공 뉴런 (1004) 은 수신자/메트릭 인공 뉴런 (1008) 에 흥분성 입력 (1006) 을 제공할 수도 있다. 흥분성 입력 (1006) 은 아날로그 파형 (즉, 시간적으로 연속적) 또는 이산 (샘플링된) 신호 (즉, 스파이크 패턴) 일 수도 있다. 입력 (1006) 은 복수의 입력 신호들을 포함할 수도 있다. 수신자/메트릭 인공 뉴런 (1008) 은 또한, 억제성 예측 파형(들) (1010) 을 수신할 수도 있다. 예측된 파형(들) (1010) 은, 입력 (1006) 과 비교되어, 그 비교에 적어도 부분적으로 기초하여 신호 (1012) 를 생성할 수도 있다. 예측된 파형(들) (1010) 은 입력 (1006) 과 병행하여 제공될 수도 있다, 즉 입력 (1006) 및 예측된 파형(들) (1010) 은 시간적으로 정렬될 수도 있다는 것에 유의해야 한다.

예 (1002) 에서, 신호 (1012) 는 매칭 신호 (1014) 또는 미스매칭 신호 (1016) 일 수도 있다. 매칭 신호 (1014) 는, 이 예에서 "고정된" (균일한) ISI 를 갖는 연속적인 일련의 스파이크들을 유지하는 것에 의해, 입력과 예측된 파형 사이의 매칭을 나타낼 수도 있다. 본 개시의 일 양태에서, "고정된" ISI 는 임의의 2개의 연속 스파이크들 사이의 ISI들의 변동이 공차 (tolerance) ±ε 에 의해 한정 (bound) 되는 ISI 로서 정의될 수 있다. 미스매칭 신호 (1016) 는 입력과 예측된 파형 사이의 차이를 나타낼 수도 있다. 이 예에서, 미스매칭 신호는 ISI 에서의 가변성 (불균일성) 에 의해 나타내어진다. 일 양태에서, 예측된 파형의 학습 (업데이트) 는 미스매칭 신호 (1016) 에 적어도 부분적으로 기초하여 수행될 수도 있다. 그러므로, 수신자/메트릭 인공 뉴런 (1008) 에 의해 생성되는 신호 (1012) 는 예측된 파형들의 학습 (업데이트) 에 유용한 메트릭 신호이다.

도 10 에 있는 예 (1002) 에 예시된 바처럼, 신호 (1012) 는 검출 신호 (1020) 를 생성하는 검출자 인공 뉴런 (1018) 을 흥분시키는데 이용될 수도 있다. 예를 들어, 검출 신호 (1020) 는, 입력 (1006) 과 예측된 파형 (1010) 사이의 매칭을 시그널링하는 스파이크를 포함할 수도 있다.

다르게는, 도 10 에 있는 예 (1022) 에 예시된 본 개시의 또 다른 양태에서, 수신자/메트릭 인공 뉴런 (1008) 및 검출자 인공 뉴런 (1018) 의 기능들은 단일 수신자/검출자 인공 뉴런 (1024) 으로 조합될 수도 있다. 예 (1002) 에서와 유사하게, 전송자 인공 뉴런 (1026) 은 수신자/검출자 인공 뉴런 (1024) 에 흥분성 입력 (1028) 을 제공할 수도 있다. 수신자/검출자 인공 뉴런 (1024) 은 또한, 억제성 예측 파형(들) (1030) 을 수신할 수도 있다. 예측된 파형(들) (1030) 은 입력 (1028) 과 비교되어, 그 비교에 적어도 부분적으로 기초하여 신호 (1032) 를 생성할 수도 있고, 여기서 신호 (1032) 는, 입력과 예측된 파형 사이의 매칭과 미스매칭을 검출하는 검출 신호를 나타낸다. 신호 (1032) 는 메트릭 신호가 아니고, 신호 (1012) 와 달리, 예측된 파형들의 학습을 위해 이용될 수 없다는 것에 유의한다.

본 개시의 소정 양태들에 따르면, 도 9로부터의 검출자 뉴런 (900) 및 도 10으로부터의 검출자 뉴런들 (1018, 1024) 은 그들의 상태들을, 도 11에 예시된 Cold 뉴런 모델 (1100) 과 같은 2D Cold 뉴런 모델에 따라, 업데이트할 수도 있다. 일 양태에서, Cold 뉴런 모델 (1100) 에 적어도 부분적으로 기초한 이 ISI "대역 통과 필터" 는 허용 ISI 들을 위한 공차를 설정할 수도 있다.

본 개시의 양태들은, 예를 들어, 시냅스 역학과 같은 GABA (Gamma-Amino-Butyric Acid) 를 이용하여, 억제성 기저 함수들의 합으로서 파형들을 학습하고 효율적으로 저장하기 위한 방법들을 지원한다. 결과적으로, 제시된 시스템은 가능하게는 매우 적은 수의 뉴런들을 이용하고 시냅스 지연 없이 신경 패턴들을 인식하기 위한 메카니즘을 제공할 수도 있다.

도 12 는 본 개시의 소정 양태들에 따른 예측 신호를 구성하는 예 (1200) 를 예시한다. 도 12에 예시된 바처럼, 채널 0 은 검출자 뉴런 (1204) 에 적용된 흥분성 감각 입력을 포함할 수도 있다. 채널들 1-3 은, 예측 신호를 구성하기 위하여 GABA 형 기저 함수 (예를 들어, 도 12에 있는 표 (1208) 에 예시된 GABA 기저 함수) 를 이용하여 생물학적으로 모델링될 수도 있는 3개의 억제성 기저 신호들 (1206) 을 포함한다. 채널들 0-3 (1개의 흥분성 및 3개의 억제성 신호들) 을 포함하는 시냅스 입력이 그래프 (1210) 에 보여져 있고, 검출자 뉴런 (1204) 의 출력 스파이크가 그래프 (1212) 에 보여져 있고, 입력들의 밸런스를 나타내는 순시 ISI 가 도 12 에서 그래프 (1214) 에 보여져 있다.

도 13은 본 개시의 소정의 양태들에 따라 아날로그 파형 매칭을 위한 예측 신호들 (1302) (즉, 신호들 A, B, C, D 및 E) 의 예 (1300) 를 예시한다. 이 예에서, 예측 신호들 A-E (1302) 은, 그들의 각각의 흥분성 입력들 A-E (1304) 로부터, 도 12에 예시된 예시적인 억제성 기저 신호들을 이용하여, 생성된다. 다음으로, 예측 신호들 (1302) 은 각각의 흥분성 입력 (1304) 의 20 회 시도 (오버레이됨) 의 아날로그 파형 인식을 위해 이용된다. 도 13에 예시된 다른 그래프들 (1306) 은, 검출자 뉴런에 인가되는 신호들의 각 자극-예측 쌍에 대해 검출자 뉴런에 대한 순 시냅스 입력 (20회 오버레이된 시도들; 순 흥분은 제로 레벨 위의 면적에 비례하며, 순 억제는 제로 레벨 아래 면적에 비례한다), 그리고 각 쌍에 대해 예시적인 시도로부터의 검출자 뉴런 출력 스파이크를 보여준다. 밸런싱된 시냅스 입력은 예측 신호와 흥분성 입력 사이의 매칭을 나타낸다.

도 14는 본 개시의 소정 양태들에 따른 도 14로부터 예측 신호 (1402) 및 흥분성 입력 신호 (1404) 의 각 쌍에 대해 예시적인 검출자 뉴런에 대한 ISI 들의 분포를 보여주는 예 (1400) 를 예시한다. 그래프들 (1406) 은 검출자 뉴런에 인가되는 신호들의 각 자극-예측 쌍의 20회 시도들에 대한 순시 ISI 의 분포를 보여준다. 이 예에서, 순 시냅스 입력이 밸런싱될 때 (즉, 예측 및 자극이 매칭될 때), 검출자 뉴런 ISI 은 50 ms 이다. 시냅스 입력에서의 임밸런스 (즉, 예측과 자극 사이의 미스매치) 는 이 ISI 를 시프트시키고, ISI 분포에서의 분산을 증가시킨다. 따라서, 이 예에서, ISI 의 표준 편차의 최소 값 (대각선에 따른 ISI 분포) 는 예측 신호와 흥분성 입력 사이의 매칭을 나타낸다.

본 개시의 양태들은, 억제성 기저 함수들의 합으로서 파형들을 학습하고 효율적으로 저장하기 위한 방법들을 지원한다. 도 15 은 본 개시의 소정 양태들에 따른 단일 억제성 성분을 학습하는 방법 (1500) 을 예시한다. 도 15는 연관된 가중치 w 및 지연 d 를 갖는 단일 억제성 예측 성분 (1506) 에 의해 인식될 흥분성 감각 입력 (1504) 을 갖는 예시적인 검출자 뉴런 (1502) 을 예시한다. 본 개시의 일 양태에서, 단일 억제성 성분 (1506) 은 도 15에 있는 그래프들 (1508 및 1510) 에 예시된 지연 및 가중치 STDP 규칙들로 학습될 수도 있다. 지연 가소성은 억제성 성분이 흥분성 입력과 시간적으로 정렬될 수 있게 한다. 가중치 가소성은 억제성 성분의 규모가 흥분성 입력을 최적으로 오프셋시킬 수 있게 한다.

도 16은 본 개시의 소정 양태들에 따른 도 15로부터의 예시적인 가중치 및 지연 STDP 규칙들로 단일 억제성 성분을 학습하는 일 예를 예시한다. 도 16 에 있는 그래프 (1602) 는 흥분성 입력을 보여주고, 그래프 (1604) 는 억제성 입력 (예측) 을 보여주고, 그래프 (1606) 는 결과적인 순 시냅스 입력을 보여주고, 그래프 (1608) 는 예시적인 검출기 뉴런 (예를 들어, 도 15에 있는 검출자 뉴런 (1502)) 의 막 전압 전위를 보여준다. 그래프 (1610) 는 검출자 뉴런의 스파이킹을 예시하는 한편, 그래프들 (1612 및 1614) 은 억제성 입력 (1604) 과 연관된 학습된 지연 및 가중치를 각각 보여준다. 이 예에서, 흥분성 자극의 반복된 표출은 억제성 성분에 대해 적절한 지연 및 가중치 값들의 학습, 그리고 흥분성 자극과 비슷한 억제성 예측에 이른다.

본 개시의 일 양태에서, "혼돈" Cold 뉴런 모델들은 복잡한 억제성 패턴들을 생성하기 위한 스파이크 시간들을 제공할 수도 있다. 도 17 은 본 개시의 소정 양태들에 따른 (u, v) 곡선들을 갖는 "혼돈" Cold 뉴런 모델의 예 (1700) 를 예시한다. 일 양태에서, "혼돈" Cold 뉴런은 잠재적 스파이크 시간들의 라이브러리를 제공할 수도 있다. 동일한 Cold 파라미터들에 대해, 입력 진폭들의 범위는, 도 18에 있는 예시적인 그래프 (1800) 에 예시된 거동들과 같은 다양한 스파이킹 거동을 초래할 수도 있다.

본 개시의 일 양태에서, 복잡한 파형에 대해, 가중치 가소성이 개개의 "기저" 스파이크 함수들의 기여를 조정하는데 활용될 수도 있다. 도 19 는 본 개시의 소정 양태들에 따른 가중치 STDP 를 이용하여 억제성 패턴들의 학습을 위한 예 (1900) 를 예시한다. 도 19는 흥분성 감각 입력 (1904), 및 연관된 가중치들 w₀, w₁, … w_N 을 갖는 억제성 스파이크 트레인들 (1906) 의 세트를 갖는 예시적인 검출자 뉴런 (1902) 을 예시한다. 억제성 트레인들 (1906) 은 도 18에 예시된 스파이킹 거동들을 갖는 것들과 같은 "혼돈" Cold 뉴런들에 의해 생성될 수도 있다. 본 개시의 일 양태에서, 억제성 트레인들 (1906) 에 대해 연관된 가중치들은 도 19에 있는 그래프 (1908) 에 예시된 가중치 STDP 규칙으로 학습될 수도 있다. 그래프 (1908) 는 스파이크 시간 차이의 함수로서 가중치의 승산 변화 (multiplicative change) 를 보여준다.

도 20은 본 개시의 소정 양태들에 따른 도 19로부터의 예시적인 가중치 STDP 규칙을 이용하여 억제성 패턴들을 학습하는 일 예를 예시한다. 그래프 (2002) 는 흥분성 입력 (예를 들어, 도 19 에 있는 흥분성 감각 입력 (1904)) 을 보여주고, 그래프 (2004) 는 억제성 입력들의 합 (예를 들어, 도 19 에 있는 억제성 스파이크 트레인들 (1906) 의 합) 을 보여주고, 그래프 (2006) 는 결과적인 순 시냅스 입력을 보여주고, 그래프 (2010) 는 검출자 뉴런 (예를 들어, 도 19에 있는 검출자 뉴런 (1902)) 의 막 전압 전위를 보여준다. 학습된 억제성 시냅스 가중치들은 도 20 에 있는 그래프 (2008) 에 예시되어 있다. 이 예에서, 흥분성 자극의 반복된 표출은 억제성 성분에 대해 적절한 가중치 값들의 학습, 그리고 흥분성 자극과 비슷한 억제성 예측에 이른다.

도 21 은 본 개시의 소정 양태들에 따른 집단 활동에 의해 트리거된 억제성 예측 릴레이의 예 (2100) 를 예시한다. 도 21은 연관된 가중치들 w₀, w₁, … w_N 을 갖는 억제성 트레이닝 패턴 (2106) 에 의해 인식될 흥분성 감각 입력 (2104) 을 갖는 예시적인 검출자 뉴런 (2102) 을 예시한다. 일 양태에서, 억제성 예측 (2106) 은 집단 활동 (2108) 에 의해 트리거될 수도 있다. 다른 양태에서, 억제성 예측 (2106) 은 원심성 신경 복사 (efferent copy) 에 의해 트리거될 수도 있다.

도 22 은 본 개시의 소정 양태들에 따른 복수의 인공 뉴런들을 갖는 인공 신경 시스템을 동작시키기 위한 예시적인 동작들 (2200) 의 흐름도이다. 동작들 (2200) 은 하드웨어에서 (예를 들어, 뉴로모픽 프로세서 등의 하나 이상의 신경 처리 유닛들에 의해), 소프트웨어에서, 또는 펌웨어에서 수행될 수도 있다. 인공 신경 시스템은, 시신경 시스템, 청신경 시스템, 해마 등과 같은 다양한 생물학적 또는 가상의 (imaginary) 신경 시스템들 중 임의의 것에 대해 모델링될 수도 있다.

동작들 (2200) 은, 2202 에서, 인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 인공 신경 시스템의 인공 뉴런의 역치하 영역에서 아날로그 파형 인식을 수행하는 것에 의해 시작될 수도 있다. 2204 에서, 예측된 파형은 입력과 비교될 수도 있다. 2206 에서, 신호는 비교에 적어도 부분적으로 기초하여 생성될 수도 있다.

본 개시의 소정 양태들에 따르면, 신호는 입력 및 예측된 파형이 매칭되는 정도를 나타낼 수도 있다. 일 양태에서, 예측된 파형을 업데이트 (학습) 하는 것은, 신호에 적어도 부분적으로 기초할 수도 있다. 소정 양태들에 따르면, 입력은, 아날로그 (즉, 연속 시간 신호) 일 수도 있거나, 또는 이산/샘플링될 수도 있는 복수의 입력 신호들을 포함할 수도 있다. 본 개시의 일 양태에서, 인공 신경 시스템의 검출자 인공 뉴런은, 신호에 적어도 부분적으로 기초하여, 입력과 예측된 파형 사이의 매칭을 검출하는 검출 신호를 생성할 수도 있다.

본 개시의 소정 양태들에 따르면, 예측된 파형을 입력과 비교하는 것은, 인공 뉴런을 포함하는 적분기들의 단발성 발화의 스파이크들에 적어도 부분적으로 기초하여 입력과 예측된 파형 사이의 매칭 및 미스매칭을 검출하는 것을 포함할 수도 있다. 일 양태에서, 단발성 발화의 스파이크들의 스파이크간 간격 (ISI) 들은 입력과 예측된 파형 사이의 매칭 또는 입력과 예측된 파형 사이의 미스매치를 나타낼 수도 있다. 일 양태에서, ISI 들은, ISI 들의 변동들이 정의된 (작은) 값에 의해 한정되면 입력과 예측된 파형 사이의 매칭을 나타낸다. ISI 들 중 하나 이상이 제 1 역치보다 더 크거나 또는 제 2 역치보다 작을 때, 경고가, 인공 신경 시스템의 지터 검출자, 인공 신경 시스템의 지연 라인, 또는 인공 신경 시스템 내의 누설-통합-및-발화 (LIF) 신경 망에 의해, 생성된다. 일 양태에서, 단발성 발화의 샘플링의 주파수는 단발성 발화와 연관된 신호의 고유 역학 (inherent dynamics) 에 매칭하도록 튜닝될 수도 있다. 일 양태에서, 단발성 발화의 샘플링의 주파수를 튜닝하는 것은 인공 뉴런의 하나 이상의 파라미터들을 조정하는 것에 의해 달성될 수도 있다.

본 개시의 소정 양태들에 따르면, 예측된 파형은 인공 신경 시스템의 정확하게 타이밍된 그리고 가중된 뉴런간 스파이크들에 의해 생성된 억제성 시냅스후 전류 (IPSC) 의 합으로서 생성될 수도 있다. 일 양태에서, 뉴런간 스파이크들을 생성하기 위한 학습 메카니즘은 가중치 및 지연 가소성 규칙들을 이용함으로써 수행될 수도 있다. 다른 양태에서, 뉴런간 스파이크들을 생성하기 위한 학습 메카니즘은 인공 신경 시스템의 억제성 인공 뉴런들과 연관된 개개의 기저 스파이크 함수들의 기여들을 조정하기 위해 가중치 가소성을 이용함으로써 수행될 수도 있다. 억제성 인공 뉴런들을 위한 혼돈 Cold 뉴런 모델은 억제성 인공 뉴런들과 연관된 스파이크 시간들의 라이브러리를 제공할 수도 있고, 여기서 학습 메카니즘은 스파이크 시간들의 라이브러리에 적어도 부분적으로 기초할 수도 있다.

도 23 은 본 개시물의 소정의 양태들에 따른 범용 프로세서 (2302) 를 이용하여 복수의 인공 뉴런들을 갖는 인공 신경 시스템을 동작시키는 상술된 방법의 예시적인 블록도 (2300) 를 예시한다. 연산 망 (신경 망) 과 연관된 변수들 (신경 신호들), 시냅스 가중치들, 및/또는 시스템 파라미터들이 메모리 블록 (2304) 에 저장될 수도 있는 반면, 범용 프로세서 (2302) 에서 실행되는 관련된 명령들은 프로그램 메모리 (2306) 로부터 로딩될 수도 있다. 본 개시의 일 양태에서, 범용 프로세서 (2302) 에 로딩되는 명령들은 일반적으로, 인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 인공 신경 시스템의 인공 뉴런의 역치하 영역에서 아날로그 파형 인식을 수행하기 위한 코드, 예측된 파형을 그 입력과 비교하기 위한 코드, 및 비교에 적어도 부분적으로 기초하여 신호를 생성하기 위한 코드를 포함할 수도 있다.

도 24 는, 본 개시물의 소정의 양태들에 따른 메모리 (2402) 가 상호접속망 (2404) 을 통해 연산 망 (신경 망) 의 개별 (분산된) 처리 유닛들 (신경 프로세서들) (2406) 과 인터페이스 접속될 수 있는 복수의 인공 뉴런들을 갖는 인공 신경 시스템을 동작시키는 상술된 방법의 예시적인 블록도 (2400) 를 예시한다. 연산 망 (신경 망) 과 연관된 변수들 (신경 신호들), 시냅스 가중치들, 및/또는 시스템 파라미터들은 메모리 (2402) 에 저장될 수도 있고, 메모리 (2402) 로부터 상호접속 망 (2404) 의 접속(들)을 통해 각각의 처리 유닛 (신경 프로세서) (2406) 으로 로딩될 수도 있다. 본 개시의 일 양태에서, 처리 유닛 (2406) 은, 인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 인공 신경 시스템의 인공 뉴런의 역치하 영역에서 아날로그 파형 인식을 수행하고, 예측된 파형을 그 입력과 비교하고, 그리고 비교에 적어도 부분적으로 기초하여 신호를 생성하도록 구성될 수도 있다.

도 25 는 본 개시물의 소정의 양태들에 따른 분산된 가중치 메모리들 (2502) 및 분산된 처리 유닛들 (신경 프로세서들) (2504) 에 기초하여 복수의 인공 뉴런들을 갖는 인공 신경 시스템을 동작시키는 상술된 방법의 예시적인 블록도 (2500) 를 도시한다. 도 25 에 도시된 바와 같이, 하나의 메모리 뱅크 (2502) 는 연산 망 (신경 망) 의 하나의 처리 유닛 (2504) 과 직접 인터페이스 접속될 수도 있으며, 여기서 그 메모리 뱅크 (2502) 는 그 처리 유닛 (신경 프로세서) (2504) 와 연관된 변수들 (신경 신호들), 시냅스 가중치들, 및/또는 시스템 파라미터들을 저장할 수도 있다. 본 개시의 일 양태에서, 처리 유닛 (2504) 은, 인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 인공 신경 시스템의 인공 뉴런의 역치하 영역에서 아날로그 파형 인식을 수행하고, 예측된 파형을 그 입력과 비교하고, 그리고 비교에 적어도 부분적으로 기초하여 신호를 생성하도록 구성될 수도 있다.

도 26 은 본 개시의 소정 양태들에 따른 신경 망 (2600) 의 예시적 구현을 예시한다. 도 26 에 도시된 바와 같이, 신경 망 (2600) 은 상술된 방법들의 다양한 동작들을 수행할 수도 있는 복수의 로컬 처리 유닛들 (2602) 을 포함할 수도 있다. 각각의 처리 유닛 (2602) 은 신경 망의 파라미터들을 저장하는 로컬 상태 메모리 (2604) 및 로컬 파라미터 메모리 (2606) 를 포함할 수도있다. 추가적으로, 처리 유닛 (2602) 은 로컬 (뉴런) 모델 프로그램을 갖는 메모리 (2608), 로컬 학습 프로그램을 갖는 메모리 (2610), 및 로컬 접속 메모리 (2612) 를 포함할 수도 있다. 또한, 도 26 에 도시된 바와 같이, 각각의 로컬 처리 유닛 (2602) 은 로컬 처리 유닛의 로컬 메모리들을 위한 구성을 제공할 수도 있는 구성 처리를 위한 유닛 (2614) 과, 그리고 로컬 처리 유닛들 (2602) 사이에 라우팅을 제공하는 라우팅 접속 처리 엘리먼트들 (2616) 과 인터페이스 접속될 수도 있다.

본 개시물의 소정의 양태들에 따르면, 각각의 로컬 처리 유닛(2602) 은 신경 망의 소망하는 하나 이상의 기능적 특징들에 기초하여 신경망의 파라미터들을 결정하고, 결정된 파라미터들이 또한 적응, 튜닝, 및 업데이트됨에 따라 소망하는 기능적 특징들을 향한 하나 이상의 기능적 특징들을 개발하도록 구성될 수도 있다.

도 27 은 본 개시물의 소정의 양태들에 따른 인공 신경 시스템을 위한 예시적인 하드웨어 구현의 블록도 (2700) 이다. 위에서 설명된 바와 같은, STDP 업데이팅은 가소성 업데이트 시행 및 리어셈블 블록 (2702) 에서 일어날 수도 있다. 소정의 양태들에 있어서, 업데이트된 시냅스 가중치들은 오프-칩메모리 (예를 들어, 동적 랜덤 액세스 메모리 (DRAM) (2706)) 에 (캐시 라인 인터페이스 (2704) 를 통해) 저장될 수도 있다.

통상적인 인공 신경 시스템에서, 인공 뉴런들보다 더 많은 시냅스들이 있고, 큰 신경 망에 대해서, 시냅스 업데이트를 효율적인 방식으로 처리하는 것이 요망된다. 많은 수의 시냅스들은 시냅스 가중치들 및 다른 파라미터들을 메모리 (예를 들어, DRAM (2706)) 에 저장하는 것을 제안할 수도 있다. 인공 뉴런들이 이른바 "슈퍼 뉴런 (super neuron; SN)" 에서 스파이크들을 발생시키는 경우, 뉴런들은 시냅스후 뉴런들 및 대응하는 신경 가중치들을 결정하기 위해 DRAM 룩업들을 통해 시냅스후 뉴런들에 그러한 스파이크들을 포워딩할 수도 있다. 빠르고 효율적인 룩업을 가능하게 하기 위해, 시냅스 순서화는, 예를 들어, 뉴런로부터의 팬-아웃 (fan-out) 에 기초하여 메모리에서 연속적으로 유지될 수도 있다. 추후에 블록 2702 에서 STDP 업데이트들을 처리하는 경우에, LTP 업데이트들에 대한 역 맵핑을 결정하기 위해 DRAM 또는 큰 룩업 테이블이 검색될 필요가 없기 때문에 효율은 이러한 메모리 레이아웃을 고려해 볼 때 포워드 팬-아웃에 기초하여 업데이트들을 처리하는 것을 좌우할 수도 있다. 도 27 에 도시된 접근법은 이것을 용이하게 한다. 가소성 업데이트 실시 및 리어셈블 블록 (2702) 은 시냅스전 및 시냅스후 스파이크 시간들을 획득하기 위한 노력으로 슈퍼 뉴런들에 질의하여, 다시 관련 상태 메모리의 양을 감소시킬 수도 있다.

위에 설명된 방법들의 다양한 동작들은 대응하는 기능들을 수행할 수 있는 임의의 적합한 수단에 의해 수행될 수도 있다. 그 수단은, 회로, 주문형 집적 회로 (ASIC) 또는 프로세서를 포함하지만 이에 한정되지 않는 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들) 및/또는 모듈(들) 을 포함할 수도 있다. 예를 들어, 다양한 동작들이 도 23 내지 도 27에 도시된 다양한 프로세서들 중 하나 이상에 의해 수행될 수도 있다. 일반적으로, 도면에 예시된 동작들이 있는 경우에, 그러한 동작들은 유사한 넘버링을 갖는 대응하는 상대의 기능식 컴포넌트들을 가질 수도 있다. 예를 들어, 도 22에 예시된 동작들 (2200) 은 도 22a 에 예시된 수단 (2200A) 에 대응한다.

예를 들어, 표시하는 수단은 디스플레이 (예를 들어, 모니터, 플랫 스크린, 터치 스크린 등), 프린터, 또는 시각적 묘사 (예를 들어, 테이블, 차트, 또는 그래프) 를 위해 데이터를 출력하기 위한 임의의 다른 적합한 수단을 포함할 수도 있다. 처리하는 수단, 수신하는 수단, 트래킹하는 수단, 조정하는 수단, 업데이트하는 수단, 또는 결정하는 수단은, 하나 이상의 프로세서들 또는 처리 유닛들을 포함할 수도 있는 처리 시스템을 포함할 수도 있다. 감지하는 수단은 센서를 포함할 수도 있다. 저장하는 수단은, 처리 시스템에 의해 액세스될 수도 있는, 메모리 또는 임의의 다른 적합한 저장 디바이스 (예를 들어, RAM) 를 포함할 수도 있다.

본원에서 사용된, 용어 "결정" 은 광범위하게 다양한 활동들을 포함한다. 예를 들어, "결정" 은 계산, 컴퓨팅, 처리, 도출, 조사, 룩업 (예를 들면, 테이블, 데이터베이스 또는 또 다른 데이터 구조에서의 룩업), 확인 등을 포함할 수도 있다. 또한, "결정" 은 수신하는 것 (예를 들면, 정보를 수신하는 것), 액세스하는 것 (예컨대, 메모리에서 데이터에 액세스하는 것) 등을 포함할 수도 있다. 또한, "결정" 은 해결하는 것, 선택하는 것, 선정하는 것, 확립하는 것 등을 포함할 수도 있다.

본원에 사용된, 아이템의 리스트 "중 적어도 하나" 를 나타내는 어구는, 단수 멤버들을 포함한 그러한 아이템들의 임의의 조합을 표현한다. 일 예로서, "a, b, 또는 c 중 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 를 포함하도록 의도된다.

본 개시와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 및 회로는 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 신호 (FPGA) 또는 다른 프로그램가능 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트 또는 여기에 설명된 기능을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 프로세서는 임의의 상용 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다.

본 개시와 관련하여 설명된 방법 또는 알고리즘의 단계는, 직접적으로 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 양자의 조합으로 구현될 수도 있다. 소프트웨어 모듈은 당업계에 공지된 임의의 형태의 저장 매체에 상주할 수도 있다. 이용될 수도 저장 매체들의 일부 예들은, 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈은 단일 명령 또는 많은 명령들을 포함할 수도 있고,상이한 프로그램들 사이에서 여러 상이한 코드 세그먼트들 상에, 그리고 다수의 저장 매체들에 걸쳐 분포될 수도 있다. 저장 매체는 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있도록 프로세서에 연결될 수도 있다. 다르게는, 저장 매체는 프로세서에 내장될 수도 있다.

본원에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 행동들을 포함한다. 방법 단계들 및/또는 행동들은 청구항들의 범위로부터 이탈함이 없이 서로 상호교환될 수도 있다. 즉, 단계들 또는 행동들의 특정 순서가 명시되지 않으면, 특정 단계들 및/또는 행동들의 순서 및/또는 사용은 청구항들의 범위로부터 이탈함이 없이 수정될 수도 있다.

설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어에서 구현되면, 예시적인 하드웨어 구성은 디바이스에 처리 시스템을 포함할 수도 있다. 처리 시스템은 버스 아키텍쳐로 구현될 수도 있다. 버스는 처리 시스템의 특정 응용 및 전체 설계 제약들에 따라 임의의 수의 상호접속 버스 및 브리지들을 포함할 수도 있다. 버스는 프로세서, 머신-판독가능 매체들, 및 버스 인터페이스를 포함한 다양한 회로들을 함께 링크할 수도 있다. 버스 인터페이스는 다른 것들 중에서 네트워크 어댑터를 버스를 통해 처리 시스템에 접속시키는데 이용될 수도 있다. 네트워크 어댑터는 신호 처리 기능들을 구현하는데 이용될 수도 있다. 소정의 양태들에서, 사용자 인터페이스 (예를 들어, 키패드, 디스플레이, 마우스, 조이스틱 등) 가 또한 버스에 접속될 수도 있다. 버스는 또한, 타이밍 소스, 주변기기, 전압 레귤레이터, 전력 관리 회로 등과 같은 다양한 다른 회로들을 링크할 수도 있는데, 이들은 업계에 잘 알려져 있으므로, 더 이상 설명되지 않을 것이다.

프로세서는, 버스를 관리하는 것 및 머신 판독가능 매체에 저장된 소프트웨어의 실행을 포함한, 일반적인 처리를 담당할 수도 있다. 프로세서는 하나 이상의 범용 및/또는 특수-목적 프로세서들로 구현될 수도 있다. 예들은 마이크로프로세서들, 마이크로제어기들, DSP 프로세서들, 및 소프트웨어를 실행할 수 있는 다른 회로를 포함한다. 소프트웨어는 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 달리 지칭되는지 간에 명령들, 데이터, 또는 이의 임의의 조합을 의미하는 것으로 넓게 해석되야 할 것이다. 머신-판독가능 매체들은, 예로서, RAM (Random Access Memory), 플래시 메모리, ROM (Read Only Memory), PROM (Programmable Read-Only Memory), EPROM (Erasable Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), 레지스터들, 자기 디스크들, 광학 디스크들, 하드 드라이브들, 또는 임의의 적합한 저장 매체, 또는 이의 임의의 조합을 포함할 수도 있다. 머신 판독가능 매체는 컴퓨터 프로그램 제품에 수록될 수도 있다. 컴퓨터-프로그램 제품은 패키징 재료들을 포함할 수도 있다.

하드웨어 구현에서, 머신-판독가능 매체들은 프로세서와 별개인 처리 시스템의 일부분일 수도 있다. 그러나, 당업자들이 쉽게 이해할 바와 같이, 머신-판독가능 매체들 또는 이의 임의의 부분은 처리 시스템의 외부에 있을 수도 있다. 예로서, 머신-판독가능 매체들은 송신 라인, 데이터에 의해 변조된 반송파, 및/또는 디바이스와 별개인 컴퓨터 제품을 포함할 수도 있으며, 이들 모두는 버스 인터페이스를 통해서 프로세서에 의해 액세스될 수도 있다. 대안적으로 또는 추가적으로, 머신-판독가능 매체들 또는 이의 임의의 부분은 캐시 및/또는 범용 레지스터 파일들의 경우처럼 프로세서에 통합될 수도 있다.

처리 시스템은 프로세서 기능성을 제공하는 하나 이상의 마이크로프로세서들 및 적어도 머신-판독가능 매체의 일부를 제공하는 외부 메모리를 갖는 범용 처리 시스템으로서 구성될 수도 있으며, 이들 모두는 외부 버스 아키텍쳐를 통해서 다른 지원 회로부와 함께 링크된다. 대안적으로, 처리 시스템은 단일 칩으로 통합된 프로세서, 버스 인터페이스, 사용자 인터페이스, 지원하는 회로부, 및 머신-판독가능 매체들의 적어도 일부를 갖는 ASIC (Application Specific Integrated Circuit) 로, 또는 하나 이상의 FPGA (Field Programmable Gate Array) 들, PLD (Programmable Logic Device) 들, 제어기들, 상태 머신들, 게이팅된 로직, 이산 하드웨어 컴포넌트들, 또는 임의의 다른 적합한 회로부, 또는 본 개시물 전체에 걸쳐 설명된 다양한 기능성을 수행할 수 있는 회로들의 임의의 조합으로 구현될 수도 있다. 당업자는, 전체 시스템에 부과되는 설계 제약 및 특정 응용들에 따라 처리 시스템을 위한 설명된 기능성을 구현하기 위한 최선의 방법을 인식할 것이다.

머신-판독가능 매체들은 다수의 소프트웨어 모듈들을 포함할 수도있다. 소프트웨어 모듈들은, 프로세서에 의해 실행되는 경우, 처리 시스템으로 하여금, 다양한 기능들을 수행하게 하는 명령들을 포함한다. 소프트웨어 모듈들은 송신 모듈 및 수신 모듈을 포함할 수도 있다. 각각의 소프트웨어 모듈은 단일 저장 디바이스에 상주하거나 또는 다수의 저장 디바이스들에 걸쳐 분산될 수도 있다. 예로서, 트리거링 이벤트가 일어나는 경우 소프트웨어 모듈은 하드웨어 드라이브로부터 RAM 으로 로딩될 수도 있다. 소프트웨어 모듈의 실행 중에, 프로세서는 액세스 속도를 증가시키기 위해 캐시 내로 명령들 중 일부를 로딩할 수도 있다. 다음으로, 하나 이상의 캐시 라인들이 프로세서에 의한 실행을 위해 일반 레지스터 파일 내로 로딩될 수도 있다. 하기의 소프트웨어 모듈의 기능성을 언급할 때, 해당 소프트웨어 모듈로부터 명령들을 실행하는 경우, 그러한 기능성이 프로세서에 의해 구현된다는 것이 이해될 것이다.

소프트웨어로 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령 또는 코드로서 저장되거나 또는 송신될 수도 있다. 컴퓨터 판독가능 매체는 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체 및 컴퓨터 저장 매체 양자 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 비한정적 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 반송 또는 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선 (twisted pair), 디지털 가입자 라인 ("DSL"), 또는 적외선 (IR), 전파 (radio), 및 마이크로파와 같은 무선 기술을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 그 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 전파, 및 마이크로파와 같은 무선 기술은 매체의 정의 내에 포함된다. 여기에 설명된 바와 같이, 디스크 (disk) 및 디스크 (disc) 는 CD (compact disc), 레이저 디스크 (laser disc), 광 디스크 (optical disc), DVD (digital versatile disc), 플로피 디스크 (floppy disk) 및 블루레이® 디스크 (Blu-ray® disc) 를 포함하며, 여기서, 디스크 (disk) 는 일반적으로 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 따라서, 일부 양태들에서 컴퓨터-판독가능 매체들은 비일시적 컴퓨터-판독가능 매체들 (예를 들어, 유형의 매체들) 을 포함할 수도 있다. 추가적으로, 다른 양태들에 있어서, 컴퓨터-판독가능 매체들은 일시적 컴퓨터-판독가능 매체들 (예를 들어, 신호) 을 포함할 수도있다. 또한, 상기의 조합은 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.

따라서, 소정의 양태들은 본원에 제시된 동작들을 수행하기 위한 컴퓨터 프로그램 제품을 포함할 수도 있다. 예를 들어, 이러한 컴퓨터 프로그램 제품은 저장된 (및/또는 인코딩된) 명령들을 갖는 컴퓨터-판독가능 매체를 포함할 수도있으며, 그 명령들은 본원에 설명된 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능할 수도 있다. 소정의 양태들에 있어서, 컴퓨터 프로그램 제품은 패키징 재료를 포함할 수도 있다.

또한, 본원에 설명된 방법들 및 기법들을 수행하는 모듈들 및/또는다른 적절한 수단이 다운로드될 수도 있거나 및/또는, 그렇지 않으면 적용가능한 경우 디바이스에 의해 획득될 수도 있다는 것이 인식되야 한다. 예를 들어, 그러한 디바이스는 본원에 설명된 방법들을 수행하는 수단의 전달을 가능하게 하기 위해 서버에 연결될 수 있다. 다르게는, 본원에 기재된 다양한 방법들은 저장 수단 (예를 들어, RAM, ROM, 물리적 저장 매체, 이를테면 컴팩트 디스크 (CD) 또는 플로피 디스크 등) 을 통해 제공되어, 디바이스는, 그 디바이스에 저장 수단을 연결 또는 제공할 시에 그 다양한 방법들을 획득할 수 있다. 더욱이, 여기에 기재된 방법들 및 기법들을 제공하기 위한 임의의 다른 적합한 기법이 이용될 수 있다.

청구항들은 위에 예시된 바로 그 구성 및 컴포넌트들에 한정되지 않는다는 것이 이해되야 한다. 청구항들의 범위로부터 이탈함이 없이 위에서 설명된, 방법 및 장치의 배열, 동작 및 상세들에서 다양한 수정, 변경 및 변형들이 이루어질 수도 있다.

Claims

인공 신경 시스템을 동작시키는 방법으로서,
인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 상기 인공 신경 시스템의 상기 인공 뉴런의 역치하 (sub-threshold) 영역에서 아날로그 파형 인식을 수행하는 단계;
상기 예측된 파형을 상기 입력과 비교하는 단계; 및
상기 비교에 적어도 부분적으로 기초하여 신호를 생성하는 단계
를 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 1 항에 있어서,
상기 신호는 상기 입력과 상기 예측된 파형이 매칭되는 정도를 나타내는, 인공 신경 시스템을 동작시키는 방법.
제 1 항에 있어서,
상기 신호에 적어도 부분적으로 기초하여 상기 예측된 파형을 업데이트하는 단계를 더 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 1 항에 있어서,
상기 입력은 복수의 입력 신호들을 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 1 항에 있어서,
상기 신호에 적어도 부분적으로 기초한 상기 인공 신경 시스템의 검출자 인공 뉴런에 의해, 상기 입력과 상기 예측된 파형 사이의 매칭을 검출하는 검출 신호를 생성하는 단계를 더 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 1 항에 있어서,
상기 예측된 파형을 상기 입력과 비교하는 단계는
상기 인공 뉴런을 포함하는 적분기의 단발성 발화의 스파이크들에 적어도 부분적으로 기초하여 상기 입력과 상기 예측된 파형 사이의 매칭 및 미스매칭을 검출하는 단계를 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 6 항에 있어서,
상기 단발성 발화의 스파이크들의 스파이크간 간격 (ISI) 들은 상기 입력과 상기 예측된 파형 사이의 매칭 또는 상기 입력과 상기 예측된 파형 사이의 미스매치를 나타내는, 인공 신경 시스템을 동작시키는 방법.
제 7 항에 있어서,
상기 ISI 들은, 상기 ISI 들의 변동이 정의된 값에 의해 한정되면 상기 입력과 상기 예측된 파형 사이의 매칭을 나타내는, 인공 신경 시스템을 동작시키는 방법.
제 7 항에 있어서,
상기 ISI 들 중 하나 이상이 제 1 역치보다 더 크거나 또는 제 2 역치보다 더 작을 때 경고를 생성하는 단계를 더 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 9 항에 있어서,
상기 경고는 상기 인공 신경 시스템의 지터 검출자, 상기 인공 신경 시스템의 지연 라인, 또는 상기 인공 신경 시스템 내의 누설-통합-및-발화 (LIF) 신경 망에 의해 생성되는, 인공 신경 시스템을 동작시키는 방법.
제 6 항에 있어서,
상기 단발성 발화와 연관된 신호의 고유 역학 (inherent dynamics) 에 매칭하도록 상기 단발성 발화의 샘플링의 주파수를 튜닝하는 단계를 더 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 11 항에 있어서,
상기 인공 뉴런의 하나 이상의 파라미터들을 조정하는 것에 의해 상기 단발성 발화의 샘플링의 주파수를 튜닝하는 단계를 더 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 1 항에 있어서,
상기 인공 신경 시스템의 정확하게 타이밍된 그리고 가중된 뉴런간 스파이크들에 의해 생성된 억제성 시냅스후 전류 (IPSC) 의 합으로서 상기 예측된 파형을 생성하는 단계를 더 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 13 항에 있어서,
가중치 및 지연 가소성 규칙들을 이용함으로써 상기 뉴런간 스파이크들을 생성하기 위한 학습 메카니즘을 수행하는 단계를 더 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 13 항에 있어서,
상기 인공 신경 시스템의 억제성 인공 뉴런들과 연관된 개개의 기저 스파이크 함수들의 기여들을 조정하기 위해 가중치 가소성을 이용함으로써 상기 뉴런간 스파이크들을 생성하기 위한 학습 메카니즘을 수행하는 단계를 더 포함하는, 인공 신경 시스템을 동작시키는 방법.
제 15 항에 있어서,
상기 억제성 인공 뉴런들을 위한 혼돈 Cold 뉴런 모델은 상기 억제성 인공 뉴런들과 연관된 스파이크 시간들의 라이브러리를 제공하는, 인공 신경 시스템을 동작시키는 방법.
제 16 항에 있어서,
상기 학습 메카니즘은 상기 스파이크 시간들의 라이브러리에 적어도 부분적으로 기초하는, 인공 신경 시스템을 동작시키는 방법.
인공 신경 시스템을 동작시키기 위한 장치로서,
인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 상기 인공 신경 시스템의 상기 인공 뉴런의 역치하 (sub-threshold) 영역에서 아날로그 파형 인식을 수행하도록 구성된 제 1 회로;
상기 예측된 파형을 상기 입력과 비교하도록 구성된 제 2 회로; 및
상기 비교에 적어도 부분적으로 기초하여 신호를 생성하도록 구성된 제 3 회로
를 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 18 항에 있어서,
상기 신호는 상기 입력과 상기 예측된 파형이 매칭되는 정도를 나타내는, 인공 신경 시스템을 동작시키기 위한 장치.
제 18 항에 있어서,
상기 신호에 적어도 부분적으로 기초하여 상기 예측된 파형을 업데이트하도록 구성된 제 4 회로를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 18 항에 있어서,
상기 입력은 복수의 입력 신호들을 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 18 항에 있어서,
상기 신호에 적어도 부분적으로 기초한 상기 인공 신경 시스템의 검출자 인공 뉴런에 의해, 상기 입력과 상기 예측된 파형 사이의 매칭을 검출하는 검출 신호를 생성하도록 구성된 제 4 회로를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 18 항에 있어서,
상기 예측된 파형을 상기 입력과 비교하도록 구성된 제 2 회로는 또한
상기 인공 뉴런을 포함하는 적분기의 단발성 발화의 스파이크들에 적어도 부분적으로 기초하여 상기 입력과 상기 예측된 파형 사이의 매칭 및 미스매칭을 검출하도록 구성되는, 인공 신경 시스템을 동작시키기 위한 장치.
제 23 항에 있어서,
상기 단발성 발화의 스파이크들의 스파이크간 간격 (ISI) 들은 상기 입력과 상기 예측된 파형 사이의 매칭 또는 상기 입력과 상기 예측된 파형 사이의 미스매치를 나타내는, 인공 신경 시스템을 동작시키기 위한 장치.
제 24 항에 있어서,
상기 ISI 들은, 상기 ISI 들의 변동이 정의된 값에 의해 한정되면 상기 입력과 상기 예측된 파형 사이의 매칭을 나타내는, 인공 신경 시스템을 동작시키기 위한 장치.
제 24 항에 있어서,
상기 ISI 들 중 하나 이상이 제 1 역치보다 더 크거나 또는 제 2 역치보다 더 작을 때 경고를 생성하도록 구성된 제 4 회로를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 26 항에 있어서,
상기 경고는 상기 인공 신경 시스템의 지터 검출자, 상기 인공 신경 시스템의 지연 라인, 또는 상기 인공 신경 시스템 내의 누설-통합-및-발화 (LIF) 신경 망에 의해 생성되는, 인공 신경 시스템을 동작시키기 위한 장치.
제 23 항에 있어서,
상기 단발성 발화와 연관된 신호의 고유 역학 (inherent dynamics) 에 매칭하도록 상기 단발성 발화의 샘플링의 주파수를 튜닝하도록 구성된 제 4 회로를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 28 항에 있어서,
상기 제 4 회로는 또한
상기 인공 뉴런의 하나 이상의 파라미터들을 조정하는 것에 의해 상기 단발성 발화의 샘플링의 주파수를 튜닝하도록 구성되는, 인공 신경 시스템을 동작시키기 위한 장치.
제 18 항에 있어서,
상기 인공 신경 시스템의 정확하게 타이밍된 그리고 가중된 뉴런간 스파이크들에 의해 생성된 억제성 시냅스후 전류 (IPSC) 의 합으로서 상기 예측된 파형을 생성하도록 구성된 제 4 회로를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 30 항에 있어서,
가중치 및 지연 가소성 규칙들을 이용함으로써 상기 뉴런간 스파이크들을 생성하기 위한 학습 메카니즘을 수행하도록 구성된 제 5 회로를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 30 항에 있어서,
상기 인공 신경 시스템의 억제성 인공 뉴런들과 연관된 개개의 기저 스파이크 함수들의 기여들을 조정하기 위해 가중치 가소성을 이용함으로써 상기 뉴런간 스파이크들을 생성하기 위한 학습 메카니즘을 수행하도록 구성된 제 5 회로를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 32 항에 있어서,
상기 억제성 인공 뉴런들을 위한 혼돈 Cold 뉴런 모델은 상기 억제성 인공 뉴런들과 연관된 스파이크 시간들의 라이브러리를 제공하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 33 항에 있어서,
상기 학습 메카니즘은 상기 스파이크 시간들의 라이브러리에 적어도 부분적으로 기초하는, 인공 신경 시스템을 동작시키기 위한 장치.
인공 신경 시스템을 동작시키기 위한 장치로서,
인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 상기 인공 신경 시스템의 상기 인공 뉴런의 역치하 (sub-threshold) 영역에서 아날로그 파형 인식을 수행하는 수단;
상기 예측된 파형을 상기 입력과 비교하는 수단; 및
상기 비교에 적어도 부분적으로 기초하여 신호를 생성하는 수단
을 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 35 항에 있어서,
상기 신호는 상기 입력과 상기 예측된 파형이 매칭되는 정도를 나타내는, 인공 신경 시스템을 동작시키기 위한 장치.
제 35 항에 있어서,
상기 신호에 적어도 부분적으로 기초하여 상기 예측된 파형을 업데이트하는 수단을 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 35 항에 있어서,
상기 입력은 복수의 입력 신호들을 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 35 항에 있어서,
상기 신호에 적어도 부분적으로 기초한 상기 인공 신경 시스템의 검출자 인공 뉴런에 의해, 상기 입력과 상기 예측된 파형 사이의 매칭을 검출하는 검출 신호를 생성하는 수단을 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 35 항에 있어서,
상기 예측된 파형을 상기 입력과 비교하는 수단은
상기 인공 뉴런을 포함하는 적분기의 단발성 발화의 스파이크들에 적어도 부분적으로 기초하여 상기 입력과 상기 예측된 파형 사이의 매칭 및 미스매칭을 검출하는 수단을 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 40 항에 있어서,
상기 단발성 발화의 스파이크들의 스파이크간 간격 (ISI) 들은 상기 입력과 상기 예측된 파형 사이의 매칭 또는 상기 입력과 상기 예측된 파형 사이의 미스매치를 나타내는, 인공 신경 시스템을 동작시키기 위한 장치.
제 41 항에 있어서,
상기 ISI 들은, 상기 ISI 들의 변동이 정의된 값에 의해 한정되면 상기 입력과 상기 예측된 파형 사이의 매칭을 나타내는, 인공 신경 시스템을 동작시키기 위한 장치.
제 41 항에 있어서,
상기 ISI 들 중 하나 이상이 제 1 역치보다 더 크거나 또는 제 2 역치보다 더 작을 때 경고를 생성하는 수단을 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 43 항에 있어서,
상기 경고는 상기 인공 신경 시스템의 지터 검출자, 상기 인공 신경 시스템의 지연 라인, 또는 상기 인공 신경 시스템 내의 누설-통합-및-발화 (LIF) 신경 망에 의해 생성되는, 인공 신경 시스템을 동작시키기 위한 장치.
제 40 항에 있어서,
상기 단발성 발화와 연관된 신호의 고유 역학 (inherent dynamics) 에 매칭하도록 상기 단발성 발화의 샘플링의 주파수를 튜닝하는 수단을 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 45 항에 있어서,
상기 인공 뉴런의 하나 이상의 파라미터들을 조정하는 것에 의해 상기 단발성 발화의 샘플링의 주파수를 튜닝하는 수단을 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 35 항에 있어서,
상기 인공 신경 시스템의 정확하게 타이밍된 그리고 가중된 뉴런간 스파이크들에 의해 생성된 억제성 시냅스후 전류 (IPSC) 의 합으로서 상기 예측된 파형을 생성하는 수단을 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 47 항에 있어서,
가중치 및 지연 가소성 규칙들을 이용함으로써 상기 뉴런간 스파이크들을 생성하기 위한 학습 메카니즘을 수행하는 수단을 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 47 항에 있어서,
상기 인공 신경 시스템의 억제성 인공 뉴런들과 연관된 개개의 기저 스파이크 함수들의 기여들을 조정하기 위해 가중치 가소성을 이용함으로써 상기 뉴런간 스파이크들을 생성하기 위한 학습 메카니즘을 수행하는 수단을 더 포함하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 49 항에 있어서,
상기 억제성 인공 뉴런들을 위한 혼돈 Cold 뉴런 모델은 상기 억제성 인공 뉴런들과 연관된 스파이크 시간들의 라이브러리를 제공하는, 인공 신경 시스템을 동작시키기 위한 장치.
제 50 항에 있어서,
상기 학습 메카니즘은 상기 스파이크 시간들의 라이브러리에 적어도 부분적으로 기초하는, 인공 신경 시스템을 동작시키기 위한 장치.
명령들을 갖는 비일시적 컴퓨터 판독가능 매체를 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품으로서,
상기 명령들은
인공 뉴런과 연관된 입력에 병행하여 예측된 파형을 제공하는 것에 의해 상기 인공 신경 시스템의 상기 인공 뉴런의 역치하 (sub-threshold) 영역에서 아날로그 파형 인식을 수행하고;
상기 예측된 파형을 상기 입력과 비교하고; 그리고
상기 비교에 적어도 부분적으로 기초하여 신호를 생성하도록 실행가능한, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 52 항에 있어서,
상기 신호는 상기 입력과 상기 예측된 파형이 매칭되는 정도를 나타내는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 52 항에 있어서,
상기 컴퓨터 판독가능 매체는
상기 신호에 적어도 부분적으로 기초하여 상기 예측된 파형을 업데이트하기 위한 코드를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 52 항에 있어서,
상기 입력은 복수의 입력 신호들을 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 52 항에 있어서,
상기 컴퓨터 판독가능 매체는
상기 신호에 적어도 부분적으로 기초한 상기 인공 신경 시스템의 검출자 인공 뉴런에 의해, 상기 입력과 상기 예측된 파형 사이의 매칭을 검출하는 검출 신호를 생성하기 위한 코드를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 52 항에 있어서,
상기 컴퓨터 판독가능 매체는
상기 인공 뉴런을 포함하는 적분기의 단발성 발화의 스파이크들에 적어도 부분적으로 기초하여 상기 입력과 상기 예측된 파형 사이의 매칭 및 미스매칭을 검출하기 위한 코드를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 57 항에 있어서,
상기 단발성 발화의 스파이크들의 스파이크간 간격 (ISI) 들은 상기 입력과 상기 예측된 파형 사이의 매칭 또는 상기 입력과 상기 예측된 파형 사이의 미스매치를 나타내는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 57 항에 있어서,
ISI 들은, 상기 ISI 들의 변동이 정의된 값에 의해 한정되면 상기 입력과 상기 예측된 파형 사이의 매칭을 나타내는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 58 항에 있어서,
상기 컴퓨터 판독가능 매체는
상기 ISI 들 중 하나 이상이 제 1 역치보다 더 크거나 또는 제 2 역치보다 더 작을 때 경고를 생성하기 위한 코드를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 60 항에 있어서,
상기 경고는 상기 인공 신경 시스템의 지터 검출자, 상기 인공 신경 시스템의 지연 라인, 또는 상기 인공 신경 시스템 내의 누설-통합-및-발화 (LIF) 신경 망에 의해 생성되는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 57 항에 있어서,
상기 컴퓨터 판독가능 매체는
상기 단발성 발화와 연관된 신호의 고유 역학 (inherent dynamics) 에 매칭하도록 상기 단발성 발화의 샘플링의 주파수를 튜닝하기 위한 코드를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 62 항에 있어서,
상기 컴퓨터 판독가능 매체는
상기 인공 뉴런의 하나 이상의 파라미터들을 조정하는 것에 의해 상기 단발성 발화의 샘플링의 주파수를 튜닝하기 위한 코드를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 52 항에 있어서,
상기 컴퓨터 판독가능 매체는
상기 인공 신경 시스템의 정확하게 타이밍된 그리고 가중된 뉴런간 스파이크들에 의해 생성된 억제성 시냅스후 전류 (IPSC) 의 합으로서 상기 예측된 파형을 생성하기 위한 코드를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 64 항에 있어서,
상기 컴퓨터 판독가능 매체는
가중치 및 지연 가소성 규칙들을 이용함으로써 상기 뉴런간 스파이크들을 생성하기 위한 학습 메카니즘을 수행하기 위한 코드를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 64 항에 있어서,
상기 컴퓨터 판독가능 매체는
상기 인공 신경 시스템의 억제성 인공 뉴런들과 연관된 개개의 기저 스파이크 함수들의 기여들을 조정하기 위해 가중치 가소성을 이용함으로써 상기 뉴런간 스파이크들을 생성하기 위한 학습 메카니즘을 수행하기 위한 코드를 더 포함하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 66 항에 있어서,
상기 억제성 인공 뉴런들을 위한 혼돈 Cold 뉴런 모델은 상기 억제성 인공 뉴런들과 연관된 스파이크 시간들의 라이브러리를 제공하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.
제 67 항에 있어서,
상기 학습 메카니즘은 상기 스파이크 시간들의 라이브러리에 적어도 부분적으로 기초하는, 인공 신경 시스템을 동작시키기 위한 컴퓨터 프로그램 제품.