KR20170041724A - 비동기 펄스 변조를 이용한 인공 뉴런들 및 스파이킹 뉴런들 - Google Patents

Abstract

인공 뉴런을 구성하는 방법은 비동기 펄스 변조 코딩 표현들을 포함하는 입력 스파이크 트레인들의 세트를 수신하는 것을 포함한다. 본 방법은 또한 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하는 단계를 포함한다.

Description

비동기 펄스 변조를 이용한 인공 뉴런들 및 스파이킹 뉴런들{ARTIFICIAL NEURONS AND SPIKING NEURONS WITH ASYNCHRONOUS PULSE MODULATION}

관련 출원의 상호 참조

본 출원은 2014년 8월 8일에 출원되고 발명의 명칭이 "ARTIFICIAL NEURONS AND SPIKING NEURONS WITH ASYNCHRONOUS PULSE MODULATION" 인 미국 가특허출원 번호 제62/035,192호의 이익을 우선권으로 주장하며, 여기서는 이 개시가 전체적으로 참조로서 포함된다.

기술분야

본 개시의 특정 양태들은 일반적으로 신경 시스템 엔지니어링에 관한 것이고, 보다 구체적으로는, 비동기 펄스 변조를 이용하여 인공 뉴런들 및/또는 스파이킹 뉴런들을 구성하는 시스템들 및 방법들에 관한 것이다.

인공 뉴런들 (즉, 뉴런 모델들) 의 상호연결된 그룹을 포함할 수도 있는 인공 신경 네트워크는 연산 디바이스이거나 또는 연산 디바이스에 의해 수행될 방법을 나타낸다. 인공 신경 네트워크들은 생물학적 신경 네트워크들에 있어서의 대응하는 구조 및/또는 기능을 가질 수도 있다. 하지만, 인공 신경 네트워크들은, 종래의 연산 기법들이 번거롭거나 비실용적이거나 또는 부적절한 특정 애플리케이션들에 혁신적이고 유용한 연산 기법들을 제공할 수도 있다. 인공 신경 네트워크들은 관찰 정보들로부터 기능을 추론할 수 있으므로, 이러한 네트워크들은 태스크 또는 데이터의 복잡성이 종래 기법들에 의한 기능의 디자인을 부담스럽게 만드는 애플리케이션들에서 특히 유용하다.

본 개시의 일 양태에서, 인공 뉴런을 구성하는 방법이 제시된다. 본 방법은 비동기 펄스 변조 코딩 표현들을 포함하는 입력 스파이크 트레인들의 세트를 수신하는 단계를 포함한다. 본 방법은 또한 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하는 단계를 포함한다.

본 개시의 다른 양태에서, 인공 뉴런을 구성하는 장치가 제시된다. 본 장치는 메모리, 및 메모리에 커플링된 하나 이상의 프로세서들을 포함한다. 프로세서(들)은 비동기 펄스 변조 코딩 표현들을 포함하는 입력 스파이크 트레인들의 세트를 수신하도록 구성된다. 프로세서(들)은 또한 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 구성된다.

본 개시의 또 다른 양태에서, 인공 뉴런을 구성하는 장치가 제시된다. 본 장치는 비동기 펄스 변조 코딩 표현들을 포함하는 입력 스파이크 트레인들의 세트를 수신하는 수단을 포함한다. 본 장치는 또한 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하는 수단을 포함한다.

본 개시의 또 다른 양태에서, 인공 뉴런을 구성하는 컴퓨터 프로그램 제품이 제시된다. 프로그램 프로그램 제품은 프로그램 코드를 그 위에 인코딩한 비일시적 컴퓨터 판독가능 매체를 포함한다. 프로그램 코드는 비동기 펄스 변조 코딩 표현들을 포함하는 입력 스파이크 트레인들의 세트를 수신하기 위한 프로그램 코드를 포함한다. 프로그램 코드는 또한 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하기 위한 프로그램 코드를 포함한다.

이는 뒤에 오는 상세한 설명이 보다 잘 이해될 수도 있도록 본 개시의 특징들 및 기술적 이점들을 더 넓게 개요 설명하였다. 본 개시의 부가적인 특징들과 이점들은 하기에 설명될 것이다. 당업자라면, 본 개시가 본 개시의 동일한 목적을 수행하기 위한 다른 구조들을 수정하거나 설계하는 기초로서 쉽게 활용될 수도 있음이 이해되어야만 한다. 당업자라면, 이러한 등가의 구성들이 하기의 특허청구범위에서 설명되는 본 개시의 교시들을 벗어나지 않는다는 것을 알 수 있을 것이다. 동작의 구성 및 방법들 양자에 관한 본 개시의 특징으로 여겨지는 신규의 특징들은, 다른 목적들 및 이점들과 함께, 첨부된 도면과 연계한 하기의 설명으로부터 더욱 명확해질 것이다. 그러나, 각 도면은 도해 및 설명의 목적으로만 제공된 것이며 본 개시의 제한들의 정의로서 의도된 것은 아님이 명확히 이해되어져야만 한다.

본 개시의 특색들, 속성, 및 이점들은 유사한 면 부호들이 전체에 걸쳐 대응하게 식별하는 도면들을 함께 취하는 경우 하기에 제시된 상세한 설명으로부터 보다 명백해질 것이고, 여기서:
도 1 은 본 개시의 특정 양태들에 따른 뉴런들의 예시적인 네트워크를 도시한다.
도 2 는 본 개시의 특정 양태들에 따른 계산 네트워크 (신경 시스템 또는 신경 네트워크) 의 예시적인 프로세싱 유닛 (뉴런) 을 예시한다.
도 3 은 본 개시의 특정 양태들에 따른 예시적인 스파이크-타이밍-의존 가소성 (spike-timing-dependent plasticity; STDP) 곡선의 일 예를 예시한다.
도 4 는 본 개시의 특정 양태들에 따라 뉴런 모델의 거동을 정의하기 위한 양의 체제 및 음의 체제의 일 예를 예시한다.
도 5 는 본 개시의 특정 양태들에 따라 범용 프로세서를 이용하여 신경 네트워크를 설계하는 일 예시적인 구현을 예시한다.
도 6 은 본 개시의 특정 양태들에 따라 메모리가 개별 분산된 프로세싱 유닛들과 인터페이싱될 수도 있는, 신경 네트워크를 설계하는 일 예시적인 구현을 예시한다.
도 7 은 본 개시의 특정 양태들에 따라 분산된 메모리들 및 분산된 프로세싱 유닛들에 기초하여 신경 네트워크를 설계하는 일 예시적인 구현을 예시한다.
도 8 은 본 개시의 특정 양태들에 따른 신경 네트워크의 일 예시적인 구현을 예시한다.
도 9 는 본 개시의 특정 양태들에 따른 예시적인 인코더/디코더 페어를 예시하는 블록도이다.
도 10 은 본 개시의 특정 양태들에 따라 공간적 프로세서로서 구성되는 예시적인 인공 뉴런을 예시하는 블록도이다.
도 11, 도 12a 및 도 12b 는 본 개시의 특정 양태들에 따른 예시적으로 단순화된 인공 뉴런을 예시하는 블록도들이다.
도 13 은 본 개시의 특정 양태들에 따라 공간적-시간적 프로세서로서 구성되는 예시적인 인공 뉴런을 예시하는 블록도이다.
도 14 는 본 개시의 특정 양태들에 따라 공간적 프로세서로서 구성되는 예시적으로 단순화된 인공 뉴런을 예시하는 블록도이다.
도 15 는 본 개시의 특정 양태들에 따라 시간적 프로세서로서 구성되는 예시적인 인공 뉴런을 예시하는 블록도이다.
도 16 은 본 개시의 특정 양태에 따라 인공 뉴런을 구성하는 방법을 예시하는 흐름도이다.

첨부된 도면들과 연계하여 하기에 설명되는 상세한 설명은, 여러 구성들의 설명으로서 의도된 것이며 본원에서 설명되는 개념들이 실시될 수도 있는 구성들만을 나타내도록 의도된 것은 아니다. 상세한 설명은 여러 개념들의 완전한 이해를 제공하기 위한 목적으로 특정 세부사항들을 포함한다. 그러나, 이들 개념들이 이들 특정 세부사항들 없이 실시될 수도 있음이 당업자에게는 명백할 것이다. 일부 사례들에서, 이러한 개념들을 모호하게 하는 것을 방지하기 위해 공지의 구조들 및 컴포넌트들이 블록도의 형태로 도시된다.

독립적으로 또는 본 개시의 임의의 다른 양태들과 결합하여 구현되는지 여부에 따라, 본 사상들에 기초하여, 당업자들은 본 개시의 범위가 본원에 개시된 개시물들의 임의의 양태을 커버하고자 함을 이해해야할 것이다. 예를 들어, 제시된 임의의 개수의 양태들을 이용하여 장치가 구현될 수도 있거나 방법이 실시될 수도 있다. 또한, 본 개시의 범위는 본원에 제시된 개시물의 다양한 양태들에 더해 또는 그 외에 다른 구조, 기능성, 또는 구조와 기능성을 이용하여 실시되는 그러한 장치 또는 방법을 커버하고자 한다. 본원에 개시된 개시물의 임의의 양태은 청구항의 하나 이상의 요소들에 의해 구체화될 수도 있다.

단어 "예시적인" 은 본원에서 "일 예, 사례, 또는 실례의 역할을 하는" 것을 의미하기 위해 사용된다. "예시적" 으로 본원에서 설명된 임의의 실시형태는 반드시 다른 실시형태들보다 바람직하거나 이로운 것으로 해석되지는 않는다.

특정 양태들이 본원에서 설명되지만, 이러한 양태들의 많은 변형예들 및 치환예들이 본 개시의 범위 내에 속한다. 바람직한 양태들의 일부 이득들 및 이점들이 언급되었지만, 본 개시의 범위는 특정 이득들, 이용들, 또는 목적들로 제한되고자 하지 않는다. 오히려, 본 개시들의 양태들은 상이한 기술들, 시스템 구성들, 네트워크들, 및 프로토콜들에 널리 적용되고자 하며, 본 개시의 양태들 중 일부는 도면들에서 그리고 다음의 바람직한 양태들의 설명에서 예로서 예시된다. 상세한 설명 및 도면들은 제한하는 것이기 보다는 단지 본 개시의 예시일 뿐이며, 본 개시의 범위는 첨부된 청구항들 및 그의 등가물들에 의해 정의된다.

예시적인 신경 시스템, 트레이닝, 및 동작

도 1 은 본 개시의 특정 양태들에 따른 다수의 레벨들의 뉴런 (neuron) 들을 갖는 일 예시적인 인공 신경 시스템 (100) 을 도시한다. 신경 시스템 (100) 은 시냅스 연결들 (104) (즉, 피드-포워드 연결들) 의 네트워크를 통해 다른 레벨의 뉴런들 (106) 에 접속되는 일 레벨의 뉴런들 (102) 을 가질 수도 있다. 편의상, 오직 2 개의 레벨들의 뉴런들만이 도 1 에 도시되나, 보다 적거나 보다 많은 레벨들의 뉴런들이 신경 시스템에 존재할 수도 있다. 뉴런들 중 일부 뉴런은 측면 연결들을 통해 동일한 계층의 다른 뉴런들에 연결될 수도 있음에 유의해야 한다. 또한, 뉴런들 중 일부는 피드백 연결들을 통해 이전 계층의 뉴런에 다시 연결될 수도 있다.

도 1 에 도시된 바와 같이, 레벨 (102) 에서의 각각의 뉴런은 이전 레벨의 뉴런들 (도 1 에 도시 생략) 에 의해 생성될 수도 있는 입력 신호 (108) 를 수신할 수도 있다. 신호 (108) 는 레벨 (102) 의 뉴런의 입력 전류를 나타낼 수도 있다. 이러한 전류는 뉴런 막에 축적되어 막 전위를 충전할 수도 있다. 막 전위가 임계 값에 도달하는 경우, 뉴런은 다음 레벨의 뉴런들 (예를 들어, 레벨 106) 로 전달되도록 발화되어 출력 스파이크를 생성할 수도 있다. 일부 모델링 접근법들에서, 뉴런은 다음 레벨의 뉴런들로 신호를 지속적으로 전달할 수도 있다. 이러한 신호는 통상적으로 막 전위의 함수이다. 그러한 거동은 하기에 설명된 것들과 같은 아날로그 및 디지털 구현들을 포함하여, 하드웨어 및/또는 소프트웨어로 에뮬레이션 또는 시뮬레이션될 수 있다.

생물학적 뉴런들에서, 뉴런이 발화하는 경우에 생성된 출력 스파이크는 활동 전위라고 지칭된다. 이러한 전기 신호는 상대적으로 빠르고, 과도하고, 신경 자극적이며, 대략 100 mV 의 진폭 및 약 1 ms 의 지속기간을 갖는다. 일련의 연결된 뉴런들을 갖는 신경 시스템의 특정 실시형태 (예를 들어, 도 1 에서 일 레벨의 뉴런들에서 다른 레벨의 뉴런들로의 스파이크들의 전달) 에서, 모든 활동 전위는 기본적으로 동일한 진폭 및 지속기간을 가지고, 따라서, 신호에서의 정보는 진폭에 의해서 보다는, 주파수 및 스파이크들의 수, 또는 스파이크들의 시간에 의해서만 나타내어질 수도 있다. 활동 전위에 의해 이송되는 정보는 스파이크, 스파이킹된 뉴런, 및 다른 스파이크나 스파이크들에 대한 스파이크의 시간에 의해 결정될 수도 있다. 스파이크의 중요성은, 하기에 설명된 바와 같이, 뉴런들 사이의 연결에 적용된 가중치에 의해 결정될 수도 있다.

일 레벨의 뉴런들로부터 다른 레벨의 뉴런들로의 스파이크들의 전달은, 도 1 에 도시된 바와 같이, 시냅스 연결들의 네트워크 (또는 단순히 "시냅스들") (104) 를 통해 달성될 수도 있다. 시냅스들 (104) 에 대해, 레벨 102 의 뉴런들은 시냅스-전 뉴런들이라고 여겨질 수도 있고, 레벨 106 의 뉴런들은 시냅스-후 뉴런들로 여겨질 수도 있다. 시냅스들 (104) 은 레벨 102 뉴런들로부터 출력 신호들 (즉, 스파이크들) 을 수신하며, 조정가능한 시냅스 가중치들 (

) 에 따라 그러한 신호들을 스케일링할 수도 있으며, 여기서 P 는 레벨 102 와 레벨 106 의 뉴런들 사이의 시냅스 연결들의 전체 개수이고, i 는 뉴런 레벨의 표시자이다. 도 1 의 예에서, i 는 뉴런 레벨 102 를 나타내고 i+1 은 뉴런 레벨 106 을 나타낸다. 또한, 스케일링된 신호들은 레벨 106 에서의 각각의 뉴런의 입력 신호로서 결합될 수도 있다. 레벨 106 에서의 각각의 뉴런은 대응하는 결합된 입력 신호에 기초하여 출력 스파이크들 (110) 을 생성할 수도 있다. 출력 스파이크들 (110) 은 다른 시냅스 연결들의 네트워크 (도 1 에 도시 생략) 를 이용하여 다른 레벨의 뉴런들로 전달될 수도 있다.

생물학적 시냅스들은 시냅스-후 뉴런들에서 흥분성 또는 억제 (과분극) 활동들을 중재할 수 있고 또한 신경 신호들을 증폭시키는 역할을 할 수 있다. 흥분성 신호들은 막 전위를 탈분극한다 (즉, 정지 전위에 대해 막 전위를 증가시킨다). 임계치 위로 막 전위를 탈분극하도록 소정의 시간 기간 내에 충분한 흥분성 신호들이 수신되면, 활동 전위가 시냅스-후 뉴런에서 발생한다. 반면에, 억제 신호들은 일반적으로 막 전위를 과분극한다 (즉, 낮춘다). 억제 신호들은, 충분히 강하다면, 흥분성 신호들의 합에 반대로 작용하여 막 전위가 임계치에 도달하는 것을 방지할 수 있다. 시냅스 흥분에 반대로 작용하는 것에 더해, 시냅스 억제는 자발적 활성 뉴런들에 대해 강력한 제어를 발휘할 수 있다. 자발적 활성 뉴런은, 예를 들어, 그것의 역학 또는 피드백으로 인해, 추가적인 입력없이 스파이크하는 뉴런을 지칭한다. 이러한 뉴런들에서 활동 전위들의 자발적 생성을 억압함으로써, 시냅스 억제는 뉴런에서 발화하는 패턴을 형성할 수 있으며, 이는 일반적으로 조각 (sculpturing) 이라고 지칭된다. 다양한 시냅스들 (104) 은, 원하는 거동에 따라, 흥분성 시냅스 또는 억제 시냅스의 임의의 조합으로 작용할 수도 있다.

신경 시스템 (100) 은 범용 프로세서, 디지털 신호 프로세서 (digital signal processor; DSP), 주문형 반도체 (application specific integrated circuit; ASIC), 필드 프로그램가능 게이트 어레이 (field programmable gate array; FPGA) 혹은 다른 프로그램가능한 로직 디바이스 (programmable logic device; PLD), 이산 게이트 혹은 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 그것들의 임의의 조합에 의해 에뮬레이션될 수도 있다. 신경 시스템 (100) 은 전기 회로에 의해 에뮬레이션되고, 이미지 및 패턴 인식, 머신 러닝, 모터 제어 등과 같은 광범위한 애플리케이션들에 활용될 수도 있다. 신경 시스템 (100) 에서 각각의 뉴런은 뉴런 회로로서 구현될 수도 있다. 출력 스파이크를 개시하는 임계 값으로 충전되는 뉴런 막은, 예를 들어, 뉴런 막을 통해 흐르는 전류를 통합하는 커패시터로서 구현될 수도 있다.

일 양태에서, 커패시터는 뉴런 회로의 전류 통합 디바이스로서 제거될 수도 있고, 보다 작은 멤리스터 (memristor) 소자가 커패시터 대신에 이용될 수도 있다. 이러한 접근법은 뉴런 회로들, 뿐만 아니라 전류 통합기들로서 대형 커패시터들이 활용되는 다양한 다른 애플리케이션들에 적용될 수도 있다. 또한, 시냅스들 (104) 의 각각은 멤리스터 소자에 기초하여 구현될 수도 있으며, 여기서 시냅스 가중치 변화들은 멤리스터 저항의 변화들과 관련될 수도 있다. 나노미터 피쳐 크기의 멤리스터들로, 뉴런 회로 및 시냅스들의 영역이 실질적으로 감소될 수도 있으며, 이는 매우 큰 크기의 신경 시스템 하드웨어 구현예의 구현을 보다 실현가능하게 할 수도 있다.

신경 시스템 (100) 을 에뮬레이션하는 신경 프로세서의 기능은 시냅스 연결들의 가중치들에 의존할 수도 있으며, 이는 뉴런들 사이의 연결들의 강도들을 제어할 수도 있다. 시냅스 가중치들은 전력 다운된 후에 프로세서의 기능을 보호하기 위해 비휘발성 메모리에 저장될 수도 있다. 일 양태에서, 시냅스 가중치 메모리는 메인 신경 프로세서 칩과는 별도인 외부 칩에 구현될 수도 있다. 시냅스 가중치 메모리는 대체가능한 메모리 카드로서 신경 프로세서 칩과는 별도로 패키징될 수도 있다. 이는 신경 프로세서에 다양한 기능들을 제공할 수도 있으며, 여기서 특정 기능은 신경 프로세서에 현재 접속된 메모리 카드에 저장된 시냅스 가중치들에 기초할 수도 있다.

도 2 는 본 개시의 특정 양태들에 따른 계산 네트워크 (예를 들어, 신경 시스템, 또는 신경 네트워크) 의 프로세싱 유닛 (예를 들어, 뉴런 또는 뉴런 회로) (202) 의 일 예시적인 도면 (200) 을 도시한다. 예를 들어, 뉴런 (202) 은 도 1 로부터의 레벨 102 및 레벨 106 의 뉴런들 중 임의의 뉴런에 대응할 수도 있다. 뉴런 (102) 은 다수의 입력 신호들 (204₁-204_N) 을 수신할 수도 있으며, 다수의 입력 신호들은 신경 시스템의 외부의 신호들, 또는 동일한 신경 시스템의 다른 뉴런들에 의해 생성된 신호들, 또는 양자 모두일 수도 있다. 입력 신호는 전류, 컨덕턴스, 전압, 실수값 및/또는 복소수 값일 수도 있다. 입력 신호는 고정-소수점 또는 부동-소수점 표현을 갖는 수치 값을 포함할 수도 있다. 이러한 입력 신호들은 조정가능한 시냅스 가중치들 (206₁-206_N(W₁-W_N)) 에 따라 신호들을 스케일링하는 시냅스 연결들을 통해 뉴런 (202) 에 전달될 수도 있으며, 여기서 N 은 뉴런 (202) 의 입력 연결들의 전체 개수일 수도 있다.

뉴런 (202) 은 스케일링된 입력 신호들을 결합하고 결합되어진 스케일링된 입력들을 이용해 출력 신호 (208) (즉, 신호 Y) 를 생성할 수도 있다. 출력 신호 (208) 는 전류, 컨덕턴스, 전압, 실수값 및/또는 복소수 값일 수도 있다. 출력 신호는 고정-소수점 또는 부동-소수점 표현을 갖는 수치 값일 수도 있다. 출력 신호 (208) 는 그 다음에 동일한 신경 시스템의 다른 뉴런들에 입력 신호로서, 또는 동일한 뉴런 (202) 에 입력 신호로서, 또는 신경 시스템의 출력으로서 전달될 수도 있다.

프로세싱 유닛 (뉴런) (202) 은 전기 회로에 의해 에뮬레이션될 수도 있고, 프로세싱 유닛의 입력 및 출력 연결들은 시냅스 회로들을 갖는 전기 연결부들에 의해 에뮬레이션될 수도 있다. 프로세싱 유닛 (202) 및 프로세싱 유닛의 입력 및 출력 연결들은 또한 소프트웨어 코드에 의해 에뮬레이션될 수도 있다. 프로세싱 유닛 (202) 이 또한 전기 회로에 의해 에뮬레이션될 수도 있는 반면, 프로세싱 유닛의 입력 및 출력 연결들은 소프트웨어 코드에 의해 에뮬레이션될 수도 있다. 일 양태에서, 계산 네트워크에서 프로세싱 유닛 (202) 은 아날로그 전기 회로일 수도 있다. 다른 양태에서, 프로세싱 유닛 (102) 은 디지털 전기 회로일 수도 있다. 또 다른 양태에서, 프로세싱 유닛 (202) 은 아날로그 및 디지털 컴포넌트들 양자 모두를 갖는 혼합-신호 전기 회로를 포함할 수도 있다. 계산 네트워크는 앞서 언급된 형태들 중 임의의 형태로 프로세싱 유닛들을 포함할 수도 있다. 그러한 프로세싱 유닛들을 이용하는 계산 네트워크 (신경 시스템 또는 신경 네트워크) 은 광범위한 애플리케이션들, 예컨대, 이미지 및 패턴 인식, 머신 러닝, 모터 제어 등에 활용될 수도 있다.

신경 네트워크를 트레이닝하는 과정 중에, 시냅스 가중치들 (예를 들어, 도 1 로부터의 가중치들 (

) 및/또는 도 2 로부터의 가중치들 (206₁-206_N)) 은 랜덤 값들로 초기화되고 학습 규칙에 따라 증가되거나 감소될 수도 있다. 학습 규칙의 예들은, 이로 제한되지는 않으나, 스파이크-타이밍-종속-소성 (spike-timing-dependent plasticity; STDP) 학습 규칙, Hebb 규칙, Oja 규칙, BCM (Bienenstock-Copper-Munro) 규칙 등을 포함한다는 것을 당업자들은 이해할 것이다. 특정 양태들에서, 가중치들은 2 개의 값들 중 하나로 정해지거나 수렴할 수도 있다 (즉, 가중치들의 양봉 분배). 이러한 결과는 각각의 시냅스 가중치에 대한 비트들의 수를 감소시키고, 시냅스 가중치들을 저장하는 메모리로부터의/메모리로의 판독 및 기록의 속도를 증가시키고, 시냅스 메모리의 전력 및/또는 프로세서 소비를 감소시키는데 활용될 수도 있다.

시냅스 유형

신경 네트워크들의 하드웨어 및 소프트웨어 모델들에서, 기능들과 관련된 시냅스의 프로세싱은 시냅스 유형에 기초할 수 있다. 시냅스 유형들은 비소성 시냅스들 (가중치 및 지연의 변화 없음), 가소성 시냅스들 (가중치가 변할 수도 있다), 구조적 지연 가소성 시냅스들 (가중치 및 지연이 변할 수도 있다), 완전 가소성 시냅스들 (가중치, 지연, 및 연결성이 변할 수도 있다), 및 그에 한 변형들 (예를 들어, 지연은 변할 수도 있으나, 가중치 또는 입력에서는 변화가 없을 수도 있다) 일 수도 있다. 이의 이점은 프로세싱이 세분될 수 있다는 것이다. 예를 들어, 비소성 시냅스들은 가소성 기능들이 실행되는 것 (또는 그러한 것이 완료되기를 기다리는 것) 을 요구하지 않을 수도 있다. 유사하게, 지연 및 가중치 가소성은, 차례 차례로 또는 병렬로, 함께 또는 별도로 동작할 수도 있는 동작들로 세분될 수도 있다. 상이한 유형의 시냅스들은 적용되는 상이한 가소성 유형들의 각각에 대해 상이한 룩업 테이블들 또는 공식들 및 파라미터들을 가질 수도 있다. 따라서, 방법들은 시냅스의 유형에 대한 관련 테이블들, 공식들, 또는 파라미터들에 액세스할 것이다.

스파이크-타이밍 종속 구조 가소성이 시냅스 가소성과 독립적으로 실행될 수도 있다는 추가적인 의미들이 있다. 구조 가소성 (즉, 지연 변화의 양) 이 전-후 스파이크 차이의 직접적인 함수일 수도 있기 때문에, 구조적 가소성은 가중치 크기에 변화가 없는 경우 (예를 들어, 가중치가 최소 또는 최대 값에 도달한 경우, 또는 일부 다른 이유로 인해 변하지 않은 경우) 일지라도 구조 가소성이 실행될 수도 있다. 대안으로, 구조적 가소성은 가중치 변화 양의 함수로 또는 가중치들 혹은 가중치 변화들의 한계들과 관련되는 조건들에 기초하여 설정될 수도 있다. 예를 들어, 시냅스 지연은 가중치 변화가 발생하는 경우에만, 또는 가중치가 제로에 도달하나 최고 값에 있지 않은 경우에만 변할 수도 있다. 그러나, 이러한 프로세스들이 병렬로 되어 메모리 액세스들의 수 및 중첩을 감소시킬 수 있도록 독립적인 기능들을 가지는 것이 이로울 수 있다.

시냅스 가소성의 결정

신경 소성 (또는 간단하게 "소성") 은 새로운 정보, 감각 자극, 개발, 손상, 또는 장애에 응답하여 시냅스 연결들 및 거동을 변화시키는 뇌에서의 뉴런들 및 신경 네트워크들의 능력이다. 가소성은 생물학 뿐만 아니라 컴퓨터 신경 과학 및 신경 네트워크들에서의 학습 및 메모리에 있어 중요하다. (예를 들어, Hebbian 이론에 따른) 시냅스 가소성, 스파이크-타이밍-종속 가소성 (STDP), 비-시냅스 가소성, 활동-종속 가소성, 구조 가소성, 및 항상성 가소성과 같은 다양한 형태들의 가소성이 연구되었다.

STDP 는 뉴런들 사이의 시냅스 연결들의 강도를 조정하는 학습 프로세스이다. 연결 강도들은 특정 뉴런의 출력 및 수신된 입력 스파이크들의 상대적 타이밍 (즉, 활동 전위) 에 기초하여 조정된다. STDP 프로세스 하에서, 장기 강화 (long-term potentiation; LTP) 는 소정의 뉴런에 대한 입력 스파이크가, 평균적으로, 그 뉴런의 출력 스파이크 바로 전에 발생하려고 하면 발생할 수도 있다. 그 다음에, 그 특정 입력은 다소 더 강하게 된다. 반면에, 입력 스파이크가, 평균적으로, 출력 스파이크 바로 후에 발생하려고 하면, 장기 저하 (long-term depression; LTD) 가 발생할 수도 있다. 그 다음에, 그 특정 입력은 다소 약하게 되고, 따라서, 명칭이 "스파이크-타이밍-종속 가소성" 이다. 결과적으로, 시냅스-후 뉴런의 흥분을 야기할 수도 있는 입력들은 장래에 기여할 가능성이 더 크게 되고, 한편 시냅스-후 스파이크를 야기하지 않는 입력들은 장래에 기여할 가능성이 더 작아지게 된다. 프로세스는 연결들의 초기 세트의 서브세트가 남아있을 때까지 계속되고, 한편 모든 다른 것들의 영향은 사소한 레벨로 감소된다.

뉴런은 일반적으로 그것의 입력들 중 많은 입력이 짧은 기간 내에 발생하는 경우에 출력 스파이크를 생성하기 때문에 (즉, 출력을 야기하기에 충분하게 누적된다), 통상적으로 남아있는 입력들의 서브세트는 시간에 상관되는 경향이 있는 것들을 포함한다. 또한, 출력 스파이크 전에 발생하는 입력들이 강화되기 때문에, 가장 빠른 충분한 상관의 누적 표시를 제공하는 입력들이 결국 뉴런에 대한 최종 입력이 될 수도 있다.

STDP 학습 규칙은 시냅스-전 뉴런의 스파이크 시간 (t _pre ) 과 시냅스-후 뉴런의 스파이크 시간 (t _post ) 사이의 시간 차이의 함수 (즉, t = t _post - t _pre ) 로서 시냅스-전 뉴런을 시냅스-후 뉴런에 연결하는 시냅스의 시냅스 가중치에 효과적으로 적응될 수도 있다. 통상적인 STDP 의 공식은 시간 차이가 양 (positive) 이면 (시냅스-전 뉴런이 시냅스-후 뉴런 전에 발화한다) 시냅스 가중치를 증가시키고 (즉, 시냅스를 강력하게 하고), 시간 차이가 음 (negative) 이면 (시냅스-후 뉴런이 시냅스-전 뉴런 전에 발화한다) 시냅스 가중치를 감소시키는 (즉, 시냅스를 억제하는) 것이다.

STDP 프로세스에서, 시간 경과에 따른 시냅스 가중치의 변화는 통상적으로 다음에서 주어진 지수적 감쇠 (exponential decay) 를 이용하여 달성된다:

, (1)

여기서

및

은 각각 양 및 음의 시간 차이에 대한 시간 상수들이고,

및

은 대응하는 스케일링 크기들이고,

는 양의 시간 차이 및/또는 음의 시간 차이에 적용될 수도 있는 오프셋이다.

도 3 은 STDP 에 따른 시냅스-전 스파이크와 시냅스-후 스파이크의 상대적 타이밍의 함수로서 시냅스 가중치 변화의 일 예시적인 도면 (300) 을 도시한다. 시냅스-전 뉴런이 시냅스-후 뉴런 전에 발화하면, 그래프 (300) 의 302 부분에서 도시된 바와 같이, 대응하는 시냅스 가중치가 증가될 수도 있다. 이러한 가중치 증가는 시냅스의 LTP 라고 지칭될 수 있다. LTP 의 양이 시냅스-전 스파이크 시간과 시냅스-후 스파이크 시간 사이의 차이의 함수로서 거의 기하급수적으로 감소할 수도 있다는 것이 그래프 부분 302 로부터 관찰될 수 있다. 그래프 (300) 의 부분 304 에 도시된 바와 같이, 역순 (reverse order) 의 발화는 시냅스 가중치를 감소시켜, 시냅스의 LTD 를 야기할 수도 있다.

도 3 에서의 그래프 (300) 에 도시된 바와 같이, 음의 오프셋 (

) 이 STDP 그래프의 LTP (원인) 부분 302 에 적용될 수도 있다. x-축의 교차 지점 (306) (y=0) 은 계층 i-1 로부터의 원인 입력들에 대한 상관관계를 고려하여 최대 시간 지연과 일치하게 구성될 수도 있다. 프레임-기반 입력 (즉, 스파이크들 또는 펄스들을 포함하는 특정 지속기간의 프레임의 형태인 입력) 의 경우에, 오프셋 값 (

) 은 프레임 경계를 반영하도록 계산될 수 있다. 프레임에서의 제 1 입력 스파이크 (펄스) 는 직접적으로 시냅스-후 전위에 의해 모델링됨으로써 또는 신경 상태에 대한 영향의 관점에서 시간이 경과함에 따라 감쇠하는 것으로 고려될 수도 있다. 프레임에서의 제 2 입력 스파이크 (펄스) 가 특정 시간 프레임과 상관되거나 관련있다고 고려되면, 관련 시간들에서의 값이 상이할 수도 있도록 (일 프레임보다 큰 것에 대해서는 음, 그리고 일 프레임보다 작은 것에 대해서는 양) 프레임 전후의 관련 시간들은 해당 시간 프레임 경계에서 분리되고 STDP 곡선의 하나 이상의 부분들을 오프셋함으로써 가소성의 면에서 상이하게 취급될 수도 있다. 예를 들어, 음의 오프셋 (

) 은 프레임보다 큰 전-후 시간에서 곡선이 실제로 제로 아래로 가고 따라서 LTP 대신에 LTD 의 부분이도록 LTP 를 오프셋하도록 설정될 수도 있다.

뉴런 모델들 및 동작

유용한 스파이킹 뉴런 모델을 설계하기 위한 몇몇 일반적인 원리들이 있다. 훌륭한 뉴런 모델은 2 개의 계산 제도들: 일치 검출 및 함수적 계산의 측면에서 풍부한 잠재적 거동을 가질 수도 있다. 또한, 훌륭한 뉴런 모델은 시간 코딩을 가능하게 하도록 2 개의 요소들을 가져야 한다: 입력들의 도착 시간은 출력 시간에 영향을 주고 일치 검출은 좁은 시간 윈도우를 가질 수 있다. 마지막으로, 계산상으로 매력있도록, 훌륭한 뉴런 모델은 연속적인 시간에서의 폐쇄형 솔루션 및 근처의 어트랙터들 및 안장점들을 포함하는 안정적인 거동을 가질 수도 있다. 다시 말해서, 유용한 뉴런 모델은 실용적이고, 풍부하고, 사실적이고, 생물학적으로-일정한 거동들을 모델링하는데 이용되는 것뿐만 아니라 엔지니어 및 역 엔지니어 신경 회로들에서 이용될 수 있는 것이다.

뉴런 모델은 입력 도착, 출력 스파이크와 같은 이벤트들, 또는 내부적이거나 외부적인 다른 이벤트에 의존할 수도 있다. 풍부한 거동 레퍼토리를 달성하기 위해서는, 복잡한 거동들을 보일 수 있는 상태 머신이 바람직할 수도 있다. (만약 있다면) 입력 기여와 별도인, 이벤트 자체의 발생이 상태 머신에 영향을 주고 이벤트에 후속하는 역학을 제약할 수 있다면, 시스템의 장래 상태는 상태 및 입력의 함수일 뿐만 아니라, 상태, 이벤트, 및 입력의 함수이다.

일 양태에서, 뉴런 (n) 은 다음의 역학에 의해 통제되는 막 전압 (

) 을 갖는 스파이킹 누출-통합-및-발화 뉴런으로 모델링될 수도 있다:

, (2)

여기서

및

는 파라미터들이고,

은 시냅스-전 뉴런 (m) 을 시냅스-후 뉴런 (n) 에 연결하는 시냅스에 대한 시냅스 가중치이고,

은 뉴런 (n) 의 세포체 (soma) 에 도착할 때까지

에 따라 수지상 (dendritic) 또는 축삭 (axonal) 지연될 수도 있는 뉴런 (m) 의 스파이킹 출력이다.

시냅스-후 뉴런에 대한 충분한 입력이 확립된 때로부터 시냅스-후 뉴런이 실제로 발화할 때까지 지연이 있다는 것에 유의해야 한다. Izhikevich 의 단순 모델과 같은 동적 스파이크 뉴런 모델에서, 탈분극화 임계치 (

) 와 피크 스파이크 전압 (

) 사이에 차이가 있으면 시간 지연이 초래될 수도 있다. 예를 들어, 단순 모델에서, 전압 및 복구에 대한 미분 방정식들의 쌍에 의해 뉴런 세포체 역학들이 통제될 수 있다, 즉:

(3)

(4)

여기서, v 는 막 전위이고, u 는 막 복구 변수이고, k 는 막 전위 v 의 시간 스케일을 설명하는 파라미터이고, a 는 복구 변수 u 의 시간 스케일을 설명하는 파라미터이고, b 는 막 전위 v 의 하위-임계 변동들에 대한 복구 변수 u 의 민감도를 설명하는 파라미터이고, v _r 은 막 휴지상태 전위이고, I 는 시냅스 전류이고, C 는 막의 커패시턴스이다. 이러한 모델에 따르면, 뉴런은

인 경우에 스파이킹하는 것으로 정의된다.

Hunzinger 콜드 (Cold) 모델

Hunzinger 콜드 뉴런 모델은 풍부하며 다양한 신경 거동들을 복제할 수 있는 최소 이중-체제 스파이킹 선형 동적 모델이다. 모델의 1- 또는 2-차원 선형 역학은 2 개의 체제들을 가질 수 있으며, 여기서 시간 상수 (및 연결) 는 체제에 의존할 수 있다. 하위-임계 체제에서, 규칙에 의해 음인 시간 상수는 일반적으로 생물학적으로-일관성있는 선형 방식으로 휴지상태로 셀을 반환하도록 작동하는 누수 채널 역학을 나타낸다. 규칙에 의해 양인 상위-임계 체제에서 시간 상수는 일반적으로 셀이 스파이킹하도록 구동하나 스파이크-생성에서 지연을 초래하는 누수 방지 채널 역학을 반영한다.

도 4 에 도시된 바와 같이, 모델 (400) 의 역학은 2 개 (또는 그 보다 많은) 체제들로 나누어질 수도 있다. 이러한 체제들은 (LIF 뉴런 모델과 혼동되지 않게, 누수-통합-및-발화 (leaky-integrate-and-fire; LIF) 체제라고도 상호교환가능하게 지칭되는) 음의 체제 (402) 및 (ALIF 뉴런 모델과 혼동되지 않게, 누수-방지-통합-및-발화 (anti-leaky-integrate-and-fire; ALIF) 체제라고도 상호교환가능하게 지칭되는) 양의 체제 (404) 라고 불릴 수도 있다. 음의 체제 (402) 에서, 상태는 장래 이벤트 시에 휴지상태 (v _{_} ) 쪽으로 향하는 경향이 있다. 이러한 음의 체제에서, 모델은 일반적으로 시간 입력 검출 속성들 및 다른 하위-임계 거동을 보인다. 양의 체제 (404) 에서, 상태는 스파이킹 이벤트 (v _s ) 쪽으로 향하는 경향이 있다. 이러한 양의 체제에서, 모델은 후속하는 입력 이벤트들에 따라 스파이킹하는데 지연을 초래하는 것과 같은 계산 속성들을 보인다. 이러한 2 개의 체제들로의 역학의 이벤트들 및 분리의 면에서의 역학의 공식은 모델의 기본적인 특성들이다.

(상태들 (v 및 u) 에 대한) 선형 이중-체제 양방향-차원 역학은 다음과 같은 규칙에 의해 정의될 수도 있다:

(5)

(6)

여기서

및 r 은 연결에 대한 선형 변환 변수들이다.

심볼

는, 특정 체제에 대한 관계를 논의하거나 표현하는 경우, 각각 음의 체제 및 양의 체제에 대해 부호 "-" 또는 "+" 로 심볼

를 대체하도록 규칙에 따라 역학 체제를 지칭하기 위해 본원에서 이용된다.

모델 상태는 막 전위 (전압) v 및 복구 전류 (recovery current) u 에 의해 정의된다. 기본 형태에서, 체제는 기본적으로 모델 상태에 의해 결정된다. 미묘하지만 중요한 정확도 및 일반 정의의 양태들이 있으나, 지금은, 전압 (v) 이 임계치 (v ₊ ) 보다 높은 경우 양의 체제 (404) 에 있고 그렇지 않으면 음의 체제 (402) 에 있는 모델을 고려한다.

체제-의존적인 시간 상수는 음의 체제 시간 상수인

및 양의 체제 시간 상수인

를 포함한다. 복구 전류 시간 상수 (

) 는 통상적으로 체제와 독립적이다. 편의를 위해, 음의 체제 시간 상수 (

) 는 통상적으로 감쇠를 반영하도록 음의 양 (negative quantity) 으로 명시되어 전압 진전에 대한 동일한 표현이 양의 체제에 대해 이용될 수도 있으며, 여기서 지수 및

는 일반적으로 양이며

도 그럴 것이다.

2 개의 상태 엘리먼트들의 역학은 무연속변이 (null-cline) 들로부터 상태들을 오프셋하는 변환들에 의한 이벤트들에서 연결될 수도 있으며, 여기서 변환 변수들은 다음과 같다:

(7)

(8)

여기서

및

은 파라미터들이다.

에 대한 2 개의 값들은 2 개의 체제들에 대한 기준 전압들에 대한 베이스이다. 파라미터

는 베이스 전압이고, 막 전위는 일반적으로 음의 체제에서

쪽으로 감쇠한다. 파라미터

는 양의 체제에 대한 베이스 전압이고, 막 전위는 양의 체제에서 일반적으로

로부터 멀어지는 경향이 있다.

v 및 u 에 대한 무연속변이들은 각각 변환 변수들

및 r 의 음으로 주어진다. 파라미터

은 u 무연속변이의 경사도를 제어하는 스케일링 인자이다. 파라미터

은 통상적으로

와 동일하게 설정된다. 파라미터

는 양 체제들에서 v 무연속변이들의 경사도를 제어하는 저항 값이다.

시간-상수 파라미터들은 각각의 체제에서 별도로 기하급수적 감쇠들 뿐만 아니라 무연속변이 경사도들도 제어한다.

모델은 전압 (v) 이 값 (

) 에 도달하는 경우에 스파이킹하도록 정의될 수도 있다. 후속하여, 상태는 (스파이크 이벤트와 동일한 것일 수도 있는) 리셋 이벤트에서 리셋될 수도 있다:

(9)

(10)

여기서

및

는 파라미터들이다. 리셋 전압 (

) 은 통상적으로

로 설정된다.

순간적인 연결의 원리에 의해, (단일 지수 항을 갖는) 상태 뿐만 아니라 특정 상태에 도달하기 위해 시간에 대해 폐쇄 형태 해가 가능하다. 폐쇄 형태 상태 해들은 다음과 같다:

(11)

(12)

따라서, 모델 상태는 입력 (시냅스-전 스파이크) 또는 출력 (시냅스-후 스파이크) 과 같은 이벤트들 시에만 업데이트될 수도 있다. 동작들은 또한 (입력 또는 출력이 있는지 여부에 상관없이) 임의의 특정 시간에 수행될 수도 있다.

또한, 순간적인 연결 원리에 의해, 반복적 기법들 또는 수치 방법들 (예를 들어, Euler 수치 방법) 없이도 특정 상태에 도달하기 위한 시간이 미리 결정될 수도 있도록 시냅스-후 스파이크의 시간이 예상될 수도 있다. 이전 전압 상태 (

) 를 고려하면, 전압 상태 (

) 에 도달되기까지의 시간 지연은 다음과 같이 주어진다:

(13)

전압 상태 (

) 가

에 도달하는 시점에 스파이크가 발생하는 것으로 정의되면, 전압이 주어진 상태 (

) 에 있는 시간에서부터 측정된 바와 같은 스파이크가 발생하기 전까지의 시간의 양 또는 상대적 지연에 대한 폐쇄형 해는 다음과 같다:

(14)

여기서

은 통상적으로 파라미터

로 설정되나, 다른 변형들이 가능할 수도 있다.

모델 역학의 위의 정의들은 모델이 양의 체제 또는 음의 체제에 있는지 여부에 의존한다. 언급된 바와 같이, 연결 및 체제 (

) 는 이벤트들 시에 계산될 수도 있다. 상태 전파의 목적으로, 체제 및 연결 (변형) 은 마지막 (이전) 이벤트의 시점에서의 상태에 기초하여 정의될 수도 있다. 스파이크 출력 시간을 후속하여 예상하기 위한 목적으로, 체제 및 연결 변수는 다음 (현재) 이벤트 시점에서의 상태에 기초하여 정의될 수도 있다.

콜드 모델, 및 시뮬레이션, 에뮬레이션, 시간 모델을 실행하는 여러 가지의 가능한 구현들이 있다. 이는, 예를 들어, 이벤트-업데이트, 단계-이벤트 업데이트, 및 단계-이벤트 모드들을 포함한다. 이벤트 업데이트는 (특정 순간들에서) 이벤트들 또는 "이벤트 업데이트" 에 기초하여 상태들이 업데이트되는 업데이트이다. 단계 업데이트는 모델이 간격들 (예를 들어, 1 ms) 에서 업데이트되는 경우의 업데이트이다. 이것은 반복 방법들 또는 수치적 방법들을 반드시 이용하는 것은 아니다. 이벤트-기반 구현이 또한 오직 단계들에서 또는 단계들 사이에서 이벤트가 발생하는 경우에만 모델을 업데이트함으로써 또는 "단계-이벤트" 업데이트에 의해 단계-기반 시뮬레이터에서 제한된 시간 분해능에서 가능하다.

비동기 펄스 변조를 이용한 인공 뉴런들 및 스파이킹 뉴런들

본 개시의 양태들은 비동기 펄스 변조를 이용하여 인공 뉴런들 및/또는 스파이킹 뉴런들을 구성하도록 교시된다.

비동기 펄스 변조기들 (asynchronous pulse modulators; APMs) 은 신호들을 단극성 스파이크 트레인들, 쌍극성 스파이크 트레인들, 또는 다치화된 (multi-valued) 스파이크들로 인코딩할 수도 있다. 또한, 스파이크 응답 모델 (spike response model; SRM) 뉴런 및 누수 통합 및 발화 (leaky integrate and fire; LIF) 뉴런은 비동기 펄스 델타 변조기들 (asynchronous pulse delta modulators; APDMs) 로서 알려진 APM들의 특수 형태들이다.

본 개시의 양태들에 따르면, 스파이킹 뉴런들은 APM들을 이용하여 구성된다. 일 예시적인 양태에서, 스파이킹 뉴런은 공간적 프로세서의 형태로 구성된다. 이 형태에서, 단일의 시냅스가 시냅스 전 뉴런과 시냅스 후 뉴런 사이에 각각 제공될 수도 있다.

제 2 예시적인 양태에서, 스파이킹 뉴런은 공간-시간 프로세서의 형태로 구성된다. 이 구성에서, 다수의 시냅스들은 시냅스 전 뉴런과 시냅스 후 뉴런 사이에 제공될 수도 있다.

제 3 예시적인 양태에서, 스파이킹 뉴런은 시간적 프로세서의 형태로 구성될 수도 있다. 이 구성에서, 보다 단순화된 스파이밍 뉴런이 실현될 수도 있으며, 여기에서 다수의 시냅스들은 단일의 시냅스 전 뉴런과 시냅스 후 뉴런 사이에 제공될 수도 있다.

인공 뉴런

통상의 이산-시간 샘플링된 인공 뉴런 (artificial neuron; AN) 및 이의 연속하는-시간 버전이 아래 설명된다. 모든 AN들을 따라 1/T 의 공통 샘플링 레이트를 가정하여 보면, AN 의 k번째 샘플링되는 스쿼시된 점곱 (dot-product) 출력은 다음과 같이 표현될 수도 있다:

(15)

여기에서, σ(·) 는 활성 함수를 표현하며, y(kT) 는 바이어싱된 점곱을 표현한다:

(16)

여기에서,

는 바이어스 항을 표현하고,

는 시냅스 가중치들을 표현하며, 그리고 x_{pre ,n}(kT) 는 n 번째 시냅스 전 뉴런의 스쿼시된 점곱 출력의 k번째 시간 샘플이다. 스쿼시된 점곱 출력은 입력 벡터:

(17)

와, 공간적 시냅스 가중 벡터

사이의 유사성 레벨을 표시하는 유사성 정도 (measure) 를 표현한다.

1, 0 및 -1 의 y(kT) 값은 각각 최대 유사성, 유사성 없음, 반-유사성 (anti-similarity) 을 표현할 수도 있다.

샘플링 레이트는 나이키스트 샘플링 이론 (Nyquist Sampling Theorem) 을 충족할 수도 있으며, 신호들

을 따라 최대 대역폭의 두배 이상일 수도 있다. 균일하게 시간 샘플링된 AN 의 정확도 및 계산적 복잡성은 샘플링 레이트 1/T 에 의존한다. 1/T 가 증가함에 따라, 계산적 복잡성의 희생하에서 정확도는 증가한다. M-비트 진폭 양자화를 가정하면, 각각의 시냅스 전 뉴런은 M/T [bps] 의 일정한 비트 송신 레이트를 이용할 수도 있다.

연속하는-시간 AN

AN 의 연속하는-시간 스쿼시된 점곱 출력은 다음과 같이 표현될 수 있다:

(18)

여기에서, σ(·) 는 활성 함수를 표현하며, y(t) 는 연속하는-시간 바이어싱된 점곱을 표현한다.

여기에서,

는 바이어스 항을 표현하고,

는 시냅스 가중치로서 지칭될 수도 있는 공간적 가중치를 표현하며 x_{pre ,n}(t) 는 n 번째 시냅스 전 뉴런의 스쿼시된 점곱 출력이다.

스쿼시된 점곱 x(t) 는 시변 방식의 공간적 신호 벡터

가 공간적 시냅스 가중 벡터

와 얼마나 "유사한가" 를 계측한다. 예를 들어, 1 의 값은 유사성을 표현할 수도 있고, 0 은 유사성이 없음을 표현할 수도 있다. 또한, [-1,1] 의 범위에서의 활성 함수가 이용되면, -1 은 반-유사성을 표현할 수도 있다. 비록 위의 예에서의 활성 함수가 스쿼시된 점곱으로서 기술되어 있지만, 본 개시는 이것을 제한되지 않는다. 오히려, 활성 함수는 또한 반경 기반 함수, 시그모이드 (sigmoidal) 함수, 쌍곡선 탄젠트 및 피스와이즈 선형 활성 함수들, 또는 다른 형태들의 활성 함수들을 포함할 수도 있다.

도 5 는 본 개시의 특정 양태들에 따른 범용 프로세서 (502) 를 이용하는 상술한 인공 뉴런 구성의 예시적인 구현 (500) 을 예시한다. 변수들 (신경 신호들), 시냅스 가중치들, 계산 네트워크 (신경 네트워크) 와 연관된 시스템 파라미터들, 지연 및 주파수 빈 정보는 메모리 블록 (504) 에 저장될 수도 있고, 한편 범용 프로세서 (502) 에서 실행되는 명령들은 프로그램 메모리 (506) 로부터 로딩될 수도 있다. 본 개시의 일 양태에서, 범용 프로세서 (502) 내에 로딩된 명령들은 이전의 연속하는-시간 입력 신호들의 비동기 펄스 코딩 표현을 포함하는 입력 스파이크 트레인들의 세트를 수신하도록 하는 코드를 포함할 수도 있다. 또한, 범용 프로세서 (502) 내에 로딩된 명령들은 입력 스파이크 트레인들의 세트와 공간적-시간적 가중 벡터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 하는 코드를 포함할 수도 있다.

본 개시의 또 다른 양태에서, 명령들은 입력 스파이크 트레인들의 세트와 공간적 가중 벡터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 하는 코드를 포함할 수도 있다. 본 개시의 또 다른 양태에서, 명령들은 입력 스파이크 트레인들의 세트에 기초하여 입력 스파이크 트레인들과 시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 하는 코드를 포함할 수도 있다.

도 6 은 상술한 뉴런 구성의 예시적인 구현예 (600) 를 예시하며, 여기서 메모리 (602) 는 본 개시의 특정 양태들에 따라 계산 네트워크 (신경 네트워크) 의 개개의 (분산된) 프로세싱 유닛들 (신경 프로세서들) (606) 과 상호접속 네트워크 (604) 를 통해 인터페이싱될 수 있다. 변수들 (신경 신호들), 시냅스 가중치들, 계산 네트워크 (신경 네트워크) 와 연관된 시스템 파라미터들, 지연, 및 주파수 빈 정보는 메모리 (602) 에 저장될 수도 있고, 상호접속 네트워크 (604) 의 접속(들)을 통해 메모리 (602) 로부터 각각의 프로세싱 유닛 (신경 프로세서) (606) 으로 로딩될 수도 있다. 본 개시의 일 양태에서, 프로세싱 유닛 (606) 은 이전의 연속하는-시간 입력 신호들의 비동기 펄스 코딩 표현을 포함하는 입력 스파이크 트레인들의 세트를 수신하도록 구성될 수도 있다. 또한, 프로세싱 유닛 (606) 은 입력 스파이크 트레인들의 세트와 공간적-시간적 가중 벡터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 구성될 수도 있다.

본 개시의 또 다른 양태에서, 프로세싱 유닛 (606) 은 입력 스파이크 트레인들의 세트와 공간적 가중 벡터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 구성될 수도 있다. 본 개시의 또 다른 양태에서, 프로세싱 유닛 (606) 은 입력 스파이크 트레인들의 세트와 시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 구성될 수도 있다.

도 7 은 상술한 뉴런 구성의 예시적인 구현예 (700) 를 예시한다. 도 7 에 예시된 바와 같이, 하나의 메모리 뱅크 (702) 는 계산 네트워크 (신경 네트워크) 의 하나의 프로세싱 유닛 (704) 과 직접적으로 인터페이싱될 수도 있다. 각각의 메모리 뱅크 (702) 는 변수들 (신경 신호들), 시냅스 가중치들, 및/또는 대응하는 프로세싱 유닛 (신경 프로세서) (704) 과 연관된 시스템 파라미터들, 지연 및 주파수 빈 정보를 저장할 수도 있다. 본 개시의 일 양태에서, 프로세싱 유닛 (704) 은 이전의 연속하는-시간 입력 신호들의 비동기 펄스 코딩 표현을 포함하는 입력 스파이크 트레인들의 세트를 수신하도록 구성될 수도 있다. 또한, 프로세싱 유닛 (704) 은 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 구성될 수도 있다.

본 개시의 또 다른 양태에서, 프로세싱 유닛 (704) 은 입력 스파이크 트레인들의 세트와 공간적 가중 벡터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 구성될 수도 있다. 본 개시의 또 다른 양태에서, 프로세싱 유닛 (704) 은 입력 스파이크 트레인들의 세트와 시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 구성될 수도 있다.

도 8 은 본 개시의 특정 양태들에 따른 신경 네트워크 (800) 의 일 예시적인 구현을 도시한다. 도 8 에 도시된 바와 같이, 신경 네트워크 (800) 는 본원에 설명된 방법들의 다양한 동작들을 수행할 수도 있는 다수의 로컬 프로세싱 유닛들 (802) 을 가질 수도 있다. 각각의 로컬 프로세싱 유닛 (802) 은 로컬 상태 메모리 (804) 및 신경 네트워크의 파라미터들을 저장하는 로컬 파라미터 메모리 (806) 를 포함할 수도 있다. 또한, 로컬 프로세싱 유닛 (802) 은 로컬 모델 프로그램을 저장하기 위한 로컬 (뉴런) 모델 프로그램 (local model program; LMP) 메모리 (808), 로컬 학습 프로그램을 저장하기 위한 로컬 학습 프로그램 (local learning program; LLP) 메모리 (810), 및 로컬 접속 메모리 (812) 를 가질 수도 있다. 또한, 도 8 에 도시된 바와 같이, 각각의 로컬 프로세싱 유닛 (802) 은 로컬 프로세싱 유닛의 로컬 메모리들에 대한 구성들을 제공하기 위한 구성 프로세서 유닛 (814) 과, 그리고 로컬 프로세싱 유닛들 (802) 사이의 라우팅을 제공하는 라우팅 접속 프로세싱 유닛들 (816) 과 인터페이싱될 수도 있다.

일 구성에서, 뉴런 모델은 이전의 연속하는-시간 입력 신호들의 비동기 펄스 코딩 표현을 포함하는 입력 스파이크 트레인들의 세트를 수신하고/하거나 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하기 위하여 구성된다. 뉴런 모델은 수신하는 수단 및 생성하는 수단을 포함한다. 일 양태에서, 수신하는 수단 및/또는 생성하는 수단은 범용 프로세서 (502), 프로그램 메모리 (506), 메모리 블록 (504), 메모리 (602), 상호접속 네트워크 (604), 프로세싱 유닛 (606), 프로세싱 유닛 (704), 로컬 프로세싱 유닛들 (802), 및/또는 언급된 기능들을 수행하도록 구성되는 라우팅 접속 프로세싱 유닛들 (816) 일 수도 있다. 다른 구성에서, 상술한 수단은 상술한 수단에 의해 언급된 기능들을 수행하도록 구성되는 임의의 모듈 또는 임의의 장치일 수도 있다.

다른 구성에서, 뉴런 모델은 이전의 연속하는-시간 입력 신호들의 비동기 펄스 코딩 표현을 포함하는 입력 스파이크 트레인들의 세트를 수신하고/하거나 입력 스파이크 트레인들의 세트와 공간적 가중 벡터 사이의 유사성을 표현하는 출력 스파이크들을 생성하기 위하여 구성된다. 뉴런 모델은 수신하는 수단 및 생성하는 수단을 포함한다. 일 양태에서, 수신하는 수단 및/또는 생성하는 수단은 범용 프로세서 (502), 프로그램 메모리 (506), 메모리 블록 (504), 메모리 (602), 상호접속 네트워크 (604), 프로세싱 유닛 (606), 프로세싱 유닛 (704), 로컬 프로세싱 유닛들 (802), 및/또는 언급된 기능들을 수행하도록 구성되는 라우팅 접속 프로세싱 유닛들 (816) 일 수도 있다. 다른 구성에서, 상술한 수단은 상술한 수단에 의해 언급된 기능들을 수행하도록 구성되는 임의의 모듈 또는 임의의 장치일 수도 있다.

또 다른 구성에서, 뉴런 모델은 이전의 연속하는-시간 입력 신호들의 비동기 펄스 코딩 표현을 포함하는 입력 스파이크 트레인들의 세트를 수신하고/하거나 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하기 위하여 구성된다. 뉴런 모델은 수신하는 수단 및 생성하는 수단을 포함한다. 일 양태에서, 수신하는 수단 및/또는 생성하는 수단은 범용 프로세서 (502), 프로그램 메모리 (506), 메모리 블록 (504), 메모리 (602), 상호접속 네트워크 (604), 프로세싱 유닛 (606), 프로세싱 유닛 (704), 로컬 프로세싱 유닛들 (802), 및/또는 언급된 기능들을 수행하도록 구성되는 라우팅 접속 프로세싱 유닛들 (816) 일 수도 있다. 다른 구성에서, 상술한 수단은 상술한 수단에 의해 언급된 기능들을 수행하도록 구성되는 임의의 모듈 또는 임의의 장치일 수도 있다.

본 개시의 특정 양태들에 따르면, 각각의 로컬 프로세싱 유닛 (802) 은 원하는 신경 네트워크의 하나 이상의 기능적 피쳐들에 기초하여 신경 네트워크의 파라미터들을 결정하고, 결정된 파라미터들이 더 적응되고, 튜닝되고, 업데이트됨으로써 원하는 기능적 피쳐들을 향해 하나 이상의 기능적 피쳐들을 개발하도록 구성될 수도 있다.

비동기 펄스 변조 (Asynchronous Pulse Modulation; APM ) 인코더 및 디코더

APM 인코더는 연속하는-시간 입력 신호 x(t) 를, 채널 상에서 전송되는 출력 스파이크 트레인 s(t) 으로 변환한다. 일 예시적인 양태에서, 스파이크 트레인은 양이고 단극성일 수도 있다. 그러나, 본 개시는 이것으로 제한되지 않으며, 일부 양태들에서, 스파이크 트레인은 음의 단극성, 쌍극성 및/또는 다치화된 것일 수도 있다.

출력 스파이크 트레인은 채널을 통하여 하나 이상의 시냅스 후 뉴런들에 제공되거나 또는 송신될 수도 있다. 일부 양태들에서, 채널은 축삭 돌기에 비유될 수 있으며, APM 디코더는 시냅스 후 뉴런의 시냅스로서 비유될 수도 있고 APM 인코더는 시냅스 전 뉴런의 부분으로서 비유될 수도 있다. 이상적인 채널에서, 수신된 스파이크 채널은 r(t)=s(t) 이다. 이로써, 수신된 스파이크 트레인 r(t) 은 시냅스 전 뉴런으로부터의 연속하는 시간 입력 신호의 비동기 펄스 코딩 표현을 포함할 수도 있다. APM 디코더는 r(t) 를 입력 신호 x(t) 의 추정값

으로 변환할 수도 있다.

일부 양태들에서, APM 인코더 및 APM 디코더는 디코더가 인코더에 '매칭'되는 점에서 페어를 형성할 수도 있다. 예를 들어, 인코더 및 디코더에서의 재구성 필터 (또는 델타 필터) 는 매칭할 수도 있다. 또한, 스무딩 필터 (예를 들어, 안티-앨리어싱 필터 (anti-aliasing filter; AAF)) 가 포함되면, 스무딩 필터는 입력 신호 x(t) 의 것과 대략적으로 매칭하는 대역폭으로 구성될 수도 있다. 따라서, APM 인코더 n 은 APM 디코더 n 과 매칭하도록 설계될 수도 있다. 또한, 각각의 인코더/디코더 페어는 별개일 수도 있다.

도 9 는 본 개시의 일 양태에 따라 비동기 펄스 변조기 (APM) 뉴런의 예시적인 인코더/디코더 페어를 예시한다. 도 9 는 입력 신호 z(t) (904) 를 송신 신호 s(t) (906) 로 인코딩하는 인코더 (902) 를 채용하는 APM (900) 을 예시하며, 디코더 (912) 에서 채널 (910) 을 따라 입력 신호 (904) 의 추정값

(908) 을 재구성한다. 채널 (910) 은 채널 잡음과 왜곡 (예를 들어, 다중경로 채널들, 시변 감쇠) 이 도입되어 시스템 설계에 영향을 줄 수 있다는 이해 하에서, 디코더 (912) 에서 수신된 신호 (914) 가 r(t)=s(t) 이도록, 용이한 설명을 위한 이상적인 채널로서 간주될 수도 있다.

일부 양태들에서, 인코더 (902) 는 입력 신호 (904) z(t) 를 사전-성형 (pre-shaping) 하고 필터링된 신호 (918) 를 생성하기 위하여 선형 시불변 (linear time-invariant; LTI) 프리-필터 (916) g(t) 를 포함할 수도 있다:

(20)

LTI 프리-필터 (916) 는 "시그마 (sigma)" 또는 적분 필터 (integrating filter) 로서 지칭될 수도 있다. LTI 프리-필터 (916) 가 존재하면, APM (900) 은 비동기 펄스 시그마-델타 변조기 (asynchronous pulse sigma-delta modulator; APSDM) 로서 지칭될 수도 있다. LTI 프리-필터 (916) 가 존재하지 않으면, y(t)=z(t) 이 되고, APM 은 비동기 펄스 델타 변조기 (asynchronous pulse delta modulator; APDM) 로서 지칭될 수도 있다.

인코더 (902) 는 또한 양자화기 (920), 신호 생성기 (922)(이는 펄스 생성기일 수도 있다), 및 재구성 필터 (924) 를 포함한다. 양자화기 (920), 신호 생성기 (922), 및 재구성 필터 (924) 는 조합하여, 필터링된 신호 (918) y(t) 에서 변화값들 또는 "델타들"을 인코딩하는 일반화된 비동기 펄스 델타 변조기 (asynchronous pulse delta modulator; APDM) 인코더로서 지칭될 수도 있다. 필터링된 신호 (918) y(t) 는 가산기 (928) 에 제공되고, 로컬 재구성 신호 (926)(

) 에 의해 감산되어 차분 신호 (difference signal) 가 생성된다:

(21)

차분 신호의 진폭은 양자화기 (920) 에 의해 양자화되어 신호 (930) 를 산출할 수도 있다:

(22)

신호 e(t) 가 연속하는 값일 수도 있지만, 일부 양태들에서, 이는 하나 이상의 이산 값들을 취할 수도 있다. 양자화기 (920) 는 또한 복수의 형태들을 취할 수 있다. 예를 들어, 양자화기는 1, 2 또는 다수의 임계값들을 가질 수도 있다. 그 후, 양자화된 차분 신호 (930)

는 신호 생성기 (922) 를 통과하여 송신 신호 (906) 가 형성된다:

(23)

여기에서 M 은 인코더에 의해 생성된 출력 펄스들의 총 수를 표현하며, p(t) 는 단위 에너지에서의 송신 펄스 형상을 표현하며, T_m 은

에서, (상위 임계값에 도달하거나 또는 초과하는) 양의 변화 및/또는 (하위 임계값에 도달하거나 또는 초과하는) 음의 변화의 m번째 발생과 연관된 시간 인스턴트 (time instant) 이며, 여기에서,

그리고

이고 a(m) 은 m 번째 펄스와 연관된 스케일링 값 또는 인자이다. 예를 들어, a(m) 은 1 또는 값들의 임의의 양 또는 음의 세트 (예를 들어, ±1, ±2) 를 표현할 수도 있다.

일 양태에서, 펄스들은 임펄스 함수 δ(t) 와 흡사한 큰 대역폭을 가질 수도 있다. 이들은 sinc(Bt), (여기에서,

이다), 이후 설명될 상승 코사인 펄스 (

이고, β 의 롤-인자를 가짐), 및 박형의 직사각형 펄스

와 같은 펄스들을 포함하며, 여기에서,

이고

는 단위 계단 함수이다:

(24)

일부 양태들에서, 송신 신호 (906) 는 임계값이 펄스들의 트레인에 도달할 때 시간 인스턴트 시퀀스

의 변환으로서 보여질 수도 있다. 송신 신호 (906) 는 또한 펄스 시간 변조로서 고려될 수도 있으며, 여기에서 각각의 시간 인스턴트는 펄스가 생성되는 인스턴트를 결정한다.

송신 신호 (906) 는 재구성 신호 (926) 을 산출하기 위해 (또한 델터 필터로서 지칭될 수도 있는) 재구성 필터 (924) h(t) 로 피드백될 수도 있다:

(25)

. (26)

연속하는-시간 시스템들에서, 클록이 이용되지 않으며, 시그널링 시간 인스턴트들

은 연속하는 값으로 된다. 한편, 클록을 이용할 수도 있는 이산 시간 시스템들에서, 신호 시간 인스턴트들

은 (예를 들어, 최근접 1 ms 로) 양자화될 수도 있다. 이는 APM (900) 의 이산-시간 버전들을 초래한다.

일부 양태들에서, 양자화기 (920) 및 신호 생성기 (922) 는 필요에 따라 결합될 수도 있다. 또한, 스무딩 필터 (932)(예를 들어, 안티-앨리어싱 필터 (anti-aliasing filter; AAF)) 가 프리-필터 앞에 삽입되어 대역외 잡음을 제거할 수도 있다. 스무딩 필터 (932) 는 예를 들어, 저대역 통과 필터 (low-pass filter; LPF) 또는 대역 통과 필터 (band-pass filter; BPF) 일 수도 있다. 일부 양태들에서, 스무딩 필터 (932) 의 대역폭은 z(t) 의 대역폭에 근사화하도록 설정될 수도 있다.

양자화기 (920) 는 여러 구성들로 제공될 수도 있다. 예를 들어, 양자화기 (920) 는 싱글 사이드(single-sided) 또는 더블 사이드(double-sided) 될 수도 있다. 싱글 사이드양자화기는 예를 들어, 상위 임계값 양자화기 또는 하위 임계값 양자화기를 포함할 수도 있다.

상위 임계값 양자화기들은 예를 들어, 0 일 수도 있는 최소 값을 갖는 신호들을 인코딩할 수도 있다. 상위 임계값 양자화기들은 입력 신호들의 양자화를 위하여 단일 임계값 또는 다수의 임계값들을 가질 수도 있다.

차분 신호는

이면

및

이고, 그렇지 않으면,

이도록 (여기에서, a>0 은 양자화된 값을 표현한다) 하기를 통하여 양자화된 차분 신호에 매핑된다:

(27)

쉬운 설명을 위하여, 그리고 제한 없이, 스케일링 인자는 1 로 설정될 수도 있다. 따라서, 양자화기 (920) 는 또한 단극성 시그널링 또는 포인트 프로세스들로서 지칭될 수도 있는 (스파이킹 신경 네트워크들에서의 스파이크들과 유사한) a 의 인자에 의해 스케일링된 단일의 양의 값으로 된 펄스 트레인들의 형태로 송신 신호들을 형성할 수도 있다. 송신 신호들은 다음에 의해 주어질 수도 있다:

(28)

일부 양태들에서, 임계값의 설계는 재구성 필터 설계에 영향을 준다. 일 예에서, Δ/2 의 임계값 및 이후에 정의되는

는

의 결과를 가져올 수도 있다. 다른 예에서, Δ 의 임계값 및

는

의 결과를 가져올 수도 있다. 제 1 접근 방식은 차분 신호의 보다 작은 절대값들을 가져올 수도 있다. 이 설명은 상위 임계값 양자화기들뿐만 아니라 이 문서에 설명된 모든 양자화기들에 적용한다.

시간 인스턴트들

은

가 임계값 초과이거나 동일한 인스턴트들에 대응한다.

다수의 양의 임계값들은 빠르게 양의 값으로 된 변화값들을 갖는 입력 신호들을 처리하도록 도입될 수 있고 (여기에서

이다), 이는 e(t) 가 정지 시간 또는 불능 기간 (refractory period) 동안에 빠르게 변화하면 발생할 수 있으며, 이 정지 시간 또는 불능 기간 동안에 인코더는 (예를 들어, 전력 리소스들의 재충전으로 인하여) 송신하지 못할 수도 있다. 더블 임계값 싱글 사이드양자화기의 일 예가 아래 설명된다.

차분 신호는

이도록 하기를 통하여 양자화된 차분 신호에 매핑된다:

(29)

이 양자화기는 2 개의 이산 값으로 된 펄스 트레인들의 형태의 송신 신호들을 가져온다. 이들은 다음 형태의 송신 신호들을 가져온다:

(30)

여기에서,

이다. 시간 인스턴트들

은

가 임계값 위에 있는 인스턴트들에 대응한다.

하위 임계값 양자화기들은 최대 값 미만의 신호들을 인코딩하기 위해 의도된다. 쉬운 설명을 위하여, 인코딩이 양이 아닌 신호들을 위한 것이도록 0 의 최대값을 상정하여 본다. 하위 임계값 양자화기들은 또한 입력 신호들을 양자화하기 위한 하나 이상의 임계값들을 가질 수도 있다.

차분 신호는

이면,

및

이고, 그렇지 않으면

이도록 하기를 통하여 양자화된 차분 신호에 매핑된다:

(31)

값 a 은 양자화된 값 (예를 들어, a=1) 을 표현한다. 이 양자화기는 하기에 의해 주어질 수도 있는 단일의 음의 값으로 된 펄스 트레인들의 형태의 송신 신호들을 가져온다:

(32)

여기에서, 시간 인스턴트들

은

가 임계값 미만이거나 동일한 인스턴트들에 대응한다.

상위-임계 임계값 양자화기들과 마찬가지로, 다수의 하위-임계 임계값들이 빠르게 음의 값으로 된 변화값들을 갖는 입력 신호들을 처리하도록 도입될 수 있고 여기에서,

이다.

차분 신호는 하기를 통하여 양자화된 차분 신호에 매핑된다:

(33)

이는 다음 형태의 송신 신호들을 가져온다:

(34)

여기에서,

이다. 시간 인스턴트들

은

가 임계값 미만이거나 동일한 인스턴트들에 대응한다.

더블 사이드양자화기는 최소값 또는 최대값을 갖지 않을 수도 있는 신호들을 인코딩할 수도 있다. 더블 사이드양자화기들은 증가하는 값으로 된 임계값 및 감소하는 값으로 된 임계값 양쪽 모두를 가질 수도 있다. 이러한 양자화기들은 바운딩되지 않은 신호들의 양자화를 지원할 수도 있고, 필요에 따라 상위 임계값 및/또는 하위 임계값을 지원할 수 있다.

차분 신호는

이도록 하기를 통하여 양자화된 차분 신호에 매핑된다:

(35)

이 양자화기는 쌍극성 펄스 트레인들의 형태의 송신 신호들을 가져온다:

(36)

여기에서,

이다. 시간 인스턴트들

은

가 양의 값으로 된 임계값 초과이거나 동일한 또는 음의 값으로 된 임계값 미만이거나 동일한 인스턴트들에 대응한다.

다수의 임계값 페어들이

에서 빠르게 변화하는 입력 신호들을 처리하도록 도입될 수 있다. 더블 사이드임계값 페어 양자화기의 일 예가 아래 설명되어 있다.

차분 신호는

이도록 하기를 통하여 양자화된 차분 신호에 매핑된다:

(37)

이 양자화기는 쌍극성 펄스 트레인들의 형태의 송신 신호들을 가져온다:

(38)

여기에서,

이다. 시간 인스턴트들

은

가 양의 값으로 된 임계값 초과이거나 동일한 또는 음의 값으로 된 임계값 미만이거나 동일한 인스턴트들에 대응한다.

양자화기 (920) 가 싱글 사이드이면, 재구성 필터 (924) 는 감쇠 필터일 수도 있다. 비감쇠 재구성 필터는 하위 임계값 양자화기들에 대해 단조 감소하거나 또는 상위 임계값 양자화기들에 대해 단조 증가하는 재구성 신호들 (926) 을 가져올 수도 있다. 양자화기 (920) 가 더블 사이드이면, 감쇠 또는 비감쇠 재구성 필터들 (924) 이 이용될 수도 있다. 감쇠 재구성 필터 (924) 는 연속하는 값들 또는 이산 값들을 가질 수도 있다.

비감쇠 재구성 필터는 임펄스 응답을 취할 수도 있다:

(39)

여기에서 스케일링 인자 1/a 는 송신 (또는 수신) 신호에서 인자 a 를 제거하도록 적용될 수도 있고, 스케일링 인자 Δ 는 양자화기에 의해 정의된 것과 매칭하는 양으로 입력 신호를 트랙킹하는데 이용될 수도 있다. 일부 양태들에서,

이도록 Δ=a=1 이 된다.

일부 구성들에서, 연속하는 값들로 된 임펄스 응답을 갖는 임의적인 감쇠 필터가 이용될 수도 있다. 예를 들어, 임의적인 감쇠 필터는 신호 (예를 들어, 입력 신호) 가 제로로 줄어들 때 이용될 수도 있다. 일부 양태들에서, 재구성 필터는 입력 신호 유형의 감쇠 거동에 기초하여 선택될 수도 있다. 예를 들어, 빠르게 감쇠하는 입력 신호들에 대해, 제로로 빠르게 감쇠하는 재구성 필터들이 이용될 수도 있다. 그렇지 않으면, 천천히 감쇠하는 재구성 필터들이 이용될 수도 있다. 빠르게 상승하는 신호들에 대해, 빠르게 상승하는 재구성 필터들이 채용될 수도 있다. 그렇지 않으면, 천천히 상승하는 재구성 필터들이 이용될 수도 있다.

간단한 감쇠 재구성 필터는 감쇠 지수함수적이다:

(40)

여기에서, τ_d 는 감쇠 시간 상수를 표현하고, u_s(t) 는, t≥0 이면 u_s(t)=1 이고 그렇지 않으면 u_s(t)=0 인 단위 계단 함수를 표현한다.

일부 양태들에서, 이중 지수를 갖는 재구성 필터가 이용될 수도 있다. 예를 들어, 급격한 점프 보다는 매끄러운 상승을 위하여, 이중 지수 필터가 다음과 같이 주어질 수도 있다:

(41)

여기에서, τ_r 은 상승 시간 상수를 표현하며, 스케일링 계수 A_2exp 는 다음과 같다:

(42)

여기에서, A_2exp,peak 는 이중 지수의 피크 크기 (예를 들어, A_2exp,peak=1) 를 표현하고 그리고:

(43)

일부 양태들에서, 이산 값들을 갖는 감쇠 필터들이 채용될 수도 있다. 일부 예들에서, 재구성 필터는 균일하게 이격된 이산 값들을 갖는 선형 감쇠 계단 함수의 형태를 갖는다.

재구성 필터는 또한 각각의 이산 값에 대해 불균일하게 이격된 이산 값들 및 불균일 지속기간들을 가질 수도 있다. 일 예에서, 감쇠 지수의 이산 값으로 된 버전에 비유될 수 있는 텔레스코핑 방식 (1/2 의 인자) 으로 조정되는 감소하는 계단 사이즈들을 갖는 재구성 필터가 이용될 수도 있다.

또 다른 양태에서, 재구성 필터는 초기 상승 및 후속 감쇠를 가질 수도 있다. 예를 들어, 재구성 필터는 초기에 상승하고 나서, 이중 지수의 이산 값으로 된 버전에 비유될 수 있는 감쇠 계단 함수를 가질 수도 있다.

채널 (910) 이 이상적이면 (즉, 손실이나 잡음을 갖지 않으면), 디코더 (912) 는 r(t)=s(t) 이도록 송신 신호 (906) 와 동등한 수신 신호 (914) 를 겪는다.

바운딩된 신호들을 인코딩하기 위한 APDM 및 싱글 사이드양자화기들에서, 재구성 신호 (또는 필터 임펄스 응답) 는 일반적으로 제로를 향하는 경향이 있을 수도 있다. 그렇지 않으면, 신호 인코딩은 가능하지 않을 수도 있다. 예를 들어, 단위 계단 함수로 설정된 상위 임계 양자화기 및 재구성 필터와 함께 APDM 은 시간에 따라 증가하는 신호들을 오직 인코딩만할 수도 있고 또한 시간에 따라 감소하는 신호들을 인코딩하지 못할 수도 있다. 한편, 충분히 빠르게 제로를 향하는 경향이 있는 응답을 갖는 재구성 필터는 또한 감쇠하는 신호들을 인코딩할 수도 있다.

디코더 (912) 는 일부 경우에 상이한 순서로 구성되고/되거나 결합될 수도 있는 (재구성 필터 (924) 와 유사한) 재구성 필터, 인버스 필터, 및 스무딩 필터 (932) (예를 들어, 안티-앨리어싱 필터 (AAF)) 를 포함할 수도 있다.

본 개시의 APM 인코더/디코더 페어 (900) 에서는, 임펄스 응답에 대한 추정된 수치적 솔루션보다는 디코더 (912) 에 대한 명시적 솔루션이 존재한다.

공간적 프로세서로서의 APM 뉴런

도 10 은 공간적 프로세서로서 구성되는 예시적인 인공 뉴런 (1000) 을 예시하는 블록도이다. 도 10 을 참조하여 보면, 인공 뉴런 또는 APM 뉴런 (1000) 은 하나 이상의 APM 디코더들 (예를 들어, 1004a, 1004n), 활성 함수 노드 (1010) 및 APM 인코더 (1012) 를 포함할 수도 있다.

APM 뉴런 (1000) 은 N 개의 시냅스 전 뉴런들과 커플링될 수도 있고, 각각의 연결은 단일의 시냅스 (예를 들어, 1002a, 1002n) 를 포함한다. N 개의 시냅스 전 뉴런들 각각은 APM (1000) 과 유사하게 구성될 수도 있다. 따라서, N 개의 페어들의 APM 인코더들 및 디코더들이 존재할 수도 있고, 여기에서, APM 디코더 n 은 대응하는 시냅스 (예를 들어, 1002a, 1002n, 1002N) 를 통하여 시냅스 전 APM 인코더 n (도시 생략) (여기에서 n=1, 2,…, N) 에 매칭된다. 일부 양태들에서, 인코더/디코더 페어들은 공통이거나 또는 동일할 수도 있다. 예를 들어, N 개의 인코더/디코더 페어들 각각은 동일한 인코딩 및 디코딩 기술들을 수행하도록 구성될 수도 있다. 그러나, 본 출원은 이에 제한되지 않고, 인코더/디코더 페어들은 서로 상이할 수도 있다.

APM 뉴런은 N 개의 시냅스 전 뉴런들 (도시 생략) 로부터 N 개의 스파이크 트레인 입력들 (예를 들어, r_{pre ,1}(t) r_{pre ,n}(t)) 을 수신한다. 일부 양태들에서, 시냅스 전 뉴런들은 APM 뉴런들을 포함할 수도 있다. APM 인코더 n 은 신호 x_pre,n(t) 를 취하고 스파이크 트레인 s_{pre ,n}(t) 을 생성한다. 쉬운 설명을 위하여, 시냅스 n 에서, 수신된 스파이크 트레인 r_{pre ,n}(t)=s_{pre ,n}(t) 이도록 채널은 잡음이나 감쇠가 없는 것으로 상정될 수도 있다. 물론, 본 개시는 이에 제한되지 않고, 수신된 스파이크 트레인은 잡음있는 채널의 영향 하에서 계산될 수도 있다. 따라서, 수신된 스파이크 트레인들은 이전의 연속하는-시간 입력 신호의 비동기 펄스 코딩 표현들을 포함할 수도 있다.

APM 디코더들 (예를 들어, 1004a, 1004N) 은 수신된 스파이크 트레인 r_pre,n(t) 을, 대응하는 시냅스 전 뉴런, 및 기초가 되는 연속하는-시간 AN 과 연관된 스쿼시된 점곱 x_{pre ,n}(t) 의 연속하는-시간 형태 추정값

으로 변환한다.

그 후, 추정값

은 곱셈기 (예를 들어, 1006a, 1006N) 를 통하여 n 번째 시냅스 가중치 (

) 와 곱해질 수도 있다. 물론, APM 디코더 n 의 순서와 시냅스 가중치 (

) 곱셈은 스위칭될 수도 있고 수학적으로 등가이다. 스위칭될 때, 수신된 스파이크 트레인 r_{pre ,n}(t) 은 APM 디코더 (예를 들어, 1004a, 1004N) 로 패스되기 전에 먼저 시냅스 가중치에 의해 스케일링된다. 수학적 등가를 통하여, 곱셈을 취하는 것이 먼저 유리할 수도 있는데 이는 입력 스파이크와 시냅스 가중치의 곱셈이 스파이크 도달이 발생할 때에만 발생할 수도 있기 때문이다. 그렇지 않고, 곱셈이 나중에 취해지면, 상수 곱 (증폭) 이 수행될 수도 있다. 따라서, 본 접근 방식에 의해, 하드웨어 및 시스템 성능에 대하여 추가적인 효율들이 실현될 수도 있다.

각각이 자신의 대응 시냅스 가중치에 의해 스케일링될 수도 있는 n번째 APM 디코더 출력들 (x_{pre ,n}(t)) 은 합산 노드 (1008) 에 공급되어 바이어스 항

과 함께 다음과 같이 합산된다:

(44)

여기에서,

는 기초가 되는 연속하는-시간 AN 과 연관되는 바이어싱된 점곱 y(t) 의 추정값이다. 그 후, 이 점곱 추정값은 활성 함수 노드 (1010) 에 패스될 수도 있다. 활성 함수 노드 (1010) 는 예를 들어, 활성 함수, 이를 테면 σ(·) 를 적용할 수도 있다. 그러나, 시그모이드 함수, 쌍곡선 탄젠트 및 피스와이즈 선형 활성 함수들을 포함하는 다른 형태들의 활성 함수들이 적용될 수도 있다. 활성 함수는 그 입력 신호의 진폭을 한정된 범위, 이를 테면, [0,1] 또는 [-1,1] 로 압축할 수도 있다.

일 예시적인 양태에서, 활성 함수의 출력은 기초가 되는 연속 시간 AN 과 연관되는 스쿼시된 점곱의 추정값일 수도 있다:

(45)

스쿼시된 점곱

는 APM 인코더 (1012) 에 패스될 수도 있다. 이어서, APM 인코더 (1012) 는

를, APM 뉴런으로부터 출력될 수도 있는 스파이크 트레인 s(t) 으로 변환할 수도 있다.

일부 양태들에서, APM 뉴런 (1000) 은 APM 인코더/디코더 페어가 공통일 때 단순화될 수도 있다. 예를 들어, 공통 APM 디코더들은 단일의 디코더로 풀링될 수도 있다. 도 11 은 예시적인 단순화된 APM 뉴런 (1100) 을 예시하는 블록도이다. 도 11 에 도시된 바와 같이, 단일의 APM 디코더 (1104) 는 모든 APM 인코더 및 디코더 페어들이 동일하거나 또는 공통일 경우에 사용될 수 있다. 각각의 APM 디코더 (예를 들어, 도 10 의 1004a, 1004N) 는 공통으로 구성될 수도 있다. 시냅스 가중치 곱셈 연산과 APM 디코더의 순서는 또한 바꾸어질 수도 있다. 이로써, n 번째 수신된 스파이크 트레인은 시냅스 가중치

에 의해 스케일링된 다음, APM 디코더 (1104) 에 패스될 수도 있다.

선형성에 의해, N 개의 APM 디코더들 (도 10 에 도시됨) 은 하나의 디코더 (1104) 로 통합되고 합산 노드 (1108) 에서의 합산 동작 이후로 이전될 수도 있다. 따라서, 곱셈기들 (예를 들어, 1106a, 1106N) 로부터의 N 개의 가중처리된 스파이크 트레인들 각각은 통합된 스파이크 트레인을 형성하도록 합산될 수도 있다:

(46)

통합된 스파이크 트레인 r_{pre ,w}(t) 은

를 생성하도록 APM 디코더 (1104) 에 제공될 수도 있다. 앞에서와 같이,

는 바이어싱된 점곱

을 생성하도록 활성 함수를 적용하는 활성 함수 노드 (1110) 를 통과한다. 신호

는 출력 스파이크 트레인 s(t) 을 생성하도록 APM 인코더 (1112) 에 제공될 수도 있다.

추가적인 단순화가 실현될 수도 있다. 예를 들어, 활성 함수 (예를 들어, σ(·)) 의 부재시에, APM 뉴런은 바이어싱된 점곱 (스쿼싱 없음) 을 연산할 수도 있다.

도 12a 는 본 개시의 양태들에 따라 결합형 APM 디코더/인코더 (1202a) 에 대한 신호 프로세싱 블록들을 예시하는 블록도이다. 결합형 APM 디코더/인코더는 스무딩 필터 (예를 들어, 안티-앨리어싱 필터 (AAF))(1204), 델타 필터들 (1206), 합산기 (1208), 양자화기 (1210), 및 펄스 생성기 (1212) 를 포함할 수도 있다.

일부 양태들에서, 결합형 APM 디코더/인코더에 대한 신호 프로세싱 블록은 단순화될 수도 있다. 도 12b 는 예시적인 단순화된 신호 프로세싱 블록 (1202b) 을 예시한다. 도 12b 에 도시된 바와 같이, 2 개의 델타 필터들 h(t) 이 감산 연산기 이후로 이전되고 단일 h(t) 로 결합될 수 있다.

결합형 APM 디코더/인코더는 스무딩 필터 (1204)(예를 들어, AAF)) 가 선행되는 비동기 펄스 시그마 델타 변조기 (asynchronous pulse sigma delta modulator; APSDM) 를 포함할 수도 있다. 이로써, 결합형 APM 디코더/인코더 블록 (예를 들어, 1202b) 은 (도 11 에 도시된) N 개의 가중처리된 스파이크 트레인들의 어그리게이트 r_{pre ,w}(t) 를 취하고 이것을, 비가중처리된 출력 스파이크 트레인 (s(t)) 으로 인코딩할 수도 있다.

공간-시간 프로세서로서의 APM 뉴런

도 13 은 본 개시의 특정 양태들에 따라 공간-시간 (공간적-시간적) 프로세서로서 구성되는 예시적인 인공 뉴런 (1300) 을 예시하는 블록도이다. 도 10 의 APM 뉴런 (1000) 과 유사하게, 인공 뉴런 또는 APM 뉴런 (1300) 은 N 개의 시냅스 전 뉴런들과 연결될 수도 있다. 그러나, 다수의 시냅스들은 단일의 시냅스 전 뉴런과 APM 뉴런 (1300) 사이에 존재할 수도 있다.

APM 인코더들 및 디코더들의 N 개의 페어들이 존재하고, 여기에서, APM 디코더 n (도시 생략) 은 시냅스 전 APM 인코더 n (도시 생략)(여기에서, n = 1, 2, …, N 이다) 에 매칭된다. 시냅스 전 뉴런 n 으로부터 수신된 스파이크 트레인 r_pre,n(t) 은 먼저 APM 디코더 n 에 제공되어 입력 신호 (x_{pre ,n}(t)) 의 재구성된 추정값

이 생성되며, 여기에서, 이 추정값은 시냅스 전 APM 인코더 n 에 의해 인코딩되었다. 입력 신호 (x_{pre ,n}(t)) 는 시냅스 전 뉴런 n 에서 연산된 스쿼시된 점곱을 표현할 수도 있다.

추정값 (

) 은 신호를 생성하는 FIR 필터 (예를 들어, 1304a, 1304N) 에 제공된다:

(47)

여기에서, L_n≥ 1 은 n 번째 단일 시냅스 전 뉴런과 APM (시냅스 후) 뉴런 사이의 (다중경로 채널들의 수와 유사한) 시냅스들의 수를 표현하고,

은

번째 시냅스 (여기에서,

=

) 와 연관되고 n 번째 시냅스 전 뉴런과 연관되는 시냅스 가중치를 표현한다. 추가로,

는 시냅스 전 뉴런 n 과 연관된 (다중경로 채널 탭 가중치들과 유사한) L_n 개의 시냅스 가중치들을 갖는 벡터를 표현하며,

≥0 는 n 번째 시냅스 전 뉴런과

번째 시냅스 사이의 시간 딜레이 (여기에서,

=

) 를 표현하며,

은 시냅스 전 뉴런 n 과 연관된 n 개의 지연 성분들을 갖는 벡터를 표현한다.

FIR 필터들의 출력들은 합산 노드에 제공되어, 바이어스 항

와 합산되고 이는 바이어싱된 점곱의 추정값을 산출한다:

(48)

이어서, 바이어싱된 점곱 추정값은 스쿼시된 점곱 추정값을 생성하도록 활성 함수 (σ(t)) 를 적용하는 활성 함수 노드에 패스될 수도 있다:

(49)

스쿼시된 점곱 추정값은 연결 (concatenate) 된 공간적 신호 벡터와 연결된 공간적 시냅스 가중 벡터 사이의 유사성의 시변 방식으로 추정값을 제공한다. 연결된 공간적 신호 벡터는 예를 들어, 다음과 같이 정의될 수도 있다:

(50)

여기에서 시냅스 전 뉴런 n 과 연관된 공간적 신호 벡터는 다음과 같이 정의될 수도 있다:

(51)

연결된 공간적 시냅스 가중 벡터는

이고, 여기에서, 시냅스 전 뉴런 n 과 연관된 공간적 신호 벡터는

이다.

스쿼시된 점곱 추정값

이 출력되어,

을 스파이크 트레인 s(t) 으로 변환하는 APM 인코더에 제공된다.

도 14 는 예시적인 단순화된 공간-시간 (공간적-시간적) APM 뉴런 (1400) 을 예시하는 블록도이다. 도 14 의 예에 도시된 바와 같이, APM 인코더 및 디코더 페어들이 공통일 때, APM 뉴런은 도 11 및 도 12 에 대하여 위에 설명된 것과 유사한 방식으로 단순화될 수도 있다. (도 13 에 도시된) 공통 APM 디코더들은 단일의 디코더 (1404) 로 풀링될 수도 있다. 따라서, 모든 APM 인코더 및 디코더 페어들이 공통 또는 동일할 때, 공간-시간 APM 뉴런이 감소될 수 있다. 이는 FIR 필터들의 순서를 디코더들로 스위칭한 다음 합산 노드 이후 N 개의 동일 또는 공통 APM 디코더들을 단일의 APM 디코더 (1404) 로 통합하는 것에 의해 발생할 수도 있다.

일부 양태들에서, 활성 함수가 존재하지 않으면, APM 디코더 및 인코더, 이에 따른 APM 뉴런이 위에 설명된 바와 같이 추가로 단순화될 수도 있다.

시간적 프로세서로서의 APM 뉴런

도 15 는 본 개시의 양태들에 따라 시간적 프로세서로서 구성되는 예시적인 인공 뉴런 (1500) 을 예시하는 블록도이다. 도 15 에 도시된 바와 같이, 시간적 프로세서는 시냅스 전 뉴런들의 수를 N=1 로 설정하는 것에 의해, 도 13 에 대하여 앞서 설명된 바와 같이, 공간-시간 프로세서로부터 쉽게 도출될 수 있다. 추가로, 인코더 및 디코더 페어들이 공통일 때 그리고 활성 함수가 제거될 때 발생하는 단순화들은 시간적 프로세서에서도 역시 유리하게 적용될 수도 있다.

도 16 은 인공 뉴런을 구성하기 위한 방법 (1600) 을 예시한다. 블록 1602 에서, 뉴런 모델은 입력 스파이크 트레인들의 세트를 수신한다. 입력 스파이크 트레인들은 이전의 연속하는-시간 입력 신호들을 나타내는 비동기 펄스 코딩 (예를 들어, APM, 비동기 델타 변조, (ADM) 또는 비동기 시그마 델타 변조 (ASDM)) 표현을 포함할 수도 있다. 예를 들어, 일부 양태들에서, 입력 스파이크 트레인들은 센서류 입력 소로부터 또는 시냅스 전 뉴런으로부터 이전의 연속하는-시간 입력 신호의 비동기 펄스 코딩 표현을 포함할 수도 있다. 일부 양태들에서, 비동기 펄스 코딩은 APM, ADM ASDM 등일 수도 있다.

일부 양태들에서, 입력 스파이크 트레인들은 예를 들어, 센서류 입력 소스 또는 시냅스 전 뉴런으로부터 공급될 수도 있다. 입력 스파이크 트레인들은 이벤트 기반으로 샘플링될 수도 있다. 이벤트는 이들에 제한되지 않지만, 펄스, 또는 스파이크, 또는 패킷 송신/수신과 같은 많은 방식들로 정의될 수도 있다. 일 예에서, 이벤트는 펄스 함수, 또는 +ve 또는 -ve 의 극성 (업사이드 다운) 을 갖거나 또는 상이한 진폭들을 갖는 스파이크 또는 펄스 함수에 따라 정의될 수도 있다. 이벤트 시간은 펄스가 생성되는 시간에 따라 내재적으로 인코딩될 수도 있고, 스파이크의 소스 (시냅스 전 뉴런) 는 스파이크가 나타나는 시냅스 또는 라인에 의해 내재적으로 결정될 수도 있다.

다른 예에서, 이벤트는 어드레스 이벤트 표현 (address event representation; AER) 패킷 접근 방식에 따라 정의될 수도 있다. AER 패킷 접근 방식에서, 타임 스탬프가 명시적으로 디지털 방식으로 (예를 들어, 16 비트 값으로) 인코딩될 수도 있고 소스 (시냅스 전 뉴런) 가 또한, 명시적으로 디지털 방식으로 (예를 들어, 시냅스 전 뉴런을 고유하게 식별하는 16 비트 어드레스로) 인코딩될 수도 있다. 또한, 이들 접근 방식들은 단지 예시에 불과하며 비제한적이다.

또한, 블록 1604 에서, 뉴런 모델은 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성한다. 일부 양태들에서, 유사성은 시간적 필터에 대하여 또는 입력 스파이크 트레인들의 세트와 공간적 가중 벡터 사이에 존재할 수도 있다.

유사성은 연속하는-시간 스쿼시된 점곱 또는 방사상 기반 함수를 포함할 수도 있다.

상술된 방법들의 다양한 동작들은 대응하는 기능들을 수행할 수 있는 임의의 적합한 수단으로 수행될 수도 있다. 수단은 주문형 집적 회로 (ASIC), 또는 프로세서를 포함하여 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들) 및/또는 모듈(들)을 포함하나, 이로 제한되지는 않는다. 일반적으로, 도면들에 대응하는 동작들이 있는 경우, 이러한 동작들은 대응하는 상대 수단 + 동일한 번호를 갖는 기능 컴포넌트들을 가질 수도 있다.

본원에서 이용되는 바와 같이, 용어 "결정하기" 는 매우 다양한 액션들을 포괄한다. 예를 들어, "결정하기" 는 산출하기, 계산하기, 프로세싱하기, 도출하기, 조사하기, 검색하기 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조에서 검색하기), 확인하기 등을 포함할 수도 있다. 또한, "결정하기" 는 수신하기 (예를 들어, 정보 수신하기), 액세스하기 (예를 들어, 메모리 내의 데이터에 액세스하기) 등을 포함할 수도 있다. 또한, "결정하기" 는 해결하기, 선택하기, 고르기, 설정하기 등을 포함할 수도 있다.

본원에서 이용되는 바와 같이, 아이템들의 리스트 중 "그 중 적어도 하나" 를 지칭하는 구절은 단일 구성부를 포함하여, 이러한 아이템들의 임의의 조합을 지칭한다. 예로서, "a, b, 또는 c" 중의 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 를 포함하고자 한다.

본원 개시물과 연계하여 설명된 다양한 예증적인 논리 블록들, 모듈들, 및 회로들은 본원에서 개시된 기능들을 수행하도록 디자인된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그램가능한 게이트 어레이 (FPGA) 또는 다른 프로그램가능한 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 이들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있으나, 대안으로, 프로세서는 임의의 상업적으로 이용가능한 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.

본 개시와 연계하여 설명된 방법의 단계들 또는 프로세스는 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 공지된 임의의 형태의 저장 매체 내에 있을 수도 있다. 이용될 수도 저장 매체들의 일부 예들은, 랜덤 액세스 메모리 (random access memory; RAM), 판독 전용 메모리 (read only memory; ROM), 플래시 메모리, 소거가능한 프로그램가능 판독 전용 메모리 (erasable programmable read-only memory; EPROM), 전기적으로 소거가능한 프로그램가능 판독 전용 메모리 (electrically erasable programmable read-only memory; EEPROM), 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈은 단일 명령 또는 많은 명령들을 포함할 수도 있고, 상이한 프로그램들 사이에서 여러 상이한 코드 세그먼트들에 걸쳐, 그리고 다수의 저장 매체들에 걸쳐 분배될 수도 있다. 저장 매체는 프로세서에 연결되어, 프로세서가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다.

본원에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 단계들 또는 액션들에 대한 특정 순서가 명시되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다.

본원에 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어에서 구현된다면, 일 예시적인 하드웨어 구성은 디바이스에서의 프로세싱 시스템을 포함할 수도 있다. 프로세싱 시스템은 버스 아키텍쳐로 구현될 수도 있다. 버스는 프로세싱 시스템 및 전체 설계 제약들의 특정 애플리케이션들에 따라 임의의 개수의 상호접속하는 버스들 및 브리지들을 포함할 수도 있다. 버스는 프로세서, 머신-판독가능 매체들, 및 버스 인터페이스를 포함하여 다양한 회로들을 함께 링크할 수도 있다. 버스 인터페이스는 다른 것들 중에서 네트워크 어댑터를 버스를 통해 프로세싱 시스템에 연결하는데 이용될 수도 있다. 네트워크 어댑터는 신호 프로세싱 기능들을 구현하는데 이용될 수도 있다. 특정 양태들에서, 사용자 인터페이스 (예를 들어, 키보드, 디스플레이, 마우스, 조이스틱 등) 가 또한 버스에 연결될 수도 있다. 버스는 또한 다양한 다른 회로들, 예컨대, 타이밍 소스들, 주변기기들, 전압 조절기들, 전력 관리 회로들 등을 링크할 수도 있으며, 이는 공지되어 있으므로, 더 이상 설명되지 않을 것이다.

프로세서는 컴퓨터 판독가능 매체 상에 저장된 소프트웨어의 실행을 포함하여 버스 및 범용 프로세싱을 관리하는 역할을 할 수도 있다. 프로세서는 하나 이상의 범용 및/또는 특수-목적용 프로세서들로 구현될 수도 있다. 예들은 마이크로프로세서들, 마이크로제어기들, DSP 제어기들, 및 소프트웨어를 실행할 수 있는 다른 회로부를 포함한다. 소프트웨어는 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 서술 언어, 또는 다른 것으로 지칭되더라도, 명령들, 데이터, 또는 이들의 임의의 조합을 의미하는 것으로 광범위하게 해석될 수 있다. 머신-판독가능 매체들은, 예로서, 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그램가능한 판독 전용 메모리 (PROM), 소거가능한 프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그램가능 판독 전용 메모리 (EEPROM), 레지스터들, 자기 디스크들, 광학 디스크들, 하드 드라이브들, 또는 임의의 다른 적합한 저장 매체, 또는 이들의 임의의 조합을 포함할 수도 있다. 머신-판독가능 매체들은 컴퓨터-프로그램 제품으로 구체화될 수도 있다. 컴퓨터-프로그램 제품은 패키징 재료들을 포함할 수도 있다.

하드웨어 구현에서, 머신-판독가능 매체들은 프로세서와 별개인 프로세싱 시스템의 일부일 수도 있다. 그러나, 머신-판독가능 매체들, 또는 이의 임의의 부분은 프로세싱 시스템의 외부에 있을 수도 있음을 당업자들은 쉽게 이해할 것이다. 예로서, 머신-판독가능 매체들은 송신 라인, 데이터에 의해 변조된 반송파, 및/또는 디바이스와 별도인 컴퓨터 제품을 포함할 수도 있으며, 이 모두는 버스 인터페이스를 통해 프로세서에 의해 액세스가능하게 될 수도 있다. 대안으로, 또는 이에 더해, 머신-판독가능 매체들, 또는 이들의 임의의 부분은 프로세서에 통합될 수도 있으며, 그러한 경우에는 캐시 및/또는 범용 레지스터 파일들과 함께 있을 수도 있다. 논의된 다양한 컴포넌트들이 로컬 컴포넌트와 같이 특정 위치를 갖는 것으로 설명되었으나, 그것들은 또한 소정의 컴포넌트들이 분산 컴퓨팅 시스템의 일부로서 구성되는 것과 같이 다양한 방식들로 구성될 수도 있다.

프로세싱 시스템은 프로세서 기능성을 제공하는 하나 이상의 마이크로프로세서들 및 적어도 일부분의 머신-판독가능 매체들을 제공하는 외부 메모리로 구현될 수도 있으며, 모두 외부 버스 아키텍쳐를 통해 다른 지원하는 회로부와 함께 링크된다. 대안으로, 프로세싱 시스템은 뉴런 모델들 및 본원에서 설명된 신경 시스템들의 모델들을 구현하기 위한 하나 이상의 뉴로모픽 프로세서들을 포함할 수도 있다. 다른 대안으로서, 프로세싱 시스템은 프로세서를 갖는 주문형 반도체 (ASIC), 버스 인터페이스, 사용자 인터페이스, 지원 회로부, 및 단일 칩 내에 통합되는 적어도 일부분의 머신-판독가능 매체들로, 또는 하나 이상의 필드 프로그램가능 게이트 어레이 (FPGA) 들, 프로그램가능 로직 디바이스 (PLD) 들, 제어기들, 상태 머신들, 게이트 로직, 이상 하드웨어 컴포넌트들, 또는 임의의 다른 적합한 회로부, 또는 본 개시를 통해 설명된 다양한 기능성을 수행할 수 있는 회로들의 임의의 조합으로 구현될 수도 있다. 특정 응용 및 전체 시스템에 부과되는 전체 설계 제약들에 따라 본 개시에 걸쳐 제시된 설명된 기능성을 가장 잘 구현하기 위한 방법을 당업자들은 인지할 것이다.

머신-판독가능 매체들은 다수의 소프트웨어 모듈들을 포함할 수도 있다. 소프트웨어 모듈들은, 프로세서에 의해 실행되는 경우, 프로세싱 시스템으로 하여금 다양한 기능들을 수행하게 하는 명령들을 포함한다. 소프트웨어 모듈들은 송신 모듈 및 수신 모듈을 포함할 수도 있다. 각각의 소프트웨어 모듈은 단일 저장 디바이스에 있을 수도 있거나 다수의 저장 디바이스들에 걸쳐 분산될 수도 있다. 예로서, 소프트웨어 모듈은 트리거링 이벤트가 발생하는 경우 하드웨어 드라이브로부터 RAM 으로 로딩될 수도 있다. 소프트웨어 모듈의 실행 중에, 프로세서는 액세스 속도를 증가시키기 위해 명령들의 일부를 캐시 내로 로딩할 수도 있다. 하나 이상의 캐시 라인들은 그러면 프로세서에 의한 실행을 위해 범용 레지스터 파일 내로 로딩될 수도 있다. 하기에서 소프트웨어 모듈의 기능성을 언급하는 경우, 그러한 기능성은 해당 소프트웨어 모듈로부터 명령들을 실행하는 경우 프로세서에 의해 구현된다는 것이 이해될 것이다.

소프트웨어로 구현된다면, 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 전송될 수도 있다. 컴퓨터-판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 가능하게 하는 임의의 매체를 포함하는 통신 매체들 및 컴퓨터 저장 매체들 양자 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터-판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 요구되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 연결부는 컴퓨터-판독가능 매체라고 적절히 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선 (IR), 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송된다면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본원에서 사용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피디스크 및 블루레이® 디스크를 포함하며, 여기서 디스크 (disk) 는 통상 자기적으로 데이터를 재생하고, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 따라서, 일부 양태들에서, 컴퓨터-판독가능 매체들은 비일시적 컴퓨터-판독가능 매체들 (예를 들어, 유형의 매체들) 을 포함할 수도 있다. 또한, 다른 양태들에 있어서, 컴퓨터-판독가능 매체들은 일시적 컴퓨터-판독가능 매체들 (예를 들어, 신호) 을 포함할 수도 있다. 위의 조합들도 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.

따라서, 특정 양태들은 본원에 제시된 동작들을 수행하는 컴퓨터 프로그램 제품을 포함할 수도 있다. 예를 들어, 이러한 컴퓨터 프로그램 제품은 저장된 (및/또는 인코딩된) 명령들을 갖는 컴퓨터 판독가능 매체를 포함할 수도 있으며, 명령들은 본원에 설명된 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능할 수도 있다. 특정 양태들에 있어서, 컴퓨터 프로그램 제품은 패키징 재료를 포함할 수도 있다.

또한, 본원에 설명된 방법들 및 기법들을 수행하는 모듈들 및/또는 다른 적절한 수단은 다운로드될 수도 있고/있거나, 그렇지 않으면 가능한 적용가능한 사용자 단말 및/또는 기지국에 의해 획득될 수도 있다. 예를 들어, 본원에서 설명된 방법들을 수행하기 위한 수단의 전송을 용이하게 하기 위한 서버에 디바이스가 연결될 수도 있다. 대안으로, 본원에 설명된 다양한 방법들이 저장 수단 (예를 들어, RAM, ROM, 물리적 컴팩트 디스크 (CD) 나 플로피 디스크와 같은 물리적 저장 매체 등) 을 통해 제공될 수도 있어, 사용자 단말 및/또는 기지국은 디바이스에 연결할 시에 또는 디바이스에 저장 수단을 제공할 시에 다양한 방법들을 획득할 수 있다. 또한, 본원에서 설명된 방법들 및 기술들을 디바이스에 제공하기 위해 임의의 다른 적절한 기술들이 활용될 수 있다.

청구항들은 위에서 예시된 정확한 구성 및 컴포넌트들로 제한되지 않는 것으로 이해되어야 한다. 청구항의 범위를 벗어나지 않으면서, 본원에서 설명된 시스템들, 방법들, 및 장치들의 배치, 동작 및 세부사항들에서 다양한 수정예들, 변경예들, 및 변형예들이 이루어질 수도 있다.

Claims (24)

1. 인공 뉴런을 구성하는 방법으로서,
   비동기 펄스 변조 코딩 표현들을 포함하는 입력 스파이크 트레인들의 세트를 수신하는 단계; 및
   상기 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하는 단계를 포함하는, 인공 뉴런을 구성하는 방법.
2. 제 1 항에 있어서,
   상기 유사성은 연속하는 시간 스쿼시된 점곱 (continuous time squashed dot product) 또는 방사상 기반 함수를 포함하는, 인공 뉴런을 구성하는 방법.
3. 제 1 항에 있어서,
   상기 입력 스파이크 트레인들은 이벤트 기반으로 샘플링되는, 인공 뉴런을 구성하는 방법.
4. 제 1 항에 있어서,
   상기 인공 뉴런은 누설-적분 및 발화 (Leaky-Integrate and Fire; LIF) 뉴런 또는 스파이크 응답 모델 (Spike Response Model; SRM) 뉴런을 포함하는, 인공 뉴런을 구성하는 방법.
5. 제 1 항에 있어서,
   상기 출력 스파이크들은 단극성, 쌍극성 또는 다치화된 것인, 인공 뉴런을 구성하는 방법.
6. 제 5 항에 있어서,
   쌍극성의 상기 출력 스파이크들은 어드레스 이벤트 표현 (Address Event Representation; AER) 패킷들을 이용하여 표현되는, 인공 뉴런을 구성하는 방법.
7. 인공 뉴런을 구성하는 장치로서,
   메모리; 및
   상기 메모리에 커플링되는 적어도 하나의 프로세서를 포함하고,
   상기 적어도 하나의 프로세서는:
   비동기 펄스 변조 코딩 표현들을 포함하는 입력 스파이크 트레인들의 세트를 수신하고; 그리고
   상기 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하도록 구성되는, 인공 뉴런을 구성하는 장치.
8. 제 7 항에 있어서,
   상기 유사성은 연속하는 시간 스쿼시된 점곱 또는 방사상 기반 함수를 포함하는, 인공 뉴런을 구성하는 장치.
9. 제 7 항에 있어서,
   상기 적어도 하나의 프로세서는 또한, 상기 입력 스파이크 트레인들을 이벤트 기반으로 샘플링하도록 구성되는, 인공 뉴런을 구성하는 장치.
10. 제 7 항에 있어서,
    상기 인공 뉴런은 누설-적분 및 발화 (LIF) 뉴런 또는 스파이크 응답 모델 (SRM) 뉴런을 포함하는, 인공 뉴런을 구성하는 장치.
11. 제 7 항에 있어서,
    상기 적어도 하나의 프로세서는 또한, 단극성, 쌍극성 또는 다치화된 출력 스파이크들을 생성하도록 구성되는, 인공 뉴런을 구성하는 장치.
12. 제 11 항에 있어서,
    쌍극성의 상기 출력 스파이크들은 어드레스 이벤트 표현 (AER) 패킷들을 이용하여 표현되는, 인공 뉴런을 구성하는 장치.
13. 인공 뉴런을 구성하는 장치로서,
    비동기 펄스 변조 코딩 표현들을 포함하는 입력 스파이크 트레인들의 세트를 수신하는 수단; 및
    상기 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하는 수단을 포함하는, 인공 뉴런을 구성하는 장치.
14. 제 13 항에 있어서,
    상기 유사성은 연속하는 시간 스쿼시된 점곱 또는 방사상 기반 함수를 포함하는, 인공 뉴런을 구성하는 장치.
15. 제 13 항에 있어서,
    상기 입력 스파이크 트레인들은 이벤트 기반으로 샘플링되는, 인공 뉴런을 구성하는 장치.
16. 제 13 항에 있어서,
    상기 인공 뉴런은 누설-적분 및 발화 (LIF) 뉴런 또는 스파이크 응답 모델 (SRM) 뉴런을 포함하는, 인공 뉴런을 구성하는 장치.
17. 제 13 항에 있어서,
    상기 출력 스파이크들은 단극성, 쌍극성 또는 다치화된 것인, 인공 뉴런을 구성하는 장치.
18. 제 17 항에 있어서,
    쌍극성의 상기 출력 스파이크들은 어드레스 이벤트 표현 (AER) 패킷들을 이용하여 표현되는, 인공 뉴런을 구성하는 장치.
19. 프로그램 코드를 인코딩한 비일시적 컴퓨터 판독가능 매체를 포함하는 인공 뉴런을 구성하기 위한 컴퓨터 프로그램 제품으로서,
    상기 프로그램 코드는 프로세서에 의해 실행되고, 그리고
    비동기 펄스 변조 코딩 표현들을 포함하는 입력 스파이크 트레인들의 세트를 수신하는 프로그램 코드; 및
    상기 입력 스파이크 트레인들의 세트와 공간적-시간적 필터 사이의 유사성을 표현하는 출력 스파이크들을 생성하는 프로그램 코드를 포함하는, 프로그램 코드를 인코딩한 비일시적 컴퓨터 판독가능 매체를 포함하는 인공 뉴런을 구성하기 위한 컴퓨터 프로그램 제품.
20. 제 19 항에 있어서,
    상기 유사성은 연속하는 시간 스쿼시된 점곱 또는 방사상 기반 함수를 포함하는, 프로그램 코드를 인코딩한 비일시적 컴퓨터 판독가능 매체를 포함하는 인공 뉴런을 구성하기 위한 컴퓨터 프로그램 제품.
21. 제 19 항에 있어서,
    상기 입력 스파이크 트레인들을 이벤트 기반으로 샘플링하는 프로그램 코드를 더 포함하는, 프로그램 코드를 인코딩한 비일시적 컴퓨터 판독가능 매체를 포함하는 인공 뉴런을 구성하기 위한 컴퓨터 프로그램 제품.
22. 제 19 항에 있어서,
    상기 인공 뉴런은 누설-적분 및 발화 (LIF) 뉴런 또는 스파이크 응답 모델 (SRM) 뉴런을 포함하는, 프로그램 코드를 인코딩한 비일시적 컴퓨터 판독가능 매체를 포함하는 인공 뉴런을 구성하기 위한 컴퓨터 프로그램 제품.
23. 제 19 항에 있어서,
    단극성, 쌍극성 또는 다치화된 출력 스파이크들을 생성하는 프로그램 코드를 더 포함하는, 프로그램 코드를 인코딩한 비일시적 컴퓨터 판독가능 매체를 포함하는 인공 뉴런을 구성하기 위한 컴퓨터 프로그램 제품.
24. 제 23 항에 있어서,
    쌍극성의 상기 출력 스파이크들은 어드레스 이벤트 표현 (AER) 패킷들을 이용하여 표현되는, 프로그램 코드를 인코딩한 비일시적 컴퓨터 판독가능 매체를 포함하는 인공 뉴런을 구성하기 위한 컴퓨터 프로그램 제품.

Images