KR101925905B1 - 연상 메모리들을 사용하는 뉴로모픽 그래프 압축을 위한 방법들, 시스템들 및 컴퓨터 프로그램 제품들 - Google Patents

Abstract

각각이 다수의 수상돌기 구획을 갖는 다수의 수상돌기를 포함하는 인공 뉴런 내로 다수의 입력을 기억시키는 방법들, 시스템들, 및 컴퓨터 프로그램 제품들이 개시된다. 동작들은 수상돌기 구획들 중 더 근위의 수상돌기 구획들로부터 인공 뉴런의 세포체까지 흐르는 원위 시냅스 활성화로서 일치 검출을 계산하는 것, 비제로 수용성을 포함하는 수상돌기 구획들 중의 대응하는 수상돌기 구획에서 수신된 비제로 활성화 값 입력으로부터의 일치 검출에 응답하여 수상돌기 동작 전위를 발생하는 것, 및 수상돌기 동작 전위를 발생하는 것에 응답하여 활성화 값 및 수용성을 감소시키고 감소된 활성화 값을 수상돌기 구획들 중 다음 수상돌기 구획에 통과하는 것을 포함한다.

Description

연상 메모리들을 사용하는 뉴로모픽 그래프 압축을 위한 방법들, 시스템들 및 컴퓨터 프로그램 제품들{METHODS, SYSTEMS AND COMPUTER PROGRAM PRODUCTS FOR NEUROMORPHIC GRAPH COMPRESSION USING ASSOCIATIVE MEMORIES}

우선권의 진술

본원은 여기에 완전히 기술되는 것처럼 그 개시 내용이 본원에 참조로 포함된, 2014년 4월 15일자 출원되고 Methods, Systems and Computer Program Products For Neuromorphic Graph Compression Using Associative Memories라고 하는 미국 가 출원 번호 61/979,601을 우선권 주장한다.

발명의 분야

본 발명은 지식 관리 시스템들, 방법들 및 컴퓨터 프로그램 제품들, 및 보다 특정적으로 연상 메모리 시스템들, 방법들 및 컴퓨터 프로그램 제품들에 관한 것이다.

내용 주소 지정 가능 메모리(content addressable memory)들이라고도 하는 연상 메모리(associative memory)들은 패턴 매칭 및 식별, 전문가 시스템들 및 인공 지능의 분야에서 폭넓게 사용된다. 폭넓게 사용되는 연상 메모리는 홉필드(Hopfield) 인공 신경망이다. 홉필드 인공 신경망은 예를 들어, "Electronic Network for Collective Decision Based on Large Number of Connections Between Signals"라고 하는 홉필드에게 허여된 미국 특허 4,660,166에 설명된다.

연상 메모리들이 종래의 후방-전파 망들(back-propagation networks)에서의 문제들을 피할 수 있지만, 연상 메모리들은 스케일링 및 스퓨리어스 메모리들의 문제들을 나타낼 수 있다. 연상 메모리들에서의 최근의 개선들은 이들 및 다른 문제들을 해결하고자 시도하였다. 예를 들어, "Artificial Neural Networks Including Boolean-Complete Compartments"라고 하는, 공동 발명자 Aparicio, Ⅳ 등에게 허여된 미국 특허 6,052,679는 복수의 인공 뉴런 및 그 각각의 것이 인공 뉴런들의 각각의 쌍을 결합하는 복수의 블리안-완전 구획을 제공한다.

전통적인 신경망들의 단일-점 뉴런 모델들을 넘어, 실제 뉴런들은 그들 자체 내의 망들과 등가인 복잡하고 비선형인 거동을 나타낸다. 특히, 최근의 계산적 신경과학은 뉴런의 와이어링 효율 및 계산 능력을 이해하는 데, 특히 수상돌기들(구조적으로 선형)이 일치들(기능적으로 비선형)을 어떻게 계산하는지에 대해서, 집중하였다. 그러나, 뉴로모픽 디바이스들을 개발하는 것뿐만 아니라 신경 수상돌기들을 더 잘 이해하기 위한 분석의 계산 레벨은 달성하기 힘든 것으로 남아 있다. 그 대답은 각각의 뉴런의 메모리의 기본적 객체로서 일치 행렬(그래프)을 가정함으로써 그러나 많은 현재의 뉴로모픽 노력들의 전형으로서 분명한 크로스바를 요구하지 않고 발견된다. 각각의 행렬의 단층촬영 투사들은 수상돌기의 구획들의 수용성 어레이에 걸쳐 시냅틱 활성화의 파들을 캐스케이드함으로써 표현가능한, 손실없는 압축을 나타내는 것으로 보여진다. 이 간단한 활성화-통과 알고리즘은 그래프 구조들을 판독 및 기입할 수 있다. 이러한 와이어링 효율은 각각의 뉴런이 비선형 연상 메모리를 어떻게 나타내고 기하학적 크로스바들의 비용 없이 이러한 메모리들을 저장 및 계산하기 위해 비상 뉴로모픽 디바이스들을 어떻게 고무(inspire)하는지를 설명한다. 행렬 대역폭 감소는 훨씬 더 높은 처리 속도를 부가하고, 논리적 가역성은 단열적 에너지 효율을 약속한다. 인식 계산이 머신 지능을 위한 기본으로서 계속 부상함에 따라, 보다 브레인형인 방식이 운영 체제들로 이동할 것이고, 인식 하드웨어에 의해 인식을 지원하기 위해 와이어링 및 에너지 효율들을 궁극적으로 요구할 것이다.

본 발명의 일부 실시예들은 연상 메모리들을 사용하는 뉴로모픽 그래프 압축을 위한 방법들, 시스템들 및 컴퓨터 프로그램 제품들에 관한 것이다. 일부 실시예들은 그 중의 것들이 다수의 수상돌기 구획을 포함하는 다수의 수상돌기를 포함하고, 수상돌기 구획들 중 각각의 하나는 다수의 입력 중 각각의 하나와 유일하게 관련되는 인공 뉴런에 관한 것이다. 각각의 수상돌기 구획은 시냅스 활성화 강도에 대응하는 제1 가중치 값 및 다른 활성화들에 대한 각각의 수상돌기 구획들의 수용성 값에 대응하는 제2 가중치 값을 포함한다.

일부 실시예들에서, 수상돌기 구획들은 수상돌기의 원위 팁인 정점으로부터 인공 뉴런 합산 점인 세포체까지 선형으로 배열된다.

일부 실시예들은 수상돌기들 각각이 각각의 다른 인공 뉴런들로부터 입력들을 수신하도록 구성된 수상돌기 구획들의 선형 어레이인 것을 제공한다.

일부 실시예들에서, 입력들 중의 것들은 복수의 수상돌기 구획을 통한 캐스케이딩 시냅틱 활성화를 통해 수신된다. 일부 실시예들은 제로의 수용성 값들을 갖는 수상돌기 구획들이 수상돌기 구획들 중 더 근위의 수상돌기 구획에의 활성화 출력으로서 수상돌기 구획들 중 더 원위의 수상돌기 구획으로부터 활성화 입력을 전자적으로 송신하도록 구성된 것을 제공한다.

일부 실시예들은 수상돌기 구획들 중의 것들 중에서 교차된-스위치를 발생하는 입력들에 응답하여, 수상돌기들 중 대응하는 하나는 수상돌기 정점에서 부가된 수상돌기 구획을 포함하는 것을 제공한다.

일부 실시예들에서, 제로보다 큰 수상돌기 구획들 중 하나 내의 제1 가중치 값 및 제로보다 큰 수상돌기 구획들 중 하나 내의 제2 가중치 값에 응답하여, 수상돌기 구획들 중 하나는 일치 스파이크 신호를 인공 뉴런 합산 점인 세포체에 보낸다.

일부 실시예들은 제로인 수상돌기 구획들 중 하나 내의 제1 가중치 값에 응답하여, 활성화 전파가 수상돌기 구획들 중 그 하나에 대해 중지하는 것을 제공한다.

본 발명의 일부 실시예들은 다수의 입력을 다수의 수상돌기 구획을 각각 갖는 다수의 수상돌기를 포함하는 인공 뉴런 내로 기억시키는 방법들은 포함한다. 방법들은 수상돌기 구획들 중 더 근위의 수상돌기 구획들로부터 인공 뉴런의 합산 점인 인공 뉴런의 세포체까지 흐르는 원위 시냅스 활성화로서 일치 검출을 계산하는 단계를 포함할 수 있다.

일부 실시예들은 비제로인 수용성 값을 포함하는 수상돌기 구획들 중의 대응하는 수상돌기 구획에서 수신된 비제로 활성화 값 입력으로부터의 일치 검출에 응답하여 수상돌기 동작 전위를 발생하는 단계를 더 포함한다. 일부 실시예들은 수상돌기 동작 전위를 발생하는 것에 응답하여, 활성화 값 및 수용성 값이 감소되고 감소된 활성화 값이 수상돌기 구획들 중 다음 수상돌기 구획에 통과되는 것을 제공한다.

본 발명의 일부 실시예들은 다수의 입력을 다수의 수상돌기 구획을 각각 갖는 다수의 수상돌기를 포함하는 인공 뉴런 내로 기억시키는 방법들을 포함한다. 이러한 방법들은 수상돌기 구획 중 원위의 수상돌기 구획들로부터 수상돌기 구획들 중 더 근위의 수상돌기 구획들을 거쳐 인공 뉴런의 세포체까지 캐스케이드하는 캐스케이딩 활성화를 사용하여 일치 검출을 계산하는 단계, 및 교차된-구성 4-스위치를 검출하고 피하는 단계를 포함할 수 있다.

본 발명의 일부 실시예들은 그 중의 것들이 다수의 수상돌기 구획을 포함하는 다수의 수상돌기를 포함하는 인공 뉴런을 포함한다. 일부 실시예들은 수상돌기 구획의 각각의 하나는 다수의 입력 중 각각의 하나와 유일하게 관련되고, 수상돌기 구획들 중의 것들은 수상돌기 구획들 중 대응하는 하나가 제1 수용성 값을 포함하는 경우에 비수정된 상태에서 및 수상돌기 구획들 중 대응하는 하나가 제1 수용성과 상이한 제2 수용성을 포함하는 경우에 수정된 상태에서 캐스케이딩 활성화를 수신하고 캐스케이딩 활성화를 송신하도록 구성된 것을 제공한다.

본 발명의 일부 실시예들은 복수의 입력을 다수의 수상돌기 구획을 각각 갖는 다수의 수상돌기를 포함하는 인공 뉴런 내로 기억시키는 컴퓨터 프로그램 제품에 관한 것이다. 컴퓨터 프로그램 제품은 전자 디바이스의 프로세서에 의해 실행될 때, 프로세서로 하여금 수상돌기 구획들 중 더 근위의 수상돌기 구획들로부터 인공 뉴런의 세포체까지 흐르는 원위 시냅스 활성화로서 일치 검출을 계산하고, 비제로 수용성을 포함하는 수상돌기 구획들 중의 대응하는 수상돌기 구획에서 수신된 비제로 활성화 값 입력으로부터의 일치 검출에 응답하여 수상돌기 동작 전위를 발생하고, 수상돌기 동작 전위를 발생하는 것에 응답하여, 활성화 값 및 수용성을 감소시키고 감소된 활성화 값을 수상돌기 구획들 중 다음 수상돌기 구획에 통과하는 것을 포함하는 동작들을 수행하게 하는, 컴퓨터 판독가능 프로그램 코드를 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다.

본 발명의 일부 실시예들은 다수의 입력을 다수의 수상돌기 구획을 각각 갖는 다수의 수상돌기를 포함하는 인공 뉴런 내로 기억시키는 방법들에 관한 것이다. 이러한 방법들은 수상돌기 구획들 중 원위의 수상돌기 구획들로부터 수상돌기 구획들 중 더 근위의 수상돌기 구획들을 거쳐 인공 뉴런의 세포체까지 캐스케이드하는 캐스케이딩 활성화를 사용하여 일치 검출을 계산하는 단계, 및 교차된-구성 4-스위치를 검출하고 피하는 단계를 포함할 수 있다.

일부 실시예들에서, 수상돌기 구획들은 수상돌기들 중 대응하는 하나의 원위 팁인 정점으로부터 수상돌기들 중 대응하는 하나의 인공 뉴런 합산 점인 세포체까지 선형으로 배열된다.

일부 실시예들은 각각의 다른 인공 뉴런들로부터의 입력들을 수상돌기 구획들 중의 것들 내로 수신하는 단계를 포함한다. 일부 실시예들에서, 수상돌기들 각각은 각자의 다른 인공 뉴런들로부터 입력들을 수신하도록 구성된 수상돌기 구획들의 선형 어레이를 포함한다. 일부 실시예들은 각각의 다른 인공 뉴런들로부터의 입력들을 수상돌기 구획들 중의 것들 내로 수신하는 단계는 수상돌기 구획들을 통하는 캐스케이딩 시냅틱 활성화를 통해 입력들을 수신하는 단계를 포함하는 것을 제공한다.

일부 실시예들은 수상돌기 구획들 중 더 근위의 수상돌기 구획으로의 활성화 출력으로서 수상돌기 구획들 중 더 원위의 수상돌기 구획으로부터 활성화 입력을 송신하는 단계를 포함한다.

일부 실시예들에서, 수상돌기 구획들 중의 것들 중에서 교차된-스위치를 발생하는 입력들에 응답하여, 방법들은 수상돌기 정점에서의 수상돌기들에 다른 수상돌기 구획을 제공하는 단계를 포함할 수 있다.

본 발명의 일부 실시예들은 프로세서 및 실행될 때, 프로세서로 하여금 여기에 설명된 동작들을 수행하게 하는 그에 저장된 명령어들을 포함하는 메모리를 포함하는 시스템들에 관한 것이다.

한 실시예와 관련하여 설명된 본 발명의 양태들은 그와 관련하여 구체적으로 설명되지 않더라도 상이한 실시예들 내에 통합될 수 있다는 점에 주목한다. 즉, 모든 실시예들 및/또는 임의의 실시예의 특징들은 임의의 방식 및/또는 조합으로 조합될 수 있다. 본 발명의 이들 및 다른 목적들 및/또는 양태들이 아래에 기술되는 명세서에 상세히 설명된다.

도 1은 본 발명의 일부 실시예들에 따른 최대 행렬의 투사들을 사용하는 것을 도시한 그래프.
도 2는 본 발명의 일부 실시예들에 따른 행렬의 투사들을 사용하는 4-스위치 문제를 도시한 그래프.
도 3은 본 발명의 일부 실시예들에 따른 수상돌기의 개략도.
도 4a 및 4b는 행들과 열들이 각각 임의의 순서 및 분류된 순서로 되어 있을 때 구성되지 않은 새로운 소스들로부터 "Tampa"의 맥락에서 행렬 City:Tampa 내의 모든 일치하는 쌍들을 나타내는 그래프들.
도 5는 본 발명의 일부 실시예들에 따른 수상돌기의 캐스케이딩 활성화들의 개략도.
도 6은 본 발명의 일부 실시예들에 따른 다음 구획에 대한 활성화 신호를 포함하는, 시냅스가 턴 온될 때마다 시냅틱 탈분극을 도시한 흐름도.
도 7은 본 발명의 일부 실시예들에 따른 캐스케이딩 시냅틱 활성화를 도시한 흐름도.
도 8은 본 발명의 일부 실시예들에 따른 캐스케이딩 구획 활성화를 처리하는 논리를 도시한 흐름도.
도 9a는 본 발명의 일부 실시예들에 따른 수상돌기의 캐스케이딩 활성화들의 개략도.
도 9b는 본 발명의 일부 실시예들에 따른 수상돌기의 캐스케이딩 활성화들의 개략도.
도 10은 본 발명의 일부 실시예들에 따른 수상돌기의 캐스케이딩 활성화들의 개략도.
도 11은 본 발명의 일부 실시예들에 따른 수상돌기의 활성화들을 논리적으로 역 캐스케이드하는 개략도.
도 12는 본 발명의 일부 실시예들에 따른 수상돌기에서 억제 뉴런의 억제 시냅스가 온일 때 교차된 구성의 검출 및 표현의 개략도.

본 발명이 이제 본 발명의 예시적 실시예들이 도시된, 첨부 도면을 참조하여 보다 완전히 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태들로 실시될 수 있고 여기에 기술된 실시예들로 제한되는 것으로서 해석되어서는 안된다. 오히려, 이들 실시예는 본 개시 내용이 철저하고 완전하고, 본 기술 분야의 통상의 기술자에게 본 발명의 범위를 완전히 전달하도록 제공된다.

한 요소가 또 하나의 요소에 "결합된", "연결된" 또는 "응답하는" 것으로서 참조될 때, 그것은 다른 요소에 직접 결합되고, 연결되거나 응답할 수 있고 또는 중간 요소들이 또한 존재할 수 있다. 반대로, 한 요소가 또 하나의 요소에 "직접 결합된", "직접 연결된" 또는 "직접 응답하는" 것으로서 참조될 때, 중간 요소들이 존재하지 않는다. 유사한 번호들이 전체에 걸쳐 유사한 요소들을 참조한다. 여기에 사용된 바와 같이 용어 "및/또는"은 관련된 리스트된 아이템들 중 어느 하나 및 하나 이상의 모든 조합을 포함하고 "/"로 축약하여 쓸 수 있다.

용어들 제1, 제2 등이 다양한 요소들을 설명하기 위해 여기에 사용될 수 있지만, 이들 요소는 이들 용어에 의해 제한되지 않아야 한다는 것을 또한 이해할 것이다. 이들 용어는 단지 하나의 요소를 또 하나의 요소와 구별하는 데 사용된다.

여기에 사용된 용어는 단지 특정한 실시예들을 설명하는 목적을 위한 것이고 본 발명을 제한하려는 것은 아니다. 여기에 사용된 바와 같이, 단수 표현은 문맥이 달리 분명히 표시하지 않는다면, 역시 복수 형태들을 포함하는 것으로 의도된다. 여기에 사용될 때 용어들 "구성하다", "구성하는", "포함하다" 및/또는 "포함하는"은 기술된 특징들, 단계들, 동작들, 요소들, 및/또는 소자들을 특정하지만, 하나 이상의 다른 특징들, 단계들, 동작들, 요소들, 소자들, 및/또는 그 그룹들의 존재 또는 부가를 배제하지 않는다는 것을 또한 이해할 것이다.

달리 정의되지 않는다면, 여기에 사용된 (기술적 및 과학적 용어들을 포함하는) 모든 용어들은 본 발명이 속하는 분야의 통상의 기술자에 의해 통상적으로 이해되는 것과 동일한 의미를 갖는다. 통상적으로 사용된 사전들에서 정의된 것들과 같은 용어들은 관련 기술의 맥락에서 그들의 의미와 일치하는 의미를 갖는 것으로서 해석되어야 하고 여기에 명시적으로 그렇게 정의되지 않으면 이상화되거나 아주 정식의 의미에서 해석되지는 않을 것이다.

본 발명은 본 발명의 실시예들에 따른 방법들, 시스템들 및 컴퓨터 프로그램 제품들의 블록도들 및 흐름도들을 참조하여 아래에 부분적으로 설명된다. 블록도들의 블록 또는 흐름도들, 및 블록도들 내의 블록들 또는 흐름도들의 조합들이 컴퓨터 프로그램 명령어들에 의해 적어도 부분적으로 구현될 수 있다. 이들 컴퓨터 프로그램 명령어는 하나 이상의 기업, 응용, 개인, 널리 퍼진 및/또는 내장형 컴퓨터 시스템에 제공될 수 있으므로, 컴퓨터 시스템(들)을 통해 실행하는 명령어들은 블록도 블록 또는 블록들에서 명시된 기능들/동작들을 구현하는 수단, 모듈들, 디바이스들 또는 방법들을 생성한다. 범용 컴퓨터 시스템들 및/또는 특수 목적 하드웨어의 조합들이 또한 다른 실시예들에서 사용될 수 있다.

이들 컴퓨터 프로그램 명령어는 또한 특정한 방식으로 컴퓨터 시스템(들)이 기능하게 할 수 있는 컴퓨터 시스템(들)의 메모리 내에 저장될 수 있으므로, 메모리 내에 저장된 명령어들은 블록 또는 블록들에서 명시된 기능들/동작들을 구현하는 컴퓨터 판독가능 프로그램 코드를 포함하는 제조 물품을 제조한다. 컴퓨터 프로그램 명령어들은 또한 프로세서 상에서 실행하는 명령어들이 블록 또는 블록들에서 명시된 기능들/동작들을 구현하는 단계들을 제공하도록 컴퓨터 구현된 과정을 발생하기 위해 일련의 연산 단계들이 컴퓨터 시스템(들)에 의해 수행되게 하도록 컴퓨터 시스템(들) 내로 로드될 수 있다. 따라서, 블록도들의 주어진 블록 또는 블록들 및/또는 흐름도들은 방법들, 컴퓨터 프로그램 제품들 및/또는 시스템들(구조적 및/또는 수단-플러스-기능)에 대한 지원을 제공한다.

일부 실시예들에서, 컴퓨터 프로그램 명령어들은 동시 캐스케이드들의 결이 고운 패러렐리즘을 제공하도록 구성된 여기에 논의된 것과 같은 특정한 하드웨어에 의해 수행될 수 있다. 예를 들어, 일부 실시예들은 그들의 고유한 특성들의 일부로서 여기에 설명된 하나 이상의 계산 동작을 직접 구현하는 그 특정한 하드웨어 기판들을 제공한다. 비제한적인 예들이 멤리스터들을 포함하고 호지킨-헉슬리 멤브레인 식들(Hodgkin-Huxley membrane equations)과의 그들의 유사성이 구현을 위한 기초일 수 있다.

일부 대안적 구현들에서, 흐름도들에 기재된 기능들/동작들은 흐름도들에서 기재된 순서 이외로 발생할 수 있다는 점에 또한 주목하여야 한다. 예를 들어, 연속으로 도시된 2개의 블록은 사실상 실질적으로 동시에 실행될 수 있거나 블록들은 관련된 기능들/동작들에 따라, 때때로 역순으로 실행될 수 있다. 마지막으로, 하나 이상의 블록의 기능성이 다른 블록들의 것과 분리 및/또는 조합될 수 있다.

일부 실시예들에서, 뉴로모픽 디바이스들을 개발하는 것뿐만 아니라 신경 수상돌기들을 더 잘 이해하기 위한 분석의 계산 레벨은 각각의 뉴런의 메모리의 기본적 객체로서 일치 행렬(그래프)을 가정함으로써 그러나 많은 현재의 뉴로모픽 노력들의 전형으로서 분명한 크로스바를 요구하지 않고 발견될 수 있다. 각각의 행렬의 단층촬영 투사들은 수상돌기의 구획들의 수용성 어레이에 걸쳐 시냅틱 활성화의 파들을 캐스케이드함으로써 표현가능한, 손실없는 압축을 나타내는 것으로 보여진다. 이 간단한 활성화-통과 알고리즘은 그래프 구조들을 판독 및 기입할 수 있다. 이러한 와이어링 효율은 각각의 뉴런이 비선형 연상 메모리를 어떻게 나타내고 기하학적 크로스바들의 비용 없이 이러한 메모리들을 저장 및 계산하기 위해 비상 뉴로모픽 디바이스들을 어떻게 고무하는지를 설명한다. 행렬 대역폭 감소는 훨씬 더 높은 처리 속도를 부가하고, 논리적 가역성은 단열적 에너지 효율을 제공할 수 있다. 인식 계산이 머신 지능을 위한 기본으로서 계속 부상함에 따라, 보다 브레인형인 방식이 운영 체제들로 이동할 것이고, 인식 하드웨어에 의해 인식을 지원하기 위해 와이어링 및 에너지 효율들을 궁극적으로 요구할 것이다.

인식 계산은 머신 지능에 대한 부상하는 방식을 나타낼 수 있다. 역사적 인공 지능(AI)과 상이하게, "인식"은 그것의 표현 및 추리에 있어서 보다 브레인형이고 보다 인간형인 것으로서 정의될 수 있다. 역사적 AI와 다르게, 자연 시스템들로부터의 영감은 우리의 뇌가 실시간으로 실세계에서 어떻게 잘 살아남고 번창하도록 적응되는지에 관한 것이다. 더구나, 컴퓨터들은 사람들을 도우는 도구들로서 제시되고, 인식 계산은 현재의 계산과 인간 계산 시스템들 간의 "임피던스 부정합"을 제거하는 것을 추구한다. 2개의 인식 시스템들은 통신하고 함께 동작할 것이다.

인식 계산이 정말로 머신 지능에 대한 답이라면, 그것은 계산의 근본적인 부분으로 될 것이다. "서비스로서 인식"(CaaS)이 이제 개발 중이고, 이 추세는 빅 데이터 서비스들로 스케일링 업하거나 "만물 인터넷"에서의 내장된 지능으로 스케일링 다운하는지에 따라, 계산의 주요 부분으로서 인식 서비스들을 제공하는 것을 계속할 수 있다. 인식 계산의 브레인형 양태들은 그것의 미래의 부분으로서 뉴로모픽 하드웨어를 향해 추진할 수 있다.

몇가지 계획들이 이미 이러한 브레인형 아키텍처들을 구축하고 있다. 몇개의 예들은 유럽 위원회(European Commission)의 휴먼 브레인 프로젝트 및 DARPA의 Systems of Neuromorphic Adaptive Plastic Scalable Electronics(SyNAPSE) 프로젝트를 포함한다. 그들의 방식들은 슈퍼컴퓨터들에 대한 매우 현실성 있는 뉴런 모델링으로부터 전문화된 칩들의 개발까지 다양하다. 사람 뇌 프로젝트를 위한 목적들은 뇌 자체를 이해하는 것뿐만 아니라 이러한 이해로부터 새로운 계산 방법들을 개발하는 것을 포함한다. DARPA SyNAPSE의 목적은 대량 수의 뉴런 및 포유류의 뇌의 시냅스들에 대한 것과 같이, 생물학적 레벨들로 스케일하는 뉴로모픽 하드웨어에 집중된다.

많은 상이한 기판들이 이들 뉴로모픽 방식들을 구현하는 데 사용되고 있지만, 전자 공학의 "누락 요소"로서의 멤리스터들의 이론적 발견은 뉴로모픽 계산을 위한 주요 기판으로 될 가망이 있을 수 있다. 이것은 부분적으로 신경 멤브레인 활동 및 그것의 전파를 위한 생리학을 설명하는 호지킨 헉슬리 식들(Hodgkin and Huxley equations)과의 멤리스터들의 유사성으로 인한 것이다. 트랜지스터들의 메모리 및 이진 논리로부터의 계산의 본 노이만 분리를 넘어 이동하여, 멤리스터들은 시냅틱 연결들의 비휘발성 아날로그 가중치들뿐만 아니라 논리적 연산들 및 스파이킹 거동 둘 다를 나타낼 수 있다. 실제 뉴런들과 같이, 멤리스터들은 저장 및 계산 둘 다를 할 수 있다. 더구나, 멤리스터들은 활동이 저장된 가중치들을 수정할 수 있다는 의미에서, 경험에 의해 학습할 수 있는 기판을 제공할 수 있다.

뉴로모픽 계산은 학술적으로 및 산업적으로 추구되고 있다. Hewlett Packard(HP)는 제일 먼저 "누락 요소" 멤리스터를 구현한 것으로 고려되었다. 미시간 대학교 및 Hughes Research Lab(HRL)은 DARPA SyNAPSE에 대한 연구에서 CMOS-기반 뉴로모픽 멤리스터를 보고한다. Intel Corporation과 연합하여, 퍼듀 대학교(Purdue University)는 셀룰러 오토마타 설계 내에 스핀트로닉/멤리스티브 회로를 데모하였다. HP도 또한 블리안적으로 완전한 멤리스터들의 유니버설 셀룰러 오토마타를 보고한다. 멤리스터들 상의 그것의 하드웨어를 기초로 하지 않지만, IBM은 각각의 뉴런이 "코어렛"이라고 불리는 인식 하드웨어의 개발을 위한 SyNAPSE의 참여자이다.

SyNAPSE용과 같은 보다 큰 하드웨어 아키텍처들은 멀티-뉴런 칩들 및 크로스-칩 통신을 포함하는데, 이 경우에 뉴런들 사이의 신호들은 이들 칩을 가로질러 라우트되어야 한다. 이들 방법은 그들이 하나의 뉴런을 또 하나의 뉴런에 연결하기 위해 스파이킹 신호들 및 스파이크-기반 시간 멀티플렉싱을 포함한다는 의미에서 "신경"이다. 모든 이들 방식은 기본적인 요소들로서 시냅틱 연결들 및 가중치들을 갖는다는 점에서 기본적으로 "신경"이다. 이들 방법의 대부분은 그들이 Donald Hebb의 1949 헤비안 학습 규칙(Hebbian Learning Rule): "함께 파이어하고, 함께 와이어하는 뉴런들" 이후에 신경과학에서 알려진 것뿐만 아니라 스파이크 시간 의존 적응성(Spike Time Dependent Plasticity)(STDP)을 반영하기 위한 스파이킹 신호들을 포함하는 경향이 있다는 점에서 부가적으로 "신경"이다. 그러나, 이들 방식은 일반적으로 뉴런 칩들 간의 시간-멀티플렉싱을 위한 어드레스 이벤트 표현(Address Event Representation)(AER) 프로토콜을 포함하는, 뉴런 대 뉴런 연결의 보다 큰 스케일 이슈들을 모델화하는 경향이 있다. 그러나, 그들은 각각의 뉴런이 자체로 연상 망들인 신경 점을 놓친다.

그러나, 뉴런들의 수 또는 하드웨어 기판이 어떻든 간에, 뉴로컴퓨팅의 가장 기본적인 문제는 모든 이러한 시도들이 완전한 행렬을 나타내기 위해 빈약한 스케일링 및 분명한 크로스바의 비용 없이 - 어떤 시냅틱 입력이 어느 다른 입력과 잠재적으로 어떻게 연결할 수 있는지를 궁극적으로 해결하여야 하는 것일 수 있다.

크로스바 문제

크로스바는 연상 행렬의 모든 가능한 입력-출력 연결을 나타낼 수 있다. 작은 스케일에서, 입력들과 출력들은 완전한 행렬에서 서로 하드-와이어될 수 있다. 예를 들어, 멤리스터들을 사용하는 앞선 특허 출원들이 크로스바들에 의해 정의되었다. 부가적으로, Michigan/HRL 방식뿐만 아니라 IBM 방식에서의 각각의 뉴런 "코어렛"은 크로스바들로서 나타내진다.

IBM "코어렛" 아키텍처는 스파이크-기반 멀티플렉싱으로 크로스바 문제를 해결하고자 시도한다. 그러나, 망 구성의 2개의 레벨은 구별되는데, 즉, 뉴런들 간에 및 뉴런들 내에서 구별된다. 뉴런들 간의 망 구성에 관해서는, 각각의 뉴런들의 축삭돌기의 출력이 1000개의 다른 뉴런들에 이를 수 있다. 수백만 및 수십억개의 뉴런의 망에서, 뉴런들이 서로 어떻게 효율적으로 연결하고 통신하는가? 뉴런들 내의 망 구성에 관해서, 각각의 뉴런의 입력은 다른 뉴런들로부터 10,000개 또는 심지어 100,000개의 시냅스를 포함할 수 있다. 이들 입력이 뉴런-내부 계산에서 서로 어떻게 효율적으로 상호 작용하는가?

디지털 계산을 위해, 분자 크로스바들의 나노-스케일링이 수십 년 동안 추구되어 왔고, 실제로, 1들과 0들이 균일하게 분배되는 경향이 있을 때, 와이어들 및 연결들의 나노-스케일링은 무어의 법칙의 임박한 제한들을 넘어 디지털 계산을 최소화할 것이다. 그러나, 크로스바는 입력들의 수로 기하학적으로 스케일하고 인식 계산에 적용될 때 늘어나는 수의 입력들에 걸쳐서는 물리적으로 비효율으로 된다. 첫번째 이슈는 또한 큰-스케일 시스템들에 대해 (그대로) 다루어져야 하지만, 후자 문제는 개방된 것으로 남고 보다 기본적이다. 나노-분자 와이어들의 부가는 이 뉴런-내부 크로스바 문제를 해결하지 못할 것이다. 나노-스케일 분자 크로스바들은 최근 10년에 걸쳐 (Chen 등, 2003년) 추구되어 왔고, 실제로, 디지털 계산을 위해, 1들과 0들이 이진 데이터 코드에서 균일하게 분배되곤 할 때, 와이어들 및 연결들의 나노-스케일링은 무어의 법칙의 임박한 제한들을 넘어 이동하기 위해 트랜지스터들을 제거할 것이다. 그러나, 인식 계산에 적용될 때, 기하학적 크로스바는 늘어나는 수의 드문드문하게 상호 연결된 트리플렛 상호 작용들에 걸쳐서는 물리적으로 비효율적으로 된다. 각각의 포스트(post) 뉴런이 수만 개의 프리(pre) 입력을 수신하고 이들 프리 입력이 (단순한 합산들을 넘어) 상호 작용하면, 이들 입력 간의 일치 행렬은 매우 드문드문하게 될 수 있는데, 이는 크로스바의 매우 작은 부분이 1들을 포함하는 반면 0들을 포함할 때 수억 개의 크로스바 연결이 막대하게 허비될 것이라는 것을 의미한다.

뉴런-내부 크로스바 메모리는 뉴런 계산을 이해하고 하드웨어에서 뉴런들을 에뮬레이트하는 도전으로 계속된다. 하나의 뉴런이 주어지면, 에뮬레이션은 뉴런이 매우 큰 입력 필드를 가로질러 그것의 입력들의 서로와의 관련성들을 어떻게 학습하는지를 어드레스할 수 있다. 바꾸어 말하면, 뉴런이 일치 행렬을 나타내면, 에뮬레이션은 일치 행렬의 우세하게 선형인 구조가 어떻게 서로와의 모든 그것의 연결들의 크로스바가 아닌지를 어드레스할 수 있다.

셀룰러 신경망들(CNN들)은 신경망 연결주의와 유사하지만 로컬-온리 이웃 연결들에 의해 구별될 수 있다. 보다 최근에는, 방식들은 상호 작용들이 로컬이고 전파하는 그러한 CNN 오토마타의 설계를 포함할 수 있다. 초기의 멤리스터 크로스바 설계들을 넘어 이동하여, HP는 또한 보다 최근에 크로스바라기보다는 선형 어레이 내의 뉴로모픽 디바이스를 보고한다. HP 보고가 단지 6개의 셀을 데모하고 적용된 특정한 오토마타의 유니버설 계산 특성을 무시하지만, 이 "원칙적으로 증명"은 1차원 어레이에서의 사소하지 않은 계산을 데모한다. 보다 많은 차원들의 CNN들이 개발되었지만, 1차원 CNN은 얇고 선형인 구조들로서 신경의 수상돌기를 보다 잘 나타낸다.

STDP의 신경과학 및 계산 연구는 유익할 수 있다. 프리-시냅틱(pre)과 포스트-시냅틱(post) 스파이킹 간의 지연 라인은 전후 우연성들(before-after contingencies)을 나타내기 위해 STDP을 위한 중심 요건일 수 있다. "인접성"이라고 알려진 것으로서, 자극이 응답을 예측할 수 있는 것을 보장하기 위해 자극은 응답 전에 발생하여야 한다. 많은 다른 형태들의 STDP가 역 인접성을 포함하여 발견되었지만, "시간 의존성"의 일부 형태가 STDP에 필수적일 수 있다. 그러나, 하나의 뉴런으로부터 또 하나의 뉴런으로 송신하기 위한 축삭돌기의 스파이킹은 뉴런 내에서 그렇게 간단하지가 않다. 수상돌기 스파이킹이 또한 알려지지만, 시냅틱 상승 작용이 스파이킹 거동 없이 발견된다. 보다 점차적으로, 생체 내 연구들은 페어와이즈 프리 및 포스트 스파이킹(pairwise pre and post spiking)이 신뢰할 만하게 시냅틱 상승 작용, 관련성의 시냅틱 가중치의 증가를 불러일으키지 않는다는 것을 보인다. 페어된 일치로서 프리 입력의 포스트 출력과의 관련성을 넘어, 트리플넷 또는 폴리시냅틱 STDP는 신경 학습의 실제 메커니즘으로서 보다 성공적으로 탐사되고 있다. 신호들의 트리플넷은 뉴런 내에서 - 얇은 수상돌기를 가로질러 - 상호 작용한다. 많은 형태들의 트리플렛 시그널링이 있지만, 여기서, 적어도 2개의 프리-시냅틱 입력이 분명한 크로스바와의 크로스바의 정확한 관련성을 계산하는, 포스트-시냅틱 뉴런의 맥락 내에서 어떻게 상호 작용하는지를 나타내는 것으로 가정한다.

뉴런-내부 크로스바 문제에 대한 해결책은 그들이 얇은 수상돌기들을 통해 일치들을 어떻게 검출하는지에 대한 실제 뉴런들 및 신경과학적 탐색의 계산에서 발견될 수 있다. 많은 뉴런들은 함께 와이어되지만, 계산의 단위 - 뉴런 자체 - 가 나쁘고 비효율적이면, 보다 큰 아키텍처들이 뉴런 점을 놓친다.

일치 검출

1980년대에 "신경망들"의 재탄생 이후에, 신경과학은 가장 계산적인 알고리즘들을 실제 뉴런들과 관계가 거의 없거나 없는 것으로서 비평하였다. 예를 들어, 패러렐 분배 처리(PDP) 방식은 뉴런들이 약하고 느렸고, 그들의 패럴리즘 및 대량 수에 의해서만 절약된다고 가정하였다. 반대로, 신경과학은 개별적인 뉴런들의 상당히 비선형인 거동을 점점 더 발견하였다. 서로 망을 형성하는 뉴런들에 부가하여, 각각의 단일한 뉴런은 자체로 망을 나타낼 수 있다. 신경 계산에 대한 이 더 깊은 방식은 McKenna 및 Davis의 Single Neuron Computation in 1992에 의해 표현되고 ChristofKoch의 Biophysics of Computation: Information in Single Neurons in 1998에 의해 전형적으로 보여진, 1990년대에 가장 강력하게 발달하기 시작하였다. 그 이후 수년 간의 신경 연구는 와이어링 및 에너지의 뉴런의 소형화를 이해하기 위해 특별히 이 계산의 단위에의 집중을 포함하였다. 뉴런들이 강력한 비선형 디바이스들이면, 시냅스들이 뉴런과 연결하고 서로 상호 작용하는 것으로 여겨지는 그들의 수상돌기가 그들의 계산의 키가 되어야 한다.

크로스바의 와이어링 문제에 대한 뉴런의 해결책은 단일의 뉴런 계산에 관한 중요한 질문으로서 얇은 수상돌기들 상에 "일치 검출"로서 어떤 것이 정의되는지에 대한 탐색으로서 제시되었다. 바꾸어 말하면, 시냅틱 입력들이 수상돌기 내에서 다른 시냅틱 입력들을 어떻게 검출하는지를 아는 것이 바람직할 수 있다. 그러나, 많은 모델들이 "일치 검출"의 보다 단순한 정의들을 위해 존재한다. 이 문구는 크로스바 문제를 해결하기 위해 여기에 의도된 것 이외의 다양한 의미들을 가질 수 있다.

한 예는 바이노럴 사운드 로컬라이제이션이다. 두 귀의 경우에, 사운드가 한 귀에는 약간 나중에 도달한다. 2개의 입력의 2개의 활성화는 일치하는 것으로 생각되고, 그들이 일치하는 신경 점은 사운드의 방향을 마크한다. 일부 모델들은 2개의 신호가 사운드의 위치를 나타내는 것으로서 서로 일치할 때를 검출하기 위한 지연 라인들을 포함한다. 이와 같이, 사운드 로컬라이제이션은 학습의 문제가 아니다.

또 하나의 예는 프리- 및 포스트-시냅틱 파이어링이다. 학습을 위한 가장 간단한 정의는 하나의 시냅스에 의해 연결된 2개의 뉴런의 일치하는 파이어링을 포함한다. 일치 활성화는 시냅틱 가중치의 변화에 대한 기본인 것으로 생각된다. 이것은 "함께 파이어하고, 함께 와이어하는 셀들"로서 학습을 나타낸다. 하나의 시냅스, 하나의 가중치 구조들은 2개의 입력이 주어진 출력과 상호 작용하는 트리플 관련성들을 가능하게 하는, 본 발명과 대조적으로 페어-와이즈 관련성들을 단지 나타낸다.

또 다른 예는 단일 벡터 매칭을 포함한다. 일부 분산된 표현들은 하나의 프로토타입 벡터를 각각의 뉴런에 할당한다. 드문드문하게 분산된 메모리와 유사하게, 노드는 그것의 입력이 벡터와 매치한다면 가장 가까운 매치를 검출한다. 예를 들어, 일부 이론들은 피라미드형 뉴런들이 일치 검출자들이라는 것을 예측한다. 그러나, 이러한 모델들은 각각의 수상돌기가 단지 하나의 벡터 점을 저장하고 완전한 연상 행렬을 저장하는 않는 고정된 희박성으로 분산된 표현에 의해 일치 검출이 제한되는 것을 정의할 수 있다.

제1 정의는 위치를 계산하고 학습된 관련성을 계산하지 않기 위해 단지 2개의 입력을 나타낼 수 있다. 제2 정의는 하나의 입력과 또 하나의 뉴런 간의 단일 관련성의 학습을 나타낼 수 있다. 제3 정의는 입력 벡터들의 보다 강력한 연상 메모리를 지원하는 것으로 의도될 수 있지만, 각각의 뉴런은 단지 하나의 벡터를 나타내고, 많은 벡터들의 임의의 일치 행렬은 나타내지 않는다.

혼동을 피하기 위해, 가정된 계산은 더 분명히 정의되어야 한다. 각각의 뉴런 내의 일치 검출은 그 자체 내에, 전체적인 행렬, 전체적인 그래프를 나타내는 것으로 가정된다. 이 정의에서, 신경 수상돌기는 그것의 입력들 간의 많은 임의의 관련성들을 나타낸다. 우세하게 선형인 "얇은 수상돌기" 내의 임의의 비선형 망 구조를 어떻게 나타내는지가 바람직하게 될 수 있다. 효율적인 뉴로모픽 디바이스들을 위한 것뿐만 아니라 뉴런들을 이해하는 쪽으로, 알고리즘이 유익할 수 있다. 이러한 알고리즘을 위한 영감이 실제 뉴런들로부터 추구될 수 있다.

CNN으로서, 알고리즘은 하드웨어 알고리즘이어야 한다. 뉴런은 그것의 물리적 구조에 걸쳐 매우 결이 고운 패러렐리즘을 이용하는 하드웨어라기 보다는 "웨트웨어"인 경우에도, 디바이스이다. 이러한 디바이스-레벨 패러렐리즘은 소프트웨어가 임의의 전자 회로를 시뮬레이트할 수 있는 만큼 소프트웨어에서 시뮬레이트될 수 있지만, 계산은 디바이스 자체로서 뉴런에 관해 추리함으로써 효과적으로 발견된다. 뉴로컴퓨테이션을 위한 분석의 상이한 레벨들을 어떻게 구별하는지를 고려하는 것이 도움이 될 수 있다.

분석의 계산 이론 레벨은 계산의 목적, 그 목적이 왜 적절한지, 및 그 목적을 달성하는 전략의 논리를 결정할 수 있다. 분석의 표현 및 알고리즘 레벨은 계산 이론이 어떻게 구현될 수 있는지, 및 특히, 어떤 표현이 입력 및 출력을 위해 사용되는지, 및 어떤 알고리즘이 변환을 위해 사용되는지를 결정할 수 있다. 분석의 하드웨어 구현 레벨은 표현 및 알고리즘이 어떻게 물리적으로 실현될 수 있는지를 결정할 수 있다.

물리적 기판, 멤리스터인지 여부와 독립하여, 계산 및 특정한 알고리즘이 먼저 필요할 수 있다. 각각의 뉴런이 연상 행렬(자체 내의 그래프 또는 망)을 학습하고 상기한다는 계산적 가정을 고려할 때, 학습 및 재수집을 위한 변환의 알고리즘들을 결정하는 것이 바람직할 수 있다.

계산적 분석

여기에 개시된 바와 같이, 우세하게 선형인 수상돌기 과정은 그것의 분배된 시냅틱 입력들을 가로질러 어떤 임의의 일치 구조를 학습할 수 있고 수상돌기들은 그 안에 및 자체로 그래프들을 저장할 수 있다. 분석의 계산적 레벨에서, 그래프들은 블리안 함수들로서 제시될 수 있다. 예를 들어, 선형 구조는 신경 알고리즘을 위한 2개의 상이한 전략들에 의존하여, 논리 곱 또는 논리 합의 표준형으로 블리안 함수들을 계산할 수 있다. 둘 다의 경우에, 각각의 시냅틱 입력에는 전통적인 신경망 모델들의 일반적인 단일 가중치라기보다는, 수상돌기 어레이를 따라 2개의 별도의 가중치들이 할당될 수 있다. 이들 계산은 이들 가중치 및 그들의 알고리즘적 전파를 나타내기 위해 호지킨-헉슬리 식들의 시뮬레이션에 의해 생물학적으로 타당하게 될 것 같은 것으로 나타난다. 둘 다의 알고리즘적 전략들의 보고는 완전한 계산을 위한 불확실성들을 포함한다. 하나의 불확실성은 보다 큰 스케일에서의 블리안 불완전성에 대응한다. 3개 및 4개의 입력 변수에 대해, 알고리즘은 모든 블리안 함수들을 나타낼 수 있지만, 입력들의 수가 증가함에 따라, 블리안 함수들의 수는 기하급수적으로 증가하고 이들 함수의 방법의 커버리지는 기하급수적으로 감소한다. 한편, 어떤 블리안 망 함수가 충분한 수상돌기 구획들로 계산가능하다는 것이 이론적으로 입증되었다. 블리안 함수들이 계산될 수 있는 존재의 증명에 대한 또 하나의 불확실성은 그러나 가중치들을 학습하기 위한 방법을 식별하지 않는다. 예를 들어, 입력 당 2개의 가중치들의 설계가 주어지는 경우, 블리안 함수들은 가중치 공간의 철저한 탐색에 의해 발생되고 테스트되었다. 이 결과는 각각의 입력에 대한 한 쌍의 가중치는 블리안 함수들을 계산할 수 있지만, 이들 가중치를 학습하기 위한 보고된 방법은 없다는 것을 증명한다.

입력 당 2개 가중치 방식은 호지킨-헉슬리 식들에 의해 신경-현실적으로 또한 계산되는 동안 증가하는 함수들을 계산한다. 그러나, 얇은 수상돌기들 상에서 일치들을 검출하기 위한 특정한 알고리즘에 대해, 추가의 이해가 바람직할 수 있다. 이러한 이해는 어떤 것이 입력 당 2개의 가중치들에 관해 기본적인지, 어떤 조건들이 그것의 표현적 미비점들을 발생하는지, 어떤 것이 수상돌기 전파를 위한 셀룰러 규칙들인지, 어떤 것이 가중치 조정을 위한 학습 규칙들인지, 및 어떤 것이 규칙들의 에너지 효율적(논리적 가역성)인지를 결정할 수 있다.

일부 이슈들이 이전의 및 다음의 가중치들을 사용하는 발명에서와 같이, 이전의 발명들에서, 부분적으로 식별되고 다루어 졌다. 예를 들어, 본원에 전체적으로 참조로 포함된, "Artificial Neurons Including Power Series Of Weights And Counts That Represent Prior And Next Associations"라고 하는, Aparicio 등에게 허여된 미국 특허 번호 6,581,049는 시냅스 당 하나보다 많은 가중치가 요구될 수 있다는 이해를 포함하였다. 본원에 전체적으로 참조로 포함된, "Artificial Neurons Including Weights That Define Maximal Projections"라고 하는, Cabana 등에게 허여된 미국 특허 번호 7,016,886에서 더 개발된 바와 같이, 이 이전의-다음의 표현은 디지털 단층촬영에 의해 정의된 것과 같은 행렬 투사들과 등가물로서 더 이해되었다. 다른 전파 및 압축 방법들은 본원에 전체적으로 참조로 포함된, "Nonlinear Associative Memories Using Linear Arrays Of Associative Memory Cells, And Methods Of Operating Same"("Aparicio 2010")라고 하는, Aparicio에게 허여된 미국 특허 번호 7,657,496에서 더 개발되었다.

얇은 수상돌기들의 일치 검출을 해결하기 위한 영감으로, 발명들은 선형 구조들 내의 비선형 행렬들의 표현에 접근하였다. 인식 하드웨어에서의 최신의 부상하는 관심에 대한 최근 몇 년간의 추가의 탐사로, 연상 메모리들의 수상돌기 저장에 대한 완전한 답변이 이제 손 안에 있다.

디지털 단층촬영

단층촬영은 관통하는 파로 단면들에서 그것을 관찰함으로써 물체의 영상을 재구성하는 과정이다. 예를 들어, 컴퓨터화된 단층촬영(CT)은 몸의 내부를 촬영하기 위해 X 선들을 사용하고 자기 공명 영상 촬영(MRI)은 무선 파들을 사용한다. 그것의 구조 안을 보기 위해 살아있는 몸을 자르기보다는, 상이한 각도들로부터의 상이한 투사들이 그것의 내부 영상을 재구성하는 데 사용될 수 있다.

디지털 단층촬영은 이진 행렬에 대한 것과 같은 이진 물체들에 대해 동일한 것을 한다. 2개의 투사를 사용하여, 하나는 행렬의 행들을 가로질러 보고 또 하나는 행렬의 열들을 가로질러 보고, 목적은 행렬의 내부 안의 개별적인 비트들을 "보는" 것이다. 양 투사들, 행 및 열은 카운트들의 벡터일 수 있다. 각각의 카운트는 행이 모든 그것의 열들과 교차하는 비트들의 수 또는 열이 모든 그것의 행들과 교차하는 비트들의 수를 나타낸다. 연상 행렬에 대한 이러한 투사들을 사용하여, 이들 2개의 투사는 하나의 가중치는 각각의 행을 위한 것이고 하나의 가중치는 각각의 열을 위한 것인 2개의 가중치 세트로서 보여질 수 있다. 행 라벨들이 입력-입력 자동-관련성들을 나타내기 위해 열 라벨들과 동일한 경우에, 각각의 입력 라벨은 하나는 행 투사 내의 것이고 하나는 열 투사 내의 것인 2개의 가중치를 가질 수 있다.

그러나, 이들 투사는 모든 행렬의 상태를 완전히 나타낼 수 없다. 완전하게 하기 위해서, 투사들은 하나 및 단지 하나의 행렬 구성을 나타내는, 불변일 필요가 있을 것이다. 디지털 단층촬영에서 널리 공지된 바와 같이, 단지 일부의 투사들 만이 행들과 열들이 분류될 때 비트들의 완전한 패킹으로서 정의된 "최대"인 행렬들에 대해서만 불변이다.

최대를 결정하는 것은 행들과 열들을 투사 순서로 분류하는 것을 포함할 수 있다. 패킹 내에 홀들이 남아 있지 않으면, 행렬은 최대이다. 행렬이 최대인 경우에 및 그 경우에만, 투사들은 불변이다. 말하자면 2개의 선형 투사는 최대 행렬을 완전히 나타내고 하나의 투사를 다른 것의 인덱스 분류 순서와 비교함으로써 그것의 비트들 중 어느 것을 판독하는 데 사용될 수 있다.

본 발명의 일부 실시예들에 따른 최대 행렬의 투사들을 사용하는 것을 도시한 그래프인 도 1이 이제 참조된다. 예를 들어, 입력 C(3002)는 1(3003)의 행 투사를 가졌고 H(3004)는 인덱스 3(3006)으로서 3번째 큰 열 투사로서 분류되었다고 가정하자. 이들 2개의 투사로부터, 우리는 CH 관련성이 C의 투사가 H에 "도달하지" 않기 때문에 행렬 내에 있지 않다는 것을 안다. 대조적으로, 열 인덱스 순서 1(3012)에서 4(3009) 및 F(3010)의 행 투사를 갖는 A(3008)를 상상해 보자. 이 경우에, A의 투사 길이는 분명히 F뿐만 아니라 뒤따르는 3개의 다른 열 인덱스들에 도달한다.

일부 실시예들에서, 투사들은 압축의 형태이지만, 그들은 손실 있는 압축인데 왜냐하면 매우 소수의 행렬들이 최대이기 때문이다. 본 발명의 일부 실시예들에 따른 행렬의 투사들을 사용하는 4-스위치 문제를 도시한 그래프인 도 2가 이제 간단히 참조된다. 2개의 투사는 행렬을 근사화하는 데 사용될 수 있지만, 일부 방법들의 가능성 있는 문제로서, 보다 복잡한 그래프 구성들을 나타내는데 있어서의 손실은 더 큰 차원들에서 기하급수적으로 증가할 것이다. 디지털 단층촬영으로 다시 돌아오면, 문제는 "4-스위치" 문제로서 알려진다. 가장 기본적인 스위치는 행렬 내에 4개 셀을 포함한다. 단지 2개의 행, A 및 B, 및 2개의 열, C 및 D에서도, 모든 4개의 투사 가중치가 1인 경우를 상상하자. 각각의 행은 하나의 열에 관련되지만(그리고 반대도 가능), 투사들이 AC 및 BD 구성을 AD 및 BC를 대신에 나타내는 것과 구별하는 것은 불가능하다.

디지털 단층촬영의 4-스위치 문제는 유익한 것이지만, 머신 학습은 해결을 가능하게 하는 부담되지 않는 문제를 제공할 수 있다. 디지털 단층촬영의 맥락에서, 행렬의 투사들이 주어지고, 태스크는 행렬을 상상하는 것이지만 그것이 구성되었다. 머신 학습의 맥락에서, 각각의 관련성은 판독가능한 투사들을 갖는 행렬을 구성하는 기회를 갖고, 트레이닝에서 관찰될 수 있다.

스위치들의 문제가 검출되고 피해질 수 있다면, 행렬 투사들이 관련성 행렬을 완전히 학습하고 나타낼 잠재성이 있다. 이 문제를 해결하기 위해, 4-스위치의 2개의 변형은 "교차된" 및 "밴드된"이라고 한다. 2개의 가중치 투사를 사용하고 수상돌기 내에 가중치들을 전파하는 방법들은 -- 교차된 스위치와 밴드된 스위치 간의 구별이 이루어지고 검출될 때 저장을 완전하게 하도록 여기서 확장된다. 구체적으로, 4-스위치의 교차된 형태는 문제이다. 이와 관련하여, 답은 제1 장소에서의 교차들을 피한 다음에 상위의 밴드된, "더 긴 거리" 관련성들을 포함시키기 위해 활성화 규칙을 확장하는 데 있다.

간단한 활성화들

수상돌기는 다른 뉴런들로부터의 시냅틱 연결들을 갖는 구획들의 선형 어레이이다. 각각의 시냅스는 프리-시냅틱 및 포스트-시냅틱 뉴런들 사이의 연결의 강도로서 정의된 시냅틱 가중치를 포함한다. 시냅틱 가중치들은 철저한 경험을 성장시킨다. 함께 파이어하고, 함께 와이어하는 셀들로서 다시 설명된 것으로, 시냅틱 활동의 일치들은 이 연결 가중치의 크기에서 반영된다.

입력 당 2개의 가중치로서 2개의 투사를 나타내기 위해서, 제1 가중치는 전형적인 시냅틱 활성화 강도를 나타내고 제2 가중치는 다른 활성화들에 대한 각각의 수상돌기 구획의 수용성을 나타낸다. 하나의 시냅스 및 하나의 구획은 이 이상화된 수상돌기 구조에서 각각의 입력에 할당된다.

호지킨-헉슬리 식들에 의한 신경 시그널링의 생리학은 뉴런의 멤브레인 전위를 설명하기 위해 인트라-셀룰러와 엑스트라-셀룰러 이온 농도들 간의 전압 차이들 및 셀 내외로의 이온들의 이동을 설명한다. 신호 전파는 이 멤브레인 전위의 탈분극에 의한 것이다. 시냅틱 및 수용성 가중치들을 레스트(rest)하는 것은 레스팅 전압 제로-점으로서 멤브레인의 외부 측을 설정하는 관례를 따르는, 인트라-셀룰러 전위들로서 이상화된다. 활성화될 때, 이들 가중치는 엑스트라-셀룰러 가중치들로서 각각의 시냅스 및 구획 외부로 되도록 탈분극한다.

본 발명의 일부 실시예들에 따른 수상돌기의 개략도인 도 3이 참조된다. 수상돌기는 수상돌기의 원위 팁으로부터, 정점으로부터, 뉴런의 몸체인 세포체로 아래로 방향성으로 활성화된다. 세포체는 축삭돌기가 다른 뉴런들에 송신할 수 있는, 뉴런의 활동을 위한 합산 점인 것으로 이해된다. 후방-전파 신호들이 또한 실제 뉴런들 내에 존재하고 여기에 포함될 수 있지만, 일치 검출은 세포체로 가는 중에 각각의 더 근위의 구획을 통해 흐르는 원위 시냅스 활성화에 의해 계산된다. 정의되는 바와 같이, 일치 검출들은 전체적인 뉴런을 가로질러 이러한 일치들의 그것의 합산을 위해 세포체를 향해 이동하는, 수상돌기 동작 전위, 스파이크를 발생시킨다.

시냅스들 및 구획들은 프리-시냅틱 입력 신호들이 온 또는 오프인지에 따라, 능동 또는 수동, 양성 온 또는 음성 오프일 수 있다. 각각의 능동 시냅스의 시냅틱 활성화는 수용성 구배를 가로질러 수상돌기 아래로 이동한다. 양성 활성화가 음성 수용성을 만날 때, 2개의 비제로 가중치는 서로 매치하고, 스파이크를 발생한다. 매치된다면, 활성화 파 및 수용성 구배 둘 다는 발견된 관련성을 설명하기 위해 감소되고, 감소된 활성화는 다음 구획으로 진행한다.

이 간단한 전파 규칙은 활성화된 시냅스의 이웃하는 것 내의 관련성들의 인접하는 런들 및 더 멀리 떨어져 있는 관련성들에 대한 비제로 인접 전파들을 검출할 수 있다. 예를 들어, 위의 개략들은 EB 관련성을 보여준다. 그것이 수상돌기 내의 유일한 관련성이고 모든 다른 시냅틱 및 구획 가중치들이 0으로 설정할 때 관련성 EB를 상상해 보자. E 및 B가 둘 다 능동일 때, 1의 시냅틱 가중치는 그것이 다른 것의 구획 및 1의 수용성에 도달할 때까지 지연되지 않은(감소하지 않은) 것으로 전파할 것이다. 활성화 및 수용성은 매치하고 제로로 둘 다 감소할 것이다. 발견될 다른 관련성들은 없다. 이 예는 사소한 것이지만 방법은 4-스위치들의 문제를 제외하고 - 더 큰 관련성 블록들로 확장한다.

대역폭 감소

최대 행렬들을 검출하고 이용하기 위해 디지털 단층촬영에서의 투사 분류와 유사하게, 이 활성화 규칙은 각각의 입력이 그것의 관련된 다른 입력들에 가능한 한 가깝게 있도록 행렬 입력들을 분류함으로써 이득을 본다. 이러한 분류는 행렬 대역폭 감소와 등가일 수 있다. 낮은 대역폭 행렬은 대각선을 향해 비트 팩된 그것의 비트들을 갖는 희소 행렬이다. 높은 대역폭은 비트들이 대각선으로부터 더 멀리 남는 정도로 정의된다.

행들과 열들이 각각 임의의 순서 및 분류된 순서로 되어 있을 때 구성되지 않은 새로운 소스들로부터 "Tampa"의 맥락에서 행렬 City:Tampa 내의 모든 일치하는 쌍들을 나타내는 그래프들인 도 4a 및 4b가 간단히 참조된다. 도 4a에 도시된 바와 같이, 행들과 열들이 임의의 순서로 있을 때, 관련성 셀들은 폭넓게 분산된다. 대조적으로, 도 4b에 도시된 바와 같이, 행들과 열들이 행렬 대역폭을 최대화하도록 분류될 때, 관련된 입력들은 서로 더 가깝게 이동하여, 그들의 관련성들도 역시 대각선에 더 가깝게 위치한다.

수상돌기를 가로지르는 활성화 규칙을 위해, 대역폭 감소는 관련성들을 인접하는 로컬 블록들로 팩하는 경향이 있다. 하나의 입력의 그것의 투사 길이가 디지털 단층촬영에서 또 하나의 입력의 인덱스에 "도달하는" 지를 확인함으로써 행렬을 판독하는 것과 유사하게, 활성화 파들은 그것의 관련성들을 검출하고, 자체로 감소하고, 라인 아래인 관련성들을 발견하기를 계속한다. 분류하는 것은 보다 로컬인 입력-출력 관련성들을 생성함으로써 이 로컬 전파 기술의 이득을 얻는다.

이 수상돌기 전파 기술은 각각과 모든 입력 쌍 간의 분명한 와이어 없이 관련성을 판독할 수 있는 것이 분명하여야 한다. "와이어들"은 임의의 2개의 입력 구획들 간에 가상이고 단지 활성화 전파에 의해서만 표현된다. 입력들 간에 또 하나의 것으로 전파하는 데 걸리는 시간은 그들 간의 거리에 비례하기 때문에, 행렬 대역폭 최소화는 가상 와이어들이 또한 가상뿐만 아니라 "더 짧게" 되게 한다.

캐스케이딩 활성화들

그렇지 않으면 대역폭 감소 이후에도 4-스위치들에 의해 혼동될 수 있는 2개의 시냅스들 간의 관련성들을 포함하는, 임의의 그래프의 완전한 메모리를 나타내는 것이 유용할 수 있다. 간단하게 더 멀리 하는 것은 문제가 아니다. 일반적으로, 방금 설명된 간단한 활성화 규칙은 필수적으로 연속하지 않은 소정의 일치들을 검출할 수 있다. 그러나, 보다 높은 대역 관련성들이 또한 4-스위치들 내에 살아 있는 경향이 있다. 예를 들어, 보다 복잡하고 교차하는 그래프에서 E와 B 사이에 들어올 수 있는 다른 관련성들이 "방해될(get in the way)" 수 있다.

본 발명의 일부 실시예들에 따른 수상돌기의 캐스케이딩 활성화들의 개략도인 도 5가 참조된다. 해결책은 많은 파들의 패러렐, 캐스케이딩 전파에서 발견될 수 있다. 능동 입력들에 의해 발생된 활성화들에 부가하여, 비활성화된 가중치들이 또한 "길을 터주기 위해(clear the way)" 양의 활성화들에 앞서 전파한다. 이 캐스케이드는 - 교차된 구성에서 4-스위치들이 없는 한 - 수상돌기를 가로지르는 가깝고 먼 관련성들의 임의의 그래프를 완전히 나타낼 수 있다. 그렇지 않으면, 모든 4-스위치들이 "밴드되는(banded)" 한, 높고 낮은 관련성들 둘 다가 캐스케이딩 밴드들을 가로질러 검출될 수 있다.

밴드된 4-스위치의 예를 들면, E와 B가 서로 관련되고, 또한 D와 C가 E 내지 B 간에 관련된다고 또한 가정한다. 위에 설명된 바와 같이 단일의 전파 파만을 사용하여, E 및 C가 온이면, E의 양의 활성화는 그것의 진정한 연상 수용성이 B에 도달하기 전에 C의 양의 수용성과 만날 것이다. 이것은 교차된 또는 밴드된 구성에서든 상관없이, 4-스위치들의 문제이다. 그러나, D가 E 전에 더 낮은 대역폭 캐스케이드에서 전파하면, D 활성화 파는 C의 수용성에 올바르게 매치하고, B와의 그것의 진정한 연결로 진행하기 위해 상위 밴드 상에서 E 파에 대한 길을 터준다.

이 중심 아이디어는 상이하게 진술될 수 있는데, 즉 캐스케이딩 전파는 상위 밴드들로 이동하기 전에 하위 밴드들을 처리하는 것으로서 보여질 수 있다. 모든 시냅틱 가중치들의 캐스케이딩 전파는 상위 밴드 활성화들이 그들의 보다 먼 목표 관련성들에 따를 수 있도록 하위-밴드 관련성들을 "클리어"하는 것이 요구될 수 있다.

손실 없이 제시될 임의의 그래프에 대해, 비능동 시냅스들은 또한 완전한 어카운팅을 위해 그들의 시냅틱 가중치들을 전파하여야 한다. 양의 입력 활성화 파들을 이들 부가적인 파들과 구별하기 위해, 각각의 활성화는 그것의 양의 또는 음의 부호를 캐리하여야 한다. 바꾸어 말하면, 활성화의 레벨은 시냅틱 가중치에 기초하고, 활성화의 부호는 유래하는 시냅스가 온인지 오프인지에 기초한다. 본 발명의 일부 실시예들에 따른 다음 구획에 대한 활성화 신호를 포함하는, 시냅스가 턴 온될 때마다 시냅틱 탈분극을 도시한 흐름도인 도 6이 이제 참조된다. 시냅스 입력이 턴 온될 때(블록 3102), 가중치가 0보다 큰지에 대한 결정이 이루어진다(블록 3014). 가중치가 0보다 크면, 탈분극 시냅스 값은 가중치 값으로 설정된다(블록 3106). 다음에 활성화 출력이 가중치 값으로 설정되고(블록 3108) 다음에 가중치 값은 0으로 설정된다(블록 3110). 다음에 활성화 출력이 보내진다(블록 3112).

오프 시냅스들이 또한 전파하기 위해서, 더 원위의 구획들로부터의 어떤 활성화는 추가의 시냅틱 탈분극들 및 활성화 파들을 강요한다. 이미 탈분극되지 않으면(인트라-셀룰러 전위는 0이 아님), 이것은 구획마다 한번 발생한다. 이들 오프 시냅스들이 활성화될 때, 전파는 또한 온 시냅스들과 같이 시냅틱 가중치와 동일하지만, 부호는 음이다.

본 발명의 일부 실시예들에 따른 캐스케이딩 시냅틱 활성화를 도시한 흐름도인 도 7이 이제 참조된다. 시냅스 입력이 턴 오프되고(블록 3120) 가중치가 0이 아닐 때(블록 3122), 탈분극 시냅스 값은 가중치 값으로 설정된다(블록 3124). 다음에 활성화 출력이 가중치 값으로 설정되고(블록 3126) 가중치 값은 0으로 설정된다(블록 3128). 다음에 활성화 출력이 보내진다(블록 3130). 입력 활성화들이 개시되고 캐스케이드하기 시작함에 따라, 구획들은 그들이 수상돌기 아래로 이동함에 따라 그들을 통해 흐르는 일련의 활성화들에 응답한다.

구획마다, 온 또는 오프가 그것의 신호를 전파하면, 이것은 오프 입력들에 대해 올바르다. 그러나, 일부 실시예들에서, 오프 입력들은 온 신호가 그들에 대해지연할 때만 트리거될 수 있다. 상이하게 말하면, 활성화하는 모든 오프 구획보다는, 다른 온 전파들에서 관계될 것들만이 먼저 자체를 클리어 아웃할 필요가 있다.

본 발명의 일부 실시예들에 따른 캐스케이딩 구획 활성화를 처리하는 논리를 도시한 흐름도인 도 8이 이제 참조된다. 활성화들은 그들이 비제로로 계속 있을 때만 전파된다. 이와 같이, 활성화 입력이 제로이면, 활성화 전파가 발생하지 않는다(블록 3140). 수용성이 제로로 감소할 때, 구획은 그 자신의 활성화로서의 하나의 구획으로부터 다음의 구획으로 활성화를 통과하는 것을 제외하고 비응답하게 된다. 활성화 입력이 제로보다 크고(블록 3149) 그러나 수용성이 제로이면(블록 3142), 활성화는 다음 구획으로 보내진다(블록 3152).

부가적인 효율들을 위해, 구획들 간의 래칭은 수용성이 제로로 떨어질 때 투명하게 될 수 있다. 더 이상 수용성을 갖지 않는 구획들은 해야 할 나머지 것을 갖지 않고, 순차 래칭 없이 그들의 출력 활성화로서 입력 활성화를 전자적으로 송신할 수 있다. 바꾸어 말하면, 그들은 버킷 브리게이드(bucket brigade) 내에 활성화들을 계속 통과시키게 할 필요가 없다. 예를 들어, 그들의 수용성을 0으로 고갈시킨 1000개의 연결된 구획들을 상상해 보자. 1번째 구획으로의 어떤 입력 활성화는 즉각적으로 1000번째 구획의 정확히 동일한 출력 활성화로 될 수 있다. 이들 바이패스된 구획들은 투명하게 될 수 있고, 동시에 비제로 활성화 값을 하나의 동작에서 긴 거리들을 가로질러 통과시킨다. 결과적으로, 그래프를 계산하는 데 요구되는 시간 단계들의 수는 구획 거리들 및 전파를 위한 시간 단계들의 함수가 아니다. 하위 밴드의 보다 가까운 관련성들이 빠르게 클리어하고 수용성을 제로로 드라이브할 것이 효과이다. 제로 수용성들이 길면 길수록 체인들은 보다 짧은 시간에 보다 긴 거리들에 걸쳐 상위 밴드 관련성들을 전자적으로 송신하도록 형성할 것이다. 결과적으로, 관련성들을 검출하는 데 걸리는 시간은 수상돌기의 길이 보다는 행렬의 대역폭의 함수 만이다.

비제로 수용성에 맞는 비제로 활성화는 관련성을 설명한다. 그러나 온인 입력들만 간의 일치를 검출하기 위해, 양의 활성화 파는 현재의 구획들로의 양의 입력에 맞아야 한다. 둘 다가 양일 때, 매치가 세포체와의 일치 스파이크로서 검출 및 시그널된다. 이와 같이, 활성화 입력(블록 3140) 및 수용성(블록 3142)이 둘 다 제로보다 크면, 일치 스파이크 신호는 세포체에 보내진다(블록 3144).

부가적으로, 각각의 구획이 비제로 활성화 신호를 수신하고(블록 3140) 수용성이 또한 비제로일 때(블록 3142), 구획은 더 탈분극한다(블록 3146). 구획 탈분극화(블록 3146)는 구획 수용성을 감소시키는 것(블록 3147) 및 구획 활성화 값을 감소시키는 것(블록 3149)을 포함한다. 활성화가 비제로로 남으면(블록 3150), 구획은 나머지 활성화를 다음 구획에 보낸다(블록 3152). 일부 실시예들은 구획들이 더 원위의 활성화 및 그 다음에 순차적으로 다음의 원위의 활성화를 수용하고 처리하기 전에 각각의 구획이 그 자신의 시냅틱 활성화를 전파할 수 있다는 의미에서 서로 래치되는 것을 제공한다.

투사들로서의 행렬 관련성들의 이 표현은 크로스바 와이어들이 가상으로 되게 한다. 이들 가상 와이어는 위에 설명된 바와 같이, 행렬 대역폭 감소만큼 더 짧아질 수 있다. 그리고 분류되는지에 따라, 장거리 "와이어들"은 전파 중에 구획들의 증가하는 투명성에 의해 여전히 더 짧아진다.

캐스케이딩 활성화 규칙은 그것이 교차된 구성 내에 어떤 4-스위치들을 포함하지 않는 한 어떤 연상 행렬을 계산하는 데 사용될 수 있다. 이와 같이, 학습 규칙들은 어떤 교차들을 제1 장소 내의 행렬에 부가하는 것을 피해야 한다.

이제 본 발명의 일부 실시예들에 따른 수상돌기의 캐스케이딩 활성화들의 개략도인 도 9a가 간단히 참조된다. 연상 행렬을 위한 기본적인 "저장 규정 공식"은 2개의 입력이 일치한다면, 그들의 연상 가중치가 증가되는 것을 제공할 수 있다. 예를 들어, E와 C가 또한 주어진 행렬-그래프 내에 또한 저장되면, E와 C 가중치들은 증가된다. 각각의 입력이 2개의 가중치를 가짐에 따라, 공식은 E가 C보다 원위(세포체로부터 멀다) 또는 근위(세포체에 더 가깝다)인지에 의존하여, 방향성으로 된다. 수상돌기를 가로지르는 2개의 입력 간의 관련성을 학습하기 위해, 원위 입력은 수상돌기 아래로 전파하는, 그것의 시냅틱 가중치를 증가시키고, 근위의 입력은 다른 것의 전파와 매치하는, 그것의 수용성 가중치를 증가시킨다. 이러한 새로운 관련성을 로드하기 위해, 새로운 가중치들은 입력들이 서로 "발견"하는 것을 확인하기 위해, 증가하도록 "상상"될 수 있다. 부가적인 관련성(또는 벡터 입력 패턴에서의 하나 보다 많음)이 교차된 4-스위치들을 생성하지 않으면, 증가된 가중치들은 가상 그래프 내로 올바르게 흡수할 것이다.

학습 규칙은 트리플넷 종속성을 나타낸다. 첫째, 목표 뉴런은 그것의 맥락 내에서 새로운 관련성들을 로드하기 위해 온인 것으로 가정된다. 둘째, 원위 활성화는 온 입력 신호를 전파한다. 셋째, 이 원위 신호는 또 하나의 입력 신호의 더 근위의 활성화와 상호 작용한다. 트리플렛 STDP에 대한 증가하는 증명이 있는 동안, 스파이킹은 항상 요구되지 않고 페어와이즈 STDP는 상승 작용에 이르게 하는데 있어서 가변적이다. 생리학적 증명은 트리플 활성화의 보다 강력한 요건에 대해, 활성화의 보다 일반적인 방법들을 향해, 스파이킹 여부에 의지한다.

그러나, 어떤 관련성이 교차된 구성을 생성하면, 후속하는 전파들은 새로운 관련성을 올바르게 표현하지 않을 것이다. 본 발명의 일부 실시예들에 따른 수상돌기의 캐스케이딩 활성화들의 개략도인 도 9b가 이제 참조된다. 도시된 바와 같이, D가 원위이고 A가 근위이고 그들을 연결하는 것이 4-스위치로서 생성하면, D의 전파는 A에 도달하기 전에 올바르지 않게 수신될 것이다. 이 문제는 A는 D가 도달하기를 대기하면서, (말하자면) "제단에 서있는 것으로" 남을 때 분명하다. 어떤 이러한 에러는 4-스위치의 생성으로 인한 것이다.

새로운 DA 관련성은 주어진 투사 가중치들 내에 직접 로드될 수 없지만, 몇가지 방법들이 다른 방식들로 관련성을 부가할 수 있다. 본 발명의 일부 실시예들에 따른 수상돌기의 캐스케이딩 활성화들의 개략도인 도 10이 이제 간단히 참조된다. 한 방법으로서, 수상돌기는 실제 뉴런들에서 "성장 콘"을 포함하는, 그것의 정점에서 성장할 수 있다. 하드웨어에 대해 보다 더 일반적으로, 구획들의 보다 긴 어레이가 사용되지 않은 자유 공간을 포함하는 것으로 가정된다. 또 하나의 시냅스를 부가하고 다른 시냅스들과의 관련성을 테스트하는 것은 새로운 관련성을 새로운 시냅스에 보다 가능성있게 부가할 수 있다. 보다 일반적으로, 관련성들을 교차하는 것은 또 하나의 수상돌기(또는 확장된 자유 공간) 상에 그들을 놓음으로써 피해질 수 있고; 관련성들이 다른 곳에 저장될 수 있다면, 그것을 다른 곳에 저장한다.

분명히 하기 위해, O(N^2) 물체가 2개의 O(N) 투사들에서 항상 나타내질 수 있는 주장이 이루어지지 않는다. 보다 복잡한 그래프 구조들을 위해, 이중 시냅틱 입력들이 요구될 수 있다. 예를 들어, 보다 높은 차원들에서의 (보통 "스나크들(snarks)"이라고 하는) 피터슨 그래프들(Peterson Graphs)은 2개의 투사들의 O(N) 구성으로 감소될 수 없는 교차된 구성들을 포함할 수 있다. 그러나 하나의 보다 긴 선형 수상돌기 어레이 또는 수상돌기 트리에서와 같이 이러한 어레이들의 패러렐 세트에서, 모든 관련성들은 그것의 표현에서 하나의 장소 또는 또 하나의 장소에서 로드될 수 있다. 입력 축삭돌기들은 포스트-시냅틱 신경 트리의 필드 위의 연결보다 더 많이 할 수 있다는 것이 일반적으로 가정된다.

실제 시냅스들은 수분 내지 수시간 내에, 수상돌기 상에서 연결, 비연결, 및 이동하는 것으로 또한 알려진다. 그들이 손실되기 전에 관련성들이 로드될 수 있는 한, 재구성들은 시냅틱 복제를 감소시키고 보다 좋은 와이어링 효율을 다시 얻도록 따를 수 있다.

실제 신경 시스템들은 또한 극도로 에너지 효율적이다. 전체 뇌는, 사람 뇌 안의 수 조 개의 뉴런(trillions of neurons)에 걸쳐 분산된 유틸리티 광 전구(utility light bulb)와 등가인, 단지 10-20W의 에너지를 쓰는 것으로 알려졌다. 투사들의 표현은 "얇은" 수상돌기 공간 내에 관련성들의 놀라운 압축을 제공할 수 있다. 캐스케이딩 전파가 순차적이면, 계산 속도는 원거리 연결들을 위한 전자적 "점프들"에 의해 가속될 때, 행렬 대역폭의 함수이다. 보다 기본적인 에저지 효율이 또한 가능한 것으로 여겨진다.

단열적 과정들이 물리적 에너지의 손실을 최소화하는 것으로서 정의된다. 전자 공학에서, 단열적 회로들은 이동 또는 내장형 컴퓨팅 디바이스들에서 중요한 문제인, 컴퓨터들의 에너지 비용을 최소화하도록 개발되고 있다. 회로가 단열적인지 여부는 (다이오드를 통해 역 전류를 통과하지 않는 것 같은) 그의 특정한 설계들에 매우 의존적이다. 이 특성은 또한 연산이 논리적으로 가역성인 지에 의존할 수 있다. NOT 게이트는 입력이 또한 그것의 출력으로부터 계산될 수 있기 때문에 가역성이다. XOR 게이트는 2개의 상이한 입력 상태들이 동일한 출력에 이르기 때문에 가역성이지 않다. 단지 출력이 주어지는 경우에, XOR 게이트에 대한 입력 정보는 손실된다. 정보가 손실될 때, 에너지도 손실된다.

본 발명의 일부 실시예들에 따른 수상돌기의 활성화들을 논리적으로 역 캐스케이드하는 개략도인 도 11이 이제 참조된다. 얇은 수상돌기들 상의 일치 검출의 실시예들은 어떤 특정한 전자 회로 설계에서의 그것의 구현이라기 보다는 분석의 계산적 및 알고리즘적 레벨에서 여기에 설명된다. 그러나, 계산으로서, 실시예들의 단열 효율은 그것의 논리적 가역성에 대하여 의문이 있을 수 있다. 논리적 가역성의 하나의 테스트는 캐스케이딩 전파의 최종 상태가 시작 상태를 다시 얻기 위해 역전될 수 있는지 여부이다.

이것은 탈분극된 시냅틱 및 수용성 가중치들이 원래의 2개의 투사 벡터들을 계속 나타내는 역 전파에 의해 참인 것으로 나타난다. 최종 상태는 시작 상태와 완전히 동형이다. 가역성인 회로들은 출력 와이어들과 동일한 수의 입력에서 입력-출력 대칭을 가져야 한다. 분극된 가중치 벡터들이 탈분극된 버전들과 동일한 상황에서, 논리적 가역성은 비변화의 이유로 참이다. 예를 들어, 투사 상태와 자체(분극된 아이덴티티와 탈분극된 아이덴티티) 사이에 1 대 1 대응 관계가 있다.

가역성은 또한 출력이 항상 원래의 입력을 발생하도록 계산이 역으로 실행될 수 있는 경우에 입증될 수 있다. 탈분극된 수용성 가중치들이 재분극하고 탈분극된 시냅틱 가중치들과 매치하도록 후방 전파하는 역 파를 발생한다면, 전파 알고리즘은 역으로 실행될 수 있다. 얇은 수상돌기들 상의 일치 검출은 각각의 구획이 2개 보다 많지 않은 이웃하는 것을 갖는다는 점에서 1차원 셀룰러 오토마타이다.

논리적 가역성이 이들 방식의 보다 심오한 특성이지만, 반전된 "후방 전파" 신호는 트리플렛 의존성들에 대한 학습 규칙을 완성한다. 관련할 2개의 입력들에 대해, 그들의 구획들 둘 다는 그들의 가중치들을 업데이트하여야 한다. 위에 설명된 바와 같이, 가중치 업데이트들은 비대칭이고; 관련성은 원위 시냅틱 가중치 및 인접한 수용성 가중치를 업데이트한다. 포스트-시냅틱 뉴런의 활성화가 주어지는 경우에, (세포체를 향한) 순방향성 전파는 근위 활성화에 원위 활성화를 매치시킨다. 이것은 근위의 구획의 수용성 가중치를 업데이트하기 위해 충분하다. 가역성은 단열적일 뿐만 아니라; 그것은 원위 활성화에 근위 활성화를 매치시키기 위해 (세포체로부터 멀리 떨어지는) 역방향성 전파를 제공한다. 역의 경우에, 업데이트는 근위의 구획의 시냅틱 가중치 내에 기록된다. 학습 규칙의 논리는 또한 역전되지만, 그것은 다시 트리플넷 의존성을 요구할 수 있다.

일부 실시예들에서, 일치 학습 및 검출 알고리즘은 단일 뉴런이 비선형 단위이고 자체로 망들이라는 이해에 기초하여 개선될 수 있다. 신피질의 피라미드형 뉴런은 그들의 얇은 수상돌기들 내에서 이러한 방법들을 구현한다고 가설될 수 있다. 피라미드형 뉴런이 피질 미세기둥의 중심물일 수 있지만, 다른 신경 유형들이 더 큰 회로를 형성하기 위해 피라미드형 셀들을 둘러싼다. 회로는 많은 유형들의 억제 뉴런들을 포함하여, 많은 상이한 셀 유형들을 포함할 수 있다.

기능적으로, 많은 유형들의 억제가 있다. 예를 들어, 세포체의 베이스에서의 억제, 수상돌기들로부터의 활동 합산의 점 및 신경 돌기로의 출력은 "베토" 제어기로서 작용할 수 있다. 이와 같이, 뉴런 자신의 "보트"이든 말든, 그것의 출력 점에서의 강력한 억제는 어떤 출력을 제한할 수 있다. 또 하나의 유형의 억제는 "억제 조각화"라고 불려진다. 전체 베토 힘보다는, 억제 조각화는 또 하나의 뉴런의 활동을 보다 외과적으로 수정하는 것으로 생각될 수 있다.

억제는 주어진 알고리즘을 진화시킬 수 있고, 동일한 방식으로 억제 뉴런들은 개발 중에 피질 회로에 대한 "늦은 공격자들"일 수 있다. 일부 실시예들에서, 억제는 그것을 조각하기 위해 피라미드형 뉴런을 "블랭킷"할 수 있다. 피질 회로의 하나의 억제 뉴런은 "더블 보켓" 뉴런이라고 하고 그것의 위치, 형상 및 연결성으로 인해 잠재적으로 가장 관련된다. 피라미드형 뉴런 옆에 있는 더블 보켓은 피라미드형 셀과 평행일 수 있고, 피라미드형 셀의 규모를 가로질러 자체로 신경이 통할 수 있는 수상돌기들의 얇은 기둥으로 형성될 수 있다.

계산적으로, 이러한 억제는 4-스위치 문제를 더 다루는 데 역할을 할 수 있다. 예를 들어, 본 발명의 일부 실시예들에 따른 수상돌기에서 억제 뉴런의 억제 시냅스가 온일 때 교차된 구성의 검출 및 표현의 개략도인 도 12가 이제 참조된다. 도시된 바와 같이, DA 관련성은 전에 논의된 바와 같이 로드될 수 있고 BE 관련성을 갖는 교차된 4-스위치를 형성하는 데 있어서 허용되지 않았다. DA 관련성은 수상돌기 또는 수상돌기 트리의 또 하나의 가지 상 어딘가에 로드될 수 있다. 시냅스들의 재구성은 또한 스위치를 제거할 수 있지만, 이것은 보다 시간이 많이 걸릴 수 있다. 교차된 구성들을 다루는 추가의 기술로서, 시냅틱 입력 B에서의 (빨간 억제 뉴런으로부터의) 억제 연결은 B가 오류로 D와 관련될 것을 검출할 수 있고 억제 신호를 형성할 수 있다. 매칭하는 D의 활성화로부터 B를 억제함으로써, D로부터의 활동의 전파는 B를 통과하여 A와 올바르게 매치할 것이다.

이러한 검출을 위하고 억제 신호가 활성화-수용성 매치를 어떻게 "스킵"하는지의 알고리즘은 기본적인 캐스케이딩 알고리즘의 확장이고 수상돌기가 임의의 그래프를 나타내고 표현하는 것이 요구된다. 그러나, 이것은 수상돌기 단독보다 복잡한 그래프 구성들을 나타내기 위한 것과 같이, 더 큰 회로 계산이 가능하다는 것을 보여준다.

여기의 기술들의 다른 확장들은 가중된 그래프의 표현을 포함한다. 바꾸어 말하면, 시냅틱 및 수용성 가중치들은 현재 하나의 입력으로부터 다른 것들까지의 관련성들의 수를 나타낸다. 확장된 설계는 또한 각각의 멱 레벨에 대한 별도의 시냅스 및 구획 가중치들을 사용하여, 연결 강도들을 설명하기 위해 각각의 입력을 위한 가중치들의 멱급수를 통해 각각의 관련성의 강도를 나타낼 수 있다. 멱 가중치들은 상이한 수상돌기들에 걸쳐 분리될 수 있고, 각각의 멱에 대해 하나의 수상돌기이다. 시냅스들의 멱급수들은 또한 하나의 수상돌기 상에서 코-로컬(co-local), 각각의 멱 가중치에 대해 하나의 시냅스, 그들의 공통 입력에 대해 코-로컬로 될 수 있다. 생리학적으로, 시냅스들은 멀티-시냅틱 단추 내에 별도의 전송 사이트들을 포함하기 위해 강도에서뿐만 아니라 모포로지컬 구조에서 성장하는 것으로 이해된다.

뇌의 기본적인 지식 표현으로서의 메모리의 이해는 계산의 기본적인 단위, 뉴런, 및 그것이 인식 표현의 성분들, 즉, 연결, 연결들의 강도들, 및 연결들의 맥락을 어떻게 지원하는지에 대한 이해를 더 필요로 한다.

일부 실시예들은 연결들이 하나로부터 다른 것으로의 시냅틱 링크들에 의해 구현되는, 신경 표현의 기본적인 요소로서 고려될 수 있는 것을 제공한다. 일부 실시예들에서, 연결들의 강도들은 이들 연결들의 통계적 크기를 나타내는데 있어서 또한 기본적일 수 있다. 일부 실시예들은 연결들 및 강도들의 맥락은 또한 연결들 및 그들의 강도들의 3-공간 표현(3-space presentation)인, 트리플 스토어들(triple stores)로서 나타내진다는 것을 제공한다.

모든 사람의 언어의 주어-동사-목적어 구조에서와 같이, 의미론적 지식을 나타내기 위해서, 연결들은 페어-와이즈 그래프만은 아닌, "트리플들"의 레벨에서 제공된다. 역시 통계학적 지식을 위해, 조건부적 정보는 각각의 종속 변수 출력에 대한 독립 변수 입력들의 가정을 넘어 "존재한다". 각각의 뉴런이 출력으로 맵핑된 입력-출력 관련성들을 나타내기 때문에, 각각의 뉴런은 보다 큰 망들을 형성하는 것을 수집하는, 그러한 맥락 관련 및 조건부적 트리플들을 나타낼 수 있다.

뇌는 연상 메모리 망들의 망들 중 망으로서 고려될 수 있다. 뇌 조직 레벨들은 뇌 전체, 영역 마이크로회로들, 및 개별적인 뉴런들로서 고려될 수 있다. 뇌 전제 조직에 관해서, 뇌는 스파게티의 뒤죽박죽이 아니다. 대신에, 그것은 대단히 중요한 망으로서 서로 분리되지만 통신하는, 많은 부영역들로 구성된다.

뇌의 각각의 영역 내의, 영역 마이크로회로 조직 레벨에서, 연결들은 더 큰 망 내에서 특정한 기능들을 어드레스하도록 설계될 수 있다. 가장 기본적인 망은 각각의 뉴런 내의, 뉴런 레벨에 있다. 그러므로, 단순한 선형 합산 및 임계 모델들과 대조적으로, 각각의 뉴런은 입력을 서로 연결하는, 비선형 연상 행렬을 나타낼 수 있다.

이들 특성의 모든 3가지는 공동 소유되어 Fleming 등에게 허여된 미국 특허 8,352,488, Hofmann 등에게 허여된 2013년 10월 28일자 출원된 미국 가 특허 출원 번호 61/896,258, 및 Hofmann 등에게 허여된 2013년 11월 15일자 출원된 미국 가 특허 출원 번호 61/904,835에 이미 설명되어 있고, 이들 모두는 여기에 전체적으로 기술하는 검처럼 참조로 포함된다. 그들은 대량 수의 행렬들이 오늘 날의 범용 컴퓨팅 클러스터들 상에서 어떻게 분배, 패러렐라이즈, 압축, 및 재수집되는지를 설명한다. 이러한 행렬들을 압축하고 행렬들 및 부행렬들에 걸쳐 결과들을 집합하는 것은 분산된 해시 코딩, 가변 길이 정수, 및 제로-런 길이 인코딩의 소프트웨어 알고리즘들 및 특별 형태들을 사용하여 해결되었다.

그러나, 현재의 계산과 메모리의 분리와 같은, 본 노이만 보틀넥들의 제약들은 신경 효율의 이상으로부터 멀어진다. 예를 들어, "의미론적 확장율", 그래프 스토어들의 스케일링 비용은 데이터 자체 보다 아주 클 수 있다. 현재의 가용한 소프트웨어는 우리의 뇌가 신경 디바이스들로 계산할 때 더 좋은 표현을 어떻게 가져야 하는지에 대해 비교할 수 없다. 그러므로, 트랜지스터들/영역이 더욱 더 작은 마이크로일렉트로닉스에 대한 싸움터를 정의하는 동일한 방식으로, 트리플들/영역은 더욱 더 스마트한 뉴로모픽 컴퓨팅의 마크가 될 수 있다. 그 목적을 위해, 여기에 설명된 실시예들은 뉴런들에서 발견된 보다 효율적인 알고리즘을 에뮬레이트한다.

인식 계산 및 뉴로모픽 하드웨어에서의 증가하는 관심들은 일반적으로 "브레인형"과 "뉴런형"으로서 정의된다. 우리의 마음과 뇌로부터 영감을 끌어내는 것은 보다 지능적인 머신들에 대한 근간으로 된다. 뇌는 실시간으로 실세계를 다루도록 진화하였고, 또한 세계가 변함에 따라 실시간으로 학습한다. 이들 능력이 지능의 근본일 수 있지만, 그들은 지식 엔지니어들이 사실들을 저술하여야 하는 통상적인 인공 지능 시스템들과, 데이터 과학자들이 데이터 모델들을 구축하여야 하는 고전적인 통계학과는 기본적으로 상이하였다. 대조적으로, 여기에 설명된 실시예들은 지식의 진정한 기본으로서 연상 메모리들에 대해 집중되었다. 생리학자들이 의미론적 메모리, 절차적 메모리, 에피소딕 메모리, 모터 메모리에 대해 말할 때, "메모리"의 기능은 모든 자연 이치에 공통으로 보여진다. 연상 메모리들은 우리가 어떻게 생각하고 행동하는지와 컴퓨터들이 어떻게 그런 것들을 할 수 있는지에 기초를 두는 "단일 알고리즘 가설들"을 만족시킨다.

여기에 설명된 바와 같이, 우리 자신의 마음과 뇌의 자연적인 지능은 연상 메모리 표현 및 추리를 사용하여 나타내지고, 소프트웨어에서인지 하드웨어에서인지에 따라, 행렬 배향을 가정한다. 그러나, 하드웨어 알고리즘들은 궁극적인 효율을 위해 "얇은 수상돌기들의 일치 검출"을 이해하는 목적으로 고무되는, 선형 구조들 내에 행렬들을 나타내도록 추구되어 왔다. 전파들을 캐스케이딩하고 연상 크로싱들의 회피의 어카운팅은 이제 메모리 표현을 달성하고 개선시켰다. 이와 같이, 컴퓨터 효율들에서의 상당한 증가들이 이제 실현될 수 있다.

인식 계산은 실제 지능의 이해를 계속 요구할 것이다. 모든 수상돌기들이 "브레인형" 영감들을 포함하지 않지만, 우리의 뇌는 동적인 실세계에서 실시간으로 살아 남는 가장 알려진 방식을 나타낸다는 것을 대부분 받아들여라. 그래프 표현들은 사람들, 장소들, 및 사물들, 상황들, 동작들, 및 결과들을 연결하기 위해 지식의 유니버설 표현으로서 점점 더 받아들여진다. 그러므로, 그래프 표현 및 추리는 점점 더 일반적으로 계산에 집중되어 갈 것이고, 이와 같이 인식 운영 체제들 및 가까운 미래의 인식 하드웨어 패브릭들로 이동할 것이다. 뉴런들은 그래프들이 어떻게 궁극적으로 뉴로모픽 컴퓨터들에서 낮은 에너지로 압축, 빨리 표현, 및 동작될 수 있는지에 대한 영감을 제공한다.

1들과 0들이 디지털 계산의 기본적인 요소들인 동일한 방식으로, 시냅스들의 연결들 및 카운트들은 새로운 형태의 계산이 지원하는 모든 응용들에서 동일하게 폭넓게 인식 계산을 정의할 것이다.

일부 실시예들은 매체 내에서 실시되는, 여기의 시스템들 및 방법들의 동작들을 수행하도록 구성된 컴퓨터 판독가능 프로그램 코드를 포함하는 컴퓨터 판독가능 프로그램 코드를 갖는 컴퓨터 사용가능 저장 매체를 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

도면 및 명세서에서, 본 발명의 실시예들이 개시되었고, 특정한 용어들이 사용되지만, 그들은 단지 일반적 및 설명적 의미에서 사용된 것이고 제한의 목적들을 위한 것은 아니고, 본 발명의 범위는 다음의 청구범위에서 기술된다.

Claims (24)

1. 인공 뉴런을 포함하는 컴퓨터 시스템으로서,
   상기 인공 뉴런은
   복수의 수상돌기를 포함하고, 상기 복수의 수상돌기 중의 수상돌기들은 복수의 수상돌기 구획(dendrite compartment)을 포함하고, 상기 수상돌기 구획들 중 각자의 수상돌기 구획은 복수의 입력 중 각자의 입력을 유일하게 수신하고, 각각의 수상돌기 구획은 시냅스 활성화 강도(synapse activation strength)에 대응하는 제1 가중치 값(weight value) 및 다른 활성화들에의 상기 각자의 수상돌기 구획의 수용성(receptivity)에 대응하는 제2 가중치 값을 포함하고,
   상기 복수의 수상돌기 구획은 상기 수상돌기의 원위 팁(distal tip)인 정점으로부터 상기 수상돌기의 근위 끝에 세포체(soma)까지 선형으로 배열되고,
   제로의 수용성 값들을 갖는 수상돌기 구획들은 상기 복수의 수상돌기 구획 중 더 근위의 수상돌기 구획에의 활성화 출력으로서 상기 복수의 수상돌기 구획 중 더 원위의 수상돌기 구획으로부터의 활성화 입력을 전자적으로(electrotonically) 송신하도록 구성되는,
   컴퓨터 시스템.
2. 제1항에 있어서, 상기 세포체는 인공 뉴런 합산 점(artificial neuron summation point)인, 컴퓨터 시스템.
3. 제1항에 있어서, 상기 복수의 수상돌기 각각은 각자의 다른 인공 뉴런들로부터 입력들을 수신하도록 구성되는 상기 수상돌기 구획들의 선형 어레이인, 컴퓨터 시스템.
4. 제1항에 있어서, 상기 복수의 입력 중의 입력들은 상기 복수의 수상돌기 구획을 통한 캐스케이딩 시냅틱 활성화(cascading synaptic activation)를 통해 수신되는, 컴퓨터 시스템.
5. 삭제
6. 제1항에 있어서, 상기 복수의 입력이 상기 복수의 수상돌기 구획 중의 수상돌기 구획들 사이에 교차된-스위치(crossed-switch)를 발생하는 것에 응답하여, 상기 복수의 수상돌기 중의 대응하는 수상돌기는 상기 수상돌기의 원위 팁인 상기 정점에서 부가된 수상돌기 구획을 포함하는, 컴퓨터 시스템.
7. 제1항에 있어서, 상기 복수의 수상돌기 구획 중 하나의 수상돌기 구획 내의 상기 제1 가중치 값이 제로보다 크고 상기 복수의 수상돌기 구획 중 상기 하나의 수상돌기 구획 내의 상기 제2 가중치 값이 제로보다 큰 것에 응답하여, 상기 복수의 수상돌기 구획 중 상기 하나의 수상돌기 구획은 일치 스파이크 신호(coincidence spike signal)를 인공 뉴런 합산 점인 세포체에 보내는, 컴퓨터 시스템.
8. 제1항에 있어서, 상기 복수의 수상돌기 구획 중 하나의 수상돌기 구획 내의 상기 제1 가중치 값이 제로인 것에 응답하여, 상기 복수의 수상돌기 구획 중 그 하나의 수상돌기 구획에 대해 활성화 전파(activation propagation)가 중지되는, 컴퓨터 시스템.
9. 각각이 복수의 수상돌기 구획을 갖는 복수의 수상돌기를 포함하는 인공 뉴런 내로 복수의 입력을 기억시키는 방법으로서,
   상기 복수의 수상돌기 구획은 상기 수상돌기의 원위 팁(distal tip)인 정점으로부터 상기 수상돌기의 근위 끝에 세포체(soma)까지 선형으로 배열되고,
   상기 방법은 전자 디바이스의 프로세서에 의해 실행되고
   상기 복수의 수상돌기 구획 중 더 근위의 수상돌기 구획들로부터 인공 뉴런 합산 점인 상기 인공 뉴런의 상기 세포체까지 흐르는 원위 시냅스 활성화(distal synapse activation)로서 일치 검출(coincidence detection)을 계산하는 단계; 및
   교차-구성된 4-스위치(cross-configured 4-switch)를 검출하고 피하는 단계를 포함하는 방법.
10. 제9항에 있어서, 비제로인 수용성 값을 포함하는 상기 복수의 수상돌기 구획 중 대응하는 수상돌기 구획에서 수신된 비제로 활성화 값 입력으로부터의 상기 일치 검출에 응답하여 수상돌기 동작 전위(dendritic action potential)를 발생하는 단계를 더 포함하는 방법.
11. 제10항에 있어서, 상기 수상돌기 동작 전위를 발생하는 것에 응답하여, 상기 방법은
    상기 활성화 값 및 상기 수용성 값을 감소시키는 단계; 및
    상기 감소된 활성화 값을 상기 복수의 수상돌기 구획 중 다음 수상돌기 구획에 통과(pass)하는 단계를 더 포함하는 방법.
12. 각각이 복수의 수상돌기 구획을 갖는 복수의 수상돌기를 포함하는 인공 뉴런 내로 복수의 입력을 기억시키는 방법으로서,
    상기 복수의 수상돌기 구획은 상기 수상돌기의 원위 팁(distal tip)인 정점으로부터 상기 수상돌기의 근위 끝에 세포체(soma)까지 선형으로 배열되고,
    상기 방법은 전자 디바이스의 프로세서에 의해 실행되고
    상기 복수의 수상돌기 구획 중 원위의 수상돌기 구획들로부터 상기 복수의 수상돌기 구획 중 더 근위의 수상돌기 구획들을 거쳐 상기 인공 뉴런의 상기 세포체까지 캐스케이드하는 캐스케이딩 활성화를 사용하여 일치 검출을 계산하는 단계; 및
    교차-구성된 4-스위치(cross-configured 4-switch)를 검출하고 피하는 단계를 포함하는 방법.
13. 삭제
14. 인공 뉴런을 포함하는 컴퓨터 시스템으로서,
    상기 인공 뉴런은
    복수의 수상돌기를 포함하고, 상기 복수의 수상돌기 중의 수상돌기들은 복수의 수상돌기 구획을 포함하고, 상기 수상돌기 구획들 중 각자의 수상돌기 구획은 복수의 입력 중 각자의 입력을 유일하게 수신하고, 상기 복수의 수상돌기 구획 중의 수상돌기 구획들은 상기 복수의 수상돌기 구획 중 대응하는 수상돌기 구획이 제1 수용성 값을 포함하는 경우에 비수정된 상태에서 및 상기 복수의 수상돌기 구획 중 상기 대응하는 수상돌기 구획이 상기 제1 수용성과 상이한 제2 수용성을 포함하는 경우에 상기 비수정된 상태와 상이한 수정된 상태에서 캐스케이딩 활성화를 수신하고 상기 캐스케이딩 활성화를 송신하도록 구성되고,
    상기 복수의 수상돌기 구획은 상기 수상돌기의 원위 팁(distal tip)인 정점으로부터 상기 수상돌기의 근위 끝에 세포체(soma)까지 선형으로 배열되고,
    제로의 수용성 값들을 갖는 수상돌기 구획들은 상기 복수의 수상돌기 구획 중 더 근위의 수상돌기 구획에의 활성화 출력으로서 상기 복수의 수상돌기 구획 중 더 원위의 수상돌기 구획으로부터의 활성화 입력을 전자적으로(electrotonically) 송신하도록 구성되는,
    컴퓨터 시스템.
15. 각각이 복수의 수상돌기 구획을 갖는 복수의 수상돌기를 포함하는 인공 뉴런 내로 복수의 입력을 기억시키기 위한 컴퓨터 판독가능 프로그램 코드를 저장한 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 복수의 수상돌기 구획은 상기 수상돌기의 원위 팁(distal tip)인 정점으로부터 상기 수상돌기의 근위 끝에 세포체(soma)까지 선형으로 배열되고,
    상기 컴퓨터 판독가능 프로그램 코드는,
    전자 디바이스의 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    상기 복수의 수상돌기 구획 중 더 근위의 수상돌기 구획들로부터 상기 인공 뉴런의 상기 세포체까지 흐르는 원위 시냅스 활성화로서 일치 검출을 계산하고;
    교차-구성된 4-스위치(cross-configured 4-switch)를 검출하고 피하며;
    비제로 수용성을 포함하는 상기 복수의 수상돌기 구획 중 대응하는 수상돌기 구획에서 수신된 비제로 활성화 값 입력으로부터의 상기 일치 검출에 응답하여 수상돌기 동작 전위를 발생하고;
    상기 수상돌기 동작 전위를 발생하는 것에 응답하여, 상기 활성화 값 및 상기 수용성을 감소시키고 상기 감소된 활성화 값을 상기 복수의 수상돌기 구획 중 다음 수상돌기 구획에 송신하는 것
    을 포함하는 동작들을 수행하게 하는, 컴퓨터 판독가능 프로그램 코드를 저장한 비일시적 컴퓨터 판독가능 저장 매체.
16. 삭제
17. 삭제
18. 제12항에 있어서, 상기 복수의 수상돌기 구획은 상기 복수의 수상돌기 중 대응하는 수상돌기의 원위 팁인 정점으로부터 상기 복수의 수상돌기 중 상기 대응하는 수상돌기의 인공 뉴런 합산 점인 세포체까지 선형으로 배열되는 방법.
19. 제12항에 있어서, 상기 방법은 각자의 다른 인공 뉴런들로부터의 입력들을 상기 복수의 수상돌기 구획 중의 수상돌기 구획들 내로 수신하는 단계를 더 포함하는 방법.
20. 제19항에 있어서, 상기 복수의 수상돌기 각각은 상기 각자의 다른 인공 뉴런들로부터의 상기 입력들을 수신하도록 구성되는 상기 복수의 수상돌기 구획의 선형 어레이를 포함하는 방법.
21. 제19항에 있어서, 각자의 다른 인공 뉴런들로부터의 입력들을 상기 복수의 수상돌기 구획 중의 수상돌기 구획들 내로 수신하는 단계는 상기 복수의 수상돌기 구획을 통한 캐스케이딩 시냅틱 활성화를 통해 상기 입력들을 수신하는 단계를 포함하는 방법.
22. 제12항에 있어서, 상기 복수의 수상돌기 구획 중 더 근위의 수상돌기 구획으로의 활성화 출력으로서 상기 복수의 수상돌기 구획 중 더 원위의 수상돌기 구획으로부터의 활성화 입력을 송신하는 단계를 더 포함하는 방법.
23. 제12항에 있어서, 상기 복수의 입력이 상기 복수의 수상돌기 구획 중의 수상돌기 구획들 사이에 교차된-스위치를 발생하는 것에 응답하여, 수상돌기 정점에서의 상기 복수의 수상돌기에 다른 수상돌기 구획을 제공하는 방법.
24. 삭제

Images