KR101815438B1 - 비감독 신경 리플레이, 학습 리파인먼트, 연관 및 기억 전달: 신경 연관 학습, 패턴 완성, 분리, 일반화 및 계층적 리플레이를 위한 방법들 및 장치 - Google Patents
비감독 신경 리플레이, 학습 리파인먼트, 연관 및 기억 전달: 신경 연관 학습, 패턴 완성, 분리, 일반화 및 계층적 리플레이를 위한 방법들 및 장치 Download PDFInfo
- Publication number
- KR101815438B1 KR101815438B1 KR1020147015330A KR20147015330A KR101815438B1 KR 101815438 B1 KR101815438 B1 KR 101815438B1 KR 1020147015330 A KR1020147015330 A KR 1020147015330A KR 20147015330 A KR20147015330 A KR 20147015330A KR 101815438 B1 KR101815438 B1 KR 101815438B1
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- neurons
- layer
- replay
- sequence
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
본 개시물의 특정한 양태들은 비감독 신경 리플레이, 학습 리파인먼트, 연관 및 기억 전달을 위한 기법들을 지원한다.
Description
관련 출원에 대한 상호 참조
본 특허 출원은, 발명의 명칭이 "METHODS AND APPARATUS FOR UNSUPERVISED NEURAL REPLAY, LEARNING REFINEMENT, ASSOCIATION AND MEMORY TRANSFER: NEURAL COMPONENT MEMORY TRANSFER"이고 2011년 11월 9일자로 출원된 미국 특허 출원, 발명의 명칭이 "METHODS AND APPARATUS FOR UNSUPERVISED NEURAL REPLAY, LEARNING REFINEMENT, ASSOCIATION AND MEMORY TRANSFER: NEURAL ASSOCIATIVE LEARNING, PATTERN COMPLETION, SEPARATION, GENERALIZATION AND HIERARCHICAL REPLAY"이고 2011년 11월 9일자로 출원된 미국 특허 출원, 및 발명의 명칭이 "METHODS AND APPARATUS FOR UNSUPERVISED NEURAL REPLAY, LEARNING REFINEMENT, ASSOCIATION AND MEMORY TRANSFER: STRUCTURAL PLASTICITY AND STRUCTURAL CONSTRAINT MODELING"이고 2011년 11월 9일자로 출원된 미국 특허 출원의 요지에 관련되며, 그 미국 특허 출원들은 본원과 함께 출원되고 본원의 양수인에게 양도되며 참조로 본원에 명시적으로 통합된다.
분야
본 개시물의 특정한 양태들은 대체로 신경 시스템 엔지니어링에 관한 것이고, 더 상세하게는, 비감독 신경 리플레이, 학습 리파인먼트, 연관, 및 기억 전달을 위한 방법들 및 장치에 관한 것이다.
신경 시스템 엔지니어링의 분야에서, 원래의 자극이 없을 시에, 하나 이상의 뉴런들에 의해 학습된 신경 발사 패턴을 진정으로 리플레이하는 데에는 근본적인 문제가 있다. 게다가, 원래의 자극이 더 이상 존재하지 않은 후의 빠른 학습, 학습 리파인먼트, 연관, 및 기억 전달의 문제들은 여전히 해결해야 할 것으로 남아 있다.
생물학적으로 영감을 받은 뉴런 모델들로써 패턴을 학습하는 현재의 방법들은, 어떤 패턴에 뉴런이 매칭되는지를 결정하기 위하여, 매칭하는 하나가 발견되기까지 상이한 패턴들을 시도할 필요가 있을 것이라는 점에서 기능적으로 일방향 방법들이다. 생물학적으로든 또는 머신에 의해서든, 학습된 것의 진정한 리플레이의 방법은 알려져 있지 않다.
본 개시물의 특정한 양태들은 신경 성분 리플레이의 방법을 제공한다. 그 방법은 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 단계, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키는 단계, 및 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하도록 구성된 제 1 회로, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키도록 구성된 제 2 회로, 및 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하도록 구성된 제 3 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 수단, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키는 수단, 및 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하며, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키며, 및 상기 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 상기 복수의 구심성 뉴런들 중 하나 이상을 유도하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 학습 리파인먼트 및 빠른 학습의 방법을 제공한다. 그 방법은 대체로, 하나 이상의 패턴 학습 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 단계, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 이상의 관계형 양태 뉴런들을 매칭시키는 단계, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 단계, 및 유도된 실질적으로 유사한 패턴을 사용하여 하나 이상의 패턴 학습 뉴런들에 의한 학습을 리파인하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 학습 리파인먼트 및 빠른 학습을 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 패턴 학습 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하도록 구성된 제 1 회로, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키도록 구성된 제 2 회로, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하도록 구성된 제 3 회로, 및 유도된 실질적으로 유사한 패턴을 사용하여 하나 이상의 패턴 학습 뉴런들에 의한 학습을 리파인하도록 구성된 제 4 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 학습 리파인먼트 및 빠른 학습을 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 패턴 학습 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 수단, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키는 수단, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 수단, 및 유도된 실질적으로 유사한 패턴을 사용하여 하나 이상의 패턴 학습 뉴런들에 의한 학습을 리파인하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 성분 학습 리파인먼트 및 빠른 학습을 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 하나 이상의 패턴 학습 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하며, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 이상의 관계형 양태 뉴런들을 매칭시키며, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하며, 및 유도된 실질적으로 유사한 패턴을 사용하여 상기 하나 이상의 패턴 학습 뉴런들에 의한 학습을 리파인하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 학습 리파인먼트의 방법을 제공한다. 그 방법은 대체로, 자극으로써 입력들의 세트에서의 패턴의 서브세트를 학습하는 단계, 그 패턴의 엘리먼트들 및 패턴의 서브세트 사이의 관계형 양태를 학습하는 단계, 자극 없이 학습된 관계형 양태를 사용하여 입력들의 상기 세트에서의 패턴을 리플레이하는 단계; 및 자극 없이 입력들의 세트에서의 상기 패턴의 학습을 리파인하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 학습 리파인먼트를 위한 장치를 제공한다. 그 장치는 대체로, 자극으로써 입력들의 세트에서의 패턴의 서브세트를 학습하도록 구성된 제 1 회로; 패턴의 엘리먼트들 및 패턴의 서브세트 사이의 관계형 양태를 학습하도록 구성된 제 2 회로; 자극 없이 학습된 관계형 양태를 사용하여 입력들의 세트에서의 패턴을 리플레이하도록 구성된 제 3 회로; 및 자극 없이 입력들의 세트에서의 패턴의 학습을 리파인하도록 구성된 제 4 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 학습 리파인먼트를 위한 장치를 제공한다. 그 장치는 대체로, 자극으로써 입력들의 세트에서의 패턴의 서브세트를 학습하는 수단; 패턴의 엘리먼트들 및 패턴의 상기 서브세트 사이의 관계형 양태를 학습하는 수단; 자극 없이 학습된 관계형 양태를 사용하여 입력들의 세트에서의 패턴을 리플레이하는 수단; 및 자극 없이 입력들의 세트에서의 패턴의 학습을 리파인하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 학습 리파인먼트를 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 자극으로써 입력들의 세트에서의 패턴의 서브세트를 학습하며, 패턴의 엘리먼트들 및 패턴의 서브세트 사이의 관계형 양태를 학습하며; 자극 없이 학습된 관계형 양태를 사용하여 입력들의 세트에서의 패턴을 리플레이하며; 및 자극 없이 입력들의 세트에서의 패턴의 학습을 리파인하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이의 방법을 제공한다. 그 방법은 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 단계, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키는 단계, 및 하나 이상의 관계형 양태 뉴런들에 의해 출력을 파열시키는 것에 의해 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하도록 구성된 제 1 회로; 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키도록 구성된 제 2 회로, 및 상기 하나 이상의 관계형 양태 뉴런들에 의해 출력을 파열시키는 것에 의해 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하도록 구성된 제 3 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 수단, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키는 수단, 및 하나 이상의 관계형 양태 뉴런들에 의해 출력을 파열시키는 것에 의해 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하며, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키며, 및 하나 이상의 관계형 양태 뉴런들에 의해 출력을 파열시키는 것에 의해 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이의 방법을 제공한다. 그 방법은 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 단계, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키는 단계, 및 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 단계를 포함하며, 구심성 뉴런들, 하나 이상의 참조 뉴런들, 또는 하나 이상의 관계형 양태 뉴런들 중 적어도 하나 사이의 시그널링은, 급속 스파이크 시퀀스 또는 독립 스파이크들 중 적어도 하나를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하도록 구성된 제 1 회로; 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키도록 구성된 제 2 회로, 및 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하도록 구성된 제 3 회로를 포함하며, 구심성 뉴런들, 하나 이상의 참조 뉴런들, 또는 하나 이상의 관계형 양태 뉴런들 중 적어도 하나 사이의 시그널링은, 급속 스파이크 시퀀스 또는 독립 스파이크들 중 적어도 하나를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 수단, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키는 수단, 및 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 수단을 포함하며, 구심성 뉴런들, 하나 이상의 참조 뉴런들, 또는 하나 이상의 관계형 양태 뉴런들 중 적어도 하나 사이의 시그널링은, 급속 스파이크 시퀀스 또는 독립 스파이크들 중 적어도 하나를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하며, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키며, 및 상기 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 상기 복수의 구심성 뉴런들 중 하나 이상을 유도하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함하며, 구심성 뉴런들, 하나 이상의 참조 뉴런들, 또는 하나 이상의 관계형 양태 뉴런들 중 적어도 하나 사이의 시그널링은, 급속 스파이크 시퀀스 또는 독립 스파이크들 중 적어도 하나를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 기억 전달의 방법을 제공한다. 그 방법은 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 단계, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 제 1 관계형 양태들과 하나 이상의 제 1 관계형 양태 뉴런들을 매칭시키는 단계; 및 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 제 1 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들을 유도하는 것에 의해 패턴을 하나 이상의 피전달자 뉴런들에게 전달하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 기억 전달을 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하도록 구성된 제 1 회로, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 제 1 관계형 양태들과 하나 이상의 제 1 관계형 양태 뉴런들을 매칭시키도록 구성된 제 2 회로, 및 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 제 1 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들을 유도하는 것에 의해 패턴을 하나 이상의 피전달자 뉴런들에게 전달하도록 구성된 제 3 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 기억 전달을 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 수단, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 제 1 관계형 양태들과 하나 이상의 제 1 관계형 양태 뉴런들을 매칭시키는 수단, 및 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 제 1 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들을 유도하는 것에 의해 패턴을 하나 이상의 피전달자 뉴런들에게 전달하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 성분 기억 전달을 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하며, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 제 1 관계형 양태들과 하나 이상의 제 1 관계형 양태 뉴런들을 매칭시키며, 및 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 제 1 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들을 유도하는 것에 의해 패턴을 하나 이상의 피전달자 뉴런들에게 전달하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 연관 학습의 방법을 제공한다. 그 방법은 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하는 단계, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하는 단계, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하는 단계, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하는 단계, 제 1 및 제 2 자극들 없이 학습된 관계형 양태들을 사용하여 입력들의 세트에서의 제 1 및 제 2 패턴들을 리플레이하는 단계, 및 그 리플레이에 기초하여 제 1 및 제 2 패턴들을 연관시키는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 연관 학습을 위한 장치를 제공한다. 그 장치는 대체로, 제 1 자극으로써 하나 이상의 입력의 세트에서의 제 1 패턴을 참조하도록 구성된 제 1 회로, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하도록 구성된 제 2 회로, 제 2 자극으로써 하나 이상의 입력의 세트에서의 제 2 패턴을 참조하도록 구성된 제 3 회로, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하도록 구성된 제 4 회로, 제 1 및 제 2 자극들 없이 학습된 관계형 양태들을 사용하여 입력들의 세트에서의 제 1 및 제 2 패턴들을 리플레이하도록 구성된 제 5 회로, 및 리플레이에 기초하여 제 1 및 제 2 패턴들을 연관시키도록 구성된 제 6 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 연관 학습을 위한 장치를 제공한다. 그 장치는 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하는 수단, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하는 수단, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하는 수단, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하는 수단, 제 1 및 제 2 자극들 없이 학습된 관계형 양태들을 사용하여 입력들의 세트에서의 제 1 및 제 2 패턴들을 리플레이하는 수단, 및 그 리플레이에 기초하여 제 1 및 제 2 패턴들을 연관시키는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 연관 학습을 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하며, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하며, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하며, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하는 단계, 제 1 및 제 2 자극들 없이 학습된 관계형 양태들을 사용하여 입력들의 세트에서의 제 1 및 제 2 패턴들을 리플레이하는 단계, 및 그 리플레이에 기초하여 제 1 및 제 2 패턴들을 연관시키는 단계를 하기를 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 비교의 방법을 제공한다. 그 방법은 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하는 단계, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하는 단계, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하는 단계, 제 1 패턴을 리플레이하는 단계, 및 제 1 및 제 2 패턴의 리플레이 및 참조에 기초하여 제 1 패턴과 제 2 패턴을 비교하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 비교를 위한 장치를 제공한다. 그 장치는 대체로, 제 1 자극으로써 하나 이상의 입력의 세트에서의 제 1 패턴을 참조하도록 구성된 제 1 회로, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하도록 구성된 제 2 회로, 제 2 자극으로써 하나 이상의 입력의 세트에서의 제 2 패턴을 참조하도록 구성된 제 3 회로, 제 1 패턴을 리플레이하도록 구성된 제 4 회로, 및 제 1 및 제 2 패턴들의 리플레이 및 참조에 기초하여 제 1 패턴과 제 2 패턴을 비교하도록 구성된 제 5 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 비교를 위한 장치를 제공한다. 그 장치는 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하는 수단, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하는 수단, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하는 수단, 제 1 패턴을 리플레이하는 수단, 및 제 1 및 제 2 패턴의 리플레이 및 참조에 기초하여 제 1 패턴과 제 2 패턴을 비교하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 비교를 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하며, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하며, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하며, 제 1 패턴을 리플레이하며, 및 제 1 및 제 2 패턴의 리플레이 및 참조에 기초하여 제 1 패턴과 제 2 패턴을 비교하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 완성의 방법을 제공한다. 그 방법은 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하는 단계, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하는 단계, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하는 단계, 제 2 패턴은 제 1 패턴의 저하된 버전을 포함하며, 및, 제 2 패턴 또는 제 2 자극 중 적어도 하나에 대한 노출에 응답하여 제 2 패턴으로부터 저하되어 있는 또는 누락한 제 1 패턴의 적어도 하나의 엘리먼트를 리플레이하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 완성을 위한 장치를 제공한다. 그 장치는 대체로, 포함한다 제 1 자극으로써 하나 이상의 입력의 세트에서의 제 1 패턴을 참조하도록 구성된 제 1 회로, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하도록 구성된 제 2 회로, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하도록 구성된 제 3 회로로, 제 2 패턴은 제 1 패턴의 저하된 버전을 포함하며, 및 제 2 패턴 또는 제 2 자극 중 적어도 하나에 대한 노출에 응답하여 제 2 패턴으로부터 저하되어 있는 또는 누락한 제 1 패턴의 적어도 하나의 엘리먼트를 리플레이하도록 구성된 제 4 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 완성을 위한 장치를 제공한다. 그 장치는 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하는 수단, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하는 수단, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하는 수단, 제 2 패턴은 제 1 패턴의 저하된 버전을 포함하며, 및, 제 2 패턴 또는 제 2 자극 중 적어도 하나에 대한 노출에 응답하여 제 2 패턴으로부터 저하되어 있는 또는 누락한 제 1 패턴의 적어도 하나의 엘리먼트를 리플레이하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 완성을 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하며, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하며, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하며, 제 2 패턴은 제 1 패턴의 저하된 버전을 포함하며, 및 제 2 패턴 또는 제 2 자극 중 적어도 하나에 대한 노출에 응답하여 제 2 패턴으로부터 저하되어 있는 또는 누락한 제 1 패턴의 적어도 하나의 엘리먼트를 리플레이하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 분리의 방법을 제공한다. 그 방법은 대체로, 하나 이상의 참조 뉴런들로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하는 단계, 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 제 1 관계형 양태를 학습하는 단계, 하나 이상의 참조 뉴런들로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하는 단계, 제 2 패턴은 제 1 패턴과 유사하며, 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 제 2 관계형 양태를 학습하는 단계, 제 1 및 제 2 패턴들 사이의 차이를 증가시키기 위해 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 수정하는 단계, 및 하나 이상의 참조 뉴런들을 사용한 수정 후, 제 1 자극으로써 제 1 패턴을 및 제 2 자극으로써 제 2 패턴을 참조하는 단계를 포함하며, 제 1 자극은 제 2 자극과는 구별된다.
본 개시물의 특정한 양태들은 신경 패턴 분리를 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하도록 구성된 제 1 회로, 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 제 1 관계형 양태를 학습하도록 구성된 제 2 회로, 하나 이상의 참조 뉴런들로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하도록 구성된 제 3 회로, 제 2 패턴은 제 1 패턴과 유사하며, 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 제 2 관계형 양태를 학습하도록 구성된 제 4 회로, 제 1 및 제 2 패턴들 사이의 차이를 증가시키기 위해 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 수정하도록 구성된 제 5 회로, 및 하나 이상의 참조 뉴런들을 사용한 수정 후, 제 1 자극으로써 제 1 패턴을 및 제 2 자극으로써 제 2 패턴을 참조하도록 구성된 제 6 회로를 포함하며 제 1 자극은 제 2 자극과는 구별된다.
본 개시물의 특정한 양태들은 신경 패턴 분리를 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하는 수단, 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 제 1 관계형 양태를 학습하는 수단, 하나 이상의 참조 뉴런들로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하는 수단, 제 2 패턴은 제 1 패턴과 유사하며, 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 제 2 관계형 양태를 학습하는 수단, 제 1 및 제 2 패턴들 사이의 차이를 증가시키기 위해 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 수정하는 수단, 및 하나 이상의 참조 뉴런들을 사용한 수정 후, 제 1 자극으로써 제 1 패턴을 및 제 2 자극으로써 제 2 패턴을 참조하는 수단을 포함하며, 제 1 자극은 제 2 자극과는 구별된다.
본 개시물의 특정한 양태들은 신경 패턴 분리를 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 하나 이상의 참조 뉴런들로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하며, 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 제 1 관계형 양태를 학습하며, 하나 이상의 참조 뉴런들로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하며, 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 제 2 관계형 양태를 학습하며, 제 1 및 제 2 패턴들 사이의 차이를 증가시키기 위해 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 수정하며, 및 하나 이상의 참조 뉴런들을 사용한 수정 후, 제 1 자극으로써 제 1 패턴을 및 제 2 자극으로써 제 2 패턴을 참조하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함하며, 제 2 패턴은 제 1 패턴과 유사하며, 제 1 자극은 제 2 자극과는 구별된다.
본 개시물의 특정한 양태들은 신경 패턴 일반화의 방법을 제공한다. 그 방법은 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하는 단계, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하는 단계, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하는 단계, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하는 단계, 제 1 및 제 2 자극들 없이 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 리플레이하는 단계, 및 그 리플레이에 기초하여 제 1 및 제 2 패턴들의 일반화하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 일반화를 위한 장치를 제공한다. 그 장치는 대체로, 제 1 자극으로써 하나 이상의 입력의 세트에서의 제 1 패턴을 참조하도록 구성된 제 1 회로, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하도록 구성된 제 2 회로, 제 2 자극으로써 하나 이상의 입력의 세트에서의 제 2 패턴을 참조하도록 구성된 제 3 회로, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하도록 구성된 제 4 회로, 제 1 및 제 2 자극들 없이 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 리플레이하도록 구성된 제 5 회로, 및 그 플레이에 기초하여 제 1 및 제 2 패턴들의 일반화를 학습하도록 구성된 제 6 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 일반화를 위한 장치를 제공한다. 그 장치는 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하는 수단, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하는 수단, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하는 수단, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하는 수단, 제 1 및 제 2 자극들 없이 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 리플레이하는 수단, 및 그 리플레이에 기초하여 제 1 및 제 2 패턴들의 일반화하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 일반화를 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하며, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하며, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하며, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하며, 제 1 및 제 2 자극들 없이 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 리플레이하며, 및 그 리플레이에 기초하여 제 1 및 제 2 패턴들의 일반화하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 시퀀스 완성의 방법을 제공한다. 그 방법은 대체로, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하는 단계, 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하는 단계, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하는 단계, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하는 단계, 및 패턴의 이전 부분의 재생 시에 제 1 계층 뉴런들에서의 패턴의 후속 부분을 리플레이하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 시퀀스 완성을 위한 장치를 제공한다. 그 장치는 대체로, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하도록 구성된 제 1 회로, 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하도록 구성된 제 2 회로, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하도록 구성된 제 3 회로, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하도록 구성된 제 4 회로, 및 패턴의 이전 부분의 재생 시에 제 1 계층 뉴런들에서의 패턴의 후속 부분을 리플레이하도록 구성된 제 5 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 시퀀스 완성을 위한 장치를 제공한다. 그 장치는 대체로, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하는 수단, 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하는 수단, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하는 수단, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하는 수단, 및 패턴의 이전 부분의 재생 시에 제 1 계층 뉴런들에서의 패턴의 후속 부분을 리플레이하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 시퀀스 완성을 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하며, 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하며, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하며, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하며, 및 패턴의 이전 부분의 재생 시에 제 1 계층 뉴런들에서의 패턴의 후속 부분을 리플레이하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 계층적 리플레이의 방법을 제공한다. 그 방법은 대체로, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하는 단계, 각각의 패턴의 하나 이상의 엘리먼트들 및 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하는 단계, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하는 단계, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하는 단계, 참조 뉴런들의 제 3 계층에 기초하여 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이를 호출하는 단계, 및 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이의 호출에 기초하여 제 1 계층에서의 패턴의 부분들의 그 시퀀스를 리플레이하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 계층적 리플레이를 위한 장치를 제공한다. 그 장치는 대체로, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하도록 구성된 제 1 회로, 각각의 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하도록 구성된 제 2 회로, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하도록 구성된 제 3 회로, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하도록 구성된 제 4 회로, 참조 뉴런들의 제 3 계층에 기초하여 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이를 호출하도록 구성된 제 5 회로, 및 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이의 호출에 기초하여 제 1 계층에서의 패턴의 부분들의 그 시퀀스를 리플레이하도록 구성된 제 6 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 계층적 리플레이를 위한 장치를 제공한다. 그 장치는 대체로, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하는 수단, 각각의 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하는 수단, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하는 수단, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하는 수단, 참조 뉴런들의 제 3 계층에 기초하여 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이를 호출하는 수단, 및 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이의 호출에 기초하여 제 1 계층에서의 패턴의 부분들의 그 시퀀스를 리플레이하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 계층적 리플레이를 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하며, 각각의 패턴의 하나 이상의 엘리먼트들 및 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하며, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하며, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하며, 참조 뉴런들의 제 3 계층에 기초하여 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이를 호출하며, 및 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이의 호출에 기초하여 제 1 계층에서의 패턴의 부분들의 그 시퀀스를 리플레이하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 시퀀스 완성의 방법을 제공한다. 그 방법은 대체로, 복수의 참조 뉴런들로써 복수의 구심성 뉴런들에서의 패턴의 복수의 부분들을 참조하는 단계, 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 부분들 중 하나 이상을 참조 뉴런들의 서브세트에 관련시키는 단계, 제 2 값보다 큰 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 하나 이상의 나머지 부분들을 참조 뉴런들의 서브세트에 관련시키는 단계, 및 구심성 뉴런들에 의한 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 참조 뉴런들의 서브세트에 의한 패턴의 하나 이상의 나머지 부분들의 리플레이를 유도하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 시퀀스 완성을 위한 장치를 제공한다. 그 장치는 대체로, 복수의 참조 뉴런들로써 복수의 구심성 뉴런들에서의 패턴의 복수의 부분들을 참조하도록 구성된 제 1 회로, 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 부분들 중 하나 이상을 참조 뉴런들의 서브세트에 관련시키도록 구성된 제 2 회로, 제 2 값보다 큰 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 하나 이상의 나머지 부분들을 참조 뉴런들의 서브세트에 관련시키도록 구성된 제 3 회로, 및 구심성 뉴런들에 의한 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 참조 뉴런들의 서브세트에 의한 패턴의 하나 이상의 나머지 부분들의 리플레이를 유도하도록 구성된 제 4 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 시퀀스 완성을 위한 장치를 제공한다. 그 장치는 대체로, 복수의 참조 뉴런들로써 복수의 구심성 뉴런들에서의 패턴의 복수의 부분들을 참조하는 수단, 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 부분들 중 하나 이상을 참조 뉴런들의 서브세트에 관련시키는 수단, 제 2 값보다 큰 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 하나 이상의 나머지 부분들을 참조 뉴런들의 서브세트에 관련시키는 수단, 및 구심성 뉴런들에 의한 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 참조 뉴런들의 서브세트에 의한 패턴의 하나 이상의 나머지 부분들의 리플레이를 유도하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 패턴 시퀀스 완성을 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 복수의 참조 뉴런들로써 복수의 구심성 뉴런들에서의 패턴의 복수의 부분들을 참조하며, 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 부분들 중 하나 이상을 참조 뉴런들의 서브세트에 관련시키며, 제 2 값보다 큰 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 하나 이상의 나머지 부분들을 참조 뉴런들의 서브세트에 관련시키며, 및 구심성 뉴런들에 의한 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 참조 뉴런들의 서브세트에 의한 패턴의 하나 이상의 나머지 부분들의 리플레이를 유도하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이의 방법을 제공한다. 그 방법은 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 단계, 구조적 가소성을 사용하여 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 학습하는 단계; 및 상기 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 단계를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하도록 구성된 제 1 회로, 구조적 가소성을 사용하여 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 학습하도록 구성된 제 2 회로, 및 상기 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하도록 구성된 제 3 회로를 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 장치를 제공한다. 그 장치는 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하는 수단, 구조적 가소성을 사용하여 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 학습하는 수단, 및 상기 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 수단을 포함한다.
본 개시물의 특정한 양태들은 신경 성분 리플레이를 위한 컴퓨터 프로그램 제품을 제공한다. 그 컴퓨터 프로그램 제품은 대체로, 하나 이상의 참조 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하며, 구조적 가소성을 사용하여 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 학습하며; 및 상기 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하기 위한 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 개시물의 위에서 언급된 특징들이 더 상세히 이해될 수 있도록, 위에서 간략히 요약된 더 특정한 설명이 첨부된 도면들에서 일부가 예시되는 양태들을 참조하여 이루어질 수도 있다. 그러나, 첨부된 도면들은 본 개시물의 특정한 전형적인 양태들만을 예시하고 그러므로 그것의 범위를 제한하는 것으로 간주되지 않고, 그 설명에 대해, 다른 동등하게 유효한 양태들을 인정할 수도 있다는 것에 유의한다.
도 1은 본 개시물의 특정한 양태들에 따른 뉴런들의 일 예의 네트워크를 도시한다.
도 2는 본 개시물의 특정한 양태들에 따른 패턴 매칭 뉴런에 연결된 구심성 뉴런들의 일 예를 도시한다.
도 3은 본 개시물의 특정한 양태들에 따른 성분 리플레이의 일반 방법의 일 예를 도시한다.
도 4는 본 개시물의 특정한 양태들에 따른 실증적 리플레이 실시형태의 일 예를 도시한다.
도 5는 본 개시물의 특정한 양태들에 따른 실증적 리플레이 실시형태의 다른 예를 도시한다.
도 6은 본 개시물의 특정한 양태들에 따른 바람직한 리플레이 실시형태의 일 예를 도시한다.
도 7은 본 개시물의 특정한 양태들에 따른 패턴 매칭 및 리플레잉의 일 예를 도시한다.
도 8은 본 개시물의 특정한 양태들에 따른 신경 성분 리플레이를 위한 예의 동작들을 도시한다.
도 8a는 도 8에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 9는 본 개시물의 특정한 양태들에 따른 바람직한 리플레이 실시형태의 일 예의 모델을 도시한다.
도 10은 본 개시물의 특정한 양태들에 따른 바람직한 리플레이 실시형태의 다른 예의 모델을 도시한다.
도 11은 본 개시물의 특정한 양태들에 따른 패턴 학습 및 관계형 학습의 일 예의 도면을 도시한다.
도 12는 본 개시물의 특정한 양태들에 따른 구조적 가소성 학습 규칙에 기초하여 획득된 시냅스 가중치들의 일 예를 도시한다.
도 13은 본 개시물의 특정한 양태들에 따른 STDP (spike-timing-dependent plasticity) 학습 규칙의 예의 그래프들을 도시한다.
도 14는 본 개시물의 특정한 양태들에 따른 수정된 STDP 학습 규칙의 일 예의 그래프를 도시한다.
도 15는 본 개시물의 특정한 양태들에 따른 구심들로의 관계형 발사의 피드백의 일 예의 도면을 도시한다.
도 16은 본 개시물의 특정한 양태들에 따른 구조적 가소성 및 구조적 제약 모델링에 관하여 신경 성분 리플레이를 위한 예의 동작들을 도시한다.
도 16a는 도 16에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 17은 본 개시물의 특정한 양태들에 따른 리플레이를 제어하는 일 예의 네트워크 도면을 도시한다.
도 18은 본 개시물의 특정한 양태들에 따른 흥분 진동의 일 예를 도시한다.
도 19는 본 개시물의 특정한 양태들에 따른 파열로써 리플레이를 제어하는 일 예를 도시한다.
도 20은 본 개시물의 특정한 양태들에 따른 파열로써 리플레이를 제어하는 다른 예를 도시한다.
도 21은 본 개시물의 특정한 양태들에 따른 구심성 참조 뉴런 및 관계형 양태 학습 뉴런의 일 예의 모델을 도시한다.
도 22는 본 개시물의 특정한 양태들에 따른 구심성 참조 뉴런 및 관계형 양태 학습 뉴런의 일 예의 도면을 도시한다.
도 23은 본 개시물의 특정한 양태들에 따른 신경 성분 리플레이를 위한 다른 예의 동작들을 도시한다.
도 23a는 도 23에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 24는 본 개시물의 특정한 양태들에 따른 신경 성분 리플레이를 위한 다른 예의 동작들을 도시한다.
도 24a는 도 24에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 25는 본 개시물의 특정한 양태들에 따른 다수의 패턴들의 일 예의 리플레이를 도시한다.
도 26은 본 개시물의 특정한 양태들에 따른 결함있는 및 유용한 학습 리파인먼트 개념들의 예들을 도시한다.
도 27은 본 개시물의 특정한 양태들에 따른 관계형 양태 학습 뉴런들의 예들을 도시한다.
도 28은 본 개시물의 특정한 양태들에 따른 학습 리파인먼트의 일 예를 도시한다.
도 29는 본 개시물의 특정한 양태들에 따른 신경 학습 리파인먼트를 위한 예의 동작들을 도시한다.
도 29a는 도 29에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 30은 본 개시물의 특정한 양태들에 따른 결함있는 및 유용한 기억 전달 개념들의 예들을 도시한다.
도 31은 본 개시물의 특정한 양태들에 따른 기억 전달을 위한 뉴런들의 네트워크의 일 예를 도시한다.
도 32는 본 개시물의 특정한 양태들에 따른 기억 전달을 위한 뉴런들 사이의 연결성의 일 예를 도시한다.
도 33은 본 개시물의 특정한 양태들에 따른 기억 전달을 위한 뉴런들 사이의 연결성의 다른 예를 도시한다.
도 34는 본 개시물의 특정한 양태들에 따른 기억 전달 및 연관을 위한 뉴런들 사이의 연결성의 일 예를 도시한다.
도 35는 본 개시물의 특정한 양태들에 따른 신경 성분 기억 전달을 위한 예의 동작들을 도시한다.
도 35a는 도 35에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 36은 본 개시물의 특정한 양태들에 따른 신경 연관 학습을 위한 예의 동작들을 도시한다.
도 36a는 도 36에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 37은 본 개시물의 특정한 양태들에 따른 패턴 완성의 일 예를 도시한다.
도 38은 본 개시물의 특정한 양태들에 따른 래깅 (lagging) 완성과 함께 저하된 입력의 일 예를 도시한다.
도 39는 본 개시물의 특정한 양태들에 따른 리플레이 완성과 함께 저하된 입력의 일 예를 도시한다.
도 40은 본 개시물의 특정한 양태들에 따른 늦은 완성과 함께 저하된 입력의 일 예를 도시한다.
도 41은 본 개시물의 특정한 양태들에 따른 신경 패턴 완성을 위한 예의 동작들을 도시한다.
도 41a는 도 41에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 42는 본 개시물의 특정한 양태들에 따른 신경 패턴 분리를 위한 예의 동작들을 도시한다.
도 42a는 도 42에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 43은 본 개시물의 특정한 양태들에 따른 패턴 비교의 일 예를 도시한다.
도 44는 본 개시물의 특정한 양태들에 따른 신경 비교를 위한 예의 동작들을 도시한다.
도 44a는 도 44에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 45는 본 개시물의 특정한 양태들에 따른 신경 패턴 일반화를 위한 예의 동작들을 도시한다.
도 45a는 도 45에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 46은 본 개시물의 특정한 양태들에 따른 뉴런들의 수평 연관의 일 예를 도시한다.
도 47은 본 개시물의 특정한 양태들에 따른 참조를 이용한 패턴 학습의 일 예를 도시한다.
도 48은 본 개시물의 특정한 양태들에 따른 신경 성분 학습 리파인먼트 및 빠른 학습을 위한 예의 동작들을 도시한다.
도 48a는 도 48에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 49는 본 개시물의 특정한 양태들에 따른 절차적 흐름, 반복 리플레이 및 지향성 흐름 (directing flow) 의 일 예를 도시한다.
도 50은 본 개시물의 특정한 양태들에 따른 계층적 패턴 리플레이의 일 예를 도시한다.
도 51은 본 개시물의 특정한 양태들에 따른 패턴 완성의 일 예의 블록도를 도시한다.
도 52는 본 개시물의 특정한 양태들에 따른 신경 패턴 시퀀스 완성을 위한 예의 동작들을 도시한다.
도 52a는 도 52에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 53은 본 개시물의 특정한 양태들에 따른 신경 패턴 계층적 리플레이를 위한 예의 동작들을 도시한다.
도 53a는 도 53에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 54는 본 개시물의 특정한 양태들에 따른 계층구조 없이 수행될 수도 있는 신경 패턴 시퀀스 완성을 위한 예의 동작들을 도시한다.
도 54a는 도 54에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 55는 본 개시물의 특정한 양태들에 따른 범용 프로세서를 이용한 신경 성분 리플레이, 학습 리파인먼트, 기억 전달, 연관 학습, 패턴 비교, 패턴 완성, 패턴 분리, 패턴 일반화, 계층구조를 이용한 패턴 시퀀스 완성, 및 패턴 계층적 리플레이의 일 예의 소프트웨어 구현예를 도시한다.
도 56은 본 개시물의 특정한 양태들에 따른 메모리가 개별 분산 프로세싱 유닛들과 인터페이싱될 수도 있는 경우의 신경 성분 리플레이, 학습 리파인먼트, 기억 전달, 연관 학습, 패턴 비교, 패턴 완성, 패턴 분리, 패턴 일반화, 계층구조를 이용한 패턴 시퀀스 완성, 및 패턴 계층적 리플레이의 일 예의 구현예를 도시한다.
도 57은 본 개시물의 특정한 양태들에 따른, 분산된 메모리들 및 분산된 프로세싱 유닛들에 기초한, 신경 성분 리플레이, 학습 리파인먼트, 기억 전달, 연관 학습, 패턴 비교, 패턴 완성, 패턴 분리, 패턴 일반화, 계층구조를 이용한 패턴 시퀀스 완성, 및 패턴 계층적 리플레이의 일 예의 구현예를 도시한다.
도 1은 본 개시물의 특정한 양태들에 따른 뉴런들의 일 예의 네트워크를 도시한다.
도 2는 본 개시물의 특정한 양태들에 따른 패턴 매칭 뉴런에 연결된 구심성 뉴런들의 일 예를 도시한다.
도 3은 본 개시물의 특정한 양태들에 따른 성분 리플레이의 일반 방법의 일 예를 도시한다.
도 4는 본 개시물의 특정한 양태들에 따른 실증적 리플레이 실시형태의 일 예를 도시한다.
도 5는 본 개시물의 특정한 양태들에 따른 실증적 리플레이 실시형태의 다른 예를 도시한다.
도 6은 본 개시물의 특정한 양태들에 따른 바람직한 리플레이 실시형태의 일 예를 도시한다.
도 7은 본 개시물의 특정한 양태들에 따른 패턴 매칭 및 리플레잉의 일 예를 도시한다.
도 8은 본 개시물의 특정한 양태들에 따른 신경 성분 리플레이를 위한 예의 동작들을 도시한다.
도 8a는 도 8에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 9는 본 개시물의 특정한 양태들에 따른 바람직한 리플레이 실시형태의 일 예의 모델을 도시한다.
도 10은 본 개시물의 특정한 양태들에 따른 바람직한 리플레이 실시형태의 다른 예의 모델을 도시한다.
도 11은 본 개시물의 특정한 양태들에 따른 패턴 학습 및 관계형 학습의 일 예의 도면을 도시한다.
도 12는 본 개시물의 특정한 양태들에 따른 구조적 가소성 학습 규칙에 기초하여 획득된 시냅스 가중치들의 일 예를 도시한다.
도 13은 본 개시물의 특정한 양태들에 따른 STDP (spike-timing-dependent plasticity) 학습 규칙의 예의 그래프들을 도시한다.
도 14는 본 개시물의 특정한 양태들에 따른 수정된 STDP 학습 규칙의 일 예의 그래프를 도시한다.
도 15는 본 개시물의 특정한 양태들에 따른 구심들로의 관계형 발사의 피드백의 일 예의 도면을 도시한다.
도 16은 본 개시물의 특정한 양태들에 따른 구조적 가소성 및 구조적 제약 모델링에 관하여 신경 성분 리플레이를 위한 예의 동작들을 도시한다.
도 16a는 도 16에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 17은 본 개시물의 특정한 양태들에 따른 리플레이를 제어하는 일 예의 네트워크 도면을 도시한다.
도 18은 본 개시물의 특정한 양태들에 따른 흥분 진동의 일 예를 도시한다.
도 19는 본 개시물의 특정한 양태들에 따른 파열로써 리플레이를 제어하는 일 예를 도시한다.
도 20은 본 개시물의 특정한 양태들에 따른 파열로써 리플레이를 제어하는 다른 예를 도시한다.
도 21은 본 개시물의 특정한 양태들에 따른 구심성 참조 뉴런 및 관계형 양태 학습 뉴런의 일 예의 모델을 도시한다.
도 22는 본 개시물의 특정한 양태들에 따른 구심성 참조 뉴런 및 관계형 양태 학습 뉴런의 일 예의 도면을 도시한다.
도 23은 본 개시물의 특정한 양태들에 따른 신경 성분 리플레이를 위한 다른 예의 동작들을 도시한다.
도 23a는 도 23에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 24는 본 개시물의 특정한 양태들에 따른 신경 성분 리플레이를 위한 다른 예의 동작들을 도시한다.
도 24a는 도 24에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 25는 본 개시물의 특정한 양태들에 따른 다수의 패턴들의 일 예의 리플레이를 도시한다.
도 26은 본 개시물의 특정한 양태들에 따른 결함있는 및 유용한 학습 리파인먼트 개념들의 예들을 도시한다.
도 27은 본 개시물의 특정한 양태들에 따른 관계형 양태 학습 뉴런들의 예들을 도시한다.
도 28은 본 개시물의 특정한 양태들에 따른 학습 리파인먼트의 일 예를 도시한다.
도 29는 본 개시물의 특정한 양태들에 따른 신경 학습 리파인먼트를 위한 예의 동작들을 도시한다.
도 29a는 도 29에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 30은 본 개시물의 특정한 양태들에 따른 결함있는 및 유용한 기억 전달 개념들의 예들을 도시한다.
도 31은 본 개시물의 특정한 양태들에 따른 기억 전달을 위한 뉴런들의 네트워크의 일 예를 도시한다.
도 32는 본 개시물의 특정한 양태들에 따른 기억 전달을 위한 뉴런들 사이의 연결성의 일 예를 도시한다.
도 33은 본 개시물의 특정한 양태들에 따른 기억 전달을 위한 뉴런들 사이의 연결성의 다른 예를 도시한다.
도 34는 본 개시물의 특정한 양태들에 따른 기억 전달 및 연관을 위한 뉴런들 사이의 연결성의 일 예를 도시한다.
도 35는 본 개시물의 특정한 양태들에 따른 신경 성분 기억 전달을 위한 예의 동작들을 도시한다.
도 35a는 도 35에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 36은 본 개시물의 특정한 양태들에 따른 신경 연관 학습을 위한 예의 동작들을 도시한다.
도 36a는 도 36에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 37은 본 개시물의 특정한 양태들에 따른 패턴 완성의 일 예를 도시한다.
도 38은 본 개시물의 특정한 양태들에 따른 래깅 (lagging) 완성과 함께 저하된 입력의 일 예를 도시한다.
도 39는 본 개시물의 특정한 양태들에 따른 리플레이 완성과 함께 저하된 입력의 일 예를 도시한다.
도 40은 본 개시물의 특정한 양태들에 따른 늦은 완성과 함께 저하된 입력의 일 예를 도시한다.
도 41은 본 개시물의 특정한 양태들에 따른 신경 패턴 완성을 위한 예의 동작들을 도시한다.
도 41a는 도 41에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 42는 본 개시물의 특정한 양태들에 따른 신경 패턴 분리를 위한 예의 동작들을 도시한다.
도 42a는 도 42에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 43은 본 개시물의 특정한 양태들에 따른 패턴 비교의 일 예를 도시한다.
도 44는 본 개시물의 특정한 양태들에 따른 신경 비교를 위한 예의 동작들을 도시한다.
도 44a는 도 44에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 45는 본 개시물의 특정한 양태들에 따른 신경 패턴 일반화를 위한 예의 동작들을 도시한다.
도 45a는 도 45에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 46은 본 개시물의 특정한 양태들에 따른 뉴런들의 수평 연관의 일 예를 도시한다.
도 47은 본 개시물의 특정한 양태들에 따른 참조를 이용한 패턴 학습의 일 예를 도시한다.
도 48은 본 개시물의 특정한 양태들에 따른 신경 성분 학습 리파인먼트 및 빠른 학습을 위한 예의 동작들을 도시한다.
도 48a는 도 48에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 49는 본 개시물의 특정한 양태들에 따른 절차적 흐름, 반복 리플레이 및 지향성 흐름 (directing flow) 의 일 예를 도시한다.
도 50은 본 개시물의 특정한 양태들에 따른 계층적 패턴 리플레이의 일 예를 도시한다.
도 51은 본 개시물의 특정한 양태들에 따른 패턴 완성의 일 예의 블록도를 도시한다.
도 52는 본 개시물의 특정한 양태들에 따른 신경 패턴 시퀀스 완성을 위한 예의 동작들을 도시한다.
도 52a는 도 52에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 53은 본 개시물의 특정한 양태들에 따른 신경 패턴 계층적 리플레이를 위한 예의 동작들을 도시한다.
도 53a는 도 53에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 54는 본 개시물의 특정한 양태들에 따른 계층구조 없이 수행될 수도 있는 신경 패턴 시퀀스 완성을 위한 예의 동작들을 도시한다.
도 54a는 도 54에 예시된 동작들을 수행할 수 있는 예의 컴포넌트들을 도시한다.
도 55는 본 개시물의 특정한 양태들에 따른 범용 프로세서를 이용한 신경 성분 리플레이, 학습 리파인먼트, 기억 전달, 연관 학습, 패턴 비교, 패턴 완성, 패턴 분리, 패턴 일반화, 계층구조를 이용한 패턴 시퀀스 완성, 및 패턴 계층적 리플레이의 일 예의 소프트웨어 구현예를 도시한다.
도 56은 본 개시물의 특정한 양태들에 따른 메모리가 개별 분산 프로세싱 유닛들과 인터페이싱될 수도 있는 경우의 신경 성분 리플레이, 학습 리파인먼트, 기억 전달, 연관 학습, 패턴 비교, 패턴 완성, 패턴 분리, 패턴 일반화, 계층구조를 이용한 패턴 시퀀스 완성, 및 패턴 계층적 리플레이의 일 예의 구현예를 도시한다.
도 57은 본 개시물의 특정한 양태들에 따른, 분산된 메모리들 및 분산된 프로세싱 유닛들에 기초한, 신경 성분 리플레이, 학습 리파인먼트, 기억 전달, 연관 학습, 패턴 비교, 패턴 완성, 패턴 분리, 패턴 일반화, 계층구조를 이용한 패턴 시퀀스 완성, 및 패턴 계층적 리플레이의 일 예의 구현예를 도시한다.
본 개시물의 다양한 양태들은 첨부 도면들을 참조하여 이하에서 더 충분히 설명된다. 그러나 본 개시물은 많은 상이한 형태들로 실시될 수도 있고 본 개시물 전체에 걸쳐 나타낸 임의의 특정 구조 또는 기능으로 제한되는 것으로서 해석되지는 않아야 한다. 오히려, 이들 양태들은 본 개시물이 철저하고 완전해지게 하고 당업자에게 본 개시물의 범위를 충분히 전달하도록 하기 위해 제공된다. 본원에서의 교시들에 기초하여 당업자는 본 개시물의 범위가 본원에서 개시된 본 개시물의 임의의 양태를, 본 개시물의 임의의 다른 양태와는 독립적으로 구현되든 또는 그 임의의 다른 양태와 조합하든, 포함하도록 의도된다는 것을 이해하여야 한다. 예를 들어, 본원에서 언급된 양태들의 임의의 수를 사용하여 장치가 구현될 수도 있거나 또는 방법이 실용될 수도 있다. 덧붙여서, 본 개시물의 범위는 본원에서 언급된 본 개시물의 다양한 양태들에 더하여 또는 그러한 다양한 양태들 이외의 다른 구조, 기능, 또는 구조 및 기능을 사용하여 실용화되는 그러한 장치 또는 방법을 포함하도록 의도된다. 본원에서 개시된 본 개시물의 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 실시될 수도 있다는 것이 이해되어야 한다.
단어 "예시적"은 본원에서는 "예, 사례, 또는 예시로서 역할을 한다"는 의미로 사용된다. "예시적인" 것으로서 본원에서 설명되는 임의의 양태가 다른 양태들보다 바람직하거나 유익하다고 생각할 필요는 없다.
비록 특정 양태들이 본원에서 설명되지만, 이들 양태들의 많은 변형예들 및 순열들이 본 개시물의 범위 내에 속한다. 비록 바람직한 양태들의 일부 이점들 및 장점들이 언급되어 있지만, 본 개시물의 범위는 특정 이점들, 용도들 또는 목적들로 제한되는 것으로 의도되지 않는다. 오히려, 본 개시물의 양태들은 도면들에서 및 바람직한 양태들의 다음의 설명에서 일부가 예로서 도시되는 상이한 기술들, 시스템 구성들, 네트워크들 및 프로토콜들에 폭넓게 적용가능하도록 의도된다. 상세한 설명 및 도면들은 첨부의 청구항들 및 그것의 동등물들에 의해 정의되고 있는 본 개시물의 범위를 제한하기 보다는 단지 본 개시물의 예시이다.
일 예의 신경 시스템
도 1은 본 개시물의 특정한 양태들에 따른 뉴런들의 다수의 레벨들을 갖는 일 예의 신경 시스템 (100) 을 도시한다. 신경 시스템 (100) 은 시냅스 연결들 (104) 의 네트워크를 통해 뉴런들의 다른 레벨 (106) 에 연결된 뉴런들의 레벨 (102) 을 포함할 수도 있다. 단순화를 위해, 뉴런들의 2 개의 레벨들만이 도 1에 도시되고 있지만, 뉴런들의 더 적거나 또는 더 많은 레벨들이 전형적인 신경 시스템에서 존재할 수도 있다.
도 1에 예시된 바와 같이, 레벨 (102) 에서의 각각의 뉴런은 이전의 레벨 (도 1에 도시되지 않음) 의 복수의 뉴런들에 의해 생성될 수도 있는 입력 신호 (108) 를 수신할 수도 있다. 그 신호 (108) 는 레벨 (102) 의 뉴런의 입력 전류를 나타낼 수도 있다. 이 전류는 뉴런 멤브레인 상에 멤브레인 전위를 충전하기 위해 축적될 수도 있다. 멤브레인 전위가 그것의 임계 값에 도달하는 경우, 뉴런은 뉴런들의 다음의 레벨 (예컨대, 레벨 106) 로 전달될 출력 스파이크를 발사 (fire) 하고 생성할 수도 있다.
뉴런들 중 하나의 레벨에서부터 다른 레벨로의 스파이크들의 전달은, 도 1에 예시된 바와 같이, 시냅스 연결들 (또는 간단히 "시냅스들") (104) 의 네트워크를 통해 달성될 수도 있다. 시냅스들 (104) 은 레벨 (102) 뉴런들로부터 출력 신호들 (즉, 스파이크들) 을 수신하며, 그들 신호들을 조정가능한 시냅스 가중치들 (
,…, 
) (여기서 P는 레벨들 (102 및 106) 사이의 시냅스 연결들의 총 수) 에 따라 스케일링하고, 스케일링된 신호들을 레벨 (106) 에서의 각각의 뉴런의 입력 신호로서 결합할 수도 있다. 레벨 (106) 에서의 모든 뉴런은 대응하는 결합된 입력 신호에 기초하여 출력 스파이크들 (110) 을 생성할 수도 있다. 출력 스파이크들 (110) 은 그 다음에 시냅스 연결들의 다른 네트워크 (도 1에 도시되지 않음) 를 사용하여 뉴런들의 다른 레벨로 전달될 수도 있다.
신경 시스템 (100) 은 전기 회로에 의해 에뮬레이트되고 다양한 범위의 애플리케이션들, 이를테면 이미지 및 패턴 인식, 머신 학습, 모터 제어 등에서 활용될 수도 있다. 신경 시스템 (100) 에서의 각각의 뉴런은 뉴런 회로로서 구현될 수도 있다. 출력 스파이크를 개시하게 하는 임계 값으로 충전된 뉴런 멤브레인은, 예를 들어, 그것을 통해 흐르는 전류를 적분하는 커패시터로서 구현될 수도 있다.
일 양태에서, 커패시터는 뉴런 회로의 전류 적분 디바이스로서는 제거될 수도 있고, 더 작은 멤리스터 (memristor) 엘리먼트가 그 자리에 사용될 수도 있다. 이 접근법은 뉴런 회로들, 뿐만 아니라 벌키 (bulky) 커패시터들이 전류 적분기들로서 활용되는 다양한 다른 애플리케이션들에 적용될 수도 있다. 덧붙여서, 시냅스들 (104) 의 각각은 시냅스 가중치 변화들이 멤리스터 저항의 변화들에 관련할 수도 있는 멤리스터 엘리먼트에 기초하여 구현될 수도 있다. 나노미터 특징 (feature) 사이즈로 된 멤리스터들로, 뉴런 회로 및 시냅스들의 영역은 실질적으로 감소될 수도 있으며, 이는 매우 큰 스케일의 신경 시스템 하드웨어 구현예의 구현을 실용적이게 할 수도 있다.
본 개시물의 특정한 양태들은, 원래의 자극이 없을 시에 하나 이상의 뉴런들 (예컨대, 도 1에 예시된 뉴런들) 에 의해 학습된 신경 발사 패턴을 진정으로 (truly) 리플레이하는 문제를 해결하기 위한 방법들을 지원한다. 더욱이, 본 개시물에서 제안된 방법들은 원래의 자극이 더 이상 존재하지 않게 된 후에 빠른 학습, 학습 리파인먼트, 연관, 및 기억 전달의 문제들을 해결한다.
생물학적으로 영감을 받은 뉴런 모델들로써 패턴을 학습하는 현재의 방법들은, 어떤 패턴에 뉴런이 매칭되는지를 결정하기 위하여, 매칭하는 하나가 발견되기까지 상이한 패턴들을 시도할 필요가 있을 것이라는 점에서 기능적으로 일방향 방법들이다. 생물학적으로든 또는 머신에 의해서든, 학습된 것의 진정한 리플레이의 방법은 일반적으로 알려져 있지 않다. 본 개시물은, 패턴을 (순방향 또는 역방향 중 어느 하나로, 또는 양쪽 모두로) 리플레이하도록 그리고 자극 하에서 원본 패턴을 생성했던 동일한 뉴런들에 의해, 및 더욱이, 패턴을 학습했던 또는 패턴의 서브세트만을 학습했던 동일한 뉴런(들)의 흥분에 의해, 진정한 패턴을 리플레이하도록 학습하는 방법을 제공한다. 더구나, 본 개시물의 방법들은 매우 빠른 학습을 허용하고 고도로 확장가능할 수 있는데 하나 이상의 뉴런들에 의해 학습된 다수의 패턴들이 (뉴런들을 추가하는 일 없이) 동일한 신경 구조에 의해 리플레이될 수 있기 때문이다. 마지막으로, 패턴들의 학습 및 리플레이하기 위한 학습은 양쪽 모두가 비감독 방식으로 달성될 수 있다.
리플레이를 학습하는 것은 또한 패턴을 양호하게 또는 더욱 완전하게 학습하기 위한 기초를 제공할 수도 있다. 더구나, 자극 동안에 패턴을 학습하는 요건을 완화할 수도 있다. 리플레이 외에도, 본 개시물은 새로운 또는 계속되는 다운스트림 또는 업스트림 (또는 양쪽 모두의) 프로세싱 동작들을 위한 방법을 원래의 자극 없이 제공한다. 따라서, 본 개시물의 방법들을 사용하면, 심지어 자극이 아주 간단히 존재하더라도, 내부 응답 패턴을 리플레이하고 경험을 계속 프로세싱하는 능력이 가능해지며, 이에 의해 머신 학습에 대한 실질적 이점들을 제공할 수도 있다. 본 개시물은 진정한 신경 패턴들을 리플레이하는 방법을 제공할 뿐만 아니라, 학습을 개선하거나 또는 연장하기 위해 자극 없이 패턴들의 학습을 리파인하는 방법, 뿐만 아니라 기억들을 전달, 통합 또는 조직하는 방법, 패턴들 또는 패턴들의 시퀀스들을 완성하는 방법, 및 존재하는 자극을 가질 필요 없이 개념들 및/또는 입력들을 연관시키거나 또는 그런 개념들 및/또는 입력들의 연관을 학습하는 방법도 제공한다. 마지막으로, 이들 방법들이 개념들, 감각 입력들, 또는 추상화, 콘텍스트 및 콘텐츠의 임의의 레벨에서의 신호들에 적용가능할 수도 있으므로, 제안된 방법들은 근본적이고 일반적일 수도 있다.
신경 발사 패턴의 리플레이
전술한 바와 같이, 신경 발사 패턴을 진정으로 리플레이하는 종래의 방법들은 일반적으로 알려져 있지 않다. 그러나, 주어진 패턴이 저장된 (또는 학습된) 패턴과 매칭하는지를 결정하는 것뿐만 아니라, 저장된 (또는 학습된) 패턴이 무엇인지를 직접 결정하는 것이 요구될 수도 있다. 덧붙여서, 원래의 구심들 (입력들) 에서의 패턴을 그 패턴을 원래 생성했던 뉴런들을 통해 재현 (reproduction) 하는 것이 요구될 수도 있다. 게다가, 패턴을 학습했던 또는 그 패턴에 매칭되었던 (또는 그 패턴에 일부 대응을 가졌던) 뉴런에 패턴 리플레이를 관련시키는 것이 요구될 수도 있다. 덧붙여서, 저장된 (또는 학습된) 패턴의 충실한 또는 높은 충실도 리플레이를 재현하는 것, 뿐만 아니라 그 패턴을 생성하기 위해 원래의 자극에 대한 요건 없이 리플레이를 사용한 학습 리파인먼트, 연관, 기억 전달과 같은 계속되는 프로세싱으로 진행하는 것이 요구될 수도 있다.
비록 패턴 리플레이의 특정한 방법들이 문헌에는 존재하지만, 이들 방법들은 여러 결함들을 가진다. 첫째, 패턴은 자극 하에서 패턴을 플레이했던 동일한 뉴런들에 의해 플레이되지 않을 수도 없다. 그러므로, 이는 진정한 리플레이를 나타내는 것이 아니라, 오히려 일부 다른 뉴런들에 의한 리플레이의 사본일 수도 있다. 이 경우, 구심들로부터의 후속 효과 (downstream effects) 는 손실될 수도 있는데 "리플레이 (replay)"가 동일한 구심들에 의해 생성되지 않기 때문이다.
둘째로, 패턴의 엘리먼트들 (예컨대, 스파이크들) 은 고유하게 구별가능하지 못할 수도 있고, 특정 패턴 엘리먼트 및 특정 구심 사이의 연결은 손실될 수도 있다. 그러므로, 이는 동일한 패턴의 리플레이가 아니라, 오히려 상이한 패턴 (예컨대, 집계된 패턴) 의 리플레이일 수도 있다. 셋째로, 패턴에서의 간섭 (예컨대, 통상 "리플레이" 트리거로 인한 구심들에서의 다른 활동) 이 있을 수도 있다. 그러므로, 이는 실제로 동일한 패턴이 될 수도 없고, 패턴에 대한 뉴런 매칭을 포함한 후속 효과가 중단될 수도 있다.
넷째로, 패턴을 학습했던 뉴런의 출력에서 (통상 "리플레이" 트리거로 인한) 간섭이 있을 수도 있다. 그런고로, 이 뉴런으로부터의 후속 효과는 중단될 수도 있다. 다섯째로, "리플레이" 능력은 비감독 방식으로 학습가능하지 않을 수도 있거나, 또는 알려지거나 또는 이용가능한 학습의 방법이 전혀 없을 수도 있다. 더욱이, 역방향으로만 "리플레이"할 수 있거나, 또는 근사 발사 속도로만 "리플레이"할 수 있다는 것과 같은 다른 부가적인 결함들이 존재할 수도 있다. 이들 및 다른 결함들은 예들 및 유사예들 (analogies) 에 관하여 논의될 것이다.
뉴런이 매칭했던/학습했던 어떤 것을 진정으로 리플레이하는 문제
도 2는 본 개시물의 특정한 양태들에 따른 패턴 매칭 뉴런에 연결된 구심성 뉴런들의 일 예 (200) 를 도시한다. 예를 들어, 원인 또는 자극이 될 수 있는 것이 무엇이든, 외부이든 또는 내부이든, 뉴런 (202) 은 구심들 (입력들) (204) 의 세트에서의 패턴에 매칭할 수도 있다. 이 상황은 도 2에서 예시되어 있는데 그 도면에서 뉴런 (202) 은 구심성 뉴런들 (204) 의 출력에 의해 생성된 패턴 (그것들의 발사 패턴 (206) 에 대응함, 여기서 x축은 시간 또는 발사 속도 또는 다른 코딩 차원으로서 생각될 수도 있음) 에 매칭할 수도 있다. 이 경우, 용어 구심 (afferent) 은 그것이 뉴런 (202) 에 대한 입력 (즉, 뉴런 (202) 의 관점에서의 구심들) 을 나타낸다는 것을 제외하면, 프로세싱의 스테이지 또는 계층의 측면에서 임의의 특정 의미를 암시하는 것은 아니다. 구심들 (204) 은 단지 업스트림 뉴런들 (예컨대, 뉴런 (202) 의 업스트림), 또는 감각 뉴런들, 또는 프로세싱의 임의의 특정 스테이지 또는 계층에서의 뉴런들일 수도 있다.
전형적인 뉴런들은 LIF (leaky-integrate-and-fire) 뉴런들로서, 또는 다이나믹 스파이킹 뉴런들, 또는 심지어 간단한 합 및 시그모이드 (sigmoid) 함수들로서 모델화될 수도 있다. 그렇더라도, 이들 동작들은 일방향 함수들일 수도 있는데, 매칭이 발견되기까지 상이한 패턴들을 시도하는 일 없이 (즉, 시냅스 가중치들 및 지연들과 같은 내부특징들 (internals) 을 분석하는 일 없이) 뉴런 (202) 이 매칭하는 어떤 특정 신호 조합 또는 패턴을 결정하는 것은 동작적으로 가능하지 않을 수도 있어서이다. 정보를 저장할 수 있다는 것과 이 정보를 메모리 밖으로 읽어낼 수 있는지의 여부 (및 읽어내는 방법) 사이에는 근본적인 차이가 있을 수도 있다. 의문은 학습된 패턴이 읽어내어질 (리플레이될) 수 있는 방법이다.
리플레이 충실도의 문제
이상적으로는, 읽어낸 패턴은 자극 동안에 원본 패턴을 학습했던 뉴런에 의해 인식될 원본에 충분히 충실해야 한다. 의문은 읽어낸 패턴을 학습했던 바로 그 뉴런이 읽어낸 패턴을 잘 인식하도록 그 읽어낸 패턴을 재생할 수 있는 방법이다.
오프라인 프로세싱의 문제
원래의 자극 없이 패턴을 진정으로 리플레이하지 못하는 것은 머신 학습에 대한 중대한 제한이 될 수도 있는데 일어나는 학습의 모든 양태들에 대해 입력 또는 자극이 충분히 길게 존재하는 것을 요구할 수도 있기 때문이다. 그렇지만, 학습은 다운스트림 프로세싱 네트워크에서의 (또는 심지어 피드백으로 인해 업스트림에서의) 다수의 스테이지들에서 또는 실시간으로 제시된 것과는 상이한 순서로 일어나는 것을 필요로 할 수도 있다. 의문은 원래의 자극 (입력) 이 끝이 나자마자, 계속되는 학습, 학습의 리파인먼트, 기억의 전달 (학습), 및 다른 다양한 다운스트림 동작들 (또는 업스트림 동작들 또는 피드백) 이 진행될 수 있는 방법이다.
결함있는 "리플레이" 시도들
첫째로, 다시 발사 (스파이크 출력) 하기 위해 패턴에 매칭되었던 뉴런 (예컨대, 도 2의 뉴런 (202)) 을 자극하는 것만을 고려할 것이지만, 이는 사용이 제한될 수도 있는데 다른 뉴런들 (예컨대, 도 2의 뉴런들 (208 및 210)) 에서 동일한 후속 효과를 재현하는 방법을 제공하지 못할 수도 있기 때문이다. 이는 단순히 "그게 그 사람 A이다"가 그 사람 A를 아는 리플레이라고 진술함으로써 다소 비슷한 주장이 될 것이다. 전자로는, 사람 A의 특징들을 검사하거나, 그것들을 비교하거나, 또는 임의의 추가의 프로세싱으로 진행할 수 없다. 그러므로, 구심들에 의해 생성된 원본 패턴 (또는 실질적으로 유사한 패턴) 을 그들 동일한 구심들 (다른 뉴런들이 아님) 을 통해, 및 패턴에 대한 간섭 없이, 리플레이하는 방법이 요구될 수도 있다. 그렇지 않으면, 후속 효과는 손실되거나 또는 불완전해질 것이다. 그러므로, 자극이 아주 간단히 존재하면, 내부 응답 패턴을 리플레이하고 경험을 계속 프로세싱하는 능력은 머신 학습에 대한 실질적인 장점이 될 것이다.
둘째로, 어떤 뉴런들이 패턴을 리플레이하는지에 관한 구별의 중요성에 주의해야 한다. 예를 들어, 네트워크가 동일한 패턴을 (원래의 구심들이 아니라) 상이한 뉴런들을 통해서만 플레이할 수도 있다. 심지어 그들 상이한 뉴런들이 또한 입력들로서 도 2에서 뉴런 (202) 에 제공되었으면, 의문은, 구심들로부터 학습된 뉴런 (202) 과 동일한 효과를 가지도록 이들 상이한 입력들을 연결하기 위해 수동으로 개입하는 일 없이, 뉴런 (202) 이 이를 "동일한" 패턴으로서 인식할 방법이다. 이 결함의 명백한 입증은 뉴런 (202) 이 상이한 뉴런들에 의해 플레이된 사본을 인식하지 못할 것이라는 것이다. 분명히, 상이한 뉴런들을 통한 "리플레이"는 진정한 리플레이를 전혀 나타내지 않고, 패턴을 학습했던 뉴런을 포함하여, 임의의 후속 효과의 측면에서 비효율적일 적일 수도 있다.
셋째로, 리플레이에서의 패턴 매칭 뉴런의 관련성이 중요하다. 패턴 매칭 뉴런 자체가 원본 플레이 뿐만 아니라 리플레이에 매칭하면, 충실도의 측정이 확립될 수도 있다. 더구나, 그 뉴런이 그 리플레이를 호출하는 것에 관여하면, 패턴 및 패턴 매칭 뉴런의 양방향 연관이 있을 수도 있다. 따라서 패턴의 리플레이를 패턴을 학습했던 뉴런 또는 뉴런들에 관련시키는 동기유발이 있다. 다르게 말하면, 뉴런 (202) 이 학습했던 (또는 적어도 매칭했던) 패턴을 리플레이하는 제어 또는 유도 프로세스에 관여된 도 2로부터의 뉴런 (202) 을 가지고 싶을 수도 있다. 예를 들어, 뉴런 (202) 에 의해 학습했던 패턴을 리플레이하는 요건이 있을 수 있다. 이상적으로는, 리플레이 트리거는 뉴런 (202) 을 수반할 것이고 뉴런 (202) 자체에 의한 리플레이된 패턴의 인식을 포함하여 가능한 동일한 후속 효과를 가질 것이다. 패턴 매칭 뉴런이 리플레이를 직접 유도하는 것이 필요하지 않을 수도 있지만, 예컨대, 심지어 역방향 리플레이 (또는 원본 패턴의 일부 다른 변환) 가 먼저 이루어진 다음 최종적으로 원래의 구심들을 통해 원래의 버전으로 다시 변환되는 경우에도, 이 뉴런이 그 프로세스에 관여되는 것은 관심 있을 수도 있다.
넷째로, 패턴 엘리먼트들의 (순방향이든 또는 역방향이든, 압축되든 또는 아니든) 집계 (aggregate), 파생 (derivative), 합산, 발사 속도 또는 패턴의 다른 기능을 플레이하는 것은 그 패턴의 리플레이가 아닐 수도 있다. 유사한 것은, 키보드 상의 'qwert[space]y'를 타이핑하는 것이 키보드 상의 키 'x'를 5 회 타이핑하며 이어서 'space'를 그 다음에 'x'를 다시 타이핑하는 것에 의해 "리플레이될" 수 있다는 것일 것이다; 그렇다, 6 개의 글자 키 누름들이 있고 마지막은 스페이스 키 뒤에 일어나지만, 어떤 'x'가 그 패턴의 엘리먼트들 중 어느 것에 대응하는지는 알려져 있지 않다. 요점은 하나의 'x'가 이른바 "리플레이"에서는 다른 'x'와는 구별되지 않을 수 있고, 그러므로, 원본 패턴에서 고유 글자들 사이에 특정 관계를 나타내는 것이 가능하지 않을 수도 있다는 것이다. 요약하면, 요구되는 것은 동일한 구심들을 통한 간섭 없는 실제 원본 패턴의 리플레이이다.
기억 전달의 문제
패턴들은 어떤 뉴런들이 패턴을 생성했는가의 측면에서만 의미를 가진다. 비유를 위해, 숫자들의 시퀀스를 서술했다면, 그 시퀀스는 단지 얼마나 많은 숫자들이 그 시퀀스에 있는지와 그것들의 상대적인 순서가 아니라, 어떤 특정 숫자들이 있는지의 측면에서 의미를 가진다. 제 1 계층의 출력을 제 2 계층으로써 학습한 다음 제 2 계층의 출력을 제 3 계층으로써 학습하는 것에 의해 기억을 "전달하는" 프로세스는, 전달되고 있는 제 1 계층 패턴의 기억을 나타내지 못한다. 제 1 계층의 기억을 전달하기 위하여, 제 3 계층은 또한 제 1 계층 출력을 학습해야 할 것이다. 원래의 자극 없이, 이는 제 2 계층의 리플레이가 아니라, 제 1 계층의 리플레이를 필요로 할 것이다.
문제의 일반성
패턴들의 리플레이의 생물학적 증거는 생체내, 특히, 해마 (hippocampus), 시각 시스템 및 다른 두뇌 영역들에서 관찰되었다. 이러한 리플레이는 순방향 및 역방향, 시간 압축식 및 비압축식으로 일어날 수도 있다. 그러나, 이러한 리플레이를 일으키는 메커니즘은 알려져 있지 않다. 게다가, 최근의 증거는 해마 세포들이 거동의 "장소" 또는 간혹 일어나는 양태들에 대응하는 업스트림 패턴들 또는 상태들에 매칭 또는 대응할 수도 있지만, 그것들이 나중에는 "소거되거나" 또는 리셋되는 반면, 기억들은 유지될 수도 있다는 것을 보이고 있다. 하나의 가능성은 이러한 기억이 다른 또는 장기 기억 속으로 강화된다는 것이다.
대체로, 리플레이는 사용 중일 수도 있는데 그것이 학습 또는 기억 기능을 역전시키기 위하여 임의의 감각 양상 (sensory modality) 에 또는 임의의 개념적 수준으로 적용할 수 있어서이다. 따라서, 리플레이는 일반적인 해법이 매우 도움이 될 것인 중요한 일반 피질 문제를 나타낼 수도 있다.
리플레이 방법들과 학습 리파인먼트, 연관, 및 기억 전달을 포함하는 추가 프로세싱의 연관된 방법들
본 개시물의 특정한 양태들은 리플레이의 방법들, 및 학습 리파인먼트, 연관, 기억 전달 등을 포함하는 추가 프로세싱의 연관된 방법들을 지원한다.
리플레이
본 개시물에서 제안된 성분 리플레이의 방법이 패턴 리플레이의 앞서 언급된 문제들을 해결할 수도 있다. 성분 리플레이는 특정 뉴런에 의해 실질적으로 참조되는 구심들에서 동일한 구심들을 통한 패턴의 리플레이로서 일반적으로 정의될 수도 있다. 그 패턴을 참조하는 특정 뉴런 (참조 뉴런) 은 그 패턴에 관련하여 선택적으로 응답하고 그 선택성을 학습할 수도 있다. 집계 패턴들 또는 더 크거나 또는 더 긴 스케일 패턴들이 성분 리플레이들을 결합하는 것에 의해 리플레이될 수도 있다. 따라서 성분 리플레이들은 신경 네트워크들에서 체계적 리플레이들을 생성하는데 활용될 수도 있다.
도 3의 흐름도 (300) 에 의해 예시된 성분 리플레이의 일반 방법은, 하나 이상의 패턴 학습 (또는 적어도 매칭) 뉴런들을 사용하여 복수의 구심성 뉴런 응답들에서의 패턴을 학습 (또는 적어도 매칭) 하는 단계를 포함할 수도 있다. 또한, 성분 리플레이의 방법은, 하나 이상의 관계형 학습 (또는 적어도 매칭) 뉴런들을 사용하여 학습 뉴런들 및 구심성 패턴의 하나 이상의 관계형 양태들을 학습하는 단계를 더 포함할 수도 있다.
도 3에 예시된 바와 같이, 리플레이의 일반 방법은 패턴을 학습하는 단계를 포함할 수도 있고 그래서 참조 뉴런들은 패턴 학습 뉴런들이라고 지칭될 수도 있다. 그러나, 패턴 학습 뉴런에 의한 패턴의 학습은 필요하지 않을 수도 있다. 오히려, 패턴 학습 뉴런은, 학습될 수도 있거나 또는 아닐 수도 있는, 구심들에서의 패턴에 매칭될 수도 있거나 또는 아닐 수도 있는, 및 심지어 구심들에 연결되지 않을 수도 있는 참조 뉴런에 의해 대체될 수도 있다. 필요한 모든 것은, 구심들에서의 패턴에 대응하는 (즉, 특정 구심성 패턴에 대한 특정 시간에서의 발사와 같이 그 패턴에 약간의 관계를 가짐에 있어서 일관성 있는) 참조일 수도 있다. 피질 섬유의 증간 계층은 참조 뉴런들 또는 패턴 학습 (또는 적어도 매칭) 뉴런들 중 어느 하나로서 일반적으로 지칭될 수 있다는 것에 주의해야 한다.
신경 성분 리플레이 개념은 시간적 코딩 콘텍스트에서 상세히 설명될 것이지만, 그 방법은 일반적일 수도 있고 발사 속도 코딩, 일치 코딩 (coincidence coding), 또는 다른 신호 코딩 변형예들에 적용될 수도 있다. 릴레이들, 또는 수상돌기 프로세스들 또는 심지어 시냅스들에서도 통과하는 축색돌기 (axon) 들을 따르는 신호 전파로 인한 지연들이 추상화될 수도 있다.
실증적 리플레이 실시형태
도 4는 이러한 시간적 코딩 콘텍스트에서 본 개시물의 제 1 실증적 실시형태의 일 예의 신경 연결도 (400) 를 도시한다. 뉴런들 (402 및 404) 이 구심들을 나타낼 수도 있으며, 뉴런 (406) 이 패턴 매칭 또는 학습 뉴런일 수도 있고, 뉴런들 (408 및 410) 이 관계형 양태 학습/매칭 뉴런들일 수도 있다. 이 시간적 코딩 콘텍스트에서, 지연들은 연결들 상에서 다양한 폭들의 직사각형들에 의해 표현될 수 있다. 직사각형이 수평방향으로 더 클수록, 더 길게 지연될 수도 있다. 도면 (400) 에서 화살표들이 종료되는 경우에만 연결들이 발생한다 (즉, 단순히 라인이 다른 라인과 교차하기 때문은 아니다) 는 것에 또한 주의해야 한다. 동일한 규정이 다른 신경 연결 도면들에서 사용될 것이다.
자극 (412) 하에, 구심성 뉴런들 (402 및 404) 은 도면 (416) 에서 묘사된 시간적 패턴 (414) 으로 발사할 수도 있으며, 여기서 x-축은 시간을 나타내고 수직 막대들은 각각의 뉴런의 발사 시각을 나타낸다. 자극 (412) 은 촉각, 청각, 후각, 미각, 시각 등과 같은 다수의 감각 양상들 중 임의의 것으로부터, 또는 단순히 신경 네트워크의 업스트림으로부터 올 수도 있다. 뉴런 (406) 이 누설 통합 및 발사 (leaky-integrate-and-fire) 또는 다른 전형적인 뉴런 모델이고 발사에 대해 2 개의 입력들의 특정 임계값이 있다면, 뉴런 (402) 이 뉴런 (404) 의 얼마 전에 발사하는 경우에 뉴런 (406) 은 발사할 것이라는 것에 주의해야 한다. 이는, 뉴런 (402) 으로부터의 연결이 뉴런 (406) 의 소마 (soma) 에 도달하기 전에 큰 지연을 통과할 필요가 있을 수도 있는 반면, 뉴런 (404) 으로부터의 연결이 작은 지연을 통과할 수도 있기 때문일 수도 있다. 따라서, 뉴런 (406) 은 도면 (416) 에 나타낸 바와 같은 그 특정 시간적 시퀀스에 매칭할 수도 있고, 스파이크 (418) 를 발사할 수도 있다. 도면 (416) 에서, 뉴런 (406) 은 지연들 직후에 발사할 수도 있지만, 이는 단지 일 예이고 뉴런 (406) 에 의한 프로세싱으로 인한 얼마간의 지연 (예컨대, 시상수) 이 있을 수도 있다.
도 4의 도면 (400) 에서 뉴런 (408) 은 구심성 뉴런 (402) 및 패턴 매칭/학습 뉴런 (406) 으로부터 입력을 수신할 수도 있다는 것이 관찰될 수 있다. 뉴런 (402) 으로부터의 입력이 직면하는 지연들은 뉴런 (406) 에 의한 응답에 신호를 맞출 수도 있다. 사실상, 뉴런 (408) 은 구심성 뉴런 (402) 및 패턴 매칭/학습 뉴런 (406) 의 응답 사이에서 타이밍의 관계를 매칭시킬 수도 있다. 뉴런 (410) 은 구심 (404) 으로써 유사한 효과를 달성할 수도 있다. 도 4의 도면 (416) 에서, 원래의 자극 (412) 하에, 이들 관계형 양태 학습 뉴런들 (408, 410) 은 개별 관계형 양태들에 응답하여 발사 (예컨대, 도면 (416) 의 발사 (420)) 할 수도 있다는 것이 관찰될 수 있다. 도면 (416) 에서, 발사 (418) 및 발사 (420) 사이의 지연은 작지만 0이 아닐 수도 있다. 이는 또한 단지 일 예이며; 실제 지연은 0 이상일 수도 있다. 더구나, 뉴런들 (408, 410) 의 수상돌기들 상의 406의 입력과 뉴런들 (408, 410) 의 소마들 사이에 삽입된 지연이 있을 수도 있다.
이 제 1 실시형태에서 패턴을 리플레이하기 위하여, 제어 (422) 는 스파이크를 위해 원래의 구심들에 적용될 수도 있다. 이 제어는 원본 패턴을 생성하는 자극 (412) 과는 다른 입력으로부터일 수도 있다. 이 경우, 제어는, 도 4의 도면 (424) 에서 예시된 바와 같이 동기적일 수도 있다는 것에 주의해야 한다. 뉴런들 (408, 410) 이 학습 (또는 적어도 매칭) 한 지연들 때문에, 뉴런들 (408, 410) 은 동시에가 아니라 지연된 시간들에 발사할 수도 있다 (도면 (424) 의 스파이크들 (426 및 428)). 뉴런들 (402, 404) 로부터의 입력들은 (자극 (430) 에 의해 나타낸 바와 같이, 반드시 즉시는 아니지만 적어도 결국에는 또는 다른 시냅스들로부터의 부가적인 일치하는 입력 또는 감소된 저지 또는 진동 흥분과 같은 일부 백그라운드 도움으로) 뉴런들 (408, 410) 이 발사를 하도록 충분히 강하게 될 필요가 있을 수도 있다는 것에 주의해야 한다. 뉴런들 (408, 410) 이 뉴런들 (402, 404) 로 피드백될 수도 있으므로, 그것들은 그들 구심들이 원본 패턴의 역방향으로 발사하게 할 수도 있으며, 이에 의해 역방향 리플레잉이, 도면 (424) 에서 역방향 시간적 패턴 (432) 에 의해 예시된 바와 같이, 달성될 수도 있다. 저지 제어 (434) 는 원래의 자극 (412) 이 존재하는 동안에 구심들 (402, 404) 이 발사하게 하는 피드백을 방지하는데 사용될 수도 있지만, 중간체들 (intermediaries) 과 같은 다양한 대체예들이 치환될 수도 있다는 것에 주의해야 한다. 더구나, 피드백은 심지어 자극 동안에도 원래의 구심들에 영향을 주는 것이 허용될 수도 있다.
이 제 1 실증적 실시형태의 장점들은, 리플레이된 패턴이 진짜이고 정확할 수도 있고 원래의 구심들을 통해 생성될 수도 있다는 것이 될 수 있다. 그러나, 이 실시형태는 또한 특정한 단점들을 가질 수 있다. 일 양태에서, 패턴은 역전될 수도 있고 제어는 구심들에 대해 이루어질 수도 있고 (뉴런들 (402, 404) 은 역방향 패턴에서 재생성되기 전에 동기적으로 발사할 수도 있음), 이에 따라 (뉴런 (406) 의 거동을 포함하여) 다운스트림에 영향을 줄 수도 있다. 덧붙여서, 뉴런 (406) 은 역방향 패턴에 매칭하지 않을 수도 있다. 더구나, 이 실시형태에서, 관계형 양태 학습 뉴런이 구심마다 패턴마다 요구될 수도 있기 때문에 확장성은 제한될 수도 있다. 더욱이, 리플레이는 또한 제어의 공시성 (synchrony) 을 필요로 할 수도 있다.
순방향 및 역방향 리플레이
도 5에 예시된 제 2 리플레이 실시형태가 비역전된 패턴을 리플레이하는 문제를 이중 역전에 의해 해결할 수도 있다. 실질적으로, 도 4와 연관된 앞서 언급된 방법은 반복될 수도 있으며, 그래서 제 2 의 계층 2 및 계층 3 (도 5에서 계층 4 및 계층 5로 언급됨) 은 역방향 패턴, 역전된 패턴의 관계형 양태들, 및 원래의 구심들 (신경 연결도 (502) 에서 예시됨) 또는 관계형 양태 학습 뉴런들 (p 및 q) (신경 연결도 (504) 에서 예시됨) 중 어느 하나에 매칭하도록 추가될 수도 있다. 따라서, 제안된 방법은 (도 5에 예시된 순방향 패턴 매처 (matcher) (x) 또는 역방향 패턴 매처 (x')) 중 어느 하나를 제어하는 것에 의해) 역방향 패턴 또는 순방향 패턴 중 어느 하나를 리플레이할 수도 있다. 도면 (504) (역방향 레벨에서 관계 학습을 위해 관계형 양태 학습 뉴런들을 사용함) 의 장점은 역전 학습이 온라인으로 (즉, 패턴 학습과 동시에) 수행될 수 있다는 것일 수도 있다. 신경 연결도 (502) 로, 역전 학습은 역방향 패턴을 유도하는 것에 의해 수행될 수도 있다.
방법들 (502 및 504) 사이의 주요 차이는, 제 2 "리플레이" 스택에 대한 구심들 (계층들 4 및 5) 대신 관계형 양태 학습 뉴런들을 사용하는 것일 수도 있다는 것에 주의해야 한다. 도면 (504) 에서, 제 2 역전의 온라인 학습은 이 차이 때문에 행해질 수 있다. 그러나, 뉴런 (x') 은 구심들에 노출되는 것이 아니라 오히려 구심들의 변환에 노출되는 것일 수도 있다.
도 5의 도면들 (502, 504) 에 의해 예시된 제 2 실시형태 변형예들의 장점들은 순방향 및/또는 역방향 패턴들이 리플레이될 수도 있다는 것일 수 있다. 그러나, 여전히 스케일링 제한이 있을 수도 있다. 일 양태에서, 하나의 관계형 양태 학습 뉴런은 구심마다 패턴마다 필요하게 될 수도 있고, 구심들의 제어는 다운스트림에 영향을 미칠 수도 있다. 본 개시물에서 나중에 논의되는 바람직한 실시형태는 이들 단점들을 극복할 수도 있다.
기억 전달
하나의 뉴런, 신경 어레이 또는 피질 영역으로부터 다른 것으로의 학습의 전달은 머신 지능에 대한 중대한 요소일 수도 있다. 리플레이는 이 프로세스에서 핵심적 역할을 담당할 수도 있다. 이를 설명하기 위해, 도 5로부터의 신경 연결도 (502) 가 고려될 수 있다. 기억 전달의 일 양태를 도입하기 위해, 도 5의 회로에서의 리플레이는 원본 패턴의 역이라는 사실이 무시될 수 있다. 기억 전달 및 추가의 프로세싱 양태들의 상세한 설명이 패턴의 순방향 버전을 리플레이하는 회로들과 함께 아래에서 추가로 주어질 것이다. 한편, 다음의 예는 추가의 프로세싱을 도입하는 역할을 수도 있다.
학습의 전달은 다음과 같이 작동할 수도 있다. 자극이 존재하는 동안, 제 1 회로 (도면 (502) 에서 계층들 (2 및 3) 로 나타내어짐) 는 패턴을 학습할 수도 있다. 그 다음에, 오프라인으로 (자극 없이), 이 학습의 기억은, 제 1 회로로써 (계층들 (2 및 3) 을 통해) 패턴을 유도하고 제 2 뉴런 회로 (계층들 4 및 5) 가 그 패턴을 학습 (수신) 하는 것을 허용하는 것에 의해 제 2 뉴런 회로 (도면 (502) 에서 계층들 (4 및 5) 로 나타내어짐) 로 전달될 수도 있다. 더구나, 하나 이상의 부가적인 뉴런들 (도면 (502) 에 도시되지 않음) 은 리플레이 동안 (그 뉴런들이 속하는 회로가 무엇이든 간에) 패턴을 학습할 수도 있다. 오프라인 단계 후, 학습된 패턴의 기억을 제 2 뉴런 회로 (계층들 (4 및 5)) 에 여전히 유지시키면서 원래의 회로 (계층 2 및 계층 3) 는 다른 목적들을 위해 심지어 소거되고 재사용될 수도 있게 한다는 것에 주의해야 한다.
이 실시형태로, 전달된 기억은 동일한 원래의 구심들에 대해, 바람직한 것으로서 될 수도 있다는 것에 주의해야 한다. 제 1 회로 (심지어 소거될 수 있거나 또는 패턴을 "망각 (forget)"할 수도 있을 것임) 에 신뢰가 없을 수도 있다. 일 양태에서, 다른 뉴런, 예컨대, 뉴런 y (도면 (502) 에 도시되지 않았으나 임의의 계층에서, 뉴런 x를 대체하는 역할을 할 수도 있음) 가 리플레이 동안에 패턴을 훈련 받을 수도 있다. 그 다음에, 원래의 자극이 다시 제시되면, 뉴런 y는 그것을 (심지어 계층 2 및 계층 3이 소거되더라도) 인식할 수도 있으며, 그래서 원할 때마다 패턴은 매칭되고 리플레이될 수도 있다. 이 기억 전달 능력은 일반적으로 이 실시형태 뿐만 아니라 제안된 방법들과 함께 이용가능할 수도 있지만, 그 전달은 실시형태에 의존하는 각각의 스테이지에서의 역전을 반드시 수반하지 않을 수도 있다.
더욱이, 기억 전달은 리플레이의 단지 하나의 확장일 수도 있다. 일 양태에서, 리플레이는 또한 학습을 리파인하는데 사용될 수도 있다. 패턴을 리플레이하는 것에 의해, 다운스트림 뉴런들 (예컨대, 도 2의 뉴런들 (208 및 210)) 은, 학습이 시냅스 가소성 또는 다른 수단을 통해 계속될 수도 있도록 동일한 구심들을 통해 패턴에 재노출될 수도 있다. 게다가, 리플레이는 심지어, 패턴을 학습했던 뉴런, 즉, 도 5의 도면 (502) 에서의 뉴런 x 또는 도 2의 뉴런 (202) 에 의해 학습을 리파인하는데 사용될 수도 있다. 일 양태에서, 패턴의 학습 (자극 및 자극 없이 리플레이에 의한 하나 이상의 리파인먼트 스테이지들 동안의 학습) 은 하나 이상의 스테이지들을 취할 수도 있다. 패턴 학습의 이른 (earlier) 스테이지는 (예컨대, 자극 동안) 패턴의 엘리먼트들의 서브세트를 매칭시키는 것에 의해 패턴을 매칭시킬 수도 있다. 패턴 학습의 늦은 (later) 스테이지는 (예컨대, 리플레이 동안) 매칭을 개선하기 위해 패턴의 부가적인 엘리먼트들을 픽업할 수도 있다. 이것에서의 핵심적 통찰력은, 관계형 양태 학습 뉴런들이 패턴 매칭 뉴런의 거동 (발사) 및 그 패턴 매칭 뉴런에 의해 여전히 의존되지 않는 구심성 패턴의 엘리먼트들 사이의 관계형 양태들을 패턴을 매칭시키기 위해 학습할 수도 있다는 것이다.
게다가, 일단 뉴런들이 특정 패턴들을 학습하면, 다운스트림 네트워크가, 그들 패턴들을 리플레이하는 것에 의해 패턴들을 비교 (하거나 또는 리플레이된 패턴 및 원본 패턴을 비교) 하고 패턴들의 그룹으로의 분류와 같은 차이들 또는 유사성들을 학습할 수도 있다. 하나 이상의 그룹들에 속한 패턴들을 리플레이하는 것에 의해, 더 높은 레벨의 뉴런들이 특정 그룹에 속한 패턴들의 일반 양태들 (예컨대, 유사한 특징들) 을 학습할 수도 있다.
패턴 리플레이에 대한 바람직한 실시형태의 소개
패턴 리플레이에 대한 바람직한 실시형태는, 일반적인 방식으로 (즉, 콘텍스트 또는 콘텐츠 또는 코딩, 계층 또는 레벨, 또는 프로세싱의 스테이지에 무관하게) 사용되고 요망 또는 요건에 따라 스케일링될 수 있다는 의미에서 확장가능 복합 태피스트리 (multiplex tapestry) 또는 피질 섬유를 포함할 수도 있다. 이 특정 실시형태는 위에서 설명된 모든 장점들을 가지고 단점들을 가지지 않을 수도 있다. 정확하거나 또는 유사한 패턴은 순방향 또는 역방향에서 원래의 구심들을 통해 리플레이될 수도 있다. 더구나, 그것은 콤팩트하고 확장가능할 수도 있는데 각각의 관계형 양태 학습 뉴런이 다수의 패턴들을 다룰 수 있기 때문이다. 더구나, 제어는 패턴을 학습했던 뉴런을 통해 유도될 수도 있고 제어 공시성은 요구되지 않을 수도 있다. 구심성 패턴은 청소될 수도 있다. 패턴 학습은, 원한다면 완벽하게 온라인으로 (또는 원한다면, 오프라인으로) 될 수도 있다. 도 6의 신경 연결도 (600) 는 순방향 리플레이에 대한 아이디어의 기본적인 구현예를 개략적으로 그린다 (역전은 위의 방법들에 따라 도면 (600) 을 연장하는 것에 의해 달성될 수도 있다).
도 6의 관계형 양태 학습 (또는 적어도 매칭) 뉴런들 (602 및 604) 은 2 개의 패턴 학습 (또는 참조) 뉴런들 (606 및 608) 로부터의 입력들을 가질 수도 있다는 것에 주의해야 한다. 대체로, 이는 임의의 수의 패턴 학습 뉴런들일 수 있다. 이는 위에서 언급된 확장성을 허용할 수도 있다. 더욱이, 제어는 그것들이 (각각) 매칭되었던 패턴들의 리플레이를 얻기 위하여 패턴 매칭 뉴런 (즉, 뉴런 (606) 및/또는 뉴런 (608)) 을 흥분시키는 것에 의해 달성될 수도 있다. 뉴런 (606) 이 흥분되는 경우, 뉴런 (606) 에 의해 학습된 패턴의 리플레이가 달성될 수도 있다. 뉴런 (608) 이 흥분되는 경우, 뉴런 (608) 에 의해 학습된 패턴의 리플레이가 달성될 수도 있다. 도 7의 그래프들 (702, 704) 에 의해 도시된 누설 통합 및 발사 뉴런들을 이용한 예의 결과에서, 패턴 리플레이의 진실성은, 뉴런들 (606 및 608) 이 개별 리플레이 시에 (그것들이 학습했던/매칭한 패턴들의 리플레이를 매칭시키게) 재발사할 수도 있다는 사실로부터 분명할 수 있다. 이러한 재발사를 억제하는 것이 루핑 (looping) 리플레이를 방지하는 하나의 수단으로서 선택될 수도 있다.
바람직한 실시형태에서, 관계형 양태 학습/매칭은, 지연된 패턴 매칭 뉴런 입력 및 구심 신호 타이밍 사이에서 지연의 차이를 학습/매칭시키는 것에 의해 달성될 수도 있다. 비록 지연이 뉴런(들) (602, 604) 의 수상돌기 상에서 발생하는 것에 관해 예시될 수도 있지만, 그 지연은 축색돌기적이거나 또는 수상돌기적이거나, 또는 일부 다른 소스로부터 올 수도 있다.
바람직한 실시형태는 아래에서 더 설명될 것이다. 지금부터, 달리 언급되지 않는 한 논의는 이 바람직한 실시형태를 참조한다.
도 8은 본 개시물의 특정한 양태들에 따른 신경 성분 리플레이를 위한 예의 동작들 (800) 을 도시한다. 802에서, 복수의 구심성 뉴런 출력들에서의 패턴이 하나 이상의 참조 뉴런들로써 참조될 수도 있다. 804에서, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들이 하나 이상의 관계형 양태 뉴런들과 매칭될 수도 있다. 806에서, 복수의 구심성 뉴런들 중 하나 이상은 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하도록 유도될 수도 있다.
리플레이 학습
진정한 리플레이가 (구성된 지연들, 연결들, 및 제어들이 주어지면) 달성될 수 있는 방법을 설명하여서, 네트워크 내에서 (자동으로 또는 비감독식으로) 어떻게 리플레이를 학습하고 학습을 제어하는지의 방법이 또한 설명될 것이다. 비감독식 학습이 상세히 설명될 것이지만, 감독식 학습이 또한 사용될 수 있다. 리플레이를 학습하는 것을 상세히 설명하기 위하여, 다이나믹 스파이킹 뉴런들 및 가소성을 갖는 바람직한 확장가능 실시형태의 맥락에서 (또한 시간적 코딩과 함께) 설명이 주어질 것이다.
도 9의 신경 연결도 (900) 는 각각의 뉴런 역할의 적은 수의 대표들만을 도시하는 바람직한 실시형태의 모델을 예시하지만, 이 태피스트리는 더 크거나 또는 더 작은 다양한 스케일들에서 생성될 수도 있고, 뉴런들 및 일부 역할들의 상이한 개체수 분포/수 또는 비율을 갖는 상이한 계층들 (역할들) 로 하나의 뉴런으로 결합될 수 있다. 도 9에서, 구심들은 뉴런들 (a 내지 d) 에 의해 표현될 수 있으며, 패턴 학습 뉴런들은 w 내지 z에 의해, 그리고 관계형 양태 학습 뉴런들은 p 내지 s에 의해 표현될 수도 있다. 이들 뉴런들이 동일하거나 또는 상이한 내부 모델들을 가질 수도 있지만, 연결들은 중요해질 수도 있다. 이러한 연결들의 설명을 돕기 위해, 패턴 학습 뉴런들의 출력들은 구심들 (다운스트림 프로세싱으로의 입력들 또는 업스트림 프로세싱으로의 피드백) 로서 지칭될 수도 있다. 구심들이 실제로 감각 뉴런들 (시각, 촉각, 청각 등) 또는 선행하는 계층의 뉴런들 또는 신경 네트워크에서의 임의의 스테이지 또는 개념적 레벨에서의 뉴런들일 수도 있으므로, 뉴런들 (a 내지 d) 이 하나 이상의 패턴들에서 발사하게 하는 것이 어떤 것이든 자극이 그것으로서 지칭될 수 있다. 특정 뉴런들 (x 내지 z) 이 발사하게 하는 무엇인가의 입력 또는 트리거는 제어들이라고 지칭될 수 있다. 이들 신호들 (구심들, 원심들 (efferents), 제어 및 자극) 은 통상 신경 태피스트리 (900) 외부에 연결될 것이지만, 이는 요구되지 않을 수도 있고 다른 내부 신호들이 또한 신경 태피스트리 (800) 로부터 또는 그것을 넘어서는 포인트들까지 연장할 수도 있다. 명료함을 위해, 신경 연결도 (900) 는 주로 관련 연결들 및 양태들에 집중할 수도 있다.
일반 방법은 위에서 설명된 바람직한 실시형태에 관해 여전히 변함없다는 것에 주의해야 한다. 그러나, 학습에 관련하여 더 자세한 사항들이 이제 설명된다. 먼저, 연결성이 이러한 연결성에 관련할 수도 있는 예의 구조적 양태들에 관해 설명될 것이다.
학습 및 구조
미리 설명된 바와 같이, 패턴 학습 뉴런들은 복수의 구심들 (이지만 반드시 그것들의 모두는 아닌 구심들) 에서 패턴을 학습할 수도 있다. 이러한 연결성은 상이한 잠재적 지연들로써 구심들을 샘플링하는 생물학적 의미에서의 십자형 (cruciate) (수상돌기들은 구심들의 축색돌기들을 교차하여 퍼져나갈 것임) 으로서 구조적으로 설명될 수도 있다. 또한, 그것들은 상이한 패턴들을 학습하기 위해 경쟁할 수도 있도록 측방향으로 서로 저지하게 서로 연결될 수도 있다 (도 9에서의 스파인 (spine) 들 (902)) (이는, 도시된 바와 같이, 직접적일 수도 있거나 또는 인터 뉴런들 또는 다른 저지 또는 경쟁 메커니즘들을 통해 될 수도 있다). 이 저지는 일반적 (즉, 사후 시냅스적) 일 수도 있다. 또한, 미리 설명된 바와 같이, 관계형 양태 학습 뉴런들은 패턴 학습 뉴런들로부터의 입력들 및 구심들로부터의 입력들을 (일반적으로 일 대 일) 수신할 수도 있다. 구조적으로, 전자는 학습 뉴런들의 축색돌기들 (반드시 하나는 아님) 에 평행한 기초 수상돌기 프로세스들로서 서술될 수도 있고 후자는 (바람직하게는) 오직 하나의 구심의 축색돌기에 연결되는 정단 (apical) 수상돌기 프로세스들로서 서술될 수도 있다.
이러한 생물학적 구조적 설계는 필요하거나 중요하지 않을 수도 있지만, 그것은 연결성이 물리적 공간에서 표현될 수도 있는 방법과 물리적으로 표현될 수도 있는 제약조건들을 지적하기 위한 것이다. 이것의 함의들은 아래에서 더 설명될 것이다. 관계형 양태 학습 뉴런들의 축색돌기들은 또한 그것들이 (다시 일반적으로는 일 대 일) 쌍을 이루는 구심성 뉴런들에 되 연결 (피드백) 될 수도 있다. 이는 구심들까지 수직 하향으로 연장하는 축색돌기 프로세스로서 표현될 수 있을 것이다. 마지막으로, 구심들의 출력은 그들 구심들의 흥분을 관계형 양태 학습 뉴런들에 의해 인터 뉴런들을 통해 (구심 당 하나의 인터 뉴런 또는 다 대 일, 일 대 다, 또는 다 대 다로) 저지할 수도 있다. 다시, 인터 뉴런들의 사용은 일 예일 수 있다. 그러나, 이 경우, 이들 저지 연결들은 관계형 양태 학습 뉴런들로부터의 특정 흥분 연결들 (즉, 사전 시냅스 저지) 에 특유할 수도 있다. 다른 선택사항은 일반적인 저지 연결 (즉, 사후 시냅스 저지) 을 사용하는 것일 수도 있다. 하나의 인터 뉴런으로의 저지 효과들을 집성하는 것 또는 중간 릴레이들을 사용하는 것을 포함하는 변형예가 가능할 수도 있다.
시냅스 가소성 및 구조적 가소성
시냅스 가중치들은 STDP (spike-timing-dependent plasticity) 와 같은 방법들 또는 헤비안 (Hebbian) 규칙들 (예컨대, 오자 (Oja) 또는 BCM (Bienenstock-Copper-Munro) 규칙들) 과 같은 다른 규칙들을 사용하여 학습될 수도 있다. 설명된 메커니즘들은, 시냅스들/지연들의 수가 이런 점에서 한정적으로 제한되지 않는 한, 구심 또는 학습 뉴런의 하나 이상의 스파이크들을 학습하는데 일반적으로 충분할 수 있다는 것에 주의해야 한다. 바람직한 메커니즘들은 수정된 STDP 학습 규칙을 포함하지만, 변형예들이 또한 입력 주파수, 또는 사전/사후 스파이크 순서의 고려사항을 통합하는 것처럼 사용될 수 있다. 학습 관계들은, 도 9에서 도면 (900) 의 부분을 나타낼 수도 있는 도 10의 신경 연결도 (1000) 에 의해 예시된 바와 같이, 뉴런 또는 계층에 걸쳐 가변될 수도 있다.
학습은 위의 연결성 및 구조들의 특정 양태들에 의해 제약될 수도 있다. 이는 구조적 가소성 또는 지연들, 가중치들 및 또는 입력들에 대한 제약들에 의해 달성될 수도 있다. 바람직한 실시형태에서, 구조적 가소성은 스파인들 (과 그에 따라 시냅스들) 을 이동 또는 성장/삭제하는데 적용될 수도 있다. 컴퓨테이션적 관점에서, 이는 비사용 시냅스 자원들의 재사용에 의해 모델링될 수도 있다. 실제적으로, 시냅스 가중치가 임계치 미만으로 붕괴하는 경우, 시냅스는 (바람직하게는 임계치에 있는 또는 그 약간 위의) 새로운 가중치, 새로운 지연 또는 입력 (뉴런) 중 하나 이상을 시냅스에 재할당하는 것에 의해 재사용될 수도 있다. 바람직한 실시형태에서, 새로운 가중치 및 지연만이 제공될 수도 있고, 하나의 선택사항이 (예컨대, 구조적 성장 속도가 제약했던 것과 같은 양 및/또는 방향에 의해) 지연에서의 변화를 제한하는 것이 될 수 있다.
더욱이, 구조적 가소성은 제약되거나 또는 경계가 있게 될 수도 있다. 예를 들어, 원위 (distal) 수상돌기 시냅스들은 더 긴 지연으로 제약될 수도 있는 한편 정단 수상돌기 시냅스들은 짧게 또는 넓게 가변하는 지연을 가질 수도 있다. 수상돌기 프로세스들이 축색돌기들에 평행하게 달려가면, 이는 다양한 지연들에서 샘플링과 그에 따라 특정 대응하는 지연의 학습을 허용할 수도 있다. 그 반면, 입력 뉴런이 수신자 (예컨대, 관계형 양태 학습 뉴런에 대한 구심 입력) 로부터 멀다면, 지연은 비교적 높은 값이 되게 제약될 수도 있다. 덧붙여서, 등거리 구조적 성분들은 동일한 또는 유사한 지연을 가진다고 가정될 수도 있다. 이것들은 본 개시물의 개념을 유지함에 있어서 단지 예들이라는 것이 이해되어야 한다. 바람직한 실시형태에서, 관계형 양태 학습 뉴런들에 대한 구심 입력들에 의해 직면되는 지연은 그것들의 구조적 거리와 일치하는 비교적 더 큰 값으로 고정될 수도 있는 반면, 시냅스들은 학습 뉴런들로부터의 입력들에 대한 큰 범위 내의 가변하는 지연을 가질 수도 있다. 더구나, 전자 (former) 에 대한 고정된 지연들은 (쌍을 이룬 구심에 대한 거리가 그 쌍에 무관하게 유사한 것처럼) 관계형 양태 학습 뉴런들 전체에 걸쳐 동일한 또는 유사한 값으로 설정될 수도 있다. 일 대 일 또는 다른 관계들이, 경우에 따라, 원주형 조직 및 수직방향으로 또는 수평방향으로의 축색돌기 또는 수상돌기 프로세스들의 라우팅에 의해 구조적으로 표현될 수도 있다는 것에 또한 주의해야 한다.
도 11의 신경 연결도 (1100) 에서, 구심들로부터의 관계형 뉴런들로의 입력들에 의해 직면되는 지연들은 일치될 수도 있다는 것에 주의해야 한다. 이는 구조적 제약조건들 (예컨대, 계층들 사이의 거리) 또는 발달에 기인할 수도 있다. 예를 들어, 발달 동안, 패턴 뉴런 발사는 저지될 수도 있는 한편 구심들은 동기적으로 발사할 수도 있다. 따라서, 관계형 양태 뉴런들은 구심들에 대해 일치하는 지연들을 학습할 수도 있다. 이는, 예를 들어, STDP 또는 다른 학습 규칙을 사용하여 발생할 수도 있다. 그 다음에, 발달 후, 그들 일치하는 지연들은 큰 가중치로 학습될 수도 있고 정상 자극 동안 변화하지 않을 수도 있다. 그 결과, 관계형 양태 뉴런들은 자극으로 인해 구심들에서의 상대 지연들에 의존하는 지연들을 가지고서 발사할 수도 있다. 학습 및 리플레이 프로세스들은 그 다음에 위에서 설명된 바와 같이 진행할 수도 있다.
관계형 양태 학습에 대한 대체예들
관계형 양태 학습을 컴퓨테이션적으로 달성하는 하나의 방법은, 도 12의 그래프 (1202) 에 예시된 바와 같이, 동일한 입력 축색돌기에 연결하는 (또는 잠재적으로 연결하는) 상이한 지연을 갖는 많은 시냅스들 (또는 잠재적 시냅스 부위들/스파인들) 을 가지고 시냅스 가소성만을 사용하여 가중치들을 조정하는 것일 수도 있다. 다른 방법은, 도 12의 그래프 (1204) 에 예시된 바와 같이, 구조적 가소성과, 붕괴하면 상이한 지연으로 동일한 입력에 재할당될 수도 있는 (예컨대, 수상돌기/축색돌기 병렬 프로세스들을 따라 미끄러지는) 오직 하나의 또는 적은 수의 시냅스들을 가지는 것일 수도 있다. 양쪽 모두의 방법들은 도 12의 일 예의 구조 (1206) 에서 묘사된 잠재적 연결들의 범위를 나타낼 수도 있다. 구조 (1206) 는 뉴런 (1208) 의 수상돌기 및 뉴런 (1210) 의 축색돌기의 병렬 프로세스들을 포함할 수도 있다. 도면들 (1202 및 1204) 은 입력 (x축), 지연 (y축), 및 가중치 (z축) 에 의해 네트워크에서의 모든 시냅스 상태들을 도시한다. 선도들 (1202, 1204) 상에서 관계형 양태 학습 뉴런들에 속하는 포인트들의 포지셔닝 (시냅스 상태들) 은, 제 1 경우에서 많은 잠재적 시냅스들과 제 2 경우에서 적은 수의 잠재적 시냅스들이 있을 수 있다는 것을 예시한다. 그러나, 양쪽 모두의 경우들에서, 하나 이상의 시냅스 가중치들은 올바른 지연에서 그리고 올바른 입력에 대해 강화될 수도 있다.
양쪽 모두의 방법들은 잘 작동하는 것으로 확인되었지만 제 1 방법이 더 빠르게 학습할 수도 있는데 스파인들 모두가 일부 시퀀스에서 "시도하였던" 것보다는 동시에 존재하여서이다. 그러나, 제 1 방법이 더 빠를 수도 있지만, 그것은 또한 상이한 패턴 매칭/학습 뉴런들로부터 입력들의 불균형을 겪을 수도 있다. 제 2 방법은 더 자원 효율적일 수도 있는데, 제 1 방법에서, 많은 지연 탭들 (시냅스들) 이 사용되지 않게 되는 것으로 끝나게 될 수도 있어서이다 (도 12의 그래프 (1202) 참조). 어떤 의미로는, 이들 방법들은 스파인/시냅스 운동성 및 구조적 가소성의 속력 또는 역학의 스펙트럼만이 단지 다른 점들이다.
게다가, 제 1 방법은 더 넓은 인과적 입력 대응을 학습하는 높은 경향을, 항상성이 이것을 상쇄하는데 사용되지 않는 한, 가질 수도 있다. 이는, 도 13의 그래프 (1304) 의 선도 (1302) 에 의해 예시된 바와 같이, 긴 LTP (long-term potentiation) 꼬리 (양의 풋프린트) 를 갖는 전통적인 STDP로 인한 것일 수도 있다. x축은 사전 시냅스 스파이크 및 사후 시냅스 스파이크 사이의 시간 차이를 나타내며, 여기서 양의 x 값들은 인과적인 경우에 해당한다 (사전 시냅스 스파이크는 사후 시냅스 스파이크보다 앞에 있다).
위의 문제는 도 13의 그래프 (1308) 의 선도 (1306) 에 의해 예시된 바와 같이, 양의 STDP 풋프린트를 더 짧은 시간 간격으로 감소시키는 것에 의해 피해질 수도 있다. 이는, 가소성 곡선을 직접 변화시키는 것 (다양한 인과적 또는 비인과적 변동들, 이를테면 제로 평균 (zero-mean) 또는 오프셋 가우시안 (offset Gaussian) 이 가능함) 에 의해, 또는 뉴런들을 긴 시간 프레임에 걸친 그것들의 전체 활동 (예컨대, 발사 속도) 에 기초하여 조절하는 항상성에 의해 수행될 수도 있다. 항상성은 뉴런의 장기 발사 속도가 범위 (즉, 각각 상부 및 하부 타겟 값) 를 초과하는지 또는 그것 미만인지에 기초하여 소마로의 집계 입력의 일반 곱셈 변조를 계단식 또는 점진적 방식으로 증가 또는 감소시키는 것에 의해 활용될 수도 있다. 일 양태에서, 이것의 효과는, 심지어 STDP가 그렇지 않고 가중치들을 증가 (또는 감소) 하게 하더라도, 항상성 효과가 시냅스 입력들의 효과를 감소 (또는 증가) 시킬 수도 있다는 것일 수도 있다.
조합하여 볼 때, 이 효과는 그래프 (1308) 에서와 같이 0 레벨이 시프트 업되어서 STDP에 의해 증가될 어떤 것이 항상성 효과들 후에 실제로는 감소될 수 있는 경우 (선도 (1306) 참조) 로서 표현될 수도 있다. 장기간에 걸쳐 실제로 증가하는 가중치들은, 수평 축 (사전 및 사후 시냅스 스파이크들 사이의 시간 차이) 의 더 넓은 지역으로 확장될 수도 있거나 또는 더 좁은 것으로 제한될 수도 있다.
하이브리드 접근법이, 도 14의 그래프 (1402) 의 선도 (1404) 에 의해 예시된 바와 같이, 항상성을 활용하는 것 및 곡선을 변경하는 것 양쪽 모두를 할 수도 있다. 꼬리를 더 아래로 (0 가중치 조정 레벨로부터 멀어지게) 밀어 내리는 하나의 이유는 (관계형 양태 학습 뉴런들에 대해 특히 유용할 수도 있는) 시간적 일치 분해능을 좁히는 것일 수 있는데, 항상성이 학습 프로세스에서 이전에 상승했던 가중치들을 낮출 수 없을 수도 있기 때문이다 (선도 (1404) 가 제로 라인 (1406) 가까이에 있다). 0 근처의 가중치 조정이 가중치를 실질적으로 변화시키지 못할 수도 있다는 것에 주의해야 한다. 대안으로, 가중치 붕괴 (0을 향한 가중치들의 느린 붕괴) 가 학습 프로세스와 조합하여 사용될 수도 있다.
반직관적 거동
언뜻 보기에, 패턴 학습 뉴런들이 학습 동안 관계형 양태 뉴런 발사 시간들을 상당히 변경하지 않을 것이 요구될 수도 있다. 관계형 양태 뉴런들이 구심들 및 패턴 학습 뉴런들 양쪽 모두로부터 입력들을 수신하므로, 입력들의 균형은 고려될 것이다. 사실, 패턴 학습 뉴런들은, 그들 연결들에 대한 가중치들이 실질적으로 동시에 발사하는 구심들 또는 다수의 패턴 학습 뉴런들에 대한 것들보다 상당히 더 강하지 않은 한, 관계형 양태 뉴런 타이밍을 상당히 변경하지 않을 지도 모른다 (측방향 저지에 의해 균형이 잡아지는 효과). 어쨌든, 이는 스파인 또는 시냅스 제약들 (가중치들, 지연) 을 통해 회피되거나 또는 실질적으로 저지될 수도 있다. 구조적 가소성 (지연 변형 수상돌기 상의 스파인 로케이션) 및 비전통적 STDP (예컨대, 자원 고려사항들) 의 조합은 또한 위의 것을 성공할 것 같지 않게 랜더링할 수도 있다.
그러나, 심지어 불균형이 존재하고 상부 계층 스파이크 타이밍이 변경되더라도, 그것은 반드시 피해야 할 무엇인가는 아닐 수도 있다. 도 15의 신경 연결도 (1500) 에 의해 예시된 바와 같이, 구심들로 되돌아가는 관계형 양태 발사의 피드백 (1502) (이것은 리플레이를 가능하게 하기 위하여 중요하게 되는 것이 필요할 수도 있다) 은 또한 구심 타이밍을 변경할 수도 있다. 다르게 말하면, 상부 계층들에서의 타이밍 변경들이 하부 계층들에서의 타이밍 변경을 초래하도록 하는 피드백 루프가 있을 수도 있다. 하지만, 중요한 것은 구심성 패턴을 재현하는 것이지, 자극을 재현하는 것이 아니다. 구심들은 자극의 변환으로서 생각될 수도 있다. 변환이 상이하면, 그것은 그 학습이 동일한 변환에 기초하는 한 반드시 중요하지는 않다. 다르게 말하면, 학습 동안, 구심성 패턴은 변화할 수도 있고 이 변화된 구심성 패턴은 학습된 패턴을 표현할 수도 있고, 그 학습된 패턴은 리플레이될 수도 있다.
도 16은 본 개시물의 특정한 양태들에 따른 구조적 가소성 및 구조적 제약 모델링에 관하여 신경 성분 리플레이를 위한 예의 동작들 (1600) 을 도시한다. 1602에서, 복수의 구심성 뉴런 출력들에서의 패턴이 하나 이상의 참조 뉴런들로써 참조될 수도 있다. 1604에서, 하나 이상의 관계형 양태 뉴런들과 함께 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들은 구조적 가소성을 사용하여 학습될 수도 있다. 1606에서, 복수의 구심성 뉴런들 중 하나 이상은 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하도록 유도될 수도 있다.
리플레이 제어
학습된 패턴을 리플레이하기 위하여, 제어가 패턴을 학습했던 뉴런, 예컨대, 도 17에서 네트워크 도면 (1700) 의 뉴런들 (w, x, y 또는 z) 을 흥분시키는데 사용될 수도 있다. 이러한 제어는, 도 17에 예시된 바와 같이, 단순히 패턴 매칭/학습 뉴런에 대한 다른 시냅스 입력일 수도 있다. 입력 균형에 의존하여, 이러한 시냅스들은 더 강한 가중치들을 가질 수도 있거나 또는 입력은 효과적으로 뉴런의 입력을 증가시키거나 또는 발사 임계치를 감소시킬 수도 있는 흥분성 진동 동안 (또는 저지성 진동에서의 소강 (lull) 동안) 밀어 넣어질 수도 있다. 진동이 불필요할 수도 있지만, 그것은 대안이 될 수도 있다. 도 18에서의 예 (1800) 는 사인파 흥분 진동 (1802) 을 예시한다. 학습 뉴런 (1804) 이 관계형 양태 학습 뉴런들을 통해 구심성 패턴을 스파이크하고 유도하도록 제어되는 경우에 진동의 피크가 있을 수 있다는 것에 주의해야 한다.
진동 (1802) 은 뉴런 (1804) 의 (지연이 낮거나 없는 소마에서의) 멤브레인에 또는 시냅스들에 가해질 수도 있다 (따라서 시냅스/연결에 따른 지연을 초래한다). 진동 (1802) 은 일반적으로는 근처의 모든 뉴런들에 가해질 수도 있고, 그래서 도 19에 도시된 예에서의 진동은 관계형 양태 학습 뉴런들에 대한 학습 뉴런들의 효과를 더욱 높일 수도 있다. 이 예에서 사용된 진동이 패턴 후의 재흥분을 억제하는 골 (trough) 을 가진다는 것을 제외하면 리플레이는 반복될 것이라는 것에 주의해야 한다.
리플레이를 제어하는 다른 방법은 파열과 함께 있을 수 있다. 도 19 및 도 20에서의 예들은 관계형 양태 학습 뉴런들이 발사하는 것을 유발하기 위해 뉴런 (x 또는 y) 에 의한 파열들이 사용될 수도 있는 방법을 도시한다. 이는 단지 일 예인데, 파열이 어떤 계층/뉴런에서라도 사용될 수 있어서이다.
그러나, 파열 및 진동 양쪽 모두는 불필요할 수도 있고 단점들을 가질 수도 있고, 이에 따라 바람직하지 않을 수도 있다. 그럼에도 불구하고, 파열이 소망의 특징이라면, 파열이 (a) 회로 내부에서 (즉, 로컬 회로에 대한 입력 또는 출력을 가질 수도 있는 포인트들에서가 아님) 및 덜 성형적 (less-plastic) 연결들 (또는 비성형적 연결들) 상에서 사용될 수 있는 것이 권고될 수도 있다. 첫째, 파열이 단지 회로 내부에 있다면, 그것은 (어레이에서의 특정한 연결들이 로컬 전용인 경우) 연결된 회로들에서의 간섭을 예방할 수도 있다. 둘째, 회로에서의 덜 성형적인 또는 비성형적 연결들 상에서 파열이 있으면, 그것은 회로 내부의 학습 양태들과의 일부 간섭을 예방할 수도 있다.
구심들 및 참조 뉴런들 (예컨대, 각각 뉴런들 a 및 x) 이 파열하지 않을 (정상적인 것으로서 작동할) 수도 있지만 관계형 뉴런들 (예컨대, 뉴런 p) 이 (선택사항으로 리플레이 모드에서만) 파열할 수도 있는 도 17에서의 리플레이 아키텍처 (1700) 의 변형예가 고려될 수 있다. 이는 구심들 및 참조 뉴런들에 대한 파열 단점들의 일부를 피할 수도 있는데, 정의에 의해, 그것들이 파열하지 않을 수도 있기 때문이다. 더구나, 파열의 하나의 단점은 관계형 뉴런들에서 제거될 수 있는데: 관계형 뉴런들은 플레이 동안 파열하지 않아야 할 수도 있으며; 그러면 활동의 이 더 낮은 레벨은 구심들 (피드백 루프) 에 상당히 영향을 주기에는 불충분할 수도 있도록 구성될 수도 있다. 그 다음에, 반복을 차단하는 저지성 피드백 연결들을 제거하는 것이 (반복이 바람직하거나 아니더라도) 고려될 수도 있다. 또한, 여러 미묘하지만 중요한 쟁점들이 이 경우에서의 지연들, 학습 및 파열의 조합으로 인해 회피될 수 있는데, 관계형 양태 학습자들 (파열 뉴런들만) 이 구심들과 일 대 일 연결될 수도 있고 그 모드에서 인과적일 수도 있기 때문이다. 그러나, 구심들이 또한 리플레이를 하는 동안에 학습을 실행하면, 지연 파열 학습 조합 문제가 있을 수도 있다. 이를 피하기 위해, 구심-뉴런 연결들로의 관계형 뉴런 입력들은 (예컨대, 전개 시에) 사전 배선될 수도 있다.
도 21의 신경 연결도 (2100) 는 구심들을 나타내는 단일 뉴런 (2102), 참조 뉴런들을 나타내는 뉴런 (2104) 및 관계형 양태 학습 뉴런들을 나타내는 뉴런 (2106) 과 함께 위의 원리들을 나타낸다. 구심들은 업스트림 또는 자극으로부터 입력을 수신할 수도 있고, 그것들의 출력은 다운스트림에서 또는 다른 참조 뉴런들 (패턴 매칭 뉴런들) 에 의해 이를테면 다른 패턴들, 기억 전달, 비교, 기억 전달 등을 매칭시키기 위해 사용될 수도 있다는 것에 주의해야 한다. 참조 뉴런들은 업스트림 또는 다른 구심들으로부터 제어 입력을 수신할 수도 있고 그것들의 출력은 일반화, 특수화 또는 추가 프로세싱을 위해 다운스트림에서 사용될 수도 있다. 그러나, 관계형 양태 학습 뉴런들은 회로 내부의 연결들만을 가질 수도 있다. 따라서, 위의 설명에 따르면, 그것들만이 본 개시물의 하나의 실시형태에서 파열할 수도 있다.
또한, 파열은 제어 입력에 응답하여 뉴런의 역학을 변경하는 것에 의해 리플레이 (또는 다른 모드) 동안에만 허용될 수도 있다. 예를 들어, 데이터 입력이 뉴런의 상태 (전류 또는 전압) 를 변경할 수도 있지만, 제어 입력은 유효 전도도, 레스팅 (resting) 또는 임계 전위들, 및 다른 역학 파라미터들을 변경할 수도 있다.
더 큰 제어가 일반적으로 소망되면, 바람직한 실시형태는 오히려 확장에 기초할 수도 있다. 리플레이를 제어하는 다른 방법은, 도 22에 예시된 바와 같이, 네트워크를 확장하는 것에 의해, 다르게 말하면, 일 대 일 관계들에서부터 일 대 다 또는 다 대 일 관계들 또는 심지어 다 대 다 관계들까지 일반화하는 것에 의해 될 수도 있다. 비록 도 21에서의 도면 (2100) 에서 구심들 및 관계형 양태 뉴런들이 일 대 일 기반으로 연결되었음이 예시되었지만, 이는 요구되지 않을 수도 있다는 것에 주의해야 한다. 이는 적어도 2 개의 가능한 장점들을 제시할 수도 있다. 첫째, 다 대 일 및 그 반대의 연결들은 잡음 또는 확률적 발사의 존재 시에 강건성을 개선할 수도 있다. 둘째, 수신용 뉴런이 발사하도록 유발하는데 하나의 입력이 불충분하면 (부과된 제약), 다수의 입력들은 이 제한을 극복할 수도 있다.
도 23은 본 개시물의 특정한 양태들에 따른 신경 성분 리플레이를 위한 예의 동작들 (2300) 을 도시한다. 2302에서, 복수의 구심성 뉴런 출력들에서의 패턴이 하나 이상의 참조 뉴런들로써 참조될 수도 있다. 2304에서, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들이 하나 이상의 관계형 양태 뉴런들과 매칭될 수도 있다. 2306에서, 복수의 구심성 뉴런들 중 하나 이상이, 하나 이상의 관계형 양태 뉴런들에 의해 출력을 파열하는 것에 의해 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하도록 유도될 수도 있다.
도 24는 본 개시물의 특정한 양태들에 따른 신경 성분 리플레이를 위한 예의 동작들 (2400) 을 도시한다. 2402에서, 복수의 구심성 뉴런 출력들에서의 패턴이 하나 이상의 참조 뉴런들로써 참조될 수도 있다. 2404에서, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들이 하나 이상의 관계형 양태 뉴런들과 매칭될 수도 있다. 2406에서, 복수의 구심성 뉴런들 중 하나 이상이, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하도록 유도될 수도 있으며, 구심성 뉴런들 중 적어도 하나, 하나 이상의 참조 뉴런들, 또는 하나 이상의 관계형 양태 뉴런들 사이의 시그널링은 급속 스파이크 시퀀스 또는 독립 스파이크들 중 적어도 하나를 포함할 수도 있다.
성분 리플레이 및 체계적 리플레이
시냅스 및 구조적 가소성을 갖는 위에서 설명된 시간적 코딩 모델을 사용한 짧은 훈련 지속기간 후의 다수의 (예컨대, 5 개의) 패턴들의 리플레이가 도 25에 예시된다. 그 리플레이들은 박스들 (자극(들) 없음) 의 구심 섹션 (L1 A) 에서 예시되어 있다 (명료함을 위해 도 25에는 관계형 양태 학습 뉴런 응답이 도시되지 않음). 제 2 패턴의 경우에, 2 개의 뉴런들이 그 패턴을 학습했다는 것에 주의해야 한다. 제 2 패턴을 사전 흥분시키는 것은 더 완전한 패턴 (더 많은 구심들) 을 리플레이할 수도 있다 ("II" 제 2 박스 하의 "L1 A"에서의 패턴 참조). 따라서, 그 방법은 패턴을 학습했던 뉴런들 중 하나 이상을 흥분시키는 것에 의해 패턴을 더 완전하게 리플레이할 수도 있다는 것에 주의해야 한다. 덧붙여서, 도 21은 동일한 아키텍처가 동일한 뉴런들과 다중사용 (다수의 패턴들 (I 내지 V) 을 학습 및 리플레이) 할 수 있는 방법을 예시한다. 다르게 말하면, 그 아키텍처는 더 많이 확장가능할 수도 있다.
학습 리파인먼트 및 연관
성분 리플레이는 뉴런에 의해 학습된 패턴보다 더 많이 리플레이할 수도 있다는 것에 주의해야 한다. 이 점은 미묘하게 보일 수도 있지만 매우 유용할 수도 있다. 핵심 통찰력은, 학습을 리파인하기 위해, 학습에서의 리파인을 받을 (또는 누락 조각을 제공하는) 무엇인가의 엔티티에 의해 학습된 것보다 양호한 패턴을 리플레이하는 것을 방법이 요구할 것이라는 것일 수 있다. 그러나, 이는 패턴이 그 패턴을 학습한 임의의 엔티티보다 양호하다는 것을 의미하지 않을 수도 있다.
도 26의 일 예 (2602) 에서, 리파인먼트의 결함있는 개념은 학습 리파인먼트를 겪을 엔티티에 의해 학습된 패턴의 부분만을 리플레이하는 것이다. 의문은 얼마나 더 리파인먼트가 발생할 수 있는가이다. 도 26의 일 예 (2604) 에서, 리플레이는 학습 리파인먼트를 받을 엔티티에 의해 이미 학습된 것보다 더 충실한 패턴 재현일 수도 있다. 그러나, 이는 학습 리파인먼트를 받는 엔티티가 패턴에 관해 조금이라도 학습한 엔티티만이라는 것을 의미하지 않을 수도 있다.
특정 뉴런 x가 특정 구심 입력 시에 발사를 학습한다는 사실은, 구심 입력 패턴에서의 발사들의 모두보다 적게 학습하는 뉴런 x로 인한 것일 수도 있다. 구심 d가 뉴런 x에 의한 패턴 인식을 위해 의존되지 않을 수도 있는 일 예는 도 27에 도시된다. 비유로서, 단순히 눈들 및 코 때문에 누군가의 얼굴을 인식하는 것을 생각해 볼 수 있다. 하지만, 관계형 양태 학습 뉴런들은 매칭 뉴런의 발사 및 구심성 패턴에서의 엘리먼트들 중 잠재적으로는 임의의 하나 또는 심지어 모두 사이의 관계를 학습할 수도 있다. 다르게 말하면, 관계형 양태 학습 뉴런들은 패턴 뉴런 x의 엘리먼트들이 의존하는 것이 무엇인지에 의해 고려되지 않을 수도 있다. 비유로서, 제 1 사람이 제 2 사람에 관해 "그가 그 사람 A이다"라고 말하는 것을 들은 제 3 사람이 고려될 수 있다. 제 3 사람은 또한 제 2 사람 (사람 A) 을 볼 수도 있다. 아마, 제 1 사람은 단지 눈들 및 코 때문에 사람 A를 인식한다 (사람 A의 얼굴의 나머지는 가려진다고 가정한다). 이는 사람 A의 머리털 및 그를 "사람 A"로서 식별하는 제 2 사람의 식별 사이의 학습 대응을 제 3 사람 (사람 A의 전체 얼굴을 볼 수 있는 사람) 이 하는 것을 방해하지 하지 않을 수도 있다. 따라서, 관계형 양태 학습 뉴런들은 학습 뉴런 (또는 뉴런들) 이 매칭을 위해 의존하는 것과의 구심성 패턴의 차이 (예컨대, 더 큰, 더 완전한, 또는 상이한 부분들) 를 재현할 수도 있다.
그러나, "구심"은 패턴 학습 뉴런 (예컨대, 도 27의 예 (2702) 에서의 뉴런 n) 에 연결될 것을 필요로 하지 않을 수도 있다는 것에 주의해야 한다. 쌍을 이룬 관계형 양태 뉴런 (예컨대, 뉴런 t) 가 있는 한, 뉴런 n의 발사는 구심성 패턴과 연관되고 구심들로써 리플레이될 수도 있다. 이는 다른 신호들 또는 활동과 학습되고 있는 구심들에 의해 플레이되고 있는 패턴을 연관시키는 온라인 방법을 제공할 수도 있다. 학습 뉴런들의 레벨에서 대응을 학습할 필요가 없을 수도 있지만, (도 27의 뉴런 d와 같은) 패턴의 다른 조각 또는 (도 27의 뉴런 n과 같은) 상관된 뉴런 발사의 경우, 대응은 리플레이를 위해 유지될 (그리고 나중에 또는 높은 레벨에서 또는 다른 뉴런에 의해 학습될) 수도 있다. 따라서, 도 28에 예시된 바와 같이, 제안된 방법은, 일단 자극이 더 이상 존재하지 않으면, 학습을 리파인하거, 비교하거나, 또는 다른 프로세싱으로 진행할 수도 있다.
도 29는 본 개시물의 특정한 양태들에 따른 신경 학습 리파인먼트를 위한 예의 동작들 (2900) 을 도시한다. 2902에서, 입력들의 세트에서의 패턴의 서브세트가 자극으로써 학습될 수도 있다. 2904에서, 그 패턴의 엘리먼트들 및 패턴의 서브세트 사이의 관계형 양태가 학습될 수도 있다. 2906에서, 입력들의 세트에서의 패턴은 자극 없이 학습된 관계형 양태를 사용하여 리플레이될 수도 있다. 4208에서, 입력들의 세트에서의 패턴의 학습은 자극 없이 리파인될 수도 있다.
기억 전달 및 연관
리플레이의 방법이 주어지면, 기억 전달의 방법이 설명될 수 있다. 도 30은 의미있는 기억 전달을 위한 핵심적 차이를 지적하는데: 원래의 구심들을 통한 리플레이 없이, 기억의 "전달 (transfer)"은 실제로 발생할 수 없는데 피전달자가 학습하는 무엇인가가 원래의 구심들의 일 양태가 아닐 수도 있기 때문이다. 도 30의 일 예 (3002) 에서, 피전달자는 패턴 매칭 뉴런의 출력을 학습할 수도 있다. 핵심적 통찰력은, 유용한 전달을 위해, 피전달자는 패턴을 인식한 후에는 전달자에 의존하는 것을 필요로 하지 않을 수도 있다는 것이 될 수 있다. 도 30의 일 예 (3004) 에서, 이것이 그 경우일 수도 있다. 따라서, 원래의 구심들을 통한 리플레이는 기억의 (자극 없는) 오프라인 전달에 필요하게 될 수도 있다. 이 리플레이는 신경 네트워크의 다른 곳에서의 성분 리플레이에 기인한 성분 리플레이 또는 체계적 리플레이일 수도 있다. 여하튼, 패턴 인식 전달자는 리플레이를 트리거하는 것에 관련될 수도 있지만, 피전달자는 그것에 의존하지 않을 수도 있다.
기억을 전달하기 위해, 리플레이 방법은 원래의 구심들을 통해 패턴을 리플레이하는데 사용될 수도 있다. 비록 이것이 반직관적으로 보일 수도 있지만, (전달자가 리플레이 능력을 가지지/요구하지 않으면 관계형 양태 뉴런들은 요구되지 않으며; 전달자가 리플레이 능력을 가지면/요구하면) 피전달자 (새로운 패턴 매처) 및 연관된 관계형 양태 뉴런들은 전달자 (이전의 패턴 매처) 에 및 임의의 연관된 관계형 양태 뉴런들에 연결되지 않을 수도 있다는 것에 주의해야 한다. 피전달자는 리플레이된 패턴을 학습할 수도 있다. 피전달자는 전달자에 의해 학습된 패턴의 상이한 엘리먼트들 또는 양태들을 학습할 수도 있다는 것에 주의해야 한다. 학습 리파인먼트에 관한 위의 연관의 설명과 유사하게, 피전달자는 구심성 패턴 및 하나 이상의 부가적인 입력 뉴런들 (도 27의 예 (2702) 에서의 뉴런 n) 에서의 패턴의 조합을 학습할 수도 있다는 것에 또한 주의해야 한다. 다만, 여기서 그것은 그들 부가적인 신호들을 구심성 패턴과 연관시키기 위하여 그들 부가적인 신호들의 단순한 일치하는 "플레이"로서의 또는 리플레이의 부분으로서의 그 다른 패턴의 리플레이로 인한 것일 수도 있다. 어느 경우에나, 하나 이상의 부가적인 입력은 전달자에 대한 입력, 심지어 피전달자 또는 관계형 양태 학습 뉴런들에 대한 입력일 수도 있거나 또는 아닐 수도 있다.
일단 기억이 전달되면, 전달자 (패턴 매칭 뉴런 (들)) 및 관계형 양태 학습 뉴런들 양쪽 모두는 원본 패턴을 인식하기 위해 피전달자의 능력을 분산하는 일 없이 재사용/소거/재할당되거나 또는 새로운 학습을 받을 수도 있다는 것에 주의해야 한다.
기억은, 관계형 양태 뉴런들 뿐만 아니라 구심들 (뉴런들 a 내지 d) 보다는, 또는 그것들에 더하여 (도 31의 일 예 (3100) 에서의 뉴런들 (p 내지 s)) 에 기초하여 전달될 수도 있다는 것에 또한 주의해야 한다. 그러나, 피전달자가 관계형 양태 뉴런들에 의존하면, 이것들은 기억이 피전달자에 의해 유지되는 것인 경우 소거되지 않아야 한다.
더구나, 심지어 기억을 다시 전달하는 것을 포함하여, 피전달자에 의해 학습된 패턴을 리플레이하거나, 피전달자의 학습을 리파인하거나 또는 위에서 논의된 추가 프로세싱 중 임의의 것을 달성하기 위하여, 관계형 양태 학습 뉴런들의 새로운 뱅크가 피전달자에 연관하여 사용될 수도 있다. 이는 본 개시물의 피질 섬유 구조의 일반성과 잘 맞을 수도 있다. 이러한 구조는 도 32에 예시되어 있다. 비록 동일한 글자들이 양쪽 모두의 피질 영역들의 뉴런들에 사용되지만, 이것들은 동일한 뉴런들이 아니라는 것에 주의해야 한다. 이는 편리한 것에 불과하고 식별은 피질 영역에 국소적이다.
도 32의 도면 (3200) 은 기억 전달에 대한 연결성의 일 예를 도시한다. 피질 영역들이 따로 도시되지만, 이것들은 또한 피질 섬유의 연신 (stretch) 을 따르는 공통 영역 또는 포인트들 내의 상이한 영역들이 될 수도 있다. 예 (3200) 에서, 양쪽 모두의 피질 영역들이 동일한 구심들을 사용할 수도 있다. 도 33의 도면 (3300) 은, 일단 전달이 완료되면, 제 1 피질 영역에 대한 의존성이 없을 수도 있다는 것을 보여준다. 도 34의 일 예의 도면 (3400) 은 제 1 및 제 2 피질 영역들로부터의 개별적으로 학습된 패턴들을 제 3 피질 영역에 의해 전달하고 동시에 연관시키는 연장 (전달 및 연관) 을 도시한다.
마지막으로, 기억 전달에 관해, 다수의 연장들 및 대체예들이 있을 수도 있다. 제 2 또는 다른 기억으로의 전달은 원래의 기억의 소거에 연계하여 달성될 수도 있다. 이는 리플레이 충실도에 영향을 주는 일 없이 행해질 수도 있는데, 리플레이가 관계형 양태 뉴런들을 사용하여 달성될 수 있기 때문이다.
리플레이가 원본 패턴 매치를 발사하기 위해 트리거하고 기억 전달과는 동시에 이것이 바람직하지만 학습 리파인먼트가 바람직하지 않으면, 계층 2 (참조 또는 패턴 매칭 뉴런 (들)) 로부터 계층 3 (관계형 양태 학습) 으로의 입력은 저지 연결들에 의해 차단될 수도 있다. 구체적으로는, 계층 2 내지 계층 3 시냅스들의 사전 시냅스 저지가, 예를 들어 이전 계층 3 출력 (지연됨) 또는 이전 계층 2 출력 (제어됨) 중 어느 하나에 의해 구동될 수도 있다. 이 개념의 변형예들이 가능하다. 주된 아이디어는 프로시저에서 이전 출력을 프로시저에서의 특정 연결 계층을 저지하는 트리거로서 사용하는 것이다.
위의 원리들은 또한, 위에서 설명된 바와 같이, 이전 계층 1 출력에 의해 계층 3 대 계층 1 연결들을 저지하기 위해, 원래의 자극에 대한 노출 동안 사용되는 사전 시냅스 저지에 대한 대체예들에 적용될 수 있다는 것에 주의해야 한다. 변형예들은 계층 1 (구심들) 대신 직접 자극으로부터의 트리거 또는 자극 또는 계층 1로부터의 사후 시냅스 저지를 포함할 것이다. 이들 경우들 중 어느 하나에서, 지연은 프로시저에서의 이전 신호의 시간 프레임을 저지될 절차적 단계의 시간에까지 이르게 하는데 사용될 수도 있다.
저지 충격이 비교적 큰 시간 스케일로 있으면 (인과적이지만, 예를 들어, 긴 시상수의 붕괴 충격을 가지면), 정확한 지연은 반드시 필요하지 않을 수도 있다는 것에 주의해야 한다. 심지어 시냅스 저지가 짧은 시상수를 가지더라도, 공진하는 저지성 인터 뉴런들은 더 긴 시간 윈도우에 대해 저지를 유지하는데 사용될 것이다. 그럼에도 불구하고, 저지의 시간 윈도우가 좁으면, 시간 정밀도는 더 유익하게 될 수도 있다. 시간 지연은 또한, (심지어 비감독식 학습에서도, 저지성 뉴런 또는 회로에 의해) 관계형 양태 학습 발사 및 인과적 구심 발사를 교차상관시키는 학습 규칙을 사용하는 것에 의해 학습되며, 이에 의해 그들 발사들을 정렬시키는 지연들을 사용하여 시냅스 연결들의 가중치를 상승시킬 수도 있다.
도 35는 본 개시물의 특정한 양태들에 따른 신경 성분 기억 전달을 위한 예의 동작들 (3500) 을 도시한다. 3502에서, 복수의 구심성 뉴런 출력들에서의 패턴이 하나 이상의 참조 뉴런들로써 참조될 수도 있다. 3504에서, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 제 1 관계형 양태들이 하나 이상의 제 1 관계형 양태 뉴런들과 매칭될 수도 있다. 3506에서, 그 패턴은 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 제 1 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들을 유도하는 것에 의해 하나 이상의 피전달자 뉴런들에게 전달될 수도 있다.
도 36은 본 개시물의 특정한 양태들에 따른 신경 연관 학습을 위한 예의 동작들 (3600) 을 도시한다. 3602에서, 하나 이상의 입력들의 세트에서의 제 1 패턴이 제 1 자극으로써 참조될 수도 있다. 3604에서, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태가 학습될 수도 있다. 3606에서, 하나 이상의 입력들의 세트에서의 제 2 패턴이 제 2 자극으로써 참조될 수도 있다. 3608에서, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태가 학습될 수도 있다. 3610에서, 입력들의 세트에서의 제 1 및 제 2 패턴들은 제 1 및 제 2 자극들 없이 학습된 관계형 양태들을 사용하여 리플레이될 수도 있다. 3612에서, 제 1 및 제 2 패턴들은 그 리플레이에 기초하여 연관될 수도 있다.
패턴 완성 및 패턴 분리
패턴 완성은, 구심들에서의 원본 패턴을 기억나게 하는 원래의 자극에 시스템이 미리 노출된 다음, 나중에, 리플레이 방법이 그 패턴을 완성한다는 점을 제외하면 원본 패턴의 부분만을 기억나게 할 부분 자극에 그 시스템이 노출될 수도 있는 프로세스이다. 다르게 말하면, 패턴 완성의 능력은, 저하된 입력에 완전한 응답으로 응답하는 능력을 나타낼 수도 있다.
본 개시물은 패턴 완성의 방법을 제공한다. 패턴 완성을 달성하기 위하여, 저하된 패턴을 원본 패턴에 대응하는 것으로서 매칭 또는 참조시키는 참조 (또는 패턴 학습자/매처) 가 필요하게 될 수도 있다. 도 37은 여러 구심들 (3702) 및 2 개의 참조들 (또는 패턴 학습 뉴런들) (3704, 3706) 을 갖는 네트워크 (3700) 를 도시한다. 원본 (완전한) 패턴 (3708) 이 또한 도 37에 예시되어 있다. 일 양태에서, 뉴런 (3704) 은 이 패턴을 참조할 수도 있다 (또는 이 패턴을 학습하였다). 더욱이, 뉴런 (3704) 은 또한 적어도 저하된 패턴 (3710) 을 참조 (에 매칭) 할 수도 있다. 덧붙여서, 패턴의 모든 엘리먼트들은, 스파이크들 (3712) 에 의해 예시된 바와 같이, 관계형 양태 뉴런들에 의해 학습될 수도 있다. 저하된 입력 (3714) 이 또한 예시되고, 그것은 참조를 위해 필요한 최소 엘리먼트들을 만족할 수도 있으며, 그래서 뉴런 (3704) 은 또한 (단지 완전한 입력 (3708)) 에 대해서가 아니라) 저하된 입력 (3714) 에 대해 발사할 수도 있다.
위의 설명들과 같이, 참조 (매치) 출력 (도 37의 뉴런 (3704)) 은 그 다음에 관계형 양태 뉴런들이 발사하게 유발할 수도 있는 관계형 양태 계층에 입력될 수도 있다. 위에서 설명된 관계형 뉴런 대 구심 뉴런 사전 시냅스 저지 연결성으로 인해, 저하된 패턴에 이미 있는 원본 패턴의 엘리먼트들은 저지 회로들에 의해 리플레이가 억제될 수도 있다. 그러나, 누락 엘리먼트들이 저하된 패턴에 없으므로, 그것들은 저지 피드백을 가지지 않을 수도 있고 이에 따라 리플레이될 수도 있다. 따라서, 패턴은, 도 38에 예시된 바와 같이 리플레이 회로에 의해 완성될 수도 있다. 저하되었지만 존재하는 부분 (스파이크들 (3804)) 에 비교하여 지연된 시간 (스파이크들 (3802)) 에서 완성 부분은 리플레이될 수도 있다는 것에 주의해야 한다. 이들 부분들은 저하되었지만 존재하는 부분에 대한 지연을 그것들이 재정렬될 수 있도록 (스파이크들 (3806)) 삽입하는 것에 의해 정렬될 수도 있다.
패턴 완성의 대안적 방법은, 위에서 설명된 사전 시냅스 저지 회로들을 제거, 억제 또는 극복하는 것일 수 있다. 그 결과, 저하된 패턴이 먼저 발생할 수도 있다. 그 다음에, 지연된 시간에, 완전한 패턴이, 도 39에 예시된 바와 같이, 리플레이될 수도 있다.
패턴 완성의 다른 대안적 방법은 패턴의 종료 전에 참조 (매치) 가 발사하는 경우일 수 있다. 이것이 도 37에 뉴런 (3706) 을 도시하는 목적이다. 뉴런 (3706) 이 중간 패턴 (예컨대, 도 39의 스파이크들 (3902, 3904), 및 도 40의 스파이크 (4002)) 를 발사한다는 것에 주목할 수 있다. 이는 그것이 저하된 패턴의 초기 부분을 인식하기 때문일 수도 있다. 이 경우, 참조 (도 40의 스파이크 (4002)) 후에 발생하는 누락 부분은, 도 40에 예시된 바와 같이, 구심들의 저하된 부분과 함께 리플레이될 수도 있다. 이는, 관계형 양태 뉴런들이 뉴런 (3706) 에 응답할 수 있고 이에 따라 뉴런 (3706) 이 발사한 후 (이지만 그 전은 아닌 때에) 발사하게 구심들을 유도할 수도 있기 때문일 수도 있다.
마지막으로, 더 크고 더 일반적인 패턴 완성이 또한 가능할 수도 있다. 더 크다는 것이 의미하는 것은, 생성되고 있는 패턴이 (예컨대, 수상돌기 지연 범위의) 지연 선 범위보다 지속기간이 더 길 수 있으며, 그래서 패턴은 시퀀스에서의 다수의 참조 뉴런들에 의해 학습/참조될 수도 있다는 것이다. 더 일반적이다는 것이 의미하는 것은, 패턴들이 구심 당 다수의 스파이크들을 가진다는 것이다. 계층적 리플레이의 논의 시에 아래에서 설명이 더 제공된다.
관련되지만 상이한 프로세스는 패턴 분리의 프로세스일 수 있다. 이는 유사한 저장된/학습된 패턴들을 수정하여 그것들 사이의 차이를 증가시키고 자극들을 인식함에 있어서 구별을 개선하는 능력을 나타낼 수도 있다. 본 개시물은 패턴 구분과 양립할 수 있는데 참조 계층에서의 측방향 저지가 참조 계층 뉴런 학습을 구분하고 이에 따라 저장된 패턴들을 구분하는데 하는데 사용될 수도 있기 때문이다. 구분 (Separation) 은 관계형 양태 학습에서도 발생할 수도 있는데 이 학습이 참조 계층 및 구심들과의 관계에 의존하기 때문이다. 유사한 패턴들이 참조 발사에서 혼란을 야기하면, 이는 따라서 관계형 양태 학습에 부정적으로 영향을 줄 수 있으며, 이에 의해 유사한 양태들의 학습을 분리 또는 억제할 수도 있다는 것에 주의해야 한다. 다수의 참조들 (다수의 패턴들에 대응함) 이 관계형 양태 학습 동안 단일 원본 패턴에 대해 발사하면 유사한 효과가 발생할 수도 있다.
도 41은 본 개시물의 특정한 양태들에 따른 신경 패턴 완성을 위한 예의 동작들 (4100) 을 도시한다. 4102에서, 하나 이상의 입력들의 세트에서의 제 1 패턴이 제 1 자극으로써 참조될 수도 있다. 4104에서, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태가 학습될 수도 있다. 4106에서, 하나 이상의 입력들의 세트에서의 제 2 패턴이 제 2 자극으로써 참조될 수도 있으며, 제 2 패턴은 제 1 패턴의 저하된 버전을 포함할 수도 있다. 4108에서, 제 2 패턴으로부터 저하되어 있는 또는 누락한 제 1 패턴의 적어도 하나의 엘리먼트가 제 2 패턴 또는 제 2 자극 중 적어도 하나에 대한 노출에 응답하여 리플레이될 수도 있다.
도 42는 본 개시물의 특정한 양태들에 따른 신경 패턴 분리를 위한 예의 동작들 (4200) 을 도시한다. 4202에서, 하나 이상의 입력들의 세트에서의 제 1 패턴이 하나 이상의 참조 뉴런들로써 참조될 수도 있다. 4204에서, 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 제 1 관계형 양태가 학습될 수도 있다. 4206에서, 하나 이상의 입력들의 세트에서의 제 2 패턴이 하나 이상의 참조 뉴런들로써 참조될 수도 있으며, 제 2 패턴은 제 1 패턴과 유사할 수도 있다. 4208에서, 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 제 2 관계형 양태가 학습될 수도 있다. 4210에서, 제 1 패턴 또는 제 2 패턴 중 적어도 하나가 제 1 및 제 2 패턴들 사이의 차이를 증가시키도록 수정될 수도 있다. 4212에서, 그 수정 및 하나 이상의 참조 뉴런들의 사용 후, 제 1 패턴은 제 1 자극으로써 참조될 수도 있고 제 2 패턴은 제 2 자극으로써 참조될 수도 있으며, 제 1 자극은 제 2 자극과는 구별될 수도 있다.
패턴 비교 및 일반화
본 개시물의 특정한 양태들은 패턴 비교의 방법들을 지원한다. 패턴 비교는 2 개의 저장된 또는 학습된 패턴들을 비교하는 능력을 나타낸다. 패턴이 하나의 참조 (패턴 학습) 뉴런에 저장되는 것을 필요로 하지 않을 수도 있지만, 그 패턴은 뉴런들의 관계형 양태 집단 (population) 에 의해 또는 다수의 참조 뉴런들 또는 그것들의 조합에 의해 저장될 수도 있다. 예를 들어, 오프라인으로 (즉, 원래의 자극들 없이) 비교되는 것들인 둘 이상의 저장된 패턴들이 있을 수도 있거나, 또는 하나의 저장된 패턴과 자극으로 인해 현재 발생될 수도 있는 패턴이 있을 수도 있다. 본 개시물은 이것들을 비교하는 방법들을 제공한다.
도 43은 본 개시물의 특정한 양태들에 따른 신경 연결성 도면 (4300) 의 일 예를 도시한다. 일 양태에서, 뉴런 x는 제 1 패턴에 대한 참조일 수도 있고 뉴런 y는 제 2 패턴에 대한 참조일 수도 있는 반면, 위에서 설명된 바와 같이, 관계형 양태 학습 뉴런들 (p 내지 s) 은 양쪽 모두의 패턴들의 리플레이를 학습했다. 2 개의 패턴들을 비교하기 위하여, 제어들은 대응하는 패턴의 리플레이를 발사하고 호출하기 위해 뉴런들 (x 및 y) 중 하나 또는 다른 하나를 유도하는데 사용될 수도 있다. 게다가, 구심들 (a 내지 d) 에서의 그 패턴이 (i) 대응하는 뉴런 또는 (ii) 다른 패턴에 대응하는 뉴런, (iii) 양쪽 모두에 의해 매칭될 수 있는지, 또는 (iv) 어느 쪽도 아닌지가가 체크될 수도 있다. 따라서, 저장된 패턴들은 오프라인 방식으로 비교될 수 있다. 마찬가지로, 저장된 패턴은 (구심들에 대한 자극에 의해 현재 발생하는) 구심들에서의 현재의 패턴과 비교될 수 있다.
더욱이, 패턴 비교는 측방향 저지에 의해 용이하게 될 수 있다. 일 양태에서, 뉴런들 (x 및 y) 은 서로 측방향으로 저지할 수도 있다 (도 43에 도시되지 않음). 뉴런들 (x 및 y) 에 의해 인식된/참조된 패턴들에 유사한 패턴이 플레이/리플레이되면, 그리고 뉴런 x가 먼저 발사하면, 그것은 뉴런 y 가 발사하는 것을 저지할 것이다. 어떤 의미로는, 제 1/최상의 매치가 다른 것을 방해할 수도 있다. 그 반면, 매치가 발생하지 않으면, 억제가 없을 수도 있고 극도로 미약한 매치가 조장될 수도 있다. 뉴런 x 또는 y가 (경우에 따라) 발사하기까지 매치가 더 양호할수록 지연이 더 작을 수도 있다.
2 개의 패턴들이 동일하지 않고 유사하면, 이 문제를 일반하는 것이 바람직할 수도 있다. 일반화는 높은 계층에서 또는 동일한 계층에서 발생할 수도 있다. 도면 (4300) 에서, 뉴런 t는 높은 계층 뉴런을 대표할 수도 있는 한편 뉴런 z는 (패턴 학습 뉴런들과) 동일한 계층에서의 뉴런을 대표할 수도 있다. 어느 경우건 (t 나 z) 리플레이를 용이하게 하는 관계형 양태 학습 뉴런들 (뉴런들 p 내지 s) 에 연결될 것이 필요하지 않다는 것에 주의해야 한다. 덧붙여서, 높은 계층의 경우에, 뉴런 t는 뉴런들 x 및 y에 직접 연결되는 것을 필요로 하지 않을 수도 있지만, 훨씬 높은 계층에서 (더 간접적으로) 그것이 필요할 수도 있다.
탐색이 일련의 패턴들을 리플레이하는 것에 의해 수행될 수도 있다. 타깃 패턴에 대한 매치가 더 가깝게 되면, 타겟 패턴에 대응하는 참조 뉴런은 더욱 더 발사할 가능성이 많아지게 될 (또는, 예를 들어, 그것의 발사 속도를 증가시킬) 수도 있다.
일반화는 온라인 (플레이 동안) 또는 오프라인 (리플레이와 함께) 으로 발생할 수도 있다. 패턴들을 플레이 또는 리플레이하는 것에 의해 일반화 뉴런은 양쪽 모두의 패턴들에 대해 발사를 학습할 수도 있다. 핵심은 발사가, 이를테면 저지에 의해, 상호 배타적이 되지 않을 수도 있다는 것일 수 있다. 예를 들어, 뉴런 z의 경우에, 뉴런 z에 대해 뉴런들 (x 및 y) 에 의해 이미 참조된 패턴들을 일반화하는 것이 바람직하면, 뉴런 x 또는 y의 발사는 뉴런 z가 발사하는 것을 저지하지 않아야 한다.
도 44는 본 개시물의 특정한 양태들에 따른 신경 비교를 위한 예의 동작들 (4400) 을 도시한다. 4402에서, 하나 이상의 입력들의 세트에서의 제 1 패턴이 제 1 자극으로써 참조될 수도 있다. 4404에서, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태가 학습될 수도 있다. 4406에서, 하나 이상의 입력들의 세트에서의 제 2 패턴이 제 2 자극으로써 참조될 수도 있다. 4408에서, 제 1 패턴은 리플레이될 수도 있다. 4410에서, 제 1 패턴은 리플레이와 제 1 및 제 2 패턴들의 참조에 기초하여 제 2 패턴과 비교될 수도 있다.
도 45는 본 개시물의 특정한 양태들에 따른 신경 패턴 일반화를 위한 예의 동작들 (4500) 을 도시한다. 4502에서, 하나 이상의 입력들의 세트에서의 제 1 패턴이 제 1 자극으로써 참조될 수도 있다. 4504에서, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태가 학습될 수도 있다. 4506에서, 하나 이상의 입력들의 세트에서의 제 2 패턴이 제 2 자극으로써 참조될 수도 있다. 4508에서, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태가 학습될 수도 있다. 4510에서, 제 1 패턴 또는 제 2 패턴 중 적어도 하나는 제 1 및 제 2 자극들 없이 리플레이될 수도 있다. 4512에서, 제 1 및 제 2 패턴들의 일반화가 리플레이에 기초하여 학습될 수도 있다.
수평 (자동) 연관
일 양태에서, 이를테면 특정 구심성 패턴을 유발할 수도 있는 특정 얼굴을 보는 감각 자극이 있을 수도 있다. (예컨대, 제 1 피질 영역: 시각에서의) 제 1 패턴 학습 뉴런은 위의 방법들에 따라 이 패턴을 학습할 수도 있다. 그러나, 다른 양상에서의 동시 (또는 심지어 그냥 시간적으로 가까운) 자극, 예를 들어, (예컨대, 제 2 피질 영역: 청각에서의) 제 2 패턴 학습 뉴런에 의해 학습될 수도 있는 커다른 사운드 패턴이 또한 있을 수도 있다. 일 양태에서, 제 1 패턴 학습 뉴런은 이 제 2 (청각적) 감각 양상 입력에 연결되지 않을 수도 있으며 그래서 이 사운드를 패턴의 부분으로서 학습할 수도 없다. 이 상황은 도 46에 도시되어 있다.
피질 영역 패턴 학습 뉴런들 (4602) 은 서로의 구심들에 연결되지 않을 수도 있다는 것에 주의해야 한다. 본 개시물의 관계형 양태 학습 뉴런들에 따르면, 관계형 양태 학습 뉴런들 (4604) 은 양쪽 모두의 양상들에서 구심들과 쌍을 이룰 수도 있다. 더구나, 그것들은 시각적 및 청각적 패턴 매칭/학습 뉴런들 양쪽 모두로부터 입력을 수신할 수도 있다. 따라서, 관계형 양태 학습 뉴런들은, 도 46에 나타내어진 바와 같이, 수상돌기 프로세스 (4606) 에 의해 제 2 피질 영역 관계형 양태 뉴런들 (4608) 로부터 제 1 피질 영역 참조 뉴런들 (4610) 의 축색돌기들까지 다른 피질 영역들의 원심들을 가로질러 연결될 수도 있다. 게다가, 제 1 피질 영역 구심들 (4612) 과 제 2 피질 영역 구심들 (4614) 은, 도 46에 예시된 바와 같이, 제 3 피질 영역 구심들에 연결될 수도 있다. 비록 도 46에서의 신경 연결도 (4600) 가 단지 하나의 이러한 수평 연결을 그리고 단지 하나의 방향으로만 도시하지만, 수평 연결들은 어느 하나의 피질 영역으로부터 관계형 학습 양태 뉴런들 중 하나 이상 (심지어 각각) 에 의해 만들어질 수도 있다.
리플레이를 트리거하는 것에 의해, 심지어 시각적 및 청각적 패턴들이 상이한 뉴런들에 의해 학습되었다고 하더라도, 리플레이는 시각 및 청각 패턴들 양쪽 모두를 포함할 수도 있다는 것에 주의해야 한다. 일 양태에서, 오프라인 학습 또는 기억 전달은 양쪽 모두를 연관시키고 조합된 패턴을 학습할 수도 있다 (예컨대, 피전달자 패턴 학습 뉴런은 시각 입력 및 청각 입력의 조합에 매칭할 수도 있다).
학습 속도 및 참조
자극이 더 이상 이용가능하지 않게 된 후에 패턴의 학습을 개선할 수 있게 된 장점이 학습 리파인먼트에 관해 위에서 논의되었다. 그러나, 본 개시물의 방법들은 더 큰 잠재력을 가질 수도 있다. 위의 일반적 논의들에서, 패턴 학습 (또는 적어도 매칭) 뉴런이 피질 섬유의 제 2 계층에서 사용되었다. 기술적으로, 이 패턴 학습 뉴런은 정말로 관계형 양태 학습에 대한 참조가 될 수도 있다. 지금 일어나고 있는 것은, 관계형 양태 학습이 각각의 구심으로부터의 패턴의 개개의 엘리먼트들에 관련하여 패턴 학습 뉴런의 출력을 사용하고 있다는 것일 수 있다. 그 참조가 패턴 학습 뉴런인지 또는 패턴 매칭 뉴런인지는 그 목적을 위해 중요하지 않다. 다르게 말하면, 참조 뉴런은 패턴 학습 (또는 매칭) 뉴런과는 다른 뉴런일 수 있다. 일 양태에서, 이 뉴런은 심지어 구심들에 연결되지 않을 수도 있다. 참조는 도 47의 신경 연결도 (4700) 의 뉴런 y에 의해 예시된다.
본 개시물의 하나의 양태에서, 패턴 학습 뉴런은 참조로서 사용될 수도 있는 반면, 패턴으로써 패턴 학습 뉴런 (및 강한 피드백이 있으면, 구심들) 의 일관된 발사를 획득하는 것이 요구되지만 뉴런이 그 패턴을 다른 것들로부터 (또는 단지 다른 유사한 패턴들로부터) 구별할 수 있는 시점까지 학습을 발전시키기에 충분히 길 것이 필요하지 않는 한, 단지 학습하는 일 외에는, 자극이 일반적으로 논의된 바와 같이 이용가능할 수도 있다. 다르게 말하면, 자극 동안의 학습은 매우 빠를 수도 있는데, 패턴 매칭 또는 구별 능력을 정말로 리파인하는 것이 필요하지 않을 수도 있어서이다. 이는 다른 개념들/입력들에 대한 연관을 가지고서 또는 그런 연관 없이 다른 뉴런으로의 전달 또는 (학습을 리파인하는) 동일한 뉴런을 사용하여 (자극 없이) 오프라인으로 행해질 수도 있다.
다른 양태에서, 구심들 중 하나는 참조로서 사용될 수도 있다. 이는 그 구심이 특정 패턴과 일관되게 연관되는 경우에 잘 작동할 수도 있고 (및, 예를 들어, 다른 패턴들이 존재하는 경우 발사하지 않을 수도 있다). 사실, 특정 구심이 이미 패턴의 양호한 표시자이면, 패턴을 학습할 동기유발이 적을 수도 있다. 하지만, 이는 반드시 그렇다고는 할 수도 없다. 예를 들어, 특정 모자 (hat) 가 사람의 특히 고유하거나 또는 구별하는 특징이 될지도 모른다. 그러나, 그것은 사람의 얼굴을 인식하는 중요성을 없애지는 않는다. 구심이 참조로서 사용되면, 그 구심에 다른 구심들을 연결할 필요가 없을 수도 있다. 도 47의 뉴런 y는 이러한 상황을 나타낼지도 모른다. 관계형 양태 학습 뉴런은 또한 참조로서 사용될 수 있다는 것에 주의해야 한다.
또 다른 양태에서, 피질 어레이 또는 신경 네트워크의 다른 부분으로부터의 뉴런 또는 진동을 사용하여 주기적으로 흥분되거나 또는 아니면 주의 표시 (attention marker) 와 같은 자극의 발생과 함께 발생하도록 제어되는 뉴런과 같이, 구심들 또는 패턴 매칭/학습 뉴런들과는 다른 별개의 뉴런을 사용하는 것이 가능할 수도 있다. 예를 들어, 주의는 얼굴에 고정될 수 있다고 가정될 수 있다. 시각 시스템이 얼굴에 대응하는 패턴으로써 구심들을 수신하고 있을 수도 있다. 주의 회로는 이 얼굴에 대한 주의에 일치하는 참조를 시각 시스템에 제공할 수도 있다. 그러면 그 참조는 일단 자극 (얼굴) 이 시야에서 사라지면 리플레이할 수 있는 정보를 저장하기 위해 관계형 양태 학습 뉴런들에 의해 사용될 수도 있다. 리플레이하기 위하여, 원래의 구심들을 통해 리플레이를, 위에서 설명된 바와 같이, 트리거하는 참조를 주의 회로는 트리거할 수도 있다. 그러면 이는 얼굴 패넌의 학습, 학습 리파인먼트, 학습 또는 기억 또는 정보의 전달, 또는 연관을 위해 사용될 수도 있다.
도 48은 본 개시물의 특정한 양태들에 따른 신경 성분 학습 리파인먼트 및 빠른 학습을 위한 예의 동작들 (4800) 을 도시한다. 4802에서, 복수의 구심성 뉴런 출력들에서의 패턴이 하나 이상의 패턴 학습 뉴런들로써 참조될 수도 있다. 4804에서, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들이, 하나 이상의 관계형 양태 뉴런들과 매칭될 수도 있다. 4806에서, 복수의 구심성 뉴런들 중 하나 이상이, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하도록 유도될 수도 있다. 4808에서, 하나 이상의 패턴 학습 뉴런들에 의한 학습이, 유도된 실질적으로 유사한 패턴을 사용하여 리파인될 수도 있다.
절차적 흐름, 반복 리플레이 및 지향성 흐름
본 개시물의 일 양태에서, 저지는 프로시저의 과정을 지시하는데 사용될 수 있다. 용어 프로시저는 원래의 자극을 이용한 관계형 양태 학습, 리플레이, 기억 전달, 또는 학습 리파인먼트 등과 같은 프로세스를 지칭하는데 사용될 수 있다. 프로시저는 특정 제어 또는 입력 (예컨대, 자극) 에 의해 트리거될 수도 있거나 또는 단지 네트워크의 진동에서의 하나의 상태가 될 수도 있다. 그렇더라도, 일단 트리거되면, 프로세스는, 도 49의 절차적 흐름 (4900) 에 예시된 바와 같이, 내부 동작들 (네트워크의 이전 활동에 기초한 상태 전이) 에 의해 또는 (로컬 어레이 또는 네트워크 영역 외부의) 외부 제어들에 의해 또는 그것들의 조합에 의해 제어될 수도 있다.
내부 제어의 일 예는, 이전 발사에 의해 구동되는 루프에서의 구심 발사, 패턴 뉴런 발사, 관계형 양태 뉴런 발사, 다시 구심 발사 등 사이의 진동일 수 있다 (구심 발사는 패턴 뉴런 발사 등을 구동할 수도 있다). 외부 제어의 일 예는 외부 제어 신호들 (어레이 외부의 다른 뉴런들) 로 인해 발사하게 패턴 뉴런을 유도하는 것일 수 있다. 조합은 또한 초기 활동이 제어에 의해 트리거될 수도 있도록 사용될 수도 있지만, 발생하는 후속 진동은 자가 유발적일 수도 있다. 이것에 대한 변형예들은 자가 트리거이지만 제어되는 진동을 포함할 수도 있다. 그렇더라도, 흥분에 더하여, 저지는 (어떤 상태가 다음에 발생하는지를 결정하는) 절차적 흐름을 유효하게 하는데 사용될 수도 있다. 위의 설명에서, 특정 저지 (사전 시냅스적임) 는 관계형 양태 뉴런들이 (관계형 양태 학습 뉴런들로부터 다시 구심들로의 연결들에 작용하는 것과, 자극에 의해 또는 구심 발사에 의해 직접적으로 구동되는) 리플레이를 원래의 자극에 대한 노출 동안에 트리거하는 것을 방지하는데 사용되었다는 것에 주의해야 한다.
그러나, 이 일반적 아이디어는 다수의 대체 방법들에 및 다른 프로시저들에 적용될 수도 있다. 먼저, 기억 전달 프로세스는 후자의 일 예로서 간주될 수 있다. 기억 전달을 위한 리플레이 동안, 구심들은 패턴을 플레이백할 수도 있다. 그 패턴은 관계형 양태 학습 뉴런들에 접속될 수도 있는 패턴 매칭 뉴런 (또는 참조) 에 의해 매칭될 수도 있다. 따라서, 리플레이는 다시 리플레이를 호출할 수도 있다. 위에서 언급된 특정 저지로 인해, 반복된 리플레이는 차단될 수도 있다. 이 차단은, 반복된 리플레이가 바람직하거나, 또는 다른 제어 (예컨대, 참조 또는 패턴 뉴런의 주기적 자극) 가 반복을 호출하기 위해 추가될 수도 있으면 제거될 수도 있다.
그러나, 반복은 바람직하지 않을 수도 있고 게다가, 심지어 관계형 양태 뉴런들의 재발사가 바람직하지 않을 수도 있다. 이에 대한 이유는, (관계형 양태들의) 학습 리파인먼트가 (예컨대, 기억 전달 동안) 바람직하지 않을 수도 있다는 것이다. 이를 차단하기 위해, 프로시저에서의 이전 이벤트 (발사) 는 원하지 않는 이벤트를 저지하는 드라이버로서 사용될 수도 있다. 구체적으로는, 저지성 인터뉴런이 참조 또는 패턴 매칭 뉴런으로부터 입력을 수신하고 그 동일한 뉴런 및 관계형 양태 뉴런(들) 사이에서 (및 관계형 양태 뉴런(들)로) 흥분성 연결(들) 상에서 출력하도록 연결될 수도 있다. 절차적 흐름에서의 단계들 사이의 시간에 상응하는 지연을 할당하는 것에 의해, 인터뉴런은 적절한 시기에 원치않는 이벤트들의 원인을 차단할 수도 있다. 따라서, 내부 연결성은 임의의 특정 프로시저에 대해 소망의 절차적 흐름을 보장하도록 설계될 수도 있다.
계층적 및 다층 리플레이와 다중 부분 패턴 완성
본 개시물의 특정한 양태들에 따르면, 계층적 및 다층 리플레이의 개념은, 네트워크의 다수의 계층들에서 위에서 설명된 리플레이 아키텍처의 개념을 적용하고, 계층적으로는, 하나 이상의 계층들에서 잠재적으로 리플레이하는 그것을 나타낼 수 있다. 다수의 계층들이 의미하는 것은, 네트워크에서의 일반화 또는 추상화의 가변하는 레벨들에서 뉴런들을 포함할 수도 있다. 계층적 리플레이가 의미하는 것은, 특정 패턴 학습 또는 참조 계층 (뉴런들) 에서 리플레이를 유도하는 것이, 학습된/참조된 패턴(들)의 리플레이를 그들 패턴 학습 또는 참조 계층 뉴런들의 구심들에서 다시 유도할 수도 있다는 것이다. 따라서, 리플레이는 계층식 네트워크에서 하향식 순서로 유도될 수도 있다.
계층적 리플레이는 도 50에 도시된 예 (5000) 로써 설명된다. 도 50의 뉴런들 (x, y, 및 z) 은 패턴 학습 뉴런들 (또는 참조들) 일 수도 있다. 그러나, 뉴런들 (x 및 y) 이 구심들 (a 및 b) 에서의 패턴들을 학습 또는 참조할 수도 있는 반면, 뉴런 z는 뉴런들 (x 및 y) 에서의 패턴을 학습 또는 참조할 수도 있다. 마찬가지로, 뉴런들 (p 및 q) 은 네트워크의 더 낮은 부분에 대한 관계형 양태 뉴런들일 수도 있는 반면, 뉴런들 (t 및 u) 은 상부 부분에 대한 관계형 양태 뉴런들일 수도 있다. 하부 계층에서의 패턴들의 리플레이는 상부 계층에서의 리플레이에 의해 호출될 수도 있다는 것에 주의해야 한다. 일 양태에서, 상부 계층에서의 리플레이는 뉴런 z의 발사에 의해 호출될 수도 있다. 예를 들어, 발사 시퀀스는 다음과 같이 진행할 수도 있다: z → t, u → x, y → p, q → a,b 등.
전략적 저지 연결성 또는 흥분성 부스트로, 더 큰 패턴 완성과 같은 추가의 프로세싱 목표들을 달성하는 것이 가능할 수도 있다. 패턴 완성을 위해, 뉴런 x에 의해 매칭된 패턴은 외부 자극으로 인해 발생할 수도 있고, 뉴런 y에 의해 매칭된 패턴이 결과로서 리플레이되는 것이 바람직할 수도 있다. 뉴런 x에 의해 매칭된 패턴이 발생하므로, 뉴런 x는 발사할 수도 있다. 민감도를 늘리거나 또는 뉴런 z의 임계치를 낮추는 것에 의해, 이 뉴런은 결과로서 발사하도록 유도될 수도 있다. 이제, 이는, 일부 중요한 예외들을 가지고서, 위에서 설명된 계층적 리플레이를 유도할 수도 있다. 첫째, 뉴런 x의 원본 패턴은 이미 발생하였다. 이는 (적어도 단기적으로) 뉴런 x가 추가 발사하는 것을 저지함으로써 뉴런 x에 의해 참조된 패턴의 리플레이를 저지하는데 사용될 수도 있다. 둘째, 뉴런 y의 패턴이 아직 발생하지 않았으므로, 뉴런 y는 발사가 저지되지 않을 수도 있다. 따라서, 뉴런들 (p 및 q) 은 뉴런 y에 의해 매칭된/참조된 패턴의 리플레이만을 호출하기 위해 발사할 수도 있다. 예의 프로세스는 도 51의 일 예의 흐름도 (5100) 에서 요약될 수 있다.
계층적 리플레이는, "연관적 완성 (associative completion)"이라 불릴 수도 있는 프로세스를 포함하여, 부가적인 추가 프로세싱하는 수단을 제공할 수도 있다. 예를 들어, 머신이 다음 부분들, 즉 A, B, C의 순서화된 리스트에 의해 추상적으로 표시된 패턴들의 시퀀스 (예컨대, 새소리 또는 스피치) 를 학습하고 있을 수도 있다. 일 양태에서, 부분 B는 부분 A를 뒤따를 수도 있고, 부분 C는 부분 B를 뒤따를 수도 있다. 일반성의 손실 없이, 초점은 연관에서의 하나의 단계 상에, 예를 들어 단계 A → B 상에 있을 수도 있다. 일 양태에서, 도 50에 예시된 네트워크는 뉴런들 (x 및 y) 에서 패턴들 (A 및 B) 을 학습할 수도 있다. 더구나, A → B의 순서는 뉴런 z에 의해 학습될 수도 있는데 그것이 (A 및 B를 참조하는) 뉴런들 (x 및 y) 의 발사의 시간적 양태들을 학습할 수도 있어서이다. 머신이 패턴 A를 단독으로 리플레이하는 것에 의해 시작하면, (제 1 부분이 또한 리플레이되었다는 것을 제외하면) 이것은 패턴 완성을 위해 위에서 설명된 바와 같이 연관된 B의 리플레이를 정확히 트리거하는데 사용될 수도 있다. 엘리먼트들을 네트워크에 추가하는 것에 의해, C의 리플레이는 B의 리플레이 등에 기초하여 호출될 수도 있다. 사실상, 시퀀스의 리플레이는 단계마다 호출될 수도 있다.
이제, 관찰력있는 독자는 다음을 물어볼 것이다: "B가 C 대신 또는 C에 더하여 A의 리플레이를 일으킬 것인가". 이를 피하기 위해, 즉, 시퀀스의 순방향 흐름을 유지하기 위해 수정들이 이루어지지 않는 한 그것은 사실 가능할 수 있다. 이를 하는 하나의 방법은 기간에 대한 각각의 계층 2 뉴런의 재발사를 그것이 이미 발사한 후에는 저지하는 것일 수도 있다. 이 기간은 2 부분 서로 떨어진 (즉, 사이에 하나의 부분을 가지는) 부분들 사이의 지속기간에 대응할 수도 있다.
이제, 그 관찰력있는 독자는 다음을 물어볼 것이다: 그것이 A→A→B 또는 A→B→A→C"와 같은 시퀀스의 리플레이를 방지할 것인가. 그 대답은 필요하지 않다. 부분 A에 매칭하는 단지 하나의 뉴런이 있다면, 이는 문제가 될 수도 있다. 그러나, 상이한 뉴런들이 시퀀스에서의 상이한 포인트들에서 패턴 A를 학습하도록 하는 측방향 저지로써, 다수의 계층 2 뉴런들에 패턴 A를 학습하는 것이 허용되면, 이 문제는 극복될 수도 있다.
마지막으로, 제어 입력들이 또한 리플레이를 네트워크의 특정한 레벨들로 제한하기 위해 제공될 수도 있다. 예를 들어, 리플레이는 하부 계층 참조 뉴런들의 발사를 저지하는 것에 의해 상부 계층들 (개념적 추상화 또는 패턴 인식의 더 높은 계층들) 로 제약되도록 제어될 수도 있다.
도 52는 본 개시물의 특정한 양태들에 따른 신경 패턴 시퀀스 완성을 위한 예의 동작들 (5200) 을 도시한다. 5202에서, 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스가 참조 뉴런들의 제 2 계층으로써 참조될 수도 있다. 5204에서, 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태가 학습될 수도 있다. 5206에서, 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스가 참조 뉴런들의 제 3 계층으로써 참조될 수도 있다. 5208에서, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태가 학습될 수도 있다. 5210에서, 제 1 계층 뉴런들에서의 패턴의 후속 부분이 패턴의 이전 부분의 재생 시에 리플레이될 수도 있다.
도 53은 본 개시물의 특정한 양태들에 따른 신경 패턴 계층적 리플레이를 위한 예의 동작들 (5300) 을 도시한다. 5302에서, 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스가 참조 뉴런들의 제 2 계층으로써 참조될 수도 있다. 5304에서, 각각의 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태가 학습될 수도 있다. 5306에서, 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스가 참조 뉴런들의 제 3 계층으로써 참조될 수도 있다. 5308에서, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태가 학습될 수도 있다. 5310에서, 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이가 참조 뉴런들의 제 3 계층에 기초하여 호출될 수도 있다. 5312에서, 제 1 계층에서의 패턴의 부분들의 그 시퀀스는 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이의 호출에 기초하여 리플레이될 수도 있다.
도 54는 본 개시물의 특정한 양태들에 따른 계층구조 없이 수행될 수도 있는 신경 패턴 시퀀스 완성을 위한 예의 동작들 (5400) 을 도시한다. 5402에서, 복수의 구심성 뉴런들에서의 패턴의 복수의 부분들이 복수의 참조 뉴런들로써 참조될 수도 있다. 5404에서, 패턴의 부분들 중 하나 이상은, 하나 이상의 관계형 양태 뉴런들로써, 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여 참조 뉴런들의 서브세트에 관련될 수도 있다. 5406에서, 패턴의 하나 이상의 나머지 부분들은, 하나 이상의 관계형 양태 뉴런들로써, 제 2 값보다 큰 지연에 기초하여 참조 뉴런들의 서브세트에 관련될 수도 있다. 5408에서, 패턴의 하나 이상의 나머지 부분들의 리플레이는 구심성 뉴런들에 의한 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 참조 뉴런들의 서브세트에 의해 유도될 수도 있다.
도 55는 본 개시물의 특정한 양태들에 따른 범용 프로세서 (5502) 를 이용한 신경 성분 리플레이, 학습 리파인먼트, 기억 전달, 연관 학습, 패턴 비교, 패턴 완성, 패턴 분리, 패턴 일반화, 계층구조를 이용한 패턴 시퀀스 완성, 및 패턴 계층적 리플레이를 위한 전술한 방법들의 일 예의 소프트웨어 구현예 (5500) 를 도시한다. 컴퓨테이션적 네트워크 (신경 네트워크) 의 각각의 연결 (시냅스) 에 연관된 가중치들 및 지연들은 메모리 블록 (5504) 에 저장될 수도 있지만, 범용 프로세서 (5502) 에서 실행되고 있는 앞서 언급된 방법들에 관련된 명령들은 프로그램 메모리 (5506) 로부터 로딩될 수도 있다.
본 개시물의 하나의 양태에서, 범용 프로세서 (5502) 에 로딩된 명령들은, 하나 이상의 패턴 학습 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하기 위한 코드, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키기 위한 코드, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하기 위한 코드, 유도된 실질적으로 유사한 패턴을 사용하여 하나 이상의 패턴 학습 뉴런들에 의한 학습을 리파인하기 위한 코드, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하기 위한 코드, 및 구조적 가소성을 사용하여 하나 이상의 관계형 양태 뉴런들과 함께 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들을 학습하기 위한 코드를 포함할 수도 있다. 다른 양태에서, 범용 프로세서 (5502) 에 로딩된 명령들은, 자극으로써 입력들의 세트에서의 패턴의 서브세트를 학습하기 위한 코드, 패턴의 엘리먼트들 및 패턴의 서브세트 사이의 관계형 양태를 학습하기 위한 코드, 자극 없이 학습된 관계형 양태를 사용하여 입력들의 세트에서의 패턴을 리플레이하기 위한 코드, 및 자극 없이 입력들의 세트에서의 패턴의 학습을 리파인하기 위한 코드를 포함할 수도 있다.
또 다른 양태에서, 범용 프로세서 (5502) 에 로딩된 명령들은, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하기 위한 코드, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하기 위한 코드, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 학습하기 위한 코드, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하기 위한 코드, 제 1 및 제 2 자극들 없이 학습된 관계형 양태들을 사용하여 입력들의 세트에서의 제 1 및 제 2 패턴들을 리플레이하기 위한 코드, 리플레이에 기초하여 제 1 및 제 2 패턴들을 연관시키기 위한 코드, 제 1 패턴과 제 2 패턴을 비교하기 위한 코드, 제 2 패턴 또는 제 2 자극 중 적어도 하나에 대한 노출에 응답하여 제 2 패턴으로부터 저하되어 있는 또는 누락한 제 1 패턴의 적어도 하나의 엘리먼트를 리플레이하기 위한 코드, 제 1 및 제 2 패턴들 사이의 차이를 증가시키기 위해 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 수정하기 위한 코드, 하나 이상의 참조 뉴런들을 사용한 수정 후, 제 1 자극으로써 제 1 패턴을 및 제 2 자극으로써 제 2 패턴을 참조하기 위한, 제 1 자극이 제 2 자극과는 구별될 수 있는, 코드, 및 제 1 및 제 2 패턴들의 일반화를 학습하기 위한 코드를 포함할 수도 있다.
또 다른 양태에서, 범용 프로세서 (5502) 에 로딩된 명령들은, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하기 위한 코드, 각각의 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하기 위한 코드, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하기 위한 코드, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하기 위한 코드, 참조 뉴런들의 제 3 계층에 기초하여 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이를 호출하기 위한 코드, 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이의 호출에 기초하여 제 1 계층에서의 패턴의 부분들의 그 시퀀스를 리플레이하기 위한 코드, 및 패턴의 이전 부분의 재생 시에 제 1 계층 뉴런들에서의 패턴의 후속 부분을 리플레이하기 위한 코드를 포함할 수도 있다.
또 다른 양태에서, 범용 프로세서 (5502) 에 로딩된 명령들은, 복수의 참조 뉴런들로써 복수의 구심성 뉴런들에서의 패턴의 복수의 부분들을 참조하기 위한 코드, 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 부분들 중 하나 이상을 참조 뉴런들의 서브세트에 관련시키기 위한 코드, 제 2 값보다 큰 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 하나 이상의 나머지 부분들을 참조 뉴런들의 서브세트에 관련시키기 위한 코드, 및 구심성 뉴런들에 의한 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 참조 뉴런들의 서브세트에 의한 패턴의 하나 이상의 나머지 부분들의 리플레이를 유도하기 위한 코드를 포함할 수도 있다.
도 56은 신경 성분 리플레이, 학습 리파인먼트, 기억 전달, 연관 학습, 패턴 비교, 패턴 완성, 패턴 분리, 패턴 일반화, 계층구조를 이용한 패턴 시퀀스 완성, 및 패턴 계층적 리플레이를 위한 앞서 언급된 방법들의 일 예 구현예 (5600) 를 도시하며, 여기서 메모리 (5602) 는 본 개시물의 특정한 양태들에 따른 컴퓨테이션적 네트워크 (신경 네트워크) 의 개개의 (분산된) 프로세싱 유닛들 (신경 프로세서들) (5606) 과는 상호접속 네트워크 (5604) 를 통해 인터페이싱될 수 있다. 컴퓨테이션적 네트워크 (신경 네트워크) 의 하나 이상의 연결들 (시냅스들) 에 연관된 하나 이상의 가중치들 및 지연들은, 메모리 (5602) 로부터 상호접속 네트워크 (5604) 의 연결(들)을 통해 각각의 프로세싱 유닛 (신경 프로세서) (5606) 에 로딩될 수도 있다.
본 개시물의 하나의 양태에서, 프로세싱 유닛 (5606) 은, 하나 이상의 패턴 학습 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하며, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키며, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하며, 유도된 실질적으로 유사한 패턴을 사용하여 상기 하나 이상의 패턴 학습 뉴런들에 의한 학습을 리파인하며, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하는 것에 의해 패턴을 하나 이상의 피전달자 뉴런들에 전달하고, 구조적 가소성을 사용하여 하나 이상의 관계형 양태 뉴런들과 함께 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들을 학습하도록 구성될 수도 있다. 다른 양태에서, 프로세싱 유닛 (5606) 은, 자극으로써 입력들의 세트에서의 패턴의 서브세트를 학습하며, 패턴의 엘리먼트들 및 패턴의 서브세트 사이의 관계형 양태를 학습하며, 자극 없이 학습된 관계형 양태를 사용하여 입력들의 세트에서의 패턴을 리플레이하고, 자극 없이 입력들의 세트에서의 패턴의 학습을 리파인하도록 구성될 수도 있다.
또 다른 양태에서, 프로세싱 유닛 (5606) 은, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하며, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하며, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하며, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하며, 제 1 및 제 2 자극들 없이 학습된 관계형 양태들을 사용하여 입력들의 세트에서의 제 1 및 제 2 패턴들을 리플레이하며, 리플레이에 기초하여 제 1 및 제 2 패턴들을 연관시키며, 제 1 패턴과 제 2 패턴을 비교하며, 제 2 패턴 또는 제 2 자극 중 적어도 하나에 대한 노출에 응답하여 제 2 패턴으로부터 저하되어 있는 또는 누락한 제 1 패턴의 적어도 하나의 엘리먼트를 리플레이하며, 제 1 및 제 2 패턴들 사이의 차이를 증가시키기 위해 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 수정하며, 하나 이상의 참조 뉴런들을 사용한 수정 후, 제 1 자극으로써 제 1 패턴을 및 제 2 자극으로써 제 2 패턴을 참조하며, 제 1 자극은 제 2 자극과는 구별될 수 있고, 제 1 및 제 2 패턴들의 일반화를 학습하도록 구성될 수도 있다.
또 다른 양태에서, 프로세싱 유닛 (5606) 은, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하며, 각각의 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하며, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하며, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하며, 참조 뉴런들의 제 3 계층에 기초하여 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이를 호출하며, 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이의 호출에 기초하여 제 1 계층에서의 패턴의 부분들의 그 시퀀스를 리플레이하고, 패턴의 이전 부분의 재생 시에 제 1 계층 뉴런들에서의 패턴의 후속 부분을 리플레이하도록 구성될 수도 있다.
또 다른 양태에서, 프로세싱 유닛 (5606) 은, 복수의 참조 뉴런들로써 복수의 구심성 뉴런들에서의 패턴의 복수의 부분들을 참조하며, 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 부분들 중 하나 이상을 참조 뉴런들의 서브세트에 관련시키며, 제 2 값보다 큰 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 하나 이상의 나머지 부분들을 참조 뉴런들의 서브세트에 관련시키고, 구심성 뉴런들에 의한 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 참조 뉴런들의 서브세트에 의한 패턴의 하나 이상의 나머지 부분들의 리플레이를 유도하도록 구성될 수도 있다.
도 57은 본 개시물의 특정한 양태들에 따른 분산된 가중치/지연 메모리들 (5702) 및 분산된 프로세싱 유닛들 (신경 프로세서들) (5704) 에 기초한 신경 시간적 코딩을 위한 앞서 언급된 방법들의 일 예의 구현예 (5700) 를 도시한다. 도 57에 예시된 바와 같이, 하나의 메모리 뱅크 (5702) 는 컴퓨테이션적 네트워크 (신경 네트워크) 의 하나의 프로세싱 유닛 (5704) 과 직접 인터페이싱될 수도 있으며, 그 메모리 뱅크 (5702) 는 그 프로세싱 유닛 (신경 프로세서) (5704) 에 연관된 하나 이상의 가중치들 및 하나 이상의 연결들 (시냅스들) 의 지연들을 저장할 수도 있다.
본 개시물의 하나의 양태에서, 프로세싱 유닛 (5704) 은, 하나 이상의 패턴 학습 뉴런들로써 복수의 구심성 뉴런 출력들에서의 패턴을 참조하며, 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들과 하나 이상의 관계형 양태 뉴런들을 매칭시키며, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들 중 하나 이상을 유도하며, 유도된 실질적으로 유사한 패턴을 사용하여 상기 하나 이상의 패턴 학습 뉴런들에 의한 학습을 리파인하며, 하나 이상의 참조 뉴런들에 의한 참조된 패턴과 제 1 실질적으로 유사한 패턴을 출력하기 위해 복수의 구심성 뉴런들을 유도하는 것에 의해 패턴을 하나 이상의 피전달자 뉴런들에게 전달하고, 구조적 가소성을 사용하여 하나 이상의 관계형 양태 뉴런들과 함께 복수의 구심성 뉴런 출력들에서의 패턴 및 하나 이상의 참조 뉴런들의 출력 사이의 하나 이상의 관계형 양태들을 학습하도록 구성될 수도 있다. 다른 양태에서, 프로세싱 유닛 (5704) 은, 자극으로써 입력들의 세트에서의 패턴의 서브세트를 학습하며, 패턴의 엘리먼트들 및 패턴의 서브세트 사이의 관계형 양태를 학습하며, 자극 없이 학습된 관계형 양태를 사용하여 입력들의 세트에서의 패턴을 리플레이하고, 자극 없이 입력들의 세트에서의 패턴의 학습을 리파인하도록 구성될 수도 있다.
또 다른 양태에서, 프로세싱 유닛 (5704) 은, 제 1 자극으로써 하나 이상의 입력들의 세트에서의 제 1 패턴을 참조하며, 입력들의 세트에서의 제 1 패턴의 하나 이상의 엘리먼트들 및 제 1 패턴의 참조 사이의 관계형 양태를 학습하며, 제 2 자극으로써 하나 이상의 입력들의 세트에서의 제 2 패턴을 참조하며, 입력들의 세트에서의 제 2 패턴의 하나 이상의 엘리먼트들 및 제 2 패턴의 참조 사이의 관계형 양태를 학습하며, 제 1 및 제 2 자극들 없이 학습된 관계형 양태들을 사용하여 입력들의 세트에서의 제 1 및 제 2 패턴들을 리플레이하며, 리플레이에 기초하여 제 1 및 제 2 패턴들을 연관시키며, 제 1 패턴과 제 2 패턴을 비교하며, 제 2 패턴 또는 제 2 자극 중 적어도 하나에 대한 노출에 응답하여 제 2 패턴으로부터 저하되어 있는 또는 누락한 제 1 패턴의 적어도 하나의 엘리먼트를 리플레이하며, 제 1 및 제 2 패턴들 사이의 차이를 증가시키기 위해 제 1 패턴 또는 제 2 패턴 중 적어도 하나를 수정하며, 하나 이상의 참조 뉴런들을 사용한 수정 후, 제 1 자극으로써 제 1 패턴을 및 제 2 자극으로써 제 2 패턴을 참조하며, 제 1 자극은 제 2 자극과는 구별될 수 있고, 제 1 및 제 2 패턴들의 일반화를 학습하도록 구성될 수도 있다.
또 다른 양태에서, 프로세싱 유닛 (5704) 은, 참조 뉴런들의 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 패턴의 부분들의 각각의 시퀀스를 참조하며, 각각의 패턴의 하나 이상의 엘리먼트들 및 패턴의 부분들의 그 시퀀스의 참조 사이의 관계형 양태를 학습하며, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스를 참조하며, 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 제 2 계층에서의 패턴 시퀀스의 참조 사이의 관계형 양태를 학습하며, 참조 뉴런들의 제 3 계층에 기초하여 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이를 호출하며, 제 2 계층에서의 패턴 시퀀스의 참조의 리플레이의 호출에 기초하여 제 1 계층에서의 패턴의 부분들의 그 시퀀스를 리플레이하고, 패턴의 이전 부분의 재생 시에 제 1 계층 뉴런들에서의 패턴의 후속 부분을 리플레이하도록 구성될 수도 있다.
또 다른 양태에서, 프로세싱 유닛 (5704) 은, 복수의 참조 뉴런들로써 복수의 구심성 뉴런들에서의 패턴의 복수의 부분들을 참조하며, 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 부분들 중 하나 이상을 참조 뉴런들의 서브세트에 관련시키며, 제 2 값보다 큰 지연에 기초하여, 하나 이상의 관계형 양태 뉴런들로써, 패턴의 하나 이상의 나머지 부분들을 참조 뉴런들의 서브세트에 관련시키고, 구심성 뉴런들에 의한 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 참조 뉴런들의 서브세트에 의한 패턴의 하나 이상의 나머지 부분들의 리플레이를 유도하도록 구성될 수도 있다.
특정 용어들, 이를테면 뉴런 또는 시냅스가 본 개시물에서의 컴포넌트들을 설명하기 위해 사용되지만, 본 개시물의 개념들은 동등한 유닛들 또는 엘리먼트들을 갖는 동등한 대체 형태들로 구현될 수 있다는 것이 이해되어야 한다.
비록 본원의 실시형태들이 신경 네트워크들을 스파이크하기 위해 도시되지만, 레이트 기반 신경 네트워크들을 포함하지만 그것들로 한정되지 않는 다른 신경 네트워크 유형들에 대한 이들 개념들의 사용은 또한 본 개시물의 범위 내에 있다.
위에서 설명된 방법들의 다양한 동작들은 대응하는 기능들을 수행할 수 있는 임의의 적합한 수단에 의해 수행될 수도 있다, 그 수단은, 회로, 주문형 집적회로 (ASIC), 또는 프로세서를 포함하지만 그것들로 제한되지 않는 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들) 및/또는 모듈(들)을 포함할 수도 있다. 일반적으로, 도면들에 예시된 동작들이 있는 경우, 그들 동작들은 비슷한 번호부여를 갖는 상응하는 대응부분의 수단 더하기 기능 컴포넌트들을 가질 수도 있다. 예를 들어, 도 8, 도 16, 도 23, 도 24, 도 29, 도 35, 도 36, 도 41, 도 42, 도 44, 도 45, 도 48, 도 52, 도 53 및 도 54에 예시된 동작들 (800, 1600, 2300, 2400, 2900, 3500, 3600, 4100, 4200, 4400, 4500, 4800, 5200, 5300 및 5400) 은, 도 8a, 도 16a, 도 23a, 도 24a, 도 29a, 도 35a, 도 36a, 도 41a, 도 42a, 도 44a, 도 45a, 도 48a, 도 52a, 도 53a 및 도 54a에 예시된 컴포넌트들 (800A, 1600A, 2300A, 2400A, 2900A, 3500A, 3600A, 4100A, 4200, 4400A, 4500A, 4800A, 5200A, 5300A 및 5400A) 에 대응한다.
본원에서 사용되는 바와 같이, 용어 "결정하는"은 매우 다양한 액션들을 포함한다. 예를 들어 "결정하는 (determining)"은 계산하는 (calculating), 컴퓨팅하는 (computing), 처리하는, 도출하는 (deriving), 조사하는 (investigating), 찾아보는 (looking up) (예컨대, 테이블, 데이터베이스 또는 다른 데이터 구조), 확인하는 (ascertaining) 등을 포함할 수도 있다. 또한, "결정하는"은 수신하는 (예컨대, 정보를 수신하는), 액세스하는 (예컨대, 메모리 내의 데이터를 액세스) 등을 포함할 수도 있다. 또한, "결정하는"은 해결하며 (resolving), 선택하며 (selecting), 선정하며 (choosing), 확립하며 등을 포함할 수도 있다.
본원에서 사용되는 바와 같이, 항목들의 목록 "중 적어도 하나"를 말하는 어구는 단일 맴버들을 포함한 그런 항목들의 어떤 조합을 말한다. 일 예로서, "a, b, 또는 c 중 적어도 하나"는 a, b, c, a-b, a-c, b-c, 및 a-b-c를 포괄하도록 의도된다.
본 개시물에 관련하여 설명된 다양한 구체적인 논리 블록들, 모듈들, 및 회로들은 본원에서 설명된 기능들을 수행하도록 설계된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA) 또는 다른 프로그램가능 로직 디바이스 (PLD), 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 컴포넌트들 또는 그것들의 임의의 조합으로 구현되거나 실시될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로는, 이 프로세서는 임의의 상업적으로 입수가능한 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예컨대, DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 협력하는 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로 구현될 수도 있다.
본 개시물에 관련하여 설명된 방법 또는 알고리즘의 단계들이 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이들 둘의 조합으로 바로 구현될 수도 있다. 소프트웨어 모듈이 당해 분야에서 알려진 저장 매체의 임의의 형태에 상주할 수도 있다. 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈식 디스크, CD-ROM 등을 포함하는 저장 매체들의 일부 예들이 사용될 수도 있다. 소프트웨어 모듈은 단일 명령, 또는 많은 명령들을 포함할 수도 있고, 여러 상이한 코드 세그먼트들을 통해, 상이한 프로그램들 사이에서 그리고 다수의 저장 매체들에 걸쳐 배포될 수도 있다. 저장 매체는 프로세서가 저장 매체로부터 정보를 읽을 수 있고 그 저장 매체에 정보를 쓸 수 있도록 프로세서에 결합될 수도 있다. 대체예에서, 저장 매체는 프로세서에 통합될 수도 있다.
본원에 개시된 방법들은 설명된 방법을 성취하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 이 방법 단계들 및/또는 동작들은 청구항들의 범위로부터 벗어남 없이 서로 교환될 수도 있다. 다르게 말하면, 단계들 또는 동작들의 구체적인 순서가 특정되지 않는 한, 구체적인 단계들 및/또는 동작들의 순서 및/또는 사용은 청구항들의 범위로부터 벗어나는 일 없이 수정될 수도 있다.
따라서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이것들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 전달될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로의 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 운반하거나 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 디스크 (disk 및 disc) 는 본원에서 사용되는 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 (floppy disk) 및 Blu-ray® 디스크를 포함하는데, disk들은 보통 데이터를 자기적으로 재생하지만, disc들은 레이저들로써 광적으로 데이터를 재생한다. 따라서, 일부 양태들에서 컴퓨터 판독가능 매체들은 비일시적 컴퓨터 판독가능 매체들 (예컨대, 유형의 매체들) 을 포함할 수도 있다. 상기한 것들의 조합들은 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
따라서, 특정한 양태들은 본원에서 제시된 동작들을 수행하는 컴퓨터 프로그램 제품을 포함할 수도 있다. 예를 들어, 이러한 컴퓨터 프로그램 제품은 본원에서 설명되는 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능한 명령들을 저장하고 있는 (및/또는 인코딩하고 있는) 컴퓨터 판독가능 매체를 포함할 수도 있다. 특정 양태들의 경우, 컴퓨터 프로그램 제품은 패키징 자료를 포함할 수도 있다.
삭제
게다가, 본원에서 설명되는 방법들 및 기법들을 수행하는 모듈들 및/또는 다른 적절한 수단이 사용자 단말 및/또는 기지국에 의해 적용가능한 것으로서 다운로드되고 및/또는 그렇지 않으면 획득될 수 있다는 것이 이해되어야 한다. 예를 들어, 이러한 디바이스는 본원에서 설명되는 방법들을 수행하는 수단의 전달을 용이하게 하기 위해 서버에 연결될 수 있다. 대안으로, 본원에서 설명되는 다양한 방법들은 저장 수단 (예컨대, RAM, ROM, 물리적 저장 매체 이를테면 콤팩트 디스크 (CD) 또는 플로피 디스크 등) 을 통해 제공될 수도 있어서, 사용자 단말 및/또는 기지국은 그 디바이스에 저장 수단을 연결 또는 제공 시에 다양한 방법들을 획득할 수도 있다. 더구나, 본원에서 설명되는 방법들 및 기법들을 디바이스에 제공하는 임의의 다른 적합한 기법이 활용될 수 있다.
청구항들이 본원에 도시된 바로 그 구성 및 컴포넌트들로 제한되지는 않는다는 것이 이해된다. 청구항들의 범위로부터 벗어나는 일없이 위에서 설명된 시스템들, 방법들, 및 장치의 배열 (arrangement), 동작 및 세부사항들에서 다양한 수정들, 변경들 및 변형들이 만들어질 수도 있다.
전술한 바가 본 개시물의 양태들을 지향하고 있지만, 본 개시물의 다른 및 추가의 양태들은 그것의 기본 범위로부터 벗어나는 일 없이 고안될 수도 있고, 그것의 범위는 다음의 청구항들에 의해 결정된다.
Claims (119)
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 신경 패턴 시퀀스 완성을 위한 장치에 의해 수행되는 신경 패턴 시퀀스 완성의 방법으로서,
패턴의 부분들의 각각의 시퀀스를 생성하도록 참조 뉴런들의 제 2 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 상기 패턴의 부분들의 각각의 시퀀스를 참조하는 단계;
상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계를 학습하는 단계로서, 상기 엘리먼트들은 스파이크들을 포함하는, 상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계를 학습하는 단계;
상기 패턴 시퀀스를 생성하도록 참조 뉴런들의 제 3 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 3 계층으로써 참조 뉴런들의 상기 제 2 계층에서의 패턴 시퀀스를 참조하는 단계;
패턴 시퀀스의 상기 하나 이상의 엘리먼트들 및 참조 뉴런들의 상기 제 3 계층에 의한 상기 패턴 시퀀스의 발사 사이의 다른 관계를 학습하는 단계; 및
상기 패턴의 이전 부분의 재생 (producing) 시에, 상기 제 1 계층 뉴런들에서의 상기 패턴의 후속 부분을 리플레이하는 단계로서, 제 2 계층 입력에 대한 참조 뉴런들의 상기 제 3 계층의 감도 (sensitivity) 는 상기 리플레이 동안 증가되고, 참조 뉴런들의 상기 제 2 계층 또는 제 3 계층 중 적어도 하나의 활성화 (activation) 는 역방향 리플레이를 저지하는 것에 의해 상기 패턴 시퀀스의 포워드 리플레이를 유지하기 위하여 상기 활성화된 참조 뉴런들의 근시간 재활성화 (near-term re-activation) 을 저지하는, 상기 제 1 계층 뉴런들에서의 상기 패턴의 후속 부분을 리플레이하는 단계를 포함하는, 신경 패턴 시퀀스 완성의 방법. - 제 66 항에 있어서,
상기 패턴의 재생된 상기 이전 부분에 기초하여 참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 호출하는 단계; 및
참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 제어하고 참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런을 호출하는 단계를 더 포함하고,
참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런은 적어도 참조 뉴런들의 상기 제 2 계층에서의 상기 패턴 시퀀스의 후속 부분을 완성하도록 리플레이를 호출하고,
참조 뉴런들의 상기 제 2 계층에서의 리플레이는 적어도 상기 제 1 계층 뉴런들에서의 상기 패턴 시퀀스의 후속 부분을 완성하기 위해 상기 제 1 계층 뉴런들에서의 리플레이를 호출하는, 신경 패턴 시퀀스 완성의 방법. - 제 66 항에 있어서,
상기 패턴의 이전 부분의 재생은 외부 자극에 기초하는, 신경 패턴 시퀀스 완성의 방법. - 제 66 항에 있어서,
상기 패턴의 이전 부분의 재생은 이전 리플레이에 기초하는, 신경 패턴 시퀀스 완성의 방법. - 제 66 항에 있어서,
참조 뉴런들의 상기 제 3 계층 중 각각의 뉴런은 참조 뉴런들의 상기 제 2 계층의 상기 패턴에서의 2 이상의 부분들의 시퀀스를 참조하는, 신경 패턴 시퀀스 완성의 방법. - 삭제
- 제 66 항에 있어서,
상기 패턴은 반복된 부분의 적어도 2 회의 발생들을 갖는 시퀀스를 포함하고,
상기 발생들 각각은 참조 뉴런들의 상기 제 2 계층 중 상이한 뉴런에 의해 참조되는, 신경 패턴 시퀀스 완성의 방법. - 삭제
- 삭제
- 신경 패턴 시퀀스 완성을 위한 장치로서,
패턴의 부분들의 각각의 시퀀스를 생성하도록 참조 뉴런들의 제 2 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 상기 패턴의 부분들의 각각의 시퀀스를 참조하도록 구성된 제 1 회로;
상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계를 학습하도록 구성된 제 2 회로로서, 상기 엘리먼트들은 스파이크들을 포함하는, 상기 제 2 회로;
상기 패턴 시퀀스를 생성하도록 참조 뉴런들의 제 3 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 3 계층으로써 참조 뉴런들의 상기 제 2 계층에서의 패턴 시퀀스를 참조하도록 구성된 제 3 회로;
패턴 시퀀스의 상기 하나 이상의 엘리먼트들 및 참조 뉴런들의 상기 제 3 계층에 의한 상기 패턴 시퀀스의 발사 사이의 다른 관계를 학습하도록 구성된 제 4 회로; 및
상기 패턴의 이전 부분의 재생 (producing) 시에, 상기 제 1 계층 뉴런들에서의 상기 패턴의 후속 부분을 리플레이하도록 구성된 제 5 회로로서, 제 2 계층 입력에 대한 참조 뉴런들의 상기 제 3 계층의 감도 (sensitivity) 는 상기 리플레이 동안 증가되고, 참조 뉴런들의 상기 제 2 계층 또는 제 3 계층 중 적어도 하나의 활성화 (activation) 는 역방향 리플레이를 저지하는 것에 의해 상기 패턴 시퀀스의 포워드 리플레이를 유지하기 위하여 상기 활성화된 참조 뉴런들의 근시간 재활성화 (near-term re-activation) 을 저지하는, 상기 제 5 회로를 포함하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 75 항에 있어서,
상기 패턴의 재생된 상기 이전 부분에 기초하여 참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 호출하도록 구성된 제 6 회로; 및
참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 제어하고 참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런을 호출하도록 구성된 제 7 회로를 더 포함하고,
참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런은 적어도 참조 뉴런들의 상기 제 2 계층에서의 상기 패턴 시퀀스의 후속 부분을 완성하도록 리플레이를 호출하고,
참조 뉴런들의 상기 제 2 계층에서의 리플레이는 적어도 상기 제 1 계층 뉴런들에서의 상기 패턴 시퀀스의 후속 부분을 완성하기 위해 상기 제 1 계층 뉴런들에서의 리플레이를 호출하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 75 항에 있어서,
상기 패턴의 이전 부분의 재생은 외부 자극에 기초하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 75 항에 있어서,
상기 패턴의 이전 부분의 재생은 이전 리플레이에 기초하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 75 항에 있어서,
참조 뉴런들의 상기 제 3 계층 중 각각의 뉴런은 참조 뉴런들의 상기 제 2 계층의 상기 패턴에서의 2 이상의 부분들의 시퀀스를 참조하는, 신경 패턴 시퀀스 완성을 위한 장치. - 삭제
- 제 75 항에 있어서,
상기 패턴은 반복된 부분의 적어도 2 회의 발생들을 갖는 시퀀스를 포함하고,
상기 발생들 각각은 참조 뉴런들의 상기 제 2 계층 중 상이한 뉴런에 의해 참조되는, 신경 패턴 시퀀스 완성을 위한 장치. - 삭제
- 삭제
- 신경 패턴 시퀀스 완성을 위한 장치로서,
패턴의 부분들의 각각의 시퀀스를 생성하도록 참조 뉴런들의 제 2 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 상기 패턴의 부분들의 각각의 시퀀스를 참조하는 수단;
상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계를 학습하는 수단으로서, 상기 엘리먼트들은 스파이크들을 포함하는, 상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계를 학습하는 수단;
상기 패턴 시퀀스를 생성하도록 참조 뉴런들의 제 3 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 3 계층으로써 참조 뉴런들의 상기 제 2 계층에서의 패턴 시퀀스를 참조하는 수단;
패턴 시퀀스의 상기 하나 이상의 엘리먼트들 및 참조 뉴런들의 상기 제 3 계층에 의한 상기 패턴 시퀀스의 발사 사이의 다른 관계를 학습하는 수단; 및
상기 패턴의 이전 부분의 재생 (producing) 시에, 상기 제 1 계층 뉴런들에서의 상기 패턴의 후속 부분을 리플레이하는 수단으로서, 제 2 계층 입력에 대한 참조 뉴런들의 상기 제 3 계층의 감도 (sensitivity) 는 상기 리플레이 동안 증가되고, 참조 뉴런들의 상기 제 2 계층 또는 제 3 계층 중 적어도 하나의 활성화 (activation) 는 역방향 리플레이를 저지하는 것에 의해 상기 패턴 시퀀스의 포워드 리플레이를 유지하기 위하여 상기 활성화된 참조 뉴런들의 근시간 재활성화 (near-term re-activation) 을 저지하는, 상기 제 1 계층 뉴런들에서의 상기 패턴의 후속 부분을 리플레이하는 수단을 포함하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 84 항에 있어서,
상기 패턴의 재생된 상기 이전 부분에 기초하여 참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 호출하는 수단; 및
참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 제어하고 참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런을 호출하는 수단을 더 포함하고,
참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런은 적어도 참조 뉴런들의 상기 제 2 계층에서의 상기 패턴 시퀀스의 후속 부분을 완성하도록 리플레이를 호출하고,
참조 뉴런들의 상기 제 2 계층에서의 리플레이는 적어도 상기 제 1 계층 뉴런들에서의 상기 패턴 시퀀스의 후속 부분을 완성하기 위해 상기 제 1 계층 뉴런들에서의 리플레이를 호출하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 84 항에 있어서,
상기 패턴의 이전 부분의 재생은 외부 자극에 기초하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 84 항에 있어서,
상기 패턴의 이전 부분의 재생은 이전 리플레이에 기초하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 84 항에 있어서,
참조 뉴런들의 상기 제 3 계층 중 각각의 뉴런은 참조 뉴런들의 상기 제 2 계층의 상기 패턴에서의 2 이상의 부분들의 시퀀스를 참조하는, 신경 패턴 시퀀스 완성을 위한 장치. - 삭제
- 제 84 항에 있어서,
상기 패턴은 반복된 부분의 적어도 2 회의 발생들을 갖는 시퀀스를 포함하고,
상기 발생들 각각은 참조 뉴런들의 상기 제 2 계층 중 상이한 뉴런에 의해 참조되는, 신경 패턴 시퀀스 완성을 위한 장치. - 삭제
- 삭제
- 신경 패턴 시퀀스 완성을 위한
명령을 저장하는 컴퓨터 판독가능 저장 매체로서
상기 명령은,
패턴의 부분들의 각각의 시퀀스를 생성하도록 참조 뉴런들의 제 2 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 상기 패턴의 부분들의 각각의 시퀀스를 참조하고;
상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계를 학습하고, 상기 엘리먼트들은 스파이크들을 포함하고;
상기 패턴 시퀀스를 생성하도록 참조 뉴런들의 제 3 계층을 학습하는 것에 의해, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 상기 제 2 계층에서의 패턴 시퀀스를 참조하고;
패턴 시퀀스의 상기 하나 이상의 엘리먼트들 및 참조 뉴런들의 상기 제 3 계층에 의한 상기 패턴 시퀀스의 발사 사이의 다른 관계를 학습하고;
상기 패턴의 이전 부분의 재생 (producing) 시에, 상기 제 1 계층 뉴런들에서의 상기 패턴의 후속 부분을 리플레이하기 위한 것으로서, 제 2 계층 입력에 대한 참조 뉴런들의 상기 제 3 계층의 감도 (sensitivity) 는 상기 리플레이 동안 증가되고, 참조 뉴런들의 상기 제 2 계층 또는 제 3 계층 중 적어도 하나의 활성화 (activation) 는 역방향 리플레이를 저지하는 것에 의해 상기 패턴 시퀀스의 포워드 리플레이를 유지하기 위하여 상기 활성화된 참조 뉴런들의 근시간 재활성화 (near-term re-activation) 을 저지하는, 신경 패턴 시퀀스 완성을 위한 컴퓨터 판독가능 저장 매체. - 신경 패턴 계층적 리플레이를 위한 장치에 의해 수행되는 신경 패턴 계층적 리플레이의 방법으로서,
패턴의 부분들의 각각의 시퀀스를 생성하도록 참조 뉴런들의 제 2 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 상기 패턴의 부분들의 각각의 시퀀스를 참조하는 단계;
상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계를 학습하는 단계로서, 상기 엘리먼트들은 스파이크들을 포함하는, 상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계를 학습하는 단계;
패턴 시퀀스를 생성하도록 참조 뉴런들의 제 3 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 3 계층으로써 참조 뉴런들의 상기 제 2 계층에서의 패턴 시퀀스를 참조하는 단계;
상기 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 상기 제 3 계층에 의한 상기 패턴 시퀀스의 발사 사이의 다른 관계를 학습하는 단계;
참조 뉴런들의 상기 제 3 계층에 기초하여 상기 제 2 계층에서의 상기 패턴 시퀀스의 상기 참조의 리플레이를 호출하는 단계; 및
상기 제 2 계층에서의 상기 패턴 시퀀스의 상기 참조의 상기 리플레이의 호출에 기초하여 상기 제 1 계층 뉴런들에서의 상기 패턴의 부분들의 그 시퀀스를 리플레이하는 단계로서, 제 2 계층 입력에 대한 참조 뉴런들의 상기 제 3 계층의 감도 (sensitivity) 는 상기 리플레이 동안 증가되고, 참조 뉴런들의 상기 제 2 계층 또는 제 3 계층 중 적어도 하나의 활성화 (activation) 는 역방향 리플레이를 저지하는 것에 의해 상기 패턴 시퀀스의 포워드 리플레이를 유지하기 위하여 상기 활성화된 참조 뉴런들의 근시간 재활성화 (near-term re-activation) 을 저지하는, 상기 제 1 계층에서의 상기 패턴의 부분들의 그 시퀀스를 리플레이하는 단계를 포함하는, 신경 패턴 계층적 리플레이의 방법. - 제 94 항에 있어서,
상기 패턴의 부분에 기초하여 참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 호출하는 단계; 및
참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 제어하고 참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런을 호출하는 단계를 더 포함하고,
참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런은 적어도 참조 뉴런들의 상기 제 2 계층에서의 상기 패턴 시퀀스의 후속 부분을 완성하도록 리플레이를 호출하고,
참조 뉴런들의 상기 제 2 계층에서의 리플레이는 적어도 상기 제 1 계층 뉴런들에서의 상기 패턴 시퀀스의 후속 부분을 완성하기 위해 상기 제 1 계층 뉴런들에서의 리플레이를 호출하는, 신경 패턴 계층적 리플레이의 방법. - 제 94 항에 있어서,
상기 제 1 계층 뉴런들에서의 상기 패턴의 부분들의 그 시퀀스의 리플레이는 상기 제 1 계층 뉴런들에서의 상기 패턴에서의 부분들의 후속 시퀀스의 리플레이를 호출하는, 신경 패턴 계층적 리플레이의 방법. - 제 94 항에 있어서,
참조 뉴런들의 제 2 계층에서의 리플레이를 허용하는 동안에, 제 1 계층 뉴런들에서의 리플레이를 금지하도록 상기 리플레이를 제어하는 단계를 더 포함하는, 신경 패턴 계층적 리플레이의 방법. - 신경 패턴 계층적 리플레이를 위한 장치로서,
패턴의 부분들의 각각의 시퀀스를 생성하도록 참조 뉴런들의 제 2 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 상기 패턴의 부분들의 각각의 시퀀스를 참조하도록 구성된 제 1 회로;
상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계형 양태를 학습하도록 구성된 제 2 회로로서, 상기 엘리먼트들은 스파이크들을 포함하는, 상기 제 2 회로;
패턴 시퀀스를 생성하도록 참조 뉴런들의 제 3 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 3 계층으로써 참조 뉴런들의 상기 제 2 계층에서의 패턴 시퀀스를 참조하도록 구성된 제 3 회로;
상기 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 상기 제 3 계층에 의한 상기 패턴 시퀀스의 발사 사이의 다른 관계를 학습하도록 구성된 제 4 회로;
참조 뉴런들의 상기 제 3 계층에 기초하여 상기 제 2 계층에서의 상기 패턴 시퀀스의 상기 참조의 리플레이를 호출하도록 구성된 제 5 회로; 및
상기 제 2 계층에서의 상기 패턴 시퀀스의 상기 참조의 상기 리플레이의 호출에 기초하여 상기 제 1 계층 뉴런들에서의 상기 패턴의 부분들의 그 시퀀스를 리플레이하도록 구성된 제 6 회로로서, 제 2 계층 입력에 대한 참조 뉴런들의 상기 제 3 계층의 감도 (sensitivity) 는 상기 리플레이 동안 증가되고, 참조 뉴런들의 상기 제 2 계층 또는 제 3 계층 중 적어도 하나의 활성화 (activation) 는 역방향 리플레이를 저지하는 것에 의해 상기 패턴 시퀀스의 포워드 리플레이를 유지하기 위하여 상기 활성화된 참조 뉴런들의 근시간 재활성화 (near-term re-activation) 을 저지하는, 상기 제 1 계층 뉴런들에서의 상기 패턴의 부분들의 그 시퀀스를 리플레이하도록 구성된 제 6 회로를 포함하는, 신경 패턴 계층적 리플레이를 위한 장치. - 제 98 항에 있어서,
상기 패턴의 부분에 기초하여 참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 호출하도록 구성된 제 7 회로; 및
참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 제어하고 참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런을 호출하도록 구성된 제 8 회로를 더 포함하고,
참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런은 적어도 참조 뉴런들의 상기 제 2 계층에서의 상기 패턴 시퀀스의 후속 부분을 완성하도록 리플레이를 호출하고,
참조 뉴런들의 상기 제 2 계층에서의 리플레이는 적어도 상기 제 1 계층 뉴런들에서의 상기 패턴 시퀀스의 후속 부분을 완성하기 위해 상기 제 1 계층 뉴런들에서의 리플레이를 호출하는, 신경 패턴 계층적 리플레이를 위한 장치. - 제 98 항에 있어서,
상기 제 1 계층 뉴런들에서의 상기 패턴의 부분들의 그 시퀀스의 리플레이는 상기 제 1 계층 뉴런들에서의 상기 패턴에서의 부분들의 후속 시퀀스의 리플레이를 호출하는, 신경 패턴 계층적 리플레이를 위한 장치. - 제 98 항에 있어서,
참조 뉴런들의 상기 제 2 계층에서의 리플레이를 허용하는 동안에, 제 1 계층 뉴런들에서의 리플레이를 금지하도록 상기 리플레이를 제어하도록 구성된 제 7 회로를 더 포함하는, 신경 패턴 계층적 리플레이를 위한 장치. - 신경 패턴 계층적 리플레이를 위한 장치로서,
패턴의 부분들의 각각의 시퀀스를 생성하도록 참조 뉴런들의 제 2 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 상기 패턴의 부분들의 각각의 시퀀스를 참조하는 수단;
상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계를 학습하는 수단으로서, 상기 엘리먼트들은 스파이크들을 포함하는, 상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계를 학습하는 수단;
패턴 시퀀스를 생성하도록 참조 뉴런들의 제 3 계층을 학습하는 것에 의해, 참조 뉴런들의 제 3 계층으로써 참조 뉴런들의 상기 제 2 계층에서의 패턴 시퀀스를 참조하는 수단;
상기 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 상기 참조 뉴런들의 제 3 계층에 의한 상기 패턴 시퀀스의 발사 사이의 다른 관계를 학습하는 수단;
참조 뉴런들의 상기 제 3 계층에 기초하여 참조 뉴런들의 상기 제 2 계층에서의 상기 패턴 시퀀스의 상기 참조의 리플레이를 호출하는 수단; 및
상기 제 2 계층에서의 상기 패턴 시퀀스의 상기 참조의 상기 리플레이의 호출에 기초하여 상기 제 1 계층 뉴런들에서의 상기 패턴의 부분들의 그 시퀀스를 리플레이하는 수단으로서, 제 2 계층 입력에 대한 참조 뉴런들의 상기 제 3 계층의 감도 (sensitivity) 는 상기 리플레이 동안 증가되고, 참조 뉴런들의 상기 제 2 계층 또는 제 3 계층 중 적어도 하나의 활성화 (activation) 는 역방향 리플레이를 저지하는 것에 의해 상기 패턴 시퀀스의 포워드 리플레이를 유지하기 위하여 상기 활성화된 참조 뉴런들의 근시간 재활성화 (near-term re-activation) 을 저지하는, 상기 제 1 계층 뉴런들에서의 상기 패턴의 부분들의 그 시퀀스를 리플레이하는 수단을 포함하는, 신경 패턴 계층적 리플레이를 위한 장치. - 제 102 항에 있어서,
상기 패턴의 부분에 기초하여 참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 호출하는 수단; 및
참조 뉴런들의 상기 제 2 계층 중 하나의 뉴런을 제어하고 참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런을 호출하는 수단을 더 포함하고,
참조 뉴런들의 상기 제 3 계층 중 하나의 뉴런은 적어도 참조 뉴런들의 상기 제 2 계층에서의 상기 패턴 시퀀스의 후속 부분을 완성하도록 리플레이를 호출하고,
참조 뉴런들의 상기 제 2 계층에서의 리플레이는 적어도 상기 제 1 계층 뉴런들에서의 상기 패턴 시퀀스의 후속 부분을 완성하기 위해 상기 제 1 계층 뉴런들에서의 리플레이를 호출하는, 신경 패턴 계층적 리플레이를 위한 장치. - 제 102 항에 있어서,
상기 제 1 계층 뉴런들에서의 상기 패턴의 부분들의 그 시퀀스의 리플레이는 상기 제 1 계층 뉴런들에서의 상기 패턴에서의 부분들의 후속 시퀀스의 리플레이를 호출하는, 신경 패턴 계층적 리플레이를 위한 장치. - 제 102 항에 있어서,
참조 뉴런들의 상기 제 2 계층에서의 리플레이를 허용하는 동안에, 상기 제 1 계층 뉴런들에서의 리플레이를 금지하도록 상기 리플레이를 제어하는 수단을 더 포함하는, 신경 패턴 계층적 리플레이를 위한 장치. - 신경 패턴 계층적 리플레이를 위한 명령을 저장하는 컴퓨터 판독가능 저장 매체로서,
상기 명령은,
패턴의 부분들의 각각의 시퀀스를 생성하도록 참조 뉴런들의 제 2 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 2 계층으로써 하나 이상의 제 1 계층 뉴런들의 세트에서의 상기 패턴의 부분들의 각각의 시퀀스를 참조하고;
상기 패턴의 하나 이상의 엘리먼트들 및 상기 패턴의 부분들의 각각의 시퀀스에 대한 참조 뉴런들의 상기 제 2 계층의 발사 사이의 관계형 양태를 학습하고, 상기 엘리먼트들은 스파이크들을 포함하고;
패턴 시퀀스를 생성하도록 참조 뉴런들의 제 3 계층을 학습하는 것에 의해, 참조 뉴런들의 상기 제 3 계층으로써 참조 뉴런들의 상기 제 2 계층에서의 패턴 시퀀스를 참조하고;
상기 패턴 시퀀스 중 하나 이상의 엘리먼트들 및 참조 뉴런들의 상기 제 3 계층에 의한 상기 패턴 시퀀스의 발사 사이의 다른 관계를 학습하고;
참조 뉴런들의 상기 제 3 계층에 기초하여 상기 제 2 계층에서의 상기 패턴 시퀀스의 상기 참조의 리플레이를 호출하고;
상기 제 2 계층에서의 상기 패턴 시퀀스의 상기 참조의 상기 리플레이의 호출에 기초하여 상기 제 1 계층 뉴런들에서의 상기 패턴의 부분들의 그 시퀀스를 리플레이하기 위한 것으로서, 제 2 계층 입력에 대한 참조 뉴런들의 상기 제 3 계층의 감도 (sensitivity) 는 상기 리플레이 동안 증가되고, 참조 뉴런들의 상기 제 2 계층 또는 제 3 계층 중 적어도 하나의 활성화 (activation) 는 역방향 리플레이를 저지하는 것에 의해 상기 패턴 시퀀스의 포워드 리플레이를 유지하기 위하여 상기 활성화된 참조 뉴런들의 근시간 재활성화 (near-term re-activation) 을 저지하는, 신경 패턴 계층적 리플레이를 위한 컴퓨터 판독가능 저장 매체. - 신경 패턴 시퀀스 완성을 위한 장치에 의해 수행되는 신경 패턴 시퀀스 완성의 방법으로서,
패턴의 복수의 부분들을 생성하도록 복수의 참조 뉴런들을 학습하는 것에 의해, 상기 복수의 참조 뉴런들이 복수의 구심성 뉴런들에서의 상기 패턴의 복수의 부분들을 참조하는 단계;
상기 복수의 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 상기 하나 이상의 관계형 양태 뉴런들로써, 상기 패턴의 부분들 중 하나 이상을 상기 복수의 참조 뉴런들의 서브세트에 관련시키는 단계로서, 상기 지연은 상기 복수의 구심성 뉴런들 및 상기 하나 이상의 관계형 양태 뉴런들 사이의 구조적 거리와 일치하는 특정 값으로 고정되는, 상기 패턴의 부분들 중 하나 이상을 상기 참조 뉴런들의 서브세트에 관련시키는 단계;
제 2 값보다 큰 지연에 기초하여, 상기 하나 이상의 관계형 양태 뉴런들로써, 상기 패턴의 하나 이상의 나머지 부분들을 상기 복수의 참조 뉴런들의 서브세트에 관련시키는 단계; 및
상기 복수의 구심성 뉴런들에 의한 상기 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 상기 복수의 참조 뉴런들의 서브세트에 의한 상기 패턴의 상기 하나 이상의 나머지 부분들의 리플레이를 유도하는 단계를 포함하고,
상기 발사 엘리먼트들은 스파이크들을 포함하는, 신경 패턴 시퀀스 완성의 방법. - 제 107 항에 있어서,
상기 패턴의 복수의 부분들을 참조하는 단계는,
상기 복수의 참조 뉴런들의 서브세트로써, 상기 패턴의 하나 이상의 부분들을 참조하는 단계; 및
상기 복수의 참조 뉴런들의 다른 서브세트로써, 상기 패턴의 상기 하나 이상의 나머지 부분들을 참조하는 단계를 포함하는, 신경 패턴 시퀀스 완성의 방법. - 제 107 항에 있어서,
상기 지연은 상기 복수의 구심성 뉴런들, 상기 복수의 참조 뉴런들, 및 상기 하나 이상의 관계형 양태 뉴런들을 포함하는 신경 네트워크를 설계하는 동안 구성되는, 신경 패턴 시퀀스 완성의 방법. - 제 107 항에 있어서,
상기 지연은 상기 복수의 구심성 뉴런들, 상기 복수의 참조 뉴런들, 및 상기 하나 이상의 관계형 양태 뉴런들을 포함하는 신경 네트워크의 전개 스테이지에 따라 결정되는, 신경 패턴 시퀀스 완성의 방법. - 신경 패턴 시퀀스 완성을 위한 장치로서,
패턴의 복수의 부분들을 생성하도록 복수의 참조 뉴런들을 학습하는 것에 의해, 상기 복수의 참조 뉴런들이 복수의 구심성 뉴런들에서의 상기 패턴의 복수의 부분들을 참조하도록 구성된 제 1 회로;
상기 복수의 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 상기 하나 이상의 관계형 양태 뉴런들로써, 상기 패턴의 부분들 중 하나 이상을 상기 복수의 참조 뉴런들의 서브세트에 관련시키도록 구성된 제 2 회로로서, 상기 지연은 상기 복수의 구심성 뉴런들 및 상기 하나 이상의 관계형 양태 뉴런들 사이의 구조적 거리와 일치하는 특정 값으로 고정되는, 상기 제 2 회로;
제 2 값보다 큰 지연에 기초하여, 상기 하나 이상의 관계형 양태 뉴런들로써, 상기 패턴의 하나 이상의 나머지 부분들을 상기 복수의 참조 뉴런들의 서브세트에 관련시키도록 구성된 제 3 회로; 및
상기 복수의 구심성 뉴런들에 의한 상기 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 상기 복수의 참조 뉴런들의 서브세트에 의한 상기 패턴의 상기 하나 이상의 나머지 부분들의 리플레이를 유도하도록 구성된 제 4 회로를 포함하고,
상기 발사 엘리먼트들은 스파이크들을 포함하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 111 항에 있어서,
상기 제 1 회로는 또한,
상기 복수의 참조 뉴런들의 서브세트로써, 상기 패턴의 하나 이상의 부분들을 참조하고;
상기 복수의 참조 뉴런들의 다른 서브세트로써, 상기 패턴의 상기 하나 이상의 나머지 부분들을 참조하도록 구성되는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 111 항에 있어서,
상기 지연은 상기 복수의 구심성 뉴런들, 상기 복수의 참조 뉴런들, 및 상기 하나 이상의 관계형 양태 뉴런들을 포함하는 신경 네트워크를 설계하는 동안 구성되는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 111 항에 있어서,
상기 지연은 상기 복수의 구심성 뉴런들, 상기 복수의 참조 뉴런들, 및 상기 하나 이상의 관계형 양태 뉴런들을 포함하는 신경 네트워크의 전개 스테이지에 따라 결정되는, 신경 패턴 시퀀스 완성을 위한 장치. - 신경 패턴 시퀀스 완성을 위한 장치로서,
패턴의 복수의 부분들을 생성하도록 복수의 참조 뉴런들을 학습하는 것에 의해, 상기 복수의 참조 뉴런들이 복수의 구심성 뉴런들에서의 상기 패턴의 복수의 부분들을 참조하는 수단;
상기 복수의 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 상기 하나 이상의 관계형 양태 뉴런들로써, 상기 패턴의 부분들 중 하나 이상을 상기 복수의 참조 뉴런들의 서브세트에 관련시키는 수단으로서, 상기 지연은 상기 복수의 구심성 뉴런들 및 상기 하나 이상의 관계형 양태 뉴런들 사이의 구조적 거리와 일치하는 특정 값으로 고정되는, 상기 패턴의 부분들 중 하나 이상을 상기 참조 뉴런들의 서브세트에 관련시키는 수단;
제 2 값보다 큰 지연에 기초하여, 상기 하나 이상의 관계형 양태 뉴런들로써, 상기 패턴의 하나 이상의 나머지 부분들을 상기 복수의 참조 뉴런들의 서브세트에 관련시키는 수단; 및
상기 복수의 구심성 뉴런들에 의한 상기 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 상기 복수의 참조 뉴런들의 서브세트에 의한 상기 패턴의 상기 하나 이상의 나머지 부분들의 리플레이를 유도하는 수단을 포함하고,
상기 발사 엘리먼트들은 스파이크들을 포함하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 115 항에 있어서,
상기 패턴의 복수의 부분들을 참조하는 수단은,
상기 복수의 참조 뉴런들의 서브세트로써, 상기 패턴의 하나 이상의 부분들을 참조하는 수단; 및
상기 복수의 참조 뉴런들의 다른 서브세트로써, 상기 패턴의 상기 하나 이상의 나머지 부분들을 참조하는 수단을 포함하는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 115 항에 있어서,
상기 지연은 상기 복수의 구심성 뉴런들, 상기 복수의 참조 뉴런들, 및 상기 하나 이상의 관계형 양태 뉴런들을 포함하는 신경 네트워크를 설계하는 동안 구성되는, 신경 패턴 시퀀스 완성을 위한 장치. - 제 115 항에 있어서,
상기 지연은 상기 복수의 구심성 뉴런들, 상기 복수의 참조 뉴런들, 및 상기 하나 이상의 관계형 양태 뉴런들을 포함하는 신경 네트워크의 전개 스테이지에 따라 결정되는, 신경 패턴 시퀀스 완성을 위한 장치. - 신경 패턴 시퀀스 완성을 위한 명령을 저장하는 컴퓨터 판독가능 저장 매체로서,
상기 명령은,
패턴의 복수의 부분들을 생성하도록 복수의 참조 뉴런들을 학습하는 것에 의해, 상기 복수의 참조 뉴런들이 복수의 구심성 뉴런들에서의 상기 패턴의 복수의 부분들을 참조하고;
상기 복수의 구심성 뉴런들 및 제 1 값보다 작은 하나 이상의 관계형 양태 뉴런들 사이의 지연에 기초하여, 상기 하나 이상의 관계형 양태 뉴런들로써, 상기 패턴의 부분들 중 하나 이상을 상기 복수의 참조 뉴런들의 서브세트에 관련시키는 것으로서, 상기 지연은 상기 복수의 구심성 뉴런들 및 상기 하나 이상의 관계형 양태 뉴런들 사이의 구조적 거리와 일치하는 특정 값으로 고정되고;
제 2 값보다 큰 지연에 기초하여, 상기 하나 이상의 관계형 양태 뉴런들로써, 상기 패턴의 하나 이상의 나머지 부분들을 상기 복수의 참조 뉴런들의 서브세트에 관련시키고;
상기 복수의 구심성 뉴런들에 의한 상기 패턴의 하나 이상의 부분들의 발사 엘리먼트들에 기초하여 상기 복수의 참조 뉴런들의 서브세트에 의한 상기 패턴의 상기 하나 이상의 나머지 부분들의 리플레이를 유도하기 위한 것이고,
상기 발사 엘리먼트들은 스파이크들을 포함하는, 신경 패턴 시퀀스 완성을 위한 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/292,184 | 2011-11-09 | ||
| US13/292,184 US9443190B2 (en) | 2011-11-09 | 2011-11-09 | Methods and apparatus for neural pattern sequence completion and neural pattern hierarchical replay by invoking replay of a referenced neural pattern |
| PCT/US2012/064512 WO2013071155A1 (en) | 2011-11-09 | 2012-11-09 | Methods and apparatus for unsupervised neural replay, learning refinement, association and memory transfer: neural associative learning, pattern completion, separation, generalization and hierarchical replay |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140092879A KR20140092879A (ko) | 2014-07-24 |
| KR101815438B1 true KR101815438B1 (ko) | 2018-01-05 |
Family
ID=47428966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147015330A KR101815438B1 (ko) | 2011-11-09 | 2012-11-09 | 비감독 신경 리플레이, 학습 리파인먼트, 연관 및 기억 전달: 신경 연관 학습, 패턴 완성, 분리, 일반화 및 계층적 리플레이를 위한 방법들 및 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US9443190B2 (ko) |
| EP (1) | EP2776986A1 (ko) |
| JP (1) | JP5989791B2 (ko) |
| KR (1) | KR101815438B1 (ko) |
| CN (2) | CN103930909B (ko) |
| BR (1) | BR112014010445A2 (ko) |
| IN (1) | IN2014CN03295A (ko) |
| WO (1) | WO2013071155A1 (ko) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9405975B2 (en) | 2010-03-26 | 2016-08-02 | Brain Corporation | Apparatus and methods for pulse-code invariant object recognition |
| US9906838B2 (en) | 2010-07-12 | 2018-02-27 | Time Warner Cable Enterprises Llc | Apparatus and methods for content delivery and message exchange across multiple content delivery networks |
| US9015091B2 (en) * | 2011-11-09 | 2015-04-21 | Qualcomm Incorporated | Methods and apparatus for unsupervised neural replay, learning refinement, association and memory transfer: structural plasticity and structural constraint modeling |
| US9424511B2 (en) | 2011-11-09 | 2016-08-23 | Qualcomm Incorporated | Methods and apparatus for unsupervised neural component replay by referencing a pattern in neuron outputs |
| US9424513B2 (en) | 2011-11-09 | 2016-08-23 | Qualcomm Incorporated | Methods and apparatus for neural component memory transfer of a referenced pattern by including neurons to output a pattern substantially the same as the referenced pattern |
| KR101912165B1 (ko) * | 2011-12-09 | 2018-10-29 | 삼성전자주식회사 | 스파이킹 뉴런 기반 작업 기억 장치 |
| US9070083B2 (en) * | 2011-12-13 | 2015-06-30 | Iucf-Hyu Industry-University Cooperation Foundation Hanyang University | Method for learning task skill and robot using thereof |
| US9224090B2 (en) | 2012-05-07 | 2015-12-29 | Brain Corporation | Sensory input processing apparatus in a spiking neural network |
| US9412041B1 (en) | 2012-06-29 | 2016-08-09 | Brain Corporation | Retinal apparatus and methods |
| US9186793B1 (en) | 2012-08-31 | 2015-11-17 | Brain Corporation | Apparatus and methods for controlling attention of a robot |
| US9311594B1 (en) | 2012-09-20 | 2016-04-12 | Brain Corporation | Spiking neuron network apparatus and methods for encoding of sensory data |
| US9183493B2 (en) | 2012-10-25 | 2015-11-10 | Brain Corporation | Adaptive plasticity apparatus and methods for spiking neuron network |
| US9218563B2 (en) * | 2012-10-25 | 2015-12-22 | Brain Corporation | Spiking neuron sensory processing apparatus and methods for saliency detection |
| US9111226B2 (en) | 2012-10-25 | 2015-08-18 | Brain Corporation | Modulated plasticity apparatus and methods for spiking neuron network |
| US9275326B2 (en) | 2012-11-30 | 2016-03-01 | Brain Corporation | Rate stabilization through plasticity in spiking neuron network |
| US9436909B2 (en) | 2013-06-19 | 2016-09-06 | Brain Corporation | Increased dynamic range artificial neuron network apparatus and methods |
| US9239985B2 (en) | 2013-06-19 | 2016-01-19 | Brain Corporation | Apparatus and methods for processing inputs in an artificial neuron network |
| US9552546B1 (en) | 2013-07-30 | 2017-01-24 | Brain Corporation | Apparatus and methods for efficacy balancing in a spiking neuron network |
| US20150134582A1 (en) * | 2013-11-08 | 2015-05-14 | Qualcomm Incorporated | Implementing synaptic learning using replay in spiking neural networks |
| US9533413B2 (en) | 2014-03-13 | 2017-01-03 | Brain Corporation | Trainable modular robotic apparatus and methods |
| US9987743B2 (en) | 2014-03-13 | 2018-06-05 | Brain Corporation | Trainable modular robotic apparatus and methods |
| US10275705B2 (en) | 2014-08-08 | 2019-04-30 | Vicarious Fpc, Inc. | Systems and methods for generating data explanations for neural networks and related systems |
| US9881349B1 (en) | 2014-10-24 | 2018-01-30 | Gopro, Inc. | Apparatus and methods for computerized object identification |
| US10083395B2 (en) * | 2015-05-21 | 2018-09-25 | Google Llc | Batch processing in a neural network processor |
| US9840003B2 (en) | 2015-06-24 | 2017-12-12 | Brain Corporation | Apparatus and methods for safe navigation of robotic devices |
| JP2017102904A (ja) * | 2015-10-23 | 2017-06-08 | 株式会社半導体エネルギー研究所 | 半導体装置および電子機器 |
| WO2018182827A1 (en) * | 2017-03-28 | 2018-10-04 | Hrl Laboratories, Llc | A neural model-based controller |
| US11645835B2 (en) * | 2017-08-30 | 2023-05-09 | Board Of Regents, The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
| US11742901B2 (en) * | 2020-07-27 | 2023-08-29 | Electronics And Telecommunications Research Institute | Deep learning based beamforming method and apparatus |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5583964A (en) | 1994-05-02 | 1996-12-10 | Motorola, Inc. | Computer utilizing neural network and method of using same |
| US7089218B1 (en) | 2004-01-06 | 2006-08-08 | Neuric Technologies, Llc | Method for inclusion of psychological temperament in an electronic emulation of the human brain |
| JP3647584B2 (ja) | 1996-12-26 | 2005-05-11 | 富士通株式会社 | 学習型自己定位装置 |
| US6041322A (en) | 1997-04-18 | 2000-03-21 | Industrial Technology Research Institute | Method and apparatus for processing data in a neural network |
| WO2004097733A2 (en) | 2003-04-30 | 2004-11-11 | Darwinian Neural Network Industries Ltd | Neural networks |
| JP2005190429A (ja) | 2003-12-26 | 2005-07-14 | Hiroshima Univ | 参照データ認識・学習方法及びパターン認識システム |
| EP2360629A3 (en) | 2005-05-07 | 2012-04-11 | Stephen L. Thaler | Device for the autonomous bootstrapping of useful information |
| JP4201012B2 (ja) | 2006-04-06 | 2008-12-24 | ソニー株式会社 | データ処理装置、データ処理方法、およびプログラム |
| EP2259214B1 (en) | 2009-06-04 | 2013-02-27 | Honda Research Institute Europe GmbH | Implementing a neural associative memory based on non-linear learning of discrete synapses |
| US20120117012A1 (en) | 2010-04-08 | 2012-05-10 | Neurosciences Research Foundation, Inc. | Spike-timing computer modeling of working memory |
| WO2012138761A1 (en) | 2011-04-04 | 2012-10-11 | Sheepdog Sciences, Inc. | Apparatus, system, and method for modulating consolidation of memory during sleep |
| US9147155B2 (en) | 2011-08-16 | 2015-09-29 | Qualcomm Incorporated | Method and apparatus for neural temporal coding, learning and recognition |
| US9424511B2 (en) | 2011-11-09 | 2016-08-23 | Qualcomm Incorporated | Methods and apparatus for unsupervised neural component replay by referencing a pattern in neuron outputs |
| US9015091B2 (en) | 2011-11-09 | 2015-04-21 | Qualcomm Incorporated | Methods and apparatus for unsupervised neural replay, learning refinement, association and memory transfer: structural plasticity and structural constraint modeling |
| US9424513B2 (en) | 2011-11-09 | 2016-08-23 | Qualcomm Incorporated | Methods and apparatus for neural component memory transfer of a referenced pattern by including neurons to output a pattern substantially the same as the referenced pattern |
| US8909575B2 (en) | 2012-02-29 | 2014-12-09 | Qualcomm Incorporated | Method and apparatus for modeling neural resource based synaptic placticity |
| WO2014081671A1 (en) | 2012-11-20 | 2014-05-30 | Qualcomm Incorporated | Dynamical event neuron and synapse models for learning spiking neural networks |
-
2011
- 2011-11-09 US US13/292,184 patent/US9443190B2/en active Active
-
2012
- 2012-11-09 JP JP2014541342A patent/JP5989791B2/ja not_active Expired - Fee Related
- 2012-11-09 EP EP12805809.6A patent/EP2776986A1/en not_active Ceased
- 2012-11-09 KR KR1020147015330A patent/KR101815438B1/ko active IP Right Grant
- 2012-11-09 WO PCT/US2012/064512 patent/WO2013071155A1/en active Application Filing
- 2012-11-09 BR BR112014010445A patent/BR112014010445A2/pt not_active Application Discontinuation
- 2012-11-09 CN CN201280055300.9A patent/CN103930909B/zh active Active
- 2012-11-09 CN CN201610181481.XA patent/CN105868828B/zh active Active
- 2012-11-09 IN IN3295CHN2014 patent/IN2014CN03295A/en unknown
Non-Patent Citations (2)
| Title |
|---|
| Girardeau et al. Hippocampal ripples and memory consolidation. Current Opinion in Neurobiology, 2011, Vol.21, pp.452-459 |
| Kaspar Meyer et al. Convergence and divergence in a neural architecture for recognition and memory. Trends in Neurosciences, 2009.06.10. Vol.32, No.7, pp.376-382.* |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105868828B (zh) | 2019-06-11 |
| US9443190B2 (en) | 2016-09-13 |
| US20130117212A1 (en) | 2013-05-09 |
| JP2014535117A (ja) | 2014-12-25 |
| BR112014010445A2 (pt) | 2017-04-18 |
| WO2013071155A1 (en) | 2013-05-16 |
| CN103930909B (zh) | 2017-07-04 |
| EP2776986A1 (en) | 2014-09-17 |
| JP5989791B2 (ja) | 2016-09-07 |
| CN103930909A (zh) | 2014-07-16 |
| IN2014CN03295A (ko) | 2015-07-03 |
| CN105868828A (zh) | 2016-08-17 |
| KR20140092879A (ko) | 2014-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101815438B1 (ko) | 비감독 신경 리플레이, 학습 리파인먼트, 연관 및 기억 전달: 신경 연관 학습, 패턴 완성, 분리, 일반화 및 계층적 리플레이를 위한 방법들 및 장치 | |
| KR101582061B1 (ko) | 비감독 신경 리플레이, 학습 리파인먼트, 연관 및 기억 전달: 구조적 가소성 및 구조적 제약 모델링을 위한 방법들 및 장치 | |
| KR101616660B1 (ko) | 신경 성분 리플레이를 위한 방법, 장치 및 컴퓨터 판독가능 저장 매체 | |
| KR101755082B1 (ko) | 신경 성분 기억 전달을 위한 방법, 장치 및 컴퓨터 판독가능 저장 매체 | |
| KR101793011B1 (ko) | 스파이킹 네트워크들의 효율적인 하드웨어 구현 | |
| KR20160138002A (ko) | 스파이킹 dbn (deep belief network) 에서의 트레이닝, 인식, 및 생성 | |
| US9652711B2 (en) | Analog signal reconstruction and recognition via sub-threshold modulation | |
| KR20160125967A (ko) | 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치 | |
| JP2017507397A (ja) | 自動エラー訂正のための同時レイテンシおよびレートコーディング | |
| KR20160068823A (ko) | 스파이킹 신경세포들의 망들에서의 정체 회피 | |
| US9275329B2 (en) | Behavioral homeostasis in artificial nervous systems using dynamical spiking neuron models | |
| KR20160071437A (ko) | 스냅스 지연의 동적 할당 및 검사 | |
| US9418332B2 (en) | Post ghost plasticity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |