KR20160076533A - 지도 학습을 이용하여 클래스들을 태깅하기 위한 방법들 및 장치 - Google Patents
지도 학습을 이용하여 클래스들을 태깅하기 위한 방법들 및 장치 Download PDFInfo
- Publication number
- KR20160076533A KR20160076533A KR1020167013948A KR20167013948A KR20160076533A KR 20160076533 A KR20160076533 A KR 20160076533A KR 1020167013948 A KR1020167013948 A KR 1020167013948A KR 20167013948 A KR20167013948 A KR 20167013948A KR 20160076533 A KR20160076533 A KR 20160076533A
- Authority
- KR
- South Korea
- Prior art keywords
- network
- neurons
- classes
- tags
- artificial neurons
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 210000002569 neuron Anatomy 0.000 claims abstract description 229
- 230000003190 augmentative effect Effects 0.000 claims abstract description 30
- 230000001419 dependent effect Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 10
- 239000010410 layer Substances 0.000 claims description 39
- 230000015654 memory Effects 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000002401 inhibitory effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 239000002356 single layer Substances 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 abstract description 18
- 230000003068 static effect Effects 0.000 abstract description 5
- 210000000225 synapse Anatomy 0.000 description 54
- 230000001537 neural effect Effects 0.000 description 46
- 238000012545 processing Methods 0.000 description 45
- 238000013528 artificial neural network Methods 0.000 description 39
- 230000000946 synaptic effect Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 28
- 239000012528 membrane Substances 0.000 description 20
- 230000009471 action Effects 0.000 description 15
- 230000001242 postsynaptic effect Effects 0.000 description 15
- 238000012421 spiking Methods 0.000 description 15
- 210000004205 output neuron Anatomy 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 9
- 230000036982 action potential Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 230000002964 excitative effect Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 210000002161 motor neuron Anatomy 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 4
- 230000003956 synaptic plasticity Effects 0.000 description 4
- 239000003990 capacitor Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 210000005215 presynaptic neuron Anatomy 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 210000003050 axon Anatomy 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000003518 presynaptic effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000021670 response to stimulus Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009534 synaptic inhibition Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- QUTYKIXIUDQOLK-PRJMDXOYSA-N 5-O-(1-carboxyvinyl)-3-phosphoshikimic acid Chemical compound O[C@H]1[C@H](OC(=C)C(O)=O)CC(C(O)=O)=C[C@H]1OP(O)(O)=O QUTYKIXIUDQOLK-PRJMDXOYSA-N 0.000 description 1
- 206010001497 Agitation Diseases 0.000 description 1
- 101100477360 Arabidopsis thaliana IPSP gene Proteins 0.000 description 1
- 240000002627 Cordeauxia edulis Species 0.000 description 1
- 240000004859 Gamochaeta purpurea Species 0.000 description 1
- KOTOUBGHZHWCCJ-UHFFFAOYSA-N IPSP Chemical compound CCS(=O)CSP(=S)(OC(C)C)OC(C)C KOTOUBGHZHWCCJ-UHFFFAOYSA-N 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003376 axonal effect Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000005056 cell body Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 210000004242 electrical synapse Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000002431 foraging effect Effects 0.000 description 1
- 230000006266 hibernation Effects 0.000 description 1
- 230000002102 hyperpolarization Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 238000011070 membrane recovery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003767 neural control Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 239000001044 red dye Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Machine Translation (AREA)
- Stored Programmes (AREA)
Abstract
본 개시의 특정 양태들은 지도 학습을 이용하여 뉴럴 네트워크 모델의 입력/출력 클래스들을 위한 태그들 (정적 또는 정적) 을 생성하기 위한 방법들 및 장치를 제공한다. 그 방법은 뉴럴 네트워크 모델을 복수의 뉴런들로 증강하고 증강된 네트워크를 스파이크 타이밍 의존 가소성 (STDP) 을 이용하여 트레이닝하여 하나 이상의 태그들을 결정하는 것을 포함한다.
Description
관련 출원(들)에 대한 상호참조
본 출원은 2013년 10월 28일자로 출원된 미국 특허출원 제14/065,089호의 이익을 주장하며, 이 출원은 본 명세서에 참조로 전부 통합된다.
본 개시의 특정 양태들은 일반적으로 뉴럴 네트워크들에 관한 것으로서, 더 상세하게는, 지도 학습을 이용하여 클래스들을 태깅하는 것에 관한 것이다.
인공 뉴럴 네트워크는, 인공 뉴런들의 상호연결된 그룹으로 구성된 수학적 또는 연산적 모델 (즉, 뉴런 모델들) 이다. 인공 뉴럴 네트워크들은 인간 뇌에서 발견된 것들과 같은 생물학적 뉴럴 네트워크들의 구조 및/또는 기능으로부터 도출될 (또는 적어도 느슨하게 기초할) 수도 있다. 인공 뉴럴 네트워크들이 관측들로부터 기능을 추론할 수 있기 때문에, 그러한 네트워크들은, 태스크 또는 데이터의 복잡성이 이러한 기능을 수동으로 설계하는 것을 비실용적으로 만드는 애플리케이션들에서 특히 유용하다.
일 타입의 인공 뉴럴 네트워크는 스파이킹 뉴럴 네트워크이고, 이 스파이킹 뉴럴 네트워크는 뉴런 및 시냅스 상태뿐만 아니라 그 동작 모델에 시간의 개념을 통합하고, 이에 의해, 이러한 타입의 뉴럴 시뮬레이션에서의 현실성의 레벨을 증가시킨다. 스파이킹 뉴럴 네트워크들은, 오직 멤브레인 전위가 임계치에 도달할 경우에만 뉴런들이 발화 (fire) 하는 개념에 기초한다. 뉴런이 발화할 경우, 뉴런은 다른 뉴런들로 이동하는 스파이크를 생성하고, 이는, 차례로, 이 수신된 스파이크에 기초하여 그 멤브레인 전위들을 상승 또는 하강시킨다.
비지도 학습 알고리즘들은 다수의 어플리케이션들에 있어서 데이터를 별개의 클래스들로 정확하게 분리하지만, 분리한 클래스들에 대한 일관된 인덱스들을 제공하지 않을 수도 있다. 대신, 특정 데이터 타입을 나타내는 클래스 인덱스가 상이한 클래스들에 랜덤하게 할당될 수도 있다. 이러한 랜덤 할당은 다수의 어플리케이션들에 있어서, 특히, 분류 출력이 하나 이상의 다운스트림 모듈들에 대한 입력으로서 사용될 경우에 바람직하지 않을 수도 있다. 동일한 클래스를 일관되게 나타내는 클래스 인덱스들이 없으면, 비지도 학습 알고리즘을 구현하는 모듈과 다운스트림 모듈들 간의 신뢰성있는 인터페이스를 구축하는 것이 가능하지 않을 수도 있다.
본 개시의 특정 양태들은 클래스들을 태깅하기 위한 방법을 제안한다. 그 방법은 일반적으로, 인공 뉴런들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하는 단계, 및 하나 이상의 태그들을 인공 뉴런들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하는 단계를 포함한다.
본 개시의 특정 양태들은 클래스들을 태깅하기 위한 장치를 제안한다. 그 장치는 일반적으로, 인공 뉴런들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하는 수단, 및 하나 이상의 태그들을 인공 뉴런들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하는 수단을 포함한다.
본 개시의 특정 양태들은 클래스들을 태깅하기 위한 장치를 제안한다. 그 장치는 일반적으로, 인공 뉴런들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하고 그리고 하나 이상의 태그들을 인공 뉴런들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하도록 구성된 적어도 하나의 프로세서, 및 적어도 하나의 프로세서와 커플링된 메모리를 포함한다.
본 개시의 특정 양태들은 클래스들을 태깅하기 위한 프로그램 제품을 제안한다. 그 프로그램 제품은 일반적으로, 인공 뉴런들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하고 그리고 하나 이상의 태그들을 인공 뉴런들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하기 위한 명령들이 저장된 컴퓨터 판독가능 매체를 포함한다.
본 개시의 상기 기재된 특징들이 상세히 이해될 수 있도록, 상기 간략히 요약된 더 상세한 설명이 양태들을 참조하여 행해질 수도 있으며, 이 양태들 중 일부는 첨부 도면들에 도시된다. 하지만, 첨부 도면들은 본 개시의 오직 특정한 통상적인 양태들을 예시할 뿐이고, 따라서, 그 범위를 한정하는 것으로서 간주되지 않아야 하며, 그 설명은 다른 동일하게 유효한 양태들을 인정할 수도 있음을 유의해야 한다.
도 1 은 본 개시의 특정 양태들에 따른 뉴런들의 예시적인 네트워크를 도시한다.
도 2 는 본 개시의 특정 양태들에 따른, 연산 네트워크 (뉴럴 시스템 또는 뉴럴 네트워크) 의 프로세싱 유닛 (뉴런) 의 예를 도시한다.
도 3 은 본 개시의 특정 양태들에 따른 스파이크-타이밍 의존 가소성 (STDP; spike-timing dependent plasticity) 곡선의 일 예를 도시한다.
도 4 는 본 개시의 특정 양태들에 따른, 뉴런 모델의 거동을 정의하기 위한 포지티브 레짐 (positive regime) 및 네거티브 레짐의 일 예를 도시한다.
도 5 는 본 개시의 특정 양태들에 따른, 뉴럴 네트워크 블록을 활용하는 시스템의 예시적인 하이-레벨 블록 다이어그램을 도시한다.
도 6 은 본 개시의 특정 양태들에 따른 예시적인 자극 프로세싱 모델을 도시한다.
도 7 은 본 개시의 특정 양태들에 따른, 클래스들을 태깅하기 위한 예시적인 방법을 도시한다.
도 8 은 본 개시의 특정 양태들에 따른, 노드들의 클래스들을 태깅하기 위한 예시적인 동작들을 도시한다.
도 8a 는 도 8 에 도시된 동작들을 수행하는 것이 가능한 예시적인 컴포넌트들을 도시한다.
도 9a 내지 도 9c 는 본 개시의 특정 양태들에 따른 제안된 태깅 방법을 도시한다.
도 10 은 본 개시의 특정 양태들에 따른 예시적인 가소성 규칙을 도시한다.
도 11 은 본 개시의 특정 양태들에 따른, 운동신경 (motor) 에 대한 입력 액션 태그들을 생성함에 있어서 제안된 방법의 예시적인 어플리케이션을 도시한다.
도 12 는 본 개시의 특정 양태들에 따른, 클래스 경계들을 생성함에 있어서 제안된 태깅 방법의 예시적인 어플리케이션을 도시한다.
도 13a 내지 도 13c 는 본 개시의 특정 양태들에 따른, 융합형 클래스들에 대한 제안된 태깅 방법의 다른 예시적인 어플리케이션을 도시한다.
도 14a 내지 도 14c 는 본 개시의 특정 양태들에 따른, 오버-컴플리트 (over-complete) 표현으로의 뉴럴 네트워크에서의 제안된 태깅 방법의 다른 예시적인 어플리케이션을 도시한다.
도 15 는 본 개시의 특정 양태들에 따른, 뉴럴 네트워크에 새로운 클래스를 부가하기 위한 예시적인 방법을 도시한다.
도 16 은 본 개시의 특정 양태들에 따른, 관리 신호들 (supervisory signals) 을 활용하는 예시적인 모델을 도시한다.
도 17 은 본 개시의 특정 양태들에 따른, 관리 신호들의 어플리케이션의 예시적인 타이밍을 도시한다.
도 18 은 본 개시의 특정 양태들에 따른, 관리 신호들의 어플리케이션의 예시적인 효과를 도시한다.
도 19, 도 20a 및 도 20b 는 본 개시의 특정 양태들에 따른, 관리 신호들을 조정하기 위한 예시적인 규칙들을 도시한다.
도 21 은 본 개시의 특정 양태들에 따른, 범용 프로세서를 이용하여 뉴럴 네트워크를 설계하는 예시적인 구현을 도시한다.
도 22 는 본 개시의 특정 양태들에 따른, 메모리가 개별 분산 프로세싱 유닛들과 인터페이싱될 수도 있는 뉴럴 네트워크를 설계하는 예시적인 구현을 도시한다.
도 23 은 본 개시의 특정 양태들에 따른, 분산 메모리들 및 분산 프로세싱 유닛들에 기초하여 뉴럴 네트워크를 설계하는 예시적인 구현을 도시한다.
도 24 는 본 개시의 특정 양태들에 따른 뉴럴 네트워크의 예시적인 구현을 도시한다.
도 1 은 본 개시의 특정 양태들에 따른 뉴런들의 예시적인 네트워크를 도시한다.
도 2 는 본 개시의 특정 양태들에 따른, 연산 네트워크 (뉴럴 시스템 또는 뉴럴 네트워크) 의 프로세싱 유닛 (뉴런) 의 예를 도시한다.
도 3 은 본 개시의 특정 양태들에 따른 스파이크-타이밍 의존 가소성 (STDP; spike-timing dependent plasticity) 곡선의 일 예를 도시한다.
도 4 는 본 개시의 특정 양태들에 따른, 뉴런 모델의 거동을 정의하기 위한 포지티브 레짐 (positive regime) 및 네거티브 레짐의 일 예를 도시한다.
도 5 는 본 개시의 특정 양태들에 따른, 뉴럴 네트워크 블록을 활용하는 시스템의 예시적인 하이-레벨 블록 다이어그램을 도시한다.
도 6 은 본 개시의 특정 양태들에 따른 예시적인 자극 프로세싱 모델을 도시한다.
도 7 은 본 개시의 특정 양태들에 따른, 클래스들을 태깅하기 위한 예시적인 방법을 도시한다.
도 8 은 본 개시의 특정 양태들에 따른, 노드들의 클래스들을 태깅하기 위한 예시적인 동작들을 도시한다.
도 8a 는 도 8 에 도시된 동작들을 수행하는 것이 가능한 예시적인 컴포넌트들을 도시한다.
도 9a 내지 도 9c 는 본 개시의 특정 양태들에 따른 제안된 태깅 방법을 도시한다.
도 10 은 본 개시의 특정 양태들에 따른 예시적인 가소성 규칙을 도시한다.
도 11 은 본 개시의 특정 양태들에 따른, 운동신경 (motor) 에 대한 입력 액션 태그들을 생성함에 있어서 제안된 방법의 예시적인 어플리케이션을 도시한다.
도 12 는 본 개시의 특정 양태들에 따른, 클래스 경계들을 생성함에 있어서 제안된 태깅 방법의 예시적인 어플리케이션을 도시한다.
도 13a 내지 도 13c 는 본 개시의 특정 양태들에 따른, 융합형 클래스들에 대한 제안된 태깅 방법의 다른 예시적인 어플리케이션을 도시한다.
도 14a 내지 도 14c 는 본 개시의 특정 양태들에 따른, 오버-컴플리트 (over-complete) 표현으로의 뉴럴 네트워크에서의 제안된 태깅 방법의 다른 예시적인 어플리케이션을 도시한다.
도 15 는 본 개시의 특정 양태들에 따른, 뉴럴 네트워크에 새로운 클래스를 부가하기 위한 예시적인 방법을 도시한다.
도 16 은 본 개시의 특정 양태들에 따른, 관리 신호들 (supervisory signals) 을 활용하는 예시적인 모델을 도시한다.
도 17 은 본 개시의 특정 양태들에 따른, 관리 신호들의 어플리케이션의 예시적인 타이밍을 도시한다.
도 18 은 본 개시의 특정 양태들에 따른, 관리 신호들의 어플리케이션의 예시적인 효과를 도시한다.
도 19, 도 20a 및 도 20b 는 본 개시의 특정 양태들에 따른, 관리 신호들을 조정하기 위한 예시적인 규칙들을 도시한다.
도 21 은 본 개시의 특정 양태들에 따른, 범용 프로세서를 이용하여 뉴럴 네트워크를 설계하는 예시적인 구현을 도시한다.
도 22 는 본 개시의 특정 양태들에 따른, 메모리가 개별 분산 프로세싱 유닛들과 인터페이싱될 수도 있는 뉴럴 네트워크를 설계하는 예시적인 구현을 도시한다.
도 23 은 본 개시의 특정 양태들에 따른, 분산 메모리들 및 분산 프로세싱 유닛들에 기초하여 뉴럴 네트워크를 설계하는 예시적인 구현을 도시한다.
도 24 는 본 개시의 특정 양태들에 따른 뉴럴 네트워크의 예시적인 구현을 도시한다.
본 개시의 다양한 양태들은 첨부 도면들을 참조하여 이하 더 충분히 설명된다. 하지만, 본 개시는 다수의 상이한 형태들로 구현될 수도 있으며, 본 개시 전반에 걸쳐 제시된 임의의 특정 구조 또는 기능으로 한정되는 것으로서 해석되지 않아야 한다. 대신, 이들 양태들은, 본 개시가 철저하고 완벽하며 또한 본 개시의 범위를 당업자에게 충분히 전달하게 하도록 제공된다. 본 명세서에서의 교시들에 기초하여, 당업자는, 본 개시의 임의의 다른 양태와 독립적으로 구현되든 또는 결합되든, 본 개시의 범위가 본 명세서에 개시된 본 개시의 임의의 양태를 커버하도록 의도됨을 인식할 것이다. 예를 들어, 본 명세서에서 기재된 임의의 수의 양태들을 이용하여 일 장치가 구현될 수도 있거나 일 방법이 실시될 수도 있다. 부가적으로, 본 개시의 범위는, 본 명세서에서 기재된 본 개시의 다양한 양태들에 부가한 또는 그 이외의 구조 및 기능, 또는 다른 구조, 기능을 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에서 개시된 본 개시의 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수도 있음이 이해되어야 한다.
단어 "예시적인" 은 "예, 예증, 또는 예시로서 기능하는" 을 의미하도록 본 명세서에서 사용된다. "예시적인" 것으로서 본 명세서에서 설명되는 임의의 양태는 다른 양태들에 비해 반드시 선호되거나 유리한 것으로서 해석되지는 않는다.
특정 양태들이 본 명세서에서 설명되지만, 이들 양태들의 다수의 변형예들 및 치환예들은 본 개시의 범위 내에 있다. 선호된 양태들의 일부 이익들 및 이점들이 언급되지만, 본 개시의 범위는 특정 이익들, 사용들, 또는 목적들에 한정되도록 의도되지 않는다. 대신, 본 개시의 양태들은 상이한 기술들, 시스템 구성들, 네트워크들, 및 프로토콜들에 널리 적용가능하도록 의도되며, 이들 중 일부는 도면들에서, 그리고 선호된 양태들의 다음의 설명에서 예로써 예시된다. 상세한 설명 및 도면들은 한정하는 것보다는 본 개시의 단지 예시일 뿐이며, 본 개시의 범위는 첨부된 청구항들 및 그 균등물들에 의해 정의된다.
예시적인
뉴럴
시스템,
트레이닝
및 동작
도 1 은 본 개시의 특정 양태들에 따른 뉴런들의 다중의 레벨들을 갖는 예시적인 뉴럴 시스템 (100) 을 도시한다. 뉴럴 시스템 (100) 은 시냅스 접속들 (즉, 피드-포워드 접속들) 의 네트워크 (104) 를 통해 뉴런들의 다른 레벨 (106) 에 접속되는 뉴런들의 레벨 (102) 을 포함할 수도 있다. 단순화를 위해, 비록 뉴런들의 오직 2개 레벨들만이 도 1 에 도시되어 있더라도, 뉴런들의 더 적거나 더 많은 레벨들이 통상의 뉴럴 시스템에 존재할 수도 있다. 뉴런들의 일부가 측면 접속들을 통해 동일한 계층의 다른 뉴런들에 접속할 수도 있다는 점을 유의해야 한다. 더욱이, 뉴런들의 일부는 피드백 접속들을 통해 이전 계층의 뉴런에 다시 접속할 수도 있다.
도 1 에 도시된 바와 같이, 레벨 (102) 의 각각의 뉴런은, 이전 레벨 (도 1 에 도시 안됨) 의 복수의 뉴런들에 의해 생성될 수도 있는 입력 신호 (108) 를 수신할 수도 있다. 신호 (108) 는 레벨 (102) 뉴런의 입력 전류를 나타낼 수도 있다. 이 전류는 멤브레인 전위를 충전하기 위해 뉴런 멤브레인 상에 누적될 수도 있다. 멤브레인 전위가 그 임계 값에 도달할 경우, 뉴런은 발화하고, 뉴런들의 다음 레벨 (예를 들어, 레벨 (106)) 로 전송될 출력 스파이크를 생성할 수도 있다. 그러한 거동은 아날로그 및 디지털 구현들을 포함한, 하드웨어 및/또는 소프트웨어에서 에뮬레이션되거나 시뮬레이션될 수 있다.
생물학적 뉴런들에 있어서, 뉴런이 발화할 때 생성되는 출력 스파이크는 활동 전위로서 지칭된다. 이러한 전기 신호는 대략 100 mV 의 진폭 및 약 1 ms 의 지속기간을 갖는, 상대적으로 빠른, 일시적인, 양단간 (all-or nothing) 신경 임펄스이다. 접속된 뉴런들의 시리즈를 갖는 뉴럴 시스템의 특정 실시형태 (예를 들어, 도 1 에서 뉴런들의 일 레벨로부터 다른 레벨로의 스파이크들의 전송) 에 있어서, 모든 활동 전위는 기본적으로 동일한 진폭 및 지속기간을 가지며, 따라서, 신호 내 정보는 진폭에 의해서가 아닌, 오직 스파이크들의 주파수 및 개수, 또는 스파이크들의 시간에 의해서만 표현된다. 활동 전위에 의해 반송되는 정보는 스파이크, 스파이크된 뉴런, 및 다른 스파이크 또는 스파이크들에 대한 그 스파이크의 시간에 의해 결정된다.
뉴런들의 일 레벨로부터 다른 레벨로의 스파이크들의 전송은, 도 1 에 도시된 바와 같이, 시냅스 접속들의 네트워크 (또는 간단히 "시냅스들") (104) 를 통해 달성될 수도 있다. 시냅스들 (104) 은 레벨 (102) 뉴런들 (시냅스들 (104) 에 대한 시냅스전 (pre-synaptic) 뉴런들) 로부터 출력 신호들 (즉, 스파이크들) 을 수신하고, 그 신호들을 조정가능한 시냅스 가중치들 (w1 (i,i+1),..., wP (i,i+1)) (여기서, P 는 레벨들 (102 및 106) 의 뉴런들 간의 시냅스 접속들의 총 수임) 에 따라 스케일할 수도 있다. 추가로, 스케일링된 신호들은 레벨 (106) (시냅스들 (104) 에 대한 시냅스후 뉴런들) 에서의 각각의 뉴런의 입력 신호로서 결합될 수도 있다. 레벨 (106) 의 모든 뉴런은 대응하는 결합된 입력 신호에 기초하여 출력 스파이크들 (110) 을 생성할 수도 있다. 그 후, 출력 스파이크들 (110) 은 시냅스 접속들의 다른 네트워크 (도 1 에 도시 안됨) 를 이용하여 뉴런들의 다른 레벨들로 전송될 수도 있다.
생물학적 시냅스들은 전기적 또는 화학적 시냅스로서 분류될 수도 있다. 전기적 시냅스들이 흥분성 신호들을 전송하는데 주로 사용되지만, 화학적 시냅스들은 시냅스후 뉴런들에서의 흥분성 또는 억제성 (과분극하는) 활동들을 중재할 수 있으며, 또한 뉴런 신호들을 증폭하도록 기능할 수 있다. 흥분성 신호들은 통상적으로 멤브레인 전위를 탈분극시킨다 (즉, 휴지 전위에 대해 멤브레인 전위를 증가시킴). 멤브레인 전위를 임계치 초과로 탈분극시키기 위해 충분한 흥분성 신호들이 특정 시간 기간 이내에 수신되면, 활동 전위가 시냅스후 뉴런에서 발생한다. 이에 반하여, 억제성 신호들은 일반적으로 멤브레인 전위를 과분극시킨다 (즉, 감소시킨다). 억제성 신호들은, 충분히 강하면, 흥분성 신호들의 총합을 상쇄시킬 수 있으며 멤브레인 전위가 임계치에 도달하는 것을 방지할 수 있다. 시냅스 흥분을 상쇄시키는 것에 부가하여, 시냅스 억제는 자발적 활성 뉴런들에 걸쳐 강력한 제어를 행할 수 있다. 자발적 활성 뉴런은 추가적인 입력없이, 예를 들어, 그의 역학 또는 피드백으로 인해 스파이크하는 뉴런을 지칭한다. 이들 뉴런들에 있어서 활동 전위들의 자발적 생성을 억제함으로써, 시냅스 억제는 스컬쳐링 (sculpturing) 으로 일반적으로 지칭되는, 뉴런에서의 발화의 패턴을 형상화할 수 있다. 다양한 시냅스들 (104) 은 원하는 거동에 의존하여, 흥분성 또는 억제성 시냅스들의 임의의 조합으로서 작용할 수도 있다.
뉴럴 시스템 (100) 은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 이들의 임의의 조합에 의해 에뮬레이션될 수도 있다. 뉴럴 시스템 (100) 은 이미지 및 패턴 인식, 머신 학습, 운동신경 제어 등과 같은 광범위한 어플리케이션들에서 활용될 수도 있다. 뉴럴 시스템 (100) 에서의 각각의 뉴런은 뉴런 회로로서 구현될 수도 있다. 출력 스파이크를 개시하는 임계 값까지 하전되는 뉴런 멤브레인은, 예를 들어, 흐르는 전류를 적분하는 커패시터로서 구현될 수도 있다.
일 양태에 있어서, 커패시터는 뉴런 회로의 전류 적분 디바이스로서 제거될 수도 있고, 더 작은 멤리스터 엘리먼트가 대신 사용될 수도 있다. 이러한 접근법은 뉴런 회로들에 뿐 아니라, 벌키 커패시터들이 전류 적분기들로서 활용되는 다양한 다른 어플리케이션들에 적용될 수도 있다. 부가적으로, 시냅스들 (104) 각각은 멤리스터 엘리먼트에 기초하여 구현될 수도 있으며, 여기서, 시냅스 가중치 변경들은 멤리스터 저항의 변경들과 관련될 수도 있다. 나노미터 피처 사이징된 멤리스터들을 사용하여, 뉴런 회로 및 시냅스들의 면적이 실질적으로 감소될 수도 있으며, 이는 초고밀도 뉴럴 시스템 하드웨어 구현체의 구현을 실제하게 할 수도 있다.
뉴럴 시스템 (100) 을 에뮬레이션하는 뉴럴 프로세서의 기능은 뉴런들 사이의 접속들의 강도들을 제어할 수도 있는, 시냅스 접속들의 가중치들에 의존할 수도 있다. 시냅스 가중치들은, 파워-다운된 이후 프로세서의 기능을 보존하기 위해 비-휘발성 메모리에 저장될 수도 있다. 일 양태에 있어서, 시냅스 가중치 메모리는 메인 뉴럴 프로세서 칩과는 별개의 외부 칩 상에 구현될 수도 있다. 시냅스 가중치 메모리는 교체가능한 메모리 카드로서 뉴럴 프로세서 칩과는 별개로 패키징될 수도 있다. 이는 뉴럴 프로세서에 다양한 기능들을 제공할 수도 있으며, 여기서, 특정 기능은 뉴럴 프로세서에 현재 부착된 메모리 카드에 저장되는 시냅스 가중치들에 기초할 수도 있다.
도 2 는 본 개시의 특정 양태들에 따른, 연산 네트워크 (예를 들어, 뉴럴 시스템 또는 뉴럴 네트워크) 의 프로세싱 유닛 (예를 들어, 뉴런 또는 뉴런 회로) (202) 의 예 (200) 를 도시한다. 예를 들어, 뉴런 (202) 은 도 1 로부터의 레벨들 (102 및 106) 의 뉴런들 중 임의의 뉴런에 대응할 수도 있다. 뉴런 (202) 은 다중의 입력 신호들 (2041-204N (x1-xN)) 을 수신할 수도 있으며, 이 다중의 입력 신호들은 뉴럴 시스템 외부의 신호들, 또는 동일한 뉴럴 시스템의 다른 뉴런들에 의해 생성되는 신호들, 또는 이들 양자일 수도 있다. 입력 신호는 실수 값 또는 복소수 값인 전류 또는 전압일 수도 있다. 입력 신호는 고정-소수점 또는 부동-소수점 표현을 가진 수치 값을 포함할 수도 있다. 이들 입력 신호들은 조정가능한 시냅스 가중치들 (2061-206N (w1-wN)) 에 따라 신호들을 스케일링하는 시냅스 접속들을 통해서 뉴런 (202) 으로 전달될 수도 있으며, 여기서 N 은 뉴런 (202) 의 입력 접속들의 총 개수일 수도 있다.
뉴런 (202) 은 스케일링된 입력 신호들을 결합하고, 그 결합된 스케일링된 입력들을 이용하여 출력 신호 (208) (즉, 신호 (y)) 를 생성할 수도 있다. 출력 신호 (208) 는 실수 값 또는 복소수 값인 전류 또는 전압일 수도 있다. 출력 신호는 고정-소수점 또는 부동-소수점 표현을 가진 수치 값을 포함할 수도 있다. 그 후, 출력 신호 (208) 는 동일한 뉴럴 시스템의 다른 뉴런들로의 입력 신호로서, 또는 동일한 뉴런 (202) 으로의 입력 신호로서, 또는 뉴럴 시스템의 출력으로서 전송될 수도 있다.
프로세싱 유닛 (뉴런) (202) 은 전기 회로에 의해 에뮬레이션될 수도 있으며, 그 입력 및 출력 접속들은 시냅스 회로들을 가진 와이어들에 의해 에뮬레이션될 수도 있다. 프로세싱 유닛 (202), 그 입력 및 출력 접속들은 또한 소프트웨어 코드에 의해 에뮬레이션될 수도 있다. 프로세싱 유닛 (202) 은 또한 전기 회로에 의해 에뮬레이션될 수도 있지만, 그 입력 및 출력 접속들은 소프트웨어 코드에 의해 에뮬레이션될 수도 있다. 일 양태에 있어서, 연산 네트워크에서의 프로세싱 유닛 (202) 은 아날로그 전기 회로를 포함할 수도 있다. 다른 양태에 있어서, 프로세싱 유닛 (202) 은 디지털 전기 회로를 포함할 수도 있다. 또다른 양태에 있어서, 프로세싱 유닛 (202) 은 아날로그 및 디지털 컴포넌트들 양자와의 믹싱된 신호 전기 회로를 포함할 수도 있다. 연산 네트워크는 프로세싱 유닛들을 전술한 형태들 중 임의의 형태로 포함할 수도 있다. 그러한 프로세싱 유닛들을 이용한 연산 네트워크 (뉴럴 시스템 또는 뉴럴 네트워크) 는, 이미지 및 패턴 인식, 머신 학습, 운동신경 제어 등과 같은 광범위한 어플리케이션들에서 활용될 수도 있다.
뉴럴 네트워크를 트레이닝하는 과정 동안, 시냅스 가중치들 (예를 들어, 도 1 로부터의 가중치들 (w1 (i,i+1),..., wP (i,i+1)) 및/또는 도 2 로부터의 가중치들 (2061-206N)) 은 랜덤 값들로 초기화되고, 학습 규칙에 따라 증가되거나 감소될 수도 있다. 학습 규칙의 일부 예들은 스파이크-타이밍 의존 가소성 (STDP) 학습 규칙, Hebb 규칙, Oja 규칙, BCM (Bienenstock-Copper-Munro) 규칙 등이다. 매우 자주, 가중치들은 2개의 값들 (즉, 가중치들의 이봉 (bimodal) 분포) 중 하나로 정할 수도 있다. 이 효과는 시냅스 가중치 당 비트수를 감소시키고, 시냅스 가중치들을 저장하는 메모리로부터 판독하고 그 메모리에 기입하는 속도를 증가시키고, 그리고 시냅스 메모리의 전력 소비를 감소시키는데 활용될 수 있다.
시냅스 타입
뉴럴 네트워크들의 하드웨어 및 소프트웨어 모델들에 있어서, 시냅스 관련 기능들의 프로세싱은 시냅스 타입에 기초할 수 있다. 시냅스 타입들은 비가소성 (non-plastic) 시냅스들 (가중치 및 지연의 변화들이 없음), 가소성 시냅스들 (가중치가 변할 수도 있음), 구조적 지연 가소성 시냅스들 (가중치 및 지연이 변할 수도 있음), 완전 가소성 시냅스들 (가중치, 지연 및 접속도가 변할 수도 있음), 및 그 변형예들 (예를 들어, 지연이 변할 수 있지만, 가중치 또는 접속도에서의 변화는 없음) 을 포함할 수도 있다. 이것의 이점은 프로세싱이 세분될 수 있다는 점이다. 예를 들어, 비가소성 시냅스들은 가소성 기능들이 실행되는 것을 (또는, 그러한 기능들이 완료하기를 대기하는 것을) 요구하지 않을 수도 있다. 유사하게, 지연 및 가중치 가소성은, 함께 또는 별개로, 순차적으로 또는 병렬로, 동작할 수도 있는 동작들로 세분될 수도 있다. 상이한 타입들의 시냅스들은, 적용하는 상이한 가소성 타입들의 각각에 대해 상이한 룩업 테이블들 또는 공식들 및 파라미터들을 가질 수도 있다. 따라서, 그 방법들은 시냅스의 타입에 대한 관련 테이블들에 액세스할 것이다.
스파이크-타이밍 의존 구조적 가소성이 시냅스 가소성과는 독립적으로 실행될 수도 있다는 사실의 추가적인 암시들이 존재한다. 구조적 가소성은, 구조적 가소성 (즉, 지연 변화의 양) 이 사전-사후 스파이크 시간 차이의 직접 함수일 수도 있기 때문에, 가중치 크기에 어떠한 변화도 없더라도 (예를 들어, 가중치가 최소 또는 최대 값에 도달하였거나, 또는 일부 다른 이유로 인해 변화되지 않으면) 실행될 수도 있다. 대안적으로, 그것은 가중치 변화량의 함수로서, 또는 가중치들 또는 가중치 변화들의 한계들에 관련된 조건들에 기초하여 설정될 수도 있다. 예를 들어, 시냅스 지연은 오직 가중치 변화가 발생할 때 또는 가중치들이 제로에 도달하면 변할 수도 있지만, 가중치들이 최대에 도달되면 변하지 않을 수도 있다. 하지만, 이들 프로세스들이 병렬화되어 메모리 액세스들의 수 및 중첩을 감소시킬 수 있도록 독립적인 기능들을 갖는 것이 유리할 수 있다.
시냅스 가소성의 결정
신경가소성 (또는, 간단히 "가소성") 은 새로운 정보, 감각 자극, 발달, 손상, 또는 기능장애에 응답하여, 그 시냅스 접속들 및 거동을 변경하기 위한 뇌에서의 뉴런들 및 뉴럴 네트워크들의 용량이다. 가소성은 생물학에서의 학습 및 기억 뿐만 아니라 연산 신경과학 및 뉴럴 네트워크들에 중요하다. (예를 들어, Hebbian 이론에 따른) 시냅스 가소성, 스파이크-타이밍 의존 가소성 (STDP), 비-시냅스 가소성, 활동 의존 가소성, 구조적 가소성, 및 항상적 가소성과 같은 다양한 형태들의 가소성이 연구되었다.
STDP 는, 뉴런들 사이의 시냅스 접속들의 강도를 조정하는 학습 프로세스이다. 접속 강도들은 특정 뉴런의 출력 및 수신된 입력 스파이크들 (즉, 활동 전위들) 의 상대적인 타이밍에 기초하여 조정된다. STDP 프로세스 하에서, 특정 뉴런으로의 입력 스파이크가, 평균적으로, 그 뉴런의 출력 스파이크 직전에 발생하는 경향이 있으면, 장기 강화 (LTP) 가 발생할 수도 있다. 그 후, 그 특정 입력은 다소 더 강하게 이루어진다. 한편, 입력 스파이크가, 평균적으로, 출력 스파이크 직후에 발생하는 경향이 있으면, 장기 억압 (LTD) 이 발생할 수도 있다. 그 후, 그 특정 입력이 다소 더 약하게 이루어지며, 따라서, "스파이크-타이밍 의존 가소성" 으로 명명한다. 결과적으로, 시냅스후 뉴런의 흥분의 원인일 수도 있는 입력들은 장래에 기여할 가능성이 훨씬 더 많게 이루어지지만, 시냅스후 스파이크의 원인이 아닌 입력들은 장래에 기여할 가능성이 적게 이루어진다. 프로세스는, 접속들의 초기 세트의 서브세트가 유지되는 한편 모든 나머지 영향이 제로 또는 거의 제로로 감소될 때까지 계속한다.
뉴런이 일반적으로, 그 입력들 중 다수가 짧은 기간 (즉, 출력을 야기하기에 충분히 누적적임) 내에 발생할 때 출력 스파이크를 생성하기 때문에, 통상적으로 남아 있는 입력들의 서브세트는 시간적으로 상관되려는 경향이 있는 입력들을 포함한다. 부가적으로, 출력 스파이크 전에 발생하는 입력들이 강화되기 때문에, 가장 이른 충분히 누적적인 상관의 표시를 제공하는 입력들이 결국 뉴런으로의 최종 입력이 될 것이다.
STDP 학습 규칙은 시냅스전 뉴런을 시냅스후 뉴런에 접속하는 시냅스의 시냅스 가중치를 시냅스전 뉴런의 스파이크 시간 (tpre) 과 시냅스후 뉴런의 스파이크 시간 (tpost) 사이의 시간 차이 (즉, t=tpost-tpre) 의 함수로서 효과적으로 적응시킬 수도 있다. STDP 의 통상적인 공식화 (formulation) 는, 시간 차이가 포지티브이면 (시냅스전 뉴런이 시냅스후 뉴런 이전에 발화하면) 시냅스 가중치를 증가시키고 (즉, 시냅스를 강화하고), 그리고 시간 차이가 네거티브이면 (시냅스후 뉴런이 시냅스전 뉴런 전에 발화하면) 시냅스 가중치를 감소시키는 (즉, 시냅스를 억압하는) 것이다.
STDP 프로세스에 있어서, 시간에 걸친 시냅스 가중치의 변화는, 통상적으로, 다음으로 주어진 바와 같이, 지수적 감쇠를 이용하여 달성될 수도 있으며,
여기서, k+ 및 k- 는 각각 포지티브 및 네거티브 시간 차이에 대한 시상수들이고, α+ 및 α- 는 대응하는 스케일링 크기들이고, μ 는 포지티브 시간 차이 및/또는 네거티브 시간 차이에 적용될 수도 있는 오프셋이다.
도 3 은 STDP 에 따른 시냅스전 및 시냅스후 스파이크들의 상대적인 타이밍의 함수로서의 시냅스 가중치 변화의 예시적인 그래프 다이어그램 (300) 을 도시한다. 시냅스전 뉴런이 시냅스후 뉴런 이전에 발화하면, 대응하는 시냅스 가중치가, 그래프 (300) 의 부분 (302) 에 도시된 바와 같이, 증가될 수도 있다. 이 가중치 증가는 시냅스의 LTP 로서 지칭될 수 있다. LTP 의 양이 시냅스전 및 시냅스후 스파이크 시간들 사이의 차이의 함수로서 대략 지수적으로 감소할 수도 있다는 것이 그래프 부분 (302) 으로부터 관측될 수 있다. 발화의 역방향 순서는 시냅스 가중치를 감소시켜, 그래프 (300) 의 부분 (304) 에 도시된 바와 같이, 시냅스의 LTD 를 야기할 수도 있다.
도 3 에서의 그래프 (300) 에 도시된 바와 같이, 네거티브 오프셋 (μ) 은 STDP 그래프의 LTP (인과관계) 부분 (302) 에 적용될 수도 있다. x축 (y=0) 의 교차 포인트 (306) 는 계층 i-1 로부터의 인과관계 입력들에 대한 상관을 고려하기 위해 최대 시간 래그와 일치하도록 구성될 수도 있다. 프레임 기반 입력의 경우 (즉, 입력이 스파이크들 또는 펄스들을 포함하는 특정 지속기간의 프레임의 형태인 경우), 오프셋 값 (μ) 은 프레임 경계를 반영하도록 연산될 수 있다. 프레임에 있어서의 제 1 입력 스파이크 (펄스) 는 시냅스후 전위에 의해 직접적으로 모델링될 때와 같이 또는 뉴럴 상태에 대한 효과의 관점에서 시간에 걸쳐서 감쇠하는 것으로 고려될 수도 있다. 프레임에 있어서의 제 2 입력 스파이크 (펄스) 가 특정 시간 프레임과 상관되거나 관련되는 것으로 고려되면, 프레임 전후의 관련 시간들은, 그 관련 시간들에서의 값이 상이할 수 있도록 (예를 들어, 일 프레임보다 큰 것에 대해 네거티브 및 일 프레임보다 작은 것에 대해 포지티브) STDP 곡선의 하나 이상의 부분들을 오프셋함으로써, 그 시간 프레임 경계에서 분리될 수도 있으며, 가소성 항들에서 상이하게 취급될 수도 있다. 예를 들어, 네거티브 오프셋 (μ) 은, 곡선이 실제로 프레임 시간보다 큰 사전-사후 시간에서 제로 아래로 가며 따라서 LTP 대신 LTD 의 부분이도록, LTP 를 오프셋하도록 설정될 수도 있다.
뉴런 모델들 및 동작
유용한 스파이킹 뉴런 모델을 설계하기 위한 일부 일반적인 원리들이 존재한다. 양호한 뉴런 모델은 2개의 연산 레짐들: 즉, 일치 검출 및 함수적 연산의 관점에서, 풍부한 전위 거동을 가질 수도 있다. 더욱이, 양호한 뉴런 모델은 시간 코딩을 허용하기 위해 2개의 엘리먼트들을 가질 것이다: 입력들의 도달 시간은 출력 시간에 영향을 미치며 일치 검출은 좁은 시간 윈도우를 가질 수 있음. 마지막으로, 연산적으로 흥미를 끌기 위해서, 양호한 뉴런 모델은 연속적인 시간에 있어서 닫힌 형태의 해 (closed-form solution) 를 가지며 가까운 어트랙터들 (attractors) 및 새들 (saddle) 포인트들을 포함한 안정적인 거동을 가질 수도 있다. 즉, 유용한 뉴런 모델은, 풍부하고 현실적이고 생물학적으로 일관된 거동들을 모델링하는데 사용될 뿐만 아니라 뉴럴 회로들을 설계하고 역설계하는데 모두 사용될 수 있으며 그리고 실용적인 모델이다.
뉴런 모델은 입력 도달, 출력 스파이크 또는 내부든 또는 외부든 다른 이벤트와 같은 이벤트들에 의존할 수도 있다. 풍부한 거동 레파토리를 획득하기 위해, 복잡한 거동들을 나타낼 수 있는 상태 머신이 소망될 수도 있다. 입력 기여 (있다면) 와는 별개인 이벤트 자체의 발생이 상태 머신에 영향을 미치거나 그 이벤트에 후속하는 역학을 구속할 수 있으면, 시스템의 장래 상태는 오직 상태 및 입력의 함수라기 보다는, 상태, 이벤트, 및 입력의 함수이다.
일 양태에서, 뉴런 (n) 은 다음의 역학에 의해 지배되는 멤브레인 전압 (νn(t)) 을 가진 스파이킹 누설 적분 발화 (spiking leaky-integrate-and-fire) 뉴런으로서 모델링될 수도 있으며,
여기서, α 및 β 는 파라미터들이고, wm,n 는 시냅스전 뉴런 (m) 을 시냅스후 뉴런 (n) 에 접속하는 시냅스에 대한 시냅스 가중치이고, ym(t) 는 뉴런 (n) 의 세포체에서의 도달까지 △tm,n 에 따른 수상 (dendritic) 또는 축삭 (axonal) 지연에 의해 지연될 수도 있는 뉴런 (m) 의 스파이킹 출력이다.
시냅스후 뉴런으로의 충분한 입력이 확립될 때의 시간으로부터 시냅스후 뉴런이 실제로 발화할 때의 시간까지 지연이 존재한다는 점에 유의해야 한다. Izhikevich 의 단순 모델과 같은 동적 스파이킹 뉴런 모델에 있어서, 시간 지연은, 탈분극 임계치 (νt) 와 피크 스파이크 전압 (νpeak) 사이의 차이가 존재하면 초래될 수도 있다. 예를 들어, 단순 모델에 있어서, 뉴런 세포체 역학은, 다음과 같은, 전압 및 복구에 대한 미분 방정식들의 쌍에 의해 지배될 수 있으며, 즉,
여기서, ν 는 멤브레인 전위이고, u 는 멤브레인 복구 변수이고, k 는 멤브레인 전위 (ν) 의 시간 스케일을 기술하는 파라미터이고, α 는 복구 변수 (u) 의 시간 스케일을 기술하는 파라미터이고, b 는 멤브레인 전위 (ν) 의 임계치 아래의 (sub-threshold) 변동들에 대한 복구 변수 (u) 의 감도를 기술하는 파라미터이고, νr 은 멤브레인 휴지 전위이고, I 는 시냅스 전류이고, C 는 멤브레인의 커패시턴스이다. 이 모델에 따르면, 뉴런은 ν>νpeak 일 때 스파이킹하도록 정의된다.
Hunzinger
Cold 모델
Hunzinger Cold 뉴런 모델은 뉴럴 거동들의 풍부한 변종을 재현할 수 있는 최소 듀얼-레짐 스파이킹 선형 역학 모델이다. 모델의 1차원 또는 2차원 선형 역학은 2개의 레짐들을 가질 수 있으며, 여기서, 시상수 (및 커플링) 는 그 레짐에 의존할 수 있다. 임계치 아래의 레짐에 있어서, 관례에 의해 네거티브인 시상수는, 생물학적으로 일관된 선형 방식으로 셀을 휴지로 복귀시키기 위해 일반적으로 작용하는 누설 채널 역학을 나타낸다. 관례에 의해 포지티브인 임계치 이상의 (supra-threshold) 레짐에 있어서의 시상수는, 스파이크 발생에 있어서 레이턴시를 초래하면서 스파이킹하도록 셀을 일반적으로 구동하는 누설 방지 채널 역학을 반영한다.
도 4 에 도시된 바와 같이, 모델의 역학은 2개의 (또는 그 이상의) 레짐들로 분할될 수도 있다. 이들 레짐들은 네거티브 레짐 (402) (누설 적분 발화 (LIF) 뉴런 모델과 혼동되지 않도록, 누설 적분 발화 (LIF) 레짐으로서 상호대체가능하게 또한 지칭됨) 및 포지티브 레짐 (404) (누설 방지 적분 발화 (ALIF) 뉴런 모델과 혼동되지 않도록, 누설 방지 적분 발화 (ALIF) 레짐으로서 상호대체가능하게 또한 지칭됨) 으로 칭해 질 수도 있다. 네거티브 레짐 (402) 에 있어서, 그 상태는 장래 이벤트 시에 휴지 (ν-) 로 향하는 경향이 있다. 이 네거티브 레짐에 있어서, 모델은 일반적으로, 시간 입력 검출 특성들 및 다른 임계치 아래의 거동을 나타낸다. 포지티브 레짐 (404) 에 있어서, 그 상태는 스파이킹 이벤트 (νS) 로 향하는 경향이 있다. 이 포지티브 레짐에 있어서, 모델은 후속 입력 이벤트들에 의존하여 스파이킹하기 위해 레이턴시를 초래하는 것과 같은, 연산 특성들을 나타낸다. 이벤트들의 관점에서의 역학의 공식화 및 이들 2개의 레짐들로의 역학의 분리는 모델의 기본 특성들이다.
(상태들 (ν 및 u) 에 대해) 선형 듀얼-레짐 2차원 역학은 다음과 같이 관례에 의해 정의될 수도 있으며,
여기서, qρ 및 r 는 커플링을 위한 선형 변환 변수들이다.
심볼 (ρ) 은, 특정 레짐에 대한 관계를 논의하거나 표현할 때, 네거티브 및 포지티브 레짐들에 대해 심볼 (ρ) 을 부호 "-" 또는 "+" 로 각각 대체하는 관례로 역학 레짐을 표기하기 위해 본 명세서에서 사용된다.
모델 상태는 멤브레인 전위 (전압) (ν) 및 복구 전류 (u) 에 의해 정의된다. 기본 형태에 있어서, 레짐은 본질적으로 모델 상태에 의해 결정된다. 정확하고 일반적인 정의의 미묘하지만 중요한 양태들이 존재하지만, 지금은, 전압 (ν) 이 임계치 (ν+) 보다 크면 모델이 포지티브 레짐 (404) 에 있는 것으로, 그렇지 않으면 네거티브 레짐 (402) 에 있는 것으로 간주한다.
레짐 의존적인 시상수들은 네거티브 레짐 시상수인 τ-, 및 포지티브 레짐 시상수인 τ+ 을 포함한다. 복구 전류 시상수 (τu) 는 통상적으로 레짐과 무관하다. 편의를 위해, 네거티브 레짐 시상수 (τ-) 는 통상적으로, 감쇠를 반영하기 위해 네거티브 양으로서 명시되어, τu 인 바와 같은, 전압 발전 (voltage evolution) 을 위한 동일한 표현이 지수 및 τ+ 가 일반적으로 포지티브일 포지티브 레짐에 대해서와 같이 사용될 수도 있다.
2개의 상태 엘리먼트들의 역학은, 이벤트들에서 그 널-클라인(null-cline)들로부터 그 상태들을 오프셋하는 변환들에 의해 커플링될 수도 있으며, 여기서, 변환 변수들은,
이며, 여기서, δ, ε, β 및 ν-, ν+ 는 파라미터들이다. νρ 에 대한 2개의 값들은 2개의 레짐들에 대한 참조 전압들을 위한 베이스이다. 파라미터 (ν-) 는 네거티브 레짐에 대한 베이스 전압이고, 멤브레인 전위는 일반적으로 네거티브 레짐에서 ν- 를 향해 감쇠할 것이다. 파라미터 (ν+) 는 포지티브 레짐에 대한 베이스 전압이고, 멤브레인 전위는 일반적으로 포지티브 레짐에서 ν+ 로부터 이격되는 경향이 있을 것이다.
ν 및 u 에 대한 널-클라인들은 변환 변수들 (qρ 및 r) 의 네거티브에 의해 각각 주어진다. 파라미터 (δ) 는 u 널-클라인의 기울기를 제어하는 스케일 팩터이다. 파라미터 (ε) 는 통상적으로 -ν- 와 동일하게 설정된다. 파라미터 (β) 는 레짐들 양자 모두에서 ν 널-클라인들의 기울기를 제어하는 저항값이다. τρ 시상수 파라미터들은 지수적 감쇠들 뿐만 아니라 널-클라인 기울기들을 각각의 레짐에서 별개로 제어한다.
모델은 전압 (ν) 이 값 νS 에 도달할 때 스파이킹하도록 정의된다. 후속적으로, 그 상태는 통상적으로 (기술적으로 하나이고 스파이크 이벤트와 동일할 수도 있는) 리셋 이벤트로 리셋되며:
이며, 여기서, 
및 △u 는 파라미터들이다. 리셋 전압 (
) 은 통상적으로 ν- 로 설정된다.
순간적인 커플링의 원리에 의해, 닫힌 형태의 해는 상태 (및 단일 지수 항을 가진 상태) 에 대해서 뿐만 아니라 특정 상태에 도달하는데 요구되는 시간에 대해서 가능하다. 닫힌 형태의 상태 해들은 다음과 같다.
따라서, 모델 상태는 오직 입력 (시냅스전 스파이크) 또는 출력 (시냅스후 스파이크) 시와 같은 이벤트들 시에만 업데이트될 수도 있다. 동작들은 또한 (입력이든 또는 출력이든) 임의의 특정 시간에 수행될 수도 있다.
더욱이, 순간적인 커플링 원리에 의해, 시냅스후 스파이크의 시간은 예상될 수도 있어서, 특정 상태에 도달하기 위한 시간이 반복 기법들 또는 수치 방법들 (예를 들어, Euler 수치 방법) 없이 미리 결정될 수도 있다. 이전 전압 상태 (ν0) 가 주어지면, 전압 상태 (νf) 가 도달될 때까지의 시간 지연은 다음과 같이 주어진다.
전압 상태 (ν) 가 νS 에 도달하는 시간에서 발생하는 것으로 스파이크가 정의되면, 전압이 주어진 상태 (ν) 에 있는 시간으로부터 측정될 때 스파이크가 발생할 때까지, 시간의 양 또는 상대적인 지연에 대한 닫힌 형태의 해는 다음과 같으며,
여기서, 
는 통상적으로, 파라미터 (ν+) 로 설정되지만, 다른 변경들이 가능할 수도 있다.
모델 역학의 상기 정의들은 모델이 포지티브 레짐에 있는지 또는 네거티브 레짐에 있는지에 의존한다. 언급된 바와 같이, 커플링 및 레짐 (ρ) 은 이벤트들 시에 연산될 수도 있다. 상태 전파의 목적들을 위해, 레짐 및 커플링 (변환) 변수들은 최종 (사전) 이벤트 시의 상태에 기초하여 정의될 수도 있다. 스파이크 출력 시간을 후속적으로 예상하려는 목적을 위해, 레짐 및 커플링 변수는 다음 (현재) 이벤트 시의 상태에 기초하여 정의될 수도 있다.
Cold 모델의 수개의 가능한 구현예들이 존재하며, 시뮬레이션, 에뮬레이션 또는 모델을 시간적으로 실행하고 있다. 이는, 예를 들어, 이벤트-업데이트, 스텝-이벤트 업데이트, 및 스텝-업데이트 모드들을 포함한다. 이벤트 업데이트는, 상태들이 (특정 순간에서) 이벤트들 또는 "이벤트 업데이트" 에 기초하여 업데이팅되는 업데이트이다. 스텝 업데이트는 모델이 간격들 (예컨대, 1ms) 로 업데이팅될 경우의 업데이트이다. 이는 반복 방법들 또는 수치적 방법들을 반드시 요구하지는 않는다. 이벤트 기반 구현은 또한, 스텝들에서 또는 스텝들 사이에서, 또는 "스텝-이벤트" 업데이트에 의해 이벤트가 발생하면 모델을 단지 업데이팅함으로써, 스텝 기반 시뮬레이터에 있어서, 제한된 시간 해상도에서 가능하다.
뉴럴 코딩
도 1 의 인공 뉴런들 (102, 106) 로 이루어진 모델과 같은 유용한 뉴럴 네트워크 모델은 일치 (coincidence) 코딩, 시간 (temporal) 코딩 또는 레이트 코딩과 같은 다양한 적합한 뉴럴 코딩 방식들 중 임의의 방식을 통해 정보를 인코딩할 수도 있다. 일치 코딩에 있어서, 정보는 뉴런 모집단 (population) 의 활동 전위들 (스파이킹 활동) 의 일치 (또는 시간 근접성) 로 인코딩된다. 시간 코딩에 있어서, 뉴런은 절대 시간에 있든 또는 상대 시간에 있든, 활동 전위들 (즉, 스파이크들) 의 정확한 타이밍을 통해 정보를 인코딩한다. 따라서, 정보는 뉴런들의 모집단 중 스파이크들의 상대적인 타이밍으로 인코딩될 수도 있다. 이에 반하여, 레이트 코딩은 뉴럴 정보를 발화 레이트 또는 모집단 발화 레이트로 코딩하는 것을 수반한다.
뉴런 모델이 시간 코딩을 수행할 수 있으면, 뉴런 모델은 또한 (레이트가 단지 타이밍 또는 스파이크간 간격들의 함수이기 때문에) 레이트 코딩을 수행할 수 있다. 시간 코딩을 제공하기 위해, 양호한 뉴런 모델은 다음의 2개의 엘리먼트들을 가질 것이다: (1) 입력들의 도달 시간이 출력 시간에 영향을 미침; 및 (2) 일치 검출이 좁은 시간 윈도우를 가질 수 있음. 접속 지연들은, 시간 패턴의 엘리먼트들을 적당히 지연시킴으로써 엘리먼트들이 타이밍 일치가 될 수도 있기 때문에, 일치 검출을 시간 패턴 디코딩으로 확장하기 위한 일 수단을 제공한다.
도달 시간
양호한 뉴런 모델에 있어서, 입력의 도달 시간은 출력의 시간에 영향을 미칠 것이다. 시냅스 입력은 디랙 델타 (Dirac delta) 함수든 또는 형상화된 시냅스후 전위 (PSP)든, 흥분성 (EPSP) 이든 또는 억제성 (IPSP) 이든, 입력 시간으로서 지칭될 수도 있는 도달 시간 (예를 들어, 델타 함수의 시간 또는 스텝 또는 다른 입력 함수의 시작 또는 피크) 을 갖는다. 뉴런 출력 (즉, 스파이크) 은 (예를 들어, 세포체에서, 축삭을 따른 포인트에서, 또는 축삭의 말단에서 측정되는 어느 곳에서든) 출력 시간으로 지칭될 수도 있는 발생의 시간을 갖는다. 그 출력 시간은 스파이크의 피크의 시간, 스파이크들의 시작, 또는 출력 파형과 관련된 임의의 다른 시간일 수도 있다. 매우 중요한 원리는 출력 시간이 입력 시간에 의존한다는 것이다.
사람들은, 일견으로는, 모든 뉴런 모델들이 이 원리에 따른다고 생각할 수도 있지만, 이것은 일반적으로 사실이 아니다. 예를 들어, 레이트 기반 모델들은 이 특징을 갖지 않는다. 다수의 스파이킹 모델들은 또한 일반적으로 따르지 않는다. 누설 적분 발화 (LIF) 모델은, (임계치를 넘은) 여분의 입력들이 존재한다면, 더 이상 빨리 발화하지 않는다. 더욱이, 매우 높은 타이밍 해상도에서 모델링되면 따를 수도 있는 모델들은 종종, 타이밍 해상도가 예컨대, 1 ms 스텝들로 제한될 경우에 따르지 않을 것이다.
입력들
뉴런 모델로의 입력은 전류들로서의 입력들 또는 컨덕턴스 기반 입력들과 같은 디랙 델타 함수들을 포함할 수도 있다. 후자의 경우, 뉴런 상태로의 기여는 연속적이거나 또는 상태-의존적일 수도 있다.
특정 양태들에 대해, 뉴럴 시스템 (100) 은, 본 명세서에서 설명되는 바와 같은 지도 학습을 활용하는 출력 클래스들 각각에 태그들을 할당하는 시스템에서 사용될 수도 있다. 이들 태그들은 정적으로 (1회) 또는 동적으로 (예를 들어, 태그 할당들이 때때로 변화하면서) 할당받을 수도 있다.
지도 학습을 이용하여 클래스들을 태깅하기 위한 예시적인 방법들 및 장치
비지도 학습 알고리즘들은 다수의 어플리케이션들에 있어서 데이터를 별개의 클래스들로 정확하게 분리하지만, 분리한 클래스들에 대한 일관된 인덱스들을 제공하지 않을 수도 있다. 대신, 특정 데이터 타입을 나타내는 클래스 인덱스가 상이한 클래스들에 랜덤하게 할당될 수도 있다. 이러한 랜덤 할당은 다수의 어플리케이션들에 있어서, 특히, 분류 출력이 하나 이상의 다운스트림 모듈들에 대한 입력으로서 사용될 경우에 바람직하지 않을 수도 있다. 동일한 클래스를 일관되게 나타내는 클래스 인덱스들이 없으면, 비지도 학습 알고리즘을 구현하는 모듈과 다운스트림 모듈들 간의 신뢰성있는 인터페이스를 구축하는 것이 가능하지 않을 수도 있다.
본 개시의 특정 양태들은 지도 학습 및 스파이크 타이밍 의존 가소성 (STDP) 을 이용하여 클래스들을 태깅하기 위한 방법을 제시한다. 제안된 방법은 태그들 (정적 또는 동적) 을 클래스들의 임의의 시퀀스에 그 인덱싱에 무관하게 적용할 수도 있다.
본 명세서에서 제시된 방법은 N개 출력 뉴런들 (여기서, N 은 원하는 클래스들의 수를 나타낼 수도 있음) 및 임의적으로 인덱싱된 클래스 뉴런들과 출력 뉴런들 간의 올-투-올 (all-to-all) 가소성 접속들로 이루어진 뉴럴 네트워크로 임의의 모델을 증강시킬 수도 있다. 그 후, 이러한 올-투-올 접속된 뉴럴 네트워크는, 각각의 출력 뉴런이 항상 동일한 클래스를 나타내도록 지도 학습을 이용하여 트레이닝된다. 지도 트레이닝은, 클래스들의 공지된 시퀀스를 네트워크로 전송하는 것 및 출력 뉴런들에서 스파이킹 및/또는 비-스파이킹 활동을 강요하는 것에 의해 수행된다.
임의적으로 순서화된 클래스 뉴런이 그 클래스의 제시 시에 스파이킹할 것이고 그리고 이 클래스와 연관된 출력 뉴런이 스파이킹하도록 강제되었기 때문에, 뉴런들의 이러한 쌍과 뉴런들의 다른 쌍 없음 사이에 스파이크들의 일치가 존재할 것이다. 이러한 일치는 뉴런들의 이러한 쌍 간의 접속의 시냅스 가중치가 STDP 곡선에 따라 증가되게 할 것이다. 이러한 곡선을, 뉴런들을 일치하게 발화하는 가중치를 증가시키고 뉴런들을 비-일치하게 발화하는 가중치를 감소시키도록 구성함으로써, 시간에 걸쳐, 오직 지속할 접속들만이 동일한 클래스를 나타내는 뉴런들의 쌍들 사이에 있을 것이다. 관리 스파이킹 신호가 오직 원하는 출력 뉴런만으로 전송되었기 때문에, 원래 클래스 뉴런의 인덱싱에 무관하게 출력 클래스 뉴런들의 동일한 인덱싱이 달성될 것이다. 일부 경우들에 있어서, 입력으로서 제시된 것 이외의 클래스들과 연관된 출력 뉴런들에서의 스파이킹은 억제될 수도 있다. 상이한 라벨들을 반송하는 다중의 출력 계층 뉴런들은 분류자의 출력과 연관될 수도 있다.
도 5 는 본 개시의 특정 양태들에 따른, 뉴럴 네트워크를 활용하는 시스템의 예시적인 하이-레벨 블록 다이어그램을 도시한다. 도시된 바와 같이, 시간 코딩 모델 (502) 은 뉴럴 블록 인터페이스 (506) 를 통해 포리징 (foraging) 회로 (504) 에 접속된다. 시간 코딩 모델 (502) 은 비지도 학습 알고리즘을 사용하여 데이터를 상이한 클래스들 (예를 들어, 적색, 청색 및 녹색 클래스들) 로 분리할 수도 있다. 뉴럴 네트워크 인터페이스는 포리징 회로 (504) 의 입력 노드들에 정확하게 접속하기 위하여 시간 코딩 모델 (502) 의 각각의 출력 클래스의 정확한 사양/태그를 알 필요가 있다.
도 6 은 본 개시의 특정 양태들에 따른 예시적인 자극 프로세싱 모델을 도시한다. 도시된 바와 같이, 자극 프로세싱 모델 (610) 은 입력 자극을 프로세싱하고 하나 이상의 출력들/출력 클래스들을 생성할 수도 있다. 예를 들어, 자극 프로세싱 모델은 감각 입력 (602) 을 프로세싱하고 출력 클래스1 (602), 클래스2 (604), 클래스3 (606) 을 생성할 수도 있다. 입력 자극은 출력 클래스들 (602, 604, 및/또는 606) 중 하나 이상에 랜덤하게 할당될 수도 있다. 결과적으로, 입력 자극 (602) 을 나타내는 뉴런은 자극 프로세싱 모델 (610) 의 출력 계층에 랜덤하게 위치될 수도 있다. 다운스트림 뉴럴 블록들은 특정 입력 자극 (예를 들어, 적색 볼) 에 대해 발화하도록 특정 뉴런 또는 뉴런들의 클래스를 가정하는 것이 필요할 수도 있다. 따라서, 자극 프로세싱 모델의 성능이 관측될 필요가 있을 수도 있다. 자극 프로세싱 모델 (610) 은 시간 코딩 블록 (506), 및/또는 데이터를 프로세싱하고/하거나 분류하는데 사용될 수도 있는 임의의 다른 뉴럴 네트워크 블록을 포함할 수도 있다.
본 개시의 특정 양태들은 (예를 들어, 시간 코딩 블록 (506) 과 같이) 비지도 학습 알고리즘에 의해 생성되는 클래스들을 의미있는 태그들로 태깅하기 위한 방법을 제공한다. 제안된 방법으로 생성되는 태그들은 비지도 학습 알고리즘으로부터 출력된 클래스 인덱스와 무관하게 일관된다. 특정 양태들에 대해, 본 명세서에서 제시된 태깅 방법은 지도 학습 및 스파이크 타이밍 의존 가소성 (STDP) 과 결합된 단일 계층 뉴럴 네트워크를 사용할 수도 있다. 비록 본 명세서에서 제시된 예들 대부분이 단일 계층 뉴럴 네트워크를 가정하지만, 본 명세서에서의 교시는 임의의 수의 계층들을 갖는 임의의 뉴럴 네트워크에 적용될 수도 있으며 이들 모두는 본 개시의 범위 내에 있음을 유의해야 한다.
도 7 은 본 개시의 특정 양태들에 따른, 클래스들을 태깅하기 위한 제안된 방법의 예시적인 블록 다이어그램을 도시한다. 도시된 바와 같이, 뉴럴 네트워크 모델 (710) 의 출력 노드들 (및/또는 노드들의 출력 클래스들) 은 증강된 모델 (720) 에 접속될 수도 있다. 이 예에 있어서, 각각의 노드는 인공 뉴런을 나타낼 수도 있다. 증강된 모델 (720) 의 출력들 각각은 할당 (예를 들어, 태그) 에 대응할 수도 있다. 예를 들어, 출력 (722) 은 적색 컬러에 대응할 수도 있고, 출력 (724) 은 녹색 컬러에 대응할 수도 있고, 출력 클래스 (724) 는 청색 컬러에 대응할 수도 있다. 부가적으로, 뉴럴 네트워크 모델 (710) 의 출력들 각각은 적색, 녹색, 또는 청색 컬러들 중 하나에 랜덤하게 대응할 수도 있다. 예를 들어, 출력 노드 (712) 는 녹색에 대응할 수도 있고, 출력 노드 (714) 는 청색에 대응할 수도 있고, 출력 노드 (716) 는 적색 컬러에 대응할 수도 있다. 제안된 솔루션은 자극 클래스와 그 자극 클래스를 나타내는 하나 이상의 출력 뉴런들 (노드들) 간의 정적 매핑을 가능케 한다. 특정 양태들이 태그들을 참조하여 본 명세서에서 설명되지만, 본 명세서에서 설명된 기법들은 또한, (예를 들어, 시스템 환경에서의 변화들을 캡처하도록) 자극 클래스와 하나 이상의 출력 뉴런들 간의 동적 매핑을 달성하기 위해, 태그들을 동적으로 할당하는데 사용될 수도 있다.
도 8 은 본 개시의 특정 양태들에 따른, 인공 뉴런들의 클래스들을 태깅하기 위한 예시적인 동작들 (800) 을 도시한다. 802 에서, 인공 뉴런들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크가 식별될 수도 있다. 804 에서, 하나 이상의 태그들이 인공 뉴런들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정될 수도 있다. 일 예로서, 제 1 네트워크는, 하나 이상의 인공 뉴런들을 포함할 수도 있는 제 2 네트워크로 증강될 수도 있으며, 여기서, 제 2 네트워크에서의 각각의 인공 뉴런은 태그에 대응한다. 인공 뉴런들의 하나 이상의 클래스들 각각은 하나 이상의 가소성 접속들로 제 2 네트워크에서의 인공 뉴런들 모두에 접속될 수도 있다. 하나 이상의 가소성 접속들은, 제 2 네트워크의 각각의 인공 뉴런이 제 1 네트워크의 특정 클래스를 그 인덱싱에 무관하게 나타내도록 지도 학습 알고리즘을 이용하여 트레이닝될 수도 있다.
도 9a 내지 도 9c 는 본 개시의 특정 양태들에 따른 제안된 태깅 방법에 대해 취해질 수도 있는 단계들을 도시한다. 도 9a 는, 다른 뉴럴 네트워크 모델 (예를 들어, 모델 증강 (720)) 로 증강되는 뉴럴 네트워크 모델 (710) 을 도시한다. 뉴럴 네트워크 모델 (710) 의 출력 계층 노드들 (예를 들어, 인공 뉴런들) 에서의 노드들은 가소성 시냅스들을 통해 증강된 모델 (720) 의 모든 노드들에 접속된다. 가소성 시냅스들은 노드들 간의 접속의 사용 또는 불사용에 응답하여 강도가 변할 수도 있다. 이 예에 있어서, 증강된 모델 (720) 은 노드들의 오직 하나의 계층을 갖지만, 일반적으로, 증강된 모델은 임의의 수의 계층들 및 임의의 수의 노드들을 가질 수도 있다.
도 9b 는 본 개시의 특정 양태들에 따른, 뉴럴 네트워크 모델 (710) 에서 스파이크를 생성하고 증강된 모델 (720) 에서 관리 스파이크를 생성하기 위한 예시적이 타이밍 다이어그램을 도시한다. 도시된 바와 같이, 시간 t0 에서, 자극 (902) 이 뉴럴 네트워크 모델 (710) 에 제시될 수도 있다. 시간 t1 에서, 자극 (902) 에 응답하여 뉴럴 네트워크 모델 (710) 의 출력 계층에 스파이크가 존재할 수도 있다. 예를 들어, 뉴럴 네트워크 모델 (710) 의 출력 노드 (716) 는 시간 t1 에서 스파이크를 나타낼 수도 있다. 시간 t2 에서, 관리 스파이크 신호가, 증강된 모델 (720) 의 출력들 중 하나에서 생성될 수도 있다. 예를 들어, 관리 스파이크는, 증강된 모델 (720) 의 출력 노드 (722) 에서 생성될 수도 있다. 다음으로, 2개 네트워크들 (710 및 720) 에서의 노드들 간의 가소성 접속들의 가중치가 시간들 (t1 및 t2) 에서의 스파이크들에 기초하여 결정된다. 예를 들어, 원래 모델 (710) 에 있어서 시간 t1 에서 스파이킹된 노드 (716) (예를 들어, 노드 Z) 로부터 자극을 나타내는 증강된 모델 (720) 에서의 뉴런 (예를 들어 노드 R (722)) 까지의 시냅스 가중치는 강화된다 (예를 들어, +δ(Z→R), 여기서, δ 는 접속의 접속성의 강도의 변화를 나타내는 양수임). 따라서, 노드들 (716 및 722) 간의 시냅스 가중치는 증가된다. 부가적으로, 원래 모델 (710) 의 출력 계층에서의 다른 노드들 (예를 들어, X 및/또는 Y) 이 더 일찍 스파이킹되었으면, 가소성 규칙은 증강된 모델에서의 노드 R (722) 과의 그 연관을 약화시킨다 (예를 들어, -δ(X→R) 및 -δ(Y→R)). 출력 노드들 (G 및 B) 에서 "X" 에 의해 도시된 바와 같이, 입력으로서 제시된 것 이외의 클래스들과 연관된 출력 뉴런들에서의 스파이킹은 억제될 수도 있다.
도 9c 는, 자극 (902) 을 모델들에게 제시하고 가소성 규칙을 적용한 이후 뉴럴 네트워크 모델 (710) 에서의 노드들과 증강된 모델 (720) 의 노드 R (722) 사이의 최종 접속들을 도시한다. 이 도면에 있어서, 태그 R 은, 노드 Z (716) 과 노드 R (722) 간의 가소성 접속의 가중치가 노드 R (722) 과 원래 모델 (710) 의 출력 간의 다른 접속들의 가중치보다 높기 때문에, 원래 모델 (710) 의 노드 (716) 에 할당될 수도 있다.
도 10 은 본 개시의 특정 양태들에 따른 제안된 태깅 방법에서 사용될 수도 있는 예시적인 가소성 규칙을 도시한다. 도면에서 도시된 바와 같이, 2개 노드들 간의 가소성 접속의 가중치는, 노드들 각각이 스파이크를 나타내는 시간에 기초하여 수정될 수도 있다.
제안된 기법은 감각 자극 분류에 특정되지 않으며 임의의 뉴럴 네트워크 블록의 입력/출력들의 클래스들을 태깅하기 위해 적용될 수 있음을 유의해야 한다. 예를 들어, 제안된 방법은, 도 11 에 도시된 바와 같이, 운동신경 제어 커맨드들을 운동신경에 전송하는 뉴럴 네트워크 블록으로부터 나오는 액션들을 위한 태그들을 생성하도록 적용될 수 있다.
도 11 은 본 개시의 특정 양태들에 따른, 운동신경에 대한 입력 액션 태그들을 생성함에 있어서 제안된 방법의 예시적인 어플리케이션을 도시한다. 도시된 바와 같이, 디바이스 (예를 들어, 로봇 (1112)) 는, 운동신경 활동을 변조하는 운동신경 뉴런들 (MI (1108) 및 Mr (1110)) 에 접속될 수도 있다. 운동신경 뉴런들 (MI (1108) 및 Mr (1110)) 은 외부적으로 자극된 뉴런들 (1104 및 1106) 의 어레이들에 각각 접속될 수도 있다. 운동신경들 각각은 비-가소성 접속들을 통해 어레이들 중 하나의 뉴런들 모두에 접속될 수도 있다. 예를 들어, 운동신경 MI (1108) 는 어레이 (1104) 의 뉴런들 모두에 접속될 수도 있다. 뉴런들 (1104 및/또는 1106) 의 어레이들 각각은 로봇에서 상이한 움직임들을 야기할 수도 있다.
다음으로, 액션 태그들 (예를 들어, 포워드 (F) (1114) 및/또는 백워드 (B) (1116)) 은 가소성 시냅스들을 통해 어레이들 (1104 및 1106) 각각에서의 뉴런들 모두에 접속될 수도 있다. 디바이스에서의 움직임들에 대한 액션 태그들을 결정하기 위하여, 지도된 액션 분류기 (1118) 는 관리 스파이크를 액션 태그들 중 하나 (예를 들어, B (1116)) 로 전송할 수도 있다. 외부 자극 신호 (1122) 가 또한, 적절한 시간에 뉴런들의 어레이들로 전송될 수도 있다. 자극 및 관리 신호에 응답한 디바이스의 움직임의 방향에 기초하여, 입력 액션 태그들은 디바이스의 포워드 및/또는 백워드 움직임에 대해 생성될 수도 있다. 일부 경우들에 있어서, 특정 태그들이 생성되는 타이밍은 디바이스의 특정 움직임들에 의존할 수도 있다. 예를 들어, 디바이스 (예를 들어, 로봇) 가 매우 정확하게 백워드 또는 포워드로 움직이면, 액션 태그 뉴런은 즉시 자극될 수도 있다. 한편, 디바이스가 덜 정확하게 움직이면, 액션 태그 뉴런은 일부 지연을 갖고 자극될 수도 있다. 가소성 규칙들과 함께 이러한 타이밍 효과는 등급 학습을 허용할 수도 있다.
특정 양태들에 대해, 제안된 태깅 방법은 노드들의 클래스들 간의 경계들을 생성하는데 사용될 수도 있다. 도 12 는 본 개시의 특정 양태들에 따른, 클래스 경계들을 생성함에 있어서 제안된 태깅 방법의 예시적인 어플리케이션을 도시한다. 도시된 바와 같이, 뉴럴 네트워크 모델은 2개의 원하는 출력들 (예를 들어, 청색 및/또는 적색) 을 가질 수도 있다. 이 예에 있어서, (청색과 적색 컬러들의 조합인) 자주색 자극 (1202) 은 (예를 들어, 더 많은 청색 및/또는 더 많은 적색 색소들을 갖는 자주색의 색조에 의존하여) 적색 또는 청색 중 어느 하나로 분류될 수도 있다. 예를 들어, P1 은 청색보다 더 많은 적색 컬러를 포함할 수도 있고, P2 는 동일한 양의 적색 및 청색 컬러를 포함할 수도 있고, P3 은 적색 컬러보다 더 많은 청색을 포함할 수도 있다. 원하는 분류 선택들이 컬럼들 (1204) 에 도시된다. 적색 및 청색 클래스 경계들 (1206) 은 제안된 태깅 방법을 이용하여 제어될 수도 있다.
도 13a 내지 도 13c 는 본 개시의 특정 양태들에 따른, (예를 들어, 융합형 클래스들에 대한) 제안된 태깅 방법을 위한 다른 예시적인 어플리케이션을 도시한다. 도 13a 는, 복수의 클래스들 (예를 들어, 적색, 청색, 녹색, 및 3개의 자주색 클래스들 (P1, P2, 및 P3) 을 포함한 6개 클래스들) 을 생성하도록 트레이닝될 수도 있는 자극 프로세싱 모델 (1302) 을 도시한다. 제안된 태깅 방법은 출력 클래스들의 수를 감소하는데 사용될 수도 있다. 예를 들어, 제안된 태깅 방법은 도 13a 에서의 출력 클래스들을 3개의 클래스들 (적색, 녹색 및 청색) 로 감소하는데 사용될 수도 있다. 먼저, 네트워크는 도 13b 에 도시된 바와 같이 증강될 수도 있다. 자극 프로세싱 모델의 출력 계층에서의 뉴런들 모두는 가소성 시냅스들을 통해 증강된 모델에서의 모든 노드들에 접속될 수도 있다. 다음으로, 네트워크는, 도 13c 에 도시된 바와 같이, 원하는 경계들 (1304) 를 생성하도록 트레이닝될 수도 있다. 증강된 네트워크는 자극 프로세싱 모델 (1302) (예를 들어, 비지도 네트워크) 와 동시에 트레이닝될 수도 있음을 유의해야 한다.
도 14a 내지 도 14c 는 본 개시의 특정 양태들에 따른, 오버-컴플리트 표현으로의 뉴럴 네트워크에서의 제안된 태깅 방법의 다른 예시적인 어플리케이션을 도시한다. 도 14a 에 도시된 바와 같이, 뉴럴 네트워크 모델은 복수의 원하는 클래스들 (예를 들어, 적색, 청색 및 녹색과 같은 3개의 상이한 클래스들) 을 생성하기 위해 트레이닝될 수도 있다. 클래스들 각각은, 도 14a 에 도시된 바와 같이, 출력 계층에서의 뉴런들의 모집단으로 표현될 수도 있다. 예를 들어, 3개의 뉴런들은 청색에 의해 표현될 수도 있고, 2개의 뉴런들은 적색에 의해 표현될 수도 있으며, 2개의 뉴런들은 녹색에 의해 표현될 수도 있다. 도 14b 는 오버-컴플리트 표현이 어떻게 모집단들의 서브세트로 하여금 클래스 평균까지의 거리를 인코딩하게 할 수 있는지를 도시한다. 예를 들어, 자주색 자극 (P1) 은 청색 및 적색 뉴런 모집단들의 서브세트 (예를 들어, 2개의 적색 뉴런들 및 하나의 청색 뉴런) 에 걸쳐 표현될 수도 있다.
도 14c 에 도시된 바와 같이, 오버-컴플리트 표현은 자주색 자극들 각각 (예를 들어, p1, p2, p3) 이 청색 및 적색 모집단들로부터의 뉴런들의 혼합에 의해 표현되게 할 수도 있다. 증강된 네트워크는 원하는 분류 (1402) 를 생성하기 위해 트레이닝될 수도 있다.
본 개시의 특정 양태들은 제안된 태깅 방법을 사용하여, 뉴럴 네트워크 모델의 출력 클래스들에 새로운 클래스를 부가할 수도 있다. 일 예로서, 새로운 클래스는 도 15 에 도시된 바와 같이 뉴럴 네트워크 모델에 부가될 수도 있다. 이 예에 있어서, 초기 분류는 3개의 출력 클래스들 (예를 들어, 적색, 녹색 및 청색) 을 포함한다. 새로운 클래스는, 부가적인 출력 뉴런을 정의하고 그리고 증강된 네트워크를 트레이닝함으로써 출력들에 부가될 수도 있다.
제안된 태깅 방법에 대한 하나의 대안은, 비지도 학습 알고리즘을 구현하는 뉴럴 블록을 트레이닝하고 그 후 모델의 출력들을 다운스트림 블록들에 수동으로 연관시키는 것이다. 이러한 접근법은 신속하게 번거롭게 될 수 있다. 이는, 예를 들어, 특정 자극 (예를 들어, 적색 볼) 에 대한 모델의 출력을 테스트하는 것 및 모델의 출력 계층에서의 발화를 평가하는 것에 의해 자동화될 수 있다. 하지만, 이러한 접근법은, 출력 계층에서의 다중의 뉴런들이 자극을 나타내면 (예를 들어, 모집단 인코딩이 사용되면) 단순하지 않을 수도 있다. 출력 뉴런들을 평가하고 이들을 자극 클래스들에 매핑하는 기능은 자체가 복잡하게 될 수도 있다. 이에 비하여, 제안된 방법은 지도 트레이닝을 사용하여 매핑 기능을 생성한다. 따라서, 제안된 태깅 방법은 모집단 인코딩에 강인하다.
본 명세서에서 제시된 방법들은 또한 네트워크에 있어서 특정 시간 패턴에 대한 태그들을 생성하는데 사용될 수도 있음을 유의해야 한다. 예를 들어, 디버거에 있어서, (예를 들어, 특정 시간 패턴을 가질 수도 있는) 무효 상태는 제안된 방법을 이용하여 태깅될 수도 있다. 일반적으로, 제안된 태깅 방법은 STDP 를 이용하여 특정 네트워크 패턴을 식별하는데 사용될 수도 있다. 일반적으로, 도 7 에 도시된 바와 같은 증강된 네트워크 (720) 는 자극 프로세싱 네트워크 (710) 의 출력 계층, 입력 계층 및/또는 임의의 중간 계층에 접속될 수도 있음을 유의해야 한다. 그 후, 2개 네트워크들의 조합이 원하는 태그들을 생성하기 위해 관리 트레이닝될 수도 있다.
특정 양태들에 대해, 증강된 네트워크 (720) 에 의해 생성된 태그들과 뉴럴 네트워크 모델 (710) 사이에 일대다 관계가 존재할 수도 있다. 예를 들어, 태그는 "차" 로서 생성될 수도 있고, 더 일반적인 태그가 생성될 수도 있으며 (예를 들어, 차량) 및/또는 더 특정한 태그가 생성될 수도 있다 (예를 들어, 혼다).
예시적인 대안적 솔루션
특정 양태들에 따르면, 상기 논의된 모델은, 도 16 에 도시된 바와 같이, 관리 스파이크들을 출력 계층으로 직접 전송함으로써 증강될 수도 있다. 이 예에 있어서, 관리 스파이크들의 어플리케이션은 자극 클래스와 그 자극 클래스를 나타내는 출력 뉴런 간의 정적 매핑을 가능케 할 수도 있다. 특정 양태들에 따르면, 관리 신호 (억제성 또는 흥분성) 를 반송하는 뉴런들의 세트는 출력 계층에 접속될 수도 있다. 도 16 에 도시된 바와 같이, 관리 시냅스들은 모든 출력 계층 뉴런들에 접속될 수도 있다. 특정 라벨에 매핑하도록 요구되는 출력 계층 뉴런은 포지티브 가중 시냅스 (흥분성) 과 접속되는 한편, 다른 출력 계층 뉴런들은 네거티브 가중 시냅스 (억제성) 와 접속될 수도 있다.
도 17 은 본 개시의 특정 양태들에 따른, 관리 신호들의 어플리케이션의 예시적인 타이밍을 도시한다. 도시된 바와 같이, 일단 자극이 (t0 에서) 제시되면, 관리 신호가 (t1 에서) 네트워크로 전송된다. 관리 뉴런은 출력 계층 뉴런들에 대해 포지티브 관리 신호 및 (옵션적으로) 네거티브 관리 신호들을 생성한다 (및 t1' 까지 적용됨). 이러한 관리 입력은 홀로 출력 계층 뉴런에서 스파이크를 야기하지 않지만, (시간 t2 에서) 원하는 출력 계층 뉴런에 대한 발화를 위해 포지티브 바이어스를 생성하면서 옵션적으로 다른 뉴런들의 발화를 위해 네거티브 바이어스를 생성한다. 포지티브 및/또는 네거티브 바이어스의 양은 시냅스 가중치를 통해 제어될 수 있다.
이러한 관리의 효과가 도 18 에 도시된다. 도시된 바와 같이, 포지티브 바이어스는 원하는 출력 계층 뉴런 (도시된 예에서의 뉴런 X) 을 발화 임계치에 더 가깝게 가져올 수 있다. 유사하게, 옵션적인 네거티브 바이어스는 다른 출력 계층 뉴런들 (Y 및 Z) 을 임계치보다 추가로 낮게 가져올 수 있다. 이러한 관리 "임계치 이하" 바이어스가 스파이크 자체를 야기하진 않지만, 네트워크 입력을 수신할 시, 이는 클래스 대 출력 계층 뉴런 매핑에서의 랜덤화의 효과를 극복하는 것을 돕고 그리고 네트워크 입력을 수신할 시에 오직 뉴런 X 만이 발화 임계치를 크로싱하면서 Y 및 Z 를 발화 임계치 아래로 유지하는 것을 보장하는 것을 도울 수도 있다.
도 19 및 도 20 에서 도시된 바와 같이, 상기 설명된 STDP 규칙들은 또한 관리 시냅스들의 가중치들을 조정하기 위해 적용될 수도 있다. 도 20a 에 도시된 바와 같이, 포지티브 관리 바이어스는, 정확한 출력이 관측될 경우에 감소될 수도 있다. 한편, 네거티브 관리는, 도 20b 에 도시된 바와 같이, 부정확한 출력에 대해 증가되거나 그렇지 않으면 감소될 수도 있다. 상기 논의된 바와 같이, STDP 규칙들은, 일단 네트워크가 학습하면 관리를 턴-오프하게 할 수도 있다. 일부 경우들에 있어서, 관리 입력을 적용하기 위한 지속기간 (예를 들어, 도 18 에 도시된 t1 내지 t1') 이 네트워크 성능에 기초하여 조정될 수도 있다.
도 21 은 본 개시의 특정 양태들에 따른, 범용 프로세서 (2102) 를 이용하여 뉴럴 시스템에서 클래스들을 태깅하기 위한 전술한 방법의 예시적인 구현 (2100) 을 도시한다. 연산 네트워크 (뉴럴 네트워크) 와 연관된 변수들 (뉴럴 신호들), 시냅스 가중치들, 및 시스템 파라미터들이 메모리 블록 (2104) 에 저장될 수도 있는 한편, 범용 프로세서 (2102) 에서 실행되는 관련 명령들은 프로그램 메모리 (2106) 로부터 로딩될 수도 있다. 본 개시의 일 양태에 있어서, 범용 프로세서 (2102) 로 로딩된 명령들은 노드들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하고; 그리고 하나 이상의 태그들을 노드들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하기 위한 코드를 포함할 수도 있다.
도 22 는, 본 개시의 특정 양태들에 따른, 메모리 (2202) 가 상호접속 네트워크 (2204) 를 통해 연산 네트워크 (뉴럴 네트워크) 의 개별 (분산된) 프로세싱 유닛들 (뉴럴 프로세서들) (2206) 과 인터페이싱될 수 있는 뉴럴 시스템에서 클래스들을 태깅하기 위한 전술한 방법의 예시적인 구현 (2200) 을 도시한다. 연산 네트워크 (뉴럴 네트워크) 와 연관된 변수들 (뉴럴 신호들), 시냅스 가중치들, 및 시스템 파라미터들이 메모리 (2202) 에 저장될 수도 있고, 메모리 (2202) 로부터 상호접속 네트워크 (2204) 의 접속(들)을 통해 각각의 프로세싱 유닛 (뉴럴 프로세서) (2206) 으로 로딩될 수도 있다. 본 개시의 일 양태에 있어서, 프로세싱 유닛 (2206) 은 노드들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하고 그리고 하나 이상의 태그들을 노드들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하도록 구성될 수도 있다.
도 23 은 본 개시의 특정 양태들에 따른, 분산된 가중치 메모리들 (2302) 및 분산된 프로세싱 유닛들 (뉴럴 프로세서들) (2304) 에 기초하여 뉴럴 시스템에서 클래스들을 태깅하기 위한 전술한 방법의 예시적인 구현 (2300) 을 도시한다. 도 23 에 도시된 바와 같이, 일 메모리 뱅크 (2302) 는 연산 네트워크 (뉴럴 네트워크) 의 일 프로세싱 유닛 (2304) 과 직접 인터페이싱될 수도 있으며, 여기서, 그 메모리 뱅크 (2302) 는 그 프로세싱 유닛 (뉴럴 프로세서) (2304) 과 연관된 변수들 (뉴럴 신호들), 시냅스 가중치들, 및 시스템 파라미터들을 저장할 수도 있다. 본 개시의 일 양태에 있어서, 프로세싱 유닛 (2304) 은 노드들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하고 그리고 하나 이상의 태그들을 노드들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하도록 구성될 수도 있다.
도 24 는 본 개시의 특정 양태들에 따른 뉴럴 네트워크 (2400) 의 예시적인 구현을 도시한다. 도 24 에 도시된 바와 같이, 뉴럴 네트워크 (2400) 는 상기 설명된 방법들의 다양한 동작들을 수행할 수도 있는 복수의 로컬 프로세싱 유닛들 (2402) 을 포함할 수도 있다. 각각의 프로세싱 유닛 (2402) 은 뉴럴 네트워크의 파라미터들을 저장하는 로컬 상태 메모리 (2404) 및 로컬 파라미터 메모리 (2406) 를 포함할 수도 있다. 부가적으로, 프로세싱 유닛 (2402) 은 로컬 (뉴런) 모델 프로그램을 갖는 메모리 (2408), 로컬 학습 프로그램을 갖는 메모리 (2410), 및 로컬 접속 메모리 (2412) 를 포함할 수도 있다. 더욱이, 도 24 에 도시된 바와 같이, 각각의 로컬 프로세싱 유닛 (2402) 은 로컬 프로세싱 유닛의 로컬 메모리들을 위한 구성을 제공할 수도 있는 구성 프로세싱에 대한 유닛 (2414) 과, 그리고 로컬 프로세싱 유닛들 (2402) 간의 라우팅을 제공하는 라우팅 접속 프로세싱 엘리먼트들 (2416) 과 인터페이싱될 수도 있다.
본 개시의 특정 양태들에 따르면, 도 8 에 도시된 동작들 (800) 은, 예를 들어, 도 24 로부터의 하나 이상의 프로세싱 유닛들 (2402) 에 의해 하드웨어에서 수행될 수도 있다.
상기 설명된 방법들의 다양한 동작들은 대응하는 기능들을 수행 가능한 임의의 적합한 수단에 의해 수행될 수도 있다. 그 수단은 회로, 주문형 집적회로 (ASIC), 또는 프로세서를 포함하지만 이에 한정되지 않는 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들) 및/또는 모듈(들)을 포함할 수도 있다. 일반적으로, 도면들에 도시된 동작들이 존재하는 경우, 그 동작들은 유사한 넘버링을 갖는 대응하는 상대의 수단-플러스-기능 컴포넌트들을 가질 수도 있다. 예를 들어, 도 8 에 도시된 동작들 (800) 은 도 8a 에 도시된 컴포넌트들 (800A) 에 대응한다.
일 예로서, 식별하는 수단, 결정하는 수단, 증강하는 수단, 접속하는 수단 및/또는 트레이닝하는 수단은 디지털 신호 프로세서 (DSP), ASIC 등과 같은 범용 프로세서 또는 특수 목적 프로세서와 같은 프로세싱 엘리먼트일 수도 있다.
본 명세서에서 사용된 바와 같이, 아이템들의 리스트 "중 적어도 하나" 를 지칭하는 어구는 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c 중 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 를 커버하도록 의도된다.
상기 설명된 방법들의 다양한 동작들은 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들), 회로들, 및/또는 모듈(들)과 같이 그 동작들을 수행 가능한 임의의 적합한 수단에 의해 수행될 수도 있다. 일반적으로, 도면들에 도시된 임의의 동작들은 그 동작들을 수행 가능한 대응하는 기능적 수단에 의해 수행될 수도 있다.
본 개시와 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 신호 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 그 프로세서는 임의의 상업적으로 입수가능한 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 기타 다른 구성물로서 구현될 수도 있다. 예를 들어, 식별하는 수단, 결정하는 수단, 추론하는 수단 및 업데이트하는 수단은 프로세서 등과 같은 임의의 적합한 프로세싱 엘리먼트일 수도 있다.
본 개시와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접 구현될 수도 있다. 소프트웨어 모듈은, 당업계에 공지된 임의의 형태의 저장 매체에 상주할 수도 있다. 사용될 수도 있는 저장 매체의 일부 예들은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈가능 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈은 단일 명령 또는 다수의 명령들을 포함할 수도 있으며, 수개의 상이한 코드 세그먼트들에 걸쳐, 상이한 프로그램들 사이에, 및 다중의 저장 매체에 걸쳐 분산될 수도 있다. 저장 매체는, 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링될 수도 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수도 있다.
본 명세서에서 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 그 방법 단계들 및/또는 액션들은 청구항들의 범위로부터 일탈함없이 서로 대체될 수도 있다. 즉, 단계들 또는 액션들의 특정 순서가 명시되지 않으면, 특정 단계들 및/또는 액션들의 순서 및/또는 그 사용은 청구항들의 범위로부터 일탈함없이 수정될 수도 있다.
설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 소프트웨어에서 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상으로 저장 또는 전송될 수도 있다. 컴퓨터 판독가능 매체는, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 저장 매체 및 통신 매체 양자를 포함한다. 저장 매체는, 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 한정이 아닌 예로서, 그러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 수록 또는 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 커넥션이 컴퓨터 판독가능 매체로 적절히 명명된다. 예를 들어, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선 (IR), 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 소프트웨어가 송신된다면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 본 명세서에서 사용된 바와 같이, 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이® 디스크를 포함하며, 여기서, 디스크(disk)들은 통상적으로 데이터를 자기적으로 재생하지만 디스크(disc)들은 레이저들을 이용하여 데이터를 광학적으로 재생한다. 따라서, 일부 양태들에 있어서, 컴퓨터 판독가능 매체는 비-일시적인 컴퓨터 판독가능 매체 (예를 들어, 유형의 매체) 를 포함할 수도 있다. 부가적으로, 다른 양태들에 대해, 컴퓨터 판독가능 매체는 일시적인 컴퓨터 판독가능 매체 (예를 들어, 신호) 를 포함할 수도 있다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
따라서, 특정 양태들은, 본 명세서에서 제시된 동작들을 수행하기 위한 컴퓨터 프로그램 제품을 포함할 수도 있다. 예를 들어, 그러한 컴퓨터 프로그램 제품은 명령들이 저장된 (및/또는 인코딩된) 컴퓨터 판독가능 매체를 포함할 수도 있으며, 그 명령들은 본 명세서에서 설명된 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능하다. 특정 양태들에 있어서, 컴퓨터 프로그램 제품은 패키징 재료를 포함할 수도 있다.
소프트웨어 또는 명령들은 또한 송신 매체 상으로 송신될 수도 있다. 예를 들어, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 소프트웨어가 송신된다면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 송신 매체의 정의에 포함된다.
추가로, 본 명세서에서 설명된 방법들 및 기법들을 수행하기 위한 모듈들 및/또는 다른 적절한 수단은, 적용가능할 경우, 사용자 단말기 및/또는 기지국에 의해 다운로드되고/되거나 그렇지 않으면 획득될 수 있음을 인식해야 한다. 예를 들어, 그러한 디바이스는 서버에 커플링되어, 본 명세서에서 설명된 방법들을 수행하는 수단의 전송을 용이하게 할 수 있다. 대안적으로, 본 명세서에서 설명된 다양한 방법들은 저장 수단 (예를 들어, RAM, ROM, 컴팩트 디스크 (CD) 또는 플로피 디스크와 같은 물리적 저장 매체 등) 을 통해 제공될 수 있어서, 그 저장 수단을 디바이스에 커플링 또는 제공할 시, 사용자 단말기 및/또는 기지국이 다양한 방법들을 획득할 수 있다. 더욱이, 본 명세서에서 설명된 방법들 및 기법들을 디바이스에 제공하기 위한 임의의 다른 적합한 기법이 활용될 수 있다.
청구항들은 상기 예시된 정확한 구성 및 컴포넌트들에 한정되지 않음을 이해해야 한다. 다양한 수정들, 변경들 및 변이들이 청구항들의 범위로부터 일탈함없이, 상기 설명된 방법들 및 장치의 배열, 동작 및 상세들에서 행해질 수도 있다.
전술한 바는 본 개시의 양태들에 관한 것이지만, 본 개시의 다른 양태들 및 추가의 양태들이 그 기본적인 범위로부터 일탈함없이 발명될 수도 있으며, 그 범위는 뒤이어지는 청구항들에 의해 결정된다.
Claims (34)
- 인공 뉴런들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하는 단계; 및
하나 이상의 태그들을 상기 인공 뉴런들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하는 단계를 포함하는, 방법. - 제 1 항에 있어서,
상기 하나 이상의 태그들을 상기 인공 뉴런들의 하나 이상의 클래스들에 대해 결정하는 단계는,
상기 제 1 네트워크를, 하나 이상의 인공 뉴런들을 포함하는 제 2 네트워크로 증강하는 단계로서, 상기 제 2 네트워크에서의 각각의 뉴런은 태그에 대응하는, 상기 제 1 네트워크를 증강하는 단계;
상기 뉴런들의 하나 이상의 클래스들 각각을 하나 이상의 가소성 접속들로 상기 제 2 네트워크에서의 뉴런들 모두에 접속시키는 단계; 및
상기 제 2 네트워크에서의 각각의 뉴런이 상기 제 1 네트워크의 특정 클래스를 그 인덱스에 무관하게 나타내도록 지도 학습 알고리즘을 이용하여 상기 하나 이상의 가소성 접속들을 트레이닝하는 단계를 포함하는, 방법. - 제 2 항에 있어서,
상기 제 2 네트워크는 인공 뉴런들의 단일 계층을 포함하는, 방법. - 제 2 항에 있어서,
상기 지도 학습 알고리즘은 스파이크 타이밍 의존 가소성 (STDP) 을 이용하는, 방법. - 제 2 항에 있어서,
상기 하나 이상의 가소성 접속들을 트레이닝하는 단계는,
클래스들의 공지된 시퀀스를 상기 제 1 네트워크로 전송하는 단계;
각각의 특정 클래스에 대해 스파이킹하도록 상기 제 2 네트워크의 하나 이상의 인공 뉴런들을 강제하는 단계;
하나 이상의 다른 클래스들에 대한 상기 제 2 네트워크의 하나 이상의 인공 뉴런들에서 스파이킹하는 것을 억제하는 단계; 및
상기 제 1 네트워크 및 상기 제 2 네트워크에서의 스파이크들에 기초하여 상기 하나 이상의 가소성 접속들의 가중치를 조정하는 단계를 포함하는, 방법. - 제 2 항에 있어서,
증강된 네트워크가 상기 제 1 네트워크의 출력 계층에 접속되는, 방법. - 제 1 항에 있어서,
상기 인공 뉴런들의 하나 이상의 클래스들은 비지도 학습 알고리즘을 이용하여 결정되는, 방법. - 제 1 항에 있어서,
상기 인덱싱된 클래스들 중 하나는 특정 시간 패턴을 포함하는, 방법. - 제 1 항에 있어서,
상기 인공 뉴런들의 인덱싱된 클래스들 각각은 하나 이상의 태그들에 대응할 수 있는, 방법. - 제 1 항에 있어서,
상기 하나 이상의 태그들은 상기 제 1 네트워크를 장치에 접속하는데 사용되는, 방법. - 제 1 항에 있어서,
상기 하나 이상의 태그들은 인공 뉴런들의 상이한 클래스들 사이의 경계들을 결정하는데 사용되는, 방법. - 제 1 항에 있어서,
상기 하나 이상의 태그들은 상기 인공 뉴런들의 클래스들 중 하나 이상을 융합하는데 사용되는, 방법. - 제 1 항에 있어서,
상기 하나 이상의 태그들을 상기 인공 뉴런들의 하나 이상의 클래스들에 대해 결정하는 단계는,
상기 제 1 네트워크를, 하나 이상의 인공 뉴런들을 포함하는 제 2 네트워크로 증강하는 단계로서, 상기 제 2 네트워크에서의 각각의 뉴런은 태그에 대응하는, 상기 제 1 네트워크를 증강하는 단계;
상기 뉴런들의 하나 이상의 클래스들 각각을 하나 이상의 가소성 접속들로 상기 제 2 네트워크에서의 뉴런들 모두에 접속시키는 단계; 및
관리 신호가 클래스들과 출력 계층 뉴런들 사이의 원하는 매핑을 부과하도록 상기 가소성 접속들을 통해 상기 뉴런들의 하나 이상의 클래스들에 관리 바이어스 신호들을 제공하는 단계를 포함하는, 방법. - 제 13 항에 있어서,
상기 관리 바이어스 신호들을 제공하는 단계는,
원하는 출력 계층 뉴런에 대한 발화를 위한 바이어스를 생성하기 위해 포지티브 관리 신호들을 발화 임계치 미만으로 제공하는 단계를 포함하는, 방법. - 제 14 항에 있어서,
상기 관리 바이어스 신호들을 제공하는 단계는,
원치않는 출력 계층 뉴런에 대한 발화를 방지하기 위한 바이어스를 생성하기 위해 네거티브 관리 신호들을 제공하는 단계를 더 포함하는, 방법. - 제 13 항에 있어서,
상기 출력 계층 뉴런들에서의 원하는 네트워크 출력과 실제 네트워크 출력 간의 차이에 따라 관리 바이어스의 레벨이 조정되도록 상기 관리 신호들의 가중치들을 조정하는 단계를 더 포함하는, 방법. - 인공 뉴런들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하는 수단; 및
하나 이상의 태그들을 상기 인공 뉴런들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하는 수단을 포함하는, 장치. - 제 17 항에 있어서,
상기 하나 이상의 태그들을 상기 인공 뉴런들의 하나 이상의 클래스들에 대해 결정하는 수단은,
상기 제 1 네트워크를, 하나 이상의 인공 뉴런들을 포함하는 제 2 네트워크로 증강하는 수단으로서, 상기 제 2 네트워크에서의 각각의 뉴런은 태그에 대응하는, 상기 제 1 네트워크를 증강하는 수단;
상기 뉴런들의 하나 이상의 클래스들 각각을 하나 이상의 가소성 접속들로 상기 제 2 네트워크에서의 뉴런들 모두에 접속시키는 수단; 및
상기 제 2 네트워크에서의 각각의 뉴런이 상기 제 1 네트워크의 특정 클래스를 그 인덱스에 무관하게 나타내도록 지도 학습 알고리즘을 이용하여 상기 하나 이상의 가소성 접속들을 트레이닝하는 수단을 포함하는, 장치. - 제 18 항에 있어서,
상기 제 2 네트워크는 인공 뉴런들의 단일 계층을 포함하는, 장치. - 제 18 항에 있어서,
상기 지도 학습 알고리즘은 스파이크 타이밍 의존 가소성 (STDP) 을 이용하는, 장치. - 제 18 항에 있어서,
상기 하나 이상의 가소성 접속들을 트레이닝하는 수단은,
클래스들의 공지된 시퀀스를 상기 제 1 네트워크로 전송하는 수단;
각각의 특정 클래스에 대해 스파이킹하도록 상기 제 2 네트워크의 하나 이상의 인공 뉴런들을 강제하는 것;
하나 이상의 다른 클래스들에 대한 상기 제 2 네트워크의 하나 이상의 인공 뉴런들에서 스파이킹하는 것을 억제하는 수단; 및
상기 제 1 네트워크 및 상기 제 2 네트워크에서의 스파이크들에 기초하여 상기 하나 이상의 가소성 접속들의 가중치를 조정하는 수단을 포함하는, 장치. - 제 18 항에 있어서,
증강된 네트워크가 상기 제 1 네트워크의 출력 계층에 접속되는, 장치. - 제 17 항에 있어서,
상기 인공 뉴런들의 하나 이상의 클래스들은 비지도 학습 알고리즘을 이용하여 결정되는, 장치. - 제 17 항에 있어서,
상기 인덱싱된 클래스들 중 하나는 특정 시간 패턴을 포함하는, 장치. - 제 17 항에 있어서,
상기 인공 뉴런들의 인덱싱된 클래스들 각각은 하나 이상의 태그들에 대응할 수 있는, 장치. - 제 17 항에 있어서,
상기 하나 이상의 태그들은 상기 제 1 네트워크를 장치에 접속하는데 사용되는, 장치. - 제 17 항에 있어서,
상기 하나 이상의 태그들은 인공 뉴런들의 상이한 클래스들 사이의 경계들을 결정하는데 사용되는, 장치. - 제 17 항에 있어서,
상기 하나 이상의 태그들은 상기 인공 뉴런들의 클래스들 중 하나 이상을 융합하는데 사용되는, 장치. - 제 17 항에 있어서,
상기 하나 이상의 태그들을 상기 인공 뉴런들의 하나 이상의 클래스들에 대해 결정하는 수단은,
상기 제 1 네트워크를, 하나 이상의 인공 뉴런들을 포함하는 제 2 네트워크로 증강하는 수단으로서, 상기 제 2 네트워크에서의 각각의 뉴런은 태그에 대응하는, 상기 제 1 네트워크를 증강하는 수단;
상기 뉴런들의 하나 이상의 클래스들 각각을 하나 이상의 가소성 접속들로 상기 제 2 네트워크에서의 뉴런들 모두에 접속시키는 수단; 및
관리 신호가 클래스들과 출력 계층 뉴런들 사이의 원하는 매핑을 부과하도록 상기 가소성 접속들을 통해 상기 뉴런들의 하나 이상의 클래스들에 관리 바이어스 신호들을 제공하는 수단을 포함하는, 장치. - 제 29 항에 있어서,
상기 관리 바이어스 신호들을 제공하는 수단은,
원하는 출력 계층 뉴런에 대한 발화를 위한 바이어스를 생성하기 위해 포지티브 관리 신호들을 발화 임계치 미만으로 제공하는 수단을 포함하는, 장치. - 제 30 항에 있어서,
상기 관리 바이어스 신호들을 제공하는 수단은,
원치않는 출력 계층 뉴런에 대한 발화를 방지하기 위한 바이어스를 생성하기 위해 네거티브 관리 신호들을 제공하는 수단을 더 포함하는, 장치. - 제 29 항에 있어서,
상기 출력 계층 뉴런들에서의 원하는 네트워크 출력과 실제 네트워크 출력 간의 차이에 따라 관리 바이어스의 레벨이 조정되도록 상기 관리 신호들의 가중치들을 조정하는 수단을 더 포함하는, 장치. - 인공 뉴런들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하고 그리고 하나 이상의 태그들을 상기 인공 뉴런들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하도록 구성된 적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 커플링된 메모리를 포함하는, 장치. - 명령들이 저장된 컴퓨터 판독가능 매체를 포함하는 프로그램 제품으로서,
상기 명령들은,
인공 뉴런들의 하나 이상의 인덱싱된 클래스들을 포함하는 제 1 네트워크를 식별하고; 그리고
하나 이상의 태그들을 상기 인공 뉴런들의 하나 이상의 클래스들에 대해 그 인덱싱에 무관하게 결정하기 위한 것인, 컴퓨터 판독가능 매체를 포함하는 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/065,089 US9418331B2 (en) | 2013-10-28 | 2013-10-28 | Methods and apparatus for tagging classes using supervised learning |
| US14/065,089 | 2013-10-28 | ||
| PCT/US2014/060234 WO2015065686A2 (en) | 2013-10-28 | 2014-10-13 | Methods and apparatus for tagging classes using supervised learning |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160076533A true KR20160076533A (ko) | 2016-06-30 |
Family
ID=51845519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167013948A KR20160076533A (ko) | 2013-10-28 | 2014-10-13 | 지도 학습을 이용하여 클래스들을 태깅하기 위한 방법들 및 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9418331B2 (ko) |
| EP (1) | EP3063706A2 (ko) |
| JP (1) | JP2016538632A (ko) |
| KR (1) | KR20160076533A (ko) |
| CN (1) | CN105684002B (ko) |
| CA (1) | CA2926334A1 (ko) |
| WO (1) | WO2015065686A2 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200002245A (ko) * | 2018-06-29 | 2020-01-08 | 포항공과대학교 산학협력단 | 뉴럴 네트워크 하드웨어 |
| KR20200052439A (ko) | 2018-10-29 | 2020-05-15 | 삼성에스디에스 주식회사 | 딥러닝 모델의 최적화 시스템 및 방법 |
| US11580393B2 (en) | 2019-12-27 | 2023-02-14 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network data input and output control |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9405975B2 (en) | 2010-03-26 | 2016-08-02 | Brain Corporation | Apparatus and methods for pulse-code invariant object recognition |
| US9412041B1 (en) | 2012-06-29 | 2016-08-09 | Brain Corporation | Retinal apparatus and methods |
| US9275326B2 (en) | 2012-11-30 | 2016-03-01 | Brain Corporation | Rate stabilization through plasticity in spiking neuron network |
| US9436909B2 (en) | 2013-06-19 | 2016-09-06 | Brain Corporation | Increased dynamic range artificial neuron network apparatus and methods |
| US9552546B1 (en) * | 2013-07-30 | 2017-01-24 | Brain Corporation | Apparatus and methods for efficacy balancing in a spiking neuron network |
| EP3158509A4 (en) * | 2014-06-19 | 2018-02-28 | University of Florida Research Foundation, Inc. | Memristive nanofiber neural networks |
| US10198691B2 (en) | 2014-06-19 | 2019-02-05 | University Of Florida Research Foundation, Inc. | Memristive nanofiber neural networks |
| US9881349B1 (en) | 2014-10-24 | 2018-01-30 | Gopro, Inc. | Apparatus and methods for computerized object identification |
| US10074050B2 (en) * | 2015-07-13 | 2018-09-11 | Denso Corporation | Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit |
| CN105243421B (zh) * | 2015-10-19 | 2018-04-03 | 湖州师范学院 | 一种基于cnn声发射识别动静态部件间摩擦故障的方法 |
| CN106875004B (zh) * | 2017-01-20 | 2019-09-10 | 北京灵汐科技有限公司 | 复合模式神经元信息处理方法和系统 |
| CN108038543B (zh) * | 2017-10-24 | 2021-01-22 | 华南师范大学 | 期望与反期望深度学习方法和神经网络系统 |
| US11348002B2 (en) | 2017-10-24 | 2022-05-31 | International Business Machines Corporation | Training of artificial neural networks |
| CN107798384B (zh) * | 2017-10-31 | 2020-10-16 | 山东第一医科大学(山东省医学科学院) | 一种基于可进化脉冲神经网络的鸢尾花卉分类方法和装置 |
| US10108903B1 (en) * | 2017-12-08 | 2018-10-23 | Cognitive Systems Corp. | Motion detection based on machine learning of wireless signal properties |
| US10706355B2 (en) * | 2018-01-23 | 2020-07-07 | Hrl Laboratories, Llc | Method and system for distributed coding and learning in neuromorphic networks for pattern recognition |
| JP6887055B2 (ja) * | 2018-02-28 | 2021-06-16 | 富士フイルム株式会社 | 機械学習方法及び装置、プログラム、学習済みモデル、並びに判別装置 |
| US11361506B2 (en) * | 2018-04-09 | 2022-06-14 | Dolby Laboratories Licensing Corporation | HDR image representations using neural network mappings |
| US20220004853A1 (en) * | 2018-09-27 | 2022-01-06 | Tdk Corporation | Product-sum calculation unit, neuromorphic device, and product-sum calculation method |
| EP3830762A4 (en) * | 2018-11-28 | 2022-04-06 | Hewlett-Packard Development Company, L.P. | EVENT BASED PROCESSING USING DEEP NEURAL NETWORK OUTPUT |
| JP7279368B2 (ja) * | 2019-01-17 | 2023-05-23 | 富士通株式会社 | 学習方法、学習プログラムおよび学習装置 |
| JP7163786B2 (ja) | 2019-01-17 | 2022-11-01 | 富士通株式会社 | 学習方法、学習プログラムおよび学習装置 |
| CN113435591B (zh) * | 2019-08-14 | 2024-04-05 | 中科寒武纪科技股份有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| US11684921B1 (en) * | 2019-08-16 | 2023-06-27 | Leidos, Inc. | Pocket detection pouch |
| CN113408613B (zh) * | 2021-06-18 | 2022-07-19 | 电子科技大学 | 一种基于延迟机制的单层图像分类方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8781983B2 (en) * | 2009-12-29 | 2014-07-15 | Knowmtech, Llc | Framework for the evolution of electronic neural assemblies toward directed goals |
| US7716150B2 (en) | 2006-09-28 | 2010-05-11 | Microsoft Corporation | Machine learning system for analyzing and establishing tagging trends based on convergence criteria |
| EP2053523A1 (en) | 2007-10-16 | 2009-04-29 | Sony France S.A. | Method and apparatus for updating of prototypes |
| US8682819B2 (en) | 2008-06-19 | 2014-03-25 | Microsoft Corporation | Machine-based learning for automatically categorizing data on per-user basis |
| US8655803B2 (en) | 2008-12-17 | 2014-02-18 | Xerox Corporation | Method of feature extraction from noisy documents |
| US8843567B2 (en) | 2009-11-30 | 2014-09-23 | International Business Machines Corporation | Managing electronic messages |
| US9129220B2 (en) * | 2010-07-07 | 2015-09-08 | Qualcomm Incorporated | Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP |
| US8892487B2 (en) * | 2010-12-30 | 2014-11-18 | International Business Machines Corporation | Electronic synapses for reinforcement learning |
| CN103078054B (zh) * | 2013-01-04 | 2015-06-03 | 华中科技大学 | 一种模拟生物神经元和神经突触的单元、装置及方法 |
| US10055434B2 (en) * | 2013-10-16 | 2018-08-21 | University Of Tennessee Research Foundation | Method and apparatus for providing random selection and long-term potentiation and depression in an artificial network |
-
2013
- 2013-10-28 US US14/065,089 patent/US9418331B2/en active Active
-
2014
- 2014-10-13 CA CA2926334A patent/CA2926334A1/en not_active Abandoned
- 2014-10-13 KR KR1020167013948A patent/KR20160076533A/ko not_active Application Discontinuation
- 2014-10-13 WO PCT/US2014/060234 patent/WO2015065686A2/en active Application Filing
- 2014-10-13 CN CN201480058854.3A patent/CN105684002B/zh active Active
- 2014-10-13 JP JP2016526172A patent/JP2016538632A/ja active Pending
- 2014-10-13 EP EP14792938.4A patent/EP3063706A2/en not_active Ceased
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200002245A (ko) * | 2018-06-29 | 2020-01-08 | 포항공과대학교 산학협력단 | 뉴럴 네트워크 하드웨어 |
| KR20200052439A (ko) | 2018-10-29 | 2020-05-15 | 삼성에스디에스 주식회사 | 딥러닝 모델의 최적화 시스템 및 방법 |
| US11580393B2 (en) | 2019-12-27 | 2023-02-14 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network data input and output control |
| US11790232B2 (en) | 2019-12-27 | 2023-10-17 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network data input and output control |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015065686A2 (en) | 2015-05-07 |
| WO2015065686A3 (en) | 2015-06-25 |
| CN105684002B (zh) | 2018-07-20 |
| EP3063706A2 (en) | 2016-09-07 |
| CN105684002A (zh) | 2016-06-15 |
| CA2926334A1 (en) | 2015-05-07 |
| JP2016538632A (ja) | 2016-12-08 |
| US20150120626A1 (en) | 2015-04-30 |
| US9418331B2 (en) | 2016-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20160076533A (ko) | 지도 학습을 이용하여 클래스들을 태깅하기 위한 방법들 및 장치 | |
| KR101793011B1 (ko) | 스파이킹 네트워크들의 효율적인 하드웨어 구현 | |
| US10339447B2 (en) | Configuring sparse neuronal networks | |
| US9330355B2 (en) | Computed synapses for neuromorphic systems | |
| US9558442B2 (en) | Monitoring neural networks with shadow networks | |
| KR20160138002A (ko) | 스파이킹 dbn (deep belief network) 에서의 트레이닝, 인식, 및 생성 | |
| KR20170031695A (ko) | 신경망들에서의 콘볼루션 동작의 분해 | |
| KR20160136381A (ko) | 신경 네트워크들에서의 차분 인코딩 | |
| US20150212861A1 (en) | Value synchronization across neural processors | |
| KR20160076520A (ko) | 인과적 현출성 시간 추론 | |
| KR20160136364A (ko) | 콜드 뉴런 스파이크 타이밍 역 전파 | |
| KR20160123309A (ko) | 확률적 스파이킹 베이지안망들에 대한 이벤트-기반 추론 및 학습 | |
| KR20160138042A (ko) | 스파이킹 뉴럴 네트워크들을 사용하는 이미지들의 불변의 객체 표현 | |
| US10552734B2 (en) | Dynamic spatial target selection | |
| KR20160125967A (ko) | 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치 | |
| US20150278685A1 (en) | Probabilistic representation of large sequences using spiking neural network | |
| KR20160076531A (ko) | 다차원 범위에 걸쳐 분리가능한 서브 시스템들을 포함하는 시스템의 평가 | |
| KR20160058825A (ko) | 신경 모델들에 대한 그룹 태그들의 구현을 위한 방법들 및 장치 | |
| KR20160135206A (ko) | 역치하 변조를 통한 아날로그 신호 재구성 및 인식 | |
| KR20160047581A (ko) | 인공 신경 시스템에서 브레이크포인트 결정 유닛을 구현하기 위한 방법들 및 장치 | |
| KR101825937B1 (ko) | 가소성 시냅스 관리 | |
| KR101782760B1 (ko) | 시냅스 지연의 동적 할당 및 검사 | |
| WO2015065850A2 (en) | Doppler effect processing in a neural network model | |
| KR20160132850A (ko) | 뉴로모픽 모델 개발을 위한 콘텍스트 실시간 피드백 | |
| US20150213356A1 (en) | Method for converting values into spikes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |