JP6117392B2 - 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 - Google Patents
1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 Download PDFInfo
- Publication number
- JP6117392B2 JP6117392B2 JP2016035857A JP2016035857A JP6117392B2 JP 6117392 B2 JP6117392 B2 JP 6117392B2 JP 2016035857 A JP2016035857 A JP 2016035857A JP 2016035857 A JP2016035857 A JP 2016035857A JP 6117392 B2 JP6117392 B2 JP 6117392B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- sum
- rgc
- output
- sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004027 cell Anatomy 0.000 title claims description 70
- 238000000034 method Methods 0.000 title claims description 49
- 230000001537 neural effect Effects 0.000 title claims description 25
- 210000000977 primary visual cortex Anatomy 0.000 title claims description 14
- 238000012549 training Methods 0.000 title description 13
- 210000000225 synapse Anatomy 0.000 title description 10
- 210000003994 retinal ganglion cell Anatomy 0.000 claims description 67
- 210000000653 nervous system Anatomy 0.000 claims 1
- 210000002569 neuron Anatomy 0.000 description 30
- 108020003175 receptors Proteins 0.000 description 22
- 230000004913 activation Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000000946 synaptic effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 239000012528 membrane Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 210000000857 visual cortex Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 210000002592 gangliocyte Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000020411 cell activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Heterocyclic Carbon Compounds Containing A Hetero Ring Having Oxygen Or Sulfur (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Description
図1は、本開示のいくつかの態様による、複数のレベルのニューロンを含む例示的な神経システム100を示す。神経システム100は、シナプス結合のネットワーク104を介して別のレベルのニューロン106に接続されたあるレベルのニューロン102を備え得る。簡単のために、図1には2レベルのニューロンのみが示されているが、代表的な神経システムには、より多くのレベルのニューロンが存在し得る。
いくつかの態様によれば、RG細胞(RGC)は、ON細胞およびOFF細胞に分割され得る。ON細胞は、背景よりも明るい対象を区別することができる。たとえば、周辺視野はすべてON細胞に基づき、その結果、人間は、暗い背景に対して明るい点をより良く見ることができる。一方、RG OFF細胞は、背景よりも暗い対象トを区別することができる。RG ON細胞とRG OFF細胞の両方を備える全受容野を照らすことは、RGC発火率に限られた影響を持つことに留意されたい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
電気回路であり、以下を具備する、
複数の網膜神経節細胞(RGC)回路であり、ここにおいて前記RGC回路の各々が、出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成することと、
複数の1次視覚野細胞(V1)回路であり、ここにおいて前記V1回路の各々が、前記RGC回路のサブセットの重み付けされた出力の別の合計を生成することと、および
他の合計を生成するために前記出力に適用された重みを調整するように構成された回路、ここにおいて
前記重みのうちの1つの前記調整が、すくなくともその重みが適用される前記出力の1つまたは前記他の合計のうちの1つに基づく。
[C2]
C1に記載の電気回路において、その重みの前記調整が、その出力の符号および前記他の合計の符号に基づく、
上記電気回路。
[C3]
C1に記載の電気回路において、その重みの前記調整が、その出力の符号および前記他の合計の値に基づく、
上記電気回路。
[C4]
C1に記載の電気回路において、その出力および前記他の合計がどちらも正またはどちらも負である場合、その重みが増加し、
その出力の符号および前記他の合計の符号が同じではない場合、その重みが低減する、
上記電気回路。
[C5]
C1に記載の電気回路において、そのV1回路によって生成された前記他の合計が閾値を超える場合、そのV1回路が信号を出力する、
上記電気回路。
[C6]
C1に記載の電気回路において、前記回路が、バイナリシフト演算を実行することによって前記重みの各々を調整するように構成される、
上記電気回路。
[C7]
C1に記載の電気回路において、前記受容体回路からの前記入力が、ラプラシアン窓関数に従って重み付けされる、上記電気回路。
[C8]
神経システムを実装するための方法であって、以下を具備する、
前記神経システムにおける複数の網膜神経節細胞(RGC)回路の各RGC回路の出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成することと、
前記神経システムにおける複数の1次視覚野細胞(V1)回路の各V1回路によって、前記RGC回路のサブセットの重み付けされた出力の別の合計を生成することと、および
他の合計を生成するために前記出力に加えられた重みを調整すること、ここにおいて
前記重みのうちの1つの前記調整が、少なくともその重みが適用される前記出力の1つまたは前記他の合計のうちの1つに基づく。
[C9]
C8に記載の方法であって、その重みの前記調整が、その出力の符号および前記他の合計の符号に基づく、
上記方法。
[C10]
C8に記載の方法であって、その重みの前記調整が、その出力の符号および前記他の合計の値に基づく、
上記方法。
[C11]
C8に記載の方法であって、その出力と前記他の合計がどちらも正またはどちらも負である場合、その重みが増加し、
その出力の符号および前記他の合計の符号が同じではない場合、その重みが低減する
上記方法。
[C12]
C8に記載の方法であって、
そのV1回路によって生成された前記他の合計が閾値を超える場合、そのV1回路の出力で信号を生成することをさらに具備する。
[C13]
C8に記載の方法であって、前記重みの各々を調整することが、
バイナリシフト演算を実行することを具備する。
[C14]
C8に記載の方法であって、前記受容体回路からの前記入力が、ラプラシアン窓関数に従って重み付けされる、
上記方法。
[C15]
装置であって、以下を具備する、
前記装置における複数の網膜神経節細胞(RGC)回路の各RGC回路の出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成するための手段と、
前記装置における複数の1次視覚野細胞(V1)回路の各V1回路によって、前記RGC回路のサブセットの重み付けされた出力の別の合計を生成するための手段と、および
他の合計を生成するために前記出力に加えられた重みを調整手段、ここにおいて
前記重みのうちの1つの前記調整が、少なくともその重みが適用される前記出力の1つまたは前記他の合計のうちの1つに基づく。
[C16]
C15に記載の装置であって、その重みの前記調整が、その出力の符号および前記他の合計の符号に基づく、
上記装置。
[C17]
C15に記載の装置であって、その重みの前記調整が、その出力の符号および前記他の合計の値に基づく、
上記装置。
[C18]
C15に記載の装置であって、その出力と前記他の合計がどちらも正またはどちらも負である場合、その重みが増加し、
その出力の符号および前記他の合計の符号が同じではない場合、その重みが低減する
上記装置。
[C19]
C15に記載の装置であって、そのV1回路によって生成された前記他の合計が閾値を超える場合、そのV1回路の出力で信号を生成するための手段
をさらに具備する。
[C20]
C15に記載の装置であって、前記重みの各々を調整するための手段が、
バイナリシフト演算を実行するための手段
を具備する。
[C21]
C15に記載の装置であって、前記受容体回路からの前記入力が、ラプラシアン窓関数に従って重み付けされる、
上記装置。
Claims (10)
- 電気回路であり、前記電気回路は以下を具備する、
複数の網膜神経節細胞(RGC)回路、ここにおいて前記RGC回路の各々が、出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成する、と、以下によって特徴付けられる、
複数の1次視覚野細胞(V1)回路、ここにおいて前記V1回路の各々が、前記RGC回路のサブセットの重み付けされた出力の別の合計を生成する、と、
前記別の合計を生成するために前記出力に適用された複数の重みを調整するように構成された回路、
ここにおいて、前記複数の重みの各々の前記調整が、各そのような重みが適用される前記出力のうちの1つの符号および前記別の合計の符号または値に基づく。 - 請求項1に記載の電気回路において、
その出力および前記他の合計がどちらも正またはどちらも負である場合、各そのような重みが増加し、
その出力の符号および前記他の合計の符号が異なる場合、各そのような重みが低減する、
上記電気回路。 - 請求項1に記載の電気回路において、そのV1回路によって生成された前記他の合計が閾値を超える場合、そのV1回路が信号を出力する、
上記電気回路。 - 請求項1に記載の電気回路において、前記回路がまた、バイナリシフト演算を実行することによって前記複数の重みの各々を調整するように構成される、
上記電気回路。 - 請求項1に記載の電気回路において、前記受容体回路からの前記入力が、ラプラシアン窓関数に従って重み付けされる、上記電気回路。
- 神経システムを実装するための方法であって、前記方法は以下を具備する、
前記神経システムにおける複数の網膜神経節細胞(RGC)回路の各RGC回路の出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成することと、以下によって特徴付けられる、
前記神経システムにおける複数の1次視覚野細胞(V1)回路の各V1回路によって、前記RGC回路のサブセットの重み付けされた出力の別の合計を生成することと、
前記別の合計を生成するために前記出力に適用された複数の重みを調整すること、
ここにおいて、前記複数の重みの各々の前記調整が、各そのような重みが適用される前記出力のうちの1つの符号および前記別の合計の符号または値に基づく。 - 請求項6に記載の方法であって、
その出力および前記他の合計がどちらも正またはどちらも負である場合、各そのような重みが増加し、
その出力の符号および前記他の合計の符号が異なる場合、各そのような重みが低減する
上記方法。 - 請求項6に記載の方法であって、
そのV1回路によって生成された前記他の合計が閾値を超える場合、そのV1回路の出力で信号を生成することをさらに具備する。 - 請求項6に記載の方法であって、前記複数の重みの各々を調整することが、
バイナリシフト演算を実行することを具備する。 - 請求項6に記載の方法であって、前記受容体回路からの前記入力が、ラプラシアン窓関数に従って重み付けされる、
上記方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/115,154 US8583577B2 (en) | 2011-05-25 | 2011-05-25 | Method and apparatus for unsupervised training of input synapses of primary visual cortex simple cells and other neural circuits |
US13/115,154 | 2011-05-25 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014512164A Division JP6113719B2 (ja) | 2011-05-25 | 2012-05-25 | 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016139420A JP2016139420A (ja) | 2016-08-04 |
JP2016139420A5 JP2016139420A5 (ja) | 2017-02-09 |
JP6117392B2 true JP6117392B2 (ja) | 2017-04-19 |
Family
ID=46208849
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014512164A Active JP6113719B2 (ja) | 2011-05-25 | 2012-05-25 | 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 |
JP2016035857A Active JP6117392B2 (ja) | 2011-05-25 | 2016-02-26 | 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014512164A Active JP6113719B2 (ja) | 2011-05-25 | 2012-05-25 | 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8583577B2 (ja) |
EP (1) | EP2715620B1 (ja) |
JP (2) | JP6113719B2 (ja) |
KR (1) | KR101549767B1 (ja) |
CN (1) | CN103548042B (ja) |
WO (1) | WO2012162663A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018025116A1 (en) * | 2016-08-03 | 2018-02-08 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device, imaging module, electronic device, and imaging system |
US11250316B2 (en) | 2018-08-10 | 2022-02-15 | International Business Machines Corporation | Aggregate adjustments in a cross bar neural network |
CN113160027A (zh) * | 2020-01-23 | 2021-07-23 | 华为技术有限公司 | 一种图像处理模型训练方法及装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2900427B2 (ja) * | 1989-09-18 | 1999-06-02 | 富士通株式会社 | ニューラルネット |
US5329610A (en) * | 1992-05-19 | 1994-07-12 | Intel Corporation | Neural network employing absolute value calculating synapse |
US5473730A (en) | 1993-11-09 | 1995-12-05 | At&T Ipm Corp. | High efficiency learning network |
US7769513B2 (en) * | 2002-09-03 | 2010-08-03 | Automotive Technologies International, Inc. | Image processing for vehicular applications applying edge detection technique |
US5771312A (en) * | 1996-07-01 | 1998-06-23 | Ramot University Authority For Applied Research & Industrial Development Ltd. | Method for automatic partial white balance correction |
GB9902115D0 (en) * | 1999-02-01 | 1999-03-24 | Axeon Limited | Neural networks |
US6912307B2 (en) * | 2001-02-07 | 2005-06-28 | Ramot Fyt Tel Aviv University Ltd. | Method for automatic color and intensity contrast adjustment of still and video images |
US7711663B2 (en) * | 2006-03-27 | 2010-05-04 | Board Of Trustees Of Michigan State University | Multi-layer development network having in-place learning |
GB2453263A (en) * | 2006-05-16 | 2009-04-01 | Douglas S Greer | System and method for modeling the neocortex and uses therefor |
US9443141B2 (en) * | 2008-06-02 | 2016-09-13 | New York University | Method, system, and computer-accessible medium for classification of at least one ICTAL state |
US9129220B2 (en) * | 2010-07-07 | 2015-09-08 | Qualcomm Incorporated | Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP |
US9092736B2 (en) * | 2010-07-07 | 2015-07-28 | Qualcomm Incorporated | Communication and synapse training method and hardware for biologically inspired networks |
US8892485B2 (en) * | 2010-07-08 | 2014-11-18 | Qualcomm Incorporated | Methods and systems for neural processor training by encouragement of correct output |
US9129222B2 (en) * | 2011-06-22 | 2015-09-08 | Qualcomm Incorporated | Method and apparatus for a local competitive learning rule that leads to sparse connectivity |
-
2011
- 2011-05-25 US US13/115,154 patent/US8583577B2/en active Active
-
2012
- 2012-05-25 CN CN201280024956.4A patent/CN103548042B/zh active Active
- 2012-05-25 WO PCT/US2012/039704 patent/WO2012162663A1/en active Application Filing
- 2012-05-25 EP EP12725998.4A patent/EP2715620B1/en active Active
- 2012-05-25 KR KR1020137034213A patent/KR101549767B1/ko not_active IP Right Cessation
- 2012-05-25 JP JP2014512164A patent/JP6113719B2/ja active Active
-
2016
- 2016-02-26 JP JP2016035857A patent/JP6117392B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014517973A (ja) | 2014-07-24 |
JP6113719B2 (ja) | 2017-04-12 |
KR101549767B1 (ko) | 2015-09-02 |
EP2715620A1 (en) | 2014-04-09 |
KR20140027415A (ko) | 2014-03-06 |
EP2715620B1 (en) | 2016-12-14 |
JP2016139420A (ja) | 2016-08-04 |
US8583577B2 (en) | 2013-11-12 |
US20120303566A1 (en) | 2012-11-29 |
WO2012162663A1 (en) | 2012-11-29 |
CN103548042A (zh) | 2014-01-29 |
CN103548042B (zh) | 2016-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8892485B2 (en) | Methods and systems for neural processor training by encouragement of correct output | |
JP2017509951A (ja) | スパースニューラルネットワークを構成すること | |
JP2017515189A (ja) | 写真管理 | |
EP3121767A1 (en) | Methods and systems for implementing deep spiking neural networks | |
JP6092477B2 (ja) | ニューラルダイナミクスを修正するための自動化された方法 | |
JP2017531240A (ja) | データのナレッジグラフバイアス分類 | |
JP2017525038A (ja) | ニューラルネットワークにおける畳込み演算の分解 | |
JP2017514215A (ja) | スパイキングニューラルネットワークを使用する画像の不変オブジェクト表現 | |
JP2017515205A (ja) | Coldニューロンスパイクタイミングバックプロバゲーション | |
JP2017513127A (ja) | スパイキング深層信念ネットワーク(dbn)におけるトレーニング、認識、および生成 | |
JP2017511936A (ja) | 現在の計算リソースへのニューラルネットワーク適応 | |
JP2017509952A (ja) | シャドウネットワークでニューラルネットワークを監視すること | |
JP2017516192A (ja) | ニューラルネットワークにおける差分符号化 | |
JP6117392B2 (ja) | 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 | |
US20200257973A1 (en) | Inference method and device using spiking neural network | |
JP2017519268A (ja) | スパイキングニューラルネットワークにおけるグローバルスカラ値によって可塑性を調節すること | |
JP6133517B2 (ja) | 座標変換のための位相コーディング | |
JP6219509B2 (ja) | シナプス遅延を動的に割り当てることおおよび検査すること | |
JP6193509B2 (ja) | 可塑性シナプス管理 | |
JP6096388B2 (ja) | ニューラルネットワークモデルにおけるドップラー効果処理 | |
CA2898216C (en) | Methods and systems for implementing deep spiking neural networks | |
US8843426B2 (en) | Method and apparatus of primary visual cortex simple cell training and operation | |
Liu | Deep spiking neural networks | |
Meyer et al. | Verilog-A model of ferroelectric memristors dedicated to neuromorphic design | |
Vaila et al. | Spiking CNNs with PYNN and NEURON |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161219 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20161219 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6117392 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |