JP6117392B2 - 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 - Google Patents

1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 Download PDF

Info

Publication number
JP6117392B2
JP6117392B2 JP2016035857A JP2016035857A JP6117392B2 JP 6117392 B2 JP6117392 B2 JP 6117392B2 JP 2016035857 A JP2016035857 A JP 2016035857A JP 2016035857 A JP2016035857 A JP 2016035857A JP 6117392 B2 JP6117392 B2 JP 6117392B2
Authority
JP
Japan
Prior art keywords
circuit
sum
rgc
output
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016035857A
Other languages
English (en)
Other versions
JP2016139420A5 (ja
JP2016139420A (ja
Inventor
ブラディミル・アパリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016139420A publication Critical patent/JP2016139420A/ja
Publication of JP2016139420A5 publication Critical patent/JP2016139420A5/ja
Application granted granted Critical
Publication of JP6117392B2 publication Critical patent/JP6117392B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Heterocyclic Carbon Compounds Containing A Hetero Ring Having Oxygen Or Sulfur (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Description

本開示のいくつかの態様は、一般に、神経システム工学に関し、より詳細には、1次視覚野細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置に関する。
画像認識および運動検出システムは、マシンビジョン(machine vision)(すなわち、人工知能(AI))技術に基づくもの、および視覚野技術(すなわち、生物学的に妥当なシステム)を利用するものに分割することができる。マシンビジョンシステムは、十分に確立されたトレーニングの方法があるが、認識精度は低い。たとえば、イヌをネコと区別することは、50/50の結果を有するマシンビジョンシステムでは困難な作業のままである。
一方、生物学的に妥当なシステムは、人間の視覚野構造を使用する。これらのシステムに基づく方法は、マシンビジョンシステムよりも正確となることが見込まれる。しかしながら、それらの自己組織化につながる生物学的に妥当なシステムのためのトレーニング方法は、十分には発展していない。これは、視覚野組織および自己トレーニング方法の知識が乏しいことに起因する。
本開示のいくつかの態様は、電気回路を提供する。電気回路は、一般に、複数の網膜神経節細胞(RGC)回路、ここにおいてRGC回路の各々が、出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成する、と、複数の1次視覚野細胞(V1)回路、ここにおいてV1回路の各々が、RGC回路のサブセットの重み付けされた出力の別の合計を生成する、と、および、他の合計を生成するために出力に適用された重みを調整するように構成された回路、ここにおいて重みのうちの1つの調整が、少なくともその重みが適用される出力の1つまたは他の合計のうちの1つに基づく、とを含む。
本開示のいくつかの態様は、神経システムを実装するための方法を提供する。方法は、一般に、神経システムにおける複数の網膜神経節細胞(RGC)回路の各RGC回路の出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成することと、神経システムにおける複数の1次視覚野細胞(V1)回路の各V1回路によって、RGC回路のサブセットの重み付けされた出力の別の合計を生成することと、他の合計を生成するために出力に適用された重みを調整すること、ここにおいて重みのうちの1つの調整が、少なくともその重みが適用される出力の1つまたは他の合計のうちの1つに基づく、とを含む。
本開示のいくつかの態様は、装置を提供する。装置は、一般に、装置における複数の網膜神経節細胞(RGC)回路の各RGC回路の出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成するための手段と、装置における複数の1次視覚野細胞(V1)回路の各V1回路によって、RGC回路のサブセットの重み付けされた出力の別の合計を生成するための手段と、他の合計を生成するために出力に加えられた重みを調整するための手段、ここにおいて重みのうちの1つの調整が、少なくともその重みが適用される出力の1つまたは他の合計のうちの1つに基づく、とを含む。
本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部を示す態様を参照することによって、上記で簡単に要約したもののさらに具体的な説明が得られ得る。しかし、添付の図面は、本開示の特定の典型的な態様のみを示し、したがって、本開示の範囲の限定とみなされてはならず、その理由は、この説明が他の同等の効果のある態様をもたらし得るからであることに留意されたい。
本開示のいくつかの態様による、例示的な神経システムを示す図。 本開示のいくつかの態様による、異なるタイプの網膜神経節(RG)細胞と接続された受容体の例示的なモデルを示す図。 本開示のいくつかの態様による、RG細胞と1次視覚野(V1)細胞とを接続するシナプスの符号に応じて、ON細胞またはOFF細胞であり得るRG細胞と接続された受容体の例示的なモデルを示す図。 本開示のいくつかの態様による、受容体とRG細胞との間の接続の例示的なモデル、およびRG細胞とV1細胞との間の接続の例示的なモデルを示す図。 本開示のいくつかの態様による、RG細胞とV1細胞との間のシナプスの重みのトレーニングのために神経システムで実行され得る例示的な動作を示す図。 図5に示される動作を実行することができる例示的な構成要素を示す図。
添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得るものであり、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置を実施することができ、または方法を実施することができる。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置またはそのような方法をカバーするものとする。本明細書で開示する本開示の任意の態様が請求項の1つまたは複数の要素によって実施できることを理解されたい。
「例示的な」という言葉は、例、事例、または例示として機能することを意味するように本明細書で使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利なものと解釈すべきではない。
本明細書では特定の態様について説明するが、これらの態様の多くの変形体および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、限定的なものではなく本開示を説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびその均等物によって規定される。
例示的な神経システム
図1は、本開示のいくつかの態様による、複数のレベルのニューロンを含む例示的な神経システム100を示す。神経システム100は、シナプス結合のネットワーク104を介して別のレベルのニューロン106に接続されたあるレベルのニューロン102を備え得る。簡単のために、図1には2レベルのニューロンのみが示されているが、代表的な神経システムには、より多くのレベルのニューロンが存在し得る。
図1に示すように、レベル102における各ニューロンは、前のレベル(図1には図示せず)の複数のニューロンによって生成され得る入力信号108を受信することができる。信号108は、レベル102のニューロンの入力電流を表し得る。この電流は、膜電位に充電するために、ニューロン膜(neuron membrane)に蓄積され得る。膜電位がその閾値に達すると、ニューロンは、点火し、次のレベルのニューロン(たとえば、レベル106)に転送される出力スパイクを生成することができる。
図1に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合(または単に「シナプス」)のネットワーク104によって達成され得る。シナプス104は、レベル102のニューロンから出力信号(すなわち、スパイク)を受信し、調整可能なシナプスの重さ
Figure 0006117392
(式中、Pは、レベル102のニューロンとレベル106のニューロンとの間のシナプス結合の総数である)に従って、それらの信号をスケーリングし、スケーリングされた信号をレベル106における各ニューロンの入力信号として結合することができる。レベル106におけるあらゆるニューロンは、対応する結合された入力信号に基づいて、出力スパイク110を生成し得る。出力スパイク110は、次いで、シナプス結合の別のネットワーク(図1には図示せず)を使用して、別のレベルのニューロンに転送され得る。
神経システム100は、電気回路によってエミュレートすることができ、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用することができる。神経システム100における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始する閾値までチャージされるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去することができ、その代わりにより小さいメモリスタ要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電気的電流積分器として利用される様々な他の用途において適用され得る。さらに、シナプス104の各々は、メモリスタ要素に基づいて実装され得、シナプスの重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され、これによって、非常に大規模な神経システムハードウェア実装形態の実装が実用的になり得る。
本開示は、色覚のために利用される1次視覚野(V1)細胞および網膜神経節細胞(RGC)の簡略化された構造を提案し、ここでは、V1細胞およびRGCは、図1の神経システム100のニューロン回路として実装され得る。本開示の一態様では、RGCは、ニューロン102に対応し、V1細胞は、ニューロン106に対応し得る。
V1入力シナプス(たとえば、神経システム100のシナプス104)は、単純細胞の出現を達成するために教師なしの方法でのトレーニングされることを必要とし得る。本開示は、V1層内の特徴検出器(単純細胞)の自律的な形成につながり得る、細胞のV1層とRGC層との間の接続のトレーニングの効率的な方法を提案する。提案された手法は、画像認識および運動検出システムのハードウェア効率的な生物学的に妥当な実装を可能にし得る。
提案された教師なしトレーニング方法は、RGC層とV1層の両方に単純なニューロンモデルを利用することができる。モデルは、単に、各細胞の重み付けされた入力を追加するだけであり、ここにおいて入力は、正の値または負の値を有し得る。結果として生じる入力の重み付け和は、活性化と呼ばれ、活性化も正または負とすることができる。本開示の一態様では、対応するRGC出力の符号、および活性化の絶対値が増加する方向のそのV1細胞に関連付けられた活性化の符号に応じて、各V1細胞の重みを調整することができる。V1の重みは、正または負でありうる。
シナプスの重みの提案されたトレーニング方法は、ソフトウェアおよびハードウェアの効率的な実装に適し得る。さらに、提案されたトレーニング方法は、スパイクタイミング依存可塑性(STDP)トレーニング手法よりもはるかに速く動作し得る。
1次視覚野細胞の入力シナプスの教師なしトレーニング方法
いくつかの態様によれば、RG細胞(RGC)は、ON細胞およびOFF細胞に分割され得る。ON細胞は、背景よりも明るい対象を区別することができる。たとえば、周辺視野はすべてON細胞に基づき、その結果、人間は、暗い背景に対して明るい点をより良く見ることができる。一方、RG OFF細胞は、背景よりも暗い対象トを区別することができる。RG ON細胞とRG OFF細胞の両方を備える全受容野を照らすことは、RGC発火率に限られた影響を持つことに留意されたい。
図2は、本開示のいくつかの態様による、光受容体202とRG ON細胞204との間の接続の例示的なモデル200a、および光受容体206とRG OFF細胞208との間の接続の例示的なモデル200bを示す。受容体回路202および206は、画像ピクセルの直交するアレイとして編成され得る。したがって、ON細胞およびOFF細胞の受容野は、(円形の代わりに)矩形形状を有することができる。
一態様では、各RGCは、9つの受容体から入力を受信し得、ここにおいて、図2に示すように、受容体に関連付けられた入力の重みは、ラプラシアンフィルタを形成し得る(すなわち、ラプラシアン窓関数が受容体からの信号に適用され得る)。重みは、モデル200aおよび200bに示すように、受容体がON RG細胞に接続されているか、OFF RG細胞に接続されているかに依存し得る。図2に示すRG細胞204および208が、非常に大きい数の受容体から入力を受信することができるマグノ神経節細胞に対応しない場合があることに留意されたい。
本開示の一態様では、RGCアレイにおいてON細胞とOFF細胞とを混合する代わりに、各RG細胞(たとえば、図3に示すモデル300において受容体302から入力を受信するRG細胞304)は、ON細胞またはOFF細胞のいずれかでもよい。これは、RG細胞304をV1単純細胞310に接続するシナプス308に関連付けられた重み306の符号に依存し得る。
図3に示すように、RG細胞304に入力され得る受容体302からの入力信号xi,jに重みwを適用することによって、V1細胞310の入力yが取得され得る。
Figure 0006117392
式(1)は、以下のように書き直すことができる。
Figure 0006117392
ここにおいて、sgn(w)=+1である場合、RGC304は、ON細胞として動作し得、sgn(w)=−1である場合、RGC304は、OFF細胞として動作し得る。
本開示の一態様では、図4に示したものとしてのニューロンモデルが利用され得る。例示的なモデル400aでは、RGC404は、受容体402からのその重み付けされた入力406を合計することができ、次いで、合計結果をその出力408に転送することができる。すなわち、
Figure 0006117392
図4の例示的なモデル400bに示すように、V1細胞414は、RGC412からのその重み付けされた入力416を合計することができる。すなわち、
Figure 0006117392
式中、式(4)からの重みwi,jの各々は、ONとOFFの両方のRGCをモデル化するためのバイポーラ(bipolar)でもよい。一態様では、V1細胞414の出力418(活性化信号)が閾値と比較され得る。合計結果418が閾値を超える場合、V1細胞414が活性化される(すなわち、点火)。一方、結果418が閾値未満である場合、V1細胞414は休止している。
本開示の一態様では、RGC−V1接続の重み(すなわち、重みwi,j)のみがトレーニングされ得る。図4のモデル400bは、以下のルールを利用することができる。各V1単純細胞の活性化は、対応するRGC出力の重み付け和として計算され得る。V1細胞の活性化が閾値を超える場合、V1細胞は点火し得る。そうでない場合、V1細胞は、そのままであり得(すなわち、V1細胞は、どんな信号も生成しない)、その入力の重みは変化しない場合がある。
まず、各V1単純細胞の活性化は、対応するRGC出力の重み付け和として計算され得る。次いで、各V1細胞の重みは、対応するRGC出力の符号およびそのV1細胞の活性化の符号に応じて調整され得る。一態様では、RGC出力の符号および活性化の符号が同じである場合、正の増分がRGC出力に適用される重みに追加され得る(すなわち、重みが増加し得る)。別の態様では、RGC出力の符号および活性化の符号が同じではない場合、対応する重みから正の増分が減算され得る(すなわち、重みが低減し得る)。
RGC出力yi,jでは、式(4)によって定義されるように、V1細胞の活性化が決定され得る。次いで、本開示の一態様では、RGC−V1の重みは、以下のように調整され得る。
Figure 0006117392
本開示の別の態様では、RGC−V1の重みは、その符号の代わりに活性化の値に基づいて調整され得る。すなわち、
Figure 0006117392
式(5)〜(6)からの|Δw|の値は、あらかじめ決定されていてもよい。一態様では、|Δw|の値は、1/2Nの形態とすることができ、ここで、Nは、整数でありうる。活性化値zが2進数として表され得るので、式(6)からの積z|Δw|は、値|Δw|においてバイナリシフト演算を実行することによって、実装され得る。
図5は、本開示のいくつかの態様による、RG細胞とV1細胞との間のシナプスの重みのトレーニングのために神経システムで実行され得る例示的な動作500を示す。502で、神経システムにおける複数の網膜神経節細胞(RGC)回路の各RGC回路の出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計が生成され得る。504で、神経システムにおける複数の1次視覚野細胞(V1)回路の各V1回路が、RGC回路のサブセットの重み付けされた出力の別の合計を生成する。506で、他の合計を生成するために出力に適用された重みが調整され得、重みのうちの1つの調整が、少なくともその重みが適用される出力の1つまたは他の合計のうちの1つに基づき得る。
要約すると、RGC層においてON細胞とOFF細胞とを混合する代わりに、それらをすべてON/OFF細胞にし、RGC−V1の重みの符号によってそれらのタイプを制御することが、本開示において提案される。図4に示すように、単純な「追加」ニューロンがRG細胞として利用され得、一方、「追加および点火」ニューロンがV1単純細胞として利用され得る。STDP学習ルールの代わりに、式(5)〜(6)によって定義されるRGC−V1の重みについての提案された学習ルールが適用され得る。本開示の一態様では、重みは、正(ON RG細胞への接続のモデル化)から負(OFF RG細胞への接続のモデル化)に変化することができ、その逆も同様である。
上記で説明した方法の様々な動作は、対応する機能を実行することができる任意の好適な手段によって実行され得る。手段は、限定はしないが、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含む、様々なハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含むことができる。一般に、図に示される動作がある場合、これらの動作は、同様の番号を有する対応する対のミーンズプラスファンクション(means−plus−function)構成要素を有し得る。たとえば、図5に示す動作500は、図5Aに示す構成要素500Aに対応する。
本明細書で使用する際、「決定すること」という用語は、様々なアクションを含む。たとえば、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、検索すること(たとえば、テーブル、データベース、または別のデータ構造を検索すること)、確認することなどを含み得る。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ内のデータにアクセスすること)などを含む場合がある。また、「決定すること」は、解決すること、選択すること、選出すること、確立することなどを含むことができる。
本明細書で使用する、項目のリスト「少なくとも〜のうちの1つ」を指す句は、個々のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「すくなくともa、b、またはcのうちの1つ」は、a、b、c、a〜b、a〜c、b〜c、およびa〜b〜cをカバーするものとする。
上記の方法の様々な動作は、たとえば様々なハードウェアおよび/またはソフトウェア構成要素、回路および/またはモジュールなど、動作を実施することができる任意の好適な手段によって実施することができる。一般に、図に示される任意の動作は、動作を実施することができる対応する機能手段によって実施することができる。
本開示に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス(PLD)、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいはここで説明された機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体内に常駐することができる。使用され得る記憶媒体のいくつかの例には、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、フラッシュメモリ、EPROMメモリ、EEPROM(登録商標)メモリ、レジスタ、ハードディスク、取外し可能ディスク、CD−ROMなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。
本明細書で開示された方法は、記載の方法を達成するための1つまたは複数のステップまたはアクションを備える。方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されていない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく修正することができる。
説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線(IR)、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ここで使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体(たとえば、有形媒体)を備え得る。さらに、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体(たとえば、信号)を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実施するために1つまたは複数のプロセッサによって実行可能な命令を記憶(および/またはエンコード)するコンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
ソフトウェアまたは命令は、伝送媒体を介して送信することもできる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
さらに、本明細書で説明する方法および技法を実行するためのモジュールおよび/または他の適切な手段は、適用可能な場合、ユーザ端末および/または基地局によってダウンロードされ得、および/またはその他の方法で得られ得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明する方法を実施するための手段の転送を容易にするために、サーバに結合することができる。代わりに、本明細書で説明した様々な方法は、ユーザ端末および/または基地局が、記憶手段をデバイスに結合したすぐ後、または提供したすぐ後に、様々な方法を得ることができるように、記憶手段(たとえば、RAM、ROM、コンパクトディスク(CD)またはフロッピーディスクなどの物理的記憶媒体など)を介して提供することができる。さらに、本明細書で説明する方法および技法をデバイスに与えるための任意の他の適切な技法を利用することができる。
特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。上記の方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形を行うことができる。
上記は本開示の態様を対象とするが、本開示の他の態様は、それらの基本的な範囲から逸脱することなく考案することができ、それらの範囲は、特許請求の範囲によって決定される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
電気回路であり、以下を具備する、
複数の網膜神経節細胞(RGC)回路であり、ここにおいて前記RGC回路の各々が、出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成することと、
複数の1次視覚野細胞(V1)回路であり、ここにおいて前記V1回路の各々が、前記RGC回路のサブセットの重み付けされた出力の別の合計を生成することと、および
他の合計を生成するために前記出力に適用された重みを調整するように構成された回路、ここにおいて
前記重みのうちの1つの前記調整が、すくなくともその重みが適用される前記出力の1つまたは前記他の合計のうちの1つに基づく。
[C2]
C1に記載の電気回路において、その重みの前記調整が、その出力の符号および前記他の合計の符号に基づく、
上記電気回路。
[C3]
C1に記載の電気回路において、その重みの前記調整が、その出力の符号および前記他の合計の値に基づく、
上記電気回路。
[C4]
C1に記載の電気回路において、その出力および前記他の合計がどちらも正またはどちらも負である場合、その重みが増加し、
その出力の符号および前記他の合計の符号が同じではない場合、その重みが低減する、
上記電気回路。
[C5]
C1に記載の電気回路において、そのV1回路によって生成された前記他の合計が閾値を超える場合、そのV1回路が信号を出力する、
上記電気回路。
[C6]
C1に記載の電気回路において、前記回路が、バイナリシフト演算を実行することによって前記重みの各々を調整するように構成される、
上記電気回路。
[C7]
C1に記載の電気回路において、前記受容体回路からの前記入力が、ラプラシアン窓関数に従って重み付けされる、上記電気回路。
[C8]
神経システムを実装するための方法であって、以下を具備する、
前記神経システムにおける複数の網膜神経節細胞(RGC)回路の各RGC回路の出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成することと、
前記神経システムにおける複数の1次視覚野細胞(V1)回路の各V1回路によって、前記RGC回路のサブセットの重み付けされた出力の別の合計を生成することと、および
他の合計を生成するために前記出力に加えられた重みを調整すること、ここにおいて
前記重みのうちの1つの前記調整が、少なくともその重みが適用される前記出力の1つまたは前記他の合計のうちの1つに基づく。
[C9]
C8に記載の方法であって、その重みの前記調整が、その出力の符号および前記他の合計の符号に基づく、
上記方法。
[C10]
C8に記載の方法であって、その重みの前記調整が、その出力の符号および前記他の合計の値に基づく、
上記方法。
[C11]
C8に記載の方法であって、その出力と前記他の合計がどちらも正またはどちらも負である場合、その重みが増加し、
その出力の符号および前記他の合計の符号が同じではない場合、その重みが低減する
上記方法。
[C12]
C8に記載の方法であって、
そのV1回路によって生成された前記他の合計が閾値を超える場合、そのV1回路の出力で信号を生成することをさらに具備する。
[C13]
C8に記載の方法であって、前記重みの各々を調整することが、
バイナリシフト演算を実行することを具備する。
[C14]
C8に記載の方法であって、前記受容体回路からの前記入力が、ラプラシアン窓関数に従って重み付けされる、
上記方法。
[C15]
装置であって、以下を具備する、
前記装置における複数の網膜神経節細胞(RGC)回路の各RGC回路の出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成するための手段と、
前記装置における複数の1次視覚野細胞(V1)回路の各V1回路によって、前記RGC回路のサブセットの重み付けされた出力の別の合計を生成するための手段と、および
他の合計を生成するために前記出力に加えられた重みを調整手段、ここにおいて
前記重みのうちの1つの前記調整が、少なくともその重みが適用される前記出力の1つまたは前記他の合計のうちの1つに基づく。
[C16]
C15に記載の装置であって、その重みの前記調整が、その出力の符号および前記他の合計の符号に基づく、
上記装置。
[C17]
C15に記載の装置であって、その重みの前記調整が、その出力の符号および前記他の合計の値に基づく、
上記装置。
[C18]
C15に記載の装置であって、その出力と前記他の合計がどちらも正またはどちらも負である場合、その重みが増加し、
その出力の符号および前記他の合計の符号が同じではない場合、その重みが低減する
上記装置。
[C19]
C15に記載の装置であって、そのV1回路によって生成された前記他の合計が閾値を超える場合、そのV1回路の出力で信号を生成するための手段
をさらに具備する。
[C20]
C15に記載の装置であって、前記重みの各々を調整するための手段が、
バイナリシフト演算を実行するための手段
を具備する。
[C21]
C15に記載の装置であって、前記受容体回路からの前記入力が、ラプラシアン窓関数に従って重み付けされる、
上記装置。

Claims (10)

  1. 電気回路であり、前記電気回路は以下を具備する、
    複数の網膜神経節細胞(RGC)回路、ここにおいて前記RGC回路の各々が、出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成する、と、以下によって特徴付けられる、
    複数の1次視覚野細胞(V1)回路、ここにおいて前記V1回路の各々が、前記RGC回路のサブセットの重み付けされた出力の別の合計を生成する、と、
    前記別の合計を生成するために前記出力に適用された複数の重みを調整するように構成された回路
    ここにおいて、前記複数の重みの各々の前記調整が、各そのような重みが適用される前記出力のうちの1つの符号および前記の合計の符号または値に基づく。
  2. 請求項1に記載の電気回路において、
    その出力および前記他の合計がどちらも正またはどちらも負である場合、各そのような重みが増加し、
    その出力の符号および前記他の合計の符号が異なる場合、各そのような重みが低減する、
    上記電気回路。
  3. 請求項1に記載の電気回路において、そのV1回路によって生成された前記他の合計が閾値を超える場合、そのV1回路が信号を出力する、
    上記電気回路。
  4. 請求項1に記載の電気回路において、前記回路がまた、バイナリシフト演算を実行することによって前記複数の重みの各々を調整するように構成される、
    上記電気回路。
  5. 請求項1に記載の電気回路において、前記受容体回路からの前記入力が、ラプラシアン窓関数に従って重み付けされる、上記電気回路。
  6. 神経システムを実装するための方法であって、前記方法は以下を具備する、
    前記神経システムにおける複数の網膜神経節細胞(RGC)回路の各RGC回路の出力で、そのRGC回路に関連付けられた受容体回路からの重み付けされた入力の合計を生成することと、以下によって特徴付けられる、
    前記神経システムにおける複数の1次視覚野細胞(V1)回路の各V1回路によって、前記RGC回路のサブセットの重み付けされた出力の別の合計を生成することと、
    前記別の合計を生成するために前記出力に適用された複数の重みを調整すること
    ここにおいて、前記複数の重みの各々の前記調整が、各そのような重みが適用される前記出力のうちの1つの符号および前記の合計の符号または値に基づく。
  7. 請求項に記載の方法であって、
    その出力および前記他の合計がどちらも正またはどちらも負である場合、各そのような重みが増加し、
    その出力の符号および前記他の合計の符号が異なる場合、各そのような重みが低減する
    上記方法。
  8. 請求項に記載の方法であって、
    そのV1回路によって生成された前記他の合計が閾値を超える場合、そのV1回路の出力で信号を生成することをさらに具備する。
  9. 請求項に記載の方法であって、前記複数の重みの各々を調整することが、
    バイナリシフト演算を実行することを具備する。
  10. 請求項に記載の方法であって、前記受容体回路からの前記入力が、ラプラシアン窓関数に従って重み付けされる、
    上記方法。
JP2016035857A 2011-05-25 2016-02-26 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 Active JP6117392B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/115,154 US8583577B2 (en) 2011-05-25 2011-05-25 Method and apparatus for unsupervised training of input synapses of primary visual cortex simple cells and other neural circuits
US13/115,154 2011-05-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014512164A Division JP6113719B2 (ja) 2011-05-25 2012-05-25 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置

Publications (3)

Publication Number Publication Date
JP2016139420A JP2016139420A (ja) 2016-08-04
JP2016139420A5 JP2016139420A5 (ja) 2017-02-09
JP6117392B2 true JP6117392B2 (ja) 2017-04-19

Family

ID=46208849

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014512164A Active JP6113719B2 (ja) 2011-05-25 2012-05-25 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置
JP2016035857A Active JP6117392B2 (ja) 2011-05-25 2016-02-26 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014512164A Active JP6113719B2 (ja) 2011-05-25 2012-05-25 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置

Country Status (6)

Country Link
US (1) US8583577B2 (ja)
EP (1) EP2715620B1 (ja)
JP (2) JP6113719B2 (ja)
KR (1) KR101549767B1 (ja)
CN (1) CN103548042B (ja)
WO (1) WO2012162663A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018025116A1 (en) * 2016-08-03 2018-02-08 Semiconductor Energy Laboratory Co., Ltd. Imaging device, imaging module, electronic device, and imaging system
US11250316B2 (en) 2018-08-10 2022-02-15 International Business Machines Corporation Aggregate adjustments in a cross bar neural network
CN113160027A (zh) * 2020-01-23 2021-07-23 华为技术有限公司 一种图像处理模型训练方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2900427B2 (ja) * 1989-09-18 1999-06-02 富士通株式会社 ニューラルネット
US5329610A (en) * 1992-05-19 1994-07-12 Intel Corporation Neural network employing absolute value calculating synapse
US5473730A (en) 1993-11-09 1995-12-05 At&T Ipm Corp. High efficiency learning network
US7769513B2 (en) * 2002-09-03 2010-08-03 Automotive Technologies International, Inc. Image processing for vehicular applications applying edge detection technique
US5771312A (en) * 1996-07-01 1998-06-23 Ramot University Authority For Applied Research & Industrial Development Ltd. Method for automatic partial white balance correction
GB9902115D0 (en) * 1999-02-01 1999-03-24 Axeon Limited Neural networks
US6912307B2 (en) * 2001-02-07 2005-06-28 Ramot Fyt Tel Aviv University Ltd. Method for automatic color and intensity contrast adjustment of still and video images
US7711663B2 (en) * 2006-03-27 2010-05-04 Board Of Trustees Of Michigan State University Multi-layer development network having in-place learning
GB2453263A (en) * 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US9443141B2 (en) * 2008-06-02 2016-09-13 New York University Method, system, and computer-accessible medium for classification of at least one ICTAL state
US9129220B2 (en) * 2010-07-07 2015-09-08 Qualcomm Incorporated Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP
US9092736B2 (en) * 2010-07-07 2015-07-28 Qualcomm Incorporated Communication and synapse training method and hardware for biologically inspired networks
US8892485B2 (en) * 2010-07-08 2014-11-18 Qualcomm Incorporated Methods and systems for neural processor training by encouragement of correct output
US9129222B2 (en) * 2011-06-22 2015-09-08 Qualcomm Incorporated Method and apparatus for a local competitive learning rule that leads to sparse connectivity

Also Published As

Publication number Publication date
JP2014517973A (ja) 2014-07-24
JP6113719B2 (ja) 2017-04-12
KR101549767B1 (ko) 2015-09-02
EP2715620A1 (en) 2014-04-09
KR20140027415A (ko) 2014-03-06
EP2715620B1 (en) 2016-12-14
JP2016139420A (ja) 2016-08-04
US8583577B2 (en) 2013-11-12
US20120303566A1 (en) 2012-11-29
WO2012162663A1 (en) 2012-11-29
CN103548042A (zh) 2014-01-29
CN103548042B (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
US8892485B2 (en) Methods and systems for neural processor training by encouragement of correct output
JP2017509951A (ja) スパースニューラルネットワークを構成すること
JP2017515189A (ja) 写真管理
EP3121767A1 (en) Methods and systems for implementing deep spiking neural networks
JP6092477B2 (ja) ニューラルダイナミクスを修正するための自動化された方法
JP2017531240A (ja) データのナレッジグラフバイアス分類
JP2017525038A (ja) ニューラルネットワークにおける畳込み演算の分解
JP2017514215A (ja) スパイキングニューラルネットワークを使用する画像の不変オブジェクト表現
JP2017515205A (ja) Coldニューロンスパイクタイミングバックプロバゲーション
JP2017513127A (ja) スパイキング深層信念ネットワーク(dbn)におけるトレーニング、認識、および生成
JP2017511936A (ja) 現在の計算リソースへのニューラルネットワーク適応
JP2017509952A (ja) シャドウネットワークでニューラルネットワークを監視すること
JP2017516192A (ja) ニューラルネットワークにおける差分符号化
JP6117392B2 (ja) 1次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置
US20200257973A1 (en) Inference method and device using spiking neural network
JP2017519268A (ja) スパイキングニューラルネットワークにおけるグローバルスカラ値によって可塑性を調節すること
JP6133517B2 (ja) 座標変換のための位相コーディング
JP6219509B2 (ja) シナプス遅延を動的に割り当てることおおよび検査すること
JP6193509B2 (ja) 可塑性シナプス管理
JP6096388B2 (ja) ニューラルネットワークモデルにおけるドップラー効果処理
CA2898216C (en) Methods and systems for implementing deep spiking neural networks
US8843426B2 (en) Method and apparatus of primary visual cortex simple cell training and operation
Liu Deep spiking neural networks
Meyer et al. Verilog-A model of ferroelectric memristors dedicated to neuromorphic design
Vaila et al. Spiking CNNs with PYNN and NEURON

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161219

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161219

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170322

R150 Certificate of patent or registration of utility model

Ref document number: 6117392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250