JP6130056B2 - スパイキングネットワークの効率的なハードウェア実装 - Google Patents

スパイキングネットワークの効率的なハードウェア実装 Download PDF

Info

Publication number
JP6130056B2
JP6130056B2 JP2016515029A JP2016515029A JP6130056B2 JP 6130056 B2 JP6130056 B2 JP 6130056B2 JP 2016515029 A JP2016515029 A JP 2016515029A JP 2016515029 A JP2016515029 A JP 2016515029A JP 6130056 B2 JP6130056 B2 JP 6130056B2
Authority
JP
Japan
Prior art keywords
neuron
memory
artificial
processing unit
synaptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016515029A
Other languages
English (en)
Other versions
JP2016522495A5 (ja
JP2016522495A (ja
Inventor
レビン、ジェフリー・アレキサンダー
ランガン、ベンカト
マロン、エリック・クリストファー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016522495A publication Critical patent/JP2016522495A/ja
Publication of JP2016522495A5 publication Critical patent/JP2016522495A5/ja
Application granted granted Critical
Publication of JP6130056B2 publication Critical patent/JP6130056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Stored Programmes (AREA)

Description

米国特許法第１１９条による優先権の主張
[0001]本出願は、２０１３年５月２１日に出願された「Ｓｐｉｋｅ Ｔｉｍｅ Ｗｉｎｄｏｗｉｎｇ ｆｏｒ Ｉｍｐｌｅｍｅｎｔｉｎｇ Ｓｐｉｋｅ−Ｔｉｍｉｎｇ Ｄｅｐｅｎｄｅｎｔ Ｐｌａｓｔｉｃｉｔｙ（ＳＴＤＰ）」と題する米国仮特許出願第６１／８２５，６５７号、２０１３年８月６日に出願された「Ｓｐｉｋｅ Ｔｉｍｅ Ｗｉｎｄｏｗｉｎｇ ｆｏｒ Ｉｍｐｌｅｍｅｎｔｉｎｇ Ｓｐｉｋｅ−Ｔｉｍｉｎｇ Ｄｅｐｅｎｄｅｎｔ Ｐｌａｓｔｉｃｉｔｙ（ＳＴＤＰ）」と題する米国仮特許出願第６１／８６２，７１４号、２０１３年８月６日に出願された「Ｃｏｍｐｕｔｅｄ Ｓｙｎａｐｓｅｓ ｆｏｒ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｓｙｓｔｅｍｓ」と題する米国仮特許出願第６１／８６２，７４１号、２０１３年８月６日に出願された「Ｉｍｐｌｅｍｅｎｔｉｎｇ Ｄｅｌａｙｓ ｂｅｔｗｅｅｎ Ｎｅｕｒｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｒｖｏｕｓ Ｓｙｓｔｅｍ」と題する米国仮特許出願第６１／８６２，７３４号、２０１４年１月２８日に出願された「Ｅｆｆｉｃｉｅｎｔ Ｈａｒｄｗａｒｅ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ Ｓｐｉｋｉｎｇ Ｎｅｔｗｏｒｋｓ」と題する米国仮特許出願第６１／９３２，３６４号の利益を主張し、これらの各々は、参照により全体が本明細書に組み込まれる。
[0002]本開示のいくつかの態様は、一般に人工神経システムに関し、より詳細には、スパイキングニューラルネットワークの効率的なハードウェア実装のための方法および装置に関する。
[0003]人工ニューロン（すなわち、ニューラル処理ユニット）の相互結合されたグループを備え得る人工ニューラルネットワークは、計算デバイスであるか、または計算デバイスによって実行される方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および／または機能を有し得る。しかしながら、人工ニューラルネットワークは、従来の計算技法が厄介、実行不可能または不適切であるいくつかの適用例に革新的で有用な計算技法を提供することができる。人工ニューラルネットワークが観測から機能を推論することができるので、そのようなネットワークは、タスクまたはデータの複雑さが従来の技法による機能の設計を面倒にする適用例において、特に有用である。
[0004]１つのタイプの人工ニューラルネットワークはスパイキングニューラルネットワークであり、これは、それの動作モデルならびにニューロンおよびシナプスの状態に時間の概念を組み込み、それによって、ニューラルネットワークにおける計算機能の発生元となり得る挙動の豊かなセットを提供する。スパイキングニューラルネットワークは、ニューロンがニューロンの状態に基づいて特定の（１つまたは複数の）時間に発火する、または「スパイクする」という概念、および時間がニューロン機能にとって重要であるという概念に基づく。ニューロンが発火するとき、そのニューロンは、他のニューロンに進むスパイクを生成し、他のニューロンは、今度は、このスパイクが受信された時間に基づいてそれらの状態を調整することができる。言い換えれば、ニューラルネットワークにおけるスパイクの相対的タイミングまたは絶対的タイミングで情報が符号化され得る。
[0005]本開示のいくつかの態様は、複数の人工ニューロンを伴う人工神経システム動作のための方法を提供する。本方法は一般に、人工ニューロンの状態を更新するために人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させること、ここにおいて、人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするためにスーパーニューロン処理ユニットをメモリとインターフェースすること、ここにおいて、メモリの構成が連続メモリアクセスを可能にする、とを含む。
[0006]本開示のいくつかの態様は、人工神経システムを動作させるための装置を提供する。本装置は一般に、人工ニューロンの状態を更新するために人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させるように構成された第１の回路、ここにおいて、人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするためにスーパーニューロン処理ユニットをメモリとインターフェースするように構成された第２の回路、ここにおいて、メモリの構成が連続メモリアクセスを可能にする、と、を含む。
[0007]本開示のいくつかの態様は、人工神経システムを動作させるための装置を提供する。本装置は一般に、人工ニューロンの状態を更新するために人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させるための手段、ここにおいて、人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするためにスーパーニューロン処理ユニットをメモリとインターフェースするための手段、ここにおいて、メモリの構成が連続メモリアクセスを可能にする、と、を含む。
[0008]本開示のいくつかの態様は、人工神経システムを動作させるためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は一般に、人工ニューロンの状態を更新するために人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させること、ここにおいて、人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするためにスーパーニューロン処理ユニットをメモリとインターフェースすること、ここにおいて、メモリの構成が連続メモリアクセスを可能にする、と、を行うように実行可能な命令を有する非一時的コンピュータ可読媒体（たとえば、記憶デバイス）含む。
[0009]本開示の上述の特徴が詳細に理解され得るように、添付の図面にその一部が示される態様を参照することによって、上記で簡単に要約された内容のより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、本開示の範囲を限定するものと見なされるべきではないことに留意されたい。
[0010]本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。 [0011]本開示のいくつかの態様による、計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）の例示的な処理ユニット（ニューロン）を示す図。 [0012]本開示のいくつかの態様による例示的なスパイクタイミング依存可塑性（ＳＴＤＰ）曲線を示す図。 [0013]本開示のいくつかの態様による、ニューロンの挙動を定義するための正レジームと負レジームとを示す、人工ニューロンに関する状態の例示的なグラフ。 [0014]本開示のいくつかの態様による、人工神経システムの例示的なハードウェア実装形態を示す図。 [0015]本開示のいくつかの態様による、人工神経システムを動作させるための例示的な動作の流れ図。 [0016]図６に示す動作を実行することが可能な例示的な手段を示す図。 [0017]本開示のいくつかの態様による、汎用プロセッサを使用して人工神経システムを動作させるための例示的な実装形態を示す図。 [0018]本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得る人工神経システムを動作させるための例示的な実装形態を示す図。 [0019]本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づいて人工神経システムを動作させるための例示的な実装形態を示す図。 [0020]本開示のいくつかの態様による、ニューラルネットワークの例示的な実装形態を示す図。
[0021]添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。
[0022]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。
[0023]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
例示的なニューラルシステム
[0024]図１は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的なニューラルシステム１００を示す。ニューラルシステム１００は、シナプス結合のネットワーク１０４（すなわち、フィードフォワード結合）を介してニューロンの別のレベル１０６に結合されたニューロンのあるレベル１０２を備え得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、典型的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じ層の他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前の層のニューロンに戻る形で結合し得る。
[0025]図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１に図示せず）の複数のニューロンによって生成され得る入力信号１０８を受信し得る。信号１０８は、レベル１０２のニューロンへの入力（たとえば、入力電流）を表し得る。そのような入力は、膜電位を充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル（たとえば、レベル１０６）に転送されるべき出力スパイクを生成し得る。そのような挙動は、アナログおよびデジタル実装形態を含むハードウェアおよび／またはソフトウェアでエミュレートまたはシミュレートされ得る。
[0026]生物学的ニューロンでは、ニューロンが発火するときに生成される出力スパイクは、活動電位と呼ばれる。電気信号は、約１００ｍＶの振幅と約１ｍｓの持続時間とを有する比較的急速で、一時的で、一か零かの神経インパルスである。一連の結合されたニューロンを有するニューラルシステムの特定の態様（たとえば、図１におけるあるレベルのニューロンから別のレベルのニューロンへのスパイクの転送）では、あらゆる活動電位が基本的に同じ振幅と持続時間とを有するので、信号における情報は、振幅によってではなく、スパイクの周波数および数（またはスパイクの時間）によってのみ表される。活動電位によって搬送される情報は、スパイク、スパイクしたニューロン、および１つまたは複数の他のスパイクに対するスパイクの時間によって決定される。
[0027]図１に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合（または単に「シナプス」）のネットワーク１０４によって達成され得る。シナプス１０４は、レベル１０２のニューロン（シナプス１０４に対するシナプス前ニューロン（pre-synaptic newurons））から出力信号（すなわち、スパイク）を受信し得る。いくつかの態様では、これらの信号は、調整可能なシナプス重み
Figure 0006130056
 （ここでＰは、レベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数である）に従ってスケーリングされ得る。他の態様では、シナプス１０４は、いかなるシナプス重みをも適用しないことがある。さらに、（スケーリングされた）信号は、レベル１０６における各ニューロン（シナプス１０４に対するシナプス後ニューロン（post-synaptic neurons））の入力信号として合成され得る。レベル１０６におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、次いで、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに転送され得る。
[0028]生物学的シナプスは、電気シナプスまたは化学シナプスのいずれに分類され得る。電気シナプスは、興奮性信号を送るために主に使用される一方、化学シナプスは、シナプス後ニューロンにおける興奮性活動または抑制性（過分極化）活動のいずれかを調停することができ、ニューロン信号を増幅する役目を果たすこともできる。興奮性信号は通常、膜電位を脱分極する（すなわち、静止電位に対して膜電位を増加させる）。しきい値を超えて膜電位を脱分極するために十分な興奮性信号が一定期間内に受信された場合、シナプス後ニューロンに活動電位が生じる。対照的に、抑制性信号は一般に、膜電位を過分極する（すなわち、低下させる）。抑制性信号は、十分に強い場合、興奮性信号のすべてを相殺し、膜電位がしきい値に達するのを防止することができる。シナプス興奮を相殺することに加えて、シナプス抑制は、自然に活発なニューロンに対して強力な制御を行うことができる。自然に活発なニューロンは、たとえば、それのダイナミクスまたはフィードバックに起因するさらなる入力なしにスパイクするニューロンを指す。これらのニューロンにおける活動電位の自然な生成を抑圧することによって、シナプス抑制は、ニューロンの発火のパターンを形成することができ、それは一般にスカルプチャリング（sculpturing）と呼ばれる。様々なシナプス１０４は、望まれる挙動に応じて、興奮性シナプスまたは抑制性シナプスの任意の組合せとして働き得る。
[0029]ニューラルシステム１００は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、プロセッサによって実行されるソフトウェアモジュール、またはそれらの任意の組合せによってエミュレートされ得る。ニューラルシステム１００は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。ニューラルシステム１００における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
[0030]一態様では、ニューロン回路の電流積分デバイスとしてのキャパシタは除去され得、その代わりにより小さいメモリスタ（memristor）要素が使用され得る。この手法は、ニューロン回路において、かさばるキャパシタが電流積分器として利用される様々な他の適用例と同様に適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプス重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、非常に大規模なニューラルシステムハードウェア実装形態の実装が実用的になり得る。
[0031]ニューラルシステム１００をエミュレートするニューラルプロセッサの機能は、シナプス結合の重みに依存し得、それはニューロン間の結合の強さを制御し得る。シナプス重みは、パワーダウン後にプロセッサの機能を維持するために、不揮発性メモリに記憶され得る。一態様では、シナプス重みメモリは、主たるニューラルプロセッサチップとは別個の外部チップ上に実装され得る。シナプス重みメモリは、交換可能メモリカードとしてニューラルプロセッサチップとは別個にパッケージ化され得る。これは、ニューラルプロセッサに多様な機能を提供することができ、特定の機能は、ニューラルプロセッサに現在取り付けられているメモリカードに記憶されたシナプス重みに基づき得る。
[0032]図２は、本開示のいくつかの態様による、計算ネットワーク（たとえば、ニューラルシステムまたはニューラルネットワーク）の処理ユニット（たとえば、人工ニューロン２０２）の一例２００を示す。たとえば、ニューロン２０２は、図１のレベル１０２のニューロンおよび１０６のニューロンのうちのいずれかに対応し得る。ニューロン２０２は、複数の入力信号２０４1〜２０４N（ｘ1〜ｘN）を受信し得、それらは、ニューラルシステムの外部にある信号、または同じニューラルシステムの他のニューロンによって生成された信号、またはその両方であり得る。入力信号は、電流または電圧、実数値または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み２０６1〜２０６N（ｗ1〜ｗN）に従って信号をスケーリングするシナプス結合を通してニューロン２０２に伝えられ得、Ｎはニューロン２０２の入力接続の総数であり得る。
[0033]ニューロン２０２は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号２０８（すなわち、信号ｙ）を生成し得る。出力信号２０８は、電流または電圧、実数値または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。出力信号２０８は、次いで、同じニューラルシステムの他のニューロンへの入力信号として、または同じニューロン２０２への入力信号として、またはニューラルシステムの出力として伝達され得る。
[0034]処理ユニット（ニューロン２０２）は電気回路によってエミュレートされ得、それの入力接続および出力接続は、シナプス回路をもつ配線によってエミュレートされ得る。処理ユニット、それの入力接続および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニットはまた、電気回路によってエミュレートされ得るが、それの入力接続および出力接続はソフトウェアコードによってエミュレートされ得る。一態様では、計算ネットワーク中の処理ユニットはアナログ電気回路を備え得る。別の態様では、処理ユニットはデジタル電気回路を備え得る。さらに別の態様では、処理ユニットは、アナログ構成要素とデジタル構成要素の両方をもつ混合信号電気回路を備え得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを備え得る。そのような処理ユニットを使用した計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。
[0035]ニューラルネットワークをトレーニングする過程で、シナプス重み（たとえば、図１の重み
Figure 0006130056
 および／または図２の重み２０６1〜２０６N）がランダム値により初期化され得、学習ルールに従って増加または減少し得る。学習ルールのいくつかの例として、スパイクタイミング依存可塑性（ＳＴＤＰ）学習ルール、Ｈｅｂｂ則、Ｏｊａ則、Ｂｉｅｎｅｎｓｔｏｃｋ−Ｃｏｐｐｅｒ−Ｍｕｎｒｏ（ＢＣＭ）則などがある。非常に多くの場合、重みは、２つの値のうちの１つに安定し得る（すなわち、重みの双峰分布）。この効果が利用されて、シナプス重み当たりのビット数を低減し、シナプス重みを記憶するメモリとの間の読取りおよび書込みの速度を上げ、シナプスメモリの電力消費量を低減し得る。
シナプスタイプ
[0036]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス（non-plastic synapse）（重みおよび遅延の変化がない）と、可塑性シナプス（重みが変化し得る）と、構造遅延可塑性シナプス（重みおよび遅延が変化し得る）と、完全可塑性シナプス（重み、遅延および結合性が変化し得る）と、それの変形（たとえば、遅延は変化し得るが、重みまたは結合性の変化はない）とを備え得る。これの利点は、処理が再分割（subdivide）され得ることである。たとえば、非塑性シナプスは、可塑性機能を実行すること（またはそのような機能が完了するのを待つこと）を必要とし得ない。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプの関係するテーブルにアクセスすることになる。
[0037]また、スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意がある。構造可塑性（すなわち、遅延量の変化）は前後スパイク時間差（pre-post spike time difference）の直接の関数であり得るので、構造可塑性は、重みの大きさに変化がない場合（たとえば、重みが最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合）でも実行され得る。代替的に、それは、重み変化量に応じて、または重みもしくは重み変化の限界に関係する条件に基づいて設定され得る。たとえば、重み変化が生じたとき、または重みが最大限に達するのではなく、重みがゼロに達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。
シナプス可塑性の決定
[0038]神経可塑性（または単に「可塑性」）は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。（たとえば、Ｈｅｂｂ則理論による）シナプス可塑性、スパイクタイミング依存可塑性（ＳＴＤＰ）、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
[0039]ＳＴＤＰは、脳内の場合のようなニューロン間のシナプス結合の強さを調整する学習プロセスである。結合強度は、特定のニューロンの出力スパイクおよび受信入力スパイク（すなわち、活動電位）の相対的タイミングに基づいて調整される。ＳＴＤＰプロセスの下で、あるニューロンに対する入力スパイクが、平均して、そのニューロンの出力スパイクの直前に生じる傾向がある場合、長期増強（ＬＴＰ）が生じ得る。その場合、その特定の入力はいくらか強くなる。対照的に、入力スパイクが、平均して、出力スパイクの直後に生じる傾向がある場合、長期抑圧（ＬＴＤ）が生じ得る。その場合、その特定の入力はいくらか弱くなるので、「スパイクタイミング依存可塑性」と呼ばれる。したがって、シナプス後ニューロンの興奮の原因であり得る入力は、将来的に寄与する可能性がさらに高くなる一方、シナプス後スパイクの原因ではない入力は、将来的に寄与する可能性が低くなる。結合の初期セットのサブセットが残る一方で、その他の部分の影響がゼロまたはゼロの近くまで低減されるまで、このプロセスは続く。
[0040]ニューロンは、一般に、入力の多くが短い期間内に生じる（すなわち、出力をもたらすのに十分に累積している）ときに出力スパイクを生成するので、通常残っている入力のサブセットは、時間的に相関する傾向のあった入力を含む。さらに、出力スパイクの前に生じる入力は強化されるので、最も早い十分に累積的な相関の示度を与える入力は結局、ニューロンへの最終入力となる。
[0041]ＳＴＤＰ学習ルールは、シナプス前ニューロンのスパイク時間ｔpreとシナプス後ニューロンのスパイク時間ｔpostとの間の時間差（すなわち、ｔ＝ｔpost−ｔpre）の関数として、シナプス前ニューロンをシナプス後ニューロンに結合するシナプスのシナプス重みを効果的に適合させ得る。ＳＴＤＰの通常の公式化は、時間差が正である（シナプス前ニューロンがシナプス後ニューロンの前に発火する）場合にシナプス重みを増加させ（すなわち、シナプスを増強し）、時間差が負である（シナプス後ニューロンがシナプス前ニューロンの前に発火する）場合にシナプス重みを減少させる（すなわち、シナプスを抑制する）ことである。
[0042]ＳＴＤＰプロセスでは、経時的なシナプス重みの変化は通常、指数関数的減衰を使用して達成され得、以下のように与えられる。
Figure 0006130056
 ここで、ｋ+およびｋ-はそれぞれ、正の時間差および負の時間差の時間定数であり、ａ+およびａ-は対応するスケーリングの大きさであり、μは正の時間差および／または負の時間差に適用され得るオフセットである。
[0043]図３は、ＳＴＤＰによる、シナプス前スパイクおよびシナプス後スパイクの相対的タイミングの関数としてのシナプス重み変化の例示的なグラフ３００を示す。シナプス前ニューロンがシナプス後ニューロンの前に発火する場合、グラフ３００の部分３０２に示すように、対応するシナプス重みは増加し得る。この重み増加は、シナプスのＬＴＰと呼ばれ得る。グラフ部分３０２から、シナプス前スパイク時間とシナプス後スパイク時間との間の時間差に応じて、ＬＴＰの量がほぼ指数関数的に減少し得ることが観測され得る。グラフ３００の部分３０４に示すように、発火の逆の順序は、シナプス重みを減少させ、シナプスのＬＴＤをもたらし得る。
[0044]図３のグラフ３００に示すように、ＳＴＤＰグラフのＬＴＰ（原因）部分３０２に負のオフセットμが適用され得る。ｘ軸の交差３０６のポイント（ｙ＝０）は、層ｉ−１（シナプス前層）からの原因入力の相関を考慮して、最大タイムラグと一致するように構成され得る。フレームベースの入力（すなわち、入力は、スパイクまたはパルスを備える特定の持続時間のフレーム（frame）の形をとる）の場合、オフセット値μは、フレームの境界を反映するように計算され得る。直接的にシナプス後電位によってモデル化されるように、またはニューラル状態に対する影響の点で、フレームにおける第１の入力スパイク（パルス）が経時的に減衰することが考慮され得る。フレームにおける第２の入力スパイク（パルス）が特定の時間フレームの相関したまたは関連したものと考えられる場合、フレームの前および後の関連する時間は、その時間フレームの境界で分離され、関連する時間の値が異なり得る（たとえば、１つのフレームよりも大きい場合は負、１つのフレームよりも小さい場合は正）ように、ＳＴＤＰ曲線の１つまたは複数の部分をオフセットすることによって、可塑性の点で別様に扱われ得る。たとえば、曲線が、フレーム時間よりも大きい前後の時間で実際にゼロよりも下になり、結果的にＬＴＰの代わりにＬＴＤの一部であるようにＬＴＰをオフセットするために負のオフセットμが設定され得る。
ニューロンモデルおよび演算
[0045]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、２つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための２つの要素を有する必要がある。すなわち、入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最後に、計算上魅力的であるために、良いニューロンモデルは、連続時間において閉形式解を有し得、ニアアトラクター（near attractor）と鞍点とを含む安定した挙動を有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
[0046]ニューロンモデルは事象、たとえば入力の到着、出力スパイク、または内部的であるか外部的であるかを問わず他の事象に依存し得る。豊かな挙動レパートリーを実現するために、複雑な挙動を示すことができる状態機械が望まれ得る。入力寄与（ある場合）とは別個の事象の発生自体が状態機械に影響を与え、事象の後のダイナミクスを制限し得る場合、システムの将来の状態は、単なる状態および入力の関数ではなく、むしろ状態、事象および入力の関数である。
[0047]一態様では、ニューロンｎは、下記のダイナミクスによって決定される膜電圧ｖn（ｔ）についてのスパイキングリーキー積分発火ニューロン（spiking leaky-integrate-and-fire neuron）としてモデル化され得る。
Figure 0006130056
 ここでαおよびβはパラメータであり、ｗm,nは、シナプス前ニューロンｍをシナプス後ニューロンｎに結合するシナプスのシナプス重みであり、ｙm（ｔ）は、ニューロンｎの細胞体に到着するまでΔｔm,nに従って樹状遅延または軸索遅延によって遅延し得るニューロンｍのスパイキング出力である。
[0048]シナプス後ニューロンへの十分な入力が達成された時間からシナプス後ニューロンが実際に発火する時間までの遅延があることに留意されたい。イジケヴィッチの単純モデル（Izhikevich's simple model）など、動的スパイキングニューロンモデルでは、脱分極しきい値ｖtとピークスパイク電圧ｖpeakとの間に差がある場合、時間遅延が生じ得る。たとえば、単純モデルでは、電圧および復元に関する１対の微分方程式、すなわち、
Figure 0006130056
Figure 0006130056
 によってニューロン細胞体ダイナミクス（neuron soma dynamics）が決定され得る。ここでｖは膜電位であり、ｕは、膜復元変数であり、ｋは、膜電位ｖの時間スケールを記述するパラメータであり、ａは、復元変数ｕの時間スケールを記述するパラメータであり、ｂは、膜電位ｖの閾値下（sub-threshold）変動に対する復元変数ｕの感度を記述するパラメータであり、ｖrは、膜静止電位であり、Ｉは、シナプス電流であり、Ｃは、膜のキャパシタンスである。このモデルによれば、ニューロンはｖ＞ｖpeakのときにスパイクすると定義される。
Ｈｕｎｚｉｎｇｅｒ Ｃｏｌｄモデル
[0049]Ｈｕｎｚｉｎｇｅｒ Ｃｏｌｄニューロンモデルは、豊かな様々な神経挙動を再生し得るミニマル・デュアルレジーム・スパイキング線形動的モデル（minimal dual-regime spiking linear dynamical model）である。モデルの１次元または２次元の線形ダイナミクスは２つのレジームを有することができ、ここで、時間定数（および結合）はレジームに依存し得る。閾値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。閾値上（supra-threshold）レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。
[0050]図４に示すように、モデルのダイナミクスは２つの（またはそれよりも多くの）レジームに分割され得る。これらのレジームは、負レジーム４０２（リーキー積分発火（ＬＩＦ）ニューロンモデルと混同されないように互換的にＬＩＦレジームとも呼ばれる）および正レジーム４０４（反リーキー積分発火（ＡＬＩＦ）ニューロンモデルと混同されないように互換的にＡＬＩＦレジームとも呼ばれる）と呼ばれ得る。負レジーム４０２では、状態は将来の事象の時点において静止（ｖ-）である傾向がある。この負レジームでは、モデルは一般に、時間的入力検出特性と他の閾値下の挙動とを示す。正レジーム４０４では、状態はスパイキング事象（ｖs）である傾向がある。この正レジームでは、モデルは、後続の入力事象に応じてスパイクにレイテンシを生じさせるなどの計算特性を示す。事象の点からのダイナミクスの公式化およびこれら２つのレジームへのダイナミクスの分離は、モデルの基本的特性である。
[0051]線形デュアルレジーム２次元ダイナミクス（状態ｖおよびｕの場合）は、慣例により次のように定義され得る。
Figure 0006130056
Figure 0006130056
 ここでｑρおよびｒは、結合のための線形変換変数である。
[0052]シンボルρは、ダイナミクスレジームを示すためにここで使用され、特定のレジームの関係を論述または表現するときに、それぞれ負レジームおよび正レジームについて符号「−」または「＋」にシンボルρを置き換える慣例がある。
[0053]モデル状態は、膜電位（電圧）ｖおよび復元電流ｕによって定義される。基本形態では、レジームは基本的にモデル状態によって決定される。正確で一般的な定義の微妙だが重要な側面があるが、差し当たり、モデルが、電圧ｖがしきい値（ｖ+）を上回る場合に正レジーム４０４にあり、そうでない場合に負レジーム４０２にあると考える。
[0054]レジーム依存時間定数は、負レジーム時間定数であるτ-と正レジーム時間定数であるτ+とを含む。復元電流時間定数τuは通常、レジームから独立している。便宜上、τuと同様に、指数およびτ+が一般に正となる正レジームの場合に、電圧発展（voltage evolution）に関する同じ表現が使用され得るように、減衰を反映するために負の量として負レジーム時間定数τ-が一般に指定される。
[0055]２つの状態要素のダイナミクスは、事象において、ヌルクライン（null-cline）から状態をオフセットする変換によって結合され得、ここで変換変数は、
Figure 0006130056
Figure 0006130056
 であり、δ、ε、βおよびｖ-、ｖ+はパラメータである。ｖρのための２つの値は、２つのレジームのための参照電圧のベースである。パラメータｖ-は、負レジームのためのベース電圧であり、膜電位は一般に、負レジームにおいてｖ-に向かって減衰することになる。パラメータｖ+は、正レジームのためのベース電圧であり、膜電位は一般に、正レジームにおいてｖ+から離れる傾向となる。
[0056]ｖおよびｕのためのヌルクラインは、それぞれ変換変数ｑρおよびｒの負によって与えられる。パラメータδは，ｕヌルクラインの傾きを制御するスケール係数である。パラメータεは通常、−ｖ-に等しく設定される。パラメータβは、両方のレジームにおいてｖヌルクラインの傾きを制御する抵抗値である。τρ時間定数パラメータは、指数関数的減衰だけでなく、各レジームにおいて別個にヌルクラインの傾きを制御する。
[0057]モデルは、電圧ｖが値ｖsに達したときにスパイクするように定義される。続いて、状態は通常、（技術的に、スパイク事象と同じ１つのものであり得る）リセット事象でリセットされる。
Figure 0006130056
Figure 0006130056
 ここで、
Figure 0006130056
 およびΔｕはパラメータである。リセット電圧
Figure 0006130056
 は通常、ｖ-にセットされる。
[0058]瞬時結合の原理によって、状態について（また、単一の指数項による）だけではなく、特定の状態に到達するために必要とされる時間についても、閉形式解が可能である。閉形式状態解は、次のとおりである。
Figure 0006130056
Figure 0006130056
[0059]したがって、モデル状態は、入力（シナプス前スパイク）または出力（シナプス後スパイク）などの事象に伴ってのみ更新され得る。また、演算が（入力があるか、出力があるかを問わず）任意の特定の時間に実行され得る。
[0060]その上、瞬時結合原理によって、反復的技法または数値解法（たとえば、オイラー数値解法）なしに、特定の状態に到達する時間が事前に決定され得るように、シナプス後スパイクの時間が予想され得る。前の電圧状態ｖ0を踏まえ、電圧状態ｖfに到達するまでの時間遅延は、次の式によって与えられる。
Figure 0006130056
[0061]スパイクが、電圧状態ｖがｖsに到達する時間に生じると定義される場合、電圧が所与の状態ｖにある時間から測定されたスパイクが生じるまでの時間量、または相対的遅延に関する閉形式解は、次のとおりである。
Figure 0006130056
 ここで、
Figure 0006130056
 は通常、パラメータｖ+にセットされるが、他の変形も可能であり得る。
[0062]モデルダイナミクスの上記の定義は、モデルが正レジームにあるか、それとも負レジームにあるかに依存する。上述のように、結合およびレジームρは、事象に伴って計算され得る。状態の伝搬のために、レジームおよび結合（変換）変数は、最後の（前の）事象の時間における状態に基づいて定義され得る。続いてスパイク出力時間を予想するために、レジームおよび結合変数は、次の（最新の）事象の時間における状態に基づいて定義され得る。
[0063]Ｃｏｌｄモデルの、適時にシミュレーション、エミュレーションまたはモデルを実行するいくつかの可能な実装形態がある。これは、たとえば、事象更新モード、ステップ事象更新モード、およびステップ更新モードを含む。事象更新は、（特定の瞬間における）事象または「事象更新」に基づいて状態が更新される更新である。ステップ更新は、間隔（たとえば、１ｍｓ）をおいてモデルが更新される更新である。これは必ずしも、反復的技法または数値解法を必要とするとは限らない。また、事象がステップもしくはステップ間で生じる場合または「ステップ事象」更新によってモデルを更新するのみによって、ステップベースのシミュレータにおいて限られた時間分解能で事象ベースの実装形態が可能である。
ニューラルコーディング
[0064]図１の人工ニューロン１０２、１０６から構成されるニューラルネットワークモデルなどの有用なニューラルネットワークモデルは、一致コーディング、時間コーディングまたはレートコーディングなど、様々な好適なニューラルコーディング方式のうちのいずれかを介して情報を符号化することができる。一致コーディングでは、情報は、ニューロン集団の活動電位（スパイキング活動）の一致（または時間的近接度）で符号化される。時間コーディングでは、ニューロンは、絶対時間であるか相対時間であるかを問わず、活動電位（すなわち、スパイク）の正確なタイミングを通して情報を符号化する。したがって、情報は、ニューロン集団の間でスパイクの相対的タイミングで符号化され得る。対照的に、レートコーディングは、発火レートまたは集団発火レートでニューラル情報をコーディングすることを伴う。
[0065]ニューロンモデルは、時間コーディングを実行し得る場合、（レートは単に、タイミングまたはスパイク間の間隔の関数であるので）レートコーディングも実行し得る。時間コーディングを行うために、良いニューロンモデルは２つの要素を有する必要がある。すなわち、（１）入力の到着時間は出力時間に影響を与え、（２）一致検出は狭い時間ウィンドウを有し得る。時間パターンの要素を適切に遅延させることによって、要素はタイミング一致に組み込まれ得るので、結合遅延は、一致検出を時間パターン復号に拡大するための１つの手段を提供する。
到着時間
[0066]良いニューロンモデルでは、入力の到着の時間は、出力の時間に影響を与えるはずである。シナプス入力は、ディラックのデルタ関数であるか、成形シナプス後電位（ＰＳＰ：shaped post-synaptic potential）であるかを問わず、興奮性（ＥＰＳＰ）であるか、抑制性（ＩＰＳＰ）であるかを問わず、到着時間（たとえば、デルタ関数またはステップもしくは他の入力関数の開始もしくはピークの時間）を有し、これは入力時間と呼ばれ得る。ニューロン出力（すなわち、スパイク）は、（細胞体、軸索に沿ったポイント、または軸索の端部など、どこで測定される場合でも）発生の時間を有し、これは出力時間と呼ばれ得る。出力時間は、スパイクのピークの時間、スパイクの開始の時間、または出力波形に関係する任意の他の時間であり得る。支配的原理は、出力時間が入力時間に依存することである。
[0067]一見したところ、すべてのニューロンモデルがこの原理に従うと思われるかもしれないが、これは一般には当てはまらない。たとえば、レートベースのモデルは、この特徴を有しない。多くのスパイキングモデルも、一般には適合しない。リーキー積分発火（ＬＩＦ）モデルは、（しきい値を越えて）追加の入力がある場合にさらに速く発火することはない。その上、非常に高いタイミング分解能でモデル化された場合に適合する可能性があるモデルは多くの場合、タイミング分解能がたとえば１ｍｓのステップに限定されているときに適合しない。
入力
[0068]ニューロンモデルへの入力はディラックのデルタ関数、たとえば電流としての入力または伝導性ベースの入力を含み得る。後者の場合、ニューロン状態への寄与は連続的または状況依存的であり得る。
スパイキングネットワークの効率的なハードウェア実装
[0069]本開示のいくつかの態様は、スパイキングニューラルネットワークの効率的なハードウェア実装形態を提供する。スパイクベースの計算は、ハードウェアで実装されるときに特別な考慮を必要とし得る。とても細かい粒度の並列は、しばしばスパイクベースの計算を伴う人工神経システム固有のものである。たとえば、ニューロンの「ファンアウト」が、スパイキングニューラルネットワーク（人工神経システム、たとえば、図１によるシステム１００）における多数の人工ニューロンに関して効率的に計算される必要があり得る。この問題に対する解決策は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を利用することに関係し得、それは、最高密度を有する現在の技術を表し、最高のメモリスループットのために連続アクセスを必要とする。さらに、スパイクベースの計算は、人工神経システムのシナプス前人工ニューロンおよびシナプス後人工ニューロンに対する可塑性照会を必要とし得る。
[0070]図５は、本開示のいくつかの態様による、人工神経システムの例示的なハードウェア実装形態５００を示す。上述したようなＳＴＤＰ学習ルールに基づくシナプス重みの更新（学習）は、結果可塑性の更新および再アセンブルブロック（Effect Plasticity Updates and Reassemble block）５０２において発生し得る。本開示のいくつかの態様では、更新されたシナプス重みおよび可塑性のパラメータが、キャッシュラインインターフェース５０４を介してオフチップメモリ（たとえば、ＤＲＡＭ５０６）に記憶され得る。
[0071]典型的な人工神経システムでは、人工ニューロンよりもはるかに多くのシナプス（シナプス結合）がある。したがって、大きいニューラルネットワーク（人工神経システム）の場合、効率的な方法でシナプス重み更新を処理することがしばしば望まれる。多数のシナプスは、シナプス重みおよび他のパラメータをメモリ（たとえば、ＤＲＡＭ５０６）に記憶することを示唆し得る。人工神経システムの人工ニューロンがいわゆる「スーパーニューロン」（ＳＮ）（たとえば、図５におけるＳＮ５０８）においてスパイクを生成するとき、人工ニューロンは、シナプス後人工ニューロンと対応するニューラル重みとを決定するために、ＤＲＡＭルックアップを通して、シナプス後人工ニューロンにそれらのスパイクを転送し得る。
[0072]高速で効率的なルックアップを可能にするために、シナプス配列が、たとえば、人工ニューロンからのファンアウトに基づいて、メモリで連続的に維持され得る。後に、図５の結果可塑性の更新および再アセンブルブロック５０２においてＳＴＤＰ更新を処理するときに、ＬＴＰ更新についての逆マッピングを決定するためにＤＲＡＭまたは大きいルックアップテーブルが検索される必要がないことから、このメモリレイアウトに与えられた転送ファンアウト（forward fan-out）に基づいてＳＴＤＰ更新を処理することを効率性が規定し得る。図５に示す手法は、これを可能にする。結果可塑性の更新および再アセンブルブロック５０２は、シナプス前スパイク時間とシナプス後スパイク時間とを取得しようとして、スーパーニューロン５０８に照会し得、ここでも、関係する状態メモリの量を低減し得る。
[0073]図５はさらに、入力電流アキュムレータおよびニューラルモデルのための時間多重化ハードウェアに基づくスーパーニューロンの概念を示す。図５に示すように、効率性、すなわち実行速度を改善するために、複数のスーパーニューロン５０８が並列に動作し得る。本開示のいくつかの態様によれば、スーパーニューロン５０８における計算ユニットの数は、そのスーパーニューロンに割り当てられた人工ニューロンの数よりも少なくなり得る、すなわち、１つの計算ユニットが複数の人工ニューロンに関連付けられ得る。
[0074]本開示の一態様では、人工ニューロンの状態は、定められた時間期間、すなわち「タウ」ステップごとに更新され得る。一態様では、人工ニューロンはメモリに、たとえばＤＲＡＭ５０６に、シナプス後ファンアウトへのポインタを記憶し得る。一態様では、各スーパーニューロン５０８は、ニューラル入力の蓄積を実施し得る。
[0075]本開示のいくつかの態様によれば、ファンアウトベースのシナプスメモリ構成は、ＤＲＡＭに適した、高スループットおよび長い「バースト的」読取りをもたらし得る。たとえば、単一の５１２ビットの「キャッシュライン」（たとえば、図５におけるキャッシュラインインターフェース５０４）は、複数のシナプス結合を備え得る。５１２ビットのアクセスは現在、ＤＲＡＭにとって最高の効率性を表すことに留意されたい。
[0076]本開示のいくつかの態様によれば、シナプス前ニューロンおよびシナプス後ニューロンのルックアップが、可塑性学習ルールを実施するために利用され得る。さらに、本開示のいくつかの態様は、スパイクの動的確率的除去（dynamic probabilistic dropping）をサポートし、ここにおいて、従来のプロセッサがその構造にしっかり統合され得る。本開示の一態様では、ＤＲＡＭメモリ５０６に記憶されたシナプスに関係する情報（たとえば、重みおよび他のパラメータ）は、宛先ルーティング情報を備え得る。これは、メモリのマッピングおよび構成によって達成され得る。さらに、外部および内部シナプス活性化が、他の処理ノードとの同期と同様に、例示的なハードウェア実装形態５００に統合され得る。本開示で提供されるメモリ構成は、各シナプス前ニューロンがそれのシナプスのすべてを一緒に備え得ることをサポートする。
[0077]本開示のいくつかの態様によれば、可塑性照会は、シナプス後ニューロンにルート要求を提供し得る。シナプス前（攻撃者）ニューロンからシナプス後（犠牲者）ニューロンにメッセージが送られ得、次いでシナプス後（犠牲者）ニューロンは、（戻りアドレスを含む）情報を返信し得る。別個のシナプスブロックがこれを可能にし得る。
[0078]図６は、本開示のいくつかの態様による、複数の人工ニューロンを伴う人工神経システムを動作させるための例示的な動作６００の流れ図である。動作６００は、ハードウェアで（たとえば、神経形態学的プロセッサなどの１つもしくは複数のニューラル処理ユニットによって）、ソフトウェアで、またはファームウェアで実行され得る。人工神経システムは、視覚神経系、聴覚神経系、海馬などのような様々な生物学上または想像上の神経系のうちのいずれかでモデル化され得る。
[0079]動作６００は、６０２において、人工ニューロンの状態を更新するために人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させることによって始まり得、ここにおいて、人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられ得る。６０４において、スーパーニューロン処理ユニットは、人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするためにメモリとインターフェースされ得、ここにおいて、メモリの構成が連続メモリアクセスを可能にする。
[0080]本開示の一態様では、複数のスーパーニューロン処理ユニットを同時に動作させることは、入力電流アキュムレータおよび人工ニューロンのモデルのためにスーパーニューロン処理ユニットを時間多重化することを備え得る。スーパーニューロン処理ユニットのうちの１つに割り当てられた人工ニューロンの状態は、定められたステップ（たとえば、「タウ」ステップ）ごとに更新され得る。一態様では、人工ニューロンのいずれかに関連するシナプス後ファンアウトへのポインタが、メモリに記憶され得る。一態様では、複数のスーパーニューロン処理ユニットを同時に動作させることは、スーパーニューロン処理ユニットの各々によって、ニューラル入力アキュムレータを実施することを備え得る。
[0081]本開示の一態様では、各スーパーニューロン処理ユニットにおける計算ユニットの数は、そのスーパーニューロン処理ユニットに割り当てられた人工ニューロンの数よりも少なくなり得る。メモリは、たとえば、ＤＲＡＭを備え得、ＤＲＡＭの連続メモリアクセスは、複数のシナプスに関係するデータへの同時アクセス（たとえば、最大５１２ビット）を備え得る。
[0082]一態様では、メモリの構成は、可塑性を実現するためのシナプス前ニューロンおよびシナプス後ニューロンのルックアップを備え得る。一態様では、人工神経システムのスパイクの除去が、動的確率的方法で実行され得る。一態様では、人工神経システムのシナプスに関連するデータがメモリに記憶され得、ここにおいて、データは宛先ルーティング情報を備え得る。一態様では、外部および内部シナプス活性化が、スーパーニューロン処理ユニットとメモリの構成とを利用することによって人工神経システムに統合され得る。
[0083]図７は、本開示のいくつかの態様による、汎用プロセッサ７０２を使用して複数の人工ニューロンを伴う人工神経システムを動作させるための上述した方法の例示的なブロック図７００を示す。計算ネットワーク（ニューラルネットワーク）に関連する変数（ニューラル信号）、シナプス重み、および／またはシステムパラメータは、メモリブロック７０４に記憶され得る一方、汎用プロセッサ７０２において実行される関連した命令は、プログラムメモリ７０６からロードされ得る。本開示の一態様では、汎用プロセッサ７０２にロードされる命令は、人工ニューロンの状態を更新するために人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させること、ここにおいて、人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするためにスーパーニューロン処理ユニットをメモリとインターフェースすること、ここにおいて、メモリの構成が連続メモリアクセスを可能にする、とを行うためのコードを備え得る。
[0084]図８は、本開示のいくつかの態様による、メモリ８０２が相互接続ネットワーク８０４を介して計算ネットワーク（ニューラルネットワーク）の個々の（分散型）処理ユニット（ニューラルプロセッサ）８０６とインターフェースされ得る複数の人工ニューロンを伴う人工神経システムを動作させるための上述した方法の例示的なブロック図８００を示す。計算ネットワーク（ニューラルネットワーク）に関連する変数（ニューラル信号）、シナプス重み、および／またはシステムパラメータは、メモリ８０２に記憶され得、相互接続ネットワーク８０４の接続を介してメモリ８０２から各処理ユニット（ニューラルプロセッサ）８０６にロードされ得る。本開示の一態様では、処理ユニット８０６は、人工ニューロンの状態を更新するために人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させること、ここにおいて、人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするためにスーパーニューロン処理ユニットをメモリとインターフェースすること、ここにおいて、メモリの構成が連続メモリアクセスを可能にする、とを行うように構成され得る。
[0085]図９は、本開示のいくつかの態様による、分散型重みメモリ９０２および分散型処理ユニット（ニューラルプロセッサ）９０４に基づいて複数の人工ニューロンを伴う人工神経システムを動作させるための上述した方法の例示的なブロック図９００を示す。図９に示すように、１つのメモリバンク９０２が、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット９０４と直接インターフェースされてよく、メモリバンク９０２は、その処理ユニット（ニューラルプロセッサ）９０４に関連する変数（ニューラル信号）、シナプス重み、および／またはシステムパラメータを記憶することができる。本開示の一態様では、処理ユニット９０４は、人工ニューロンの状態を更新するために人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させること、ここにおいて、人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするためにスーパーニューロン処理ユニットをメモリとインターフェースすること、ここにおいて、メモリの構成が連続メモリアクセスを可能にする、とを行うように構成され得る。
[0086]図１０は、本開示のいくつかの態様による、ニューラルネットワーク１０００の例示的な実装形態を示す。図１０に示すように、ニューラルネットワーク１０００は、上述した方法の様々な動作を実行し得る複数のローカル処理ユニット１００２を備えることができる。各処理ユニット１００２は、ローカル状態メモリ１００４と、ニューラルネットワークのパラメータを記憶するローカルパラメータメモリ１００６とを備えることができる。さらに、処理ユニット１００２は、ローカル（ニューロン）モデルプログラムを有するメモリ１００８と、ローカル学習プログラムを有するメモリ１０１０と、ローカル接続メモリ１０１２とを備えることができる。さらに、図１０に示すように、各ローカル処理ユニット１００２は、ローカル処理ユニットのローカルメモリのための設定を提供し得る設定処理のためのユニット１０１４と、またローカル処理ユニット１００２間のルーティングを提供するルーティング接続処理要素１０１６とインターフェースされ得る。
[0087]本開示のいくつかの態様によれば、各ローカル処理ユニット１００２は、ニューラルネットワークの所望の１つまたは複数の機能的特徴に基づいてニューラルネットワークのパラメータを決定し、決定されたパラメータがさらに適合、調整および更新されることで、１つまたは複数の機能的特徴を所望の機能的特徴に向けて発展させるように構成され得る。
[0088]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。たとえば、様々な動作は、図５、図７〜図１０に示す様々なプロセッサのうちの１つまたは複数によって実行され得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図６に示す動作６００は、図６Ａに示す手段６００Ａに対応する。
[0089]たとえば、表示するための手段は、ディスプレイ（たとえば、モニタ、フラットスクリーン、タッチスクリーンなど）、プリンタ、または視覚的描写（たとえば、表、チャートもしくはグラフ）のためのデータを出力するための任意の他の好適な手段を含み得る。処理するための手段、受信するための手段、追跡するための手段、調整するための手段、更新するための手段、または決定するための手段は、１つまたは複数のプロセッサまたは処理ユニットを含み得る、処理システムを備え得る。感知するための手段は、センサーを含み得る。記憶するための手段は、処理システムによってアクセスされ得る、メモリまたは任意の他の好適な記憶デバイス（たとえば、ＲＡＭ）を含み得る。
[0090]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。また、「決定」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。また、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
[0091]本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。
[0092]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
[0093]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。
[0094]本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく変更され得る。
[0095]説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。
[0096]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（読取り専用メモリ）、ＰＲＯＭ（プログラマブル読取り専用メモリ）、ＥＰＲＯＭ（消去可能プログラマブル読取り専用メモリ）、ＥＥＰＲＯＭ（電気消去可能プログラマブル読取り専用メモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または任意の他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
[0097]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。
[0098]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、プロセッサをもつＡＳＩＣ（特定用途向け集積回路）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは１つまたは複数のＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明した様々な機能を実行し得る回路の任意の組合せを用いて、実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。
[0099]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。
[0100]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体を適切に名づけられる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0101]したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令を記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
[0102]さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にデバイスによってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、デバイスが記憶手段をデバイスに結合または提供すると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。
[0103]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]
複数の人工ニューロンを伴う人工神経システムを動作させるための方法であって、
前記人工ニューロンの状態を更新するために前記人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させること、ここにおいて、前記人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、
前記人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするために、前記スーパーニューロン処理ユニットをメモリとインターフェースすること、ここにおいて、前記メモリの構成が連続メモリアクセスを可能にする、と、
を備える方法。
[Ｃ２]
複数のスーパーニューロン処理ユニットを同時に動作させることは、
入力電流アキュムレータおよび前記人工ニューロンのモデルのために前記スーパーニューロン処理ユニットを時間多重化すること
を備える、Ｃ１に記載の方法。
[Ｃ３]
前記スーパーニューロン処理ユニットのうちの１つに割り当てられた任意の人工ニューロンの状態を、定められたステップごとに更新すること
をさらに備える、Ｃ１に記載の方法。
[Ｃ４]
前記人工ニューロンのいずれかに関連するシナプス後ファンアウトへのポインタを前記メモリに記憶すること
をさらに備える、Ｃ１に記載の方法。
[Ｃ５]
複数のスーパーニューロン処理ユニットを同時に動作させることは、
前記スーパーニューロン処理ユニットの各々によって、ニューラル入力アキュムレータを実施すること
を備える、Ｃ１に記載の方法。
[Ｃ６]
各スーパーニューロン処理ユニットにおける計算ユニットの数は、そのスーパーニューロン処理ユニットに割り当てられた前記人工ニューロンの数よりも少ない、Ｃ１に記載の方法。
[Ｃ７]
前記メモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え、
前記ＤＲＡＭの前記連続メモリアクセスは、複数のシナプスに関係するデータへの同時アクセスを備える、Ｃ１に記載の方法。
[Ｃ８]
メモリの前記構成は、可塑性を実現するためのシナプス前ニューロンおよびシナプス後ニューロンのルックアップテーブルを備える、Ｃ１に記載の方法。
[Ｃ９]
動的確率的方法での前記人工神経システムのスパイクの除去
をさらに備える、Ｃ１に記載の方法。
[Ｃ１０]
前記人工神経システムのシナプスに関連するデータを前記メモリに記憶することをさらに備え、ここにおいて、前記データが宛先ルーティング情報を備える、Ｃ１に記載の方法。
[Ｃ１１]
前記スーパーニューロン処理ユニットと前記メモリの構成とを利用することによって、前記人工神経システムに外部および内部シナプス活性化を統合すること
をさらに備える、Ｃ１に記載の方法。
[Ｃ１２]
複数の人工ニューロンを伴う人工神経システムを動作させるための装置であって、
前記人工ニューロンの状態を更新するために前記人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させるように構成された第１の回路、ここにおいて、前記人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、
前記人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするために、前記スーパーニューロン処理ユニットをメモリとインターフェースするように構成された第２の回路、ここにおいて、前記メモリの構成が連続メモリアクセスを可能にする、と、
を備える装置。
[Ｃ１３]
前記第１の回路はまた、
入力電流アキュムレータおよび前記人工ニューロンのモデルのために前記スーパーニューロン処理ユニットを時間多重化する
ように構成される、Ｃ１２に記載の装置。
[Ｃ１４]
前記スーパーニューロン処理ユニットのうちの１つに割り当てられた任意の人工ニューロンの状態を、定められたステップごとに更新するように構成された第３の回路をさらに備える、Ｃ１２に記載の装置。
[Ｃ１５]
前記人工ニューロンのいずれかに関連するシナプス後ファンアウトへのポインタを前記メモリに記憶するように構成された第３の回路
をさらに備える、Ｃ１２に記載の装置。
[Ｃ１６]
前記スーパーニューロン処理ユニットの各々によって、ニューラル入力アキュムレータを実施するように構成された第３の回路
をさらに備える、Ｃ１２に記載の装置。
[Ｃ１７]
各スーパーニューロン処理ユニットにおける計算ユニットの数は、そのスーパーニューロン処理ユニットに割り当てられた前記人工ニューロンの数よりも少ない、Ｃ１２に記載の装置。
[Ｃ１８]
前記メモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え、
前記ＤＲＡＭの前記連続メモリアクセスは、複数のシナプスに関係するデータへの同時アクセスを備える、Ｃ１２に記載の装置。
[Ｃ１９]
メモリの前記構成は、可塑性を実現するためのシナプス前ニューロンおよびシナプス後ニューロンのルックアップテーブルを備える、Ｃ１２に記載の装置。
[Ｃ２０]
動的確率的方法で前記人工神経システムのスパイクを除去するように構成された第３の回路
をさらに備える、Ｃ１２に記載の装置。
[Ｃ２１]
前記人工神経システムのシナプスに関連するデータを前記メモリに記憶するように構成された第３の回路をさらに備え、ここにおいて、前記データが宛先ルーティング情報を備える、Ｃ１２に記載の装置。
[Ｃ２２]
前記スーパーニューロン処理ユニットと前記メモリの構成とを利用することによって、前記人工神経システムに外部および内部シナプス活性化を統合するように構成された第３の回路
をさらに備える、Ｃ１２に記載の装置。
[Ｃ２３]
複数の人工ニューロンを伴う人工神経システムを動作させるための装置であって、
前記人工ニューロンの状態を更新するために前記人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させるための手段、ここにおいて、前記人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、
前記人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするために、前記スーパーニューロン処理ユニットをメモリとインターフェースするための手段、ここにおいて、前記メモリの構成が連続メモリアクセスを可能にする、と、
を備える装置。
[Ｃ２４]
複数のスーパーニューロン処理ユニットを同時に動作させるための前記手段は、
入力電流アキュムレータおよび前記人工ニューロンのモデルのために前記スーパーニューロン処理ユニットを時間多重化するための手段
をさらに備える、Ｃ２３に記載の装置。
[Ｃ２５]
前記スーパーニューロン処理ユニットのうちの１つに割り当てられた任意の人工ニューロンの状態を、定められたステップごとに更新するための手段
をさらに備える、Ｃ２３に記載の装置。
[Ｃ２６]
前記人工ニューロンのいずれかに関連するシナプス後ファンアウトへのポインタを前記メモリに記憶するための手段
をさらに備える、Ｃ２３に記載の装置。
[Ｃ２７]
複数のスーパーニューロン処理ユニットを同時に動作させるための前記手段は、
前記スーパーニューロン処理ユニットの各々によって、ニューラル入力アキュムレータを実施するための手段
をさらに備える、Ｃ２３に記載の装置。
[Ｃ２８]
各スーパーニューロン処理ユニットにおける計算ユニットの数は、そのスーパーニューロン処理ユニットに割り当てられた前記人工ニューロンの数よりも少ない、Ｃ２３に記載の装置。
[Ｃ２９]
前記メモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え、
前記ＤＲＡＭの前記連続メモリアクセスは、複数のシナプスに関係するデータへの同時アクセスを備える、Ｃ２３に記載の装置。
[Ｃ３０]
メモリの前記構成は、可塑性を実現するためのシナプス前ニューロンおよびシナプス後ニューロンのルックアップテーブルを備える、Ｃ２３に記載の装置。
[Ｃ３１]
動的確率的方法での前記人工神経システムのスパイクの除去のための手段をさらに備える、Ｃ２３に記載の装置。
[Ｃ３２]
前記人工神経システムのシナプスに関連するデータを前記メモリに記憶するための手段をさらに備え、ここにおいて、前記データが宛先ルーティング情報を備える、Ｃ２３に記載の装置。
[Ｃ３３]
前記スーパーニューロン処理ユニットと前記メモリの構成とを利用することによって、前記人工神経システムに外部および内部シナプス活性化を統合するための手段をさらに備える、Ｃ２３に記載の装置。
[Ｃ３４]
非一時的コンピュータ可読媒体を備える、複数の人工ニューロンを伴う人工神経システムを動作させるためのコンピュータプログラム製品であって、前記非一時的コンピュータ可読媒体が、
前記人工ニューロンの状態を更新するために前記人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させること、ここにおいて、前記人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、
前記人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするために、前記スーパーニューロン処理ユニットをメモリとインターフェースすること、ここにおいて、前記メモリの構成が連続メモリアクセスを可能にする、と、
を行うように実行可能な命令を有する、コンピュータプログラム製品。
[Ｃ３５]
前記コンピュータ可読媒体は、
入力電流アキュムレータおよび前記人工ニューロンのモデルのために前記スーパーニューロン処理ユニットを時間多重化する
ためのコードをさらに備える、Ｃ３４に記載のコンピュータプログラム製品。
[Ｃ３６]
前記コンピュータ可読媒体は、
前記スーパーニューロン処理ユニットのうちの１つに割り当てられた任意の人工ニューロンの状態を、定められたステップごとに更新する
ためのコードをさらに備える、Ｃ３４に記載のコンピュータプログラム製品。
[Ｃ３７]
前記コンピュータ可読媒体は、
前記人工ニューロンのいずれかに関連するシナプス後ファンアウトへのポインタを前記メモリに記憶する
ためのコードをさらに備える、Ｃ３４に記載のコンピュータプログラム製品。
[Ｃ３８]
前記コンピュータ可読媒体は、
前記スーパーニューロン処理ユニットの各々によって、ニューラル入力アキュムレータを実施する
ためのコードをさらに備える、Ｃ３４に記載のコンピュータプログラム製品。
[Ｃ３９]
各スーパーニューロン処理ユニットにおける計算ユニットの数は、そのスーパーニューロン処理ユニットに割り当てられた前記人工ニューロンの数よりも少ない、Ｃ３４に記載のコンピュータプログラム製品。
[Ｃ４０]
前記メモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え、
前記ＤＲＡＭの前記連続メモリアクセスは、複数のシナプスに関係するデータへの同時アクセスを備える、Ｃ３４に記載のコンピュータプログラム製品。
[Ｃ４１]
メモリの前記構成は、可塑性を実現するためのシナプス前ニューロンおよびシナプス後ニューロンのルックアップテーブルを備える、Ｃ３４に記載のコンピュータプログラム製品。
[Ｃ４２]
前記コンピュータ可読媒体は、
動的確率的方法での前記人工神経システムのスパイクの除去
のためのコードをさらに備える、Ｃ３４に記載のコンピュータプログラム製品。
[Ｃ４３]
前記コンピュータ可読媒体は、
前記人工神経システムのシナプスに関連するデータを前記メモリに記憶するためのコードをさらに備え、ここにおいて、前記データが宛先ルーティング情報を備える、Ｃ３４に記載のコンピュータプログラム製品。
[Ｃ４４]
前記コンピュータ可読媒体は、
前記スーパーニューロン処理ユニットと前記メモリの構成とを利用することによって、前記人工神経システムに外部および内部シナプス活性化を統合する
ためのコードをさらに備える、Ｃ３４に記載のコンピュータプログラム製品。

Claims (44)

  1. 複数の人工ニューロンを伴う人工神経システムを動作させるための方法であって、
    前記人工ニューロンの状態を更新するために前記人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させること、ここにおいて、前記人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、
    前記スーパーニューロン処理ユニットをメモリとインターフェースすることと、
    前記メモリに記憶された前記人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスすること、ここにおいて、前記メモリの構成が連続メモリアクセスを可能にする、と、
    を備える方法。
  2. 複数のスーパーニューロン処理ユニットを同時に動作させることは、
    入力電流アキュムレータおよび前記人工ニューロンのモデルのために前記スーパーニューロン処理ユニットを時間多重化することを備える、請求項１に記載の方法。
  3. 前記スーパーニューロン処理ユニットのうちの１つに割り当てられた任意の人工ニューロンの状態を、定められたステップごとに更新することをさらに備える、請求項１に記載の方法。
  4. 前記人工ニューロンのいずれかに関連するシナプス後ファンアウトへのポインタを前記メモリに記憶することをさらに備える、請求項１に記載の方法。
  5. 複数のスーパーニューロン処理ユニットを同時に動作させることは、
    前記スーパーニューロン処理ユニットの各々によって、ニューラル入力アキュムレータを実施することを備える、請求項１に記載の方法。
  6. 各スーパーニューロン処理ユニットにおける計算ユニットの数は、そのスーパーニューロン処理ユニットに割り当てられた前記人工ニューロンの数よりも少ない、請求項１に記載の方法。
  7. 前記メモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え、
    前記ＤＲＡＭの前記連続メモリアクセスは、複数のシナプスに関係するデータへの同時アクセスを備える、請求項１に記載の方法。
  8. メモリの前記構成は、可塑性を実現するためのシナプス前ニューロンおよびシナプス後ニューロンのルックアップテーブルを備える、請求項１に記載の方法。
  9. 動的確率的方法での前記人工神経システムのスパイクの除去
    をさらに備える、請求項１に記載の方法。
  10. 前記人工神経システムのシナプスに関連するデータを前記メモリに記憶することをさらに備え、ここにおいて、前記データが宛先ルーティング情報を備える、請求項１に記載の方法。
  11. 前記スーパーニューロン処理ユニットと前記メモリの構成とを利用することによって、前記人工神経システムに外部および内部シナプス活性化を統合することをさらに備える、請求項１に記載の方法。
  12. 複数の人工ニューロンを伴う人工神経システムを動作させるための装置であって、
    前記人工ニューロンの状態を更新するために前記人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させるように構成された第１の回路、ここにおいて、前記人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、
    前記スーパーニューロン処理ユニットをメモリとインターフェースするように構成された第２の回路と、
    前記メモリに記憶された前記人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするための第３の回路、ここにおいて、前記メモリの構成が連続メモリアクセスを可能にする、と、
    を備える装置。
  13. 前記第１の回路はまた、
    入力電流アキュムレータおよび前記人工ニューロンのモデルのために前記スーパーニューロン処理ユニットを時間多重化するように構成される、請求項１２に記載の装置。
  14. 前記スーパーニューロン処理ユニットのうちの１つに割り当てられた任意の人工ニューロンの状態を、定められたステップごとに更新するように構成された第４の回路をさらに備える、請求項１２に記載の装置。
  15. 前記人工ニューロンのいずれかに関連するシナプス後ファンアウトへのポインタを前記メモリに記憶するように構成された第４の回路をさらに備える、請求項１２に記載の装置。
  16. 前記スーパーニューロン処理ユニットの各々によって、ニューラル入力アキュムレータを実施するように構成された第４の回路をさらに備える、請求項１２に記載の装置。
  17. 各スーパーニューロン処理ユニットにおける計算ユニットの数は、そのスーパーニューロン処理ユニットに割り当てられた前記人工ニューロンの数よりも少ない、請求項１２に記載の装置。
  18. 前記メモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え、
    前記ＤＲＡＭの前記連続メモリアクセスは、複数のシナプスに関係するデータへの同時アクセスを備える、請求項１２に記載の装置。
  19. メモリの前記構成は、可塑性を実現するためのシナプス前ニューロンおよびシナプス後ニューロンのルックアップテーブルを備える、請求項１２に記載の装置。
  20. 動的確率的方法で前記人工神経システムのスパイクを除去するように構成された第４の回路をさらに備える、請求項１２に記載の装置。
  21. 前記人工神経システムのシナプスに関連するデータを前記メモリに記憶するように構成された第４の回路をさらに備え、ここにおいて、前記データが宛先ルーティング情報を備える、請求項１２に記載の装置。
  22. 前記スーパーニューロン処理ユニットと前記メモリの構成とを利用することによって、前記人工神経システムに外部および内部シナプス活性化を統合するように構成された第４の回路をさらに備える、請求項１２に記載の装置。
  23. 複数の人工ニューロンを伴う人工神経システムを動作させるための装置であって、
    前記人工ニューロンの状態を更新するために前記人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させるための手段、ここにおいて、前記人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、
    前記スーパーニューロン処理ユニットをメモリとインターフェースするための手段と、
    前記メモリに記憶された前記人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスするための手段、ここにおいて、前記メモリの構成が連続メモリアクセスを可能にする、と、
    を備える装置。
  24. 複数のスーパーニューロン処理ユニットを同時に動作させるための前記手段は、
    入力電流アキュムレータおよび前記人工ニューロンのモデルのために前記スーパーニューロン処理ユニットを時間多重化するための手段をさらに備える、請求項２３に記載の装置。
  25. 前記スーパーニューロン処理ユニットのうちの１つに割り当てられた任意の人工ニューロンの状態を、定められたステップごとに更新するための手段をさらに備える、請求項２３に記載の装置。
  26. 前記人工ニューロンのいずれかに関連するシナプス後ファンアウトへのポインタを前記メモリに記憶するための手段をさらに備える、請求項２３に記載の装置。
  27. 複数のスーパーニューロン処理ユニットを同時に動作させるための前記手段は、
    前記スーパーニューロン処理ユニットの各々によって、ニューラル入力アキュムレータを実施するための手段をさらに備える、請求項２３に記載の装置。
  28. 各スーパーニューロン処理ユニットにおける計算ユニットの数は、そのスーパーニューロン処理ユニットに割り当てられた前記人工ニューロンの数よりも少ない、請求項２３に記載の装置。
  29. 前記メモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え、
    前記ＤＲＡＭの前記連続メモリアクセスは、複数のシナプスに関係するデータへの同時アクセスを備える、請求項２３に記載の装置。
  30. メモリの前記構成は、可塑性を実現するためのシナプス前ニューロンおよびシナプス後ニューロンのルックアップテーブルを備える、請求項２３に記載の装置。
  31. 動的確率的方法での前記人工神経システムのスパイクの除去のための手段をさらに備える、請求項２３に記載の装置。
  32. 前記人工神経システムのシナプスに関連するデータを前記メモリに記憶するための手段をさらに備え、ここにおいて、前記データが宛先ルーティング情報を備える、請求項２３に記載の装置。
  33. 前記スーパーニューロン処理ユニットと前記メモリの構成とを利用することによって、前記人工神経システムに外部および内部シナプス活性化を統合するための手段をさらに備える、請求項２３に記載の装置。
  34. 複数の人工ニューロンを伴う人工神経システムを動作させるための非一時的コンピュータ可読媒体であって、前記非一時的コンピュータ可読媒体が、
    前記人工ニューロンの状態を更新するために前記人工神経システムにおける複数のスーパーニューロン処理ユニットを同時に動作させること、ここにおいて、前記人工ニューロンのサブセットが各スーパーニューロン処理ユニットに割り当てられる、と、
    前記スーパーニューロン処理ユニットをメモリとインターフェースすることと、
    前記メモリに記憶された前記人工神経システムのシナプス重みおよび可塑性のパラメータにアクセスすること、ここにおいて、前記メモリの構成が連続メモリアクセスを可能にする、と、
    を行うように実行可能な命令を有する、非一時的コンピュータ可読媒体。
  35. 入力電流アキュムレータおよび前記人工ニューロンのモデルのために前記スーパーニューロン処理ユニットを時間多重化するためのコードをさらに備える、請求項３４に記載の非一時的コンピュータ可読媒体。
  36. 前記スーパーニューロン処理ユニットのうちの１つに割り当てられた任意の人工ニューロンの状態を、定められたステップごとに更新するためのコードをさらに備える、請求項３４に記載の非一時的コンピュータ可読媒体。
  37. 前記人工ニューロンのいずれかに関連するシナプス後ファンアウトへのポインタを前記メモリに記憶するためのコードをさらに備える、請求項３４に記載の非一時的コンピュータ可読媒体。
  38. 前記スーパーニューロン処理ユニットの各々によって、ニューラル入力アキュムレータを実施するためのコードをさらに備える、請求項３４に記載の非一時的コンピュータ可読媒体。
  39. 各スーパーニューロン処理ユニットにおける計算ユニットの数は、そのスーパーニューロン処理ユニットに割り当てられた前記人工ニューロンの数よりも少ない、請求項３４に記載の非一時的コンピュータ可読媒体。
  40. 前記メモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え、
    前記ＤＲＡＭの前記連続メモリアクセスは、複数のシナプスに関係するデータへの同時アクセスを備える、請求項３４に記載の非一時的コンピュータ可読媒体。
  41. メモリの前記構成は、可塑性を実現するためのシナプス前ニューロンおよびシナプス後ニューロンのルックアップテーブルを備える、請求項３４に記載の非一時的コンピュータ可読媒体。
  42. 動的確率的方法での前記人工神経システムのスパイクの除去
    のためのコードをさらに備える、請求項３４に記載の非一時的コンピュータ可読媒体。
  43. 前記人工神経システムのシナプスに関連するデータを前記メモリに記憶するためのコードをさらに備え、ここにおいて、前記データが宛先ルーティング情報を備える、請求項３４に記載の非一時的コンピュータ可読媒体。
  44. 前記スーパーニューロン処理ユニットと前記メモリの構成とを利用することによって、前記人工神経システムに外部および内部シナプス活性化を統合するためのコードをさらに備える、請求項３４に記載の非一時的コンピュータ可読媒体。
JP2016515029A 2013-05-21 2014-05-20 スパイキングネットワークの効率的なハードウェア実装 Active JP6130056B2 (ja)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201361825657P 2013-05-21 2013-05-21
US61/825,657 2013-05-21
US201361862714P 2013-08-06 2013-08-06
US201361862741P 2013-08-06 2013-08-06
US201361862734P 2013-08-06 2013-08-06
US61/862,714 2013-08-06
US61/862,734 2013-08-06
US61/862,741 2013-08-06
US201461932364P 2014-01-28 2014-01-28
US61/932,364 2014-01-28
US14/267,005 US9542643B2 (en) 2013-05-21 2014-05-01 Efficient hardware implementation of spiking networks
US14/267,005 2014-05-01
PCT/US2014/038841 WO2014189970A2 (en) 2013-05-21 2014-05-20 Efficient hardware implementation of spiking networks

Publications (3)

Publication Number Publication Date
JP2016522495A JP2016522495A (ja) 2016-07-28
JP2016522495A5 JP2016522495A5 (ja) 2017-03-09
JP6130056B2 true JP6130056B2 (ja) 2017-05-17

Family

ID=51022429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016515029A Active JP6130056B2 (ja) 2013-05-21 2014-05-20 スパイキングネットワークの効率的なハードウェア実装

Country Status (6)

Country Link
US (1) US9542643B2 (ja)
EP (1) EP3000076A2 (ja)
JP (1) JP6130056B2 (ja)
KR (1) KR101793011B1 (ja)
CN (1) CN105229675B (ja)
WO (1) WO2014189970A2 (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712940B2 (en) * 2011-05-31 2014-04-29 International Business Machines Corporation Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
US9053429B2 (en) 2012-12-21 2015-06-09 International Business Machines Corporation Mapping neural dynamics of a neural model on to a coarsely grained look-up table
US9087301B2 (en) * 2012-12-21 2015-07-21 International Business Machines Corporation Hardware architecture for simulating a neural network of neurons
US9330355B2 (en) 2013-08-06 2016-05-03 Qualcomm Incorporated Computed synapses for neuromorphic systems
EP3035249B1 (en) 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
US10552731B2 (en) 2015-12-28 2020-02-04 International Business Machines Corporation Digital STDP synapse and LIF neuron-based neuromorphic system
US10891543B2 (en) 2015-12-28 2021-01-12 Samsung Electronics Co., Ltd. LUT based synapse weight update scheme in STDP neuromorphic systems
US10748058B2 (en) 2015-12-28 2020-08-18 International Business Machines Corporation LUT based neuron membrane potential update scheme in STDP neuromorphic systems
KR102505695B1 (ko) 2016-03-18 2023-03-02 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 이를 사용한 시스템
US11003984B2 (en) 2016-05-31 2021-05-11 Samsung Electronics Co., Ltd. Timing sequence for digital STDP synapse and LIF neuron-based neuromorphic system
CN107688853B (zh) * 2016-08-05 2020-01-10 中科寒武纪科技股份有限公司 一种用于执行神经网络运算的装置及方法
US11501131B2 (en) * 2016-09-09 2022-11-15 SK Hynix Inc. Neural network hardware accelerator architectures and operating method thereof
US10586147B2 (en) * 2016-09-22 2020-03-10 Intel Corporation Neuromorphic computing device, memory device, system, and method to maintain a spike history for neurons in a neuromorphic computing environment
US11281963B2 (en) 2016-09-26 2022-03-22 Intel Corporation Programmable neuron core with on-chip learning and stochastic time step control
US10489702B2 (en) * 2016-10-14 2019-11-26 Intel Corporation Hybrid compression scheme for efficient storage of synaptic weights in hardware neuromorphic cores
KR101997975B1 (ko) * 2016-12-01 2019-07-08 한국과학기술원 신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법
US20180174027A1 (en) * 2016-12-20 2018-06-21 Michael I. Davies Multi-compartment dendrites in neuromorphic computing
US10248906B2 (en) * 2016-12-28 2019-04-02 Intel Corporation Neuromorphic circuits for storing and generating connectivity information
US10140574B2 (en) * 2016-12-31 2018-11-27 Via Alliance Semiconductor Co., Ltd Neural network unit with segmentable array width rotator and re-shapeable weight memory to match segment width to provide common weights to multiple rotator segments
KR101918102B1 (ko) 2017-02-14 2019-02-08 한국과학기술연구원 플로팅 게이트 적분기를 이용한 고집적 저전력 소모 인공뉴런 회로 및 이를 포함하는 뉴로모르픽 시스템, 이의 제어 방법
US10922608B2 (en) * 2017-03-08 2021-02-16 Arm Ltd Spiking neural network
CN106934457B (zh) * 2017-03-08 2019-12-06 杭州领芯电子有限公司 一种可灵活时分复用的脉冲神经元实现架构
FR3064384B1 (fr) * 2017-03-23 2019-05-03 Stmicroelectronics Sa Bloc refractaire pour dispositif integre de neurone artificiel
US10679119B2 (en) * 2017-03-24 2020-06-09 Intel Corporation Handling signal saturation in spiking neural networks
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US11551028B2 (en) 2017-04-04 2023-01-10 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network
US11544545B2 (en) 2017-04-04 2023-01-03 Hailo Technologies Ltd. Structured activation based sparsity in an artificial neural network
US12430543B2 (en) 2017-04-04 2025-09-30 Hailo Technologies Ltd. Structured sparsity guided training in an artificial neural network
US10387298B2 (en) 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US10909449B2 (en) * 2017-04-14 2021-02-02 Samsung Electronics Co., Ltd. Monolithic multi-bit weight cell for neuromorphic computing
US11308387B2 (en) 2017-05-09 2022-04-19 Samsung Electronics Co., Ltd. STDP with synaptic fatigue for learning of spike-time-coded patterns in the presence of parallel rate-coding
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
GB2568776B (en) * 2017-08-11 2020-10-28 Google Llc Neural network accelerator with parameters resident on chip
US10452540B2 (en) * 2017-10-20 2019-10-22 International Business Machines Corporation Memory-mapped interface for message passing computing systems
CN107742153B (zh) * 2017-10-20 2020-02-21 华中科技大学 一种基于忆阻器的具有稳态可塑性的神经元电路
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11366998B2 (en) 2018-03-27 2022-06-21 Intel Corporation Neuromorphic accelerator multitasking
CA3069779C (en) * 2018-05-08 2021-06-29 The Governing Council Of The University Of Toronto Neural network processing element
EP3605401A1 (en) * 2018-07-31 2020-02-05 GrAl Matter Labs S.A.S. Data processing module, data processing system and data processing method
US11200484B2 (en) 2018-09-06 2021-12-14 International Business Machines Corporation Probability propagation over factor graphs
CN109886416A (zh) * 2019-02-01 2019-06-14 京微齐力(北京)科技有限公司 集成人工智能模块的系统芯片及机器学习方法
CN113728383B (zh) 2019-02-22 2023-05-30 美光科技公司 存储器装置接口及方法
KR102351087B1 (ko) 2019-06-04 2022-01-14 주식회사 딥엑스 인공신경망의 데이터 로컬리티 기반의 데이터 캐슁을 이용하여 고속의 인공신경망 오퍼레이션을 지원하는 데이터 관리 장치
KR102301041B1 (ko) * 2019-07-04 2021-09-14 한국과학기술연구원 뉴로모픽 장치
US11934946B2 (en) 2019-08-01 2024-03-19 International Business Machines Corporation Learning and recall in spiking neural networks
US11054997B2 (en) * 2019-08-12 2021-07-06 Micron Technology, Inc. Artificial neural networks in memory
KR102832599B1 (ko) 2019-11-15 2025-07-14 삼성전자주식회사 메모리 기반의 뉴로모픽 장치
EP4081954A4 (en) 2019-12-27 2023-04-05 Micron Technology, Inc. NEUROMORPHIC STORAGE DEVICE AND METHOD
CN114930452A (zh) 2019-12-30 2022-08-19 美光科技公司 存储器装置接口和方法
EP4085459A4 (en) 2019-12-31 2024-02-21 Micron Technology, Inc. Memory module mutiple port buffer techniques
CN111461312B (zh) * 2020-03-26 2022-04-22 华中科技大学 一种基于忆阻器随机丢弃神经元
KR102860886B1 (ko) 2020-06-01 2025-09-18 삼성전자주식회사 스케줄러, 스케줄러의 동작 방법 및 이를 포함한 가속기 시스템
KR102204107B1 (ko) * 2020-07-16 2021-01-18 세종대학교산학협력단 뉴런의 임계값에 STDP(Spiking Timing Dependent Plasticity)를 적용한 스파이킹 뉴럴 네트워크(Spiking Neural Network)
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11221929B1 (en) 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor
US12248367B2 (en) 2020-09-29 2025-03-11 Hailo Technologies Ltd. Software defined redundant allocation safety mechanism in an artificial neural network processor
CN114037050B (zh) * 2021-10-21 2022-08-16 大连理工大学 一种基于脉冲神经网络内在可塑性的机器人退化环境避障方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3260357B2 (ja) * 1990-01-24 2002-02-25 株式会社日立製作所 情報処理装置
US7085749B2 (en) 2001-05-31 2006-08-01 Canon Kabushiki Kaisha Pulse signal circuit, parallel processing circuit, pattern recognition system, and image input system
US7430546B1 (en) 2003-06-07 2008-09-30 Roland Erwin Suri Applications of an algorithm that mimics cortical processing
WO2006000103A1 (en) * 2004-06-29 2006-01-05 Universite De Sherbrooke Spiking neural network and use thereof
US7627540B2 (en) 2005-06-28 2009-12-01 Neurosciences Research Foundation, Inc. Addressing scheme for neural modeling and brain-based devices using special purpose processor
US8103602B2 (en) 2006-12-29 2012-01-24 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of STDP and dopamine signaling
US7818273B2 (en) 2007-09-18 2010-10-19 International Business Machines Corporation System and method for cortical simulation
GB0811057D0 (en) * 2008-06-17 2008-07-23 Univ Ulster Artificial neural network architecture
WO2010025130A1 (en) 2008-08-28 2010-03-04 Massachusetts Institute Of Technology Circuits and methods representative of spike timing dependent plasticity of neurons
US8630966B2 (en) 2009-01-27 2014-01-14 Salk Institute For Biological Studies Temporally dynamic artificial neural networks
US8510244B2 (en) 2009-03-20 2013-08-13 ISC8 Inc. Apparatus comprising artificial neuronal assembly
US8250010B2 (en) * 2009-05-21 2012-08-21 International Business Machines Corporation Electronic learning synapse with spike-timing dependent plasticity using unipolar memory-switching elements
US20100312736A1 (en) 2009-06-05 2010-12-09 The Regents Of The University Of California Critical Branching Neural Computation Apparatus and Methods
US8527438B2 (en) 2009-12-22 2013-09-03 International Business Machines Corporation Producing spike-timing dependent plasticity in an ultra-dense synapse cross-bar array
US9665822B2 (en) 2010-06-30 2017-05-30 International Business Machines Corporation Canonical spiking neuron network for spatiotemporal associative memory
US9269042B2 (en) 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US8655813B2 (en) 2010-12-30 2014-02-18 International Business Machines Corporation Synaptic weight normalized spiking neuronal networks
US9147156B2 (en) 2011-09-21 2015-09-29 Qualcomm Technologies Inc. Apparatus and methods for synaptic update in a pulse-coded network
KR101888468B1 (ko) 2011-06-08 2018-08-16 삼성전자주식회사 Ｓｔｄｐ 기능 셀을 위한 시냅스, ｓｔｄｐ 기능 셀 및 ｓｔｄｐ 기능 셀을 이용한 뉴로모픽 회로
US9104973B2 (en) 2011-09-21 2015-08-11 Qualcomm Technologies Inc. Elementary network description for neuromorphic systems with plurality of doublets wherein doublet events rules are executed in parallel
US9460387B2 (en) * 2011-09-21 2016-10-04 Qualcomm Technologies Inc. Apparatus and methods for implementing event-based updates in neuron networks
US9412064B2 (en) 2011-08-17 2016-08-09 Qualcomm Technologies Inc. Event-based communication in spiking neuron networks communicating a neural activity payload with an efficacy update
US8725662B2 (en) 2011-09-21 2014-05-13 Brain Corporation Apparatus and method for partial evaluation of synaptic updates based on system events
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US9092735B2 (en) * 2011-09-21 2015-07-28 Qualcomm Incorporated Method and apparatus for structural delay plasticity in spiking neural networks
US9111222B2 (en) * 2011-11-09 2015-08-18 Qualcomm Incorporated Method and apparatus for switching the binary state of a location in memory in a probabilistic manner to store synaptic weights of a neural network
US8832010B2 (en) 2012-01-04 2014-09-09 International Business Machines Corporation Electronic synapses from stochastic binary memory devices
US9218563B2 (en) 2012-10-25 2015-12-22 Brain Corporation Spiking neuron sensory processing apparatus and methods for saliency detection
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
US9436908B2 (en) 2013-02-22 2016-09-06 Qualcomm Technologies Inc. Apparatus and methods for rate-modulated plasticity in a neuron network
US20140351186A1 (en) 2013-05-21 2014-11-27 Qualcomm Incorporated Spike time windowing for implementing spike-timing dependent plasticity (stdp)
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US20150046381A1 (en) 2013-08-06 2015-02-12 Qualcomm Incorporated Implementing delays between neurons in an artificial nervous system
US9330355B2 (en) 2013-08-06 2016-05-03 Qualcomm Incorporated Computed synapses for neuromorphic systems

Also Published As

Publication number Publication date
WO2014189970A2 (en) 2014-11-27
CN105229675A (zh) 2016-01-06
US9542643B2 (en) 2017-01-10
US20140351190A1 (en) 2014-11-27
CN105229675B (zh) 2018-02-06
KR101793011B1 (ko) 2017-11-02
WO2014189970A3 (en) 2015-04-09
JP2016522495A (ja) 2016-07-28
EP3000076A2 (en) 2016-03-30
KR20160010477A (ko) 2016-01-27

Similar Documents

Publication Publication Date Title
JP6130056B2 (ja) スパイキングネットワークの効率的なハードウェア実装
JP6275868B2 (ja) ニューラルウォッチドッグ
JP2016536679A (ja) ニューラルシミュレータ用の共有メモリアーキテクチャ
JP2016539414A (ja) スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習を実装すること
JP2017511936A (ja) 現在の計算リソースへのニューラルネットワーク適応
JP6133503B2 (ja) 擬似乱数のプログラム可能な確率分布関数を生成するための方法および装置
JP2017509951A (ja) スパースニューラルネットワークを構成すること
JP2017509952A (ja) シャドウネットワークでニューラルネットワークを監視すること
JP2017509982A (ja) 原位置ニューラルネットワークコプロセッシング
JP2017513127A (ja) スパイキング深層信念ネットワーク（ｄｂｎ）におけるトレーニング、認識、および生成
JP2016536657A (ja) ニューラルモデルのためのグループタグの実装のための方法および装置
JP2017519268A (ja) スパイキングニューラルネットワークにおけるグローバルスカラ値によって可塑性を調節すること
JP2017510890A (ja) 一般的なニューロンモデルの効率的な実装のための方法および装置
JP2017513108A (ja) サブしきい値変調を介するアナログ信号再構築および認識
JP6193509B2 (ja) 可塑性シナプス管理
WO2015112713A2 (en) Value synchronization across neural processors
JP2017509980A (ja) 動的な空間ターゲット選択
WO2015153150A2 (en) Probabilistic representation of large sequences using spiking neural network
JP2016537711A (ja) スパイキングニューロンのネットワークにおける輻輳回避
JP2017509956A (ja) 値をスパイクに変換するための方法
JP6133517B2 (ja) 座標変換のための位相コーディング
JP6219509B2 (ja) シナプス遅延を動的に割り当てることおおよび検査すること
JP6096388B2 (ja) ニューラルネットワークモデルにおけるドップラー効果処理
WO2015023441A2 (en) Post ghost plasticity
US20150278684A1 (en) Time synchronization of spiking neuron models on multiple nodes

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160205

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170203

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170203

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170412

R150 Certificate of patent or registration of utility model

Ref document number: 6130056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250