JP6219418B2 - ニューラルテンポラルコーディング、学習および認識のための方法および装置 - Google Patents
ニューラルテンポラルコーディング、学習および認識のための方法および装置 Download PDFInfo
- Publication number
- JP6219418B2 JP6219418B2 JP2016002807A JP2016002807A JP6219418B2 JP 6219418 B2 JP6219418 B2 JP 6219418B2 JP 2016002807 A JP2016002807 A JP 2016002807A JP 2016002807 A JP2016002807 A JP 2016002807A JP 6219418 B2 JP6219418 B2 JP 6219418B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- pattern
- delay
- neuron
- synapses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0409—Adaptive resonance theory [ART] networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
図1は、本開示のいくつかの態様による、複数のレベルのニューロンを含む例示的なニューラルシステム100を示す。ニューラルシステム100は、シナプス結合のネットワーク104を介して別のレベルのニューロン106に接続されたあるレベルのニューロン102を備え得る。簡単のために、図1には2レベルのニューロンのみが示されているが、代表的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。
ニューラルシステム100のニューロン回路は、タイミングスパイクの形のいわゆるテンポラルコードを使って、テンポラルに情報を通信することができるので、コーディングおよび復号方法ならびにそのようなテンポラル情報を学習する方法が、主要な対象となる。本開示のいくつかの態様は、他の「テンポラルパターン」方法とは対照的に、入力の一致または入力の順序だけではなく、顕著なテンポラルパターンのための方法をサポートする。さらに、本開示は、生物学的に示唆される/一貫するが、複雑さが低減され、テンポラルスパイク信号パターンをコード化し、復号し、認識し、学習することが可能な実用的方法を提案する。
シナプスにおける入力の間の相対遅延、シナプスにおける入力と基準入力との間の相対遅延、または両方に基づいてニューロンの行動を判断することができる方法を、本開示において提案する。テンポラルコーディングモデルの基本側面を、図3に示す。ニューロン302、304、306、308(すなわち、入力ニューロン)から出力されるスパイクの空間テンポラルパターンは、ニューロン310(すなわち、出力ニューロン)に対するスパイク入力を構成し得る。各入力ニューロンは、ニューロン310の1つまたは複数の樹状突起上の1つまたは複数のシナプスによりニューロン310に結合し得る。各シナプスは、ニューロン304をニューロン310に結合するシナプス312について図3に示すように、入力ニューロンからのスパイクが、ニューロン310の細胞体に達する前に受ける時間遅延を特徴付ける関連遅延を有し得る。図3に示すように、入力は、遅延および統合の前にスケーリングを受ける場合がある。あるいは、入力は、大規模ニューラルネットワークにおける処理削減のために、スケーリングの前に遅延を受ける場合がある。
ニューロンが、所与の持続時間のテンポラルスパイクパターンを認識することが可能であるためには、シナプスのセットが、パターン持続時間に対応する樹状遅延のスパンでの、ゼロでない(または無視できない)重みを有する必要があり得る。したがって、いくつかの要因が、分解できるパターン持続時間(時間ウィンドウスパン)、サイズ(ウィンドウ中のスパイク)および分解できるタイミング精度の判断にとって適切であり得る。本開示のいくつかの態様によると、これらの要因は、樹状突起の長さ(最大遅延)、区画メモリ(樹状突起または細胞体内の膜の時定数)、シナプス前膜応答性(シナプス前のフィルタリング効果の時定数、AP幅の判断)、シナプスコンダクタンスの時定数、または樹状突起内の機能演算(たとえば、論理OR、それに対する論理AND)のうちの少なくとも1つを備え得る。
本開示のいくつかの態様によると、シナプスターンオーバも、上述した問題を解決するのに重要であり得る。実際、シナプスターンオーバは、シナプスの数もしくは重みが制限される(または両方)場合、上記問題を解決するのに要求され得る。シナプスターンオーバは、異なる時間遅延または異なる入力用にシナプスリソースを再利用することを備え得る。このことは、リソースが制限され、または結合が制限される場合に重要であり得る。
STDPまたは他のヘブ則学習機構を用いると、学習は発火を要求し得ることに留意されたい。発火しないニューロンは、学習をしない。他のやり方でニューラルネットワークを制限せずに効果的に学習が開始するようにするのを助けるためのいくつかの方法が、本開示において提案される。ニューロンは、大きい重み、多数のシナプス、より長い時定数、低いしきい値(高い相対静止状態)、最初は比較的少ない抑制、またはより大きい入力ノイズのうちの少なくとも1つを構成することによって、発火するようにされ得る。
発火カウント(活動の履歴)に基づいて重み調整レートを低下させることによって、ニューロンの学習レートは、パターンが学習されると固定化し得るように、「冷却」することができる。このことは、上述した問題により、テンポラルコーディングにおいて特に有用であり得る。たとえば、STDPまたは他の規則の使用は、パターンウィンドウが重複し、したがって冗長になってしまうまで、パターンウィンドウをシフトしようとする傾向があり得る。重みが「冷却」した場合、この傾向は回避され得る。
パターンの所与の持続時間とサイズ(入力の数)とをテンポラルパターンマッチングすることが可能なニューロンを設計するために、提案されるテンポラルパターン方法を使用することができる。ただし、より大きいパターンとマッチングすることがさらに所望される場合がある。図12は、入力(スパイク)を示すバーのプロット1200を示す。スパイクの垂直ポジションは、入力インデックスまたは空間次元を示し、水平方向は時間を表す。図12に示すように、対応するボックス1202、1204、1206によって示される全体的パターンの空間テンポラル部分を認識することが可能であり得る3つのパターンマッチングニューロン、すなわちx、yおよびzがあり得る。パターンマッチングニューロンの各々は、重複し得る、異なる空間テンポラルフレームにおける入力を考慮することができる。
図12に示す例1200では、ニューロンx、yおよびzがすべて発火した場合、完全パターンの大部分がマッチングされ得る。ただし、空間テンポラルフレームワーク中に、このマッチングは、出力を空間的に組み合わせるだけでなく、テンポラルに組み合わせることも要求し得る。したがって、次のレイヤのニューロンiは、図13に示すように、一致する遅延を有し得る。図13において、3つのレイヤ1302、1304、1306を、レイヤ1302における入力、レイヤ1304における小さいパターンニューロンx、y、z、およびレイヤ1306における長い/大きいパターンニューロンiとともに示す。図13から、両方のレイヤ1304および1306の出力が空間テンポラルパターンを形成し得ることを観察することができる。レイヤ1306のニューロンiは、x、y、zニューロンスパイクパターンとマッチングするシナプスについての重みおよび遅延を備え得る。図13に示す例において、ニューロンiは、(x/zの、およびyの)隣接時間ウィンドウの結果を組み合わせることができるが、これは、この構造的ビルディングブロックは、後続レイヤが一層長いまたは大きい空間テンポラルパターンを符号化/復号/応答する階層ネットワークアーキテクチャに組み立てられ得るので、例にすぎない。
さらに、軸索遅延またはネットワークアーキテクチャ上の(異なる経路)遅延との組合せで、より長いパターンを、いくつかのレイヤにマッチングすることもできる。これについては、図14で説明され得る。レイヤ1404のニューロンw、x、y、およびzは、レイヤ1402の求心性部分における空間テンポラルパターンのサブパターンを認識することができる。レイヤ1404の発火時間(活動電位(AP)発生時間)が、レイヤ1406に示されている。ただし、APが、そのそれぞれの軸索に沿って伝播し、レイヤ1410中にあるニューロンi上のシナプス(1つまたは複数)に達するには、ある程度の時間がかかり得る。さらに、軸索ケーブルプロパティ(長さ、コンダクタンス、膜コンダクタンスなど)によっては、ニューロンに依存して異なる時間量がかかり得る。この場合、ニューロンx、y、およびzは、細胞体から、ニューロンiをもつシナプス接合部におけるシナプス前点まで、ニューロンwの場合よりも長い軸索距離(もしくはより遅い速度(より薄いミエリン)、またはより大きいホップネットワーク経路)を有し得る。シナプス前点におけるAPタイミングは、レイヤ1408中に示されている。この点におけるタイミングは、ニューロンiが分解し得る(すなわち、起点におけるよりもはるかに時間が接近している)時間ウィンドウ1412内であり得る。ニューロンiは、このパターンと、したがってレイヤ1402のパターン全体とを認識することができ、それに従って発火し得る。効果的には、軸索遅延は、任意に長いパターンのパターン認識を、ニューロンiが認識するべきウィンドウに圧縮済みである。
さらに、単一のニューロンを使って、一層長いテンポラルパターンマッチングを達成することができる。単一のニューロンは、複数のパターンを認識するように構成され得ることに留意されたい。この構成は、入力パターン(部分)に依存して異なるシナプスが一致し得るので、可能であり得る。図16に、同じ4つの入力ニューロン1602、1604、1606、1608のうち、あるパターンの2つの部分を示してある。第1の部分(半分)について、いくつかの遅延が、一致するアラインメントを引き起こす可能性があり、他の遅延はその可能性がないことに留意されたい。ただし、パターンの第2の部分(半分)でアラインするのは、他の遅延(シナプス)であり得る。シナプスの重み(および数)が、パターンの第1の部分を認識するとニューロン1610が発火するようなものである場合、この重みは、ニューロン自体に(遅延もともに)フィードバックされ、パターンの第2の部分とのマッチングを行うのに使われてよい。当然ながら、このことは、どの長さのパターンにも一般化され得る。それゆえ、一回帰ニューロン1610が、長いパターンおよび/または大きい空間パターンを認識することができる。
異なるニューロンを用いて、異なるパターンを認識することができる。教師なしトレーニングでは、異なるパターンをニューロンが自律的に学習/選択することが望ましい場合がある。ただし、スパイクタイミング依存可塑性(STDP)により、一般に表されるように、ニューロンが分化するのを防止することができる。これは、異なる部分に対して個々のニューロンを使って、より長いパターンを学習する際にも重要であり得る。(複数の部分の間で)分化がない場合、全体的なパターン対応(マッチ/学習)が防止され得る。
従来から、ニューラル通信は、ニューロンの発火(スパイキング)レートでコード化されるように理論化されている。ただし、スパイクタイミングの重要性は、通信がスパイクのテンポラルな一致でコード化され得るように提案される。さらに、スパイクタイミングにおけるテンポラルパターンが情報をコード化し得ることが提案され、そのようなテンポラルパターンの復号および学習を、生物学的に理にかなったやり方で遂行できるようにするための方法が提案される。本開示では、単一モデルがどのように、情報コーディング方式のスペクトルを発火(スパイク)レートから、スパイクテンポラルパターンとのスパイク一致に符号化/復号することができるか、およびこのようなモデルがどのように、このようなスペクトルにわたる復号方法に動的に適合し、または複数のコードフォームに対して同時に普遍的に動作し得るかが、さらに提案される。さらに、生物学的に示唆され/一貫するが、計算の複雑度が低下した実用的方法が提案される。
本開示において提案される方法の主要な利点は、発火レートでコード化された情報、スパイクタイミング一致、またはスパイク空間テンポラルパターンはすべて、同じニューロンモデルによって復号され得ることである。例示的ケースでは、図20に示すように、ニューロンa〜dからの求心性部分(入力)をもつニューロンxと見なすことができる。さらに、ニューロンxへのそれらの求心性部分の入力情報は、一致、テンポラルパターンまたは発火レート(または発火レート組合せ)のいずれかの形でコード化され得ると仮定することができる。図20は、そのような形を復号する、3つの代表的例2002、2004、2006を示し、Δtによって示される任意の時間分解能があってよく、個々の結合遅延は、その倍数で示すことができる(すなわち、遅延nAiは整数である)。
普遍的学習:すべてのコード、すなわち一致、時間および発火レートの組合せに対して1つの方法
ニューロンの構成は可塑性があり得るので、特定の入力への結合に関連付けられた重み(1つまたは複数)(ならびに/あるいは遅延および/または結合/シナプスの数)が学習され得る。一般に、ヘブ則学習またはスパイクタイミング依存可塑性(STDP)が、教師なし学習において、入力と出力との間の近似因果律関係を学習するのに使われ得る。そのような方法は、テンポラルパターン学習に適用することができ、発火レートをマッチングするのに、求心性部分ごとに2つ以上の遅延をどのように使うことができるか、そのような学習が、特定のニューロンに入力される一致、テンポラルパターンおよび/または発火レートもしくはレート組合せを普遍的に学習するのに適用され得ることを、本開示に示す。これにとっての主要な要素は、オリジナルスパイクタイミングではなくアラインされた(画像)スパイクのタイミングに基づいて、結合に学習が適用され得ることである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ニューラルテンポラルコーディングの方法であって、
ニューロン回路への1つまたは複数のシナプス入力を時間遅延によって遅延させる相対遅延線抽象化を使用することと、
前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断するために、動的スパイキングモデルを適用することと、
教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存する前記シナプス入力に関連付けられた重みを調整することと
を備える方法。
[C2]
前記重み、前記ニューロン回路に関連付けられたシナプスの数、前記シナプスの時間定数、前記ニューロン回路の発火しきい値、前記ニューロン回路の抑制度合、または前記ニューロン回路に関連付けられたノイズのうちの少なくとも1つを、前記ニューロン回路の初期発火レートを誘導するように制御することをさらに備える、
[C1]に記載の方法。
[C3]
前記教師なし学習規則によって、前記重みの調整のためにシミュレートされたアニーリングを適用することをさらに備える、
[C1]に記載の方法。
[C4]
前記ニューロン回路に関連付けられた再利用可能シナプスを選択することと、
重み、遅延、または前記再利用可能シナプスの求心性部分のうちの少なくとも1つを修正することと
をさらに備える、[C1]に記載の方法。
[C5]
前記再利用可能シナプスを選択することは、前記教師なし学習規則によって、しきい値を下回る値まで削減される前記再利用可能シナプスの重みに基づく、
[C4]に記載の方法。
[C6]
前記再利用可能シナプスを選択することは、前記シナプスが再利用されてから経過した時間によって条件付けられる、
[C4]に記載の方法。
[C7]
ニューラルテンポラルコーディングのための装置であって、
ニューロン回路への1つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用するように構成された第1の回路と、
前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断するために動的スパイキングモデルを適用するように構成された第2の回路と、
教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存して、前記シナプス入力に関連付けられた重みを調整するように構成された第3の回路と
を備える装置。
[C8]
前記重み、前記ニューロン回路に関連付けられたシナプスの数、前記シナプスの時間定数、前記ニューロン回路の発火しきい値、前記ニューロン回路の抑制度合、または前記ニューロン回路に関連付けられたノイズのうちの少なくとも1つを、前記ニューロン回路の初期発火レートを誘導するように制御するように構成された第4の回路をさらに備える、
[C7]に記載の装置。
[C9]
前記教師なし学習規則によって、前記重みの調整のためにシミュレートされたアニーリングを適用するように構成された第4の回路をさらに備える、
[C7]に記載の装置。
[C10]
前記ニューロン回路に関連付けられた再利用可能シナプスを選択するように構成された第4の回路と、
重み、遅延、または前記再利用可能シナプスの求心性部分のうちの少なくとも1つを修正するように構成された第5の回路とをさらに備える、[C7]に記載の装置。
[C11]
前記再利用可能シナプスを選択することは、前記教師なし学習規則によって、しきい値を下回る値まで削減される前記再利用可能シナプスの重みに基づく、
[C10]に記載の装置。
[C12]
前記再利用可能シナプスを選択することは、前記シナプスが再利用されてから経過した時間によって条件付けられる、
[C10]に記載の装置。
[C13]
ニューラルテンポラルコーディングのための装置であって、
ニューロン回路への1つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用するための手段と、
前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断するために動的スパイキングモデルを適用するための手段と、
教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存して、前記シナプス入力に関連付けられた重みを調整するための手段と
を備える装置。
[C14]
前記重み、前記ニューロン回路に関連付けられたシナプスの数、前記シナプスの時間定数、前記ニューロン回路の発火しきい値、前記ニューロン回路の抑制度合、または前記ニューロン回路に関連付けられたノイズのうちの少なくとも1つを、前記ニューロン回路の初期発火レートを誘導するように制御するための手段をさらに備える、
[C13]に記載の装置。
[C15]
前記教師なし学習規則によって、前記重みの調整のためにシミュレートされたアニーリングを適用するための手段をさらに備える、
[C13]に記載の装置。
[C16]
前記ニューロン回路に関連付けられた再利用可能シナプスを選択するための手段と、
重み、遅延、または前記再利用可能シナプスの求心性部分のうちの少なくとも1つを修正するための手段と
をさらに備える、[C13]に記載の装置。
[C17]
前記再利用可能シナプスを選択することは、前記教師なし学習規則によって、しきい値を下回る値まで削減される前記再利用可能シナプスの重みに基づく、
[C16]に記載の装置。
[C18]
前記再利用可能シナプスを選択することは、前記シナプスが再利用されてから経過した時間によって条件付けられる、
[C16]に記載の装置。
[C19]
コンピュータ可読媒体を備える、ニューラルテンポラルコーディングのためのコンピュータプログラム製品であって、前記コンピュータ可読媒体は、
ニューロン回路への1つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用することと、
前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断するために、動的スパイキングモデルを適用することと、
教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存して、前記シナプス入力に関連付けられた重みを調整することと
を行うためのコードを備えるコンピュータプログラム製品。
[C20]
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングの方法であって、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合することと、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第1のレイヤを、入力パターンの第1のサブセクションとマッチングすることと
を備え、
前記入力パターンのサブセクションと前記入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤが、前記別のレイヤのニューロン回路の発火の組合せにマッチングする、
方法。
[C21]
前記入力パターンの別のサブセクションは、前記入力パターンのサブセクションに連続する、
[C20]に記載の方法。
[C22]
前記第1のレイヤは、ポリクロノス発火波をリプレイすることによって、テンポラルコードでメモリを維持する入力パターンの前記第1のサブセクションによって励起される回帰ニューロン回路のネットワークを備え、前記方法は、
前記入力パターンの第2のサブセクションと前記ポリクロノス発火波の組合せによって、前記マルチレイヤニューラルネットワークの回帰ニューロン回路の別のネットワークを励起させることをさらに備える、
[C20]に記載の方法。
[C23]
前記階層型マルチレイヤニューラルネットワークのレイヤの間の軸索遅延は、応答が前記入力パターンの第2の部分に対応する時間ウィンドウ内に入るように前記入力パターンの第1の部分にマッチングするまで前記応答を遅延させる、
[C20]に記載の方法。
[C24]
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合するように構成された第1の回路と、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第1のレイヤを、入力パターンの第1のサブセクションとマッチングするように構成された第2の回路と
を備え、
前記入力パターンのサブセクションと前記入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤが、前記別のレイヤのニューロン回路の発火の組合せにマッチングする、
装置。
[C25]
前記入力パターンの別のサブセクションは、前記入力パターンのサブセクションに連続する、
[C24]に記載の装置。
[C26]
前記第1のレイヤは、ポリクロノス発火波をリプレイすることによって、テンポラルコードでメモリを維持する入力パターンの前記第1のサブセクションによって励起される回帰ニューロン回路のネットワークを備え、前記装置は、
前記入力パターンの第2のサブセクションと前記ポリクロノス発火波の組合せによって、前記マルチレイヤニューラルネットワークの回帰ニューロン回路の別のネットワークを励起させるように構成された第3の回路をさらに備える、
[C24]に記載の装置。
[C27]
前記階層型マルチレイヤニューラルネットワークのレイヤの間の軸索遅延は、応答が前記入力パターンの第2の部分に対応する時間ウィンドウ内に入るように前記入力パターンの第1の部分にマッチングするまで前記応答を遅延させる、
[C24]に記載の装置。
[C28]
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合するための手段と、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第1のレイヤを、入力パターンの第1のサブセクションとマッチングするための手段と
を備え、
前記入力パターンのサブセクションと前記入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤが、前記別のレイヤのニューロン回路の発火の組合せにマッチングする、
装置。
[C29]
入力パターンの前記別のサブセクションが、入力パターンの前記サブセクションに連続する、[C28]に記載の装置。
[C30]
前記第1のレイヤが、ポリクロノス発火波をリプレイすることによって、テンポラルコードでメモリを維持する入力パターンの前記第1のサブセクションによって励起される回帰ニューロン回路のネットワークを備え、前記装置が、
前記入力パターンの第2のサブセクションと前記ポリクロノス発火波の組合せによって、前記マルチレイヤニューラルネットワークの回帰ニューロン回路の別のネットワークを励起させるための手段をさらに備える、[C28]に記載の装置。
[C31]
前記階層型マルチレイヤニューラルネットワークのレイヤの間の軸索遅延が、応答が前記入力パターンの第2の部分に対応する時間ウィンドウ内に入るように前記入力パターンの第1の部分にマッチングするまで前記応答を遅延させる、[C28]に記載の装置。
[C32]
コンピュータ可読媒体を備える、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのためのコンピュータプログラム製品であって、前記コンピュータ可読媒体は、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合することと、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第1のレイヤを、入力パターンの第1のサブセクションとマッチングすることと
を行うためのコードを備え、
前記入力パターンのサブセクションと前記入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤが、前記別のレイヤのニューロン回路の発火の組合せにマッチングする、
コンピュータプログラム製品。
[C33]
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングの方法であって、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えることを備え、
前記シナプス入力のうちの少なくとも1つは、自己結合されている前記シナプスのうちの少なくとも1つに関連付けられ、
前記シナプスが複数のセットに属し、
前記セットのうちの少なくとも1つは、再帰的自己結合を備えない前記シナプス入力のパターンの第1の部分にマッチングするべき遅延組合せを備える、
方法。
[C34]
前記複数のセットのうちの少なくとも1つの他のセットは、前記パターンの第2の部分と、前記第1のパターン部分を、別の遅延組合せにマッチングする前記第2のパターン部分と相関させるための遅延を有する自己結合されている前記少なくとも1つのシナプスとをマッチングするための前記別の遅延組合せを備える、
[C33]に記載の方法。
[C35]
自己結合されている前記少なくとも1つのシナプスに関連付けられた軸索遅延は、前記第1のパターン部分にマッチングしたことに対する応答を、前記第2のパターン部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
[C33]に記載の方法。
[C36]
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えるように構成された第1の回路を備え、
前記シナプス入力のうちの少なくとも1つが、自己結合されている前記シナプスのうちの少なくとも1つに関連付けられ、
前記シナプスが複数のセットに属し、
前記セットのうちの少なくとも1つが、再帰的自己結合を備えない前記シナプス入力のパターンの第1の部分にマッチングするべき遅延組合せを備える、
装置。
[C37]
前記複数のセットのうちの少なくとも1つの他のセットは、前記パターンの第2の部分と、前記第1のパターン部分を、別の遅延組合せにマッチングする前記第2のパターン部分と相関させるための遅延を有する自己結合されている前記少なくとも1つのシナプスとをマッチングするための前記別の遅延組合せを備える、
[C36]に記載の装置。
[C38]
自己結合されている前記少なくとも1つのシナプスに関連付けられた軸索遅延は、前記第1のパターン部分にマッチングしたことに対する応答を、前記第2のパターン部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
[C36]に記載の装置。
[C39]
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えるための手段を備え、
前記シナプス入力のうちの少なくとも1つは、自己結合されている前記シナプスのうちの少なくとも1つに関連付けられ、
前記シナプスは、複数のセットに属し、
前記セットのうちの少なくとも1つは、再帰的自己結合を備えない前記シナプス入力のパターンの第1の部分にマッチングするための遅延組合せを備える
装置。
[C40]
前記複数のセットのうちの少なくとも1つの他のセットは、前記パターンの第2の部分と、前記第1のパターン部分を、別の遅延組合せにマッチングする前記第2のパターン部分と相関させるための遅延を有する自己結合されている前記少なくとも1つのシナプスとをマッチングするための前記別の遅延組合せを備える、
[C39]に記載の装置。
[C41]
自己結合されている前記少なくとも1つのシナプスに関連付けられた軸索遅延は、前記第1のパターン部分にマッチングしたことに対する応答を、前記第2のパターン部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
[C39]に記載の装置。
[C42]
コンピュータ可読媒体を備える、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのためのコンピュータプログラム製品であって、前記コンピュータ可読媒体は、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えることを行うためのコードを備え、
前記シナプス入力のうちの少なくとも1つは、自己結合されている前記シナプスのうちの少なくとも1つに関連付けられ、
前記シナプスは、複数のセットに属し、
前記セットのうちの少なくとも1つは、再帰的自己結合を備えない前記シナプス入力のパターンの第1の部分にマッチングするための遅延組合せを備える、
コンピュータプログラム製品。
[C43]
一般入力パターンのためのニューラルコーディングの方法であって、
細胞体をもつニューロン回路に1つまたは複数のシナプスを結合することと、ここで、前記1つまたは複数のシナプスの各々が、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有する、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くことと
を備え、
前記1つまたは複数のシナプスの1つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの1つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも1つを備える、
方法。
[C44]
前記一致サブパターンに対応するシナプスのセットは、異なる入力求心性部分についての同じ遅延を有し、
前記発火パターンのサブパターンに対応するシナプスのセットは、同じ入力求心性部分についての異なる遅延を有し、
前記テンポラルパターンのサブパターンに対応するシナプスのセットは、異なる入力求心性部分についての異なる遅延を有する、
[C43]に記載の方法。
[C45]
互いからオフセットされている遅延を有する前記発火パターンに対応する前記シナプスの2つ以上のセットを有することによって、学習された発火レートに前記ニューロン回路が応答するための遅延を最小限にすることをさらに備える、
[C44]に記載の方法。
[C46]
前記2つ以上のセットからの前記シナプスのうちの一部を、1つまたは複数の望まれないレートのエイリアスに起因する前記ニューロン回路の発火を引き起こす時間オフセットを省くようにパンクチャすることをさらに備える、
[C45]に記載の方法。
[C47]
前記ニューロン回路の発火の統合ウィンドウを、前記ニューロン回路は、他の結合とは等しくない遅延をもつ単一結合入力とは反対に同じである、結合ごとの複数の遅延、または異なる結合についての遅延を有する程度に依存して変えることをさらに備える、
[C43]に記載の方法。
[C48]
学習のせいで抑圧した前記結合を、同じ入力への既存の結合によってすでに使用されているいずれとも異なる遅延をもつ、その同じ入力に割り当て直すことをさらに備える、
[C47]に記載の方法。
[C49]
異なる入力に、学習のせいで抑圧した前記結合を割り当て直すことをさらに備える、
[C47]に記載の方法。
[C50]
前記ニューロン回路の前記入力求心性部分のうちの1つについての遅延のセットにおける遅延の間の時間差は、その1つの入力求心性部分に関連付けられた発火レートの逆の倍数に対応する、
[C43]に記載の方法。
[C51]
アラインされていない前記入力求心性部分の1つまたは複数の余分補助遅延スパイクが1つまたは複数のしきい値を下回り、
前記1つまたは複数のサブしきい値余分補助遅延スパイクが、前記ニューロン回路のパターンマッチング実施を中断しない、
[C43]に記載の方法。
[C52]
一般入力パターンのためのニューラルコーディングのための装置であって、
細胞体をもつニューロン回路に1つまたは複数のシナプスを結合するように構成された第1の回路と、ここで、前記1つまたは複数のシナプスの各々は、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有するように構成される、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くように構成された第2の回路と
を備え、
前記1つまたは複数のシナプスの1つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの1つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも1つを備える、
装置。
[C53]
前記一致サブパターンに対応するシナプスのセットは、異なる入力求心性部分についての同じ遅延を有し、
前記発火パターンのサブパターンに対応するシナプスのセットは、同じ入力求心性部分についての異なる遅延を有し、
前記テンポラルパターンのサブパターンに対応するシナプスのセットは、異なる入力求心性部分についての異なる遅延を有する、
[C52]に記載の装置。
[C54]
互いからオフセットされている遅延を有する前記発火パターンに対応する前記シナプスの2つ以上のセットを有することによって、学習された発火レートに前記ニューロン回路が応答するための遅延を最小限にするように構成された第3の回路をさらに備える、
[C53]に記載の装置。
[C55]
前記2つ以上のセットからの前記シナプスのうちの一部を、1つまたは複数の望まれないレートのエイリアスに起因する前記ニューロン回路の発火を引き起こす時間オフセットを省くようにパンクチャするように構成された第4の回路をさらに備える、
[C54]に記載の装置。
[C56]
前記ニューロン回路の発火の統合ウィンドウを、前記ニューロン回路が、他の結合とは等しくない遅延をもつ単一結合入力とは反対に同じである、結合ごとの複数の遅延、または異なる結合についての遅延を有する程度に依存して変えるように構成された第3の回路をさらに備える、
[C52]に記載の装置。
[C57]
学習のせいで抑圧した前記結合を、同じ入力への既存の結合によってすでに使用されているいずれとも異なる遅延をもつ、その同じ入力に割り当て直すように構成された第4の回路をさらに備える、
[C56]に記載の装置。
[C58]
異なる入力に、学習のせいで抑圧した前記結合を割り当て直すように構成された第4の回路をさらに備える、
[C56]に記載の装置。
[C59]
前記ニューロン回路の前記入力求心性部分のうちの1つについての遅延のセットにおける遅延の間の時間差が、その1つの入力求心性部分に関連付けられた発火レートの逆の倍数に対応する、
[C52]に記載の装置。
[C60]
アラインされていない前記入力求心性部分の1つまたは複数の余分補助遅延スパイクが1つまたは複数のしきい値を下回り、
前記1つまたは複数のサブしきい値余分補助遅延スパイクが、前記ニューロン回路のパターンマッチング実施を中断しない、
[C52]に記載の装置。
[C61]
一般入力パターンのためのニューラルコーディングのための装置であって、
細胞体をもつニューロン回路に1つまたは複数のシナプスを結合するための手段と、ここで、前記1つまたは複数のシナプスの各々は、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有する、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くための手段と
を備え、
前記1つまたは複数のシナプスの1つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの1つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも1つを備える、
装置。
[C62]
前記一致サブパターンに対応するシナプスのセットは、異なる入力求心性部分についての同じ遅延を有し、
前記発火パターンのサブパターンに対応するシナプスのセットは、同じ入力求心性部分についての異なる遅延を有し、
前記テンポラルパターンのサブパターンに対応するシナプスのセットは、異なる入力求心性部分についての異なる遅延を有する、
[C61]に記載の装置。
[C63]
互いからオフセットされている遅延を有する前記発火パターンに対応する前記シナプスの2つ以上のセットを有することによって、学習された発火レートに前記ニューロン回路が応答するための遅延を最小限にするための手段をさらに備える、
[C62]に記載の装置。
[C64]
前記2つ以上のセットからの前記シナプスのうちの一部を、1つまたは複数の望まれないレートのエイリアスに起因する前記ニューロン回路の発火を引き起こす時間オフセットを省くようにパンクチャするための手段をさらに備える、
[C63]に記載の装置。
[C65]
前記ニューロン回路の発火の統合ウィンドウを、前記ニューロン回路が、他の結合とは等しくない遅延をもつ単一結合入力とは反対に同じである、結合ごとの複数の遅延、または異なる結合についての遅延を有する程度に依存して変えるための手段をさらに備える、
[C61]に記載の装置。
[C66]
学習のせいで抑圧した前記結合を、同じ入力への既存の結合によってすでに使用されているいずれとも異なる遅延をもつ、その同じ入力に割り当て直すための手段をさらに備える、
[C65]に記載の装置。
[C67]
異なる入力に、学習のせいで抑圧した前記結合を割り当て直すための手段をさらに備える、
[C65]に記載の装置。
[C68]
前記ニューロン回路の前記入力求心性部分のうちの1つについての遅延のセットにおける遅延の間の時間差が、その1つの入力求心性部分に関連付けられた発火レートの逆の倍数に対応する、
[C61]に記載の装置。
[C69]
アラインされていない前記入力求心性部分の1つまたは複数の余分補助遅延スパイクが1つまたは複数のしきい値を下回り、
前記1つまたは複数のサブしきい値余分補助遅延スパイクは、前記ニューロン回路のパターンマッチング実施を中断しない、
[C61]に記載の装置。
[C70]
コンピュータ可読媒体を備える、一般入力パターン向けのニューラルコーディングのためのコンピュータプログラム製品であって、コンピュータ可読媒体は、
細胞体をもつニューロン回路に1つまたは複数のシナプスを結合することを行うことと、ここで、前記1つまたは複数のシナプスの各々は、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有する、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くことと
を行うためのコードを備え、
前記1つまたは複数のシナプスの1つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの1つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも1つを備える、
コンピュータプログラム製品。
Claims (48)
- 長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングの方法であって、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合することと、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第1のレイヤを、入力パターンの第1のサブセクションとマッチングすることと
を備え、
結合されたレイヤは、前記入力パターンのサブセクションのマッチング結果としての前記別のレイヤのニューロン回路の発火の組合せと前記入力パターンの別のサブセクションとマッチングする、
方法。 - 前記入力パターンの別のサブセクションは、前記入力パターンのサブセクションに連続する、
請求項1に記載の方法。 - 前記第1のレイヤは、ポリクロノス発火波をリプレイすることによって、テンポラルコードでメモリを維持する入力パターンの前記第1のサブセクションによって励起される回帰ニューロン回路のネットワークを備え、前記方法は、
前記入力パターンの第2のサブセクションと前記ポリクロノス発火波の組合せによって、前記マルチレイヤニューラルネットワークの回帰ニューロン回路の別のネットワークを励起させることをさらに備える、
請求項1に記載の方法。 - 前記階層型マルチレイヤニューラルネットワークのレイヤの間の軸索遅延は、前記入力パターンの第1の部分にマッチングしたことに対応する応答を、前記入力の第2の部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
請求項1に記載の方法。 - 長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合するように構成された第1の回路と、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第1のレイヤを、入力パターンの第1のサブセクションとマッチングするように構成された第2の回路と
を備え、
結合されたレイヤは、前記入力パターンのサブセクションのマッチング結果としての前記別のレイヤのニューロン回路の発火の組合せと前記入力パターンの別のサブセクションとマッチングする、
装置。 - 前記入力パターンの別のサブセクションは、前記入力パターンのサブセクションに連続する、
請求項5に記載の装置。 - 前記第1のレイヤは、ポリクロノス発火波をリプレイすることによって、テンポラルコードでメモリを維持する入力パターンの前記第1のサブセクションによって励起される回帰ニューロン回路のネットワークを備え、前記装置は、
前記入力パターンの第2のサブセクションと前記ポリクロノス発火波の組合せによって、前記マルチレイヤニューラルネットワークの回帰ニューロン回路の別のネットワークを励起させるように構成された第3の回路をさらに備える、
請求項5に記載の装置。 - 前記階層型マルチレイヤニューラルネットワークのレイヤの間の軸索遅延は、前記入力パターンの第1の部分にマッチングしたことに対応する応答を、前記入力の第2の部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
請求項5に記載の装置。 - 長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合するための手段と、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第1のレイヤを、入力パターンの第1のサブセクションとマッチングするための手段と
を備え、
結合されたレイヤは、前記入力パターンのサブセクションのマッチング結果としての前記別のレイヤのニューロン回路の発火の組合せと前記入力パターンの別のサブセクションとマッチングする
装置。 - 入力パターンの前記別のサブセクションが、入力パターンの前記サブセクションに連続する、請求項9に記載の装置。
- 前記第1のレイヤが、ポリクロノス発火波をリプレイすることによって、テンポラルコードでメモリを維持する入力パターンの前記第1のサブセクションによって励起される回帰ニューロン回路のネットワークを備え、前記装置が、
前記入力パターンの第2のサブセクションと前記ポリクロノス発火波の組合せによって、前記マルチレイヤニューラルネットワークの回帰ニューロン回路の別のネットワークを励起させるための手段をさらに備える、請求項9に記載の装置。 - 前記階層型マルチレイヤニューラルネットワークのレイヤの間の軸索遅延は、前記入力パターンの第1の部分にマッチングしたことに対応する応答を、前記入力の第2の部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、請求項9に記載の装置。
- 長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのためのコンピュータプログラムであって、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合することと、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第1のレイヤを、入力パターンの第1のサブセクションとマッチングすることと
を少なくとも1つのプロセッサによって行わせるためのコードを備え、
結合されたレイヤは、前記入力パターンのサブセクションのマッチング結果としての前記別のレイヤのニューロン回路の発火の組合せと前記入力パターンの別のサブセクションとマッチングする
コンピュータプログラム。 - 長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングの方法であって、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えることを備え、
前記シナプス入力のうちの少なくとも1つは、自己結合されている前記シナプスのうちの少なくとも1つに関連付けられ、
前記シナプスが複数のセットに属し、
前記セットのうちの少なくとも1つは、再帰的自己結合を備えない前記シナプス入力のパターンの第1の部分にマッチングするべき遅延組合せを備える、
方法。 - 前記複数のセットのうちの少なくとも1つの他のセットは、前記パターンの第2の部分と、前記第1のパターン部分を、別の遅延組合せにマッチングする前記第2のパターン部分と相関させるための遅延を有する自己結合されている前記少なくとも1つのシナプスとをマッチングするための前記別の遅延組合せを備える、
請求項14に記載の方法。 - 自己結合されている前記少なくとも1つのシナプスに関連付けられた軸索遅延は、前記第1のパターン部分にマッチングしたことに対する応答を、前記第2のパターン部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
請求項15に記載の方法。 - 長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えるように構成された第1の回路を備え、
前記シナプス入力のうちの少なくとも1つが、自己結合されている前記シナプスのうちの少なくとも1つに関連付けられ、
前記シナプスが複数のセットに属し、
前記セットのうちの少なくとも1つが、再帰的自己結合を備えない前記シナプス入力のパターンの第1の部分にマッチングするべき遅延組合せを備える、
装置。 - 前記複数のセットのうちの少なくとも1つの他のセットは、前記パターンの第2の部分と、前記第1のパターン部分を、別の遅延組合せにマッチングする前記第2のパターン部分と相関させるための遅延を有する自己結合されている前記少なくとも1つのシナプスとをマッチングするための前記別の遅延組合せを備える、
請求項17に記載の装置。 - 自己結合されている前記少なくとも1つのシナプスに関連付けられた軸索遅延は、前記第1のパターン部分にマッチングしたことに対する応答を、前記第2のパターン部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
請求項18に記載の装置。 - 長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えるための手段を備え、
前記シナプス入力のうちの少なくとも1つは、自己結合されている前記シナプスのうちの少なくとも1つに関連付けられ、
前記シナプスは、複数のセットに属し、
前記セットのうちの少なくとも1つは、再帰的自己結合を備えない前記シナプス入力のパターンの第1の部分にマッチングするための遅延組合せを備える
装置。 - 前記複数のセットのうちの少なくとも1つの他のセットは、前記パターンの第2の部分と、前記第1のパターン部分を、別の遅延組合せにマッチングする前記第2のパターン部分と相関させるための遅延を有する自己結合されている前記少なくとも1つのシナプスとをマッチングするための前記別の遅延組合せを備える、
請求項20に記載の装置。 - 自己結合されている前記少なくとも1つのシナプスに関連付けられた軸索遅延は、前記第1のパターン部分にマッチングしたことに対する応答を、前記第2のパターン部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
請求項21に記載の装置。 - 長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのためのコンピュータプログラムであって、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えることを少なくとも1つのプロセッサに行わせるためのコードを備え、
前記シナプス入力のうちの少なくとも1つは、自己結合されている前記シナプスのうちの少なくとも1つに関連付けられ、
前記シナプスは、複数のセットに属し、
前記セットのうちの少なくとも1つは、再帰的自己結合を備えない前記シナプス入力のパターンの第1の部分にマッチングするための遅延組合せを備える、
コンピュータプログラム。 - 一般入力パターンのためのニューラルコーディングの方法であって、
細胞体をもつニューロン回路に1つまたは複数のシナプスを結合することと、ここで、前記1つまたは複数のシナプスの各々が、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有する、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くことと
を備え、
前記1つまたは複数のシナプスの1つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの1つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも1つを備える、
方法。 - 前記一致サブパターンに対応するシナプスのセットは、異なる入力求心性部分についての同じ遅延を有し、
前記発火パターンのサブパターンに対応するシナプスのセットは、同じ入力求心性部分についての異なる遅延を有し、
前記テンポラルパターンのサブパターンに対応するシナプスのセットは、異なる入力求心性部分についての異なる遅延を有する、
請求項24に記載の方法。 - 互いからオフセットされている遅延を有する前記発火パターンに対応する前記シナプスの2つ以上のセットを有することによって、学習された発火レートに前記ニューロン回路が応答するための遅延を最小限にすることをさらに備える、
請求項25に記載の方法。 - 前記2つ以上のセットからの前記シナプスのうちの一部を、1つまたは複数の望まれないレートのエイリアスに起因する前記ニューロン回路の発火を引き起こす時間オフセットを省くように削除することをさらに備える、
請求項26に記載の方法。 - 学習のせいで抑圧した前記結合を、同じ入力への既存の結合によってすでに使用されているいずれとも異なる遅延をもつ、その同じ入力に割り当て直すことをさらに備える、
請求項24に記載の方法。 - 異なる入力に、学習のせいで抑圧した前記結合を割り当て直すことをさらに備える、
請求項24に記載の方法。 - 前記ニューロン回路の前記入力求心性部分のうちの1つについての遅延のセットにおける遅延の間の時間差は、その1つの入力求心性部分に関連付けられた発火レートの逆の倍数に対応する、
請求項24に記載の方法。 - アラインされていない前記入力求心性部分の1つまたは複数の余分補助遅延スパイクが1つまたは複数のしきい値を下回り、
前記1つまたは複数のサブしきい値余分補助遅延スパイクが、前記ニューロン回路のパターンマッチング実施を中断しない、
請求項24に記載の方法。 - 一般入力パターンのためのニューラルコーディングのための装置であって、
細胞体をもつニューロン回路に1つまたは複数のシナプスを結合するように構成された第1の回路と、ここで、前記1つまたは複数のシナプスの各々は、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有するように構成される、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くように構成された第2の回路と
を備え、
前記1つまたは複数のシナプスの1つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの1つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも1つを備える、
装置。 - 前記一致サブパターンに対応するシナプスのセットは、異なる入力求心性部分についての同じ遅延を有し、
前記発火パターンのサブパターンに対応するシナプスのセットは、同じ入力求心性部分についての異なる遅延を有し、
前記テンポラルパターンのサブパターンに対応するシナプスのセットは、異なる入力求心性部分についての異なる遅延を有する、
請求項32に記載の装置。 - 互いからオフセットされている遅延を有する前記発火パターンに対応する前記シナプスの2つ以上のセットを有することによって、学習された発火レートに前記ニューロン回路が応答するための遅延を最小限にするように構成された第3の回路をさらに備える、
請求項33に記載の装置。 - 前記2つ以上のセットからの前記シナプスのうちの一部を、1つまたは複数の望まれないレートのエイリアスに起因する前記ニューロン回路の発火を引き起こす時間オフセットを省くように削除するように構成された第4の回路をさらに備える、
請求項34に記載の装置。 - 学習のせいで抑圧した前記結合を、同じ入力への既存の結合によってすでに使用されているいずれとも異なる遅延をもつ、その同じ入力に割り当て直すように構成された第4の回路をさらに備える、
請求項32に記載の装置。 - 異なる入力に、学習のせいで抑圧した前記結合を割り当て直すように構成された第4の回路をさらに備える、
請求項32に記載の装置。 - 前記ニューロン回路の前記入力求心性部分のうちの1つについての遅延のセットにおける遅延の間の時間差が、その1つの入力求心性部分に関連付けられた発火レートの逆の倍数に対応する、
請求項32に記載の装置。 - アラインされていない前記入力求心性部分の1つまたは複数の余分補助遅延スパイクが1つまたは複数のしきい値を下回り、
前記1つまたは複数のサブしきい値余分補助遅延スパイクが、前記ニューロン回路のパターンマッチング実施を中断しない、
請求項32に記載の装置。 - 一般入力パターンのためのニューラルコーディングのための装置であって、
細胞体をもつニューロン回路に1つまたは複数のシナプスを結合するための手段と、ここで、前記1つまたは複数のシナプスの各々は、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有する、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くための手段と
を備え、
前記1つまたは複数のシナプスの1つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの1つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも1つを備える、
装置。 - 前記一致サブパターンに対応するシナプスのセットは、異なる入力求心性部分についての同じ遅延を有し、
前記発火パターンのサブパターンに対応するシナプスのセットは、同じ入力求心性部分についての異なる遅延を有し、
前記テンポラルパターンのサブパターンに対応するシナプスのセットは、異なる入力求心性部分についての異なる遅延を有する、
請求項40に記載の装置。 - 互いからオフセットされている遅延を有する前記発火パターンに対応する前記シナプスの2つ以上のセットを有することによって、学習された発火レートに前記ニューロン回路が応答するための遅延を最小限にするための手段をさらに備える、
請求項41に記載の装置。 - 前記2つ以上のセットからの前記シナプスのうちの一部を、1つまたは複数の望まれないレートのエイリアスに起因する前記ニューロン回路の発火を引き起こす時間オフセットを省くように削除するための手段をさらに備える、
請求項42に記載の装置。 - 学習のせいで抑圧した前記結合を、同じ入力への既存の結合によってすでに使用されているいずれとも異なる遅延をもつ、その同じ入力に割り当て直すための手段をさらに備える、
請求項40に記載の装置。 - 異なる入力に、学習のせいで抑圧した前記結合を割り当て直すための手段をさらに備える、
請求項40に記載の装置。 - 前記ニューロン回路の前記入力求心性部分のうちの1つについての遅延のセットにおける遅延の間の時間差が、その1つの入力求心性部分に関連付けられた発火レートの逆の倍数に対応する、
請求項40に記載の装置。 - アラインされていない前記入力求心性部分の1つまたは複数の余分補助遅延スパイクが1つまたは複数のしきい値を下回り、
前記1つまたは複数のサブしきい値余分補助遅延スパイクは、前記ニューロン回路のパターンマッチング実施を中断しない、
請求項40に記載の装置。 - 一般入力パターン向けのニューラルコーディングのためのコンピュータプログラムであって、
細胞体をもつニューロン回路に1つまたは複数のシナプスを結合することを行うことと、ここで、前記1つまたは複数のシナプスの各々は、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有する、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くことと
を少なくとも1つのプロセッサによって行わせるためのコードを備え、
前記1つまたは複数のシナプスの1つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの1つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも1つを備える、
コンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/211,091 | 2011-08-16 | ||
US13/211,091 US9147155B2 (en) | 2011-08-16 | 2011-08-16 | Method and apparatus for neural temporal coding, learning and recognition |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014526129A Division JP6092213B2 (ja) | 2011-08-16 | 2012-08-14 | ニューラルテンポラルコーディング、学習および認識のための方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016106299A JP2016106299A (ja) | 2016-06-16 |
JP6219418B2 true JP6219418B2 (ja) | 2017-10-25 |
Family
ID=46690767
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014526129A Active JP6092213B2 (ja) | 2011-08-16 | 2012-08-14 | ニューラルテンポラルコーディング、学習および認識のための方法および装置 |
JP2016002807A Active JP6219418B2 (ja) | 2011-08-16 | 2016-01-08 | ニューラルテンポラルコーディング、学習および認識のための方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014526129A Active JP6092213B2 (ja) | 2011-08-16 | 2012-08-14 | ニューラルテンポラルコーディング、学習および認識のための方法および装置 |
Country Status (11)
Country | Link |
---|---|
US (1) | US9147155B2 (ja) |
EP (1) | EP2745244A2 (ja) |
JP (2) | JP6092213B2 (ja) |
KR (4) | KR101972282B1 (ja) |
CN (2) | CN105930899B (ja) |
BR (1) | BR112014003581A2 (ja) |
CA (1) | CA2844777C (ja) |
IN (1) | IN2014CN00716A (ja) |
RU (1) | RU2597504C2 (ja) |
TW (4) | TWI480812B (ja) |
WO (1) | WO2013025708A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7521272B2 (ja) | 2019-09-17 | 2024-07-24 | I-Pex株式会社 | 樹脂封止方法及び樹脂封止金型 |
Families Citing this family (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9122994B2 (en) | 2010-03-26 | 2015-09-01 | Brain Corporation | Apparatus and methods for temporally proximate object recognition |
US9405975B2 (en) | 2010-03-26 | 2016-08-02 | Brain Corporation | Apparatus and methods for pulse-code invariant object recognition |
US9906838B2 (en) | 2010-07-12 | 2018-02-27 | Time Warner Cable Enterprises Llc | Apparatus and methods for content delivery and message exchange across multiple content delivery networks |
US9070039B2 (en) * | 2013-02-01 | 2015-06-30 | Brian Corporation | Temporal winner takes all spiking neuron network sensory processing apparatus and methods |
US9053428B2 (en) | 2011-07-21 | 2015-06-09 | Qualcomm Incorporated | Method and apparatus of robust neural temporal coding, learning and cell recruitments for memory using oscillation |
US9092735B2 (en) | 2011-09-21 | 2015-07-28 | Qualcomm Incorporated | Method and apparatus for structural delay plasticity in spiking neural networks |
US9111224B2 (en) | 2011-10-19 | 2015-08-18 | Qualcomm Incorporated | Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks |
US9424513B2 (en) | 2011-11-09 | 2016-08-23 | Qualcomm Incorporated | Methods and apparatus for neural component memory transfer of a referenced pattern by including neurons to output a pattern substantially the same as the referenced pattern |
US9424511B2 (en) | 2011-11-09 | 2016-08-23 | Qualcomm Incorporated | Methods and apparatus for unsupervised neural component replay by referencing a pattern in neuron outputs |
US9443190B2 (en) | 2011-11-09 | 2016-09-13 | Qualcomm Incorporated | Methods and apparatus for neural pattern sequence completion and neural pattern hierarchical replay by invoking replay of a referenced neural pattern |
US9015091B2 (en) * | 2011-11-09 | 2015-04-21 | Qualcomm Incorporated | Methods and apparatus for unsupervised neural replay, learning refinement, association and memory transfer: structural plasticity and structural constraint modeling |
US8909575B2 (en) | 2012-02-29 | 2014-12-09 | Qualcomm Incorporated | Method and apparatus for modeling neural resource based synaptic placticity |
US9224090B2 (en) | 2012-05-07 | 2015-12-29 | Brain Corporation | Sensory input processing apparatus in a spiking neural network |
US9064215B2 (en) | 2012-06-14 | 2015-06-23 | Qualcomm Incorporated | Learning spike timing precision |
US9412041B1 (en) | 2012-06-29 | 2016-08-09 | Brain Corporation | Retinal apparatus and methods |
US9186793B1 (en) | 2012-08-31 | 2015-11-17 | Brain Corporation | Apparatus and methods for controlling attention of a robot |
US9311594B1 (en) | 2012-09-20 | 2016-04-12 | Brain Corporation | Spiking neuron network apparatus and methods for encoding of sensory data |
US9218563B2 (en) | 2012-10-25 | 2015-12-22 | Brain Corporation | Spiking neuron sensory processing apparatus and methods for saliency detection |
US9183493B2 (en) | 2012-10-25 | 2015-11-10 | Brain Corporation | Adaptive plasticity apparatus and methods for spiking neuron network |
US9111226B2 (en) | 2012-10-25 | 2015-08-18 | Brain Corporation | Modulated plasticity apparatus and methods for spiking neuron network |
US9275326B2 (en) | 2012-11-30 | 2016-03-01 | Brain Corporation | Rate stabilization through plasticity in spiking neuron network |
US9123127B2 (en) | 2012-12-10 | 2015-09-01 | Brain Corporation | Contrast enhancement spiking neuron network sensory processing apparatus and methods |
US9430737B2 (en) * | 2013-03-15 | 2016-08-30 | Hrl Laboratories, Llc | Spiking model to learn arbitrary multiple transformations for a self-realizing network |
US9436909B2 (en) | 2013-06-19 | 2016-09-06 | Brain Corporation | Increased dynamic range artificial neuron network apparatus and methods |
US9239985B2 (en) | 2013-06-19 | 2016-01-19 | Brain Corporation | Apparatus and methods for processing inputs in an artificial neuron network |
US9552546B1 (en) | 2013-07-30 | 2017-01-24 | Brain Corporation | Apparatus and methods for efficacy balancing in a spiking neuron network |
US9275329B2 (en) * | 2013-08-12 | 2016-03-01 | Qualcomm Incorporated | Behavioral homeostasis in artificial nervous systems using dynamical spiking neuron models |
US9652711B2 (en) | 2014-03-12 | 2017-05-16 | Qualcomm Incorporated | Analog signal reconstruction and recognition via sub-threshold modulation |
US9987743B2 (en) | 2014-03-13 | 2018-06-05 | Brain Corporation | Trainable modular robotic apparatus and methods |
US9533413B2 (en) | 2014-03-13 | 2017-01-03 | Brain Corporation | Trainable modular robotic apparatus and methods |
US20150269485A1 (en) * | 2014-03-24 | 2015-09-24 | Qualcomm Incorporated | Cold neuron spike timing back-propagation |
US20150278685A1 (en) * | 2014-03-31 | 2015-10-01 | Qualcomm Incorporated | Probabilistic representation of large sequences using spiking neural network |
EP3132389A1 (en) * | 2014-04-15 | 2017-02-22 | Intel Corporation | Methods, systems and computer program products for neuromorphic graph compression using associative memories |
CN107045649B (zh) * | 2014-07-21 | 2020-06-02 | 徐志强 | 具有短期记忆和长期记忆的模拟神经网络 |
US9881349B1 (en) | 2014-10-24 | 2018-01-30 | Gopro, Inc. | Apparatus and methods for computerized object identification |
CN106295799B (zh) * | 2015-05-12 | 2018-11-02 | 核工业北京地质研究院 | 一种深度学习多层神经网络的实现方法 |
US10083395B2 (en) * | 2015-05-21 | 2018-09-25 | Google Llc | Batch processing in a neural network processor |
US9840003B2 (en) | 2015-06-24 | 2017-12-12 | Brain Corporation | Apparatus and methods for safe navigation of robotic devices |
KR101701250B1 (ko) * | 2015-08-03 | 2017-02-01 | 서울대학교산학협력단 | 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법 |
US10423879B2 (en) * | 2016-01-13 | 2019-09-24 | International Business Machines Corporation | Efficient generation of stochastic spike patterns in core-based neuromorphic systems |
TWI581205B (zh) * | 2016-02-16 | 2017-05-01 | 國立屏東大學 | 文具供應商的選擇方法與電腦程式產品 |
EP3445539A4 (en) * | 2016-04-27 | 2020-02-19 | Neurala Inc. | METHODS AND APPARATUS FOR PRUNING EXPERIENCE MEMORIES FOR DEEP NEURONAL NETWORK-BASED Q-LEARNING |
CN106055866A (zh) * | 2016-05-16 | 2016-10-26 | 天津大学 | 基于前馈网络的针刺信息传导通路模型 |
CN106447032B (zh) * | 2016-09-09 | 2018-12-25 | 中国传媒大学 | 大脑神经元动作电位序列的快速预测方法 |
CN109155001B (zh) | 2016-11-28 | 2022-03-29 | 华为技术有限公司 | 基于脉冲神经网络的信号处理方法和装置 |
EP3340129B1 (en) * | 2016-12-21 | 2019-01-30 | Axis AB | Artificial neural network class-based pruning |
CN106897768B (zh) * | 2017-01-25 | 2020-04-21 | 清华大学 | 神经网络信息发送方法和系统 |
WO2018164539A1 (ko) | 2017-03-09 | 2018-09-13 | (주)엘지하우시스 | 열가소성 폴리우레탄 입자 및 이의 제조방법 |
US20190087714A1 (en) * | 2017-09-20 | 2019-03-21 | International Business Machines Corporation | Automatic timing resolution among neural network components |
WO2019107612A1 (ko) * | 2017-11-30 | 2019-06-06 | 주식회사 시스트란인터내셔널 | 변환 수행 방법 및 이를 위한 장치 |
US20190302707A1 (en) * | 2018-03-28 | 2019-10-03 | Mitsubishi Electric Research Laboratories, Inc. | Anomaly Detection in Manufacturing Systems Using Structured Neural Networks |
CA3101026A1 (en) | 2018-06-05 | 2019-12-12 | Lightelligence, Inc. | Optoelectronic computing systems |
US11507818B2 (en) | 2018-06-05 | 2022-11-22 | Lightelligence PTE. Ltd. | Optoelectronic computing systems |
CN108985447B (zh) * | 2018-06-15 | 2020-10-16 | 华中科技大学 | 一种硬件脉冲神经网络系统 |
US11188815B2 (en) * | 2019-01-07 | 2021-11-30 | International Business Machines Corporation | Weight shifting for neuromorphic synapse array |
US11734556B2 (en) | 2019-01-14 | 2023-08-22 | Lightelligence PTE. Ltd. | Optoelectronic computing systems |
KR20200111584A (ko) | 2019-03-19 | 2020-09-29 | 한국전자통신연구원 | 시공간 입력 신호들이 나타내는 사건을 부호화하기 위한 전자 장치 및 그것의 동작 방법 |
KR102545066B1 (ko) * | 2019-07-05 | 2023-06-20 | 한국전자통신연구원 | 뉴로모픽 컴퓨팅을 위한 신경망 생성 방법 및 이를 위한 장치 |
US11727250B2 (en) | 2019-09-06 | 2023-08-15 | International Business Machines Corporation | Elastic-centroid based clustering |
US12025862B2 (en) | 2019-12-04 | 2024-07-02 | Lightelligence PTE. Ltd. | Optical modulation for optoelectronic processing |
US11719963B2 (en) | 2020-04-29 | 2023-08-08 | Lightelligence, Inc. | Optical modulation for optoelectronic processing |
US11741353B2 (en) | 2020-12-09 | 2023-08-29 | International Business Machines Corporation | Bias scheme for single-device synaptic element |
US12013958B2 (en) | 2022-02-22 | 2024-06-18 | Bank Of America Corporation | System and method for validating a response based on context information |
US12050875B2 (en) | 2022-02-22 | 2024-07-30 | Bank Of America Corporation | System and method for determining context changes in text |
CN114925734B (zh) * | 2022-07-20 | 2022-11-25 | 浙江大学 | 一种基于神经拟态计算的在线神经元分类方法 |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4893255A (en) * | 1988-05-31 | 1990-01-09 | Analog Intelligence Corp. | Spike transmission for neural networks |
WO1993018474A1 (en) | 1992-03-11 | 1993-09-16 | University College London | Devices for use in neural processing |
JP3178884B2 (ja) * | 1992-03-30 | 2001-06-25 | 株式会社東芝 | ニューラルネットワーク装置 |
JP3345478B2 (ja) | 1993-09-20 | 2002-11-18 | 株式会社東芝 | ニューラルネットワーク装置およびその学習方法 |
US5666079A (en) | 1994-05-06 | 1997-09-09 | Plx Technology, Inc. | Binary relative delay line |
RU2128363C1 (ru) * | 1995-06-06 | 1999-03-27 | Таганрогский государственный радиотехнический университет | Рефлекторная нейросеть |
WO1997029437A1 (en) | 1996-02-09 | 1997-08-14 | Sarnoff Corporation | Method and apparatus for training a neural network to detect and classify objects with uncertain training data |
US6284794B1 (en) * | 1996-11-05 | 2001-09-04 | Head Explorer Aps | Method for treating tension-type headache with inhibitors of nitric oxide and nitric oxide synthase |
AU8996198A (en) * | 1997-09-04 | 1999-03-22 | Camelot Information Technologies Ltd. | Heterogeneous neural networks |
US6581046B1 (en) | 1997-10-10 | 2003-06-17 | Yeda Research And Development Co. Ltd. | Neuronal phase-locked loops |
US6505182B1 (en) | 1998-10-09 | 2003-01-07 | Van Den Heuvel Raymond C. | Recognition engine with time referenced neurons |
JP4478296B2 (ja) * | 2000-06-16 | 2010-06-09 | キヤノン株式会社 | パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路 |
JP2002024795A (ja) * | 2000-07-04 | 2002-01-25 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
US7088860B2 (en) | 2001-03-28 | 2006-08-08 | Canon Kabushiki Kaisha | Dynamically reconfigurable signal processing circuit, pattern recognition apparatus, and image processing apparatus |
CN100390774C (zh) | 2001-11-16 | 2008-05-28 | 陈垣洋 | 带有监督和非监督簇分析的似真神经网络 |
US7412428B2 (en) | 2002-03-12 | 2008-08-12 | Knowmtech, Llc. | Application of hebbian and anti-hebbian learning to nanotechnology-based physical neural networks |
US7174325B1 (en) | 2002-06-07 | 2007-02-06 | George Mason Intellectual Properties, Inc. | Neural processor |
US7430546B1 (en) | 2003-06-07 | 2008-09-30 | Roland Erwin Suri | Applications of an algorithm that mimics cortical processing |
US7657313B2 (en) * | 2003-07-21 | 2010-02-02 | Ai-Semi Ltd | Adaptive cardiac resynchronization therapy system |
US8335564B2 (en) | 2005-05-27 | 2012-12-18 | Rami Rom | Ventricle pacing during atrial fibrillation episodes |
US7904398B1 (en) | 2005-10-26 | 2011-03-08 | Dominic John Repici | Artificial synapse component using multiple distinct learning means with distinct predetermined learning acquisition times |
EP1964036A4 (en) * | 2005-12-23 | 2010-01-13 | Univ Sherbrooke | ROOM-TIME PATTERN RECOGNITION USING A NEURONAL SPIKING NETWORK AND PROCESSING THEREOF FOR A PORTABLE AND / OR DISTRIBUTED COMPUTER |
WO2008010220A2 (en) | 2006-07-17 | 2008-01-24 | A. I. Medical Semiconductor | Intelligent control system for adaptive cardiac resynchronization therapy device |
WO2008106615A1 (en) | 2007-02-28 | 2008-09-04 | Numenta, Inc. | Spatio-temporal learning algorithms in hierarchical temporal networks |
GB0811057D0 (en) | 2008-06-17 | 2008-07-23 | Univ Ulster | Artificial neural network architecture |
US8600919B2 (en) | 2008-08-28 | 2013-12-03 | Massachusetts Institute Of Technology | Circuits and methods representative of spike timing dependent plasticity of neurons |
US8250011B2 (en) | 2008-09-21 | 2012-08-21 | Van Der Made Peter A J | Autonomous learning dynamic artificial neural computing device and brain inspired system |
US8630966B2 (en) | 2009-01-27 | 2014-01-14 | Salk Institute For Biological Studies | Temporally dynamic artificial neural networks |
US7978510B2 (en) | 2009-03-01 | 2011-07-12 | International Businesss Machines Corporation | Stochastic synapse memory element with spike-timing dependent plasticity (STDP) |
US8447714B2 (en) | 2009-05-21 | 2013-05-21 | International Business Machines Corporation | System for electronic learning synapse with spike-timing dependent plasticity using phase change memory |
US8250010B2 (en) | 2009-05-21 | 2012-08-21 | International Business Machines Corporation | Electronic learning synapse with spike-timing dependent plasticity using unipolar memory-switching elements |
JP5458791B2 (ja) * | 2009-10-16 | 2014-04-02 | トヨタ自動車株式会社 | 連想記憶装置、連想記憶方法、及びプログラム |
RU2413304C1 (ru) * | 2009-11-02 | 2011-02-27 | Василий Юрьевич Осипов | Способ и устройство интеллектуальной обработки информации в нейронной сети |
US8527438B2 (en) | 2009-12-22 | 2013-09-03 | International Business Machines Corporation | Producing spike-timing dependent plasticity in an ultra-dense synapse cross-bar array |
US8625337B2 (en) | 2010-05-06 | 2014-01-07 | Qualcomm Incorporated | Method and apparatus of probabilistic programming multi-level memory in cluster states of bi-stable elements |
CN101860357B (zh) * | 2010-06-09 | 2012-04-11 | 中国科学院半导体研究所 | 一种利用时间编码控制权重和信息整合的方法 |
US8694452B2 (en) | 2010-07-07 | 2014-04-08 | Qualcomm Incorporated | Methods and systems for CMOS implementation of neuron synapse |
US8433665B2 (en) | 2010-07-07 | 2013-04-30 | Qualcomm Incorporated | Methods and systems for three-memristor synapse with STDP and dopamine signaling |
US8892485B2 (en) | 2010-07-08 | 2014-11-18 | Qualcomm Incorporated | Methods and systems for neural processor training by encouragement of correct output |
US8606732B2 (en) | 2010-08-04 | 2013-12-10 | Qualcomm Incorporated | Methods and systems for reward-modulated spike-timing-dependent-plasticity |
US9269042B2 (en) | 2010-09-30 | 2016-02-23 | International Business Machines Corporation | Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices |
US8515885B2 (en) | 2010-10-29 | 2013-08-20 | International Business Machines Corporation | Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation |
US8473439B2 (en) | 2010-12-08 | 2013-06-25 | International Business Machines Corporation | Integrate and fire electronic neurons |
US8756173B2 (en) | 2011-01-19 | 2014-06-17 | Qualcomm Incorporated | Machine learning of known or unknown motion states with sensor fusion |
US9147156B2 (en) | 2011-09-21 | 2015-09-29 | Qualcomm Technologies Inc. | Apparatus and methods for synaptic update in a pulse-coded network |
US9053428B2 (en) | 2011-07-21 | 2015-06-09 | Qualcomm Incorporated | Method and apparatus of robust neural temporal coding, learning and cell recruitments for memory using oscillation |
US8706662B2 (en) | 2011-07-21 | 2014-04-22 | Qualcomm Incorporated | Method and apparatus of controlling noise associated with synaptic inputs based on neuronal firing rate |
US9092735B2 (en) | 2011-09-21 | 2015-07-28 | Qualcomm Incorporated | Method and apparatus for structural delay plasticity in spiking neural networks |
US9111224B2 (en) | 2011-10-19 | 2015-08-18 | Qualcomm Incorporated | Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks |
US8909575B2 (en) | 2012-02-29 | 2014-12-09 | Qualcomm Incorporated | Method and apparatus for modeling neural resource based synaptic placticity |
US9064215B2 (en) | 2012-06-14 | 2015-06-23 | Qualcomm Incorporated | Learning spike timing precision |
-
2011
- 2011-08-16 US US13/211,091 patent/US9147155B2/en active Active
-
2012
- 2012-08-14 KR KR1020187006072A patent/KR101972282B1/ko active IP Right Grant
- 2012-08-14 JP JP2014526129A patent/JP6092213B2/ja active Active
- 2012-08-14 RU RU2014110033/08A patent/RU2597504C2/ru not_active IP Right Cessation
- 2012-08-14 BR BR112014003581A patent/BR112014003581A2/pt not_active Application Discontinuation
- 2012-08-14 CA CA2844777A patent/CA2844777C/en active Active
- 2012-08-14 CN CN201610230617.1A patent/CN105930899B/zh active Active
- 2012-08-14 CN CN201280039570.0A patent/CN103733209B/zh active Active
- 2012-08-14 WO PCT/US2012/050781 patent/WO2013025708A2/en active Search and Examination
- 2012-08-14 KR KR1020157023742A patent/KR20150105488A/ko active IP Right Grant
- 2012-08-14 KR KR1020147006948A patent/KR101616749B1/ko active IP Right Grant
- 2012-08-14 IN IN716CHN2014 patent/IN2014CN00716A/en unknown
- 2012-08-14 EP EP12748370.9A patent/EP2745244A2/en not_active Withdrawn
- 2012-08-14 KR KR1020187006071A patent/KR101945678B1/ko active IP Right Grant
- 2012-08-15 TW TW101129574A patent/TWI480812B/zh active
- 2012-08-15 TW TW103143882A patent/TWI540517B/zh active
- 2012-08-15 TW TW103143877A patent/TWI526954B/zh active
- 2012-08-15 TW TW103143885A patent/TWI522935B/zh active
-
2016
- 2016-01-08 JP JP2016002807A patent/JP6219418B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7521272B2 (ja) | 2019-09-17 | 2024-07-24 | I-Pex株式会社 | 樹脂封止方法及び樹脂封止金型 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6219418B2 (ja) | ニューラルテンポラルコーディング、学習および認識のための方法および装置 | |
JP5989791B2 (ja) | 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置:ニューラル連想学習、パターン補間、分離、一般化および階層的リプレイ | |
JP6092334B2 (ja) | 発振を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメントの方法および装置 | |
JP5944518B2 (ja) | スパイキングニューラルネットワークにおける自然マルチスパイク列のニューラル学習のための方法および装置 | |
JP5934378B2 (ja) | 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置:構造可塑性および構造制約モデリング | |
JP5989792B2 (ja) | 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置:ニューラル構成要素メモリ転送 | |
TW201329876A (zh) | 用於棘波神經網路中的結構延遲可塑性的方法和裝置 | |
US11615298B2 (en) | STDP with synaptic fatigue for learning of spike-time-coded patterns in the presence of parallel rate-coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170321 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6219418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |