JP6092213B2 - ニューラルテンポラルコーディング、学習および認識のための方法および装置 - Google Patents

Description

本開示のいくつかの態様は、一般に、ニューラルシステム工学に関し、より詳細には、ニューラルテンポラルコーディング、学習および認識の方法および装置に関する。

ニューラルシステムにおけるニューロンは、タイミングスパイクの形の、いわゆるテンポラルコードをテンポラルに使って、情報を通信することができる。このため、コード化および復号の方法ならびにそのようなテンポラル情報を学習する方法が、主な対象である。

具体的には、入力の一致または入力の順序だけではなく、他のテンポラルパターン方法とは対照的にテンポラルパターンを区別することが所望される。本開示は、生物学的に示唆される／一貫するが、複雑さが低減され、テンポラルスパイク信号パターンをコーディング、復号、認識、および学習することが可能な方法を提供する。

本開示のいくつかの態様は、ニューラルテンポラルコーディングの方法を提供する。この方法は概して、ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用することと、動的スパイキングモデルを適用して、ニューロン回路の重みおよび遅延シナプス入力に基づいてニューロン回路のスパイキング行動を判断することと、教師なし学習規則に従って、ニューロン回路スパイキングと遅延シナプス入力のタイミング関係に依存して、シナプス入力に関連付けられた重みを調整することとを含む。

本開示のいくつかの態様は、ニューラルテンポラルコーディングのための装置を提供する。この装置は概して、ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用するように構成された第１の回路と、動的スパイキングモデルを適用して、ニューロン回路の重みおよび遅延シナプス入力に基づいてニューロン回路のスパイキング行動を判断するように構成された第２の回路と、教師なし学習規則に従って、ニューロン回路スパイキングと遅延シナプス入力のタイミング関係に依存して、シナプス入力に関連付けられた重みを調整するように構成された第３の回路とを含む。

本開示のいくつかの態様は、ニューラルテンポラルコーディングのための装置を提供する。この装置は概して、ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用するための手段と、動的スパイキングモデルを適用して、ニューロン回路の重みおよび遅延シナプス入力に基づいてニューロン回路のスパイキング行動を判断するための手段と、教師なし学習規則に従って、ニューロン回路スパイキングと遅延シナプス入力のタイミング関係に依存して、シナプス入力に関連付けられた重みを調整するための手段とを含む。

本開示のいくつかの態様は、ニューラルテンポラルコーディングのためのコンピュータプログラム製品を提供する。このコンピュータプログラム製品は概して、ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用し、動的スパイキングモデルを適用して、ニューロン回路の重みおよび遅延シナプス入力に基づいてニューロン回路のスパイキング行動を判断し、教師なし学習規則に従って、ニューロン回路スパイキングと遅延シナプス入力のタイミング関係に依存して、シナプス入力に関連付けられた重みを調整するためのコードを備えるコンピュータ可読媒体を含む。

本開示のいくつかの態様は、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングの方法を提供する。この方法は概して、階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、およびマルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合することと、マルチレイヤニューラルネットワーク内のニューロン回路の第１のレイヤを入力パターンの第１のサブセクションとマッチングすることとを含み、入力パターンのサブセクションと入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤは、別のレイヤのニューロン回路の発火の組合せにマッチングする。

本開示のいくつかの態様は、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置を提供する。この装置は概して、階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、およびマルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合するように構成された第１の回路と、マルチレイヤニューラルネットワーク内のニューロン回路の第１のレイヤを入力パターンの第１のサブセクションとマッチングするように構成された第２の回路とを含み、入力パターンのサブセクションと入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤは、別のレイヤのニューロン回路の発火の組合せにマッチングする。

本開示のいくつかの態様は、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置を提供する。この装置は概して、階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、およびマルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合するための手段と、マルチレイヤニューラルネットワーク内のニューロン回路の第１のレイヤを入力パターンの第１のサブセクションとマッチングするための手段とを含み、入力パターンのサブセクションと入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤは、別のレイヤのニューロン回路の発火の組合せとマッチングする。

本開示のいくつかの態様は、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのためのコンピュータプログラム製品を提供する。このコンピュータプログラム製品は概して、階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、およびマルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合し、マルチレイヤニューラルネットワーク内のニューロン回路の第１のレイヤを入力パターンの第１のサブセクションとマッチングするためのコードを備えるコンピュータ可読媒体を含み、入力パターンのサブセクションと入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤは、別のレイヤのニューロン回路の発火の組合せとマッチングする。

本開示のいくつかの態様は、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングの方法を提供する。この方法は概して、関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えることを含み、シナプス入力のうちの少なくとも１つは、自己結合されているシナプスのうちの少なくとも１つに関連付けられ、シナプスは複数のセットに属し、セットのうちの少なくとも１つは、再帰的自己結合を備えないシナプス入力のパターンの第１の部分にマッチングするべき遅延組合せを備える。

本開示のいくつかの態様は、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置を提供する。この装置は概して、関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えるように構成された第１の回路を含み、シナプス入力のうちの少なくとも１つは、自己結合されているシナプスのうちの少なくとも１つに関連付けられ、シナプスは複数のセットに属し、セットのうちの少なくとも１つは、再帰的自己結合を備えないシナプス入力のパターンの第１の部分にマッチングするべき遅延組合せを備える。

本開示のいくつかの態様は、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置を提供する。この装置は概して、関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えるための手段を含み、シナプス入力のうちの少なくとも１つは、自己結合されているシナプスのうちの少なくとも１つに関連付けられ、シナプスは複数のセットに属し、セットのうちの少なくとも１つは、再帰的自己結合を備えないシナプス入力のパターンの第１の部分にマッチングするべき遅延組合せを備える。

本開示のいくつかの態様は、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのためのコンピュータプログラム製品を提供する。このコンピュータプログラム製品は概して、関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えるためのコードを備えるコンピュータ可読媒体を含み、シナプス入力のうちの少なくとも１つは、自己結合されているシナプスのうちの少なくとも１つに関連付けられ、シナプスは複数のセットに属し、セットのうちの少なくとも１つは、再帰的自己結合を備えないシナプス入力のパターンの第１の部分にマッチングするべき遅延組合せを備える。

本開示のいくつかの態様は、一般入力パターンのためのニューラルコーディングの方法を提供する。この方法は概して、細胞体をもつニューロン回路に１つまたは複数のシナプスを結合することであって、１つまたは複数のシナプスの各々は、ニューロン回路の入力求心性部分に対応し、重みおよび相対遅延を有することと、相対遅延の各々によって、対応する入力求心性部分と細胞体との間の遅延を招くこととを含み、１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備える。

本開示のいくつかの態様は、一般入力パターンのためのニューラルコーディングのための装置を提供する。この装置は概して、細胞体をもつニューロン回路に１つまたは複数のシナプスを結合するように構成された第１の回路であって、１つまたは複数のシナプスの各々は、ニューロン回路の入力求心性部分に対応し、重みおよび相対遅延を有する回路と、相対遅延の各々によって、対応する入力求心性部分と細胞体との間の遅延を招くように構成された第２の回路とを含み、１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備える。

本開示のいくつかの態様は、一般入力パターンのためのニューラルコーディングのための装置を提供する。この装置は概して、細胞体をもつニューロン回路に１つまたは複数のシナプスを結合するための手段であって、１つまたは複数のシナプスの各々が、ニューロン回路の入力求心性部分に対応し、重みおよび相対遅延を有する手段と、相対遅延の各々によって、対応する入力求心性部分と細胞体との間の遅延を招くための手段とを含み、１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備える。

本開示のいくつかの態様は、一般入力パターンのためのニューラルコーディングのためのコンピュータプログラム製品を提供する。このコンピュータプログラム製品は概して、細胞体をもつニューロン回路に１つまたは複数のシナプスを結合するためのコードであって、１つまたは複数のシナプスの各々が、ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有し、相対遅延の各々によって、対応する入力求心性部分と細胞体との間の遅延を招くためのコードを備えるコンピュータ可読媒体を含み、１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備える。

本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部を示す態様を参照することによって、上記で簡単に要約したもののさらに具体的な説明が得られ得る。しかし、添付の図面は、本開示の特定の典型的な態様のみを示し、したがって、本開示の範囲の限定と見なされてはならず、その理由は、この説明が他の同等の効果のある態様をもたらし得るからであることに留意されたい。
本開示のいくつかの態様による例示的なニューロンネットワークを示す図。 本開示のいくつかの態様による、方法構成要素および特徴の例を示す図。 本開示のいくつかの態様による例示的な相対遅延ニューロンモデルを示す図。 本開示のいくつかの態様による樹状モデルによる相対遅延入力の例示的な再アラインを示す図。 本開示のいくつかの態様による典型的なスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線の例を示す図。 本開示のいくつかの態様によるＳＴＤＰ学習曲線のテンポラル感度に対する変形の例を示す図。 本開示のいくつかの態様によるＳＴＤＰ学習曲線の再強化／デエンファシスバランスの例示的変形を示す図。 本開示のいくつかの態様による、テンポラル入力パターンに対するニューロン応答の精度およびロバスト性の例を示す図。 本開示のいくつかの態様による、例示的なシナプスターンオーバを示す図。 本開示のいくつかの態様による、テンポラルパターン学習における発火レートの例示的効果を示す図。 本開示のいくつかの態様による、ニューラルテンポラルコーディングのための、ニューラルネットワークのニューロン回路によって実施することができる例示的動作を示す図。 図１１に示す動作を実施することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による長い大きい空間テンポラルパターンの例を示す図。 本開示のいくつかの態様による、より長いおよび／またはより大規模な空間テンポラルパターンコーディングのためのマルチレイヤネットワークの例を示す図。 本開示のいくつかの態様による、軸索遅延がある、より長い空間テンポラルパターンコーディングのためのマルチレイヤネットワークの例を示す図。 本開示のいくつかの態様による、より長いおよび／またはより大きい空間テンポラルパターンコーディングのための例示的なスケーラブルネットワークを示す図。 本開示のいくつかの態様による例示的な再帰的スケーラブル空間テンポラルパターンコーディングを示す図。 本開示のいくつかの態様による、各ニューロンにおける重みの適合の例示的グラフを示す図。 本開示のいくつかの態様による、長いおよび大きい空間テンポラルパターンの、ニューラルテンポラルコーディングのためのマルチレイヤニューラルネットワークにおいて実施することができる例示的動作を示す図。 図１８に示す動作を実施することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための、ニューラルネットワークのニューロン回路において実施することができる他の例示的動作を示す図。 図１９に示す動作を実施することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、スパイクタイミングをアラインすることによって異なるニューラルコーディング方式を復号する例を示す図。 本開示のいくつかの態様による、相対遅延に依存する一致復号の例を示す図。 本開示のいくつかの態様による、相対遅延に依存するテンポラルパターン復号の例を示す図。 本開示のいくつかの態様による論理ＯＲテンポラルパターンマッチングの例を示す図。 本開示のいくつかの態様による、相対遅延に依存する発火レート復号の例を示す図。 本開示のいくつかの態様による、発火レートが復号するべき標的レートである発火レート復号の例を示す図。 本開示のいくつかの態様による、一致への変換レートを用いる発火レート復号の例を示す図。 本開示のいくつかの態様による、出力発火レートが不変である発火レート復号の例を示す図。 本開示のいくつかの態様による、異なる入力タイミングにさらされる単純スパイキングモデルの時間位相ポートレートの例を示す図。 本開示のいくつかの態様による、異なる名目時定数にさらされる単純スパイキングモデルの時間位相ポートレートの例を示す図。 本開示のいくつかの態様による例示的なＳＴＤＰ実装形態を示す図。 本開示のいくつかの態様による、一般入力パターン向けのニューラルコーディングの例示的動作を示す図。 図３１に示す動作を実施することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、汎用プロセッサを使用したニューラルコーディングの例示的なソフトウェア実装形態を示す図。 本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得るニューラルコーディングの例示的な実装形態を示す図。 本開示のいくつかの態様による、分散メモリと分散処理ユニットとに基づくニューラルコーディングの例示的な実装形態を示す図。

添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得るものであり、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置を実施することができ、または方法を実施することができる。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能性、または構造および機能性を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用する。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好適または有利なものと解釈すべきではない。

本明細書では特定の態様について説明するが、これらの態様の多くの変形体および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、限定的なものではなく本開示を説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびその均等物によって規定される。

例示的なニューラルシステム
図１は、本開示のいくつかの態様による、複数のレベルのニューロンを含む例示的なニューラルシステム１００を示す。ニューラルシステム１００は、シナプス結合のネットワーク１０４を介して別のレベルのニューロン１０６に接続されたあるレベルのニューロン１０２を備え得る。簡単のために、図１には２レベルのニューロンのみが示されているが、代表的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。

図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１には図示せず）の複数のニューロンによって生成され得る入力信号１０８を受信することができる。信号１０８は、レベル１０２のニューロンの入力電流を表し得る。この電流は、膜電位に充電するために、ニューロン膜に蓄積され得る。膜電位がそのしきい値値に達すると、ニューロンは、発火し、次のレベルのニューロン（たとえば、レベル１０６）に転送される出力スパイクを生成することができる。

図１に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合（または単に「シナプス」）のネットワーク１０４によって達成され得る。シナプス１０４は、レベル１０２のニューロンから出力信号（すなわち、スパイク）を受信し、調整可能なシナプス重み

（ここで、Ｐは、レベル１０２および１０６のニューロンの間のシナプス結合の総数である）に従って、それらの信号をスケーリングし、スケーリングされた信号を、レベル１０６における各ニューロンの入力信号として組み合わせることができる。レベル１０６におけるあらゆるニューロンは、対応する結合された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、次いで、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに転送され得る。

ニューラルシステム１００は、電気回路によってエミュレートすることができ、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用することができる。ニューラルシステム１００における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始するしきい値値までチャージされるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。

一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去することができ、その代わりにより小さいメモリスタ要素が使用され得る。この手法は、ニューロン回路において適用されると同様にかさばるキャパシタが電流積分器として利用される様々な他の用途において適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプスの重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され、これによって、非常に大規模なニューラルシステムハードウェア実装形態の実装が実用的になり得る。

ニューラルテンポラルパターンコーディング、学習および認識の方法
ニューラルシステム１００のニューロン回路は、タイミングスパイクの形のいわゆるテンポラルコードを使って、テンポラルに情報を通信することができるので、コーディングおよび復号方法ならびにそのようなテンポラル情報を学習する方法が、主要な対象となる。本開示のいくつかの態様は、他の「テンポラルパターン」方法とは対照的に、入力の一致または入力の順序だけではなく、顕著なテンポラルパターンのための方法をサポートする。さらに、本開示は、生物学的に示唆される／一貫するが、複雑さが低減され、テンポラルスパイク信号パターンをコード化し、復号し、認識し、学習することが可能な実用的方法を提案する。

本開示において提案されるシステムは、図２に示す相互依存特徴の組合せを備え得る。概して、システム２００は、学習（たとえば、ヘブ則学習）の側面および実行側面（動的スパイキングモデル）を中心に展開し得る。スパイキングモデル用の相対入力タイミングは、樹状遅延線（１つまたは複数）側面によって判断することができるが、この側面は、シナプスターンオーバおよび他の側面による影響を受ける可能性がある。学習により、シナプス重みならびに他の側面に対する影響を決定することができ、学習は、調節（正規化）、アラインメント、アニーリング、ならびに他の側面による影響を受ける可能性がある。これらの側面の各々については、他の側面との関係、ならびにそれらの側面の重要性、パラメータ、および利点とともに、本開示において説明する。

相対遅延および樹状遅延線
シナプスにおける入力の間の相対遅延、シナプスにおける入力と基準入力との間の相対遅延、または両方に基づいてニューロンの行動を判断することができる方法を、本開示において提案する。テンポラルコーディングモデルの基本側面を、図３に示す。ニューロン３０２、３０４、３０６、３０８（すなわち、入力ニューロン）から出力されるスパイクの空間テンポラルパターンは、ニューロン３１０（すなわち、出力ニューロン）に対するスパイク入力を構成し得る。各入力ニューロンは、ニューロン３１０の１つまたは複数の樹状突起上の１つまたは複数のシナプスによりニューロン３１０に結合し得る。各シナプスは、ニューロン３０４をニューロン３１０に結合するシナプス３１２について図３に示すように、入力ニューロンからのスパイクが、ニューロン３１０の細胞体に達する前に受ける時間遅延を特徴付ける関連遅延を有し得る。図３に示すように、入力は、遅延および統合の前にスケーリングを受ける場合がある。あるいは、入力は、大規模ニューラルネットワークにおける処理削減のために、スケーリングの前に遅延を受ける場合がある。

この方法を使って、ニューロンは、入力ニューロンの出力中の空間テンポラルパターン（入力ニューロンの意味では空間、相対スパイクタイミングまたはスパイクの間の時間差の意味では時間）を認識することができる。これについては、図４に示すが、図中で、入力ニューロン４０２、４０４、４０６、４０８は、異なる時間にスパイクし得る。ただし、樹状突起（１つまたは複数）における遅延により、入力ニューロンからの信号は、時間アラインされた出力ニューロンｘの細胞体に達し得る。時間ｔにおける出力ニューロンｘへの入力はしたがって、入力ニューロンの遅延出力、すなわち、下記の式として表すことができる。

ここで、ｊはシナプスインデックスであり、ｉ_jは、シナプスｊが結合する入力ニューロンであり、ｎ_jは、Δｔの単位でのシナプス遅延であり、ν_i（ｔ）は入力ニューロンｉの出力であり、ｗ_jは、シナプス重みである。式（１）において、シナプス遅延は、総遅延を抽象化するための遅延を表す。その総遅延は、デジタルアナログ遅延（すなわち、活動電位（ＡＰ）からシナプス後電位（ＰＳＰ）への変換のための時間）、樹状遅延（すなわち、ＰＳＰが細胞体に達するための受動移動時間）、または他の遅延（たとえば、異なるレイヤもしくはいくつかのニューロンを通る経路による軸索遅延やネットワークアーキテクチャ遅延）に起因し得る１つまたは複数の実際のシナプス遅延（の組合せ）により得る。

ニューロン４０２、４０４、４０６、４０８の発火の実際のタイミングは、図４では４１０として標示される。シナプスに対応する特定の遅延（時間遅延分解能Δｔの倍数で示される）により、遅延の後の入力タイミングは、（図４で４１２として標示される）相対遅延が計上されると、アラインしてもしなくてもよい。いくつかのシナプスは、他のシナプスの遅延と一致するにはあまりにも長い遅延（たとえば、遅延４１４を有するシナプス）または短い（たとえば、遅延４１６を有するシナプス）に関連付けられることが、図４から観察され得る。ある態様では、これらの短い遅延および長い遅延は、認識されたパターンから破棄され、または追加されなくてよく、一致する遅延スパイクをもたらす遅延は、認識されたパターンに対応するように、保持または追加されてよい。

本開示の好ましい態様において、整数ミリ秒の個別時間遅延を使用することができる（すなわち、時間遅延分解能Δｔ＝１ｍｓの倍数の遅延）。ただし、概して、どの個別または連続分解能が使われてもよい。個別モデルにおいて、遅延は整数ｎ_xiで表すことができ、ｘは入力ニューロン（たとえば、図４のニューロン４０２）であり、各入力に対して１つまたは複数のシナプスがあり得るので、ｉは、その入力ニューロンについてのシナプスインデックスである。

スパイクタイミング依存可塑性（ＳＴＤＰ）の根拠は、実験によって測定し報告することができる。そのような学習関係の典型的な記述を、長期増強（ＬＴＰ）の曲線５０２および長期抑圧（ＬＴＤ）の曲線５０４で図５に示す。一般に、ｘ軸は、入力と出力との間の時間差を示す（因果が曲線５０２に対してであり、非因果が曲線５０４に対してである）。提案される方法は、樹状突起における遅延を誘導し得ることに留意されたい。したがって、ｘ軸は、学習曲線において、ニューロン発火と再アラインされた入力との間の遅延と見なすことができる。本開示において、Δｔは、ニューロン発火の時間から、ニューロンの細胞体に達した所与の入力の時間を差し引いたものとして定義することができる。これは、信号が遅延線をシナプスから細胞体まで移動するのにかかる時間（ｎ_j・Δｔ）とは区別されるべきである。

さらに、時間差に対する変動感度を反映するための様々な変形、ならびに関係、スケーリングおよびこれらに対する変形を純粋に強化し、またはデエンファシスするものが提案され得る。概して、因果方向および非因果方向における水平拡張は必ずしも同じでなくてよいことに留意されたい。同様に、ピークである負および正の規模は、学習を不等に強調する／強調を抑えるように異なり得る。図６は、本開示のいくつかの態様による、時間差に対する感度における変化の例６０２、６０４を示す。図７は、本開示のいくつかの態様による、純粋に強化する例７０２と、純粋に強調を抑える例７０４とを示す。

空間テンポラルパターンマッチングのための制御
ニューロンが、所与の持続時間のテンポラルスパイクパターンを認識することが可能であるためには、シナプスのセットが、パターン持続時間に対応する樹状遅延のスパンでの、ゼロでない（または無視できない）重みを有する必要があり得る。したがって、いくつかの要因が、分解できるパターン持続時間（時間ウィンドウスパン）、サイズ（ウィンドウ中のスパイク）および分解できるタイミング精度の判断にとって適切であり得る。本開示のいくつかの態様によると、これらの要因は、樹状突起の長さ（最大遅延）、区画メモリ（樹状突起または細胞体内の膜の時定数）、シナプス前膜応答性（シナプス前のフィルタリング効果の時定数、ＡＰ幅の判断）、シナプスコンダクタンスの時定数、または樹状突起内の機能演算（たとえば、論理ＯＲ、それに対する論理ＡＮＤ）のうちの少なくとも１つを備え得る。

膜の低域フィルタリング効果により、スパイク応答の分化が低下し得るので、より長い時定数により、異なる遅延における時間分解能を低減することができ、同時により長いパターンを考慮できることに留意されたい。言い換えると、異なるニューロンは、異なる時間スケールで構成することができ、または所与のニューロンの時間スケールを変化させることができ、または異なるニューロンの列が、異なる（可能性としては重複する）時間スケールで動作し得る。さらに、分解できるパターン複雑度（持続時間に加え）は、シナプスの数（同じ重み、しきい値を与えられる）、重み分散（同じしきい値、シナプス数を与えられたとき）、しきい値（および比較的静止したレベル）（同じ数のシナプス、重みを与えられたとき）という要因によって制限される場合もある。

本開示のいくつかの態様によると、上記の１つまたは複数において限定が与えられると、パターンは、ニューロンが発火するには少なすぎるスパイク（しきい値と交差する）または個々のニューロンが特定のパターンを変形と区別するには多すぎるスパイクを有するので、バランスが重要であり得る。そのような側面については、各シナプスの重みを備える図８で説明する。

発火しきい値８０２を超えるために、組み合わされた一致入力は、（静止電位に相対した）しきい値を超えることが要求される場合がある。シナプスの重み、しきい値、および数の寄与を、図８に示す。ケース８０４では、一致するシナプスが少なすぎる場合がある（または重みが少なすぎ、もしくはしきい値８０４が高すぎる場合がある）。ケース８０６では、その逆が真である場合がある。ケース８０８でのみ、マッチが完全になり得る。ケース８０６は、見方によって、コンテキストまたはノイズレベルによっては、ルース（冗長）またはロバストのいずれかであると見なすことができる。同様に、ケース８０８は、完全（的確もしくは効率的）または敏感（脆い、ロバストでない）と見なされる場合がある。

所与の発火の場合、単一の入力ニューロンの総寄与は、一致する遅延をもつシナプス（相互に相対するだけでなく、他の入力との組合せにも相対する）とその重みの合計で判断できることに留意されたい。それらのシナプスについての入力ニューロンにわたる合計一致入力がしきい値を下回る場合、発火は起こることができない。それらのシナプスについての入力ニューロンにわたる合計一致入力がしきい値を上回る場合、発火が起こり得る。これには問題があり、その理由は、図８のケース８０６として示すように、入力ａのパターン（すなわち、パターン８１２）など、パターン８１０のいくつかの部分が発火に要求されなくてよいからである。

この問題を解決するための方法は、ニューロンの調節、すなわち、入力に寄与する総寄与を、数、重み、発火周波数またはそれ以外によって制御または正規化することを備え得る。

シナプスターンオーバ
本開示のいくつかの態様によると、シナプスターンオーバも、上述した問題を解決するのに重要であり得る。実際、シナプスターンオーバは、シナプスの数もしくは重みが制限される（または両方）場合、上記問題を解決するのに要求され得る。シナプスターンオーバは、異なる時間遅延または異なる入力用にシナプスリソースを再利用することを備え得る。このことは、リソースが制限され、または結合が制限される場合に重要であり得る。

樹状突起上のシナプスの位置は、スパイクタイミングを暗黙的に符号化することができるので、特定のシナプス位置（したがって相対レイテンシ）が特に入力ａによって占有される場合、同じ樹状突起上の異なる入力ｂによって同じ樹状レイテンシを使ってはならない。しかし、入力ｂが同じ相対レイテンシを使うべきである場合、入力ｂは、異なる樹状突起上では（相対レイテンシにマッチングする）シナプスを利用する必要があり得る。その結果、特定のスパイクパターンを表すのに使われるシナプスの数の節約と、それに関連した、同じレイテンシが他の入力によって使用され得るように特定の入力とほとんどまたはまったく相関しないシナプスを再利用する際の効率（相対レイテンシ）とが要求される場合がある。本開示において使われるモデルでは、樹状突起は、このような限定がないように抽象化することができる。ただし、シナプスの総数を制限し、リソースを再利用する動機づけがあり得る。これは、ハードウェアまたはソフトウェアリソースならびにニューロンの調節に関し得る。

システムのコンテキストにおけるシナプスターンオーバ態様を、図９に示す。シナプスターンオーバのプロセスは、モデルの他の側面の１つまたは複数の反復の間に定期的に（動的スパイキングモデルまたは遅延線分解能のすべての時間ステップごとではなく）効率的に実行され得ることに留意されたい。図９におけるニューロンｘは、図９に示すように、ランダム遅延をもつランダム入力に対するランダムまたは均等な重みで初期化されると仮定することができる。モデルが反復されるとき、学習機構は、一部の重みを増大させ、他の重みを減少させる傾向があり得る。提案されるモデルでは、学習曲線によるか、それともヘブ規則によるかにかかわらず、学習機構は、重みをゼロまたはその最大（もしくは何らかの正規化された最大）にさせる傾向がある。ただし、これは全体として成り立たない場合がある。ほぼゼロの重みを有する（低いしきい値が使われる）シナプスは、シナプスターンオーバによってリサイクルすることができ、新たな遅延、新たな入力、または新たな重みのうちの少なくとも１つが取得される。これらの各々は、ランダムにまたは決定論的に判断してよく、制限され得る（たとえば、入力ごとのシナプスの数または重み値の範囲）。次いで、システムは、学習を含む他の側面を反復し続けてよく、重みはさらに適合し得る。

概して、新たなシナプスは、その重みがしきい値を下回る場合であってもリサイクルされてはならない「試行期間」が認められ得ることに留意されたい。

学習方法を反復した後、重みは減衰または増大する。シナプスの数が制限され（これについては動機づけがある）、重みが制限される（これについても、ニューロンの調節のための動機づけがある）場合、より低い（または比較的無視できる）重みシナプスの一部が再利用されない限り、パターン認識能力が制限されてよい。シナプスターンオーバは、異なる遅延および／または重みおよび／または結合性（異なる入力ニューロン）をもつシナプスを再構成することを備え得る。こうすることによって、ニューロンのシナプスパターンは、特定の入力パターンについての臨界点に向かって発展し得る（すなわち、特定の数のシナプスが、パターン中の特定の数のスパイクに対応することを要求する）。次いで、この一連のターンオーバおよび再反復が繰り返される場合、重みは、パターン（１つまたは複数）へのマッチを向上させるように漸次学習され得る。

ニューロンの学習のブートストラップ
ＳＴＤＰまたは他のヘブ則学習機構を用いると、学習は発火を要求し得ることに留意されたい。発火しないニューロンは、学習をしない。他のやり方でニューラルネットワークを制限せずに効果的に学習が開始するようにするのを助けるためのいくつかの方法が、本開示において提案される。ニューロンは、大きい重み、多数のシナプス、より長い時定数、低いしきい値（高い相対静止状態）、最初は比較的少ない抑制、またはより大きい入力ノイズのうちの少なくとも１つを構成することによって、発火するようにされ得る。

したがって、一態様では、ニューロンが発火を開始するためには、ニューロンの入力における発振を使用すればよい。別の態様では、ニューロンに関連付けられたシナプス重みは高く設定してよい。さらに別の態様では、シナプスの数が高く設定されてよい。図１０は、最初により励起可能なニューロンがどのように、はるかに速く学習するかの例１０００を示し、これらのニューロンは、より発火しやすく、したがって重みがより速く調整されるので学習が速い。たとえば、例１０００では、ニューロン１００２はめったに発火しなくてよい。このニューロンは、テンポラルパターン認識装置としてよりも、スパイクカウンタとして作用し得る。このニューロンは、ごくまれにしか発火しないので、テンポラルコードについての重みを学習する機会がほとんどない可能性がある。同様に、ニューロン１００４は、より少ないスパイク（たとえば、４つのスパイク）のスパイクカウンタにしか見えない場合がある。ニューロン１００４は適合し得るが、４スパイクパターンごとに一度のみ発火することができるので、遅いプロセスであり得る。

対照的に、ニューロン１００６、１００８は最初に、非常に急速に発火することができ、テンポラルパターンを認識可能には見えない。ただし、まさにその逆が真となり得る。これらのニューロンは非常にしばしば発火し得るので、ニューロンの重みは、急速に適合することができ、図１０に示すように、履歴に依存して、異なるパターンを追尾することができる。重みが適合するとき、発火レートは、遅くなり、特定の時間ウィンドウ／遅延を追尾することができる。このプロセスが円滑に起きた場合、これらのニューロンは、遅い発火ニューロンよりもはるかに良好に／速くテンポラルコードを学習することができる。次いで、パターンが後になって再出現したとき、これらのニューロンは、異なるパターンまたは異なるパターン部分にマッチングするようにうまく応答することができる。

この手法には、さらなるテンポラルな利益があり得る。ニューロンは、高いレートで最初に発火することができ、広い時間ウィンドウにわたって側抑制を引き起こす。次いで、ニューロンは多様化し始めてよく、異なる入力組合せおよびニューロンの調節においてヒンジ結合する。その後、ニューロンは、その発火レートを遅くし始めてよく、したがって、より精密な遅延に対してより敏感になり得、遅延オフセットを学習する。ある態様では、ニューロンは、オフセット時間において発火することができ、側抑制は、時間遅延にわたって削減し得る。ここで、同様だが異なるパターンをもつニューロンにより、発火レートが増大する場合があり、多様性が微細になる。

活動レベルの間の遷移は、多様化にとって重要であり得る。なぜなら、発火が遅いニューロンは、他のニューロンに対する抑制効果を削減し得るからである。さらに、より低い抑制を受けるニューロンが、ニューロンの発火レートと抑制効果とを増大させる。上記によると、活動レベルが時間学習能力に影響し得るので、変動発火レートとの組合せで、学習は、効率的な分散型の組合せ探索で進んでよく、収束するまで一連の段階において、低い時間感度から高い時間感度に変動する。ある態様では、ネットワークの記憶機能は、抑制ならびに結合性および個々のニューロンの側面に依存してよく、効率的分散型多段プロセス中に起こってよい。

シミュレートされたアニーリング
発火カウント（活動の履歴）に基づいて重み調整レートを低下させることによって、ニューロンの学習レートは、パターンが学習されると固定化し得るように、「冷却」することができる。このことは、上述した問題により、テンポラルコーディングにおいて特に有用であり得る。たとえば、ＳＴＤＰまたは他の規則の使用は、パターンウィンドウが重複し、したがって冗長になってしまうまで、パターンウィンドウをシフトしようとする傾向があり得る。重みが「冷却」した場合、この傾向は回避され得る。

最後に、樹状処理がすべて必須である（論理ＡＮＤ）ために重要なわけではないが、テンポラルシステムが機能するためには、しきい値を上回る、追加の何らかの構成要素があるべきであることに留意されたい。言い換えると、樹状突起にわたってまたは細胞体において必須構成要素があり得る限り、樹状突起を論理ＯＲ演算としてのみモデル化することが可能な場合がある。

図１１は、本開示のいくつかの態様による、ニューラルテンポラルコーディングのための、ニューラルネットワークのニューロン回路によって実施することができる例示的動作１１００を示す。１１０２で、相対遅延線抽象化を使用することができ、この抽象化により、ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させることができる。１１０４で、動的スパイキングモデルが、ニューロン回路の重みおよび遅延シナプス入力に基づいてニューロン回路のスパイキング行動を判断するために適用され得る。１１０６で、シナプス入力に関連付けられた重みは、ニューロン回路スパイキングと遅延シナプス入力のタイミング関係に依存して、教師なし学習規則に従って調整され得る。

本開示のある態様では、重み、ニューロン回路に関連付けられたシナプスの数、シナプスの時間定数、ニューロン回路の発火しきい値、ニューロン回路の抑制度合、またはニューロン回路に関連付けられたノイズのうちの少なくとも１つが、ニューロン回路の初期発火レートを誘導するように制御され得る。さらに、シミュレートされたアニーリングが、重みの調整のために、教師なし学習規則によって適用され得る。

本開示のある態様では、ニューロン回路に関連付けられた再利用可能シナプスを選択することができ、重み、遅延、または再利用可能シナプスの求心性部分のうちの少なくとも１つを修正することができる。再利用可能シナプスの選択は、しきい値を下回る値まで、教師なし学習規則によって削減される再利用可能シナプスの重みに基づき得る。さらに、再利用可能シナプスの選択は、シナプスが再利用されてから経過した時間によって条件付けられ得る。

大きいまたは長い空間テンポラルパターンのニューラルコーディングの方法
パターンの所与の持続時間とサイズ（入力の数）とをテンポラルパターンマッチングすることが可能なニューロンを設計するために、提案されるテンポラルパターン方法を使用することができる。ただし、より大きいパターンとマッチングすることがさらに所望される場合がある。図１２は、入力（スパイク）を示すバーのプロット１２００を示す。スパイクの垂直ポジションは、入力インデックスまたは空間次元を示し、水平方向は時間を表す。図１２に示すように、対応するボックス１２０２、１２０４、１２０６によって示される全体的パターンの空間テンポラル部分を認識することが可能であり得る３つのパターンマッチングニューロン、すなわちｘ、ｙおよびｚがあり得る。パターンマッチングニューロンの各々は、重複し得る、異なる空間テンポラルフレームにおける入力を考慮することができる。

本開示は、パターンが起きたときにパターン全体をどのようにして認識するかについてのソリューションを提案する。このソリューションは、効率的に（すなわち、あまりに多くのニューロンレイヤを用いずに）実施される必要があり得る。さらに、提案されるソリューションは、所望のパターンから、並べ替えられ、または入れ換えられた部分を備えるパターンを誤って認識することを防止することが可能であり得る。

個々のニューロンが、上述したように、空間（考慮される入力ニューロンまたはシナプスの数）またはテンポラルパターン分解性（たとえば、精度やウィンドウ）に関して制限された（または制御された）能力を有してよい。ただし、より長いテンポラルパターンもしくはより大きい空間パターン（または両方）の学習および認識は、複数のニューロンまたは複数のニューロンレイヤを使って達成され得る。

より長いおよびより大きい空間テンポラルパターンをコーディングするためのネットワーク
図１２に示す例１２００では、ニューロンｘ、ｙおよびｚがすべて発火した場合、完全パターンの大部分がマッチングされ得る。ただし、空間テンポラルフレームワーク中に、このマッチングは、出力を空間的に組み合わせるだけでなく、テンポラルに組み合わせることも要求し得る。したがって、次のレイヤのニューロンｉは、図１３に示すように、一致する遅延を有し得る。図１３において、３つのレイヤ１３０２、１３０４、１３０６を、レイヤ１３０２における入力、レイヤ１３０４における小さいパターンニューロンｘ、ｙ、ｚ、およびレイヤ１３０６における長い／大きいパターンニューロンｉとともに示す。図１３から、両方のレイヤ１３０４および１３０６の出力が空間テンポラルパターンを形成し得ることを観察することができる。レイヤ１３０６のニューロンｉは、ｘ、ｙ、ｚニューロンスパイクパターンとマッチングするシナプスについての重みおよび遅延を備え得る。図１３に示す例において、ニューロンｉは、（ｘ／ｚの、およびｙの）隣接時間ウィンドウの結果を組み合わせることができるが、これは、この構造的ビルディングブロックは、後続レイヤが一層長いまたは大きい空間テンポラルパターンを符号化／復号／応答する階層ネットワークアーキテクチャに組み立てられ得るので、例にすぎない。

ただし、上述したように個々のニューロンの時間ウィンドウが制御され得る（およびしたがってネットワーク時間ウィンドウが制御され得る）ので、より長いおよびより長いテンポラルパターンを認識／復号するのに、ますます多くのレイヤを追加する必要はなくてよい。

スケーラブルな空間テンポラルネットワークソリューション
さらに、軸索遅延またはネットワークアーキテクチャ上の（異なる経路）遅延との組合せで、より長いパターンを、いくつかのレイヤにマッチングすることもできる。これについては、図１４で説明され得る。レイヤ１４０４のニューロンｗ、ｘ、ｙ、およびｚは、レイヤ１４０２の求心性部分における空間テンポラルパターンのサブパターンを認識することができる。レイヤ１４０４の発火時間（活動電位（ＡＰ）発生時間）が、レイヤ１４０６に示されている。ただし、ＡＰが、そのそれぞれの軸索に沿って伝播し、レイヤ１４１０中にあるニューロンｉ上のシナプス（１つまたは複数）に達するには、ある程度の時間がかかり得る。さらに、軸索ケーブルプロパティ（長さ、コンダクタンス、膜コンダクタンスなど）によっては、ニューロンに依存して異なる時間量がかかり得る。この場合、ニューロンｘ、ｙ、およびｚは、細胞体から、ニューロンｉをもつシナプス接合部におけるシナプス前点まで、ニューロンｗの場合よりも長い軸索距離（もしくはより遅い速度（より薄いミエリン）、またはより大きいホップネットワーク経路）を有し得る。シナプス前点におけるＡＰタイミングは、レイヤ１４０８中に示されている。この点におけるタイミングは、ニューロンｉが分解し得る（すなわち、起点におけるよりもはるかに時間が接近している）時間ウィンドウ１４１２内であり得る。ニューロンｉは、このパターンと、したがってレイヤ１４０２のパターン全体とを認識することができ、それに従って発火し得る。効果的には、軸索遅延は、任意に長いパターンのパターン認識を、ニューロンｉが認識するべきウィンドウに圧縮済みである。

テンポラルパターン能力をスケーリングするための別の方法は、回帰結合または自己回帰結合で実装することができる。図１５に示すように、より早期の部分と組み合わされたパターンの後続部分にマッチングするニューロンに部分的パターンマッチが供給され得るように、１つのニューロンまたは複数のニューロンを結合すればよい。

この概念は、いくつかのやり方で拡張することができる。本開示の一態様では、より長いパターンを学習するように、ニューロンが追加され得る。別の態様では、ニューロンは、隣接または非隣接パターン部分をまとめることができる。さらに別の態様では、ニューロンは、パターンの一部分がどの程度重要であるか、またはパターンのその部分において入力が（空間的またはテンポラルに）どの程度可変であるかに依存して、異なる精度もしくは一般性をもつパターンの異なる部分を認識し、または異なる感度を有することができる。

生物学的に、プレシナプスニューロンについての軸索遅延は一般に、そのニューロンをもつシナプスすべてに対して等しい（すなわち、共通軸索遅延）と特徴付けられ得ることに留意されたい。これは、上述したアラインメント／圧縮にとって有用な機構であり得るが、遅延処理側面は抽象化され得るので、本開示において提案される方法は、この特徴付けを厳格に要求するわけではない。第１のニューロンが、異なる樹状遅延で次のレイヤのニューロンに入力しようとも、まさに同じ処理を有するが軸索遅延が異なる２つのニューロンが次のレイヤのニューロンに入力しようとも、計算的視点から、均等な遅延表現がモデル化され得る。

スーパースケーラブル／再帰的テンポラルパターンコーディング
さらに、単一のニューロンを使って、一層長いテンポラルパターンマッチングを達成することができる。単一のニューロンは、複数のパターンを認識するように構成され得ることに留意されたい。この構成は、入力パターン（部分）に依存して異なるシナプスが一致し得るので、可能であり得る。図１６に、同じ４つの入力ニューロン１６０２、１６０４、１６０６、１６０８のうち、あるパターンの２つの部分を示してある。第１の部分（半分）について、いくつかの遅延が、一致するアラインメントを引き起こす可能性があり、他の遅延はその可能性がないことに留意されたい。ただし、パターンの第２の部分（半分）でアラインするのは、他の遅延（シナプス）であり得る。シナプスの重み（および数）が、パターンの第１の部分を認識するとニューロン１６１０が発火するようなものである場合、この重みは、ニューロン自体に（遅延もともに）フィードバックされ、パターンの第２の部分とのマッチングを行うのに使われてよい。当然ながら、このことは、どの長さのパターンにも一般化され得る。それゆえ、一回帰ニューロン１６１０が、長いパターンおよび／または大きい空間パターンを認識することができる。

そのようなより大きいまたはより長いテンポラルパターンをコード化するための機構を有することに加えて、テンポラルパターンコーディングのタスクを複数のニューロンの間で効率的に分割することができるネットワーク学習方法がさらに提案される。

空間テンポラルパターンを学習する際の分化のための方法
異なるニューロンを用いて、異なるパターンを認識することができる。教師なしトレーニングでは、異なるパターンをニューロンが自律的に学習／選択することが望ましい場合がある。ただし、スパイクタイミング依存可塑性（ＳＴＤＰ）により、一般に表されるように、ニューロンが分化するのを防止することができる。これは、異なる部分に対して個々のニューロンを使って、より長いパターンを学習する際にも重要であり得る。（複数の部分の間で）分化がない場合、全体的なパターン対応（マッチ／学習）が防止され得る。

ＳＴＤＰが問題となり得る理由は、パターンのどの部分でニューロンが学習を開始しても、ニューロンは、パターンの最も早い部分に向かってシフトし得るようにテンポラルドリフトを引き起こし得るからである。この問題を解決するためのいくつかの方法、たとえば分割正規化（divisive normalization）（出力抑制）または側抑制（すなわち、勝者総取り）が提案され得る。

側抑制または勝者総取りは、テンポラルパターンの間に競争を採り入れることによって、多様化を向上させることができ、異なる時間に発火するニューロンを優先し、したがって可能性としてパターンカバレージを広げる。側抑制の影響は、図１７に記すことができる。プロット１７０２、１７０４は、それぞれ、側抑制がある場合およびない場合の各ニューロンにおける重みの適合を表す。

観察されるＳＴＤＰ効果と矛盾せずに、重みは、極を向いてよく（双極性重み）、最大値まで増大するか、またはほぼゼロまで減少する。プロット１７０２において、側抑制なしで、ニューロンはすべて、同じパターン（不十分であり制限されている）を学習することができる。プロット１７０４において、側抑制ありで、ニューロン１７０６、１７０８は、パターンの異なる部分を学習することができ、ニューロン１７１０、１７１２は、未使用（空きメモリ）のままでよい。

図１８は、本開示のいくつかの態様による、長いおよび大きい空間テンポラルパターンの、ニューラルテンポラルコーディングのためのマルチレイヤニューラルネットワークにおいて実施することができる例示的動作１８００を示す。１８０２で、階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤは、入力に、およびマルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合することができる。１８０４で、マルチレイヤニューラルネットワーク内のニューロン回路の第１のレイヤは、入力パターンの第１のサブセクションとマッチングすることができ、その結合されたレイヤは、入力パターンのサブセクションと入力パターンの別のサブセクションとをマッチングした結果として、別のレイヤのニューロン回路の発火の組合せとマッチングする。ある態様では、入力パターンの別のサブセクションは、入力パターンのサブセクションに続き得る。

本開示のいくつかの態様によると、第１のレイヤは、ポリクロノス発火波をリプレイすることによって、テンポラルコードでメモリを維持する入力パターンの第１のサブセクションによって励起される回帰ニューロン回路のネットワークを備え得る。マルチレイヤニューラルネットワークの回帰ニューロン回路の別のネットワークは、入力パターンの第２のサブセクションとポリクロノス発火波の組合せによって励起することができる。本開示のある態様では、階層型マルチレイヤニューラルネットワークのレイヤの間の軸索遅延は、応答が、入力パターンの第２の部分に対応する時間ウィンドウ内に入るように入力パターンの第１の部分にマッチングするまで応答を遅延させ得る。

図１９は、本開示のいくつかの態様による、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための、ニューラルネットワークのニューロン回路において実施することができる例示的動作１９００を示す。１９０２で、シナプス入力を、関連付けられた遅延をもつシナプスを介して、ニューロン回路に与えることができ、シナプス入力のうちの少なくとも１つは、自己結合されているシナプスのうちの少なくとも１つに関連付けられてよく、シナプスは複数のセットに属してよく、セットのうちの少なくとも１つは、再帰的自己結合を備えないシナプス入力のパターンの第１の部分にマッチングするべき遅延組合せを備え得る。

本開示のいくつかの態様によると、複数のセットのうちの少なくとも１つの他のセットは、パターンの第２の部分と、第１のパターン部分を、別の遅延組合せにマッチングする第２のパターン部分と相関させるための遅延を有する、自己結合されている少なくとも１つのシナプスとをマッチングするための別の遅延組合せを備え得る。ある態様では、自己結合されている少なくとも１つのシナプスに関連付けられた軸索遅延は、応答が、第２のパターン部分に対応する時間ウィンドウの範囲内になり得るように、第１のパターン部分にマッチングしたことに対する応答を遅延させ得る。

一般化されたニューラルコーディングおよび学習の方法：時間およびレートコーディング
従来から、ニューラル通信は、ニューロンの発火（スパイキング）レートでコード化されるように理論化されている。ただし、スパイクタイミングの重要性は、通信がスパイクのテンポラルな一致でコード化され得るように提案される。さらに、スパイクタイミングにおけるテンポラルパターンが情報をコード化し得ることが提案され、そのようなテンポラルパターンの復号および学習を、生物学的に理にかなったやり方で遂行できるようにするための方法が提案される。本開示では、単一モデルがどのように、情報コーディング方式のスペクトルを発火（スパイク）レートから、スパイクテンポラルパターンとのスパイク一致に符号化／復号することができるか、およびこのようなモデルがどのように、このようなスペクトルにわたる復号方法に動的に適合し、または複数のコードフォームに対して同時に普遍的に動作し得るかが、さらに提案される。さらに、生物学的に示唆され／一貫するが、計算の複雑度が低下した実用的方法が提案される。

普遍的なニューラルコーディング：一致、時間および発火レートの組合せ：コードのスペクトル
本開示において提案される方法の主要な利点は、発火レートでコード化された情報、スパイクタイミング一致、またはスパイク空間テンポラルパターンはすべて、同じニューロンモデルによって復号され得ることである。例示的ケースでは、図２０に示すように、ニューロンａ〜ｄからの求心性部分（入力）をもつニューロンｘと見なすことができる。さらに、ニューロンｘへのそれらの求心性部分の入力情報は、一致、テンポラルパターンまたは発火レート（または発火レート組合せ）のいずれかの形でコード化され得ると仮定することができる。図２０は、そのような形を復号する、３つの代表的例２００２、２００４、２００６を示し、Δｔによって示される任意の時間分解能があってよく、個々の結合遅延は、その倍数で示すことができる（すなわち、遅延ｎ_Aiは整数である）。

実際の入力スパイク時間は、その入力への１つまたは複数の結合に関連付けられた１つまたは複数の遅延だけ遅延させることができる。概してニューロンｘの時定数に対応する時間ウィンドウ（統合ウィンドウ）に達する遅延入力を組み合わせることができ、可能性としてニューロンを消極し、したがって、（可能性として、その消極またはニューロンの活動レベルもしくは励起性によっては、遅延の後で）出力スパイクを引き起こす。

入力スパイクタイミングの一致（図２０の例２００２）は、一致する遅延求心性部分の組合せ（統合）が、入力一致に関連付けられたゼロでない相互情報を伝えるタイミングでニューロンｘを発火させるしきい値を超え得るように、等しい（すなわち、ｎ_ai＝ｎ_bi）または生じる遅延スパイクがニューロンｘについての統合ウィンドウの範囲内になり得るほど十分接近しているどの遅延でも復号することができる。言い換えると、ニューロンｘが発火するという事実、およびニューロンｘの出力スパイクのタイミングは、入力の一致についての情報を伝えることができる。ニューロンｘが発火しない場合、このことは、入力一致の不足または欠如に関する情報を伝えることができる。

ニューロンは、求心性部分ｂに関して図２０の例２００２に示すように、求心性部分への複数の結合と、それらの結合に関連付けられた異なる遅延とを備え得る。すべてのそのような遅延が互いに対応することは要求されなくてよいことに留意されたい（たとえば、図２０の遅延ｎ_b1）。また、図２０の例２００４に示すように、遅延のうちの不十分な数が等しい場合、一致する実際のスパイクのうちあまり多くないものが、遅延の後でアラインしてよく、したがってニューロンｘをスパイクさせなくてよい（または異なる時間に、たとえば、後でスパイクさせてよい）。

さらに、遅延が違うように構成されている場合、ニューロンｘによって入力の一致を認識することができない（図２１の例２１０２を参照）。言い換えると、ニューロンは、入力の一致を認識する（一致にさらされると、発火する）、またはしないように構成され得る。遅延のいくつか（すべてではなく）が異なることを識別するために、それらの遅延は、プライムシンボル（たとえば、図２１の遅延ｎ_b1’）で示されている。

入力スパイクタイミングのテンポラルパターン（たとえば、図２０の例２００４）は、テンポラルパターンにおけるスパイクの間の時間差に対応する相対差を有する遅延のプロファイルで復号することができる。具体的には、時間基準ｔ_refに相対した時間ｔ_Aに達する求心性部分Ａに対する、Δｔ、すなわち、下記式のタイミング分解能が与えられると、少なくとも１つの遅延ｎ_Aiがあり得る。

基準時間は、参照求心性部分（たとえば、求心性部分ａ）または求心性部分（たとえば、発振）以外の絶対時間基準もしくは相対時間基準を指すことができ、タイミングｔ_Aは、同時に相対または絶対でよいことに留意されたい。

これについての１つの視点は、時間遅延が、遅延パターンを、上述したように復号される一致に効果的に転換し得ることである。必要な遅延のうちの十分な数が存在しない場合（図２０〜図２１の遅延のプライム指示が、遅延が異なることを示す）、遅延スパイクは、アラインされるよりも、むしろ時間分散され得る（図２２の例２２０２を参照）。この分散により、ニューロンｘは、スパイクしない（または異なる時間に、たとえば後で、スパイクする）場合がある。これは、必要なパターンが入力として与えられない場合とは異なってよく（図２２の例２２０４を参照）、同様の結果（非発火）が起こり得るが、それは、ニューロンが、そのパターンを認識するように構成されなくてよいからである。

すべてのそのような遅延が、たとえば、図２０の例２００４または図２２の例２２０６における遅延ｎ_b2のように、テンポラルパターンに対応することは要求されなくてよいことに、再度気づくであろう。実際、ニューロンは、対応する遅延よりもかなり多い、入力に対する非対応遅延を有し、非常に多数の可能入力の間で所望のテンポラルパターンを区別することが依然として可能な場合がある。Ｍ個の求心性部分があり、分解できる時間分解能はΔｔであってよく、遅延範囲はΔｔとＴとの間であってよい場合、求心性部分ごとに１スパイクがある可能入力テンポラルパターンの数は、次のようになり得る。

求心性部分ごとに任意の数のスパイクがある可能入力テンポラルパターンの数は、次のようになり得る。

明らかに、可能パターンの数は、比較的少数の求心性部分および遅延範囲であっても、非常に大きくなり得る。したがって、単一のニューロンが、たとえば、２つのテンポラルパターンに対応する遅延を有する場合、第３の望まれないパターンを認識する確率は、ほとんどないくらい小さくて（すなわち、１／（Ｃ₁−２））よく、標的遅延パターンのハイブリッドであるテンポラルパターンに関連付けられ得る。言い換えると、論理ＯＲ演算は、図２３に示すように、高い効率で入力パターンに対して実装することができる（パターンＣは、パターンＡとＢのハイブリッドであり得る）。必要な場合、そのような非標的パターンは、抑制をもつアーキテクチャによって、もしくは別個のニューロンによって、パターンを区別するのを拒絶されてよく、または遅延は、特定のパターンに対応する遅延が分岐内ではあるが複数の分岐にわたらずに超線形に合計され得るように、「樹状分岐」でグループ化されてよい。これを遂行するための別のやり方は、ニューロンｘの樹状分岐ごとに発火しきい値を適用することであり得る。少なくとも１つの遅延を再利用することができる（たとえば、図２３の遅延ｎ_c1参照）ので、２つの異なるパターンをマッチングするための結合の数を倍にする必要がなくてよいことにも留意されたい。

パターンＡおよびＢは、図２３ではテンポラルパターンであるものとして示されているが、一方または両方が、部分的または全体的に（遅延が等しい）一致パターンであってはならない理由はないことにさらに気づくことができよう。言い換えると、単一のニューロンは、テンポラルパターンと一致の混合を認識するように構成され得る。

入力の発火（スパイク）レート（図２０の例２００２）は、入力（求心性部分）ごとに２つ以上の遅延が与えられ他場合、このような方法でも復号され得ることが、本開示においてさらに提案され、遅延は、求心性部分のスパイク間間隔（求心性部分Ａについての標的入力発火レートｆ_Aの逆）、すなわち、以下の式に対応しうる。

単一の入力のスパイクは、統合ウィンドウに再アラインされ得るので、ニューロンｘは、発火レートを復号することができ、一致する遅延入力の組合せ（統合）がしきい値を超えたときに発火する。一致およびテンポラルパターンマッチングと同様に、図２４に示すように、すべての遅延（たとえば、図２４の例２４０２および図２０の例２００６における遅延ｎ_d2）が互いに対応する必要はなくてよい。さらに、ある入力からのスパイクをアラインさせる遅延は、アラインし得ない余分補助遅延スパイクも生じ得る（たとえば、図２４の求心性部分ａから第２の入力スパイクに適用される遅延ｎ_a1）と予想することができるが、これらの遅延はサブしきい値であってよいので、パターンマッチング実施を中断することはない。

さらに、顕著なしきい値が与えられると、ニューロンにサブミットされるものとは異なるレートに対応する遅延により、発火が起こることはない（すなわち、図２４の例２４０２、２４０４における同じパターンのサブミットを、異なる遅延と比較し、例２４０６における異なるパターンの、同じ遅延構成へのサブミットを比較されたい）。たとえば、図２４において、しきい値は、６に構成されてよく、そうすることによって、例２４０２に示す発火レート組合せ（標的発火レート組合せ）が起こり、それ以外の組合せが起こらないとき、ニューロンｘの発火が起こり得る。

図２５は、求心性部分ａについて、２つの異なる発火レートが、求心性部分ａに対する同じ遅延ペアで構成されたニューロンｘにサブミットされ得る例２５００を示す。遅延ペアは、標的レートＡにより、すなわち、オリジナルスパイクの画像を厳密に一致させるように構成することができる。

図２６は、求心性部分ごとの（この場合、求心性部分ａおよびｂについての）２つの遅延が、オリジナルスパイクの画像をアラインするのにどのように使われ得るかについての例２６００を示す。ニューロンｘのしきい値を、一致画像の数（たとえば、図２６では２）に対応するレベルに設定することによって、単一の求心性部分の発火レートがマッチングされ得る。ただし、レートの組合せ（Ａからの１つのレートと、Ｂからの１つのレート）をマッチングしようとするとき、求心性部分ごとに遅延ペアが使われるだけである場合、求心性部分発火レートシーケンスのアラインメントに依存して、両方の求心性部分からの画像（遅延スパイク）が、統合ウィンドウ内でアラインし得る前に、ある程度の時間がかかり得る（求心性部分ａについての画像を、求心性部分ｂについてのケース１画像と比較されたい）。

ただし、予想遅延は、より多くの遅延を追加することによって削減することができる（たとえば、求心性部分ｂのケース２では、３つの遅延があり、求心性部分ａおよびｂの画像が、ウィンドウの範囲内である可能性の方が高い）。標的入力発火レートで起こる入力スパイクペアだけでなく、むしろ標的入力発火レートにおける一連のスパイクにマッチングするために、（たとえば、ロバスト性のために）求心性部分ごとに２つより多い遅延タップでニューロンｘを構成することが検討されてもよい。ただし、求心性部分ごとに１ペアを超える遅延が使われ、連続するスパイクについて構成される場合、フルシーケンスのみにマッチングするように十分高くしきい値が設定されない限り、エイリアシングが起こり得ることに留意されたい。したがって、（２つより多い場合）遅延を疎な時間配置で構成することが所望され得る。たとえば、１のレートにマッチングすることが、０および１の遅延において提案されてもよい。より長い時間ウィンドウが所望される場合、３、４単位の遅延分解能において同じ求心性部分に対して遅延を追加すればよい。ただし、４つの入力単位を要求するようにしきい値が増大された場合、マッチングするように時間を遅延させればよい（少なくとも最大遅延である）。

これを実施するための別のやり方は、別個のニューロンに、各求心性部分についての発火レートを復号させるものであり得る。ある態様では、ニューロンｘ、ｙ、ｚ、およびｗは、それぞれ、求心性部分ａ、ｂ、ｃ、およびｄについての標的発火レートを復号することができる。次いで、遅い時定数で構成された別のニューロンが、標的発火レート組合せを認識するために、４つすべての一致にマッチングするのに使われ得る。ただし、これは、異なる発火レートにマッチングするために異なる遅延で構成された別個の樹状分岐上で各発火レートを復号する１つのニューロンで遂行することもできる。発火レート認識を達成するためのさらに別のやり方は、再帰を用いるものでよい。ただし、これには、出力が包括的であるよりもむしろレートコーディングされること（スパイクカウンティング）が要求され得る。

それにも関わらず、これらの技法のいずれも、入力発火レートが互いの妥当な範囲内であるときは必要とされなくてよいことが提案され、それは、発火レートの形での情報の符号化は、テンポラルパターンコーディングとしては、（同じ数の求心性部分が与えられると）本質的により遅いからである。したがって、発火レートの復号は、必ずしも高速である必要はなくてよい。ただし、このことから、可能性として興味深い洞察を観察することができ、すなわち、求心性部分ｘの発火レートは、求心性部分の周期性の関数にすぎなくてよく（それらの相対オフセットではなく）、発火を開始するための、求心性部分ｘについての遅延は、それらのオフセットの関数であってよい。言い換えると、求心性部分と発火レートの組合せを復号する際、ニューロンｘは、図２７に示すように、個々の求心性部分発火レートのオフセットにかかわらず一定であるレートで発火し得る。このことは、２つの求心性部分について成り立ってよく、確率的には多くの求心性部分について成り立ち得る。ただし、画像の重複の確率に依存して、２つより多い求心性部分がある場合、発火レートが変化し得る。さらに、複数の遅延ペアを使うことができ、ニューロンの統合時間ウィンドウを修正することができるので、発火レート組合せオフセットにかかわらず同じ発火レートを生じるように、学習が適用され得ることが可能であり得る。

上記３つのコーディングケース（一致、時間、発火レート／レート組合せ）において、すべての遅延が、標的入力タイミングをアラインする必要があるわけではないことに留意されたい。それゆえ、単一のニューロンは、複数の差分一致、複数の異なるテンポラルパターン、または複数の発火レートもしくはレート組合せを復号（認識）するように構成すればよい。さらに、単一のニューロンは、一致パターン、テンポラルパターン、および発火レートまたはレート組合せの混合物を復号するように構成すればよい。上記方法は一般化することができ、アーキテクチャ的または樹状分岐方法が、これらの組合せに適用されて、ハイブリッドまたは非標的パターンの一致の可能性を削減することができる。

普遍的学習：すべてのコード、すなわち一致、時間および発火レートの組合せに対して１つの方法
ニューロンの構成は可塑性があり得るので、特定の入力への結合に関連付けられた重み（１つまたは複数）（ならびに／あるいは遅延および／または結合／シナプスの数）が学習され得る。一般に、ヘブ則学習またはスパイクタイミング依存可塑性（ＳＴＤＰ）が、教師なし学習において、入力と出力との間の近似因果律関係を学習するのに使われ得る。そのような方法は、テンポラルパターン学習に適用することができ、発火レートをマッチングするのに、求心性部分ごとに２つ以上の遅延をどのように使うことができるか、そのような学習が、特定のニューロンに入力される一致、テンポラルパターンおよび／または発火レートもしくはレート組合せを普遍的に学習するのに適用され得ることを、本開示に示す。これにとっての主要な要素は、オリジナルスパイクタイミングではなくアラインされた（画像）スパイクのタイミングに基づいて、結合に学習が適用され得ることである。

上記に対して暗示したように、入力一致、テンポラルパターンまたは発火レートのニューロン復号の品質は、ニューロンの統合ウィンドウに依存し得る。このウィンドウは本質的に、ニューロン（たとえば、細胞体膜）の瞬間的時定数であり得る。したがって、時間およびレート忠実度は、この時定数に依存し得る。ただし、時定数は、動的に変化してよく、この変化が、コーディングスペクトル（レート、時間または一致）の異なる領域中で学習および動作する際に重要であり得る。

図２８は、モデル化されたニューロンの電圧の経路に印をつけるテンポラル位相ポートレートおよびニューロンが異なる入力を受信し、スパイクする（またはスパイクしない）ときの回復変数の例２８００を示す。経路のどの地点も、第１の入力以降の一定の遅延に関連付けられ得る（たとえば、遅延は、０ｍｓと５０ｍｓとの間でよい）。新皮質錐体細胞パラメータで構成される、Ｉｚｈｉｋｅｖｉｃｈによって提案された単純スパイキングモデルを使うことができる。時間が、（結合または求心性部分ごとに適用される任意の遅延の後）細胞体における到着時間、すなわち０ｍｓにおける１０個のシナプスの入力、０ｍｓにおける２０個のシナプスの入力、０ｍｓにおける３０個のシナプスの入力、０ｍｓにおける１５個のシナプスおよびさらに１０ｍｓにおける１５個のシナプスの入力、ならびに３５ｍｓにおける（上の３の後の）３０個のシナプスの入力を指す以下のケースが示される。

線図２８００における数字付きピンは、入力が適用された直後の地点に対応する。入力は、ピンへの消極ステップ（たとえば、ＲＥＳＴからの）に対応し得る。入力消極がサブしきい値（ｖ_t）である場合、電圧は静止まで減衰し得る。入力消極がしきい値を上回る場合、消極が不安定になり、ｖ_peakまで増大してよく、スパイクが起こり得る。スパイクの後、電圧は回復点まで回復し得るが、ニューロンの回復は、ある程度の追加時間がかかり得る（ＲＥＳＴまでのｕの回復）。

３つの時間忠実度側面を指摘することができる。第１に、サブしきい値入力消極からの回復するための時間は、入力に依存して変わり得る（図２８における１対４ａと比較されたい）。第２に、発火するべき時間は、入力タイミング、（入力成分の間の）バランス、および総量（図２８の２と３と４ｂと比較されたい）に依存して変わり得る。第３に、発火するべき時間は、（発火前の）活動レベルに依存して変わり得る（図２８の３と５と比較されたい）。

したがって、非常にアクティブなニューロンは、比較的低い時定数、ならびにしたがってより高い時間（およびしたがってレート）忠実度で動作していてよい。発火レートコーディング方式での動作が、（時々のタイミングスパイクとは反対に）比較的高い活動レベルでの動作と見なされる場合、ニューロンは、ニューロンの忠実度を、適切により的確になるように調整することによって、高い発火レートに適合し得る。これは、時定数が効果的に修正され得るので、コーディングおよび学習のための主要な側面であり得る。比較（図２９のグラフを参照）のために、モデルの名目時定数は、より多くの入力を与え、またはより高い活動レベルで動作するときと同様の効果を達成することができることを示すように、１／２だけ（すなわち、２倍速く）変化させることができる。

本開示のいくつかの態様によると、恒常性またはニューロンの調節および側抑制が、ニューロンの発火活動と、したがって学習とを調節することを学習する際の主要な要素となり得る。コーディングスペクトルの異なる部分（たとえば、発火レートと、それに対するテンポラルパターン）において動作している間、ニューロンの活動レベルは異なり得る。したがって、特定の発火レートを標的にすることが提案されることはなく、むしろ一定の範囲の発火レートが許可される。発火レートが下限を下回る場合、長期間にわたって発火レートを高め、発火レートが上限を上回る場合、長期間にわたって発火レートを抑えることが、本開示において提案される。このような範囲を認めることが、一般コーディングにとっての主要な要素となり得る。ニューロンが、何にさらされるかに依存して、一致、テンポラルパターン、または発火レートもしくはレート組合せを学習できることが所望される場合がある。したがって、特定の長期出力レートを標的にするのではなく、ニューロンに、一定の範囲の発火レートをもたせることが推奨され得る。

生物学的に一貫するスパイクタイミングに依存する可塑性は、次のように定義することができる。求心性部分結合ｉからニューロンｊまでの入力スパイクシーケンスが（オリジナル求心性部分信号への遅延の適用に続いて）ｘ_i,j（ｔ）で与えられ、ニューロンｊの出力がｙ_j（ｔ）で与えられ、両方が２進シーケンスである場合、ｊの発火についての学習に対する感度は、

で、入力についての学習に対する感度は、

で定義することができ、上式でＬＴＰは長期増強を指し、ＬＴＤは長期抑圧を指し、α_LTP、α_LTDは、対応するＩＩＲ（無限インパルス応答）フィルタ係数である。

さらなる入力がない場合、フィルタはしたがって、それらの係数に従って減衰し得る。シナプス（結合）ｉについての重みは、量

（図３０のドット３００２）だけ発火すると、調整されてよく、シナプス（結合）ｉについての重みは、遅延（図３０のドット３００４）の後で、細胞体で入力が受信されたとき、量

だけ調整することができる。

ニューロンについての詳細なスパイキングモデルは要求されなくてよいが、復号および学習についてのニューロンの統合時間ウィンドウ（時定数）の適合は、一般化された復号および学習が可能であるような求心性部分ごとに２つ以上の時間遅延との組合せで、主要な側面であり得ることが、本開示において提案される。本開示のいくつかの態様によると、上述した学習規則は、入力パターンが一致、テンポラルパターン、もしくは発火レートまたはそれらの組合せであるかにかかわらず、入力パターンを学習するように、一般的なやり方で適用することができる。さらに、学習規則は、遅延されたタイミングに基づいて適用される必要があり得る。そうでない場合、発火レートおよびテンポラルパターンマッチングを折衷させればよい。

パターンを学習するために、ニューロンは、一致、テンポラルパターンまたは発火レートに対応する遅延のセットに関連付けられる必要があり得る。しかし、概して、これらの遅延および結合の特性は、コーディング方式に依存して変わってよく、一致は、異なる入力にわたって等しい遅延を要求する場合があり、テンポラルパターンは、異なる入力にわたって異なる遅延を要求する場合があり、発火レート組合せは、入力ごとに複数の異なる遅延結合を要求する場合がある。しかし、効率のために、結合の数を最小限にすることが所望され得る。したがって、構造的可塑性についても、本開示において次のように提案される。一般化された学習のために、ニューロンは、使用されているコーディング方式に依存して、１つの入力への、または多様な入力への複数の結合を学習することができる。この学習は、上記規則に従って、学習方式に重みを削減または増大させることによって遂行することができる。ただし、異なる遅延をもつ異なる入力への新たな結合が行われ得るような、構造的可塑性の方法が提案される。好ましい態様では、学習によって非常に低い値まで抑圧された結合を、再利用することができ、（許容範囲内の）ランダム遅延をもつランダム入力に割り当て直すことができる。新たな（または再利用される）結合の追加のみのせいで全体的なニューロンの行動が大きくは変わり得ないように、低い重みをもつ新たな結合を開始することが推奨され得る。

図３１は、本開示のいくつかの態様による、一般入力パターン向けのニューラルコーディングの例示的動作３１００を示す。３１０２で、１つまたは複数のシナプスを、細胞体をもつニューロン回路に結合することができ、１つまたは複数のシナプスの各々は、ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有する。３１０４で、相対遅延の各々だけ、対応する入力求心性部分と細胞体との間の遅延を招く場合があり、１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有してよく、サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備え得る。

本開示のいくつかの態様によると、一致サブパターンに対応するシナプスのセットが、異なる入力求心性部分についての同じ遅延を有してよく、発火パターンのサブパターンに対応するシナプスのセットが、同じ入力求心性部分についての異なる遅延を有してよく、テンポラルパターンのサブパターンに対応するシナプスのセットが、異なる入力求心性部分についての異なる遅延を有してよい。

本開示のある態様では、互いからオフセットされている遅延を有する発火パターンに対応するシナプスの２つ以上のセットを有することによって、学習された発火レートにニューロン回路が応答するための遅延を、最小限にすることができる。さらに、２つ以上のセットからのシナプスのうちの一部は、１つまたは複数の望まれないレートのエイリアスに起因するニューロン回路の発火を引き起こす時間オフセットを省くようにパンクチャ（削除）されてよい。ある態様では、ニューロン回路の発火の統合ウィンドウは、ニューロン回路が、他の結合とは等しくない遅延をもつ単一結合入力とは反対に、結合ごとの複数の遅延または同じである異なる結合についての遅延を有する程度に依存して変わり得る。

本開示のある態様では、学習のせいで抑圧された結合は、同じ入力への既存結合によってすでに使用されているいずれとも異なる遅延をもつ、その同じ入力に割り当て直すことができる。別の態様では、学習のせいで抑圧された結合は、異なる入力に割り当て直すことができる。

本開示のある態様では、ニューロン回路の入力求心性部分のうちの１つについての遅延のセットにおける遅延の間の時間差は、その１つの入力求心性部分に関連付けられた発火レートの逆の倍数に対応し得る。さらに、アラインされていない入力求心性部分の１つまたは複数の余分補助遅延スパイクは、１つまたは複数のしきい値を下回ってよく、１つまたは複数のサブしきい値余分補助遅延スパイクは、ニューロン回路のパターンマッチング実施を中断することはない。

図３２は、本開示のいくつかの態様による、汎用プロセッサ３２０２を使ったニューラルテンポラルコーディングのための、上述した方法の例示的ソフトウェア実施態様３２００を示す。計算ネットワーク（ニューラルネットワーク）の各結合（シナプス）に関連付けられた重みおよび遅延は、メモリブロック３２０４に記憶することができ、汎用プロセッサ３２０２において実行されるニューラルコーディングに関連した命令は、プログラムメモリ３２０６からロードすることができる。

本開示の一態様では、汎用プロセッサ３２０２にロードされる命令は、ニューラルネットワークのニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用するためのコードと、動的スパイキングモデルを適用して、ニューロン回路の重みおよび遅延シナプス入力に基づいてニューロン回路のスパイキング行動を判断するためのコードと、教師なし学習規則に従って、ニューロン回路スパイキングと遅延シナプス入力のタイミング関係に依存して、シナプス入力に関連付けられた重みを調整するコードとを備え得る。別の態様では、汎用プロセッサ３２０２にロードされる命令は、階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、およびマルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合するためのコードと、マルチレイヤニューラルネットワーク内のニューロン回路の第１のレイヤを、入力パターンの第１のサブセクションとマッチングするためのコードであって、入力パターンのサブセクションと入力パターンの別のサブセクションとをマッチングした結果、その結合されたレイヤが別のレイヤのニューロン回路の発火の組合せとマッチングし得るコードとを備え得る。さらに別の態様では、汎用プロセッサ３２０２にロードされる命令は、関連付けられた遅延をもつシナプスにより、ニューラルネットワークのシナプス入力をニューロン回路中に与えるためのコードを備えることができ、シナプス入力のうちの少なくとも１つは、自己結合されているシナプスのうちの少なくとも１つに関連付けられてよく、シナプスは複数のセットに属してよく、セットのうちの少なくとも１つは、再帰的自己結合を備えないシナプス入力のパターンの第１の部分をマッチングするための遅延組合せを備え得る。さらに別の態様では、汎用プロセッサ３２０２にロードされる命令は、ニューラルネットワークの細胞体をもつニューロン回路に１つまたは複数のシナプスを結合するためのコードであって、１つまたは複数のシナプスの各々が、ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有してよいコードと、相対遅延の各々によって、対応する入力求心性部分と細胞体との間の遅延を招くためのコードであって、１つまたは複数のシナプスの１つまたは複数のセットが、組み合わされて一般入力パターンを形成するサブパターンに対応する遅延と入力求心性部分とを有してよく、サブパターンが、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備え得るコードとを備え得る。

図３３は、本開示のいくつかの態様による、メモリ３３０２が相互接続ネットワーク３３０４を経由して計算ネットワーク（ニューラルネットワーク）の個々の（分散型）処理ユニット（ニューラルプロセッサ）３３０６とインターフェースされ得るニューラルテンポラルコーディングのための、上述した方法の例示的実施態様３３００を示す。計算ネットワーク（ニューラルネットワーク）の１つまたは複数の結合（シナプス）に関連付けられた１つまたは複数の重みおよび遅延は、相互接続ネットワーク３３０４の接続（１つまたは複数）を介して、各処理ユニット（ニューラルプロセッサ）３３０６にメモリ３３０２からロードすることができる。

本開示の一態様では、処理ユニット３３０６は、ニューラルネットワークのニューロンへの１つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用し、動的スパイキングモデルを適用して、ニューロンの重みおよび遅延シナプス入力に基づいてニューロンのスパイキング行動を判断し、教師なし学習規則に従って、ニューロンスパイキングと遅延シナプス入力のタイミング関係に依存して、シナプス入力に関連付けられた重みを調整するように構成され得る。別の態様では、処理ユニット３３０６は、階層型マルチレイヤニューラルネットワーク内のニューロンの各レイヤを、入力と、マルチレイヤニューラルネットワーク内のニューロンの別のレイヤとに結合し、マルチレイヤニューラルネットワーク内のニューロンの第１のレイヤを、入力パターンの第１のサブセクションとマッチングするように構成してよく、その結合されたレイヤは、入力パターンのサブセクションと入力パターンの別のサブセクションとをマッチングした結果として、別のレイヤのニューロンの発火の組合せにマッチングすることができる。さらに別の態様では、処理ユニット３３０６は、関連付けられた遅延をもつシナプスにより、ニューラルネットワークのシナプス入力をニューロンに与えるように構成されてよく、シナプス入力のうちの少なくとも１つは、自己結合されているシナプスのうちの少なくとも１つに関連付けられてよく、シナプスは複数のセットに属してよく、セットのうちの少なくとも１つは、再帰的自己結合を備えないシナプス入力のパターンの第１の部分にマッチングするための遅延組合せを備え得る。さらに別の態様では、処理ユニット３３０６は、ニューロンへの１つまたは複数のシナプスを、ニューラルネットワークの細胞体と結合するように構成されてよく、１つまたは複数のシナプスの各々は、ニューロンの入力求心性部分に対応し、重みと相対遅延とを有し、相対遅延の各々によって、対応する入力求心性部分と細胞体との間の遅延を招く可能性があり、１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有してよく、サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備え得る。

図３４は、本開示のいくつかの態様による、分散型重み／遅延メモリ３４０２と、分散型処理ユニット（ニューラルプロセッサ）３４０４とに基づく、ニューラルテンポラルコーディングのための、上述した方法の例示的実施態様３４００を示す。図３４に示すように、１つのメモリバンク３４０２が、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット３４０４と直接インターフェースされてよく、メモリバンク３４０２は、処理ユニット（ニューラルプロセッサ）３４０４に関連付けられた１つまたは複数の結合（シナプス）の１つまたは複数の重みおよび遅延を記憶することができる。

本開示の一態様では、処理ユニット３４０４は、ニューラルネットワークのニューロンへの１つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用し、動的スパイキングモデルを適用して、ニューロンの重みおよび遅延シナプス入力に基づいてニューロンのスパイキング行動を判断し、教師なし学習規則に従って、ニューロンスパイキングと遅延シナプス入力のタイミング関係に依存して、シナプス入力に関連付けられた重みを調整するように構成され得る。別の態様では、処理ユニット３４０４は、階層型マルチレイヤニューラルネットワーク内のニューロンの各レイヤを、入力と、マルチレイヤニューラルネットワーク内のニューロンの別のレイヤとに結合し、マルチレイヤニューラルネットワーク内のニューロンの第１のレイヤを、入力パターンの第１のサブセクションとマッチングするように構成してよく、その結合されたレイヤは、入力パターンのサブセクションと入力パターンの別のサブセクションとをマッチングした結果として、別のレイヤのニューロンの発火の組合せにマッチングすることができる。さらに別の態様では、処理ユニット３４０４は、関連付けられた遅延をもつシナプスにより、ニューラルネットワークのシナプス入力をニューロンに与えるように構成されてよく、シナプス入力のうちの少なくとも１つは、自己結合されているシナプスのうちの少なくとも１つに関連付けられてよく、シナプスは複数のセットに属してよく、セットのうちの少なくとも１つは、再帰的自己結合を備えないシナプス入力のパターンの第１の部分にマッチングするための遅延組合せを備え得る。さらに別の態様では、処理ユニット３４０４は、ニューロンへの１つまたは複数のシナプスを、ニューラルネットワークの細胞体と結合するように構成されてよく、１つまたは複数のシナプスの各々は、ニューロンの入力求心性部分に対応し、重みと相対遅延とを有し、相対遅延の各々によって、対応する入力求心性部分と細胞体との間の遅延を招く可能性があり、１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有してよく、サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備え得る。

上記で説明した方法の様々な動作は、対応する機能を実施することができる任意の好適な手段によって実施され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々な（１つまたは複数の）ハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。一般に、図に示す動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図１１、図１８、図１９および図３１に示す動作１１００、１８００、１９００および３１００は、図１１Ａ、１８Ａ、図１９Ａおよび図３１Ａに示す構成要素１１００Ａ、１８００Ａ、１９００Ａおよび３１００Ａに対応する。

本明細書で使用する「判断」という用語は、多種多様なアクションを包含する。たとえば、「判断」は、計算、算出、処理、導出、調査、探索（たとえば、テーブル、データベースまたは別のデータ構造での探索）、確認などを含み得る。また、「判断」は、受信（たとえば、情報を受信すること）、アクセス（たとえば、メモリ中のデータにアクセスすること）などを含むことができる。また、「判断」は、解決、選択、選出、確立などを含み得る。

本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらのアイテムの任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃをカバーするものとする。

本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実施するように設計されたそれらの任意の組合せを用いて実装または実施できる。汎用プロセッサはマイクロプロセッサとすることができるが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装することもできる。

本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体内に常駐することができる。使用し得る記憶媒体のいくつかの例には、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込み得るように、プロセッサに結合し得る。代替として、記憶媒体はプロセッサに一体化され得る。

本明細書で開示された方法は、記載の方法を達成するための１つまたは複数のステップまたはアクションを備える。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されていない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく修正することができる。

説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく、例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを担持または記憶するために使用でき、コンピュータによってアクセスできる、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ここで使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。

したがって、いくつかの態様は、本明細書で提示する動作を実施するためのコンピュータプログラム製品を含むことができる。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実施するために１つまたは複数のプロセッサによって実行可能な命令を記憶（および／または符号化）するコンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

ソフトウェアまたは命令はまた、送信媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。

さらに、本明細書で説明する方法および技法を実施するためのモジュールおよび／または他の適切な方法は、適用可能な場合、ユーザ端末および／または基地局によってダウンロードされ得、および／または場合によっては得られ得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明する方法を実施するための手段の転送を容易にするために、サーバに結合することができる。代替的に、本明細書で説明した様々な方法を記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理的記憶媒体など）によって提供することができ、それにより、ユーザ端末および／または基地局は、その記憶手段をデバイスに結合または供給すると、それらの様々な方法を取得することができるようになる。さらに、本明細書で説明する方法および技法をデバイスに与えるための任意の他の適切な技法を利用し得る。

特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。上記の方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形を行うことができる。

上記は本開示の態様を対象とするが、本開示の他の態様は、それらの基本的な範囲から逸脱することなく考案することができ、それらの範囲は、以下の特許請求の範囲によって決定される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ニューラルテンポラルコーディングの方法であって、
ニューロン回路への１つまたは複数のシナプス入力を時間遅延によって遅延させる相対遅延線抽象化を使用することと、
前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断するために、動的スパイキングモデルを適用することと、
教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存する前記シナプス入力に関連付けられた重みを調整することと
を備える方法。
［Ｃ２］
前記重み、前記ニューロン回路に関連付けられたシナプスの数、前記シナプスの時間定数、前記ニューロン回路の発火しきい値、前記ニューロン回路の抑制度合、または前記ニューロン回路に関連付けられたノイズのうちの少なくとも１つを、前記ニューロン回路の初期発火レートを誘導するように制御することをさらに備える、
［Ｃ１］に記載の方法。
［Ｃ３］
前記教師なし学習規則によって、前記重みの調整のためにシミュレートされたアニーリングを適用することをさらに備える、
［Ｃ１］に記載の方法。
［Ｃ４］
前記ニューロン回路に関連付けられた再利用可能シナプスを選択することと、
重み、遅延、または前記再利用可能シナプスの求心性部分のうちの少なくとも１つを修正することと
をさらに備える、［Ｃ１］に記載の方法。
［Ｃ５］
前記再利用可能シナプスを選択することは、前記教師なし学習規則によって、しきい値を下回る値まで削減される前記再利用可能シナプスの重みに基づく、
［Ｃ４］に記載の方法。
［Ｃ６］
前記再利用可能シナプスを選択することは、前記シナプスが再利用されてから経過した時間によって条件付けられる、
［Ｃ４］に記載の方法。
［Ｃ７］
ニューラルテンポラルコーディングのための装置であって、
ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用するように構成された第１の回路と、
前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断するために動的スパイキングモデルを適用するように構成された第２の回路と、
教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存して、前記シナプス入力に関連付けられた重みを調整するように構成された第３の回路と
を備える装置。
［Ｃ８］
前記重み、前記ニューロン回路に関連付けられたシナプスの数、前記シナプスの時間定数、前記ニューロン回路の発火しきい値、前記ニューロン回路の抑制度合、または前記ニューロン回路に関連付けられたノイズのうちの少なくとも１つを、前記ニューロン回路の初期発火レートを誘導するように制御するように構成された第４の回路をさらに備える、
［Ｃ７］に記載の装置。
［Ｃ９］
前記教師なし学習規則によって、前記重みの調整のためにシミュレートされたアニーリングを適用するように構成された第４の回路をさらに備える、
［Ｃ７］に記載の装置。
［Ｃ１０］
前記ニューロン回路に関連付けられた再利用可能シナプスを選択するように構成された第４の回路と、
重み、遅延、または前記再利用可能シナプスの求心性部分のうちの少なくとも１つを修正するように構成された第５の回路とをさらに備える、［Ｃ７］に記載の装置。
［Ｃ１１］
前記再利用可能シナプスを選択することは、前記教師なし学習規則によって、しきい値を下回る値まで削減される前記再利用可能シナプスの重みに基づく、
［Ｃ１０］に記載の装置。
［Ｃ１２］
前記再利用可能シナプスを選択することは、前記シナプスが再利用されてから経過した時間によって条件付けられる、
［Ｃ１０］に記載の装置。
［Ｃ１３］
ニューラルテンポラルコーディングのための装置であって、
ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用するための手段と、
前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断するために動的スパイキングモデルを適用するための手段と、
教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存して、前記シナプス入力に関連付けられた重みを調整するための手段と
を備える装置。
［Ｃ１４］
前記重み、前記ニューロン回路に関連付けられたシナプスの数、前記シナプスの時間定数、前記ニューロン回路の発火しきい値、前記ニューロン回路の抑制度合、または前記ニューロン回路に関連付けられたノイズのうちの少なくとも１つを、前記ニューロン回路の初期発火レートを誘導するように制御するための手段をさらに備える、
［Ｃ１３］に記載の装置。
［Ｃ１５］
前記教師なし学習規則によって、前記重みの調整のためにシミュレートされたアニーリングを適用するための手段をさらに備える、
［Ｃ１３］に記載の装置。
［Ｃ１６］
前記ニューロン回路に関連付けられた再利用可能シナプスを選択するための手段と、
重み、遅延、または前記再利用可能シナプスの求心性部分のうちの少なくとも１つを修正するための手段と
をさらに備える、［Ｃ１３］に記載の装置。
［Ｃ１７］
前記再利用可能シナプスを選択することは、前記教師なし学習規則によって、しきい値を下回る値まで削減される前記再利用可能シナプスの重みに基づく、
［Ｃ１６］に記載の装置。
［Ｃ１８］
前記再利用可能シナプスを選択することは、前記シナプスが再利用されてから経過した時間によって条件付けられる、
［Ｃ１６］に記載の装置。
［Ｃ１９］
コンピュータ可読媒体を備える、ニューラルテンポラルコーディングのためのコンピュータプログラム製品であって、前記コンピュータ可読媒体は、
ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させる相対遅延線抽象化を使用することと、
前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断するために、動的スパイキングモデルを適用することと、
教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存して、前記シナプス入力に関連付けられた重みを調整することと
を行うためのコードを備えるコンピュータプログラム製品。
［Ｃ２０］
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングの方法であって、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合することと、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第１のレイヤを、入力パターンの第１のサブセクションとマッチングすることと
を備え、
前記入力パターンのサブセクションと前記入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤが、前記別のレイヤのニューロン回路の発火の組合せにマッチングする、
方法。
［Ｃ２１］
前記入力パターンの別のサブセクションは、前記入力パターンのサブセクションに連続する、
［Ｃ２０］に記載の方法。
［Ｃ２２］
前記第１のレイヤは、ポリクロノス発火波をリプレイすることによって、テンポラルコードでメモリを維持する入力パターンの前記第１のサブセクションによって励起される回帰ニューロン回路のネットワークを備え、前記方法は、
前記入力パターンの第２のサブセクションと前記ポリクロノス発火波の組合せによって、前記マルチレイヤニューラルネットワークの回帰ニューロン回路の別のネットワークを励起させることをさらに備える、
［Ｃ２０］に記載の方法。
［Ｃ２３］
前記階層型マルチレイヤニューラルネットワークのレイヤの間の軸索遅延は、応答が前記入力パターンの第２の部分に対応する時間ウィンドウ内に入るように前記入力パターンの第１の部分にマッチングするまで前記応答を遅延させる、
［Ｃ２０］に記載の方法。
［Ｃ２４］
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合するように構成された第１の回路と、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第１のレイヤを、入力パターンの第１のサブセクションとマッチングするように構成された第２の回路と
を備え、
前記入力パターンのサブセクションと前記入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤが、前記別のレイヤのニューロン回路の発火の組合せにマッチングする、
装置。
［Ｃ２５］
前記入力パターンの別のサブセクションは、前記入力パターンのサブセクションに連続する、
［Ｃ２４］に記載の装置。
［Ｃ２６］
前記第１のレイヤは、ポリクロノス発火波をリプレイすることによって、テンポラルコードでメモリを維持する入力パターンの前記第１のサブセクションによって励起される回帰ニューロン回路のネットワークを備え、前記装置は、
前記入力パターンの第２のサブセクションと前記ポリクロノス発火波の組合せによって、前記マルチレイヤニューラルネットワークの回帰ニューロン回路の別のネットワークを励起させるように構成された第３の回路をさらに備える、
［Ｃ２４］に記載の装置。
［Ｃ２７］
前記階層型マルチレイヤニューラルネットワークのレイヤの間の軸索遅延は、応答が前記入力パターンの第２の部分に対応する時間ウィンドウ内に入るように前記入力パターンの第１の部分にマッチングするまで前記応答を遅延させる、
［Ｃ２４］に記載の装置。
［Ｃ２８］
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合するための手段と、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第１のレイヤを、入力パターンの第１のサブセクションとマッチングするための手段と
を備え、
前記入力パターンのサブセクションと前記入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤが、前記別のレイヤのニューロン回路の発火の組合せにマッチングする、
装置。
［Ｃ２９］
入力パターンの前記別のサブセクションが、入力パターンの前記サブセクションに連続する、［Ｃ２８］に記載の装置。
［Ｃ３０］
前記第１のレイヤが、ポリクロノス発火波をリプレイすることによって、テンポラルコードでメモリを維持する入力パターンの前記第１のサブセクションによって励起される回帰ニューロン回路のネットワークを備え、前記装置が、
前記入力パターンの第２のサブセクションと前記ポリクロノス発火波の組合せによって、前記マルチレイヤニューラルネットワークの回帰ニューロン回路の別のネットワークを励起させるための手段をさらに備える、［Ｃ２８］に記載の装置。
［Ｃ３１］
前記階層型マルチレイヤニューラルネットワークのレイヤの間の軸索遅延が、応答が前記入力パターンの第２の部分に対応する時間ウィンドウ内に入るように前記入力パターンの第１の部分にマッチングするまで前記応答を遅延させる、［Ｃ２８］に記載の装置。
［Ｃ３２］
コンピュータ可読媒体を備える、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのためのコンピュータプログラム製品であって、前記コンピュータ可読媒体は、
階層型マルチレイヤニューラルネットワーク内のニューロン回路の各レイヤを、入力に、および前記マルチレイヤニューラルネットワーク内のニューロン回路の別のレイヤに結合することと、
前記マルチレイヤニューラルネットワーク内のニューロン回路の第１のレイヤを、入力パターンの第１のサブセクションとマッチングすることと
を行うためのコードを備え、
前記入力パターンのサブセクションと前記入力パターンの別のサブセクションとをマッチングした結果として、その結合されたレイヤが、前記別のレイヤのニューロン回路の発火の組合せにマッチングする、
コンピュータプログラム製品。
［Ｃ３３］
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングの方法であって、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えることを備え、
前記シナプス入力のうちの少なくとも１つは、自己結合されている前記シナプスのうちの少なくとも１つに関連付けられ、
前記シナプスが複数のセットに属し、
前記セットのうちの少なくとも１つは、再帰的自己結合を備えない前記シナプス入力のパターンの第１の部分にマッチングするべき遅延組合せを備える、
方法。
［Ｃ３４］
前記複数のセットのうちの少なくとも１つの他のセットは、前記パターンの第２の部分と、前記第１のパターン部分を、別の遅延組合せにマッチングする前記第２のパターン部分と相関させるための遅延を有する自己結合されている前記少なくとも１つのシナプスとをマッチングするための前記別の遅延組合せを備える、
［Ｃ３３］に記載の方法。
［Ｃ３５］
自己結合されている前記少なくとも１つのシナプスに関連付けられた軸索遅延は、前記第１のパターン部分にマッチングしたことに対する応答を、前記第２のパターン部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
［Ｃ３３］に記載の方法。
［Ｃ３６］
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えるように構成された第１の回路を備え、
前記シナプス入力のうちの少なくとも１つが、自己結合されている前記シナプスのうちの少なくとも１つに関連付けられ、
前記シナプスが複数のセットに属し、
前記セットのうちの少なくとも１つが、再帰的自己結合を備えない前記シナプス入力のパターンの第１の部分にマッチングするべき遅延組合せを備える、
装置。
［Ｃ３７］
前記複数のセットのうちの少なくとも１つの他のセットは、前記パターンの第２の部分と、前記第１のパターン部分を、別の遅延組合せにマッチングする前記第２のパターン部分と相関させるための遅延を有する自己結合されている前記少なくとも１つのシナプスとをマッチングするための前記別の遅延組合せを備える、
［Ｃ３６］に記載の装置。
［Ｃ３８］
自己結合されている前記少なくとも１つのシナプスに関連付けられた軸索遅延は、前記第１のパターン部分にマッチングしたことに対する応答を、前記第２のパターン部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
［Ｃ３６］に記載の装置。
［Ｃ３９］
長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのための装置であって、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えるための手段を備え、
前記シナプス入力のうちの少なくとも１つは、自己結合されている前記シナプスのうちの少なくとも１つに関連付けられ、
前記シナプスは、複数のセットに属し、
前記セットのうちの少なくとも１つは、再帰的自己結合を備えない前記シナプス入力のパターンの第１の部分にマッチングするための遅延組合せを備える
装置。
［Ｃ４０］
前記複数のセットのうちの少なくとも１つの他のセットは、前記パターンの第２の部分と、前記第１のパターン部分を、別の遅延組合せにマッチングする前記第２のパターン部分と相関させるための遅延を有する自己結合されている前記少なくとも１つのシナプスとをマッチングするための前記別の遅延組合せを備える、
［Ｃ３９］に記載の装置。
［Ｃ４１］
自己結合されている前記少なくとも１つのシナプスに関連付けられた軸索遅延は、前記第１のパターン部分にマッチングしたことに対する応答を、前記第２のパターン部分に対応する時間ウィンドウ内に前記応答が入るように遅延させる、
［Ｃ３９］に記載の装置。
［Ｃ４２］
コンピュータ可読媒体を備える、長いおよび大きい空間テンポラルパターンのニューラルテンポラルコーディングのためのコンピュータプログラム製品であって、前記コンピュータ可読媒体は、
関連付けられた遅延をもつシナプスにより、シナプス入力をニューロン回路中に与えることを行うためのコードを備え、
前記シナプス入力のうちの少なくとも１つは、自己結合されている前記シナプスのうちの少なくとも１つに関連付けられ、
前記シナプスは、複数のセットに属し、
前記セットのうちの少なくとも１つは、再帰的自己結合を備えない前記シナプス入力のパターンの第１の部分にマッチングするための遅延組合せを備える、
コンピュータプログラム製品。
［Ｃ４３］
一般入力パターンのためのニューラルコーディングの方法であって、
細胞体をもつニューロン回路に１つまたは複数のシナプスを結合することと、ここで、前記１つまたは複数のシナプスの各々が、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有する、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くことと
を備え、
前記１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備える、
方法。
［Ｃ４４］
前記一致サブパターンに対応するシナプスのセットは、異なる入力求心性部分についての同じ遅延を有し、
前記発火パターンのサブパターンに対応するシナプスのセットは、同じ入力求心性部分についての異なる遅延を有し、
前記テンポラルパターンのサブパターンに対応するシナプスのセットは、異なる入力求心性部分についての異なる遅延を有する、
［Ｃ４３］に記載の方法。
［Ｃ４５］
互いからオフセットされている遅延を有する前記発火パターンに対応する前記シナプスの２つ以上のセットを有することによって、学習された発火レートに前記ニューロン回路が応答するための遅延を最小限にすることをさらに備える、
［Ｃ４４］に記載の方法。
［Ｃ４６］
前記２つ以上のセットからの前記シナプスのうちの一部を、１つまたは複数の望まれないレートのエイリアスに起因する前記ニューロン回路の発火を引き起こす時間オフセットを省くようにパンクチャすることをさらに備える、
［Ｃ４５］に記載の方法。
［Ｃ４７］
前記ニューロン回路の発火の統合ウィンドウを、前記ニューロン回路は、他の結合とは等しくない遅延をもつ単一結合入力とは反対に同じである、結合ごとの複数の遅延、または異なる結合についての遅延を有する程度に依存して変えることをさらに備える、
［Ｃ４３］に記載の方法。
［Ｃ４８］
学習のせいで抑圧した前記結合を、同じ入力への既存の結合によってすでに使用されているいずれとも異なる遅延をもつ、その同じ入力に割り当て直すことをさらに備える、
［Ｃ４７］に記載の方法。
［Ｃ４９］
異なる入力に、学習のせいで抑圧した前記結合を割り当て直すことをさらに備える、
［Ｃ４７］に記載の方法。
［Ｃ５０］
前記ニューロン回路の前記入力求心性部分のうちの１つについての遅延のセットにおける遅延の間の時間差は、その１つの入力求心性部分に関連付けられた発火レートの逆の倍数に対応する、
［Ｃ４３］に記載の方法。
［Ｃ５１］
アラインされていない前記入力求心性部分の１つまたは複数の余分補助遅延スパイクが１つまたは複数のしきい値を下回り、
前記１つまたは複数のサブしきい値余分補助遅延スパイクが、前記ニューロン回路のパターンマッチング実施を中断しない、
［Ｃ４３］に記載の方法。
［Ｃ５２］
一般入力パターンのためのニューラルコーディングのための装置であって、
細胞体をもつニューロン回路に１つまたは複数のシナプスを結合するように構成された第１の回路と、ここで、前記１つまたは複数のシナプスの各々は、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有するように構成される、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くように構成された第２の回路と
を備え、
前記１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備える、
装置。
［Ｃ５３］
前記一致サブパターンに対応するシナプスのセットは、異なる入力求心性部分についての同じ遅延を有し、
前記発火パターンのサブパターンに対応するシナプスのセットは、同じ入力求心性部分についての異なる遅延を有し、
前記テンポラルパターンのサブパターンに対応するシナプスのセットは、異なる入力求心性部分についての異なる遅延を有する、
［Ｃ５２］に記載の装置。
［Ｃ５４］
互いからオフセットされている遅延を有する前記発火パターンに対応する前記シナプスの２つ以上のセットを有することによって、学習された発火レートに前記ニューロン回路が応答するための遅延を最小限にするように構成された第３の回路をさらに備える、
［Ｃ５３］に記載の装置。
［Ｃ５５］
前記２つ以上のセットからの前記シナプスのうちの一部を、１つまたは複数の望まれないレートのエイリアスに起因する前記ニューロン回路の発火を引き起こす時間オフセットを省くようにパンクチャするように構成された第４の回路をさらに備える、
［Ｃ５４］に記載の装置。
［Ｃ５６］
前記ニューロン回路の発火の統合ウィンドウを、前記ニューロン回路が、他の結合とは等しくない遅延をもつ単一結合入力とは反対に同じである、結合ごとの複数の遅延、または異なる結合についての遅延を有する程度に依存して変えるように構成された第３の回路をさらに備える、
［Ｃ５２］に記載の装置。
［Ｃ５７］
学習のせいで抑圧した前記結合を、同じ入力への既存の結合によってすでに使用されているいずれとも異なる遅延をもつ、その同じ入力に割り当て直すように構成された第４の回路をさらに備える、
［Ｃ５６］に記載の装置。
［Ｃ５８］
異なる入力に、学習のせいで抑圧した前記結合を割り当て直すように構成された第４の回路をさらに備える、
［Ｃ５６］に記載の装置。
［Ｃ５９］
前記ニューロン回路の前記入力求心性部分のうちの１つについての遅延のセットにおける遅延の間の時間差が、その１つの入力求心性部分に関連付けられた発火レートの逆の倍数に対応する、
［Ｃ５２］に記載の装置。
［Ｃ６０］
アラインされていない前記入力求心性部分の１つまたは複数の余分補助遅延スパイクが１つまたは複数のしきい値を下回り、
前記１つまたは複数のサブしきい値余分補助遅延スパイクが、前記ニューロン回路のパターンマッチング実施を中断しない、
［Ｃ５２］に記載の装置。
［Ｃ６１］
一般入力パターンのためのニューラルコーディングのための装置であって、
細胞体をもつニューロン回路に１つまたは複数のシナプスを結合するための手段と、ここで、前記１つまたは複数のシナプスの各々は、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有する、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くための手段と
を備え、
前記１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備える、
装置。
［Ｃ６２］
前記一致サブパターンに対応するシナプスのセットは、異なる入力求心性部分についての同じ遅延を有し、
前記発火パターンのサブパターンに対応するシナプスのセットは、同じ入力求心性部分についての異なる遅延を有し、
前記テンポラルパターンのサブパターンに対応するシナプスのセットは、異なる入力求心性部分についての異なる遅延を有する、
［Ｃ６１］に記載の装置。
［Ｃ６３］
互いからオフセットされている遅延を有する前記発火パターンに対応する前記シナプスの２つ以上のセットを有することによって、学習された発火レートに前記ニューロン回路が応答するための遅延を最小限にするための手段をさらに備える、
［Ｃ６２］に記載の装置。
［Ｃ６４］
前記２つ以上のセットからの前記シナプスのうちの一部を、１つまたは複数の望まれないレートのエイリアスに起因する前記ニューロン回路の発火を引き起こす時間オフセットを省くようにパンクチャするための手段をさらに備える、
［Ｃ６３］に記載の装置。
［Ｃ６５］
前記ニューロン回路の発火の統合ウィンドウを、前記ニューロン回路が、他の結合とは等しくない遅延をもつ単一結合入力とは反対に同じである、結合ごとの複数の遅延、または異なる結合についての遅延を有する程度に依存して変えるための手段をさらに備える、
［Ｃ６１］に記載の装置。
［Ｃ６６］
学習のせいで抑圧した前記結合を、同じ入力への既存の結合によってすでに使用されているいずれとも異なる遅延をもつ、その同じ入力に割り当て直すための手段をさらに備える、
［Ｃ６５］に記載の装置。
［Ｃ６７］
異なる入力に、学習のせいで抑圧した前記結合を割り当て直すための手段をさらに備える、
［Ｃ６５］に記載の装置。
［Ｃ６８］
前記ニューロン回路の前記入力求心性部分のうちの１つについての遅延のセットにおける遅延の間の時間差が、その１つの入力求心性部分に関連付けられた発火レートの逆の倍数に対応する、
［Ｃ６１］に記載の装置。
［Ｃ６９］
アラインされていない前記入力求心性部分の１つまたは複数の余分補助遅延スパイクが１つまたは複数のしきい値を下回り、
前記１つまたは複数のサブしきい値余分補助遅延スパイクは、前記ニューロン回路のパターンマッチング実施を中断しない、
［Ｃ６１］に記載の装置。
［Ｃ７０］
コンピュータ可読媒体を備える、一般入力パターン向けのニューラルコーディングのためのコンピュータプログラム製品であって、コンピュータ可読媒体は、
細胞体をもつニューロン回路に１つまたは複数のシナプスを結合することを行うことと、ここで、前記１つまたは複数のシナプスの各々は、前記ニューロン回路の入力求心性部分に対応し、重みと相対遅延とを有する、
前記相対遅延の各々によって、前記対応する入力求心性部分と前記細胞体との間の遅延を招くことと
を行うためのコードを備え、
前記１つまたは複数のシナプスの１つまたは複数のセットは、組み合わされて前記一般入力パターンのうちの１つを形成するサブパターンに対応する遅延と入力求心性部分とを有し、
前記サブパターンは、一致、発火レート、またはテンポラルパターンのうちの少なくとも１つを備える、
コンピュータプログラム製品。

Claims (20)

1. ニューラルテンポラルコーディングの方法であって、
   ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させることと、
   前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断することと、
   教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存して、前記シナプス入力に関連付けられた重みを調整することと、
   前記ニューロン回路に関連付けられた再利用可能シナプスを選択することと
   を備え、前記再利用可能シナプスを選択することは、前記シナプスが再利用されてから経過した時間によって条件付けられる、方法。
2. 前記重み、前記ニューロン回路に関連付けられたシナプスの数、前記シナプスの時間定数、前記ニューロン回路の発火しきい値、前記ニューロン回路の抑制度合、または前記ニューロン回路に関連付けられたノイズのうちの少なくとも１つを、前記ニューロン回路の初期発火レートを誘導するように制御することをさらに備える、
   請求項１に記載の方法。
3. 前記教師なし学習規則によって、前記重みの調整のためにシミュレートされたアニーリングを適用することをさらに備える、
   請求項１に記載の方法。
4. 重み、遅延、または前記再利用可能シナプスの求心性部分のうちの少なくとも１つを修正することと
   をさらに備える、請求項１に記載の方法。
5. 前記再利用可能シナプスを選択することは、前記教師なし学習規則によって、しきい値を下回る値まで削減される前記再利用可能シナプスの重みに基づく、
   請求項４に記載の方法。
6. ニューラルテンポラルコーディングのための装置であって、
   ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させるように構成された第１の回路と、
   前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断するように構成された第２の回路と、
   教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存して、前記シナプス入力に関連付けられた重みを調整するように構成された第３の回路と、
   前記ニューロン回路に関連付けられた再利用可能シナプスを選択するように構成された第４の回路と
   を備え、前記再利用可能シナプスを選択することは、前記シナプスが再利用されてから経過した時間によって条件付けられる、装置。
7. 前記重み、前記ニューロン回路に関連付けられたシナプスの数、前記シナプスの時間定数、前記ニューロン回路の発火しきい値、前記ニューロン回路の抑制度合、または前記ニューロン回路に関連付けられたノイズのうちの少なくとも１つを、前記ニューロン回路の初期発火レートを誘導するように制御するように構成された第４の回路をさらに備える、
   請求項６に記載の装置。
8. 前記教師なし学習規則によって、前記重みの調整のためにシミュレートされたアニーリングを適用するように構成された第４の回路をさらに備える、
   請求項６に記載の装置。
9. 重み、遅延、または前記再利用可能シナプスの求心性部分のうちの少なくとも１つを修正するように構成された第５の回路とをさらに備える、請求項６に記載の装置。
10. 前記再利用可能シナプスを選択することは、前記教師なし学習規則によって、しきい値を下回る値まで削減される前記再利用可能シナプスの重みに基づく、
    請求項９に記載の装置。
11. ニューラルテンポラルコーディングのための装置であって、
    ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させるための手段と、
    前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断するための手段と、
    教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存して、前記シナプス入力に関連付けられた重みを調整するための手段と、
    前記ニューロン回路に関連付けられた再利用可能シナプスを選択するための手段と
    を備え、前記再利用可能シナプスを選択することは、前記シナプスが再利用されてから経過した時間によって条件付けられる、装置。
12. 前記重み、前記ニューロン回路に関連付けられたシナプスの数、前記シナプスの時間定数、前記ニューロン回路の発火しきい値、前記ニューロン回路の抑制度合、または前記ニューロン回路に関連付けられたノイズのうちの少なくとも１つを、前記ニューロン回路の初期発火レートを誘導するように制御するための手段をさらに備える、
    請求項１１に記載の装置。
13. 前記教師なし学習規則によって、前記重みの調整のためにシミュレートされたアニーリングを適用するための手段をさらに備える、
    請求項１１に記載の装置。
14. 重み、遅延、または前記再利用可能シナプスの求心性部分のうちの少なくとも１つを修正するための手段と
    をさらに備える、請求項１１に記載の装置。
15. 前記再利用可能シナプスを選択することは、前記教師なし学習規則によって、しきい値を下回る値まで削減される前記再利用可能シナプスの重みに基づく、
    請求項１４に記載の装置。
16. ニューラルテンポラルコーディングのためのコンピュータプログラムであって、
    ニューロン回路への１つまたは複数のシナプス入力を時間遅延だけ遅延させることと、
    前記ニューロン回路の重みおよび遅延シナプス入力に基づいて前記ニューロン回路のスパイキング行動を判断することと、
    教師なし学習規則に従って、前記ニューロン回路スパイキングと前記遅延シナプス入力のタイミング関係に依存して、前記シナプス入力に関連付けられた重みを調整することと、
    前記ニューロン回路に関連付けられた再利用可能シナプスを選択することと、
    を少なくとも１つのプロセッサに行わせるためのコードを備え、前記再利用可能シナプスを選択することは、前記シナプスが再利用されてから経過した時間によって条件付けられる、コンピュータプログラム。
17. 前記重み、前記ニューロン回路に関連付けられたシナプスの数、前記シナプスの時間定数、前記ニューロン回路の発火しきい値、前記ニューロン回路の抑制度合、または前記ニューロン回路に関連付けられたノイズのうちの少なくとも１つを、前記ニューロン回路の初期発火レートを誘導するように制御することを少なくとも１つのプロセッサに行わせるためのコードをさらに備える、
    請求項１６に記載のコンピュータプログラム。
18. 前記教師なし学習規則によって、前記重みの調整のためにシミュレートされたアニーリングを適用することを少なくとも１つのプロセッサに行わせるためのコードをさらに備える、
    請求項１６に記載のコンピュータプログラム。
19. 重み、遅延、または前記再利用可能シナプスの求心性部分のうちの少なくとも１つを修正することと
    を少なくとも１つのプロセッサに行わせるためのコードをさらに備える、請求項１６に記載のコンピュータプログラム。
20. 前記再利用可能シナプスを選択することは、前記教師なし学習規則によって、しきい値を下回る値まで削減される前記再利用可能シナプスの重みに基づく、
    請求項１９に記載のコンピュータプログラム。

Images