本開示のいくつかの態様は、ニューラル構成要素リプレイの方法を提供する。方法は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、1つまたは複数の関係側面(relational aspect)ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合することと、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発することとを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第1の回路と、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合するように構成された第2の回路と、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するように構成された第3の回路とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合するための手段と、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するための手段とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイのためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合し、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル構成要素の学習改善および高速学習の方法を提供する。方法は、一般に、1つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合することと、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発することと、誘発された実質的に類似するパターンを使用して1つまたは複数のパターン学習ニューロンによる学習を改善することとを含む。
本開示のいくつかの態様は、ニューラル構成要素の学習改善および高速学習のための装置を提供する。装置は、一般に、1つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第1の回路と、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合するように構成された第2の回路と、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するように構成された第3の回路と、誘発された実質的に類似するパターンを使用して1つまたは複数のパターン学習ニューロンによる学習を改善するように構成された第4の回路とを含む。
本開示のいくつかの態様は、ニューラル構成要素の学習改善および高速学習のための装置を提供する。装置は、一般に、1つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合するための手段と、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するための手段と、誘発された実質的に類似するパターンを使用して1つまたは複数のパターン学習ニューロンによる学習を改善するための手段とを含む。
本開示のいくつかの態様は、ニューラル構成要素の学習改善および高速学習のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、1つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合し、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発し、誘発された実質的に類似するパターンを使用して1つまたは複数のパターン学習ニューロンによる学習を改善するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル学習改善の方法を提供する。方法は、一般に、刺激を用いて入力のセット内のパターンのサブセットを学習することと、パターンの要素とパターンのサブセットとの間の関係側面を学習することと、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイすることと、刺激を用いないで入力のセット内のパターンの学習を改善することとを含む。
本開示のいくつかの態様は、ニューラル学習改善のための装置を提供する。装置は、一般に、刺激を用いて入力のセット内のパターンのサブセットを学習するように構成された第1の回路と、パターンの要素とパターンのサブセットとの間の関係側面を学習するように構成された第2の回路と、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイするように構成された第3の回路と、刺激を用いないで入力のセット内のパターンの学習を改善するように構成された第4の回路とを含む。
本開示のいくつかの態様は、ニューラル学習改善のための装置を提供する。装置は、一般に、刺激を用いて入力のセット内のパターンのサブセットを学習するための手段と、パターンの要素とパターンのサブセットとの間の関係側面を学習するための手段と、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイするための手段と、刺激を用いないで入力のセット内のパターンの学習を改善するための手段とを含む。
本開示のいくつかの態様は、ニューラル学習改善のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、刺激を用いて入力のセット内のパターンのサブセットを学習し、パターンの要素とパターンのサブセットとの間の関係側面を学習し、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイし、刺激を用いないで入力のセット内のパターンの学習を改善するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの方法を提供する。方法は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合することと、1つまたは複数の関係側面ニューロンによって出力をバーストさせることによって、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発することとを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第1の回路と、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合するように構成された第2の回路と、1つまたは複数の関係側面ニューロンによって出力をバーストさせることによって、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するように構成された第3の回路とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合するための手段と、1つまたは複数の関係側面ニューロンによって出力をバーストさせることによって、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するための手段とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイのためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合し、1つまたは複数の関係側面ニューロンによって出力をバーストさせることによって、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの方法を提供する。方法は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合することと、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発することとを含み、求心性ニューロンのうちの少なくとも1つ、1つまたは複数の基準ニューロン、あるいは1つまたは複数の関係側面ニューロンの間のシグナリングは、高速スパイクシーケンスまたは独立スパイクのうちの少なくとも一方を備える。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第1の回路と、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合するように構成された第2の回路と、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するように構成された第3の回路とを含み、求心性ニューロンのうちの少なくとも1つ、1つまたは複数の基準ニューロン、あるいは1つまたは複数の関係側面ニューロンの間のシグナリングは、高速スパイクシーケンスまたは独立スパイクのうちの少なくとも一方を備える。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合するための手段と、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するための手段とを含み、求心性ニューロンのうちの少なくとも1つ、1つまたは複数の基準ニューロン、あるいは1つまたは複数の関係側面ニューロンの間のシグナリングは、高速スパイクシーケンスまたは独立スパイクのうちの少なくとも一方を備える。
本開示のいくつかの態様は、ニューラル構成要素リプレイのためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合し、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するためのコードを備えるコンピュータ可読媒体を含み、求心性ニューロンのうちの少なくとも1つ、1つまたは複数の基準ニューロン、あるいは1つまたは複数の関係側面ニューロンの間のシグナリングは、高速スパイクシーケンスまたは独立スパイクのうちの少なくとも一方を備える。
本開示のいくつかの態様は、ニューラル構成要素メモリ転送の方法を提供する。方法は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、1つまたは複数の第1の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の第1の関係側面を照合することと、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第1のパターンを出力するように複数の求心性ニューロンを誘発することによってパターンを1つまたは複数の転送先ニューロンに転送することとを含む。
本開示のいくつかの態様は、ニューラル構成要素メモリ転送の装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第1の回路と、1つまたは複数の第1の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の第1の関係側面を照合するように構成された第2の回路と、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第1のパターンを出力するように複数の求心性ニューロンを誘発することによってパターンを1つまたは複数の転送先ニューロンに転送するように構成された第3の回路とを含む。
本開示のいくつかの態様は、ニューラル構成要素メモリ転送の装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、1つまたは複数の第1の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の第1の関係側面を照合するための手段と、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第1のパターンを出力するように複数の求心性ニューロンを誘発することによってパターンを1つまたは複数の転送先ニューロンに転送するための手段とを含む。
本開示のいくつかの態様は、ニューラル構成要素メモリ転送のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、1つまたは複数の第1の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の第1の関係側面を照合し、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第1のパターンを出力するように複数の求心性ニューロンを誘発することによってパターンを1つまたは複数の転送先ニューロンに転送するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル連想学習の方法を提供する。方法は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照することと、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習することと、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照することと、入力のセット内の第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習することと、第1および第2の刺激を用いないで学習された関係側面を使用して入力のセット内の第1および第2のパターンをリプレイすることと、リプレイに基づいて第1および第2のパターンを関連付けることとを含む。
本開示のいくつかの態様は、ニューラル連想学習のための装置を提供する。装置は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照するように構成された第1の回路と、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習するように構成された第2の回路と、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照するように構成された第3の回路と、入力のセット内の第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習するように構成された第4の回路と、第1および第2の刺激を用いないで学習された関係側面を使用して入力のセット内の第1および第2のパターンをリプレイするように構成された第5の回路と、リプレイに基づいて第1および第2のパターンを関連付けるように構成された第6の回路とを含む。
本開示のいくつかの態様は、ニューラル連想学習のための装置を提供する。装置は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照するための手段と、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習するための手段と、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照するための手段と、入力のセット内の第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習するための手段と、第1および第2の刺激を用いないで学習された関係側面を使用して入力のセット内の第1および第2のパターンをリプレイするための手段と、リプレイに基づいて第1および第2のパターンを関連付けるための手段とを含む。
本開示のいくつかの態様は、ニューラル連想学習のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照し、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習し、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照し、入力のセット内の第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習し、第1および第2の刺激を用いないで学習された関係側面を使用して入力のセット内の第1および第2のパターンをリプレイし、リプレイに基づいて第1および第2のパターンを関連付けるためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル比較の方法を提供する。方法は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照することと、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習することと、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照することと、第1のパターンをリプレイすることと、第1と第2のパターンのリプレイと参照に基づいて第1のパターンと第2のパターンとを比較することとを含む。
本開示のいくつかの態様は、ニューラル比較のための装置を提供する。装置は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照するように構成された第1の回路と、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習するように構成された第2の回路と、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照するように構成された第3の回路と、第1のパターンをリプレイするように構成された第4の回路と、第1と第2のパターンのリプレイおよび参照に基づいて第1のパターンと第2のパターンとを比較するように構成された第5の回路とを含む。
本開示のいくつかの態様は、ニューラル比較のための装置を提供する。装置は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照するための手段と、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習するための手段と、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照するための手段と、第1のパターンをリプレイするための手段と、第1と第2のパターンのリプレイと参照に基づいて第1のパターンと第2のパターンとを比較するための手段とを含む。
本開示のいくつかの態様は、ニューラル比較のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照し、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習し、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照し、第1のパターンをリプレイし、第1と第2のパターンのリプレイと参照に基づいて第1のパターンと第2のパターンとを比較するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターン補完の方法を提供する。方法は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照することと、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習することと、第2の刺激を用いて1つまたは複数の入力のセット内の、第1のパターンの劣化バージョンを備える第2のパターンを参照することと、第2のパターンまたは第2の刺激のうちの少なくとも一方への露出に応答して第2のパターンから喪失または劣化された第1のパターンの少なくとも1つの要素をリプレイすることとを含む。
本開示のいくつかの態様は、ニューラルパターン補完のための装置を提供する。装置は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照するように構成された第1の回路と、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習するように構成された第2の回路と、第2の刺激を用いて1つまたは複数の入力のセット内の、第1のパターンの劣化バージョンを備える第2のパターンを参照するように構成された第3の回路と、第2のパターンまたは第2の刺激のうちの少なくとも一方への露出に応答して第2のパターンから喪失または劣化された第1のパターンの少なくとも1つの要素をリプレイするように構成された第4の回路とを含む。
本開示のいくつかの態様は、ニューラルパターン補完のための装置を提供する。装置は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照するための手段と、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習するための手段と、第2の刺激を用いて1つまたは複数の入力のセット内の、第1のパターンの劣化バージョンを備える第2のパターンを参照するための手段と、第2のパターンまたは第2の刺激のうちの少なくとも一方への露出に応答して第2のパターンから喪失または劣化された第1のパターンの少なくとも1つの要素をリプレイするための手段とを含む。
本開示のいくつかの態様は、ニューラルパターン補完のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照し、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習し、第2の刺激を用いて1つまたは複数の入力のセット内の、第1のパターンの劣化バージョンを備える第2のパターンを参照し、第2のパターンまたは第2の刺激のうちの少なくとも一方への露出に応答して第2のパターンから喪失または劣化された第1のパターンの少なくとも1つの要素をリプレイするためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターン分離の方法を提供する。方法は、一般に、1つまたは複数の基準ニューロンを用いて1つまたは複数の入力のセット内の第1のパターンを参照することと、第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の第1の関係側面を学習することと、1つまたは複数の基準ニューロンを用いて1つまたは複数の入力のセット内の、第1のパターンに類似する第2のパターンを参照することと、第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の第2の関係側面を学習することと、第1のパターンと第2のパターンとの間の差を増加させるために第1のパターンまたは第2のパターンの少なくとも一方を修正することと、1つまたは複数の基準ニューロンを使用して修正した後、第2の刺激とは異なる第1の刺激を用いて第1のパターンを参照し、第2の刺激を用いて第2のパターンを参照することとを含む。
本開示のいくつかの態様は、ニューラルパターン分離のための装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて1つまたは複数の入力のセット内の第1のパターンを参照するように構成された第1の回路と、第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の第1の関係側面を学習するように構成された第2の回路と、1つまたは複数の基準ニューロンを用いて1つまたは複数の入力のセット内の、第1のパターンに類似する第2のパターンを参照するように構成された第3の回路と、第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の第2の関係側面を学習するように構成された第4の回路と、第1のパターンと第2のパターンとの間の差を増加させるために第1のパターンまたは第2のパターンの少なくとも一方を修正するように構成された第5の回路と、1つまたは複数の基準ニューロンを使用して修正した後、第2の刺激とは異なる第1の刺激を用いて第1のパターンを参照し、第2の刺激を用いて第2のパターンを参照するように構成された第6の回路とを含む。
本開示のいくつかの態様は、ニューラルパターン分離のための装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて1つまたは複数の入力のセット内の第1のパターンを参照するための手段と、第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の第1の関係側面を学習するための手段と、1つまたは複数の基準ニューロンを用いて1つまたは複数の入力のセット内の、第1のパターンに類似する第2のパターンを参照するための手段と、第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の第2の関係側面を学習するための手段と、第1のパターンと第2のパターンとの間の差を増加させるために第1のパターンまたは第2のパターンの少なくとも一方を修正するための手段と、1つまたは複数の基準ニューロンを使用して修正した後、第2の刺激とは異なる第1の刺激を用いて第1のパターンを参照し、第2の刺激を用いて第2のパターンを参照するための手段とを含む。
本開示のいくつかの態様は、ニューラルパターン分離のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、1つまたは複数の基準ニューロンを用いて1つまたは複数の入力のセット内の第1のパターンを参照し、第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の第1の関係側面を学習し、1つまたは複数の基準ニューロンを用いて1つまたは複数の入力のセット内の、第1のパターンに類似する第2のパターンを参照し、第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の第2の関係側面を学習し、第1のパターンと第2のパターンとの間の差を増加させるために第1のパターンまたは第2のパターンの少なくとも一方を修正し、1つまたは複数の基準ニューロンを使用して修正した後、第2の刺激とは異なる第1の刺激を用いて第1のパターンを参照し、第2の刺激を用いて第2のパターンを参照するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターン一般化の方法を提供する。方法は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照することと、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習することと、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照することと、入力のセット内の第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習することと、第1および第2の刺激を用いないで第1のパターンまたは第2のパターンの少なくとも一方をリプレイすることと、リプレイに基づいて第1および第2のパターンの一般化を学習することとを含む。
本開示のいくつかの態様は、ニューラルパターン一般化のための装置を提供する。装置は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照するように構成された第1の回路と、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習するように構成された第2の回路と、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照するように構成された第3の回路と、入力のセット内の第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習するように構成された第4の回路と、第1および第2の刺激を用いないで第1のパターンまたは第2のパターンの少なくとも一方をリプレイするように構成された第5の回路と、リプレイに基づいて第1および第2のパターンの一般化を学習するように構成された第6の回路とを含む。
本開示のいくつかの態様は、ニューラルパターン一般化のための装置を提供する。装置は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照するための手段と、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習するための手段と、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照するための手段と、入力のセット内の第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習するための手段と、第1および第2の刺激を用いないで第1のパターンまたは第2のパターンの少なくとも一方をリプレイするための手段と、リプレイに基づいて第1および第2のパターンの一般化を学習するための手段とを含む。
本開示のいくつかの態様は、ニューラルパターン一般化のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照し、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習し、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照し、入力のセット内の第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習し、第1および第2の刺激を用いないで第1のパターンまたは第2のパターンの少なくとも一方をリプレイし、リプレイに基づいて第1および第2のパターンの一般化を学習するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完の方法を提供する。方法は、一般に、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照することと、パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習することと、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照することと、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習することと、第1の層のニューロン内のパターンの前の部分を作成時にパターンの後の部分をリプレイすることとを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のための装置を提供する。装置は、一般に、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照するように構成された第1の回路と、パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習するように構成された第2の回路と、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照するように構成された第3の回路と、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習するように構成された第4の回路と、第1の層のニューロン内のパターンの前の部分を作成時にパターンの後の部分をリプレイするように構成された第5の回路とを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のための装置を提供する。装置は、一般に、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照するための手段と、パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習するための手段と、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照するための手段と、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習するための手段と、第1の層のニューロン内のパターンの前の部分を作成時にパターンの後の部分をリプレイするための手段とを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習し、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照し、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習し、第1の層のニューロン内のパターンの前の部分を作成時にパターンの後の部分をリプレイするためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターン階層的リプレイの方法を提供する。方法は、一般に、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照することと、各パターンの1つまたは複数の要素と1つまたは複数の第1の層のニューロンのセット内のパターンの部分のそのシーケンスの参照との間の関係側面を学習することと、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照することと、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習することと、基準ニューロンの第3の層に基づいて第2の層内のパターンシーケンスを参照することのリプレイを引き起こすことと、第2の層内のパターンシーケンスを参照することのリプレイを引き起こすことに基づいて第1の層内のパターンの部分のそのシーケンスをリプレイすることとを含む。
本開示のいくつかの態様は、ニューラルパターン階層的リプレイのための装置を提供する。装置は、一般に、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照するように構成された第1の回路と、各パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習するように構成された第2の回路と、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照するように構成された第3の回路と、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習するように構成された第4の回路と、基準ニューロンの第3の層に基づいて第2の層内のパターンシーケンスを参照することのリプレイを引き起こすように構成された第5の回路と、第2の層内のパターンシーケンスを参照することのリプレイを引き起こすことに基づいて第1の層内のパターンの部分のそのシーケンスをリプレイするように構成された第6の回路とを含む。
本開示のいくつかの態様は、ニューラルパターン階層的リプレイのための装置を提供する。装置は、一般に、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照するための手段と、各パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習するための手段と、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照するための手段と、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習するための手段と、基準ニューロンの第3の層に基づいて第2の層内のパターンシーケンスを参照することのリプレイを引き起こすための手段と、第2の層内のパターンシーケンスを参照することのリプレイを引き起こすことに基づいて第1の層内のパターンの部分のそのシーケンスをリプレイするための手段とを含む。
本開示のいくつかの態様は、ニューラルパターン階層的リプレイのためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、各パターンの1つまたは複数の要素と1つまたは複数の第1の層のニューロンのセット内のパターンの部分のそのシーケンスの参照との間の関係側面を学習し、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照し、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習し、基準ニューロンの第3の層に基づいて第2の層内のパターンシーケンスを参照することのリプレイを引き起こし、第2の層内のパターンシーケンスを参照することのリプレイを引き起こすことに基づいて第1の層内のパターンの部分のそのシーケンスをリプレイするためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完の方法を提供する。方法は、一般に、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照することと、1つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと1つまたは複数の関係側面ニューロンとの間の、第1の値より小さい遅延に基づいて、パターンの部分のうちの1つまたは複数を基準ニューロンのサブセットに関係付けることと、1つまたは複数の関係側面ニューロンを用いて、第2の値より大きい遅延に基づいてパターンの1つまたは複数の残りの部分を基準ニューロンのサブセットに関係付けることと、求心性ニューロンによってパターンの1つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによるパターンの1つまたは複数の残りの部分のリプレイを誘発することとを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のための装置を提供する。装置は、一般に、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照するように構成された第1の回路と、1つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと1つまたは複数の関係側面ニューロンとの間の、第1の値より小さい遅延に基づいて、パターンの部分のうちの1つまたは複数を基準ニューロンのサブセットに関係付けるように構成された第2の回路と、1つまたは複数の関係側面ニューロンを用いて、第2の値より大きい遅延に基づいてパターンの1つまたは複数の残りの部分を基準ニューロンのサブセットに関係付けるように構成された第3の回路と、求心性ニューロンによってパターンの1つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによるパターンの1つまたは複数の残りの部分のリプレイを誘発するように構成された第4の回路とを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のための装置を提供する。装置は、一般に、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照するための手段と、1つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと1つまたは複数の関係側面ニューロンとの間の、第1の値より小さい遅延に基づいて、パターンの部分のうちの1つまたは複数を基準ニューロンのサブセットに関係付けるための手段と、1つまたは複数の関係側面ニューロンを用いて、第2の値より大きい遅延に基づいてパターンの1つまたは複数の残りの部分を基準ニューロンのサブセットに関係付けるための手段と、求心性ニューロンによってパターンの1つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによるパターンの1つまたは複数の残りの部分のリプレイを誘発するための手段とを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照し、1つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと1つまたは複数の関係側面ニューロンとの間の、第1の値より小さい遅延に基づいて、パターンの部分のうちの1つまたは複数を基準ニューロンのサブセットに関係付け、1つまたは複数の関係側面ニューロンを用いて、第2の値より大きい遅延に基づいてパターンの1つまたは複数の残りの部分を基準ニューロンのサブセットに関係付け、求心性ニューロンによってパターンの1つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによるパターンの1つまたは複数の残りの部分のリプレイを誘発するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの方法を提供する。方法は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習することと、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発することとを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第1の回路と、構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習するように構成された第2の回路と、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するように構成された第3の回路とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習するための手段と、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するための手段とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイのためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習し、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するためのコードを備えるコンピュータ可読媒体を含む。
本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部を示す態様を参照することによって、上記で簡単に要約した内容のより具体的な説明が得られる。しかし、添付の図面は、本開示の特定の典型的な態様のみを示し、したがって、本開示の範囲の限定とみなされてはならず、その理由は、この説明がその他の同等の効果のある態様をもたらし得るからであることに留意されたい。
添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得るものであり、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置を実現し、または方法を実施することができる。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置またはそのような方法をカバーするものとする。本明細書で開示する本開示の任意の態様が請求項の1つまたは複数の要素によって実施できることを理解されたい。
「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用する。本明細書で「例示的」として説明するいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈すべきではない。
本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、限定的なものではなく本開示を説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびその均等物によって規定される。
例示的なニューラルシステム
図1は、本開示のいくつかの態様による、複数のレベルのニューロンを含む例示的なニューラルシステム100を示す。ニューラルシステム100は、シナプス結合のネットワーク104を介して別のレベルのニューロン106に結合されたあるレベルのニューロン102を備え得る。簡単のために、図1には2レベルのニューロンのみが示されているが、代表的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。
図1に示すように、レベル102における各ニューロンは、前のレベル(図1には図示せず)の複数のニューロンによって生成され得る入力信号108を受信することができる。信号108は、レベル102のニューロンの入力電流を表し得る。この電流は、膜電位に充電するために、ニューロン膜に蓄積され得る。膜電位がその閾値に達すると、ニューロンは、発火し、次のレベルのニューロン(たとえば、レベル106)に転送される出力スパイクを生成することができる。
図1に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合(または単に「シナプス」)のネットワーク104によって達成され得る。シナプス104は、レベル102のニューロンから出力信号(すなわち、スパイク)を受信し、調整可能なシナプスの重み
(式中、Pは、レベル102のニューロンとレベル106のニューロンとの間のシナプス結合の総数である)に従って、それらの信号をスケーリングし、スケーリングされた信号をレベル106における各ニューロンの入力信号として結合することができる。レベル106におけるあらゆるニューロンは、対応する結合された入力信号に基づいて、出力スパイク110を生成し得る。出力スパイク110は、次いで、シナプス結合の別のネットワーク(図1には図示せず)を使用して、別のレベルのニューロンに転送され得る。
ニューラルシステム100は、電気回路によってエミュレートすることができ、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用することができる。ニューラルシステム100における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始する閾値までチャージされるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去することができ、その代わりにより小さいメモリスタ要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の用途において適用され得る。さらに、シナプス104の各々は、メモリスタ要素に基づいて実装され得、シナプスの重さの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され、これによって、非常に大規模なニューラルシステムハードウェア実装形態の実装が実用的になり得る。
本開示のいくつかの態様は、元の刺激がない状態で、1つまたは複数のニューロン(たとえば、図1に示すニューロン)によって学習されているニューラル発火パターンを正確にリプレイするという問題を解決するための方法を支援する。さらに、本開示で提案する方法は、元の刺激が存在しなくなった後の、高速学習、学習改善、関連付け、およびメモリ転送の問題を解決する。
生物学的に刺激を受けるニューロンモデルを用いてパターンを学習する現在の方法は、1つのニューロンがどのパターンと適合するかを判定するために、機能的に一方向性の方法であり、適合するものが見つかるまで異なるパターンが試行される必要がある。学習されているものを正確にリプレイする方法は、生物学的にしろ機械的にしろ、一般に未知である。本開示は、パターンを(順方向、または逆方向、または両方に)リプレイするため、および刺激のもとで元のパターンを作成したのと同一のニューロンによって、さらにパターンを学習したかまたは単にパターンのサブセットを学習したのと同一のニューロンの励起によって、正確なパターンをリプレイするために、学習するための方法を提供する。その上、本開示の方法は、1つまたは複数のニューロンによって学習された多数のパターンが、(ニューロンを追加することなく)同一のニューラル構造によってリプレイされ得るので、非常に高速の学習を可能にし、非常に拡張性がある。最後に、パターンを学習することおよびリプレイのために学習することは、いずれも、無監督方式で達成され得る。
また、リプレイを学習することは、パターンをより良く、またはより完全に学習するための基礎を提供し得る。その上、それは、刺激を受けている間にパターンを学習する必要性を緩和し得る。リプレイに加えて、本開示は、元の刺激を有することなく、新しいまたは継続的下流または上流(または両方)の処理動作のための方法を提供する。したがって、本開示の方法を使用することで、刺激がほんの一時的にしか存在しない場合でも、内部応答パターンをリプレイし、かつエクスペリエンスを処理することを継続する機能が可能となり、それにより機械学習のためにかなりの利点を提供する。本開示は、正確なニューラルパターンをリプレイするための方法を提供するばかりでなく、学習を改善または拡張するための刺激なしにパターンの学習を改善するための方法、ならびに刺激を存在させる必要なく、メモリを転送、統合または編成するため、パターンまたはパターンのシーケンスを補完するため、および概念および/または入力を関連付けるかまたは関連付けを学習するための方法を提供する。最後に、これらの方法は、任意のレベルの抽象、文脈、および内容において、概念、センサー入力または信号に適用可能であるので、提案される方法は、基本的と全般的の両方であり得る。
ニューラル発火パターンのリプレイ
前述のように、ニューラル発火パターンを正確にリプレイする従来の方法は、一般に知られていない。しかしながら、所与のパターンが記憶されている(または学習されている)パターンに適合するかどうかを判断することのみならず、記憶されているパターンが何であるかを直接求めることも必要とされている。加えて、パターンを最初に作成したニューロンを介して元の求心神経(入力)内のパターンを再生することが必要とされる。さらに、パターンリプレイを、パターンを学習したかまたは照合した(またはパターンと何らかの一致を有する)ニューロンと相関付けることが必要とされる。加えて、パターンを作成するための元の刺激を必要とすることなく、記憶されている(または学習されている)パターンの忠実なまたは高忠実度のリプレイを再生すること、ならびにリプレイを使用して、学習改善、関連付け、メモリ転送などの継続的処理を進めることが必要とされる。
パターンリプレイのいくつかの方法が、文献に存在するが、これらの方法にはいくつかの欠陥がある。第1に、パターンは、刺激のもとでパターンを描いたのと同一のニューロンによって描かれることはない。したがって、これは、正確なリプレイを表すのではなく、いくつかの他のニューロンによるリプレイのコピーを表す。この場合、「リプレイ」は同一の求心神経によって作成されないので、求心神経からの下流効果は失われることがある。
第2に、パターンの要素(たとえば、スパイク)は一意に識別されないことがあるので、特定のパターン要素と特定の求心神経との間の結合が失われることがある。したがって、これは、同じパターンのリプレイではなく、異なるパターン(たとえば、集合的パターン)のリプレイであることがある。第3に、パターン内に干渉(たとえば、一般的に「リプレイ」トリガによる求心神経内の他の活動)が存在することがある。したがって、これは、実際には同じパターンではなく、パターンへのニューロン照合を含む下流効果は中断されることがある。
第4に、パターンを学習したニューロンの出力内に(一般的に「リプレイ」トリガによる)干渉が存在することがある。したがって、このニューロンからの下流効果は中断されることがある。第5に、「リプレイ」機能は無監督方式において学習可能でないか、または学習の方法は、まったく知られていないかまたは利用可能でないことがある。さらに、逆方向に「リプレイ」することだけが可能であること、またはほぼ発火速度で「リプレイ」することだけが可能であることなど、他の付加的な欠陥が存在することがある。これらおよび他の欠陥は、例および類似を参照して論じられる。
ニューロンが適合/学習したものを正確にリプレイすることについての問題
図2は、本開示のいくつかの態様による、パターン照合ニューロンに結合された求心性ニューロンの一例200を示す。たとえば、原因または刺激が何であれ、外部または内部のいずれであれ、ニューロン202は、求心神経(入力)204のセット内のパターンを照合し得る。この状況は図2に示されており、そこでは、ニューロン202は、求心性ニューロン204の出力によって作成されるパターンを照合し得る(それらの発火パターン206に対応する、ここでx軸は、時間または発火速度または他のコーディング次元と考えられる)。この場合、求心神経という用語は、それがニューロン202への入力(すなわち、ニューロン202の観点からの求心神経)を表すこと以外は、処理の段階または層の観点から何らかの特定の意味を示すものではない。求心神経204は、単なる上流ニューロン(たとえば、ニューロン202の上流)、または感覚ニューロン、または処理の特定の段階もしくは層におけるニューロンであってよい。
一般的なニューロンは、リーキー積分発火(LIF)ニューロン、または動的スパイキングニューロン、またはさらに単純和およびS字型機能としてモデル化され得る。とにかく、これらの動作は、適合が発見されるまで異なるパターンを試行することなく(すなわち、シナプス重みおよびシナプス遅延などの内面的特質を分析することなく)、ニューロン202がどの特定の信号の組合せまたはパターンに適合するかを判断することは動作的に不可能であるので、これらの動作は一方向性機能である。情報を記憶することができることと、この情報がメモリの外に読み出され得るかどうか(またはいかにして読み出されるか)との間には基本的な差異が存在することがある。問題は、学習されたパターンがいかにして読み出され得るか(リプレイされ得るか)である。
リプレイ忠実性の問題
理想的には、読出しパターンは、刺激の間に元のパターンを学習したニューロンによって認識されるのに十分に、元のパターンに忠実でなければならない。問題は、いかにして読出しパターンが、それを学習したニューロンがそれを認識し得るほどに十分に再生され得るかである。
オフライン処理の問題
機械学習は、学習のすべての側面が発生するのに十分なほど長い間、入力または刺激が存在することを必要とするので、元の刺激なしにパターンを正確にリプレイすることができないことが、機械学習に対する決定的な限界となり得る。けれども、学習は、下流処理ネットワークにおいて(またはさらに、フィードバックによる上流処理ネットワークにおいて)、または実時間で存在したのとは異なる順序において、複数の段階で発生する必要がある。問題は、元の刺激が終わった後、いかにして継続的学習、学習の改善、メモリ(学習)の転送、および他の様々な下流動作(または、上流動作もしくはフィードバック)が進行され得るかである。
欠陥のある「リプレイ」試行
第1に、人は、パターンを照合したニューロン(たとえば、図2のニューロン202)を単に刺激して再び発火する(出力をスパイクする)ことを考えるが、これは、他のニューロン(たとえば、図2のニューロン208および210)において同じ下流効果を再生するための方法を提供しないので、限定された使用を有する。これは、単に「あれはA氏である」と述べることによって宣言することがA氏を見ることのリプレイであるのといくぶん似ている。「あれはA氏である」と単に述べることによって、人は、A氏の特徴を考察すること、それらの特徴を比較すること、またはさらなる処理を続行することはできない。したがって、方法は、それらの同じ求心神経(他のニューロンではない)によって作成され、パターンに対する干渉のない、元のパターン(または、実質的に類似するパターン)をリプレイすることを必要とする。そうでない場合、下流効果は失われるかまたは不完全となる。したがって、刺激がほんの一時的にしか存在しない場合、内部応答パターンをリプレイし、かつエクスペリエンスを処理することを継続する機能が、機械学習のためにかなりの利点となる。
第2に、どのニューロンがパターンをリプレイするかについて識別することの重要性に留意されたい。たとえば、ネットワークは、異なるニューロン(元の求心神経ではない)を介して同じパターンを描き得ることがある。それらの異なるニューロンが、同様に、図2からニューロン202に入力として与えられたとしても、問題は、求心神経から学習したニューロン202と同じ効果を有するようにこれらの異なる入力を結合するように手動で干渉する必要なく、いかにしてニューロン202が、これを「同じ」パターンであると認識するかである。この欠陥の明快な実証は、ニューロン202は、異なるニューロンによって描かれたコピーを認識しないことである。明らかに、異なるニューロンを介する「リプレイ」は、正確なリプレイをまったく表しておらず、パターンを学習したニューロンを含めて、いかなる下流効果に関しても無効である。
第3に、リプレイにおけるパターン照合ニューロンの関連性が重要である。パターン照合ニューロン自体が元のプレイならびにリプレイを照合する場合、忠実な測定が達成され得る。その上、そのニューロンがそのリプレイを引き起こすことにかかわる場合、パターンとパターン照合ニューロンとの双方向の関連付けが存在する。したがって、パターンのリプレイを、パターンを学習した1つまたは複数のニューロンと関連付ける動機が存在する。言い換えれば、人は、図2からのニューロン202を、ニューロン202が学習した(または少なくとも照合した)パターンをリプレイすることの制御または誘発プロセスに関与させようとする。たとえば、ニューロン202によって学習されたパターンをリプレイする必要性が存在する。理想的には、リプレイトリガは、ニューロン202を伴い、ニューロン202自体によってリプレイされたパターンの認識を含めて、同じ下流効果を可能にする。パターン照合ニューロンがリプレイを直接誘発することは必要でないことはあるが、たとえば、それが、最初に反転リプレイ(または元のパターンのいくつかの他の変換)をもたらし、次いで最終的に元の求心神経を介して元のバージョンに戻る変換をもたらしたとしても、このニューロンがプロセスに関与していることは重要である。
第4に、パターン要素の集合体、派生物または合計を描くこと(順方向または逆方向、圧縮または非圧縮にかかわらず)、発火速度、またはパターンの他の機能は、そのパターンのリプレイではあり得ない。類似性は、キーボード上で「qwert[空白]y」をタイプすることは、キーボード上でキー「x」を5回タイプし、続いて「空白」を、次いで再び「x」をタイプすることによって「リプレイされ」得、たしかに、6つの文字キー押圧が存在し、最後は空白の後に発生するが、どの「x」が、パターンの要素のどれに対応するかは不明であるのと同じである。要点は、いわゆる「リプレイ」において、1つの「x」が別の「x」と区別され得ないことであり、したがって、元のパターン内の一意の文字の間の特定の関係を表すことはできない。要約すると、必要とされるものは、干渉のない、同じ求心神経を介する実際の元のパターンのリプレイである。
メモリ転送の問題
パターンは、どのニューロンがパターンを作成したかについてのみ意味を有する。類似性として、人が、数字のシーケンスを述べるとすると、シーケンスは、単に、どれだけ多くの数字がシーケンス内に存在するかおよびそれらの相対的順番に関するばかりでなく、具体的な数字が何であるかに関しても、意味を有する。第2の層を用いて第1の層の出力を学習し、次いで第3の層を用いて第2の層の出力を学習するによってメモリを「転送する」プロセスは、転送されている第1の層のパターンのメモリを表していない。第1の層のメモリを転送するために、第3の層もまた、第1の層の出力を学習する必要がある。元の刺激なしに、これは、第2の層ではなく第1の層のリプレイを必要とする。
問題の一般性
パターンのリプレイの生物学的証拠は、生体内で、とりわけ海馬内で、視覚システムおよび他の脳の部位を観察してきた。そのようなリプレイは、順方向および逆方向に、時間的に圧縮および非圧縮で発生し得る。しかしながら、そのようなリプレイを引き起こすメカニズムは不明である。さらに、最近の証拠は、海馬の細胞が、「場所」または挙動のエピソード的側面に対応する上流パターンまたは状態に適合または対応するが、それらは後で「消去」またはリセットされ、メモリが保持され得ることを示した。1つの可能性は、そのようなメモリが、他のメモリまたはより長期間メモリに統合されることである。
一般に、リプレイは、学習機能またはメモリ機能を反転させるために、任意の感覚様式に対して、または任意の概念レベルにおいて適用できるので、使用されている。したがって、リプレイは、一般解が非常に有益である重要な一般的皮質問題を表し得る。
リプレイの方法ならびに学習改善、関連付けおよびメモリ転送を含むさらなる処理の関連方法
本開示のいくつかの態様は、リプレイの方法、ならびに学習改善、関連付けおよびメモリ転送、他を含むさらなる処理の関連方法を支援する。
リプレイ
本開示で提案される構成要素リプレイの方法は、パターンリプレイの前述の問題を解決し得る。構成要素リプレイは、一般に、同じ求心神経を介して特定のニューロンによって実質的に参照される求心神経内のパターンのリプレイとして定義され得る。パターンを参照する特定のニューロン(基準ニューロン)は、パターンに関連して選択的に応答し、その選択性を学習することができる。集合的パターンまたはより大きいまたはより長いスケールのパターンは、構成要素リプレイを組み合わせることによってリプレイされ得る。したがって、構成要素リプレイは、ニューラルネットワークにおいて体系的リプレイを生成するために利用され得る。
図3のフロー図300によって示される構成要素リプレイの一般的な方法は、1つまたは複数のパターン学習(少なくとも照合)ニューロンを使用して複数の求心性ニューロン応答内のパターンを学習(または少なくとも照合)することを備え得る。また、構成要素リプレイの方法は、1つまたは複数の関係学習(または少なくとも照合)ニューロンを使用して、学習ニューロンとおよび求心性パターンとの1つまたは複数の関係側面を学習することをさらに備え得る。
図3に示すように、リプレイの一般的な方法は、パターンを学習することを備え得、したがって、基準ニューロンは、パターン学習ニューロンと呼ばれ得る。しかしながら、パターン学習ニューロンによるパターンの学習は、必要とされない。むしろ、パターン学習ニューロンは、求心神経内のパターンを学習してもしなくてもよく、照合してもしなくてもよく、さらに求心神経に結合されなくてもよい、基準ニューロンによって置き換えられ得る。必要とされるものは、求心神経内のパターンに対応する(すなわち、特定の求心性パターンに関連する特定の時間における発火など、パターンに何らかの関連性を有することに一致する)参照がすべてである。皮質構成の中間層は、一般に、基準ニューロンまたはパターン学習(または少なくとも照合)ニューロンのいずれかとして呼ばれることに留意されたい。
ニューラル構成要素リプレイ概念は、詳細には、テンポラルコーディングコンテキスト内で説明されるが、方法は、一般的であり、発火速度コーディング、一致コーディング、または他の信号コーディング変形態に適用され得る。リレー、または樹枝状プロセスを通過し、軸索に沿った信号伝搬、またはさらに、シナプスにおける信号伝搬による遅延が抽出され得る。
例証的リプレイ実施形態
図4は、そのようなテンポラルコーディングコンテキストにおける本開示の第1の例証的実施形態の例示的なニューラル結合性ダイヤグラム400を示す。ニューロン402および404は求心神経の代表であり、ニューロン406はパターン照合または学習ニューロンであり、ニューロン408および410は関係側面学習/照合ニューロンである。このテンポラルコーディングコンテキストにおいて、遅延が、様々な幅の矩形によって表され得る。矩形が水平方向に大きいほど、遅延は長い。ダイヤグラム400において、結合は、矢印が終端する所(すなわち、線が、単に別のものと交差するからではない)でのみ発生することにも留意されたい。同じ慣例は、他のニューラル結合性ダイヤグラムにおいて使用される。
刺激412の下で、求心性ニューロン402および404は、ダイヤグラム416に示されるテンポラルパターン414内で発火し、ここでx軸は時間を表し、垂直の棒は各ニューロンの発火の時間を示す。刺激412は、触覚、聴覚、嗅覚、味覚、視覚など、いくつかの感覚様式のうちのいずれかから、または単に、ニューラルネットワーク内の上流から到来する。ニューロン406が、リーキー積分発火または他の一般的なニューロンモデルであり、発火に対する2つの入力の特定の閾値が存在する場合、ニューロン406は、ニューロン402がニューロン404よりいくぶん前に発火したときにニューロン406が発火することに留意されたい。これは、ニューロン402からの結合は、ニューロン406の体細胞に到達する前により大きい遅延を通過する必要がある一方で、ニューロン404からの結合はより小さい遅延を通過するからである。したがって、ニューロン406は、ダイヤグラム416に示すように、その特定のテンポラルシーケンスを整合させ、スパイク418を発火する。ダイヤグラム416において、ニューロン406は、遅延の後ただちに発火するが、これは単なる例であり、ニューロン406による処理に起因するいくらかの遅延(たとえば、時定数)が存在することがある。
ニューロン408は、求心神経402およびパターン照合/学習ニューロン406からの入力を受けることが、図4のダイヤグラム400から見られる。ニューロン402からの入力が遭遇する遅延は、信号を、ニューロン406による応答に整列させる。実際には、ニューロン408は、求心性ニューロン402とパターン照合/学習ニューロン406の応答との間の時間的関係を整合させる。ニューロン410は、求心神経404と類似する効果を達成する。元の刺激412の下で、これらの関係側面学習ニューロン408、410は、それぞれの関係側面(たとえば、ダイヤグラム416の発火420)に応答して発火することが、図4のダイヤグラム416から見られる。ダイヤグラム416において、発火418と発火420との間の遅延は、小さいがゼロではない。これもまた、単なる例であり、実際の遅延はゼロであってもよく、またはより大きくてもよい。その上、ニューロン408、410の樹状突起上の406の入力とニューロン408、410の体細胞との間に挿入される遅延が存在することもある。
この第1の実施形態におけるパターンをリプレイするために、制御422が、元の求心神経に対して適用され、スパイクさせることができる。この制御は、元のパターンを作成する刺激412以外の入力によるものである。この場合、制御は、図4のダイヤグラム424に示すように、同期していることに留意されたい。ニューロン408、410が学習(または少なくとも照合)した遅延のために、ニューロン408、410は、同じ時刻におけるのではなく遅延された時刻において発火する(ダイヤグラム424のスパイク426および428)。ニューロン402、404からの入力は、ニューロン408、410を、(必ずしも即時にとは限らないが、少なくとも最終的に、または、刺激430で示すように、発振励起、または低減された抑制、または他のシナプスからの追加の同時入力など、何らかの補助的支援を用いて)発火させるのに十分に強いことが必要であることに留意されたい。ニューロン408、410はニューロン402、404にフィードバックされ得るので、それらは、それらの求心神経を、元のパターンと逆方向に発火させ得、それによりダイヤグラム424の反転テンポラルパターン432で示すように、反転リプレイが達成され得る。抑制制御434は、元の刺激412が存在しながら、フィードバックが求心神経402、404を発火させるのを抑制するために使用され得るが、中間物などの様々な代替物が代用され得ることに留意されたい。その上、フィードバックは、刺激の間でさえ、元の求心神経に影響を及ぼすことが可能である。
この第1の実証的実施形態の利点は、リプレイされるパターンが真実かつ正確であり得、元の求心神経を介して作成され得ることである。しかしながら、この実施形態はまた、いくつかの不利点を有することがある。一態様では、パターンは反転され、制御は求心神経上にあり(ニューロン402、404は、反転パターンで再現する前に同期して発火する)、したがって(ニューロン406の挙動を含む)下流に影響を及ぼすことがある。加えて、ニューロン406は、反転パターンを照合することはない。その上、この実施形態では、関係側面学習ニューロンはパターンごと、求心神経ごとに必要とされるので、スケーラビリティが制限されることがある。さらに、リプレイもまた、制御の同時性を必要とする。
順方向および反転のリプレイ
図5に示す第2のリプレイ実施形態は、非反転パターンをリプレイする問題を二重反転によって解決し得る。事実上、図4に関連する前述の方法が繰り返されてよく、それにより、反転パターン、反転パターンの関係側面、および元の求心神経(ニューラル結合性ダイヤグラム502で示される)かあるいは関係側面学習ニューロンpおよびq(ニューラル結合性ダイヤグラム504で示される)かのいずれかを照合するために、第2の層2および層3(図5において層4および層5と呼ばれる)が追加される。したがって、提案される方法は、(図5に示す、パターン照合者xまたは反転パターン照合者x’のいずれかを制御することによって)反転パターンまたは順方向パターンのいずれかをリプレイすることができる。(反転レベルにおける関係学習に対して関係側面学習ニューロンを使用する)ダイヤグラム504の利点は、反転学習がオンラインで(すなわち、パターン学習と同時に)実行され得ることである。ニューラル結合性ダイヤグラム502によって、反転学習が、反転パターンを誘発することによって実行され得る。
方法502と504との間の主たる差は、第2の「リプレイ」スタック(層4および層5)に対する求心神経の代わりに関係側面学習ニューロンを使用することであることに留意されたい。ダイヤグラム504では、第2の反転のオンライン学習は、この差によって行われ得る。しかしながら、ニューロンx’は、求心神経に対して露出されるのではなく、求心神経の変換に対して露出される。
図5のダイヤグラム502、504で示される第2の実施形態の利点は、順方向および/または反転のパターンがリプレイされ得ることである。しかしながら、依然として、スケーリングの制限は存在する。一態様では、1つの関係側面学習ニューロンは、パターンごと、求心神経ごとに必要とされ、求心神経上の制御は下流に影響を及ぼす。本開示で後に論じる好ましい実施形態は、これらの不利点を克服することができる。
メモリ転送
1つのニューロン、ニューラルアレイ、または皮質領域から別のものに学習を転送することは、人口知能にとって重要な構成要素である。リプレイは、このプロセス内で重要な役割を受け持つ。これを説明するために、図5からのニューラル結合性ダイヤグラム502が考慮され得る。メモリ転送の側面を導入するために、図5の回路内のリプレイは元のパターンの反転であることは無視されてよい。メモリ転送およびさらなる処理側面の詳細な説明が、パターンの順方向バージョンをリプレイする回路とともに、以下でさらに与えられる。一方、以下の例が、さらなる処理を導入するように働く。
学習の転送は、次のように働く。刺激が存在する間、第1の回路(ダイヤグラム502内で層2、3によって表される)がパターンを学習する。次いで、(刺激のない)オフラインで、この学習のメモリが、第1の回路によって(層2、3を介して)パターンを誘発することによって第2のニューロン回路(ダイヤグラム502における層4、5で表される)に転送され、第2のニューロン回路(層4および5)がパターンを学習することを可能にする。その上、1つまたは複数の追加のニューロン(ダイヤグラム502に示さず)が、(それらがいかなる回路に属していようとも)リプレイの間にパターンを学習することができる。オフラインステップの後、第2のニューラル回路(層4および5)内の学習されたパターンのメモリを依然として保持しながら、元の回路(層2および3)が消去され、他の目的のために再使用され得ることに留意されたい。
この実施形態によって、転送されたメモリは、望ましいものとして、同じ元の求心神経に関するものであることに留意されたい。第1の回路に依頼するものはない(第1の回路は消去されてもよく、またはパターンを「忘れる」ことも可能である)。一態様では、別のニューロン、たとえばニューロンy(ダイヤグラム502に示していないが、任意の層内で、ニューロンxを代替するように働く)が、リプレイの間にパターンを訓練される(学習する)ことができる。次いで、元の刺激が再び存在する場合、ニューロンyは、(層2および3が消去されているとしても)それを認識し、それによりパターンが照合され、所望のときにリプレイされ得る。このメモリ転送機能は、この実施形態によるばかりでなく、提案される方法によって一般に利用可能であるが、転送は、実施形態に応じて、必ずしも各段階において反転を伴うとは限らない。
さらに、メモリ転送は、リプレイの1つだけの拡張であってよい。一態様では、リプレイがまた、学習を改善するために使用され得る。パターンをリプレイすることによって、下流ニューロン(たとえば、図2のニューロン208および210)は、学習がシナプス可塑性または他の手段を介して継続するように、同じ求心神経を介してパターンに再び露出され得る。さらに、リプレイは、パターンを学習したニューロン、すなわち図5のダイヤグラム502におけるニューロンxまたは図2におけるニューロン202による学習を改善するためにも使用され得る。一態様では、パターンの学習は、1つまたは複数の段階(刺激の間の学習および刺激のないリプレイによる1つまたは複数の改善段階)を取ることができる。パターン学習の前の段階(たとえば、刺激の間)は、パターンの要素のサブセットを照合することによってパターンを照合することができる。パターン学習の後の段階(たとえば、リプレイの間)は、照合を改良するためにパターンの追加の要素を取り出すことができる。ここにおける重要な洞察は、パターン照合ニューロンの挙動(発火)と、パターンを照合するためにパターン照合ニューロンによって未だ依拠されていない求心性パターンの要素との間の関係側面を、関係側面学習ニューロンが学習できることである。
さらに、ひとたびニューロンが特定のパターンを学習すると、下流ネットワークは、それらのパターンをリプレイすることによってパターンを比較し(またはリプレイされたパターンと元のパターンとを比較し)、パターンのグループへの分類など、差異点または類似点を学習する。1つまたは複数のグループに属するパターンをリプレイすることによって、より高いレベルのニューロンが、特定のグループに属するパターンの全体的側面(たとえば、類似する特徴)を学習することができる。
パターンリプレイに対する好ましい実施形態の導入
パターンリプレイに対する好ましい実施形態は、(すなわち、コンテキストまたはコンテンツまたはコーディング、層またはレベル、あるいは処理の段階にかかわらず)一般的な方法で使用され得、要望または必要性に応じてスケーリングされるという意味で、拡張性がある多岐にわたるタペストリまたは皮質構成を備えることができる。この特定の実施形態は、すべての利点を有し得、上述の不利点を何も持たない。正確なまたは類似するパターンは、元の求心神経を介して順方向または反転方向にリプレイされ得る。その上、それは、各関係側面学習ニューロンが複数のパターンを扱うことができるので、コンパクトで拡張性がある。その上、制御は、パターンを学習したニューロンを介して誘発され得、制御の同時性は必要とされない。求心性パターンはクリーンであり得る。パターン学習は、所望される場合、完全にオンラインであり得る(または、所望される場合、完全にオフラインであり得る)。図6のニューラル結合性ダイヤグラム600は、順方向リプレイに対する観念の基本的実装形態を略述する(反転リプレイは、上記の方法によってダイヤグラム600を拡張することによって達成され得る)。
図6の関係側面学習(または、少なくとも照合)ニューロン602および604は、2つのパターン学習(または、基準)ニューロン606および608からの入力を受けることができることに留意されたい。一般に、これは、任意の数のパターン学習ニューロンであってよい。これは、上述のスケーラビリティを可能にする。さらに、制御は、それらが(それぞれ)照合したパターンのリプレイを得るために、パターン照合ニューロン(すなわち、ニューロン606および/またはニューロン608)を励起することによって達成され得る。ニューロン606が励起されると、ニューロン606によって学習されたパターンのリプレイが達成され得る。ニューロン608が励起されると、ニューロン608によって学習されたパターンのリプレイが達成され得る。図7のグラフ702、704で示されるリーキー積分発火ニューロンによる例示的な結果では、ニューロン606および608が、それぞれのリプレイ時に(それらが学習/照合したパターンのリプレイに整合して)再発火するという事実から、パターンリプレイの忠実性は明白である。人は、ループするリプレイを防止することを意図するので、そのような再発火を抑制することを選択する。
好ましい実施形態では、関係側面学習/照合は、遅延されたパターン照合ニューロン入力と求心神経の信号のタイミングとの間の遅延における差を学習/照合することによって達成され得る。遅延は、ニューロン602、604の樹状突起上で発生するかのように示されているが、その遅延は、軸索もしくは樹枝状によるか、または何らかの他の源によることがある。
好ましい実施形態は、以下でさらに詳述される。この点から進んで、議論は、特に明記しない限り、この好ましい実施形態に関するものである。
図8は、本開示のいくつかの態様による、ニューラル構成要素リプレイに対する例示的な動作800を示す。802で、複数の求心性ニューロン出力内のパターンが、1つまたは複数の基準ニューロンを用いて参照される。804で、複数の求心性ニューロン出力内のパターンと、1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面が、1つまたは複数の関係側面ニューロンを用いて照合され得る。806で、複数の求心性ニューロンのうちの1つまたは複数が、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように誘発され得る。
リプレイの学習
いかにして忠実なリプレイ(所与の構成された遅延、結合性、および制御)が達成され得るかを説明したが、リプレイを学習するため、およびネットワーク内の学習を(自動的にまたは無監督で)制御するための方法もまた、説明される。無監督学習が詳細に説明されるが、監督された学習もまた使用され得る。学習リプレイを詳細に説明するために、説明は、(再びテンポラルコーディングを有し、)動的スパイキングニューロンおよび可塑性を有する好ましい拡張性がある実施形態のコンテキストにおいて与えられる。
図9のニューラル結合性ダイヤグラム900は、好ましい実施形態のモデルを示しており、各ニューロンの役割の少数の代表だけを示しているが、このタペストリは、大きいまたは小さい様々なスケールで、ニューロンの異なる人口分布/数または割合を有する異なる層(役割)を用いて作成され、いくつかの役割が、1つのニューロンに組み合わされ得る。図9では、求心神経がニューロンa〜dで、パターン学習ニューロンがw〜zで、関係側面学習ニューロンがp〜sで表されている。これらのニューロンは、同じまたは異なる内部モデルを有し得るが、結合性が重要であり得る。そのような結合性の説明を助けるために、パターン学習ニューロンの出力は、エファレント(下流処理への入力または上流処理へのフィードバック)と呼ばれることがある。求心神経は、実際には、感覚ニューロン(視覚、触覚、聴覚など)、またはニューロンの前層、またはニューラルネットワーク内の任意の段階もしくは概念レベルにおけるニューロンであってよいので、刺激は、ニューロンa〜dを1つまたは複数のパターンで発火させるいずれかのものとして呼ばれてよい。特定のニューロンx〜zを発火させるいずれかの入力またはトリガが、制御と呼ばれてよい。これらの信号(求心神経、エファレント、制御および刺激)は、一般的に、ニューラルタペストリ900の外側と結合するが、このことは必要とされず、他の内部信号がまた、ニューラルタペストリ800を超えた点から、またはその点に延びることができる。明快のために、ニューラル結合性ダイヤグラム900は、主に関連のある結合および側面に焦点を置く。
一般的な方法は、上述の好ましい実施形態に関してもとのままであることに留意されたい。しかしながら、学習に関するさらなる詳細が、次に説明される。第1に、結合性が、そのような結合性に関連する例示的な構造的側面を参照しながら説明される。
学習および構造
前に説明したように、パターン学習ニューロンは、複数の求心神経(しかし必ずしもそれらのすべてであるとは限らない)内の1つのパターンを学習することができる。そのような結合性は、生物学的な意味において、クルーシエイト(cruciate)として構造的に説明され得(樹状突起は、求心神経の軸索と交差して伸びる)、求心神経を異なる潜在的遅延によってサンプリングする。また、それらは、互いに横方向に抑制するために互いに結合され(図9のスパイン902)、それにより、それらは、異なるパターンを学習するために競うことができる(これは、図示のように直接であってよく、または介在ニューロン、もしくは他の抑制もしくは競合機構を介してもよい)。この抑制は一般的(すなわち、ポストシナプス)であってよい。また、前述のように、関係側面学習ニューロンは、パターン学習ニューロンからの入力と、求心神経からの入力とを(一般に1対1で)受けることができる。構造的に、前者は、学習ニューロンの軸索(必ずしも1つだけとは限らない)に平行な基本的樹枝状プロセスとして説明され、後者は、(好ましくは)1つだけの求心神経の軸索と結合する頂点の樹状突起プロセスとして説明され得る。
そのような生物学的構造設計は、必要または重要であるとは限らないが、物理的空間内でかつ物理的に表現され得る抑制内で、結合性がいかに表現され得るかを指摘することが意図されている。この意味合いは、次に詳細に説明される。関係側面学習ニューロンの軸索はまた、それらが(再び一般に1対1で)ペアにされている求心性ニューロンに戻って結合(フィードバック)することができる。これは、求心神経に向かって垂直下方に延びる軸索プロセスとして表される。最後に、求心神経の出力は、介在ニューロン(1介在ニューロンパー求心神経、または多対1、1対多、または多対多)を介して関係側面学習ニューロンによってそれらの求心神経の励起を抑制することができる。やはり、介在ニューロンの使用は1つの例である。しかしながら、この場合、これらの抑制結合は、関係側面学習ニューロンからの特定の興奮性結合に特有のものであってよい(すなわち、プレシナプス抑制)。別のオプションは、一般的な抑制結合を使用することであってよい(すなわち、ポストシナプス抑制)。変形態が、抑制効果を1つの介在ニューロンに統合すること、または中間のリレーを使用することを含めて、可能である。
シナプス可塑性および構造可塑性
シナプス重みは、スパイクタイミング依存可塑性(STDP)、またはヘブの法則(たとえば、OjaまたはBienenstock−Copper−Munro(BCM)の法則)のような他の法則などの方法を使用して学習され得る。説明された機構は、一般に、シナプス/遅延の数がこの点において制限的に抑制されない限り、求心神経または学習ニューロンの1つまたは複数のスパイクを学習するのに十分であることに留意されたい。好ましい機構は、修正されたSTDP学習法則を備えるが、入力周波数、またはプレ/ポストのスパイクの順番の考慮を組み込むなど、変形態もまた使用され得る。図9からのダイヤグラム900の一部分を表す図10のニューラル結合性ダイヤグラム1000で示されるように、学習関係は、ニューロンまたは層にわたって変化され得る。
学習は、上記の結合性および構造の特定の側面によって抑制され得る。これは、構造可塑性または遅延の抑制、重みまたは入力によって達成され得る。好ましい実施形態では、構造可塑性は、スパイン(したがってシナプス)を移動または成長/削除させるように適用され得る。計算の観点から、これは、未使用のシナプス資源の再使用によってモデル化され得る。事実上、シナプス重みが閾値より下に減衰すると、シナプスは、(好ましくは閾値と同じか少し上の)新しい重み、新しい遅延、または入力(ニューロン)のうちの1つまたは複数のを有するシナプスを再割り当てすることによって再使用され得る。好ましい実施形態では、新しい重みおよび遅延だけが与えられ得、1つのオプションは、(たとえば、構造的に成長速度が抑制されるかのように量および/または方向によって)遅延における変化を制限することであってよい。
さらに、構造可塑性が、抑制または制限されてよい。たとえば、末端の樹状突起シナプスは、より長い遅延に抑制され、一方、頂点の樹状突起シナプスは、短いまたは広く変化する遅延を有することができる。樹枝状プロセスが、軸索に平行に走る場合、これは、様々な遅延におけるサンプリングを可能にし、したがって特定の対応する遅延の学習を可能にする。対照的に、入力ニューロンが受容体から遠い場合(たとえば、関係側面学習ニューロンへの求心性入力)、遅延は、比較的高い値になるように抑制され得る。加えて、等間隔の構造的構成要素は、同じまたは類似する遅延を有するものと見なされ得る。これらは、本開示の概念を保持する単なる例であることを理解されたい。好ましい実施形態では、関係側面学習ニューロンへの求心性入力によって遭遇される遅延は、それらの構造的距離に一致する比較的大きい値に固定され得る一方で、シナプスは、学習ニューロンからの入力に対して広い範囲内で変化できる遅延を有することができる。その上、前者に対する固定された遅延は、関係側面学習ニューロンにわたって同じまたは類似する値に設定され得る(ペアにされた求心神経に対する距離は、ペアにかかわらず類似しているかのように)。1対1または他の関係は、場合によっては、垂直または水平に、コラムタイプ組織および軸索もしくは樹枝状プロセスのルーティングによって、構造的に表され得ることにも留意されたい。
図11のニューラル結合性ダイヤグラム1100において、求心神経から関係ニューロンへの入力によって遭遇される遅延は、一致することができることに留意されたい。これは、構造的制約(たとえば、層間距離)または成長(development)中であることに起因する。たとえば、成長中に、パターンニューロンの発火は抑制される一方で、求心神経は同期して発火する。したがって、関係側面ニューロンは、求心神経に対して一致する遅延を学習する。たとえば、これは、STDPまたは他の学習法則を使用して発生する。次いで、成長した後、それらの一致する遅延は大きい重みで学習され、通常のシミュレーションの間に変化することはない。その結果、関係側面ニューロンは、刺激に起因して求心神経内の相対的遅延に応じた遅延で発火することができる。次いで、学習プロセスおよびリプレイプロセスは、上記で説明したように進行する。
関係側面学習に対する代替物
関係側面学習を計算的に達成する1つの方法は、図12のグラフ1202に示すように、同じ入力軸索に結合している(または潜在的に結合している)異なる遅延を有する多くのシナプス(または潜在的シナプスサイト/スパイン)を有すること、および重みを調整するためにシナプス可塑性だけを使用することである。別の方法は、図12のグラフ1204に示すように、構造可塑性を有すること、およびシナプスが減衰する場合、同じ入力に対して異なる遅延を再割り当てされる(たとえば、樹状突起/軸索平行プロセスに沿ってスライドさせる)1つまたは少数のシナプスだけを有することである。両方法は、図12において例示的な構造1206に示される潜在的結合の範囲を表す。構造1206は、ニューロン1208の樹状突起およびニューロン1210の軸索の平行プロセスを備え得る。ダイヤグラム1202および1204は、すべてのシナプスの状態を、入力(x軸)、遅延(y軸)、および重み(z軸)によってネットワーク内に示す。プロット1202、1204上の関係側面学習ニューロンに属する点の位置(シナプスの状態)は、第1のケースでは多くの潜在的シナプスが存在し、第2のケースでは少数のシナプスが存在することを示している。しかしながら、両方のケースにおいて、1つまたは複数のシナプス重みが、正しい遅延においておよび正しい入力に対して強化され得る。
両方の方法は、よく働くことを見出されているが、第1の方法は、スパインが、何らかのシーケンスで「試行されて」いるのではなくすべて同時に存在するので、より速く学習することができる。しかしながら、第1の方法はより速い一方で、同様に、異なるパターン照合/学習ニューロンからの入力の不平衡の影響を受けることがある。第1の方法では、遅延タップ(シナプス)の多くが、使用されないで終わっているので(図12のグラフ1202参照)第2の方法は、より資源効率が高い。ある意味では、これらの方法は、スパイン/シナプスの運動性の速度またはダイナミックス、および構造可塑性のスペクトル上の異なる点にすぎない。
さらに、第1の方法は、ホメオスタシスがこれを妨げるように使用されることがない場合、より広い原因入力対応を学習する、より高い傾向を有する。これは、図13のグラフ1304のプロット1302で示されるように、古典的なSTDPが長い長期増強(LTP)テール(正のフットプリント)を有することによるものである。x軸は、プレシナプススパイクとポストシナプススパイクとの間の時間差を表し、ここで正のx値は、原因ケースに対応する(プレシナプススパイクは、ポストシナプススパイクの前である)。
上記の問題は、図13のグラフ1308のプロット1306で示されるように、正のSTDPフットプリントをより短い時間間隔に低減することによって回避され得る。これは、可塑性曲線を、直接変更することによって実行され得(ゼロ平均またはオフセットガウシアンなど、様々な原因または非原因変形態が可能である)、またはより長い時間フレームにわたってそれらの全体的活動(たとえば、発火速度)に基づいてニューロンを調整するために、ホメオスタシスを使用することによって実行され得る。ホメオスタシスは、ニューロンの長期発火速度が、階段状または漸次方式において、範囲(すなわち、それぞれ目標値の上方および下方)の上であるか下であるかに基づいて、体細胞の統合入力の全体的掛け算調整を増加または減少することによって利用され得る。一態様では、この効果は、たとえSTDPがそうでなければ重みを増加させる(または、減少させる)としても、ホメオスタシス効果が、シナプス入力の効果を低減(または増加)させることである。
組合せで見られるとき、この効果は、グラフ1308にあるように表され、ここで、ゼロレベルは上にシフトされ、それにより、STDPによる増加であるものは、ホメオスタシス効果の後、実際に減少され得る(プロット1306を参照)。長期にわたって実際に増加する重みは、より狭く制限されるか、または水平軸(プレシナプススパイクとポストシナプススパイクとの間の時間差)のより広い領域に拡散され得る。
ハイブリッド手法は、図14のグラフ1402のプロット1404で示されるように、ホメオスタシスと曲線変更の両方を利用することができる。テールを(ゼロ重み調整レベルから離れて)さらに押し下げることの1つの理由は、テンポラル一致解像度を狭くすること(これは関係側面学習ニューロンに対して特に有用である)であり、その理由は、ホメオスタシスは、学習プロセスの前期に引き上げられた重みを引き下げない(プロット1404はゼロライン1406の近くにある)からである。ゼロ付近の重み調整は、実質的に重みを変化させないことに留意されたい。代替的に、重み減衰(重みのゼロに向かうゆっくりした減衰)は、学習プロセスと組み合わせて使用され得る。
直観に反する挙動
一見すると、パターン学習ニューロンは、学習の間、関係側面ニューロン発火時間を著しく変更しないことが必要とされる。関係側面ニューロンは、求心神経とパターン学習ニューロンの両方から入力を受けるので、入力のバランスが考慮される。実際には、求心神経または複数のパターン学習ニューロンは実質的に同時に発火する(効果は横方向抑制によって相殺される)ので、それらの結合に対する重みがそれらより著しく強くないならば、パターン学習ニューロンは、関係側面ニューロンのタイミングを著しく変更することはほとんどない。とにかく、これは、スパインまたはシナプスの制約(重み、遅延)によって回避または実質的に抑制され得る。構造可塑性(遅延変異樹状突起上のスパインの位置)と非古典的STDP(例えば、資源考慮)との組合せもまた、上記を起こりにくくすることができる。
しかしながら、不平衡が存在し、上部層のスパイクタイミングが変更される場合でも、それは、必ずしも、回避されるべき何かであるとは限らない。図15のニューラル結合性ダイヤグラム1500で示されるように、関係側面発火(リプレイを可能にするために大幅である必要がある)の求心神経に戻るフィードバック1502もまた、求心神経のタイミングを変更することができる。言い換えれば、上部層におけるタイミングの変更が下部層におけるタイミングの変更を引き起こすように、フィードバックループが存在する。しかし、重要なことは、求心性パターンを再生することであって、刺激を再生することではない。求心神経は、刺激の変形であるものと考えられる。変換が異なる場合、その学習が同じ変換に基づく限り、必ずしも問題とはならない。言い換えれば、学習の間、求心性パターンは変化し、この変化した求心性パターンが学習されたパターンを表し、それがリプレイされ得る。
図16は、本開示のいくつかの態様による、構造可塑性および構造制約モデリングに関連するニューラル構成要素リプレイに対する例示的な動作1600を示す。1602で、複数の求心性ニューロン出力内のパターンが、1つまたは複数の基準ニューロンを用いて参照され得る。1604で、1つまたは複数の関係側面ニューロンを用いて、複数の求心性ニューロン出力内のパターンと、1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面が、構造可塑性を使用して学習され得る。1606で、複数の求心性ニューロンのうちの1つまたは複数が、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように誘発され得る。
リプレイを制御すること
学習されたパターンをリプレイするために、パターンを学習されたニューロン、たとえば、図17のネットワークダイヤグラム1700内のニューロンw、x、yまたはzを励起するために、制御が使用され得る。そのような制御は、単に、図17に示されるように、パターン照合/学習ニューロンへの別のシナプス入力であってよい。入力バランスに応じて、そのようなシナプスは、より強い重みを有し得、入力は刺激振動の間に駆動され得、刺激振動は、ニューロンの入力を効果的に増加させるかまたは(抑制振動を中断している間)発火閾値を減少させ得る。振動は不必要であるが、それは選択肢である。図18の例1800は、正弦波の刺激振動1802を示す。振動のピークは、学習ニューロン1804が、関係側面学習ニューロンを介して求心性パターンをスパイクし、誘発するように制御される時であることに留意されたい。
振動1802は、ニューロン1804の(遅延がわずかであるかまたはまったくない体細胞における)膜に、またはシナプスに印加される(したがって、シナプス/結合による遅延を受ける)。振動1802は、一般に、近隣のすべてのニューロンに印加され、それにより図19に示される例における振動は、学習ニューロンの、関係側面学習ニューロンへの効果も同様に強化する。リプレイは、この例で使用された振動が、パターンの後の再励起を抑制する谷を有することを除いて、繰り返すことに留意されたい。
リプレイを制御するための別の方法は、バースティングを用いることである。図19および図20の例は、ニューロンxまたはyによるバーストが、いかにして、関係側面学習ニューロンを発火させるために使用され得るかを示す。バースティングは任意の層/ニューロンにおいて使用され得るので、これは単なる例である。
しかしながら、バースティングと振動の両方は、不必要であり、不利点を有しており、したがって好適ではない。それにもかかわらず、バースティングが望ましい特徴である場合、バースティングは、回路に対して内的に(すなわち、ローカル回路に対する入力または出力結合を有する点以外で)、かつあまり可塑性でない結合(または非可塑性の結合)において使用されることが推奨される。第1に、バースティングが回路の内部のみである場合、それは、(アレイ内のいくつかの結合がローカルだけであるならば)結合された回路内の干渉を防止できる。第2に、バースティングが、回路内のあまり可塑性でないかまたは非可塑性の結合における場合、それは、回路の内部の学習面によっていくぶんかの干渉を防止できる。
図17のリプレイ構造1700の変形態が考えられ、そこにおいて、求心神経および基準ニューロン(たとえば、それぞれニューロンaおよびx)はバーストしない(単に正常に動作する)が、関係ニューロン(たとえば、ニューロンp)は、(適宜、リプレイモードにおいてのみ)バーストする。これは、求心神経および基準ニューロンに対するバースティングの不利点のいくつかを回避できる。というのは、当然、それらはバーストしないからである。その上、バースティングの1つの不利点は、関係ニューロンの中で相殺され得る。すなわち、関係ニューロンは、プレイ中にバーストする必要はなく、次いで、このより低いレベルの活動は、求心神経(フィードバックループ)に著しい影響を及ぼすには不十分であるように構成され得る。次いで、(繰り返しが望まれても望まれなくても)繰り返しをブロックする抑制性フィードバック結合の除去が考えられる。また、関係側面学習者(唯一のバースティングニューロン)は、求心神経と1対1で結合され、そのモードにおける原因であるので、繊細であるが重要ないくつかの問題が、遅延、学習、およびこのケースにおけるバースティングの組合せによって回避され得る。しかしながら、求心神経が、やはり、リプレイの間に学習を実行する場合、依然として、遅延−バースト−学習の組合せの問題が存在する。これを回避するために、求心神経−ニューロン結合への関係ニューロン入力は、(たとえば、成長中に)あらかじめ配線されてよい。
図21のニューラル結合性ダイヤグラム2100は、求心神経を表す単一のニューロン2102と、基準ニューロンを表すニューロン2104と、関係側面学習ニューロンを表すニューロン2106とともに上記の原理を示す。求心神経は、上流または刺激から入力を受け、それらの出力は、他のパターンの照合、メモリ転送、比較、メモリ転送などのために、下流でまたは他の基準ニューロン(パターン照合ニューロン)によって使用され得ることに留意されたい。基準ニューロンは、上流または他の求心神経から制御入力を受け、それらの出力は、一般化、特殊化、またはさらなる処理のために下流で使用され得る。しかしながら、関係側面学習ニューロンは、回路の内部に唯一の結合を有する。したがって、上記の説明によれば、本開示の一実施形態において、それらだけがバーストする。
また、バースティングは、制御入力に応答してニューロンのダイナミックスを変更することによって、リプレイ(または他のモード)の間だけ許可される。たとえば、データ入力がニューロンの状態(電流または電圧)を変更する間、制御入力は実効コンダクタンスと、静止電位または閾値電位と、他の動的パラメータとを変更することができる。
より大きい制御が一般に望ましい場合、好ましい実施形態は、むしろ拡張に基づく。リプレイを制御するための別の方法は、図22に示されるように、ネットワークを拡張することによるものであり、言い換えれば、1対1の関係から1対多または多対1の関係、さらに多対多の関係に一般化することによるものである。求心神経と関係側面ニューロンとが1対1ベースで結合されていることが、図21のダイヤグラム2100に示されているが、これは、必要とされていないことに留意されたい。これは、少なくとも2つの可能性のある利点を提示する。第1に、多対1およびその逆の結合は、雑音または確率的発火が存在する場合にロバスト性を改善し得る。第2に、受けるニューロンを発火させるために1つの入力が不十分である(制約が課せられる)場合、複数の入力が、この制限を克服し得る。
図23は、本開示のいくつかの態様による、ニューラル構成要素リプレイに対する例示的な動作2300を示す。2302で、複数の求心性ニューロン出力内のパターンが、1つまたは複数の基準ニューロンを用いて参照され得る。2304で、複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面が、1つまたは複数の関係側面ニューロンを用いて照合され得る。2306で、複数の求心性ニューロンのうちの1つまたは複数が、1つまたは複数の関係側面ニューロンによって出力をバーストすることによって、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように誘発され得る。
図24は、本開示のいくつかの態様による、ニューラル構成要素リプレイに対する例示的な動作2400を示す。2402で、複数の求心性ニューロン出力内のパターンが、1つまたは複数の基準ニューロンを用いて参照され得る。2404で、複数の求心性ニューロン出力内のパターンと、1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面が、1つまたは複数の関係側面ニューロンを用いて照合され得る。2406で、複数の求心性ニューロンのうちの1つまたは複数が、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように誘発され得、求心性ニューロンのうちの少なくとも1つ、1つまたは複数の基準ニューロン、または1つまたは複数の関係側面ニューロンの間のシグナリングは、高速スパイクシーケンスまたは独立スパイクのうちの少なくとも一方を備え得る。
構成要素リプレイおよび体系的リプレイ
上記で説明した、シナプス可塑性および構造可塑性を有するテンポラルコーディングモデルを使用する、短いトレーニング期間の後の複数の(たとえば、5つの)パターンのリプレイが、図25に示される。リプレイは、ボックスの求心性セクション(L1 A)内に示される(刺激(S)はない)(明快のために関係側面学習ニューロン応答は図25に示されない)。第2のパターンの場合、2つのニューロンがパターンを学習したことに留意されたい。第2のパターンの再刺激が、より完全なパターン(より多くの求心神経)をリプレイし得る(「II」第2のボックスの下の「L1 A」内のパターン参照)。したがって、方法は、パターンを学習したニューロンのうちの1つまたは複数を刺激することによってより完全にパターンをリプレイし得ることに留意されたい。加えて、図21は、同じ構造が、同じニューロンを用いて、いかにして多重化する(I〜Vの複数のパターンを学習しかつリプレイする)ことができるかを示す。言い換えれば、構造は、非常に拡張性がある。
学習改善および関連付け
構成要素リプレイは、ニューロンによって学習されたパターン以上にリプレイし得ることに留意されたい。この点は、微妙に見えるが非常に有用である。重要な洞察は、学習を改善するために、方法は、何らかのエンティティーが学習の改善(または失われた部分を与えること)を受けるものによって学習されているものより良いパターンをリプレイすることを必要とする。しかしながら、これは、パターンが、何らかのエンティティーがパターンを学習したものより良いことを意味するものではない。
図26の例2602では、欠陥のある改善の概念は、学習改善を受けるエンティティーによって学習されたパターンの一部分だけをリプレイすることである。問題は、さらなる改善が、いかにして発生し得るかである。図26の例2604では、リプレイは、学習改善を受けるエンティティーによってすでに学習されているものより忠実なパターン再生である。しかしながら、これは、学習改善を受けるためのエンティティーが、パターンについて何かを学習した唯一のエンティティーであることを意味するものではない。
特定のニューロンxが特定の求心性入力を発火することを学習するという事実は、実際には、ニューロンxが、求心性入力パターン内の発火のすべてより少なく学習することに起因する。一例が図27に示されており、そこにおいて、求心神経dは、ニューロンxによるパターン認識に対して依拠されていない。類似性として、単に目と鼻によって誰かの顔を認識することが考えられる。しかし、関係側面学習ニューロンは、照合ニューロンの発火と求心性パターン内の要素の潜在的に任意の1つまたはすべてとの間の関係を学習することができる。言い換えれば、関係側面学習ニューロンは、パターンニューロンxの要素が依存するものによって制約されない。類似性として、第2の人について第1の人が「あれはA氏である」と言っているのを聴いている第3の人が考えられる。第3の人もまた、第2の人(A氏)を見ることができる。おそらく、第1の人は、目と鼻だけでA氏を認識している(A氏の顔の残りの部分は塞がれていると思われる)。これは、(A氏の顔全体を見ることができる)第3の人が、A氏の髪と、第2の人の「A氏」としての識別との間の一致を学習することを妨げるものではない。したがって、関係側面学習ニューロンは、照合に依存して、求心性パターンと学習ニューロン(複数可)との差(たとえば、より大きい、より完全、または異なる部分)を再生することができる。
しかしながら、「求心神経」は、パターン学習ニューロン(たとえば、図27の例2702内のニューロンn)に結合される必要はないことに留意されたい。ぺアにされた関係側面ニューロン(たとえば、ニューロンt)が存在する限り、ニューロンnの発火は、求心性パターンと関係付けられ得、求心神経を用いてリプレイされ得る。これは、他の信号または活動を、学習されている求心神経によってプレイされるパターンと関連付けるオンライン方法を提供することができる。学習ニューロンのレベルにおける一致を学習する必要はないが、一致は、パターンの別の部分(図27のニューロンdなど)または相関性のあるニューロン発火(図27のニューロンnなど)におけるリプレイのために保持される(また、後で、またはより高いレベルで、または別のニューロンによって学習される)。したがって、図28に示されるように、提案される方法は、刺激がもはや存在しなくなると、学習、比較を改善し、他の処理を継続する。
図29は、本開示のいくつかの態様による、ニューラル学習改善に対する例示的な動作2900を示す。2902で、入力のセット内のパターンのサブセットが、刺激を用いて学習され得る。2904で、パターンの要素とパターンのサブセットとの間の関係側面が学習され得る。2906で、出力のセット内のパターンが、刺激を用いないで学習された関係側面を使用してリプレイされ得る。4208で、入力のセット内のパターンの学習が、刺激を用いないで改善され得る。
メモリ転送および関連付け
リプレイの方法が与えられると、メモリ転送の方法が説明される。図30は、意味のあるメモリ転送に対する重要な差異を指摘している。すなわち、元の求心神経を介するリプレイがないと、転送先が学習する何らかのものは、元の求心神経の側面ではないので、メモリの「転送」は、実際には発生し得ない。図30の例3002では、転送先は、パターン照合ニューロンの出力を学習することができる。重要な洞察は、有用な転送に対して、転送先は、後でパターンを認識するために、転送元に依拠する必要はないことである。図30の例3004において、これはその場合である。したがって、元の求心神経を介するリプレイは、メモリのオフライン(刺激を用いない)転送に対して必要とされる。これは、ニューラルネットワーク内のいずれかにおける構成要素リプレイによってもたらされる構成要素リプレイまたは体系的リプレイである。とにかく、パターン認識転送元は、リプレイのトリガリングに関与するが、転送先はそれに依拠しない。
メモリを転送するために、リプレイ方法は、元の求心神経を介してパターンをリプレイするために使用され得る。これは、反直観的に思えるが、転送先(新しいパターン照合者)および関連する関係側面ニューロンは、転送元(古いパターン照合者)および任意の関連する関係側面ニューロン(すなわち、転送元がリプレイ能力を有する/必要とする場合、それ以外は、関係側面ニューロンは必要とされない)に結合されないことに留意されたい。転送先は、リプレイされたパターンを学習することができる。転送先は、転送元によって学習されたパターンの異なる要素または側面を学習することができることに留意されたい。学習改善に関連する関係付けの上記の説明に対する類似性は、転送先は、求心性パターンと、1つまたは複数の追加の入力ニューロン(図27の例2702内のニューロンn)との組合せを学習し得ることであることにも留意されたい。それ以外はここでは、それは、リプレイの一部分としてその他のパターンのリプレイによるものか、または追加の信号を求心性パターンと関係付けるためにそれらの追加の信号の単なる一致「動作(play)」としてのものである。いずれの場合でも、1つまたは複数の追加の入力は転送元に入力されてもされなくてもよく、さらに、転送先または関係側面学習ニューロンに入力されてもよい。
ひとたびメモリが転送されると、転送元(パターン照合ニューロン(複数可))と関係側面学習ニューロンの両方は、転送先が元のパターンを認識する能力を妨げることなく、再使用/消去/再割り当てされ得るかまたは新しい学習を受けることができることに留意されたい。
メモリは、求心神経(ニューロンa〜d)ではなく、またはそれらに加えて、関係側面ニューロン(図31の例3100内のニューロンp〜s)にも基づいて転送され得ることにも留意されたい。しかしながら、転送先が関係側面ニューロンに依拠する場合、これらは、メモリが転送先によって保持されるべきであるならば、消去されない。
その上、関係側面学習ニューロンの新しい並び(bank)は、転送先によって学習されたパターンをリプレイするため、転送先の学習を改善するため、またはメモリを再び転送することを含めて上記で説明したさらなる処理のいずれかを達成するために、転送先に関連して使用され得る。これは、本開示の皮質構成構造の一般性とよく適合する。そのような構造が図32に示される。両皮質領域内のニューロンに対して、同じ文字が使用されているが、これらは同じニューロンではないことに留意されたい。これは、利便性のためにすぎなく、識別は、皮質領域に対してローカルに行われる。
図32のダイヤグラム3200は、メモリ転送に対する結合性の例を示す。皮質領域は個別に示されているが、これらは、同様に、共通領域内の異なる領域、または皮質構成の広がり(stretch)に沿った点にすぎない。例3200では、両皮質領域は、同じ求心神経を使用することができる。図33のダイヤグラム3300は、ひとたび転送が完了すると、第1の皮質領域への依存は存在しないことを示している。図34の例示的なダイヤグラム3400は、転送すると同時に第1および第2の皮質領域から個別に学習されたパターンを関連付ける、第3の皮質領域(転送および関連づけ)による拡張を示す。
最後に、メモリ転送に関して、いくつかの拡張および代替が存在する。第2または他のメモリへの転送は、元のメモリの消去と併せて達成され得る。リプレイは関係側面ニューロンを使用して達成され得るので、これは、リプレイの忠実性に影響を及ぼすことなく行われる。
メモリ転送と同じ時点で、リプレイが元のパターンの照合を発火させるようにトリガし、これは望まれるが学習改善は望まれない場合、層2(基準ニューロンまたはパターン照合ニューロン(複数可))から層3(関係側面学習)への入力は、抑制性結合によって遮断され得る。具体的には、層3のシナプスに対する層2のプレシナプス抑制は、たとえば、前の層3の出力(遅延された)または前の層2の出力(制御された)のいずれかによって駆動され得る。この概念の変形態が可能である。主たる概念は、手順の中の前の出力を、手順の中の特定の結合層を抑制するためのトリガとして使用することである。
上記の原理はまた、上記で説明したように、前の層1の出力によって層1の結合に対して層3を抑制するために、元の刺激への露出の間に使用されるプレシナプス抑制への代替に適用され得ることに留意されたい。変形態は、層1(求心神経)の代わりに直接刺激からのトリガ、または刺激もしくは層1からのポストシナプス抑制を含む。これらの場合のいずれにおいても、遅延は、手順の中の前の信号の時間枠を抑制されるべき手順ステップの時間までもたらすために使用され得る。
抑制される影響が比較的大きい時間スケールである(例えば、原因となるが長い時定数を有する減衰している影響)場合、精密な遅延は必ずしも必要とされるとは限らないことに留意されたい。シナプス抑制が短い時定数を有するとしても、より長い時間窓の間、抑制を維持するために、抑制性介在ニューロンを共振させることが使用され得る。それにもかかわらず、抑制の時間窓が狭い場合、時間の精密さはより有利である。時間遅延はまた、関係側面学習発火と原因となる求心神経発火とを相互相関させる学習法則を使用することによって(すなわち、無監督学習においてさえ、抑制性ニューロンまたは回路によって)学習され得、それによりそれらの発火を整列させる遅延を有するシナプス結合の重みを引き上げる。
図35は、本開示のいくつかの態様による、ニューラル構成要素メモリ転送に対する例示的な動作3500を示す。3502で、複数の求心性ニューロン出力内のパターンが、1つまたは複数の基準ニューロンを用いて参照され得る。3504で、複数の求心性ニューロン出力内のパターンと、1つまたは複数の基準ニューロンの出力との間の1つまたは複数の第1の関係側面が、1つまたは複数の第1の関係側面ニューロンを用いて照合され得る。3506で、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第1のパターンを出力するように複数の求心性ニューロンを誘発することによって、パターンが、1つまたは複数の転送先ニューロンに転送され得る。
図36は、本開示のいくつかの態様による、ニューラル連想学習に対する例示的な動作3600を示す。3602で、1つまたは複数の入力のセット内の第1のパターンが、第1の刺激を用いて参照され得る。3604で、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面が学習され得る。3606で、1つまたは複数の入力のセット内の第2のパターンが、第2の刺激を用いて参照され得る。3608で、入力のセット内の第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の関係側面が学習され得る。3610で、入力のセット内の第1および第2のパターンが、第1および第2の刺激なしに、学習された関係側面を使用してリプレイされ得る。3612で、第1および第2のパターンが、リプレイに基づいて関連付けられる。
パターン補完およびパターン分離
パターン補完は、システムが、事前に、求心神経内に元のパターンを誘起する元の刺激に露出され、次いでその後、システムが、元のパターンの一部分だけを誘起する部分的刺激に露出され、その部分以外は、リプレイ方法がパターンを補完するプロセスである。言い換えれば、パターン補完の能力は、補完応答を用いて劣化入力に応答する能力を表す。
本開示は、パターン補完の方法を提供する。パターン補完を達成するために、参照が、元のパターンに対応するものとして劣化パターンを照合または参照する参照(またはパターン学習者/照合者)が必要とされる。図37は、いくつかの求心神経3702と2つの参照(またはパターン学習ニューロン)3704、3706とを有するネットワーク3700を示す。元の(完全な)パターン3708もまた、図37に示されている。一態様では、ニューロン3704は、このパターンを参照する(またはこのパターンを学習している)。さらに、ニューロン3704はまた、少なくとも劣化パターン3710を参照(照合)することができる。加えて、パターンのすべての要素は、スパイク3712によって示されるように、関係側面ニューロンによって学習され得る。劣化入力3714もまた示され、それは、参照に必要な最小の要素を満足し、それによりニューロン3704はまた、(単に完全な入力3708上ではなく)劣化入力3714上で発火することができる。
上記で説明したように、参照(照合)出力(図37のニューロン3704)は、次いで、関係側面ニューロンを発火させ得る関係側面層に入力され得る。上記で説明した関係ニューロンから求心性ニューロンへのプレシナプス抑制結合性によって、すでに劣化パターン内にある元のパターンの要素が、抑制回路によってリプレイを抑制され得る。しかしながら、失われた要素は劣化パターン内にないので、それらは、抑制フィードバックを持たず、したがってリプレイされ得る。したがって、パターンは、図38に示すように、リプレイ回路によって補完され得る。補完部分は、劣化されているが存在する部分(スパイク3804)に対して遅延された時点においてリプレイされ得る(スパイク3802)ことに留意されたい。これらの部分は、劣化されているが存在する部分に対して遅延を挿入することによって整列され得、それによりそれらは再編成され得る(スパイク3806)。
パターン補完の代替方法は、上記で説明したプレシナプス抑制回路を除去、抑制、または克服することである。その結果、劣化パターンが最初に発生する。次いで、遅延時間において、図39に示されるように、完全なパターンがリプレイされ得る。
パターン補完の別の代替方法は、パターンの終了前に参照(照合)が発火するかどうかである。これが、図37のニューロン3706を示す目的である。ニューロン3706が、中間パターン(たとえば、図39のスパイク3902、3904および図40のスパイク4002)を発火することに留意されたい。これは、それが、劣化パターンの初期の部分を認識するからである。この場合、参照の後に発生する失われた部分(図40のスパイク4002)は、図40に示されるように、求心神経の劣化部分を用いてリプレイされ得る。これは、関係側面ニューロンがニューロン3706に応答し得、したがってニューロン3706が発火した後に(前ではない)発火するように求心神経を誘発し得るからである。
最後に、より大きくより一般的なパターン補完も可能である。より大きいが意味するものは、作製されるパターンが、持続時間において遅延線範囲(たとえば、樹枝状遅延範囲)より長く、それによりパターンが、複数の基準ニューロンによって連続的に学習/参照され得ることである。より一般的が意味するものは、求心神経あたりに複数のスパイクを有するパターンである。次の階層的リプレイの説明の中で、詳細に説明される。
関係するが異なるプロセスは、パターン分離のプロセスである。これは、類似する記憶/学習されたパターンを修正してそれらの間の差異を増加させ、認識する刺激における識別を改良する能力を表す。本開示は、参照層ニューロン学習を分離し、したがって記憶されるパターンを分離するために、参照層において横方向抑制が使用され得るので、パターン分離に適合する。この学習は参照層および求心神経との関係に依存するので、分離は、関係側面学習の間にも発生し得る。類似するパターンが参照発火において混乱を引き起こす場合、これは、関係側面学習に悪影響を及ぼし、それにより類似する側面の学習を分離または抑制することに留意されたい。関係側面学習の間に、(複数のパターンに対応する)複数の参照が、単一の元のパターンに対して発火する場合、類似の影響が発生する。
図41は、本開示のいくつかの態様による、ニューラルパターン補完に対する例示的な動作4100を示す。4102で、1つまたは複数の入力のセット内の第1のパターンが、第1の刺激を用いて参照され得る。4104で、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面が学習され得る。4106で、1つまたは複数の入力のセット内の第2のパターンが、第2の刺激を用いて参照され、第2のパターンは、第1のパターンの劣化バージョンを備えることができる。4108で、第2のパターンから失われるかまたは劣化された、第1のパターンの少なくとも1つの要素が、第2のパターンまたは第2の刺激のうちの少なくとも一方に露出されたことに応答してリプレイされ得る。
図42は、本開示のいくつかの態様による、ニューラルパターン分離に対する例示的な動作4200を示す。4202で、1つまたは複数の入力のセット内の第1のパターンが、1つまたは複数の基準ニューロンを用いて参照され得る。4204で、第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の第1の関係側面が学習され得る。4206で、1つまたは複数の入力のセット内の第2のパターンが、1つまたは複数の基準ニューロンを用いて参照され、第2のパターンは、第1のパターンに類似する。4208で、第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の第2の関係側面が学習され得る。4210で、第1のパターンまたは第2のパターンの少なくとも一方が、第1のパターンと第2のパターンとの間の差を増加させるために修正され得る。4212で、修正し、1つまたは複数の基準ニューロンを使用した後、第1のパターンが第1の刺激を用いて参照され、第2のパターンが第2の刺激を用いて参照され、第1の刺激は、第2の刺激とは異なる。
パターン比較および一般化
本開示のいくつかの態様は、パターン比較の方法をサポートする。パターン比較は、2つの記憶または学習されたパターンを比較する能力を表す。パターンは、必ずしも、1つの基準(パターン学習)ニューロン内に記憶されている必要はないが、それは、ニューロンの関係側面集団によって、または複数の基準ニューロンによって、またはそれらの組合せによって記憶される。たとえば、オフライン(すなわち、元の刺激を用いない)で比較される、2つ以上のそのような記憶されたパターンが存在するか、または1つの記憶されたパターンと、1つの、刺激によって現在発生するパターンとが存在する。本開示は、これらを比較する方法を提供する。
図43は、本開示のいくつかの態様による、ニューラル結合性ダイヤグラム4300の一例を示す。一態様では、ニューロンxは、第1のパターンに対する参照であり、ニューロンyは第2のパターンに対する参照であり、一方、関係側面学習ニューロンp〜sは、上記で説明したように、両パターンのリプレイを学習している。2つのパターンを比較するために、発火して対応するパターンのリプレイを引き起こすように、ニューロンxおよびyの一方または他方を誘発するために、制御が使用され得る。さらに、求心神経(a〜d)内のそのパターンが、(i)対応するニューロン、または(ii)他のパターンに対応するニューロン、(iii)両方、によって照合されるか、または(iv)いずれによっても照合されないかがチェックされる。したがって、記憶されたパターンは、オフライン方式で比較され得る。同様に、記憶されたパターンは、求心神経内の(求心神経に対する刺激によって現在発生している)現在のパターンと比較され得る。
さらに、パターン比較は、横方向抑制によって可能にされる。一態様では、ニューロンxおよびyは、互いに横方向に抑制され得る(図43に示されず)。ニューロンxおよびyによって認識/参照されたパターンに類似するパターンが、プレイ/リプレイされ、ニューロンxが最初に発火する場合、それは、ニューロンyが発火するのを抑制する。ある意味では、最初の/最良の照合が、その他を妨げる。対照的に、照合が発生しない場合、抑制は存在せず、最も弱い照合が助長される。照合が良好なほど、ニューロンxまたはy(場合によって)が発火するまでの遅延は小さくなる。
2つのパターンが同じではないが類似する場合、この問題を一般化することが望ましい。一般化は、より高い層においてまたは同じ層において発生する。ダイヤグラム4300において、ニューロンtはより高い層のニューロンを表す一方で、ニューロンzは、(パターン学習ニューロンと)同じ層におけるニューロンを表す。いずれの場合でも、(tまたはzは)、リプレイを可能にする関係側面学習ニューロン(ニューロンp〜s)に結合される必要はないことに留意されたい。加えて、より高い層の場合には、ニューロンtは、ニューロンxおよびyに直接結合される必要はないが、さらに高い層において(より間接的に)結合され得る。
探索が、一連のパターンをリプレイすることによって実行され得る。目標パターンに対する照合が接近するにつれて、目標パターンに対応する基準ニューロンは、ますます発火しやすくなる(または、たとえば、その発火速度が増加する)。
一般化が、オンライン(プレイ中)またはオフライン(リプレイに伴って)発生する。パターンをプレイまたはリプレイすることによって、ニューロンを一般化することが、両パターンに対して発火することを学習する。重要なことは、発火は、抑制のように、互いに排他的にすることはないことである。たとえば、ニューロンzの場合では、ニューロンzが、ニューロンxおよびyによってすでに参照されているパターンを一般化することを望まれている場合、ニューロンxまたはyの発火は、ニューロンzが発火することを抑制すべきではない。
図44は、本開示のいくつかの態様による、ニューラル比較に対する例示的な動作4400を示す。4402で、1つまたは複数の入力のセット内の第1のパターンが、第1の刺激を用いて参照され得る。4404で、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面が学習され得る。4406で、1つまたは複数の入力のセット内の第2のパターンが、第2の刺激を用いて参照され得る。4408で、第1のパターンがリプレイされ得る。4410で、第1のパターンが、リプレイならびに第1および第2のパターンの参照に基づいて第2のパターンと比較され得る。
図45は、本開示のいくつかの態様による、ニューラルパターン一般化に対する例示的な動作4500を示す。4502で、1つまたは複数の入力のセット内の第1のパターンが、第1の刺激を用いて参照され得る。4504で、入力のセット内の第1のパターンのうちの1つまたは複数の要素と第1のパターンの参照との間の関係側面が学習され得る。4506で、1つまたは複数の入力のセット内の第2のパターンが、第2の刺激を用いて参照され得る。4508で、入力のセット内の第2のパターンのうちの1つまたは複数の要素と第2のパターンの参照との間の関係側面が学習され得る。4510で、第1のパターンまたは第2のパターンの少なくとも一方が、第1および第2の刺激なしにリプレイされ得る。4512で、第1および第2のパターンの一般化が、リプレイに基づいて学習される。
水平(自動)関連付け
一態様では、特定の顔を見ることなど、特定の求心性パターンを引き起こす、感覚刺激が存在する。第1のパターン学習ニューロン(たとえば、第1の皮質領域内:視覚)が、上述の方法に従ってこのパターンを学習し得る。しかしながら、別の様式における同時(または近接した時点)の刺激、たとえば第2のパターン学習ニューロン(たとえば、第2の皮質領域内:聴覚)によって学習され得る大きな音のパターンが存在する。一態様では、第1のパターン学習ニューロンは、この第2の(聴覚の)感覚様式入力に結合されず、それによりそれは、この音をパターンの一部分として学習することはない。この状況が図46に示される。
皮質領域のパターン学習ニューロン4602は、互いの求心神経に結合されないことに留意されたい。本開示の関係側面学習ニューロンによれば、関係側面学習ニューロン4604は、両様式からの求心神経とペアにされる。その上、それらは、視覚と聴覚の両方のパターン照合/学習ニューロンからの入力を受ける。したがって、関係側面学習ニューロンは、第2の皮質領域の関係側面ニューロン4608から第1の皮質領域の基準ニューロン4610の軸索までの樹枝状プロセス4606によって、図46に示されるように、関係側面学習ニューロンが、他の皮質領域のエファレントに結合される。さらに、図46に示されるように、第1の皮質領域の求心神経4612および第2の皮質領域の求心神経4614は、第3の皮質領域の求心神経に結合され得る。図46のニューラル結合性ダイヤグラム4600は、1つだけのそのような水平結合を1つだけの方向で示しているが、水平結合は、いずれの皮質領域からも、関係−学習側面ニューロン(relational-learning aspect neurons)のうちの1つまたは複数(さらにはそれぞれ)によってなされ得る。
リプレイをトリガすることによって、視覚および聴覚のパターンが異なるニューロンによって学習されたとしても、リプレイは、視覚と聴覚の両方のパターンを備え得ることに留意されたい。一態様では、オフライン学習またはメモリ転送は、両方を関連付け得、組み合わされたパターンを学習する(たとえば、転送先のパターン学習ニューロンは、視覚および聴覚の入力の組合せを照合することができる)。
学習速度および参照
刺激がもはや利用できなくなった後で、パターンの学習を改善することができる利点は、学習改善に関連して上記で説明された。しかしながら、本開示の方法は、さらに大きいポテンシャルを有する。上記の一般的な説明では、パターン学習(または少なくとも照合)ニューロンは、皮質構成の第2の層内で使用された。技術的には、このパターン学習ニューロンは、実際には、関係側面学習に対する参照である。発生していることは、各求心神経からのパターンの個別の要素を関連付けるために、関係側面学習が、パターン学習ニューロンの出力を使用していることである。その参照が、パターン学習ニューロンであるかまたは照合ニューロンであるかは、その目的に対しては重要ではない。言い換えれば、基準ニューロンは、パターン学習ニューロン(または照合ニューロン)以外のニューロンであってよい。一態様では、このニューロンは、求心神経に結合されることもない。参照は、図47のニューラル結合性ダイヤグラム4700のニューロンyによって示される。
本開示の一態様では、パターン学習ニューロンが参照として使用され得る一方で、刺激は、パターンを有するパターン学習ニューロン(および強いフィードバックがあるときは求心神経)の一貫した発火を得ることが必要とされる限り学習すること以外は、全体的に説明したように利用可能であるが、必ずしも、ニューロンがそのパターンを他と(または単に他の類似するパターンと)区別し得る点まで、学習を成長させるのに十分に長いとは限らない。言い換えれば、刺激の間の学習は、パターン照合または特徴のある能力を実際に改善する必要はないので、非常に高速である。これは、同じニューロン(学習を改善する)を使用してオフライン(刺激を用いない)で行われるか、または他の概念/入力と関連するかまたは関連しない別のニューロンに転送される。
別の態様では、求心神経のうちの1つが参照として使用され得る。これは、その求心神経が、特定のパターンに一貫して関連しているとき(そしてたとえば、他のパターンが存在するときに発火しないとき)、十分に働く。実際、特定の求心神経が、すでに、パターンの良好なインジケータである場合、パターンを学習するための動機はほとんどない。しかし、これは必ずしも、そうであるとは限らない。たとえば、特定の帽子が、ある人の特にユニークなまたは独特な特徴であることがある。しかしながら、それは、その人の顔を認識することの重要さを取り除くものではない。求心神経が参照として使用される場合、他の求心神経をその求心神経に結合する必要はない。図47のニューロンyは、そのような状況を表す。関係側面学習ニューロンはまた、参照として使用され得ることに留意されたい。
さらに別の態様では、求心神経以外の個別のニューロン、または皮質領域の別の部分からのニューロンなどのパターン照合/学習ニューロン、またはニューラルネットワーク、または振動を使用してもしくはそうでなければ警報器(attention marker)のように刺激を発生するように制御されて周期的に励起されるニューロン、を使用することが可能である。たとえば、注意が、顔に固定されることが想定される。視覚システムは、顔に対応するパターンを有する求心神経を受けている。注意回路は、この顔の注意に一致する参照を視覚システムに与える。次いで、刺激(顔)が視覚から去るとリプレイすることができるための情報を記憶するために、参照が関係側面学習ニューロンによって使用され得る。リプレイするために、注意回路は、上記で説明したように、元の求心神経を介してリプレイをトリガする参照をトリガすることができる。次いで、これは、顔のパターンの学習、学習改善、学習もしくはメモリもしくは情報の転送、または関連付けのために使用され得る。
図48は、本開示のいくつかの態様による、ニューラル構成要素学習改善および高速学習に対する例示的な動作4800を示す。4802で、複数の求心性ニューロン出力内のパターンが、1つまたは複数のパターン学習ニューロンを用いて参照され得る。4804で、複数の求心性ニューロン出力内のパターンと、1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面が、1つまたは複数の関係側面ニューロンを用いて照合され得る。4806で、複数の求心性ニューロンのうちの1つまたは複数が、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように誘発され得る。4808で、1つまたは複数のパターン学習ニューロンによる学習が、誘発された実質的に類似するパターンを使用して改善され得る。
手順フロー、リプレイの繰り返しおよび方向付けフロー
本開示の一態様では、抑制が、手順のコースを方向付けるために使用され得る。手順という用語は、元の刺激、リプレイ、メモリ転送、または学習改善などを用いる関係側面学習などのプロセスに言及するために使用され得る。手順は、特定の制御もしくは入力(たとえば、刺激)によってトリガされるか、またはネットワークの振動の中の1つの状態である。とにかく、ひとたびトリガされると、プロセスは、図49の手順フロー4900で示されるように、内部動作(ネットワークの前の活動に基づく状態遷移)によるか、または外部制御(ローカルアレイまたはネットワーク領域の外部)によるか、またはそれらの組合せによって制御され得る。
内部制御の一例は、前の発火によって駆動されるループ内の、求心性発火、パターンニューロン発火、関係側面ニューロン発火、再度求心性発火、などの間の振動である(求心性発火は、パターンニューロン発火などを駆動し得る)。外部制御の一例は、外部制御信号(アレイの外部の他のニューロン)によって発火するように、パターンニューロンを誘発することができる。初期の活動は制御によってトリガされるが、以後に発生する振動は、自己起因(self-caused)であるように、組合せが使用され得る。これに対する変形態は、制御された振動ではなく自己トリガを備え得る。とにかく、励起に加えて、抑制が、手順フロー(どの状態が次に発生するかを判断する)に影響を及ぼすために使用され得る。上記の説明では、特定の抑制(プレシナプス)が、関係側面ニューロンが元の刺激(刺激によって直接駆動されるかまたは求心性発火によって駆動され、関係側面学習ニューロンから求心神経に戻る結合に影響を及ぼす)に露出している間にリプレイをトリガすることを防止するために使用されたことに留意されたい。
しかしながら、この一般的概念は、いくつかの代替方法、および他の手順に適用され得る。第1に、メモリ転送プロセスは、後者の一例と考えられる。メモリ転送に対するリプレイの間、求心神経は、パターンをプレイバックすることができる。パターンは、関係側面学習ニューロンに結合されるパターン照合ニューロン(または参照)によって照合され得る。したがって、リプレイは、再びリプレイを引き起こす。上述の特定の抑制によって、繰り返されるリプレイがブロックされる。このブロックは、繰り返しのリプレイが望まれるか、または別の制御が繰り返しを引き起こすために加えられる(たとえば、参照またはパターンニューロンの周期的刺激)場合に、取り除かれる。
しかしながら、繰り返しは望ましくなく、さらに、関係側面ニューロンの再発火さえも望ましくない。これに対する理由は、(関係側面の)学習改善は、(たとえば、メモリ転送の間)望ましくないことにある。これをブロックするために、手順の中の前の事象(発火)は、望ましくない事象を抑制するためのドライバとして使用され得る。具体的には、基準ニューロンまたはパターン照合ニューロンからの入力を受けるため、かつその同じニューロンと関係側面ニューロンとの間の興奮性結合に出力するために、抑制性介在ニューロンが結合され得る。手順フロー内のステップ間の時間に等しい遅延を割り当てることによって、介在ニューロンは、適時に望ましくない事象の原因をブロックする。したがって、内部結合性は、任意の特定の手順に対して望ましい手順フローを確実にするように設計され得る。
階層的および多層リプレイならびにマルチパートパターン補完
本開示のいくつかの態様によれば、階層的および多層リプレイの概念は、ネットワークの複数の層において上記で説明したリプレイ構造の概念を適用し、1つまたは複数の層において階層的に、潜在的にリプレイする概念を表す。複数の層によって意味されるものは、ネットワーク内の一般化または抽象化の変化するレベルにおけるニューロンを備え得る。階層的リプレイによって意味されるものは、特定のパターン学習または参照層(ニューロン)においてリプレイを誘発することが、結果として、それらのパターン学習の求心神経または参照層ニューロン内の学習された/参照されたパターンのリプレイを誘発することである。したがって、リプレイは、層状ネットワーク内でトップダウンの順番で誘発される。
階層的リプレイは、図50に示される5000を例として説明される。図50のニューロンx、yおよびzは、パターン学習ニューロン(または参照)である。しかしながら、ニューロンxおよびyが求心神経aおよびb内のパターンを学習または参照する一方で、ニューロンzはニューロンxおよびy内のパターンを学習または参照する。同様に、ニューロンpおよびqがネットワークの下部に対する関係側面ニューロンである一方で、ニューロンtおよびuは、上部に対する関係側面ニューロンである。下位層におけるパターンのリプレイは、上位層におけるリプレイによって引き起こされることに留意されたい。一態様では、上位層におけるリプレイは、ニューロンzの発火によって引き起こされる。たとえば、発火シーケンスは、次のように進行する:z→t、u→x、y→p、q→a、bなど。
戦略的抑制結合または興奮性ブーストを用いて、より大きいパターン補完など、さらなる処理目標を達成することが可能になる。パターン補完に対して、ニューロンxによって照合されたパターンは、外部刺激によって発生し、ニューロンyによって照合されるパターンは、その結果としてリプレイされることが望ましい。ニューロンxによって照合されるパターンが発生するので、ニューロンxが発火する。感受性をブーストするかまたはニューロンzの閾値を引き下げることによって、このニューロンは、結果的に、発火するように誘発される。次に、これは、上記で説明した階層的リプレイを誘発するが、いくつかの重要な例外を有する。第1に、ニューロンxの元のパターンはすでに発生している。このことは、ニューロンxが(少なくとも短期間)さらに発火するのを抑制することによって、ニューロンxによる参照されたパターンのリプレイを抑制するために使用され得る。第2に、ニューロンyのパターンはまだ発生していないので、ニューロンyは、発火することを抑制されない。したがって、ニューロンpおよびqは、ニューロンyによる照合された/参照されたパターンのリプレイだけを引き起こすために発火することができる。例示的なプロセスは、図51の例示的なフローチャート5100に要約され得る。
階層的リプレイは、「連想補完(associative completion)」と呼ばれるプロセスを含む、追加のさらなる処理のための手段を提供する。たとえば、機械は、部分A、B、Cの順序付きリストによって抽象的に示されたパターンのシーケンス(たとえば、鳥の鳴き声またはスピーチ)を学習している。一態様では、部分Bが部分Aに続き、部分Cが部分Bに続く。一般性を失うことなく、関連付けの中の1つのステップ、たとえばステップA→Bに焦点を当てる。一態様では、図50に示されるネットワークは、ニューロンxおよびyにおいてパターンAおよびBを学習する。その上、A→Bの順序は、ニューロンzが(AおよびBを参照する)ニューロンxおよびyの発火のテンポラル側面を学習するので、ニューロンzによって学習される。機械が、パターンAだけをリプレイすることによって始まる場合、これは、(最初の部分もリプレイであったことを除いて)パターン補完に対して正確に上記で説明したとおり、関連付けられたBのリプレイをトリガするために使用され得る。要素をネットワークに追加することによって、Cのリプレイが、Bのリプレイに基づいて引き起こされ、以下同様である。実際には、シーケンスのリプレイは段階的に引き起こされる。
次に、注意深い読者は、「Bは、次に、Aのリプレイを、Cの代わりにまたはCに加えて引き起こさないか」と質問するかもしれない。これを回避するために、すなわちシーケンスの順方向フローを維持するために修正が行われなければ、これは、実際に起こり得る。これを行うための1つの方法は、層2のニューロンのそれぞれの再発火を、それがすでに発火した後、ある期間の間抑制することである。この期間は、互いに離れた2つの部分である部分間(すなわち、1つの部分に中間を有する)の持続時間に対応する。
次に、注意深い読者は、「それは、A→A→BまたはA→B→A→Cなどのシーケンスのリプレイを防止しないのでは」と質問するかもしれない。その答えは必要ではない。部分Aを照合するために唯一のニューロンが存在する場合、これは問題となる。しかしながら、異なるニューロンが、シーケンス内の異なる点においてパターンAを学習するように横方向の抑制を有しながら、複数の層2のニューロンがパターンAを学習することが可能である場合、この問題は克服され得る。
最後に、制御入力もまた、ネットワークのいくつかのレベルに対してリプレイを制限するために供給される。たとえば、リプレイは、下位層の基準ニューロンの発火を抑制することによって上位層(概念的抽象またはパターン認識のより高い層)に限定されるように制御され得る。
図52は、本開示のいくつかの態様による、ニューラルパターンシーケンス補完に対する例示的な動作5200を示す。5202で、1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスが、基準ニューロンの第2の層を用いて参照され得る。5204で、パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面が学習され得る。5206で、基準ニューロンの第2の層内のパターンシーケンスが、基準ニューロンの第3の層を用いて参照され得る。5208で、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面が学習され得る。5210で、第1の層のニューロン内のパターンの後の部分が、パターンの前の部分を作成するときにリプレイされ得る。
図53は、本開示のいくつかの態様による、ニューラルパターン階層的リプレイに対する例示的な動作5300を示す。5302で、1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスが、基準ニューロンの第2の層を用いて参照され得る。5304で、各パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面が学習され得る。5306で、基準ニューロンの第2の層内のパターンシーケンスが、基準ニューロンの第3の層を用いて参照され得る。5308で、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面が学習され得る。5310で、第2の層内のパターンシーケンスの参照のリプレイが、基準ニューロンの第3の層に基づいて引き起こされ得る。5312で、第1の層内のパターンの部分のそのシーケンスが、第2の層内のパターンシーケンスの参照のリプレイを引き起こすことに基づいてリプレイされ得る。
図54は、本開示のいくつかの態様による、階層なしに実行され得るニューラルパターンシーケンス補完に対する例示的な動作5400を示す。5402で、複数の求心性ニューロン内のパターンの複数の部分が、複数の基準ニューロンを用いて参照され得る。5404で、パターンの部分のうちの1つまたは複数が、求心性ニューロンと、1つまたは複数の関係側面ニューロンとの間の、第1の値より小さい遅延に基づいて、1つまたは複数の関係側面ニューロンを用いて、基準ニューロンのサブセットに関連付けられる。5406で、パターンの1つまたは複数の残された部分が、第2の値より大きい遅延に基づいて、1つまたは複数の関係側面ニューロンを用いて、基準ニューロンのサブセットに関連付けられる。5408で、パターンの1つまたは複数の残された部分のリプレイが、求心性ニューロンによってパターンの1つまたは複数の部分の要素を発火することに基づいて、基準ニューロンのサブセットによって誘発され得る。
図55は、本開示のいくつかの態様による、汎用プロセッサ5502を使用する、ニューラル構成要素リプレイ、学習改善、メモリ転送、連想学習、パターン比較、パターン補完、パターン分離、パターン一般化、階層を有するパターンシーケンス補完、およびパターン階層的リプレイのための前述の方法の例示的なソフトウェア実装形態5500を示す。計算ネットワーク(ニューラルネットワーク)の各結合(シナプス)に関連付けられた重みおよび遅延は、メモリブロック5504に記憶することができ、汎用プロセッサ5502において実行される前述の方法に関連した命令は、プログラムメモリ5506からロードされ得る。
本開示の一態様では、汎用プロセッサ5502にロードされた命令は、1つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するためのコードと、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合するためのコードと、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発するためのコードと、誘発された実質的に類似するパターンを使用して1つまたは複数のパターン学習ニューロンによって学習を改善するためのコードと、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第1のパターンを出力するように複数の求心性ニューロンを誘発することによって1つまたは複数の転送先ニューロンにパターンを転送するためのコードと、構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習するためのコードとを備え得る。別の態様では、汎用プロセッサ5502にロードされた命令は、刺激を用いて入力のセット内のパターンのサブセットを学習するためのコードと、パターンの要素とパターンのサブセットとの間の関係側面を学習するためのコードと、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイするためのコードと、刺激を用いないで入力のセット内のパターンの学習を改善するためのコードとを備え得る。
さらに別の態様では、汎用プロセッサ5502にロードされた命令は、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照するためのコードと、入力のセット内の第1のパターンの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習するためのコードと、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照するためのコードと、入力のセット内の第2のパターンの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習するためのコードと、第1および第2の刺激を用いないで学習された関係側面を使用して入力のセット内の第1および第2のパターンをリプレイするためのコードと、リプレイに基づいて第1および第2のパターンを関連付けるためのコードと、第1のパターンと第2のパターンとを比較するためのコードと、第2のパターンまたは第2の刺激の少なくとも一方に露出されたことに応答して第2のパターンから失われるかまたは劣化された第1のパターンの少なくとも1つの要素をリプレイするためのコードと、第1のパターンと第2のパターンとの間の差を増加させるために第1のパターンまたは第2のパターンの少なくとも一方を修正するためのコードと、1つまたは複数の基準ニューロンを使用して修正した後、第2の刺激とは異なる第1の刺激を用いて第1のパターンを参照し、第2の刺激を用いて第2のパターンを参照するためのコードと、第1および第2のパターンの一般化を学習するためのコードとを備え得る。
さらに別の態様では、汎用プロセッサ5502にロードされた命令は、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照するためのコードと、各パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習するためのコードと、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照するためのコードと、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習するためのコードと、基準ニューロンの第3の層に基づいて第2の層内のパターンシーケンスの参照のリプレイを引き起こすためのコードと、第2の層内のパターンシーケンスの参照のリプレイを引き起こすことに基づいて第1の層内のパターンの部分のそのシーケンスをリプレイするためのコードと、パターンの前の部分を作成時に第1の層のニューロン内のパターンの後の部分をリプレイするためのコードとを備え得る。
さらに別の態様では、汎用プロセッサ5502にロードされた命令は、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照するためのコードと、1つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと1つまたは複数の関係側面ニューロンとの間の、第1の値より小さい遅延に基づいて、パターンの部分のうちの1つまたは複数を基準ニューロンのサブセットに関係付けるためのコードと、1つまたは複数の関係側面ニューロンを用いて、第2の値より大きい遅延に基づいてパターンの1つまたは複数の残りの部分を基準ニューロンのサブセットに関係付けるためのコードと、求心性ニューロンによってパターンの1つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによってパターンの1つまたは複数の残りの部分のリプレイを誘発するためのコードとを備え得る。
図56は、本開示のいくつかの態様による、ニューラル構成要素リプレイ、学習改善、メモリ転送、連想学習、パターン比較、パターン補完、パターン分離、パターン一般化、階層を用いるパターンシーケンス補完、およびパターン階層的リプレイのための前述の方法の例示的な実装形態5600を示しており、ここで、メモリ5602は、相互接続ネットワーク5604を経由して計算ネットワーク(ニューラルネットワーク)の個々の(分散型)処理ユニット(ニューラルプロセッサ)5606とインターフェース接続され得る。計算ネットワーク(ニューラルネットワーク)の1つまたは複数の結合(シナプス)に関連する1つまたは複数の重みおよび遅延は、相互接続ネットワーク5604の結合(複数可)を介してメモリ5602から各処理ユニット(ニューラルプロセッサ)5606にロードされ得る。
本開示の一態様では、処理ユニット5606は、1つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合し、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発し、誘発された実質的に類似するパターンを使用して1つまたは複数のパターン学習ニューロンによって学習を改善し、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第1のパターンを出力するように複数の求心性ニューロンを誘発することによって1つまたは複数の転送先ニューロンにパターンを転送し、構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習するように構成され得る。別の態様では、処理ユニット5606は、刺激を用いて入力のセット内のパターンのサブセットを学習し、パターンの要素とパターンのサブセットとの間の関係側面を学習し、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイし、刺激を用いないで入力のセット内のパターンの学習を改善するように構成され得る。
さらに別の態様では、処理ユニット5606は、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照し、入力のセット内の第1のパターンの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習し、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照し、入力のセット内の第2のパターンの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習し、第1および第2の刺激を用いないで学習された関係側面を使用して入力のセット内の第1および第2のパターンをリプレイし、リプレイに基づいて第1および第2のパターンを関連付け、第1のパターンと第2のパターンとを比較し、第2のパターンまたは第2の刺激の少なくとも一方に露出されたことに応答して第2のパターンから失われるかまたは劣化された第1のパターンの少なくとも1つの要素をリプレイし、第1のパターンと第2のパターンとの間の差を増加させるために第1のパターンまたは第2のパターンの少なくとも一方を修正し、1つまたは複数の基準ニューロンを使用して修正した後、第2の刺激とは異なる第1の刺激を用いて第1のパターンを参照し、第2の刺激を用いて第2のパターンを参照し、第1および第2のパターンの一般化を学習するように構成され得る。
さらに別の態様では、処理ユニット5606は、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、各パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習し、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照し、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習し、基準ニューロンの第3の層に基づいて第2の層内のパターンシーケンスの参照のリプレイを引き起こし、第2の層内のパターンシーケンスの参照のリプレイを引き起こすことに基づいて第1の層内のパターンの部分のそのシーケンスをリプレイし、パターンの前の部分を作成時に第1の層のニューロン内のパターンの後の部分をリプレイするように構成され得る。
さらに別の態様では、処理ユニット5606は、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照し、1つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと1つまたは複数の関係側面ニューロンとの間の、第1の値より小さい遅延に基づいて、パターンの部分のうちの1つまたは複数を基準ニューロンのサブセットに関係付け、1つまたは複数の関係側面ニューロンを用いて、第2の値より大きい遅延に基づいてパターンの1つまたは複数の残りの部分を基準ニューロンのサブセットに関係付け、求心性ニューロンによってパターンの1つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによってパターンの1つまたは複数の残りの部分のリプレイを誘発するように構成され得る。
図57は、本開示のいくつかの態様による、分散型重み/遅延メモリ5702に基づくニューラルテンポラルコーディング、および分散型処理ユニット(ニューラルプロセッサ)5704のための、上述した方法の例示的実装形態5700を示す。図57に示すように、1つのメモリバンク5702が、計算ネットワーク(ニューラルネットワーク)の1つの処理ユニット5704と直接インターフェースされてよく、メモリバンク5702は、処理ユニット(ニューラルプロセッサ)5704に関連付けられた1つまたは複数の結合(シナプス)の1つまたは複数の重みおよび遅延を記憶することができる。
本開示の一態様では、処理ユニット5704は、1つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を照合し、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの1つまたは複数を誘発し、誘発された実質的に類似するパターンを使用して1つまたは複数のパターン学習ニューロンによって学習を改善し、1つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第1のパターンを出力するように複数の求心性ニューロンを誘発することによって1つまたは複数の転送先ニューロンにパターンを転送し、構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習するように構成され得る。別の態様では、処理ユニット5704は、刺激を用いて入力のセット内のパターンのサブセットを学習し、パターンの要素とパターンのサブセットとの間の関係側面を学習し、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイし、刺激を用いないで入力のセット内のパターンの学習を改善するように構成され得る。
さらに別の態様では、処理ユニット5704は、第1の刺激を用いて1つまたは複数の入力のセット内の第1のパターンを参照し、入力のセット内の第1のパターンの1つまたは複数の要素と第1のパターンの参照との間の関係側面を学習し、第2の刺激を用いて1つまたは複数の入力のセット内の第2のパターンを参照し、入力のセット内の第2のパターンの1つまたは複数の要素と第2のパターンの参照との間の関係側面を学習し、第1および第2の刺激を用いないで学習された関係側面を使用して入力のセット内の第1および第2のパターンをリプレイし、リプレイに基づいて第1および第2のパターンを関連付け、第1のパターンと第2のパターンとを比較し、第2のパターンまたは第2の刺激の少なくとも一方に露出されたことに応答して第2のパターンから失われるかまたは劣化された第1のパターンの少なくとも1つの要素をリプレイし、第1のパターンと第2のパターンとの間の差を増加させるために第1のパターンまたは第2のパターンの少なくとも一方を修正し、1つまたは複数の基準ニューロンを使用して修正した後、第2の刺激とは異なる第1の刺激を用いて第1のパターンを参照し、第2の刺激を用いて第2のパターンを参照し、第1および第2のパターンの一般化を学習するように構成され得る。
さらに別の態様では、処理ユニット5704は、基準ニューロンの第2の層を用いて1つまたは複数の第1の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、各パターンの1つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習し、基準ニューロンの第3の層を用いて基準ニューロンの第2の層内のパターンシーケンスを参照し、パターンシーケンスの1つまたは複数の要素と基準ニューロンの第2の層内のパターンシーケンスの参照との間の関係側面を学習し、基準ニューロンの第3の層に基づいて第2の層内のパターンシーケンスの参照のリプレイを引き起こし、第2の層内のパターンシーケンスの参照のリプレイを引き起こすことに基づいて第1の層内のパターンの部分のそのシーケンスをリプレイし、パターンの前の部分を作成時に第1の層のニューロン内のパターンの後の部分をリプレイするように構成され得る。
さらに別の態様では、処理ユニット5704は、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照し、1つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと1つまたは複数の関係側面ニューロンとの間の、第1の値より小さい遅延に基づいて、パターンの部分のうちの1つまたは複数を基準ニューロンのサブセットに関係付け、1つまたは複数の関係側面ニューロンを用いて、第2の値より大きい遅延に基づいてパターンの1つまたは複数の残りの部分を基準ニューロンのサブセットに関係付け、求心性ニューロンによってパターンの1つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによってパターンの1つまたは複数の残りの部分のリプレイを誘発するように構成され得る。
本開示内の構成要素を説明するために、ニューロンまたはシナプスなどの特定の用語が使用されるが、本開示の概念は、同等のユニットまたは要素を用いて同等の代替形態で実装され得ることを理解されたい。
本明細書の実施形態は、スパイキングニューラルネットワークに対して示されるが、限定はしないが、レートベースニューラルネットワークを含めて他のニューラルネットワークタイプに対してこれらの概念を使用することも同様に、本開示の範囲内にある。
上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含む、様々な(1つまたは複数の)ハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含み得る。一般に、図に示す動作がある場合、それらの動作は、同様の番号をもつ対応する相当物のミーンズプラスファンクション構成要素を有し得る。たとえば、図8、図16、図23、図24、図29、図35、図36、図41、図42、図44、図45、図48、図52、図53、および図54に示される動作800、1600、2300、2400、2900、3500、3600、4100、4200、4400、4500、4800、5200、5300、および5400は、図8A、図16A、図23A、図24A、図29A、図35A、図36A、図41A、図42A、図44A、図45A、図48A、図52A、図53A、および図54Aに示される構成要素800A、1600A、2300A、2400A、2900A、3500A、3600A、4100A、4200、4400A、4500A、4800A、5200A、5300A、および5400Aに対応する。
本明細書で使用する「判断」という用語は、多種多様なアクションを包含する。たとえば、「判断」は、計算、算出、処理、導出、調査、探索(たとえば、テーブル、データベースまたは別のデータ構造での探索)、確認などを含み得る。また、「判断」は、受信(たとえば、情報を受信すること)、アクセス(たとえば、メモリ中のデータにアクセスすること)などを含むことができる。また、「判断」は、解決、選択、選出、確立などを含むことができる。
本明細書で使用する、項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「a、bまたはcのうちの少なくとも1つ」は、a、b、c、a−b、a−c、b−cおよびa−b−cを含むものとする。
本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ信号(FPGA)または他のプログラマブル論理デバイス(PLD)、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行できる。汎用プロセッサはマイクロプロセッサとすることができるが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装することもできる。
本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体中に常駐することができる。使用できる記憶媒体のいくつかの例には、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、フラッシュメモリ、EPROMメモリ、EEPROM(登録商標)メモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROMなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散できる。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合できる。代替として、記憶媒体はプロセッサに一体化することができる。
本明細書で開示する方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は特許請求の範囲から逸脱することなく変更され得る。
説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線(IR)、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ここで使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびBlu−ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体(たとえば、有形媒体)を備え得る。さらに、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体(たとえば、信号)を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために1つまたは複数のプロセッサによって実行可能である命令をその上に記憶した(および/または符号化した)コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
さらに、本明細書に記載の方法および技法を実行するためのモジュールおよび/または他の適切な手段は、適用可能な場合にユーザ端末および/または基地局によってダウンロードおよび/または他の方法で取得できることを諒解されたい。たとえば、本明細書で説明した方法を実行するための手段の転送を可能にするために、そのようなデバイスをサーバに結合し得る。代替的に、本明細書で説明される様々な方法は、ユーザ端末および/または基地局がストレージ手段をデバイスに結合するかまたは与えると様々な方法を得ることができ得るように、ストレージ手段(たとえば、RAM、ROM、コンパクトディスク(CD)またはフロッピーディスクなど物理記憶媒体など)によって提供し得る。さらに、本明細書で説明する方法および技法をデバイスに与えるための任意の他の適切な技法を利用し得る。
特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。上記の方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形を行うことができる。
上記は本開示の態様を対象とするが、本開示の他の態様およびさらなる態様は、それらの基本的範囲から逸脱することなく考案され得、それらの範囲は以下の特許請求の範囲によって判断される。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ニューラル構成要素リプレイの方法であって、
1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、
構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて、前記複数の求心性ニューロン出力内の前記パターンと前記1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習することと、
前記1つまたは複数の基準ニューロンによって前記参照されたパターンと実質的に類似するパターンを出力するように前記複数の求心性ニューロンのうちの1つまたは複数を誘発することとを備える、方法。
[C2]
無監督で学習することが、前記パターン、前記参照、または前記関係側面のうちの少なくとも1つを学習するために使用され、
前記無監督で学習することが、ニューロンに関連するシナプスの重み、遅延および入力を制御するスパイクタイミング依存可塑性および前記構造可塑性を備え、
前記構造可塑性が、遅延の可変性、遅延の範囲、入力、重み範囲、または重み可変性のうちの少なくとも1つを備える前記ニューロンまたはそれらのプロセスの間の構造関係によって制約される、C1に記載の方法。
[C3]
前記構造可塑性に対する制約モデルが、平行または十字型の(cruciate)樹枝状の軸および軸索プロセスに対応する遅延、樹枝状の軸または軸索プロセスの近接性または広がりに基づく入力ニューロン、あるいは根元または頂点の樹枝状プロセスに関する遅延のうちの少なくとも1つに対する制限を備える、C1に記載の方法。
[C4]
前記関係側面ニューロンのそれぞれまたは前記基準ニューロンのそれぞれの少なくとも一方が、複数のパターン照合ニューロンに潜在的に結合され、
前記潜在的結合が、再使用可能なシナプス結合を備え、
前記シナプスが、前記シナプス結合の重みおよび前記シナプスが結合するニューロンのプロセスまたは前記ニューロンの構造的制約に基づく新しい遅延を伴って再使用される、C1に記載の方法。
[C5]
前記関係側面ニューロンのそれぞれまたは前記基準ニューロンのそれぞれの少なくとも一方が、複数のパターン照合ニューロンに潜在的に結合され、
前記潜在的結合が、可変遅延を有するシナプス結合を備え、
前記遅延が、前記シナプス結合の重みおよび前記シナプスが結合するニューロンのプロセスまたは前記ニューロンの構造的制約に基づいて変化させられる、C1に記載の方法。
[C6]
前記関係側面ニューロンのそれぞれまたは前記基準ニューロンのそれぞれの少なくとも一方が、複数の結合によって複数のパターン照合ニューロンに潜在的に結合され、
前記潜在的結合が、遅延を有するシナプス結合を備え、
前記複数の結合が、前記シナプスが結合するニューロンのプロセスまたは前記ニューロンの構造的制約に基づいて設定される前記遅延の範囲を有する、C1に記載の方法。
[C7]
前記1つまたは複数の関係側面ニューロンが、ニューロン間に可変遅延を含むシナプス結合パラメータの範囲を許容する、基準ニューロンの軸索プロセスに平行な樹枝状プロセスを有する、C1に記載の方法。
[C8]
前記1つまたは複数の関係側面ニューロンが、前記1つまたは複数の関係側面ニューロンを求心性軸索に結合する、頂点のプロセスより大きい遅延を有する末端の樹枝状プロセスと関連付けられる、C1に記載の方法。
[C9]
前記1つまたは複数の関係側面ニューロンが、前記求心性ニューロンの樹状突起まで垂直に延びて、そこに結合するために遅延を受ける軸索を有する、C1に記載の方法。
[C10]
前記1つまたは複数の基準ニューロンが、広がって、多様な遅延プロファイルを有する複数の求心性ニューロン軸索と結合する十字型の樹枝状プロセスを有する、C1に記載の方法。
[C11]
前記1つまたは複数の基準ニューロンが、前記1つまたは複数の基準ニューロンに近接する他の基準ニューロンによって横方向に抑制される、C1に記載の方法。
[C12]
前記求心性ニューロンから、前記求心性ニューロンとペアにされた前記1つまたは複数の関係側面ニューロンのサブセットまでの入力の遅延が、制約された共通の遅延を備える、C1に記載の方法。
[C13]
前記関係側面ニューロンから前記求心性ニューロンまでのフィードバック結合が、近接する求心神経からの抑制性フィードバック、前記基準ニューロンからの抑制性フィードバック、あるいは1つもしくは複数の求心神経、前記1つもしくは複数の関係側面ニューロン、または前記1つもしくは複数の基準ニューロンからの入力を受ける1つもしくは複数の介在ニューロンのうちの少なくとも1つによってプレシナプス性に(pre-synaptically)抑制される、C1に記載の方法。
[C14]
前記求心性ニューロンのうちの1つと、その1つの求心性ニューロンとペアにされた前記関係側面ニューロンのうちの1つとの間の結合性側面が、成長プロセスの中で学習される、C1に記載の方法。
[C15]
前記結合性側面が遅延を備える、C14に記載の方法。
[C16]
ニューラル構成要素リプレイのための装置であって、
1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第1の回路と、
構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて、前記複数の求心性ニューロン出力内の前記パターンと前記1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習するように構成された第2の回路と、
前記1つまたは複数の基準ニューロンによって前記参照されたパターンと実質的に類似するパターンを出力するように前記複数の求心性ニューロンのうちの1つまたは複数を誘発するように構成された第3の回路とを備える、装置。
[C17]
無監督で学習することが、前記パターン、前記参照、または前記関係側面のうちの少なくとも1つを学習するために使用され、
前記無監督で学習することが、ニューロンに関連するシナプスの重み、遅延および入力を制御するスパイクタイミング依存可塑性および前記構造可塑性を備え、
前記構造可塑性が、遅延の可変性、遅延の範囲、入力、重み範囲、または重み可変性のうちの少なくとも1つを備える前記ニューロンまたはそれらのプロセスの間の構造関係によって制約される、C16に記載の装置。
[C18]
前記構造可塑性に対する制約モデルが、平行または十字型の樹枝状の軸および軸索プロセスに対応する遅延、樹枝状の軸または軸索プロセスの近接性または広がりに基づく入力ニューロン、あるいは根元または頂点の樹枝状プロセスに関する遅延のうちの少なくとも1つに対する制限を備える、C16に記載の装置。
[C19]
前記関係側面ニューロンのそれぞれまたは前記基準ニューロンのそれぞれの少なくとも一方が、複数のパターン照合ニューロンに潜在的に結合され、
前記潜在的結合が、再使用可能なシナプス結合を備え、
前記シナプスが、前記シナプス結合の重みおよび前記シナプスが結合するニューロンのプロセスまたは前記ニューロンの構造的制約に基づく新しい遅延を伴って再使用される、C16に記載の装置。
[C20]
前記関係側面ニューロンのそれぞれまたは前記基準ニューロンのそれぞれの少なくとも一方が、複数のパターン照合ニューロンに潜在的に結合され、
前記潜在的結合が、可変遅延を有するシナプス結合を備え、
前記遅延が、前記シナプス結合の重みおよび前記シナプスが結合するニューロンのプロセスまたは前記ニューロンの構造的制約に基づいて変化させられる、C16に記載の装置。
[C21]
前記関係側面ニューロンのそれぞれまたは前記基準ニューロンのそれぞれの少なくとも一方が、複数の結合によって複数のパターン照合ニューロンに潜在的に結合され、
前記潜在的結合が、遅延を有するシナプス結合を備え、
前記複数の結合が、前記シナプスが結合するニューロンのプロセスまたは前記ニューロンの構造的制約に基づいて設定される前記遅延の範囲を有する、C16に記載の装置。
[C22]
前記1つまたは複数の関係側面ニューロンが、ニューロン間に可変遅延を含むシナプス結合パラメータの範囲を許容する、基準ニューロンの軸索プロセスに平行な樹枝状プロセスを有する、C16に記載の装置。
[C23]
前記1つまたは複数の関係側面ニューロンが、前記1つまたは複数の関係側面ニューロンを求心性軸索に結合する、頂点のプロセスより大きい遅延を有する末端の樹枝状プロセスと関連付けられる、C16に記載の装置。
[C24]
前記1つまたは複数の関係側面ニューロンが、前記求心性ニューロンの樹状突起まで垂直に延びて、そこに結合するために遅延を受ける軸索を有する、C16に記載の装置。
[C25]
前記1つまたは複数の基準ニューロンが、広がって、多様な遅延プロファイルを有する複数の求心性ニューロン軸索と結合する十字型の樹枝状プロセスを有する、C16に記載の装置。
[C26]
前記1つまたは複数の基準ニューロンが、前記1つまたは複数の基準ニューロンに近接する他の基準ニューロンによって横方向に抑制される、C16に記載の装置。
[C27]
前記求心性ニューロンから、前記求心性ニューロンとペアにされた前記1つまたは複数の関係側面ニューロンのサブセットまでの入力の遅延が、制約された共通の遅延を備える、C16に記載の装置。
[C28]
前記関係側面ニューロンから前記求心性ニューロンまでのフィードバック結合が、近接する求心神経からの抑制性フィードバック、前記基準ニューロンからの抑制性フィードバック、あるいは1つもしくは複数の求心神経、前記1つもしくは複数の関係側面ニューロン、または前記1つもしくは複数の基準ニューロンからの入力を受ける1つもしくは複数の介在ニューロンのうちの少なくとも1つによってプレシナプス性に抑制される、C16に記載の装置。
[C29]
前記求心性ニューロンのうちの1つと、その1つの求心性ニューロンとペアにされた前記関係側面ニューロンのうちの1つとの間の結合性側面が、成長プロセスの中で学習される、C16に記載の装置。
[C30]
前記結合性側面が遅延を備える、C29に記載の装置。
[C31]
ニューラル構成要素リプレイのための装置であって、
1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、
構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて、前記複数の求心性ニューロン出力内の前記パターンと前記1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習するための手段と、
前記1つまたは複数の基準ニューロンによって前記参照されたパターンと実質的に類似するパターンを出力するように前記複数の求心性ニューロンのうちの1つまたは複数を誘発するための手段とを備える、装置。
[C32]
無監督で学習することが、前記パターン、前記参照、または前記関係側面のうちの少なくとも1つを学習するために使用され、
前記無監督で学習することが、ニューロンに関連するシナプスの重み、遅延および入力を制御するスパイクタイミング依存可塑性および構造可塑性を備え、
前記構造可塑性が、遅延の可変性、遅延の範囲、入力、重み範囲、または重み可変性のうちの少なくとも1つを備える前記ニューロンまたはそれらのプロセスの間の構造関係によって制約される、C31に記載の装置。
[C33]
前記構造可塑性に対する制約モデルが、平行または十字型の樹枝状の軸および軸索プロセスに対応する遅延、樹枝状の軸または軸索プロセスの近接性または広がりに基づく入力ニューロン、あるいは根元または頂点の樹枝状プロセスに関する遅延のうちの少なくとも1つに対する制限を備える、C31に記載の装置。
[C34]
前記関係側面ニューロンのそれぞれまたは前記基準ニューロンのそれぞれの少なくとも一方が、複数のパターン照合ニューロンに潜在的に結合され、
前記潜在的結合が、再使用可能なシナプス結合を備え、
前記シナプスが、前記シナプス結合の重みおよび前記シナプスが結合するニューロンのプロセスまたは前記ニューロンの構造的制約に基づく新しい遅延を伴って再使用される、C31に記載の装置。
[C35]
前記関係側面ニューロンのそれぞれまたは前記基準ニューロンのそれぞれの少なくとも一方が、複数のパターン照合ニューロンに潜在的に結合され、
前記潜在的結合が、可変遅延を有するシナプス結合を備え、
前記遅延が、前記シナプス結合の重みおよび前記シナプスが結合するニューロンのプロセスまたは前記ニューロンの構造的制約に基づいて変化させられる、C31に記載の装置。
[C36]
前記関係側面ニューロンのそれぞれまたは前記基準ニューロンのそれぞれの少なくとも一方が、複数の結合によって複数のパターン照合ニューロンに潜在的に結合され、
前記潜在的結合が、遅延を有するシナプス結合を備え、
前記複数の結合が、前記シナプスが結合するニューロンのプロセスまたは前記ニューロンの構造的制約に基づいて設定される前記遅延の範囲を有する、C31に記載の装置。
[C37]
前記1つまたは複数の関係側面ニューロンが、ニューロン間に可変遅延を含むシナプス結合パラメータの範囲を許容する、基準ニューロンの軸索プロセスに平行な樹枝状プロセスを有する、C31に記載の装置。
[C38]
前記1つまたは複数の関係側面ニューロンが、前記1つまたは複数の関係側面ニューロンを求心性軸索に結合する、頂点のプロセスより大きい遅延を有する末端の樹枝状プロセスと関連付けられる、C31に記載の装置。
[C39]
前記1つまたは複数の関係側面ニューロンが、前記求心性ニューロンの樹状突起まで垂直に延びて、そこに結合するために遅延を受ける軸索を有する、C31に記載の装置。
[C40]
前記1つまたは複数の基準ニューロンが、広がって、多様な遅延プロファイルを有する複数の求心性ニューロン軸索と結合する十字型の樹枝状プロセスを有する、C31に記載の装置。
[C41]
前記1つまたは複数の基準ニューロンが、前記1つまたは複数の基準ニューロンに近接する他の基準ニューロンによって横方向に抑制される、C31に記載の装置。
[C42]
前記求心性ニューロンから、前記求心性ニューロンとペアにされた前記1つまたは複数の関係側面ニューロンのサブセットまでの入力の遅延が、制約された共通の遅延を備える、C31に記載の装置。
[C43]
前記関係側面ニューロンから前記求心性ニューロンまでのフィードバック結合が、近接する求心神経からの抑制性フィードバック、前記基準ニューロンからの抑制性フィードバック、あるいは1つもしくは複数の求心神経、前記1つもしくは複数の関係側面ニューロン、または前記1つもしくは複数の基準ニューロンからの入力を受ける1つもしくは複数の介在ニューロンのうちの少なくとも1つによってプレシナプス性に抑制される、C31に記載の装置。
[C44]
前記求心性ニューロンのうちの1つと、その1つの求心性ニューロンとペアにされた前記関係側面ニューロンのうちの1つとの間の結合性側面が、成長プロセスの中で学習される、C31に記載の装置。
[C45]
前記結合性側面が遅延を備える、C44に記載の装置。
[C46]
コンピュータ可読媒体を備えるニューラル構成要素リプレイのためのコンピュータプログラム製品であって、前記コンピュータ可読媒体が、
1つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、
構造可塑性を使用して1つまたは複数の関係側面ニューロンを用いて、前記複数の求心性ニューロン出力内の前記パターンと前記1つまたは複数の基準ニューロンの出力との間の1つまたは複数の関係側面を学習し、
前記1つまたは複数の基準ニューロンによって前記参照されたパターンと実質的に類似するパターンを出力するように前記複数の求心性ニューロンのうちの1つまたは複数を誘発するためのコードを備える、コンピュータプログラム製品。