JP5989791B2 - 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置：ニューラル連想学習、パターン補間、分離、一般化および階層的リプレイ - Google Patents

無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置：ニューラル連想学習、パターン補間、分離、一般化および階層的リプレイ Download PDF

Info

Publication number
JP5989791B2
JP5989791B2 JP2014541342A JP2014541342A JP5989791B2 JP 5989791 B2 JP5989791 B2 JP 5989791B2 JP 2014541342 A JP2014541342 A JP 2014541342A JP 2014541342 A JP2014541342 A JP 2014541342A JP 5989791 B2 JP5989791 B2 JP 5989791B2
Authority
JP
Japan
Prior art keywords
pattern
neurons
layer
learning
replay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014541342A
Other languages
English (en)
Other versions
JP2014535117A (ja
Inventor
ハンジンジャー、ジェイソン・フランク
チャン、ビクター・ホッキウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014535117A publication Critical patent/JP2014535117A/ja
Application granted granted Critical
Publication of JP5989791B2 publication Critical patent/JP5989791B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Electrotherapy Devices (AREA)
  • Air Conditioning Control Device (AREA)
  • Testing Of Coins (AREA)
  • Detergent Compositions (AREA)
  • Feedback Control In General (AREA)

Description

関連出願の相互参照
本特許出願は、主題によって、本明細書とともに出願され、本出願の譲受人に譲渡され、参照により明白に本明細書に組み込まれる、２０１１年１１月９日に出願した「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＵＮＳＵＰＥＲＶＩＳＥＤ ＮＥＵＲＡＬ ＲＥＰＬＡＹ， ＬＥＡＲＮＩＮＧ ＲＥＦＩＮＥＭＥＮＴ， ＡＳＳＯＣＩＡＴＩＯＮ ＡＮＤ ＭＥＭＯＲＹ ＴＲＡＮＳＦＥＲ： ＮＥＵＲＡＬ ＣＯＭＰＯＮＥＮＴ ＲＥＰＬＡＹ」と題する米国特許出願、２０１１年１１月９日に出願した「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＵＮＳＵＰＥＲＶＩＳＥＤ ＮＥＵＲＡＬ ＲＥＰＬＡＹ， ＬＥＡＲＮＩＮＧ ＲＥＦＩＮＥＭＥＮＴ， ＡＳＳＯＣＩＡＴＩＯＮ ＡＮＤ ＭＥＭＯＲＹ ＴＲＡＮＳＦＥＲ： ＮＥＵＲＡＬ ＣＯＭＰＯＮＥＮＴ ＭＥＭＯＲＹ ＴＲＡＮＳＦＥＲ」と題する米国特許出願、および２０１１年１１月９日に出願した「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＵＮＳＵＰＥＲＶＩＳＥＤ ＮＥＵＲＡＬ ＲＥＰＬＡＹ， ＬＥＡＲＮＩＮＧ ＲＥＦＩＮＥＭＥＮＴ， ＡＳＳＯＣＩＡＴＩＯＮ ＡＮＤ ＭＥＭＯＲＹ ＴＲＡＮＳＦＥＲ： ＳＴＲＵＣＴＵＲＡＬ ＰＬＡＳＴＩＣＩＴＹ ＡＮＤ ＳＴＲＵＣＴＵＲＡＬ ＣＯＮＳＴＲＡＩＮＴ ＭＯＤＥＬＩＮＧ」と題する米国特許出願に関連する。
本開示のいくつかの態様は、一般に、ニューラルシステム工学に関し、より詳細には、無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置に関する。
ニューラルシステム工学の分野では、元の刺激がない状態で、１つまたは複数のニューロンによって学習されているニューラル発火パターンを正確にリプレイするという基本的な問題が存在する。さらに、元の刺激がもはや存在しなくなった後に、高速学習、学習改善、関連付け、およびメモリ転送の問題は、依然として、対処されるべきままである。
生物学的に刺激を受けるニューロンモデルを用いてパターンを学習する現在の方法は、１つのニューロンがどのパターンと適合するかを判定するために、機能的に一方向性の方法であり、適合するものが見つかるまで異なるパターンが試行される必要がある。学習されているものを正確にリプレイする方法は、生物学的にしろ機械的にしろ、未知である。
本開示のいくつかの態様は、ニューラル構成要素リプレイの方法を提供する。方法は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、１つまたは複数の関係側面（ｒｅｌａｔｉｏｎａｌ ａｓｐｅｃｔ）ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合することと、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発することとを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第１の回路と、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合するように構成された第２の回路と、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するように構成された第３の回路とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合するための手段と、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するための手段とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイのためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合し、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル構成要素の学習改善および高速学習の方法を提供する。方法は、一般に、１つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合することと、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発することと、誘発された実質的に類似するパターンを使用して１つまたは複数のパターン学習ニューロンによる学習を改善することとを含む。
本開示のいくつかの態様は、ニューラル構成要素の学習改善および高速学習のための装置を提供する。装置は、一般に、１つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第１の回路と、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合するように構成された第２の回路と、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するように構成された第３の回路と、誘発された実質的に類似するパターンを使用して１つまたは複数のパターン学習ニューロンによる学習を改善するように構成された第４の回路とを含む。
本開示のいくつかの態様は、ニューラル構成要素の学習改善および高速学習のための装置を提供する。装置は、一般に、１つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合するための手段と、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するための手段と、誘発された実質的に類似するパターンを使用して１つまたは複数のパターン学習ニューロンによる学習を改善するための手段とを含む。
本開示のいくつかの態様は、ニューラル構成要素の学習改善および高速学習のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、１つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合し、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発し、誘発された実質的に類似するパターンを使用して１つまたは複数のパターン学習ニューロンによる学習を改善するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル学習改善の方法を提供する。方法は、一般に、刺激を用いて入力のセット内のパターンのサブセットを学習することと、パターンの要素とパターンのサブセットとの間の関係側面を学習することと、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイすることと、刺激を用いないで入力のセット内のパターンの学習を改善することとを含む。
本開示のいくつかの態様は、ニューラル学習改善のための装置を提供する。装置は、一般に、刺激を用いて入力のセット内のパターンのサブセットを学習するように構成された第１の回路と、パターンの要素とパターンのサブセットとの間の関係側面を学習するように構成された第２の回路と、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイするように構成された第３の回路と、刺激を用いないで入力のセット内のパターンの学習を改善するように構成された第４の回路とを含む。
本開示のいくつかの態様は、ニューラル学習改善のための装置を提供する。装置は、一般に、刺激を用いて入力のセット内のパターンのサブセットを学習するための手段と、パターンの要素とパターンのサブセットとの間の関係側面を学習するための手段と、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイするための手段と、刺激を用いないで入力のセット内のパターンの学習を改善するための手段とを含む。
本開示のいくつかの態様は、ニューラル学習改善のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、刺激を用いて入力のセット内のパターンのサブセットを学習し、パターンの要素とパターンのサブセットとの間の関係側面を学習し、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイし、刺激を用いないで入力のセット内のパターンの学習を改善するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの方法を提供する。方法は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合することと、１つまたは複数の関係側面ニューロンによって出力をバーストさせることによって、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発することとを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第１の回路と、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合するように構成された第２の回路と、１つまたは複数の関係側面ニューロンによって出力をバーストさせることによって、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するように構成された第３の回路とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合するための手段と、１つまたは複数の関係側面ニューロンによって出力をバーストさせることによって、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するための手段とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイのためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合し、１つまたは複数の関係側面ニューロンによって出力をバーストさせることによって、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの方法を提供する。方法は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合することと、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発することとを含み、求心性ニューロンのうちの少なくとも１つ、１つまたは複数の基準ニューロン、あるいは１つまたは複数の関係側面ニューロンの間のシグナリングは、高速スパイクシーケンスまたは独立スパイクのうちの少なくとも一方を備える。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第１の回路と、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合するように構成された第２の回路と、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するように構成された第３の回路とを含み、求心性ニューロンのうちの少なくとも１つ、１つまたは複数の基準ニューロン、あるいは１つまたは複数の関係側面ニューロンの間のシグナリングは、高速スパイクシーケンスまたは独立スパイクのうちの少なくとも一方を備える。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合するための手段と、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するための手段とを含み、求心性ニューロンのうちの少なくとも１つ、１つまたは複数の基準ニューロン、あるいは１つまたは複数の関係側面ニューロンの間のシグナリングは、高速スパイクシーケンスまたは独立スパイクのうちの少なくとも一方を備える。
本開示のいくつかの態様は、ニューラル構成要素リプレイのためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合し、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するためのコードを備えるコンピュータ可読媒体を含み、求心性ニューロンのうちの少なくとも１つ、１つまたは複数の基準ニューロン、あるいは１つまたは複数の関係側面ニューロンの間のシグナリングは、高速スパイクシーケンスまたは独立スパイクのうちの少なくとも一方を備える。
本開示のいくつかの態様は、ニューラル構成要素メモリ転送の方法を提供する。方法は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、１つまたは複数の第１の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の第１の関係側面を照合することと、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第１のパターンを出力するように複数の求心性ニューロンを誘発することによってパターンを１つまたは複数の転送先ニューロンに転送することとを含む。
本開示のいくつかの態様は、ニューラル構成要素メモリ転送の装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第１の回路と、１つまたは複数の第１の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の第１の関係側面を照合するように構成された第２の回路と、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第１のパターンを出力するように複数の求心性ニューロンを誘発することによってパターンを１つまたは複数の転送先ニューロンに転送するように構成された第３の回路とを含む。
本開示のいくつかの態様は、ニューラル構成要素メモリ転送の装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、１つまたは複数の第１の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の第１の関係側面を照合するための手段と、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第１のパターンを出力するように複数の求心性ニューロンを誘発することによってパターンを１つまたは複数の転送先ニューロンに転送するための手段とを含む。
本開示のいくつかの態様は、ニューラル構成要素メモリ転送のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、１つまたは複数の第１の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の第１の関係側面を照合し、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第１のパターンを出力するように複数の求心性ニューロンを誘発することによってパターンを１つまたは複数の転送先ニューロンに転送するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル連想学習の方法を提供する。方法は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習することと、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照することと、入力のセット内の第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習することと、第１および第２の刺激を用いないで学習された関係側面を使用して入力のセット内の第１および第２のパターンをリプレイすることと、リプレイに基づいて第１および第２のパターンを関連付けることとを含む。
本開示のいくつかの態様は、ニューラル連想学習のための装置を提供する。装置は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照するように構成された第３の回路と、入力のセット内の第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習するように構成された第４の回路と、第１および第２の刺激を用いないで学習された関係側面を使用して入力のセット内の第１および第２のパターンをリプレイするように構成された第５の回路と、リプレイに基づいて第１および第２のパターンを関連付けるように構成された第６の回路とを含む。
本開示のいくつかの態様は、ニューラル連想学習のための装置を提供する。装置は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するための手段と、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照するための手段と、入力のセット内の第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習するための手段と、第１および第２の刺激を用いないで学習された関係側面を使用して入力のセット内の第１および第２のパターンをリプレイするための手段と、リプレイに基づいて第１および第２のパターンを関連付けるための手段とを含む。
本開示のいくつかの態様は、ニューラル連想学習のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習し、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照し、入力のセット内の第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習し、第１および第２の刺激を用いないで学習された関係側面を使用して入力のセット内の第１および第２のパターンをリプレイし、リプレイに基づいて第１および第２のパターンを関連付けるためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル比較の方法を提供する。方法は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習することと、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照することと、第１のパターンをリプレイすることと、第１と第２のパターンのリプレイと参照に基づいて第１のパターンと第２のパターンとを比較することとを含む。
本開示のいくつかの態様は、ニューラル比較のための装置を提供する。装置は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照するように構成された第３の回路と、第１のパターンをリプレイするように構成された第４の回路と、第１と第２のパターンのリプレイおよび参照に基づいて第１のパターンと第２のパターンとを比較するように構成された第５の回路とを含む。
本開示のいくつかの態様は、ニューラル比較のための装置を提供する。装置は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するための手段と、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照するための手段と、第１のパターンをリプレイするための手段と、第１と第２のパターンのリプレイと参照に基づいて第１のパターンと第２のパターンとを比較するための手段とを含む。
本開示のいくつかの態様は、ニューラル比較のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習し、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照し、第１のパターンをリプレイし、第１と第２のパターンのリプレイと参照に基づいて第１のパターンと第２のパターンとを比較するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターン補完の方法を提供する。方法は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習することと、第２の刺激を用いて１つまたは複数の入力のセット内の、第１のパターンの劣化バージョンを備える第２のパターンを参照することと、第２のパターンまたは第２の刺激のうちの少なくとも一方への露出に応答して第２のパターンから喪失または劣化された第１のパターンの少なくとも１つの要素をリプレイすることとを含む。
本開示のいくつかの態様は、ニューラルパターン補完のための装置を提供する。装置は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、第２の刺激を用いて１つまたは複数の入力のセット内の、第１のパターンの劣化バージョンを備える第２のパターンを参照するように構成された第３の回路と、第２のパターンまたは第２の刺激のうちの少なくとも一方への露出に応答して第２のパターンから喪失または劣化された第１のパターンの少なくとも１つの要素をリプレイするように構成された第４の回路とを含む。
本開示のいくつかの態様は、ニューラルパターン補完のための装置を提供する。装置は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するための手段と、第２の刺激を用いて１つまたは複数の入力のセット内の、第１のパターンの劣化バージョンを備える第２のパターンを参照するための手段と、第２のパターンまたは第２の刺激のうちの少なくとも一方への露出に応答して第２のパターンから喪失または劣化された第１のパターンの少なくとも１つの要素をリプレイするための手段とを含む。
本開示のいくつかの態様は、ニューラルパターン補完のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習し、第２の刺激を用いて１つまたは複数の入力のセット内の、第１のパターンの劣化バージョンを備える第２のパターンを参照し、第２のパターンまたは第２の刺激のうちの少なくとも一方への露出に応答して第２のパターンから喪失または劣化された第１のパターンの少なくとも１つの要素をリプレイするためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターン分離の方法を提供する。方法は、一般に、１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の第１の関係側面を学習することと、１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の、第１のパターンに類似する第２のパターンを参照することと、第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の第２の関係側面を学習することと、第１のパターンと第２のパターンとの間の差を増加させるために第１のパターンまたは第２のパターンの少なくとも一方を修正することと、１つまたは複数の基準ニューロンを使用して修正した後、第２の刺激とは異なる第１の刺激を用いて第１のパターンを参照し、第２の刺激を用いて第２のパターンを参照することとを含む。
本開示のいくつかの態様は、ニューラルパターン分離のための装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の第１の関係側面を学習するように構成された第２の回路と、１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の、第１のパターンに類似する第２のパターンを参照するように構成された第３の回路と、第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の第２の関係側面を学習するように構成された第４の回路と、第１のパターンと第２のパターンとの間の差を増加させるために第１のパターンまたは第２のパターンの少なくとも一方を修正するように構成された第５の回路と、１つまたは複数の基準ニューロンを使用して修正した後、第２の刺激とは異なる第１の刺激を用いて第１のパターンを参照し、第２の刺激を用いて第２のパターンを参照するように構成された第６の回路とを含む。
本開示のいくつかの態様は、ニューラルパターン分離のための装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の第１の関係側面を学習するための手段と、１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の、第１のパターンに類似する第２のパターンを参照するための手段と、第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の第２の関係側面を学習するための手段と、第１のパターンと第２のパターンとの間の差を増加させるために第１のパターンまたは第２のパターンの少なくとも一方を修正するための手段と、１つまたは複数の基準ニューロンを使用して修正した後、第２の刺激とは異なる第１の刺激を用いて第１のパターンを参照し、第２の刺激を用いて第２のパターンを参照するための手段とを含む。
本開示のいくつかの態様は、ニューラルパターン分離のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照し、第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の第１の関係側面を学習し、１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の、第１のパターンに類似する第２のパターンを参照し、第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の第２の関係側面を学習し、第１のパターンと第２のパターンとの間の差を増加させるために第１のパターンまたは第２のパターンの少なくとも一方を修正し、１つまたは複数の基準ニューロンを使用して修正した後、第２の刺激とは異なる第１の刺激を用いて第１のパターンを参照し、第２の刺激を用いて第２のパターンを参照するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターン一般化の方法を提供する。方法は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習することと、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照することと、入力のセット内の第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習することと、第１および第２の刺激を用いないで第１のパターンまたは第２のパターンの少なくとも一方をリプレイすることと、リプレイに基づいて第１および第２のパターンの一般化を学習することとを含む。
本開示のいくつかの態様は、ニューラルパターン一般化のための装置を提供する。装置は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照するように構成された第３の回路と、入力のセット内の第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習するように構成された第４の回路と、第１および第２の刺激を用いないで第１のパターンまたは第２のパターンの少なくとも一方をリプレイするように構成された第５の回路と、リプレイに基づいて第１および第２のパターンの一般化を学習するように構成された第６の回路とを含む。
本開示のいくつかの態様は、ニューラルパターン一般化のための装置を提供する。装置は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するための手段と、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照するための手段と、入力のセット内の第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習するための手段と、第１および第２の刺激を用いないで第１のパターンまたは第２のパターンの少なくとも一方をリプレイするための手段と、リプレイに基づいて第１および第２のパターンの一般化を学習するための手段とを含む。
本開示のいくつかの態様は、ニューラルパターン一般化のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習し、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照し、入力のセット内の第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習し、第１および第２の刺激を用いないで第１のパターンまたは第２のパターンの少なくとも一方をリプレイし、リプレイに基づいて第１および第２のパターンの一般化を学習するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完の方法を提供する。方法は、一般に、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照することと、パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習することと、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照することと、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習することと、第１の層のニューロン内のパターンの前の部分を作成時にパターンの後の部分をリプレイすることとを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のための装置を提供する。装置は、一般に、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するように構成された第１の回路と、パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習するように構成された第２の回路と、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照するように構成された第３の回路と、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習するように構成された第４の回路と、第１の層のニューロン内のパターンの前の部分を作成時にパターンの後の部分をリプレイするように構成された第５の回路とを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のための装置を提供する。装置は、一般に、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するための手段と、パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習するための手段と、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照するための手段と、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習するための手段と、第１の層のニューロン内のパターンの前の部分を作成時にパターンの後の部分をリプレイするための手段とを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習し、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照し、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習し、第１の層のニューロン内のパターンの前の部分を作成時にパターンの後の部分をリプレイするためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターン階層的リプレイの方法を提供する。方法は、一般に、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照することと、各パターンの１つまたは複数の要素と１つまたは複数の第１の層のニューロンのセット内のパターンの部分のそのシーケンスの参照との間の関係側面を学習することと、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照することと、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習することと、基準ニューロンの第３の層に基づいて第２の層内のパターンシーケンスを参照することのリプレイを引き起こすことと、第２の層内のパターンシーケンスを参照することのリプレイを引き起こすことに基づいて第１の層内のパターンの部分のそのシーケンスをリプレイすることとを含む。
本開示のいくつかの態様は、ニューラルパターン階層的リプレイのための装置を提供する。装置は、一般に、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するように構成された第１の回路と、各パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習するように構成された第２の回路と、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照するように構成された第３の回路と、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習するように構成された第４の回路と、基準ニューロンの第３の層に基づいて第２の層内のパターンシーケンスを参照することのリプレイを引き起こすように構成された第５の回路と、第２の層内のパターンシーケンスを参照することのリプレイを引き起こすことに基づいて第１の層内のパターンの部分のそのシーケンスをリプレイするように構成された第６の回路とを含む。
本開示のいくつかの態様は、ニューラルパターン階層的リプレイのための装置を提供する。装置は、一般に、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するための手段と、各パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習するための手段と、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照するための手段と、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習するための手段と、基準ニューロンの第３の層に基づいて第２の層内のパターンシーケンスを参照することのリプレイを引き起こすための手段と、第２の層内のパターンシーケンスを参照することのリプレイを引き起こすことに基づいて第１の層内のパターンの部分のそのシーケンスをリプレイするための手段とを含む。
本開示のいくつかの態様は、ニューラルパターン階層的リプレイのためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、各パターンの１つまたは複数の要素と１つまたは複数の第１の層のニューロンのセット内のパターンの部分のそのシーケンスの参照との間の関係側面を学習し、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照し、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習し、基準ニューロンの第３の層に基づいて第２の層内のパターンシーケンスを参照することのリプレイを引き起こし、第２の層内のパターンシーケンスを参照することのリプレイを引き起こすことに基づいて第１の層内のパターンの部分のそのシーケンスをリプレイするためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完の方法を提供する。方法は、一般に、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照することと、１つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、パターンの部分のうちの１つまたは複数を基準ニューロンのサブセットに関係付けることと、１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい遅延に基づいてパターンの１つまたは複数の残りの部分を基準ニューロンのサブセットに関係付けることと、求心性ニューロンによってパターンの１つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによるパターンの１つまたは複数の残りの部分のリプレイを誘発することとを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のための装置を提供する。装置は、一般に、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照するように構成された第１の回路と、１つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、パターンの部分のうちの１つまたは複数を基準ニューロンのサブセットに関係付けるように構成された第２の回路と、１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい遅延に基づいてパターンの１つまたは複数の残りの部分を基準ニューロンのサブセットに関係付けるように構成された第３の回路と、求心性ニューロンによってパターンの１つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによるパターンの１つまたは複数の残りの部分のリプレイを誘発するように構成された第４の回路とを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のための装置を提供する。装置は、一般に、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照するための手段と、１つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、パターンの部分のうちの１つまたは複数を基準ニューロンのサブセットに関係付けるための手段と、１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい遅延に基づいてパターンの１つまたは複数の残りの部分を基準ニューロンのサブセットに関係付けるための手段と、求心性ニューロンによってパターンの１つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによるパターンの１つまたは複数の残りの部分のリプレイを誘発するための手段とを含む。
本開示のいくつかの態様は、ニューラルパターンシーケンス補完のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照し、１つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、パターンの部分のうちの１つまたは複数を基準ニューロンのサブセットに関係付け、１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい遅延に基づいてパターンの１つまたは複数の残りの部分を基準ニューロンのサブセットに関係付け、求心性ニューロンによってパターンの１つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによるパターンの１つまたは複数の残りの部分のリプレイを誘発するためのコードを備えるコンピュータ可読媒体を含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの方法を提供する。方法は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照することと、構造可塑性を使用して１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を学習することと、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発することとを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するように構成された第１の回路と、構造可塑性を使用して１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を学習するように構成された第２の回路と、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するように構成された第３の回路とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイの装置を提供する。装置は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するための手段と、構造可塑性を使用して１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を学習するための手段と、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するための手段とを含む。
本開示のいくつかの態様は、ニューラル構成要素リプレイのためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、一般に、１つまたは複数の基準ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、構造可塑性を使用して１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を学習し、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するためのコードを備えるコンピュータ可読媒体を含む。
本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部を示す態様を参照することによって、上記で簡単に要約した内容のより具体的な説明が得られる。しかし、添付の図面は、本開示の特定の典型的な態様のみを示し、したがって、本開示の範囲の限定とみなされてはならず、その理由は、この説明がその他の同等の効果のある態様をもたらし得るからであることに留意されたい。
本開示のいくつかの態様による例示的なニューロンネットワークを示す図。 本開示のいくつかの態様によるパターン照合ニューロンに結合された求心性ニューロンの一例を示す図。 本開示のいくつかの態様による、構成要素リプレイの一般的な方法の一例を示す図。 本開示のいくつかの態様による、例証的リプレイ実施形態の一例を示す図。 本開示のいくつかの態様による、例証的リプレイ実施形態の別の例を示す図。 本開示のいくつかの態様による、推奨的リプレイ実施形態の一例を示す図。 本開示のいくつかの態様による、パターン照合およびリプレイの一例を示す図。 本開示のいくつかの態様による、ニューラル構成要素リプレイに対する例示的な動作を示す図。 図８に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、推奨的リプレイ実施形態の例示的なモデルを示す図。 本開示のいくつかの態様による、推奨的リプレイ実施形態の別の例示的なモデルを示す図。 本開示のいくつかの態様による、パターン学習および関係学習の例示的なダイヤグラムを示す図。 本開示のいくつかの態様による、構造可塑性学習則に基づいて得られるシナプス重みの一例を示す図。 本開示のいくつかの態様による、スパイクタイミング依存可塑性（ＳＴＤＰ）学習則の例示的なグラフを示す図。 本開示のいくつかの態様による、修正ＳＴＤＰ学習則の例示的なグラフを示す図。 本開示のいくつかの態様による、求心神経への関連ファイアリングバックのフィードバックの例示的なダイヤグラムを示す図。 本開示のいくつかの態様による、構造可塑性および構造制約モデリングに関連するニューラル構成要素リプレイに対する例示的な動作を示す図。 図１６に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、リプレイを制御するための例示的なネットワークダイヤグラムを示す図。 本開示のいくつかの態様による興奮性振動の一例を示す。 本開示のいくつかの態様による、バースティングを用いるリプレイの制御の一例を示す図。 本開示のいくつかの態様による、バースティングを用いるリプレイの制御の別の例を示す図。 本開示のいくつかの態様による、求心性ニューロン、基準ニューロンおよび関係側面学習ニューロンの例示的なモデルを示す図。 本開示のいくつかの態様による、求心性ニューロン、基準ニューロンおよび関係側面学習ニューロンの例示的なダイヤグラムを示す図。 本開示のいくつかの態様による、ニューラル構成要素リプレイに対する他の例示的な動作を示す図。 図２３に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、ニューラル構成要素リプレイに対する他の例示的な動作を示す図。 図２４に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による多数のパターンの例示的なリプレイを示す図。 本開示のいくつかの態様による、欠陥のある学習改善概念および有用な学習改善概念の例を示す図。 本開示のいくつかの態様による関係側面学習ニューロンの例を示す図。 本開示のいくつかの態様による学習改善の一例を示す。 本開示のいくつかの態様による、ニューラル学習改善に対する例示的な動作を示す図。 図２９に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、欠陥のあるメモリ転送概念および有用なメモリ転送概念の例を示す図。 本開示のいくつかの態様による、メモリ転送のためのニューロンネットワークの一例を示す図。 本開示のいくつかの態様による、メモリ転送のためのニューロン間の結合性の一例を示す図。 本開示のいくつかの態様による、メモリ転送のためのニューロン間の結合性の別の例を示す図。 本開示のいくつかの態様による、メモリ転送および関連付けのためのニューロン間の結合性の一例を示す図。 本開示のいくつかの態様による、ニューラル構成要素メモリ転送に対する例示的な動作を示す図。 図３５に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、ニューラル連想学習に対する例示的な動作を示す図。 図３６に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様によるパターン補完の一例を示す図。 本開示のいくつかの態様による、遅れ補完を伴う劣化入力の一例を示す図。 本開示のいくつかの態様による、リプレイ補完を伴う劣化入力の一例を示す図。 本開示のいくつかの態様による、遅延補完を伴う劣化入力の一例を示す図。 本開示のいくつかの態様による、ニューラルパターン補完に対する例示的な動作を示す図。 図４１に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、ニューラルパターン分離に対する例示的な動作を示す図。 図４２に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様によるパターン比較の一例を示す図。 本開示のいくつかの態様による、ニューラル比較に対する例示的な動作を示す図。 図４４に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、ニューラルパターン一般化に対する例示的な動作を示す図。 図４５に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、ニューロンの水平連想の一例を示す図。 本開示のいくつかの態様による、参照を伴うパターン学習の一例を示す図。 本開示のいくつかの態様による、ニューラル構成要素学習改善および高速学習に対する例示的な動作を示す図。 図４８に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、手順フロー、繰り返しリプレイ、および指示フローの一例を示す図。 本開示のいくつかの態様による、階層的パターンリプレイの一例を示す図。 本開示のいくつかの態様による、パターン補完の例示的なブロック図。 本開示のいくつかの態様による、ニューラルパターンシーケンス補完に対する例示的な動作を示す図。 図５２に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、ニューラルパターン階層的リプレイに対する例示的な動作を示す図。 図５３に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、階層なしに実行することができるニューラルパターンシーケンス補完に対する例示的な動作を示す図。 図５４に示す動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、汎用プロセッサを使用する、ニューラル構成要素リプレイ、学習改善、メモリ転送、連想学習、パターン比較、パターン補完、パターン分離、パターン一般化、階層を有するパターンシーケンス補完、およびパターン階層的リプレイの例示的なソフトウェア実装形態を示す図。 本開示のいくつかの態様による、１つのメモリが個別の分散処理ユニットとインターフェース接続され得る、ニューラル構成要素リプレイ、学習改善、メモリ転送、連想学習、パターン比較、パターン補完、パターン分離、パターン一般化、階層を有するパターンシーケンス補完、およびパターン階層的リプレイの例示的な実装形態を示す図。 本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づく、ニューラル構成要素リプレイ、学習改善、メモリ転送、連想学習、パターン比較、パターン補完、パターン分離、パターン一般化、階層を有するパターンシーケンス補完、およびパターン階層的リプレイの例示的な実装形態を示す図。
添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得るものであり、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置を実現し、または方法を実施することができる。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置またはそのような方法をカバーするものとする。本明細書で開示する本開示の任意の態様が請求項の１つまたは複数の要素によって実施できることを理解されたい。
「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用する。本明細書で「例示的」として説明するいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈すべきではない。
本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、限定的なものではなく本開示を説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびその均等物によって規定される。
例示的なニューラルシステム
図１は、本開示のいくつかの態様による、複数のレベルのニューロンを含む例示的なニューラルシステム１００を示す。ニューラルシステム１００は、シナプス結合のネットワーク１０４を介して別のレベルのニューロン１０６に結合されたあるレベルのニューロン１０２を備え得る。簡単のために、図１には２レベルのニューロンのみが示されているが、代表的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。
図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１には図示せず）の複数のニューロンによって生成され得る入力信号１０８を受信することができる。信号１０８は、レベル１０２のニューロンの入力電流を表し得る。この電流は、膜電位に充電するために、ニューロン膜に蓄積され得る。膜電位がその閾値に達すると、ニューロンは、発火し、次のレベルのニューロン（たとえば、レベル１０６）に転送される出力スパイクを生成することができる。
図１に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合（または単に「シナプス」）のネットワーク１０４によって達成され得る。シナプス１０４は、レベル１０２のニューロンから出力信号（すなわち、スパイク）を受信し、調整可能なシナプスの重み
Figure 0005989791
Figure 0005989791
（式中、Ｐは、レベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数である）に従って、それらの信号をスケーリングし、スケーリングされた信号をレベル１０６における各ニューロンの入力信号として結合することができる。レベル１０６におけるあらゆるニューロンは、対応する結合された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、次いで、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに転送され得る。
ニューラルシステム１００は、電気回路によってエミュレートすることができ、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用することができる。ニューラルシステム１００における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始する閾値までチャージされるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去することができ、その代わりにより小さいメモリスタ要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の用途において適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプスの重さの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され、これによって、非常に大規模なニューラルシステムハードウェア実装形態の実装が実用的になり得る。
本開示のいくつかの態様は、元の刺激がない状態で、１つまたは複数のニューロン（たとえば、図１に示すニューロン）によって学習されているニューラル発火パターンを正確にリプレイするという問題を解決するための方法を支援する。さらに、本開示で提案する方法は、元の刺激が存在しなくなった後の、高速学習、学習改善、関連付け、およびメモリ転送の問題を解決する。
生物学的に刺激を受けるニューロンモデルを用いてパターンを学習する現在の方法は、１つのニューロンがどのパターンと適合するかを判定するために、機能的に一方向性の方法であり、適合するものが見つかるまで異なるパターンが試行される必要がある。学習されているものを正確にリプレイする方法は、生物学的にしろ機械的にしろ、一般に未知である。本開示は、パターンを（順方向、または逆方向、または両方に）リプレイするため、および刺激のもとで元のパターンを作成したのと同一のニューロンによって、さらにパターンを学習したかまたは単にパターンのサブセットを学習したのと同一のニューロンの励起によって、正確なパターンをリプレイするために、学習するための方法を提供する。その上、本開示の方法は、１つまたは複数のニューロンによって学習された多数のパターンが、（ニューロンを追加することなく）同一のニューラル構造によってリプレイされ得るので、非常に高速の学習を可能にし、非常に拡張性がある。最後に、パターンを学習することおよびリプレイのために学習することは、いずれも、無監督方式で達成され得る。
また、リプレイを学習することは、パターンをより良く、またはより完全に学習するための基礎を提供し得る。その上、それは、刺激を受けている間にパターンを学習する必要性を緩和し得る。リプレイに加えて、本開示は、元の刺激を有することなく、新しいまたは継続的下流または上流（または両方）の処理動作のための方法を提供する。したがって、本開示の方法を使用することで、刺激がほんの一時的にしか存在しない場合でも、内部応答パターンをリプレイし、かつエクスペリエンスを処理することを継続する機能が可能となり、それにより機械学習のためにかなりの利点を提供する。本開示は、正確なニューラルパターンをリプレイするための方法を提供するばかりでなく、学習を改善または拡張するための刺激なしにパターンの学習を改善するための方法、ならびに刺激を存在させる必要なく、メモリを転送、統合または編成するため、パターンまたはパターンのシーケンスを補完するため、および概念および／または入力を関連付けるかまたは関連付けを学習するための方法を提供する。最後に、これらの方法は、任意のレベルの抽象、文脈、および内容において、概念、センサー入力または信号に適用可能であるので、提案される方法は、基本的と全般的の両方であり得る。
ニューラル発火パターンのリプレイ
前述のように、ニューラル発火パターンを正確にリプレイする従来の方法は、一般に知られていない。しかしながら、所与のパターンが記憶されている（または学習されている）パターンに適合するかどうかを判断することのみならず、記憶されているパターンが何であるかを直接求めることも必要とされている。加えて、パターンを最初に作成したニューロンを介して元の求心神経（入力）内のパターンを再生することが必要とされる。さらに、パターンリプレイを、パターンを学習したかまたは照合した（またはパターンと何らかの一致を有する）ニューロンと相関付けることが必要とされる。加えて、パターンを作成するための元の刺激を必要とすることなく、記憶されている（または学習されている）パターンの忠実なまたは高忠実度のリプレイを再生すること、ならびにリプレイを使用して、学習改善、関連付け、メモリ転送などの継続的処理を進めることが必要とされる。
パターンリプレイのいくつかの方法が、文献に存在するが、これらの方法にはいくつかの欠陥がある。第１に、パターンは、刺激のもとでパターンを描いたのと同一のニューロンによって描かれることはない。したがって、これは、正確なリプレイを表すのではなく、いくつかの他のニューロンによるリプレイのコピーを表す。この場合、「リプレイ」は同一の求心神経によって作成されないので、求心神経からの下流効果は失われることがある。
第２に、パターンの要素（たとえば、スパイク）は一意に識別されないことがあるので、特定のパターン要素と特定の求心神経との間の結合が失われることがある。したがって、これは、同じパターンのリプレイではなく、異なるパターン（たとえば、集合的パターン）のリプレイであることがある。第３に、パターン内に干渉（たとえば、一般的に「リプレイ」トリガによる求心神経内の他の活動）が存在することがある。したがって、これは、実際には同じパターンではなく、パターンへのニューロン照合を含む下流効果は中断されることがある。
第４に、パターンを学習したニューロンの出力内に（一般的に「リプレイ」トリガによる）干渉が存在することがある。したがって、このニューロンからの下流効果は中断されることがある。第５に、「リプレイ」機能は無監督方式において学習可能でないか、または学習の方法は、まったく知られていないかまたは利用可能でないことがある。さらに、逆方向に「リプレイ」することだけが可能であること、またはほぼ発火速度で「リプレイ」することだけが可能であることなど、他の付加的な欠陥が存在することがある。これらおよび他の欠陥は、例および類似を参照して論じられる。
ニューロンが適合／学習したものを正確にリプレイすることについての問題
図２は、本開示のいくつかの態様による、パターン照合ニューロンに結合された求心性ニューロンの一例２００を示す。たとえば、原因または刺激が何であれ、外部または内部のいずれであれ、ニューロン２０２は、求心神経（入力）２０４のセット内のパターンを照合し得る。この状況は図２に示されており、そこでは、ニューロン２０２は、求心性ニューロン２０４の出力によって作成されるパターンを照合し得る（それらの発火パターン２０６に対応する、ここでｘ軸は、時間または発火速度または他のコーディング次元と考えられる）。この場合、求心神経という用語は、それがニューロン２０２への入力（すなわち、ニューロン２０２の観点からの求心神経）を表すこと以外は、処理の段階または層の観点から何らかの特定の意味を示すものではない。求心神経２０４は、単なる上流ニューロン（たとえば、ニューロン２０２の上流）、または感覚ニューロン、または処理の特定の段階もしくは層におけるニューロンであってよい。
一般的なニューロンは、リーキー積分発火（ＬＩＦ）ニューロン、または動的スパイキングニューロン、またはさらに単純和およびＳ字型機能としてモデル化され得る。とにかく、これらの動作は、適合が発見されるまで異なるパターンを試行することなく（すなわち、シナプス重みおよびシナプス遅延などの内面的特質を分析することなく）、ニューロン２０２がどの特定の信号の組合せまたはパターンに適合するかを判断することは動作的に不可能であるので、これらの動作は一方向性機能である。情報を記憶することができることと、この情報がメモリの外に読み出され得るかどうか（またはいかにして読み出されるか）との間には基本的な差異が存在することがある。問題は、学習されたパターンがいかにして読み出され得るか（リプレイされ得るか）である。
リプレイ忠実性の問題
理想的には、読出しパターンは、刺激の間に元のパターンを学習したニューロンによって認識されるのに十分に、元のパターンに忠実でなければならない。問題は、いかにして読出しパターンが、それを学習したニューロンがそれを認識し得るほどに十分に再生され得るかである。
オフライン処理の問題
機械学習は、学習のすべての側面が発生するのに十分なほど長い間、入力または刺激が存在することを必要とするので、元の刺激なしにパターンを正確にリプレイすることができないことが、機械学習に対する決定的な限界となり得る。けれども、学習は、下流処理ネットワークにおいて（またはさらに、フィードバックによる上流処理ネットワークにおいて）、または実時間で存在したのとは異なる順序において、複数の段階で発生する必要がある。問題は、元の刺激が終わった後、いかにして継続的学習、学習の改善、メモリ（学習）の転送、および他の様々な下流動作（または、上流動作もしくはフィードバック）が進行され得るかである。
欠陥のある「リプレイ」試行
第１に、人は、パターンを照合したニューロン（たとえば、図２のニューロン２０２）を単に刺激して再び発火する（出力をスパイクする）ことを考えるが、これは、他のニューロン（たとえば、図２のニューロン２０８および２１０）において同じ下流効果を再生するための方法を提供しないので、限定された使用を有する。これは、単に「あれはＡ氏である」と述べることによって宣言することがＡ氏を見ることのリプレイであるのといくぶん似ている。「あれはＡ氏である」と単に述べることによって、人は、Ａ氏の特徴を考察すること、それらの特徴を比較すること、またはさらなる処理を続行することはできない。したがって、方法は、それらの同じ求心神経（他のニューロンではない）によって作成され、パターンに対する干渉のない、元のパターン（または、実質的に類似するパターン）をリプレイすることを必要とする。そうでない場合、下流効果は失われるかまたは不完全となる。したがって、刺激がほんの一時的にしか存在しない場合、内部応答パターンをリプレイし、かつエクスペリエンスを処理することを継続する機能が、機械学習のためにかなりの利点となる。
第２に、どのニューロンがパターンをリプレイするかについて識別することの重要性に留意されたい。たとえば、ネットワークは、異なるニューロン（元の求心神経ではない）を介して同じパターンを描き得ることがある。それらの異なるニューロンが、同様に、図２からニューロン２０２に入力として与えられたとしても、問題は、求心神経から学習したニューロン２０２と同じ効果を有するようにこれらの異なる入力を結合するように手動で干渉する必要なく、いかにしてニューロン２０２が、これを「同じ」パターンであると認識するかである。この欠陥の明快な実証は、ニューロン２０２は、異なるニューロンによって描かれたコピーを認識しないことである。明らかに、異なるニューロンを介する「リプレイ」は、正確なリプレイをまったく表しておらず、パターンを学習したニューロンを含めて、いかなる下流効果に関しても無効である。
第３に、リプレイにおけるパターン照合ニューロンの関連性が重要である。パターン照合ニューロン自体が元のプレイならびにリプレイを照合する場合、忠実な測定が達成され得る。その上、そのニューロンがそのリプレイを引き起こすことにかかわる場合、パターンとパターン照合ニューロンとの双方向の関連付けが存在する。したがって、パターンのリプレイを、パターンを学習した１つまたは複数のニューロンと関連付ける動機が存在する。言い換えれば、人は、図２からのニューロン２０２を、ニューロン２０２が学習した（または少なくとも照合した）パターンをリプレイすることの制御または誘発プロセスに関与させようとする。たとえば、ニューロン２０２によって学習されたパターンをリプレイする必要性が存在する。理想的には、リプレイトリガは、ニューロン２０２を伴い、ニューロン２０２自体によってリプレイされたパターンの認識を含めて、同じ下流効果を可能にする。パターン照合ニューロンがリプレイを直接誘発することは必要でないことはあるが、たとえば、それが、最初に反転リプレイ（または元のパターンのいくつかの他の変換）をもたらし、次いで最終的に元の求心神経を介して元のバージョンに戻る変換をもたらしたとしても、このニューロンがプロセスに関与していることは重要である。
第４に、パターン要素の集合体、派生物または合計を描くこと（順方向または逆方向、圧縮または非圧縮にかかわらず）、発火速度、またはパターンの他の機能は、そのパターンのリプレイではあり得ない。類似性は、キーボード上で「ｑｗｅｒｔ［空白］ｙ」をタイプすることは、キーボード上でキー「ｘ」を５回タイプし、続いて「空白」を、次いで再び「ｘ」をタイプすることによって「リプレイされ」得、たしかに、６つの文字キー押圧が存在し、最後は空白の後に発生するが、どの「ｘ」が、パターンの要素のどれに対応するかは不明であるのと同じである。要点は、いわゆる「リプレイ」において、１つの「ｘ」が別の「ｘ」と区別され得ないことであり、したがって、元のパターン内の一意の文字の間の特定の関係を表すことはできない。要約すると、必要とされるものは、干渉のない、同じ求心神経を介する実際の元のパターンのリプレイである。
メモリ転送の問題
パターンは、どのニューロンがパターンを作成したかについてのみ意味を有する。類似性として、人が、数字のシーケンスを述べるとすると、シーケンスは、単に、どれだけ多くの数字がシーケンス内に存在するかおよびそれらの相対的順番に関するばかりでなく、具体的な数字が何であるかに関しても、意味を有する。第２の層を用いて第１の層の出力を学習し、次いで第３の層を用いて第２の層の出力を学習するによってメモリを「転送する」プロセスは、転送されている第１の層のパターンのメモリを表していない。第１の層のメモリを転送するために、第３の層もまた、第１の層の出力を学習する必要がある。元の刺激なしに、これは、第２の層ではなく第１の層のリプレイを必要とする。
問題の一般性
パターンのリプレイの生物学的証拠は、生体内で、とりわけ海馬内で、視覚システムおよび他の脳の部位を観察してきた。そのようなリプレイは、順方向および逆方向に、時間的に圧縮および非圧縮で発生し得る。しかしながら、そのようなリプレイを引き起こすメカニズムは不明である。さらに、最近の証拠は、海馬の細胞が、「場所」または挙動のエピソード的側面に対応する上流パターンまたは状態に適合または対応するが、それらは後で「消去」またはリセットされ、メモリが保持され得ることを示した。１つの可能性は、そのようなメモリが、他のメモリまたはより長期間メモリに統合されることである。
一般に、リプレイは、学習機能またはメモリ機能を反転させるために、任意の感覚様式に対して、または任意の概念レベルにおいて適用できるので、使用されている。したがって、リプレイは、一般解が非常に有益である重要な一般的皮質問題を表し得る。
リプレイの方法ならびに学習改善、関連付けおよびメモリ転送を含むさらなる処理の関連方法
本開示のいくつかの態様は、リプレイの方法、ならびに学習改善、関連付けおよびメモリ転送、他を含むさらなる処理の関連方法を支援する。
リプレイ
本開示で提案される構成要素リプレイの方法は、パターンリプレイの前述の問題を解決し得る。構成要素リプレイは、一般に、同じ求心神経を介して特定のニューロンによって実質的に参照される求心神経内のパターンのリプレイとして定義され得る。パターンを参照する特定のニューロン（基準ニューロン）は、パターンに関連して選択的に応答し、その選択性を学習することができる。集合的パターンまたはより大きいまたはより長いスケールのパターンは、構成要素リプレイを組み合わせることによってリプレイされ得る。したがって、構成要素リプレイは、ニューラルネットワークにおいて体系的リプレイを生成するために利用され得る。
図３のフロー図３００によって示される構成要素リプレイの一般的な方法は、１つまたは複数のパターン学習（少なくとも照合）ニューロンを使用して複数の求心性ニューロン応答内のパターンを学習（または少なくとも照合）することを備え得る。また、構成要素リプレイの方法は、１つまたは複数の関係学習（または少なくとも照合）ニューロンを使用して、学習ニューロンとおよび求心性パターンとの１つまたは複数の関係側面を学習することをさらに備え得る。
図３に示すように、リプレイの一般的な方法は、パターンを学習することを備え得、したがって、基準ニューロンは、パターン学習ニューロンと呼ばれ得る。しかしながら、パターン学習ニューロンによるパターンの学習は、必要とされない。むしろ、パターン学習ニューロンは、求心神経内のパターンを学習してもしなくてもよく、照合してもしなくてもよく、さらに求心神経に結合されなくてもよい、基準ニューロンによって置き換えられ得る。必要とされるものは、求心神経内のパターンに対応する（すなわち、特定の求心性パターンに関連する特定の時間における発火など、パターンに何らかの関連性を有することに一致する）参照がすべてである。皮質構成の中間層は、一般に、基準ニューロンまたはパターン学習（または少なくとも照合）ニューロンのいずれかとして呼ばれることに留意されたい。
ニューラル構成要素リプレイ概念は、詳細には、テンポラルコーディングコンテキスト内で説明されるが、方法は、一般的であり、発火速度コーディング、一致コーディング、または他の信号コーディング変形態に適用され得る。リレー、または樹枝状プロセスを通過し、軸索に沿った信号伝搬、またはさらに、シナプスにおける信号伝搬による遅延が抽出され得る。
例証的リプレイ実施形態
図４は、そのようなテンポラルコーディングコンテキストにおける本開示の第１の例証的実施形態の例示的なニューラル結合性ダイヤグラム４００を示す。ニューロン４０２および４０４は求心神経の代表であり、ニューロン４０６はパターン照合または学習ニューロンであり、ニューロン４０８および４１０は関係側面学習／照合ニューロンである。このテンポラルコーディングコンテキストにおいて、遅延が、様々な幅の矩形によって表され得る。矩形が水平方向に大きいほど、遅延は長い。ダイヤグラム４００において、結合は、矢印が終端する所（すなわち、線が、単に別のものと交差するからではない）でのみ発生することにも留意されたい。同じ慣例は、他のニューラル結合性ダイヤグラムにおいて使用される。
刺激４１２の下で、求心性ニューロン４０２および４０４は、ダイヤグラム４１６に示されるテンポラルパターン４１４内で発火し、ここでｘ軸は時間を表し、垂直の棒は各ニューロンの発火の時間を示す。刺激４１２は、触覚、聴覚、嗅覚、味覚、視覚など、いくつかの感覚様式のうちのいずれかから、または単に、ニューラルネットワーク内の上流から到来する。ニューロン４０６が、リーキー積分発火または他の一般的なニューロンモデルであり、発火に対する２つの入力の特定の閾値が存在する場合、ニューロン４０６は、ニューロン４０２がニューロン４０４よりいくぶん前に発火したときにニューロン４０６が発火することに留意されたい。これは、ニューロン４０２からの結合は、ニューロン４０６の体細胞に到達する前により大きい遅延を通過する必要がある一方で、ニューロン４０４からの結合はより小さい遅延を通過するからである。したがって、ニューロン４０６は、ダイヤグラム４１６に示すように、その特定のテンポラルシーケンスを整合させ、スパイク４１８を発火する。ダイヤグラム４１６において、ニューロン４０６は、遅延の後ただちに発火するが、これは単なる例であり、ニューロン４０６による処理に起因するいくらかの遅延（たとえば、時定数）が存在することがある。
ニューロン４０８は、求心神経４０２およびパターン照合／学習ニューロン４０６からの入力を受けることが、図４のダイヤグラム４００から見られる。ニューロン４０２からの入力が遭遇する遅延は、信号を、ニューロン４０６による応答に整列させる。実際には、ニューロン４０８は、求心性ニューロン４０２とパターン照合／学習ニューロン４０６の応答との間の時間的関係を整合させる。ニューロン４１０は、求心神経４０４と類似する効果を達成する。元の刺激４１２の下で、これらの関係側面学習ニューロン４０８、４１０は、それぞれの関係側面（たとえば、ダイヤグラム４１６の発火４２０）に応答して発火することが、図４のダイヤグラム４１６から見られる。ダイヤグラム４１６において、発火４１８と発火４２０との間の遅延は、小さいがゼロではない。これもまた、単なる例であり、実際の遅延はゼロであってもよく、またはより大きくてもよい。その上、ニューロン４０８、４１０の樹状突起上の４０６の入力とニューロン４０８、４１０の体細胞との間に挿入される遅延が存在することもある。
この第１の実施形態におけるパターンをリプレイするために、制御４２２が、元の求心神経に対して適用され、スパイクさせることができる。この制御は、元のパターンを作成する刺激４１２以外の入力によるものである。この場合、制御は、図４のダイヤグラム４２４に示すように、同期していることに留意されたい。ニューロン４０８、４１０が学習（または少なくとも照合）した遅延のために、ニューロン４０８、４１０は、同じ時刻におけるのではなく遅延された時刻において発火する（ダイヤグラム４２４のスパイク４２６および４２８）。ニューロン４０２、４０４からの入力は、ニューロン４０８、４１０を、（必ずしも即時にとは限らないが、少なくとも最終的に、または、刺激４３０で示すように、発振励起、または低減された抑制、または他のシナプスからの追加の同時入力など、何らかの補助的支援を用いて）発火させるのに十分に強いことが必要であることに留意されたい。ニューロン４０８、４１０はニューロン４０２、４０４にフィードバックされ得るので、それらは、それらの求心神経を、元のパターンと逆方向に発火させ得、それによりダイヤグラム４２４の反転テンポラルパターン４３２で示すように、反転リプレイが達成され得る。抑制制御４３４は、元の刺激４１２が存在しながら、フィードバックが求心神経４０２、４０４を発火させるのを抑制するために使用され得るが、中間物などの様々な代替物が代用され得ることに留意されたい。その上、フィードバックは、刺激の間でさえ、元の求心神経に影響を及ぼすことが可能である。
この第１の実証的実施形態の利点は、リプレイされるパターンが真実かつ正確であり得、元の求心神経を介して作成され得ることである。しかしながら、この実施形態はまた、いくつかの不利点を有することがある。一態様では、パターンは反転され、制御は求心神経上にあり（ニューロン４０２、４０４は、反転パターンで再現する前に同期して発火する）、したがって（ニューロン４０６の挙動を含む）下流に影響を及ぼすことがある。加えて、ニューロン４０６は、反転パターンを照合することはない。その上、この実施形態では、関係側面学習ニューロンはパターンごと、求心神経ごとに必要とされるので、スケーラビリティが制限されることがある。さらに、リプレイもまた、制御の同時性を必要とする。
順方向および反転のリプレイ
図５に示す第２のリプレイ実施形態は、非反転パターンをリプレイする問題を二重反転によって解決し得る。事実上、図４に関連する前述の方法が繰り返されてよく、それにより、反転パターン、反転パターンの関係側面、および元の求心神経（ニューラル結合性ダイヤグラム５０２で示される）かあるいは関係側面学習ニューロンｐおよびｑ（ニューラル結合性ダイヤグラム５０４で示される）かのいずれかを照合するために、第２の層２および層３（図５において層４および層５と呼ばれる）が追加される。したがって、提案される方法は、（図５に示す、パターン照合者ｘまたは反転パターン照合者ｘ’のいずれかを制御することによって）反転パターンまたは順方向パターンのいずれかをリプレイすることができる。（反転レベルにおける関係学習に対して関係側面学習ニューロンを使用する）ダイヤグラム５０４の利点は、反転学習がオンラインで（すなわち、パターン学習と同時に）実行され得ることである。ニューラル結合性ダイヤグラム５０２によって、反転学習が、反転パターンを誘発することによって実行され得る。
方法５０２と５０４との間の主たる差は、第２の「リプレイ」スタック（層４および層５）に対する求心神経の代わりに関係側面学習ニューロンを使用することであることに留意されたい。ダイヤグラム５０４では、第２の反転のオンライン学習は、この差によって行われ得る。しかしながら、ニューロンｘ’は、求心神経に対して露出されるのではなく、求心神経の変換に対して露出される。
図５のダイヤグラム５０２、５０４で示される第２の実施形態の利点は、順方向および／または反転のパターンがリプレイされ得ることである。しかしながら、依然として、スケーリングの制限は存在する。一態様では、１つの関係側面学習ニューロンは、パターンごと、求心神経ごとに必要とされ、求心神経上の制御は下流に影響を及ぼす。本開示で後に論じる好ましい実施形態は、これらの不利点を克服することができる。
メモリ転送
１つのニューロン、ニューラルアレイ、または皮質領域から別のものに学習を転送することは、人口知能にとって重要な構成要素である。リプレイは、このプロセス内で重要な役割を受け持つ。これを説明するために、図５からのニューラル結合性ダイヤグラム５０２が考慮され得る。メモリ転送の側面を導入するために、図５の回路内のリプレイは元のパターンの反転であることは無視されてよい。メモリ転送およびさらなる処理側面の詳細な説明が、パターンの順方向バージョンをリプレイする回路とともに、以下でさらに与えられる。一方、以下の例が、さらなる処理を導入するように働く。
学習の転送は、次のように働く。刺激が存在する間、第１の回路（ダイヤグラム５０２内で層２、３によって表される）がパターンを学習する。次いで、（刺激のない）オフラインで、この学習のメモリが、第１の回路によって（層２、３を介して）パターンを誘発することによって第２のニューロン回路（ダイヤグラム５０２における層４、５で表される）に転送され、第２のニューロン回路（層４および５）がパターンを学習することを可能にする。その上、１つまたは複数の追加のニューロン（ダイヤグラム５０２に示さず）が、（それらがいかなる回路に属していようとも）リプレイの間にパターンを学習することができる。オフラインステップの後、第２のニューラル回路（層４および５）内の学習されたパターンのメモリを依然として保持しながら、元の回路（層２および３）が消去され、他の目的のために再使用され得ることに留意されたい。
この実施形態によって、転送されたメモリは、望ましいものとして、同じ元の求心神経に関するものであることに留意されたい。第１の回路に依頼するものはない（第１の回路は消去されてもよく、またはパターンを「忘れる」ことも可能である）。一態様では、別のニューロン、たとえばニューロンｙ（ダイヤグラム５０２に示していないが、任意の層内で、ニューロンｘを代替するように働く）が、リプレイの間にパターンを訓練される（学習する）ことができる。次いで、元の刺激が再び存在する場合、ニューロンｙは、（層２および３が消去されているとしても）それを認識し、それによりパターンが照合され、所望のときにリプレイされ得る。このメモリ転送機能は、この実施形態によるばかりでなく、提案される方法によって一般に利用可能であるが、転送は、実施形態に応じて、必ずしも各段階において反転を伴うとは限らない。
さらに、メモリ転送は、リプレイの１つだけの拡張であってよい。一態様では、リプレイがまた、学習を改善するために使用され得る。パターンをリプレイすることによって、下流ニューロン（たとえば、図２のニューロン２０８および２１０）は、学習がシナプス可塑性または他の手段を介して継続するように、同じ求心神経を介してパターンに再び露出され得る。さらに、リプレイは、パターンを学習したニューロン、すなわち図５のダイヤグラム５０２におけるニューロンｘまたは図２におけるニューロン２０２による学習を改善するためにも使用され得る。一態様では、パターンの学習は、１つまたは複数の段階（刺激の間の学習および刺激のないリプレイによる１つまたは複数の改善段階）を取ることができる。パターン学習の前の段階（たとえば、刺激の間）は、パターンの要素のサブセットを照合することによってパターンを照合することができる。パターン学習の後の段階（たとえば、リプレイの間）は、照合を改良するためにパターンの追加の要素を取り出すことができる。ここにおける重要な洞察は、パターン照合ニューロンの挙動（発火）と、パターンを照合するためにパターン照合ニューロンによって未だ依拠されていない求心性パターンの要素との間の関係側面を、関係側面学習ニューロンが学習できることである。
さらに、ひとたびニューロンが特定のパターンを学習すると、下流ネットワークは、それらのパターンをリプレイすることによってパターンを比較し（またはリプレイされたパターンと元のパターンとを比較し）、パターンのグループへの分類など、差異点または類似点を学習する。１つまたは複数のグループに属するパターンをリプレイすることによって、より高いレベルのニューロンが、特定のグループに属するパターンの全体的側面（たとえば、類似する特徴）を学習することができる。
パターンリプレイに対する好ましい実施形態の導入
パターンリプレイに対する好ましい実施形態は、（すなわち、コンテキストまたはコンテンツまたはコーディング、層またはレベル、あるいは処理の段階にかかわらず）一般的な方法で使用され得、要望または必要性に応じてスケーリングされるという意味で、拡張性がある多岐にわたるタペストリまたは皮質構成を備えることができる。この特定の実施形態は、すべての利点を有し得、上述の不利点を何も持たない。正確なまたは類似するパターンは、元の求心神経を介して順方向または反転方向にリプレイされ得る。その上、それは、各関係側面学習ニューロンが複数のパターンを扱うことができるので、コンパクトで拡張性がある。その上、制御は、パターンを学習したニューロンを介して誘発され得、制御の同時性は必要とされない。求心性パターンはクリーンであり得る。パターン学習は、所望される場合、完全にオンラインであり得る（または、所望される場合、完全にオフラインであり得る）。図６のニューラル結合性ダイヤグラム６００は、順方向リプレイに対する観念の基本的実装形態を略述する（反転リプレイは、上記の方法によってダイヤグラム６００を拡張することによって達成され得る）。
図６の関係側面学習（または、少なくとも照合）ニューロン６０２および６０４は、２つのパターン学習（または、基準）ニューロン６０６および６０８からの入力を受けることができることに留意されたい。一般に、これは、任意の数のパターン学習ニューロンであってよい。これは、上述のスケーラビリティを可能にする。さらに、制御は、それらが（それぞれ）照合したパターンのリプレイを得るために、パターン照合ニューロン（すなわち、ニューロン６０６および／またはニューロン６０８）を励起することによって達成され得る。ニューロン６０６が励起されると、ニューロン６０６によって学習されたパターンのリプレイが達成され得る。ニューロン６０８が励起されると、ニューロン６０８によって学習されたパターンのリプレイが達成され得る。図７のグラフ７０２、７０４で示されるリーキー積分発火ニューロンによる例示的な結果では、ニューロン６０６および６０８が、それぞれのリプレイ時に（それらが学習／照合したパターンのリプレイに整合して）再発火するという事実から、パターンリプレイの忠実性は明白である。人は、ループするリプレイを防止することを意図するので、そのような再発火を抑制することを選択する。
好ましい実施形態では、関係側面学習／照合は、遅延されたパターン照合ニューロン入力と求心神経の信号のタイミングとの間の遅延における差を学習／照合することによって達成され得る。遅延は、ニューロン６０２、６０４の樹状突起上で発生するかのように示されているが、その遅延は、軸索もしくは樹枝状によるか、または何らかの他の源によることがある。
好ましい実施形態は、以下でさらに詳述される。この点から進んで、議論は、特に明記しない限り、この好ましい実施形態に関するものである。
図８は、本開示のいくつかの態様による、ニューラル構成要素リプレイに対する例示的な動作８００を示す。８０２で、複数の求心性ニューロン出力内のパターンが、１つまたは複数の基準ニューロンを用いて参照される。８０４で、複数の求心性ニューロン出力内のパターンと、１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面が、１つまたは複数の関係側面ニューロンを用いて照合され得る。８０６で、複数の求心性ニューロンのうちの１つまたは複数が、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように誘発され得る。
リプレイの学習
いかにして忠実なリプレイ（所与の構成された遅延、結合性、および制御）が達成され得るかを説明したが、リプレイを学習するため、およびネットワーク内の学習を（自動的にまたは無監督で）制御するための方法もまた、説明される。無監督学習が詳細に説明されるが、監督された学習もまた使用され得る。学習リプレイを詳細に説明するために、説明は、（再びテンポラルコーディングを有し、）動的スパイキングニューロンおよび可塑性を有する好ましい拡張性がある実施形態のコンテキストにおいて与えられる。
図９のニューラル結合性ダイヤグラム９００は、好ましい実施形態のモデルを示しており、各ニューロンの役割の少数の代表だけを示しているが、このタペストリは、大きいまたは小さい様々なスケールで、ニューロンの異なる人口分布／数または割合を有する異なる層（役割）を用いて作成され、いくつかの役割が、１つのニューロンに組み合わされ得る。図９では、求心神経がニューロンａ〜ｄで、パターン学習ニューロンがｗ〜ｚで、関係側面学習ニューロンがｐ〜ｓで表されている。これらのニューロンは、同じまたは異なる内部モデルを有し得るが、結合性が重要であり得る。そのような結合性の説明を助けるために、パターン学習ニューロンの出力は、エファレント（下流処理への入力または上流処理へのフィードバック）と呼ばれることがある。求心神経は、実際には、感覚ニューロン（視覚、触覚、聴覚など）、またはニューロンの前層、またはニューラルネットワーク内の任意の段階もしくは概念レベルにおけるニューロンであってよいので、刺激は、ニューロンａ〜ｄを１つまたは複数のパターンで発火させるいずれかのものとして呼ばれてよい。特定のニューロンｘ〜ｚを発火させるいずれかの入力またはトリガが、制御と呼ばれてよい。これらの信号（求心神経、エファレント、制御および刺激）は、一般的に、ニューラルタペストリ９００の外側と結合するが、このことは必要とされず、他の内部信号がまた、ニューラルタペストリ８００を超えた点から、またはその点に延びることができる。明快のために、ニューラル結合性ダイヤグラム９００は、主に関連のある結合および側面に焦点を置く。
一般的な方法は、上述の好ましい実施形態に関してもとのままであることに留意されたい。しかしながら、学習に関するさらなる詳細が、次に説明される。第１に、結合性が、そのような結合性に関連する例示的な構造的側面を参照しながら説明される。
学習および構造
前に説明したように、パターン学習ニューロンは、複数の求心神経（しかし必ずしもそれらのすべてであるとは限らない）内の１つのパターンを学習することができる。そのような結合性は、生物学的な意味において、クルーシエイト（cruciate）として構造的に説明され得（樹状突起は、求心神経の軸索と交差して伸びる）、求心神経を異なる潜在的遅延によってサンプリングする。また、それらは、互いに横方向に抑制するために互いに結合され（図９のスパイン９０２）、それにより、それらは、異なるパターンを学習するために競うことができる（これは、図示のように直接であってよく、または介在ニューロン、もしくは他の抑制もしくは競合機構を介してもよい）。この抑制は一般的（すなわち、ポストシナプス）であってよい。また、前述のように、関係側面学習ニューロンは、パターン学習ニューロンからの入力と、求心神経からの入力とを（一般に１対１で）受けることができる。構造的に、前者は、学習ニューロンの軸索（必ずしも１つだけとは限らない）に平行な基本的樹枝状プロセスとして説明され、後者は、（好ましくは）１つだけの求心神経の軸索と結合する頂点の樹状突起プロセスとして説明され得る。
そのような生物学的構造設計は、必要または重要であるとは限らないが、物理的空間内でかつ物理的に表現され得る抑制内で、結合性がいかに表現され得るかを指摘することが意図されている。この意味合いは、次に詳細に説明される。関係側面学習ニューロンの軸索はまた、それらが（再び一般に１対１で）ペアにされている求心性ニューロンに戻って結合（フィードバック）することができる。これは、求心神経に向かって垂直下方に延びる軸索プロセスとして表される。最後に、求心神経の出力は、介在ニューロン（１介在ニューロンパー求心神経、または多対１、１対多、または多対多）を介して関係側面学習ニューロンによってそれらの求心神経の励起を抑制することができる。やはり、介在ニューロンの使用は１つの例である。しかしながら、この場合、これらの抑制結合は、関係側面学習ニューロンからの特定の興奮性結合に特有のものであってよい（すなわち、プレシナプス抑制）。別のオプションは、一般的な抑制結合を使用することであってよい（すなわち、ポストシナプス抑制）。変形態が、抑制効果を１つの介在ニューロンに統合すること、または中間のリレーを使用することを含めて、可能である。
シナプス可塑性および構造可塑性
シナプス重みは、スパイクタイミング依存可塑性（ＳＴＤＰ）、またはヘブの法則（たとえば、ＯｊａまたはＢｉｅｎｅｎｓｔｏｃｋ−Ｃｏｐｐｅｒ−Ｍｕｎｒｏ（ＢＣＭ）の法則）のような他の法則などの方法を使用して学習され得る。説明された機構は、一般に、シナプス／遅延の数がこの点において制限的に抑制されない限り、求心神経または学習ニューロンの１つまたは複数のスパイクを学習するのに十分であることに留意されたい。好ましい機構は、修正されたＳＴＤＰ学習法則を備えるが、入力周波数、またはプレ／ポストのスパイクの順番の考慮を組み込むなど、変形態もまた使用され得る。図９からのダイヤグラム９００の一部分を表す図１０のニューラル結合性ダイヤグラム１０００で示されるように、学習関係は、ニューロンまたは層にわたって変化され得る。
学習は、上記の結合性および構造の特定の側面によって抑制され得る。これは、構造可塑性または遅延の抑制、重みまたは入力によって達成され得る。好ましい実施形態では、構造可塑性は、スパイン（したがってシナプス）を移動または成長／削除させるように適用され得る。計算の観点から、これは、未使用のシナプス資源の再使用によってモデル化され得る。事実上、シナプス重みが閾値より下に減衰すると、シナプスは、（好ましくは閾値と同じか少し上の）新しい重み、新しい遅延、または入力（ニューロン）のうちの１つまたは複数のを有するシナプスを再割り当てすることによって再使用され得る。好ましい実施形態では、新しい重みおよび遅延だけが与えられ得、１つのオプションは、（たとえば、構造的に成長速度が抑制されるかのように量および／または方向によって）遅延における変化を制限することであってよい。
さらに、構造可塑性が、抑制または制限されてよい。たとえば、末端の樹状突起シナプスは、より長い遅延に抑制され、一方、頂点の樹状突起シナプスは、短いまたは広く変化する遅延を有することができる。樹枝状プロセスが、軸索に平行に走る場合、これは、様々な遅延におけるサンプリングを可能にし、したがって特定の対応する遅延の学習を可能にする。対照的に、入力ニューロンが受容体から遠い場合（たとえば、関係側面学習ニューロンへの求心性入力）、遅延は、比較的高い値になるように抑制され得る。加えて、等間隔の構造的構成要素は、同じまたは類似する遅延を有するものと見なされ得る。これらは、本開示の概念を保持する単なる例であることを理解されたい。好ましい実施形態では、関係側面学習ニューロンへの求心性入力によって遭遇される遅延は、それらの構造的距離に一致する比較的大きい値に固定され得る一方で、シナプスは、学習ニューロンからの入力に対して広い範囲内で変化できる遅延を有することができる。その上、前者に対する固定された遅延は、関係側面学習ニューロンにわたって同じまたは類似する値に設定され得る（ペアにされた求心神経に対する距離は、ペアにかかわらず類似しているかのように）。１対１または他の関係は、場合によっては、垂直または水平に、コラムタイプ組織および軸索もしくは樹枝状プロセスのルーティングによって、構造的に表され得ることにも留意されたい。
図１１のニューラル結合性ダイヤグラム１１００において、求心神経から関係ニューロンへの入力によって遭遇される遅延は、一致することができることに留意されたい。これは、構造的制約（たとえば、層間距離）または成長（ｄｅｖｅｌｏｐｍｅｎｔ）中であることに起因する。たとえば、成長中に、パターンニューロンの発火は抑制される一方で、求心神経は同期して発火する。したがって、関係側面ニューロンは、求心神経に対して一致する遅延を学習する。たとえば、これは、ＳＴＤＰまたは他の学習法則を使用して発生する。次いで、成長した後、それらの一致する遅延は大きい重みで学習され、通常のシミュレーションの間に変化することはない。その結果、関係側面ニューロンは、刺激に起因して求心神経内の相対的遅延に応じた遅延で発火することができる。次いで、学習プロセスおよびリプレイプロセスは、上記で説明したように進行する。
関係側面学習に対する代替物
関係側面学習を計算的に達成する１つの方法は、図１２のグラフ１２０２に示すように、同じ入力軸索に結合している（または潜在的に結合している）異なる遅延を有する多くのシナプス（または潜在的シナプスサイト／スパイン）を有すること、および重みを調整するためにシナプス可塑性だけを使用することである。別の方法は、図１２のグラフ１２０４に示すように、構造可塑性を有すること、およびシナプスが減衰する場合、同じ入力に対して異なる遅延を再割り当てされる（たとえば、樹状突起／軸索平行プロセスに沿ってスライドさせる）１つまたは少数のシナプスだけを有することである。両方法は、図１２において例示的な構造１２０６に示される潜在的結合の範囲を表す。構造１２０６は、ニューロン１２０８の樹状突起およびニューロン１２１０の軸索の平行プロセスを備え得る。ダイヤグラム１２０２および１２０４は、すべてのシナプスの状態を、入力（ｘ軸）、遅延（ｙ軸）、および重み（ｚ軸）によってネットワーク内に示す。プロット１２０２、１２０４上の関係側面学習ニューロンに属する点の位置（シナプスの状態）は、第１のケースでは多くの潜在的シナプスが存在し、第２のケースでは少数のシナプスが存在することを示している。しかしながら、両方のケースにおいて、１つまたは複数のシナプス重みが、正しい遅延においておよび正しい入力に対して強化され得る。
両方の方法は、よく働くことを見出されているが、第１の方法は、スパインが、何らかのシーケンスで「試行されて」いるのではなくすべて同時に存在するので、より速く学習することができる。しかしながら、第１の方法はより速い一方で、同様に、異なるパターン照合／学習ニューロンからの入力の不平衡の影響を受けることがある。第１の方法では、遅延タップ（シナプス）の多くが、使用されないで終わっているので（図１２のグラフ１２０２参照）第２の方法は、より資源効率が高い。ある意味では、これらの方法は、スパイン／シナプスの運動性の速度またはダイナミックス、および構造可塑性のスペクトル上の異なる点にすぎない。
さらに、第１の方法は、ホメオスタシスがこれを妨げるように使用されることがない場合、より広い原因入力対応を学習する、より高い傾向を有する。これは、図１３のグラフ１３０４のプロット１３０２で示されるように、古典的なＳＴＤＰが長い長期増強（ＬＴＰ）テール（正のフットプリント）を有することによるものである。ｘ軸は、プレシナプススパイクとポストシナプススパイクとの間の時間差を表し、ここで正のｘ値は、原因ケースに対応する（プレシナプススパイクは、ポストシナプススパイクの前である）。
上記の問題は、図１３のグラフ１３０８のプロット１３０６で示されるように、正のＳＴＤＰフットプリントをより短い時間間隔に低減することによって回避され得る。これは、可塑性曲線を、直接変更することによって実行され得（ゼロ平均またはオフセットガウシアンなど、様々な原因または非原因変形態が可能である）、またはより長い時間フレームにわたってそれらの全体的活動（たとえば、発火速度）に基づいてニューロンを調整するために、ホメオスタシスを使用することによって実行され得る。ホメオスタシスは、ニューロンの長期発火速度が、階段状または漸次方式において、範囲（すなわち、それぞれ目標値の上方および下方）の上であるか下であるかに基づいて、体細胞の統合入力の全体的掛け算調整を増加または減少することによって利用され得る。一態様では、この効果は、たとえＳＴＤＰがそうでなければ重みを増加させる（または、減少させる）としても、ホメオスタシス効果が、シナプス入力の効果を低減（または増加）させることである。
組合せで見られるとき、この効果は、グラフ１３０８にあるように表され、ここで、ゼロレベルは上にシフトされ、それにより、ＳＴＤＰによる増加であるものは、ホメオスタシス効果の後、実際に減少され得る（プロット１３０６を参照）。長期にわたって実際に増加する重みは、より狭く制限されるか、または水平軸（プレシナプススパイクとポストシナプススパイクとの間の時間差）のより広い領域に拡散され得る。
ハイブリッド手法は、図１４のグラフ１４０２のプロット１４０４で示されるように、ホメオスタシスと曲線変更の両方を利用することができる。テールを（ゼロ重み調整レベルから離れて）さらに押し下げることの１つの理由は、テンポラル一致解像度を狭くすること（これは関係側面学習ニューロンに対して特に有用である）であり、その理由は、ホメオスタシスは、学習プロセスの前期に引き上げられた重みを引き下げない（プロット１４０４はゼロライン１４０６の近くにある）からである。ゼロ付近の重み調整は、実質的に重みを変化させないことに留意されたい。代替的に、重み減衰（重みのゼロに向かうゆっくりした減衰）は、学習プロセスと組み合わせて使用され得る。
直観に反する挙動
一見すると、パターン学習ニューロンは、学習の間、関係側面ニューロン発火時間を著しく変更しないことが必要とされる。関係側面ニューロンは、求心神経とパターン学習ニューロンの両方から入力を受けるので、入力のバランスが考慮される。実際には、求心神経または複数のパターン学習ニューロンは実質的に同時に発火する（効果は横方向抑制によって相殺される）ので、それらの結合に対する重みがそれらより著しく強くないならば、パターン学習ニューロンは、関係側面ニューロンのタイミングを著しく変更することはほとんどない。とにかく、これは、スパインまたはシナプスの制約（重み、遅延）によって回避または実質的に抑制され得る。構造可塑性（遅延変異樹状突起上のスパインの位置）と非古典的ＳＴＤＰ（例えば、資源考慮）との組合せもまた、上記を起こりにくくすることができる。
しかしながら、不平衡が存在し、上部層のスパイクタイミングが変更される場合でも、それは、必ずしも、回避されるべき何かであるとは限らない。図１５のニューラル結合性ダイヤグラム１５００で示されるように、関係側面発火（リプレイを可能にするために大幅である必要がある）の求心神経に戻るフィードバック１５０２もまた、求心神経のタイミングを変更することができる。言い換えれば、上部層におけるタイミングの変更が下部層におけるタイミングの変更を引き起こすように、フィードバックループが存在する。しかし、重要なことは、求心性パターンを再生することであって、刺激を再生することではない。求心神経は、刺激の変形であるものと考えられる。変換が異なる場合、その学習が同じ変換に基づく限り、必ずしも問題とはならない。言い換えれば、学習の間、求心性パターンは変化し、この変化した求心性パターンが学習されたパターンを表し、それがリプレイされ得る。
図１６は、本開示のいくつかの態様による、構造可塑性および構造制約モデリングに関連するニューラル構成要素リプレイに対する例示的な動作１６００を示す。１６０２で、複数の求心性ニューロン出力内のパターンが、１つまたは複数の基準ニューロンを用いて参照され得る。１６０４で、１つまたは複数の関係側面ニューロンを用いて、複数の求心性ニューロン出力内のパターンと、１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面が、構造可塑性を使用して学習され得る。１６０６で、複数の求心性ニューロンのうちの１つまたは複数が、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように誘発され得る。
リプレイを制御すること
学習されたパターンをリプレイするために、パターンを学習されたニューロン、たとえば、図１７のネットワークダイヤグラム１７００内のニューロンｗ、ｘ、ｙまたはｚを励起するために、制御が使用され得る。そのような制御は、単に、図１７に示されるように、パターン照合／学習ニューロンへの別のシナプス入力であってよい。入力バランスに応じて、そのようなシナプスは、より強い重みを有し得、入力は刺激振動の間に駆動され得、刺激振動は、ニューロンの入力を効果的に増加させるかまたは（抑制振動を中断している間）発火閾値を減少させ得る。振動は不必要であるが、それは選択肢である。図１８の例１８００は、正弦波の刺激振動１８０２を示す。振動のピークは、学習ニューロン１８０４が、関係側面学習ニューロンを介して求心性パターンをスパイクし、誘発するように制御される時であることに留意されたい。
振動１８０２は、ニューロン１８０４の（遅延がわずかであるかまたはまったくない体細胞における）膜に、またはシナプスに印加される（したがって、シナプス／結合による遅延を受ける）。振動１８０２は、一般に、近隣のすべてのニューロンに印加され、それにより図１９に示される例における振動は、学習ニューロンの、関係側面学習ニューロンへの効果も同様に強化する。リプレイは、この例で使用された振動が、パターンの後の再励起を抑制する谷を有することを除いて、繰り返すことに留意されたい。
リプレイを制御するための別の方法は、バースティングを用いることである。図１９および図２０の例は、ニューロンｘまたはｙによるバーストが、いかにして、関係側面学習ニューロンを発火させるために使用され得るかを示す。バースティングは任意の層／ニューロンにおいて使用され得るので、これは単なる例である。
しかしながら、バースティングと振動の両方は、不必要であり、不利点を有しており、したがって好適ではない。それにもかかわらず、バースティングが望ましい特徴である場合、バースティングは、回路に対して内的に（すなわち、ローカル回路に対する入力または出力結合を有する点以外で）、かつあまり可塑性でない結合（または非可塑性の結合）において使用されることが推奨される。第１に、バースティングが回路の内部のみである場合、それは、（アレイ内のいくつかの結合がローカルだけであるならば）結合された回路内の干渉を防止できる。第２に、バースティングが、回路内のあまり可塑性でないかまたは非可塑性の結合における場合、それは、回路の内部の学習面によっていくぶんかの干渉を防止できる。
図１７のリプレイ構造１７００の変形態が考えられ、そこにおいて、求心神経および基準ニューロン（たとえば、それぞれニューロンａおよびｘ）はバーストしない（単に正常に動作する）が、関係ニューロン（たとえば、ニューロンｐ）は、（適宜、リプレイモードにおいてのみ）バーストする。これは、求心神経および基準ニューロンに対するバースティングの不利点のいくつかを回避できる。というのは、当然、それらはバーストしないからである。その上、バースティングの１つの不利点は、関係ニューロンの中で相殺され得る。すなわち、関係ニューロンは、プレイ中にバーストする必要はなく、次いで、このより低いレベルの活動は、求心神経（フィードバックループ）に著しい影響を及ぼすには不十分であるように構成され得る。次いで、（繰り返しが望まれても望まれなくても）繰り返しをブロックする抑制性フィードバック結合の除去が考えられる。また、関係側面学習者（唯一のバースティングニューロン）は、求心神経と１対１で結合され、そのモードにおける原因であるので、繊細であるが重要ないくつかの問題が、遅延、学習、およびこのケースにおけるバースティングの組合せによって回避され得る。しかしながら、求心神経が、やはり、リプレイの間に学習を実行する場合、依然として、遅延−バースト−学習の組合せの問題が存在する。これを回避するために、求心神経−ニューロン結合への関係ニューロン入力は、（たとえば、成長中に）あらかじめ配線されてよい。
図２１のニューラル結合性ダイヤグラム２１００は、求心神経を表す単一のニューロン２１０２と、基準ニューロンを表すニューロン２１０４と、関係側面学習ニューロンを表すニューロン２１０６とともに上記の原理を示す。求心神経は、上流または刺激から入力を受け、それらの出力は、他のパターンの照合、メモリ転送、比較、メモリ転送などのために、下流でまたは他の基準ニューロン（パターン照合ニューロン）によって使用され得ることに留意されたい。基準ニューロンは、上流または他の求心神経から制御入力を受け、それらの出力は、一般化、特殊化、またはさらなる処理のために下流で使用され得る。しかしながら、関係側面学習ニューロンは、回路の内部に唯一の結合を有する。したがって、上記の説明によれば、本開示の一実施形態において、それらだけがバーストする。
また、バースティングは、制御入力に応答してニューロンのダイナミックスを変更することによって、リプレイ（または他のモード）の間だけ許可される。たとえば、データ入力がニューロンの状態（電流または電圧）を変更する間、制御入力は実効コンダクタンスと、静止電位または閾値電位と、他の動的パラメータとを変更することができる。
より大きい制御が一般に望ましい場合、好ましい実施形態は、むしろ拡張に基づく。リプレイを制御するための別の方法は、図２２に示されるように、ネットワークを拡張することによるものであり、言い換えれば、１対１の関係から１対多または多対１の関係、さらに多対多の関係に一般化することによるものである。求心神経と関係側面ニューロンとが１対１ベースで結合されていることが、図２１のダイヤグラム２１００に示されているが、これは、必要とされていないことに留意されたい。これは、少なくとも２つの可能性のある利点を提示する。第１に、多対１およびその逆の結合は、雑音または確率的発火が存在する場合にロバスト性を改善し得る。第２に、受けるニューロンを発火させるために１つの入力が不十分である（制約が課せられる）場合、複数の入力が、この制限を克服し得る。
図２３は、本開示のいくつかの態様による、ニューラル構成要素リプレイに対する例示的な動作２３００を示す。２３０２で、複数の求心性ニューロン出力内のパターンが、１つまたは複数の基準ニューロンを用いて参照され得る。２３０４で、複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面が、１つまたは複数の関係側面ニューロンを用いて照合され得る。２３０６で、複数の求心性ニューロンのうちの１つまたは複数が、１つまたは複数の関係側面ニューロンによって出力をバーストすることによって、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように誘発され得る。
図２４は、本開示のいくつかの態様による、ニューラル構成要素リプレイに対する例示的な動作２４００を示す。２４０２で、複数の求心性ニューロン出力内のパターンが、１つまたは複数の基準ニューロンを用いて参照され得る。２４０４で、複数の求心性ニューロン出力内のパターンと、１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面が、１つまたは複数の関係側面ニューロンを用いて照合され得る。２４０６で、複数の求心性ニューロンのうちの１つまたは複数が、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように誘発され得、求心性ニューロンのうちの少なくとも１つ、１つまたは複数の基準ニューロン、または１つまたは複数の関係側面ニューロンの間のシグナリングは、高速スパイクシーケンスまたは独立スパイクのうちの少なくとも一方を備え得る。
構成要素リプレイおよび体系的リプレイ
上記で説明した、シナプス可塑性および構造可塑性を有するテンポラルコーディングモデルを使用する、短いトレーニング期間の後の複数の（たとえば、５つの）パターンのリプレイが、図２５に示される。リプレイは、ボックスの求心性セクション（Ｌ１ Ａ）内に示される（刺激（Ｓ）はない）（明快のために関係側面学習ニューロン応答は図２５に示されない）。第２のパターンの場合、２つのニューロンがパターンを学習したことに留意されたい。第２のパターンの再刺激が、より完全なパターン（より多くの求心神経）をリプレイし得る（「ＩＩ」第２のボックスの下の「Ｌ１ Ａ」内のパターン参照）。したがって、方法は、パターンを学習したニューロンのうちの１つまたは複数を刺激することによってより完全にパターンをリプレイし得ることに留意されたい。加えて、図２１は、同じ構造が、同じニューロンを用いて、いかにして多重化する（Ｉ〜Ｖの複数のパターンを学習しかつリプレイする）ことができるかを示す。言い換えれば、構造は、非常に拡張性がある。
学習改善および関連付け
構成要素リプレイは、ニューロンによって学習されたパターン以上にリプレイし得ることに留意されたい。この点は、微妙に見えるが非常に有用である。重要な洞察は、学習を改善するために、方法は、何らかのエンティティーが学習の改善（または失われた部分を与えること）を受けるものによって学習されているものより良いパターンをリプレイすることを必要とする。しかしながら、これは、パターンが、何らかのエンティティーがパターンを学習したものより良いことを意味するものではない。
図２６の例２６０２では、欠陥のある改善の概念は、学習改善を受けるエンティティーによって学習されたパターンの一部分だけをリプレイすることである。問題は、さらなる改善が、いかにして発生し得るかである。図２６の例２６０４では、リプレイは、学習改善を受けるエンティティーによってすでに学習されているものより忠実なパターン再生である。しかしながら、これは、学習改善を受けるためのエンティティーが、パターンについて何かを学習した唯一のエンティティーであることを意味するものではない。
特定のニューロンｘが特定の求心性入力を発火することを学習するという事実は、実際には、ニューロンｘが、求心性入力パターン内の発火のすべてより少なく学習することに起因する。一例が図２７に示されており、そこにおいて、求心神経ｄは、ニューロンｘによるパターン認識に対して依拠されていない。類似性として、単に目と鼻によって誰かの顔を認識することが考えられる。しかし、関係側面学習ニューロンは、照合ニューロンの発火と求心性パターン内の要素の潜在的に任意の１つまたはすべてとの間の関係を学習することができる。言い換えれば、関係側面学習ニューロンは、パターンニューロンｘの要素が依存するものによって制約されない。類似性として、第２の人について第１の人が「あれはＡ氏である」と言っているのを聴いている第３の人が考えられる。第３の人もまた、第２の人（Ａ氏）を見ることができる。おそらく、第１の人は、目と鼻だけでＡ氏を認識している（Ａ氏の顔の残りの部分は塞がれていると思われる）。これは、（Ａ氏の顔全体を見ることができる）第３の人が、Ａ氏の髪と、第２の人の「Ａ氏」としての識別との間の一致を学習することを妨げるものではない。したがって、関係側面学習ニューロンは、照合に依存して、求心性パターンと学習ニューロン（複数可）との差（たとえば、より大きい、より完全、または異なる部分）を再生することができる。
しかしながら、「求心神経」は、パターン学習ニューロン（たとえば、図２７の例２７０２内のニューロンｎ）に結合される必要はないことに留意されたい。ぺアにされた関係側面ニューロン（たとえば、ニューロンｔ）が存在する限り、ニューロンｎの発火は、求心性パターンと関係付けられ得、求心神経を用いてリプレイされ得る。これは、他の信号または活動を、学習されている求心神経によってプレイされるパターンと関連付けるオンライン方法を提供することができる。学習ニューロンのレベルにおける一致を学習する必要はないが、一致は、パターンの別の部分（図２７のニューロンｄなど）または相関性のあるニューロン発火（図２７のニューロンｎなど）におけるリプレイのために保持される（また、後で、またはより高いレベルで、または別のニューロンによって学習される）。したがって、図２８に示されるように、提案される方法は、刺激がもはや存在しなくなると、学習、比較を改善し、他の処理を継続する。
図２９は、本開示のいくつかの態様による、ニューラル学習改善に対する例示的な動作２９００を示す。２９０２で、入力のセット内のパターンのサブセットが、刺激を用いて学習され得る。２９０４で、パターンの要素とパターンのサブセットとの間の関係側面が学習され得る。２９０６で、出力のセット内のパターンが、刺激を用いないで学習された関係側面を使用してリプレイされ得る。４２０８で、入力のセット内のパターンの学習が、刺激を用いないで改善され得る。
メモリ転送および関連付け
リプレイの方法が与えられると、メモリ転送の方法が説明される。図３０は、意味のあるメモリ転送に対する重要な差異を指摘している。すなわち、元の求心神経を介するリプレイがないと、転送先が学習する何らかのものは、元の求心神経の側面ではないので、メモリの「転送」は、実際には発生し得ない。図３０の例３００２では、転送先は、パターン照合ニューロンの出力を学習することができる。重要な洞察は、有用な転送に対して、転送先は、後でパターンを認識するために、転送元に依拠する必要はないことである。図３０の例３００４において、これはその場合である。したがって、元の求心神経を介するリプレイは、メモリのオフライン（刺激を用いない）転送に対して必要とされる。これは、ニューラルネットワーク内のいずれかにおける構成要素リプレイによってもたらされる構成要素リプレイまたは体系的リプレイである。とにかく、パターン認識転送元は、リプレイのトリガリングに関与するが、転送先はそれに依拠しない。
メモリを転送するために、リプレイ方法は、元の求心神経を介してパターンをリプレイするために使用され得る。これは、反直観的に思えるが、転送先（新しいパターン照合者）および関連する関係側面ニューロンは、転送元（古いパターン照合者）および任意の関連する関係側面ニューロン（すなわち、転送元がリプレイ能力を有する／必要とする場合、それ以外は、関係側面ニューロンは必要とされない）に結合されないことに留意されたい。転送先は、リプレイされたパターンを学習することができる。転送先は、転送元によって学習されたパターンの異なる要素または側面を学習することができることに留意されたい。学習改善に関連する関係付けの上記の説明に対する類似性は、転送先は、求心性パターンと、１つまたは複数の追加の入力ニューロン（図２７の例２７０２内のニューロンｎ）との組合せを学習し得ることであることにも留意されたい。それ以外はここでは、それは、リプレイの一部分としてその他のパターンのリプレイによるものか、または追加の信号を求心性パターンと関係付けるためにそれらの追加の信号の単なる一致「動作（play）」としてのものである。いずれの場合でも、１つまたは複数の追加の入力は転送元に入力されてもされなくてもよく、さらに、転送先または関係側面学習ニューロンに入力されてもよい。
ひとたびメモリが転送されると、転送元（パターン照合ニューロン（複数可））と関係側面学習ニューロンの両方は、転送先が元のパターンを認識する能力を妨げることなく、再使用／消去／再割り当てされ得るかまたは新しい学習を受けることができることに留意されたい。
メモリは、求心神経（ニューロンａ〜ｄ）ではなく、またはそれらに加えて、関係側面ニューロン（図３１の例３１００内のニューロンｐ〜ｓ）にも基づいて転送され得ることにも留意されたい。しかしながら、転送先が関係側面ニューロンに依拠する場合、これらは、メモリが転送先によって保持されるべきであるならば、消去されない。
その上、関係側面学習ニューロンの新しい並び（bank）は、転送先によって学習されたパターンをリプレイするため、転送先の学習を改善するため、またはメモリを再び転送することを含めて上記で説明したさらなる処理のいずれかを達成するために、転送先に関連して使用され得る。これは、本開示の皮質構成構造の一般性とよく適合する。そのような構造が図３２に示される。両皮質領域内のニューロンに対して、同じ文字が使用されているが、これらは同じニューロンではないことに留意されたい。これは、利便性のためにすぎなく、識別は、皮質領域に対してローカルに行われる。
図３２のダイヤグラム３２００は、メモリ転送に対する結合性の例を示す。皮質領域は個別に示されているが、これらは、同様に、共通領域内の異なる領域、または皮質構成の広がり（stretch）に沿った点にすぎない。例３２００では、両皮質領域は、同じ求心神経を使用することができる。図３３のダイヤグラム３３００は、ひとたび転送が完了すると、第１の皮質領域への依存は存在しないことを示している。図３４の例示的なダイヤグラム３４００は、転送すると同時に第１および第２の皮質領域から個別に学習されたパターンを関連付ける、第３の皮質領域（転送および関連づけ）による拡張を示す。
最後に、メモリ転送に関して、いくつかの拡張および代替が存在する。第２または他のメモリへの転送は、元のメモリの消去と併せて達成され得る。リプレイは関係側面ニューロンを使用して達成され得るので、これは、リプレイの忠実性に影響を及ぼすことなく行われる。
メモリ転送と同じ時点で、リプレイが元のパターンの照合を発火させるようにトリガし、これは望まれるが学習改善は望まれない場合、層２（基準ニューロンまたはパターン照合ニューロン（複数可））から層３（関係側面学習）への入力は、抑制性結合によって遮断され得る。具体的には、層３のシナプスに対する層２のプレシナプス抑制は、たとえば、前の層３の出力（遅延された）または前の層２の出力（制御された）のいずれかによって駆動され得る。この概念の変形態が可能である。主たる概念は、手順の中の前の出力を、手順の中の特定の結合層を抑制するためのトリガとして使用することである。
上記の原理はまた、上記で説明したように、前の層１の出力によって層１の結合に対して層３を抑制するために、元の刺激への露出の間に使用されるプレシナプス抑制への代替に適用され得ることに留意されたい。変形態は、層１（求心神経）の代わりに直接刺激からのトリガ、または刺激もしくは層１からのポストシナプス抑制を含む。これらの場合のいずれにおいても、遅延は、手順の中の前の信号の時間枠を抑制されるべき手順ステップの時間までもたらすために使用され得る。
抑制される影響が比較的大きい時間スケールである（例えば、原因となるが長い時定数を有する減衰している影響）場合、精密な遅延は必ずしも必要とされるとは限らないことに留意されたい。シナプス抑制が短い時定数を有するとしても、より長い時間窓の間、抑制を維持するために、抑制性介在ニューロンを共振させることが使用され得る。それにもかかわらず、抑制の時間窓が狭い場合、時間の精密さはより有利である。時間遅延はまた、関係側面学習発火と原因となる求心神経発火とを相互相関させる学習法則を使用することによって（すなわち、無監督学習においてさえ、抑制性ニューロンまたは回路によって）学習され得、それによりそれらの発火を整列させる遅延を有するシナプス結合の重みを引き上げる。
図３５は、本開示のいくつかの態様による、ニューラル構成要素メモリ転送に対する例示的な動作３５００を示す。３５０２で、複数の求心性ニューロン出力内のパターンが、１つまたは複数の基準ニューロンを用いて参照され得る。３５０４で、複数の求心性ニューロン出力内のパターンと、１つまたは複数の基準ニューロンの出力との間の１つまたは複数の第１の関係側面が、１つまたは複数の第１の関係側面ニューロンを用いて照合され得る。３５０６で、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第１のパターンを出力するように複数の求心性ニューロンを誘発することによって、パターンが、１つまたは複数の転送先ニューロンに転送され得る。
図３６は、本開示のいくつかの態様による、ニューラル連想学習に対する例示的な動作３６００を示す。３６０２で、１つまたは複数の入力のセット内の第１のパターンが、第１の刺激を用いて参照され得る。３６０４で、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面が学習され得る。３６０６で、１つまたは複数の入力のセット内の第２のパターンが、第２の刺激を用いて参照され得る。３６０８で、入力のセット内の第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の関係側面が学習され得る。３６１０で、入力のセット内の第１および第２のパターンが、第１および第２の刺激なしに、学習された関係側面を使用してリプレイされ得る。３６１２で、第１および第２のパターンが、リプレイに基づいて関連付けられる。
パターン補完およびパターン分離
パターン補完は、システムが、事前に、求心神経内に元のパターンを誘起する元の刺激に露出され、次いでその後、システムが、元のパターンの一部分だけを誘起する部分的刺激に露出され、その部分以外は、リプレイ方法がパターンを補完するプロセスである。言い換えれば、パターン補完の能力は、補完応答を用いて劣化入力に応答する能力を表す。
本開示は、パターン補完の方法を提供する。パターン補完を達成するために、参照が、元のパターンに対応するものとして劣化パターンを照合または参照する参照（またはパターン学習者／照合者）が必要とされる。図３７は、いくつかの求心神経３７０２と２つの参照（またはパターン学習ニューロン）３７０４、３７０６とを有するネットワーク３７００を示す。元の（完全な）パターン３７０８もまた、図３７に示されている。一態様では、ニューロン３７０４は、このパターンを参照する（またはこのパターンを学習している）。さらに、ニューロン３７０４はまた、少なくとも劣化パターン３７１０を参照（照合）することができる。加えて、パターンのすべての要素は、スパイク３７１２によって示されるように、関係側面ニューロンによって学習され得る。劣化入力３７１４もまた示され、それは、参照に必要な最小の要素を満足し、それによりニューロン３７０４はまた、（単に完全な入力３７０８上ではなく）劣化入力３７１４上で発火することができる。
上記で説明したように、参照（照合）出力（図３７のニューロン３７０４）は、次いで、関係側面ニューロンを発火させ得る関係側面層に入力され得る。上記で説明した関係ニューロンから求心性ニューロンへのプレシナプス抑制結合性によって、すでに劣化パターン内にある元のパターンの要素が、抑制回路によってリプレイを抑制され得る。しかしながら、失われた要素は劣化パターン内にないので、それらは、抑制フィードバックを持たず、したがってリプレイされ得る。したがって、パターンは、図３８に示すように、リプレイ回路によって補完され得る。補完部分は、劣化されているが存在する部分（スパイク３８０４）に対して遅延された時点においてリプレイされ得る（スパイク３８０２）ことに留意されたい。これらの部分は、劣化されているが存在する部分に対して遅延を挿入することによって整列され得、それによりそれらは再編成され得る（スパイク３８０６）。
パターン補完の代替方法は、上記で説明したプレシナプス抑制回路を除去、抑制、または克服することである。その結果、劣化パターンが最初に発生する。次いで、遅延時間において、図３９に示されるように、完全なパターンがリプレイされ得る。
パターン補完の別の代替方法は、パターンの終了前に参照（照合）が発火するかどうかである。これが、図３７のニューロン３７０６を示す目的である。ニューロン３７０６が、中間パターン（たとえば、図３９のスパイク３９０２、３９０４および図４０のスパイク４００２）を発火することに留意されたい。これは、それが、劣化パターンの初期の部分を認識するからである。この場合、参照の後に発生する失われた部分（図４０のスパイク４００２）は、図４０に示されるように、求心神経の劣化部分を用いてリプレイされ得る。これは、関係側面ニューロンがニューロン３７０６に応答し得、したがってニューロン３７０６が発火した後に（前ではない）発火するように求心神経を誘発し得るからである。
最後に、より大きくより一般的なパターン補完も可能である。より大きいが意味するものは、作製されるパターンが、持続時間において遅延線範囲（たとえば、樹枝状遅延範囲）より長く、それによりパターンが、複数の基準ニューロンによって連続的に学習／参照され得ることである。より一般的が意味するものは、求心神経あたりに複数のスパイクを有するパターンである。次の階層的リプレイの説明の中で、詳細に説明される。
関係するが異なるプロセスは、パターン分離のプロセスである。これは、類似する記憶／学習されたパターンを修正してそれらの間の差異を増加させ、認識する刺激における識別を改良する能力を表す。本開示は、参照層ニューロン学習を分離し、したがって記憶されるパターンを分離するために、参照層において横方向抑制が使用され得るので、パターン分離に適合する。この学習は参照層および求心神経との関係に依存するので、分離は、関係側面学習の間にも発生し得る。類似するパターンが参照発火において混乱を引き起こす場合、これは、関係側面学習に悪影響を及ぼし、それにより類似する側面の学習を分離または抑制することに留意されたい。関係側面学習の間に、（複数のパターンに対応する）複数の参照が、単一の元のパターンに対して発火する場合、類似の影響が発生する。
図４１は、本開示のいくつかの態様による、ニューラルパターン補完に対する例示的な動作４１００を示す。４１０２で、１つまたは複数の入力のセット内の第１のパターンが、第１の刺激を用いて参照され得る。４１０４で、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面が学習され得る。４１０６で、１つまたは複数の入力のセット内の第２のパターンが、第２の刺激を用いて参照され、第２のパターンは、第１のパターンの劣化バージョンを備えることができる。４１０８で、第２のパターンから失われるかまたは劣化された、第１のパターンの少なくとも１つの要素が、第２のパターンまたは第２の刺激のうちの少なくとも一方に露出されたことに応答してリプレイされ得る。
図４２は、本開示のいくつかの態様による、ニューラルパターン分離に対する例示的な動作４２００を示す。４２０２で、１つまたは複数の入力のセット内の第１のパターンが、１つまたは複数の基準ニューロンを用いて参照され得る。４２０４で、第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の第１の関係側面が学習され得る。４２０６で、１つまたは複数の入力のセット内の第２のパターンが、１つまたは複数の基準ニューロンを用いて参照され、第２のパターンは、第１のパターンに類似する。４２０８で、第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の第２の関係側面が学習され得る。４２１０で、第１のパターンまたは第２のパターンの少なくとも一方が、第１のパターンと第２のパターンとの間の差を増加させるために修正され得る。４２１２で、修正し、１つまたは複数の基準ニューロンを使用した後、第１のパターンが第１の刺激を用いて参照され、第２のパターンが第２の刺激を用いて参照され、第１の刺激は、第２の刺激とは異なる。
パターン比較および一般化
本開示のいくつかの態様は、パターン比較の方法をサポートする。パターン比較は、２つの記憶または学習されたパターンを比較する能力を表す。パターンは、必ずしも、１つの基準（パターン学習）ニューロン内に記憶されている必要はないが、それは、ニューロンの関係側面集団によって、または複数の基準ニューロンによって、またはそれらの組合せによって記憶される。たとえば、オフライン（すなわち、元の刺激を用いない）で比較される、２つ以上のそのような記憶されたパターンが存在するか、または１つの記憶されたパターンと、１つの、刺激によって現在発生するパターンとが存在する。本開示は、これらを比較する方法を提供する。
図４３は、本開示のいくつかの態様による、ニューラル結合性ダイヤグラム４３００の一例を示す。一態様では、ニューロンｘは、第１のパターンに対する参照であり、ニューロンｙは第２のパターンに対する参照であり、一方、関係側面学習ニューロンｐ〜ｓは、上記で説明したように、両パターンのリプレイを学習している。２つのパターンを比較するために、発火して対応するパターンのリプレイを引き起こすように、ニューロンｘおよびｙの一方または他方を誘発するために、制御が使用され得る。さらに、求心神経（ａ〜ｄ）内のそのパターンが、（ｉ）対応するニューロン、または（ｉｉ）他のパターンに対応するニューロン、（ｉｉｉ）両方、によって照合されるか、または（ｉｖ）いずれによっても照合されないかがチェックされる。したがって、記憶されたパターンは、オフライン方式で比較され得る。同様に、記憶されたパターンは、求心神経内の（求心神経に対する刺激によって現在発生している）現在のパターンと比較され得る。
さらに、パターン比較は、横方向抑制によって可能にされる。一態様では、ニューロンｘおよびｙは、互いに横方向に抑制され得る（図４３に示されず）。ニューロンｘおよびｙによって認識／参照されたパターンに類似するパターンが、プレイ／リプレイされ、ニューロンｘが最初に発火する場合、それは、ニューロンｙが発火するのを抑制する。ある意味では、最初の／最良の照合が、その他を妨げる。対照的に、照合が発生しない場合、抑制は存在せず、最も弱い照合が助長される。照合が良好なほど、ニューロンｘまたはｙ（場合によって）が発火するまでの遅延は小さくなる。
２つのパターンが同じではないが類似する場合、この問題を一般化することが望ましい。一般化は、より高い層においてまたは同じ層において発生する。ダイヤグラム４３００において、ニューロンｔはより高い層のニューロンを表す一方で、ニューロンｚは、（パターン学習ニューロンと）同じ層におけるニューロンを表す。いずれの場合でも、（ｔまたはｚは）、リプレイを可能にする関係側面学習ニューロン（ニューロンｐ〜ｓ）に結合される必要はないことに留意されたい。加えて、より高い層の場合には、ニューロンｔは、ニューロンｘおよびｙに直接結合される必要はないが、さらに高い層において（より間接的に）結合され得る。
探索が、一連のパターンをリプレイすることによって実行され得る。目標パターンに対する照合が接近するにつれて、目標パターンに対応する基準ニューロンは、ますます発火しやすくなる（または、たとえば、その発火速度が増加する）。
一般化が、オンライン（プレイ中）またはオフライン（リプレイに伴って）発生する。パターンをプレイまたはリプレイすることによって、ニューロンを一般化することが、両パターンに対して発火することを学習する。重要なことは、発火は、抑制のように、互いに排他的にすることはないことである。たとえば、ニューロンｚの場合では、ニューロンｚが、ニューロンｘおよびｙによってすでに参照されているパターンを一般化することを望まれている場合、ニューロンｘまたはｙの発火は、ニューロンｚが発火することを抑制すべきではない。
図４４は、本開示のいくつかの態様による、ニューラル比較に対する例示的な動作４４００を示す。４４０２で、１つまたは複数の入力のセット内の第１のパターンが、第１の刺激を用いて参照され得る。４４０４で、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面が学習され得る。４４０６で、１つまたは複数の入力のセット内の第２のパターンが、第２の刺激を用いて参照され得る。４４０８で、第１のパターンがリプレイされ得る。４４１０で、第１のパターンが、リプレイならびに第１および第２のパターンの参照に基づいて第２のパターンと比較され得る。
図４５は、本開示のいくつかの態様による、ニューラルパターン一般化に対する例示的な動作４５００を示す。４５０２で、１つまたは複数の入力のセット内の第１のパターンが、第１の刺激を用いて参照され得る。４５０４で、入力のセット内の第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面が学習され得る。４５０６で、１つまたは複数の入力のセット内の第２のパターンが、第２の刺激を用いて参照され得る。４５０８で、入力のセット内の第２のパターンのうちの１つまたは複数の要素と第２のパターンの参照との間の関係側面が学習され得る。４５１０で、第１のパターンまたは第２のパターンの少なくとも一方が、第１および第２の刺激なしにリプレイされ得る。４５１２で、第１および第２のパターンの一般化が、リプレイに基づいて学習される。
水平（自動）関連付け
一態様では、特定の顔を見ることなど、特定の求心性パターンを引き起こす、感覚刺激が存在する。第１のパターン学習ニューロン（たとえば、第１の皮質領域内：視覚）が、上述の方法に従ってこのパターンを学習し得る。しかしながら、別の様式における同時（または近接した時点）の刺激、たとえば第２のパターン学習ニューロン（たとえば、第２の皮質領域内：聴覚）によって学習され得る大きな音のパターンが存在する。一態様では、第１のパターン学習ニューロンは、この第２の（聴覚の）感覚様式入力に結合されず、それによりそれは、この音をパターンの一部分として学習することはない。この状況が図４６に示される。
皮質領域のパターン学習ニューロン４６０２は、互いの求心神経に結合されないことに留意されたい。本開示の関係側面学習ニューロンによれば、関係側面学習ニューロン４６０４は、両様式からの求心神経とペアにされる。その上、それらは、視覚と聴覚の両方のパターン照合／学習ニューロンからの入力を受ける。したがって、関係側面学習ニューロンは、第２の皮質領域の関係側面ニューロン４６０８から第１の皮質領域の基準ニューロン４６１０の軸索までの樹枝状プロセス４６０６によって、図４６に示されるように、関係側面学習ニューロンが、他の皮質領域のエファレントに結合される。さらに、図４６に示されるように、第１の皮質領域の求心神経４６１２および第２の皮質領域の求心神経４６１４は、第３の皮質領域の求心神経に結合され得る。図４６のニューラル結合性ダイヤグラム４６００は、１つだけのそのような水平結合を１つだけの方向で示しているが、水平結合は、いずれの皮質領域からも、関係−学習側面ニューロン（relational-learning aspect neurons）のうちの１つまたは複数（さらにはそれぞれ）によってなされ得る。
リプレイをトリガすることによって、視覚および聴覚のパターンが異なるニューロンによって学習されたとしても、リプレイは、視覚と聴覚の両方のパターンを備え得ることに留意されたい。一態様では、オフライン学習またはメモリ転送は、両方を関連付け得、組み合わされたパターンを学習する（たとえば、転送先のパターン学習ニューロンは、視覚および聴覚の入力の組合せを照合することができる）。
学習速度および参照
刺激がもはや利用できなくなった後で、パターンの学習を改善することができる利点は、学習改善に関連して上記で説明された。しかしながら、本開示の方法は、さらに大きいポテンシャルを有する。上記の一般的な説明では、パターン学習（または少なくとも照合）ニューロンは、皮質構成の第２の層内で使用された。技術的には、このパターン学習ニューロンは、実際には、関係側面学習に対する参照である。発生していることは、各求心神経からのパターンの個別の要素を関連付けるために、関係側面学習が、パターン学習ニューロンの出力を使用していることである。その参照が、パターン学習ニューロンであるかまたは照合ニューロンであるかは、その目的に対しては重要ではない。言い換えれば、基準ニューロンは、パターン学習ニューロン（または照合ニューロン）以外のニューロンであってよい。一態様では、このニューロンは、求心神経に結合されることもない。参照は、図４７のニューラル結合性ダイヤグラム４７００のニューロンｙによって示される。
本開示の一態様では、パターン学習ニューロンが参照として使用され得る一方で、刺激は、パターンを有するパターン学習ニューロン（および強いフィードバックがあるときは求心神経）の一貫した発火を得ることが必要とされる限り学習すること以外は、全体的に説明したように利用可能であるが、必ずしも、ニューロンがそのパターンを他と（または単に他の類似するパターンと）区別し得る点まで、学習を成長させるのに十分に長いとは限らない。言い換えれば、刺激の間の学習は、パターン照合または特徴のある能力を実際に改善する必要はないので、非常に高速である。これは、同じニューロン（学習を改善する）を使用してオフライン（刺激を用いない）で行われるか、または他の概念／入力と関連するかまたは関連しない別のニューロンに転送される。
別の態様では、求心神経のうちの１つが参照として使用され得る。これは、その求心神経が、特定のパターンに一貫して関連しているとき（そしてたとえば、他のパターンが存在するときに発火しないとき）、十分に働く。実際、特定の求心神経が、すでに、パターンの良好なインジケータである場合、パターンを学習するための動機はほとんどない。しかし、これは必ずしも、そうであるとは限らない。たとえば、特定の帽子が、ある人の特にユニークなまたは独特な特徴であることがある。しかしながら、それは、その人の顔を認識することの重要さを取り除くものではない。求心神経が参照として使用される場合、他の求心神経をその求心神経に結合する必要はない。図４７のニューロンｙは、そのような状況を表す。関係側面学習ニューロンはまた、参照として使用され得ることに留意されたい。
さらに別の態様では、求心神経以外の個別のニューロン、または皮質領域の別の部分からのニューロンなどのパターン照合／学習ニューロン、またはニューラルネットワーク、または振動を使用してもしくはそうでなければ警報器（attention marker）のように刺激を発生するように制御されて周期的に励起されるニューロン、を使用することが可能である。たとえば、注意が、顔に固定されることが想定される。視覚システムは、顔に対応するパターンを有する求心神経を受けている。注意回路は、この顔の注意に一致する参照を視覚システムに与える。次いで、刺激（顔）が視覚から去るとリプレイすることができるための情報を記憶するために、参照が関係側面学習ニューロンによって使用され得る。リプレイするために、注意回路は、上記で説明したように、元の求心神経を介してリプレイをトリガする参照をトリガすることができる。次いで、これは、顔のパターンの学習、学習改善、学習もしくはメモリもしくは情報の転送、または関連付けのために使用され得る。
図４８は、本開示のいくつかの態様による、ニューラル構成要素学習改善および高速学習に対する例示的な動作４８００を示す。４８０２で、複数の求心性ニューロン出力内のパターンが、１つまたは複数のパターン学習ニューロンを用いて参照され得る。４８０４で、複数の求心性ニューロン出力内のパターンと、１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面が、１つまたは複数の関係側面ニューロンを用いて照合され得る。４８０６で、複数の求心性ニューロンのうちの１つまたは複数が、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように誘発され得る。４８０８で、１つまたは複数のパターン学習ニューロンによる学習が、誘発された実質的に類似するパターンを使用して改善され得る。
手順フロー、リプレイの繰り返しおよび方向付けフロー
本開示の一態様では、抑制が、手順のコースを方向付けるために使用され得る。手順という用語は、元の刺激、リプレイ、メモリ転送、または学習改善などを用いる関係側面学習などのプロセスに言及するために使用され得る。手順は、特定の制御もしくは入力（たとえば、刺激）によってトリガされるか、またはネットワークの振動の中の１つの状態である。とにかく、ひとたびトリガされると、プロセスは、図４９の手順フロー４９００で示されるように、内部動作（ネットワークの前の活動に基づく状態遷移）によるか、または外部制御（ローカルアレイまたはネットワーク領域の外部）によるか、またはそれらの組合せによって制御され得る。
内部制御の一例は、前の発火によって駆動されるループ内の、求心性発火、パターンニューロン発火、関係側面ニューロン発火、再度求心性発火、などの間の振動である（求心性発火は、パターンニューロン発火などを駆動し得る）。外部制御の一例は、外部制御信号（アレイの外部の他のニューロン）によって発火するように、パターンニューロンを誘発することができる。初期の活動は制御によってトリガされるが、以後に発生する振動は、自己起因（self-caused）であるように、組合せが使用され得る。これに対する変形態は、制御された振動ではなく自己トリガを備え得る。とにかく、励起に加えて、抑制が、手順フロー（どの状態が次に発生するかを判断する）に影響を及ぼすために使用され得る。上記の説明では、特定の抑制（プレシナプス）が、関係側面ニューロンが元の刺激（刺激によって直接駆動されるかまたは求心性発火によって駆動され、関係側面学習ニューロンから求心神経に戻る結合に影響を及ぼす）に露出している間にリプレイをトリガすることを防止するために使用されたことに留意されたい。
しかしながら、この一般的概念は、いくつかの代替方法、および他の手順に適用され得る。第１に、メモリ転送プロセスは、後者の一例と考えられる。メモリ転送に対するリプレイの間、求心神経は、パターンをプレイバックすることができる。パターンは、関係側面学習ニューロンに結合されるパターン照合ニューロン（または参照）によって照合され得る。したがって、リプレイは、再びリプレイを引き起こす。上述の特定の抑制によって、繰り返されるリプレイがブロックされる。このブロックは、繰り返しのリプレイが望まれるか、または別の制御が繰り返しを引き起こすために加えられる（たとえば、参照またはパターンニューロンの周期的刺激）場合に、取り除かれる。
しかしながら、繰り返しは望ましくなく、さらに、関係側面ニューロンの再発火さえも望ましくない。これに対する理由は、（関係側面の）学習改善は、（たとえば、メモリ転送の間）望ましくないことにある。これをブロックするために、手順の中の前の事象（発火）は、望ましくない事象を抑制するためのドライバとして使用され得る。具体的には、基準ニューロンまたはパターン照合ニューロンからの入力を受けるため、かつその同じニューロンと関係側面ニューロンとの間の興奮性結合に出力するために、抑制性介在ニューロンが結合され得る。手順フロー内のステップ間の時間に等しい遅延を割り当てることによって、介在ニューロンは、適時に望ましくない事象の原因をブロックする。したがって、内部結合性は、任意の特定の手順に対して望ましい手順フローを確実にするように設計され得る。
階層的および多層リプレイならびにマルチパートパターン補完
本開示のいくつかの態様によれば、階層的および多層リプレイの概念は、ネットワークの複数の層において上記で説明したリプレイ構造の概念を適用し、１つまたは複数の層において階層的に、潜在的にリプレイする概念を表す。複数の層によって意味されるものは、ネットワーク内の一般化または抽象化の変化するレベルにおけるニューロンを備え得る。階層的リプレイによって意味されるものは、特定のパターン学習または参照層（ニューロン）においてリプレイを誘発することが、結果として、それらのパターン学習の求心神経または参照層ニューロン内の学習された／参照されたパターンのリプレイを誘発することである。したがって、リプレイは、層状ネットワーク内でトップダウンの順番で誘発される。
階層的リプレイは、図５０に示される５０００を例として説明される。図５０のニューロンｘ、ｙおよびｚは、パターン学習ニューロン（または参照）である。しかしながら、ニューロンｘおよびｙが求心神経ａおよびｂ内のパターンを学習または参照する一方で、ニューロンｚはニューロンｘおよびｙ内のパターンを学習または参照する。同様に、ニューロンｐおよびｑがネットワークの下部に対する関係側面ニューロンである一方で、ニューロンｔおよびｕは、上部に対する関係側面ニューロンである。下位層におけるパターンのリプレイは、上位層におけるリプレイによって引き起こされることに留意されたい。一態様では、上位層におけるリプレイは、ニューロンｚの発火によって引き起こされる。たとえば、発火シーケンスは、次のように進行する：ｚ→ｔ、ｕ→ｘ、ｙ→ｐ、ｑ→ａ、ｂなど。
戦略的抑制結合または興奮性ブーストを用いて、より大きいパターン補完など、さらなる処理目標を達成することが可能になる。パターン補完に対して、ニューロンｘによって照合されたパターンは、外部刺激によって発生し、ニューロンｙによって照合されるパターンは、その結果としてリプレイされることが望ましい。ニューロンｘによって照合されるパターンが発生するので、ニューロンｘが発火する。感受性をブーストするかまたはニューロンｚの閾値を引き下げることによって、このニューロンは、結果的に、発火するように誘発される。次に、これは、上記で説明した階層的リプレイを誘発するが、いくつかの重要な例外を有する。第１に、ニューロンｘの元のパターンはすでに発生している。このことは、ニューロンｘが（少なくとも短期間）さらに発火するのを抑制することによって、ニューロンｘによる参照されたパターンのリプレイを抑制するために使用され得る。第２に、ニューロンｙのパターンはまだ発生していないので、ニューロンｙは、発火することを抑制されない。したがって、ニューロンｐおよびｑは、ニューロンｙによる照合された／参照されたパターンのリプレイだけを引き起こすために発火することができる。例示的なプロセスは、図５１の例示的なフローチャート５１００に要約され得る。
階層的リプレイは、「連想補完（associative completion）」と呼ばれるプロセスを含む、追加のさらなる処理のための手段を提供する。たとえば、機械は、部分Ａ、Ｂ、Ｃの順序付きリストによって抽象的に示されたパターンのシーケンス（たとえば、鳥の鳴き声またはスピーチ）を学習している。一態様では、部分Ｂが部分Ａに続き、部分Ｃが部分Ｂに続く。一般性を失うことなく、関連付けの中の１つのステップ、たとえばステップＡ→Ｂに焦点を当てる。一態様では、図５０に示されるネットワークは、ニューロンｘおよびｙにおいてパターンＡおよびＢを学習する。その上、Ａ→Ｂの順序は、ニューロンｚが（ＡおよびＢを参照する）ニューロンｘおよびｙの発火のテンポラル側面を学習するので、ニューロンｚによって学習される。機械が、パターンＡだけをリプレイすることによって始まる場合、これは、（最初の部分もリプレイであったことを除いて）パターン補完に対して正確に上記で説明したとおり、関連付けられたＢのリプレイをトリガするために使用され得る。要素をネットワークに追加することによって、Ｃのリプレイが、Ｂのリプレイに基づいて引き起こされ、以下同様である。実際には、シーケンスのリプレイは段階的に引き起こされる。
次に、注意深い読者は、「Ｂは、次に、Ａのリプレイを、Ｃの代わりにまたはＣに加えて引き起こさないか」と質問するかもしれない。これを回避するために、すなわちシーケンスの順方向フローを維持するために修正が行われなければ、これは、実際に起こり得る。これを行うための１つの方法は、層２のニューロンのそれぞれの再発火を、それがすでに発火した後、ある期間の間抑制することである。この期間は、互いに離れた２つの部分である部分間（すなわち、１つの部分に中間を有する）の持続時間に対応する。
次に、注意深い読者は、「それは、Ａ→Ａ→ＢまたはＡ→Ｂ→Ａ→Ｃなどのシーケンスのリプレイを防止しないのでは」と質問するかもしれない。その答えは必要ではない。部分Ａを照合するために唯一のニューロンが存在する場合、これは問題となる。しかしながら、異なるニューロンが、シーケンス内の異なる点においてパターンＡを学習するように横方向の抑制を有しながら、複数の層２のニューロンがパターンＡを学習することが可能である場合、この問題は克服され得る。
最後に、制御入力もまた、ネットワークのいくつかのレベルに対してリプレイを制限するために供給される。たとえば、リプレイは、下位層の基準ニューロンの発火を抑制することによって上位層（概念的抽象またはパターン認識のより高い層）に限定されるように制御され得る。
図５２は、本開示のいくつかの態様による、ニューラルパターンシーケンス補完に対する例示的な動作５２００を示す。５２０２で、１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスが、基準ニューロンの第２の層を用いて参照され得る。５２０４で、パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面が学習され得る。５２０６で、基準ニューロンの第２の層内のパターンシーケンスが、基準ニューロンの第３の層を用いて参照され得る。５２０８で、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面が学習され得る。５２１０で、第１の層のニューロン内のパターンの後の部分が、パターンの前の部分を作成するときにリプレイされ得る。
図５３は、本開示のいくつかの態様による、ニューラルパターン階層的リプレイに対する例示的な動作５３００を示す。５３０２で、１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスが、基準ニューロンの第２の層を用いて参照され得る。５３０４で、各パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面が学習され得る。５３０６で、基準ニューロンの第２の層内のパターンシーケンスが、基準ニューロンの第３の層を用いて参照され得る。５３０８で、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面が学習され得る。５３１０で、第２の層内のパターンシーケンスの参照のリプレイが、基準ニューロンの第３の層に基づいて引き起こされ得る。５３１２で、第１の層内のパターンの部分のそのシーケンスが、第２の層内のパターンシーケンスの参照のリプレイを引き起こすことに基づいてリプレイされ得る。
図５４は、本開示のいくつかの態様による、階層なしに実行され得るニューラルパターンシーケンス補完に対する例示的な動作５４００を示す。５４０２で、複数の求心性ニューロン内のパターンの複数の部分が、複数の基準ニューロンを用いて参照され得る。５４０４で、パターンの部分のうちの１つまたは複数が、求心性ニューロンと、１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、１つまたは複数の関係側面ニューロンを用いて、基準ニューロンのサブセットに関連付けられる。５４０６で、パターンの１つまたは複数の残された部分が、第２の値より大きい遅延に基づいて、１つまたは複数の関係側面ニューロンを用いて、基準ニューロンのサブセットに関連付けられる。５４０８で、パターンの１つまたは複数の残された部分のリプレイが、求心性ニューロンによってパターンの１つまたは複数の部分の要素を発火することに基づいて、基準ニューロンのサブセットによって誘発され得る。
図５５は、本開示のいくつかの態様による、汎用プロセッサ５５０２を使用する、ニューラル構成要素リプレイ、学習改善、メモリ転送、連想学習、パターン比較、パターン補完、パターン分離、パターン一般化、階層を有するパターンシーケンス補完、およびパターン階層的リプレイのための前述の方法の例示的なソフトウェア実装形態５５００を示す。計算ネットワーク（ニューラルネットワーク）の各結合（シナプス）に関連付けられた重みおよび遅延は、メモリブロック５５０４に記憶することができ、汎用プロセッサ５５０２において実行される前述の方法に関連した命令は、プログラムメモリ５５０６からロードされ得る。
本開示の一態様では、汎用プロセッサ５５０２にロードされた命令は、１つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照するためのコードと、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合するためのコードと、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発するためのコードと、誘発された実質的に類似するパターンを使用して１つまたは複数のパターン学習ニューロンによって学習を改善するためのコードと、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第１のパターンを出力するように複数の求心性ニューロンを誘発することによって１つまたは複数の転送先ニューロンにパターンを転送するためのコードと、構造可塑性を使用して１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を学習するためのコードとを備え得る。別の態様では、汎用プロセッサ５５０２にロードされた命令は、刺激を用いて入力のセット内のパターンのサブセットを学習するためのコードと、パターンの要素とパターンのサブセットとの間の関係側面を学習するためのコードと、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイするためのコードと、刺激を用いないで入力のセット内のパターンの学習を改善するためのコードとを備え得る。
さらに別の態様では、汎用プロセッサ５５０２にロードされた命令は、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するためのコードと、入力のセット内の第１のパターンの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するためのコードと、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照するためのコードと、入力のセット内の第２のパターンの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習するためのコードと、第１および第２の刺激を用いないで学習された関係側面を使用して入力のセット内の第１および第２のパターンをリプレイするためのコードと、リプレイに基づいて第１および第２のパターンを関連付けるためのコードと、第１のパターンと第２のパターンとを比較するためのコードと、第２のパターンまたは第２の刺激の少なくとも一方に露出されたことに応答して第２のパターンから失われるかまたは劣化された第１のパターンの少なくとも１つの要素をリプレイするためのコードと、第１のパターンと第２のパターンとの間の差を増加させるために第１のパターンまたは第２のパターンの少なくとも一方を修正するためのコードと、１つまたは複数の基準ニューロンを使用して修正した後、第２の刺激とは異なる第１の刺激を用いて第１のパターンを参照し、第２の刺激を用いて第２のパターンを参照するためのコードと、第１および第２のパターンの一般化を学習するためのコードとを備え得る。
さらに別の態様では、汎用プロセッサ５５０２にロードされた命令は、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するためのコードと、各パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習するためのコードと、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照するためのコードと、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習するためのコードと、基準ニューロンの第３の層に基づいて第２の層内のパターンシーケンスの参照のリプレイを引き起こすためのコードと、第２の層内のパターンシーケンスの参照のリプレイを引き起こすことに基づいて第１の層内のパターンの部分のそのシーケンスをリプレイするためのコードと、パターンの前の部分を作成時に第１の層のニューロン内のパターンの後の部分をリプレイするためのコードとを備え得る。
さらに別の態様では、汎用プロセッサ５５０２にロードされた命令は、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照するためのコードと、１つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、パターンの部分のうちの１つまたは複数を基準ニューロンのサブセットに関係付けるためのコードと、１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい遅延に基づいてパターンの１つまたは複数の残りの部分を基準ニューロンのサブセットに関係付けるためのコードと、求心性ニューロンによってパターンの１つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによってパターンの１つまたは複数の残りの部分のリプレイを誘発するためのコードとを備え得る。
図５６は、本開示のいくつかの態様による、ニューラル構成要素リプレイ、学習改善、メモリ転送、連想学習、パターン比較、パターン補完、パターン分離、パターン一般化、階層を用いるパターンシーケンス補完、およびパターン階層的リプレイのための前述の方法の例示的な実装形態５６００を示しており、ここで、メモリ５６０２は、相互接続ネットワーク５６０４を経由して計算ネットワーク（ニューラルネットワーク）の個々の（分散型）処理ユニット（ニューラルプロセッサ）５６０６とインターフェース接続され得る。計算ネットワーク（ニューラルネットワーク）の１つまたは複数の結合（シナプス）に関連する１つまたは複数の重みおよび遅延は、相互接続ネットワーク５６０４の結合（複数可）を介してメモリ５６０２から各処理ユニット（ニューラルプロセッサ）５６０６にロードされ得る。
本開示の一態様では、処理ユニット５６０６は、１つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合し、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発し、誘発された実質的に類似するパターンを使用して１つまたは複数のパターン学習ニューロンによって学習を改善し、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第１のパターンを出力するように複数の求心性ニューロンを誘発することによって１つまたは複数の転送先ニューロンにパターンを転送し、構造可塑性を使用して１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を学習するように構成され得る。別の態様では、処理ユニット５６０６は、刺激を用いて入力のセット内のパターンのサブセットを学習し、パターンの要素とパターンのサブセットとの間の関係側面を学習し、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイし、刺激を用いないで入力のセット内のパターンの学習を改善するように構成され得る。
さらに別の態様では、処理ユニット５６０６は、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、入力のセット内の第１のパターンの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習し、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照し、入力のセット内の第２のパターンの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習し、第１および第２の刺激を用いないで学習された関係側面を使用して入力のセット内の第１および第２のパターンをリプレイし、リプレイに基づいて第１および第２のパターンを関連付け、第１のパターンと第２のパターンとを比較し、第２のパターンまたは第２の刺激の少なくとも一方に露出されたことに応答して第２のパターンから失われるかまたは劣化された第１のパターンの少なくとも１つの要素をリプレイし、第１のパターンと第２のパターンとの間の差を増加させるために第１のパターンまたは第２のパターンの少なくとも一方を修正し、１つまたは複数の基準ニューロンを使用して修正した後、第２の刺激とは異なる第１の刺激を用いて第１のパターンを参照し、第２の刺激を用いて第２のパターンを参照し、第１および第２のパターンの一般化を学習するように構成され得る。
さらに別の態様では、処理ユニット５６０６は、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、各パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習し、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照し、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習し、基準ニューロンの第３の層に基づいて第２の層内のパターンシーケンスの参照のリプレイを引き起こし、第２の層内のパターンシーケンスの参照のリプレイを引き起こすことに基づいて第１の層内のパターンの部分のそのシーケンスをリプレイし、パターンの前の部分を作成時に第１の層のニューロン内のパターンの後の部分をリプレイするように構成され得る。
さらに別の態様では、処理ユニット５６０６は、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照し、１つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、パターンの部分のうちの１つまたは複数を基準ニューロンのサブセットに関係付け、１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい遅延に基づいてパターンの１つまたは複数の残りの部分を基準ニューロンのサブセットに関係付け、求心性ニューロンによってパターンの１つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによってパターンの１つまたは複数の残りの部分のリプレイを誘発するように構成され得る。
図５７は、本開示のいくつかの態様による、分散型重み／遅延メモリ５７０２に基づくニューラルテンポラルコーディング、および分散型処理ユニット（ニューラルプロセッサ）５７０４のための、上述した方法の例示的実装形態５７００を示す。図５７に示すように、１つのメモリバンク５７０２が、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット５７０４と直接インターフェースされてよく、メモリバンク５７０２は、処理ユニット（ニューラルプロセッサ）５７０４に関連付けられた１つまたは複数の結合（シナプス）の１つまたは複数の重みおよび遅延を記憶することができる。
本開示の一態様では、処理ユニット５７０４は、１つまたは複数のパターン学習ニューロンを用いて複数の求心性ニューロン出力内のパターンを参照し、１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を照合し、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似するパターンを出力するように複数の求心性ニューロンのうちの１つまたは複数を誘発し、誘発された実質的に類似するパターンを使用して１つまたは複数のパターン学習ニューロンによって学習を改善し、１つまたは複数の基準ニューロンによって参照されたパターンと実質的に類似する第１のパターンを出力するように複数の求心性ニューロンを誘発することによって１つまたは複数の転送先ニューロンにパターンを転送し、構造可塑性を使用して１つまたは複数の関係側面ニューロンを用いて複数の求心性ニューロン出力内のパターンと１つまたは複数の基準ニューロンの出力との間の１つまたは複数の関係側面を学習するように構成され得る。別の態様では、処理ユニット５７０４は、刺激を用いて入力のセット内のパターンのサブセットを学習し、パターンの要素とパターンのサブセットとの間の関係側面を学習し、刺激を用いないで学習された関係側面を使用して入力のセット内のパターンをリプレイし、刺激を用いないで入力のセット内のパターンの学習を改善するように構成され得る。
さらに別の態様では、処理ユニット５７０４は、第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、入力のセット内の第１のパターンの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習し、第２の刺激を用いて１つまたは複数の入力のセット内の第２のパターンを参照し、入力のセット内の第２のパターンの１つまたは複数の要素と第２のパターンの参照との間の関係側面を学習し、第１および第２の刺激を用いないで学習された関係側面を使用して入力のセット内の第１および第２のパターンをリプレイし、リプレイに基づいて第１および第２のパターンを関連付け、第１のパターンと第２のパターンとを比較し、第２のパターンまたは第２の刺激の少なくとも一方に露出されたことに応答して第２のパターンから失われるかまたは劣化された第１のパターンの少なくとも１つの要素をリプレイし、第１のパターンと第２のパターンとの間の差を増加させるために第１のパターンまたは第２のパターンの少なくとも一方を修正し、１つまたは複数の基準ニューロンを使用して修正した後、第２の刺激とは異なる第１の刺激を用いて第１のパターンを参照し、第２の刺激を用いて第２のパターンを参照し、第１および第２のパターンの一般化を学習するように構成され得る。
さらに別の態様では、処理ユニット５７０４は、基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、各パターンの１つまたは複数の要素とパターンの部分のそのシーケンスの参照との間の関係側面を学習し、基準ニューロンの第３の層を用いて基準ニューロンの第２の層内のパターンシーケンスを参照し、パターンシーケンスの１つまたは複数の要素と基準ニューロンの第２の層内のパターンシーケンスの参照との間の関係側面を学習し、基準ニューロンの第３の層に基づいて第２の層内のパターンシーケンスの参照のリプレイを引き起こし、第２の層内のパターンシーケンスの参照のリプレイを引き起こすことに基づいて第１の層内のパターンの部分のそのシーケンスをリプレイし、パターンの前の部分を作成時に第１の層のニューロン内のパターンの後の部分をリプレイするように構成され得る。
さらに別の態様では、処理ユニット５７０４は、複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照し、１つまたは複数の関係側面ニューロンを用いて、求心性ニューロンと１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、パターンの部分のうちの１つまたは複数を基準ニューロンのサブセットに関係付け、１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい遅延に基づいてパターンの１つまたは複数の残りの部分を基準ニューロンのサブセットに関係付け、求心性ニューロンによってパターンの１つまたは複数の部分の要素を発火させることに基づいて基準ニューロンのサブセットによってパターンの１つまたは複数の残りの部分のリプレイを誘発するように構成され得る。
本開示内の構成要素を説明するために、ニューロンまたはシナプスなどの特定の用語が使用されるが、本開示の概念は、同等のユニットまたは要素を用いて同等の代替形態で実装され得ることを理解されたい。
本明細書の実施形態は、スパイキングニューラルネットワークに対して示されるが、限定はしないが、レートベースニューラルネットワークを含めて他のニューラルネットワークタイプに対してこれらの概念を使用することも同様に、本開示の範囲内にある。
上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々な（１つまたは複数の）ハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。一般に、図に示す動作がある場合、それらの動作は、同様の番号をもつ対応する相当物のミーンズプラスファンクション構成要素を有し得る。たとえば、図８、図１６、図２３、図２４、図２９、図３５、図３６、図４１、図４２、図４４、図４５、図４８、図５２、図５３、および図５４に示される動作８００、１６００、２３００、２４００、２９００、３５００、３６００、４１００、４２００、４４００、４５００、４８００、５２００、５３００、および５４００は、図８Ａ、図１６Ａ、図２３Ａ、図２４Ａ、図２９Ａ、図３５Ａ、図３６Ａ、図４１Ａ、図４２Ａ、図４４Ａ、図４５Ａ、図４８Ａ、図５２Ａ、図５３Ａ、および図５４Ａに示される構成要素８００Ａ、１６００Ａ、２３００Ａ、２４００Ａ、２９００Ａ、３５００Ａ、３６００Ａ、４１００Ａ、４２００、４４００Ａ、４５００Ａ、４８００Ａ、５２００Ａ、５３００Ａ、および５４００Ａに対応する。
本明細書で使用する「判断」という用語は、多種多様なアクションを包含する。たとえば、「判断」は、計算、算出、処理、導出、調査、探索（たとえば、テーブル、データベースまたは別のデータ構造での探索）、確認などを含み得る。また、「判断」は、受信（たとえば、情報を受信すること）、アクセス（たとえば、メモリ中のデータにアクセスすること）などを含むことができる。また、「判断」は、解決、選択、選出、確立などを含むことができる。
本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂまたはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃおよびａ−ｂ−ｃを含むものとする。
本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行できる。汎用プロセッサはマイクロプロセッサとすることができるが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装することもできる。
本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体中に常駐することができる。使用できる記憶媒体のいくつかの例には、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散できる。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合できる。代替として、記憶媒体はプロセッサに一体化することができる。
本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は特許請求の範囲から逸脱することなく変更され得る。
説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ここで使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令をその上に記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
さらに、本明細書に記載の方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードおよび／または他の方法で取得できることを諒解されたい。たとえば、本明細書で説明した方法を実行するための手段の転送を可能にするために、そのようなデバイスをサーバに結合し得る。代替的に、本明細書で説明される様々な方法は、ユーザ端末および／または基地局がストレージ手段をデバイスに結合するかまたは与えると様々な方法を得ることができ得るように、ストレージ手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなど物理記憶媒体など）によって提供し得る。さらに、本明細書で説明する方法および技法をデバイスに与えるための任意の他の適切な技法を利用し得る。
特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。上記の方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形を行うことができる。
上記は本開示の態様を対象とするが、本開示の他の態様およびさらなる態様は、それらの基本的範囲から逸脱することなく考案され得、それらの範囲は以下の特許請求の範囲によって判断される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ニューラル連想学習の方法であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習することと、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照することと、
入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習することと、
前記第１および前記第２の刺激を用いないで前記学習された関係側面を使用して入力の前記セット内の前記第１および前記第２のパターンをリプレイすることと、
前記リプレイに基づいて前記第１のパターンと前記第２のパターンとを関連付けることとを備える、方法。
［Ｃ２］
無監督学習を使用して前記刺激を用いないで、入力の前記セット内の前記第１のパターンと入力の前記セット内の前記第２のパターンとの関連を学習することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記第２のパターンを学習することが、前記刺激を用いて前記第２のパターンを学習または参照するニューロンと結合されない１つまたは複数のニューロンによって実行される、Ｃ１に記載の方法。
［Ｃ４］
前記第１および前記第２のパターンの前記リプレイが、前記第１および前記第２のパターンの参照に対して依拠されるより多くの、前記第１および前記第２のパターンの要素を備える、Ｃ１に記載の方法。
［Ｃ５］
ニューラル連想学習のための装置であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するように構成された第３の回路と、
入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習するように構成された第４の回路と、
前記第１および前記第２の刺激を用いないで前記学習された関係側面を使用して、入力の前記セット内の前記第１および前記第２のパターンをリプレイするように構成された第５の回路と、
前記リプレイに基づいて前記第１および前記第２のパターンを関連付けるように構成された第６の回路とを備える、装置。
［Ｃ６］
無監督学習を使用して前記刺激を用いないで、入力の前記セット内の前記第１のパターンと入力の前記セット内の前記第２のパターンとの関連を学習するように構成された第７の回路をさらに備える、Ｃ５に記載の装置。
［Ｃ７］
前記第２のパターンを学習することが、前記刺激を用いて前記第２のパターンを学習または参照するニューロンと結合されない１つまたは複数のニューロンによって実行される、Ｃ５に記載の装置。
［Ｃ８］
前記第１および前記第２のパターンの前記リプレイが、前記第１および前記第２のパターンの参照に対して依拠されるより多くの、前記第１および前記第２のパターンの要素を備える、Ｃ５に記載の装置。
［Ｃ９］
ニューラル連想学習のための装置であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するための手段と、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するための手段と、
入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習するための手段と、
前記第１および前記第２の刺激を用いないで前記学習された関係側面を使用して、入力の前記セット内の前記第１および前記第２のパターンをリプレイするための手段と、
前記リプレイに基づいて前記第１のパターンと前記第２のパターンとを関連付けるための手段とを備える、装置。
［Ｃ１０］
無監督学習を使用して前記刺激を用いないで、入力の前記セット内の前記第１のパターンと入力の前記セット内の前記第２のパターンとの関連を学習するための手段をさらに備える、Ｃ９に記載の装置。
［Ｃ１１］
前記第２のパターンを学習することが、前記刺激を用いて前記第２のパターンを学習または参照するニューロンと結合されない１つまたは複数のニューロンによって実行される、Ｃ９に記載の装置。
［Ｃ１２］
前記第１および前記第２のパターンの前記リプレイが、前記第１および前記第２のパターンの参照に対して依拠されるより多くの、前記第１および前記第２のパターンの要素を備える、Ｃ９に記載の装置。
［Ｃ１３］
コンピュータ可読媒体を備えるニューラル連想学習のためのコンピュータプログラム製品であって、前記コンピュータ可読媒体が、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習し、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照し、
入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習し、
前記第１および前記第２の刺激を用いないで前記学習された関係側面を使用して、入力の前記セット内の前記第１および前記第２のパターンをリプレイし、
前記リプレイに基づいて前記第１のパターンと前記第２のパターンとを関連付けるためのコードを備える、コンピュータプログラム製品。
［Ｃ１４］
ニューラル比較の方法であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習することと、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照することと、
前記第１のパターンをリプレイすることと、
前記第１および前記第２のパターンの前記リプレイおよび前記参照に基づいて、前記第１のパターンと前記第２のパターンとを比較することとを備える、方法。
［Ｃ１５］
前記比較が、基準ニューロン応答の特性を発火することに基づく、Ｃ１４に記載の方法。
［Ｃ１６］
前記第１のパターンの参照および前記第２のパターンの参照が互いに抑制する、Ｃ１４に記載の方法。
［Ｃ１７］
前記第１のパターンを参照することが、前記第１のパターンを学習することを備え、
前記第２のパターンを参照することが、前記第２のパターンを学習することを備える、Ｃ１４に記載の方法。
［Ｃ１８］
ニューラル比較のための装置であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するように構成された第３の回路と、
前記第１のパターンをリプレイするように構成された第４の回路と、
前記第１および前記第２のパターンの前記リプレイおよび前記参照に基づいて、前記第１のパターンと前記第２のパターンとを比較するように構成された第５の回路とを備える、装置。
［Ｃ１９］
前記比較が、基準ニューロン応答の特性を発火することに基づく、Ｃ１８に記載の装置。
［Ｃ２０］
前記第１のパターンの参照および前記第２のパターンの参照が互いに抑制する、Ｃ１８に記載の装置。
［Ｃ２１］
前記第１のパターンを参照することが、前記第１のパターンを学習することを備え、
前記第２のパターンを参照することが、前記第２のパターンを学習することを備える、Ｃ１８に記載の装置。
［Ｃ２２］
ニューラル比較のための装置であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するための手段と、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するための手段と、
前記第１のパターンをリプレイするための手段と、
前記第１および前記第２のパターンの前記リプレイおよび前記参照に基づいて、前記第１のパターンと前記第２のパターンとを比較するための手段とを備える、装置。
［Ｃ２３］
前記比較が、基準ニューロン応答の特性を発火することに基づく、Ｃ２２に記載の装置。
［Ｃ２４］
前記第１のパターンの参照および前記第２のパターンの参照が互いに抑制する、Ｃ２２に記載の装置。
［Ｃ２５］
前記第１のパターンを参照することが、前記第１のパターンを学習することを備え、
前記第２のパターンを参照することが、前記第２のパターンを学習することを備える、Ｃ２２に記載の装置。
［Ｃ２６］
コンピュータ可読媒体を備えるニューラル比較のためのコンピュータプログラム製品であって、前記コンピュータ可読媒体が、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習し、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照し、
前記第１のパターンをリプレイし、
前記第１および前記第２のパターンの前記リプレイおよび前記参照に基づいて、前記第１のパターンと前記第２のパターンとを比較するためのコードを備える、コンピュータプログラム製品。
［Ｃ２７］
ニューラルパターン補完の方法であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習することと、
第２の刺激を用いて１つまたは複数の入力の前記セット内の、前記第１のパターンの劣化バージョンを備える第２のパターンを参照することと、
前記第２のパターンまたは前記第２の刺激の少なくとも一方に露出することに応答して、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの少なくとも１つの要素をリプレイすることとを備える、方法。
［Ｃ２８］
前記第２の刺激または前記第２のパターンの少なくとも一方への露出時に前記第１のパターンをリプレイすることをさらに備える、Ｃ２７に記載の方法。
［Ｃ２９］
前記第１のパターンの１つまたは複数の非喪失要素あるいは前記第１のパターンの１つまたは複数の非劣化要素の少なくとも１つの再生を抑制することをさらに備える、Ｃ２７に記載の方法。
［Ｃ３０］
前記第１のパターンを再作成するために、前記少なくとも１つのリプレイされた要素を用いて前記少なくとも１つの劣化されたパターン要素を再整列させることをさらに備える、Ｃ２７に記載の方法。
［Ｃ３１］
前記第２のパターンを参照することが、前記第１のパターンの終了前に発生し、
前記第２のパターンから喪失したかまたは劣化された前記第１のパターンの前記少なくとも１つの要素をリプレイすることが、前記第１のパターンのより完全なバージョンを再生するために前記第２のパターンを参照した後に発生する、Ｃ２７に記載の方法。
［Ｃ３２］
ニューラルパターン補完のための装置であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、
第２の刺激を用いて１つまたは複数の入力の前記セット内の、前記第１のパターンの劣化バージョンを備える第２のパターンを参照するように構成された第３の回路と、
前記第２のパターンまたは前記第２の刺激のうちの少なくとも一方に露出することに応答して、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの少なくとも１つの要素をリプレイするように構成された第４の回路とを備える、装置。
［Ｃ３３］
前記第２の刺激または前記第２のパターンの少なくとも一方への露出時に前記第１のパターンをリプレイするように構成された第５の回路をさらに備える、Ｃ３２に記載の装置。
［Ｃ３４］
前記第１のパターンの１つまたは複数の非喪失要素あるいは前記第１のパターンの１つまたは複数の非劣化要素の少なくとも１つの再生を抑制するように構成された第５の回路をさらに備える、Ｃ３２に記載の装置。
［Ｃ３５］
前記第１のパターンを再作成するために、前記少なくとも１つのリプレイされた要素を用いて前記少なくとも１つの劣化されたパターン要素を再整列させるように構成された第５の回路をさらに備える、Ｃ３２に記載の装置。
［Ｃ３６］
前記第２のパターンを参照することが、前記第１のパターンの終了前に発生し、
前記第２のパターンから喪失したかまたは劣化された前記第１のパターンの前記少なくとも１つの要素をリプレイすることが、前記第１のパターンのより完全なバージョンを再生するために前記第２のパターンを参照した後に発生する、Ｃ３２に記載の装置。
［Ｃ３７］
ニューラルパターン補完のための装置であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するための手段と、
第２の刺激を用いて１つまたは複数の入力の前記セット内の、前記第１のパターンの劣化バージョンを備える第２のパターンを参照するための手段と、
前記第２のパターンまたは前記第２の刺激のうちの少なくとも一方に露出することに応答して、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの少なくとも１つの要素をリプレイするための手段とを備える、装置。
［Ｃ３８］
前記第２の刺激または前記第２のパターンの少なくとも一方への露出時に前記第１のパターンをリプレイするための手段をさらに備える、Ｃ３７に記載の装置。
［Ｃ３９］
前記第１のパターンの１つまたは複数の非喪失要素あるいは前記第１のパターンの１つまたは複数の非劣化要素の少なくとも１つの再生を抑制するための手段をさらに備える、Ｃ３７に記載の装置。
［Ｃ４０］
前記第１のパターンを再作成するために、前記少なくとも１つのリプレイされた要素を用いて前記少なくとも１つの劣化されたパターン要素を再整列させるための手段をさらに備える、Ｃ３７に記載の装置。
［Ｃ４１］
前記第２のパターンを参照することが、前記第１のパターンの終了前に発生し、
前記第２のパターンから喪失したかまたは劣化された前記第１のパターンの前記少なくとも１つの要素をリプレイすることが、前記第１のパターンのより完全なバージョンを再生するために前記第２のパターンを参照した後に発生する、Ｃ３７に記載の装置。
［Ｃ４２］
コンピュータ可読媒体を備えるニューラルパターン補完のコンピュータプログラム製品であって、前記コンピュータ可読媒体が、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習し、
第２の刺激を用いて１つまたは複数の入力の前記セット内の、前記第１のパターンの劣化バージョンを備える第２のパターンを参照し、
前記第２のパターンまたは前記第２の刺激のうちの少なくとも一方に露出することに応答して、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの少なくとも１つの要素をリプレイするためのコードを備える、コンピュータプログラム製品。
［Ｃ４３］
ニューラルパターン分離の方法であって、
１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、
前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の第１の関係側面を学習することと、
前記１つまたは複数の基準ニューロンを用いて１つまたは複数の入力の前記セット内の、前記第１のパターンに類似する第２のパターンを参照することと、
前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の第２の関係側面を学習することと、
前記第１のパターンと前記第２のパターンとの間の差を増加させるために、前記第１のパターンまたは前記第２のパターンの少なくとも一方を修正することと、
前記１つまたは複数の基準ニューロンを使用して前記修正した後、第２の刺激とは異なる第１の刺激を用いて前記第１のパターンを参照し、第２の刺激を用いて前記第２のパターンを参照することとを備える、方法。
［Ｃ４４］
第１のパターンまたは第２のパターンの前記少なくとも一方を修正することが、
前記１つまたは複数の基準ニューロンの層における横方向抑制を使用して、前記１つまたは複数の基準ニューロンによる前記第１および前記第２のパターンの学習を分離することを備える、Ｃ４３に記載の方法。
［Ｃ４５］
第１のパターンまたは第２のパターンの前記少なくとも一方を修正することが、
前記第１の関係側面の学習と前記第２の関係側面の学習とを分離することをさらに備える、Ｃ４３に記載の方法。
［Ｃ４６］
ニューラルパターン分離のための装置であって、
１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、
前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の第１の関係側面を学習するように構成された第２の回路と、
前記１つまたは複数の基準ニューロンを用いて１つまたは複数の入力の前記セット内の、前記第１のパターンに類似する第２のパターンを参照するように構成された第３の回路と、
前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の第２の関係側面を学習するように構成された第４の回路と、
前記第１のパターンと前記第２のパターンとの間の差を増加させるために、前記第１のパターンまたは前記第２のパターンの少なくとも一方を修正するように構成された第５の回路と、
前記１つまたは複数の基準ニューロンを使用して前記修正した後、第２の刺激とは異なる第１の刺激を用いて前記第１のパターンを参照し、第２の刺激を用いて前記第２のパターンを参照するように構成された第６の回路とを備える、装置。
［Ｃ４７］
前記第５の回路がまた、
前記１つまたは複数の基準ニューロンの層における横方向抑制を使用して、前記１つまたは複数の基準ニューロンによる前記第１および前記第２のパターンの学習を分離するように構成される、Ｃ４６に記載の装置。
［Ｃ４８］
前記第５の回路がまた、
前記第１の関係側面の学習と前記第２の関係側面の学習とを分離するように構成される、Ｃ４６に記載の装置。
［Ｃ４９］
ニューラルパターン分離のための装置であって、
１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、
前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の第１の関係側面を学習するための手段と、
前記１つまたは複数の基準ニューロンを用いて１つまたは複数の入力の前記セット内の、前記第１のパターンに類似する第２のパターンを参照するための手段と、
前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の第２の関係側面を学習するための手段と、
前記第１のパターンと前記第２のパターンとの間の差を増加させるために、前記第１のパターンまたは前記第２のパターンの少なくとも一方を修正するための手段と、
前記１つまたは複数の基準ニューロンを使用して前記修正した後、第２の刺激とは異なる第１の刺激を用いて前記第１のパターンを参照し、第２の刺激を用いて前記第２のパターンを参照するための手段とを備える、装置。
［Ｃ５０］
第１のパターンまたは第２のパターンの前記少なくとも一方を修正するための前記手段が、
前記１つまたは複数の基準ニューロンの層における横方向抑制を使用して、前記１つまたは複数の基準ニューロンによる前記第１および前記第２のパターンの学習を分離するための手段を備える、Ｃ４９に記載の装置。
［Ｃ５１］
第１のパターンまたは第２のパターンの前記少なくとも一方を修正するための前記手段が、
前記第１の関係側面の学習と前記第２の関係側面の学習とを分離するための手段をさらに備える、Ｃ４９に記載の装置。
［Ｃ５２］
コンピュータ可読媒体を備えるニューラルパターン分離のコンピュータプログラム製品であって、前記コンピュータ可読媒体が、
１つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照し、
前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の第１の関係側面を学習し、
前記１つまたは複数の基準ニューロンを用いて１つまたは複数の入力の前記セット内の、前記第１のパターンに類似する第２のパターンを参照し、
前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の第２の関係側面を学習し、
前記第１のパターンと前記第２のパターンとの間の差を増加させるために、前記第１のパターンまたは前記第２のパターンの少なくとも一方を修正し、
前記１つまたは複数の基準ニューロンを使用して前記修正した後、第２の刺激とは異なる第１の刺激を用いて前記第１のパターンを参照し、第２の刺激を用いて前記第２のパターンを参照するためのコードを備える、コンピュータプログラム製品。
［Ｃ５３］
ニューラルパターン一般化の方法であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習することと、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照することと、
入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習することと、
前記第１および前記第２の刺激を用いないで前記第１のパターンまたは前記第２のパターンの少なくとも一方をリプレイすることと、
前記リプレイに基づいて前記第１のパターンと前記第２のパターンとの一般化を学習することとを備える、方法。
［Ｃ５４］
前記第１のパターンの参照および前記第２のパターンの参照が、互いに横方向に抑制しており、
前記第１のパターンの参照および前記第２のパターンの参照が、前記一般化の学習を抑制しない、Ｃ５３に記載の方法。
［Ｃ５５］
前記一般化の学習が、
前記第１および前記第２のパターンの参照の直接出力または間接出力の少なくとも一方に基づく前記第１および前記第２のパターンの参照から下流を学習することを備える、Ｃ５３に記載の方法。
［Ｃ５６］
前記一般化の学習が、
第１のパターンまたは第２のパターンのうちの、リプレイされた少なくとも一方の直接出力または間接出力の少なくとも一方に基づく前記１つまたは複数の入力から下流を学習することを備える、Ｃ５３に記載の方法。
［Ｃ５７］
ニューラルパターン一般化のための装置であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するように構成された第３の回路と、
入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習するように構成された第４の回路と、
前記第１および前記第２の刺激を用いないで前記第１のパターンまたは前記第２のパターンの少なくとも一方をリプレイするように構成された第５の回路と、
前記リプレイに基づいて前記第１および前記第２のパターンの一般化を学習するように構成された第６の回路とを備える、装置。
［Ｃ５８］
前記第１のパターンの参照および前記第２のパターンの参照が、互いに横方向に抑制しており、
前記第１のパターンの参照および前記第２のパターンの参照が、前記一般化の学習を抑制しない、Ｃ５７に記載の装置。
［Ｃ５９］
前記第６の回路がまた、
前記第１および前記第２のパターンの参照の直接出力または間接出力の少なくとも一方に基づく前記第１および前記第２のパターンの参照から下流を学習するように構成される、Ｃ５７に記載の装置。
［Ｃ６０］
前記第６の回路がまた、
第１のパターンまたは第２のパターンのうちの、リプレイされた少なくとも一方の直接出力または間接出力の少なくとも一方に基づく前記１つまたは複数の入力から下流を学習するように構成される、Ｃ５７に記載の装置。
［Ｃ６１］
ニューラルパターン一般化のための装置であって、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するための手段と、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するための手段と、
入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習するための手段と、
前記第１および前記第２の刺激を用いないで前記第１のパターンまたは前記第２のパターンの少なくとも一方をリプレイするための手段と、
前記リプレイに基づいて前記第１のパターンと前記第２のパターンとの一般化を学習するための手段とを備える、装置。
［Ｃ６２］
前記第１のパターンの参照および前記第２のパターンの参照が、互いに横方向に抑制しており、
前記第１のパターンの参照および前記第２のパターンの参照が、前記一般化の学習を抑制しない、Ｃ６１に記載の装置。
［Ｃ６３］
前記一般化を学習するための前記手段が、
前記第１および前記第２のパターンの参照の直接出力または間接出力の少なくとも一方に基づく前記第１および前記第２のパターンの参照から下流を学習するための手段を備える、Ｃ６１に記載の装置。
［Ｃ６４］
前記一般化を学習するための前記手段が、
第１のパターンまたは第２のパターンのうちの、リプレイされた少なくとも一方の直接出力または間接出力の少なくとも一方に基づく前記１つまたは複数の入力から下流を学習するための手段を備える、Ｃ６１に記載の装置。
［Ｃ６５］
コンピュータ可読媒体を備えるニューラルパターン一般化のためのコンピュータプログラム製品であって、前記コンピュータ可読媒体が、
第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、
入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習し、
第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照し、
入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習し、
前記第１および前記第２の刺激を用いないで前記第１のパターンまたは前記第２のパターンの少なくとも一方をリプレイし、
前記リプレイに基づいて前記第１のパターンと前記第２のパターンとの一般化を学習するためのコードを備える、コンピュータプログラム製品。
［Ｃ６６］
ニューラルパターンシーケンス補完の方法であって、
基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照することと、
前記パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習することと、
基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照することと、
前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内のパターンシーケンスの前記参照との間の関係側面を学習することと、
前記パターンの前の部分を作成時に前記第１の層のニューロン内の前記パターンの後の部分をリプレイすることとを備える、方法。
［Ｃ６７］
前記パターンの前記作成された前の部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすことと、
その１つの第２の層のニューロンを制御して第３の層のニューロンのうちの１つを引き起こすこととをさらに備え、
その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、Ｃ６６に記載の方法。
［Ｃ６８］
前記パターンの前記前の部分を作成することが、外部刺激に基づく、Ｃ６６に記載の方法。
［Ｃ６９］
前記パターンの前記前の部分を作成することが、前のリプレイに基づく、Ｃ６６に記載の方法。
［Ｃ７０］
前記第３の層のニューロンのそれぞれが、前記第２の層の前記パターン内の２つ以上の部分のシーケンスを参照する、Ｃ６６に記載の方法。
［Ｃ７１］
前記第２または前記第３の層のニューロンの少なくとも１つの活動が、後ろ向きステップを抑制することによって前記パターンシーケンスの順方向リプレイを維持するために、第２のまたは第３の層のニューロンの前記少なくとも１つの短期の再活動を抑制する、Ｃ６６に記載の方法。
［Ｃ７２］
前記パターンが、繰返された部分の少なくとも２つの発生を有するシーケンスを備え、
前記発生のそれぞれが、前記第２の層のニューロンのうちの異なる１つによって参照される、Ｃ６６に記載の方法。
［Ｃ７３］
そのシーケンスを参照することが、そのシーケンスを学習することを備え、
前記パターンシーケンスを参照することが、前記パターンシーケンスを学習することを備える、Ｃ６６に記載の方法。
［Ｃ７４］
第２の層の入力に対する前記第３の層のニューロンの感受性が、前記リプレイの間に増加される、Ｃ６６に記載の方法。
［Ｃ７５］
ニューラルパターンシーケンス補完のための装置であって、
基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するように構成された第１の回路と、
前記パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習するように構成された第２の回路と、
基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照するように構成された第３の回路と、
前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内のパターンシーケンスの前記参照との間の関係側面を学習するように構成された第４の回路と、
前記パターンの前の部分を作成時に前記第１の層のニューロン内の前記パターンの後の部分をリプレイするように構成された第５の回路とを備える、装置。
［Ｃ７６］
前記パターンの前記作成された前の部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすように構成された第６の回路と、
その１つの第２の層のニューロンを制御して第３の層のニューロンのうちの１つを引き起こすように構成された第７の回路とをさらに備え、
その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、Ｃ７５に記載の装置。
［Ｃ７７］
前記パターンの前記前の部分を作成することが、外部刺激に基づく、Ｃ７５に記載の装置。
［Ｃ７８］
前記パターンの前記前の部分を作成することが、前のリプレイに基づく、Ｃ７５に記載の装置。
［Ｃ７９］
前記第３の層のニューロンのそれぞれが、前記第２の層の前記パターン内の２つ以上の部分のシーケンスを参照する、Ｃ７５に記載の装置。
［Ｃ８０］
前記第２または前記第３の層のニューロンの少なくとも１つの活動が、後ろ向きステップを抑制することによって前記パターンシーケンスの順方向リプレイを維持するために、第２のまたは第３の層のニューロンの前記少なくとも１つの短期の再活動を抑制する、Ｃ７５に記載の装置。
［Ｃ８１］
前記パターンが、繰返された部分の少なくとも２つの発生を有するシーケンスを備え、
前記発生のそれぞれが、前記第２の層のニューロンのうちの異なる１つによって参照される、Ｃ７５に記載の装置。
［Ｃ８２］
そのシーケンスを参照することが、そのシーケンスを学習することを備え、
前記パターンシーケンスを参照することが、前記パターンシーケンスを学習することを備える、Ｃ７５に記載の装置。
［Ｃ８３］
第２の層の入力に対する前記第３の層のニューロンの感受性が、前記リプレイの間に増加される、Ｃ７５に記載の装置。
［Ｃ８４］
ニューラルパターンシーケンス補完のための装置であって、
基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するための手段と、
前記パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習するための手段と、
基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照するための手段と、
前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内のパターンシーケンスの前記参照との間の関係側面を学習するための手段と、
前記パターンの前の部分を作成時に前記第１の層のニューロン内の前記パターンの後の部分をリプレイするための手段とを備える、装置。
［Ｃ８５］
前記パターンの前記作成された前の部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすための手段と、
その１つの第２の層のニューロンを制御して第３の層のニューロンのうちの１つを引き起こすための手段とをさらに備え、
その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、Ｃ８４に記載の装置。
［Ｃ８６］
前記パターンの前記前の部分を作成することが、外部刺激に基づく、Ｃ８４に記載の装置。
［Ｃ８７］
前記パターンの前記前の部分を作成することが、前のリプレイに基づく、Ｃ８４に記載の装置。
［Ｃ８８］
前記第３の層のニューロンのそれぞれが、前記第２の層の前記パターン内の２つ以上の部分のシーケンスを参照する、Ｃ８４に記載の装置。
［Ｃ８９］
前記第２または前記第３の層のニューロンのうちの少なくとも１つの活動が、後ろ向きステップを抑制することによって前記パターンシーケンスの順方向リプレイを維持するために、第２または第３の層のニューロンのうちの前記少なくとも１つの短期の再活動を抑制する、Ｃ８４に記載の装置。
［Ｃ９０］
前記パターンが、繰返された部分の少なくとも２つの発生を有するシーケンスを備え、
前記発生のそれぞれが、前記第２の層のニューロンのうちの異なる１つによって参照される、Ｃ８４に記載の装置。
［Ｃ９１］
そのシーケンスを参照することが、そのシーケンスを学習することを備え、
前記パターンシーケンスを参照することが、前記パターンシーケンスを学習することを備える、Ｃ８４に記載の装置。
［Ｃ９２］
第２の層の入力に対する前記第３の層のニューロンの感受性が、前記リプレイの間に増加される、Ｃ８４に記載の装置。
［Ｃ９３］
コンピュータ可読媒体を備えるニューラルパターンシーケンス補完のコンピュータプログラム製品であって、前記コンピュータ可読媒体が、
基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、
前記パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習し、
基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照し、
前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内のパターンシーケンスの前記参照との間の関係側面を学習し、
前記パターンの前の部分を作成時に前記第１の層のニューロン内の前記パターンの後の部分をリプレイするためのコードを備える、コンピュータプログラム製品。
［Ｃ９４］
ニューラルパターン階層的リプレイの方法であって、
基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照することと、
各パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習することと、
基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照することと、
前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内の前記パターンシーケンスの前記参照との間の関係側面を学習することと、
基準ニューロンの前記第３の層に基づいて前記第２の層内の前記パターンシーケンスの前記参照のリプレイを引き起こすことと、
前記第２の層内の前記パターンシーケンスの前記参照のリプレイを前記引き起こすことに基づいて前記第１の層内の前記パターンの部分のそのシーケンスをリプレイすることとを備える、方法。
［Ｃ９５］
前記パターンの部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすことと、
その１つの第２の層のニューロンを制御して前記第３の層のニューロンのうちの１つを引き起こすこととをさらに備え、
その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、Ｃ９４に記載の方法。
［Ｃ９６］
前記第１の層内の前記パターンの部分のそのシーケンスをリプレイすることが、前記第１の層内の前記パターン内の部分の後のシーケンスのリプレイを引き起こす、Ｃ９４に記載の方法。
［Ｃ９７］
前記第２の層のニューロンにおけるリプレイを許可している間に前記第１の層のニューロンにおけるリプレイを妨げるように、前記リプレイを制御することをさらに備える、Ｃ９４に記載の方法。
［Ｃ９８］
ニューラルパターン階層的リプレイのための装置であって、
基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するように構成された第１の回路と、
各パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習するように構成された第２の回路と、
基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照するように構成された第３の回路と、
前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内の前記パターンシーケンスの前記参照との間の関係側面を学習するように構成された第４の回路と、
基準ニューロンの前記第３の層に基づいて前記第２の層内の前記パターンシーケンスの前記参照のリプレイを引き起こすように構成された第５の回路と、
前記第２の層内の前記パターンシーケンスの前記参照のリプレイを前記引き起こすことに基づいて前記第１の層内の前記パターンの部分のそのシーケンスをリプレイするように構成された第６の回路とを備える、装置。
［Ｃ９９］
前記パターンの部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすように構成された第７の回路と、
その１つの第２の層のニューロンを制御して前記第３の層のニューロンのうちの１つを引き起こすように構成された第８の回路とをさらに備え、
その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、Ｃ９８に記載の装置。
［Ｃ１００］
前記第１の層内の前記パターンの部分のそのシーケンスをリプレイすることが、前記第１の層内の前記パターン内の部分の後のシーケンスのリプレイを引き起こす、Ｃ９８に記載の装置。
［Ｃ１０１］
前記第２の層のニューロンにおけるリプレイを許可している間に前記第１の層のニューロンにおけるリプレイを妨げるように、前記リプレイを制御するように構成された第７の回路をさらに備える、Ｃ９８に記載の装置。
［Ｃ１０２］
ニューラルパターン階層的リプレイのための装置であって、
基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するための手段と、
各パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習するための手段と、
基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照するための手段と、
前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内の前記パターンシーケンスの前記参照との間の関係側面を学習するための手段と、
基準ニューロンの前記第３の層に基づいて前記第２の層内の前記パターンシーケンスの前記参照のリプレイを引き起こすための手段と、
前記第２の層内の前記パターンシーケンスの前記参照のリプレイを前記引き起こすことに基づいて前記第１の層内の前記パターンの部分のそのシーケンスをリプレイするための手段とを備える、装置。
［Ｃ１０３］
前記パターンの部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすための手段と、
その１つの第２の層のニューロンを制御して前記第３の層のニューロンのうちの１つを引き起こすための手段とをさらに備え、
その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、Ｃ１０２に記載の装置。
［Ｃ１０４］
前記第１の層内の前記パターンの部分のそのシーケンスをリプレイすることが、前記第１の層内の前記パターン内の部分の後のシーケンスのリプレイを引き起こす、Ｃ１０２に記載の装置。
［Ｃ１０５］
前記第２の層のニューロンにおけるリプレイを許可している間に前記第１の層のニューロンにおけるリプレイを妨げるように、前記リプレイを制御するための手段をさらに備える、Ｃ１０２に記載の装置。
［Ｃ１０６］
コンピュータ可読媒体を備えるニューラルパターン階層的リプレイのためのコンピュータプログラム製品であって、前記コンピュータ可読媒体が、
基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、
各パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習し、
基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照し、
前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内の前記パターンシーケンスの前記参照との間の関係側面を学習し、
基準ニューロンの前記第３の層に基づいて前記第２の層内の前記パターンシーケンスの前記参照のリプレイを引き起こし、
前記第２の層内の前記パターンシーケンスの前記参照のリプレイを前記引き起こすことに基づいて前記第１の層内の前記パターンの部分のそのシーケンスをリプレイするためのコードを備える、コンピュータプログラム製品。
［Ｃ１０７］
ニューラルパターンシーケンス補完の方法であって、
複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照することと、
１つまたは複数の関係側面ニューロンを用いて、前記求心性ニューロンと、前記１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、前記パターンの前記部分のうちの１つまたは複数を前記基準ニューロンのサブセットと関係付けることと、
前記１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい前記遅延に基づいて、前記パターンの１つまたは複数の残りの部分を基準ニューロンの前記サブセットと関係付けることと、
前記求心性ニューロンによって前記パターンの前記１つまたは複数の部分の要素を発火することに基づいて、基準ニューロンの前記サブセットによって前記パターンの前記１つまたは複数の残りの部分のリプレイを誘発することとを備える、方法。
［Ｃ１０８］
前記パターンの前記複数の部分を参照することが、
基準ニューロンの前記サブセットを用いて前記パターンの前記１つまたは複数の部分を参照することと、
前記基準ニューロンの別のサブセットを用いて前記パターンの前記１つまたは複数の残りの部分を参照することとを備える、Ｃ１０７に記載の方法。
［Ｃ１０９］
前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークを設計する間に構成される、Ｃ１０７に記載の方法。
［Ｃ１１０］
前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークの成長段階に応じて決定される、Ｃ１０７に記載の方法。
［Ｃ１１１］
ニューラルパターンシーケンス補完のための装置であって、
複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照するように構成された第１の回路と、
１つまたは複数の関係側面ニューロンを用いて、前記求心性ニューロンと、前記１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、前記パターンの前記部分のうちの１つまたは複数を前記基準ニューロンのサブセットと関係付けるように構成された第２の回路と、
前記１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい前記遅延に基づいて、前記パターンの１つまたは複数の残りの部分を基準ニューロンの前記サブセットと関係付けるように構成された第３の回路と、
前記求心性ニューロンによって前記パターンの前記１つまたは複数の部分の要素を発火することに基づいて、基準ニューロンの前記サブセットによって前記パターンの前記１つまたは複数の残りの部分のリプレイを誘発するように構成された第４の回路とを備える、装置。
［Ｃ１１２］
前記第１の回路がまた、
基準ニューロンの前記サブセットを用いて前記パターンの前記１つまたは複数の部分を参照し、
前記基準ニューロンの別のサブセットを用いて前記パターンの前記１つまたは複数の残りの部分を参照するように構成される、Ｃ１１１に記載の装置。
［Ｃ１１３］
前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークを設計する間に構成される、Ｃ１１１に記載の装置。
［Ｃ１１４］
前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークの成長段階に応じて決定される、Ｃ１１１に記載の装置。
［Ｃ１１５］
ニューラルパターンシーケンス補完のための装置であって、
複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照するための手段と、
１つまたは複数の関係側面ニューロンを用いて、前記求心性ニューロンと、前記１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、前記パターンの前記部分のうちの１つまたは複数を前記基準ニューロンのサブセットと関係付けるための手段と、
前記１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい前記遅延に基づいて、前記パターンの１つまたは複数の残りの部分を基準ニューロンの前記サブセットと関係付けるための手段と、
前記求心性ニューロンによって前記パターンの前記１つまたは複数の部分の要素を発火することに基づいて、基準ニューロンの前記サブセットによって前記パターンの前記１つまたは複数の残りの部分のリプレイを誘発するための手段とを備える、装置。
［Ｃ１１６］
前記パターンの前記複数の部分を参照するための前記手段が、
基準ニューロンの前記サブセットを用いて前記パターンの前記１つまたは複数の部分を参照するための手段と、
前記基準ニューロンの別のサブセットを用いて前記パターンの前記１つまたは複数の残りの部分を参照するための手段とを備える、Ｃ１１５に記載の装置。
［Ｃ１１７］
前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークを設計する間に構成される、Ｃ１１５に記載の装置。
［Ｃ１１８］
前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークの成長段階に応じて決定される、Ｃ１１５に記載の装置。
［Ｃ１１９］
コンピュータ可読媒体を備えるニューラルパターンシーケンス補完のためのコンピュータプログラム製品であって、前記コンピュータ可読媒体が、
複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照し、
１つまたは複数の関係側面ニューロンを用いて、前記求心性ニューロンと、前記１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、前記パターンの前記部分のうちの１つまたは複数を前記基準ニューロンのサブセットと関係付け、
前記１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい前記遅延に基づいて、前記パターンの１つまたは複数の残りの部分を基準ニューロンの前記サブセットと関係付け、
前記求心性ニューロンによって前記パターンの前記１つまたは複数の部分の要素を発火することに基づいて、基準ニューロンの前記サブセットによって前記パターンの前記１つまたは複数の残りの部分のリプレイを誘発するためのコードを備える、コンピュータプログラム製品。

Claims (116)

  1. ニューラル連想学習の方法であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習することと、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照することと、
    入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習することと、
    前記第１および前記第２の刺激を用いないで前記学習された関係側面を使用して入力の前記セット内の前記第１および前記第２のパターンをリプレイすることと、
    前記リプレイに基づいて前記第１のパターンと前記第２のパターンとを関連付けることとを備える、方法。
  2. 無監督学習を使用して前記刺激を用いないで、入力の前記セット内の前記第１のパターンと入力の前記セット内の前記第２のパターンとの関連を学習することをさらに備える、請求項１に記載の方法。
  3. 前記第２のパターンを学習することが、前記刺激を用いて前記第２のパターンを学習または参照するニューロンと結合されない１つまたは複数のニューロンによって実行される、請求項１に記載の方法。
  4. 前記第１および前記第２のパターンの前記リプレイが、前記第１および前記第２のパターンの参照に対して依拠されるより多くの、前記第１および前記第２のパターンの要素を備える、請求項１に記載の方法。
  5. ニューラル連想学習のための装置であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するように構成された第３の回路と、
    入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習するように構成された第４の回路と、
    前記第１および前記第２の刺激を用いないで前記学習された関係側面を使用して、入力の前記セット内の前記第１および前記第２のパターンをリプレイするように構成された第５の回路と、
    前記リプレイに基づいて前記第１および前記第２のパターンを関連付けるように構成された第６の回路とを備える、装置。
  6. 無監督学習を使用して前記刺激を用いないで、入力の前記セット内の前記第１のパターンと入力の前記セット内の前記第２のパターンとの関連を学習するように構成された第７の回路をさらに備える、請求項５に記載の装置。
  7. 前記第２のパターンを学習することが、前記刺激を用いて前記第２のパターンを学習または参照するニューロンと結合されない１つまたは複数のニューロンによって実行される、請求項５に記載の装置。
  8. 前記第１および前記第２のパターンの前記リプレイが、前記第１および前記第２のパターンの参照に対して依拠されるより多くの、前記第１および前記第２のパターンの要素を備える、請求項５に記載の装置。
  9. ニューラル連想学習のための装置であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するための手段と、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するための手段と、
    入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習するための手段と、
    前記第１および前記第２の刺激を用いないで前記学習された関係側面を使用して、入力の前記セット内の前記第１および前記第２のパターンをリプレイするための手段と、
    前記リプレイに基づいて前記第１のパターンと前記第２のパターンとを関連付けるための手段とを備える、装置。
  10. 無監督学習を使用して前記刺激を用いないで、入力の前記セット内の前記第１のパターンと入力の前記セット内の前記第２のパターンとの関連を学習するための手段をさらに備える、請求項９に記載の装置。
  11. 前記第２のパターンを学習することが、前記刺激を用いて前記第２のパターンを学習または参照するニューロンと結合されない１つまたは複数のニューロンによって実行される、請求項９に記載の装置。
  12. 前記第１および前記第２のパターンの前記リプレイが、前記第１および前記第２のパターンの参照に対して依拠されるより多くの、前記第１および前記第２のパターンの要素を備える、請求項９に記載の装置。
  13. ニューラル連想学習のためのコンピュータプログラムであって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習し、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照し、
    入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習し、
    前記第１および前記第２の刺激を用いないで前記学習された関係側面を使用して、入力の前記セット内の前記第１および前記第２のパターンをリプレイし、
    前記リプレイに基づいて前記第１のパターンと前記第２のパターンとを関連付けるステップをコンピュータに実行させる、コンピュータプログラム。
  14. ニューラル比較の方法であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習することと、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照することと、
    前記第１のパターンをリプレイすることと、
    前記第１および前記第２のパターンの前記リプレイおよび前記参照に基づいて、前記第１のパターンと前記第２のパターンとを比較することとを備える、方法。
  15. 前記比較が、基準ニューロン応答の特性を発火することに基づく、請求項１４に記載の方法。
  16. 前記第１のパターンの参照および前記第２のパターンの参照が互いに抑制する、請求項１４に記載の方法。
  17. 前記第１のパターンを参照することが、前記第１のパターンを学習することを備え、
    前記第２のパターンを参照することが、前記第２のパターンを学習することを備える、請求項１４に記載の方法。
  18. ニューラル比較のための装置であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するように構成された第３の回路と、
    前記第１のパターンをリプレイするように構成された第４の回路と、
    前記第１および前記第２のパターンの前記リプレイおよび前記参照に基づいて、前記第１のパターンと前記第２のパターンとを比較するように構成された第５の回路とを備える、装置。
  19. 前記比較が、基準ニューロン応答の特性を発火することに基づく、請求項１８に記載の装置。
  20. 前記第１のパターンの参照および前記第２のパターンの参照が互いに抑制する、請求項１８に記載の装置。
  21. 前記第１のパターンを参照することが、前記第１のパターンを学習することを備え、
    前記第２のパターンを参照することが、前記第２のパターンを学習することを備える、請求項１８に記載の装置。
  22. ニューラル比較のための装置であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するための手段と、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するための手段と、
    前記第１のパターンをリプレイするための手段と、
    前記第１および前記第２のパターンの前記リプレイおよび前記参照に基づいて、前記第１のパターンと前記第２のパターンとを比較するための手段とを備える、装置。
  23. 前記比較が、基準ニューロン応答の特性を発火することに基づく、請求項２２に記載の装置。
  24. 前記第１のパターンの参照および前記第２のパターンの参照が互いに抑制する、請求項２２に記載の装置。
  25. 前記第１のパターンを参照することが、前記第１のパターンを学習することを備え、
    前記第２のパターンを参照することが、前記第２のパターンを学習することを備える、請求項２２に記載の装置。
  26. ニューラル比較のためのコンピュータプログラムであって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習し、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照し、
    前記第１のパターンをリプレイし、
    前記第１および前記第２のパターンの前記リプレイおよび前記参照に基づいて、前記第１のパターンと前記第２のパターンとを比較するステップをコンピュータに実行させる、コンピュータプログラム。
  27. ニューラルパターン補完の方法であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習することと、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の、前記第１のパターンの劣化バージョンを備える第２のパターンを参照することと、前記第２のパターンの参照は、前記第１のパターンの終了前に発生する、
    前記第２のパターンまたは前記第２の刺激の少なくとも一方に露出することに応答して、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの少なくとも１つの要素をリプレイすることと、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの前記少なくとも１つの要素のリプレイは、前記第１のパターンのより完全なバージョンを再生するための前記第２のパターンの参照の後に発生する、を備える、方法。
  28. 前記第２の刺激または前記第２のパターンの少なくとも一方への露出時に前記第１のパターンをリプレイすることをさらに備える、請求項２７に記載の方法。
  29. 前記第１のパターンの１つまたは複数の非喪失要素あるいは前記第１のパターンの１つまたは複数の非劣化要素の少なくとも１つの再生を抑制することをさらに備える、請求項２７に記載の方法。
  30. 前記第１のパターンを再作成するために、前記少なくとも１つのリプレイされた要素を用いて前記少なくとも１つの劣化されたパターン要素を再整列させることをさらに備える、請求項２７に記載の方法。
  31. ニューラルパターン補完のための装置であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の、前記第１のパターンの劣化バージョンを備える第２のパターンを参照するように構成された第３の回路と、前記第２のパターンの参照は、前記第１のパターンの終了前に発生する、
    前記第２のパターンまたは前記第２の刺激のうちの少なくとも一方に露出することに応答して、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの少なくとも１つの要素をリプレイするように構成された第４の回路と、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの前記少なくとも１つの要素のリプレイは、前記第１のパターンのより完全なバージョンを再生するための前記第２のパターンの参照の後に発生する、を備える、装置。
  32. 前記第２の刺激または前記第２のパターンの少なくとも一方への露出時に前記第１のパターンをリプレイするように構成された第５の回路をさらに備える、請求項３１に記載の装置。
  33. 前記第１のパターンの１つまたは複数の非喪失要素あるいは前記第１のパターンの１つまたは複数の非劣化要素の少なくとも１つの再生を抑制するように構成された第５の回路をさらに備える、請求項３１に記載の装置。
  34. 前記第１のパターンを再作成するために、前記少なくとも１つのリプレイされた要素を用いて前記少なくとも１つの劣化されたパターン要素を再整列させるように構成された第５の回路をさらに備える、請求項３１に記載の装置。
  35. ニューラルパターン補完のための装置であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習するための手段と、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の、前記第１のパターンの劣化バージョンを備える第２のパターンを参照するための手段と、前記第２のパターンの参照は、前記第１のパターンの終了前に発生する、
    前記第２のパターンまたは前記第２の刺激のうちの少なくとも一方に露出することに応答して、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの少なくとも１つの要素をリプレイするための手段と、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの前記少なくとも１つの要素のリプレイは、前記第１のパターンのより完全なバージョンを再生するための前記第２のパターンの参照の後に発生する、を備える、装置。
  36. 前記第２の刺激または前記第２のパターンの少なくとも一方への露出時に前記第１のパターンをリプレイするための手段をさらに備える、請求項３５に記載の装置。
  37. 前記第１のパターンの１つまたは複数の非喪失要素あるいは前記第１のパターンの１つまたは複数の非劣化要素の少なくとも１つの再生を抑制するための手段をさらに備える、請求項３５に記載の装置。
  38. 前記第１のパターンを再作成するために、前記少なくとも１つのリプレイされた要素を用いて前記少なくとも１つの劣化されたパターン要素を再整列させるための手段をさらに備える、請求項３５に記載の装置。
  39. ニューラルパターン補完のコンピュータプログラムであって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と第１のパターンの参照との間の関係側面を学習し、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の、前記第１のパターンの劣化バージョンを備える第２のパターンを参照し、前記第２のパターンの参照は、前記第１のパターンの終了前に発生する、
    前記第２のパターンまたは前記第２の刺激のうちの少なくとも一方に露出することに応答して、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの少なくとも１つの要素をリプレイする、ここにおいて、前記第２のパターンから喪失したかまたは劣化された前記第１のパターンのうちの前記少なくとも１つの要素のリプレイは、前記第１のパターンのより完全なバージョンを再生するための前記第２のパターンの参照の後に発生する、ステップをコンピュータに実行させる、コンピュータプログラム。
  40. ニューラルパターン分離の方法であって、
    １つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、
    前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の第１の関係側面を学習することと、
    前記１つまたは複数の基準ニューロンを用いて１つまたは複数の入力の前記セット内の、前記第１のパターンに類似する第２のパターンを参照することと、
    前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の第２の関係側面を学習することと、
    前記第１のパターンと前記第２のパターンとの間の差を増加させるために、前記第１のパターンまたは前記第２のパターンの少なくとも一方を修正することと、
    前記１つまたは複数の基準ニューロンを使用して前記修正した後、第２の刺激とは異なる第１の刺激を用いて前記第１のパターンを参照し、前記第２の刺激を用いて前記第２のパターンを参照することとを備える、方法。
  41. 第１のパターンまたは第２のパターンの前記少なくとも一方を修正することが、
    前記１つまたは複数の基準ニューロンの層における横方向抑制を使用して、前記１つまたは複数の基準ニューロンによる前記第１および前記第２のパターンの学習を分離することを備える、請求項４０に記載の方法。
  42. 第１のパターンまたは第２のパターンの前記少なくとも一方を修正することが、
    前記第１の関係側面の学習と前記第２の関係側面の学習とを分離することをさらに備える、請求項４０に記載の方法。
  43. ニューラルパターン分離のための装置であって、
    １つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、
    前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の第１の関係側面を学習するように構成された第２の回路と、
    前記１つまたは複数の基準ニューロンを用いて１つまたは複数の入力の前記セット内の、前記第１のパターンに類似する第２のパターンを参照するように構成された第３の回路と、
    前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の第２の関係側面を学習するように構成された第４の回路と、
    前記第１のパターンと前記第２のパターンとの間の差を増加させるために、前記第１のパターンまたは前記第２のパターンの少なくとも一方を修正するように構成された第５の回路と、
    前記１つまたは複数の基準ニューロンを使用して前記修正した後、第２の刺激とは異なる第１の刺激を用いて前記第１のパターンを参照し、前記第２の刺激を用いて前記第２のパターンを参照するように構成された第６の回路とを備える、装置。
  44. 前記第５の回路がまた、
    前記１つまたは複数の基準ニューロンの層における横方向抑制を使用して、前記１つまたは複数の基準ニューロンによる前記第１および前記第２のパターンの学習を分離するように構成される、請求項４３に記載の装置。
  45. 前記第５の回路がまた、
    前記第１の関係側面の学習と前記第２の関係側面の学習とを分離するように構成される、請求項４３に記載の装置。
  46. ニューラルパターン分離のための装置であって、
    １つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、
    前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の第１の関係側面を学習するための手段と、
    前記１つまたは複数の基準ニューロンを用いて１つまたは複数の入力の前記セット内の、前記第１のパターンに類似する第２のパターンを参照するための手段と、
    前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の第２の関係側面を学習するための手段と、
    前記第１のパターンと前記第２のパターンとの間の差を増加させるために、前記第１のパターンまたは前記第２のパターンの少なくとも一方を修正するための手段と、
    前記１つまたは複数の基準ニューロンを使用して前記修正した後、第２の刺激とは異なる第１の刺激を用いて前記第１のパターンを参照し、前記第２の刺激を用いて前記第２のパターンを参照するための手段とを備える、装置。
  47. 第１のパターンまたは第２のパターンの前記少なくとも一方を修正するための前記手段が、
    前記１つまたは複数の基準ニューロンの層における横方向抑制を使用して、前記１つまたは複数の基準ニューロンによる前記第１および前記第２のパターンの学習を分離するための手段を備える、請求項４６に記載の装置。
  48. 第１のパターンまたは第２のパターンの前記少なくとも一方を修正するための前記手段が、
    前記第１の関係側面の学習と前記第２の関係側面の学習とを分離するための手段をさらに備える、請求項４６に記載の装置。
  49. ニューラルパターン分離のコンピュータプログラムであって、
    １つまたは複数の基準ニューロンを用いて１つまたは複数の入力のセット内の第１のパターンを参照し、
    前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の第１の関係側面を学習し、
    前記１つまたは複数の基準ニューロンを用いて１つまたは複数の入力の前記セット内の、前記第１のパターンに類似する第２のパターンを参照し、
    前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の第２の関係側面を学習し、
    前記第１のパターンと前記第２のパターンとの間の差を増加させるために、前記第１のパターンまたは前記第２のパターンの少なくとも一方を修正し、
    前記１つまたは複数の基準ニューロンを使用して前記修正した後、第２の刺激とは異なる第１の刺激を用いて前記第１のパターンを参照し、前記第２の刺激を用いて前記第２のパターンを参照するステップをコンピュータに実行させる、コンピュータプログラム。
  50. ニューラルパターン一般化の方法であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照することと、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習することと、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照することと、
    入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習することと、
    前記第１および前記第２の刺激を用いないで前記第１のパターンまたは前記第２のパターンの少なくとも一方をリプレイすることと、
    前記リプレイに基づいて前記第１のパターンと前記第２のパターンとの一般化を学習することとを備える、方法。
  51. 前記第１のパターンの参照および前記第２のパターンの参照が、互いに横方向に抑制しており、
    前記第１のパターンの参照および前記第２のパターンの参照が、前記一般化の学習を抑制しない、請求項５０に記載の方法。
  52. 前記一般化の学習が、
    前記第１および前記第２のパターンの参照の直接出力または間接出力の少なくとも一方に基づく前記第１および前記第２のパターンの参照から下流を学習することを備える、請求項５０に記載の方法。
  53. 前記一般化の学習が、
    第１のパターンまたは第２のパターンのうちの、前記リプレイされた少なくとも一方の直接出力または間接出力の少なくとも一方に基づく前記１つまたは複数の入力から下流を学習することを備える、請求項５０に記載の方法。
  54. ニューラルパターン一般化のための装置であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するように構成された第１の回路と、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するように構成された第２の回路と、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するように構成された第３の回路と、
    入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習するように構成された第４の回路と、
    前記第１および前記第２の刺激を用いないで前記第１のパターンまたは前記第２のパターンの少なくとも一方をリプレイするように構成された第５の回路と、
    前記リプレイに基づいて前記第１および前記第２のパターンの一般化を学習するように構成された第６の回路とを備える、装置。
  55. 前記第１のパターンの参照および前記第２のパターンの参照が、互いに横方向に抑制しており、
    前記第１のパターンの参照および前記第２のパターンの参照が、前記一般化の学習を抑制しない、請求項５４に記載の装置。
  56. 前記第６の回路がまた、
    前記第１および前記第２のパターンの参照の直接出力または間接出力の少なくとも一方に基づく前記第１および前記第２のパターンの参照から下流を学習するように構成される、請求項５４に記載の装置。
  57. 前記第６の回路がまた、
    第１のパターンまたは第２のパターンのうちの、前記リプレイされた少なくとも一方の直接出力または間接出力の少なくとも一方に基づく前記１つまたは複数の入力から下流を学習するように構成される、請求項５４に記載の装置。
  58. ニューラルパターン一般化のための装置であって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照するための手段と、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習するための手段と、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照するための手段と、
    入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習するための手段と、
    前記第１および前記第２の刺激を用いないで前記第１のパターンまたは前記第２のパターンの少なくとも一方をリプレイするための手段と、
    前記リプレイに基づいて前記第１のパターンと前記第２のパターンとの一般化を学習するための手段とを備える、装置。
  59. 前記第１のパターンの参照および前記第２のパターンの参照が、互いに横方向に抑制しており、
    前記第１のパターンの参照および前記第２のパターンの参照が、前記一般化の学習を抑制しない、請求項５８に記載の装置。
  60. 前記一般化を学習するための前記手段が、
    前記第１および前記第２のパターンの参照の直接出力または間接出力の少なくとも一方に基づく前記第１および前記第２のパターンの参照から下流を学習するための手段を備える、請求項５８に記載の装置。
  61. 前記一般化を学習するための前記手段が、
    第１のパターンまたは第２のパターンのうちの、前記リプレイされた少なくとも一方の直接出力または間接出力の少なくとも一方に基づく前記１つまたは複数の入力から下流を学習するための手段を備える、請求項５８に記載の装置。
  62. ニューラルパターン一般化のためのコンピュータプログラムであって、
    第１の刺激を用いて１つまたは複数の入力のセット内の第１のパターンを参照し、
    入力の前記セット内の前記第１のパターンのうちの１つまたは複数の要素と前記第１のパターンの参照との間の関係側面を学習し、
    第２の刺激を用いて１つまたは複数の入力の前記セット内の第２のパターンを参照し、
    入力の前記セット内の前記第２のパターンのうちの１つまたは複数の要素と前記第２のパターンの参照との間の関係側面を学習し、
    前記第１および前記第２の刺激を用いないで前記第１のパターンまたは前記第２のパターンの少なくとも一方をリプレイし、
    前記リプレイに基づいて前記第１のパターンと前記第２のパターンとの一般化を学習するステップをコンピュータに実行させる、コンピュータプログラム。
  63. ニューラルパターンシーケンス補完の方法であって、
    基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照することと、
    前記パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習することと、
    基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照することと、
    前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内のパターンシーケンスの前記参照との間の関係側面を学習することと、
    前記パターンの前の部分を作成時に前記第１の層のニューロン内の前記パターンの後の部分をリプレイすることとを備える、方法。
  64. 前記パターンの前記作成された前の部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすことと、
    その１つの第２の層のニューロンを制御して第３の層のニューロンのうちの１つを引き起こすこととをさらに備え、
    その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
    前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、請求項６３に記載の方法。
  65. 前記パターンの前記前の部分を作成することが、外部刺激に基づく、請求項６３に記載の方法。
  66. 前記パターンの前記前の部分を作成することが、前のリプレイに基づく、請求項６３に記載の方法。
  67. 前記第３の層のニューロンのそれぞれが、前記第２の層の前記パターン内の２つ以上の部分のシーケンスを参照する、請求項６３に記載の方法。
  68. 前記第２または前記第３の層のニューロンの少なくとも１つの活動が、後ろ向きステップを抑制することによって前記パターンシーケンスの順方向リプレイを維持するために、第２のまたは第３の層のニューロンの前記少なくとも１つの短期の再活動を抑制する、請求項６３に記載の方法。
  69. 前記パターンが、繰返された部分の少なくとも２つの発生を有するシーケンスを備え、
    前記発生のそれぞれが、前記第２の層のニューロンのうちの異なる１つによって参照される、請求項６３に記載の方法。
  70. そのシーケンスを参照することが、そのシーケンスを学習することを備え、
    前記パターンシーケンスを参照することが、前記パターンシーケンスを学習することを備える、請求項６３に記載の方法。
  71. 第２の層の入力に対する前記第３の層のニューロンの感受性が、前記リプレイの間に増加される、請求項６３に記載の方法。
  72. ニューラルパターンシーケンス補完のための装置であって、
    基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するように構成された第１の回路と、
    前記パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習するように構成された第２の回路と、
    基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照するように構成された第３の回路と、
    前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内のパターンシーケンスの前記参照との間の関係側面を学習するように構成された第４の回路と、
    前記パターンの前の部分を作成時に前記第１の層のニューロン内の前記パターンの後の部分をリプレイするように構成された第５の回路とを備える、装置。
  73. 前記パターンの前記作成された前の部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすように構成された第６の回路と、
    その１つの第２の層のニューロンを制御して第３の層のニューロンのうちの１つを引き起こすように構成された第７の回路とをさらに備え、
    その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
    前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、請求項７２に記載の装置。
  74. 前記パターンの前記前の部分を作成することが、外部刺激に基づく、請求項７２に記載の装置。
  75. 前記パターンの前記前の部分を作成することが、前のリプレイに基づく、請求項７２に記載の装置。
  76. 前記第３の層のニューロンのそれぞれが、前記第２の層の前記パターン内の２つ以上の部分のシーケンスを参照する、請求項７２に記載の装置。
  77. 前記第２または前記第３の層のニューロンの少なくとも１つの活動が、後ろ向きステップを抑制することによって前記パターンシーケンスの順方向リプレイを維持するために、第２のまたは第３の層のニューロンの前記少なくとも１つの短期の再活動を抑制する、請求項７２に記載の装置。
  78. 前記パターンが、繰返された部分の少なくとも２つの発生を有するシーケンスを備え、
    前記発生のそれぞれが、前記第２の層のニューロンのうちの異なる１つによって参照される、請求項７２に記載の装置。
  79. そのシーケンスを参照することが、そのシーケンスを学習することを備え、
    前記パターンシーケンスを参照することが、前記パターンシーケンスを学習することを備える、請求項７２に記載の装置。
  80. 第２の層の入力に対する前記第３の層のニューロンの感受性が、前記リプレイの間に増加される、請求項７２に記載の装置。
  81. ニューラルパターンシーケンス補完のための装置であって、
    基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するための手段と、
    前記パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習するための手段と、
    基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照するための手段と、
    前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内のパターンシーケンスの前記参照との間の関係側面を学習するための手段と、
    前記パターンの前の部分を作成時に前記第１の層のニューロン内の前記パターンの後の部分をリプレイするための手段とを備える、装置。
  82. 前記パターンの前記作成された前の部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすための手段と、
    その１つの第２の層のニューロンを制御して第３の層のニューロンのうちの１つを引き起こすための手段とをさらに備え、
    その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
    前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、請求項８１に記載の装置。
  83. 前記パターンの前記前の部分を作成することが、外部刺激に基づく、請求項８１に記載の装置。
  84. 前記パターンの前記前の部分を作成することが、前のリプレイに基づく、請求項８１に記載の装置。
  85. 前記第３の層のニューロンのそれぞれが、前記第２の層の前記パターン内の２つ以上の部分のシーケンスを参照する、請求項８１に記載の装置。
  86. 前記第２または前記第３の層のニューロンのうちの少なくとも１つの活動が、後ろ向きステップを抑制することによって前記パターンシーケンスの順方向リプレイを維持するために、第２または第３の層のニューロンのうちの前記少なくとも１つの短期の再活動を抑制する、請求項８１に記載の装置。
  87. 前記パターンが、繰返された部分の少なくとも２つの発生を有するシーケンスを備え、
    前記発生のそれぞれが、前記第２の層のニューロンのうちの異なる１つによって参照される、請求項８１に記載の装置。
  88. そのシーケンスを参照することが、そのシーケンスを学習することを備え、
    前記パターンシーケンスを参照することが、前記パターンシーケンスを学習することを備える、請求項８１に記載の装置。
  89. 第２の層の入力に対する前記第３の層のニューロンの感受性が、前記リプレイの間に増加される、請求項８１に記載の装置。
  90. ニューラルパターンシーケンス補完のコンピュータプログラムであって、
    基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、
    前記パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習し、
    基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照し、
    前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内のパターンシーケンスの前記参照との間の関係側面を学習し、
    前記パターンの前の部分を作成時に前記第１の層のニューロン内の前記パターンの後の部分をリプレイするステップをコンピュータに実行させる、コンピュータプログラム。
  91. ニューラルパターン階層的リプレイの方法であって、
    基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照することと、
    各パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習することと、
    基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照することと、
    前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内の前記パターンシーケンスの前記参照との間の関係側面を学習することと、
    基準ニューロンの前記第３の層に基づいて前記第２の層内の前記パターンシーケンスの前記参照のリプレイを引き起こすことと、
    前記第２の層内の前記パターンシーケンスの前記参照のリプレイを前記引き起こすことに基づいて前記第１の層内の前記パターンの部分のそのシーケンスをリプレイすることとを備える、方法。
  92. 前記パターンの部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすことと、
    その１つの第２の層のニューロンを制御して前記第３の層のニューロンのうちの１つを引き起こすこととをさらに備え、
    その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
    前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、請求項９１に記載の方法。
  93. 前記第１の層内の前記パターンの部分のそのシーケンスをリプレイすることが、前記第１の層内の前記パターン内の部分の後のシーケンスのリプレイを引き起こす、請求項９１に記載の方法。
  94. 前記第２の層のニューロンにおけるリプレイを許可している間に前記第１の層のニューロンにおけるリプレイを妨げるように、前記リプレイを制御することをさらに備える、請求項９１に記載の方法。
  95. ニューラルパターン階層的リプレイのための装置であって、
    基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するように構成された第１の回路と、
    各パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習するように構成された第２の回路と、
    基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照するように構成された第３の回路と、
    前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内の前記パターンシーケンスの前記参照との間の関係側面を学習するように構成された第４の回路と、
    基準ニューロンの前記第３の層に基づいて前記第２の層内の前記パターンシーケンスの前記参照のリプレイを引き起こすように構成された第５の回路と、
    前記第２の層内の前記パターンシーケンスの前記参照のリプレイを前記引き起こすことに基づいて前記第１の層内の前記パターンの部分のそのシーケンスをリプレイするように構成された第６の回路とを備える、装置。
  96. 前記パターンの部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすように構成された第７の回路と、
    その１つの第２の層のニューロンを制御して前記第３の層のニューロンのうちの１つを引き起こすように構成された第８の回路とをさらに備え、
    その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
    前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、請求項９５に記載の装置。
  97. 前記第１の層内の前記パターンの部分のそのシーケンスをリプレイすることが、前記第１の層内の前記パターン内の部分の後のシーケンスのリプレイを引き起こす、請求項９５に記載の装置。
  98. 前記第２の層のニューロンにおけるリプレイを許可している間に前記第１の層のニューロンにおけるリプレイを妨げるように、前記リプレイを制御するように構成された第７の回路をさらに備える、請求項９５に記載の装置。
  99. ニューラルパターン階層的リプレイのための装置であって、
    基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照するための手段と、
    各パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習するための手段と、
    基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照するための手段と、
    前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内の前記パターンシーケンスの前記参照との間の関係側面を学習するための手段と、
    基準ニューロンの前記第３の層に基づいて前記第２の層内の前記パターンシーケンスの前記参照のリプレイを引き起こすための手段と、
    前記第２の層内の前記パターンシーケンスの前記参照のリプレイを前記引き起こすことに基づいて前記第１の層内の前記パターンの部分のそのシーケンスをリプレイするための手段とを備える、装置。
  100. 前記パターンの部分に基づいて前記第２の層のニューロンのうちの１つを引き起こすための手段と、
    その１つの第２の層のニューロンを制御して前記第３の層のニューロンのうちの１つを引き起こすための手段とをさらに備え、
    その１つの第３の層のニューロンが、前記第２の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するようにリプレイを引き起こし、
    前記第２の層におけるリプレイが、前記第１の層内の前記パターンシーケンスの少なくとも１つの後の部分を補完するように前記第１の層においてリプレイを引き起こす、請求項９９に記載の装置。
  101. 前記第１の層内の前記パターンの部分のそのシーケンスをリプレイすることが、前記第１の層内の前記パターン内の部分の後のシーケンスのリプレイを引き起こす、請求項９９に記載の装置。
  102. 前記第２の層のニューロンにおけるリプレイを許可している間に前記第１の層のニューロンにおけるリプレイを妨げるように、前記リプレイを制御するための手段をさらに備える、請求項９９に記載の装置。
  103. ニューラルパターン階層的リプレイのためのコンピュータプログラムであって、
    基準ニューロンの第２の層を用いて１つまたは複数の第１の層のニューロンのセット内のパターンの部分の各シーケンスを参照し、
    各パターンの１つまたは複数の要素と前記パターンの部分のそのシーケンスの前記参照との間の関係側面を学習し、
    基準ニューロンの第３の層を用いて基準ニューロンの前記第２の層内のパターンシーケンスを参照し、
    前記パターンシーケンスの１つまたは複数の要素と基準ニューロンの前記第２の層内の前記パターンシーケンスの前記参照との間の関係側面を学習し、
    基準ニューロンの前記第３の層に基づいて前記第２の層内の前記パターンシーケンスの前記参照のリプレイを引き起こし、
    前記第２の層内の前記パターンシーケンスの前記参照のリプレイを前記引き起こすことに基づいて前記第１の層内の前記パターンの部分のそのシーケンスをリプレイするステップをコンピュータに実行させる、コンピュータプログラム。
  104. ニューラルパターンシーケンス補完の方法であって、
    複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照することと、
    １つまたは複数の関係側面ニューロンを用いて、前記求心性ニューロンと、前記１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、前記パターンの前記部分のうちの１つまたは複数を前記基準ニューロンのサブセットと関係付けることと、
    前記１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい前記遅延に基づいて、前記パターンの１つまたは複数の残りの部分を基準ニューロンの前記サブセットと関係付けることと、
    前記求心性ニューロンによって前記パターンの前記１つまたは複数の部分の要素を発火することに基づいて、基準ニューロンの前記サブセットによって前記パターンの前記１つまたは複数の残りの部分のリプレイを誘発することとを備える、方法。
  105. 前記パターンの前記複数の部分を参照することが、
    基準ニューロンの前記サブセットを用いて前記パターンの前記１つまたは複数の部分を参照することと、
    前記基準ニューロンの別のサブセットを用いて前記パターンの前記１つまたは複数の残りの部分を参照することとを備える、請求項１０４に記載の方法。
  106. 前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークを設計する間に構成される、請求項１０４に記載の方法。
  107. 前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークの成長段階に応じて決定される、請求項１０４に記載の方法。
  108. ニューラルパターンシーケンス補完のための装置であって、
    複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照するように構成された第１の回路と、
    １つまたは複数の関係側面ニューロンを用いて、前記求心性ニューロンと、前記１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、前記パターンの前記部分のうちの１つまたは複数を前記基準ニューロンのサブセットと関係付けるように構成された第２の回路と、
    前記１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい前記遅延に基づいて、前記パターンの１つまたは複数の残りの部分を基準ニューロンの前記サブセットと関係付けるように構成された第３の回路と、
    前記求心性ニューロンによって前記パターンの前記１つまたは複数の部分の要素を発火することに基づいて、基準ニューロンの前記サブセットによって前記パターンの前記１つまたは複数の残りの部分のリプレイを誘発するように構成された第４の回路とを備える、装置。
  109. 前記第１の回路がまた、
    基準ニューロンの前記サブセットを用いて前記パターンの前記１つまたは複数の部分を参照し、
    前記基準ニューロンの別のサブセットを用いて前記パターンの前記１つまたは複数の残りの部分を参照するように構成される、請求項１０８に記載の装置。
  110. 前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークを設計する間に構成される、請求項１０８に記載の装置。
  111. 前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークの成長段階に応じて決定される、請求項１０８に記載の装置。
  112. ニューラルパターンシーケンス補完のための装置であって、
    複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照するための手段と、
    １つまたは複数の関係側面ニューロンを用いて、前記求心性ニューロンと、前記１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、前記パターンの前記部分のうちの１つまたは複数を前記基準ニューロンのサブセットと関係付けるための手段と、
    前記１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい前記遅延に基づいて、前記パターンの１つまたは複数の残りの部分を基準ニューロンの前記サブセットと関係付けるための手段と、
    前記求心性ニューロンによって前記パターンの前記１つまたは複数の部分の要素を発火することに基づいて、基準ニューロンの前記サブセットによって前記パターンの前記１つまたは複数の残りの部分のリプレイを誘発するための手段とを備える、装置。
  113. 前記パターンの前記複数の部分を参照するための前記手段が、
    基準ニューロンの前記サブセットを用いて前記パターンの前記１つまたは複数の部分を参照するための手段と、
    前記基準ニューロンの別のサブセットを用いて前記パターンの前記１つまたは複数の残りの部分を参照するための手段とを備える、請求項１１２に記載の装置。
  114. 前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークを設計する間に構成される、請求項１１２に記載の装置。
  115. 前記遅延が、前記求心性ニューロンと、前記基準ニューロンと、前記１つまたは複数の関係側面ニューロンとを備えるニューラルネットワークの成長段階に応じて決定される、請求項１１２に記載の装置。
  116. ニューラルパターンシーケンス補完のためのコンピュータプログラムであって、
    複数の基準ニューロンを用いて複数の求心性ニューロン内のパターンの複数の部分を参照し、
    １つまたは複数の関係側面ニューロンを用いて、前記求心性ニューロンと、前記１つまたは複数の関係側面ニューロンとの間の、第１の値より小さい遅延に基づいて、前記パターンの前記部分のうちの１つまたは複数を前記基準ニューロンのサブセットと関係付け、
    前記１つまたは複数の関係側面ニューロンを用いて、第２の値より大きい前記遅延に基づいて、前記パターンの１つまたは複数の残りの部分を基準ニューロンの前記サブセットと関係付け、
    前記求心性ニューロンによって前記パターンの前記１つまたは複数の部分の要素を発火することに基づいて、基準ニューロンの前記サブセットによって前記パターンの前記１つまたは複数の残りの部分のリプレイを誘発するステップをコンピュータに実行させる、コンピュータプログラム。
JP2014541342A 2011-11-09 2012-11-09 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置：ニューラル連想学習、パターン補間、分離、一般化および階層的リプレイ Expired - Fee Related JP5989791B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/292,184 2011-11-09
US13/292,184 US9443190B2 (en) 2011-11-09 2011-11-09 Methods and apparatus for neural pattern sequence completion and neural pattern hierarchical replay by invoking replay of a referenced neural pattern
PCT/US2012/064512 WO2013071155A1 (en) 2011-11-09 2012-11-09 Methods and apparatus for unsupervised neural replay, learning refinement, association and memory transfer: neural associative learning, pattern completion, separation, generalization and hierarchical replay

Publications (2)

Publication Number Publication Date
JP2014535117A JP2014535117A (ja) 2014-12-25
JP5989791B2 true JP5989791B2 (ja) 2016-09-07

Family

ID=47428966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014541342A Expired - Fee Related JP5989791B2 (ja) 2011-11-09 2012-11-09 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置：ニューラル連想学習、パターン補間、分離、一般化および階層的リプレイ

Country Status (8)

Country Link
US (1) US9443190B2 (ja)
EP (1) EP2776986A1 (ja)
JP (1) JP5989791B2 (ja)
KR (1) KR101815438B1 (ja)
CN (2) CN105868828B (ja)
BR (1) BR112014010445A2 (ja)
IN (1) IN2014CN03295A (ja)
WO (1) WO2013071155A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
US9424511B2 (en) 2011-11-09 2016-08-23 Qualcomm Incorporated Methods and apparatus for unsupervised neural component replay by referencing a pattern in neuron outputs
US9015091B2 (en) * 2011-11-09 2015-04-21 Qualcomm Incorporated Methods and apparatus for unsupervised neural replay, learning refinement, association and memory transfer: structural plasticity and structural constraint modeling
US9424513B2 (en) 2011-11-09 2016-08-23 Qualcomm Incorporated Methods and apparatus for neural component memory transfer of a referenced pattern by including neurons to output a pattern substantially the same as the referenced pattern
KR101912165B1 (ko) * 2011-12-09 2018-10-29 삼성전자주식회사 스파이킹 뉴런 기반 작업 기억 장치
US9070083B2 (en) * 2011-12-13 2015-06-30 Iucf-Hyu Industry-University Cooperation Foundation Hanyang University Method for learning task skill and robot using thereof
US9224090B2 (en) 2012-05-07 2015-12-29 Brain Corporation Sensory input processing apparatus in a spiking neural network
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9186793B1 (en) 2012-08-31 2015-11-17 Brain Corporation Apparatus and methods for controlling attention of a robot
US9311594B1 (en) 2012-09-20 2016-04-12 Brain Corporation Spiking neuron network apparatus and methods for encoding of sensory data
US9183493B2 (en) 2012-10-25 2015-11-10 Brain Corporation Adaptive plasticity apparatus and methods for spiking neuron network
US9218563B2 (en) * 2012-10-25 2015-12-22 Brain Corporation Spiking neuron sensory processing apparatus and methods for saliency detection
US9111226B2 (en) 2012-10-25 2015-08-18 Brain Corporation Modulated plasticity apparatus and methods for spiking neuron network
US9275326B2 (en) 2012-11-30 2016-03-01 Brain Corporation Rate stabilization through plasticity in spiking neuron network
US9239985B2 (en) 2013-06-19 2016-01-19 Brain Corporation Apparatus and methods for processing inputs in an artificial neuron network
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
US20150134582A1 (en) * 2013-11-08 2015-05-14 Qualcomm Incorporated Implementing synaptic learning using replay in spiking neural networks
US9987743B2 (en) 2014-03-13 2018-06-05 Brain Corporation Trainable modular robotic apparatus and methods
US9533413B2 (en) 2014-03-13 2017-01-03 Brain Corporation Trainable modular robotic apparatus and methods
US10275705B2 (en) 2014-08-08 2019-04-30 Vicarious Fpc, Inc. Systems and methods for generating data explanations for neural networks and related systems
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
US10083395B2 (en) * 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
US9840003B2 (en) 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
WO2017068490A1 (en) * 2015-10-23 2017-04-27 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device
WO2018182827A1 (en) * 2017-03-28 2018-10-04 Hrl Laboratories, Llc A neural model-based controller
US11645835B2 (en) * 2017-08-30 2023-05-09 Board Of Regents, The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
US11742901B2 (en) * 2020-07-27 2023-08-29 Electronics And Telecommunications Research Institute Deep learning based beamforming method and apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583964A (en) 1994-05-02 1996-12-10 Motorola, Inc. Computer utilizing neural network and method of using same
US7089218B1 (en) 2004-01-06 2006-08-08 Neuric Technologies, Llc Method for inclusion of psychological temperament in an electronic emulation of the human brain
JP3647584B2 (ja) 1996-12-26 2005-05-11 富士通株式会社 学習型自己定位装置
US6041322A (en) 1997-04-18 2000-03-21 Industrial Technology Research Institute Method and apparatus for processing data in a neural network
WO2004097733A2 (en) 2003-04-30 2004-11-11 Darwinian Neural Network Industries Ltd Neural networks
JP2005190429A (ja) 2003-12-26 2005-07-14 Hiroshima Univ 参照データ認識・学習方法及びパターン認識システム
JP2008542859A (ja) 2005-05-07 2008-11-27 エル ターラー、ステフエン 有用な情報を自律的にブートストラッピングする装置
JP4201012B2 (ja) 2006-04-06 2008-12-24 ソニー株式会社 データ処理装置、データ処理方法、およびプログラム
EP2259214B1 (en) 2009-06-04 2013-02-27 Honda Research Institute Europe GmbH Implementing a neural associative memory based on non-linear learning of discrete synapses
US20120117012A1 (en) 2010-04-08 2012-05-10 Neurosciences Research Foundation, Inc. Spike-timing computer modeling of working memory
US8382484B2 (en) 2011-04-04 2013-02-26 Sheepdog Sciences, Inc. Apparatus, system, and method for modulating consolidation of memory during sleep
US9147155B2 (en) 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US9015091B2 (en) 2011-11-09 2015-04-21 Qualcomm Incorporated Methods and apparatus for unsupervised neural replay, learning refinement, association and memory transfer: structural plasticity and structural constraint modeling
US9424511B2 (en) 2011-11-09 2016-08-23 Qualcomm Incorporated Methods and apparatus for unsupervised neural component replay by referencing a pattern in neuron outputs
US9424513B2 (en) 2011-11-09 2016-08-23 Qualcomm Incorporated Methods and apparatus for neural component memory transfer of a referenced pattern by including neurons to output a pattern substantially the same as the referenced pattern
US8909575B2 (en) 2012-02-29 2014-12-09 Qualcomm Incorporated Method and apparatus for modeling neural resource based synaptic placticity
WO2014081671A1 (en) 2012-11-20 2014-05-30 Qualcomm Incorporated Dynamical event neuron and synapse models for learning spiking neural networks

Also Published As

Publication number Publication date
CN105868828A (zh) 2016-08-17
JP2014535117A (ja) 2014-12-25
US20130117212A1 (en) 2013-05-09
CN103930909B (zh) 2017-07-04
CN105868828B (zh) 2019-06-11
KR101815438B1 (ko) 2018-01-05
BR112014010445A2 (pt) 2017-04-18
US9443190B2 (en) 2016-09-13
IN2014CN03295A (ja) 2015-07-03
KR20140092879A (ko) 2014-07-24
EP2776986A1 (en) 2014-09-17
CN103930909A (zh) 2014-07-16
WO2013071155A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
JP5989791B2 (ja) 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置：ニューラル連想学習、パターン補間、分離、一般化および階層的リプレイ
JP5934378B2 (ja) 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置：構造可塑性および構造制約モデリング
JP5989793B2 (ja) 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置：ニューラル構成要素リプレイ
JP5989792B2 (ja) 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置：ニューラル構成要素メモリ転送
JP6219418B2 (ja) ニューラルテンポラルコーディング、学習および認識のための方法および装置
JP5944518B2 (ja) スパイキングニューラルネットワークにおける自然マルチスパイク列のニューラル学習のための方法および装置
JP5840776B2 (ja) 発振を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメントの方法および装置
TW201626293A (zh) 由知識圖譜偏置的資料分類
US20150212861A1 (en) Value synchronization across neural processors
US20150256741A1 (en) Blink and averted gaze avoidance in photographic images
JP2017507397A (ja) 自動エラー訂正のための同時レイテンシおよびレートコーディング
US9269045B2 (en) Auditory source separation in a spiking neural network

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160810

R150 Certificate of patent or registration of utility model

Ref document number: 5989791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees