JP4093858B2 - リカレントニューラルネットワーク - Google Patents
リカレントニューラルネットワーク Download PDFInfo
- Publication number
- JP4093858B2 JP4093858B2 JP2002535074A JP2002535074A JP4093858B2 JP 4093858 B2 JP4093858 B2 JP 4093858B2 JP 2002535074 A JP2002535074 A JP 2002535074A JP 2002535074 A JP2002535074 A JP 2002535074A JP 4093858 B2 JP4093858 B2 JP 4093858B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- output
- recurrent neural
- neural network
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Electrotherapy Devices (AREA)
- Small-Scale Networks (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、リカレントニューラルネットワークの教師あり教示の分野に関する。
【０００２】
【従来の技術】
人工ニューラルネットワーク（ＡＮＮ：Artificial Neural Network)は、今日では、複雑な非線形システムに対する信号処理，制御，予測，及びデータモデリングのための確立された方法を数多く提供している。ＡＮＮを記述するための述語はかなり標準化されている。しかしここで、基本概念及び述語を簡単に説明しておく。
【０００３】
典型的なＡＮＮは有限数Ｋのユニットからなり、これらは離散時間ｔ（ここで、ｔ＝１，２，３…）において活性ｘi (t) （ｉ＝１，…，Ｋ）を有する。これらのユニットは、典型的には実数が割り当てられている荷重ｗji（ここで、ｉ，ｊ＝１，…，Ｋであり、ｗjiはｉ番目からｊ番目のユニットへの接続の荷重）を有する接続によって相互にリンクされている。荷重ｗji＝０は、ｉ番目からｊ番目のユニットへの接続が無いことを示す。接続荷重を接続行列Ｗ＝（ｗji）j,i=1,...,K に集めておくと便利である。時刻ｔ＋１におけるｊ番目のユニットの活性は、時刻ｔにおける全てのネットワークのユニットの活性から、
ｘj (t＋1)＝ｆj （Σi=1,...,K ｗjiｘi (t)), K statt N …(1)
によって導かれる。ここで、伝達関数ｆi は典型的にはシグモイド型関数である（線形又はステップ関数もまた一般的である）。大多数の用途では、全てのユニットが同一の伝達関数を有する。活性にノイズを加えることが有用な場合もある。その場合には、（１）式は
ｘj (t＋1)＝ｆj （Σi=1,...,K ｗjiｘi (t))＋ｖ(t), K statt N…(1')
となり、ここで、ｖ(t) は付加的ノイズ項である。
【０００４】
いくつかのユニットは出力ユニットとして指定されており、それらの活性はＡＮＮの出力と見なされる。別のいくつかのユニットは入力ユニットとして割り当てられており、それらの活性ｘi (t) は（１）式から計算されるのではなく、外部から与えられる入力ｕi (t) 、即ち、入力ユニットの場合の
ｘi (t) ＝ｕi (t) …(2)
に設定される。
【０００５】
ＡＮＮの最も実際的な応用例では、活性パターンが入力層から隠れ層を通じて出力層へ伝播するフィードフォワードネットワークを使用する。フィードフォワードネットワークの特徴的な性質は、接続サイクルが無いことである。形式理論では、フィードフォワードネットワークは入力−出力関数を表している。所与の機能を有するフィードフォワードネットワークを構築する典型的な方法は、学習サンプルを用いてネットワークに学習させること、即ち、ネットワークにいくつかの正しい入力−出力ペアを供給し、これによってネットワークに、学習サンプルを近似的に反復し、学習サンプルに存在しないその他の入力に対して般化することを学習させること、である。正しい学習サンプルを用いることを教師あり学習と称する。フィードフォワードネットワークに対する教師あり教示法で最も広汎に利用されているものは、ネットワーク荷重に対する勾配降下法によって学習サンプルの二乗出力誤差を漸次的に減少させるバックプロパゲーションアルゴリズムである。この勾配を計算する効率的な方法が利用可能になったことでこの分野に革新が起こったのであり、現在では、パターン分類，制御工学，及び信号処理の領域での確立し成熟した分野となっている。
【０００６】
フィードフォワードネットワークの一つの特別なバリエーションである放射基底関数ネットワーク（RBF network:radial basis function network)は、バックプロパゲーションよりも簡単で高速な教師あり学習法で使用することができる。（ＲＢＦネットワークに関する入門的解説としては、非特許文献１に所収のD.Loweによる「放射基底関数ネットワーク（Radial basis function networks) 」に関する論文がある。）典型的なＲＢＦネットワークは、（１）式とは全く異なる方法で計算される活性を有する隠れ層を備えている。即ち、ｊ番目の隠れユニットの活性は、ある基準ベクトルｖj から入力ベクトルｕまでの間の距離の関数
【０００７】
【数３】
【０００８】
である。出力ユニットの活性は（１）式の規定に従うが、通常は線形変換関数を用いる。教示の過程では隠れ層に対する活性化機構は変化しない。学習に際しては、隠れ層から出力層への接続の荷重のみが変化すればよい。これにより、学習タスクは、バックプロパゲーションの場合よりもずっと簡単になる。つまり、オフラインで（学習サンプルを供給した後に）線形回帰法を用いて荷重を決定することができる。又は、たとえば最小平均二乗（LMS:least mean square)法のなんらかの変形等の平均二乗誤差最小化の変形を用いてオンラインで荷重を決定することができる。
【０００９】
【非特許文献１】
Ｍ・エー・アルビブ（M.A.Arbib)編集，「頭脳理論及びニューラルネットワークのハンドブック（Handbook of Brain Theory and Networks)」，（米国），エムアイティー・プレス（MIT Press), 1995年，p.779 − 782
【非特許文献２】
エー・エフ・アティア(A.F.Atiya) 及びエー・ジー・パルロス(A.G.Parlos)著，「リカレントネットワーク学習に関する新たな結果：アルゴリズムの統合及び収束の加速（New Results on Recurrent Network Training:Unifying the Algorithms and Accelerating Convergence) 」，ＩＥＥＥ紀要，第11巻，第３冊，2000年，p.697 − 709
【非特許文献３】
ビー・ファルハング−ボロウジェニー（B.Farhang-Boroujeny)著，「適応的フィルタ：理論と応用（Adaptive Filters:Theory and Applications) 」，ウィリー・アンド・サンズ（Wiley & Sons),1999, p.423
【００１０】
【発明が解決しようとする課題】
接続に循環経路を許した場合、リカレントニューラルネットワーク（RNN)が得られる。ＲＮＮの特質は、時間的に持続する自己励起活性をサポートすることが可能であり、時間入力をメモリの影響下で処理することができることである。形式の観点からは、ＲＮＮは、（関数を実現するフィードフォワードネットワークとは異なり）非線形ダイナミクスのシステムを実現する。工学の観点からは、ＲＮＮはメモリを備えたシステムである。所望の入力−出力ダイナミクスを実行するＲＮＮを構築することは工学的応用にとって非常に有用であろう。しかし、ＲＮＮのそのような応用は現状では稀である。この稀である主な理由はＲＮＮの教示が困難であることである。教師ありＲＮＮ学習の技術の現状は、バックプロパゲーションスルータイム（BPTT:backpropagation through time)法のいくつかの変形例により注目されている。最近の概要は、非特許文献２に提示されている。ＢＰＴＴの背景をなす考え方は、時間的なリカレントネットワークを、それ自身と同一のコピーのカスケードへと展開することである。その際、リカレント接続は（同一のネットワーク内に戻るのではなく）ネットワークの１つのコピーから次のコピーへと繋がるように再配置される。この「展開された」ネットワークは、技術的にはフィードフォワードネットワークであり、フィードフォワードネットワーク用教示方法の適切な変形によって教示することができる。ＲＮＮに学習させるこの方法では標準的なバックプロパゲーションのインタラクティブで傾斜降下的な性質が受継がれており、この「展開」の方式で用いるコピーの数だけ固有のコストが倍数される。収束は、制御することは困難であり、多くの場合には遅く、また１回の反復に多くのコストが必要である。計算コストが原因となって、比較的小さなネットワークにのみ学習させることが可能である。もう１つの難点は、バックプロパゲーションされた勾配推定の精度が急速に劣化する（ゼロ又は無限大となる）ことにより、ほぼ１０時間ステップよりも長い時間スパンでの記憶効果の学習が妨げられることである。これらの難点やその他の難点から、ＲＮＮはこれまでのところ広く利用されるには到っていない。
【００１１】
【課題を解決するための手段】
本発明は、請求項１に記載したネットワークによって規定される。本発明の個々の実施の形態は従属請求項に規定されている。
【００１２】
本発明は、ＲＮＮの教師あり教示の新たな方法を提供する。本発明のニューラルネットワークの教師あり教示の新たな方法の背景をなす考え方は、既存のＢＰＴＴアプローチとは全く異なっている。後者は、ネットワーク内の全ての荷重を調節することによって学習目的を達成しようとし、これによって、各ユニットが所望の全体的挙動に最大限の寄与をするような最小サイズのネットワークを構成する。このことは、特定のタスクを実行する小型のネットワークを導く。これに対して、本発明で開示される方法は、内部荷重（即ち、隠れ層から隠れ層への接続，入力から隠れ層への接続，又は出力層から隠れ層への接続の荷重）が全く変更されない大型のリカレントネットワークを利用する。直感的には、この大型で変更されないネットワークは、隠れユニットと同数の多数の異なる非線形ダイナミクスの豊富な「ダイナミカルリザーバ」として利用される。このリザーバネットワークに対する別の観点は、これを超完備（overcomplete）基底と見ることである。教示過程では隠れ層から出力層への接続のみの荷重が調節される。この調節によって、所望の学習目的を実現する方法において、「リザーバ」のダイナミカルパターンから抽出して再結合するフィルタ機能を隠れ層から出力層への接続が獲得する。
【００１３】
新たな出力ユニットを追加し、各タスクごとにそれぞれの隠れ層から出力への荷重を個別に学習させることにより、「リザーバ」ネットワークの一例を多数のタスクに再利用することができる。学習後には、大型の「リザーバ」ネットワークの同一の例を用いて、任意に多数のそのようなタスクが並列に実行することができる。従って、本発明に従って構成され学習したＲＮＮを使用する場合の全体コストは、同一の入力データに対して多くの異なるタスクを実行しなければならない場合に比して大きく削減される。このことは、いくつかの異なるフィルタによって信号を処理する場合に生じる。
【００１４】
本発明のＲＮＮの時間記憶の長さは既存の方法よりも優れている。たとえば、約 100時間ステップの「短期間記憶」は 400ユニットのネットワークで容易に実現することができる。この例は本明細書（「例」の節）で後述する。
【００１５】
本発明は、（ａ）アーキテクチャ的（ＲＮＮの構造、その構成及び初期化）及び（ｂ）手続き的（教示方法）の２つのアスペクトを有する。両アスペクトは独立している。
【００１６】
「ダイナミカルリザーバ（ＤＲ:dynamical reservoir）」
本発明のアーキテクチャ的アスペクトによれば、固定されていて、以降の学習で変更されない荷重を有するリカレントニューラルネットワークが提供される。このＲＮＮの機能は、このネットワークのユニットのダイナミクスとして実現される多数の異なるダイナミクス的性質の「リザーバ」として動作することである。以下では、このＲＮＮをダイナミカルリザーバと称し、ＤＲと略記する。
【００１７】
好ましくは、ＤＲは大型であり、50以上（上限はない）の程度のユニット ( 以下、ＤＲユニットという）を備えている。
【００１８】
好ましくは、ＤＲの自発的ダイナミクス（ゼロ入力状態）は大域的に安定である。即ち、このＤＲは如何なる開始状態からでも唯一の安定状態に収束する。
【００１９】
処理データが空間的構造を有する用途においては（たとえば、ビデオ画像）、ＤＲの接続トポロジーも空間的構造を有してよい。
【００２０】
「入力供給」
本発明の別のアーキテクチャ的アスペクトによれば、入力によってＤＲが誘導されて豊富な励起ダイナミクスを発揮するような方法で、時刻ｔ（ｔ＝１，２，３…）におけるｎ次元入力ｕ(t) がＤＲに供給される。
【００２１】
入力を管理する方法が特定のものであるかは、本発明にとって問題ではない。ＲＮＮの分野で従来使用されているいくつかの可能な方法を以下に簡単に説明する。
【００２２】
好ましくは、追加された入力ユニットを用いて入力がＤＲに供給される。これらの入力ユニットの活性は（２）式に従って入力ｕ(t) に設定される。入力が時空的性質を有する場合には（たとえば、ビデオ画像列）、入力ユニットが特定の空間的様式で配置され（「入力網膜」）、トポロジー保存的な方法でＤＲに接続されてもよい。入力からＤＲユニットへの荷重を決定する方法の詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００２３】
代替として、入力値を、空間的構造化を行なって又は行なわずに、付加的要素としてＤＲのユニットの活性に直接供給してもよい。
【００２４】
代替として、ＤＲに供給する前に入力値を符号化してもよい。たとえば、数値の空間的符号化を採用してもよい。
【００２５】
「出力読み出し」
本発明の別のアーキテクチャ的アスペクトによれば、ｍ個（ここで、ｍ≧１）の出力ユニットの活性から読み出すことによって、時刻ｔにおけるｍ次元出力ｙ(t) がＤＲから得られる。出力ユニットの活性をｙ1 (t),…，ｙm (t) と表すことにする。
【００２６】
本発明の好適な実施の形態では、これらの出力ユニットは追加のユニットとしてＤＲに取り付けられている。その場合には（つまり、追加の出力ユニットの場合には）、出力からＤＲへの、出力ユニットの活性をＤＲネットワークにフィードバックする接続を備えていてもよい。ネットワークを信号処理（パターン分類、又はフィルタ処理等）用の受動的装置として用いる場合には、典型的には、このようなフィードバックは設けられない。典型的には、ネットワークを能動的信号発生装置として用いる場合にフィードバック接続が設けられる。フィードバック荷重を決定する方法の詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００２７】
本発明の別のアーキテクチャ的アスペクトによれば、ｍ個の出力ｙ1 (t),…，ｙm (t) に対する活性更新方法は、伝達関数ｆ1 ，…，ｆm を有する（１）式の形で与えられる。出力ユニットの伝達関数ｆj は、典型的には、シグモイド又は線形関数として選択される。
【００２８】
図１は、追加の入力ユニット及び出力ユニットを有する本発明の好適な実施の形態の概要を示す。この図では、ＤＲ［１］が、入力からＤＲへの接続［４］を介して入力をＤＲに供給する追加の入力ユニット［２］を用いることにより、入力を受取っている。出力は、図１の例では出力からＤＲへのフィードバック接続［７］を有する追加の出力ユニット［３］を用いることにより、ネットワークから読み出される。入力からＤＲへの接続［４］及び出力からＤＲへのフィードバック接続［７］は固定されており、学習によっても変更されない。最後に、ＤＲから出力への接続［５］と、（あってもよいが必須ではない）入力から出力への接続［６］とが存在している。これらの接続［５］及び［６］の荷重は学習中に調節される。
【００２９】
次に、本発明の手続き的アスペクト（教示方法）を説明する。ＲＮＮに対する教師あり教示方法の全てに関しては、学習列が所与であると仮定する。学習列は２つの時系列ｕ(t) 及び
【００３０】
【数４】
【００３１】
からなり、ｔ＝１，２，…，Ｎである。オンライン学習の場合には学習開始時にＮが決定されている必要がなく、従って、この学習手続きは結果未定の適応過程であると暗黙裏に了解される。ｕ(t) はｎ次元入力ベクトル（ここで、ｎ≧１、従って入力が無いｎ＝０の場合も可能）であり、
【００３２】
【数５】
【００３３】
はｍ次元出力ベクトル（ここで、ｍ≧１）である。この２つの時系列ｕ(t) 及び
【００３４】
【数６】
【００３５】
が、所望され学習されるべき入力から出力への挙動を表す。特別な場合には、入力列ｕ(t) が存在しなくてもよく、その場合には、学習タスクは純粋に生成的なダイナミクスを学習することである。
【００３６】
ｔ＝１，２，…，Ｎに対する学習列ｕ(t) 及び
【００３７】
【数７】
【００３８】
がネットワークに供給される。各時間ステップにおいて（たとえば（１）式のような選択した更新ルールに従って）ＤＲが更新され、出力ユニットの活性が教師信号
【００３９】
【数８】
【００４０】
に設定される（教師強制）。
【００４１】
本発明のこの方法は、オフライン学習及びオンライン学習に適用することができる。
オフライン学習では、非出力ユニットの活性ベクトルｘ(t) 及び教師信号
【００４２】
【数９】
【００４３】
の両方がｔ＝１，２，…，Ｎに関して収集される。これらのデータから時刻Ｎにおいて、学習列データ全体に渡る各出力ユニットｊ＝１，２，…，ｍの平均二乗誤差
【００４４】
【数１０】
【００４５】
が最小化されるように、出力ユニットへの接続に対する荷重ｗjiが計算される。
（４）式では、＜ｗj ，ｘ(t) ＞は内積
ｗj1ｕ1(t)＋…＋ｗjnｕn (t) ＋ｗj,n+1 ｘ1(t)＋…＋ｗj,n+K ｘK (t)
＋ｗj,n+K+1 ｙ1(t)＋…＋ｗj,n+K+m ｙm (t) …(5)
を表し、追加の入力ユニットがある場合には、この形の＜ｗj ，ｘ(t) ＞は所与である。（４）式を最小化する荷重の計算は線形回帰の標準的な問題であり、この問題に対するよく知られている解法のいずれかによって実行することができる。詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００４６】
荷重ｗjiが本発明のニューラルネットワークの教示方法の手続き部分の最終結果である。出力ユニットに供給する接続にこれらの荷重を設定した後に、ネットワークが利用することができる。
【００４７】
本発明のオンライン学習への変形では、荷重ｗj が漸次的に適応される。より正確に言えば、ｊ＝１，…，ｍに対して、各時刻ｔ0 ＝１，２，…，Ｎにおいて、ｔ0 までの平均二乗誤差
【００４８】
【数１１】
【００４９】
を適応的かつ漸次的に最小化する多数のよく知られている方法のいずれかを適切に適用することによって荷重ｗj (t) が更新される。
【００５０】
この種の誤差を最小化する適応的方法は、「再帰的最小二乗」（RLS:recursive least squares)法と総称されている。または、統計的な観点から、統計的期待二乗誤差
【００５１】
【数１２】
【００５２】
を最小化することもできる。ここで、右辺のＥは統計的期待値を表す。（４ｂ）式を最小化する適応的方法は確率的勾配降下法であり、その内には、ニュートン法、または全てのＭＳＥ最小化法の内で最も一般的なＬＭＳ法等、多数の方法がある。しかし、ＬＭＳ法は本発明のニューラルネットワークの教示方法と共に使用するには理想的に適している訳ではない。詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００５３】
【発明の実施の形態】
図１を除いて、添付図面には以下に説明する例を示してある。例の説明の際にこれらを詳細に参照する。
【００５４】
「いくつかの例の説明」
以降の各節で本発明を詳細に説明する前に、本発明をいくつかの例示的な実施の形態によって示しておくことが有用であろう。これらの例は本発明の様々な基本概念を強調するように選んである。
【００５５】
「例１：本発明のいくつかの基本的アスペクトを例示する単純な例」
本例では、本発明の基本的アスペクトを単純な例で示す。タスクは、ＲＮＮに対して正弦波信号を発生することを学習させることである。このタスクはほとんど自明であるので、ＤＲのサイズは僅かに20ユニットが選択された（より興味のあるタスクではネットワークサイズを著しく大きくしなければならない）。
【００５６】
まず、ネットワークアーキテクチャがどのようにして構成されるかを示す。接続度20％、即ち、平均として各ユニットが４個の別のユニット（自身への接続も可）への接続を有する状態、で20ユニットがランダムに接続された。接続荷重はランダムに 0.5又は−0.5 に設定された。
【００５７】
このネットワークを自由に動作させた。図２ａには漸近活性状態にある任意に選択した８個のユニットのトレースを示す。全てのＤＲユニットが低振幅振動状態にあることが判る。
【００５８】
本発明のアーキテクチャ的アスペクトによれば、ＤＲの自律的自己励起は望ましくない。このＤＲの自律的ダイナミクスは大域的に安定であること、即ち、任意の初期開始状態から全てがゼロとなる安定状態に収束すること、が必要である。従って、荷重を各因子で0.98だけ減少させた。即ち、それまでは 0.5であった荷重を0.49にした。図２ｂには、このネットワークをランダムな初期状態から開始させた際の最初の 200ステップで得られた 200ステップのトレースを示す。この新たな荷重によってネットワークのダイナミクスが大域的に安定となること、即ち、全てがゼロ活性となる状態に漸近することが判る。
【００５９】
荷重を僅かに増加させることによってダイナミクスが不安定になる（この場合には荷重の絶対値を0.49から0.5 に増加させることによって振動が発生する）という意味において、この大域安定性は限界的なものに過ぎない。この意味での限界的大域安定性は、多くの場合に、本発明によるＤＲの構成として望ましい条件である。
【００６０】
次にＤＲの応答特性が調べられた。このために追加の入力ユニットが取り付けられた。これはＤＲに完全に接続された。即ち、入力ユニットからＤＲの20ユニットの各々へ接続が確立され、接続荷重は、区間［−２，２］からランダムに採られた値に設定された。図２ｃは時刻ｔ＝１０に与えられた単位インパルス信号に対するネットワークの応答を示す。図２ｃの最初の７つのグラフは任意に選択されたＤＲユニットの活性トレースを示す。最後のグラフは入力信号を示す。ＤＲユニットが多様で豊富な応答ダイナミクスを示していることが判る。これが、本発明によるＤＲの構成として望ましい条件である。
【００６１】
次に、正弦入力に対するＤＲネットワークの応答特性が調べられた。図２ｃと同様に、図２ｄは７個のＤＲユニットの漸近応答と入力信号とを示す。この図からも、ＤＲユニットが多様で豊富な応答を示していることが判る。
【００６２】
最後に、以前に入力として与えられたものと同じ正弦信号を発生するようにネットワークを学習させた。以前に入力ユニットとして使用した追加ユニットはＤＲへの接続に関しては変更されなかったが、今回は出力ユニットとして使用された。全てゼロ活性である状態から開始し、ネットワークを先ず教師強制付きで 100ステップだけ動作させて初期の過渡現象を落着かせた。次いで、教師強制付きで更に 500ステップだけ動作させた。20個のＤＲユニットの活性値がこの 500ステップの期間について記録された。時刻ｔ＝600 に、ＤＲから出力ユニットへの荷重のオフライン学習が行なわれた。即ち、ＤＲの状態に対する所望の出力値の線形回帰の解としてＤＲから出力への荷重が計算され、（４）式の平均二乗誤差を最小化した。その後、教師強制を停止してネットワークを更に10,000ステップだけ自由に動作させた。その後の50ステップ分のグラフを図２ｅに示す。この８つのグラフは出力ユニットの活性を示している。当然ながら、図２ｅは図２ｄと実質的に同一である。図２ｆは教師（ネットワークには知られていない）信号付きの出力の重ね合わせを示す。ここで、教師信号＝実線であり、ネットワーク出力＝破線である。グラフの分解能の範囲では破線は実線と同一である。実際に、この（簡単な）学習タスクにおいては平均二乗誤差（４）の数値は1.03×10-13 であった。
【００６３】
「例２：短時間記憶」
本例では、本発明のニューラルネットワークの教示方法を用いて、入力の遅延バージョンを発生することをＲＮＮに学習させる方法を説明する。
【００６４】
ネットワークを図１のように構成した。ＤＲのサイズは 100ユニットとした。接続度５％でランダムに接続された。非ゼロ荷重は、等確率で＋0.45又は−0.45に設定された。これにより、ＤＲの大域的に安定なダイナミクスが得られた（この場合も限界的安定性であり、荷重の絶対値を.475に増加させると大域的安定性が損なわれるであろう）。単位インパルスに対するＤＲユニットのインパルス応答は例１（図２ｃ参照）と定性的に同等であったので、図示を省略する。
【００６５】
ＤＲの全てのユニットに接続することにより、１個の入力ユニットがＤＲに取り付けられた。これらの接続の荷重は、等確率でランダムに.001又は−.001に設定された。
【００６６】
更に、出力からＤＲへのフィードバック接続を有しない３個の追加の出力ユニットが設けられた。
【００６７】
学習タスクは、10，20，40時間ステップの遅れを伴って入力信号が出力ユニットで反復されるようにされた。使用した入力信号は、本質的に、バンド化された非定常の周波数スペクトルを有するランダムウォークであった。図３ａは、入力の50ステップの列（実線）と、10だけの遅れを有する正しい遅延信号（教師信号）（破線）とを示す。
【００６８】
ネットワークの状態はランダムに初期化された。そして、 700更新ステップだけ入力がネットワークに供給された。初期の過渡効果を避けるために最初の 200更新ステップのデータは廃棄された。残りの 500更新ステップのデータが収集され、本発明のニューラルネットワークの学習方法のオフライン実施の形態に用いられた。結果として、ＤＲ及び入力ユニットから出力ユニットへの接続の荷重が得られた。引続いてネットワークを、学習した荷重を用いて更に 150更新ステップだけ動作させた。この最後の50更新ステップの入力及び出力を図３ｂに示す。この３つのグラフは、正しい遅延信号（実線）に、学習したネットワークから発生された出力（破線）を重ねたものを示している。40時間ステップもの期間に渡って信号を遅延させることをネットワークが学習できたことが明らかになった。
【００６９】
学習したネットワークの出力の精度を定量するために、この３個の出力ユニットの各々の平均二乗誤差がサンプル列から計算された。結果は、10，20，40の遅延に対して、それぞれ0.0012，0.0013，0.0027であった。
【００７０】
注記。この学習タスクの挑戦は、ネットワークが時間メモリとして機能する必要があることである。この目標は、学習用のネットワークの構成の２つのアスペクトによって達成される。第１に、小さなマージンによってのみ大域的に安定となるようにＤＲの自律的ダイナミクスが調整された。これによって、入力の動的な後効果がゆっくりと減衰し、時間メモリの深さを拡大する効果がある。第２に、入力からＤＲへの接続が非常に小さな荷重を有していた。これによって、ＤＲネットワーク内で進行中の（記憶として機能する）活性が僅かに修正されるのみとなり、入ってくる入力によって記憶に関連する「影響（repercussion）」の分布が大きくなり過ぎないようになる効果がある。
【００７１】
「例３：励起可能媒体の学習」
本例では、本発明のニューラルネットワークの教示方法を用いて、２次元ネットワークが励起可能媒体のダイナミクスをサポートするように学習する方法を説明する。
【００７２】
ネットワークを図４ａ及び図４ｂのように構成した。これは、 100ユニットの２つの層からなっており、各層は10×10の格子状に配置された。境界条件の処理を避けるために、格子をトーラス状としてトポロジー的に閉じさせた。第１の層がＤＲとして使用され、第２の層が出力層として使用された。
【００７３】
局所連結度パターンは以下のようにして設けられた。第１の層の各ユニットが、この層内で局所的に取囲んでいるユニットからの接続を受けた（図４ａ）。図４ｃに示すように、ユニット間の距離ｒ１に応じて荷重が設定された。得られた内部ＤＲダイナミクスを図４ｄに示す。この図には、時間ステップ10において第１のユニットに供給された単位インパルスに対する、任意に選択した第１の層の８個のユニットの応答が示されている。ＤＲダイナミクスが減衰すること、即ち大域的に安定であること、が判る。
【００７４】
第１の層の各ユニットは、半径ｒ２の局所近傍に存在する出力ユニットからの接続を更に受けた。距離ｒ２に対する荷重の依存性を図４ｅに示す。
【００７５】
ＤＲから特定の出力ユニットへの全ての可能な接続の内で、格子距離ｒ３が４以下（図４ｂ）のものだけが学習を必要とした。学習の目標はこれらのＤＲから出力への接続の荷重を得ることであった。
【００７６】
この学習タスクには入力は含まれていなかった。
【００７７】
教示信号は、出力層に対する教師強制である「ソリトン」波を構成していた。ソリトンは、一定の速度及び方向でトーラス上をゆっくりと動いた。図４ｆは教師信号の４つの連続した時間ステップを示す。最初の図におけるトーラストポロジーの効果に注意されたい。
【００７８】
教示は以下のように行なわれた。ＤＲネットワークの状態は全てゼロの状態に初期化された。次いで、ネットワークを60時間ステップだけ動作させた。シグモイド伝達関数ｆ＝tanhを用いて（１）式に従ってＤＲユニットが更新された。出力ユニットは教師強制によって更新された。即ち、図４ｆに示した教師信号が出力ユニットに書き込まれた。最初の３０時間ステップのデータは廃棄され、残りの30時間ステップからデータが収集されて本発明のニューラルネットワークの学習方法のオフライン実施の形態に使用された。結果として、ＤＲユニットから出力ユニットへの接続の荷重が得られた。この学習タスクの特殊性は、教示の結果が空間的に均質にならなければならないこと、即ち、全ての出力ユニットが同じ荷重のセットを備えなければならないことである。これによって、 100出力ユニットの全てから得られたデータが本発明のニューラルネットワークの学習方法のために共用することができる。即ち、実効的には、ネットワークの状態と所望の出力との 100×30＝3000のペアの学習サンプルが用いられて所望の荷重セットが計算された。
【００７９】
ネットワークが学習したことの概要を知るために、この学習したネットワークでいくつかの実証を行なった。
【００８０】
最初の実証例では、ネットワークに対して、最初の10時間ステップの期間中にソリトン教師による教師強制が行なわれた。次いで、教師強制を停止し、ネットワークを更に 100時間ステップに渡って自由に動作させた。図４ｇは、自由に動作させてから１, 5, 10, 20, 50, 100時間ステップの時点で収集した図を示す。最初に強制されたソリトンはしばらく残存するが、全体のダイナミクスは、いずれ、学習ソリトンと同じ速度及び方向でトーラス上を移動する２つの大きなソリトンの安定で対称的なパターンに再組織化される。
【００８１】
他の実証例では、初期教師強制なしで、ランダム化された初期状態からネットワークを動作させた。ある時間（典型的には50時間ステップ未満）の後には、大域的に組織化された進行波の安定なパターンが現れた。図４ｈは、このようにして現れた滑らかな波のパターンと、さざ波のパターンとを示す。
【００８２】
注記。本例では、本発明のニューラルネットワークの教示方法を空間的ダイナミクスに適用する方法を強調した。実際の学習タスクを行なうのは１個の出力ユニットに限られており、本例のシステムに課された空間的均質性の条件に基づいて、学習した荷重がその他の全ての出力ユニットにコピーされる。ＤＲの役割は隠れ層が担っており、この場合のこれらの荷重は（上述の例のように）ランダムに与えられたものではなく、図４ｃに従って設計された。
【００８３】
「例４：カオス的発振器の学習：ローレンツアトラクタ」
本例では、本発明のニューラルネットワークの教示方法を用いて、教示信号にノイズが存在する場合にカオス的発振器をオンライン学習する方法を説明する。
【００８４】
ネットワークを、ランダムでまばらに接続されたＤＲ（80ユニット、接続度0.1 、荷重は等確率で＋0.4 又は−0.4)と単一の出力ユニット（完全に接続された出力からＤＲへのフィードバック接続、［−２，２］の一様分布から選択したランダム荷重）とで構成した。更新ルールは、（１）式の変形である「リークのある積分」であった。これは、以下のように「ポテンシャル」変数ｖを用いて以前の状態を現在の状態と混合するものである。
【００８５】
ｘj (t＋1)＝ｆ（ｖj (t＋1))
ｖj (t＋1)＝(1−ａj )(Σi=1,...,N ｗjiｘi (t))＋ａj ｖj (t) …（６）
【００８６】
伝達関数ｆ＝tanhが用いられた。リーク係数ａj は［0, 0.2］の一様分布からランダムに選択された。
【００８７】
上述の例と同様に、この構成によって、限界的大域安定性を有すると共に個別ユニットのインパルス応答が多様で豊富なＲＮＮが得られた。
【００８８】
よく知られている３次元のローレンツアトラクタをその第１次元に射影することにより１次元の教示信号が得られた。この信号に少量のノイズが加えられた。ノイズのある教師信号の遅れ埋込み表現を図５ａに示し、ノイズの無い教師信号のそれを図５ｂに示す。学習タスクは、ニューラルネットワークがその出力ユニットのダイナミクスに（ノイズなし）ローレンツトレースを再現するようにＤＲから出力への荷重を（ノイズのある学習信号を用いて）適応させることであった。
【００８９】
本発明のニューラルネットワークの教示方法によって出力荷重が学習された。実証の目的として、以下に３つの変形例を説明する。これらは、（ａ）オフライン学習、（ｂ）ＲＬＳ法を用いたオンライン学習、（ｃ）ＬＭＳ法を用いたオンライン学習、である。
【００９０】
「オフライン学習」ネットワークの状態を全てゼロの状態に初期化した。次いで、ネットワークへ入力が供給され、正しい教師出力が5100更新ステップに渡って３個の出力ユニットに書き込まれた（教師強制）。最初の 100更新ステップのデータは廃棄された。教師強制を伴う残りの5000更新ステップのデータが収集され、線形回帰計算を用いて最小のＭＳＥ((４）式）を有するＤＲから出力への荷重を決定するために用いられた。得られたＭＳＥ（４）は0.000089であった（信号中のノイズ成分に起因する理論的に可能な最小の平均二乗誤差は0.000052である）。この学習で発生した時系列を図５ｃに示す。
【００９１】
ＲＬＳ法を用いたオンライン学習。「再帰的最小二乗」法は多数の変形として実施することができる。ここでは非特許文献３を使用した。オフライン学習バージョンと同じＤＲが用いられた。ＲＬＳに必要な「忘却率」はλ＝0.9995に設定された。図５ｄに学習曲線を示す（log10(ε2 ）の展開、プロット点当たり 100ステップに渡る平均によって低域通過フィルタ処理）。約1000ステップ後には、誤差は約0.000095の最終調節誤差レベルに収束する。これは、オフラインの例よりも若干劣る。図５ｅは学習したネットワークが発生した時系列を示す。
【００９２】
「ＬＭＳ法を用いたオンライン学習」最小平均二乗法は、その強力さと簡単さとによって非常に広く用いられている。しかし、「課題を解決するための手段」で既に述べたように、これは本発明のニューラルネットワークの教示方法にとって理想的なものではない。その理由は、ＤＲの状態ベクトルは大きな固有ベクトル差を有するためである。しかし、この事実を示すためにＬＭＳ法が実施された。ＬＭＳ法では各時間ステップにおいて
ｗji(t＋1)＝ｗji(t) ＋μεｘi (t) …（７）
に従って荷重を更新する。ここで、μは学習率であり、ｊは出力ユニットの指標であり、
【００９３】
【数１３】
【００９４】
と（ｆ反転させた）出力ユニット信号ｙj （ｔ）との差、である。
【００９５】
学習率μを減少させつつ５つの連続する期間でネットワークを適応させた。即ち、１．μ＝0.03，Ｎ＝1000ステップ、２．μ＝0.01，Ｎ＝10,000ステップ、３．μ＝0.003 ，Ｎ＝50,000ステップ、４．μ＝0.001 ，Ｎ＝100,000 ステップ、５．μ＝0.0003，Ｎ＝200,000 ステップ。第５の期間の最後には平均二乗誤差Ｅ［ε2 ］が約0.000125に到達した。図５ｆは学習曲線（全期間を連結した）を示し、図５ｇは学習したネットワークが発生した時系列を示す。学習したネットワークがカオス的アトラクタではなく点アトラクタを生成することが明らかである。従って、ＬＭＳ法がＤＲから出力への荷重の学習には適していないことが判る。学習したネットワークの状態ベクトルｘ(t) の共分散行列の固有値分布をより詳細に調べると、固有値の差は非常に大きく、実際にはλmax ／λmin は約３×108 である。図５ｈはこの行列の固有値の対数グラフを示す。このような固有値分布は、低い接続度で接続されると共にランダムに荷重が付されたＲＮＮとして用意されたＤＲでは、普通に見られる。
【００９６】
「例５：直接／状態フィードバックコントローラ」
本例では、本発明のニューラルネットワークの教示方法を用いて、減衰振り子の追跡制御用の状態フィードバックニューロコントローラを得る方法を説明する。
【００９７】
振り子は、差分方程式
ω(t＋δ）＝ω(t) ＋δ(-ｋ1 ω(t)-ｋ2 sin(ψ(t))＋ｕ(t) ＋ｖ(t))
ψ(t＋δ）＝ψ(t) ＋δω(t) …（８）
によって離散時間でシミュレーションした。但し、ωは角速度であり、ψは角度であり、δは時間ステップの増分であり、ｕ(t) は制御入力（トルク）であり、ｖ(t) は制御されないノイズ入力である。定数は、ｋ1 ＝0.5 ，ｋ2 ＝1.0 ，δ＝0.1 に設定し、ノイズ入力は［−0.02, 0.02］の一様分布から選択された。
【００９８】
タスクは振り子用の追跡コントローラを学習することであった。より詳しくは、学習したコントローラネットワークが２ステップ先の基準軌跡
ｙref (t＋２δ）＝（ｘ1ref(t＋２δ),ｘ2ref(t＋２δ),ωref (t＋２δ))
を受取る。ここで、ｘ1ref(t＋２δ）及びｘ2ref(t＋２δ）は振り子の端点の所望の位置座標であり、ωref (t＋２δ）は所望の角速度である。振り子の長さは0.5 であったので、ｘ1ref(t＋２）及びｘ2ref(t＋２）は［−0.5, 0.5］の範囲にある。更に、コントローラは現在の振り子の状態の状態フィードバックｙ(t) ＝（ｘ1 (t),ｘ2 (t),ω(t))を受取る。コントローラは、現在時刻ｔの２更新ステップ後に振り子が基準軌跡を追跡するように、振り子に対するトルク制御入力ｕ(t) を発生する必要がある。図６ａは利用段階でのコントローラの構成を示す。
【００９９】
学習のために、時間と共に変化する制御入力
【０１００】
【数１４】
【０１０１】
に対する振り子の応答をシミュレーションして 500ステップの長さの教師信号が作成された。これは、高周波数で小振幅の信号と低周波数で大振幅の信号という２つのランダムなバンド化された信号の重ね合わせとして選択された。図６ｃは学習信号として用いられた制御入力
【０１０２】
【数１５】
【０１０３】
を示し、図６ｄはシミュレーションした振り子の状態の応答ｘ2 (t) を示し、図６ｅは状態の応答ω(t) を示す（状態の応答のｘ1 (t) 成分は定性的にはｘ2 (t) に類似しているので図示を省略する）。このネットワークに対する学習信号は、入力
ｙ(t) ＝（ｘ1 (t),ｘ2 (t),ω(t))及び
ｙ(t＋２δ）＝（ｘ1 (t＋２δ),ｘ2 (t＋２δ),ω(t＋２δ))
から構成された。ネットワークは、これらの入力からその出力ｕ(t),ｕ(t)statt/,ω(t）を発生することを学習することが必要であった。図６ｂは学習の構成を示す。
【０１０４】
前述の例（ローレンツアトラクタ）と同様の 100ユニットのＤＲでネットワークを構成した。６個の外部入力ユニットが低い接続度で（接続度20％）ランダムに（荷重は等確率で＋0.5 及び−0.5)ＤＲに取り付けられた。また、ＤＲへのフィードバック接続無しの１個の出力ユニットが設けられた。ネットワーク更新ルールは、内部ＤＲユニットに対する標準のノイズのあるシグモイド更新ルール（１’）であった（ノイズは［−0.01, ＋0.01］の均質分布）。出力ユニットは、（１）式で伝達関数を同一としたバージョンで出力を更新した（即ち線形ユニット）。図６ｂに示したように、学習データセット（Ｎ＝500)全体に渡る平均二乗の意味で誤差
【０１０５】
【数１６】
【０１０６】
が最小になるように、ＤＲから出力への荷重を簡単な線形回帰で計算した。
【０１０７】
テストとして、学習したネットワークに対して、３個のユニットにおいて目標軌跡
ｙref (t＋２δ）＝（ｘ1ref(t＋２δ),ｘ2ref(t＋２δ),ωref (t＋２δ))
を供給した。なお、学習段階では、入力ｙ(t＋２δ）＝（ｘ1 (t＋２δ),ｘ2 (t＋２δ),ω(t＋２δ))を受取っていた。ネットワークは、更に、３個のユニットにおいて状態フィードバックｙ(t）＝（ｘ1(t), ｘ2(t), ω(t))を振り子から受取った。学習中には、信号ｙ(t）＝（ｘ1(t), ｘ2(t), ω(t))を受取っていた。ネットワークは制御信号ｕ(t）を発生し、これはシミュレーションされた振り子に供給された。図６ｆはネットワーク出力ｕ(t）を示し、図６ｇは、基準のｘ2ref(t＋２δ）（実線）と、２ステップ遅れた振り子の軌跡ｘ2 (t＋２δ）（破線）とを重ねて示し、図６ｈは、基準のωref (t＋２δ）（実線）と、２ステップ遅れた振り子の軌跡ω(t＋２δ）（破線）とを重ねて示す。このように、ネットワークは追跡コントローラとしての機能を学習した。
【０１０８】
「議論」学習したネットワークはダイナミクス状態フィードバック追跡コントローラとして動作する。システムモデル（８）が既知である場合には、振り子用の完全な追跡コントローラの解析的な設計は難しくない。本例が挑戦的である点は、先験的な情報なしに、僅かな学習データセットから、このようなコントローラを学習することにある。
【０１０９】
リカレントニューラルネットワークの学習を通じてこのようなコントローラを得るというアプローチは新規である。より詳しくは、本発明のニューラルネットワークの教示方法に従ったリカレントニューラルネットワークの学習により閉ループ追跡コントローラを得る方法であって、（１）入力学習データがｙ(t＋Δ）及びｙ(t) の形式の２つのベクトル値時系列からなり、ここで、ｙ(t＋Δ）は、利用段階において基準信号として機能する変数の未来バージョンであり、ｙ(t）は状態又は観測フィードバック変数であり（必ずしもｙ(t＋Δ）と同一ではない）、（２）出力学習データがベクトル
【０１１０】
【数１７】
【０１１１】
を構成し、これは、学習入力データｙ(t＋Δ）及びｙ(t) を発生するために装置に供給される制御入力である、という方法である。
【０１１２】
「例６：２方式装置：周波数発生器及び周波数計」
本例では、本発明のニューラルネットワークの教示方法を用いて、調整可能な周波数発生器（入力：目標周波数、出力：所望の周波数の発振）及び周波数計（入力：発振、出力：周波数指示）という２方式で使用することができる装置を得る方法を説明する。ネットワークは、各々が入力ユニット又は出力ユニットとして使用可能な２個の追加ユニットを有する。学習中には、目標周波数及びその周波数の発振という２つの教師信号が同時に供給されるという意味において、両方のユニットは形式的に出力ユニットとして扱われる。
【０１１３】
学習段階では、第１の学習チャンネルは、0.1 と0.3 との間で滑らかではあるが不規則に変化するゆっくり変化する信号である（図７ａ）。他方の学習チャンネルは、第１の信号に従って周波数が変化する速い正弦発振である（図７ｂ、振幅にジッタがみられるが、離散サンプリングによる人工的なものである）。
【０１１４】
100ユニットのＤＲでネットワークを構成した。接続荷重行列Ｗは、幅５の対角バンドを有するバンド行列であった（即ち、｜ｊ−ｉ｜≧３である場合にｗji＝０）。このバンド構造がユニットにトポロジーを誘導する。２ユニットが近いほど（即ち、mod100で｜ｊ−ｉ｜がより小さい）、これらはより直接に結合する。この局所性が、局所的に異なる活性パターンを発生させる。図７ｃは５ユニットごとのインパルス応答を示す（時間ステップ10におけるインパルス入力）。対角バンド内の荷重は、予備的に、等確率で＋１又は−１に設定された。得られたＤＲダイナミクスが限界的大域安定となるまで、荷重を大域的及び一様にスケーリングさせた。このスケーリングにより、安定性マージンδ＝0.0025に対して荷重±0.3304が得られた（安定性マージンは、本明細書の後の部分にある好適な実施の形態の詳細な説明で定義される）。
【０１１５】
更に、２個の追加ユニットには、ＤＲに戻るフィードバック接続が設けられた。２個の追加ユニットの各々において、これらの接続は接続度 0.5でランダムに接続された。これらのフィードバック接続の荷重は、第１の追加ユニットに対しては±1.24に、第２の追加ユニットに対しては±6.20になるようにランダムに選択された。
【０１１６】
ネットワークの状態をランダムに初期化し、学習のためにネットワークを1100ステップだけ動作させた。図７ａ及び図７ｂに示した同一種類の２つの信号がネットワークに供給され（第１の追加ユニットに対しては目標周波数信号を、第２の追加ユニットに対しては発振を）、正しい教師出力が２個の出力ユニットに書き込まれた（教師強制）。（１’）式に従って小さな加算ノイズを加えつつＤＲの更新が行なわれた。ノイズは［−0.02, 0.02］の一様分布からサンプリングされた。最初の 100更新ステップのデータは廃棄された。教師強制を伴う残りの1000更新ステップのデータが収集され、最小平均二乗誤差((４）式）の線形回帰解を得るために使用された。結果として、ＤＲユニットから２個の出力ユニットへの接続に対する荷重が得られた。
【０１１７】
利用段階では、学習したＲＮＮは、周波数発生器又は周波数計という２つの方式のいずれかで使用された。利用段階では、更新ルールのノイズなしバージョン((１）式）が用いられた。
【０１１８】
利用段階の周波数発生器モードでは、第１の追加ユニットは入力ユニットとして、第２の追加ユニットは出力ユニットとして扱われた。目標周波数信号、たとえば図７ｄに示した 400時間ステップの階段信号、が入力ユニットに供給された。出力の役割を与えられた第２の追加ユニットでは、発振はネットワークによって発生された。図７ｅは、階段入力によって要求された正しい周波数の発振（実線）と、ネットワークが実際に発生した出力（破線）との重ね合わせを示す。図７ｆは、出力信号（実線）とネットワークが発生した出力（破線）との周波数振幅（フーリエ変換の絶対値）の重ね合わせを示す。図７ｅ及び図７ｆからは、要求された周波数の発振を発生することをネットワークが学習したことが判る。但し、範囲の低域及び広域において周波数歪みを有する。図７ｇは任意に選択された８個のＤＲのユニットのトレースを示す。これらは、出力信号として同一周波数の発振を示しており、入力信号に従って、それらの振幅範囲で転置され、スケーリングされている。
【０１１９】
利用段階の周波数計モードでは、第２の追加ユニットは、変化する周波数の発振が書き込まれる入力ユニットとして使用された。第１の追加ユニットは今回は出力ユニットとして動作した。図７ｈは入力信号を示す。図７ｉは、完全な出力（実線）と実際に発生した出力（破線）との重ね合わせを示す。ネットワークが周波数計として動作することを学習したことが判る。但し、同様に、範囲の低域及び広域において周波数歪みを有する。ＤＲユニットのトレースのグラフは周波数発生器モードの場合と正確に同様であるので図示を省略する。
【０１２０】
本例が挑戦的である点は２つある。第１に、ネットワークは出力ダイナミクス自身を学習するのではなく、２つの学習信号の間のダイナミクスの関係を「発見」することが必要であった。第２に、この２つの信号時間スケールが非常に異なっている。つまり、周波数目標は本質的に定常的であり、発振信号は速い時間スケールで変化する。この学習したネットワークにより要求された異なる時間スケールの信号の間の双方向情報交換には特別の困難を伴う。学習したネットワークに安定なダイナミクスを得るためには、学習中にノイズのある更新ルールを用いることが不可欠であることが本例において見出された。
【０１２１】
本例は、本発明の別の実施形態、即ち、本発明のニューラルネットワークの教示方法を用いていくつかの信号の間のダイナミクスの関係についてＲＮＮを学習させること、の一例である。より詳しくは、この実施形態は、（１）本発明によるＤＲアーキテクチャのｎ個の追加ユニットに対して学習データ
【０１２２】
【数１８】
【０１２３】
を供給することであって、これらの追加ユニットはＤＲへのフィードバック接続を有しており、（２）（４）式による平均二乗誤差を最小化するようにネットワークを学習させることであり、次いで、（３）任意にそれらのユニットのいくつかを入力ユニットとし、残りを出力ユニットとすることにより、いずれかのユニットとして利用することである。
【０１２４】
「各例についての議論」
これらの例によって、本発明の不変で独立の核心が何であるか、また、代替実施の形態となる従属変形例が何であるか、が明らかになる。
【０１２５】
各例における共通のアスペクトは以下の通りである。
●以下の特性によって特徴づけられるＤＲの使用：
○その荷重が学習中に変更されない
○限界的大域的に安定なダイナミクスが得られるようにして、その荷重が大域的にスケーリングされる
○異なるユニットのインパルス応答が異なったものとなるようにＤＲが設計される
○ユニットの数が、取り扱うそれぞれのタスクに対する最小サイズのＲＮＮに丁度必要な数よりも多い（超完備基底のアスペクト）
●（４）式による平均二乗誤差が学習データ全体に対して最小化されるように、ＤＲから出力への接続荷重のみを学習する。
【０１２６】
各例は以下のアスペクトにおいて異なっている：
●ネットワークがトポロジー的／空間的構造（励起可能媒体の例における２次元格子、及び、２方式装置の例におけるバンド行列誘導局所性）を有してもよく、そのような構造を有していなくてもよい（その他の例）。
●ＤＲユニットに必要とされる異なるインパルス応答は、ＤＲの明示的な設計によって（励起可能媒体の例）、又はランダム初期化によって（その他の例）、達成することができる。
●ネットワークの更新ルールは、（１）式による標準的な方法であってもよく（短期間記憶の例、及び励起可能媒体の例）、その他の方法であってもよい（カオス的発振器におけるリークのある積分更新ルール、及び、２方式装置におけるノイズのある更新）。
●ＤＲから出力への接続荷重の計算は、平均二乗誤差を最小化するための何らかの標準的方法を用いて、オフラインで（短期間記憶、励起可能媒体、及び２方式装置）、又はオンラインで（カオス的発振器）、実行することができる。
【０１２７】
「本発明及び好適な実施の形態の詳細な説明」
以下では本発明の好適な実施の形態を詳細に説明する。「課題を解決するための手段」と同様に、まず、アーキテクチャ及び構成のアスペクトを詳細に説明し、次いで、学習方法の手続き的アスペクトを詳細に説明する。
【０１２８】
「ＤＲの構成」
本発明の中心的なアーキテクチャ的アスペクトは、荷重が固定されていて、以降の学習によって変更されないＤＲを設けることである。本発明のニューラルネットワークのＤＲの目的は、豊富で、安定で、好ましくは長期間残存する励起可能なダイナミクスを提供することである。この目標を実現するために、本発明では以下の構成が提供される。
【０１２９】
「大きなネットワークサイズによる豊富なダイナミクス」
本発明の好適な実施の形態では、比較的大型のＤＲを使用して、異なるユニットダイナミクスの豊富な多様性を提供する。典型的な場合には50ユニット又はそれよりも（ずっと）多く、50ユニット未満の構成は、単純な発振器を学習する場合等の、要求の厳しくない用途にのみ適切である。
【０１３０】
「不均質なネットワーク構造による豊富なダイナミクス」
本発明の好適な実施の形態では、ＤＲに不均質性を導入することにより、ＤＲユニットのインパルス応答に豊富な多様性を達成する。以下のような戦略を単独で、又は組合せて用いることにより、不均質性という設計目標を達成する。
●以下の方法によって、ＤＲに不均質な連結性構造を実現する。
○ランダムかつ低い接続度でＤＲ接続を構築することによる、
○バンド構造を有する連結性行列を用いることにより、ＤＲの異なる部分の空間的結合を解消させる（上述の各例では用いなかった戦略）、
○ユニットを層、又はモジュールとして配置すること等により、ＤＲのトポロジーに別の内部構造を付与する、
【０１３１】
●以下を与えることにより、ＤＲユニットに異なる応答特性を持たせる。
○異なる伝達関数、
○異なる時定数、
○異なる接続荷重。
【０１３２】
「スケーリングによる限界的安定ダイナミクス」
大域的に安定なダイナミクスを有するＤＲを得る好適な方法は、まず、前述の好適な実施の形態に従って不均質なＤＲを構築し、次いで、共通因子αを用いて荷重を大域的にスケーリングすることであるが、その際、共通因子αは以下のように選択される。
１．ネットワークダイナミクスが大域的に安定となる、即ち、任意の開始活性状態からでもダイナミクスがゼロに減衰する、及び
２．この安定性が限界的なものに過ぎない、即ち、小さなマージンだけ１よりも大きい因子α’＝１＋δによってネットワーク荷重を更にスケーリングすれば、ネットワークダイナミクスが不安定になる。
【０１３３】
スケーリング因子α’＝１＋δ中のδが変化すると、臨界値δcritにおいて、ネットワークダイナミクスは大域的に安定なダイナミクスからその他のダイナミクスに分岐する。上述の例では、この値は安定性マージンと称された。所与のスケーリング因子の安定性マージンを決定するために現状で利用可能な唯一の方法は、系統的探索である。
【０１３４】
「安定性の限界性を調整することによる短期間記憶の期間の調整」
ＲＮＮの多くの応用において、設計目標は、学習したＲＮＮにおける短期間記憶を長くすることである。この設計目標は、ＤＲの安定性マージンを適切に選択することにより本発明の実施の形態でサポートされている。
【０１３５】
安定性マージンが小さいほど、短期間記憶の実効期間が長くなる。従って、長く残存する短期間記憶の機能という設計目標は、安定性マージンを小さな値に設定することにより本発明の実施の形態で実現することができる。短期間記憶の期間を最大化することが目標であるという典型的な実施の形態では、 0.1よりも小さなδの値が使用される。
【０１３６】
「ＤＲへの入力の供給」
人工ニューラルネットワークの分野で、ネットワークへ入力を供給する最も一般的な方法は、これまでのところ、追加の入力ユニットを用いることである。上述の各例ではこの標準的な方法が用いられた。ＲＮＮへ入力を供給する別の方法も考えられるが、本質的には追加の入力ユニットの記法の変形（たとえば、ＤＲユニット活性更新の式（１）に入力項を追加する方法）であるか、又は、ほとんど用いられない方法（たとえば、入力によって大域的なネットワークパラメータを変調する方法）である。如何なる方法であっても、（１）得られるＤＲのダイナミクスが入力によって著しく影響を受け、（２）個別のＤＲユニットのダイナミクスに必要な可変性が保存されるならば、本発明のニューラルネットワークの教示方法とコンパチブルである。
【０１３７】
以下では、追加の入力ユニットによって入力を供給する最も一般的な方法を詳細に説明する。
【０１３８】
本発明のニューラルネットワークによれば、入力ユニットからＤＲネットワークへの連結度パターン、及びこれらの入力からＤＲへの接続に対する荷重は構築時に固定され、学習中にも変更されない。
【０１３９】
本発明の好適な実施の形態では、入力からＤＲへの接続及びその荷重は２つのステップで固定される。ステップ１では、連結度パターンが決定され、その荷重が初期値に設定される。ステップ２では、荷重値が大域的にスケーリングされて性能が最大化される。以下では、この２つのステップをより詳細に説明する。
【０１４０】
ステップ１：入力からＤＲへの接続を確立し、その荷重を初期値に設定する。ステップ１で達成すべき設計目標は、入力信号に対する個別のＤＲユニットの応答に高い可変性を保証することである。本発明のニューラルネットワークの教示方法によれば、以下のルール又はその何らかの組合せによってこの目標が達成される。
【０１４１】
●接続を低い接続度で設ける、即ち、出力ユニットからＤＲユニットへの可能な接続の多数又は大部分に対してゼロ荷重を与える。
●確率分布からサンプリングすることにより、非ゼロ接続のフィードバック荷重をランダムに選択する（カオス的発振器学習の例のように）。
●非ゼロ接続のフィードバック荷重に異なる符号を割り当てる、即ち、禁止的及び励起的なフィードバック接続の両方を設ける。
【０１４２】
ステップ２：ステップ１で設定した荷重を大域的にスケーリングする。ステップ２の目標は性能を最適化することである。一般的なルールは与えられない。ネットワークの特定の目的に応じて、非常に小さい絶対荷重から非常に大きい絶対荷重の異なるスケーリング範囲が最適であり得る。利用者の便利のために以下に示すルールに従うことが有用であろう。これらは、ＤＲネットワークの更新ルールに非線形（典型的にはシグモイド）の伝達関数を用いる実施の形態に適用することができる。
【０１４３】
●大きな荷重は、高速で、高周波数の I/O応答特性に適しており、小さな荷重は、遅い信号の場合、又は、何らかの低域通過特性が必要な場合に適している。たとえば、単一の入力インパルスによってネットワーク全体の状態が１つのアトラクタから別のアトラクタに切替わる多安定（マルチフロップ）メモリネットワーク（本明細書では説明していない）を学習する際には、±5.0 という非常に大きな値の入力からＤＲへの荷重が使用された。
●大きな荷重は、高度に非線形な「スイッチング」 I/Oダイナミクスが必要な場合に適しており、小さな荷重は、より線形的な I/Oダイナミクスに適している。
●大きな荷重は、必要な時間記憶長が短いタスク（即ち、時刻ｔにおける出力が僅かに先行する入力及び出力にのみ有意に依存する場合）に適しており、小さな荷重は、時間記憶効果を長く取る場合に適している。たとえば、遅延線の例（記憶長を長くすることが目標であった）では、±0.001 と言う非常に小さな入力からＤＲへの荷重が使用された。
●多数の入力チャンネルがある場合には、より大きな絶対荷重を有する入力からＤＲへの接続を有するチャンネルのほうが、小さな荷重のチャンネルに比してシステム出力に対する影響が強い。
【０１４４】
「利用段階でのネットワークからの出力の読み出し」
本発明のニューラルネットワークの教示方法によれば、ネットワークからの出力は常に出力ユニットから読み出される。利用段階では、ｊ番目の出力ｙj (t＋１)(ｊ＝１，…，ｍ）は、（１）式の更新ルールの適用により、即ち、ｙj (t＋１）＝ｆj ＜ｗj ，ｘ(t) ＞によって、ｊ番目の出力ユニットから得られる。ここで、内積＜ｗj ，ｘ(t) ＞は、ｊ番目の出力ユニットの伝達関数ｆj を通じて渡される入力ユニットｕ(t),ＤＲユニットｘ(t),及び出力ユニットｙ(t) の荷重付き活性の和
ｗj1ｕ1(t)＋…＋ｗjnｕn (t) ＋ｗj,n+1 ｘ1(t)＋…
＋ｗj,n+K ｘK (t) ＋ｗj,n+K+1 ｙ1(t)＋…＋ｗj,n+K+m ｙm (t)
である。典型的な実施の形態では、ｆj はシグモイド又は線形関数である。
【０１４５】
「出力ユニットからＤＲへのフィードバック接続」
本発明のニューラルネットワークの教示方法では、出力ユニットからＤＲへのフィードバックに関しては、所望のタスクに応じて２つの方法が提供される。つまり、（ａ）このような接続無しにネットワークを構成する方法と、（ｂ）このような接続を設けてネットワークを構成する方法とが可能である。タイプ（ａ）の本発明の実施の形態は典型的には受動的フィルタ処理タスクに適用され、一方（ｂ）の場合は典型的には能動的信号発生タスクに必要とされる。しかし、フィードバック接続はフィルタ処理タスクにおいても、特に、（２方式装置の例のように）フィルタ処理タスクが自律的状態ダイナミクスを有するシステムのモデル化を扱う場合には必要となることがある。この状況は、線形信号処理の述語を用いれば、無限インパルス応答（ＩＩＲ：infinite impulse response)フィルタにも当てはまる。しかし、この述語は、通常、線形フィルタに対して使用されている。ＲＮＮは非線形フィルタを構成する。従って、本願では別の述語を用いる必要がある。入力と、出力ユニットからのフィードバック接続とを有するＲＮＮは能動的フィルタ処理タスクを実行するものとする。
【０１４６】
本発明のニューラルネットワークの教示方法によれば、フィードバック接続を用いる場合には（即ち、信号発生又は能動的フィルタ処理タスクでは）、これらはネットワークの設計時に固定され、以降の学習でも変更されない。
【０１４７】
出力からＤＲへのフィードバック接続の構成は、既に詳述した入力からＤＲへの接続の構成と完全に類似している。従って、本発明の好適な実施の形態では出力からＤＲへのフィードバック接続の設計が２つのステップで行なわれる、と再び述べるだけで充分である。第１のステップでは連結度パターンと荷重の初期設定とが固定され、第２のステップではその荷重が大域的にスケーリングされる。入力からＤＲへの接続に関して説明した設計目標と発見的ルールとは、変更なしに出力からＤＲへの接続にも当てはまるので、繰返す必要はない。
【０１４８】
「ＤＲから出力への荷重を学習することによる出力ＭＳＥの最適化」
上述のようにＤＲネットワークと適切な入力及び出力装置とを設けることによりネットワークを構成した後で、本発明のニューラルネットワークの教示方法では、ＤＲユニットから（設けてある場合には、入力ユニットからということもあり得る）出力ユニットへの荷重を決定する処理を行なう。これは、教師あり学習処理で行なわれる。
【０１４９】
「学習判定基準：平均二乗出力誤差の最小化」
出力ユニットへの接続の荷重は、（４）式の平均二乗誤差が学習データ全体に対して最小化されるようにして決定される。便宜を図って（４）式を再掲する。
【０１５０】
【数１９】
【０１５１】
ｊ番目の出力ユニットの所望の（教師）出力であり、これには、このユニットの伝達関数ｆj の逆が適用される。＜ｗj ，ｘ(t) ＞は内積
ｗj1ｕ1(t)＋…＋ｗjnｕn (t) ＋ｗj,n+1 ｘ1(t)＋…＋ｗj,n+K ｘK (t)
＋ｗj,n+K+1 ｙ1(t)＋…＋ｗj,n+K+m ｙm (t) …(5) （再掲）
を表す。ここで、ｕi (t) は（適用可能な場合には）入力ユニットの活性であり、ｘi (t) はＤＲユニットの活性であり、ｙi (t) は出力ユニットの活性である。
【０１５２】
（４）式のＭＳＥを最小化する代わりにオンラインの適応的方法を用いる本発明の別の実施の形態では、以下の平均二乗誤差を最小化することも可能である。
【０１５３】
【数２０】
【０１５４】
この２つの変形例の間の理論的差異は、第１の場合((４）式）では学習手続きによって出力ユニット状態誤差が最小化されるのに対して、第２の場合では出力値誤差が最小化されることである。実際上は、通常、これによって有意な差異は生じない。その理由は、出力ユニットの状態と出力値とは伝達関数によって直接に関連しているからである。例の節で説明した各例では、全てにおいて（４）式が用いられた。
【０１５５】
本発明の更に別の実施の形態では、ＭＳＥを最小化することは、入力ユニット，ＤＲユニット，及び出力ユニットのサブセットに対して適用される。より詳しくは、これらの代替実施の形態ではＭＳＥとして
【０１５６】
【数２１】
【０１５７】
が最小化される。ここで、ｓは０及び１からなるｗj と同じ長さのベクトルであり、ｒ・ｓ＝（ｒ1 …ｒk ）・（ｓ1 …ｓk ）＝（ｒ1 ｓ1 …ｒk ｓk ）はユニットごとの乗算を示す。＜ｗj ，ｘ(t) ＞の代わりに＜ｓ・ｗj ，ｘ(t) ＞を採用することによる効果は、選択ベクトルｓによって選択された入力／ＤＲ／出力ユニットのみが出力誤差の最小化に使用されることである。ｓの内で０によって指定されるこれらの入力／ＤＲ／出力ユニットから出力ユニットへの接続荷重は０に設定される。詳しくは、変形（４* ）又は（４’* ）を用いて出力から出力への接続の学習を排除することができる。変形（４* ）は「短時間記憶」及び「フィードバックコントローラ」の例（出力から出力へのフィードバックを排除した）において、また、「励起可能媒体」の例（図４ａ及び図４ｂに示した局所近傍を定義するために変形（４* ）を拡張使用）において使用された。
【０１５８】
「学習法：教師強制を用いた教師あり教示」
本発明のニューラルネットワークの教示方法によれば、ＭＳＥ(4), (4'), (4 * ）、又は(4’* ）が教師あり教示の手続きによって最小化される。入力時系列ｕ(t) 及び（所望の）出力時系列
【０１５９】
【数２２】
【０１６０】
からなる学習列が利用可能でなければならない。ここで、ｔ＝１，２，…，Ｎである。ローレンツアトラクタの例及び励起可能媒体の例のように、学習タスクが純粋に生成的なダイナミクスを学習することである場合には、入力時系列ｕ(t）は無くてもよい。
【０１６１】
本発明のニューラルネットワークの教示方法によれば、ＤＲの活性は時刻ｔ＝１において初期化される。好ましくは、ＤＲ活性はゼロ又は小さなランダム値に初期化される。
【０１６２】
本発明のニューラルネットワークの教示方法は、構成的オフライン学習及び適応的オンライン学習に使用可能である。本発明のニューラルネットワークの教示方法は、以下に説明するようにこれら２つの場合に対して調節可能である。しかし、本発明のいくつかのアスペクトは、オンライン／オフラインの区別には無関係である。
【０１６３】
オンライン／オフラインの区別に無関係な１つのアスペクトによれば、入力学習列ｕ(t) は、ｔ＝１，２，…，ＮについてＤＲに供給される。
【０１６４】
オンライン／オフラインの区別に無関係な本発明の別のアスペクトによれば、出力学習列
【０１６５】
【数２３】
【０１６６】
に設定される。これは、ＲＮＮの分野では教師強制として知られている。教師強制は、出力ユニットからＤＲへのフィードバック接続がある場合には本質的である。このようなフィードバック接続を用いない場合には教師強制は重要でないが、方法を統一的に説明する際の簡便さのために、用いるものとする。
【０１６７】
オンライン／オフラインの区別に無関係な本発明の別の手続き的アスペクトによれば、ＤＲユニットは時間ステップｔ＝１，２，…，Ｎに対して更新される。いずれの特定の更新ルールを用いるかは本発明のニューラルネットワークの教示方法には無関係である。ＤＲを繰返して更新することにより活性ベクトル列ｘ(1),…，ｘ(N) が得られる。ここで、ｘ(t) は時刻ｔにおけるネットワークのユニット（入力ユニットを含み、出力ユニットを含まない）の活性を含むベクトルである。
【０１６８】
本発明の好適な実施の形態では、学習段階で、小さなノイズがネットワークダイナミクスに加えられる。ノイズを加える１つの方法は、更新の式（１’）を用いること、即ち、各更新時に各ネットワークの状態にノイズ項を加えること、である。ノイズを導入する別の方法は、入力信号ｕ(t) 及び／又は
【０１６９】
【数２４】
【０１７０】
にノイズを加えることである。より詳しくは、入力ユニットにｕ(t) を書き込む代わりにｕ(t) ＋ｖ(t) を書き込み、出力ユニットに教師強制
【０１７１】
【数２５】
【０１７２】
を用いる場合には、最小化すべきＭＳＥは、やはり、学習出力のノイズなしバージョン、即ち（４）式の選択した変形、のままである。
【０１７３】
ネットワークダイナミクスにノイズを加えることは、出力からＤＲへのフィードバック接続が存在する信号発生及び能動的信号処理タスクでは特に有用である。このような場合には、加えられたノイズは、所望の I/O挙動に対して安定なシステムダイナミクスの関係が存在しない内部ユニットをランダムに励起する。その結果、そのような「信頼できない」ユニットから出力ユニットへの荷重は、学習手続きの際に非常に小さな値に設定される。正味の効果として、得られた学習したネットワークはより丈夫な（即ち、擾乱からあまり影響を受けない）挙動を行なう。「２方式装置」の例ではノイズを加えることが不可欠であることが分かった。
【０１７４】
ノイズを加えることは、学習データセットがネットワークサイズよりもあまり大きくない場合にも有用である。このような場合には、学習データに過剰適合するという虞がある。換言すれば、良好な一般化性能を実現することが困難になる。ノイズの挿入はネットワークが学習データの特異性に適合することを防止し、これにより一般化が向上する。ノイズを加えて過剰適合を抑制することは、装置の制御状態の小さな部分しか学習中に調べられない「振り子制御」の例では必須であった。ノイズの挿入によって、適切に一般化された性能が実現できた。
【０１７５】
本発明の更なるアスペクトは、オフライン学習又はオンライン学習に特異的である。本発明のニューラルネットワークの教示方法をこれらの二つの場合に適用する方法を以下で詳細に説明する。
【０１７６】
「学習段階におけるデータ収集のための１更新ステップの説明（オフラインの場合）」
本発明のニューラルネットワークの教示方法をオフライン学習に使用する場合には、ｔ＝１，２，…，Ｎについて学習データがネットワークに供給され、この期間中に得られたネットワークの状態が記録される。時間Ｎの後に、出力ユニットへのＭＳＥ最小化荷重をオフラインで構築するために、これらのデータが用いられる。本発明のニューラルネットワークの教示方法によれば、完結した１更新ステップとしては、以下のサブステップを実行しなければならない。
【０１７７】
更新ステップｔ→ｔ＋１への入力：
１．ＤＲユニット活性状態ｘ1 (t），…，ｘK (t）
２．出力ユニット活性状態ｙ1 (t），…，ｙm (t）（教師信号
【０１７８】
【数２６】
【０１７９】
３．入力信号ｕ1 (t＋１），…，ｕn (t＋１）［タスクが、入力を伴わない純粋な信号発生タスクでない場合］
【０１８０】
【数２７】
【０１８１】
更新ステップｔ→ｔ＋１の後の出力：
１．ＤＲユニット活性状態ｘ1 (t＋１),…，ｘK (t＋１）
【０１８２】
【数２８】
【０１８３】
サブステップ：
１．［タスクが、入力を伴わない純粋な信号発生タスクではない場合］選択した入力供給方法を用いて、入力ｕ1 (t＋１),…，ｕn (t＋１）をネットワークに供給する。追加の入力ユニットを用いて入力がネットワークに供給される場合には（標準的方法）、これは、ｎ個の入力ユニットの活性をｕ1 (t＋１),…，ｕn (t＋１）に設定することを意味する。こうして、全体のネットワークの状態は、ｕ1 (t＋１),…，ｕn (t＋１),ｘ1 (t),…，ｘK (t),ｙ1 (t),…，ｙn (t) となる［入力ユニットを用いる場合。そうでない場合には、最初のｕ1 (t＋１),…，ｕn (t＋１）を除く］。
【０１８４】
２．選択した更新ルールを適用してＤＲユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｉ＝１，…，Ｋに対して
を評価する。
【０１８５】
３．あとで行なう最適荷重のオフライン計算で使用するために、ｘ(t＋１）＝ｕ1 (t＋１），…，ｕn (t＋１），ｘ1 (t＋１），…，ｘK (t＋１），ｙ1 (t），…，ｙm (t) 及び
【０１８６】
【数２９】
【０１８７】
をメモリに書き込む。［最小化すべきＭＳＥが（４* ）式の形である場合には、ｘ(t＋１）＝ｓ・（ｕ1 (t＋１），…，ｕn (t＋１），ｘ1 (t＋１），…，ｘK (t＋１），ｙ1 (t），…，ｙm (t））をメモリに書き込む。］
【０１８８】
【数３０】
【０１８９】
「オフラインの場合における最適荷重計算の説明」
時刻Ｎにおいて、Ｎ個の状態−教師出力ペア
【０１９０】
【数３１】
【０１９１】
がメモリに収集されている。本発明のニューラルネットワークの教示方法では、次いで、選択ベクトルｓEINBETTEN ｘ(t) で値１を有する全てのユニットからｊ個の出力ユニットへの荷重ｗj,i を計算する。これらの荷重は、選択されたＭＳＥの変形（即ち（４）又は（４* ))を最小化するように計算する。技術的には、これは線形回帰タスクであり、多数の効率的な方法が利用することができる。（MatLab, Mathematica, LinPack等の技術データ解析ソフトウエアパッケージ、又は統計データ解析パッケージには、高度に洗練された線形回帰プログラムが含まれている。本明細書で説明した例を作成する際にはMathematica のＦＩＴ手順を用いた。）この線形回帰を行なう方法が特定のものであるかは本発明の一部分ではなく、また、当業者にとっては難しいことではないので、ここでは、ＭＳＥ（４）を最小化する場合のみを簡単に説明する。
【０１９２】
データを用いて学習を行なう前にネットワークにおける初期の過渡効果が減衰していなければならないという事実があるので、準備として、初期の状態−教師出力ペアのいくつかを廃棄することが望ましい。この後、各出力ユニットｊに対して引数値ベクトルデータセット
【０１９３】
【数３２】
【０１９４】
の値の最小平均二乗誤差に対する線形回帰荷重を計算する、即ち、（４）式のＭＳＥが最小となるように荷重ｗj,i を計算する。
【０１９５】
これらの荷重をネットワークに書き込めば、利用の準備が完了する。
【０１９６】
「利用段階における１更新ステップの説明」
学習したネットワークを利用する際には、入力ｕ1 (t),…，ｕn (t) がオンラインで供給され［純粋な信号発生装置でない場合］、ネットワークは出力ｙ1 (t),…，ｙm (t) をオンラインで発生する。便宜を図って、利用中のネットワークの更新ステップを以下で詳細に説明する。
【０１９７】
更新ステップｔ→ｔ＋１への入力：
１．ＤＲユニット活性状態ｘ1 (t),…，ｘK (t)
２．出力ユニット活性状態ｙ1 (t),…，ｙm (t)
３．入力信号ｕ1 (t＋1), …，ｕn (t＋1)［タスクが、入力を伴わない純粋な信号発生タスクでない場合］
【０１９８】
更新ステップｔ→ｔ＋１の後の出力：
１．ＤＲユニット活性状態ｘ1 (t＋1), …，ｘK (t＋1)
２．出力ユニット活性状態ｙ1 (t＋1), …，ｙm (t＋1)
【０１９９】
サブステップ：
１．［タスクが、入力を伴わない純粋な信号発生タスクでない場合］入力ｕ1 (t＋1), …，ｕn (t＋1)をネットワークに供給する。
２．選択した更新ルールを適用してＤＲユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｉ＝１，…，Ｋに対して
を評価する。
３．選択した更新ルールを適用して出力ユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｊ＝１，…，ｍに対して
を評価する。
【０２００】
ここで注意すべき重要な点は「カスケード」更新である。即ち、最初に、サブステップ２でＤＲユニットが更新され、次いで、サブステップ３で出力ユニットが更新される。これは、学習段階における同様の「カスケード」更新に対応している。
【０２０１】
「変形例」
追加の入力ユニット及び出力ユニットを有するリカレントニューラルネットワークの更新の際には、様々な種類のユニット（入力，ＤＲ，及び出力ユニット）の相対的更新順序に関していくらかの自由度がある。たとえば、上述の特定の「カスケード」更新に代えて別の実施の形態においてＤＲユニット及び出力ユニットを同時に更新することができ、若干（しかし、典型的には有意ではない程度に）異なるネットワーク挙動を得ることができる。ＤＲがモジュール構造又は層構造を有する更に別の実施の形態では、更に複雑な更新管理を要求してネットワークの特定の部分を特定の順序で更新してもよい。本発明のニューラルネットワークの教示方法を実施する際に重要なことは、いずれの更新方式を用いるにしても、学習段階と利用段階とで同一の方式を用いなければならないということである。
【０２０２】
「オンライン適応のための一つのＬＭＳ更新ステップの説明」
本発明のニューラルネットワークの教示方法のオフライン変形例とは異なり、オンライン適応法は、出力状態誤差（ＭＳＥ判定基準（４）及び（４* ))を最小化するためにも、出力値誤差（ＭＳＥ判定基準（４’）及び（４’* ))を最小化するためにも、双方に使用することができる。
【０２０３】
オンライン適応では、ｊ番目の出力ユニットへの荷重ｗj,i が各時間ステップにおいて漸近的に最適化され、これによって時間に依存する変数ｗj,i (t) 自身となる。オンラインＭＳＥ最小化適応のための多数のよく知られた方法が本発明のニューラルネットワークの教示方法に対しても使用することができる。そのような方法としては、ＬＭＳ法、ニュートン法（又は、それらの組合せ）のような確率的勾配降下法、又はＲＬＳ法のようないわゆる「決定論的な」本発明のニューラルネットワークの教示方法、等がある。
【０２０４】
これらの内で、ＬＭＳ法が明らかに最も簡単である。これは本発明のニューラルネットワークの教示方法に最適という訳ではない（その理由は、ローレンツアトラクタの例の議論の中で述べた）。しかし、その簡単さという理由から、本発明のニューラルネットワークの教示方法のオンラインバージョンの原理を詳細に説明するためにはＬＭＳを選択することが最良である。
【０２０５】
以下に、ＬＭＳ法を用いて荷重を最適化する場合の１更新ステップを説明する。
【０２０６】
更新ステップｔ→ｔ＋１への入力：
１．ＤＲユニット活性状態ｘ1 (t),…，ｘK (t)
２．出力ユニット活性状態ｙ1 (t),…，ｙm (t)
３．入力信号ｕ1 (t＋1), …，ｕn (t＋1)［タスクが、入力を伴わない純粋な信号発生タスクでない場合］
【０２０７】
【数３３】
【０２０８】
５．出力ユニットへの接続の荷重ｗj,i (t)
【０２０９】
更新ステップｔ→ｔ＋１の後の出力：
１．ＤＲユニット活性状態ｘ1 (t＋1), …，ｘK (t＋1)
２．出力ユニット活性状態ｙ1 (t＋1), …，ｙm (t＋1)
３．新たな荷重ｗj,i (t＋1)
【０２１０】
サブステップ：
１．［タスクが、入力を伴わない純粋な信号発生タスクでない場合］入力ｕ1 (t＋1), …，ｕn (t＋1)をネットワークに供給する。
２．選択した更新ルールを適用してＤＲユニットを更新する。たとえば、（４）式を用いる場合には、各ｉ＝１，…，Ｋに対して
を評価する。
３．選択した更新ルールを適用して出力ユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｊ＝１，…，ｍに対して
を評価する。
４．選択した適応方法を用いて、各出力ユニットｊ＝１，…，ｍに対して荷重ｗj (t) ＝（ｗj,1 (t),…，ｗj,n+K+m (t))をｗj (t＋1)に更新する。ここで、例としてＬＭＳ法を説明する。これは以下のサブステップを備えている。
【０２１１】
ａ．誤差
【０２１２】
【数３４】
【０２１３】
を計算する。［注意：これによって出力値誤差が得られ、結果として（４’）式のＭＳＥが最小化される。出力状態誤差を最小化するためには、これに代えて
【０２１４】
【数３５】
【０２１５】
を用いる。］
【０２１６】
ｂ．ｗj (t＋1)＝ｗj (t) ＋μεj (t＋1)ｘ(t) とする。ここで、μは学習率であり、ｘ(t) はステップ３の後に得られた全体のネットワークの状態（入力ユニット及び出力ユニットを含む）である。
【０２１７】
５．出力からＤＲへのフィードバック接続がある場合には、教師信号
【０２１８】
【数３６】
【０２１９】
本発明のニューラルネットワークの教示方法のオフラインバージョンの場合と同様に、この更新方式には多数の自明な変形が存在する。それらの違いは、更新の式((４）式のいずれかのバージョン）、カスケードされた方式においてネットワークの一部が更新される順序、入力を与える方法等、である。これらの変形は本発明のニューラルネットワークの教示方法にとって重要ではなく、上述の更新ステップの詳細な説明は１つの可能性を例示しているに過ぎない。
【図面の簡単な説明】
【図１】 本発明の好適な実施の形態の概略を簡単に示す図である。
【図２】 本発明のニューラルネットワークの教示方法を簡単に適用してサイン発生ネットワークを得る第１の例から得られた様々なデータセットを教示する目的で示す図である。
【図３】 本発明のニューラルネットワークの教示方法を適用して遅延線の形式で短時間記憶ネットワークを得る第２の例から得られた様々なデータセットを示す図である。
【図４】 本発明のニューラルネットワークの教示方法を適用して単一の「ソリトン」教師信号から学習される励起可能媒体のモデルを得る第３の例から得られた接続構成と様々なデータセットとを示す図である。
【図５】 本発明のニューラルネットワークの教示方法を適用して確率的時系列発生器を学習する第４の例から得られた様々なデータセットを示す図である。
【図６】 振り子用の状態フィードバック追跡コントローラの学習に適用されたネットワークの模式的構成と、この例で得られた様々なデータセットとを示すことにより第５の例を説明する図である。
【図７】 本発明のニューラルネットワークの教示方法を適用して周波数計又は周波数発生器として使用することができる双方向装置を学習する第６の例から得られた様々なデータセットを示す図である。
【発明の属する技術分野】
本発明は、リカレントニューラルネットワークの教師あり教示の分野に関する。
【０００２】
【従来の技術】
人工ニューラルネットワーク（ＡＮＮ：Artificial Neural Network)は、今日では、複雑な非線形システムに対する信号処理，制御，予測，及びデータモデリングのための確立された方法を数多く提供している。ＡＮＮを記述するための述語はかなり標準化されている。しかしここで、基本概念及び述語を簡単に説明しておく。
【０００３】
典型的なＡＮＮは有限数Ｋのユニットからなり、これらは離散時間ｔ（ここで、ｔ＝１，２，３…）において活性ｘi (t) （ｉ＝１，…，Ｋ）を有する。これらのユニットは、典型的には実数が割り当てられている荷重ｗji（ここで、ｉ，ｊ＝１，…，Ｋであり、ｗjiはｉ番目からｊ番目のユニットへの接続の荷重）を有する接続によって相互にリンクされている。荷重ｗji＝０は、ｉ番目からｊ番目のユニットへの接続が無いことを示す。接続荷重を接続行列Ｗ＝（ｗji）j,i=1,...,K に集めておくと便利である。時刻ｔ＋１におけるｊ番目のユニットの活性は、時刻ｔにおける全てのネットワークのユニットの活性から、
ｘj (t＋1)＝ｆj （Σi=1,...,K ｗjiｘi (t)), K statt N …(1)
によって導かれる。ここで、伝達関数ｆi は典型的にはシグモイド型関数である（線形又はステップ関数もまた一般的である）。大多数の用途では、全てのユニットが同一の伝達関数を有する。活性にノイズを加えることが有用な場合もある。その場合には、（１）式は
ｘj (t＋1)＝ｆj （Σi=1,...,K ｗjiｘi (t))＋ｖ(t), K statt N…(1')
となり、ここで、ｖ(t) は付加的ノイズ項である。
【０００４】
いくつかのユニットは出力ユニットとして指定されており、それらの活性はＡＮＮの出力と見なされる。別のいくつかのユニットは入力ユニットとして割り当てられており、それらの活性ｘi (t) は（１）式から計算されるのではなく、外部から与えられる入力ｕi (t) 、即ち、入力ユニットの場合の
ｘi (t) ＝ｕi (t) …(2)
に設定される。
【０００５】
ＡＮＮの最も実際的な応用例では、活性パターンが入力層から隠れ層を通じて出力層へ伝播するフィードフォワードネットワークを使用する。フィードフォワードネットワークの特徴的な性質は、接続サイクルが無いことである。形式理論では、フィードフォワードネットワークは入力−出力関数を表している。所与の機能を有するフィードフォワードネットワークを構築する典型的な方法は、学習サンプルを用いてネットワークに学習させること、即ち、ネットワークにいくつかの正しい入力−出力ペアを供給し、これによってネットワークに、学習サンプルを近似的に反復し、学習サンプルに存在しないその他の入力に対して般化することを学習させること、である。正しい学習サンプルを用いることを教師あり学習と称する。フィードフォワードネットワークに対する教師あり教示法で最も広汎に利用されているものは、ネットワーク荷重に対する勾配降下法によって学習サンプルの二乗出力誤差を漸次的に減少させるバックプロパゲーションアルゴリズムである。この勾配を計算する効率的な方法が利用可能になったことでこの分野に革新が起こったのであり、現在では、パターン分類，制御工学，及び信号処理の領域での確立し成熟した分野となっている。
【０００６】
フィードフォワードネットワークの一つの特別なバリエーションである放射基底関数ネットワーク（RBF network:radial basis function network)は、バックプロパゲーションよりも簡単で高速な教師あり学習法で使用することができる。（ＲＢＦネットワークに関する入門的解説としては、非特許文献１に所収のD.Loweによる「放射基底関数ネットワーク（Radial basis function networks) 」に関する論文がある。）典型的なＲＢＦネットワークは、（１）式とは全く異なる方法で計算される活性を有する隠れ層を備えている。即ち、ｊ番目の隠れユニットの活性は、ある基準ベクトルｖj から入力ベクトルｕまでの間の距離の関数
【０００７】
【数３】
である。出力ユニットの活性は（１）式の規定に従うが、通常は線形変換関数を用いる。教示の過程では隠れ層に対する活性化機構は変化しない。学習に際しては、隠れ層から出力層への接続の荷重のみが変化すればよい。これにより、学習タスクは、バックプロパゲーションの場合よりもずっと簡単になる。つまり、オフラインで（学習サンプルを供給した後に）線形回帰法を用いて荷重を決定することができる。又は、たとえば最小平均二乗（LMS:least mean square)法のなんらかの変形等の平均二乗誤差最小化の変形を用いてオンラインで荷重を決定することができる。
【０００９】
【非特許文献１】
Ｍ・エー・アルビブ（M.A.Arbib)編集，「頭脳理論及びニューラルネットワークのハンドブック（Handbook of Brain Theory and Networks)」，（米国），エムアイティー・プレス（MIT Press), 1995年，p.779 − 782
【非特許文献２】
エー・エフ・アティア(A.F.Atiya) 及びエー・ジー・パルロス(A.G.Parlos)著，「リカレントネットワーク学習に関する新たな結果：アルゴリズムの統合及び収束の加速（New Results on Recurrent Network Training:Unifying the Algorithms and Accelerating Convergence) 」，ＩＥＥＥ紀要，第11巻，第３冊，2000年，p.697 − 709
【非特許文献３】
ビー・ファルハング−ボロウジェニー（B.Farhang-Boroujeny)著，「適応的フィルタ：理論と応用（Adaptive Filters:Theory and Applications) 」，ウィリー・アンド・サンズ（Wiley & Sons),1999, p.423
【００１０】
【発明が解決しようとする課題】
接続に循環経路を許した場合、リカレントニューラルネットワーク（RNN)が得られる。ＲＮＮの特質は、時間的に持続する自己励起活性をサポートすることが可能であり、時間入力をメモリの影響下で処理することができることである。形式の観点からは、ＲＮＮは、（関数を実現するフィードフォワードネットワークとは異なり）非線形ダイナミクスのシステムを実現する。工学の観点からは、ＲＮＮはメモリを備えたシステムである。所望の入力−出力ダイナミクスを実行するＲＮＮを構築することは工学的応用にとって非常に有用であろう。しかし、ＲＮＮのそのような応用は現状では稀である。この稀である主な理由はＲＮＮの教示が困難であることである。教師ありＲＮＮ学習の技術の現状は、バックプロパゲーションスルータイム（BPTT:backpropagation through time)法のいくつかの変形例により注目されている。最近の概要は、非特許文献２に提示されている。ＢＰＴＴの背景をなす考え方は、時間的なリカレントネットワークを、それ自身と同一のコピーのカスケードへと展開することである。その際、リカレント接続は（同一のネットワーク内に戻るのではなく）ネットワークの１つのコピーから次のコピーへと繋がるように再配置される。この「展開された」ネットワークは、技術的にはフィードフォワードネットワークであり、フィードフォワードネットワーク用教示方法の適切な変形によって教示することができる。ＲＮＮに学習させるこの方法では標準的なバックプロパゲーションのインタラクティブで傾斜降下的な性質が受継がれており、この「展開」の方式で用いるコピーの数だけ固有のコストが倍数される。収束は、制御することは困難であり、多くの場合には遅く、また１回の反復に多くのコストが必要である。計算コストが原因となって、比較的小さなネットワークにのみ学習させることが可能である。もう１つの難点は、バックプロパゲーションされた勾配推定の精度が急速に劣化する（ゼロ又は無限大となる）ことにより、ほぼ１０時間ステップよりも長い時間スパンでの記憶効果の学習が妨げられることである。これらの難点やその他の難点から、ＲＮＮはこれまでのところ広く利用されるには到っていない。
【００１１】
【課題を解決するための手段】
本発明は、請求項１に記載したネットワークによって規定される。本発明の個々の実施の形態は従属請求項に規定されている。
【００１２】
本発明は、ＲＮＮの教師あり教示の新たな方法を提供する。本発明のニューラルネットワークの教師あり教示の新たな方法の背景をなす考え方は、既存のＢＰＴＴアプローチとは全く異なっている。後者は、ネットワーク内の全ての荷重を調節することによって学習目的を達成しようとし、これによって、各ユニットが所望の全体的挙動に最大限の寄与をするような最小サイズのネットワークを構成する。このことは、特定のタスクを実行する小型のネットワークを導く。これに対して、本発明で開示される方法は、内部荷重（即ち、隠れ層から隠れ層への接続，入力から隠れ層への接続，又は出力層から隠れ層への接続の荷重）が全く変更されない大型のリカレントネットワークを利用する。直感的には、この大型で変更されないネットワークは、隠れユニットと同数の多数の異なる非線形ダイナミクスの豊富な「ダイナミカルリザーバ」として利用される。このリザーバネットワークに対する別の観点は、これを超完備（overcomplete）基底と見ることである。教示過程では隠れ層から出力層への接続のみの荷重が調節される。この調節によって、所望の学習目的を実現する方法において、「リザーバ」のダイナミカルパターンから抽出して再結合するフィルタ機能を隠れ層から出力層への接続が獲得する。
【００１３】
新たな出力ユニットを追加し、各タスクごとにそれぞれの隠れ層から出力への荷重を個別に学習させることにより、「リザーバ」ネットワークの一例を多数のタスクに再利用することができる。学習後には、大型の「リザーバ」ネットワークの同一の例を用いて、任意に多数のそのようなタスクが並列に実行することができる。従って、本発明に従って構成され学習したＲＮＮを使用する場合の全体コストは、同一の入力データに対して多くの異なるタスクを実行しなければならない場合に比して大きく削減される。このことは、いくつかの異なるフィルタによって信号を処理する場合に生じる。
【００１４】
本発明のＲＮＮの時間記憶の長さは既存の方法よりも優れている。たとえば、約 100時間ステップの「短期間記憶」は 400ユニットのネットワークで容易に実現することができる。この例は本明細書（「例」の節）で後述する。
【００１５】
本発明は、（ａ）アーキテクチャ的（ＲＮＮの構造、その構成及び初期化）及び（ｂ）手続き的（教示方法）の２つのアスペクトを有する。両アスペクトは独立している。
【００１６】
「ダイナミカルリザーバ（ＤＲ:dynamical reservoir）」
本発明のアーキテクチャ的アスペクトによれば、固定されていて、以降の学習で変更されない荷重を有するリカレントニューラルネットワークが提供される。このＲＮＮの機能は、このネットワークのユニットのダイナミクスとして実現される多数の異なるダイナミクス的性質の「リザーバ」として動作することである。以下では、このＲＮＮをダイナミカルリザーバと称し、ＤＲと略記する。
【００１７】
好ましくは、ＤＲは大型であり、50以上（上限はない）の程度のユニット ( 以下、ＤＲユニットという）を備えている。
【００１８】
好ましくは、ＤＲの自発的ダイナミクス（ゼロ入力状態）は大域的に安定である。即ち、このＤＲは如何なる開始状態からでも唯一の安定状態に収束する。
【００１９】
処理データが空間的構造を有する用途においては（たとえば、ビデオ画像）、ＤＲの接続トポロジーも空間的構造を有してよい。
【００２０】
「入力供給」
本発明の別のアーキテクチャ的アスペクトによれば、入力によってＤＲが誘導されて豊富な励起ダイナミクスを発揮するような方法で、時刻ｔ（ｔ＝１，２，３…）におけるｎ次元入力ｕ(t) がＤＲに供給される。
【００２１】
入力を管理する方法が特定のものであるかは、本発明にとって問題ではない。ＲＮＮの分野で従来使用されているいくつかの可能な方法を以下に簡単に説明する。
【００２２】
好ましくは、追加された入力ユニットを用いて入力がＤＲに供給される。これらの入力ユニットの活性は（２）式に従って入力ｕ(t) に設定される。入力が時空的性質を有する場合には（たとえば、ビデオ画像列）、入力ユニットが特定の空間的様式で配置され（「入力網膜」）、トポロジー保存的な方法でＤＲに接続されてもよい。入力からＤＲユニットへの荷重を決定する方法の詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００２３】
代替として、入力値を、空間的構造化を行なって又は行なわずに、付加的要素としてＤＲのユニットの活性に直接供給してもよい。
【００２４】
代替として、ＤＲに供給する前に入力値を符号化してもよい。たとえば、数値の空間的符号化を採用してもよい。
【００２５】
「出力読み出し」
本発明の別のアーキテクチャ的アスペクトによれば、ｍ個（ここで、ｍ≧１）の出力ユニットの活性から読み出すことによって、時刻ｔにおけるｍ次元出力ｙ(t) がＤＲから得られる。出力ユニットの活性をｙ1 (t),…，ｙm (t) と表すことにする。
【００２６】
本発明の好適な実施の形態では、これらの出力ユニットは追加のユニットとしてＤＲに取り付けられている。その場合には（つまり、追加の出力ユニットの場合には）、出力からＤＲへの、出力ユニットの活性をＤＲネットワークにフィードバックする接続を備えていてもよい。ネットワークを信号処理（パターン分類、又はフィルタ処理等）用の受動的装置として用いる場合には、典型的には、このようなフィードバックは設けられない。典型的には、ネットワークを能動的信号発生装置として用いる場合にフィードバック接続が設けられる。フィードバック荷重を決定する方法の詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００２７】
本発明の別のアーキテクチャ的アスペクトによれば、ｍ個の出力ｙ1 (t),…，ｙm (t) に対する活性更新方法は、伝達関数ｆ1 ，…，ｆm を有する（１）式の形で与えられる。出力ユニットの伝達関数ｆj は、典型的には、シグモイド又は線形関数として選択される。
【００２８】
図１は、追加の入力ユニット及び出力ユニットを有する本発明の好適な実施の形態の概要を示す。この図では、ＤＲ［１］が、入力からＤＲへの接続［４］を介して入力をＤＲに供給する追加の入力ユニット［２］を用いることにより、入力を受取っている。出力は、図１の例では出力からＤＲへのフィードバック接続［７］を有する追加の出力ユニット［３］を用いることにより、ネットワークから読み出される。入力からＤＲへの接続［４］及び出力からＤＲへのフィードバック接続［７］は固定されており、学習によっても変更されない。最後に、ＤＲから出力への接続［５］と、（あってもよいが必須ではない）入力から出力への接続［６］とが存在している。これらの接続［５］及び［６］の荷重は学習中に調節される。
【００２９】
次に、本発明の手続き的アスペクト（教示方法）を説明する。ＲＮＮに対する教師あり教示方法の全てに関しては、学習列が所与であると仮定する。学習列は２つの時系列ｕ(t) 及び
【００３０】
【数４】
からなり、ｔ＝１，２，…，Ｎである。オンライン学習の場合には学習開始時にＮが決定されている必要がなく、従って、この学習手続きは結果未定の適応過程であると暗黙裏に了解される。ｕ(t) はｎ次元入力ベクトル（ここで、ｎ≧１、従って入力が無いｎ＝０の場合も可能）であり、
【００３２】
【数５】
はｍ次元出力ベクトル（ここで、ｍ≧１）である。この２つの時系列ｕ(t) 及び
【００３４】
【数６】
が、所望され学習されるべき入力から出力への挙動を表す。特別な場合には、入力列ｕ(t) が存在しなくてもよく、その場合には、学習タスクは純粋に生成的なダイナミクスを学習することである。
【００３６】
ｔ＝１，２，…，Ｎに対する学習列ｕ(t) 及び
【００３７】
【数７】
がネットワークに供給される。各時間ステップにおいて（たとえば（１）式のような選択した更新ルールに従って）ＤＲが更新され、出力ユニットの活性が教師信号
【００３９】
【数８】
に設定される（教師強制）。
【００４１】
本発明のこの方法は、オフライン学習及びオンライン学習に適用することができる。
オフライン学習では、非出力ユニットの活性ベクトルｘ(t) 及び教師信号
【００４２】
【数９】
の両方がｔ＝１，２，…，Ｎに関して収集される。これらのデータから時刻Ｎにおいて、学習列データ全体に渡る各出力ユニットｊ＝１，２，…，ｍの平均二乗誤差
【００４４】
【数１０】
が最小化されるように、出力ユニットへの接続に対する荷重ｗjiが計算される。
（４）式では、＜ｗj ，ｘ(t) ＞は内積
ｗj1ｕ1(t)＋…＋ｗjnｕn (t) ＋ｗj,n+1 ｘ1(t)＋…＋ｗj,n+K ｘK (t)
＋ｗj,n+K+1 ｙ1(t)＋…＋ｗj,n+K+m ｙm (t) …(5)
を表し、追加の入力ユニットがある場合には、この形の＜ｗj ，ｘ(t) ＞は所与である。（４）式を最小化する荷重の計算は線形回帰の標準的な問題であり、この問題に対するよく知られている解法のいずれかによって実行することができる。詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００４６】
荷重ｗjiが本発明のニューラルネットワークの教示方法の手続き部分の最終結果である。出力ユニットに供給する接続にこれらの荷重を設定した後に、ネットワークが利用することができる。
【００４７】
本発明のオンライン学習への変形では、荷重ｗj が漸次的に適応される。より正確に言えば、ｊ＝１，…，ｍに対して、各時刻ｔ0 ＝１，２，…，Ｎにおいて、ｔ0 までの平均二乗誤差
【００４８】
【数１１】
を適応的かつ漸次的に最小化する多数のよく知られている方法のいずれかを適切に適用することによって荷重ｗj (t) が更新される。
【００５０】
この種の誤差を最小化する適応的方法は、「再帰的最小二乗」（RLS:recursive least squares)法と総称されている。または、統計的な観点から、統計的期待二乗誤差
【００５１】
【数１２】
を最小化することもできる。ここで、右辺のＥは統計的期待値を表す。（４ｂ）式を最小化する適応的方法は確率的勾配降下法であり、その内には、ニュートン法、または全てのＭＳＥ最小化法の内で最も一般的なＬＭＳ法等、多数の方法がある。しかし、ＬＭＳ法は本発明のニューラルネットワークの教示方法と共に使用するには理想的に適している訳ではない。詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００５３】
【発明の実施の形態】
図１を除いて、添付図面には以下に説明する例を示してある。例の説明の際にこれらを詳細に参照する。
【００５４】
「いくつかの例の説明」
以降の各節で本発明を詳細に説明する前に、本発明をいくつかの例示的な実施の形態によって示しておくことが有用であろう。これらの例は本発明の様々な基本概念を強調するように選んである。
【００５５】
「例１：本発明のいくつかの基本的アスペクトを例示する単純な例」
本例では、本発明の基本的アスペクトを単純な例で示す。タスクは、ＲＮＮに対して正弦波信号を発生することを学習させることである。このタスクはほとんど自明であるので、ＤＲのサイズは僅かに20ユニットが選択された（より興味のあるタスクではネットワークサイズを著しく大きくしなければならない）。
【００５６】
まず、ネットワークアーキテクチャがどのようにして構成されるかを示す。接続度20％、即ち、平均として各ユニットが４個の別のユニット（自身への接続も可）への接続を有する状態、で20ユニットがランダムに接続された。接続荷重はランダムに 0.5又は−0.5 に設定された。
【００５７】
このネットワークを自由に動作させた。図２ａには漸近活性状態にある任意に選択した８個のユニットのトレースを示す。全てのＤＲユニットが低振幅振動状態にあることが判る。
【００５８】
本発明のアーキテクチャ的アスペクトによれば、ＤＲの自律的自己励起は望ましくない。このＤＲの自律的ダイナミクスは大域的に安定であること、即ち、任意の初期開始状態から全てがゼロとなる安定状態に収束すること、が必要である。従って、荷重を各因子で0.98だけ減少させた。即ち、それまでは 0.5であった荷重を0.49にした。図２ｂには、このネットワークをランダムな初期状態から開始させた際の最初の 200ステップで得られた 200ステップのトレースを示す。この新たな荷重によってネットワークのダイナミクスが大域的に安定となること、即ち、全てがゼロ活性となる状態に漸近することが判る。
【００５９】
荷重を僅かに増加させることによってダイナミクスが不安定になる（この場合には荷重の絶対値を0.49から0.5 に増加させることによって振動が発生する）という意味において、この大域安定性は限界的なものに過ぎない。この意味での限界的大域安定性は、多くの場合に、本発明によるＤＲの構成として望ましい条件である。
【００６０】
次にＤＲの応答特性が調べられた。このために追加の入力ユニットが取り付けられた。これはＤＲに完全に接続された。即ち、入力ユニットからＤＲの20ユニットの各々へ接続が確立され、接続荷重は、区間［−２，２］からランダムに採られた値に設定された。図２ｃは時刻ｔ＝１０に与えられた単位インパルス信号に対するネットワークの応答を示す。図２ｃの最初の７つのグラフは任意に選択されたＤＲユニットの活性トレースを示す。最後のグラフは入力信号を示す。ＤＲユニットが多様で豊富な応答ダイナミクスを示していることが判る。これが、本発明によるＤＲの構成として望ましい条件である。
【００６１】
次に、正弦入力に対するＤＲネットワークの応答特性が調べられた。図２ｃと同様に、図２ｄは７個のＤＲユニットの漸近応答と入力信号とを示す。この図からも、ＤＲユニットが多様で豊富な応答を示していることが判る。
【００６２】
最後に、以前に入力として与えられたものと同じ正弦信号を発生するようにネットワークを学習させた。以前に入力ユニットとして使用した追加ユニットはＤＲへの接続に関しては変更されなかったが、今回は出力ユニットとして使用された。全てゼロ活性である状態から開始し、ネットワークを先ず教師強制付きで 100ステップだけ動作させて初期の過渡現象を落着かせた。次いで、教師強制付きで更に 500ステップだけ動作させた。20個のＤＲユニットの活性値がこの 500ステップの期間について記録された。時刻ｔ＝600 に、ＤＲから出力ユニットへの荷重のオフライン学習が行なわれた。即ち、ＤＲの状態に対する所望の出力値の線形回帰の解としてＤＲから出力への荷重が計算され、（４）式の平均二乗誤差を最小化した。その後、教師強制を停止してネットワークを更に10,000ステップだけ自由に動作させた。その後の50ステップ分のグラフを図２ｅに示す。この８つのグラフは出力ユニットの活性を示している。当然ながら、図２ｅは図２ｄと実質的に同一である。図２ｆは教師（ネットワークには知られていない）信号付きの出力の重ね合わせを示す。ここで、教師信号＝実線であり、ネットワーク出力＝破線である。グラフの分解能の範囲では破線は実線と同一である。実際に、この（簡単な）学習タスクにおいては平均二乗誤差（４）の数値は1.03×10-13 であった。
【００６３】
「例２：短時間記憶」
本例では、本発明のニューラルネットワークの教示方法を用いて、入力の遅延バージョンを発生することをＲＮＮに学習させる方法を説明する。
【００６４】
ネットワークを図１のように構成した。ＤＲのサイズは 100ユニットとした。接続度５％でランダムに接続された。非ゼロ荷重は、等確率で＋0.45又は−0.45に設定された。これにより、ＤＲの大域的に安定なダイナミクスが得られた（この場合も限界的安定性であり、荷重の絶対値を.475に増加させると大域的安定性が損なわれるであろう）。単位インパルスに対するＤＲユニットのインパルス応答は例１（図２ｃ参照）と定性的に同等であったので、図示を省略する。
【００６５】
ＤＲの全てのユニットに接続することにより、１個の入力ユニットがＤＲに取り付けられた。これらの接続の荷重は、等確率でランダムに.001又は−.001に設定された。
【００６６】
更に、出力からＤＲへのフィードバック接続を有しない３個の追加の出力ユニットが設けられた。
【００６７】
学習タスクは、10，20，40時間ステップの遅れを伴って入力信号が出力ユニットで反復されるようにされた。使用した入力信号は、本質的に、バンド化された非定常の周波数スペクトルを有するランダムウォークであった。図３ａは、入力の50ステップの列（実線）と、10だけの遅れを有する正しい遅延信号（教師信号）（破線）とを示す。
【００６８】
ネットワークの状態はランダムに初期化された。そして、 700更新ステップだけ入力がネットワークに供給された。初期の過渡効果を避けるために最初の 200更新ステップのデータは廃棄された。残りの 500更新ステップのデータが収集され、本発明のニューラルネットワークの学習方法のオフライン実施の形態に用いられた。結果として、ＤＲ及び入力ユニットから出力ユニットへの接続の荷重が得られた。引続いてネットワークを、学習した荷重を用いて更に 150更新ステップだけ動作させた。この最後の50更新ステップの入力及び出力を図３ｂに示す。この３つのグラフは、正しい遅延信号（実線）に、学習したネットワークから発生された出力（破線）を重ねたものを示している。40時間ステップもの期間に渡って信号を遅延させることをネットワークが学習できたことが明らかになった。
【００６９】
学習したネットワークの出力の精度を定量するために、この３個の出力ユニットの各々の平均二乗誤差がサンプル列から計算された。結果は、10，20，40の遅延に対して、それぞれ0.0012，0.0013，0.0027であった。
【００７０】
注記。この学習タスクの挑戦は、ネットワークが時間メモリとして機能する必要があることである。この目標は、学習用のネットワークの構成の２つのアスペクトによって達成される。第１に、小さなマージンによってのみ大域的に安定となるようにＤＲの自律的ダイナミクスが調整された。これによって、入力の動的な後効果がゆっくりと減衰し、時間メモリの深さを拡大する効果がある。第２に、入力からＤＲへの接続が非常に小さな荷重を有していた。これによって、ＤＲネットワーク内で進行中の（記憶として機能する）活性が僅かに修正されるのみとなり、入ってくる入力によって記憶に関連する「影響（repercussion）」の分布が大きくなり過ぎないようになる効果がある。
【００７１】
「例３：励起可能媒体の学習」
本例では、本発明のニューラルネットワークの教示方法を用いて、２次元ネットワークが励起可能媒体のダイナミクスをサポートするように学習する方法を説明する。
【００７２】
ネットワークを図４ａ及び図４ｂのように構成した。これは、 100ユニットの２つの層からなっており、各層は10×10の格子状に配置された。境界条件の処理を避けるために、格子をトーラス状としてトポロジー的に閉じさせた。第１の層がＤＲとして使用され、第２の層が出力層として使用された。
【００７３】
局所連結度パターンは以下のようにして設けられた。第１の層の各ユニットが、この層内で局所的に取囲んでいるユニットからの接続を受けた（図４ａ）。図４ｃに示すように、ユニット間の距離ｒ１に応じて荷重が設定された。得られた内部ＤＲダイナミクスを図４ｄに示す。この図には、時間ステップ10において第１のユニットに供給された単位インパルスに対する、任意に選択した第１の層の８個のユニットの応答が示されている。ＤＲダイナミクスが減衰すること、即ち大域的に安定であること、が判る。
【００７４】
第１の層の各ユニットは、半径ｒ２の局所近傍に存在する出力ユニットからの接続を更に受けた。距離ｒ２に対する荷重の依存性を図４ｅに示す。
【００７５】
ＤＲから特定の出力ユニットへの全ての可能な接続の内で、格子距離ｒ３が４以下（図４ｂ）のものだけが学習を必要とした。学習の目標はこれらのＤＲから出力への接続の荷重を得ることであった。
【００７６】
この学習タスクには入力は含まれていなかった。
【００７７】
教示信号は、出力層に対する教師強制である「ソリトン」波を構成していた。ソリトンは、一定の速度及び方向でトーラス上をゆっくりと動いた。図４ｆは教師信号の４つの連続した時間ステップを示す。最初の図におけるトーラストポロジーの効果に注意されたい。
【００７８】
教示は以下のように行なわれた。ＤＲネットワークの状態は全てゼロの状態に初期化された。次いで、ネットワークを60時間ステップだけ動作させた。シグモイド伝達関数ｆ＝tanhを用いて（１）式に従ってＤＲユニットが更新された。出力ユニットは教師強制によって更新された。即ち、図４ｆに示した教師信号が出力ユニットに書き込まれた。最初の３０時間ステップのデータは廃棄され、残りの30時間ステップからデータが収集されて本発明のニューラルネットワークの学習方法のオフライン実施の形態に使用された。結果として、ＤＲユニットから出力ユニットへの接続の荷重が得られた。この学習タスクの特殊性は、教示の結果が空間的に均質にならなければならないこと、即ち、全ての出力ユニットが同じ荷重のセットを備えなければならないことである。これによって、 100出力ユニットの全てから得られたデータが本発明のニューラルネットワークの学習方法のために共用することができる。即ち、実効的には、ネットワークの状態と所望の出力との 100×30＝3000のペアの学習サンプルが用いられて所望の荷重セットが計算された。
【００７９】
ネットワークが学習したことの概要を知るために、この学習したネットワークでいくつかの実証を行なった。
【００８０】
最初の実証例では、ネットワークに対して、最初の10時間ステップの期間中にソリトン教師による教師強制が行なわれた。次いで、教師強制を停止し、ネットワークを更に 100時間ステップに渡って自由に動作させた。図４ｇは、自由に動作させてから１, 5, 10, 20, 50, 100時間ステップの時点で収集した図を示す。最初に強制されたソリトンはしばらく残存するが、全体のダイナミクスは、いずれ、学習ソリトンと同じ速度及び方向でトーラス上を移動する２つの大きなソリトンの安定で対称的なパターンに再組織化される。
【００８１】
他の実証例では、初期教師強制なしで、ランダム化された初期状態からネットワークを動作させた。ある時間（典型的には50時間ステップ未満）の後には、大域的に組織化された進行波の安定なパターンが現れた。図４ｈは、このようにして現れた滑らかな波のパターンと、さざ波のパターンとを示す。
【００８２】
注記。本例では、本発明のニューラルネットワークの教示方法を空間的ダイナミクスに適用する方法を強調した。実際の学習タスクを行なうのは１個の出力ユニットに限られており、本例のシステムに課された空間的均質性の条件に基づいて、学習した荷重がその他の全ての出力ユニットにコピーされる。ＤＲの役割は隠れ層が担っており、この場合のこれらの荷重は（上述の例のように）ランダムに与えられたものではなく、図４ｃに従って設計された。
【００８３】
「例４：カオス的発振器の学習：ローレンツアトラクタ」
本例では、本発明のニューラルネットワークの教示方法を用いて、教示信号にノイズが存在する場合にカオス的発振器をオンライン学習する方法を説明する。
【００８４】
ネットワークを、ランダムでまばらに接続されたＤＲ（80ユニット、接続度0.1 、荷重は等確率で＋0.4 又は−0.4)と単一の出力ユニット（完全に接続された出力からＤＲへのフィードバック接続、［−２，２］の一様分布から選択したランダム荷重）とで構成した。更新ルールは、（１）式の変形である「リークのある積分」であった。これは、以下のように「ポテンシャル」変数ｖを用いて以前の状態を現在の状態と混合するものである。
【００８５】
ｘj (t＋1)＝ｆ（ｖj (t＋1))
ｖj (t＋1)＝(1−ａj )(Σi=1,...,N ｗjiｘi (t))＋ａj ｖj (t) …（６）
【００８６】
伝達関数ｆ＝tanhが用いられた。リーク係数ａj は［0, 0.2］の一様分布からランダムに選択された。
【００８７】
上述の例と同様に、この構成によって、限界的大域安定性を有すると共に個別ユニットのインパルス応答が多様で豊富なＲＮＮが得られた。
【００８８】
よく知られている３次元のローレンツアトラクタをその第１次元に射影することにより１次元の教示信号が得られた。この信号に少量のノイズが加えられた。ノイズのある教師信号の遅れ埋込み表現を図５ａに示し、ノイズの無い教師信号のそれを図５ｂに示す。学習タスクは、ニューラルネットワークがその出力ユニットのダイナミクスに（ノイズなし）ローレンツトレースを再現するようにＤＲから出力への荷重を（ノイズのある学習信号を用いて）適応させることであった。
【００８９】
本発明のニューラルネットワークの教示方法によって出力荷重が学習された。実証の目的として、以下に３つの変形例を説明する。これらは、（ａ）オフライン学習、（ｂ）ＲＬＳ法を用いたオンライン学習、（ｃ）ＬＭＳ法を用いたオンライン学習、である。
【００９０】
「オフライン学習」ネットワークの状態を全てゼロの状態に初期化した。次いで、ネットワークへ入力が供給され、正しい教師出力が5100更新ステップに渡って３個の出力ユニットに書き込まれた（教師強制）。最初の 100更新ステップのデータは廃棄された。教師強制を伴う残りの5000更新ステップのデータが収集され、線形回帰計算を用いて最小のＭＳＥ((４）式）を有するＤＲから出力への荷重を決定するために用いられた。得られたＭＳＥ（４）は0.000089であった（信号中のノイズ成分に起因する理論的に可能な最小の平均二乗誤差は0.000052である）。この学習で発生した時系列を図５ｃに示す。
【００９１】
ＲＬＳ法を用いたオンライン学習。「再帰的最小二乗」法は多数の変形として実施することができる。ここでは非特許文献３を使用した。オフライン学習バージョンと同じＤＲが用いられた。ＲＬＳに必要な「忘却率」はλ＝0.9995に設定された。図５ｄに学習曲線を示す（log10(ε2 ）の展開、プロット点当たり 100ステップに渡る平均によって低域通過フィルタ処理）。約1000ステップ後には、誤差は約0.000095の最終調節誤差レベルに収束する。これは、オフラインの例よりも若干劣る。図５ｅは学習したネットワークが発生した時系列を示す。
【００９２】
「ＬＭＳ法を用いたオンライン学習」最小平均二乗法は、その強力さと簡単さとによって非常に広く用いられている。しかし、「課題を解決するための手段」で既に述べたように、これは本発明のニューラルネットワークの教示方法にとって理想的なものではない。その理由は、ＤＲの状態ベクトルは大きな固有ベクトル差を有するためである。しかし、この事実を示すためにＬＭＳ法が実施された。ＬＭＳ法では各時間ステップにおいて
ｗji(t＋1)＝ｗji(t) ＋μεｘi (t) …（７）
に従って荷重を更新する。ここで、μは学習率であり、ｊは出力ユニットの指標であり、
【００９３】
【数１３】
と（ｆ反転させた）出力ユニット信号ｙj （ｔ）との差、である。
【００９５】
学習率μを減少させつつ５つの連続する期間でネットワークを適応させた。即ち、１．μ＝0.03，Ｎ＝1000ステップ、２．μ＝0.01，Ｎ＝10,000ステップ、３．μ＝0.003 ，Ｎ＝50,000ステップ、４．μ＝0.001 ，Ｎ＝100,000 ステップ、５．μ＝0.0003，Ｎ＝200,000 ステップ。第５の期間の最後には平均二乗誤差Ｅ［ε2 ］が約0.000125に到達した。図５ｆは学習曲線（全期間を連結した）を示し、図５ｇは学習したネットワークが発生した時系列を示す。学習したネットワークがカオス的アトラクタではなく点アトラクタを生成することが明らかである。従って、ＬＭＳ法がＤＲから出力への荷重の学習には適していないことが判る。学習したネットワークの状態ベクトルｘ(t) の共分散行列の固有値分布をより詳細に調べると、固有値の差は非常に大きく、実際にはλmax ／λmin は約３×108 である。図５ｈはこの行列の固有値の対数グラフを示す。このような固有値分布は、低い接続度で接続されると共にランダムに荷重が付されたＲＮＮとして用意されたＤＲでは、普通に見られる。
【００９６】
「例５：直接／状態フィードバックコントローラ」
本例では、本発明のニューラルネットワークの教示方法を用いて、減衰振り子の追跡制御用の状態フィードバックニューロコントローラを得る方法を説明する。
【００９７】
振り子は、差分方程式
ω(t＋δ）＝ω(t) ＋δ(-ｋ1 ω(t)-ｋ2 sin(ψ(t))＋ｕ(t) ＋ｖ(t))
ψ(t＋δ）＝ψ(t) ＋δω(t) …（８）
によって離散時間でシミュレーションした。但し、ωは角速度であり、ψは角度であり、δは時間ステップの増分であり、ｕ(t) は制御入力（トルク）であり、ｖ(t) は制御されないノイズ入力である。定数は、ｋ1 ＝0.5 ，ｋ2 ＝1.0 ，δ＝0.1 に設定し、ノイズ入力は［−0.02, 0.02］の一様分布から選択された。
【００９８】
タスクは振り子用の追跡コントローラを学習することであった。より詳しくは、学習したコントローラネットワークが２ステップ先の基準軌跡
ｙref (t＋２δ）＝（ｘ1ref(t＋２δ),ｘ2ref(t＋２δ),ωref (t＋２δ))
を受取る。ここで、ｘ1ref(t＋２δ）及びｘ2ref(t＋２δ）は振り子の端点の所望の位置座標であり、ωref (t＋２δ）は所望の角速度である。振り子の長さは0.5 であったので、ｘ1ref(t＋２）及びｘ2ref(t＋２）は［−0.5, 0.5］の範囲にある。更に、コントローラは現在の振り子の状態の状態フィードバックｙ(t) ＝（ｘ1 (t),ｘ2 (t),ω(t))を受取る。コントローラは、現在時刻ｔの２更新ステップ後に振り子が基準軌跡を追跡するように、振り子に対するトルク制御入力ｕ(t) を発生する必要がある。図６ａは利用段階でのコントローラの構成を示す。
【００９９】
学習のために、時間と共に変化する制御入力
【０１００】
【数１４】
に対する振り子の応答をシミュレーションして 500ステップの長さの教師信号が作成された。これは、高周波数で小振幅の信号と低周波数で大振幅の信号という２つのランダムなバンド化された信号の重ね合わせとして選択された。図６ｃは学習信号として用いられた制御入力
【０１０２】
【数１５】
を示し、図６ｄはシミュレーションした振り子の状態の応答ｘ2 (t) を示し、図６ｅは状態の応答ω(t) を示す（状態の応答のｘ1 (t) 成分は定性的にはｘ2 (t) に類似しているので図示を省略する）。このネットワークに対する学習信号は、入力
ｙ(t) ＝（ｘ1 (t),ｘ2 (t),ω(t))及び
ｙ(t＋２δ）＝（ｘ1 (t＋２δ),ｘ2 (t＋２δ),ω(t＋２δ))
から構成された。ネットワークは、これらの入力からその出力ｕ(t),ｕ(t)statt/,ω(t）を発生することを学習することが必要であった。図６ｂは学習の構成を示す。
【０１０４】
前述の例（ローレンツアトラクタ）と同様の 100ユニットのＤＲでネットワークを構成した。６個の外部入力ユニットが低い接続度で（接続度20％）ランダムに（荷重は等確率で＋0.5 及び−0.5)ＤＲに取り付けられた。また、ＤＲへのフィードバック接続無しの１個の出力ユニットが設けられた。ネットワーク更新ルールは、内部ＤＲユニットに対する標準のノイズのあるシグモイド更新ルール（１’）であった（ノイズは［−0.01, ＋0.01］の均質分布）。出力ユニットは、（１）式で伝達関数を同一としたバージョンで出力を更新した（即ち線形ユニット）。図６ｂに示したように、学習データセット（Ｎ＝500)全体に渡る平均二乗の意味で誤差
【０１０５】
【数１６】
が最小になるように、ＤＲから出力への荷重を簡単な線形回帰で計算した。
【０１０７】
テストとして、学習したネットワークに対して、３個のユニットにおいて目標軌跡
ｙref (t＋２δ）＝（ｘ1ref(t＋２δ),ｘ2ref(t＋２δ),ωref (t＋２δ))
を供給した。なお、学習段階では、入力ｙ(t＋２δ）＝（ｘ1 (t＋２δ),ｘ2 (t＋２δ),ω(t＋２δ))を受取っていた。ネットワークは、更に、３個のユニットにおいて状態フィードバックｙ(t）＝（ｘ1(t), ｘ2(t), ω(t))を振り子から受取った。学習中には、信号ｙ(t）＝（ｘ1(t), ｘ2(t), ω(t))を受取っていた。ネットワークは制御信号ｕ(t）を発生し、これはシミュレーションされた振り子に供給された。図６ｆはネットワーク出力ｕ(t）を示し、図６ｇは、基準のｘ2ref(t＋２δ）（実線）と、２ステップ遅れた振り子の軌跡ｘ2 (t＋２δ）（破線）とを重ねて示し、図６ｈは、基準のωref (t＋２δ）（実線）と、２ステップ遅れた振り子の軌跡ω(t＋２δ）（破線）とを重ねて示す。このように、ネットワークは追跡コントローラとしての機能を学習した。
【０１０８】
「議論」学習したネットワークはダイナミクス状態フィードバック追跡コントローラとして動作する。システムモデル（８）が既知である場合には、振り子用の完全な追跡コントローラの解析的な設計は難しくない。本例が挑戦的である点は、先験的な情報なしに、僅かな学習データセットから、このようなコントローラを学習することにある。
【０１０９】
リカレントニューラルネットワークの学習を通じてこのようなコントローラを得るというアプローチは新規である。より詳しくは、本発明のニューラルネットワークの教示方法に従ったリカレントニューラルネットワークの学習により閉ループ追跡コントローラを得る方法であって、（１）入力学習データがｙ(t＋Δ）及びｙ(t) の形式の２つのベクトル値時系列からなり、ここで、ｙ(t＋Δ）は、利用段階において基準信号として機能する変数の未来バージョンであり、ｙ(t）は状態又は観測フィードバック変数であり（必ずしもｙ(t＋Δ）と同一ではない）、（２）出力学習データがベクトル
【０１１０】
【数１７】
を構成し、これは、学習入力データｙ(t＋Δ）及びｙ(t) を発生するために装置に供給される制御入力である、という方法である。
【０１１２】
「例６：２方式装置：周波数発生器及び周波数計」
本例では、本発明のニューラルネットワークの教示方法を用いて、調整可能な周波数発生器（入力：目標周波数、出力：所望の周波数の発振）及び周波数計（入力：発振、出力：周波数指示）という２方式で使用することができる装置を得る方法を説明する。ネットワークは、各々が入力ユニット又は出力ユニットとして使用可能な２個の追加ユニットを有する。学習中には、目標周波数及びその周波数の発振という２つの教師信号が同時に供給されるという意味において、両方のユニットは形式的に出力ユニットとして扱われる。
【０１１３】
学習段階では、第１の学習チャンネルは、0.1 と0.3 との間で滑らかではあるが不規則に変化するゆっくり変化する信号である（図７ａ）。他方の学習チャンネルは、第１の信号に従って周波数が変化する速い正弦発振である（図７ｂ、振幅にジッタがみられるが、離散サンプリングによる人工的なものである）。
【０１１４】
100ユニットのＤＲでネットワークを構成した。接続荷重行列Ｗは、幅５の対角バンドを有するバンド行列であった（即ち、｜ｊ−ｉ｜≧３である場合にｗji＝０）。このバンド構造がユニットにトポロジーを誘導する。２ユニットが近いほど（即ち、mod100で｜ｊ−ｉ｜がより小さい）、これらはより直接に結合する。この局所性が、局所的に異なる活性パターンを発生させる。図７ｃは５ユニットごとのインパルス応答を示す（時間ステップ10におけるインパルス入力）。対角バンド内の荷重は、予備的に、等確率で＋１又は−１に設定された。得られたＤＲダイナミクスが限界的大域安定となるまで、荷重を大域的及び一様にスケーリングさせた。このスケーリングにより、安定性マージンδ＝0.0025に対して荷重±0.3304が得られた（安定性マージンは、本明細書の後の部分にある好適な実施の形態の詳細な説明で定義される）。
【０１１５】
更に、２個の追加ユニットには、ＤＲに戻るフィードバック接続が設けられた。２個の追加ユニットの各々において、これらの接続は接続度 0.5でランダムに接続された。これらのフィードバック接続の荷重は、第１の追加ユニットに対しては±1.24に、第２の追加ユニットに対しては±6.20になるようにランダムに選択された。
【０１１６】
ネットワークの状態をランダムに初期化し、学習のためにネットワークを1100ステップだけ動作させた。図７ａ及び図７ｂに示した同一種類の２つの信号がネットワークに供給され（第１の追加ユニットに対しては目標周波数信号を、第２の追加ユニットに対しては発振を）、正しい教師出力が２個の出力ユニットに書き込まれた（教師強制）。（１’）式に従って小さな加算ノイズを加えつつＤＲの更新が行なわれた。ノイズは［−0.02, 0.02］の一様分布からサンプリングされた。最初の 100更新ステップのデータは廃棄された。教師強制を伴う残りの1000更新ステップのデータが収集され、最小平均二乗誤差((４）式）の線形回帰解を得るために使用された。結果として、ＤＲユニットから２個の出力ユニットへの接続に対する荷重が得られた。
【０１１７】
利用段階では、学習したＲＮＮは、周波数発生器又は周波数計という２つの方式のいずれかで使用された。利用段階では、更新ルールのノイズなしバージョン((１）式）が用いられた。
【０１１８】
利用段階の周波数発生器モードでは、第１の追加ユニットは入力ユニットとして、第２の追加ユニットは出力ユニットとして扱われた。目標周波数信号、たとえば図７ｄに示した 400時間ステップの階段信号、が入力ユニットに供給された。出力の役割を与えられた第２の追加ユニットでは、発振はネットワークによって発生された。図７ｅは、階段入力によって要求された正しい周波数の発振（実線）と、ネットワークが実際に発生した出力（破線）との重ね合わせを示す。図７ｆは、出力信号（実線）とネットワークが発生した出力（破線）との周波数振幅（フーリエ変換の絶対値）の重ね合わせを示す。図７ｅ及び図７ｆからは、要求された周波数の発振を発生することをネットワークが学習したことが判る。但し、範囲の低域及び広域において周波数歪みを有する。図７ｇは任意に選択された８個のＤＲのユニットのトレースを示す。これらは、出力信号として同一周波数の発振を示しており、入力信号に従って、それらの振幅範囲で転置され、スケーリングされている。
【０１１９】
利用段階の周波数計モードでは、第２の追加ユニットは、変化する周波数の発振が書き込まれる入力ユニットとして使用された。第１の追加ユニットは今回は出力ユニットとして動作した。図７ｈは入力信号を示す。図７ｉは、完全な出力（実線）と実際に発生した出力（破線）との重ね合わせを示す。ネットワークが周波数計として動作することを学習したことが判る。但し、同様に、範囲の低域及び広域において周波数歪みを有する。ＤＲユニットのトレースのグラフは周波数発生器モードの場合と正確に同様であるので図示を省略する。
【０１２０】
本例が挑戦的である点は２つある。第１に、ネットワークは出力ダイナミクス自身を学習するのではなく、２つの学習信号の間のダイナミクスの関係を「発見」することが必要であった。第２に、この２つの信号時間スケールが非常に異なっている。つまり、周波数目標は本質的に定常的であり、発振信号は速い時間スケールで変化する。この学習したネットワークにより要求された異なる時間スケールの信号の間の双方向情報交換には特別の困難を伴う。学習したネットワークに安定なダイナミクスを得るためには、学習中にノイズのある更新ルールを用いることが不可欠であることが本例において見出された。
【０１２１】
本例は、本発明の別の実施形態、即ち、本発明のニューラルネットワークの教示方法を用いていくつかの信号の間のダイナミクスの関係についてＲＮＮを学習させること、の一例である。より詳しくは、この実施形態は、（１）本発明によるＤＲアーキテクチャのｎ個の追加ユニットに対して学習データ
【０１２２】
【数１８】
を供給することであって、これらの追加ユニットはＤＲへのフィードバック接続を有しており、（２）（４）式による平均二乗誤差を最小化するようにネットワークを学習させることであり、次いで、（３）任意にそれらのユニットのいくつかを入力ユニットとし、残りを出力ユニットとすることにより、いずれかのユニットとして利用することである。
【０１２４】
「各例についての議論」
これらの例によって、本発明の不変で独立の核心が何であるか、また、代替実施の形態となる従属変形例が何であるか、が明らかになる。
【０１２５】
各例における共通のアスペクトは以下の通りである。
●以下の特性によって特徴づけられるＤＲの使用：
○その荷重が学習中に変更されない
○限界的大域的に安定なダイナミクスが得られるようにして、その荷重が大域的にスケーリングされる
○異なるユニットのインパルス応答が異なったものとなるようにＤＲが設計される
○ユニットの数が、取り扱うそれぞれのタスクに対する最小サイズのＲＮＮに丁度必要な数よりも多い（超完備基底のアスペクト）
●（４）式による平均二乗誤差が学習データ全体に対して最小化されるように、ＤＲから出力への接続荷重のみを学習する。
【０１２６】
各例は以下のアスペクトにおいて異なっている：
●ネットワークがトポロジー的／空間的構造（励起可能媒体の例における２次元格子、及び、２方式装置の例におけるバンド行列誘導局所性）を有してもよく、そのような構造を有していなくてもよい（その他の例）。
●ＤＲユニットに必要とされる異なるインパルス応答は、ＤＲの明示的な設計によって（励起可能媒体の例）、又はランダム初期化によって（その他の例）、達成することができる。
●ネットワークの更新ルールは、（１）式による標準的な方法であってもよく（短期間記憶の例、及び励起可能媒体の例）、その他の方法であってもよい（カオス的発振器におけるリークのある積分更新ルール、及び、２方式装置におけるノイズのある更新）。
●ＤＲから出力への接続荷重の計算は、平均二乗誤差を最小化するための何らかの標準的方法を用いて、オフラインで（短期間記憶、励起可能媒体、及び２方式装置）、又はオンラインで（カオス的発振器）、実行することができる。
【０１２７】
「本発明及び好適な実施の形態の詳細な説明」
以下では本発明の好適な実施の形態を詳細に説明する。「課題を解決するための手段」と同様に、まず、アーキテクチャ及び構成のアスペクトを詳細に説明し、次いで、学習方法の手続き的アスペクトを詳細に説明する。
【０１２８】
「ＤＲの構成」
本発明の中心的なアーキテクチャ的アスペクトは、荷重が固定されていて、以降の学習によって変更されないＤＲを設けることである。本発明のニューラルネットワークのＤＲの目的は、豊富で、安定で、好ましくは長期間残存する励起可能なダイナミクスを提供することである。この目標を実現するために、本発明では以下の構成が提供される。
【０１２９】
「大きなネットワークサイズによる豊富なダイナミクス」
本発明の好適な実施の形態では、比較的大型のＤＲを使用して、異なるユニットダイナミクスの豊富な多様性を提供する。典型的な場合には50ユニット又はそれよりも（ずっと）多く、50ユニット未満の構成は、単純な発振器を学習する場合等の、要求の厳しくない用途にのみ適切である。
【０１３０】
「不均質なネットワーク構造による豊富なダイナミクス」
本発明の好適な実施の形態では、ＤＲに不均質性を導入することにより、ＤＲユニットのインパルス応答に豊富な多様性を達成する。以下のような戦略を単独で、又は組合せて用いることにより、不均質性という設計目標を達成する。
●以下の方法によって、ＤＲに不均質な連結性構造を実現する。
○ランダムかつ低い接続度でＤＲ接続を構築することによる、
○バンド構造を有する連結性行列を用いることにより、ＤＲの異なる部分の空間的結合を解消させる（上述の各例では用いなかった戦略）、
○ユニットを層、又はモジュールとして配置すること等により、ＤＲのトポロジーに別の内部構造を付与する、
【０１３１】
●以下を与えることにより、ＤＲユニットに異なる応答特性を持たせる。
○異なる伝達関数、
○異なる時定数、
○異なる接続荷重。
【０１３２】
「スケーリングによる限界的安定ダイナミクス」
大域的に安定なダイナミクスを有するＤＲを得る好適な方法は、まず、前述の好適な実施の形態に従って不均質なＤＲを構築し、次いで、共通因子αを用いて荷重を大域的にスケーリングすることであるが、その際、共通因子αは以下のように選択される。
１．ネットワークダイナミクスが大域的に安定となる、即ち、任意の開始活性状態からでもダイナミクスがゼロに減衰する、及び
２．この安定性が限界的なものに過ぎない、即ち、小さなマージンだけ１よりも大きい因子α’＝１＋δによってネットワーク荷重を更にスケーリングすれば、ネットワークダイナミクスが不安定になる。
【０１３３】
スケーリング因子α’＝１＋δ中のδが変化すると、臨界値δcritにおいて、ネットワークダイナミクスは大域的に安定なダイナミクスからその他のダイナミクスに分岐する。上述の例では、この値は安定性マージンと称された。所与のスケーリング因子の安定性マージンを決定するために現状で利用可能な唯一の方法は、系統的探索である。
【０１３４】
「安定性の限界性を調整することによる短期間記憶の期間の調整」
ＲＮＮの多くの応用において、設計目標は、学習したＲＮＮにおける短期間記憶を長くすることである。この設計目標は、ＤＲの安定性マージンを適切に選択することにより本発明の実施の形態でサポートされている。
【０１３５】
安定性マージンが小さいほど、短期間記憶の実効期間が長くなる。従って、長く残存する短期間記憶の機能という設計目標は、安定性マージンを小さな値に設定することにより本発明の実施の形態で実現することができる。短期間記憶の期間を最大化することが目標であるという典型的な実施の形態では、 0.1よりも小さなδの値が使用される。
【０１３６】
「ＤＲへの入力の供給」
人工ニューラルネットワークの分野で、ネットワークへ入力を供給する最も一般的な方法は、これまでのところ、追加の入力ユニットを用いることである。上述の各例ではこの標準的な方法が用いられた。ＲＮＮへ入力を供給する別の方法も考えられるが、本質的には追加の入力ユニットの記法の変形（たとえば、ＤＲユニット活性更新の式（１）に入力項を追加する方法）であるか、又は、ほとんど用いられない方法（たとえば、入力によって大域的なネットワークパラメータを変調する方法）である。如何なる方法であっても、（１）得られるＤＲのダイナミクスが入力によって著しく影響を受け、（２）個別のＤＲユニットのダイナミクスに必要な可変性が保存されるならば、本発明のニューラルネットワークの教示方法とコンパチブルである。
【０１３７】
以下では、追加の入力ユニットによって入力を供給する最も一般的な方法を詳細に説明する。
【０１３８】
本発明のニューラルネットワークによれば、入力ユニットからＤＲネットワークへの連結度パターン、及びこれらの入力からＤＲへの接続に対する荷重は構築時に固定され、学習中にも変更されない。
【０１３９】
本発明の好適な実施の形態では、入力からＤＲへの接続及びその荷重は２つのステップで固定される。ステップ１では、連結度パターンが決定され、その荷重が初期値に設定される。ステップ２では、荷重値が大域的にスケーリングされて性能が最大化される。以下では、この２つのステップをより詳細に説明する。
【０１４０】
ステップ１：入力からＤＲへの接続を確立し、その荷重を初期値に設定する。ステップ１で達成すべき設計目標は、入力信号に対する個別のＤＲユニットの応答に高い可変性を保証することである。本発明のニューラルネットワークの教示方法によれば、以下のルール又はその何らかの組合せによってこの目標が達成される。
【０１４１】
●接続を低い接続度で設ける、即ち、出力ユニットからＤＲユニットへの可能な接続の多数又は大部分に対してゼロ荷重を与える。
●確率分布からサンプリングすることにより、非ゼロ接続のフィードバック荷重をランダムに選択する（カオス的発振器学習の例のように）。
●非ゼロ接続のフィードバック荷重に異なる符号を割り当てる、即ち、禁止的及び励起的なフィードバック接続の両方を設ける。
【０１４２】
ステップ２：ステップ１で設定した荷重を大域的にスケーリングする。ステップ２の目標は性能を最適化することである。一般的なルールは与えられない。ネットワークの特定の目的に応じて、非常に小さい絶対荷重から非常に大きい絶対荷重の異なるスケーリング範囲が最適であり得る。利用者の便利のために以下に示すルールに従うことが有用であろう。これらは、ＤＲネットワークの更新ルールに非線形（典型的にはシグモイド）の伝達関数を用いる実施の形態に適用することができる。
【０１４３】
●大きな荷重は、高速で、高周波数の I/O応答特性に適しており、小さな荷重は、遅い信号の場合、又は、何らかの低域通過特性が必要な場合に適している。たとえば、単一の入力インパルスによってネットワーク全体の状態が１つのアトラクタから別のアトラクタに切替わる多安定（マルチフロップ）メモリネットワーク（本明細書では説明していない）を学習する際には、±5.0 という非常に大きな値の入力からＤＲへの荷重が使用された。
●大きな荷重は、高度に非線形な「スイッチング」 I/Oダイナミクスが必要な場合に適しており、小さな荷重は、より線形的な I/Oダイナミクスに適している。
●大きな荷重は、必要な時間記憶長が短いタスク（即ち、時刻ｔにおける出力が僅かに先行する入力及び出力にのみ有意に依存する場合）に適しており、小さな荷重は、時間記憶効果を長く取る場合に適している。たとえば、遅延線の例（記憶長を長くすることが目標であった）では、±0.001 と言う非常に小さな入力からＤＲへの荷重が使用された。
●多数の入力チャンネルがある場合には、より大きな絶対荷重を有する入力からＤＲへの接続を有するチャンネルのほうが、小さな荷重のチャンネルに比してシステム出力に対する影響が強い。
【０１４４】
「利用段階でのネットワークからの出力の読み出し」
本発明のニューラルネットワークの教示方法によれば、ネットワークからの出力は常に出力ユニットから読み出される。利用段階では、ｊ番目の出力ｙj (t＋１)(ｊ＝１，…，ｍ）は、（１）式の更新ルールの適用により、即ち、ｙj (t＋１）＝ｆj ＜ｗj ，ｘ(t) ＞によって、ｊ番目の出力ユニットから得られる。ここで、内積＜ｗj ，ｘ(t) ＞は、ｊ番目の出力ユニットの伝達関数ｆj を通じて渡される入力ユニットｕ(t),ＤＲユニットｘ(t),及び出力ユニットｙ(t) の荷重付き活性の和
ｗj1ｕ1(t)＋…＋ｗjnｕn (t) ＋ｗj,n+1 ｘ1(t)＋…
＋ｗj,n+K ｘK (t) ＋ｗj,n+K+1 ｙ1(t)＋…＋ｗj,n+K+m ｙm (t)
である。典型的な実施の形態では、ｆj はシグモイド又は線形関数である。
【０１４５】
「出力ユニットからＤＲへのフィードバック接続」
本発明のニューラルネットワークの教示方法では、出力ユニットからＤＲへのフィードバックに関しては、所望のタスクに応じて２つの方法が提供される。つまり、（ａ）このような接続無しにネットワークを構成する方法と、（ｂ）このような接続を設けてネットワークを構成する方法とが可能である。タイプ（ａ）の本発明の実施の形態は典型的には受動的フィルタ処理タスクに適用され、一方（ｂ）の場合は典型的には能動的信号発生タスクに必要とされる。しかし、フィードバック接続はフィルタ処理タスクにおいても、特に、（２方式装置の例のように）フィルタ処理タスクが自律的状態ダイナミクスを有するシステムのモデル化を扱う場合には必要となることがある。この状況は、線形信号処理の述語を用いれば、無限インパルス応答（ＩＩＲ：infinite impulse response)フィルタにも当てはまる。しかし、この述語は、通常、線形フィルタに対して使用されている。ＲＮＮは非線形フィルタを構成する。従って、本願では別の述語を用いる必要がある。入力と、出力ユニットからのフィードバック接続とを有するＲＮＮは能動的フィルタ処理タスクを実行するものとする。
【０１４６】
本発明のニューラルネットワークの教示方法によれば、フィードバック接続を用いる場合には（即ち、信号発生又は能動的フィルタ処理タスクでは）、これらはネットワークの設計時に固定され、以降の学習でも変更されない。
【０１４７】
出力からＤＲへのフィードバック接続の構成は、既に詳述した入力からＤＲへの接続の構成と完全に類似している。従って、本発明の好適な実施の形態では出力からＤＲへのフィードバック接続の設計が２つのステップで行なわれる、と再び述べるだけで充分である。第１のステップでは連結度パターンと荷重の初期設定とが固定され、第２のステップではその荷重が大域的にスケーリングされる。入力からＤＲへの接続に関して説明した設計目標と発見的ルールとは、変更なしに出力からＤＲへの接続にも当てはまるので、繰返す必要はない。
【０１４８】
「ＤＲから出力への荷重を学習することによる出力ＭＳＥの最適化」
上述のようにＤＲネットワークと適切な入力及び出力装置とを設けることによりネットワークを構成した後で、本発明のニューラルネットワークの教示方法では、ＤＲユニットから（設けてある場合には、入力ユニットからということもあり得る）出力ユニットへの荷重を決定する処理を行なう。これは、教師あり学習処理で行なわれる。
【０１４９】
「学習判定基準：平均二乗出力誤差の最小化」
出力ユニットへの接続の荷重は、（４）式の平均二乗誤差が学習データ全体に対して最小化されるようにして決定される。便宜を図って（４）式を再掲する。
【０１５０】
【数１９】
ｊ番目の出力ユニットの所望の（教師）出力であり、これには、このユニットの伝達関数ｆj の逆が適用される。＜ｗj ，ｘ(t) ＞は内積
ｗj1ｕ1(t)＋…＋ｗjnｕn (t) ＋ｗj,n+1 ｘ1(t)＋…＋ｗj,n+K ｘK (t)
＋ｗj,n+K+1 ｙ1(t)＋…＋ｗj,n+K+m ｙm (t) …(5) （再掲）
を表す。ここで、ｕi (t) は（適用可能な場合には）入力ユニットの活性であり、ｘi (t) はＤＲユニットの活性であり、ｙi (t) は出力ユニットの活性である。
【０１５２】
（４）式のＭＳＥを最小化する代わりにオンラインの適応的方法を用いる本発明の別の実施の形態では、以下の平均二乗誤差を最小化することも可能である。
【０１５３】
【数２０】
この２つの変形例の間の理論的差異は、第１の場合((４）式）では学習手続きによって出力ユニット状態誤差が最小化されるのに対して、第２の場合では出力値誤差が最小化されることである。実際上は、通常、これによって有意な差異は生じない。その理由は、出力ユニットの状態と出力値とは伝達関数によって直接に関連しているからである。例の節で説明した各例では、全てにおいて（４）式が用いられた。
【０１５５】
本発明の更に別の実施の形態では、ＭＳＥを最小化することは、入力ユニット，ＤＲユニット，及び出力ユニットのサブセットに対して適用される。より詳しくは、これらの代替実施の形態ではＭＳＥとして
【０１５６】
【数２１】
が最小化される。ここで、ｓは０及び１からなるｗj と同じ長さのベクトルであり、ｒ・ｓ＝（ｒ1 …ｒk ）・（ｓ1 …ｓk ）＝（ｒ1 ｓ1 …ｒk ｓk ）はユニットごとの乗算を示す。＜ｗj ，ｘ(t) ＞の代わりに＜ｓ・ｗj ，ｘ(t) ＞を採用することによる効果は、選択ベクトルｓによって選択された入力／ＤＲ／出力ユニットのみが出力誤差の最小化に使用されることである。ｓの内で０によって指定されるこれらの入力／ＤＲ／出力ユニットから出力ユニットへの接続荷重は０に設定される。詳しくは、変形（４* ）又は（４’* ）を用いて出力から出力への接続の学習を排除することができる。変形（４* ）は「短時間記憶」及び「フィードバックコントローラ」の例（出力から出力へのフィードバックを排除した）において、また、「励起可能媒体」の例（図４ａ及び図４ｂに示した局所近傍を定義するために変形（４* ）を拡張使用）において使用された。
【０１５８】
「学習法：教師強制を用いた教師あり教示」
本発明のニューラルネットワークの教示方法によれば、ＭＳＥ(4), (4'), (4 * ）、又は(4’* ）が教師あり教示の手続きによって最小化される。入力時系列ｕ(t) 及び（所望の）出力時系列
【０１５９】
【数２２】
からなる学習列が利用可能でなければならない。ここで、ｔ＝１，２，…，Ｎである。ローレンツアトラクタの例及び励起可能媒体の例のように、学習タスクが純粋に生成的なダイナミクスを学習することである場合には、入力時系列ｕ(t）は無くてもよい。
【０１６１】
本発明のニューラルネットワークの教示方法によれば、ＤＲの活性は時刻ｔ＝１において初期化される。好ましくは、ＤＲ活性はゼロ又は小さなランダム値に初期化される。
【０１６２】
本発明のニューラルネットワークの教示方法は、構成的オフライン学習及び適応的オンライン学習に使用可能である。本発明のニューラルネットワークの教示方法は、以下に説明するようにこれら２つの場合に対して調節可能である。しかし、本発明のいくつかのアスペクトは、オンライン／オフラインの区別には無関係である。
【０１６３】
オンライン／オフラインの区別に無関係な１つのアスペクトによれば、入力学習列ｕ(t) は、ｔ＝１，２，…，ＮについてＤＲに供給される。
【０１６４】
オンライン／オフラインの区別に無関係な本発明の別のアスペクトによれば、出力学習列
【０１６５】
【数２３】
に設定される。これは、ＲＮＮの分野では教師強制として知られている。教師強制は、出力ユニットからＤＲへのフィードバック接続がある場合には本質的である。このようなフィードバック接続を用いない場合には教師強制は重要でないが、方法を統一的に説明する際の簡便さのために、用いるものとする。
【０１６７】
オンライン／オフラインの区別に無関係な本発明の別の手続き的アスペクトによれば、ＤＲユニットは時間ステップｔ＝１，２，…，Ｎに対して更新される。いずれの特定の更新ルールを用いるかは本発明のニューラルネットワークの教示方法には無関係である。ＤＲを繰返して更新することにより活性ベクトル列ｘ(1),…，ｘ(N) が得られる。ここで、ｘ(t) は時刻ｔにおけるネットワークのユニット（入力ユニットを含み、出力ユニットを含まない）の活性を含むベクトルである。
【０１６８】
本発明の好適な実施の形態では、学習段階で、小さなノイズがネットワークダイナミクスに加えられる。ノイズを加える１つの方法は、更新の式（１’）を用いること、即ち、各更新時に各ネットワークの状態にノイズ項を加えること、である。ノイズを導入する別の方法は、入力信号ｕ(t) 及び／又は
【０１６９】
【数２４】
にノイズを加えることである。より詳しくは、入力ユニットにｕ(t) を書き込む代わりにｕ(t) ＋ｖ(t) を書き込み、出力ユニットに教師強制
【０１７１】
【数２５】
を用いる場合には、最小化すべきＭＳＥは、やはり、学習出力のノイズなしバージョン、即ち（４）式の選択した変形、のままである。
【０１７３】
ネットワークダイナミクスにノイズを加えることは、出力からＤＲへのフィードバック接続が存在する信号発生及び能動的信号処理タスクでは特に有用である。このような場合には、加えられたノイズは、所望の I/O挙動に対して安定なシステムダイナミクスの関係が存在しない内部ユニットをランダムに励起する。その結果、そのような「信頼できない」ユニットから出力ユニットへの荷重は、学習手続きの際に非常に小さな値に設定される。正味の効果として、得られた学習したネットワークはより丈夫な（即ち、擾乱からあまり影響を受けない）挙動を行なう。「２方式装置」の例ではノイズを加えることが不可欠であることが分かった。
【０１７４】
ノイズを加えることは、学習データセットがネットワークサイズよりもあまり大きくない場合にも有用である。このような場合には、学習データに過剰適合するという虞がある。換言すれば、良好な一般化性能を実現することが困難になる。ノイズの挿入はネットワークが学習データの特異性に適合することを防止し、これにより一般化が向上する。ノイズを加えて過剰適合を抑制することは、装置の制御状態の小さな部分しか学習中に調べられない「振り子制御」の例では必須であった。ノイズの挿入によって、適切に一般化された性能が実現できた。
【０１７５】
本発明の更なるアスペクトは、オフライン学習又はオンライン学習に特異的である。本発明のニューラルネットワークの教示方法をこれらの二つの場合に適用する方法を以下で詳細に説明する。
【０１７６】
「学習段階におけるデータ収集のための１更新ステップの説明（オフラインの場合）」
本発明のニューラルネットワークの教示方法をオフライン学習に使用する場合には、ｔ＝１，２，…，Ｎについて学習データがネットワークに供給され、この期間中に得られたネットワークの状態が記録される。時間Ｎの後に、出力ユニットへのＭＳＥ最小化荷重をオフラインで構築するために、これらのデータが用いられる。本発明のニューラルネットワークの教示方法によれば、完結した１更新ステップとしては、以下のサブステップを実行しなければならない。
【０１７７】
更新ステップｔ→ｔ＋１への入力：
１．ＤＲユニット活性状態ｘ1 (t），…，ｘK (t）
２．出力ユニット活性状態ｙ1 (t），…，ｙm (t）（教師信号
【０１７８】
【数２６】
３．入力信号ｕ1 (t＋１），…，ｕn (t＋１）［タスクが、入力を伴わない純粋な信号発生タスクでない場合］
【０１８０】
【数２７】
更新ステップｔ→ｔ＋１の後の出力：
１．ＤＲユニット活性状態ｘ1 (t＋１),…，ｘK (t＋１）
【０１８２】
【数２８】
サブステップ：
１．［タスクが、入力を伴わない純粋な信号発生タスクではない場合］選択した入力供給方法を用いて、入力ｕ1 (t＋１),…，ｕn (t＋１）をネットワークに供給する。追加の入力ユニットを用いて入力がネットワークに供給される場合には（標準的方法）、これは、ｎ個の入力ユニットの活性をｕ1 (t＋１),…，ｕn (t＋１）に設定することを意味する。こうして、全体のネットワークの状態は、ｕ1 (t＋１),…，ｕn (t＋１),ｘ1 (t),…，ｘK (t),ｙ1 (t),…，ｙn (t) となる［入力ユニットを用いる場合。そうでない場合には、最初のｕ1 (t＋１),…，ｕn (t＋１）を除く］。
【０１８４】
２．選択した更新ルールを適用してＤＲユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｉ＝１，…，Ｋに対して
【０１８５】
３．あとで行なう最適荷重のオフライン計算で使用するために、ｘ(t＋１）＝ｕ1 (t＋１），…，ｕn (t＋１），ｘ1 (t＋１），…，ｘK (t＋１），ｙ1 (t），…，ｙm (t) 及び
【０１８６】
【数２９】
をメモリに書き込む。［最小化すべきＭＳＥが（４* ）式の形である場合には、ｘ(t＋１）＝ｓ・（ｕ1 (t＋１），…，ｕn (t＋１），ｘ1 (t＋１），…，ｘK (t＋１），ｙ1 (t），…，ｙm (t））をメモリに書き込む。］
【０１８８】
【数３０】
「オフラインの場合における最適荷重計算の説明」
時刻Ｎにおいて、Ｎ個の状態−教師出力ペア
【０１９０】
【数３１】
がメモリに収集されている。本発明のニューラルネットワークの教示方法では、次いで、選択ベクトルｓEINBETTEN ｘ(t) で値１を有する全てのユニットからｊ個の出力ユニットへの荷重ｗj,i を計算する。これらの荷重は、選択されたＭＳＥの変形（即ち（４）又は（４* ))を最小化するように計算する。技術的には、これは線形回帰タスクであり、多数の効率的な方法が利用することができる。（MatLab, Mathematica, LinPack等の技術データ解析ソフトウエアパッケージ、又は統計データ解析パッケージには、高度に洗練された線形回帰プログラムが含まれている。本明細書で説明した例を作成する際にはMathematica のＦＩＴ手順を用いた。）この線形回帰を行なう方法が特定のものであるかは本発明の一部分ではなく、また、当業者にとっては難しいことではないので、ここでは、ＭＳＥ（４）を最小化する場合のみを簡単に説明する。
【０１９２】
データを用いて学習を行なう前にネットワークにおける初期の過渡効果が減衰していなければならないという事実があるので、準備として、初期の状態−教師出力ペアのいくつかを廃棄することが望ましい。この後、各出力ユニットｊに対して引数値ベクトルデータセット
【０１９３】
【数３２】
の値の最小平均二乗誤差に対する線形回帰荷重を計算する、即ち、（４）式のＭＳＥが最小となるように荷重ｗj,i を計算する。
【０１９５】
これらの荷重をネットワークに書き込めば、利用の準備が完了する。
【０１９６】
「利用段階における１更新ステップの説明」
学習したネットワークを利用する際には、入力ｕ1 (t),…，ｕn (t) がオンラインで供給され［純粋な信号発生装置でない場合］、ネットワークは出力ｙ1 (t),…，ｙm (t) をオンラインで発生する。便宜を図って、利用中のネットワークの更新ステップを以下で詳細に説明する。
【０１９７】
更新ステップｔ→ｔ＋１への入力：
１．ＤＲユニット活性状態ｘ1 (t),…，ｘK (t)
２．出力ユニット活性状態ｙ1 (t),…，ｙm (t)
３．入力信号ｕ1 (t＋1), …，ｕn (t＋1)［タスクが、入力を伴わない純粋な信号発生タスクでない場合］
【０１９８】
更新ステップｔ→ｔ＋１の後の出力：
１．ＤＲユニット活性状態ｘ1 (t＋1), …，ｘK (t＋1)
２．出力ユニット活性状態ｙ1 (t＋1), …，ｙm (t＋1)
【０１９９】
サブステップ：
１．［タスクが、入力を伴わない純粋な信号発生タスクでない場合］入力ｕ1 (t＋1), …，ｕn (t＋1)をネットワークに供給する。
２．選択した更新ルールを適用してＤＲユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｉ＝１，…，Ｋに対して
３．選択した更新ルールを適用して出力ユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｊ＝１，…，ｍに対して
【０２００】
ここで注意すべき重要な点は「カスケード」更新である。即ち、最初に、サブステップ２でＤＲユニットが更新され、次いで、サブステップ３で出力ユニットが更新される。これは、学習段階における同様の「カスケード」更新に対応している。
【０２０１】
「変形例」
追加の入力ユニット及び出力ユニットを有するリカレントニューラルネットワークの更新の際には、様々な種類のユニット（入力，ＤＲ，及び出力ユニット）の相対的更新順序に関していくらかの自由度がある。たとえば、上述の特定の「カスケード」更新に代えて別の実施の形態においてＤＲユニット及び出力ユニットを同時に更新することができ、若干（しかし、典型的には有意ではない程度に）異なるネットワーク挙動を得ることができる。ＤＲがモジュール構造又は層構造を有する更に別の実施の形態では、更に複雑な更新管理を要求してネットワークの特定の部分を特定の順序で更新してもよい。本発明のニューラルネットワークの教示方法を実施する際に重要なことは、いずれの更新方式を用いるにしても、学習段階と利用段階とで同一の方式を用いなければならないということである。
【０２０２】
「オンライン適応のための一つのＬＭＳ更新ステップの説明」
本発明のニューラルネットワークの教示方法のオフライン変形例とは異なり、オンライン適応法は、出力状態誤差（ＭＳＥ判定基準（４）及び（４* ))を最小化するためにも、出力値誤差（ＭＳＥ判定基準（４’）及び（４’* ))を最小化するためにも、双方に使用することができる。
【０２０３】
オンライン適応では、ｊ番目の出力ユニットへの荷重ｗj,i が各時間ステップにおいて漸近的に最適化され、これによって時間に依存する変数ｗj,i (t) 自身となる。オンラインＭＳＥ最小化適応のための多数のよく知られた方法が本発明のニューラルネットワークの教示方法に対しても使用することができる。そのような方法としては、ＬＭＳ法、ニュートン法（又は、それらの組合せ）のような確率的勾配降下法、又はＲＬＳ法のようないわゆる「決定論的な」本発明のニューラルネットワークの教示方法、等がある。
【０２０４】
これらの内で、ＬＭＳ法が明らかに最も簡単である。これは本発明のニューラルネットワークの教示方法に最適という訳ではない（その理由は、ローレンツアトラクタの例の議論の中で述べた）。しかし、その簡単さという理由から、本発明のニューラルネットワークの教示方法のオンラインバージョンの原理を詳細に説明するためにはＬＭＳを選択することが最良である。
【０２０５】
以下に、ＬＭＳ法を用いて荷重を最適化する場合の１更新ステップを説明する。
【０２０６】
更新ステップｔ→ｔ＋１への入力：
１．ＤＲユニット活性状態ｘ1 (t),…，ｘK (t)
２．出力ユニット活性状態ｙ1 (t),…，ｙm (t)
３．入力信号ｕ1 (t＋1), …，ｕn (t＋1)［タスクが、入力を伴わない純粋な信号発生タスクでない場合］
【０２０７】
【数３３】
５．出力ユニットへの接続の荷重ｗj,i (t)
【０２０９】
更新ステップｔ→ｔ＋１の後の出力：
１．ＤＲユニット活性状態ｘ1 (t＋1), …，ｘK (t＋1)
２．出力ユニット活性状態ｙ1 (t＋1), …，ｙm (t＋1)
３．新たな荷重ｗj,i (t＋1)
【０２１０】
サブステップ：
１．［タスクが、入力を伴わない純粋な信号発生タスクでない場合］入力ｕ1 (t＋1), …，ｕn (t＋1)をネットワークに供給する。
２．選択した更新ルールを適用してＤＲユニットを更新する。たとえば、（４）式を用いる場合には、各ｉ＝１，…，Ｋに対して
３．選択した更新ルールを適用して出力ユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｊ＝１，…，ｍに対して
４．選択した適応方法を用いて、各出力ユニットｊ＝１，…，ｍに対して荷重ｗj (t) ＝（ｗj,1 (t),…，ｗj,n+K+m (t))をｗj (t＋1)に更新する。ここで、例としてＬＭＳ法を説明する。これは以下のサブステップを備えている。
【０２１１】
ａ．誤差
【０２１２】
【数３４】
を計算する。［注意：これによって出力値誤差が得られ、結果として（４’）式のＭＳＥが最小化される。出力状態誤差を最小化するためには、これに代えて
【０２１４】
【数３５】
を用いる。］
【０２１６】
ｂ．ｗj (t＋1)＝ｗj (t) ＋μεj (t＋1)ｘ(t) とする。ここで、μは学習率であり、ｘ(t) はステップ３の後に得られた全体のネットワークの状態（入力ユニット及び出力ユニットを含む）である。
【０２１７】
５．出力からＤＲへのフィードバック接続がある場合には、教師信号
【０２１８】
【数３６】
本発明のニューラルネットワークの教示方法のオフラインバージョンの場合と同様に、この更新方式には多数の自明な変形が存在する。それらの違いは、更新の式((４）式のいずれかのバージョン）、カスケードされた方式においてネットワークの一部が更新される順序、入力を与える方法等、である。これらの変形は本発明のニューラルネットワークの教示方法にとって重要ではなく、上述の更新ステップの詳細な説明は１つの可能性を例示しているに過ぎない。
【図面の簡単な説明】
【図１】 本発明の好適な実施の形態の概略を簡単に示す図である。
【図２】 本発明のニューラルネットワークの教示方法を簡単に適用してサイン発生ネットワークを得る第１の例から得られた様々なデータセットを教示する目的で示す図である。
【図３】 本発明のニューラルネットワークの教示方法を適用して遅延線の形式で短時間記憶ネットワークを得る第２の例から得られた様々なデータセットを示す図である。
【図４】 本発明のニューラルネットワークの教示方法を適用して単一の「ソリトン」教師信号から学習される励起可能媒体のモデルを得る第３の例から得られた接続構成と様々なデータセットとを示す図である。
【図５】 本発明のニューラルネットワークの教示方法を適用して確率的時系列発生器を学習する第４の例から得られた様々なデータセットを示す図である。
【図６】 振り子用の状態フィードバック追跡コントローラの学習に適用されたネットワークの模式的構成と、この例で得られた様々なデータセットとを示すことにより第５の例を説明する図である。
【図７】 本発明のニューラルネットワークの教示方法を適用して周波数計又は周波数発生器として使用することができる双方向装置を学習する第６の例から得られた様々なデータセットを示す図である。
Claims (41)
- 学習中に変更されない荷重を有する接続によって互いに接続されている複数のユニットを有しており、各ユニットのダイナミクスとして実現される異なるダイナミクス的性質のリザーバとして動作するＤＲネットワーク、
前記ＤＲネットワークへ入力値を供給する手段、及び
荷重を有する接続を介して前記ＤＲネットワークに接続された出力ユニット
を備え、
前記ＤＲネットワークから前記出力ユニットへの接続の荷重のみを、教師信号に対する前記出力ユニットの出力誤差が最小となるように、教師あり学習方式で学習させることを特徴とするリカレントニューラルネットワーク。 - 前記ＤＲネットワークが５０よりも多数のユニットを有していることを特徴とする請求項１に記載のリカレントニューラルネットワーク。
- 前記ＤＲネットワークのユニット相互が低い接続度で接続されていることを特徴とする請求項１又は２に記載のリカレントニューラルネットワーク。
- 前記ＤＲネットワーク内での接続が、ランダムに割り当てられた荷重を有することを特徴とする請求項１から３のいずれかに記載のリカレントニューラルネットワーク。
- ＤＲネットワークのユニットに対して更新ルールが関連付けられており、ＤＲネットワークの異なるユニットに対して前記更新ルールが異なるか又は異なってパラメータ化されていることを特徴とする請求項１から４のいずれかに記載のリカレントニューラルネットワーク。
- 空間的構造がＤＲネットワークのユニットの接続のパターンを介して前記ＤＲネットワークにより表されることを特徴とする請求項１から５のいずれかに記載のリカレントニューラルネットワーク。
- 前記空間的構造が規則的格子であることを特徴とする請求項６に記載のリカレントニューラルネットワーク。
- 分離されたＤＲネットワークから得られるダイナミクスが大域的に安定になるように、ＤＲネットワーク内の荷重に共通因子が乗じられることを特徴とする請求項１から７のいずれかに記載のリカレントニューラルネットワーク。
- 学習後の最終的ネットワークにおいて長期間の記憶効果を達成するために、分離されたＤＲネットワークから得られるダイナミクスが大域的に安定になるように、ＤＲネットワーク内の荷重に共通因子が乗じられることを特徴とする請求項１から７のいずれかに記載のリカレントニューラルネットワーク。
- 学習中に変更されない荷重を有する接続を介して前記ＤＲネットワークに接続される、前記入力値を供給する手段とは異なる追加の入力ユニットを用いることにより前記ＤＲネットワークへ入力値が供給されることを特徴とする請求項８又は９に記載のリカレントニューラルネットワーク。
- 前記入力ユニットから前記ＤＲネットワークへの接続が低い接続度であることを特徴とする請求項１０に記載のリカレントニューラルネットワーク。
- 前記入力ユニットから前記ＤＲネットワークへの接続の荷重がランダムに固定されていて正負の符号を有することを特徴とする請求項１０又は１１に記載のリカレントニューラルネットワーク。
- 最終的なネットワークＩ／Ｏ特性において長期間の記憶効果を達成するために、最終的なネットワークＩ／Ｏ特性において遅い又は低域通過時間特性を達成するために、又は線形のＩ／Ｏ特性を達成するために、前記入力ユニットから前記ＤＲネットワークへの接続の荷重に小さな絶対値の共通因子が乗じられることを特徴とする請求項１０から１２のいずれかに記載のリカレントニューラルネットワーク。
- 短期間の記憶効果を達成するために、高速なＩ／Ｏ挙動を実現するために、又は最終的な学習したネットワークにおいて高度に非線形な、即ち「スイッチング」特性を達成するために、入力ユニットからＤＲネットワークへの接続の荷重に大きな絶対値の共通因子が乗じられることを特徴とする請求項１０から１２のいずれかに記載のリカレントニューラルネットワーク。
- 学習後に受動的な信号処理ネットワークを得るために、前記出力ユニットから前記ＤＲネットワークへのフィードバック接続なしに、前記出力ユニットと異なる追加の出力ユニットが前記ＤＲネットワークに取り付けられていることを特徴とする請求項１から１４のいずれかに記載のリカレントニューラルネットワーク。
- 学習後に能動的な信号処理ネットワーク又は信号発生ネットワークを得るために、前記出力ユニットから前記ＤＲネットワークへのフィードバック接続付きで、前記出力ユニットと異なる追加の出力ユニットが前記ＤＲネットワークに取り付けられていることを特徴とする請求項１から１４のいずれかに記載のリカレントニューラルネットワーク。
- 前記フィードバック接続が低い接続度であることを特徴とする請求項１６に記載のリカレントニューラルネットワーク。
- 前記フィードバック接続の荷重がランダムに固定されていて正負の符号を有することを特徴とする請求項１６又は１７に記載のリカレントニューラルネットワーク。
- 最終的なネットワークＩ／Ｏ特性において長期間の記憶効果を達成するために、最終的なネットワークＩ／Ｏ特性において遅い又は低域通過時間特性を達成するために、又は線形のＩ／Ｏ特性を達成するために、フィードバック接続の前記荷重に小さな絶対値の共通因子が乗じられることを特徴とする請求項１６から１８のいずれかに記載のリカレントニューラルネットワーク。
- 短期間の記憶効果を達成するために、高速なＩ／Ｏ挙動を実現するために、又は最終的な学習したネットワークにおいて高度に非線形な、即ち「スイッチング」特性を達成するために、前記入力ユニットから前記ＤＲネットワークへの接続の前記荷重に大きな絶対値の共通因子が乗じられることを特徴とする請求項１６から１８のいずれかに記載のリカレントニューラルネットワーク。
- 教師あり学習のオフラインバージョンで前記ネットワークに、ＤＲネットワークから出力ユニットへの接続の荷重のみを学習させることを特徴とする請求項１から１４及び１６から２０のいずれかに記載のリカレントニューラルネットワーク。
- 学習すべきタスクが信号発生タスクであり、入力が存在せず、教師信号が所望の出力信号のサンプルのみからなることを特徴とする請求項２１に記載のリカレントニューラルネットワーク。
- 学習すべきタスクが信号処理タスクであり、入力が存在し、教師信号が所望の入力／出力ペアのサンプルからなることを特徴とする請求項２１に記載のリカレントニューラルネットワーク。
- 出力ユニットへの接続の出力誤差最小化荷重が計算されることを特徴とする請求項２１から２３のいずれかに記載のリカレントニューラルネットワークであって、
ａ．教師信号をネットワークに供給して学習期間中に教師強制モードでネットワークを動作させ、
ｂ．ネットワークのダイナミクスの状態と、出力ユニットの伝達関数の逆を教師出力上に写像して得られた信号
ｃ．初期の過渡効果を処理するために初期状態／出力ペアを任意に廃棄し、
ｄ．出力ユニットへの接続の荷重を標準的な線形回帰法によって計算するようにしてあること
を特徴とするリカレントニューラルネットワーク。 - ノイズを含む更新ルールを用いることにより及び／又は入力にノイズを加えることにより及び／又は出力からＤＲネットワークへのフィードバック接続が存在する場合に前記ＤＲネットワークにフィードバックする前に教師出力にノイズ成分を加えることにより、学習期間中にネットワークダイナミクスにノイズを挿入することを特徴とする請求項２１から２４のいずれかに記載のリカレントニューラルネットワーク。
- 教師あり学習のオンラインバージョンで前記ネットワークに、ＤＲネットワークから出力ユニットへの接続の荷重のみを学習させることを特徴とする請求項１５に記載のリカレントニューラルネットワーク。
- 学習すべきタスクが信号発生タスクであり、入力が存在せず、教師信号が所望の出力信号のサンプルのみからなることを特徴とする請求項２６に記載のリカレントニューラルネットワーク。
- 学習すべきタスクが信号処理タスクであり、入力が存在し、教師信号が所望の入力／出力ペアのサンプルからなることを特徴とする請求項２６に記載のリカレントニューラルネットワーク。
- 出力ユニットへの接続の出力誤差最小化荷重が計算されることを特徴とする請求項２６から２８のいずれかに記載のリカレントニューラルネットワークであって、
ａ．教師信号をネットワークに供給して教示期間中に教師強制モードでネットワークを動作させ、
ｂ．ネットワークのダイナミクスの状態と、出力ユニットの伝達関数の逆を教師出力上に写像して得られた信号
ｃ．初期の過渡効果を処理するために初期状態／出力ペアを任意に廃棄し、
ｄ．出力ユニットへの接続の荷重を標準的な線形回帰法によって計算するようにしてあること
を特徴とするリカレントニューラルネットワーク。 - 前記ＤＲネットワークのユニットへ入力値を供給する手段，ＤＲネットワークのユニット，出力ユニットからなるサブセットが存在し、前記サブセットは前記出力ユニットに接続されており、前記サブセットから前記出力ユニットへの接続のみの荷重が学習され、その他の接続の荷重はゼロに設定されることを特徴とする請求項２１から２９のいずれかに記載のリカレントニューラルネットワーク。
- 教師あり学習のオンラインバージョンで前記ネットワークに、ＤＲネットワークから出力ユニットへの接続の荷重のみを学習させることを特徴とする請求項１から１４及び１６から２０のいずれかに記載のリカレントニューラルネットワーク。
- 学習すべきタスクが信号発生タスクであり、入力が存在せず、教師信号が所望の出力信号のサンプルのみからなることを特徴とする請求項３１に記載のリカレントニューラルネットワーク。
- 学習すべきタスクが信号処理タスクであり、入力が存在し、教師信号が所望の入力／出力ペアのサンプルからなることを特徴とする請求項３１に記載のリカレントニューラルネットワーク。
- 請求項３１から３３のいずれかに記載のリカレントニューラルネットワークであって、前記出力ユニットへの接続の出力誤差最小化荷重が各時間ステップにおいて更新され、前記更新が、
ａ．前記ネットワークへ入力を供給して前記ネットワークによりリザーブされているダイナミクスを更新するサブステップと、
ｂ．各出力ユニットに対して、所望の教師出力と実際のネットワーク出力との間の差としての出力値誤差を計算するか、又はそれに代えて、出力ユニットの伝達関数の逆を教師出力上に写像して得た値
ｃ．前記サブステップｂ．で計算した誤差を最小化するための標準的な方法によって前記出力ユニットへの接続の荷重を更新するサブステップと、
ｄ．信号発生タスク又は能動的信号処理タスクの場合に、教師出力を前記出力ユニットに強制的に与えるサブステップと
により行なわれることを特徴とするリカレントニューラルネットワーク。 - ノイズを含む更新ルールを用いることにより、又はフィードバック接続が存在する場合に任意に前記ＤＲネットワークにフィードバックする前に教師出力にノイズ成分を加えることにより、ネットワークダイナミクスにノイズを挿入することを特徴とする請求項３１から３４のいずれかに記載のリカレントニューラルネットワーク。
- 教師あり学習のオンラインバージョンで前記ネットワークに、ＤＲネットワークから出力ユニットへの接続の荷重のみを学習させることを特徴とする請求項１５に記載のリカレントニューラルネットワーク。
- 学習すべきタスクが信号発生タスクであり、入力が存在せず、教師信号が所望の出力信号のサンプルのみからなることを特徴とする請求項３６に記載のリカレントニューラルネットワーク。
- 学習すべきタスクが信号処理タスクであり、入力が存在し、教師信号が所望の入力／出力ペアのサンプルからなることを特徴とする請求項３６に記載のリカレントニューラルネットワーク。
- 請求項３６から３８のいずれかに記載のリカレントニューラルネットワークであって、前記出力ユニットへの接続の出力誤差最小化荷重が各時間ステップにおいて更新され、前記更新が、
ａ．前記ネットワークへ入力を供給して前記ネットワークによりリザーブされているダイナミクスを更新するサブステップと、
ｂ．各出力ユニットに対して、所望の教師出力と実際のネットワーク出力との間の差としての出力値誤差を計算するか、又はそれに代えて、出力ユニットの伝達関数の逆を教師出力上に写像して得た値
ｃ．前記サブステップｂ．で計算した誤差を最小化するための標準的な方法によって前記出力ユニットへの接続の荷重を更新するサブステップと、
ｄ．信号発生タスク又は能動的信号処理タスクの場合に、教師出力を前記出力ユニットに強制的に与えるサブステップと
により行なわれることを特徴とするリカレントニューラルネットワーク。 - 前記ＤＲネットワークのユニットへ入力値を供給する手段，ＤＲネットワークのユニット，出力ユニットからなるサブセットが存在し、前記サブセットは前記出力ユニットに接続されており、前記サブセットから前記出力ユニットへの接続のみの荷重が学習され、その他の接続の荷重はゼロに設定されることを特徴とする請求項３１から３５のいずれかに記載のリカレントニューラルネットワーク。
- 前記ＤＲネットワークへのフィードバック接続を有する２以上の出力ユニットに関して前記ＤＲネットワークが学習され、利用段階では、学習した出力ユニットのいずれかを入力ユニットとして扱い、残りを出力ユニットとして扱うことにより、入力ユニット又は出力ユニットのいずれかで利用されることによって、信号間のダイナミクス関係の学習が実現されることを特徴とする請求項１から４０のいずれかに記載のリカレントニューラルネットワーク。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP00122415 | 2000-10-13 | ||
| PCT/EP2001/011490 WO2002031764A2 (en) | 2000-10-13 | 2001-10-05 | A method for supervised teaching of a recurrent artificial neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004511866A JP2004511866A (ja) | 2004-04-15 |
| JP4093858B2 true JP4093858B2 (ja) | 2008-06-04 |
Family
ID=8170085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002535074A Expired - Lifetime JP4093858B2 (ja) | 2000-10-13 | 2001-10-05 | リカレントニューラルネットワーク |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7321882B2 (ja) |
| EP (1) | EP1356430B1 (ja) |
| JP (1) | JP4093858B2 (ja) |
| AT (1) | ATE474288T1 (ja) |
| AU (1) | AU2001295591A1 (ja) |
| CA (1) | CA2424929C (ja) |
| DE (1) | DE60142582D1 (ja) |
| WO (1) | WO2002031764A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11170069B2 (en) | 2018-09-14 | 2021-11-09 | Kabushiki Kaisha Toshiba | Calculating device, calculation program, recording medium, and calculation method |
Families Citing this family (149)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060184462A1 (en) | 2004-12-10 | 2006-08-17 | Hawkins Jeffrey C | Methods, architecture, and apparatus for implementing machine intelligence and hierarchical memory systems |
| US9747420B2 (en) | 2005-10-26 | 2017-08-29 | Cortica, Ltd. | System and method for diagnosing a patient based on an analysis of multimedia content |
| US10776585B2 (en) | 2005-10-26 | 2020-09-15 | Cortica, Ltd. | System and method for recognizing characters in multimedia content |
| US10360253B2 (en) | 2005-10-26 | 2019-07-23 | Cortica, Ltd. | Systems and methods for generation of searchable structures respective of multimedia data content |
| US9031999B2 (en) | 2005-10-26 | 2015-05-12 | Cortica, Ltd. | System and methods for generation of a concept based database |
| US11032017B2 (en) | 2005-10-26 | 2021-06-08 | Cortica, Ltd. | System and method for identifying the context of multimedia content elements |
| US9639532B2 (en) | 2005-10-26 | 2017-05-02 | Cortica, Ltd. | Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts |
| US10372746B2 (en) | 2005-10-26 | 2019-08-06 | Cortica, Ltd. | System and method for searching applications using multimedia content elements |
| US8312031B2 (en) | 2005-10-26 | 2012-11-13 | Cortica Ltd. | System and method for generation of complex signatures for multimedia data content |
| US9489431B2 (en) | 2005-10-26 | 2016-11-08 | Cortica, Ltd. | System and method for distributed search-by-content |
| US10387914B2 (en) | 2005-10-26 | 2019-08-20 | Cortica, Ltd. | Method for identification of multimedia content elements and adding advertising content respective thereof |
| US9396435B2 (en) | 2005-10-26 | 2016-07-19 | Cortica, Ltd. | System and method for identification of deviations from periodic behavior patterns in multimedia content |
| US11403336B2 (en) | 2005-10-26 | 2022-08-02 | Cortica Ltd. | System and method for removing contextually identical multimedia content elements |
| US9191626B2 (en) | 2005-10-26 | 2015-11-17 | Cortica, Ltd. | System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto |
| US9477658B2 (en) | 2005-10-26 | 2016-10-25 | Cortica, Ltd. | Systems and method for speech to speech translation using cores of a natural liquid architecture system |
| US9384196B2 (en) | 2005-10-26 | 2016-07-05 | Cortica, Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
| US9953032B2 (en) | 2005-10-26 | 2018-04-24 | Cortica, Ltd. | System and method for characterization of multimedia content signals using cores of a natural liquid architecture system |
| US11019161B2 (en) | 2005-10-26 | 2021-05-25 | Cortica, Ltd. | System and method for profiling users interest based on multimedia content analysis |
| US10848590B2 (en) | 2005-10-26 | 2020-11-24 | Cortica Ltd | System and method for determining a contextual insight and providing recommendations based thereon |
| US9767143B2 (en) | 2005-10-26 | 2017-09-19 | Cortica, Ltd. | System and method for caching of concept structures |
| US11620327B2 (en) | 2005-10-26 | 2023-04-04 | Cortica Ltd | System and method for determining a contextual insight and generating an interface with recommendations based thereon |
| US10614626B2 (en) | 2005-10-26 | 2020-04-07 | Cortica Ltd. | System and method for providing augmented reality challenges |
| US9466068B2 (en) | 2005-10-26 | 2016-10-11 | Cortica, Ltd. | System and method for determining a pupillary response to a multimedia data element |
| US8818916B2 (en) | 2005-10-26 | 2014-08-26 | Cortica, Ltd. | System and method for linking multimedia data elements to web pages |
| US10535192B2 (en) | 2005-10-26 | 2020-01-14 | Cortica Ltd. | System and method for generating a customized augmented reality environment to a user |
| US11386139B2 (en) | 2005-10-26 | 2022-07-12 | Cortica Ltd. | System and method for generating analytics for entities depicted in multimedia content |
| US9330189B2 (en) | 2005-10-26 | 2016-05-03 | Cortica, Ltd. | System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item |
| US10635640B2 (en) | 2005-10-26 | 2020-04-28 | Cortica, Ltd. | System and method for enriching a concept database |
| US10380164B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for using on-image gestures and multimedia content elements as search queries |
| US9218606B2 (en) | 2005-10-26 | 2015-12-22 | Cortica, Ltd. | System and method for brand monitoring and trend analysis based on deep-content-classification |
| US10691642B2 (en) | 2005-10-26 | 2020-06-23 | Cortica Ltd | System and method for enriching a concept database with homogenous concepts |
| US10621988B2 (en) | 2005-10-26 | 2020-04-14 | Cortica Ltd | System and method for speech to text translation using cores of a natural liquid architecture system |
| US10191976B2 (en) | 2005-10-26 | 2019-01-29 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
| US10698939B2 (en) | 2005-10-26 | 2020-06-30 | Cortica Ltd | System and method for customizing images |
| US10949773B2 (en) | 2005-10-26 | 2021-03-16 | Cortica, Ltd. | System and methods thereof for recommending tags for multimedia content elements based on context |
| US11216498B2 (en) | 2005-10-26 | 2022-01-04 | Cortica, Ltd. | System and method for generating signatures to three-dimensional multimedia data elements |
| US11604847B2 (en) | 2005-10-26 | 2023-03-14 | Cortica Ltd. | System and method for overlaying content on a multimedia content element based on user interest |
| US9646005B2 (en) | 2005-10-26 | 2017-05-09 | Cortica, Ltd. | System and method for creating a database of multimedia content elements assigned to users |
| US11003706B2 (en) | 2005-10-26 | 2021-05-11 | Cortica Ltd | System and methods for determining access permissions on personalized clusters of multimedia content elements |
| EP1949311B1 (en) * | 2005-10-26 | 2014-01-15 | Cortica Ltd. | A computing device, a system and a method for parallel processing of data streams |
| US9235557B2 (en) | 2005-10-26 | 2016-01-12 | Cortica, Ltd. | System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page |
| US10585934B2 (en) | 2005-10-26 | 2020-03-10 | Cortica Ltd. | Method and system for populating a concept database with respect to user identifiers |
| US10742340B2 (en) | 2005-10-26 | 2020-08-11 | Cortica Ltd. | System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto |
| US11361014B2 (en) | 2005-10-26 | 2022-06-14 | Cortica Ltd. | System and method for completing a user profile |
| US20160321253A1 (en) | 2005-10-26 | 2016-11-03 | Cortica, Ltd. | System and method for providing recommendations based on user profiles |
| US10193990B2 (en) | 2005-10-26 | 2019-01-29 | Cortica Ltd. | System and method for creating user profiles based on multimedia content |
| US10380267B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for tagging multimedia content elements |
| US8266185B2 (en) | 2005-10-26 | 2012-09-11 | Cortica Ltd. | System and methods thereof for generation of searchable structures respective of multimedia data content |
| US9558449B2 (en) | 2005-10-26 | 2017-01-31 | Cortica, Ltd. | System and method for identifying a target area in a multimedia content element |
| US10607355B2 (en) | 2005-10-26 | 2020-03-31 | Cortica, Ltd. | Method and system for determining the dimensions of an object shown in a multimedia content item |
| US9286623B2 (en) | 2005-10-26 | 2016-03-15 | Cortica, Ltd. | Method for determining an area within a multimedia content element over which an advertisement can be displayed |
| US9372940B2 (en) | 2005-10-26 | 2016-06-21 | Cortica, Ltd. | Apparatus and method for determining user attention using a deep-content-classification (DCC) system |
| US9256668B2 (en) | 2005-10-26 | 2016-02-09 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
| US9529984B2 (en) | 2005-10-26 | 2016-12-27 | Cortica, Ltd. | System and method for verification of user identification based on multimedia content elements |
| US10380623B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for generating an advertisement effectiveness performance score |
| US8326775B2 (en) | 2005-10-26 | 2012-12-04 | Cortica Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
| US10180942B2 (en) | 2005-10-26 | 2019-01-15 | Cortica Ltd. | System and method for generation of concept structures based on sub-concepts |
| US9087049B2 (en) | 2005-10-26 | 2015-07-21 | Cortica, Ltd. | System and method for context translation of natural language |
| US20070192267A1 (en) * | 2006-02-10 | 2007-08-16 | Numenta, Inc. | Architecture of a hierarchical temporal memory based system |
| US8732098B2 (en) | 2006-02-10 | 2014-05-20 | Numenta, Inc. | Hierarchical temporal memory (HTM) system deployed as web service |
| US10733326B2 (en) | 2006-10-26 | 2020-08-04 | Cortica Ltd. | System and method for identification of inappropriate multimedia content |
| US7647284B2 (en) * | 2007-01-12 | 2010-01-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Fixed-weight recurrent neural network controller with fixed long-term and adaptive short-term memory |
| US8037010B2 (en) | 2007-02-28 | 2011-10-11 | Numenta, Inc. | Spatio-temporal learning algorithms in hierarchical temporal networks |
| US8561777B2 (en) * | 2007-10-23 | 2013-10-22 | Mei, Inc. | Coin sensor |
| US11783566B2 (en) * | 2008-02-27 | 2023-10-10 | Tsvi Achler | Feedback systems and methods for recognizing patterns |
| US20090276385A1 (en) * | 2008-04-30 | 2009-11-05 | Stanley Hill | Artificial-Neural-Networks Training Artificial-Neural-Networks |
| US20090299929A1 (en) * | 2008-05-30 | 2009-12-03 | Robert Kozma | Methods of improved learning in simultaneous recurrent neural networks |
| US8407166B2 (en) * | 2008-06-12 | 2013-03-26 | Numenta, Inc. | Hierarchical temporal memory system with higher-order temporal pooling capability |
| WO2012032331A1 (en) * | 2010-09-07 | 2012-03-15 | Bae Systems Plc | Assigning resources to resource-utilising entities |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| EP2826026A1 (en) | 2012-03-14 | 2015-01-21 | MEI, Inc. | Coin sensor |
| US9541982B2 (en) * | 2013-01-25 | 2017-01-10 | Wisconsin Alumni Research Foundation | Reconfigurable event driven hardware using reservoir computing for monitoring an electronic sensor and waking a processor |
| US9620108B2 (en) | 2013-12-10 | 2017-04-11 | Google Inc. | Processing acoustic sequences using long short-term memory (LSTM) neural networks that include recurrent projection layers |
| US20150301510A1 (en) * | 2014-04-22 | 2015-10-22 | Siegmund Düll | Controlling a Target System |
| US20160350652A1 (en) * | 2015-05-29 | 2016-12-01 | North Carolina State University | Determining edit operations for normalizing electronic communications using a neural network |
| US9807473B2 (en) * | 2015-11-20 | 2017-10-31 | Microsoft Technology Licensing, Llc | Jointly modeling embedding and translation to bridge video and language |
| US10839302B2 (en) | 2015-11-24 | 2020-11-17 | The Research Foundation For The State University Of New York | Approximate value iteration with complex returns by bounding |
| WO2017105641A1 (en) | 2015-12-15 | 2017-06-22 | Cortica, Ltd. | Identification of key points in multimedia data elements |
| KR102100977B1 (ko) | 2016-02-03 | 2020-04-14 | 구글 엘엘씨 | 압축된 순환 신경망 모델 |
| US11093818B2 (en) | 2016-04-11 | 2021-08-17 | International Business Machines Corporation | Customer profile learning based on semi-supervised recurrent neural network using partially labeled sequence data |
| US10984320B2 (en) | 2016-05-02 | 2021-04-20 | Nnaisense SA | Highly trainable neural network configuration |
| US11238337B2 (en) * | 2016-08-22 | 2022-02-01 | Applied Brain Research Inc. | Methods and systems for implementing dynamic neural networks |
| US10671908B2 (en) * | 2016-11-23 | 2020-06-02 | Microsoft Technology Licensing, Llc | Differential recurrent neural network |
| US11062203B2 (en) * | 2016-12-30 | 2021-07-13 | Intel Corporation | Neuromorphic computer with reconfigurable memory mapping for various neural network topologies |
| US11615285B2 (en) | 2017-01-06 | 2023-03-28 | Ecole Polytechnique Federale De Lausanne (Epfl) | Generating and identifying functional subnetworks within structural networks |
| US11636317B2 (en) | 2017-02-16 | 2023-04-25 | International Business Machines Corporation | Long-short term memory (LSTM) cells on spiking neuromorphic hardware |
| US11899707B2 (en) | 2017-07-09 | 2024-02-13 | Cortica Ltd. | Driving policies determination |
| KR102483643B1 (ko) * | 2017-08-14 | 2023-01-02 | 삼성전자주식회사 | 모델을 학습하는 방법 및 장치 및 상기 뉴럴 네트워크를 이용한 인식 방법 및 장치 |
| US10949742B2 (en) | 2017-09-18 | 2021-03-16 | International Business Machines Corporation | Anonymized time-series generation from recurrent neural networks |
| CN107729929B (zh) | 2017-09-30 | 2021-03-19 | 百度在线网络技术（北京）有限公司 | 用于获取信息的方法及装置 |
| CN107680684B (zh) * | 2017-10-12 | 2021-05-07 | 百度在线网络技术（北京）有限公司 | 用于获取信息的方法及装置 |
| US11603749B2 (en) | 2017-11-15 | 2023-03-14 | Schlumberger Technology Corporation | Field operations system |
| JP6832833B2 (ja) * | 2017-11-30 | 2021-02-24 | 株式会社日立製作所 | リザーバコンピューティングのリザーバ層の演算を実現するデバイス及び計算機 |
| US11321612B2 (en) | 2018-01-30 | 2022-05-03 | D5Ai Llc | Self-organizing partially ordered networks and soft-tying learned parameters, such as connection weights |
| US10832137B2 (en) | 2018-01-30 | 2020-11-10 | D5Ai Llc | Merging multiple nodal networks |
| CN111602149B (zh) * | 2018-01-30 | 2024-04-02 | D5Ai有限责任公司 | 自组织偏序网络 |
| US11138501B2 (en) * | 2018-02-22 | 2021-10-05 | International Business Machines Corporation | Hardware-implemented training of an artificial neural network |
| US11256979B2 (en) | 2018-03-30 | 2022-02-22 | Intel Corporation | Common factor mass multiplication circuitry |
| US10853034B2 (en) | 2018-03-30 | 2020-12-01 | Intel Corporation | Common factor mass multiplication circuitry |
| US11663478B2 (en) | 2018-06-11 | 2023-05-30 | Inait Sa | Characterizing activity in a recurrent artificial neural network |
| US11893471B2 (en) | 2018-06-11 | 2024-02-06 | Inait Sa | Encoding and decoding information and artificial neural networks |
| US11972343B2 (en) | 2018-06-11 | 2024-04-30 | Inait Sa | Encoding and decoding information |
| US10417558B1 (en) | 2018-09-28 | 2019-09-17 | Deep Insight Solutions, Inc. | Methods and systems for artificial neural network optimistic event processing |
| US20200133308A1 (en) | 2018-10-18 | 2020-04-30 | Cartica Ai Ltd | Vehicle to vehicle (v2v) communication less truck platooning |
| US10839694B2 (en) | 2018-10-18 | 2020-11-17 | Cartica Ai Ltd | Blind spot alert |
| US11181911B2 (en) | 2018-10-18 | 2021-11-23 | Cartica Ai Ltd | Control transfer of a vehicle |
| US11126870B2 (en) | 2018-10-18 | 2021-09-21 | Cartica Ai Ltd. | Method and system for obstacle detection |
| US11700356B2 (en) | 2018-10-26 | 2023-07-11 | AutoBrains Technologies Ltd. | Control transfer of a vehicle |
| US11188797B2 (en) * | 2018-10-30 | 2021-11-30 | International Business Machines Corporation | Implementing artificial intelligence agents to perform machine learning tasks using predictive analytics to leverage ensemble policies for maximizing long-term returns |
| JP6704585B2 (ja) * | 2018-11-01 | 2020-06-03 | Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社 | 情報処理装置 |
| KR102163966B1 (ko) * | 2018-11-02 | 2020-10-12 | 한국로봇융합연구원 | 시계열 데이터를 주파수 성분별로 분할하여 복수의 학습 모델을 병렬 처리하는 딥러닝 학습 방법 및 시스템 |
| US10789535B2 (en) | 2018-11-26 | 2020-09-29 | Cartica Ai Ltd | Detection of road elements |
| US11922314B1 (en) * | 2018-11-30 | 2024-03-05 | Ansys, Inc. | Systems and methods for building dynamic reduced order physical models |
| US11599773B2 (en) | 2018-12-27 | 2023-03-07 | Micron Technology, Inc. | Neural networks and systems for decoding encoded data |
| US20220100153A1 (en) * | 2019-01-28 | 2022-03-31 | Ohio State Innovation Foundation | Model-free control of dynamical systems with deep reservoir computing |
| US11643005B2 (en) | 2019-02-27 | 2023-05-09 | Autobrains Technologies Ltd | Adjusting adjustable headlights of a vehicle |
| US11285963B2 (en) | 2019-03-10 | 2022-03-29 | Cartica Ai Ltd. | Driver-based prediction of dangerous events |
| US11694088B2 (en) | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
| US11569978B2 (en) | 2019-03-18 | 2023-01-31 | Inait Sa | Encrypting and decrypting information |
| US11652603B2 (en) | 2019-03-18 | 2023-05-16 | Inait Sa | Homomorphic encryption |
| US11132548B2 (en) | 2019-03-20 | 2021-09-28 | Cortica Ltd. | Determining object information that does not explicitly appear in a media unit signature |
| US12055408B2 (en) | 2019-03-28 | 2024-08-06 | Autobrains Technologies Ltd | Estimating a movement of a hybrid-behavior vehicle |
| US10776669B1 (en) | 2019-03-31 | 2020-09-15 | Cortica Ltd. | Signature generation and object detection that refer to rare scenes |
| US10796444B1 (en) | 2019-03-31 | 2020-10-06 | Cortica Ltd | Configuring spanning elements of a signature generator |
| US11488290B2 (en) | 2019-03-31 | 2022-11-01 | Cortica Ltd. | Hybrid representation of a media unit |
| US11222069B2 (en) | 2019-03-31 | 2022-01-11 | Cortica Ltd. | Low-power calculation of a signature of a media unit |
| JP7250643B2 (ja) * | 2019-08-13 | 2023-04-03 | 株式会社日立製作所 | 計算機システム及びモデル学習方法 |
| US11424764B2 (en) | 2019-11-13 | 2022-08-23 | Micron Technology, Inc. | Recurrent neural networks and systems for decoding encoded data |
| US11580401B2 (en) | 2019-12-11 | 2023-02-14 | Inait Sa | Distance metrics and clustering in recurrent neural networks |
| US11816553B2 (en) | 2019-12-11 | 2023-11-14 | Inait Sa | Output from a recurrent neural network |
| US11651210B2 (en) | 2019-12-11 | 2023-05-16 | Inait Sa | Interpreting and improving the processing results of recurrent neural networks |
| US11797827B2 (en) | 2019-12-11 | 2023-10-24 | Inait Sa | Input into a neural network |
| US10748022B1 (en) | 2019-12-12 | 2020-08-18 | Cartica Ai Ltd | Crowd separation |
| US11593662B2 (en) | 2019-12-12 | 2023-02-28 | Autobrains Technologies Ltd | Unsupervised cluster generation |
| KR102235784B1 (ko) * | 2019-12-24 | 2021-04-02 | 네이버 주식회사 | 행동 인식을 위한 시공간의 평활화 피처를 정규화하는 방법 및 시스템 |
| US11590988B2 (en) | 2020-03-19 | 2023-02-28 | Autobrains Technologies Ltd | Predictive turning assistant |
| US11827215B2 (en) | 2020-03-31 | 2023-11-28 | AutoBrains Technologies Ltd. | Method for training a driving related object detector |
| EP4134882A4 (en) | 2020-04-08 | 2023-05-10 | Fujitsu Limited | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
| US11756424B2 (en) | 2020-07-24 | 2023-09-12 | AutoBrains Technologies Ltd. | Parking assist |
| US11742901B2 (en) * | 2020-07-27 | 2023-08-29 | Electronics And Telecommunications Research Institute | Deep learning based beamforming method and apparatus |
| US12049116B2 (en) | 2020-09-30 | 2024-07-30 | Autobrains Technologies Ltd | Configuring an active suspension |
| US11935077B2 (en) | 2020-10-04 | 2024-03-19 | Vunet Systems Private Limited | Operational predictive scoring of components and services of an information technology system |
| US20230297883A1 (en) * | 2020-10-13 | 2023-09-21 | Tdk Corporation | Discriminator |
| CN112364697B (zh) * | 2020-10-14 | 2021-11-30 | 陕西师范大学 | 基于r-lstm模型的脑电信号情绪识别方法 |
| WO2021092631A2 (en) * | 2021-02-26 | 2021-05-14 | Innopeak Technology, Inc. | Weakly-supervised text-based video moment retrieval |
| US11563449B2 (en) * | 2021-04-27 | 2023-01-24 | Micron Technology, Inc. | Systems for error reduction of encoded data using neural networks |
| US11973513B2 (en) | 2021-04-27 | 2024-04-30 | Micron Technology, Inc. | Decoders and systems for decoding encoded data using neural networks |
| US11755408B2 (en) | 2021-10-07 | 2023-09-12 | Micron Technology, Inc. | Systems for estimating bit error rate (BER) of encoded data using neural networks |
Family Cites Families (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1257351A (en) * | 1984-07-04 | 1989-07-11 | Mount Isa Mines Limited | Cross correlator |
| JPH02165388A (ja) * | 1988-12-20 | 1990-06-26 | Toshiba Corp | パターン認識方式 |
| US5425130A (en) * | 1990-07-11 | 1995-06-13 | Lockheed Sanders, Inc. | Apparatus for transforming voice using neural networks |
| US5204872A (en) * | 1991-04-15 | 1993-04-20 | Milltech-Hoh, Inc. | Control system for electric arc furnace |
| US5479571A (en) * | 1991-06-14 | 1995-12-26 | The Texas A&M University System | Neural node network and model, and method of teaching same |
| EP0574951B1 (en) * | 1992-06-18 | 2000-04-05 | Seiko Epson Corporation | Speech recognition system |
| US5428710A (en) * | 1992-06-29 | 1995-06-27 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Fast temporal neural learning using teacher forcing |
| US5486996A (en) * | 1993-01-22 | 1996-01-23 | Honeywell Inc. | Parameterized neurocontrollers |
| US5579439A (en) * | 1993-03-24 | 1996-11-26 | National Semiconductor Corporation | Fuzzy logic design generator using a neural network to generate fuzzy logic rules and membership functions for use in intelligent systems |
| US5465321A (en) * | 1993-04-07 | 1995-11-07 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Hidden markov models for fault detection in dynamic systems |
| US5963929A (en) * | 1993-05-28 | 1999-10-05 | Maryland Technology Corporation | Recursive neural filters |
| US5649065A (en) * | 1993-05-28 | 1997-07-15 | Maryland Technology Corporation | Optimal filtering by neural networks with range extenders and/or reducers |
| US5408424A (en) * | 1993-05-28 | 1995-04-18 | Lo; James T. | Optimal filtering by recurrent neural networks |
| US5513098A (en) * | 1993-06-04 | 1996-04-30 | The Johns Hopkins University | Method for model-free control of general discrete-time systems |
| US5390136A (en) * | 1993-06-14 | 1995-02-14 | Motorola, Inc. | Artificial neuron and method of using same |
| US6601051B1 (en) * | 1993-08-09 | 2003-07-29 | Maryland Technology Corporation | Neural systems with range reducers and/or extenders |
| JPH0784974A (ja) * | 1993-09-16 | 1995-03-31 | Nissan Motor Co Ltd | リカレント・ニューラルネットワーク |
| KR0185757B1 (ko) * | 1994-02-14 | 1999-05-15 | 정호선 | 혼돈 순환 신경회로망의 학습방법 |
| WO1996008776A1 (de) * | 1994-09-15 | 1996-03-21 | Siemens Aktiengesellschaft | Verfahren und anordnung zur aufbereitung einer eingangsgrösse eines neuronalen netzes |
| US5706400A (en) * | 1995-03-08 | 1998-01-06 | Nec Research Institute, Inc. | Fault-tolerant implementation of finite-state automata in recurrent neural networks |
| US5659583A (en) * | 1995-06-02 | 1997-08-19 | Hitachi America, Ltd. | Tone canceller for QAM demodulator |
| US6151592A (en) * | 1995-06-07 | 2000-11-21 | Seiko Epson Corporation | Recognition apparatus using neural network, and learning method therefor |
| US5699487A (en) * | 1995-07-07 | 1997-12-16 | Hewlett-Packard Company | Artificial neural network read channel |
| US5764858A (en) * | 1995-09-14 | 1998-06-09 | University Of Southern California | One-dimensional signal processor with optimized solution capability |
| US5943659A (en) * | 1995-10-03 | 1999-08-24 | Nec Research Institute, Inc. | Deterministic encoding of fuzzy finite state automata in continuous recurrent neural networks |
| US5960391A (en) * | 1995-12-13 | 1999-09-28 | Denso Corporation | Signal extraction system, system and method for speech restoration, learning method for neural network model, constructing method of neural network model, and signal processing system |
| US5748847A (en) * | 1995-12-21 | 1998-05-05 | Maryland Technology Corporation | Nonadaptively trained adaptive neural systems |
| US5745653A (en) * | 1996-02-05 | 1998-04-28 | Ford Global Technologies, Inc. | Generic neural network training and processing system |
| US6092018A (en) * | 1996-02-05 | 2000-07-18 | Ford Global Technologies, Inc. | Trained neural network engine idle speed control system |
| US5822741A (en) | 1996-02-05 | 1998-10-13 | Lockheed Martin Corporation | Neural network/conceptual clustering fraud detection architecture |
| US5781700A (en) * | 1996-02-05 | 1998-07-14 | Ford Global Technologies, Inc. | Trained Neural network air/fuel control system |
| US5867397A (en) * | 1996-02-20 | 1999-02-02 | John R. Koza | Method and apparatus for automated design of complex structures using genetic programming |
| JP3515267B2 (ja) * | 1996-02-29 | 2004-04-05 | 株式会社東芝 | 多層神経回路網学習装置 |
| US6581048B1 (en) * | 1996-06-04 | 2003-06-17 | Paul J. Werbos | 3-brain architecture for an intelligent decision and control system |
| US5847952A (en) * | 1996-06-28 | 1998-12-08 | Honeywell Inc. | Nonlinear-approximator-based automatic tuner |
| US5987444A (en) * | 1997-09-23 | 1999-11-16 | Lo; James Ting-Ho | Robust neutral systems |
| KR100233091B1 (ko) * | 1997-10-23 | 1999-12-01 | 윤종용 | 에이티엠 트래픽 제어장치 및 방법 |
| US5983180A (en) * | 1997-10-23 | 1999-11-09 | Softsound Limited | Recognition of sequential data using finite state sequence models organized in a tree structure |
| US6272193B1 (en) * | 1999-09-27 | 2001-08-07 | Genesis Microchip Corp. | Receiver to recover data encoded in a serial communication channel |
| JP4516644B2 (ja) * | 1999-09-29 | 2010-08-04 | 古野電気株式会社 | 受波ビーム形成方法、受波ビーム形成装置およびマッチドフィルタ |
| US6751601B2 (en) * | 2000-07-21 | 2004-06-15 | Pablo Zegers | Method and a system for solving dynamic problems using the dynamical system architecture |
-
2001
- 2001-10-05 CA CA2424929A patent/CA2424929C/en not_active Expired - Lifetime
- 2001-10-05 WO PCT/EP2001/011490 patent/WO2002031764A2/en active Application Filing
- 2001-10-05 DE DE60142582T patent/DE60142582D1/de not_active Expired - Lifetime
- 2001-10-05 EP EP01976272A patent/EP1356430B1/en not_active Expired - Lifetime
- 2001-10-05 AU AU2001295591A patent/AU2001295591A1/en not_active Abandoned
- 2001-10-05 JP JP2002535074A patent/JP4093858B2/ja not_active Expired - Lifetime
- 2001-10-05 US US10/398,914 patent/US7321882B2/en not_active Expired - Lifetime
- 2001-10-05 AT AT01976272T patent/ATE474288T1/de not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11170069B2 (en) | 2018-09-14 | 2021-11-09 | Kabushiki Kaisha Toshiba | Calculating device, calculation program, recording medium, and calculation method |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1356430B1 (en) | 2010-07-14 |
| US7321882B2 (en) | 2008-01-22 |
| WO2002031764A3 (en) | 2003-08-21 |
| US20040015459A1 (en) | 2004-01-22 |
| EP1356430A2 (en) | 2003-10-29 |
| JP2004511866A (ja) | 2004-04-15 |
| CA2424929C (en) | 2012-04-03 |
| CA2424929A1 (en) | 2002-04-18 |
| AU2001295591A1 (en) | 2002-04-22 |
| DE60142582D1 (de) | 2010-08-26 |
| WO2002031764A2 (en) | 2002-04-18 |
| ATE474288T1 (de) | 2010-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4093858B2 (ja) | リカレントニューラルネットワーク | |
| Puskorius et al. | Neurocontrol of nonlinear dynamical systems with Kalman filter trained recurrent networks | |
| Zhou et al. | Synchronisation of stochastic‐coupled intermittent control systems with delays and Lévy noise on networks without strong connectedness | |
| Wang | Discrete model predictive controller design using Laguerre functions | |
| US5513098A (en) | Method for model-free control of general discrete-time systems | |
| CA3091819A1 (en) | Hybrid quantum-classical generative models for learning data distributions | |
| Ren et al. | Finite time synchronization of Markovian jumping stochastic complex dynamical systems with mix delays via hybrid control strategy | |
| Zhang et al. | Chaotic time series prediction using phase space reconstruction based conceptor network | |
| Wang et al. | Dual-stage impulsive control for synchronization of memristive chaotic neural networks with discrete and continuously distributed delays | |
| Maslennikov et al. | Collective dynamics of rate neurons for supervised learning in a reservoir computing system | |
| Tamura et al. | Transfer-RLS method and transfer-FORCE learning for simple and fast training of reservoir computing models | |
| Gammelmark et al. | Quantum learning by measurement and feedback | |
| WO2022195494A1 (en) | A computer implemented method for real time quantum compiling based on artificial intelligence | |
| Biehl et al. | On-line learning of a time-dependent rule | |
| Song et al. | Quasi-synchronization of stochastic memristor-based neural networks with mixed delays and parameter mismatches | |
| Guo et al. | Synchronization of multi-link and multi-delayed inertial neural networks with Markov jump via aperiodically intermittent adaptive control | |
| Yau et al. | Proximal policy optimization‐based controller for chaotic systems | |
| Ganjefar et al. | A novel adaptive power system stabilizer design using the self‐recurrent wavelet neural networks via adaptive learning rates | |
| Zeng et al. | Improved results on sampled-data synchronization of Markovian coupled neural networks with mode delays | |
| Tian et al. | Finite-time consensus of second-order nonlinear multi-agent systems with impulsive effects | |
| Prokhorov et al. | Primitive adaptive critics | |
| Amin et al. | System identification via artificial neural networks-applications to on-line aircraft parameter estimation | |
| Bakker et al. | Neural network model to control an experimental chaotic pendulum | |
| Liu et al. | Observer-based event-triggered optimal control for unknown nonlinear stochastic multi-agent systems with input constraints | |
| JPH05197705A (ja) | ニューラルネットワークの学習システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070214 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071009 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071016 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071109 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080304 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4093858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140314 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |