JPH09198364A - ニューラルネット発生装置 - Google Patents

Abstract

(57)【要約】 【課題】ｎ次元空間Ｒⁿ上の非線形力学系に対し、その
指定された有限個の軌道を実現するｎ個のユニットから
なる相互結合型ニューラルネットをすべて発生する。 【解決手段】相互結合型ニューラルネットのウエイト行
列Ｗの特解Ｗ^*をＴＤＲＢＰ法により計算する時系列学
習手段２０と、相互結合型ニューラルネットのユニット
活性化関数による軌道情報ξ⁽¹⁾,ξ⁽²⁾,…,ξ^(m)の像で
あるｎ次元ベクトル空間ＲⁿのｍＬ個のベクトルｑ₁,
ｑ₂,…,ｑ_mLを計算して出力する部分集合作成手段３０
と、ベクトルｑ₁,ｑ₂,…,ｑ_mLを入力してベクトル空間
Ｒⁿの最小部分ベクトル空間の直交補空間の基底｛ｅ₁,
…,ｅ_d｝を計算する基底作成手段４０と、任意に与えら
れるｎ×ｄ行列Ａと特解Ｗ^*と基底｛ｅ₁,…,ｅ_d｝を入
力として、ウエイト行列Ｗを計算するウエイト行列生成
手段５０と、を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、非線形力学系のモ
デルとして使用されるニューラルネットを発生するニュ
ーラルネット発生装置に関し、特に、その非線形力学系
の軌道（時系列）のうち重要であるとして指定された軌
道（時系列）に対応するニューラルネットを発生するニ
ューラルネット発生装置に関する。

【０００２】

【従来の技術】非線形力学系は、一般に環境との相互作
用によって生じ、例えば、炉内の流れ、音声合成、ロボ
ットの運動、コンピュータグラフィクス（ＣＧ）におけ
るアニメーション等のさまざまな分野において現れる。
非線形力学系を表現する制御可能な大域的モデルを構築
することが一般に困難であるので、非線形力学系の制御
可能なモデルの獲得は、非線形力学系の解析のための重
要な課題となっている。

【０００３】ところで、相互結合型ニューラルネット
は、パラメータをもつ非線形力学系であり、隠れユニッ
トを用いることによって任意の非線形力学系を近似する
能力を備えるようになり、また、並列計算性をも有して
いる。そこで、制御可能な大域的モデルの構築が困難な
非線形力学系のモデルとして、相互結合型ニューラルネ
ットを用ることが試みられている。ここでは特に、ｎ次
元ユークリッド空間

【０００４】

【外１】 上の非線形力学系が、ｎ個のユニットからなる相互結合
型ニューラルネットによってモデル化可能であるとき
に、このようなニューラルネットによって、この非線形
力学系をモデル化することを考える。ｎ次元ユークリッ
ド空間上の非線形力学系とは、一言でいえば、その非線
形力学系の状態がｎ次元ベクトルで表現でき、このｎ次
元ベクトルの各要素が常微分方程式の解であるようなも
のをいう。以下、ｎ次元ユークリッド空間を表わす

【０００５】

【外２】 を単にＲⁿと略記し、実数全体の集合

【０００６】

【外３】 をＲと略記する。

【０００７】力学系は軌道（時系列）の集まりであり、
その各軌道（時系列）が実際の問題において重要な情報
である。実際問題においては、非線形力学系の軌道（時
系列）のうち、特に重要な有限個の軌道（時系列）が指
定される。したがって、非線形力学系のモデルとしての
ニューラルネットには、これらの軌道（時系列）を生成
するものであることがまず要求される。しかし、そのよ
うなニューラルネットモデルが、その非線形力学系の他
の軌道（時系列）を実現するかどうか、すなわち、この
非線形力学系のモデルを獲得したかどうかは、一般には
分からない。そこで、指定された有限個の軌道（時系
列）を実現する相互結合型ニューラルネットを全て求め
ることが必要になる。

【０００８】公知の文献、例えば、J.Hertz, A.Krogh,
and R.Palmer; "Introduction to the Theory of Neura
l Computation", Lecture Notes Volume I, Santa Fe I
nstitute Studies in the Sciences of Complexity, (1
991)や、G.Z.Sun, H.H.Chen,and Y.C.Lee; "Green func
tion method for fast on-line learning algorithmof
recurrent neural networks", Advances in Neural Inf
ormation Processing Systems, Vol.4, 333-340, (199
2)等に示されているように、指定された軌道（時系列）
を追従する相互結合型ニューラルネットを求める方法と
して、ＲＴＲＬ法（Real-Time Recurrent Learning：実
時間再帰学習法）やグリーン（Green）関数法などによ
って代表されるオンライン学習法や、ＴＤＲＢＰ（Time
-Dependent Recurrent Back-Propagation：時間依存再
帰逆伝搬）学習法が提案されている。計算量の面では、
ＴＤＲＢＰ学習法が、最も効率的な学習法であることが
知られている。

【０００９】ｎ個のユニットからなる相互結合型ニュー
ラルネットは、各ユニットごとにそのユニットへの各ユ
ニットからの重み付け量を表わすｎ×ｎ行列（ウエイト
行列）によってパラメータ付けられる。すなわち、ｎ×
ｎ行列であるウェイト行列Ｗを１つ決めると、相互結合
型ニューラルネットがただ１つ決まる。したがって、相
互結合型ニューラルネットを発生させるということは、
そのウエイト行列であるｎ×ｎ行列を求めることと同値
である。

【００１０】

【発明が解決しようとする課題】非線形力学系の指定さ
れた軌道（時系列）を実現する相互結合型ニューラルネ
ットが１つしか存在しないならば、既に提案されている
時系列学習法によって、この非線形力学系を学習してそ
のニューラルネットを得ることができる。しかしなが
ら、指定された軌道（時系列）を実現する相互結合型ニ
ューラルネットが複数個存在するならば、そのような相
互結合型ニューラルネットは実は無限個存在することが
証明されている。したがって、学習時の初期値（ウエイ
ト行列の初期値）を適当に変更しながら上述の時系列学
習法を実行したとしても、指定された軌道（時系列）を
実現する相互結合型ニューラルネットの全てをもらすこ
となく発生させることはできなかった。

【００１１】本発明の目的は、ｎ個のユニットからなる
相互結合型ニェーラルネットによってモデル化可能なｎ
次元ユークリッド空間Ｒⁿ上の非線形力学系に対して、
指定されたその有限個の軌道（時系列）を実現するｎ個
のユニットからなる相互結合型ニューラルネットをすべ
て発生する装置を提供することにある。

【００１２】

【課題を解決するための手段】本発明のニューラルネッ
ト発生装置は、ｎ次元空間上の非線形力学系の有限個の
軌道が与えられたとき、ｎ個のユニットからなり前記有
限個の軌道を追従する相互結合型ニューラルネットを全
て生成するニューラルネット発生装置において、ｎ×ｎ
行列Ｗ⁽⁰⁾を初期値として入力し、相互結合型ニューラ
ルネットのウエイト行列の特解であるｎ×ｎ行列Ｗ^*を
計算して出力する時系列学習手段と、有限個の軌道の軌
道情報ξ⁽¹⁾,ξ⁽²⁾,…,ξ^(m)を入力して、相互結合型ニ
ューラルネットのユニット活性化関数による軌道情報の
像であるｎ次元ベクトル空間ＲⁿのｍＬ個のベクトル
ｑ₁,ｑ₂,…,ｑ_mLを計算して出力する部分集合作成手段
と、部分集合作成手段が出力するベクトルｑ₁,ｑ₂,…,
ｑ_mLを入力してベクトル空間Ｒⁿの最小部分ベクトル空
間の直交補空間の基底｛ｅ₁,…,ｅ_d｝を計算して出力す
る基底作成手段と、任意に与えられるｎ×ｄ行列Ａと、
時系列学習手段が出力するｎ×ｎ行列Ｗ^*と、基底
｛ｅ₁,…,ｅ_d｝を入力として、相互結合型ニューラルネ
ットのウエイト行列Ｗを計算するウエイト行列生成手段
と、を有する。

【００１３】本発明において、時系列学習手段として
は、ＴＤＲＢＰ学習法によって特解であるｎ×ｎ行列Ｗ
^*を１つ生成するものを用いることが好ましい。

【００１４】以下、本発明において使用される相互結合
型ニューラルネットについて説明する。ウエイト行列Ｗ
をもちｎ個のユニットからなる相互結合型ニューラルネ
ットφ_Wとは、次のように決定される

【００１５】

【数１】 からなる

【００１６】

【外４】 写像である。この相互結合型ニューラルネットの各ユニ
ットに初期値ｐ_i∈Ｒを与えると、時刻ｔ∈Ｒでの状態
ｘ(ｔ)＝φ_W(ｔ,ｐ)は、次の常微分方程式によって決定
される（ただし、ｐ＝(ｐ₁,…,ｐ_n)）：

【００１７】

【数２】 ここで、ｘ(t)＝（ｘ₁(ｔ),…,ｘ_n(ｔ)）であり、Ｗ＝
（ｗ_ij）はｎ×ｎ行列であり、τは正の定数である。ま
た、ユニット活性化関数ｇ_iは与えられたＲ上のの有界
な単調増加

【００１８】

【外５】 関数であり、例えば、βを正の定数としてｔａｎｈ(β
ｔ)で表わすことができる。式(2)により各ユニットの状
態が与えられるので、このニューラルネットφ_Wは、ｎ
次元ユークリッド空間Ｒⁿ上の力学系になる。初期値を
与えることによって生成されるニューラルネットφ_Wの
状態の時系列が、モデルとしてのニューラルネットにお
けるこの力学系の軌道を表わしている。

【００１９】このようなニューラルネットにより表現可
能なｎ次元ユークリッド空間Ｒⁿ上の非線形力学系ψ：
Ｒ×Ｒⁿ→Ｒⁿを考える。この非線形力学系ψの有限個の
軌道ξ⁽¹⁾,…,ξ^(m)が指定されたとする。ここに、ξ
⁽¹⁾,…,ξ^(m)は、それぞれ、Ｒ ⁿ上の点ｐ⁽¹⁾,…,ｐ^(m)
を初期値とするψの軌道である。すなわち、

【００２０】

【数３】 である。これらの軌道ξ⁽¹⁾,…,ξ^(m)を時間［０,Ｔ］
上で実現する相互結合型ニューラルネットφ_W（ただし
Ｗはｎ×ｎ行列）をすべて発生させることが、本発明が
目指すところである。以下、本発明の作用について詳細
に説明する。

【００２１】《特解の生成》与えられた軌道ξ⁽¹⁾,…,
ξ^(m)を時間［０,Ｔ］上で実現する１つのニューラルネ
ットφ_W*（Ｗ^*はｎ×ｎ行列）が、ＴＤＲＢＰ学習法に
よって、以下のように求められる。

【００２２】

【数４】 ここでＷ(ｓ)＝（ｗ_ij(ｓ)）はｎ×ｎ行列であり、初期
値を適当に与えたときの次の常微分方程式の解である：

【００２３】

【数５】 ここに、ηは適当な正数であり、Ｅはｎ×ｎ行列全体の
集合上で定義された実数値関数であって、

【００２４】

【数６】 である。ＴＤＲＢＰ学習法では、∂Ｅ／∂ｗ_ijは、

【００２５】

【数７】 として計算される。ここに、

【００２６】

【数８】 であり、

【００２７】

【数９】 は次の常微分方程式の初期値問題の解である：

【００２８】

【数１０】 ここで、Ｉはｎ次の単位行列、ｄｉａｇ(・)はｎ次の対
角行列、ｇ_j'はユニット活性化関数ｇ_jの導関数であ
る。また、ｘ^(k)(ｔ;Ｗ)とξ^(k)(ｔ)∈Ｒⁿはともにｎ×
１行列とみなされている。

【００２９】《一般解の生成》上述のようにして特解Ｗ
^*が一つ求められたとして、一般解、すなわち全てのウ
エイト行列Ｗは、以下のようにして求められる。

【００３０】ユニット活性化関数ｇ_iを要素とするユー
クリッド空間Ｒⁿの

【００３１】

【外６】 同型写像ｇを、次式で定義する：

【００３２】

【数１１】 また、ｎ次元ベクトル空間Ｒⁿの部分集合

【００３３】

【数１２】 を含むベクトル空間Ｒⁿの最小の部分ベクトル空間を、
Ｖ（ξ⁽¹⁾,…,ξ^(m)）とする。また、ベクトル空間Ｒⁿ
の標準内積に関する、この部分ベクトル空間Ｖ（ξ⁽¹⁾,
…,ξ^(m)）の直交補空間

【００３４】

【外７】 の基底を

【００３５】

【数１３】 とする。このとき、軌道ξ⁽¹⁾,…,ξ^(m)を時間［０,
Ｔ］上で実現する相互結合型ニューラルネットφ_W（Ｗ
＝（ｗ_ij）はｎ×ｎ行列）は、

【００３６】

【数１４】 によってすべて求められる。ここに、Ｗ^*＝（ｗ_ij ^*）は
式(4)によって求められたウエイト行列であり、ａ_i1,
…,ａ_id（ｉ＝１,…,ｎ）は任意の実数である。

【００３７】本発明では、ｎ個のユニットからなる相互
結合型ニューラルネットにより表現可能なｎ次元ユーク
リッド空間Ｒⁿ上の非線形力学系ψの指定された軌道ξ
⁽¹⁾,…,ξ^(m)を時間［０,Ｔ］上で実現する相互結合型
ニューラルネットφ_Wを、ＴＤＲＢＰ学習法による特解
φ_W*の計算と、ベクトル空間

【００３８】

【外８】 の基底｛ｅ₁,…,ｅ_d｝の計算と、式(16),(17)とによっ
て、すべて発生することが可能になる。

【００３９】

【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を参照して説明する。図１は本発明の実施の一
形態のニューラルネット発生装置の構成を示すブロック
図である。

【００４０】このニューラルネット発生装置１は、ｎ次
元空間上の非線形力学系の有限個の軌道が与えられたと
きに、それらを追従するｎ個のユニットからなる相互結
合型ニューラルネットを全て生成するものであって、入
力手段１０、時系列学習手段２０、部分集合作成手段３
０、基底作成手段４０、ウエイト行列生成手段５０及び
出力手段６０とによって、構成されている。ｎ次元空間
上の非線形力学系の有限個の軌道情報は予め入力情報格
納部２に格納されているものとし、この軌道情報は入力
手段１０によって入力情報格納部２からこのニューラル
ネット発生装置１に入力される。

【００４１】時系列学習手段２０は、入力手段１０から
出力されるｎ×ｎ行列Ｗ⁽⁰⁾を初期値として入力し、ニ
ューラルネットのウエイト行列の特解であるｎ×ｎ行列
Ｗ^*を計算して出力するものであって、特解をＴＤＲＢ
Ｐ学習法によって計算するために使用するルールを格納
する学習ルールデータベース２１と、学習ルールデータ
ベース２１を参照し入力した行列Ｗ^*に基づいて特解の
算出を行う演算部２２と、演算結果を一時的に保持する
ためのバッファ領域２３とから構成されている。

【００４２】部分集合作成手段３０は、入力手段１０か
ら非線形力学系の軌道情報ξ⁽¹⁾,ξ ⁽²⁾,…,ξ^(m)を入力
して、ニューラルネットのユニット活性化関数によるこ
れら軌道情報の像であるユークリッド空間Ｒⁿの部分集
合（すなわち、ｎ次元のベクトル空間ＲⁿのｍＬ個のベ
クトルｑ₁,ｑ₂,…,ｑ_mL）を計算して出力するものであ
る。部分集合作成手段３０は、部分集合の演算のために
使用する使用するルールを格納する集合作成ルールデー
タベース３１と、集合作成ルールデータベース３１を参
照して部分集合の演算を行う演算部３２と、計算された
部分集合を一時的に保持するバッファ領域３３とから構
成されている。

【００４３】基底作成手段４０は、部分集合作成手段３
０から出力された部分集合（ベクトルｑ₁,ｑ₂,…,
ｑ_mL）を入力して、この分集合を含むベクトル空間Ｒⁿ
の最小部分ベクトル空間の直交補空間の基底｛ｅ₁,…,
ｅ_d｝を計算して出力するものである。基底作成手段４
０は、基底の算出のために使用するルールを格納した基
底作成ルールデータベース４１と、基底作成ルールデー
タベース４１を参照して基底の算出を行う演算部４２
と、算出した基底を一時的に格納するバッファ領域４２
とによって構成されている。また、基底作成手段４０か
らは、基底を構成する元の数、すなわち直交補空間の次
元ｄも出力される。

【００４４】ウェイト行列生成手段５０は、入力手段１
０を介して初期データとして与えられた任意のｎ×ｄ行
列Ａと、時系列学習手段２０から出力されたｎ×ｎ行列
Ｗ^*と、基底作成手段４０からの基底｛ｅ₁,…,ｅ_d｝及
び直交補空間の次元ｄとを入力として、ニューラルネッ
トのウェイト行列Ｗを計算して出力するものである。ウ
ェイト行列生成手段５０は、次元ｄに応じて演算を選択
するための演算制御部５１と、ウエイト行列Ｗの計算の
ために使用するルールを格納する行列生成ルールデータ
ベース５２と、行列生成ルールデータベース５２を参照
してウェイト行列Ｗの算出する演算部５３と、算出した
ウエイト行列Ｗを一時的に格納するバッファ領域５４
と、初期データとして与えられるｎ×ｄ行列Ａを一時的
に格納するためのｎ×ｄ行列格納領域５５とから構成さ
れている。

【００４５】出力手段６０は、ウエイト行列生成手段５
０によって計算されたウエイト行列Ｗを所定の出力情報
格納部３に出力するためのものである。

【００４６】このニューラルネット発生装置１は、一般
的には、計算機システムとして実現することができる。
その場合には、各ルールデータベース２１,３１,４１,
５２は計算機の補助記憶装置（ハードディスク装置な
ど）上に構築され、各演算部２２,３２,４２,５３及び
演算制御部５１は計算機のＣＰＵが受持ち、また、各バ
ッファ領域２３,３３,４３,５４及びｎ×ｄ行列格納領
域５５は計算機の主記憶（ＲＡＭなど）上に確保され
る。入力情報格納部２及び出力情報格納部３も、計算機
の補助記憶装置上に構築される。

【００４７】次に、このニューラルネット発生装置１の
動作を説明する。

【００４８】非線形力学系ψの軌道ξ⁽¹⁾,…,ξ^(m)が、
時間［０,Ｔ］において、等時間間隔Δｔ、サンプル数
Ｌで指定されたとする。すなわち、

【００４９】

【数１５】 が指定されたとする。ここで、

【００５０】

【数１６】 である。ｐ⁽¹⁾,…,ｐ^(m)をそれぞれ軌道ξ⁽¹⁾,…,ξ^(m)
の初期値とする。これらの軌道ξ⁽¹⁾,…,ξ^(m)を、時間
［０,Ｔ］上で実現する相互結合型のニューラルネット
φ_Wをすべて求める場合について説明する。ここでＷは
ｎ×ｎ行列である。

【００５１】まず、入力手段１０を介して、入力情報格
納部２から、軌道情報軌道ξ⁽¹⁾,…,ξ^(m)、ウエイト行
列Ｗの初期値として使用される行列Ｗ⁽⁰⁾及び利用者に
よって与えられた任意のｎ×ｄ行列Ａが入力する。そし
て時系列学習手段２０においてウエイト行列Ｗの特解Ｗ
^*が算出され、また、部分集合作成手段３０においてベ
クトルｑ₁,ｑ₂,…,ｑ_mLが算出される。そして、基底作
成手段４０において、ベクトルｑ₁,ｑ₂,…,ｑ_mLに基づ
き基底｛ｅ₁,…,ｅ_d｝が算出され、最後に、ウエイト行
列生成手段５０において、ｎ×ｄ行列Ａ、特解Ｗ^*、基
底｛ｅ₁,…,ｅ_d｝及び基底の元の数ｄにより、最初に指
定された軌道ξ⁽¹⁾,…,ξ^(m)を実現する全ての相互結合
型ニューラルネットφ_Wを実現するためのウエイト行列
Ｗが計算され、計算されたウエイト行列Ｗは出力手段６
０を介して出力情報格納部３に格納される。以下、各部
での処理の詳細を説明する。

【００５２】《時系列学習手段２０での処理》学習率η
（＞０）と学習時の時間幅Δｓ（＞０）を指定して、ｎ
×ｎ行列Ｗ^{(0 )}＝（ｗ_ij ⁽⁰⁾）が初期値として与えられ
る。すると時系列学習手段２０では、ニューラルネット
のウエイト行列Ｗ(ｓ)＝（ｗ_ij(ｓ)）,（ｓ＞０）を、

【００５３】

【数１７】 にしたがって変更する。ここで許容誤差ε（＞０）を指
定しておくと、式(21)によるウエイト行列Ｗ(ｓ)の変更
は、

【００５４】

【数１８】 なるｓ^*＞０に到達すれば終了する。そこで、時系列学
習手段２０は、

【００５５】

【数１９】 なるｎ×ｎ行列Ｗ^*＝（ｗ_ij ^*）をウエイト行列Ｗの特解
Ｗ^*として出力する。式(21)における

【００５６】

【外９】 は、以下のようにして計算される。

【００５７】

【数２０】 ここでｎ×１行列ｘ^(k)（(α−１)Δｔ；Ｗ(s)）,（α
＝１,…,Ｌ；ｋ＝１,…,ｍ）は、

【００５８】

【数２１】 によって順次計算される。ただし、

【００５９】

【数２２】 である。また、ｎ×１行列ｙ^(k)（(α−１)Δｔ；Ｗ
(s)）,（α＝１,…,Ｌ；ｋ＝１,…,ｍ）（式(10)参照）
は、

【００６０】

【数２３】 によって順次計算される。

【００６１】《部分集合作成手段３０での処理》部分集
合作成手段３０は、式(18)によって与えられた軌道の離
散データから、ベクトル空間ＲⁿのｍＬ個のベクトル
ｑ₁,…,ｑ_mLを次式にしたがって計算し出力する。

【００６２】

【数２４】 ここで、ｇは式(13)で定義されたＲⁿの

【００６３】

【外１０】 同型写像である。

【００６４】《基底作成手段４０の処理》部分集合作成
手段３０において求められたベクトルｑ₁,…,ｑ_mLに対
して、

【００６５】

【数２５】 とおく。基底作成手段４０は、これらｍＬ個のベクトル
ｑ₁,…,ｑ_mLを含むベクトル空間Ｒⁿの最小の部分ベクト
ル空間の直交補空間の基底｛ｅ₁,…,ｅ_d｝を計算する。
基底作成手段４０は、直交補空間の次元ｄが０である場
合には、基底を出力せず、ｄ＝０という情報だけをウエ
イト行列生成手段に送る。以下、基底｛ｅ₁,…,ｅ_d｝を
計算する具体的手続きを説明する。

【００６６】ｕ∈Ｒⁿとｎ文字の置換σに対して、

【００６７】

【外１１】 を次式で定義する：

【００６８】

【数２６】 さて、

【００６９】

【数２７】 とし、ｎ文字の置換σ₁を１とｊ₁との互換によって定義
する。また、

【００７０】

【数２８】 とし、

【００７１】

【数２９】 とする。そして、Ｒⁿ∋ｑ_i ⁽²⁾,ｑ_i ⁽³⁾,…を、次のよう
に帰納的に計算する；一般に自然数ｒに対して、

【００７２】

【数３０】 が計算されたとき、

【００７３】

【数３１】 は、次のように計算される。：まず、(ｒ＋１)×(ｒ＋
１)行列Ｑ(ｒ＋１,ｉ,ｊ)（ｉ_r＋１≦ｉ≦ｍＬ；ｒ＋１
≦ｊ≦ｎ）を、

【００７４】

【数３２】 で定義し、

【００７５】

【数３３】 とし、ｎ文字の置換σ_r+1をｒ＋１とｊ_r+1の互換によっ
て定義し、

【００７６】

【数３４】 と計算する。この操作をｒに関して順次続けて、ｒ＝
ｎであるか、ｉ_r+1が存在なくなれば、この操作を終
了する。の場合はｄ＝０を出力する。の場合は、ｄ
＝ｎ−ｒを出力するとともに、ｒ×ｎ行列Ｑ＝（ｑ_ij
^(r)）とｒ×ｒ行列Ｑ(ｒ)；

【００７７】

【数３５】 を計算し、

【００７８】

【数３６】 を計算する。ここでε₁,…ε_nは、それぞれ、

【００７９】

【数３７】 なるｎ×１行列である。また、ｎ文字の置換σ₁,…,σ_r
の合成置換σ＝σ₁…σ_nを計算し、さらに、その逆置換
σ^-1を計算する。最後に、次の計算によって、目的の基
底｛ｅ₁,…,ｅ_d｝が求められる。

【００８０】

【数３８】 《ウエイト行列生成手段５０での処理》基底作成手段４
０からｄ＝０が出力された場合には、ウエイト行列生成
手段５０は、時系列学習手段２０で求められたｎ×ｎ行
列Ｗ^*＝（ｗ_ij ^*）のみを、求めるニューラルネットのウ
エイト行列として出力する。ｄ＞０の場合には、ウエイ
ト行列生成手段５０は、利用者によって任意に与えられ
たｎ×ｄ行列Ａ＝（ａ_ij）対して、基底作成手段４０で
得られたｄ個のＲⁿ内でのベクトルｅ₁,…,ｅ_dと時系列
学習手段２０で求められた特解Ｗ^*＝（ｗ_ij ^*）を用い、
式(16),(17)にしたがって、求めるニューラルネットの
ウエイト行列Ｗ＝（ｗ_ij）を計算し、出力する。

【００８１】ｎ個のユニットからなる相互結合型ニュー
ラルネットはウエイト行列Ｗ（ｎ×ｎ行列）によって一
意決定されるので、ウエイト行列生成手段５０によっ
て、ｎ個のユニットからなり、指定された軌道（時系
列）ξ⁽¹⁾,…,ξ^(m)を実現する相互結合型ニューラルネ
ットφ_Wがすべて発生したことになる。

【００８２】

【発明の効果】以上説明したように本発明は、ｎ個のユ
ニットからなる相互結合型ニューラルネットによってモ
デル化可能なｎ次元ユークリッド空間Ｒⁿ上の非線形力
学的に対して、その軌道（時系列）のうち特に重要であ
る有限個の軌道（時系列）が指定されたとき、ｎ個のユ
ニットからなりそれら指定された軌道を実現する相互結
合型ニューラルネットをすべて発生させることが可能と
なるので、重要であるとされたそれら軌道（時系列）を
生成するモデルを獲得できるとともに、その非線形力学
系を含み、かつ、その指定された重要な軌道（時系列）
と同じ軌道（時系列）をもつ非線形力学系の族のモデル
を獲得できるという効果がある。

【図面の簡単な説明】

【図１】本発明の実施の一形態のニューラルネット発生
装置の構成を示すブロック図である。

【符号の説明】

１ ニューラルネット発生装置 ２ 入力情報格納部 ３ 出力情報格納部 １０ 入力手段 ２０ 時系列学習手段 ２１ 学習ルールデータベース ２２,３２,４２,５３ 演算部 ２３,３３,４３,５４ バッファ領域 ３０ 部分集合作成手段 ３１ 集合作成ルールデータベース ４０ 基底作成手段 ４１ 基底作成ルールデータベース ５０ ウエイト行列生成手段 ５１ 演算制御部 ５２ 行列生成ルールデータベース ５５ ｎ×ｄ行列格納領域 ６０ 出力手段

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ｎ次元空間上の非線形力学系の有限個の
   軌道が与えられたとき、ｎ個のユニットからなり前記有
   限個の軌道を追従する相互結合型ニューラルネットを全
   て生成するニューラルネット発生装置において、 ｎ×ｎ行列Ｗ⁽⁰⁾を初期値として入力し、前記相互結合
   型ニューラルネットのウエイト行列の特解であるｎ×ｎ
   行列Ｗ^*を計算して出力する時系列学習手段と、 前記有限個の軌道の軌道情報ξ⁽¹⁾,ξ⁽²⁾,…,ξ^(m)を入
   力して、前記相互結合型ニューラルネットのユニット活
   性化関数による前記軌道情報の像であるｎ次元ベクトル
   空間ＲⁿのｍＬ個のベクトルｑ₁,ｑ₂,…,ｑ_mLを計算して
   出力する部分集合作成手段と、 前記部分集合作成手段が出力するベクトルｑ₁,ｑ₂,…,
   ｑ_mLを入力してベクトル空間Ｒⁿの最小部分ベクトル空
   間の直交補空間の基底｛ｅ₁,…,ｅ_d｝を計算して出力す
   る基底作成手段と、 任意に与えられるｎ×ｄ行列Ａと、前記時系列学習手段
   が出力するｎ×ｎ行列Ｗ^*と、前記基底｛ｅ₁,…,ｅ_d｝
   を入力として、前記相互結合型ニューラルネットのウエ
   イト行列Ｗを計算するウエイト行列生成手段と、を有す
   ることを特徴とするニューラルネット発生装置。
2. 【請求項２】 前記時系列学習手段が、ＴＤＲＢＰ学習
   法によって前記特解であるｎ×ｎ行列Ｗ^*を１つ生成す
   るものである請求項１に記載のニューラルネット発生装
   置。
3. 【請求項３】 前記ウエイト行列生成手段が、前記ｎ×
   ｄ行列Ａと前記基底｛ｅ₁,…,ｅ_d｝との行列積を前記時
   系列学習手段が出力するｎ×ｎ行列Ｗ^*に加算すること
   により前記ウエイト行列Ｗを計算するものである請求項
   １または２に記載のニューラルネット発生装置。