JP6217205B2 - デジタル−アナログ・フィッティング装置、デジタル−アナログ・フィッティング方法、及びプログラム - Google Patents

Description

本発明は、デジタル−アナログ・フィッティング装置、デジタル−アナログ・フィッティング方法、及びプログラムに関するものである。

リカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、以下ＲＮＮと省略することがある）はロボットの動作用として開発されたニューラルネットワークである。このＲＮＮは、ロボットの動作のみならず、歩数計や音声解析などの他の物理モデルに対しても有効である。

ＲＮＮはニューロンと結線とから構成される。ここで、ニューロンを整数でインデックスするとして、ｊ番目のニューロンの出力をｙ_ｊとする。さらに、ｊ番目のニューロンからｉ番目のニューロンへの結線上に定義される重み係数をＣ_ij、各ニューロンに定義される遅れパラメータをε_i 、ニューロンｙ_i に入力される加え値をｈ_i がとする。すると、ｉ番目のニューロンの出力は、ｔを時間として、

となる。上式のｙ_i をニューロンそのものと同一視する場合もある。なお、加え値ｈ_iは、このＲＮＮ回路のニューロン以外で求められた値である。加え値ｈ_iが恒等的に０である場合もある。また、上の［数１］は、連続時間ｔに対する定数係数の非同次連立微分方程式である。

一方、離散時間の線形システムが知られている。線形システムは、Ａをｎ×ｎの正方行列、離散時間ｉのときｎ次元ベクトルｙ（ｉ）を入力すると、下の［数2］のようなｙ（ｉ＋１）、

が出力されるシステムである。そしてこのｙ（ｉ＋１）は、時刻（ｉ＋１）における入力ベクトルとなる。［数２］の正方行列Ａは、一般に対角化可能と仮定される場合において、離散時間の線形システムの出力をＲＮＮ回路で解析する方法が知られている。その方法では、離散時間の線形システムの出力である離散点にフィッティングする連続曲線を求め、求められた連続曲線であるフィッティング曲線についてＲＮＮ回路で解析を行う。この場合、［数２］で表されるような線形システムの出力の離散点の全てを通るフィッティング曲線をリカレントニューラルネットワーク回路を用いて求める。そのためには、線形システムを表す［数２］から得られる定数係数の非同次連立微分方程式を用いて、ニューラルネットワーク回路が設計される。

このような目的に使用されるニューラルネットワーク設計方法として次のような方法が知られている。その方法では、まず、設計対象のＲＮＮ回路を、固有振動を出力する複数の振動系ＲＮＮ回路と、当該複数の振動系ＲＮＮ回路の出力の和を求める加算回路とを含むように構成する。そして、当該複数の振動系ＲＮＮ回路に離散時間の線形システムの出力である離散値データを入力したときの加算回路からの出力を、離散値データに対してのフィッティング曲線の出力とする。

国際公開第２００６／１０６７１３号 特開２０１０−１９３３１０号公報 国際公開第２０１０／０７３４１２号 国際公開第２００９／０７８０７１号 特開２００９−６３７６１号公報

永嶋史朗、「双線形時間遅れニューラルネットワークによるロボットソフトウェアシステム」、日本ロボット学会誌、２００６年９月、第２４巻、第６号、ｐ．５３−６４

リカレントニューラルネットワーク（ＲＮＮ）回路を用いて離散時間の線形システムの出力を解析する方法において、離散時間の線形システムを表す行列Ａが対角化可能でないような離散時間の線形システムの出力をＲＮＮ回路で解析する方法が知られていないという問題がある。

また、ＲＮＮ回路を用いて時刻ｉ＝０、１…、ｋに対するｎ次元ベクトルｙ（ｉ）の各成分のフィッティング曲線を求めるには、少なくともｋ＋１個ものニューロンが必要となる。従って、サンプル数ｋが大きくなるにつれて、必要となるニューロン数が増加してしまうという問題がある。

上述した問題に鑑み、本発明は、離散時間の線形システムを表す行列Ａが対角化可能でないような離散時間の線形システムの出力を解析することができ、離散時間の線形システムの出力であるサンプル数が多くなっても必要となるニューロンの個数の増加を抑制することができるデジタル−アナログ・フィッティング装置、デジタル−アナログ・フィッティング方法、及びプログラムに関するものである。を提供することを目的とする。

デジタル−アナログ・フィッティング装置は、行列変形部と、重み係数算出部と、トポロジー形成部と、重み設定部と、ニューラルネットワーク回路動作部を含む。行列変形部は、対角化不可能であって離散時間線形システムを表現している所定の次元の正方行列をジョルダン標準形の行列に変形する。重み係数算出部は、前記ジョルダン標準形の行列を含む前記離散時間線形システムから、少なくとも１回微分可能で、階段形状をした単調増加関数を用いることによって、定数係数連立非同次微分方程式を算出し、構成されるべきニューラルネットワークのニューロンの間の結線により伝送される前記ニューロンの状態量に与えられる重み係数および前記ニューロンの各々に加えられる加え値を算出する。トポロジー形成部は、前記定数係数連立非同次微分方程式から前記所定の次元の数に等しい個数の前記ニューロンと前記ニューロンの間の結線とによって前記ニューラルネットワークのトポロジーを形成する。重み設定部は、前記重み係数を前記ニューラルネットワークの前記トポロジーの前記結線に対して付与し、前記加え値を前記ニューロンの各々に対して付与し、前記ニューラルネットワークを構成する。ニューラルネットワーク回路動作部は、前記ニューラルネットワークを動作させ、前記離散時間線形システムの出力のフィッティング曲線を得る。

本明細書で後述する本発明は、デジタル−アナログ・フィッティング装置、フィッティング方法、及びプログラムに関するものである。本明細書で後述する本発明によれば、離散時間の線形システムを表す行列が対角化可能でないような離散時間の線形システムの出力をニューラルネットワーク回路で解析でき、離散時間の線形システムの出力であるサンプル数が多くなってもＲＮＮ回路に必要となるニューロンの個数の増加を抑制することができるので、ニューラルネットワーク回路の実行の際の計算量が削減されるという効果を奏する。

ＲＮＮ回路の一例と、このＲＮＮ回路におけるニューロンと入出力の結線との関係式を説明する図である。 図１の関係式の拡張を説明する図である。 離散時間の線形システムを説明する図である。 離散時間の線形システムの出力例を図解したグラフである。 定数係数の連立同次微分方程式によって処理が表されるＲＮＮ回路の一例である。 離散時間線形システムの出力のフィッティング曲線を求めるデジタル−アナログ・フィッティング装置の機能ブロック図の例を示す図である。 曲線ｇ_１（ｔ）の例を示す図である。 曲線ｇ_２（ｔ）の例を示す図である。 関数ａ（ｘ）のグラフを示す図である。 関数Ｄ（ｘ）のグラフを示す図である。 ｎ＝３とするときのＲＮＮ回路の例を示す図である。 ｎ＝３とするときのＲＮＮ回路の別の例を示す図である。 デジタル−アナログ・フィッティング装置のハードウェア構成例を表した図である。 フィッティング曲線算出処理の流れの例を示すフローチャートである。

図面を参照して、まず、（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、以下単にニューラルネットワークとも呼ぶ）回路を用いて離散時間の線形システムの出力をＲＮＮ回路で解析する方法の概要について説明する。

＜線形システムとニューラルネットワーク＞
図１は、リカレントニューラルネットワーク（ＲＮＮ）回路の一例と、このＲＮＮ回路におけるニューロンと入出力の結線との関係式を説明する図である。

ＲＮＮはニューロンと結線とからなるネットワークである。ここで、ｊ番目のニューロンの出力をｙ_ｊ、ｊ番目のニューロンからｉ番目のニューロンへの結線上に定義される重み係数をＣ_ijとする。すると、ｉ番目のニューロンへの入力は、

となる。各ニューロンには、遅れパラメータε_i が定義されており、ｉ番目のニューロンの出力は、ｔを時間として、

となる。上式のｙ_i をニューロンそのものと同一視する場合もある。上の［数4］の関係式を図示すると図１のようになる。

図２は、図１の関係式の拡張を説明する図である。図２に示されている例では、加え値ｇ_i がニューロンｙ_i に入力される。この場合のｉ番目のニューロンの入出力は、

となる。なお、ｇ_i は、このＲＮＮ回路のニューロン以外で求められた値である。

図３は離散時間の線形システムを説明する図である。図３において、Ａはｎ×ｎの正方行列を表す。時間ｉのときｎ次元ベクトルｙ（ｉ）を入力すると、

で表されるようなｙ（ｉ＋１）が出力される。ｙ（ｉ＋１）はまた時刻（ｉ＋１）における入力ベクトルとなる。

行列Ａはたとえば、ｍを整数として

のような行列であり得る。このとき、ｙ（ｉ）は、ｙ_１（ｉ）とｙ_２（ｉ）を成分として持つ２次元ベクトルであり、ｙ（ｉ＋１）＝Ａｙ（ｉ）は、

と表される。［数８］においてｍ＝４としたときに得られる離散時間の線形システムの出力は、図４のようになる。図４に示されているように、整数ｉで指定される時刻がｉ＝０、１、２、…、と変化するとき、２次元ベクトルｙ（ｉ）は、半径１の円の円周上を、１つの離散時間あたり、π／４だけ反時計回りに回転する。整数ｉで指定される時刻ｉ＝０、１、２、…、を、Ｔ_０、Ｔ_１、Ｔ_２、と表すこともある。したがって［数７］の行列Ａによって表現される線形システムは回転を出力するシステムである。

制御や信号処理などで使われる離散時間の線形システムの出力をＲＮＮ回路で解析するためには、まず、離散点にフィッティングする曲線を求める。たとえば、図3の例では、出力はｙ（０）、ｙ（１）、ｙ（２）、…、と離散的な点の集まりとなる。次に時刻Ｔ_０、Ｔ_１、Ｔ_２、…、において、これらの離散点ｙ（０）、ｙ（１）、ｙ（２）、…、を通る連続曲線であるフィッティング曲線を求める。このときたとえば、ＲＮＮ回路を初期値、外力の値などの所定の条件の下で動作させ、フィッティング曲線を求めても良い。そして、求められたフィッティング曲線についてＲＮＮ回路で解析を行えば良い。

前述のように［数７］の行列Ａは対角化が可能である。すなわち、ある正方行列Ｘ（とその逆行列Ｘ^−１）と、固有値λ_１、λ_２、…、が存在し、行列Ａは、

のように対角化される。線形システムの関係式［数６］に［数９］を用いると、

のようになる。［数１０］はｎ次元ベクトルｙ（ｉ＋１）と初期値ｙ（０）との関係を表す。

ここで、時間を表す離散的な数ｉを連続的な時間変数ｔに置き換えると

のようになる。また［数１1］を用いると

となる。［数１２］で、「（ｌｏｇλ）λ^ｔ又は０」とあるが、固有値λが０でないときは、（ｌｏｇλ）λ^ｔ、固有値λが０のとき０をとるという意味である。

［数１２］は定数係数の連立同次微分方程式であり、その解である［数１1］のｙ（ｔ）は連続曲線である。しかもｔ＝ｉ＋１を代入すれば、［数１０］の関係式と［数１1］の関係式は等しく、［数１1］は［数１０］の拡張となっている。すなわち、連続曲線ｙ（ｔ）はｙ（ｉ＋１）のフィッティング曲線となっていることがわかる。また［数１２］の定数係数の連立同次微分方程式は、ＲＮＮ回路によって実現が可能である。

たとえば、行列Ａとして［数７］に示されているＡを用いると、［数１２］は、

となる。

図５は、定数係数の連立同次微分方程式［数１３］によって処理が表されるＲＮＮ回路の一例である。このＲＮＮ回路１１は２個のニューロンからなり、サンプル数が大きくなってもＲＮＮ回路のニューロンは増加しない。［数１３］では、ニューロンの個数は行列Ａの次数と等しい。

以下、図面を参照しながら、離散時間の線形システムを表す行列Ａが対角化可能でないような離散時間の線形システムの出力を解析することができ、離散時間の線形システムの出力であるサンプル数が多くなっても必要となるニューロンの個数の増加を抑制することができるリカレントニューラルネットワーク回路、ならびにそのようなリカレントニューラルネットワーク回路の設計方法、及びリカレントニューラルネットワーク回路の設計プログラムについて説明する。またその一環として、離散時間線形システムの出力のフィッティング曲線を求めるＲＮＮ回路の設計装置、方法およびプログラムが提供される。

＜デジタル−アナログ・フィッティング装置とリカレントニューラルネットワーク回路＞
以下ではまず、離散時間の線形システムを表す行列Ａが対角化可能でないような離散時間の線形システムの出力を解析することができ、離散時間の線形システムの出力であるサンプル数が多くなっても必要となるニューロンの個数の増加を抑制することができるリカレントニューラルネットワーク回路を含むデジタル−アナログ・フィッティング装置について説明する。

本実施例のデジタル−アナログ・フィッティング装置では、対角化が可能ではない線形システムを扱う。行列Ａが対角化可能でない場合は、ジョルダンの標準形に変形することが出来る。また、離散時間の線形システムの出力であるサンプル数が多くなってもＲＮＮ回路に必要となるニューロンの個数の増加を抑制することができるので、ニューラルネットワーク回路の実行の際の計算量を削減することができる。

本例では、線形システムの出力のフィッティング曲線を与える連立同次微分方程式を導き、その連立同次微分方程式を実現するＲＮＮ回路を設計する。そして、ＲＮＮ回路を所定の条件の下で動作させ、フィッティング曲線を求める。

まず図6について説明する。図6は、離散時間線形システムの出力のフィッティング曲線を求めるデジタル−アナログ・フィッティング装置（以下、フィッティング装置とも呼ぶ）１００の機能ブロック図の例を示す図である。

図6に示されているように、フィッティング装置１００は、入力受付部１０２、行列変形部１０４、重み係数算出部１０６、トポロジー形成部１０８、重み設定部１１０、ＲＮＮ回路動作部（ニューラルネットワーク回路動作部）１１２、及び出力部１１４を含む。

入力受付部１０２は、外部から線形システムを表す行列Ａ、および初期値ベクトルｙ（０）の入力を受ける。本例では、行列Ａは、対角化可能であるとは限らない。

行列変形部１０４は、入力受付部１０２に入力された、対角化可能とは限らないｎ次元正方行列Ａをジョルダン標準形に変形する。つまり、行列変形部１０４は、対角化不可能であって離散時間線形システムを表現している所定の次元の正方行列をジョルダン標準形の行列に変形する。

Ａのジョルダン標準形は、Ａの最小多項式の次数と固有空間の次元に依存し、最も簡単な場合は、行列Ａが、λ≠０として、

のようなジョルダン細胞になっている場合であり、まずこの場合について説明する。

なお、そうでない場合は、行列変形部１０４は、行列Ａの最小多項式の次数と固有空間の次元に依存して、Ｐをある正則行列とし、

のようにジョルダン標準形に変形する。ここでジョルダン細胞λ_ｉは、

のように、対角成分γ_ｉを持つ。

重み係数算出部１０６は、［数１４］の関係を繰り返し用いることによって、

を得る。ここで、ｉ、ｊを整数として、(ｉ、ｊ)^Ｔ（Ｔはベクトル、行列の転置を表す）は、i個からｊ個を選択する組合せ数を意味する。また、ｉ＜ｊのとき(ｉ、ｊ)^Ｔは０とする。

次に、重み係数算出部１０６は、リカレントニューラルネットワーク（ＲＮＮ）回路のｊ番目のニューロンからｉ番目のニューロンへの結線上に定義される重み係数をｂ_ijを求める。また、重み係数算出部１０６は、各ニューロンに外力が加えられる場合は、その外力を算出する。

そのためにまず重み係数算出部１０６は、上記の少なくとも１回微分可能な階段状の単調増加関数を用意する。この関数は、
（Ｃ１）引数が整数値付近で、傾きが０である連続曲線、
という条件を満たす。

この条件を満たす関数を構成するために、ε＞０を小さな値をもつ正の数、ｉを整数、ｔを時間を表すパラメータとして、

を満たすｇ_i（ｔ）を作成すればよい。

たとえばｉ＝１のとき単調増加関数ｇ_１（ｔ）は、ｔ＝１付近でｇ_１（１）＝(１、１)^Ｔ、ｔ＝２付近でｇ_１（２）＝(２、１)^Ｔ等の整数値を取り、ｔが整数値付近でグラフが水平になるような関数である。

また、たとえばｉ＝２のとき単調増加関数ｇ_２（ｔ）は、ｔ＝１付近でｇ_２（１）＝０、ｔ＝２付近でｇ_２（２）＝(２、２)^Ｔ等の整数値を取り、ｔが整数値付近でグラフが水平になるような関数である。

［数１８］のような仮定はフィッティング曲線がきちんと線型システムの出力値を通過するために必要であり、各点での微分可能性の仮定はフィッティング曲線がＲＮＮ回路の出力として得られるために必要である。

図７は曲線ｇ_１（ｔ）の例を示す図である。また、図８は曲線ｇ_２（ｔ）の例を示す図である。このような階段の形状をした関数を作成するためには、例えば、次のような関数を用いても良い。

一例は、ｘ＝０においてａ（０）＝０であり、ｘ＝∞でａ（∞）＝１となるような関数ａ（ｘ）：

である。図９は、関数ａ（ｘ）のグラフを示す図である。この関数ａ（ｘ）は無限回微分可能である。次にａ（ｘ）を使って
ｘ＝ａ_１でＤ（ａ_１）＝０、ｘ＝ａ_２でＤ（ａ_２）＝ｂとなるような関数Ｄ（ｘ）：

を求める。図１０は、関数Ｄ（ｘ）のグラフを示す図である。この関数Ｄ（ｘ）は無限回微分可能である。よって、この関数Ｄ（ｘ）を用いて単調増加関数ｇ_ｉ（ｔ）を構成した場合には、単調増加関数ｇ_ｉ（ｔ）は無限回微分可能となる。もちろん、［数１８］を満たす単調増加関数ｇ_ｉ（ｔ）の構成に用いることができる関数は上の例に限らない。

これらの単調増加関数ｇ_ｉ（ｔ）（ｉ＝１、２、３、…、ｎ）を用いて［数１７］に現われる整数ｉをパラメータとする行列：

を、

のように連続変数ｔをパラメータとする行列に書き換える。ここで、［数２２］の行列Λ（ｔ）は、単調増加関数ｇ_ｉ（ｔ）（ｉ＝１、２、３、…、ｎ）の性質を反映して、少なくとも１階微分可能である。

このとき、［数２２］の行列Λ（ｔ）は、パラメータｔが整数値ｉのとき、

を満足する。上記行列Λ（ｔ）を用いると、整数ｉをパラメータとする式：

を連続変数ｔをパラメータとする式；

に拡張することができる。

［数２５］ように定義された関数ｙ_１（ｔ）、…、ｙ_ｎ（ｔ）が、［数１４］のフィッティング曲線になる。

次に重み係数算出部１０６は、関数ｙ_１（ｔ）、…、ｙ_ｎ（ｔ）を出力するＲＮＮ回路を作成するための重み係数ｂ_ｉｊを算出する。そのために、［数２5］を微分方程式に書き換える。つまり、重み係数算出部１０６は、ジョルダン標準形の行列を含む前記離散時間線形システムから、少なくとも１回微分可能で、階段形状をした単調増加関数を用いることによって、定数係数連立非同次微分方程式を算出し、構成されるべきニューラルネットワークのニューロンの間の結線により伝送される前記ニューロンの状態量に与えられる重み係数およびニューロンの各々に加えられる加え値を算出する。

ここで下記［数２６］のような行列Ｇ（ｔ）：

を導入する。また、

で定義される関数ｈ_１（ｔ）、…、ｈ_ｎ（ｔ）を導入する。

すると、［数２５］の微分は、

となる。［数２８］は定数係数の連立微分方程式であり、図１、２に表したＲＮＮ回路と関係式との関係を用いることで、この連立微分方程式をＲＮＮ回路によって実現することができる。

よって、重み係数算出部１０６は、重み係数ｂ_ｉｊを、

と決定する。

また、重み係数算出部１０６は、各ニューロンに加えられる外力はｈ_ｉであることを決定する。

次に、行列Ａが対角化可能でなく、ジョルダン細胞になっていない場合について説明する。

この場合、重み係数算出部１０６は、［数１５］、［数１６］のジョルダン標準形から出発する。ジョルダン細胞λ_ｉは対角成分γ_ｉを持つ。

このとき、［数１４］は、

となる。この関係式を繰り返し用いて、

を得る。ここで行列Λ_ｉ（ｔ）は、［数２2］の行列Λ（ｔ）に添え字を増やしただけの、ストレートフォワードな拡張である。

ここで重み係数算出部１０６は、上述と同様、離散的なパラメータである整数ｉから連続変数のパラメータｔに［数３１］の関係式を拡張する。すると、重み係数算出部１０６は、

を得る。ここで行列Λ_ｉ（ｔ）は、［数２2］の行列Λ（ｔ）に添え字を増やしただけの、ストレートフォワードな拡張であるので、［数３２］の右辺に現われる正方行列は、非対角成分を含むことに注意する。次に、［数３２］を微分方程式に書き換える。まず、［数３２］の両辺をパラメータｔで微分する。すると、

となる。ここで、関数ｈ_１（ｔ）、…、ｈ_ｎ（ｔ）は、

によって定義される。［数３３］は定数係数の連立微分方程式であり、図１、２に表したＲＮＮ回路と関係式との関係を用いることで、この連立微分方程式をＲＮＮ回路によって実現することができる。

重み係数算出部１０６は、［数３３］から、重み係数ｂ_ｉｊを、

によって定義する。

トポロジー形成部１０８は、重み係数算出部１０６で算出された定数係数の連立同次微分方程式、たとえば［数２８］、［数３３］からＲＮＮ回路のトポロジーを決定する。つまり、トポロジー形成部１０８は、定数係数連立非同次微分方程式から所定の次元の数に等しい個数のニューロンと前記ニューロンの間の結線とによってニューラルネットワークのトポロジーを形成する。

トポロジー形成部１０８は、行列Ａの次数に応じたＲＮＮ回路を形成する。例えば、行列Ａが２次の正方行列である場合には、トポロジー形成部１０８は、２個のニューロンを組み合わせてＲＮＮ回路を形成する。また、例えば、行列Ａが３次の正方行列である場合には、トポロジー形成部１０８は、３個のニューロンを組み合わせてＲＮＮ回路を形成する。

重み設定部１１０は、リカレントニューラルネットワーク（ＲＮＮ）回路のｊ番目のニューロンからｉ番目のニューロンへの結線上に定義される重み係数をｂ_ijと、各ニューロンに外力が加えられる場合は、その外力をＲＮＮ回路に設定する。つまり、重み設定部１１０は、重み係数をニューラルネットワークの前記トポロジーの前記結線に対して付与し、加え値をニューロンの各々に対して付与し、ニューラルネットワークを構成する。

図１１は、ｎ＝３とするときのＲＮＮ回路１２を示す図である。図１１のＲＮＮ回路の出力は［数２5］を満たし、［数１４］のフィッティング曲線になる。

図１２は、ｎ＝３とするときのＲＮＮ回路１３を示す図である。図１２のＲＮＮ回路の出力は［数３２］を満たし、［数３０］のフィッティング曲線になる。

連立非同次微分方程式に対応するＲＮＮ回路は次のような規則によって設計され得る。すなわち、
（Ｒ１）トポロジー形成部１０８は、行列Ａの次数に等しい数のニューロンを用意し、その状態がｙ_ｉ（ｔ）を与えるニューロンをｉ番目のニューロンとする、
（Ｒ２）トポロジー形成部１０８は、整数ｉとｊが等しくなく、行列Ｂの要素ｂ_ｉｊが非零である場合、ｉ番目のニューロンとｊ番目のニューロンを結線で接続する、
（Ｒ３）トポロジー形成部１０８は、ｉ番目のニューロンとｉ番目のニューロンをループ状の結線で接続する、
（Ｒ４）重み設定部１１０は、整数ｉとｊが等しくないとき、ｉ番目のニューロンとｊ番目のニューロンを接続する結線上に、重み係数ｂ_ｉｊを付与する、
（Ｒ５）重み設定部１１０は、各ニューロンが積分器として機能するときの倍数は、（ｄｙ_i／ｄｔ）の係数である「１」を与える、
（Ｒ６）重み設定部１１０は、ｉ番目のニューロンとｉ番目のニューロンを接続するループ状の結線上に、重み係数（ｂ_ｉｉ＋１）を付与する、
（Ｒ７）重み設定部１１０は、ｉ番目のニューロンに加え値ｈ_ｉが追加されるようにする、
という規則である。

上記規則（Ｒ５）は、次のような理由から得られる。図２に示されているニューロンの入出力結線に対応する微分方程式：

と、［数３３］の出力ｙ_iに対する方程式：

を比較すると、［数３７］の左辺の第２項（＋ｙ_ｉ）が存在することに気が付く。この項を消すためには、右辺に（＋ｙ_ｉ）を追加すればよい。これは、図２では、ループ状の結線の接続を追加することに相当する。このように、図１１、１２のｉ番目のニューロンに接続されるループ状の結線に対する重み係数は（ｂ_ｉｉ＋１）となっている。

また、［数３６］の１階微分の項の係数ε_ｉは、ｉ番目のニューロンが積分器として機能するときの倍数に相当する。今の場合、ε_ｉ＝１であるので、図１１、１２のｉ番目のニューロンは１倍の積分器として機能する。

このように、対角化不可能であって離散時間線形システムを表現している所定の次元の正方行列の要素を用いて導出される定数係数連立非同次微分方程式によって動作が表されるニューラルネットワーク回路であって、所定の次元の数に等しい個数のニューロンと、ニューロンの間の結線とを含み、対角化不可能であって離散時間線形システムを表現している所定の次元の正方行列の要素を用いて導出される定数係数連立非同次微分方程式から、所定の次元の数に等しい個数のニューロンの間の結線により伝送されるニューロンの状態量に与えられる重み係数ｂ_ｉｊおよび前記ニューロンの各々に加えられる加え値ｈ_ｉが算出されるニューラルネットワーク回路が提供される。

ＲＮＮ回路動作部１１２は、構成されたＲＮＮ回路に初期値を与え、時系列データｙ_１（ｔ）、ｙ_２（ｔ）、ｙ_３（ｔ）、…、を得る。ＲＮＮ回路動作部１１２は、ニューラルネットワーク回路動作部とも呼ばれることがある。このように、ＲＮＮ回路動作部（ニューラルネットワーク回路動作部）１１２は、ニューラルネットワークを動作させ、離散時間線形システムの出力のフィッティング曲線を得る。

出力部１１４は、ＲＮＮ回路動作部１１２で得た時系列データｙ_１（ｔ）、ｙ_２（ｔ）、ｙ_３（ｔ）、…、を出力する。

このような構成によって、離散時間の線形システムを表す行列Ａが対角化可能でないような離散時間の線形システムの出力をＲＮＮ回路で解析でき、離散時間の線形システムの出力であるサンプル数が多くなってもＲＮＮ回路に必要となるニューロンの個数の増加を抑制することができる。また、それによって、計算量の削減が実現できる。

また、上記の装置によって構成されるリカレントニューラルネットワーク回路は、離散時間の線形システムを表す行列Ａが対角化可能でないような離散時間の線形システムの出力を解析することができ、離散時間の線形システムの出力であるサンプル数が多くなってもＲＮＮ回路に必要となるニューロンの個数の増加を抑制することができる。

図6において、フィッティング装置１００は、汎用のコンピュータ２００として構成され得る。このコンピュータ２００に、入力データ１として、離散時間線形システムを表している行列Ａと、この離散時間線形システムへの入力ベクトルの初期値ｙ（０）とを入力してコンピュータ２００内のメモリに記憶させる。ここで、コンピュータ２００に対して所定の実行指示を与えると、コンピュータ２００のＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ、中央演算装置）は、この離散時間線形システムの出力のフィッティング曲線を算出するための制御処理を実行する。ＣＰＵ２０２は、この制御処理の実行結果として得られる、離散時間線形システムの出力のフィッティング曲線を表しているデータを、メモリに記憶させる。このメモリに記憶されたデータは、その後、出力データ２としてコンピュータ２００から出力される。

図１３は、デジタル−アナログ・フィッティング装置のハードウェア構成例を表した図である。

このコンピュータ２００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）２０２、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）２０４、及びＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２０６、ハードディスク装置２０８、入力装置２１０、表示装置２１２、インタフェース装置２１４、及び記録媒体駆動装置２１６を備えている。なお、これらの構成要素はバスライン２１８を介して接続されており、ＣＰＵ２０２の管理の下で各種のデータを相互に授受することができる。

ＣＰＵ２０２は、このコンピュータ２００全体の動作を制御する演算処理装置であり、コンピュータ２００の制御処理部として機能する。

ＲＯＭ２０４は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＣＰＵ２０２は、この基本制御プログラムをコンピュータ２００の起動時に読み出して実行することにより、このコンピュータ２００の各構成要素の動作制御が可能になる。

ＲＡＭ２０６は、ＣＰＵ２００が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。

ハードディスク装置２０８は、ＣＰＵ２０２によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＣＰＵ２０２は、ハードディスク装２６に記憶されている所定の制御プログラムを読み出して実行することにより、後述する各種の制御処理を行えるようになる。

入力装置２１０は、例えばマウス装置やキーボード装置であり、情報処理装置のユーザにより操作されると、その操作内容に対応付けられている各種情報の入力を取得し、取得した入力情報をＣＰＵ２０２に送付する。

表示装置２１２は例えば液晶ディスプレイであり、ＣＰＵ２０２から送付される表示データに応じて各種のテキストや画像を表示する。

インタフェース装置２１４は、このコンピュータ２００に接続される各種機器との間での各種情報の授受の管理を行う。

記録媒体駆動装置２１６は、可搬型記録媒体２２０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＣＰＵ２０２は、可搬型記録媒体２２０に記録されている所定の制御プログラムを、記録媒体駆動装置２１６を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体２２０としては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格のコネクタが備えられているフラッシュメモリ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などがある。

離散時間線形システムの出力のフィッティング曲線の算出をこのようなコンピュータ２００に行わせるには、例えば、後述する制御処理をＣＰＵ２０２に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置２０８若しくは可搬型記録媒体２２０に予め格納しておく。そして、ＣＰＵ２０２に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、離散時間線形システムの出力のフィッティング曲線の算出をコンピュータ２００が行えるようになる。

＜フィッティング曲線の算出処理＞
図１４を参照しながら、実施例のデジタル−アナログ・フィッティング装置１００におけるフィッティング曲線の算出処理について説明する。

また、フィッティング装置１００が図１３に示されているような汎用コンピュータ２００である場合には、下記の説明は、そのような処理を行う制御プログラムを定義する。すなわち、以下では、下記に説明する処理を汎用コンピュータに行わせる制御プログラムの説明でもある。

図１４は、フィッティング曲線算出処理の流れの例を示すフローチャートである。
図１４の処理が開始されると、まず、Ｓ１０１で入力受付部１０２は、非対角化可能ではない行列Ａと、この線形システムの初期状態を表している初期値（ｙ_１（０）、…、ｙ_ｎ（０））と、図７、８に示されている曲線ｇ_ｉ（ｔ）に関する情報との入力を取得する。行列Ａは、ｎを２以上の整数として、ｎ次元正方行列でｎ次元正方行列である。また、行列Ａは離散時間線形システムを定義する。線形システムの初期値、および曲線ｇ_ｉ（ｔ）に関する情報は入力データ１と参照される。

次に、Ｓ１０２で行列変形部１０４は、非対角化可能ではない行列Ａをジョルダン標準形に変形する。行列Ａをジョルダン標準形に変形する手法は様々なものが知られており、そのいずれの手法を採用してもよい。

また、本ステップで算出された固有値λ₁、…、λ_nは、固有値の対数値ｌｏｇλ₁、…、ｌｏｇλ_nを得るために用いられる。なお、本実施形態では、行列Ａの固有値はゼロでないと仮定されているが、行列Ａの固有値に値がゼロが含まれている場合に行列変形部１０４は、その固有値についての対数値の算出結果をゼロとする処理を行ってもよい。

次に、Ｓ１０３で重み係数算出部１０６は、Ｓ１０２において得られた行列Ａの固有値の対数値ｌｏｇγ₁、…、ｌｏｇγ_nおよび曲線ｇ_ｉ（ｔ）を用いて、各ニューロンの状態量に与える重み係数ｂ_ｉｊを算出する。重み係数ｂ_ｉｊは、たとえば、上の［数３２］に従って算出され得る。さらに重み係数算出部１０６は本ステップにおいて、行列Ａの固有値λ₁、…、λ_nと、曲線ｇ_ｉ(ｔ)（の微分）を用いて、加え値ｈ_ｉを算出する。加え値ｈ_ｉは、上の［数３４］に従って算出され得る。

次に、Ｓ１０４でトポロジー形成部１０８は、定数係数の連立非同次微分方程式によって処理が表されるＲＮＮ回路のトポロジーを形成する処理を行う。「トポロジー」とは、行列Ａの次数に応じたニューロンの数と、それらのニューロン間の結線の仕方を意味してもよい。たとえば、行列Ａがｎ次元正方行列であれば、ニューロンの数はｎ個であり得る。たとえば、［数３１］を出力する定数係数の連立非同次微分方程式において、出力ｙ_ｉ（ｔ）に対応するニューロンをｉ番目のニューロンとする。また、Ｓ１０３の処理で算出された重み係数ｂ_ｉｊが非零であれば、ｉ番目のニューロンとｊ番目のニューロン間には結線が存在し得る。ここで、重み係数ｂ_ｉｉのように、同一のニューロンを参照するような重み係数も許容される。この場合、ｉ番目のニューロンから出てｉ番目のニューロンに入るような結線が存在する。このように、ニューロンとニューロン間の結線によってＲＮＮ回路のトポロジーが形成される。このように、上記規則（Ｒ１）〜（Ｒ３）に従ってＲＮＮ回路のトポロジーを形成する。

次に、Ｓ１０５で重み設定部１１０は、Ｓ１０４の処理により形成されたトポロジーを有する回路に、上記規則（Ｒ４）〜（Ｒ５）に従って、各ニューロンが積分器として機能するときの倍数、ｉ番目のニューロンとｊ番目のニューロンを結ぶ結線に付与される重み係数、ｉ番目のニューロンに印加される加え値を与え、ＲＮＮ回路を形成する。例えば、［数３３］の微分方程式に対するＲＮＮ回路として図１２に示されているＲＮＮ回路４０が形成される。

以上、Ｓ１０１からＳ１０５までの処理によって、離散時間線形システムの出力のフィッティング曲線を出力することができるＲＮＮ回路の設計が完了する。

次に、Ｓ１０６でＲＮＮ回路動作部１１２は、Ｓ１０１からＳ１０５までの処理によって設計されたＲＮＮ回路に、Ｓ１０１において取得した線形システムの初期状態を表している初期値（ｙ_１（０）、…、ｙ_ｎ（０））を与えて、ＲＮＮ回路を動作させる処理を行う。このようにしてＲＮＮ回路を動作させることにより、行列Ａによって表されている離散時間線形システムの出力についてのフィッティング曲線が、ＲＮＮ回路の出力として得られる。

次に、Ｓ１０７で出力部１１４は、動作させたＲＮＮ回路からの出力を、フィッティング曲線の算出結果として出力する処理を行い、その後はこのフィッティング曲線算出処理が終了する。

このような処理によって、離散時間の線形システムを表す行列Ａが対角化可能でないような離散時間の線形システムの出力をＲＮＮ回路で解析でき、離散時間の線形システムの出力であるサンプル数が多くなってもＲＮＮ回路に必要となるニューロンの個数の増加を抑制することができる。また、それによって、計算量の削減が実現できる。

また、上記の処理によって、離散時間の線形システムを表す行列Ａが対角化可能でないような離散時間の線形システムの出力を解析することができ、離散時間の線形システムの出力であるサンプル数が多くなってもＲＮＮ回路に必要となるニューロンの個数の増加を抑制することができるリカレントニューラルネットワーク回路の設計方法およびプログラムを提供することができる。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
対角化不可能であって離散時間線形システムを表現している所定の次元の正方行列をジョルダン標準形の行列に変形する行列変形部と、
前記ジョルダン標準形の行列を含む前記離散時間線形システムから、少なくとも１回微分可能で、階段形状をした単調増加関数を用いることによって、定数係数連立非同次微分方程式を算出し、構成されるべきニューラルネットワークのニューロンの間の結線により伝送される前記ニューロンの状態量に与えられる重み係数および前記ニューロンの各々に加えられる加え値を算出する重み係数算出部と、
前記定数係数連立非同次微分方程式から前記所定の次元の数に等しい個数の前記ニューロンと前記ニューロンの間の結線とによって前記ニューラルネットワークのトポロジーを形成するトポロジー形成部と、
前記重み係数を前記ニューラルネットワークの前記トポロジーの前記結線に対して付与し、前記加え値を前記ニューロンの各々に対して付与し、前記ニューラルネットワークを構成する重み設定部と、
前記ニューラルネットワークを動作させ、前記離散時間線形システムの出力のフィッティング曲線を得るニューラルネットワーク回路動作部と、
を含むデジタル−アナログ・フィッティング装置。
（付記２）
前記重み係数算出部は、前記重み係数を、前記ジョルダン標準形のジョルダン細胞と前記ジョルダン細胞の対角成分を用いて表現することを特徴とする付記１に記載のデジタル−アナログ・フィッティング装置。
（付記３）
前記重み係数算出部は、前記加え値を、前記単調増加関数と、前記ジョルダン細胞の前記対角成分を用いて表現することを特徴とする付記１または２に記載のデジタル−アナログ・フィッティング装置。
（付記４）
前記重み係数算出部は、前記単調増加関数を、

を用いて構成する付記１乃至３のいずれか一項に記載のフィッティング装置。
（付記５）
前記重み係数算出部は、前記単調増加関数を、ｘ＝ａ_１でＤ（ａ_１）＝０、ｘ＝ａ_２でＤ（ａ_２）＝１となるような関数Ｄ（ｘ）：

を用いて構成する付記１乃至３のいずれか一項に記載のデジタル−アナログ・フィッティング装置。
（付記６）
コンピュータ（２００）によって処理されるデジタル−アナログ・フィッティング方法であって、
対角化不可能であって離散時間線形システムを表現している所定の次元の正方行列をジョルダンン標準形の行列に変形することと、
前記ジョルダン標準形の行列を含む前記離散時間線形システムから、少なくとも１回微分可能で、階段形状をした単調増加関数を用いることによって、定数係数連立非同次微分方程式を算出し、構成されるべきニューラルネットワークのニューロンの間の結線により伝送される前記ニューロンの状態量に与えられる重み係数および前記ニューロンの各々に加えられる加え値を算出することと、
前記定数係数連立非同次微分方程式から前記所定の次元の数に等しい個数の前記ニューロンと前記ニューロンの間の結線とによって前記ニューラルネットワークのトポロジーを形成することと、
前記重み係数を前記ニューラルネットワークの前記トポロジーの前記結線に対して付与し、前記加え値を前記ニューロンの各々に対して付与し、前記ニューラルネットワークを構成することと、
前記ニューラルネットワークを動作させ、前記離散時間線形システムの出力のフィッティング曲線を得ることと、
を含むデジタル−アナログ・フィッティング方法。
（付記７）
前記重み係数を算出することは、前記重み係数を、前記ジョルダン標準形のジョルダン細胞と前記ジョルダン細胞の対角成分を用いて表現することを含むこと特徴とする付記６に記載のデジタル−アナログ・フィッティング方法。
（付記８）
前記加え値を算出することは、前記加え値を、前記単調増加関数と、前記ジョルダン細胞の前記対角成分を用いて表現することを含むことを特徴とする付記１または２に記載のデジタル−アナログ・フィッティング方法。
（付記９）
前記重み係数および前記加え値を算出することは、前記単調増加関数を、

を用いて構成することを含む付記６乃至８のいずれか一項に記載のデジタル−アナログ・フィッティング方法。
（付記１０）
前記重み係数および前記加え値を算出することは、前記単調増加関数を、ｘ＝ａ_１でＤ（ａ_１）＝０、ｘ＝ａ_２でＤ（ａ_２）＝１となるような関数Ｄ（ｘ）：

を用いて構成することを含む付記６乃至８のいずれか一項に記載のデジタル−アナログ・フィッティング方法。
（付記１１）
対角化不可能であって離散時間線形システムを表現している所定の次元の正方行列をジョルダンン標準形の行列に変形させ、
前記ジョルダン標準形の行列を含む前記離散時間線形システムから、少なくとも１回微分可能で、階段形状をした単調増加関数を用いることによって、定数係数連立非同次微分方程式を算出し、構成されるべきニューラルネットワークのニューロンの間の結線により伝送される前記ニューロンの状態量に与えられる重み係数および前記ニューロンの各々に加えられる加え値を算出させ、
前記定数係数連立非同次微分方程式から前記所定の次元の数に等しい個数の前記ニューロンと前記ニューロンの間の結線とによって前記ニューラルネットワークのトポロジーを形成させ、
前記重み係数を前記ニューラルネットワークの前記トポロジーの前記結線に対して付与し、前記加え値を前記ニューロンの各々に対して付与し、前記ニューラルネットワークを構成することと、
前記ニューラルネットワークを動作させ、前記離散時間線形システムの出力のフィッティング曲線を得る、
処理をコンピュータに実行させることを特徴とするプログラム。
（付記１２）
前記重み係数を算出させることは、前記重み係数を、前記ジョルダン標準形のジョルダン細胞と前記ジョルダン細胞の対角成分を用いて表現させる処理をコンピュータに実行させることを含むこと特徴とする付記１１に記載のプログラム。
（付記１３）
前記加え値を算出させることは、前記加え値を、前記単調増加関数と、前記ジョルダン細胞の前記対角成分を用いて表現させる処理をコンピュータに実行させることを含むこと特徴とする付記１１または１２に記載のプログラム。
（付記１４）
前記重み係数および前記加え値を算出させることは、前記単調増加関数を、

を用いて構成させる処理をコンピュータに実行させることを含む特徴とする付記１１乃至１３のいずれか一項に記載のプログラム。
（付記１５）
前記重み係数および前記加え値を算出することは、前記単調増加関数を、ｘ＝ａ_１でＤ（ａ_１）＝０、ｘ＝ａ_２でＤ（ａ_２）＝１となるような関数Ｄ（ｘ）：

を用いて構成させる処理をコンピュータに実行させることを含む特徴とする付記１１乃至１３のいずれか一項に記載のプログラム。

１００ デジタル−アナログ・フィッティング装置
１０２ 入力受付部
１０４ 行列変形部
１０６ 重み係数算出部
１０８ トポロジー形成部
１１０ 重み設定部
１１２ ＲＮＮ回路動作部
１１４ 出力部

Claims (7)

1. 対角化不可能であって離散時間線形システムを表現している所定の次元の正方行列をジョルダン標準形の行列に変形する行列変形部と、
   前記ジョルダン標準形の行列を含む前記離散時間線形システムから、少なくとも１回微分可能で、階段形状をした単調増加関数を用いることによって、定数係数連立非同次微分方程式を算出し、構成されるべきニューラルネットワークのニューロンの間の結線により伝送される前記ニューロンの状態量に与えられる重み係数および前記ニューロンの各々に加えられる加え値を算出する重み係数算出部と、
   前記定数係数連立非同次微分方程式から前記所定の次元の数に等しい個数の前記ニューロンと前記ニューロンの間の結線とによって前記ニューラルネットワークのトポロジーを形成するトポロジー形成部と、
   前記重み係数を前記ニューラルネットワークの前記トポロジーの前記結線に対して付与し、前記加え値を前記ニューロンの各々に対して付与し、前記ニューラルネットワークを構成する重み設定部と、
   前記ニューラルネットワークを動作させ、前記離散時間線形システムの出力のフィッティング曲線を得るニューラルネットワーク回路動作部と、
   を含むデジタル−アナログ・フィッティング装置。
2. 前記重み係数算出部は、前記重み係数を、前記ジョルダン標準形のジョルダン細胞と前記ジョルダン細胞の対角成分を用いて表現することを特徴とする請求項１に記載のデジタル−アナログ・フィッティング装置。
3. 前記重み係数算出部は、前記加え値を、前記単調増加関数と、前記ジョルダン標準形のジョルダン細胞の対角成分を用いて表現することを特徴とする請求項１または２に記載のデジタル−アナログ・フィッティング装置。
4. 前記重み係数算出部は、前記単調増加関数を、
   

   

   を用いて構成する請求項１乃至３のいずれか一項に記載のフィッティング装置。
5. 前記重み係数算出部は、前記単調増加関数を、ｘ＝ａ_１でＤ（ａ_１）＝０、ｘ＝ａ_２でＤ（ａ_２）＝１となるような関数Ｄ（ｘ）：
   

   

   を用いて構成する請求項１乃至３のいずれか一項に記載のデジタル−アナログ・フィッティング装置。
6. コンピュータによって処理されるデジタル−アナログ・フィッティング方法であって、
   対角化不可能であって離散時間線形システムを表現している所定の次元の正方行列をジョルダン標準形の行列に変形することと、
   前記ジョルダン標準形の行列を含む前記離散時間線形システムから、少なくとも１回微分可能で、階段形状をした単調増加関数を用いることによって、定数係数連立非同次微分方程式を算出し、構成されるべきニューラルネットワークのニューロンの間の結線により伝送される前記ニューロンの状態量に与えられる重み係数および前記ニューロンの各々に加えられる加え値を算出することと、
   前記定数係数連立非同次微分方程式から前記所定の次元の数に等しい個数の前記ニューロンと前記ニューロンの間の結線とによって前記ニューラルネットワークのトポロジーを形成することと、
   前記重み係数を前記ニューラルネットワークの前記トポロジーの前記結線に対して付与し、前記加え値を前記ニューロンの各々に対して付与し、前記ニューラルネットワークを構成することと、
   前記ニューラルネットワークを動作させ、前記離散時間線形システムの出力のフィッティング曲線を得ることと、
   を含むデジタル−アナログ・フィッティング方法。
7. 対角化不可能であって離散時間線形システムを表現している所定の次元の正方行列をジョルダン標準形の行列に変形させ、
   前記ジョルダン標準形の行列を含む前記離散時間線形システムから、少なくとも１回微分可能で、階段形状をした単調増加関数を用いることによって、定数係数連立非同次微分方程式を算出し、構成されるべきニューラルネットワークのニューロンの間の結線により伝送される前記ニューロンの状態量に与えられる重み係数および前記ニューロンの各々に加えられる加え値を算出させ、
   前記定数係数連立非同次微分方程式から前記所定の次元の数に等しい個数の前記ニューロンと前記ニューロンの間の結線とによって前記ニューラルネットワークのトポロジーを形成させ、
   前記重み係数を前記ニューラルネットワークの前記トポロジーの前記結線に対して付与し、前記加え値を前記ニューロンの各々に対して付与し、前記ニューラルネットワークを構成することと、
   前記ニューラルネットワークを動作させ、前記離散時間線形システムの出力のフィッティング曲線を得る、
   処理をコンピュータに実行させることを特徴とするプログラム。

Images