JPH06231106A - リカレント型ニューラルネットワーク学習方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】 リカレント型ニューラルネットワークの学習
において、長い時系列データの学習の際にも安定で、し
かも高速な学習を実現する。 【構成】 ネットワークに入力する入力データとしての
時系列データとネットワーク出力の目標値である教師デ
ータとしての時系列データからなる学習データを用い、
時系列データの初期学習区間として、学習データとして
予め用意した時系列の全体の長さよりも短い時系列区間
を設定し、該設定した時系列区間の時系列データを用い
て学習を行ない、該時系列区間を用いた学習が終了した
時点で、次の学習を行なうために学習に用いる時系列区
間の長さを拡大し、拡大された時系列区間を用いて再度
学習を行ない、時系列区間の長さが、予め用意した学習
データの全体の時系列の長さになるまで、時系列区間の
長さの拡大と該拡大した時系列区間を用いた学習を繰り
返す。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、各ユニット間において
任意の結合を許すリカレント型ニューラルネットワーク
を用いて、パターン認識や予測などを行なう処理分野に
おいて、学習データを使用したネットワークの重みの学
習を行なう方法に関する。

【０００２】

【従来の技術】ニューラルネットワークとは、人間の脳
における神経回路網を簡略化したモデルであり、それは
神経細胞ニューロンが、一方向にのみ信号が通過するシ
ナプスを介して結合されているネットワークである。ニ
ューロン間の信号の伝達は、このシナプスを通して行な
われ、シナプスの抵抗、すなわち重みを適当に調整する
ことにより、様々な情報処理が可能となる。各ニューロ
ンでは、結合されている他のニューロンからの出力をシ
ナプスの重み付けをして入力し、それらの総和を非線形
応答関数の変形を加えて、再度他のニューロンへ出力す
る。ニューラルネットワークの構造の一つに、図２に示
すような多層型ネットワークがある。このタイプのネッ
トワークは層構造を持っており、層間に渡る結合のみが
許され、層内の結合や自己回帰的な結合は存在しない。
この多層型ネットワークは、空間的に広がるパターンの
認識や、情報圧縮に適していると考えられている。

【０００３】一方、図３に示すように、ネットワークの
構造にそのような制限を設けず、各ユニット間において
任意の結合を許すリカレント型ネットワークがある。厳
密に言うと、リカレント型ネットワークには層の概念は
ないが、ここでは多層型ネットワークとの対応をつける
ために、便宜的に層という概念を取り入れる。以下で
は、入力データが入力されるユニット群を入力層、ネッ
トワークの出力を出すユニット群を出力層、その他のユ
ニット群を中間層と呼ぶ。リカレント型ネットワークで
は、各ユニットの過去の出力がネットワーク内の他のユ
ニット、或いは自分自身に戻される結合がある。そのた
め、時間に依存して各ニューロンの状態が変化するダイ
ナミックスをネットワークの内部に持つ。このように、
ネットワーク内に時間を持ったシステムであるので、リ
カレント型ネットワークは時系列パターンの認識や予測
に適していると考えられている。多層型ネットワークと
リカレント型ネットワークについて、ネットワークの形
状を比較すると、前者は後者の特別な場合と見ることが
できる。本発明は、リカレント型ニューラルネットワー
クに関わる。時系列パターンの認識や予測に、リカレン
ト型ニューラルネットワークを用いる場合、ネットワー
クが正しい出力を出すように、時系列データである入力
データと、同じく時系列データである教師データが対に
なった学習データを用意し、それらを用いてネットワー
クの重みを予め学習しておく必要がある。これには通
常、バックプロパゲーション法と呼ばれる最適化手法を
用いて行なわれる。この手法に関しては、例えば、Ａ
Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｓｍ ｔｏ Ｔｅａｃ
ｈ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｐａｔｔｅｒｎｓ
ｔｏ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗ
ｏｒｋｓ， Ｂｉｏｌｏｇｉｃａｌ Ｃｙｂｅｒｎｅｔ
ｉｃｓ ６２（１９９０年）第２５９頁から第２６３頁
において論じられている。

【０００４】次式はｔ0からｔnに渡る有限時間区間にお
ける誤差（各時刻における誤差を全部加え合わせたも
の）を示すものであり、この手法の特徴は、この誤差を
小さくするように、最急降下法に基づき重みを修正する
ことである。

【０００５】

【数１】

【０００６】ここで、Ｅ（ｗ）は誤差であり、Ｙk(t)は
ユニットｋに提示される教師データであり、ｙk(t)は出
力層の出力である。但し、ｋは出力層に属するユニット
群を示す。重みの修正量を計算する際に用いられる最急
降下方向は次式で与えられる。

【０００７】

【数２】

【０００８】ここでｙi(t)、Ｐi(t)はそれぞれユニット
ｉの出力値と逆伝搬誤差である。出力値ｙi(t)は数３、
数４に従って計算される。

【０００９】

【数３】

【００１０】

【数４】

【００１１】ここで、ｘi(t)、ｘj(t)は時刻ｔにおける
ユニットｉ、ユニットｊの内部電位であり、ｙi(t)、ｙ
j(t)は内部電位を非線形変換して決められる。なお、ｘ
iはｘi(t)のことであり、ｙiはｙi(t)のことである。ま
た、τi、Ｘiはそれぞれユニットｉの時定数、外部入力
であり、ｗijはユニットｊからユニットｉへの結合の重
みである。Ｎは総ユニット数である。ｘi(t)はｔ0→ｔn
の時間の順方向に計算される。すなわち、数３でｘi(t)
を求め、求めたｘi(t)用いて数４でｙi(t)を求め、この
ｙi(t)を用いて数３で次のｘi(t)を求め、以下、これを
繰り返す。逆伝搬誤差は数５に従って計算される。

【００１２】

【数５】

【００１３】ここで、Ｙi(t)は時刻ｔにおけるユニット
ｉに対する教師データであり、δikはクロネッカーのデ
ルタ記号である。但し、ｋは出力層のユニットの番号を
表す。また、ＰiはＰi(t)のことである。数５では、出
力層に属するニューロンの逆伝搬誤差は、他のニューロ
ンからの逆伝搬誤差と重みの総和以外に、各時刻毎に出
力値の誤差が加算される形になっている。また、ｄｆ
(ｘi)／ｄｘi、（ｙi(t)−Ｙi(t)）は、ｘi(t)、ｙi(t)
が決まらないと計算できない。そこで、ｘi(t)、ｙi(t)
を時間の順方向に計算した後、時刻ｔn では逆伝搬誤差
は０であると仮定して、次式で与えられる境界条件を設
定し、逆伝搬誤差誤差をｔn→ｔ0の時間の逆方向に計算
する。

【００１４】

【数６】

【００１５】最急降下方向の計算の手順は以下のように
行なう。まず各ユニットの出力の初期値を適当に設定し
た後、数３、数４に従って各時刻の出力値を計算し、そ
の値を保存しておく。次に、数６で与えられる逆伝搬誤
差の境界条件を設定する。その後、先程計算した出力値
を用いて、数５に従って時間に逆行しながら各時刻の逆
伝搬誤差を計算し保存する。最後に、求められた各時刻
の出力値と逆伝搬誤差を用いて数２で与えられる最急降
下方向を計算する。

【００１６】バックプロパゲーション学習の処理手順の
詳細を、図４を用いて示す。まず図４内の学習データ１
０について説明する。これは、例えば図３のような２つ
の入力層ニューロンと、１つの出力層ニューロンを持つ
ネットワークに対する学習データである。学習データは
入力データと教師データからなり、それぞれ（入力層ニ
ューロン数×時系列サンプル点数）、（出力層ニューロ
ン数×時系列サンプル点数）だけのデータ数を持つ。ス
テップ２０では、適当な乱数などを用いて重みの初期値
を設定する。ステップ２２では、適当な出力の初期条件
を設定した後、数３、数４に従い入力データを用いて時
間の順方向に各ユニットの出力値を計算して、それを保
存する。ステップ２３では、まず数６の境界条件を設定
する。その後、数５に従い教師データを用いて、時間の
逆方向に各ユニットの逆伝搬誤差Ｐi(t)を計算し、それ
を保存する。ステップ２４では、ステップ２２で求めた
出力値と、ステップ２３で求めた逆伝搬誤差を用いて、
数２に従い最急降下方向を計算する。ステップ２５で
は、ステップ２４で求めた最急降下方向と、前回の重み
の修正量により次式に従って今回の重みの修正量を計算
する。

【００１７】

【数７】

【００１８】ここでηは学習係数、αはモーメント係
数、ｍは学習回数である。右辺第２項はモーメント項と
呼ばれ、学習を加速するために経験的に加える項であ
る。ステップ２６では、次式に従い各ユニットの重みを
修正する。

【００１９】

【数８】

【００２０】ステップ２１では、誤差が一定の値以下に
収束するまでステップ２２からステップ２６の処理を繰
り返す。以上が、バックプロパゲーションによる学習の
原理である。

【００２１】

【発明が解決しようとする課題】このリカレント型ニュ
ーラルネットワークの、バックプロパゲーション学習の
問題点として、学習を行なう時系列データの長さが長く
なると、学習がなかなか収束しなくなるということが挙
げられる。この問題点について詳細に説明する。リカレ
ント型ニューラルネットワークは、ネットワーク内部に
時間を持つ非線形動力学系である。重みの学習とは、こ
の非線形動力学系のパラメータを調整することに対応す
る。非線形動力学系では、パラメータを変えていくと、
ある値で系の振る舞いが突然大きく変わる分岐という現
象がある。そのため、学習係数を大きく取っていると、
この分岐現象のために、徐々に減少していた誤差が急に
大きくなる、という不安定な現象がしばしば起こる。一
方、誤差は重みに依存しているので、重みの関数と見る
ことができる。そこで、学習とは誤差を減少させるよう
に重みを調整するので、重み空間の中で誤差関数の最小
点を探索することである、と言い替えることができる。
学習を行なう時系列の長さを長くすることは、ネットワ
ーク内の各ユニットの描く軌道に、それだけ多くの拘束
を与えることになる。非線形動力学系ではパラメータを
少し変えると、先程説明した分岐現象や軌道の不安定性
のために、軌道は大きく変化することがある。そのた
め、学習を行なう時系列の長さを長くして、描く軌道に
多くの拘束を与えた場合、重みを少し変えただけでも軌
道が大きく変わるので、結果として誤差も大きく変化す
る。これは、軌道に多くの拘束を与えた場合、それだけ
重み空間の中での誤差関数の構造を複雑にすることに対
応する。この結果、学習させる時系列の長さが長くなれ
ば、誤差関数の構造が複雑になるため、多くの山や谷、
そしてローカルミニマムが存在することになり、なかな
か学習が収束しなくなる。本発明の目的は、リカレント
型ニューラルネットワークのバックプロパゲーション学
習において、長い時系列データの学習の際にも安定で、
しかも高速な学習を実現するための方法および装置を提
供することである。

【００２２】

【課題を解決するための手段】上記目的は、初めから長
い時系列データを一度に学習させるのではなく、最初は
学習データの一部である短い時系列データを用いて学習
を行ない、学習が収束する度に、少しづつ学習させる時
系列データの長さを長くしながら、学習させることで達
成される。すなわち、時系列データの初期学習区間とし
て、学習データとして予め用意した時系列の全体の長さ
よりも短い時系列区間を設定し、その設定した区間の時
系列データを用いて学習を行ない、その時系列区間を用
いた学習が終了した時点で、次の学習を行なうために学
習に用いる時系列区間の長さを、一定の長さだけ拡大
し、拡大された時系列区間を用いて再度学習を行ない、
時系列区間の長さが、予め用意した全体の学習データの
時系列の長さになるまで、時系列区間の長さの拡大とこ
の拡大された時系列区間を用いた学習を繰り返すように
している。

【００２３】

【作用】上記方法により、長い時系列データの学習の際
にも、最初はその一部の短い時系列データを用いて学習
を行なうことになる。そのため、誤差関数の構造があま
り複雑にならないので、学習が進行する。そして、最初
の時系列データの学習が終了した後、得られた重み値を
用いて、学習させる時系列の長さを一定の長さだけ長く
し、学習を再度行なう。その結果、最初の学習で用いた
時系列データの部分に関しては、既に収束しているの
で、比較的小さな重みの変更で、拡大された長さの時系
列データの学習が収束することになる。これは言い替え
ると、最初の学習で部分的な時系列データを用いて収束
させることは、全体の長さの時系列データを学習させる
前段階として、重み空間の中である程度最小点近傍まで
近付けておくことに対応する。よって、学習させる時系
列データの長さの拡大と学習を繰り返すことで、長い時
系列データの学習も可能になる。更に、学習させる時系
列の長さを長くしていく場合、それまで学習した時系列
部分に関しては既に収束しているので、学習は主として
拡大された部分の時系列について行なわれることにな
る。拡大された部分の時系列の長さを、あまり長くしな
ければ、この部分の学習にはさほど時間はかからない。
よって、短時間の学習で学習させる時系列の長さを次々
に長くできるので、最初から長い時系列を学習させるよ
り、高速に学習を行なうことが可能になる。

【００２４】

【実施例】以下、本発明の第１の実施例を、図１、図
３、図５、図６を用いて説明する。図１は実施例の処理
全体の流れを示したものであり、本発明の特徴は下線を
つけて表している。図３はリカレント型ニューラルネッ
トワークの一例を示す図である。厳密に言うとリカレン
ト型ネットワークには層の概念はないが、ここでは便宜
的に入力データが入力されるユニット群を入力層、ネッ
トワークの出力を出すユニット群を出力層、その他のユ
ニット群を中間層と呼ぶ。図５は重み学習を行なうため
の学習データ１０の詳細を示す図である。これは、例え
ば図３のような２つの入力層ニューロンと、１つの出力
層ニューロンを持つネットワークに対する学習データで
ある。学習データは入力データと教師データからなり、
それぞれ（入力層ニューロン数×時系列データサンプル
数）、（出力層ニューロン数×時系列データサンプル
数）だけのデータ数を持つ。図６は学習させる時系列デ
ータの長さの拡大、すなわち学習区間の拡大の例を示し
た図である。

【００２５】次に図１を用いて本実施例の動作を説明す
る。図においてステップ２及びステップ３が本発明の特
徴となっている。ステップ１では、学習を始めるために
適当な乱数を用いて重みの初期値を設定する。ステップ
２では、最初に学習を行なう時系列データの学習区間を
設定する。ステップ５では、適当な出力の初期値を設定
した後、入力データを用い数３、数４に従って、時間の
順方向に各ユニットの出力値を計算してそれを保存す
る。ステップ６では、まず数６の境界条件を設定する。
その後、数５に従い教師データを用いて、時間の逆方向
に各ユニットの逆伝搬誤差Ｐｉ（ｔ）を計算し、それを
保存する。ステップ７では、ステップ５で求めた出力値
と、ステップ６で求めた逆伝搬誤差を用いて、数２に従
い最急降下方向を計算する。ステップ８では、ステップ
７で求めた最急降下方向と、前回の重みの修正量によ
り、数７に従って今回の重みの修正量を計算する。数７
においてηは学習係数、αはモーメント係数、ｍは学習
回数である。右辺第２項はモーメント項と呼ばれ、学習
を加速するために経験的に加える項である。ステップ９
では、数８に従い各ユニットの重みを修正する。ステッ
プ４では、各時刻において全ての出力層に属するユニッ
トの誤差が、一定の値以下に収束するまで、ステップ５
からステップ９の処理を繰り返す。ステップ３では、学
習区間を一定の長さだけ拡大し、ステップ４で得られた
各ユニットの重みを重みの初期値として設定し、予め用
意した学習させる時系列データの長さになるまで、ステ
ップ４を繰り返す。

【００２６】さらに図６を用いてこの手法を説明する。
学習区間の初期設定として第１段階の学習区間（時間ｔ
０からｔ４１まで）を設定する。そして、その区間の時
系列データについて学習を行なう。なお、説明のため、
ｔ０〜ｔ４１、ｔ４１〜ｔ４２、ｔ４２〜ｔ４３、ｔ４
３〜ｔ４４の各時間区間を夫々区分区間１、２、３、４
と呼ぶ。第１段階の学習区間の学習が収束すると学習区
間を拡大し、第２段階の学習区間（区分区間１、２）に
ついて学習を行なう。以下同様に第３段階（区分区間
１、２、３）、第４段階（区分区間１、２、３、４）と
学習区間を拡大しながら学習を進めていく。なお、図６
では区分区間を４区間としたが、これに限られるもので
ないことはいうまでもない。この様な手法により、短い
学習区間から学習を始め、徐々に学習区間を広げていく
ので、初めから長い学習区間を学習させるより安定で高
速な学習が可能になる。例えば、次式の数９に示す非線
形振動の時系列データを用いて、学習を行なった場合、
時系列データの長さが１００サンプル点を超えた場合
は、１．２Ｍｆｌｏｐｓのワークステーションを用い
て、２時間掛けても収束しなかった。それに対し、本手
法を用いて２０サンプルづつ学習区間を拡大しながら学
習を行なった場合は、２００サンプル点を約１０分で学
習することができた。これにより学習区間は２．０倍の
拡大とを行なうことができ、更に学習時間は１２倍以上
の短縮を図ることが可能になった。

【００２７】

【数９】

【００２８】なお、リカレント型ニューラルネットワー
クの学習の手法は、時間に逆行する処理を必要とする逆
伝搬誤差を用いた本実施例のものに限るものではなく、
例えば、フォワード計算をしながら、同時に最急降下法
に基づき重みを修正していく実時間で学習できる手法、
変分原理を用いた手法、及び共役勾配法、準ニュートン
法等の非線形最適化手法を採用してもよい。最初の二つ
の手法に関しては、例えば、リカレントニューラルネッ
トワークの各学習則に関する検討および学習曲面の形
状、電子情報通信学会論文誌Ｄ−II Ｖｏｌ．ｊ７４−
Ｄ−II Ｎｏ．１２（１９９１年１２月）第１７７６頁
から第１７８７頁において論じられている。また、学習
区間の拡大の仕方も本実施例のものに限るものではな
く、例えば、拡大する回数と共に指数的に長くしてもよ
い。更に、次の学習区間に移るための学習収束の条件
は、本実施例のものに限るものでなく、現在の学習区間
から次に拡大される区間の増加分の区間に移るときのの
学習誤差が最小になる時点、すなわち、減少から増大に
転じる時点としてもよい。また、学習区間の拡大は必ず
しも時系列データの初期時刻より始める必要は無く、上
述の学習方法を用いて時系列データの任意の時点より拡
大を行なってもよい。図６では第１段階の学習区間を区
分区間１としているが、第１段階の学習区間をどの区分
区間としてもよい。例えば、第１段階の学習区間を区分
区間２とし、第２段階の学習区間を区分区間２、３（あ
るいは区分区間１、２）とし、第３段階の学習区間を区
分区間１、２、３あるいは区分区間２、３、４（第２段
階の学習区間を区分区間１、２とした場合は区分区間
１、２、３）とし、第４段階の学習区間を区分区間１、
２、３、４とするようにしてもよい。また、本実施例で
は、各時刻のネットワーク出力値を時間の順方向に計算
した後、各時間の伝搬誤差を時間の逆方向に計算する学
習方法を用いた。しかし、数３、数４、数５より時間に
ついてこれと逆の処理を行なう学習方法も可能である。
すなわち、時間の逆方向にネットワークの出力値を計算
し、時間の順方向に伝搬誤差を計算する学習も可能であ
る。この学習方法を用いて、学習区間を拡大しながら学
習を行なうようにしてもよい。加えてリカレント型ネッ
トワークのモデルは、本実施例のものに限るものでな
く、シナプスの特性が重み値だけでなく、遅延特性をも
持つモデルとしても良い。

【００２９】次に図７を用いて第２の実施例を説明す
る。図７は第２の実施例の学習装置の構成全体を示した
ブロック図であり、特に本発明の特徴を示すブロックに
は下線をつけて示している。学習データ記憶部４０は入
力データと教師データを格納している。学習区間制御部
４１は、学習を行なう時系列データの学習区間を設定
し、制御信号によりこの学習区間を学習部６０に出力す
るものである。最初に学習を行なう時系列データの学習
区間を設定し、この学習区間に対する学習が学習部６０
で行なわれ収束、終了すると、この終了信号を学習部６
０から受け、次に学習を行なう時系列データの学習区間
を設定し、制御信号によりこの学習区間を学習部６０に
出力する。重み初期化部４３が学習を始めるために適当
な乱数を用いて重みの初期値を設定する。重み値記憶部
４２は重み値を記憶するものであり、最初は前記設定し
た初期値を記憶し、以後は、各学習区間での学習が収
束、終了したときの重み値を記憶する。学習部６０は、
出力値計算部４４、逆伝搬誤差計算部４５、収束判定部
４６、最急降下方向計算部４７、重み修正量計算部４
８、重み修正部４９、出力値記憶部５０、逆伝搬誤差記
憶部５１、最急降下方向記憶部５２、重み修正量記憶部
５３を有する。

【００３０】学習区間制御部４１が出力値計算部４４、
逆伝搬誤差計算部４５、最急降下方向計算部４７に制御
信号を出し、最初に学習を行なう時系列データの学習区
間を設定すると、出力値計算部４４は適当な出力の初期
値を設定した後、学習データ記憶部４０から入力データ
を読み出し、数３、数４に従って時間の順方向に各ユニ
ットの出力値を計算し、それを出力値記憶部５０に記憶
する。逆伝搬誤差計算部４５は、まず数６の境界条件を
設定する。その後、学習データ記憶部４０から教師デー
タを読み出し、数５に従って時間の逆方向に各ユニット
の逆伝搬誤差Ｐｉ（ｔ）を計算し、それを逆伝搬誤差記
憶部５１に記憶する。そして、出力層に属するユニット
の各時刻の出力値の誤差を、収束判定部４６に送る。
最急降下法方向計算部４７は、出力値記憶部５０から出
力値を読み出し、逆伝搬誤差記憶部５１から逆伝搬誤差
を読み出す。次に最急降下法方向計算部４７は、それら
のデータを用いて数２に従い最急降下方向を計算し、そ
れを最急降下方向記憶部５２に記憶する。重み修正量計
算部４８は、最急降下方向記憶部５２から最急降下方向
データを読み出し、重み修正量記憶部５３から前回の重
み修正量を読み出す。次に重み修正量計算部４８は、そ
れらのデータを用いて数７に従い、今回の重みの修正量
を計算し、重み修正量記憶部５３に記憶する。重み修正
部４９は、重み記憶部４２から重みデータを読み出し、
重み修正量記憶部５３から重み修正量を読み出す。次
に、重み修正部４９は、数８に従い各ユニットの重みを
修正し、新しい重みデータを重み値記憶部４２に記憶す
る。収束判定部４６は、逆伝搬誤差計算部４５から送ら
れてきた各時刻の誤差を判定し、一定の値以下に収束す
るまで、設定された学習区間での学習処理を繰り返すよ
う制御する。設定された学習区間での学習が収束、終了
すると、学習区間制御部４１は終了信号を受け、出力値
計算部４４、逆伝搬誤差計算部４５、最急降下方向計算
部４７に制御信号を出し、学習区間を一定の長さだけ拡
大する。学習部６０は、新たな学習区間おける学習を実
行する。そして、予め用意した学習させる時系列データ
の長さになるまで、上記した処理を実行する。

【００３１】

【発明の効果】以上説明したように本発明によれば、長
い時系列データの学習の際にも、重み値の収束に要する
学習時間を大幅に短縮することができ、また、学習時間
を増大させることなく学習に用いる時系列データを長く
することができ、高速な学習を可能とする。

【図面の簡単な説明】

【図１】本発明の第１の実施例の処理全体を示すＰＡＤ
である。

【図２】多層型ニューラルネットワークの例を示す図で
ある。

【図３】リカレント型ニューラルネットワークの例を示
す図である。

【図４】従来のリカレント型ニューラルネットワークの
学習における処理を示すＰＡＤである。

【図５】学習データの詳細を示す図である。

【図６】学習区間拡大の例を示す図である。

【図７】本発明の第２の実施例である装置の構成全体を
示すブロック図である。

【符号の説明】

４０ 学習データ記憶部 ４１ 学習区間制御部 ４２ 重み値記憶部 ４３ 重み初期化部 ４４ 出力値計算部 ４５ 逆伝搬誤差計算部 ４６ 収束判定部 ４７ 再急降下方向計算部 ４８ 重み修正量計算部 ４９ 重み修正部 ５０ 出力値記憶部 ５１ 逆伝搬誤差記憶部 ５２ 再急降下方向記憶部 ５３ 重み修正量記憶部 ６０ 学習部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 結合されている他の基本ユニットからの
   出力を重み付けして総和し、総和した結果に非線形変換
   を施して出力する機能を具備した基本ユニットを有し、
   任意の基本ユニット間の結合を許すリカレント型ニュー
   ラルネットワークに対する、ネットワークに入力する入
   力データとしての時系列データとネットワーク出力の目
   標値である教師データとしての時系列データからなる学
   習データを用いるリカレント型ニューラルネットワーク
   学習方法において、 時系列データの初期学習区間として、学習データとして
   予め用意した時系列の全体の長さよりも短い時系列区間
   を設定するステップと、 該設定した時系列区間の時系列データを用いて学習を行
   なうステップと、 該時系列区間を用いた学習が終了した時点で、次の学習
   を行なうために学習に用いる時系列区間の長さを拡大す
   るステップと、 拡大された時系列区間を用いて再度学習を行なうステッ
   プと、 時系列区間の長さが、予め用意した学習データの全体の
   時系列の長さになるまで、時系列区間の長さの拡大と該
   拡大した時系列区間を用いた学習を繰り返すステップ
   と、を有することを特徴とするリカレント型ニューラル
   ネットワーク学習方法。
2. 【請求項２】 結合されている他の基本ユニットからの
   出力を重み付けして総和し、総和した結果に非線形変換
   を施して出力する機能を具備した基本ユニットを有し、
   任意の基本ユニット間の結合を許すリカレント型ニュー
   ラルネットワークに対する、ネットワークに入力する入
   力データとしての時系列データとネットワーク出力の目
   標値である教師データとしての時系列データからなる学
   習データを用いる最急降下法に基づくバックプロパゲー
   ション学習を行なうリカレント型ニューラルネットワー
   ク学習方法において、 時系列データの初期学習区間として、学習データとして
   予め用意した時系列の全体の長さよりも短い時系列区間
   を設定するステップと、 該設定した時系列区間の時系列データを用いて学習を行
   なうステップと、 該時系列区間を用いた学習が終了した時点で、次の学習
   を行なうために学習に用いる時系列区間の長さを拡大す
   るステップと、 拡大された時系列区間を用いて再度学習を行なうステッ
   プと、 時系列区間の長さが、予め用意した学習データの全体の
   時系列の長さになるまで、時系列区間の長さの拡大と該
   拡大した時系列区間を用いた学習を繰り返すステップ
   と、を有することを特徴とするリカレント型ニューラル
   ネットワーク学習方法。
3. 【請求項３】 結合されている他の基本ユニットからの
   出力を重み付けして総和し、総和した結果に非線形変換
   を施して出力する機能を具備した基本ユニットを有し、
   任意の基本ユニット間の結合を許すリカレント型ニュー
   ラルネットワークに対する、ネットワークに入力する入
   力データとしての時系列データとネットワーク出力の目
   標値である教師データとしての時系列データからなる学
   習データを用いる最急降下法に基づくバックプロパゲー
   ション学習を行なうリカレント型ニューラルネットワー
   ク学習方法において、 時系列データの初期学習区間として、学習データとして
   予め用意した時系列の全体の長さよりも短い時系列区間
   を設定するステップと、 該設定した時系列区間の時系列データを用いて学習を行
   なうステップと、 該時系列区間を用いた学習が終了した時点で、次の学習
   を行なうために学習に用いる時系列区間の長さを一定の
   長さだけ拡大するステップと、 拡大された時系列区間を用いて再度学習を行なうステッ
   プと、 時系列区間の長さが、予め用意した学習データの全体の
   時系列の長さになるまで、時系列区間の長さの拡大と該
   拡大した時系列区間を用いた学習を繰り返すステップ
   と、を有することを特徴とするリカレント型ニューラル
   ネットワーク学習方法。
4. 【請求項４】 請求項３記載のリカレント型ニューラル
   ネットワーク学習方法において、前記バックプロパゲー
   ション学習を逆伝搬誤差が時間に遡る処理を伴うバック
   プロパゲーション学習とすることを特徴とするリカレン
   ト型ニューラルネットワーク学習方法。
5. 【請求項５】 入力データとしての時系列データとネッ
   トワーク出力の目標値である教師データとしての時系列
   データからなる学習データを記憶する学習データ記憶部
   と、重み初期化部と、重み値記憶部、学習部を備え、前
   記重み初期化部で初期設定され前記重み値記憶部に記憶
   された重み値と、前記学習データ記憶部に記憶された学
   習データに基づき前記学習部で学習を行ない、学習の結
   果得られた重み値を前記重み値記憶部に格納するリカレ
   ント型ニューラルネットワーク学習装置において、 学習区間制御部を設け、該学習区間制御部は、時系列デ
   ータの初期学習区間として、学習データとして予め用意
   した時系列の全体の長さよりも短い時系列区間を設定し
   て前記学習部に出力し、該学習部が前記設定した時系列
   区間での学習を終了した時点で次の学習を行なうために
   学習に用いる時系列区間の長さを拡大して前記学習部に
   出力し、時系列区間の長さが予め用意した学習データの
   全体の時系列の長さになるまで、該学習部が前記学習を
   終了する度に時系列区間の長さを拡大して前記学習部に
   出力し、 前記学習部は、学習区間制御部により設定された時系列
   区間での学習を終了する度に、得られた重み値により前
   記重み記憶部に記憶された重み値を更新記憶し、次に学
   習区間制御部により設定された時系列区間での学習を、
   前記重み値記憶部に更新記憶された重み値と前記学習デ
   ータ記憶部に記憶された学習データに基づき行なうよう
   にしたことを特徴とするリカレント型ニューラルネット
   ワーク学習装置。