JPH06301663A - 直列結合型リカレントニューラルネットワークの学習方式 - Google Patents

Abstract

(57)【要約】 【目的】 誤差逆伝搬法（ＢＰ法）による学習を能力高
く行い得ると共に、本来の能力を充分に発揮し得る直列
結合型ＲＮＮの学習方式を提供するものである。 【構成】 完全結合型ＲＮＮの状態方程式に基づくＢＰ
法による学習アルゴリズムを直列結合型ＲＮＮに導入す
る。先ず初期状態では出力ニューロ４の活性初期値を教
師信号とし、進行状態では結合係数の更新を要して出力
ニューロ４の出力値と該教師信号の入力値との間の適性
誤差値を所定の評価関数に従って求める。次に、この適
正誤差値を出力ニューロ４を除く他のニューロ１、２、
３にデータアクセス端子Ｐより外部入力として付与す
る。誤差値が小さい場合の外部入力は、直列型ＲＮＮ本
来の能力に影響しないため、学習能力の向上が図られ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のニューロを直列
に結合した直列結合型リカレントニューラルネットワー
ク（以下、直列結合型ＲＮＮと称する）の学習方式に関
し、詳しくは誤差逆伝搬法を用いた直列結合型ＲＮＮの
学習方式に関する。

【０００２】

【従来の技術】従来、リカレントニューラルネットワー
ク（ＲＮＮ）のネットワークを構成している各ユニット
間は、図４に示す如くランダムに結合されている。これ
は各ユニットが動的な非線形ユニットで構成されている
からで、その動作は以下に示す微分方程式（状態方程式
／数１、数２）で表わされる所定の時系列パターンを成
している。

【０００３】

【数１】

【０００４】

【数２】

【０００５】但し、ここでｘ_i、ｙ_i、Ｘ_iは、それぞれ
ｉ番目ユニットの時刻ｔにおける内部状態、出力、外部
入力を表わすもので、ｗ_ijはｊ番目のユニットからｉ番
目のユニットへの結合加重を表わす。又、τ_iはｉ番目
のユニットの時定数であり、Ｎは総ユニット数である。
更に、特性関数ｆ（ｘ）には、通常非線形のシグモイド
関数ｆ（ｘ）＝ｔａｎｈ（ｘ）か線形関数ｆ（ｘ）＝ｘ
かの何れかが選択される。

【０００６】このようなＲＮＮには、図５に示す如く、
各ニューロ間が互いに隣接するもの同士で結合された完
全結合型のものがある。この完全結合型ＲＮＮにおける
動作は、以下に示す一般状態方程式（数３、数４）で表
わされる。

【０００７】

【数３】

【０００８】

【数４】

【０００９】但し、ｘ_i、ｙ_i、Ｘ_iは、それぞれｉ番目
ニューロにおける内部活性度、出力値、外部入力を表わ
し、ｗ_ijはｊ番目ニューロからｉ番目ニューロへの結合
係数を表わす。又、τは内部活性度の時定数で、Ｎは総
ニューロ数である。更に、特性関数ｆ（ｘ）には、ここ
でもシグモイド関数か線形関数かが選択される。

【００１０】完全結合型ＲＮＮは、その状態が微分方程
式で表わされるので、時系列パターンの処理能力に優れ
る上、外部入力がない場合でも自励発振するという性質
を持つ。殊に、特性関数を線形関数にすると、２Ｎ個の
ニューロがあればＮ個の周波数成分を持つ複数減衰正弦
波（数５）を近似できるという能力がある。

【００１１】

【数５】

【００１２】一般に総ニューロ数Ｎの完全結合型ＲＮＮ
において、コンピュータの記憶すべき総結合数はＮ²と
なる。従って、Ｎが多くなると使用するコンピュータの
メモリ量が膨大となる。そこで図６に示す如く、各ニュ
ーロを直列に接続した直列結合型ＲＮＮを構成した場
合、この直列結合型ＲＮＮにおいても特性関数を線形関
数にすると、２Ｎ個のニューロがあればＮ個の周波数成
分を持つ複数減衰正弦波を近似する能力が得られる。
又、総ニューロ数Ｎの直列結合型ＲＮＮの場合、コンピ
ュータの記憶すべき総結合数が図６に示すものであれば
（３Ｎ−２）となる。この数を図５に示す完全結合型Ｒ
ＮＮのものと比較すれば明らかなように、同程度の能力
を得る為に使用すべきコンピュータのメモリ数を減少で
きるという点では、完全結合型ＲＮＮよりも直列結合型
ＲＮＮの方が優れている。

【００１３】

【発明が解決しようとする課題】ところで、完全結合型
ＲＮＮの学習則には、最急降下法に基づく誤差逆伝搬法
（ｅｒｒｏｒ Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ／以
下、ＢＰ法と略す）が用いられている。このＢＰ法の基
本式は次式（数６）で表わされる。

【００１４】

【数６】

【００１５】但し、Ｅは時刻Ｔ₁から時刻Ｔ₂までの学習
の評価関数で、ｙ（ｔ）は時刻ｔにおける出力ユニット
の出力値で、Ｔ（ｔ）は時刻ｔにおける教師信号であ
る。ここで、次式（数７）に従って評価関数Ｅを最小に
するように、結合係数ｗ_ijを更新して行くのがＢＰ法で
ある。

【００１６】

【数７】

【００１７】尚、この式において、結合係数の初期値は
小さな乱数で与えられる。完全結合型ＲＮＮは、出力ニ
ューロにその他の全てのニューロが結合している為、Ｂ
Ｐ法においては全てのニューロに誤差が逆伝搬されるこ
とになる。従って、完全結合型ＲＮＮは、このＢＰ法と
いう学習法を用いると、その能力を充分に発揮すること
ができる。

【００１８】一方、直列結合型ＲＮＮは、全てのニュー
ロが出力ニューロに結合されているわけではないので、
誤差が直接逆伝搬しない。即ち、出力ニューロから遠い
箇所で結合されているニューロ程、誤差の情報が失われ
てしまい易く、結合係数の学習が困難になる。これは、
出力ニューロから遠くにあるニューロの活性値が小さく
なってしまうからである。結果として、直列結合型ＲＮ
Ｎの場合、ＢＰ法を導入しようとすると本来の能力を発
揮できないという難点がある。

【００１９】本発明は、かかる問題点を解決すべくなさ
れたもので、その技術的課題は、ＢＰ法による学習を合
理的に行い得ると共に、本来の能力を充分に発揮し得る
直列結合型ＲＮＮの学習方式を提供することにある。

【００２０】

【課題を解決するための手段および作用】本発明によれ
ば、出力ニューロを含む複数のニューロを直列に結合し
て成り、学習則にＢＰ法を用いた直列結合型ＲＮＮの学
習方式において、ＢＰ法は完全結合型ＲＮＮの状態方程
式に基づいて、初期状態にあっては結合係数の初期化を
経た複数のニューロのうちの出力ニューロの活性初期値
を教師信号とし、その他のニューロの活性初期値を零と
すると共に、出力ニューロの出力値と教師信号の入力値
との間の誤差値を零とするものであって、進行状態にあ
っては結合係数の更新を要して複数のニューロ毎の出力
値及び出力ニューロの出力値と該教師信号の入力値との
間の適性誤差値を所定の評価関数に従って求めた後、該
適性誤差値を複数のニューロのうちの出力ニューロを除
くその他のニューロに対して外部入力として付与する直
列結合型ＲＮＮの学習方式が得られる。

【００２１】

【実施例】以下に実施例を挙げ、本発明の直列結合型Ｒ
ＮＮの学習方式について、図面を参照して詳細に説明す
る。図１は本発明の一実施例である直列結合型ＲＮＮの
基本構成を示したものである。

【００２２】この直列結合型ＲＮＮは、ニューロの総数
Ｎが４個の場合のもので、第４番目のニューロを出力ニ
ューロ４とし、この出力ニューロ４をデータアクセス端
子Ｐに接続している。又、データアクセス端子Ｐには、
出力ニューロ４を除く第１番目から第３番目までのニュ
ーロ１、２、３がそれぞれ接続されている。データアク
セス端子Ｐ及び第１番目から第３番目までの各ニューロ
の接続は、後述する如く所定の学習アルゴリズムに従っ
て算出された出力ニューロ４の出力値と教師信号の入力
値との間における適正な誤差値［ｙ（ｔ）−Ｔ（ｔ）］
を第１番目から第３番目のニューロ１、２、３へ外部入
力として付与するためのものである。

【００２３】そこで、次に図２に示すフローチャートを
参照して、本発明の一実施例に係る直列結合型ＲＮＮに
おける学習アルゴリズムを説明する。この学習方式で
は、先ず完全結合型ＲＮＮの状態方程式（数３）におい
て、必要とする。結合係数（複数単位）を微小な乱数値
に設定することで結合係数の初期化（ステップＳ１）を
行う。次に出力ニューロの活性初期値を１個目の教師信
号とし、その他のニューロ（第１番目から第３番目ま
で）の活性初期値を零にしたｔ＝０での初期化（ステッ
プＳ２）を行う。即ち、ここでは出力ニューロの出力値
と教師信号の入力値との間における誤差値は零に設定さ
れる。引き続き、各ニューロの出力値を完全結合型ＲＮ
Ｎの状態方程式である（数３）式に基づいて算出（ステ
ップＳ３）した後、出力ニューロの出力値と教師信号の
入力値との誤差値ｄｅｌを算出（ステップＳ４）する。
更に、出力ニューロを除く他の各ニューロに対して誤差
値ｄｅｌを外部入力として付与（ステップＳ５）する。
この後、必要な全ての教師信号が充足されたか否かをチ
ェック（ステップＳ６）し、充足されていなければ各ニ
ューロの出力値の算出の処理（ステップＳ３）の前にリ
ターンするが、充足されていれば（数６）式に基づいて
評価関数Ｅを算出（ステップＳ７）する。引き続き、評
価関数Ｅが所定値より小さく、且つ学習回数が規定回数
になったか否かをチェック（ステップＳ８）する。この
結果、評価関数Ｅが所定値より小さく、しかも学習回数
か規定回数になっていれば、処理を終了するが、これら
の条件が満たされていなければ結合係数の更新（ステッ
プＳ９）を行った後、出力ニューロの活性初期値を１個
目の教師信号とし、その他のニューロに対するｔ＝０で
の初期化の処理（ステップＳ２）の前にリターンする。
このように、通常は評価関数Ｅに従って適正な誤差値ｄ
ｅｌが得られるまで結合係数の更新が継続される。

【００２４】この学習アルゴリズムは、誤差値ｄｅｌを
出力ニューロを除く他の各ニューロに対して外部入力と
して付与する処理（ステップＳ５）以外は、従来のＢＰ
法と同様なものである。この学習方式によれば、初期状
態で誤差値ｄｅｌが大きい場合に各ニューロに対する内
部活性度を大きくすることによって、進行状態ではニュ
ーロの結合係数を学習し易いものにできる。更に、学習
が進んで結合係数が最適値に近づき、誤差値ｄｅｌが充
分小さくなれば、適正な誤差値ｄｅｌを外部入力として
各ニューロに付与できる。このように適正な誤差値ｄｅ
ｌを外部入力とすると、直列結合型ＲＮＮ自体の能力に
影響を及ぼさないという利点がある。

【００２５】図３は、本発明の学習方式による直列結合
型ＲＮＮにおける学習能力を説明すべく、教師信号と出
力信号との関係を示したシミュレーション結果（波形
図）で、同図（Ａ）は本発明の学習方式によるもの、同
図（Ｂ）は従来の学習方式によるものである。ここで、
教師信号には次式（数８）で示される如く複合減衰正弦
波を与えている。

【００２６】

【数８】

【００２７】双方の比較から明らかであるように、従来
の学習方式によると直列結合型ＲＮＮは充分に学習され
ていないが、本発明の学習方式によれば、時間的に無視
できる開始直後の状態を除き、充分に学習できているこ
とが判る。

【００２８】尚、実施例ではニューロ総数が４個の場合
の直列結合型ＲＮＮについて説明したが、ニューロ総数
はこれに限定されない。

【００２９】

【発明の効果】以上に述べた通り、本発明によれば、初
期状態では出力ニューロの活性初期値を教師信号とする
と共に、進行状態では出力ニューロの出力値と教師信号
の入力値との間における誤差値を結合係数の更新を経て
微小な適正なものとした上で出力ニューロを除く他のニ
ューロに外部入力として付与しているので、直列結合型
ＲＮＮ自体の学習能力が非常に高められる。これによ
り、本来の直列結合型ＲＮＮが長所とする使用すべきコ
ンピュータに対するメモリ数の減少化を図る上で、従来
に無く学習能力の向上が保証されるので、コンピュータ
業界に対して多大な貢献が期待される。

【図面の簡単な説明】

【図１】本発明の一実施例に係る直列結合型ＲＮＮの基
本構成を示したものである。

【図２】図１に示す直列結合型ＲＮＮに係る学習アルゴ
リズムを示したフローチャートである。

【図３】（Ａ）は本発明の学習方式による直列結合型Ｒ
ＮＮにおける学習能力を示すシミュレーション結果（波
形図）であり、（Ｂ）は従来の学習方式による直列結合
型ＲＮＮにおける学習能力を示すシミュレーション結果
（波形図）である。

【図４】従来のＲＮＮにおけるユニット構成を説明する
ために示した図である。

【図５】従来の完全結合型ＲＮＮの基本構成を示した図
である。

【図６】従来の直列結合型ＲＮＮの基本構成を示した図
である。

【符号の説明】

１〜３…ニューロ ４…出力ニューロ Ｐ…データアクセス端子

Claims (1)

【特許請求の範囲】
1. 【請求項１】 出力ニューロを含む複数のニューロを直
   列に結合して成り、学習則に誤差逆伝搬法を用いた直列
   結合型リカレントニューラルネットワークの学習方式に
   おいて、前記誤差逆伝搬法は完全結合型リカレントニュ
   ーラルネットワークの状態方程式に基づいて、初期状態
   にあっては結合係数の初期化を経た複数のニューロのう
   ちの出力ニューロの活性初期値を教師信号とし、その他
   のニューロの活性初期値を零とすると共に、前記出力ニ
   ューロの出力値と前記教師信号の入力値との間の誤差値
   を零とするものであって、進行状態にあっては前記結合
   係数の更新を要して前記複数のニューロ毎の出力値、及
   び前記ニューロ出力値と該教師信号の入力値の間の適性
   誤差値を所定の評価関数に従って求めた後、該適性誤差
   値を前記複数のニューロのうちの出力ニューロを除くそ
   の他のニューロに対して外部入力として付与することを
   特徴とする直列結合型リカレントニューラルネットワー
   クの学習方式。