JPH08194673A - 時空間連想記憶学習装置及び時空間連想記憶学習方法 - Google Patents
時空間連想記憶学習装置及び時空間連想記憶学習方法Info
- Publication number
- JPH08194673A JPH08194673A JP7005239A JP523995A JPH08194673A JP H08194673 A JPH08194673 A JP H08194673A JP 7005239 A JP7005239 A JP 7005239A JP 523995 A JP523995 A JP 523995A JP H08194673 A JPH08194673 A JP H08194673A
- Authority
- JP
- Japan
- Prior art keywords
- time
- series data
- update width
- input
- associative memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【目的】 本発明の目的は、学習アルゴリズムを高速化
し、学習時間を短縮させることが可能な時空間連想記憶
学習装置及び時空間連想記憶学習方法を提供することで
ある。 【構成】 本発明は、逐次学習方法でリアルタイムリカ
ーレント学習方法（RealTime Recurrent Learning（Ｒ
ＴＲＬ）の過程中の時系列データの終端において、結合
重みの更新幅をクイックプロップ（Quick Prop) を用い
て計算する更新幅計算手段１００と、更新幅計算手段１
００で求められた更新幅を修正する修正手段２００とを
有する。
し、学習時間を短縮させることが可能な時空間連想記憶
学習装置及び時空間連想記憶学習方法を提供することで
ある。 【構成】 本発明は、逐次学習方法でリアルタイムリカ
ーレント学習方法（RealTime Recurrent Learning（Ｒ
ＴＲＬ）の過程中の時系列データの終端において、結合
重みの更新幅をクイックプロップ（Quick Prop) を用い
て計算する更新幅計算手段１００と、更新幅計算手段１
００で求められた更新幅を修正する修正手段２００とを
有する。
Description
【０００１】
【産業上の利用分野】本発明は、時空間連想記憶学習装
置及び時空間連想記憶学習方法に係り、特に、音声認識
等の時系列データを扱う技術において、その時系列デー
タを学習させる際の学習時間を短縮させるための時空間
連想記憶学習装置及び時空間連想記憶学習方法に関す
る。
置及び時空間連想記憶学習方法に係り、特に、音声認識
等の時系列データを扱う技術において、その時系列デー
タを学習させる際の学習時間を短縮させるための時空間
連想記憶学習装置及び時空間連想記憶学習方法に関す
る。
【０００２】
【従来の技術】時系列データを取り扱わなければならな
いニューラルネットワークにおいて、再帰結合を有する
ニューラルネットワークは有益である。この再帰結合を
有するニューラルネットワークは一般的にリカーレント
ニューラルネットワーク（Recurrent Neural Network
(RNN)) と呼ばれている。
いニューラルネットワークにおいて、再帰結合を有する
ニューラルネットワークは有益である。この再帰結合を
有するニューラルネットワークは一般的にリカーレント
ニューラルネットワーク（Recurrent Neural Network
(RNN)) と呼ばれている。
【０００３】以下にＲＮＮについて説明する。図５は、
ＲＮＮの構成を示す。ＲＮＮは、入力層１００、中間層
２００、出力層３００から構成されており、これらの層
を構成している素子からそれ自身が属する層あるいは、
それより前段の層の素子への結合を有するものである。
ＲＮＮの構成を示す。ＲＮＮは、入力層１００、中間層
２００、出力層３００から構成されており、これらの層
を構成している素子からそれ自身が属する層あるいは、
それより前段の層の素子への結合を有するものである。
【０００４】次に、離散時間、連続値の素子からなるＲ
ＮＮのダイナミックスの一例を示す。時刻ｔでの入力素
子への入力値をｘk （ｔ）、中間素子の出力値をｙ
k （ｔ）とし、入力素子の集合をＩ、中間素子の集合を
Ｕとする。このとき、ｚk （ｔ）を次のように定義す
る。
ＮＮのダイナミックスの一例を示す。時刻ｔでの入力素
子への入力値をｘk （ｔ）、中間素子の出力値をｙ
k （ｔ）とし、入力素子の集合をＩ、中間素子の集合を
Ｕとする。このとき、ｚk （ｔ）を次のように定義す
る。
【０００５】
【数１】
【０００６】ここで、ｙk （ｔ）のダイナミックスは、
中間素子の内部ポテンシャルをｓk（ｔ）とすれば、
中間素子の内部ポテンシャルをｓk（ｔ）とすれば、
【０００７】
【数２】
【０００８】 ｙk （ｔ＋１）＝ｆ（ｓk （ｔ）） （３） である。ここで、ｆ（・）は、一般的にはシグモイド関
数である。
数である。
【０００９】
【数３】
【００１０】次に、ＲＮＮに時系列データを学習させる
アルゴリズムであるリアルタイムリカレントラーニング
（Real Time Recurrent Learning (RTRL))を説明する。
ＲＴＲＬの特徴としては、ＲＮＮが、系列の最大長に比
例した記憶装置を必要とせずに、任意の長さの系列のデ
ータを逐次学習できることである。
アルゴリズムであるリアルタイムリカレントラーニング
（Real Time Recurrent Learning (RTRL))を説明する。
ＲＴＲＬの特徴としては、ＲＮＮが、系列の最大長に比
例した記憶装置を必要とせずに、任意の長さの系列のデ
ータを逐次学習できることである。
【００１１】このアルゴリズムの詳細な説明は、「"A L
earning Algorithm for Continually Runnning Fully R
ecurrent Neural Network" R.J. Williams and D. Zipp
er (Neural Computation 1) 」、「 "INTRODUCTION TO
THE THEORY OF NEURAL COMPUTATION", J. Hertz, A. Kr
oghand R. G. Palmer 」等に記載されている。
earning Algorithm for Continually Runnning Fully R
ecurrent Neural Network" R.J. Williams and D. Zipp
er (Neural Computation 1) 」、「 "INTRODUCTION TO
THE THEORY OF NEURAL COMPUTATION", J. Hertz, A. Kr
oghand R. G. Palmer 」等に記載されている。
【００１２】上記のＲＮＮにおけるＲＴＲＬを具体的に
説明する。通常、学習はＲＮＮの各々結合重みｗijに対
するパラメータ調整という形で行われる。まず、教師信
号と呼ばれる目標出力値ｄk （ｔ）と実際の出力との差
である「エラー」ｅk （ｔ）を次のように定義する。
説明する。通常、学習はＲＮＮの各々結合重みｗijに対
するパラメータ調整という形で行われる。まず、教師信
号と呼ばれる目標出力値ｄk （ｔ）と実際の出力との差
である「エラー」ｅk （ｔ）を次のように定義する。
【００１３】
【数４】
【００１４】この時ユニット全体のエラーの自乗和ｊ
（ｔ）は、
（ｔ）は、
【００１５】
【数５】
【００１６】となり、ニューラルネットワークが時刻ｔ
0 からｔ1 まで動いた時、その間の全エラーＪ
total （ｔ0 ，ｔ1 ）は、
0 からｔ1 まで動いた時、その間の全エラーＪ
total （ｔ0 ，ｔ1 ）は、
【００１７】
【数６】
【００１８】となる。ここで、Ｊtotal （ｔ0 ，ｔ1 ）
に対する結合重みｗijの最急降下法を考える。
に対する結合重みｗijの最急降下法を考える。
【００１９】
【数７】
【００２０】ここで、（５）、（６）より、
【００２１】
【数８】
【００２２】であるが、
【００２３】
【数９】
【００２４】は、（３）の両辺をｗijで偏微分すること
により、
により、
【００２５】
【数１０】
【００２６】となり、逐次求めていくことができる。但
し、δijはクロネッカのデルタである。さらに、
し、δijはクロネッカのデルタである。さらに、
【００２７】
【数１１】
【００２８】とおけば、
【００２９】
【数１２】
【００３０】となる。ここで、初期条件を
【００３１】
【数１３】
【００３２】として、
【００３３】
【数１４】
【００３４】を逐次求めて行けば、
【００３５】
【数１５】
【００３６】として、学習を進めることができる。以上
により、ＲＴＲＬのアルゴリズムは次のようになる。 ［手順ａ］ ステップ１） 入力素子にデータが入力される。
により、ＲＴＲＬのアルゴリズムは次のようになる。 ［手順ａ］ ステップ１） 入力素子にデータが入力される。
【００３７】ステップ２） 上記（３）式に従って、中
間素子、出力素子の値が計算される。 ステップ３） 上記（５）式に従って、出力素子と目標
出力との差ｅk （ｔ）を求める。
間素子、出力素子の値が計算される。 ステップ３） 上記（５）式に従って、出力素子と目標
出力との差ｅk （ｔ）を求める。
【００３８】ステップ４） 上記（１４）式に従って、
【００３９】
【数１６】
【００４０】を計算する。 ステップ５） 上記（１６）式に従って、結合係数が更
新される。 ステップ６） ステップ１に戻る。 上記のステップ１からステップ６までが学習終了まで繰
り返される。
新される。 ステップ６） ステップ１に戻る。 上記のステップ１からステップ６までが学習終了まで繰
り返される。
【００４１】
【発明が解決しようとする課題】しかしながら、上記Ｒ
ＴＲＬでは、結合重みの更新に基本的に最急降下法を採
用していることと、学習に必要な計算量がおよそ素子数
の４乗になることから学習に時間がかかるという問題が
ある。
ＴＲＬでは、結合重みの更新に基本的に最急降下法を採
用していることと、学習に必要な計算量がおよそ素子数
の４乗になることから学習に時間がかかるという問題が
ある。
【００４２】本発明は、上記の点に鑑みなされたもの
で、上記従来の問題点を解決し、学習アルゴリズムを高
速化し、学習時間を短縮させることが可能な時空間連想
記憶学習装置及び時空間連想記憶学習方法を提供するこ
とを目的とする。
で、上記従来の問題点を解決し、学習アルゴリズムを高
速化し、学習時間を短縮させることが可能な時空間連想
記憶学習装置及び時空間連想記憶学習方法を提供するこ
とを目的とする。
【００４３】
【課題を解決するための手段】図１は、本発明の原理構
成図である。本発明は、複数個の任意長の入力時系列デ
ータとそれぞれに対応する目標出力時系列データが与え
られた時、入力された時系列データが上で与えられた入
力時系列データに十分に近い時、該入力時系列データに
対応する目標出力時系列データを連想想起するリカーレ
ントニューラルネットワークの時空間連想記憶学習装置
において、逐次学習方法でリアルタイムリカーレント学
習方法（Real Time Recurrent Learning（ＲＴＲＬ）の
過程中の時系列データの終端において、結合重みの更新
幅をクイックプロップ（Quick Prop) を用いて計算する
更新幅計算手段１００と、更新幅計算手段１００で求め
られた更新幅を修正する修正手段２００とを有する。
成図である。本発明は、複数個の任意長の入力時系列デ
ータとそれぞれに対応する目標出力時系列データが与え
られた時、入力された時系列データが上で与えられた入
力時系列データに十分に近い時、該入力時系列データに
対応する目標出力時系列データを連想想起するリカーレ
ントニューラルネットワークの時空間連想記憶学習装置
において、逐次学習方法でリアルタイムリカーレント学
習方法（Real Time Recurrent Learning（ＲＴＲＬ）の
過程中の時系列データの終端において、結合重みの更新
幅をクイックプロップ（Quick Prop) を用いて計算する
更新幅計算手段１００と、更新幅計算手段１００で求め
られた更新幅を修正する修正手段２００とを有する。
【００４４】また、上記の修正手段２００は、更新幅計
算手段１００で求められた更新幅に安定化係数を掛け
る。図２は、本発明の原理を説明するためのフローチャ
ートである。本発明は、複数個の任意長の入力時系列デ
ータとそれぞれに対応する目標出力時系列データが与え
られた時、入力された時系列データが上で与えられた入
力時系列データに十分に近い時、該入力時系列データに
対応する目標出力時系列データを連想想起するリカーレ
ントニューラルネットワークの時空間連想記憶学習方法
において、逐次学習方法でリアルタイムリカーレント学
習方法（Real Time Recurrent Learning（ＲＴＲＬ）の
過程中の時系列データの終端において、結合重みの更新
幅をクイックプロップ（Quick Prop) を用いて計算し
（ステップ１０）、更新幅を修正する（ステップ２
０）。
算手段１００で求められた更新幅に安定化係数を掛け
る。図２は、本発明の原理を説明するためのフローチャ
ートである。本発明は、複数個の任意長の入力時系列デ
ータとそれぞれに対応する目標出力時系列データが与え
られた時、入力された時系列データが上で与えられた入
力時系列データに十分に近い時、該入力時系列データに
対応する目標出力時系列データを連想想起するリカーレ
ントニューラルネットワークの時空間連想記憶学習方法
において、逐次学習方法でリアルタイムリカーレント学
習方法（Real Time Recurrent Learning（ＲＴＲＬ）の
過程中の時系列データの終端において、結合重みの更新
幅をクイックプロップ（Quick Prop) を用いて計算し
（ステップ１０）、更新幅を修正する（ステップ２
０）。
【００４５】また、上記のステップ２０において、更新
幅を修正する際に、安定化係数を更新幅に掛ける。
幅を修正する際に、安定化係数を更新幅に掛ける。
【００４６】
【作用】本発明は、従来のＲＴＲＬで使用されている最
急降下法の代わりに、クイックプロップ（Quick Prop
（ＱＰ））と呼ばれている手法により、各時系列データ
の終端において、結合重みの更新幅を計算し、ＱＰで求
めた更新幅をさらに安定化係数を掛けた更新幅を用いて
学習することにより、学習時間を短縮するものである。
急降下法の代わりに、クイックプロップ（Quick Prop
（ＱＰ））と呼ばれている手法により、各時系列データ
の終端において、結合重みの更新幅を計算し、ＱＰで求
めた更新幅をさらに安定化係数を掛けた更新幅を用いて
学習することにより、学習時間を短縮するものである。
【００４７】
【実施例】以下、図面と共に、本発明の実施例を説明す
る。図３は、本発明の一実施例の記憶学習装置の構成を
示す。同図に示す記憶学習装置は、結合重みをや各素子
を初期化する初期化部１、時系列データが入力される入
力部２、素子の時間発展を計算する素子時間発展計算部
３、結合重みを更新する結合重み更新部４、時系列デー
タを出力する出力部８、各パラメータ、結合重み、各種
素子、傾き等を格納するメモリ９、これらの各部を制御
する制御部１０より構成される。
る。図３は、本発明の一実施例の記憶学習装置の構成を
示す。同図に示す記憶学習装置は、結合重みをや各素子
を初期化する初期化部１、時系列データが入力される入
力部２、素子の時間発展を計算する素子時間発展計算部
３、結合重みを更新する結合重み更新部４、時系列デー
タを出力する出力部８、各パラメータ、結合重み、各種
素子、傾き等を格納するメモリ９、これらの各部を制御
する制御部１０より構成される。
【００４８】上記の結合重み更新部４は、
【００４９】
【数１７】
【００５０】素子の時間発展を計算するｐ素子値計算部
４１、エラー関数に関するｗijの傾きを計算する傾き計
算部４２、結合重みをクイックプロップで計算するクイ
ックプロップ部４３、安定化係数を掛けることで、クイ
ックプロップ部４３で計算された更新幅を修正する更新
幅修正部４４より構成される。
４１、エラー関数に関するｗijの傾きを計算する傾き計
算部４２、結合重みをクイックプロップで計算するクイ
ックプロップ部４３、安定化係数を掛けることで、クイ
ックプロップ部４３で計算された更新幅を修正する更新
幅修正部４４より構成される。
【００５１】次に、ここで、上記のクイックプロップ部
４３で行われる。ＱＰについて説明する。ＱＰでは、エ
ラー関数を結合重みｗijの二次形式とみなし、現在、時
刻ｔでのエラー関数の傾きと時刻ｔ−１での傾きから極
小点を計算するものである。詳細については、「 "An E
mpirical Study of Learning Speed in Back-Propagati
onNetworks" Scott E. Fahlman 」及び「"Opptimizatio
n of Backpropagation Algorithm for Training Multil
ayer Perceptron" W. Schiffmann, M. Joost, R.Werne
r」等に詳述されている。
４３で行われる。ＱＰについて説明する。ＱＰでは、エ
ラー関数を結合重みｗijの二次形式とみなし、現在、時
刻ｔでのエラー関数の傾きと時刻ｔ−１での傾きから極
小点を計算するものである。詳細については、「 "An E
mpirical Study of Learning Speed in Back-Propagati
onNetworks" Scott E. Fahlman 」及び「"Opptimizatio
n of Backpropagation Algorithm for Training Multil
ayer Perceptron" W. Schiffmann, M. Joost, R.Werne
r」等に詳述されている。
【００５２】次に、基本アルゴリズムを具体的に示す。
ＱＰでは、
ＱＰでは、
【００５３】
【数１８】
【００５４】（時刻ｔ−１でのエラー関数の傾き）、
【００５５】
【数１９】
【００５６】（現在のエラー関数の傾き）、さらに、Δ
ｗij（ｔ−１）（前回のｗijの更新幅）が与えられた
時、次のようにΔｗij（ｔ）を決める。以下に各ケース
毎の手順を示す。 ［手順ｂ］ 場合１） Δｗij（ｔ−１）＝０の時： Δｗij（ｔ）＝−ε0 Ｓ（ｔ−１） 場合２） Ｓ（ｔ）Ｓ（ｔ−１）＜０のとき：
ｗij（ｔ−１）（前回のｗijの更新幅）が与えられた
時、次のようにΔｗij（ｔ）を決める。以下に各ケース
毎の手順を示す。 ［手順ｂ］ 場合１） Δｗij（ｔ−１）＝０の時： Δｗij（ｔ）＝−ε0 Ｓ（ｔ−１） 場合２） Ｓ（ｔ）Ｓ（ｔ−１）＜０のとき：
【００５７】
【数２０】
【００５８】場合３） Ｓ（ｔ）Ｓ（ｔ−１）＞０のと
き かつ 場合３．１） ｜Ｓ（ｔ）｜＜Ｆ｜（Ｓ（ｔ−１）｜の
時：
き かつ 場合３．１） ｜Ｓ（ｔ）｜＜Ｆ｜（Ｓ（ｔ−１）｜の
時：
【００５９】
【数２１】
【００６０】場合３．２） ｜Ｓ（ｔ）｜＞Ｆ｜Ｓ（ｔ
−１）｜の時 Δｗij（ｔ）＝−ε0 Ｓ（ｔ）＋ηΔｗij（ｔ−１） なお、本発明において、ＱＰのパラメータは一般に推奨
されている値を用いている。
−１）｜の時 Δｗij（ｔ）＝−ε0 Ｓ（ｔ）＋ηΔｗij（ｔ−１） なお、本発明において、ＱＰのパラメータは一般に推奨
されている値を用いている。
【００６１】 ε0 ＝０．３５ （１７） η＝２．０ （１８）
【００６２】
【数２２】
【００６３】時系列データの学習アルゴリズムである従
来のＲＴＲＬでは、時系列データの中の一時刻の入力デ
ータと目標出力データが与えられる毎に、結合重みの更
新を行っているが、本発明のＲＴＲＬＱＰにおいては、
一時系列データの系列の始めから終わりまで、結合重み
の更新は行わず、各時点での、エラーやｐ素子の値をそ
れぞれ足し合わせていき、時系列データの終端で結合重
みの更新を行う。
来のＲＴＲＬでは、時系列データの中の一時刻の入力デ
ータと目標出力データが与えられる毎に、結合重みの更
新を行っているが、本発明のＲＴＲＬＱＰにおいては、
一時系列データの系列の始めから終わりまで、結合重み
の更新は行わず、各時点での、エラーやｐ素子の値をそ
れぞれ足し合わせていき、時系列データの終端で結合重
みの更新を行う。
【００６４】また、ＱＰでは、二次近似による極小値の
計算も行っている。従って、計算された結合重みの更新
幅は極小値までの距離の近似値となっているので、結合
重みの更新によって極小点を通り過ぎる場合や極小点に
届かない場合がある。従って、本発明のＲＴＲＬＱＰに
おいては、ＱＰで計算された結合重みの更新幅に、さら
に安定化係数を掛けることで、ｗijの更新幅を従来のＱ
Ｐよりやや縮小し、極小点を通り過ぎることを避け、安
定した学習ができるようにした。計算機での実験からこ
の安定化係数が０．７の時、最も効率よく学習されるこ
とが分かった。
計算も行っている。従って、計算された結合重みの更新
幅は極小値までの距離の近似値となっているので、結合
重みの更新によって極小点を通り過ぎる場合や極小点に
届かない場合がある。従って、本発明のＲＴＲＬＱＰに
おいては、ＱＰで計算された結合重みの更新幅に、さら
に安定化係数を掛けることで、ｗijの更新幅を従来のＱ
Ｐよりやや縮小し、極小点を通り過ぎることを避け、安
定した学習ができるようにした。計算機での実験からこ
の安定化係数が０．７の時、最も効率よく学習されるこ
とが分かった。
【００６５】以上から、ＲＮＮにおけるＲＴＲＬＱＰの
手続きは、以下のようになる。 ［手順ｃ］ ステップ１１：入力素子にデータが入力される。 ステップ１２：上記（３）式に従って中間素子、出力素
子の値が計算される。
手続きは、以下のようになる。 ［手順ｃ］ ステップ１１：入力素子にデータが入力される。 ステップ１２：上記（３）式に従って中間素子、出力素
子の値が計算される。
【００６６】ステップ１３：上記（５）式により出力素
子と目標出力との差ｅk （ｔ）を求める。 ステップ１４）上記（１４）に従って、
子と目標出力との差ｅk （ｔ）を求める。 ステップ１４）上記（１４）に従って、
【００６７】
【数２３】
【００６８】を計算し、そこからエラー関数の傾きＲij
（ｔ）を計算する。
（ｔ）を計算する。
【００６９】
【数２４】
【００７０】傾きをＱij（ｔ0 ，ｔ）に蓄積していく。
【００７１】
【数２５】
【００７２】ステップ１５）もし、時系列データが系列
の終端なら、ステップ１６に移行し、他の場合には、ス
テップ１１に戻る。 ステップ１６）ＱＰの手法（手順ｂ）に基づき、結合重
みの更新幅を求める。 ステップ１７）ＱＰで求めた結合重みの更新幅に安定化
係数を掛け、それを用いて更新を行う。
の終端なら、ステップ１６に移行し、他の場合には、ス
テップ１１に戻る。 ステップ１６）ＱＰの手法（手順ｂ）に基づき、結合重
みの更新幅を求める。 ステップ１７）ＱＰで求めた結合重みの更新幅に安定化
係数を掛け、それを用いて更新を行う。
【００７３】 Δｗij（ｔ）’＝０．７×Δｗij（ｔ） （２２） ｗij（ｔ＋１）＝ｗij（ｔ）＋Δｗij（ｔ）’ （２３） ステップ１８）ステップ１１に戻る。これらのステップ
１１〜ステップ１８は学習終了まで繰り返される。
１１〜ステップ１８は学習終了まで繰り返される。
【００７４】図４は、本発明の一実施例の記憶学習装置
の一連の処理を示すフローチャートである。 ステップ１０１） 入力素子数、中間素子数、出力素子
数、ＱＰの各パラメータ等が入力され、必要なメモリを
メモリ９内に確保する。
の一連の処理を示すフローチャートである。 ステップ１０１） 入力素子数、中間素子数、出力素子
数、ＱＰの各パラメータ等が入力され、必要なメモリを
メモリ９内に確保する。
【００７５】ステップ１０２） 初期化部１は、結合重
み、素子を乱数で、ｐ素子を０．０に初期化する。 ステップ１０３） 時系列データが時系列データ入力部
２より入力される。 ステップ１０４） 素子時間発展計算部３は、素子をダ
イナミックスに従って、前述の（３）式により計算し、
出力素子からデータを出力する。
み、素子を乱数で、ｐ素子を０．０に初期化する。 ステップ１０３） 時系列データが時系列データ入力部
２より入力される。 ステップ１０４） 素子時間発展計算部３は、素子をダ
イナミックスに従って、前述の（３）式により計算し、
出力素子からデータを出力する。
【００７６】ステップ１０５） 結合重み更新部４の傾
き計算部４２は、各出力素子についてエラーを計算す
る。 ステップ１０６） 結合重み更新部４のｐ素子計算部４
１は、前述の（１４）、（２０）、（２１）式を用い
て、
き計算部４２は、各出力素子についてエラーを計算す
る。 ステップ１０６） 結合重み更新部４のｐ素子計算部４
１は、前述の（１４）、（２０）、（２１）式を用い
て、
【００７７】
【数２６】
【００７８】エラー関数の傾きを計算し、これまでの和
を取る。 ステップ１０７） 制御部１０は、時系列データ終了で
あれば、ステップ１０８に移行し、そうでない場合に
は、ステップ１０３に移行する。 ステップ１０８） 結合重み更新部４のクイックプロッ
プ部４３は、ＱＰにより、結合重みの更新幅を計算す
る。
を取る。 ステップ１０７） 制御部１０は、時系列データ終了で
あれば、ステップ１０８に移行し、そうでない場合に
は、ステップ１０３に移行する。 ステップ１０８） 結合重み更新部４のクイックプロッ
プ部４３は、ＱＰにより、結合重みの更新幅を計算す
る。
【００７９】ステップ１０９） 結合重み更新部４の更
新幅修正部４４は、更新幅を安定化係数を掛けることで
修正する。 ステップ１１０） 制御部１０は、ある基準がエラーを
下回るか、基準学習回数を越える場合には、学習を終了
する。
新幅修正部４４は、更新幅を安定化係数を掛けることで
修正する。 ステップ１１０） 制御部１０は、ある基準がエラーを
下回るか、基準学習回数を越える場合には、学習を終了
する。
【００８０】次に、上記の動作を具体的な例に適用した
場合について説明する。入力素子Ｎ個、中間素子Ｍ個で
あり、中間素子のうち、Ｋ個が出力素子になっているＲ
ＮＮを考える。時間長Ｌ、データ数Ｐ個の入力系列デー
タを、
場合について説明する。入力素子Ｎ個、中間素子Ｍ個で
あり、中間素子のうち、Ｋ個が出力素子になっているＲ
ＮＮを考える。時間長Ｌ、データ数Ｐ個の入力系列デー
タを、
【００８１】
【数２７】
【００８２】但し、
【００８３】
【数２８】
【００８４】ｉ＝１，２，…，Ｐとし、これに対応する
目標出力値を、
目標出力値を、
【００８５】
【数２９】
【００８６】とする。Ｎ＝１０，Ｍ＝１０，Ｋ＝５の時
の入力時系列データ及び目標時系列データの具体例を表
１に示す。
の入力時系列データ及び目標時系列データの具体例を表
１に示す。
【００８７】
【表１】
【００８８】次に、ＲＴＲＬを用いた学習と、ＲＴＲＬ
にＱＰを組み合わせた学習（ＲＴＲＬＱＰ）について、
エラーの評価の推移を示す。ここでは、Ｎ＝２０，Ｍ＝
１０，Ｋ＝５，Ｐ＝５，Ｈ＝４の場合である。ここでの
結果は、これらのアルゴリズムを実施した結果のエラー
の評価を１００回試行した結果の平均値である。表２は
ＲＴＲＬとＲＴＲＬＱＰの学習の比較を示し、横軸は学
習回数であり、縦軸はエラーの評価を表している。学習
回数はＲＴＲＬでは、結合重みの更新回数であるが、Ｒ
ＴＲＬＱＰでは、結合重みの更新回数に入力時系列長を
掛けたものとしている。エラーの評価の方法は、以下の
ようにして行う。
にＱＰを組み合わせた学習（ＲＴＲＬＱＰ）について、
エラーの評価の推移を示す。ここでは、Ｎ＝２０，Ｍ＝
１０，Ｋ＝５，Ｐ＝５，Ｈ＝４の場合である。ここでの
結果は、これらのアルゴリズムを実施した結果のエラー
の評価を１００回試行した結果の平均値である。表２は
ＲＴＲＬとＲＴＲＬＱＰの学習の比較を示し、横軸は学
習回数であり、縦軸はエラーの評価を表している。学習
回数はＲＴＲＬでは、結合重みの更新回数であるが、Ｒ
ＴＲＬＱＰでは、結合重みの更新回数に入力時系列長を
掛けたものとしている。エラーの評価の方法は、以下の
ようにして行う。
【００８９】まず、ａ○ｂを次のように定義する。
【００９０】
【数３０】
【００９１】但し、
【００９２】
【数３１】
【００９３】実際の素子出力値を、
【００９４】
【数３２】
【００９５】がエラー評価値である。このエラーの評価
を用いたＲＴＲＬとＲＴＲＬＱＰの比較を表２に示す。
を用いたＲＴＲＬとＲＴＲＬＱＰの比較を表２に示す。
【００９６】
【表２】
【００９７】この表から分かるように、ＲＴＲＬと比較
して、ＲＴＲＬＱＰは、学習速度も速く、さらに、エラ
ーを減らすことができることが分かる。なお、本発明
は、上記の実施例に限定されることなく、特許請求の範
囲内で種々、変更・応用が可能である。
して、ＲＴＲＬＱＰは、学習速度も速く、さらに、エラ
ーを減らすことができることが分かる。なお、本発明
は、上記の実施例に限定されることなく、特許請求の範
囲内で種々、変更・応用が可能である。
【００９８】
【発明の効果】上述のように、本発明によれば、時空間
連想記憶学習装置において、ＲＴＲＬとＱＰを組み合わ
せることにより、時系列データを時系列データに依存し
た記憶装置を必要とせずに、任意長の時系列データの学
習を従来と比較して高速に行うことができる。
連想記憶学習装置において、ＲＴＲＬとＱＰを組み合わ
せることにより、時系列データを時系列データに依存し
た記憶装置を必要とせずに、任意長の時系列データの学
習を従来と比較して高速に行うことができる。
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するためのフローチャート
である。
である。
【図３】本発明の一実施例の記憶学習装置の構成図であ
る。
る。
【図４】本発明の一実施例の処理概要を示すフローチャ
ートである。
ートである。
【図５】リカーレントニューラルネットワークの構造を
示す図である。
示す図である。
１ 初期化部 ２ 時系列データ入力部 ３ 素子時間発展計算部 ４ 結合重み更新部 ８ 出力部 ９ メモリ １０ 制御部 ４１ ｐ素子計算部 ４２ 傾き計算部 ４３ クイックプロップ部 ４４ 更新幅修正部 １００ 更新幅計算手段 ２００ 修正手段
Claims (4)
- 【請求項１】 複数個の任意長の入力時系列データとそ
れぞれに対応する目標出力時系列データが与えられた
時、入力された時系列データが上で与えられた入力時系
列データに十分に近い時、該入力時系列データに対応す
る目標出力時系列データを連想想起するリカーレントニ
ューラルネットワークの時空間連想記憶学習装置におい
て、 逐次学習方法でリアルタイムリカーレント学習方法（Re
al Time Recurrent Learning（ＲＴＲＬ）の過程中の時
系列データの終端において、結合重みの更新幅をクイッ
クプロップ（Quick Prop) を用いて計算する更新幅計算
手段と、 前記更新幅計算手段で求められた前記更新幅を修正する
修正手段とを有することを特徴とする時空間連想記憶学
習装置。 - 【請求項２】 前記修正手段は、 前記更新幅計算手段で求められた前記更新幅に安定化係
数を掛ける請求項１記載の時空間連想記憶学習装置。 - 【請求項３】 複数個の任意長の入力時系列データとそ
れぞれに対応する目標出力時系列データが与えられた
時、入力された時系列データが上で与えられた入力時系
列データに十分に近い時、該入力時系列データに対応す
る目標出力時系列データを連想想起するリカーレントニ
ューラルネットワークの時空間連想記憶学習方法におい
て、 逐次学習方法でリアルタイムリカーレント学習方法（Re
al Time Recurrent Learning（ＲＴＲＬ）の過程中の時
系列データの終端において、結合重みの更新幅をクイッ
クプロップ（Quick Prop) を用いて計算し、 前記更新幅を修正することを特徴とする時空間連想記憶
学習方法。 - 【請求項４】 前記更新幅を修正する際に、安定化係数
を前記更新幅に掛ける請求項３記載の時空間連想記憶学
習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7005239A JPH08194673A (ja) | 1995-01-17 | 1995-01-17 | 時空間連想記憶学習装置及び時空間連想記憶学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7005239A JPH08194673A (ja) | 1995-01-17 | 1995-01-17 | 時空間連想記憶学習装置及び時空間連想記憶学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08194673A true JPH08194673A (ja) | 1996-07-30 |
Family
ID=11605655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7005239A Pending JPH08194673A (ja) | 1995-01-17 | 1995-01-17 | 時空間連想記憶学習装置及び時空間連想記憶学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08194673A (ja) |
-
1995
- 1995-01-17 JP JP7005239A patent/JPH08194673A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7647284B2 (en) | Fixed-weight recurrent neural network controller with fixed long-term and adaptive short-term memory | |
| US20090299929A1 (en) | Methods of improved learning in simultaneous recurrent neural networks | |
| JPH09503602A (ja) | 学習ニューラルネットワークおよびその方法 | |
| US6768927B2 (en) | Control system | |
| CN118484643A (zh) | 一种坡度自适应预测方法、系统、终端及介质 | |
| Hines | A logarithmic neural network architecture for unbounded non-linear function approximation | |
| JPH07121498A (ja) | ニューラルネットワーク構築方法 | |
| KR20230071705A (ko) | 하이브리드 신경망 기반 객체 추적 학습 방법 및 시스템 | |
| JPH09237260A (ja) | 多層神経回路網学習装置 | |
| JPH08194673A (ja) | 時空間連想記憶学習装置及び時空間連想記憶学習方法 | |
| JPH076146A (ja) | 並列データ処理システム | |
| US5490236A (en) | Method of assigning initial values of connection parameters to a multilayered neural network | |
| Li et al. | Learning laws for deep convolutional neural networks with guaranteed convergence | |
| CN111985603A (zh) | 训练稀疏连接神经网络的方法 | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JP2606317B2 (ja) | 学習処理装置 | |
| Mezghani et al. | Multimodel control of discrete systems with uncertainties | |
| CN111602146B (zh) | 数据处理系统、数据处理方法和记录介质 | |
| Patan | Training of the dynamic neural networks via constrained optimisation | |
| JPH08221378A (ja) | 学習機械 | |
| JP3412700B2 (ja) | 神経回路網型パターン学習方法およびパターン処理装置 | |
| JPH0554014A (ja) | ニユーラルネツトワークの学習装置 | |
| Jung et al. | Neural network training for varying output node dimension | |
| JP2979562B2 (ja) | 学習処理装置 | |
| JPH0981535A (ja) | ニューラルネットワークの学習方法 |