JP3203674B2 - ニューラルネットワークの学習方法 - Google Patents
ニューラルネットワークの学習方法Info
- Publication number
- JP3203674B2 JP3203674B2 JP09004091A JP9004091A JP3203674B2 JP 3203674 B2 JP3203674 B2 JP 3203674B2 JP 09004091 A JP09004091 A JP 09004091A JP 9004091 A JP9004091 A JP 9004091A JP 3203674 B2 JP3203674 B2 JP 3203674B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- input data
- teacher
- learning
- degeneration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Feedback Control In General (AREA)
- Devices For Executing Special Programs (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
クの学習方法に関する。詳しくは、ニューラルネットワ
ークを使用して行く中で、入力データとその入力データ
に対応する教師データを蓄積し、その蓄積されたデータ
を用いて、逐次、ニューラルネットワークを学習させる
方法に関する。特に、入力データと教師データを効率良
く蓄積し、その蓄積されたデータにより効率の良い学習
を行う方法に関する。
クの学習方法に関する。詳しくは、ニューラルネットワ
ークを使用して行く中で、入力データとその入力データ
に対応する教師データを蓄積し、その蓄積されたデータ
を用いて、逐次、ニューラルネットワークを学習させる
方法に関する。特に、入力データと教師データを効率良
く蓄積し、その蓄積されたデータにより効率の良い学習
を行う方法に関する。
【０００２】
【従来の技術】ニューラルネットワークは、理論的な解
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を学習してお
き、任意の入力に対して妥当な出力が直接的に得られる
ようにした回路網である。
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を学習してお
き、任意の入力に対して妥当な出力が直接的に得られる
ようにした回路網である。
【０００３】
【発明が解決しようとする課題】しかし、ニューラルネ
ットワークを全ての考え得る事象に対応できるように学
習させておくことは困難である。むしろ、学習済のニュ
ーラルネットワークを実際に使用して新たな事象が発生
して適性な出力が得られない場合に、その事象を含む学
習を行うことが通常である。
ットワークを全ての考え得る事象に対応できるように学
習させておくことは困難である。むしろ、学習済のニュ
ーラルネットワークを実際に使用して新たな事象が発生
して適性な出力が得られない場合に、その事象を含む学
習を行うことが通常である。
【０００４】ところが、新たにニューラルネットワーク
の学習が必要となった場合には、学習すべき新たな入力
データとそれに対応した教師データだけを用いて学習さ
せることはできない。何故ならば、その新たな学習の結
果、既学習事項がニューラルネットワークから消去され
てしまうからである。従って、新たにニューラルネット
ワークを学習させる場合には、以前の学習に使用した全
ての入力データとその入力データに対応した全ての教師
データを含めて学習させることが必要である。
の学習が必要となった場合には、学習すべき新たな入力
データとそれに対応した教師データだけを用いて学習さ
せることはできない。何故ならば、その新たな学習の結
果、既学習事項がニューラルネットワークから消去され
てしまうからである。従って、新たにニューラルネット
ワークを学習させる場合には、以前の学習に使用した全
ての入力データとその入力データに対応した全ての教師
データを含めて学習させることが必要である。
【０００５】このような結果、過去の学習に使用した全
ての入力データと教師データを保存する必要があり、ニ
ューラルネットワークを長く使用するに伴い、記憶装置
の容量が膨大となるという問題がある。又、学習に使用
される入力データと教師データとが膨大となることか
ら、学習時間が長くなるという問題がある。又、ニュー
ラルネットワークの使用の過程において、適用する事象
が時間と共に推移していく場合がある。この場合に、ニ
ューラルネットワークの入出力特性が固定されたもので
あるとすると、次第に妥当な出力が得られなくなる。こ
の場合に、教師データも適用する事象の推移に伴って変
化していくが、過去から現在までの全ての教師データに
対して平等に学習させると、ニューラルネットワークの
入出力特性の変化が少なく、最近の事象の傾向だけを反
映させることは困難である。又、従来の学習方法では、
全ての教師データに対して平等にしかニューラルネット
ワークを学習させることができなかった。
ての入力データと教師データを保存する必要があり、ニ
ューラルネットワークを長く使用するに伴い、記憶装置
の容量が膨大となるという問題がある。又、学習に使用
される入力データと教師データとが膨大となることか
ら、学習時間が長くなるという問題がある。又、ニュー
ラルネットワークの使用の過程において、適用する事象
が時間と共に推移していく場合がある。この場合に、ニ
ューラルネットワークの入出力特性が固定されたもので
あるとすると、次第に妥当な出力が得られなくなる。こ
の場合に、教師データも適用する事象の推移に伴って変
化していくが、過去から現在までの全ての教師データに
対して平等に学習させると、ニューラルネットワークの
入出力特性の変化が少なく、最近の事象の傾向だけを反
映させることは困難である。又、従来の学習方法では、
全ての教師データに対して平等にしかニューラルネット
ワークを学習させることができなかった。
【０００６】本発明は上記課題を解決するために成され
たものであり、その目的は、ニューラルネットワークを
適用する事象の時間的変動に対して応答性の良いニュー
ラルネットワークを形成することである。しかも、デー
タ数の制限された教師データによる学習を、可能な限り
等価的に範囲の広い多数の教師データによる学習と同等
にすることである。
たものであり、その目的は、ニューラルネットワークを
適用する事象の時間的変動に対して応答性の良いニュー
ラルネットワークを形成することである。しかも、デー
タ数の制限された教師データによる学習を、可能な限り
等価的に範囲の広い多数の教師データによる学習と同等
にすることである。
【０００７】
【課題を解決するための手段】上記課題を解決するため
の発明の構成は、入力データとそれに対応する教師デー
タとを蓄積したデータベースを更新させつつ、その更新
されたデータベースを用いてニューラルネットワークを
学習させる方法において、任意に選択された２つの入力
データで構成される組の全てに対して、入力データが相
互に類似している程度を表す類似度を演算し、類似度の
最も高い組の２つの入力データを、その２つの入力デー
タに基づいて１つの入力データに縮退させ、さらに、対
応する２つの教師データを、その２つの教師データに基
づいて１つの教師データに縮退させ、縮退によって生じ
た入力データ又は教師データの縮退回数を、縮退させら
れた２つのデータの過去の縮退回数に基づいて演算し
て、その縮退回数を記憶し、入力データ又は教師データ
の有する縮退回数に応じて、縮退回数の相対的に少ない
入力データ及び教師データをデータベースから削除し
て、データベースに蓄積されるデータの量が所定量を越
えないように制御して、ニューラルネットワークを逐次
学習させることを特徴とする。
の発明の構成は、入力データとそれに対応する教師デー
タとを蓄積したデータベースを更新させつつ、その更新
されたデータベースを用いてニューラルネットワークを
学習させる方法において、任意に選択された２つの入力
データで構成される組の全てに対して、入力データが相
互に類似している程度を表す類似度を演算し、類似度の
最も高い組の２つの入力データを、その２つの入力デー
タに基づいて１つの入力データに縮退させ、さらに、対
応する２つの教師データを、その２つの教師データに基
づいて１つの教師データに縮退させ、縮退によって生じ
た入力データ又は教師データの縮退回数を、縮退させら
れた２つのデータの過去の縮退回数に基づいて演算し
て、その縮退回数を記憶し、入力データ又は教師データ
の有する縮退回数に応じて、縮退回数の相対的に少ない
入力データ及び教師データをデータベースから削除し
て、データベースに蓄積されるデータの量が所定量を越
えないように制御して、ニューラルネットワークを逐次
学習させることを特徴とする。
【０００８】
【作用】入力データの中から任意に選択された２つの入
力データの組に関して、その２つの入力データが相互に
類似している程度を示す類似度が演算される。その類似
度の最も高い組において、２つの入力データをその２つ
の入力データに基づいて１つの入力データに縮退させ
る。それと共に、その２つの入力データに対応する２つ
の教師データも、その２つの教師データに基づいて１つ
の教師データに縮退させる。縮退によって生じた入力デ
ータ又は教師データの縮退回数は、縮退させられた２つ
のデータの過去の縮退回数に基づいて演算される。そし
て、その縮退回数は、各入力データ又は各教師データ毎
に記憶される。この縮退操作によりデータベースには１
つのデータを記憶させる空き領域が発生する。この空き
領域に新しい入力データ及び教師データを記憶させるこ
とができる。類似した２つのデータを１つのデータに縮
退させて、他の入力データ及び教師データを加えること
で幅広く入力データ及び教師データを蓄積することがで
きる。又、データベースにおいて、何時までも、縮退さ
れないデータは、それだけ新規に記憶されるデータと類
似性のないデータといえる。新規に発生される教師デー
タは、ニューラルネットワークの使用の過程において、
満足な出力が得られないために、より進化した学習をさ
せるために発生されるデータであると考えられる。従っ
て、データベースにおいて、何時までも縮退されずに残
る教師データは学習不要なデータと見なすことができ
る。よって、データベースの更新時において、データベ
ースに記憶されているデータの縮退回数に応じて、相対
的に縮退回数の少ない入力データ及び教師データが削除
される。これにより、データベースには空き領域が発生
し、新規な入力データ及び教師データを記憶させること
ができる。この結果、データベースの容量が制限されて
いても、ニューラルネットワークを適用する事象が時間
と共に変化しても、データベースの内容は、その時の事
象を最も良く代表し、しかも、その事象を広範囲にカバ
ーしたものとなる。よって、ニューラルネットワークを
事象の時間変動に効果的に追随させることが可能とな
る。
力データの組に関して、その２つの入力データが相互に
類似している程度を示す類似度が演算される。その類似
度の最も高い組において、２つの入力データをその２つ
の入力データに基づいて１つの入力データに縮退させ
る。それと共に、その２つの入力データに対応する２つ
の教師データも、その２つの教師データに基づいて１つ
の教師データに縮退させる。縮退によって生じた入力デ
ータ又は教師データの縮退回数は、縮退させられた２つ
のデータの過去の縮退回数に基づいて演算される。そし
て、その縮退回数は、各入力データ又は各教師データ毎
に記憶される。この縮退操作によりデータベースには１
つのデータを記憶させる空き領域が発生する。この空き
領域に新しい入力データ及び教師データを記憶させるこ
とができる。類似した２つのデータを１つのデータに縮
退させて、他の入力データ及び教師データを加えること
で幅広く入力データ及び教師データを蓄積することがで
きる。又、データベースにおいて、何時までも、縮退さ
れないデータは、それだけ新規に記憶されるデータと類
似性のないデータといえる。新規に発生される教師デー
タは、ニューラルネットワークの使用の過程において、
満足な出力が得られないために、より進化した学習をさ
せるために発生されるデータであると考えられる。従っ
て、データベースにおいて、何時までも縮退されずに残
る教師データは学習不要なデータと見なすことができ
る。よって、データベースの更新時において、データベ
ースに記憶されているデータの縮退回数に応じて、相対
的に縮退回数の少ない入力データ及び教師データが削除
される。これにより、データベースには空き領域が発生
し、新規な入力データ及び教師データを記憶させること
ができる。この結果、データベースの容量が制限されて
いても、ニューラルネットワークを適用する事象が時間
と共に変化しても、データベースの内容は、その時の事
象を最も良く代表し、しかも、その事象を広範囲にカバ
ーしたものとなる。よって、ニューラルネットワークを
事象の時間変動に効果的に追随させることが可能とな
る。
【０００９】
【発明の効果】このようなデータベースの記憶容量の制
御により、蓄積されるデータの量が所定量を越えること
が内容にすることが可能である。しかも、データベース
に蓄積されるデータは類似度が最も高い２つのデータが
１つに縮退されることから、データベースは、データの
記憶量が一定とすれば、最も分散されたデータの集合と
なる。よって、ニューラルネットワークの効果的な学習
が達成される。又、その時のデータベースに記憶されて
いる教師データのうちで、縮退回数が相対的に少ない教
師データは、事象の変化に追随していなデータ、いわ
ば、時代遅れの教師データである。従って、このような
時代遅れのデータを削除することで、事象の流れに即応
した新規な教師データをより多く追加することができ
る。よって、このように更新されたデータベースの教師
データで逐次、学習されるニューラルネットワークは、
事象の流れに即応したものとなる。即ち、事象の変化に
応答性良く追随したニューラルネットワークを構成する
ことが可能となる。
御により、蓄積されるデータの量が所定量を越えること
が内容にすることが可能である。しかも、データベース
に蓄積されるデータは類似度が最も高い２つのデータが
１つに縮退されることから、データベースは、データの
記憶量が一定とすれば、最も分散されたデータの集合と
なる。よって、ニューラルネットワークの効果的な学習
が達成される。又、その時のデータベースに記憶されて
いる教師データのうちで、縮退回数が相対的に少ない教
師データは、事象の変化に追随していなデータ、いわ
ば、時代遅れの教師データである。従って、このような
時代遅れのデータを削除することで、事象の流れに即応
した新規な教師データをより多く追加することができ
る。よって、このように更新されたデータベースの教師
データで逐次、学習されるニューラルネットワークは、
事象の流れに即応したものとなる。即ち、事象の変化に
応答性良く追随したニューラルネットワークを構成する
ことが可能となる。
【００１０】
【実施例】1.ニューラルネットワーク 本実施例のニューラルネットワーク１０は、図１に示す
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はｅ個の入力素子を有
し、出力層ＬO はｇ個の出力素子を有し、中間層ＬM は
ｆ個の出力素子を有している。
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はｅ個の入力素子を有
し、出力層ＬO はｇ個の出力素子を有し、中間層ＬM は
ｆ個の出力素子を有している。
【００１１】多層構造のニューラルネットワークは、一
般的に、次の演算を行う装置として定義される。第i 層
の第j 番目の素子の出力Oi j は、次式で演算される。但
し、i ≧2 である。
般的に、次の演算を行う装置として定義される。第i 層
の第j 番目の素子の出力Oi j は、次式で演算される。但
し、i ≧2 である。
【００１２】
【数１】 Oi j =f(Ii j) （１）
【数２】
【数３】 f(x)=1/｛1+exp(-x)｝ （３）
【００１３】但し、Vi j は第i 層の第j 番目の演算素子
のバイアス、Wi-1 k, i jは、第i-1層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第j 番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
のバイアス、Wi-1 k, i jは、第i-1層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第j 番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
【００１４】次に、図１に示す３層構造のニューラルネ
ットワーク１０の具体的な演算手順について図２を参照
して説明する。ステップ１００において、中間層（第２
層）の第j 番目の素子は、入力層（第１層）の各素子か
らの出力値O1 j （第１層の入力データ）を入力して、
（２）式を層番号と第１層の素子数を用いて具体化した
次式の積和演算を行なう。
ットワーク１０の具体的な演算手順について図２を参照
して説明する。ステップ１００において、中間層（第２
層）の第j 番目の素子は、入力層（第１層）の各素子か
らの出力値O1 j （第１層の入力データ）を入力して、
（２）式を層番号と第１層の素子数を用いて具体化した
次式の積和演算を行なう。
【数４】
【００１５】次に、ステップ１０２において、次式によ
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
【００１６】
【数５】 O2 j=f(I2 j )=1/｛1+exp(-I2 j) ｝ （５） この出力値 O2 j は出力層（第３層）の各素子の入力値
となる。次に、ステップ１０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
となる。次に、ステップ１０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
【００１７】
【数６】 次に、ステップ１０６において、（５）式と同様に、
シグモイド関数により、出力層の各素子の出力値O3 jが
演算される。
シグモイド関数により、出力層の各素子の出力値O3 jが
演算される。
【００１８】
【数７】 O3 j=f(I3 j)=1/｛1+exp(-I3 j)｝ （７）
【００１９】2.ニューラルネットワークの学習 このニューラルネットワークは、初期学習として、図３
に示す手順で学習される。結合係数は良く知られたバッ
クプロパーゲーション法により実行される。この学習
は、各種の事象に関する多数の入力データに対して、そ
れぞれの出力が、それぞれの最適な教師データとなるよ
うに、繰り返し実行される。
に示す手順で学習される。結合係数は良く知られたバッ
クプロパーゲーション法により実行される。この学習
は、各種の事象に関する多数の入力データに対して、そ
れぞれの出力が、それぞれの最適な教師データとなるよ
うに、繰り返し実行される。
【００２０】図３のステップ２００において、次式によ
り出力層の各素子の学習信号が演算される。
り出力層の各素子の学習信号が演算される。
【数８】 Y3 j=(Tj-δj)・f'(I3 j) （８） 但し、Tj は任意の出力δjに対する教師データであ
り、外部から付与される。又、f'(x) はジグモイド関数
の導関数である。
り、外部から付与される。又、f'(x) はジグモイド関数
の導関数である。
【００２１】次に、ステップ２０２において、中間層の
学習データY が次式で演算される。
学習データY が次式で演算される。
【数９】
【００２２】次に、ステップ２０４において、
出力層の各結合係数が補正される。補正量は次式で求め
られる。
出力層の各結合係数が補正される。補正量は次式で求め
られる。
【数１０】 Δω2 i, 3 j(t)=P・Y3 j・f(I2 i)+Q・Δω2 i, 3 j(t-1) （１０） 但し、Δω2 i, 3 j(t) は、出力層の第j 番目の素子と中
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。尚、
P が大きい程、結合係数の補正量が大きいので、学習感
度、あるいは学習速度( 収束速度) が大きくなるが、振
動する可能性が生じ易くなる。又、Q が大きい程、前回
の補正量が反映されるので、結合係数の変化の安定性が
高くなり、結果として収束は速くなる。
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。尚、
P が大きい程、結合係数の補正量が大きいので、学習感
度、あるいは学習速度( 収束速度) が大きくなるが、振
動する可能性が生じ易くなる。又、Q が大きい程、前回
の補正量が反映されるので、結合係数の変化の安定性が
高くなり、結果として収束は速くなる。
【００２３】補正された結合係数は、上記の補正量を用
いて、
いて、
【数１１】 W2 i, 3 j+Δω2 i, 3 j(t) →W2 i, 3 j （１１） により、求められる。次に、ステップ２０６へ移行し
て、中間層の各素の結合係数が補正される。その結合係
数の補正量は出力層の場合と同様に、次式で求められ
る。
て、中間層の各素の結合係数が補正される。その結合係
数の補正量は出力層の場合と同様に、次式で求められ
る。
【００２４】
【数１２】 Δω1 i, 2 j(t)=P・Y2 j・f(I1 i)+Q・Δω1 i, 2 j(t-1) （１２） よって、結合係数は、
【数１３】 W1 i, 2 j + Δω1 i, 2 j(t) →W1 i, 2 j （１３） により、補正された結合係数が求められる。
【００２５】次に、ステップ２０８において、学習対象
の全ての入力データに対して１回の学習が完了したか否
が判定される。全ての入力データに対する学習が終了し
ていない場合には、ステップ２１０へ移行して、次の入
力データとその入力データに対応する教師データが学習
対象データとして設定される。そして、ステップ２００
に戻り、次の入力データに関する学習が実行される。こ
のようにして、全入力データに関して１回の学習が完了
すると、ステップ２０８の判定結果がYES となり、ステ
ップ２１２へ移行する。
の全ての入力データに対して１回の学習が完了したか否
が判定される。全ての入力データに対する学習が終了し
ていない場合には、ステップ２１０へ移行して、次の入
力データとその入力データに対応する教師データが学習
対象データとして設定される。そして、ステップ２００
に戻り、次の入力データに関する学習が実行される。こ
のようにして、全入力データに関して１回の学習が完了
すると、ステップ２０８の判定結果がYES となり、ステ
ップ２１２へ移行する。
【００２６】ステップ２１２では、ニューラルネットワ
ークの出力値と教師信号の差( 誤差) が十分に小さくな
ったか否かが判定される。誤差が十分に小さくなってい
なければ、ステップ２１４に移行して、全入力データに
関する第２回目の学習を実行するために、最初の入力デ
ータとそれに対応する教師データとが学習対象データと
して設定される。そして、ステップ２００に戻り、上記
した学習演算が繰り返し実行される。このようにして、
ステップ２１２において、誤差が所定の値以下となるま
で、上記の学習演算が繰り返し実行される。この結果、
初期の広範囲の事象に関して初期学習されたニューラル
ネットワークが完成される。
ークの出力値と教師信号の差( 誤差) が十分に小さくな
ったか否かが判定される。誤差が十分に小さくなってい
なければ、ステップ２１４に移行して、全入力データに
関する第２回目の学習を実行するために、最初の入力デ
ータとそれに対応する教師データとが学習対象データと
して設定される。そして、ステップ２００に戻り、上記
した学習演算が繰り返し実行される。このようにして、
ステップ２１２において、誤差が所定の値以下となるま
で、上記の学習演算が繰り返し実行される。この結果、
初期の広範囲の事象に関して初期学習されたニューラル
ネットワークが完成される。
【００２７】3.データベースの更新 ニューラルネットワークの更新学習に使用されるデータ
は、図５に示すようなデータベースに構成されている。
入力データは、Ｄ1,…，Ｄn であり、対応する教師デー
タは、Ｅ1,…，Ｅn である。このｎ個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。ｅ個の入力素子のそれぞれに与え
るｅ個のデータを１組のデータとして考える。そして、
任意の第ｍ番目の１組の入力データをＤm で表し、その
組に属する第ｊ番目の入力素子に対する入力データをｄ
mjで表す。Ｄm はベクトルを表し、ｄmjはそのベクトル
の成分である。即ち、Ｄm は次式で定義される。
は、図５に示すようなデータベースに構成されている。
入力データは、Ｄ1,…，Ｄn であり、対応する教師デー
タは、Ｅ1,…，Ｅn である。このｎ個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。ｅ個の入力素子のそれぞれに与え
るｅ個のデータを１組のデータとして考える。そして、
任意の第ｍ番目の１組の入力データをＤm で表し、その
組に属する第ｊ番目の入力素子に対する入力データをｄ
mjで表す。Ｄm はベクトルを表し、ｄmjはそのベクトル
の成分である。即ち、Ｄm は次式で定義される。
【００２８】
【数１４】 Ｄm ＝（ｄm1, ｄm2, …，ｄme-1, ｄme） （１４） 又、ｎ組の入力データはＤ1,Ｄ2,…，Ｄn-1,Ｄn で表さ
れる。以下、全ｎ組の入力データ群は、入力データ群Ｄ
と表記される。
れる。以下、全ｎ組の入力データ群は、入力データ群Ｄ
と表記される。
【００２９】同様に、Ｅ1,…, Ｅn は、次のように定義
される。出力層ＬO に関して、ｇ個の出力素子のそれぞ
れからの出力に対する教師データを１組のデータとして
考える。そして、任意の第ｍ番目の１組の教師データを
Ｅm で表し、その組に属する第ｊ番目の出力素子に対す
る教師データをｅmjで表す。Ｅm はベクトルを表し、ｅ
mjはそのベクトルの成分である。即ち、Ｅm は次式で定
義される。
される。出力層ＬO に関して、ｇ個の出力素子のそれぞ
れからの出力に対する教師データを１組のデータとして
考える。そして、任意の第ｍ番目の１組の教師データを
Ｅm で表し、その組に属する第ｊ番目の出力素子に対す
る教師データをｅmjで表す。Ｅm はベクトルを表し、ｅ
mjはそのベクトルの成分である。即ち、Ｅm は次式で定
義される。
【００３０】
【数１５】 Ｅm ＝（ｅm1, ｅm2, …，ｅmg-1, ｅmg） （１５） 又、ｎ組の教師データはＥ1,Ｅ2,…，Ｅn-1,Ｅn で表さ
れる。以下、全ｎ組の教師データ群は、教師データ群Ｅ
と表記される。又、それぞれのデータに対して、カウン
ト値Ｃm が与えられている。このカウント値Ｃm は、後
述するように、データの縮退回数を示す。その初期値は
１である。
れる。以下、全ｎ組の教師データ群は、教師データ群Ｅ
と表記される。又、それぞれのデータに対して、カウン
ト値Ｃm が与えられている。このカウント値Ｃm は、後
述するように、データの縮退回数を示す。その初期値は
１である。
【００３１】次に、データベースの更新手順について説
明する。図 4はこのデータベースの更新手順を示したフ
ローチャートである。このデータベースの更新は、ｎ個
の入力データ群Ｄとｎ個の教師データ群Ｅを記憶したデ
ータベースに、全体としてｎ個のデータ容量を増加させ
ることなく、新しく追加される入力データＤn+1 とその
入力データに対応した教師データＥn+1 を学習データと
して加えることである。
明する。図 4はこのデータベースの更新手順を示したフ
ローチャートである。このデータベースの更新は、ｎ個
の入力データ群Ｄとｎ個の教師データ群Ｅを記憶したデ
ータベースに、全体としてｎ個のデータ容量を増加させ
ることなく、新しく追加される入力データＤn+1 とその
入力データに対応した教師データＥn+1 を学習データと
して加えることである。
【００３２】ステップ３００において、図７の(a) に示
すように、データベースに記憶された入力データ群（Ｄ
1,…，Ｄn ）に、新規入力データＤn+1 を加えて、入力
データ群（Ｄ1,…，Ｄn+1 ）を考える。同様に、新規教
師データＥn+1 を加えた教師データ群（Ｅ1,…，
Ｅn+1 ）が導入される。又、新規データの縮退頻度（ｎ
回のデータ更新当りの縮退回数を以下、縮退頻度とい
う）を表すカウンタ値Ｃn+1 は１である。次に、ステッ
プ３０２において、入力データ群（Ｄ1,…，Ｄn+1 ）の
中から任意の２つのデータから成る入力データ組（Ｄp,
Ｄq ）を生成する。次に、ステップ３０４において、入
力データＤp と入力データＤq の類似度Ｚpqを計算す
る。類似度Ｚpqは、本実施例では、Ｄp ベクトルとＤq
ベクトル間のユークリッド距離の大きさで求めている。
すように、データベースに記憶された入力データ群（Ｄ
1,…，Ｄn ）に、新規入力データＤn+1 を加えて、入力
データ群（Ｄ1,…，Ｄn+1 ）を考える。同様に、新規教
師データＥn+1 を加えた教師データ群（Ｅ1,…，
Ｅn+1 ）が導入される。又、新規データの縮退頻度（ｎ
回のデータ更新当りの縮退回数を以下、縮退頻度とい
う）を表すカウンタ値Ｃn+1 は１である。次に、ステッ
プ３０２において、入力データ群（Ｄ1,…，Ｄn+1 ）の
中から任意の２つのデータから成る入力データ組（Ｄp,
Ｄq ）を生成する。次に、ステップ３０４において、入
力データＤp と入力データＤq の類似度Ｚpqを計算す
る。類似度Ｚpqは、本実施例では、Ｄp ベクトルとＤq
ベクトル間のユークリッド距離の大きさで求めている。
【００３３】よって、類似度Ｚpqは次式で定義される。
【数１６】 Ｚpq＝｜Ｄp −Ｄq ｜ （１６） ＝（（ｄp1−ｄq1）2 ＋（ｄp2−ｄq2）2 ＋…＋（ｄpn−ｄqn）2 ）1/2 次に、ステップ３０６において、全ての２つの入力デー
タの組合わせに関して類似度が演算されたか否かが判定
される。全組に関して類似度が演算されていない場合に
は、ステップ３０８において、選択される入力データの
インデックスp,q を変化させて、ステップ３０２へ戻
る。ステップ３０２からは、同様な処理が繰り返し実行
されて、類似度が演算される。このようにして、図７の
(b) に示すように、任意の２つの入力データから成る全
てのデータ組の類似度Ｚpqが演算される。
タの組合わせに関して類似度が演算されたか否かが判定
される。全組に関して類似度が演算されていない場合に
は、ステップ３０８において、選択される入力データの
インデックスp,q を変化させて、ステップ３０２へ戻
る。ステップ３０２からは、同様な処理が繰り返し実行
されて、類似度が演算される。このようにして、図７の
(b) に示すように、任意の２つの入力データから成る全
てのデータ組の類似度Ｚpqが演算される。
【００３４】次に、ステップ３１０において、全データ
組の中から、類似度Ｚpqが最小値Ｚabをとるデータ組
（Ｄa , Ｄb ）が決定される。次に、ステップ３１２に
おいて、入力データＤa , Ｄb とその入力データに対応
する教師データＥa , Ｅb に関して、カウンタ値（縮退
頻度）Ｃa ，Ｃb を加重係数として加重平均された合成
入力データＤh と加重平均された合成教師データＥh が
演算される。
組の中から、類似度Ｚpqが最小値Ｚabをとるデータ組
（Ｄa , Ｄb ）が決定される。次に、ステップ３１２に
おいて、入力データＤa , Ｄb とその入力データに対応
する教師データＥa , Ｅb に関して、カウンタ値（縮退
頻度）Ｃa ，Ｃb を加重係数として加重平均された合成
入力データＤh と加重平均された合成教師データＥh が
演算される。
【００３５】即ち、合成入力データＤh と合成教師デー
タＥh は、次式で演算される。
タＥh は、次式で演算される。
【数１７】 Ｄh ＝（Ｃa ・Ｄa ＋Ｃb ・Ｄb ）／（Ｃa ＋Ｃb ） （１７）
【数１８】 Ｅh ＝（Ｃa ・Ｅa ＋Ｃb ・Ｅb ）／（Ｃa ＋Ｃb ） （１８）
【００３６】次に、ステップ３１４において、カウンタ
値Ｃa とＣb が加算されて、合成入力データ及び合成教
師データＤh,Ｅh に対する合成カウンタ値（縮退頻度）
Ｃh が求められる。次に、ステップ３１６において、図
７の(c) に示すように、入力データ群（Ｄ1,…，Ｄn,Ｄ
n+1 ）において、入力データ（Ｄa,Ｄb ）が削除され、
加重平均により合成された合成入力データＤh が追加さ
れる。同様に、教師データ群（Ｅ1,…，Ｅn,Ｅn+1 ）に
おいて、教師データ（Ｅa,Ｅb ）が削除され、加重平均
により合成された合成教師データＥh が追加される。
又、その合成入力データ及び合成教師データＤh,Ｅh に
対応するカウンタ値は合成カウンタ値（縮退頻度）Ｃh
とされる。
値Ｃa とＣb が加算されて、合成入力データ及び合成教
師データＤh,Ｅh に対する合成カウンタ値（縮退頻度）
Ｃh が求められる。次に、ステップ３１６において、図
７の(c) に示すように、入力データ群（Ｄ1,…，Ｄn,Ｄ
n+1 ）において、入力データ（Ｄa,Ｄb ）が削除され、
加重平均により合成された合成入力データＤh が追加さ
れる。同様に、教師データ群（Ｅ1,…，Ｅn,Ｅn+1 ）に
おいて、教師データ（Ｅa,Ｅb ）が削除され、加重平均
により合成された合成教師データＥh が追加される。
又、その合成入力データ及び合成教師データＤh,Ｅh に
対応するカウンタ値は合成カウンタ値（縮退頻度）Ｃh
とされる。
【００３７】このようなデータベースの更新の結果、入
力データ数と教師データ数はｎ個であり、新しい入力デ
ータＤn+1 と新しい教師データＥn+1 が加わっても、デ
ータベースの大きさは変化しない。即ち、２つの入力デ
ータ（Ｄa,Ｄb ）は合成入力データＤhに縮退し、２つ
の教師データ（Ｅa,Ｅb ）は合成教師データＥh に縮退
したことになる。そして、カウンタ値（縮退頻度）Ｃh
は、それぞれの入力データＤa とＤb の現在までの縮退
頻度の和となる。例えば、２つの入力データが初めて縮
退する場合には、合成入力データの縮退頻度Ｃh は２と
なる。又、縮退頻度Ｃa が２の入力データと縮退頻度Ｃ
b が３の入力データが縮退すれば、合成入力データの縮
退頻度Ｃh は５となる。
力データ数と教師データ数はｎ個であり、新しい入力デ
ータＤn+1 と新しい教師データＥn+1 が加わっても、デ
ータベースの大きさは変化しない。即ち、２つの入力デ
ータ（Ｄa,Ｄb ）は合成入力データＤhに縮退し、２つ
の教師データ（Ｅa,Ｅb ）は合成教師データＥh に縮退
したことになる。そして、カウンタ値（縮退頻度）Ｃh
は、それぞれの入力データＤa とＤb の現在までの縮退
頻度の和となる。例えば、２つの入力データが初めて縮
退する場合には、合成入力データの縮退頻度Ｃh は２と
なる。又、縮退頻度Ｃa が２の入力データと縮退頻度Ｃ
b が３の入力データが縮退すれば、合成入力データの縮
退頻度Ｃh は５となる。
【００３８】続いて、図５に示す各ステップが実行され
る。ステップ４００では、ステップ３１６で全入力デー
タ及び教師データＤ，Ｅのカウント値（縮退頻度）Ｃi
が１／ｎだけ減算される。ここで、１／ｎは縮退頻度の
減少速度を意味する。即ち、縮退頻度Ｃi は、ｎ回のデ
ータの更新で１回も縮退しなければ、その間に縮退頻度
は１だけ減少する。ｎ個のデータを考える時、平均的に
は、ｎ回のデータ更新で各データは１回だけ縮退を生じ
ることになる。よって、この平均した縮退発生速度より
も縮退の発生速度が遅い場合には、そのデータは縮退頻
度が減少し、平均した縮退発生速度よりも縮退の発生速
度が速い場合には、そのデータの縮退頻度は増加する。
このような処理により、データベース全体の縮退頻度の
総和を常にｎに一定にすることができる。
る。ステップ４００では、ステップ３１６で全入力デー
タ及び教師データＤ，Ｅのカウント値（縮退頻度）Ｃi
が１／ｎだけ減算される。ここで、１／ｎは縮退頻度の
減少速度を意味する。即ち、縮退頻度Ｃi は、ｎ回のデ
ータの更新で１回も縮退しなければ、その間に縮退頻度
は１だけ減少する。ｎ個のデータを考える時、平均的に
は、ｎ回のデータ更新で各データは１回だけ縮退を生じ
ることになる。よって、この平均した縮退発生速度より
も縮退の発生速度が遅い場合には、そのデータは縮退頻
度が減少し、平均した縮退発生速度よりも縮退の発生速
度が速い場合には、そのデータの縮退頻度は増加する。
このような処理により、データベース全体の縮退頻度の
総和を常にｎに一定にすることができる。
【００３９】次に、ステップ４０２において、データベ
ースに記憶されている全データの中から、カウント値
（縮退頻度）Ｃi が０より大きいか否かが判定される。
そして、ステップ４０４において、縮退頻度が０以下と
なったデータがデータベースから削除される。更に、ス
テップ４０６において、データベースの全ての空き領域
に新規な入力データ及び教師データが記憶される。そし
て、ステップ４０８で新規な入力データ及び教師データ
のカウント値（縮退頻度）Ｃi は１に初期設定される。
ースに記憶されている全データの中から、カウント値
（縮退頻度）Ｃi が０より大きいか否かが判定される。
そして、ステップ４０４において、縮退頻度が０以下と
なったデータがデータベースから削除される。更に、ス
テップ４０６において、データベースの全ての空き領域
に新規な入力データ及び教師データが記憶される。そし
て、ステップ４０８で新規な入力データ及び教師データ
のカウント値（縮退頻度）Ｃi は１に初期設定される。
【００４０】尚、カウント値Ｃi の値によって、入力デ
ータ及び教師データを消去するのであるから、カウント
値Ｃi は、データが消去されるまでの残存寿命と考えら
れる。即ち、新規データはその後のｎ回のデータ更新に
おいて、縮退しなければ削除される。又、ｎ回のデータ
更新当り１回以上の縮退を起こすデータは残存寿命が増
加する。逆に、１回の縮退を起こすのに、ｎ回以上のデ
ータ更新が必要となるデータの残存寿命は減少する。
ータ及び教師データを消去するのであるから、カウント
値Ｃi は、データが消去されるまでの残存寿命と考えら
れる。即ち、新規データはその後のｎ回のデータ更新に
おいて、縮退しなければ削除される。又、ｎ回のデータ
更新当り１回以上の縮退を起こすデータは残存寿命が増
加する。逆に、１回の縮退を起こすのに、ｎ回以上のデ
ータ更新が必要となるデータの残存寿命は減少する。
【００４１】このようにして、ニューラルネットワーク
の使用の過程において、入力データ及び教師データが新
規に何回発生しても、データベースに蓄積される入力デ
ータと教師データはｎ組を越えることがない。しかも、
縮退頻度が小さいデータは、その時の学習させるべき事
象を代表していないことになる。よって、縮退頻度が小
さいデータをデータベースから削除することで、そのデ
ータベースをその時の学習させるべき事象をより良く代
表したデータの集合とすることが可能である。
の使用の過程において、入力データ及び教師データが新
規に何回発生しても、データベースに蓄積される入力デ
ータと教師データはｎ組を越えることがない。しかも、
縮退頻度が小さいデータは、その時の学習させるべき事
象を代表していないことになる。よって、縮退頻度が小
さいデータをデータベースから削除することで、そのデ
ータベースをその時の学習させるべき事象をより良く代
表したデータの集合とすることが可能である。
【００４２】このデータベースに蓄積されたｎ組の入力
データ群Ｄと教師データ群Ｅとを用いて、上述した、図
３のフローチャートに従って、ニューラルネットワーク
の更新学習が実行される。ただし、（８）式におけるTj
は、ある教師データＥm の第j 成分ｅmjのことである。
また、教師データＥm に関する学習の時、（１０）式及
び（１２）式における係数P は、次式で与えられる。
データ群Ｄと教師データ群Ｅとを用いて、上述した、図
３のフローチャートに従って、ニューラルネットワーク
の更新学習が実行される。ただし、（８）式におけるTj
は、ある教師データＥm の第j 成分ｅmjのことである。
また、教師データＥm に関する学習の時、（１０）式及
び（１２）式における係数P は、次式で与えられる。
【数１９】 P＝α・Ｃm （１９） 但し、αは係数、βは正の定数、Ｃm は教師データＥm
のカウント値（縮退頻度）である。この係数P が大きい
程、その教師データＥm に対する誤差が同一ならば、結
合係数の変化量は大きくなる。即ち、縮退頻度の大きい
教師データ程、学習感度、あるいは収束速度が大きいと
言える。このように、縮退頻度に応じた感度で結合係数
を学習させることで、縮退頻度の大きな教師データに基
づく学習効果を高めることができる。
のカウント値（縮退頻度）である。この係数P が大きい
程、その教師データＥm に対する誤差が同一ならば、結
合係数の変化量は大きくなる。即ち、縮退頻度の大きい
教師データ程、学習感度、あるいは収束速度が大きいと
言える。このように、縮退頻度に応じた感度で結合係数
を学習させることで、縮退頻度の大きな教師データに基
づく学習効果を高めることができる。
【００４２】このように、ｎ個の入力データ及び教師デ
ータに１つの入力データ及び教師データが付け加えられ
る場合には、入力データにおいて最も類似度の高い２つ
の入力データの組と、その入力データの組に対応した教
師データの組が消去されて、１つの合成入力データ及び
合成教師データに縮退される。したがって、更新された
データベースのｎ個の入力データは、現段階で最も離散
的な入力データの集合となり、入力データ及び教師デー
タの数をｎ個に固定した状態で、ニューラルネットワー
クの幅広い入力事象に対する効果的な学習が可能とな
る。
ータに１つの入力データ及び教師データが付け加えられ
る場合には、入力データにおいて最も類似度の高い２つ
の入力データの組と、その入力データの組に対応した教
師データの組が消去されて、１つの合成入力データ及び
合成教師データに縮退される。したがって、更新された
データベースのｎ個の入力データは、現段階で最も離散
的な入力データの集合となり、入力データ及び教師デー
タの数をｎ個に固定した状態で、ニューラルネットワー
クの幅広い入力事象に対する効果的な学習が可能とな
る。
【００４３】しかも、合成入力データ及び合成教師デー
タは、２つのデータを、それぞれのデータに関する縮退
頻度で重み付けて加重平均して求めているので、縮退頻
度の大きい入力データの成分が合成データの成分に大き
く反映される。即ち、ある入力データの現在の縮退頻度
（カウント値）は、現段階までにおいて縮退されてしま
い、結局、その入力データに姿を代えてしまった入力デ
ータの数を表している。従って、縮退頻度で重み付けて
加重平均をとることは、過去の縮退された入力データの
特性が全くデータベースから削除されるのではなく、頂
点に立つ合成入力データに反映されていることを意味し
ている。更に、各教師データの縮退頻度に応じて学習感
度を変化させていることから、縮退頻度の大きい教師デ
ータ程学習効果が高い。従って、ｎ組の入力データと教
師データとを用いてニューラルネットワークを学習させ
ことは、新規に発生する入力データ及び教師データを全
て蓄積した入力データと教師データで、ニューラルネッ
トワークを学習させるのと、ほぼ等価となる。
タは、２つのデータを、それぞれのデータに関する縮退
頻度で重み付けて加重平均して求めているので、縮退頻
度の大きい入力データの成分が合成データの成分に大き
く反映される。即ち、ある入力データの現在の縮退頻度
（カウント値）は、現段階までにおいて縮退されてしま
い、結局、その入力データに姿を代えてしまった入力デ
ータの数を表している。従って、縮退頻度で重み付けて
加重平均をとることは、過去の縮退された入力データの
特性が全くデータベースから削除されるのではなく、頂
点に立つ合成入力データに反映されていることを意味し
ている。更に、各教師データの縮退頻度に応じて学習感
度を変化させていることから、縮退頻度の大きい教師デ
ータ程学習効果が高い。従って、ｎ組の入力データと教
師データとを用いてニューラルネットワークを学習させ
ことは、新規に発生する入力データ及び教師データを全
て蓄積した入力データと教師データで、ニューラルネッ
トワークを学習させるのと、ほぼ等価となる。
【００４４】尚、上記実施例においては、類似度Ｚpqを
入力データＤp と入力データＤq 間の距離で定義した
が、他に、クラスタリング手法で用いられている各種の
類似度を用いても良い。又、上記の実施例では、ｎ個の
データ組を記憶できる容量のデータベースから１組のデ
ータを記憶できる空き領域を作成させるようにしてい
る。しかし、更新学習に新規に使用される入力データ及
び教師データの組数が複数の場合には、入力データ間の
類似度の高い組から順に、必要な組数だけ入力データ及
び教師データを縮退させるようにしてもよい。又、上記
実施例では、縮退頻度が平均値より小さいデータを消去
させて、データベースの世代交代を図っている。しか
し、その他に、縮退頻度の分布関数（正規関数）を求め
て、（平均値−標準偏差）以下の縮退頻度を持つデータ
を削除するという方法も採用できる。又、縮退頻度の他
に、直接、縮退回数を計数して、その縮退回数の正規分
布を同様に演算することにより、縮退回数の相対的に低
いデータを削除するようにしても良い。又、上記実施例
では、（１０）式及び（１２）式の係数P を教師データ
の縮退頻度に比例させて変化させているが、この係数P
と縮退頻度との関係は任意の関数で設定しても良い。更
に、結合係数の補正量を縮退頻度が多い程、大きくする
ように補正するれば良いので、（１０）式及び（１２）
式の係数Q を縮退頻度が多い程小さい値にするようにし
ても良い。
入力データＤp と入力データＤq 間の距離で定義した
が、他に、クラスタリング手法で用いられている各種の
類似度を用いても良い。又、上記の実施例では、ｎ個の
データ組を記憶できる容量のデータベースから１組のデ
ータを記憶できる空き領域を作成させるようにしてい
る。しかし、更新学習に新規に使用される入力データ及
び教師データの組数が複数の場合には、入力データ間の
類似度の高い組から順に、必要な組数だけ入力データ及
び教師データを縮退させるようにしてもよい。又、上記
実施例では、縮退頻度が平均値より小さいデータを消去
させて、データベースの世代交代を図っている。しか
し、その他に、縮退頻度の分布関数（正規関数）を求め
て、（平均値−標準偏差）以下の縮退頻度を持つデータ
を削除するという方法も採用できる。又、縮退頻度の他
に、直接、縮退回数を計数して、その縮退回数の正規分
布を同様に演算することにより、縮退回数の相対的に低
いデータを削除するようにしても良い。又、上記実施例
では、（１０）式及び（１２）式の係数P を教師データ
の縮退頻度に比例させて変化させているが、この係数P
と縮退頻度との関係は任意の関数で設定しても良い。更
に、結合係数の補正量を縮退頻度が多い程、大きくする
ように補正するれば良いので、（１０）式及び（１２）
式の係数Q を縮退頻度が多い程小さい値にするようにし
ても良い。
【図１】本発明の具体的な実施例に係るニューラルネッ
トワークの構成を示した構成図。
トワークの構成を示した構成図。
【図２】同実施例に係るニューラルネットワークの演算
手順を示したフローチャート。
手順を示したフローチャート。
【図３】同実施例に係るニューラルネットワークの学習
手順を示したフローチャート。
手順を示したフローチャート。
【図４】同実施例に係るニューラルネットワークの更新
学習に用いられる入力データ及び教師データを有するデ
ータベースの更新手順を示したフローチャート。
学習に用いられる入力データ及び教師データを有するデ
ータベースの更新手順を示したフローチャート。
【図５】同実施例に係るニューラルネットワークの更新
学習に用いられる入力データ及び教師データを有するデ
ータベースの更新手順を示したフローチャート。
学習に用いられる入力データ及び教師データを有するデ
ータベースの更新手順を示したフローチャート。
【図６】同実施例に係るニューラルネットワークの更新
学習に用いられるデータベースをデータ構成を示した構
成図。
学習に用いられるデータベースをデータ構成を示した構
成図。
【図７】同実施例に係るニューラルネットワークの更新
学習に用いられるデータベースの更新手順の概念を示し
た説明図。
学習に用いられるデータベースの更新手順の概念を示し
た説明図。
１０…ニューラルネットワーク ＬI …入力層 ＬM …中間層 Ｌo …出力層
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−184668（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/00 G06G 7/60 ＪＩＣＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)
Claims (1)
- 【請求項１】 入力データとそれに対応する教師データ
とを蓄積したデータベースを更新させつつ、その更新さ
れたデータベースを用いてニューラルネットワークを学
習させる方法において、前記入力データの中から任意に
選択された２つの入力データで構成される組の全てに対
して、その２つの入力データが相互に類似している程度
を表す類似度を演算し、前記類似度の最も高い組の２つ
の入力データを、その２つの入力データに基づいて１つ
の入力データに縮退させ、さらに、その２つの入力デー
タに対応する２つの教師データを、その２つの教師デー
タに基づいて１つの教師データに縮退させ、縮退によっ
て生じた前記入力データ又は前記教師データの縮退回数
を、縮退させられた２つのデータの過去の縮退回数に基
づいて演算し、その縮退回数を前記入力データ又は前記
教師データ毎に記憶し、前記入力データ又は前記教師デ
ータの有する前記縮退回数に応じて、縮退回数の相対的
に少ない入力データ及び教師データを前記データベース
から削除して、前記データベースに蓄積される前記入力
データ及び前記教師データの量が所定量を越えないよう
に制御して、前記ニューラルネットワークを逐次学習さ
せることを特徴とする学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09004091A JP3203674B2 (ja) | 1991-03-27 | 1991-03-27 | ニューラルネットワークの学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09004091A JP3203674B2 (ja) | 1991-03-27 | 1991-03-27 | ニューラルネットワークの学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04299444A JPH04299444A (ja) | 1992-10-22 |
| JP3203674B2 true JP3203674B2 (ja) | 2001-08-27 |
Family
ID=13987540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09004091A Expired - Lifetime JP3203674B2 (ja) | 1991-03-27 | 1991-03-27 | ニューラルネットワークの学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3203674B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7396117B2 (ja) * | 2020-02-27 | 2023-12-12 | オムロン株式会社 | モデル更新装置、方法、及びプログラム |
-
1991
- 1991-03-27 JP JP09004091A patent/JP3203674B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04299444A (ja) | 1992-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Incremental quantile estimation for massive tracking | |
| Tay et al. | Artificial Intelligence and the Mass Appraisal ofResidential Apartments | |
| Huang et al. | Inference in belief networks: A procedural guide | |
| JP6787444B1 (ja) | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム | |
| CN110162692A (zh) | 用户标签确定方法、装置、计算机设备和存储介质 | |
| Baudin et al. | Fictitious play and best-response dynamics in identical interest and zero-sum stochastic games | |
| CN115964568A (zh) | 一种基于边缘缓存的个性化推荐方法 | |
| Otto et al. | Modeling imprecision in product design | |
| CN113744023B (zh) | 一种基于图卷积网络的双通道协同过滤推荐方法 | |
| JP3203674B2 (ja) | ニューラルネットワークの学習方法 | |
| Chen et al. | Dynamic bandits with an auto-regressive temporal structure | |
| CN112784909B (zh) | 基于自注意力机制和自适应子网络的图像分类识别方法 | |
| JP2862337B2 (ja) | ニューラルネットワークの構築方法 | |
| CN116701781A (zh) | 一种基于图卷积神经网络的物品同质图邻域聚合推荐算法 | |
| CN117194771A (zh) | 一种图模型表征学习的动态知识图谱服务推荐方法 | |
| JP3203675B2 (ja) | ニューラルネットワークの学習方法 | |
| Adam | On the relation between robust and Bayesian decision making | |
| JP2907486B2 (ja) | ニューラルネットワーク装置 | |
| CN114817758A (zh) | 一种基于nsgc-gru集成模型的推荐系统方法 | |
| JP3236635B2 (ja) | ニューラルネットワークの学習方法 | |
| JP2002042107A (ja) | ニューラルネットワークの学習方法 | |
| JP3232595B2 (ja) | ニューラルネットワークの学習データ記憶装置 | |
| JP3284972B2 (ja) | 情報フィルタリング方法及び方式 | |
| Hoda et al. | A gradient-based approach for computing Nash equilibria of large sequential games | |
| Kalouptsidis et al. | Classification methods for random utility models with iid disturbances under the most probable alternative rule |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080629 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090629 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 9 |