JPH1173405A - 神経回路網型逐次学習方法、神経回路網型逐次学習装置および神経回路網型逐次学習プログラムを記録した記録媒体 - Google Patents
神経回路網型逐次学習方法、神経回路網型逐次学習装置および神経回路網型逐次学習プログラムを記録した記録媒体Info
- Publication number
- JPH1173405A JPH1173405A JP23153897A JP23153897A JPH1173405A JP H1173405 A JPH1173405 A JP H1173405A JP 23153897 A JP23153897 A JP 23153897A JP 23153897 A JP23153897 A JP 23153897A JP H1173405 A JPH1173405 A JP H1173405A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- neural network
- data
- type sequential
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Complex Calculations (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 神経回路網型逐次学習機械において、学習後
の誤差関数の２階行列の固有ベクトルを慣性項へ効果的
に変換して、有効に忘却を抑止する。 【解決手段】 学習部での学習後の誤差関数の２階層微
分行列の固有値・固有ベクトルを計算する手段、該計算
された固有値によって固有ベクトルを選択して格納する
手段、該固有値・固有ベクトルと次の学習データから得
られる勾配を用いて慣性項を計算する手段を設ける。学
習部では、この慣性項を用いて、与えられた入出力デー
タに合うように、神経回路網内の重みを修正する。
の誤差関数の２階行列の固有ベクトルを慣性項へ効果的
に変換して、有効に忘却を抑止する。 【解決手段】 学習部での学習後の誤差関数の２階層微
分行列の固有値・固有ベクトルを計算する手段、該計算
された固有値によって固有ベクトルを選択して格納する
手段、該固有値・固有ベクトルと次の学習データから得
られる勾配を用いて慣性項を計算する手段を設ける。学
習部では、この慣性項を用いて、与えられた入出力デー
タに合うように、神経回路網内の重みを修正する。
Description
【０００１】
【発明の属する技術分野】本発明は、人工神経回路網に
おいて、与えられたデータを逐次に学習する神経回路網
型逐次学習方法および装置、さらには神経回路網型逐次
学習プログラムを記録した記録媒体に関するものであ
る。
おいて、与えられたデータを逐次に学習する神経回路網
型逐次学習方法および装置、さらには神経回路網型逐次
学習プログラムを記録した記録媒体に関するものであ
る。
【０００２】
【従来の技術】従来の神経回路網型逐次学習機械は、一
般に入力されるデータから時間的に近傍のデータをある
数だけ格納し、それらを用いて学習を行なっている。こ
の時、用いられなくなったデータに関しては、逐次型学
習装置から忘れ去られる現象が起こる。この忘れ去られ
る現象を回避するための方法としては、学習後の重みだ
けを格納し、次の学習時に格納しておいた重みを用いる
ことによって、忘却を抑制することが考えられるが、こ
の方法は、限られた学習対象のみに効果的に働き、より
汎用的な方法論として確立されていない。
般に入力されるデータから時間的に近傍のデータをある
数だけ格納し、それらを用いて学習を行なっている。こ
の時、用いられなくなったデータに関しては、逐次型学
習装置から忘れ去られる現象が起こる。この忘れ去られ
る現象を回避するための方法としては、学習後の重みだ
けを格納し、次の学習時に格納しておいた重みを用いる
ことによって、忘却を抑制することが考えられるが、こ
の方法は、限られた学習対象のみに効果的に働き、より
汎用的な方法論として確立されていない。
【０００３】
【発明が解決しようとする課題】このため、本出願人
は、先に特願平９−４１５０号として、学習後の誤差関
数の２階行列の固有ベクトルを誤差逆伝搬法の慣性項に
代入する方法を提案した。しかし、この方法は、固有ベ
クトルを慣性項に変換する効果的な方法がなく、より良
い効果が得られない場合がある。
は、先に特願平９−４１５０号として、学習後の誤差関
数の２階行列の固有ベクトルを誤差逆伝搬法の慣性項に
代入する方法を提案した。しかし、この方法は、固有ベ
クトルを慣性項に変換する効果的な方法がなく、より良
い効果が得られない場合がある。
【０００４】本発明の目的は、従来の神経回路網型逐次
学習機械において、忘却の影響を抑制する際、固有ベク
トルを慣性項へ変換する効果的な新しい手法を提供する
ことにある。
学習機械において、忘却の影響を抑制する際、固有ベク
トルを慣性項へ変換する効果的な新しい手法を提供する
ことにある。
【０００５】
【課題を解決するための手段】本発明における学習の処
理とは、与えられた入出力データに合うように、神経回
路網内の重みを修正することをさす。本発明は、この神
経回路網内の重みを修正する神経回路網型逐次学習にお
いて、学習後の誤差関数の２階微分行列の固有値・固有
ベクトルを計算し、固有値によって固有ベクトルを選択
して格納し、その固有値・固有べクトルと次の学習デー
タから得られる勾配を用いて慣性項を計算し、その慣性
項を用いて、与えられたデータを学習することを主要な
特徴とするものである。
理とは、与えられた入出力データに合うように、神経回
路網内の重みを修正することをさす。本発明は、この神
経回路網内の重みを修正する神経回路網型逐次学習にお
いて、学習後の誤差関数の２階微分行列の固有値・固有
ベクトルを計算し、固有値によって固有ベクトルを選択
して格納し、その固有値・固有べクトルと次の学習デー
タから得られる勾配を用いて慣性項を計算し、その慣性
項を用いて、与えられたデータを学習することを主要な
特徴とするものである。
【０００６】
【発明の実施の形態】以下、本発明の実施形態を図面に
より詳細に説明する。図１は、本発明の一実施の形態の
神経回路網型逐次学習装置の構成図である。図１におい
て、１は学習するデータを入力する入力部、２は入力部
１の入力データを格納するデータ格納部、３はデータ格
納部２で格納されているデータを学習する学習部、４は
学習部３の学習後の誤差関数の２階微分行列の固有値・
固有ベクトルを計算する固有値・固有ベクトル計算部、
５は固有値・固有ベクトル計算部４で計算された固有値
・固有ベクトルを選別し、格納する固定値・固有ベクト
ル格納部、６は固定値・固有ベクトル格納部５に格納さ
れている固有値・固有ベクトルと次の学習データの勾配
から、慣性項を計算（変換）する変換部、７は学習部３
での学習した結果を出力する出力部、８は全体を制御す
る制御部である。
より詳細に説明する。図１は、本発明の一実施の形態の
神経回路網型逐次学習装置の構成図である。図１におい
て、１は学習するデータを入力する入力部、２は入力部
１の入力データを格納するデータ格納部、３はデータ格
納部２で格納されているデータを学習する学習部、４は
学習部３の学習後の誤差関数の２階微分行列の固有値・
固有ベクトルを計算する固有値・固有ベクトル計算部、
５は固有値・固有ベクトル計算部４で計算された固有値
・固有ベクトルを選別し、格納する固定値・固有ベクト
ル格納部、６は固定値・固有ベクトル格納部５に格納さ
れている固有値・固有ベクトルと次の学習データの勾配
から、慣性項を計算（変換）する変換部、７は学習部３
での学習した結果を出力する出力部、８は全体を制御す
る制御部である。
【０００７】本神経回路網型逐次学習装置の動作概要
は、以下の通りである。入力部１において入力されたデ
ータが、データ格納部２で格納される。該データ格納部
２では、格納しておけるデータ数に制限があるので、時
間的に近傍である数に制限し格納する。学習部３におい
て学習（神経回路網内の重みの修正）が行なわれたの
ち、固有値・固有ベクトル計算部４で誤差関数の２階微
分行列（ヘシアン行列）の固有値・固有ベクトルを計算
し、固有値によって固有ベクトルを選択して固有値・固
有ベクトル格納部５に格納する。次の学習データが与え
られた時、変換部５において、学習データの誤差関数の
勾配と格納されている固有ベクトルから慣性項を計算す
る。
は、以下の通りである。入力部１において入力されたデ
ータが、データ格納部２で格納される。該データ格納部
２では、格納しておけるデータ数に制限があるので、時
間的に近傍である数に制限し格納する。学習部３におい
て学習（神経回路網内の重みの修正）が行なわれたの
ち、固有値・固有ベクトル計算部４で誤差関数の２階微
分行列（ヘシアン行列）の固有値・固有ベクトルを計算
し、固有値によって固有ベクトルを選択して固有値・固
有ベクトル格納部５に格納する。次の学習データが与え
られた時、変換部５において、学習データの誤差関数の
勾配と格納されている固有ベクトルから慣性項を計算す
る。
【０００８】ここで、学習部３の動作について、一つ前
の過去の学習データを考慮する場合を例に以下に詳述す
る。
の過去の学習データを考慮する場合を例に以下に詳述す
る。
【０００９】学習部３は、図２のような入力層、中間
層、出力層からなる多層の人工の神経回路網で構成され
る。層内は、多入力一出力の人工神経ユニットで構成さ
れる。この人工神経回路網は、人工神経ユニット間の重
みとして、与えられる入力と出力の関係を学習する。
層、出力層からなる多層の人工の神経回路網で構成され
る。層内は、多入力一出力の人工神経ユニットで構成さ
れる。この人工神経回路網は、人工神経ユニット間の重
みとして、与えられる入力と出力の関係を学習する。
【００１０】いま、データ格納部２において格納されて
いるデータを
いるデータを
【００１１】
【外１】
【００１２】とする。人工神経回路網の入出力関係を
【００１３】
【数１】
【００１４】で表すと、人工神経回路網の出力と与えら
れたデータの誤差関数Ｅは、次の式（１）で表される。
れたデータの誤差関数Ｅは、次の式（１）で表される。
【００１５】
【数２】
【００１６】従来の誤差逆伝搬法などで修正される重み
の修正量は、次の式（２）で表される（例えば、Ｄ.Ｅ.
Ｒumelhart，Ｇ.Ｅ.Ｈinton and Ｒ.Ｊ.Ｗilliams（１
９８６）．“Ｌearnig internal representations by e
rror propagation，”inＰarallel ｄistributed ｐroc
essing：Ｅxplorations in the Ｍicrostructureof Ｃo
gnition，Ｖol．１，Ｄ.Ｅ.Ｒumelhard and Ｊ.Ｌ.ＭcC
lelland（eds）ＭＩＴ Ｐress Ｃambridge ＭＡ．参
照）。
の修正量は、次の式（２）で表される（例えば、Ｄ.Ｅ.
Ｒumelhart，Ｇ.Ｅ.Ｈinton and Ｒ.Ｊ.Ｗilliams（１
９８６）．“Ｌearnig internal representations by e
rror propagation，”inＰarallel ｄistributed ｐroc
essing：Ｅxplorations in the Ｍicrostructureof Ｃo
gnition，Ｖol．１，Ｄ.Ｅ.Ｒumelhard and Ｊ.Ｌ.ＭcC
lelland（eds）ＭＩＴ Ｐress Ｃambridge ＭＡ．参
照）。
【００１７】
【数３】
【００１８】ここで、
【００１９】
【外２】
【００２０】は慣性項と呼ばれる。
【００２１】学習は式（２）を繰り返し行ない、式
（１）と、
（１）と、
【００２２】
【外３】
【００２３】がある条件を満たした時に終了する。
【００２４】この学習後、固有値・固有ベクトル計算部
４において、誤差関数式（１）の重みによるへシアン行
列を求め、その行列の固有値μiと固有ベクトル
４において、誤差関数式（１）の重みによるへシアン行
列を求め、その行列の固有値μiと固有ベクトル
【００２５】
【外４】
【００２６】を求める。そして、固有値の大きい固有ベ
クトルを固有値・固有ベクトル格納部５へ格納する。
クトルを固有値・固有ベクトル格納部５へ格納する。
【００２７】次の学習時に、式（２）の第一項
【００２８】
【外５】
【００２９】を計算する。その
【００３０】
【外６】
【００３１】と固有値・固有ベクトル格納部５に格納さ
れている固有ベクトル
れている固有ベクトル
【００３２】
【外７】
【００３３】を用いて、変換部６において、慣性項を次
の式（３）にしたがって計算する。式（３）中、λはあ
る定数である。
の式（３）にしたがって計算する。式（３）中、λはあ
る定数である。
【００３４】
【数４】
【００３５】学習終了後に、出力が知りたいデータを人
工神経回路網へ入力し、出力を調べる。さらに、学習デ
ータが入力されれば、上記を繰り返す。
工神経回路網へ入力し、出力を調べる。さらに、学習デ
ータが入力されれば、上記を繰り返す。
【００３６】図３に、本実施形態における一連の処理フ
ローチャートを示す。図３において、特に太線で囲った
処理３１０、３２０が本実施形態で特徴とする処理であ
る。
ローチャートを示す。図３において、特に太線で囲った
処理３１０、３２０が本実施形態で特徴とする処理であ
る。
【００３７】なお、図３の処理フローチャートは神経回
路網型逐次学習プログラムとして、ＦＤ若しくはＣＤ−
ＲＯＭ等の記録媒体にコンピュータで読み取り可能な形
式で記録し、販売することが可能である。
路網型逐次学習プログラムとして、ＦＤ若しくはＣＤ−
ＲＯＭ等の記録媒体にコンピュータで読み取り可能な形
式で記録し、販売することが可能である。
【００３８】
【発明の効果】以上説明したように、本発明によれば、
与えられた入出力データに合うように、神経回路網内の
重みを修正する神経回路網型逐次学習において、誤差関
数の２階微分行列の固有ベクトル・固有値と、次の学習
データの誤差関数の勾配から慣性項を計算し、学習でき
る。このことによって、有効に忘却の影響を抑制でき
る。具体的には、本発明は、逐次にデータが入力される
ようなオンライン学習・予測などの装置に効果的に用い
ることができ、気象、交通、株価予測など幅広い応用が
考えられる。
与えられた入出力データに合うように、神経回路網内の
重みを修正する神経回路網型逐次学習において、誤差関
数の２階微分行列の固有ベクトル・固有値と、次の学習
データの誤差関数の勾配から慣性項を計算し、学習でき
る。このことによって、有効に忘却の影響を抑制でき
る。具体的には、本発明は、逐次にデータが入力される
ようなオンライン学習・予測などの装置に効果的に用い
ることができ、気象、交通、株価予測など幅広い応用が
考えられる。
【図１】本発明の実施形態を示す神経回路網型逐次学習
型装置の構成図である。
型装置の構成図である。
【図２】学習部の多層人工神経回路網の構成例を示す図
である。
である。
【図３】図１の全体の処理フローチャートの一例であ
る。
る。
１ 入力部 ２ データ格納部 ３ 学習部 ４ 固有値・固有ベクトル計算部 ５ 固有値・固有ベクトル格納部 ６ 変換部 ７ 出力部 ８ 制御部
Claims (3)
- 【請求項１】 与えられた入出力データに合うように、
神経回路網内の重みを修正する神経回路網型逐次学習方
法であって、 学習後の誤差関数の２階微分行列の固有値・固有ベクト
ルを計算し、固有値によって固有ベクトルを選択して格
納し、その固有値・固有べクトルと次の学習データから
得られる勾配を用いて慣性項を計算し、その慣性項を用
いて、与えられたデータを学習することを特徴とする神
経回路網型逐次学習方法。 - 【請求項２】 与えられた入出力データに合うように、
神経回路網内の重みを修正する（以下、これを学習と呼
ぶ）神経回路網型逐次学習装置において、 学習するデータの入力と出力の組を入力する入力手段
と、 前記入力手段の入力データを格納するデータ格納手段
と、 前記データ格納手段で格納されているデータを学習する
学習手段と、 前記学習手段の学習後の誤差関数の２階微分行列の固有
値・固有ベクトルを計算する計算手段と、 前記計算手段で計算された固有値・固有ベクトルを選別
し、格納する固有値・固有ベクトル格納手段と、 前記固有値・固有ベクトル格納手段に格納されている固
有値・固有ベクトルと次の学習データの勾配から、慣性
項へ変換して学習手段へ出力する手段と、 前記学習手段による学習結果を出力する出力手段と、 前記各手段を制御する制御手段と、からなることを特徴
とする神経回路網型逐次学習装置。 - 【請求項３】 与えられた入出力データに合うように、
神経回路網内の重みを修正するための神経回路網型逐次
学習プログラムを記録したコンピュータ読み取り可能な
記録媒体であって、 学習するデータを入力するプロセスと、 前記入力されたデータを格納するプロセスと、 前記格納されている入力データを人工神経回路網に入力
して、出力値の誤差を計算し、重みを修正（学習）する
プロセスと、 学習後の誤差関数の２階微分行列の固有値・固有ベクト
ルを計算するプロセスと、 前記計算された固有値・固有ベクトルを選別して格納す
るプロセスと、 前記格納されている固有値・固有ベクトルと次の学習デ
ータの勾配から慣性項を計算するプロセスと、 学習した結果を出力するプロセスとを有することを特徴
とする神経回路網型逐次学習プログラムを記録した記録
媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23153897A JPH1173405A (ja) | 1997-08-27 | 1997-08-27 | 神経回路網型逐次学習方法、神経回路網型逐次学習装置および神経回路網型逐次学習プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23153897A JPH1173405A (ja) | 1997-08-27 | 1997-08-27 | 神経回路網型逐次学習方法、神経回路網型逐次学習装置および神経回路網型逐次学習プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1173405A true JPH1173405A (ja) | 1999-03-16 |
Family
ID=16925076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23153897A Pending JPH1173405A (ja) | 1997-08-27 | 1997-08-27 | 神経回路網型逐次学習方法、神経回路網型逐次学習装置および神経回路網型逐次学習プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1173405A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190028531A (ko) * | 2016-07-18 | 2019-03-18 | 딥마인드 테크놀로지스 리미티드 | 복수의 기계 학습 태스크에 대해 기계 학습 모델들을 훈련 |
-
1997
- 1997-08-27 JP JP23153897A patent/JPH1173405A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190028531A (ko) * | 2016-07-18 | 2019-03-18 | 딥마인드 테크놀로지스 리미티드 | 복수의 기계 학습 태스크에 대해 기계 학습 모델들을 훈련 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001236337A (ja) | ニューラルネットワークによる予測装置 | |
| JPH04262453A (ja) | ニュ−ロ学習制御方法及び装置 | |
| JP3214876B2 (ja) | ニューラルネットワークの構成方法およびニューラルネットワーク構築支援システム | |
| JPH1173405A (ja) | 神経回路網型逐次学習方法、神経回路網型逐次学習装置および神経回路網型逐次学習プログラムを記録した記録媒体 | |
| JP2968631B2 (ja) | 熱延プロセス制御方法 | |
| JP2825939B2 (ja) | ニューラルネットワーク学習装置 | |
| JPH0451384A (ja) | ニューラルネットワークの構築方法 | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JP2540654B2 (ja) | ニュ―ラルネットワ―クの学習装置 | |
| JPH10198646A (ja) | 神経回路網型逐次学習方法および装置 | |
| JPH05265509A (ja) | 学習制御装置 | |
| JP2929106B2 (ja) | ステレオマッチング方法及びその装置 | |
| JP3276035B2 (ja) | 神経回路網モデルの逐次型加速化学習方法 | |
| JPH11328143A (ja) | 神経回路網型学習装置の学習度計算方法、神経回路網型学習装置、および学習度計算プログラムを記録した記録媒体 | |
| JPH05128285A (ja) | ニユーロプロセツサ | |
| JP2979562B2 (ja) | 学習処理装置 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| JPH0618649B2 (ja) | 圧延機の圧下スケジュール設定方法 | |
| JP3273568B2 (ja) | 階層型ニューラルネットワークおよびその学習方法 | |
| JPH086916A (ja) | リカレント型ニューラルネットワーク学習方法及びその装置 | |
| Nikravesh et al. | Process control of nonlinear time variant processes via artificial neural network | |
| JPH0620048A (ja) | 画像処理装置 | |
| JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
| JPH08166934A (ja) | ニューラルネットワークを用いた関数生成装置 | |
| JPH1055347A (ja) | 神経回路網型逐次学習方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Effective date: 20040316 Free format text: JAPANESE INTERMEDIATE CODE: A02 |