JP2606317B2 - 学習処理装置 - Google Patents
学習処理装置Info
- Publication number
- JP2606317B2 JP2606317B2 JP63235441A JP23544188A JP2606317B2 JP 2606317 B2 JP2606317 B2 JP 2606317B2 JP 63235441 A JP63235441 A JP 63235441A JP 23544188 A JP23544188 A JP 23544188A JP 2606317 B2 JP2606317 B2 JP 2606317B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- layer
- units
- learning processing
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【発明の詳細な説明】 Ａ 産業上の利用分野 本発明は、それぞれニューロンに対応する信号処理を
行う複数のユニットにて構成された所謂ニューラルネッ
トワーク（Neural Network:神経回路網）を用いた信号
処理部に対して、バックプロパゲーション（Back propa
gation:逆伝播）学習則に従った学習処理を施す学習処
理装置に関する。
行う複数のユニットにて構成された所謂ニューラルネッ
トワーク（Neural Network:神経回路網）を用いた信号
処理部に対して、バックプロパゲーション（Back propa
gation:逆伝播）学習則に従った学習処理を施す学習処
理装置に関する。
Ｂ 発明の概要 本発明は、ニューラルネットワークによる信号処理部
に対してバックプロパゲーション学習則に従った学習処
理を行う学習処理装置において、中間層のユニットの数
を増加させながら結合の強さの係数の学習処理を行うこ
とにより、学習処理過程における局所的最小値状態を回
避できるようにしたものである。
に対してバックプロパゲーション学習則に従った学習処
理を行う学習処理装置において、中間層のユニットの数
を増加させながら結合の強さの係数の学習処理を行うこ
とにより、学習処理過程における局所的最小値状態を回
避できるようにしたものである。
Ｃ 従来の技術 ニューラルネットワークの学習アルゴリズムであるバ
ックプロパゲーション学習則『「Parallel Distributed
Processing」Vol.1 The MIT Press 1986や日経エレク
トロニクス1987年８月10日号,No.427.pp115−124等参
照』は、第８図に示すように、入力層（31）と出力層
（33）の間に中間層（32）を有する多層構造のニューラ
ルネットワークに適用され、高速画像処理やパターン認
識等の各種の信号処理への応用が試みられている。
ックプロパゲーション学習則『「Parallel Distributed
Processing」Vol.1 The MIT Press 1986や日経エレク
トロニクス1987年８月10日号,No.427.pp115−124等参
照』は、第８図に示すように、入力層（31）と出力層
（33）の間に中間層（32）を有する多層構造のニューラ
ルネットワークに適用され、高速画像処理やパターン認
識等の各種の信号処理への応用が試みられている。
すなわち、第８図に示すように、このニューラルネッ
トワークを構成する各ユニット（uj）は、ユニット
（ui）からユニット（uj）への結合係数wjiで結合され
るユニット（ui）の出力値oiの総和netjを例えばsigmoi
d関数などの所定の関数ｆで変換された値ojを出力す
る。すなわち、パターンｐの値が入力層の各ユニット
（uj）に入力値としてそれぞれ供給されたとき、中間層
および出力層の各ユニット（uj）の出力値opjは、 なる第１式で表される。
トワークを構成する各ユニット（uj）は、ユニット
（ui）からユニット（uj）への結合係数wjiで結合され
るユニット（ui）の出力値oiの総和netjを例えばsigmoi
d関数などの所定の関数ｆで変換された値ojを出力す
る。すなわち、パターンｐの値が入力層の各ユニット
（uj）に入力値としてそれぞれ供給されたとき、中間層
および出力層の各ユニット（uj）の出力値opjは、 なる第１式で表される。
そして、入力層（31）から出力層（33）へ向かって、
各ニューロンに対応するユニット（uj）の出力値を順次
計算していくことで、上記出力層（33）のユニット
（uj）の出力値opjが得られる。
各ニューロンに対応するユニット（uj）の出力値を順次
計算していくことで、上記出力層（33）のユニット
（uj）の出力値opjが得られる。
バックプロパゲーション学習アルゴリズムにおいて
は、パターンｐを与えたときの、出力層（33）の各ユニ
ット（uj）の実際の出力値opjと望ましい出力値tpjすな
わち教師信号との二乗誤差の総和Ep を極小化するように、結合係数wjiを変える学習処理を
出力層（33）から入力層（31）へ向かって順次に行うこ
とにより、教師信号の値tpjに最も近い出力値opjが上記
出力層（33）のユニット（uj）から出力されるようにな
る。
は、パターンｐを与えたときの、出力層（33）の各ユニ
ット（uj）の実際の出力値opjと望ましい出力値tpjすな
わち教師信号との二乗誤差の総和Ep を極小化するように、結合係数wjiを変える学習処理を
出力層（33）から入力層（31）へ向かって順次に行うこ
とにより、教師信号の値tpjに最も近い出力値opjが上記
出力層（33）のユニット（uj）から出力されるようにな
る。
そして、二乗誤差の総和Epを小さくする結合係数wji
の変化量Δwjiを、 Δwji∝−∂Ep/∂wji ……第３式 と決めると、上記第３式は、 Δwji＝η・δpj・opi ……第４式 に変形することができる（この過程は上述の文献を参
照）。
の変化量Δwjiを、 Δwji∝−∂Ep/∂wji ……第３式 と決めると、上記第３式は、 Δwji＝η・δpj・opi ……第４式 に変形することができる（この過程は上述の文献を参
照）。
ここで、ηは学習レート（定数）で、ユニットの数や
層の数さらには入出力の値等から経験的に決定される。
また、δpjはユニット（ui）のもつ誤差値である。
層の数さらには入出力の値等から経験的に決定される。
また、δpjはユニット（ui）のもつ誤差値である。
従って、上記変化量Δwjiを決定するためには、上記
誤差値δpjをネットワークの出力層から入力層に向かっ
て逆向きに求めていけば良い。出力層のユニット（uj）
の誤差値δpjは、 δpj＝（tpj−opj）ｆ′ｊ（netj） ……第５式 なる第５式で与えられ、中間層のユニット（uj）の誤差
値δpjは、そのユニット（uj）が結合されている各ユニ
ット（uk）（この例では出力値の各ユニット）の結合係
数wkjおよび誤差値δpkを用いて、 なる再帰関数にて計算される（上記第５式および第６式
を求める過程は上述の文献を参照）。
誤差値δpjをネットワークの出力層から入力層に向かっ
て逆向きに求めていけば良い。出力層のユニット（uj）
の誤差値δpjは、 δpj＝（tpj−opj）ｆ′ｊ（netj） ……第５式 なる第５式で与えられ、中間層のユニット（uj）の誤差
値δpjは、そのユニット（uj）が結合されている各ユニ
ット（uk）（この例では出力値の各ユニット）の結合係
数wkjおよび誤差値δpkを用いて、 なる再帰関数にて計算される（上記第５式および第６式
を求める過程は上述の文献を参照）。
なお、上記ｆ′ｊ（netj）は、出力関数fj（netj）の
微分値である。
微分値である。
そして、変化量Δwjiは、上記第５式および第６式の
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 Δwji(n+1)＝η・δpj・opi＋α・Δwji(n) ……第７式 なる第７式にて求めることで、より安定した結果が得ら
れる。なお、αはエラーの振動を減らし、収束を速める
ための安定化定数である。
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 Δwji(n+1)＝η・δpj・opi＋α・Δwji(n) ……第７式 なる第７式にて求めることで、より安定した結果が得ら
れる。なお、αはエラーの振動を減らし、収束を速める
ための安定化定数である。
そして、この学習を繰り返し行い、出力値opjと教師
信号の値tpjとの二乗誤差の総和Epが十分に小さくなっ
た時点で学習を完了するようにしていた。
信号の値tpjとの二乗誤差の総和Epが十分に小さくなっ
た時点で学習を完了するようにしていた。
Ｄ 発明が解決しようとする課題 ところで、上述の如き多層型のニューラルネットワー
クに対するバックプロパゲーション学習則に従った学習
処理は、機能面で高い能力が期待できるのであるが、学
習処理過程において最適最小値（global minimum）に達
することなく、局所的最小値（local minimum）状態に
陥り、二乗誤差の総和EPが十分に小さくならないことが
多々ある。
クに対するバックプロパゲーション学習則に従った学習
処理は、機能面で高い能力が期待できるのであるが、学
習処理過程において最適最小値（global minimum）に達
することなく、局所的最小値（local minimum）状態に
陥り、二乗誤差の総和EPが十分に小さくならないことが
多々ある。
従来、上記局所的最小値状態に陥った場合には、初期
値や学習レートηを変えて学習処理を繰り返し行うこと
により、最適最小値状態を見つけるようにしていたの
で、従来の学習処理装置では、学習処理時間が極めて長
く、しかも、変動が大きいという問題点があった。
値や学習レートηを変えて学習処理を繰り返し行うこと
により、最適最小値状態を見つけるようにしていたの
で、従来の学習処理装置では、学習処理時間が極めて長
く、しかも、変動が大きいという問題点があった。
そこで、本発明は、上述の如き従来の実情に鑑み、ニ
ューラルネットワークによる信号処理部に対してバック
プロパゲーション学習則に従った学習処理を施す学習処
理装置において、学習処理過程における局所的最小値状
態を効率良く回避して、安定に且つ高速に最適最小値状
態に収束できるようにすることを目的とし、中間層のユ
ニットを増加させながら学習処理を行うようにした新規
な構成の学習処理装置を提供するものである。
ューラルネットワークによる信号処理部に対してバック
プロパゲーション学習則に従った学習処理を施す学習処
理装置において、学習処理過程における局所的最小値状
態を効率良く回避して、安定に且つ高速に最適最小値状
態に収束できるようにすることを目的とし、中間層のユ
ニットを増加させながら学習処理を行うようにした新規
な構成の学習処理装置を提供するものである。
Ｅ 課題を解決するための手段 本発明は、上述の目的を達成するために、それぞれニ
ューロンに対応する信号処理を行う複数のユニットにて
構成された入力層、中間層および出力層を備える信号処
理部と、上記入力層に入力される入力信号パターンに対
する上記出力層の出力値と教師信号として与えられる所
望の出力値との誤差情報に基づいて上記各ユニットの間
の結合の強さの係数を上記出力層側から上記入力層側に
向かって順次に繰り返し計算し、上記結合の強さの係数
の学習処理を行う学習処理部とを備えて成る学習処理装
置において、上記結合の強さの係数の学習処理過程にお
いて上記中間層のユニットの数を増加させる制御手段を
上記学習処理部に設け、上記学習処理部にて上記中間層
のユニットの数を増加させながら上記結合の強さの係数
の学習処理を行うようにしたことを特徴としている。
ューロンに対応する信号処理を行う複数のユニットにて
構成された入力層、中間層および出力層を備える信号処
理部と、上記入力層に入力される入力信号パターンに対
する上記出力層の出力値と教師信号として与えられる所
望の出力値との誤差情報に基づいて上記各ユニットの間
の結合の強さの係数を上記出力層側から上記入力層側に
向かって順次に繰り返し計算し、上記結合の強さの係数
の学習処理を行う学習処理部とを備えて成る学習処理装
置において、上記結合の強さの係数の学習処理過程にお
いて上記中間層のユニットの数を増加させる制御手段を
上記学習処理部に設け、上記学習処理部にて上記中間層
のユニットの数を増加させながら上記結合の強さの係数
の学習処理を行うようにしたことを特徴としている。
Ｆ 作用 本発明に係る学習処理装置では、学習処理部にて中間
層のユニットの数を増加させながら結合の強さの係数の
学習処理を行うことにより、バックプロパゲーション学
習則に従った学習処理過程における局所的最小値状態を
回避して最適最小値状態に確実に収束する学習処理を行
う。
層のユニットの数を増加させながら結合の強さの係数の
学習処理を行うことにより、バックプロパゲーション学
習則に従った学習処理過程における局所的最小値状態を
回避して最適最小値状態に確実に収束する学習処理を行
う。
Ｇ 実施例 以下、本発明の実施例について、図面を参照しながら
詳細に説明する。
詳細に説明する。
本発明に係る学習処理装置は、第１図にその原理的な
構成を示してあるように、それぞれニューロンに対応す
る信号処理を行う複数のユニットにて構成された少なく
とも入力層（11）、中間層（12）および出力層（13）を
備える３層構造のニューラルネットにて構成された信号
処理部（10）と、上記信号処理部（10）の上記入力層
（11）に入力される入力信号パターンｐに対する上記出
力層の出力値と教師信tpjとして与えられる所望の出力
値opjとの誤差情報δpjに基づいて上記各ユニットの間
の結合の強さの係数wjiを上記出力層（13）側から上記
入力層（11）側に向かって順次に繰り返し計算し、バッ
クプロッパゲーション学習則に従って上記結合係数wji
を学習する学習処理を上記信号処理部（10）に施す学習
処理部（20）とを備えて成る。
構成を示してあるように、それぞれニューロンに対応す
る信号処理を行う複数のユニットにて構成された少なく
とも入力層（11）、中間層（12）および出力層（13）を
備える３層構造のニューラルネットにて構成された信号
処理部（10）と、上記信号処理部（10）の上記入力層
（11）に入力される入力信号パターンｐに対する上記出
力層の出力値と教師信tpjとして与えられる所望の出力
値opjとの誤差情報δpjに基づいて上記各ユニットの間
の結合の強さの係数wjiを上記出力層（13）側から上記
入力層（11）側に向かって順次に繰り返し計算し、バッ
クプロッパゲーション学習則に従って上記結合係数wji
を学習する学習処理を上記信号処理部（10）に施す学習
処理部（20）とを備えて成る。
上記学習処理部（20）は、上記信号処理部（10）の上
記中間層（12）のユニットの数を増加させながら上記結
合係数wjiの学習処理を行うもので、上記結合係数wjiの
学習処理過程において上記中間層（12）のユニットの数
を増加させる制御機能を有し、例えば第２図Ａに示すよ
うに、それぞれニューロンに対応する任意の個数x,y,z
のユニット（uI1〜uIx），（uH1〜uHy），（uO1〜uOz）
にて構成された入力層（11）、中間層（12）および出力
層（13）を有する信号処理部（10）に対して、第２図Ｂ
に示すように、上記中間層（12）のユニットの数をｙ個
から（ｙ＋ｍ）個に順次に増加させながら、上記結合係
数wjiの学習処理を行う。
記中間層（12）のユニットの数を増加させながら上記結
合係数wjiの学習処理を行うもので、上記結合係数wjiの
学習処理過程において上記中間層（12）のユニットの数
を増加させる制御機能を有し、例えば第２図Ａに示すよ
うに、それぞれニューロンに対応する任意の個数x,y,z
のユニット（uI1〜uIx），（uH1〜uHy），（uO1〜uOz）
にて構成された入力層（11）、中間層（12）および出力
層（13）を有する信号処理部（10）に対して、第２図Ｂ
に示すように、上記中間層（12）のユニットの数をｙ個
から（ｙ＋ｍ）個に順次に増加させながら、上記結合係
数wjiの学習処理を行う。
ここで、上記中間層（12）のユニットの数を増加させ
る制御は、上記結合係数wjiの学習処理過程において定
期的に行っても良く、また、上記局所的最小値状態の発
生を検出する毎に行うようにしても良い。
る制御は、上記結合係数wjiの学習処理過程において定
期的に行っても良く、また、上記局所的最小値状態の発
生を検出する毎に行うようにしても良い。
上記結合係数wjiの学習処理過程において上記中間層
（12）のユニットの数を増加させる制御機能を有する上
記学習処理部（20）は、入力層（11）、中間層（12）お
よび出力層（13）を備える３層構造のニューラルネット
にて構成された信号処理部（10）に対して、上記信号処
理部（10）の上記中間層（12）のユニットの数を増加さ
せながら上記結合係数wjiの学習処理を行うことによ
り、上記結合係数wjiの学習処理過程において局所的最
小値状態が発生した場合にも、上記中間層（12）のユニ
ットの増加によって上記局所的最小値状態から抜け出し
て、最適最小値状態に迅速に且つ確実に収束する学習処
理を行うことができる。
（12）のユニットの数を増加させる制御機能を有する上
記学習処理部（20）は、入力層（11）、中間層（12）お
よび出力層（13）を備える３層構造のニューラルネット
にて構成された信号処理部（10）に対して、上記信号処
理部（10）の上記中間層（12）のユニットの数を増加さ
せながら上記結合係数wjiの学習処理を行うことによ
り、上記結合係数wjiの学習処理過程において局所的最
小値状態が発生した場合にも、上記中間層（12）のユニ
ットの増加によって上記局所的最小値状態から抜け出し
て、最適最小値状態に迅速に且つ確実に収束する学習処
理を行うことができる。
このように上記結合係数wjiの学習処理過程において
上記中間層のユニットの数を増加させる制御機能を有す
る上記学習処理部（20）にて、例えば、第３図に示すよ
うに、それぞれニューロンに対応する任意の個数x,y,z
のユニット（uI1〜uIx），（uH1〜uHy），（uO1〜uOz）
にて構成された入力層（LI）と中間層（LH）と出力層
（LO）の３層構造のニューラルネットワークにて構成さ
れ、上記中間層（LH）および出力層（LO）の各ユニット
（uH1〜uHy），（uO1〜uOz）は、それぞれ遅延手段を備
え、その出力値oj(t)を上記遅延手段を介して自己の入
力とするループ（LP）および他のユニットの入力とする
フィードバック（FB）を含むリカレント回路網を構成し
た信号処理部（100）について、入力層（LI）のユニッ
ト数を８個（ｘ＝８）、出力層（LO）のユニットを３個
（ｚ＝３）、各層の遅延手段の数を２とし、学習時の入
力信号パターンｐとしてｌ＝８×７の時空間パターンを
21個用いて、第４図のフローチャートに示す処理アルゴ
リズムにて、中間層（LH）のユニット数を３個（ｙ＝
３）から学習を開始し、学習処理過程において上記中間
層（LH）のユニットを追加する実験を繰り返し行ったと
ころ、上記中間層（LH）のユニットを３〜５回追加する
ことにより、全ての学習処理実験において、局所的最小
値状態に陥ることなく、最適最小値状態に収束する実験
結果が得られた。
上記中間層のユニットの数を増加させる制御機能を有す
る上記学習処理部（20）にて、例えば、第３図に示すよ
うに、それぞれニューロンに対応する任意の個数x,y,z
のユニット（uI1〜uIx），（uH1〜uHy），（uO1〜uOz）
にて構成された入力層（LI）と中間層（LH）と出力層
（LO）の３層構造のニューラルネットワークにて構成さ
れ、上記中間層（LH）および出力層（LO）の各ユニット
（uH1〜uHy），（uO1〜uOz）は、それぞれ遅延手段を備
え、その出力値oj(t)を上記遅延手段を介して自己の入
力とするループ（LP）および他のユニットの入力とする
フィードバック（FB）を含むリカレント回路網を構成し
た信号処理部（100）について、入力層（LI）のユニッ
ト数を８個（ｘ＝８）、出力層（LO）のユニットを３個
（ｚ＝３）、各層の遅延手段の数を２とし、学習時の入
力信号パターンｐとしてｌ＝８×７の時空間パターンを
21個用いて、第４図のフローチャートに示す処理アルゴ
リズムにて、中間層（LH）のユニット数を３個（ｙ＝
３）から学習を開始し、学習処理過程において上記中間
層（LH）のユニットを追加する実験を繰り返し行ったと
ころ、上記中間層（LH）のユニットを３〜５回追加する
ことにより、全ての学習処理実験において、局所的最小
値状態に陥ることなく、最適最小値状態に収束する実験
結果が得られた。
第５図は、上記実験の結果の１例を示しており、同図
中に矢印を付して示すタイミングで上記中間層（LH）の
ユニットを追加して、上記中間層（LH）のユニットを３
個から６個に増加させることにより、最適最小値状態に
収束する学習処理を行うことができた実験結果を示して
いる。なお、第５図において、縦軸は二乗誤差の総和LM
Sを示し、横軸は学習処理の回数を示している。
中に矢印を付して示すタイミングで上記中間層（LH）の
ユニットを追加して、上記中間層（LH）のユニットを３
個から６個に増加させることにより、最適最小値状態に
収束する学習処理を行うことができた実験結果を示して
いる。なお、第５図において、縦軸は二乗誤差の総和LM
Sを示し、横軸は学習処理の回数を示している。
ここで、上記第４図のフローチャートに示す処理アル
ゴリズムについて説明する。
ゴリズムについて説明する。
この処理アルゴリズムでは、先ず、ステップ１におい
て、局所的最小値状態を検出するための処理回数を示す
変化Ｋを０に初期設定するとともに、学習処理の収束条
件を判断するための第１の変数Lmsを1000000000に初期
設定する。
て、局所的最小値状態を検出するための処理回数を示す
変化Ｋを０に初期設定するとともに、学習処理の収束条
件を判断するための第１の変数Lmsを1000000000に初期
設定する。
次のステップ２にて全学習パターンすなわちｌ個の入
力信号パターンｐの学習回数を示す変数ｎを０に初期設
定してから、ステップ３に移ってｌ個の入力信号パター
ンｐの学習処理を行う。
力信号パターンｐの学習回数を示す変数ｎを０に初期設
定してから、ステップ３に移ってｌ個の入力信号パター
ンｐの学習処理を行う。
次のステップ４では、上記学習回数を示す変数ｎの判
定を行い、ｎ＝３でない場合にはステップ５に移ってｎ
＝ｎ＋１として上記ステップ３に戻って上記学習処理を
繰り返し行い、ｎ＝３になるとステップ６に移る。
定を行い、ｎ＝３でない場合にはステップ５に移ってｎ
＝ｎ＋１として上記ステップ３に戻って上記学習処理を
繰り返し行い、ｎ＝３になるとステップ６に移る。
上記ステップ６では、学習処理の収束条件を判断する
ための第２の変数Lms（−１）の値として上記第１の変
数Lmsの値を保持してから、各ユニットにおける教師信
号と出力信号との二乗誤差の総和を第８式にて算出し、
この値を上記第１の変数Lmsの新たな値とする。
ための第２の変数Lms（−１）の値として上記第１の変
数Lmsの値を保持してから、各ユニットにおける教師信
号と出力信号との二乗誤差の総和を第８式にて算出し、
この値を上記第１の変数Lmsの新たな値とする。
次のステップ７では、上記学習処理の収束条件を判断
するための上記第１の変数Lmsと第２の変数Lms（−１）
との比較を行い、上記第１の変数Lmsの値が上記第２の
変数Lms（−１）の値よりも小さい場合にはステップ８
に移って局所的最小値状態を検出するための処理回数を
示す上記変数Ｋが０であるか否かの判定を行う。
するための上記第１の変数Lmsと第２の変数Lms（−１）
との比較を行い、上記第１の変数Lmsの値が上記第２の
変数Lms（−１）の値よりも小さい場合にはステップ８
に移って局所的最小値状態を検出するための処理回数を
示す上記変数Ｋが０であるか否かの判定を行う。
上記ステップ８において、上記変数Ｋが０である場合
には上記ステップ２に直接戻り、また、上記変数Ｋが０
でない場合にはステップ９においてＫ＝Ｋ＋１としてか
ら上記ステップ２に戻ってｎ＝０にして、上述のｌ個の
入力信号パターンｐの学習処理を上記ステップ３にて行
う。
には上記ステップ２に直接戻り、また、上記変数Ｋが０
でない場合にはステップ９においてＫ＝Ｋ＋１としてか
ら上記ステップ２に戻ってｎ＝０にして、上述のｌ個の
入力信号パターンｐの学習処理を上記ステップ３にて行
う。
また、上記ステップ７において、上記第１の変数Lms
の値が上記第２の変数Lms（−１）の値よりも大きい場
合にはステップ10に移って局所的最小値状態を検出する
ための処理回数を示す上記変数Ｋの値をＫ＝Ｋ＋１とし
てからステップ11にて上記変数Ｋの値が２であるか否か
の判定を行う。
の値が上記第２の変数Lms（−１）の値よりも大きい場
合にはステップ10に移って局所的最小値状態を検出する
ための処理回数を示す上記変数Ｋの値をＫ＝Ｋ＋１とし
てからステップ11にて上記変数Ｋの値が２であるか否か
の判定を行う。
上記ステップ11において上記変数Ｋの値が２でない場
合には上記ステップ２に直接戻り、また、上記変数Ｋが
２である場合には局所的最小値状態に陥っていると判断
してステップ12において上記中間層（LH）のユニットを
追加する制御を行い、さらに、ステップ13にてＫ＝０と
してから上記ステップ２に戻ってｎ＝０にして、上述の
ｌ個の入力信号パターンｐの学習処理を上記ステップ３
にて行う。
合には上記ステップ２に直接戻り、また、上記変数Ｋが
２である場合には局所的最小値状態に陥っていると判断
してステップ12において上記中間層（LH）のユニットを
追加する制御を行い、さらに、ステップ13にてＫ＝０と
してから上記ステップ２に戻ってｎ＝０にして、上述の
ｌ個の入力信号パターンｐの学習処理を上記ステップ３
にて行う。
なお、上記第３図に示した上記信号処理部（100）に
おいて、上記入力層（L1）の各ユニット（uI1〜uIx）に
入力される入力信号パターンｐに対して、上記中間層
（LH）の各ユニット（uH1〜uHy）は、その入力の総和ne
tjが、 なる第９式にて与えられ、この入力の総和netjに対し
て、 なる第10式のsigmoid関数にて示される出力値oHj(t)を
与える。
おいて、上記入力層（L1）の各ユニット（uI1〜uIx）に
入力される入力信号パターンｐに対して、上記中間層
（LH）の各ユニット（uH1〜uHy）は、その入力の総和ne
tjが、 なる第９式にて与えられ、この入力の総和netjに対し
て、 なる第10式のsigmoid関数にて示される出力値oHj(t)を
与える。
さらに、上記出力層（LO）の各ユニット（uO1〜uOz）
は、その入力の総和netjが、 なる第11式にて与えられ、この入力の総和netjに対し
て、 なる第12式にて示される出力値oOj(t)を与える。
は、その入力の総和netjが、 なる第11式にて与えられ、この入力の総和netjに対し
て、 なる第12式にて示される出力値oOj(t)を与える。
ここで、上記θｊはしきい値、NI,NH,NOは、上記各層
（LI），（LH），（LO）の遅延手段の数をそれぞれ示し
ている。
（LI），（LH），（LO）の遅延手段の数をそれぞれ示し
ている。
Ｈ 比較例 〔比較例１〕 上記第３図に示した信号処理部（100）について、上
記中間層（LH）のユニット数を６個（ｙ＝６）に固定し
て、学習処理実験を行ったところ、最適最小値状態に収
束させるのに学習処理を極めて多数回繰り返す必要があ
り多大な時間を要するばかりでなく、８回の学習処理実
験で３回は最適最小値状態に収束することなく局所的最
小値状態に陥るという実験結果が得られた。
記中間層（LH）のユニット数を６個（ｙ＝６）に固定し
て、学習処理実験を行ったところ、最適最小値状態に収
束させるのに学習処理を極めて多数回繰り返す必要があ
り多大な時間を要するばかりでなく、８回の学習処理実
験で３回は最適最小値状態に収束することなく局所的最
小値状態に陥るという実験結果が得られた。
ここで、この比較例１における学習処理実験で、局所
的最小値状態に陥ってしまった場合の実験結果の１例を
第６図に示してある。
的最小値状態に陥ってしまった場合の実験結果の１例を
第６図に示してある。
なお、第６図において、縦軸は二乗誤差の総和LMSを
示し、横軸は学習処理の回数を示している。
示し、横軸は学習処理の回数を示している。
〔比較例２〕 上記第３図に示した信号処理部（100）について、上
記中間層（LH）のユニット数を３個（ｙ＝３）に固定し
て、学習処理実験を30回行ったところ、第７図に示す実
験結果の１例のように、全ての学習処理実験において最
適最小値状態に収束することなく局所的最小値状態に陥
るという実験結果が得られた。
記中間層（LH）のユニット数を３個（ｙ＝３）に固定し
て、学習処理実験を30回行ったところ、第７図に示す実
験結果の１例のように、全ての学習処理実験において最
適最小値状態に収束することなく局所的最小値状態に陥
るという実験結果が得られた。
なお、第７図においても、縦軸は二乗誤差の総和LMS
を示し、横軸は学習処理の回数を示している。
を示し、横軸は学習処理の回数を示している。
Ｉ 発明の効果 本発明に係る学習処理装置では、学習処理部にて中間
層のユニットの数を増加させながら結合の強さの係数の
学習処理を行うことにより、バックプロパゲーション学
習則に従った学習処理過程における局所的最小値状態を
回避して最適最小値状態に迅速且つ確実に収束する安定
した学習処理を行うことができる。
層のユニットの数を増加させながら結合の強さの係数の
学習処理を行うことにより、バックプロパゲーション学
習則に従った学習処理過程における局所的最小値状態を
回避して最適最小値状態に迅速且つ確実に収束する安定
した学習処理を行うことができる。
第１図は本発明に係る学習処理装置の構成を概念的に示
すブロック図、第２図Ａおよび第２図Ｂは上記学習処理
装置による学習処理過程における学習処理開始時および
学習処理途中の信号処理部の状態を示す模式図、第３図
は本発明に係る学習処理装置にて学習処理を施した信号
処理部のニューラルネットワークの構成を示す模式図、
第４図は上記学習処理装置を構成する学習処理部による
学習処理過程をの１例を示すフローチャート、第５図は
上記学習処理部による学習処理実験の結果の１例を示す
特性線図、第６図は上記第３図に示した信号処理部のニ
ューラルネットワークの中間層のユニット数を６個に固
定して学習処理実験を行った結果を示す比較例１の特性
線図、第７図は上記第３図に示した信号処理部のニュー
ラルネットワークの中間層のユニット数を３個に固定し
て学習処理実験を行った結果を示す比較例２の特性線
図、第８図はバックプロッパゲーション学習則の適用さ
れるニューラルネットワークの一般的な構成を示す模式
図である。 （10），（100）……信号処理部 （20）……学習処理部 （LI）……入力層 （LH）……中間層 （LO）……出力層 （uI1〜uIx），（uH1〜uHy），（uO1〜uOz）……ユニッ
ト
すブロック図、第２図Ａおよび第２図Ｂは上記学習処理
装置による学習処理過程における学習処理開始時および
学習処理途中の信号処理部の状態を示す模式図、第３図
は本発明に係る学習処理装置にて学習処理を施した信号
処理部のニューラルネットワークの構成を示す模式図、
第４図は上記学習処理装置を構成する学習処理部による
学習処理過程をの１例を示すフローチャート、第５図は
上記学習処理部による学習処理実験の結果の１例を示す
特性線図、第６図は上記第３図に示した信号処理部のニ
ューラルネットワークの中間層のユニット数を６個に固
定して学習処理実験を行った結果を示す比較例１の特性
線図、第７図は上記第３図に示した信号処理部のニュー
ラルネットワークの中間層のユニット数を３個に固定し
て学習処理実験を行った結果を示す比較例２の特性線
図、第８図はバックプロッパゲーション学習則の適用さ
れるニューラルネットワークの一般的な構成を示す模式
図である。 （10），（100）……信号処理部 （20）……学習処理部 （LI）……入力層 （LH）……中間層 （LO）……出力層 （uI1〜uIx），（uH1〜uHy），（uO1〜uOz）……ユニッ
ト
Claims (1)
- 【請求項１】それぞれニューロンに対応する信号処理を
行う複数のユニットにて構成された入力層、中間層およ
び出力層を備える信号処理部と、上記入力層に入力され
る入力信号パターンに対する上記出力層の出力値と教師
信号として与えられる所望の出力値との誤差情報に基づ
いて上記各ユニットの間の結合の強さの係数を上記出力
層側から上記入力層側に向かって順次に繰り返し計算
し、上記結合の強さの係数の学習処理を行う学習処理部
とを備えて成る学習処理装置において、 上記結合の強さの係数の学習処理過程において上記中間
層のユニットの数を増加させる制御手段を上記学習処理
部に設け、 上記学習処理部にて上記中間層のユニットの数を増加さ
せながら上記結合の強さの係数の学習処理を行うように
したことを特徴とする学習処理装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63235441A JP2606317B2 (ja) | 1988-09-20 | 1988-09-20 | 学習処理装置 |
| US07/406,733 US5093899A (en) | 1988-09-17 | 1989-09-13 | Neural network with normalized learning constant for high-speed stable learning |
| DE68924822T DE68924822T2 (de) | 1988-09-17 | 1989-09-15 | Signalverarbeitungssystem und Lernverarbeitungssystem. |
| DE68929102T DE68929102T2 (de) | 1988-09-17 | 1989-09-15 | Lernverarbeitungssystem |
| EP94107842A EP0612033B1 (en) | 1988-09-17 | 1989-09-15 | learning processing system |
| EP89402544A EP0360674B1 (en) | 1988-09-17 | 1989-09-15 | Signal processing system and learning processing system |
| US07/727,871 US5129039A (en) | 1988-09-17 | 1991-07-10 | Recurrent neural network with variable size intermediate layer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63235441A JP2606317B2 (ja) | 1988-09-20 | 1988-09-20 | 学習処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0283656A JPH0283656A (ja) | 1990-03-23 |
| JP2606317B2 true JP2606317B2 (ja) | 1997-04-30 |
Family
ID=16986159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63235441A Expired - Lifetime JP2606317B2 (ja) | 1988-09-17 | 1988-09-20 | 学習処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2606317B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10403122B2 (en) | 2005-12-23 | 2019-09-03 | Invue Security Products Inc. | Programmable security system and method for protecting merchandise |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR920002268A (ko) * | 1990-07-17 | 1992-02-28 | 유끼노리 가까즈 | 인텔리젠트가공장치 |
| US10634081B2 (en) | 2018-02-05 | 2020-04-28 | Toyota Jidosha Kabushiki Kaisha | Control device of internal combustion engine |
| CN110352297B (zh) | 2018-02-05 | 2020-09-15 | 丰田自动车株式会社 | 机器学习装置 |
-
1988
- 1988-09-20 JP JP63235441A patent/JP2606317B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10403122B2 (en) | 2005-12-23 | 2019-09-03 | Invue Security Products Inc. | Programmable security system and method for protecting merchandise |
| US10600313B2 (en) | 2005-12-23 | 2020-03-24 | Invue Security Products Inc. | Programmable security system and method for protecting merchandise |
| US11721198B2 (en) | 2005-12-23 | 2023-08-08 | Invue Security Products Inc. | Programmable security system and method for protecting merchandise |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0283656A (ja) | 1990-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0612033B1 (en) | learning processing system | |
| EP0454037B1 (en) | Neural network for processing a plurality of informations and learning method | |
| JP2763398B2 (ja) | パターン認識装置 | |
| JP2606317B2 (ja) | 学習処理装置 | |
| JPH07282168A (ja) | カオスリカレント神経回路網とその学習方法 | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JP2825939B2 (ja) | ニューラルネットワーク学習装置 | |
| JP3168204B2 (ja) | ネットワーク構成データ処理装置 | |
| JP2699447B2 (ja) | 信号処理装置 | |
| JP2540654B2 (ja) | ニュ―ラルネットワ―クの学習装置 | |
| JPH01114899A (ja) | ダイナミックなニューラルネットワーク | |
| JPH0635510A (ja) | ニューラルネットワークを用いたモデル規範型適応制御装置 | |
| JPH07104848B2 (ja) | ニューラルネットの学習効率化方法 | |
| JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
| JPH06231106A (ja) | リカレント型ニューラルネットワーク学習方法及び装置 | |
| Patan | Training of the dynamic neural networks via constrained optimisation | |
| JP3271186B2 (ja) | 学習処理装置 | |
| JPH04275690A (ja) | 文字認識装置及び方法 | |
| JPH0991264A (ja) | ニューラルネットワーク構造最適化装置ならびに方法 | |
| JPH0467256A (ja) | ニューラルネットワークの学習方式 | |
| JPH11338845A (ja) | ニューラルネットワークの学習方法および文字認識装置 | |
| JPH05324598A (ja) | ニューラル・ネットワーク学習装置における学習方式 | |
| JP2877413B2 (ja) | 余剰ニューロン決定処理方式 | |
| JPH01173257A (ja) | ネットワーク構成データ処理装置 | |
| JP3073031B2 (ja) | ニューラルネットワーク学習装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080213 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090213 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090213 Year of fee payment: 12 |