JP2979562B2 - 学習処理装置 - Google Patents
学習処理装置Info
- Publication number
- JP2979562B2 JP2979562B2 JP1341824A JP34182489A JP2979562B2 JP 2979562 B2 JP2979562 B2 JP 2979562B2 JP 1341824 A JP1341824 A JP 1341824A JP 34182489 A JP34182489 A JP 34182489A JP 2979562 B2 JP2979562 B2 JP 2979562B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- value
- output
- layer
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 Ａ 産業上の利用分野 本発明は、それぞれニューロンに対応する信号処理を
行う複数のユニットにより構成される所謂ニューラルネ
ットワーク（Neural Network:神経回路網）を用いた信
号処理部に対して、バックプロパゲーション（Back pro
pagation:逆伝播）学習則に従った学習処理を施す学習
処理装置に関する。
行う複数のユニットにより構成される所謂ニューラルネ
ットワーク（Neural Network:神経回路網）を用いた信
号処理部に対して、バックプロパゲーション（Back pro
pagation:逆伝播）学習則に従った学習処理を施す学習
処理装置に関する。
Ｂ 発明の概要 本発明は、ニューラルネットワークによる信号処理部
に対してバックプロパゲーション学習則に従った学習処
理を行う学習処理装置において、ニューロンに対応する
信号処理を行う複数のユニットを入力値ｘと出力値ｙと
の関係を与える状態遷移関数ｆ（ｘ）にその遷移値近傍
の傾きを大きくするｘの１次関数ｇ（ｘ）を付加した ｙ＝ｆ（ｘ）＋ｇ（ｘ） なる出力値ｙを出力するようにすることによって、学習
処理時間の短縮を図ることができるようにしたものであ
る。
に対してバックプロパゲーション学習則に従った学習処
理を行う学習処理装置において、ニューロンに対応する
信号処理を行う複数のユニットを入力値ｘと出力値ｙと
の関係を与える状態遷移関数ｆ（ｘ）にその遷移値近傍
の傾きを大きくするｘの１次関数ｇ（ｘ）を付加した ｙ＝ｆ（ｘ）＋ｇ（ｘ） なる出力値ｙを出力するようにすることによって、学習
処理時間の短縮を図ることができるようにしたものであ
る。
Ｃ 従来の技術 ニューラルネットワークの学習アルゴリズムであるバ
ックプロパゲーション学習則『「Parallel Distributed
Processing」Vol.1 The MIT Press1986や日経エレクト
ロニクス1987年８月10日号,No.427.pp115−124等参照』
は、第３図に示すように、入力層（31）と出力層（33）
の間に中間層（32）を有する多層構造のニューラルネッ
トワークに適用され、高速画像処理やパターン認識等の
各種の信号処理への応用が試みられている。
ックプロパゲーション学習則『「Parallel Distributed
Processing」Vol.1 The MIT Press1986や日経エレクト
ロニクス1987年８月10日号,No.427.pp115−124等参照』
は、第３図に示すように、入力層（31）と出力層（33）
の間に中間層（32）を有する多層構造のニューラルネッ
トワークに適用され、高速画像処理やパターン認識等の
各種の信号処理への応用が試みられている。
すなわち、第３図に示すように、このニューラルネッ
トワークを構成する各ユニット（uj）は、ユニット
（ui）からユニット（uj）への結合係数wjiで結合され
るユニット（ui）の出力値oiの総和すなわち入力の総和
netjを例えばsigmoid関数などを用いた状態遷移関数ｆ
（netj）で変換した値ojを出力する。すなわち、パター
ンｐの値が入力層の各ユニット（uj）に入力値としてそ
れぞれ供給されたとき、中間層および出力層の各ユニッ
ト（uj）の出力値opjは、 なる第１式で表される。
トワークを構成する各ユニット（uj）は、ユニット
（ui）からユニット（uj）への結合係数wjiで結合され
るユニット（ui）の出力値oiの総和すなわち入力の総和
netjを例えばsigmoid関数などを用いた状態遷移関数ｆ
（netj）で変換した値ojを出力する。すなわち、パター
ンｐの値が入力層の各ユニット（uj）に入力値としてそ
れぞれ供給されたとき、中間層および出力層の各ユニッ
ト（uj）の出力値opjは、 なる第１式で表される。
そして、入力層（31）から出力層（33）へ向かって、
各ニューロンに対応するユニット（uj）の出力値を順次
計算していくことで、上記出力層（33）のユニット
（uj）の出力値opjが得られる。
各ニューロンに対応するユニット（uj）の出力値を順次
計算していくことで、上記出力層（33）のユニット
（uj）の出力値opjが得られる。
バックプロパゲーション学習アルゴリズムにおいて
は、パターンｐを与えたときの、出力層（33）の各ユニ
ット（uj）の実際の出力値opjと望ましい出力値tpjすな
わち教師信号との二乗誤差の総和Ep を極小化するように、結合係数wjiを変える学習処理を
出力層（33）から入力層（31）へ向かって順次に行うこ
とにより、教師信号の値tpjに最も近い出力値opjが上記
出力層（33）のユニット（uj）から出力されるようにな
る。
は、パターンｐを与えたときの、出力層（33）の各ユニ
ット（uj）の実際の出力値opjと望ましい出力値tpjすな
わち教師信号との二乗誤差の総和Ep を極小化するように、結合係数wjiを変える学習処理を
出力層（33）から入力層（31）へ向かって順次に行うこ
とにより、教師信号の値tpjに最も近い出力値opjが上記
出力層（33）のユニット（uj）から出力されるようにな
る。
そして、二乗誤差の総和Epを小さくする結合係数wji
の変化量Δwjiを、 Δwjiα−∂Ep/∂wji ……第３式 と決めると、上記第３式は、 Δwji＝η・δpj・opi ……第４式 に変形することができる（この過程は上述の文献を参
照）。
の変化量Δwjiを、 Δwjiα−∂Ep/∂wji ……第３式 と決めると、上記第３式は、 Δwji＝η・δpj・opi ……第４式 に変形することができる（この過程は上述の文献を参
照）。
ここで、ηは学習レート（定数）で、ユニットの数や
層の数さらには入出力の値等から経験的に決定される。
また、δpjはユニット（uj）のもつ誤差値である。
層の数さらには入出力の値等から経験的に決定される。
また、δpjはユニット（uj）のもつ誤差値である。
従って、上記変化量Δwjiを決定するためには、上記
誤差値δpjをネットワークの出力層から入力層に向かっ
て逆向きに求めていけば良い。出力層のユニット（uj）
の誤差値δpjは、 δpj＝（tpj−opj）ｆ′ｊ（netj） ……第５式 なる第５式で与えられ、中間層のユニット（uj）の誤差
値δpjは、そのユニット（uj）が結合されている各ユニ
ット（uk）（この例では出力層の各ユニット）の結合係
数wkjおよび誤差値δpkを用いて、 なる再帰関数により計算される（上記第５式および第６
式を求める過程は上述の文献を参照）。
誤差値δpjをネットワークの出力層から入力層に向かっ
て逆向きに求めていけば良い。出力層のユニット（uj）
の誤差値δpjは、 δpj＝（tpj−opj）ｆ′ｊ（netj） ……第５式 なる第５式で与えられ、中間層のユニット（uj）の誤差
値δpjは、そのユニット（uj）が結合されている各ユニ
ット（uk）（この例では出力層の各ユニット）の結合係
数wkjおよび誤差値δpkを用いて、 なる再帰関数により計算される（上記第５式および第６
式を求める過程は上述の文献を参照）。
なお、上記ｆ′ｊ（netj）は、状態遷移関数fj（ne
tj）の微分値である。
tj）の微分値である。
そして、変化量Δwjiは、上記第５式および第６式の
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 Δwji(n+1)＝η・δpj・opi＋α・Δwji(n) ……第７式 なる第７式により求めることで、より安定した結果が得
られる。なお、αはエラーの振動を減らし、収束を速め
るための安定化定数である。
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 Δwji(n+1)＝η・δpj・opi＋α・Δwji(n) ……第７式 なる第７式により求めることで、より安定した結果が得
られる。なお、αはエラーの振動を減らし、収束を速め
るための安定化定数である。
そして、この学習を繰り返し行い、出力値opjと教師
信号の値tpjとの二乗誤差の総和Epが十分に小さくなっ
た時点で学習を完了するようにしていた。
信号の値tpjとの二乗誤差の総和Epが十分に小さくなっ
た時点で学習を完了するようにしていた。
Ｄ 発明が解決しようとする課題 ところで、上述の如きバックプロパゲーション学習則
をニューラルネットワークに採用した学習処理装置にお
いて、各層のニューロンに対応するユニット（uj）のも
つ誤差値δpjを与える上記第５式や第６式における状態
遷移関数fj（netj）の微分値ｆ′ｊ（netj）は、学習が
進み出力値opjが教師信号の値tpjに近づくに従って小さ
くなる。従来、ニューロンに対応するユニットの数や層
数等から上述の学習定数ηを経験的に決定して、上述の
第７式を用いて一定の学習レートで学習処理を行ってい
たが、出力値opjが教師信号の値tpjに近づくに従って上
記第７式により算出される結合係数wjiの変化量Δwjiが
小さくなってしまい、上述の二乗誤差の総和Epを十分に
小さくして学習を終了するまでに要する学習の繰り返し
回数ｎが膨大な値になってしまい、効率の良い学習処理
を行うことができないという問題点があった。
をニューラルネットワークに採用した学習処理装置にお
いて、各層のニューロンに対応するユニット（uj）のも
つ誤差値δpjを与える上記第５式や第６式における状態
遷移関数fj（netj）の微分値ｆ′ｊ（netj）は、学習が
進み出力値opjが教師信号の値tpjに近づくに従って小さ
くなる。従来、ニューロンに対応するユニットの数や層
数等から上述の学習定数ηを経験的に決定して、上述の
第７式を用いて一定の学習レートで学習処理を行ってい
たが、出力値opjが教師信号の値tpjに近づくに従って上
記第７式により算出される結合係数wjiの変化量Δwjiが
小さくなってしまい、上述の二乗誤差の総和Epを十分に
小さくして学習を終了するまでに要する学習の繰り返し
回数ｎが膨大な値になってしまい、効率の良い学習処理
を行うことができないという問題点があった。
なお、学習時間を短縮するには、上記学習定数ηを大
きく設定すれば良いのであるが、エラー量が多く、且
つ、状態遷移関数fj（netj）の微分値ｆ′ｊ（netj）を
大きくする入力パターンが呈示された場合に、過度の補
正がなされてしまう。
きく設定すれば良いのであるが、エラー量が多く、且
つ、状態遷移関数fj（netj）の微分値ｆ′ｊ（netj）を
大きくする入力パターンが呈示された場合に、過度の補
正がなされてしまう。
そこで、本発明は、上述の如き従来の実情に鑑み、ニ
ューラルネットワークによる信号処理部に対してバック
プロパゲーション学習則に従った学習処理を施す学習処
理装置において、効率良く且つ確実に学習処理を行うこ
とができるようにすることを目的とする。
ューラルネットワークによる信号処理部に対してバック
プロパゲーション学習則に従った学習処理を施す学習処
理装置において、効率良く且つ確実に学習処理を行うこ
とができるようにすることを目的とする。
Ｅ 課題を解決するための手段 本発明に係る学習処理装置は、上述の目的を達成する
ために、入力値ｘと出力値ｙとの関係を与える状態遷移
関数ｆ（ｘ）にその遷移値近傍の傾きを大きくするｘの
１次関数ｇ（ｘ）を付加した ｙ＝ｆ（ｘ）＋ｇ（ｘ） ……第８式 なる出力値ｙを出力し、それぞれニューロンに対応する
信号処理を行う複数のユニットにより構成された入力
層、中間層および出力層を備える信号処理部と、上記入
力層に入力される入力信号パターンに対する上記出力層
の出力値と教師信号として与えられる所望の出力値との
誤差情報に基づいて上記各ユニットの間の結合の強さの
係数を上記出力層側から上記入力層側に向かって順次に
繰り返し計算し、上記結合の強さの係数の学習処理を行
う学習処理部とを備えて成る。
ために、入力値ｘと出力値ｙとの関係を与える状態遷移
関数ｆ（ｘ）にその遷移値近傍の傾きを大きくするｘの
１次関数ｇ（ｘ）を付加した ｙ＝ｆ（ｘ）＋ｇ（ｘ） ……第８式 なる出力値ｙを出力し、それぞれニューロンに対応する
信号処理を行う複数のユニットにより構成された入力
層、中間層および出力層を備える信号処理部と、上記入
力層に入力される入力信号パターンに対する上記出力層
の出力値と教師信号として与えられる所望の出力値との
誤差情報に基づいて上記各ユニットの間の結合の強さの
係数を上記出力層側から上記入力層側に向かって順次に
繰り返し計算し、上記結合の強さの係数の学習処理を行
う学習処理部とを備えて成る。
Ｆ 作用 本発明に係る学習処理装置では、それぞれ入力ｘに対
して上記値第８式で示される出力値ｙを出力する信号処
理を行う複数のユニットにより構成された入力層、中間
層および出力層を備える信号処理部に対して、上記入力
層に入力される入力信号パターンに対する上記出力層の
出力値と教師信号として与えられる所望の出力値との誤
差情報に基づいて上記各ユニットの間の結合の強さの係
数を上記出力層側から上記入力層側に向かって順次に繰
り返し計算し、上記結合の強さの係数の学習処理を学習
処理部により行う。
して上記値第８式で示される出力値ｙを出力する信号処
理を行う複数のユニットにより構成された入力層、中間
層および出力層を備える信号処理部に対して、上記入力
層に入力される入力信号パターンに対する上記出力層の
出力値と教師信号として与えられる所望の出力値との誤
差情報に基づいて上記各ユニットの間の結合の強さの係
数を上記出力層側から上記入力層側に向かって順次に繰
り返し計算し、上記結合の強さの係数の学習処理を学習
処理部により行う。
Ｇ 実施例 以下、本発明の一実施例について、図面に従い詳細に
説明する。
説明する。
本発明に係る学習処理装置は、その構成を第１図のブ
ロック図に概念的に示してあるように、入力信号パター
ンｐから出力値opjを得るための信号処理部（10）と、
上記信号処理部（10）にて入力信号パターンｐから所望
の出力値tpjに最も近い出力値opjを得るための学習を行
う学習処理部（20）とで構成される。
ロック図に概念的に示してあるように、入力信号パター
ンｐから出力値opjを得るための信号処理部（10）と、
上記信号処理部（10）にて入力信号パターンｐから所望
の出力値tpjに最も近い出力値opjを得るための学習を行
う学習処理部（20）とで構成される。
上記信号処理部（10）は、ニューラルネットワークに
て構成され、少なくとも入力層（LI）と中間層（LH）と
出力層（LO）の３層構造になっており、各層（LI），
（LH），（LO）がそれぞれニューロンに対応する任意の
個数x,y,zのユニット（uI1〜uIX），（uH1〜uHy），（u
O1〜uOZ）により構成される。
て構成され、少なくとも入力層（LI）と中間層（LH）と
出力層（LO）の３層構造になっており、各層（LI），
（LH），（LO）がそれぞれニューロンに対応する任意の
個数x,y,zのユニット（uI1〜uIX），（uH1〜uHy），（u
O1〜uOZ）により構成される。
上記各ユニット（uI1〜uIx），（uH1〜uHy），（uO1
〜uOZ）は、 なる入力の総和netjに対して、 なる第10式で示されるsigmod関数を状態遷移関数ｆ（ne
tj）とし、この状態遷移関数ｆ（netj）に、 ｇ（netj）＝ａ・netj ……第11式 なる第11式で示される１次関数ｇ（netj）を付加した、 opj＝ｆ（netj）＋ｇ（netj） ……第12式 なる第12式にて示される出力値opjを与える。
〜uOZ）は、 なる入力の総和netjに対して、 なる第10式で示されるsigmod関数を状態遷移関数ｆ（ne
tj）とし、この状態遷移関数ｆ（netj）に、 ｇ（netj）＝ａ・netj ……第11式 なる第11式で示される１次関数ｇ（netj）を付加した、 opj＝ｆ（netj）＋ｇ（netj） ……第12式 なる第12式にて示される出力値opjを与える。
ここで、上記第10式において、ａはａ＞０の係数であ
る。
る。
また、上記学習処理部（20）は、上記信号処理部（1
0）に入力される入力信号パターンｐに対する上記出力
層（LO）の出力値oojが、教師信号として与えられる所
望の出力値tpjに最も近い値になるように、第２図のフ
ローチャートに示すような手順で、上記出力層（LO）側
から上記入力層（LI）側に向かって上記各ユニット（u
I1〜uIX），（uH1〜uHy），（uO1〜uOZ）の間の結合の
強さの係数wjiを順次に繰り返し計算し、上記所望の出
力値tpjと上記出力値oojとの二乗誤差の総和Epを十分に
小さくするように、上記結合係数wjiの学習処理を行
う。
0）に入力される入力信号パターンｐに対する上記出力
層（LO）の出力値oojが、教師信号として与えられる所
望の出力値tpjに最も近い値になるように、第２図のフ
ローチャートに示すような手順で、上記出力層（LO）側
から上記入力層（LI）側に向かって上記各ユニット（u
I1〜uIX），（uH1〜uHy），（uO1〜uOZ）の間の結合の
強さの係数wjiを順次に繰り返し計算し、上記所望の出
力値tpjと上記出力値oojとの二乗誤差の総和Epを十分に
小さくするように、上記結合係数wjiの学習処理を行
う。
すなわち、上記学習処理部（20）は、先ず、ステップ
１において、上記各ユニット（uH1〜uHy），（uO1〜
uOZ）に結合係数wjiを与えて、上記信号処理部（10）に
おける入力信号パターンｐに対する上記出力層（LO）の
出力値oojの算出処理を行い、次のステップ２におい
て、上記出力値oojについて、教師信号として与えられ
る上記所望の出力値tpjと上記出力値oojとの二乗誤差の
総和Epに基づいて収束条件の判定動作を行う。
１において、上記各ユニット（uH1〜uHy），（uO1〜
uOZ）に結合係数wjiを与えて、上記信号処理部（10）に
おける入力信号パターンｐに対する上記出力層（LO）の
出力値oojの算出処理を行い、次のステップ２におい
て、上記出力値oojについて、教師信号として与えられ
る上記所望の出力値tpjと上記出力値oojとの二乗誤差の
総和Epに基づいて収束条件の判定動作を行う。
上記ステップ２の判定動作では、上記信号処理部（1
0）の出力層（LO）に得られる出力値oojが上記所望の出
力値tpjに最も近い値になっているか否かを判定する。
上記ステップ２の判定動作の結果が「YES」すなわち上
記二乗誤差の総和Epが十分に小さくなり、上記出力値o
ojが上記所望の出力値tpjに最も近い値になっている場
合には学習処理を完了し、その判定結果が「NO」の場合
にはステップ３ないしステップ６の各算出処理を順番に
行う。
0）の出力層（LO）に得られる出力値oojが上記所望の出
力値tpjに最も近い値になっているか否かを判定する。
上記ステップ２の判定動作の結果が「YES」すなわち上
記二乗誤差の総和Epが十分に小さくなり、上記出力値o
ojが上記所望の出力値tpjに最も近い値になっている場
合には学習処理を完了し、その判定結果が「NO」の場合
にはステップ３ないしステップ６の各算出処理を順番に
行う。
上記ステップ３の算出処理では、上記信号処理部（1
0）の各ユニット（uH1〜uHy），（uO1〜uOZ）の誤差値
δpjを算出する。このステップ３の算出処理において、
上記出力層（LO）の各ユニット（uO1〜uOZ）の誤差値δ
ojは、 δoj＝（tpj−ooj）ooj（１−ooj） ……第13式 なる第13式により与え、また、上記中間層（LH）の各ユ
ニット（uH1〜uHy）の誤差値δpjは、 なる第14式により与えられる。
0）の各ユニット（uH1〜uHy），（uO1〜uOZ）の誤差値
δpjを算出する。このステップ３の算出処理において、
上記出力層（LO）の各ユニット（uO1〜uOZ）の誤差値δ
ojは、 δoj＝（tpj−ooj）ooj（１−ooj） ……第13式 なる第13式により与え、また、上記中間層（LH）の各ユ
ニット（uH1〜uHy）の誤差値δpjは、 なる第14式により与えられる。
次に、ステップ４の算出処理では、上記各ユニット
（uH1〜uHy），（uO1〜uOZ）に対するｉ番目のユニット
からｊ番目のユニットへの結合の強さの係数wjiの学習
変数βｊを上記各ユニット（uH1〜uHy），（uO1〜uOZ）
における入力値opjの総和netjに正の係数ａを掛けて１
を加えた βｊ＝１＋ａ・|netj| ……第15式 なる第15式により算出する。
（uH1〜uHy），（uO1〜uOZ）に対するｉ番目のユニット
からｊ番目のユニットへの結合の強さの係数wjiの学習
変数βｊを上記各ユニット（uH1〜uHy），（uO1〜uOZ）
における入力値opjの総和netjに正の係数ａを掛けて１
を加えた βｊ＝１＋ａ・|netj| ……第15式 なる第15式により算出する。
なお、上記第15式における変数|netj|は、ディジタル
フィルタによりローパスフィルタ特性を与えて用いるよ
うにしても良い。
フィルタによりローパスフィルタ特性を与えて用いるよ
うにしても良い。
さらに、ステップ５の算出処理では、学習定数をη、
エラーの振動を減らして収束を速めるための安定化定数
をαとして、上記学習変数βｊを用いて上記各ユニット
（uH1〜uHy），（uO1〜uOZ）に対するｉ番目のユニット
からｊ番目のユニットへの結合係数wjiの変化量Δw
jiを、 Δwji(n+1)＝η・β（δpjopj）＋α・Δwji(n) ……第16式 なる第16式にて算出する。
エラーの振動を減らして収束を速めるための安定化定数
をαとして、上記学習変数βｊを用いて上記各ユニット
（uH1〜uHy），（uO1〜uOZ）に対するｉ番目のユニット
からｊ番目のユニットへの結合係数wjiの変化量Δw
jiを、 Δwji(n+1)＝η・β（δpjopj）＋α・Δwji(n) ……第16式 なる第16式にて算出する。
そして、ステップ６の算出処理では、上記ステップ５
において算出された上記結合係数wjiの変化量Δwjiに基
づいて、第17式に示すように、上記各ユニット（uH1〜u
Hy），（uO1〜uOZ）の結合係数wjiを wji＝wji＋Δwji ……第17式 に変更する。
において算出された上記結合係数wjiの変化量Δwjiに基
づいて、第17式に示すように、上記各ユニット（uH1〜u
Hy），（uO1〜uOZ）の結合係数wjiを wji＝wji＋Δwji ……第17式 に変更する。
そして、上記ステップ１に戻って、上記信号処理部
（10）における入力信号パターンｐに対する上記出力層
（LO）の出力値oojの算出処理を行う。
（10）における入力信号パターンｐに対する上記出力層
（LO）の出力値oojの算出処理を行う。
この学習処理部（20）は、上述のステップ１ないしス
テップ６の動作を繰り返し行い、上記教師信号として与
えられる所望の出力値tpjと上記出力値oojとの二乗誤差
の総和Epが十分に小さくなり、上記信号処理部（10）の
出力層（LO）に得られる出力値oojが上記所望の出力値t
pjに最も近い値になると、上記ステップ２の判定動作に
より、学習処理を完了する。
テップ６の動作を繰り返し行い、上記教師信号として与
えられる所望の出力値tpjと上記出力値oojとの二乗誤差
の総和Epが十分に小さくなり、上記信号処理部（10）の
出力層（LO）に得られる出力値oojが上記所望の出力値t
pjに最も近い値になると、上記ステップ２の判定動作に
より、学習処理を完了する。
この実施例の学習処理装置では、上記信号処理部（2
0）の各ユニット（uH1〜uHy），（uO1〜uOZ）におい
て、入力の総和netjに対して上述のsigmod関数を用いた
状態遷移関数ｆ（netj）に１次関数ｇ（netj）を付加し
た第12式にて示される出力値opjを与えるようにしたこ
とにより、上記状態遷移関数ｆ（netj）の遷移値近傍に
おける傾きすなわち出力値opjの変化量を大きくするこ
とができる。これにより、学習がある程度進んでも上記
結合の強さの係数wjiの変化量Δwjiが極端に小さくなる
ことがなく、学習回数ｎを大幅に減少させて、高速で安
定に学習を行うことができる。
0）の各ユニット（uH1〜uHy），（uO1〜uOZ）におい
て、入力の総和netjに対して上述のsigmod関数を用いた
状態遷移関数ｆ（netj）に１次関数ｇ（netj）を付加し
た第12式にて示される出力値opjを与えるようにしたこ
とにより、上記状態遷移関数ｆ（netj）の遷移値近傍に
おける傾きすなわち出力値opjの変化量を大きくするこ
とができる。これにより、学習がある程度進んでも上記
結合の強さの係数wjiの変化量Δwjiが極端に小さくなる
ことがなく、学習回数ｎを大幅に減少させて、高速で安
定に学習を行うことができる。
なお、この実施例の学習処理装置では、上記各ユニッ
ト（uH1〜uHy），（uO1〜uOZ）において、上記第14式に
より算出される学習変数βを用いて学習レートを上記入
力値opiに応じて動的に変化させながら、上記結合の強
さの係数wjiの学習処理を行うことによって、学習時間
をより短縮できるようにしてある。
ト（uH1〜uHy），（uO1〜uOZ）において、上記第14式に
より算出される学習変数βを用いて学習レートを上記入
力値opiに応じて動的に変化させながら、上記結合の強
さの係数wjiの学習処理を行うことによって、学習時間
をより短縮できるようにしてある。
Ｈ 発明の効果 本発明に係る学習処理装置では、信号処理部の各ユニ
ットが入力値ｘと出力値ｙとの関係を与える状態遷移関
数ｆ（ｘ）にその遷移値近傍の傾きを大きくするｘの１
次関数ｇ（ｘ）を付加した上記第８式で示される出力値
ｙを出力するようにしたことにより、上記状態遷移関数
ｆ（ｘ）の遷移値近傍における傾きすなわち出力値ｙの
変化量を大きくすることができる。これにより、上記信
号処理部の各ユニットに対して学習処理部によりバック
プロパゲーション学習則に従った学習処理を行い、学習
がある程度進んでも、結合の強さの係数の変化量が極端
に小さくなることがなく、学習回数を大幅に減少させ
て、高速で安定に学習を行うことができる。
ットが入力値ｘと出力値ｙとの関係を与える状態遷移関
数ｆ（ｘ）にその遷移値近傍の傾きを大きくするｘの１
次関数ｇ（ｘ）を付加した上記第８式で示される出力値
ｙを出力するようにしたことにより、上記状態遷移関数
ｆ（ｘ）の遷移値近傍における傾きすなわち出力値ｙの
変化量を大きくすることができる。これにより、上記信
号処理部の各ユニットに対して学習処理部によりバック
プロパゲーション学習則に従った学習処理を行い、学習
がある程度進んでも、結合の強さの係数の変化量が極端
に小さくなることがなく、学習回数を大幅に減少させ
て、高速で安定に学習を行うことができる。
第１図は本発明に係る学習処理装置の構成を概念的に示
すブロック図、第２図は上記学習処理装置を構成する学
習処理部における学習処理過程を示すフローチャートで
ある。 第３図はバックプロッパゲーション学習則の適用される
ニューラルネットワークの一般的な構成を示す模式図で
ある。 （10）……信号処理部 （20）……学習処理部 （LI）……入力層 （LH）……中間層 （LO）……出力層 （uI1〜uIZ），（uH1〜uHZ），（uO2〜uOZ）……ユニッ
ト
すブロック図、第２図は上記学習処理装置を構成する学
習処理部における学習処理過程を示すフローチャートで
ある。 第３図はバックプロッパゲーション学習則の適用される
ニューラルネットワークの一般的な構成を示す模式図で
ある。 （10）……信号処理部 （20）……学習処理部 （LI）……入力層 （LH）……中間層 （LO）……出力層 （uI1〜uIZ），（uH1〜uHZ），（uO2〜uOZ）……ユニッ
ト
Claims (1)
- 【請求項１】入力値ｘと出力値ｙとの関係を与える状態
遷移関数ｆ（ｘ）としてシグモイド関数を用い、上記状
態遷移関数ｆ（ｘ）にその遷移値近傍の傾きを大きくす
るｘの１次関数ｇ（ｘ）を付加した ｙ＝ｆ（ｘ）＋ｇ（ｘ） なる出力値ｙを出力し、それぞれニューロンに対応する
信号処理を行う複数のユニットにより構成された入力
層、中間層および出力層を備える信号処理部と、 上記入力層に入力される入力信号パターンに対する上記
出力層の出力値と教師信号として与えられる所望の出力
値との誤差情報に基づいて上記各ユニットの間の結合の
強さの係数を上記出力層側から上記入力層側に向かって
順次に繰り返し計算し、上記結合の強さの係数の学習処
理を行う学習処理部とを備えて成る学習処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1341824A JP2979562B2 (ja) | 1989-12-28 | 1989-12-28 | 学習処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1341824A JP2979562B2 (ja) | 1989-12-28 | 1989-12-28 | 学習処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03201160A JPH03201160A (ja) | 1991-09-03 |
| JP2979562B2 true JP2979562B2 (ja) | 1999-11-15 |
Family
ID=18349040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1341824A Expired - Fee Related JP2979562B2 (ja) | 1989-12-28 | 1989-12-28 | 学習処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2979562B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5598509A (en) * | 1992-08-28 | 1997-01-28 | Hitachi, Ltd. | Method of configuring a neural network and a diagnosis/recognition system using the same |
| US5627941A (en) * | 1992-08-28 | 1997-05-06 | Hitachi, Ltd. | Method of configuring a neural network and a diagnosis/control system using the neural network |
-
1989
- 1989-12-28 JP JP1341824A patent/JP2979562B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03201160A (ja) | 1991-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0360674B1 (en) | Signal processing system and learning processing system | |
| JP3323894B2 (ja) | ニューラルネットワーク学習方法及び装置 | |
| JP2979562B2 (ja) | 学習処理装置 | |
| JP2699447B2 (ja) | 信号処理装置 | |
| US5630020A (en) | Learning method and neural network structure | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JP2907486B2 (ja) | ニューラルネットワーク装置 | |
| JP2606317B2 (ja) | 学習処理装置 | |
| JPH0272491A (ja) | 画像変換処理装置 | |
| JPH05128284A (ja) | ニユーロプロセツサ | |
| JPH07104848B2 (ja) | ニューラルネットの学習効率化方法 | |
| JP3276035B2 (ja) | 神経回路網モデルの逐次型加速化学習方法 | |
| JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
| JP2929106B2 (ja) | ステレオマッチング方法及びその装置 | |
| JPH03201158A (ja) | 学習処理装置 | |
| JPH06131482A (ja) | アナログニューラルネットワーク回路 | |
| US20240086678A1 (en) | Method and information processing apparatus for performing transfer learning while suppressing occurrence of catastrophic forgetting | |
| JP3273568B2 (ja) | 階層型ニューラルネットワークおよびその学習方法 | |
| JPH086916A (ja) | リカレント型ニューラルネットワーク学習方法及びその装置 | |
| JPH0696046A (ja) | ニューラルネットワークの学習処理装置 | |
| JP2859377B2 (ja) | ニューラルネットを用いた画像処理方法および画像処理装置 | |
| JP3393511B2 (ja) | 文字認識装置及び方法 | |
| JPH01282672A (ja) | ニューラルネットワーク装置 | |
| JPH0981535A (ja) | ニューラルネットワークの学習方法 | |
| JPH05324598A (ja) | ニューラル・ネットワーク学習装置における学習方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |