JPH03201158A - 学習処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ａ　産業上の利用分野 本発明は、それぞれニューロンに対応する信号処理を行
う複数のユニットにより構成される所謂ニエーラルネッ
トワーク（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　：神経回路
ｗ４）を用いた信号処理部に対して、バックプロバゲー
シッン（Ｂａｃｋ　ｐｒｏｐａｇａｔｉｏｎ　：逆伝播
〉学習側に従った学習処理を施す学習処理装置に関する
。

Ｂ　発明の概要 本発明は、ニューラルネットワークによる信号処理部に
対してパックプロパゲーシッン学習則に従った学習処理
を行う学習処理装置において、結合の強さの係数の補正
比率を増加させながら学習処理を行うことにより、学習
処理時間の短縮を図ることができるようにしたものであ
る。

Ｃ従来の技術 ニューラルネットワークの学習アルゴリズムであるバッ
クプロパゲーション学習側ｒ　ｒＰａｒａｌｌｅｌＤｉ
ｓｔｒｉｂｕｔｅｄ　ＰｒｏｃｅｓｓｉｎｇＪＶｏｌ、
Ｉ　Ｔｈｅ　ＭＩＴ　Ｐｒｅｓｓ１９８６や日経エレク
トロニクス１９８７年８月ｌＯ日号。

Ｎｏ、４２７．ｐｐ１１５−１２４等参照１は、第３図
に示すように、入力層（３１）と出力層（３３）の間に
中間層（３２〉を有する多層構造のニューラルネットワ
ークに適用され、高速画像処理やパターン認識等の各種
の信号処理への応用が試みられている。

すなわち、第３図に示すように、このニューラルネット
ワークを構成する各ユニット（Ｕｊ）は、ユニット（Ｕ
、）からユニット（Ｕｊ）への結合係数Ｗｊムで結合さ
れるユニット（ｕｌ〉の出力値０ムの総和すなわち入力
の総和ｎｅｔｊを例えばｓｉｇｍｏｉｄ関数などの所定
の関数ｆで変換された値ＯＪを出力する。すなわち、パ
ターンｐの値が入力層の各ユニット（ｕＪ）に入力値と
してそれぞれ供給されたとき、中間層および出力層の各
ユニッ）（ｕＪ）の出力（！！０−ｔは、 Ｏ，ｊ＝　ｆ　７　（ｎｅ５Ｊ　） −ｆ、（Σｗｊｉ＋ｏ、Ｊム）・・・・・第１式なる第
１式で表される。

そして、入力層（３１）から出力層（３３〉へ向かって
、各ニューロンに対応するユニット（ｕｊ）の出力値を
順次計算していくことで、上記出力層（３３）のユニッ
ト（Ｕ、）の出力値ＯｐＪが得られる。

バックプロパゲーシッン学習アルゴリズムにおいては、
パターンｐを与えたときの、出力層（３３）の各ユニッ
ト（ｕｊ）の実際の出力値Ｏｐｊと望ましい出力値Ｌｓ
ｊすなわち教師信号との二乗誤差の総和Ｅ。

を極小化するように、結合係数Ｗｊ１を変える学習処理
を出力層（３３〉から入力層（３１）へ向かって順次に
行うことにより、教師信号の値ｔ１に最も近い出力値Ｏ
ｅｉが上記出力層（３３）のユニット（ｕｊ）から出力
されるようになる。

そして、二乗誤差の総和Ｅ、を小さくする結合係数Ｗｊ
ムの変化量ΔＷｏを、 ΔＷＪ！　ｃＣａ　Ｅｐ　／　ａ　Ｗ、Ｈ・・・・・第
３式と決めると、上記第３式は、 Δｗｊｌ＝η・δｅＪ・Ｏｎ　・・・・・・・・・・第
４式に変形することができる（この過程は上述の文献を
参照）。

ここで、ηは学習レート（定数）で、ユニットの数や層
の数さらには入出力の値等から経験的に決定される。ま
た、δ、Ｊはユニット（Ｕ））のもつ誤差値である。

従って、上記変化量ΔＷｊｉを決定するためには、上記
誤差値δ、ｊをネットワークの出力層から入力層に向か
って逆向きに求めていけば良い、出力層のユニット（Ｕ
ｊ）の誤差値δ、ｊは、δ、、ｍ　（Ｌｅｊｏｐｊ）ｆ
コ（ｎｅｔ＊）　・・・”第５式なる第５式で与えられ
、中間層のユニット（ｕＪ）の誤差値δ、−は、そのユ
ニット（ｕｊ）が結合されている各ユニット（ｕｍ）　
　（この例では出力層の各ユニット）の結合係数Ｗｏお
よび誤差値δ、を用いて、 δＰＪ＝１１ｆコ（ｎｅＪ）Σδ、＊Ｗ＠４　　・＊＊
＊＊第６式なる再帰関数により計算される（上記第５式
および第６式を求める過程は上述の文献を参照）。

なお、上記ｆ　’　）　（ｎｅｔＪ）は、出力関数ｆ　
７（ｎｅｔＪ）の微分値である。

そして、変化量ΔＷハは、上記第５式および第６式の結
果を用いて上述の第４式によって求められるが、前回の
学習結果を用いて、 Δ”７１１ｍ＋ＩＩ−η・δｅｒＯＩＩム＋α・ΔＷ　
ｊ　ｌ　（ａ）・・・・・・第７式 なる第７式により求めることで、より安定した結果が得
られる。なお、αはエラーの振動を減らし、収束を速め
るための安定化定数である。

そして、この学習を繰り返し行い、出力値Ｏｅｊと教師
信号の値ｔｅＪとの二乗誤差の総和Ｅ、が十分に小さく
なった時点で学習を完了するようにしていた。

Ｄ　発明が解決しようとする課題 ところで、上述の如きバックプロパゲーシッン学習則を
ニューラルネットワークに採用した学習処理装置では、
ニューロンに対応するユニットの数や層数等から上述の
学習定数ηを経験的に決定して、上述の第７式を用いて
一定の学習レートで学習処理を行っていたので、出力値
ＯｐＪが教師信号の値ｔ、ｊに近づくに従って上記第７
式により算出される結合係数ｗｊ！の変化量ΔＷｊムが
小さくなり、上述の二乗誤差の総和Ｅ、を十分に小さく
して学習を終了するまでに要する学習の繰り返し回数ｎ
が膨大な値になってしまい、効率の良い学習処理を行う
ことができないという問題点があった。

なお、学習時間を短縮するには、上記学習定数ηを大、
きく設定すれば良いのであるが、エラー量が多く、且つ
、出力関数τｊ（ｎｅｔｊ）の微分値を大きくする入カ
バターンが呈示された場合に、過度の補正がなされてし
まう。

そこで、本発明は、上述の如き従来の実情に鑑み、ニュ
ーラルネットワークによる信号処理部に対してバックプ
ロパゲーシッン学習則に従った学習処理を施す学習処理
装置において、効率良く且つ確実に学習処理を行うこが
できるようにすることを目的とする。

Ｅ　　！１１１１を解決するための手段本発明は、上述
の目的を遠戚するために、それぞれニューロンに対応す
る信号処理を行う複数のユニットにより構成された入力
層、中間層および出力層を備える信号処理部と、上記入
力層に入力される入力信号パターンに対する上記出力層
の出力値と教師信号として与えられる所望の出力値との
誤差情報δｊｉに基づいて上記各ユニットの間の結合の
強さの係数Ｗ□を上記出力層側から上記入力層側に向か
って順次に繰り返し計算し、上記結合の強さの係数Ｗ′
、、の学習処理を行う学習処理部とを備えて成る学習処
理装置において、上記学習処理部は、上記結合の強さの
係数Ｗハの変化量ΔＷＪ！をη・β（δ、Ｊ・０．りに
基づいて計算しく但し、ηは学習定数、βは学習変数）
、ＷＪム５Ｗｊｔ＋ΔＷｊ盈　　１・・・・第８式なる
第８式で示される結合の強さの係数Ｗｊ、を上記信号処
理部の各ユニットに与えとともに、上記各ユニットにお
ける入力値０．直の総和ｎｅｔ７に正の係数ａを掛けて
１を加えた β＝　１　＋ａ　−１ｎａｔＪｌ　　・・・・−・第９
式なる第９式で示される学習変数βを用いて、上記結合
の強さの係数Ｗｊｉの補正比率を増加させながら学習処
理を行うようにしたことを特徴とするものである。

Ｆ　作用 本発明に係る学習処理装置では、上記第９式で示される
学習変数βを用いて、結合の強さの係数Ｗハの補正比率
を増加させながら学習処理を行う。

Ｇ　実施例 以下、本発明の一実施例について、図面に従い詳細に説
明する。

本発明に係る学習処理装置は、その構成を第１図のブロ
ック図に概念的に示しであるように、入力信号パターン
ｐから出力（ｉｏｔＪを得るための信号処理部（ｌＯ）
と、上記信号処理部（１０）にて入力信号パターンｐか
ら所望の出力値Ｌｐｊに最も近い出力値ＯｐＪを得るた
めの学習を行う学習処理部（２０）とで構成される。

上記信号処理部（ｌＯ〉は、ニューラルネットワークに
て構成され、少なくとも入力層（Ｌｌ）と中間層（Ｌ、
）と出力層（Ｌｏ）の３層構造になっており、各層（Ｌ
ｌ）、（ＬＭ）、（ＬＯ）がそれぞれニューロンに対応
する任意の個数Ｘ＋　Ｆ＋　１　のユニット（ｕ■〜Ｌ
ｌ＋、）＋（ｕｍｔ”’ｕｗｙ）＋（Ｏａｔ〜Ｕ０．）
により構成される。

上記各ユニット（ｕｌ、〜ｕ＋＊Ｌ（ｕ□〜ｕｗｙＬ（
ｕ０１〜ｕ　ｏｓ）は、 ｕｏｔ７　＝ΣＷＪ！　Ｏｐｉ　　”９．”０．”第１
０式なる入力の総和ｎｅｔ７に対して、θ１をしきい値
とする １＋ｅ なる第１１式のｓｉｇｗｏｉｄ関数にて示される出力値
ＯｐＪを与える。

また、上記学習処理部（２０）は、上記信号処理部（１
０〉に入力される入力信号パターンｐに対する上記出力
層（Ｌｏ〉の出力値００ｊが、教師信号として与えられ
る所望の出力値Ｌｐｊに最も近い値になるように、第２
図のフローチャートに示すような手順で、上記出力層（
ＬＯ）側から上記入力層（Ｌ＋）側に向かって上記各ユ
ニット（ｕ＋＋〜ｕ＋Ｊ＋（ｕ□〜ｕＭｙ）＋（ｕｏｔ
−ｕｏｓ）の間の結合の強さの係数ｗｊｉを順次に繰り
返し計算し、上記所望の出力値ｔ、−と上記出力値０（
ＩＪとの二乗誤差の総和Ｅ、を十分に小さくするように
、上記結合係数Ｗハの学習処理を行う。

すなわち、上記学習処理部（２０）は、先ず、ステップ
ｌにおいて、上記各ユニッ）（Ｕ□〜ｕ＊ｙＬ（Ｕ、、
〜ｕ０１）に結合係数ｗｊｉを与えて、上記信号処理部
（ｌＯ）における入力信号パターンｐに対する上記出力
層（Ｌｏ）の出力値０．７の算出処理を行い、次のステ
ップ２において、上記出力値００ｊについて、教師信号
として与えられる上記所望の出力値ｔｅａと上記出力値
Ｏ０ｊとの二乗誤差の総和Ｅ、に基づいて収束条件の判
定動作を行う。

上記ステップ２の判定動作では、上記信号処理部（ｌＯ
〉の出力層（Ｌｏ）に得られる出力値０゜ｊが上記所望
の出力値ｔ、−に最も近い値になっているか否かを判定
する。上記ステフジ２０判定動作の結果がｒＶＢｓＪ　
　すなわち上記二乗誤差の総和Ｅ、が十分に小さくなり
、上記出力値Ｏ，Ｊが上記所望の出力値ＬｐＪに最も近
い値になっている場合には学習処理を完了し、その判定
結果が「ＮＯ」の場合にはステップ３ないしステップ６
の各算出処理を順番に行う。

上記ステップ３の算出処理では、上記信号処理部（ｌＯ
〉の各ユニット（ｕｗ＋〜Ｌｌ＋ｙ）＋　（ｕｏ＋〜ｕ
ｃ＋Ｊの誤差値δ、ｊを算出する。このステップ３の算
出処理において、上記出力層（Ｌｏ）の各ユニット（Ｕ
□〜ｕ　ｏｓ）の誤差値δ。ｊは、δ。ｊ”（Ｌｐｊ　
　００ｊ）０゜ｊ（１−０゜ｊ）・・・・・・・・・第
１２式 なる第１２式により与え、また、上記中間層（ＬＨ）の
各ユニット（Ｕ□〜Ｕ　、、）の誤差値δ、Ｊは、δ□
＝０□（ｌ−０□〉Σδ。、ＷｋＪ・・・・・・・・・
第１３式 なる第１３式により与えられる。

次に、ステップ４の算出処理では、上記各ユニット（ｕ
Ｎ＋〜ｕｗｙＬ（ｕｓｕ〜ｕｏｇ）に対する１番目のユ
ニットからｊ番目のユニットへの結合の強さの係数Ｗハ
の学習変数βｊを 上記各ユニット（ｕ＋ｕ〜ｕｇｙＬ（ｕｏｔ−ｕｏＪに
おける入力値Ｏｐｊの総和ｎｅＪに正の係数ａを掛けて
ｌを加えた β４　＝　ｌ　＋ａ　Ｈｌ　ｎ１３ｔ７１　　”・第１
４式なる第１４式により算出する。

なお、上記第１４式における変数ｌ　　ｎｅＪ　　ｌは
、ディジタルフィルタによりローパスフィルタ特性を与
えて用いるようにしても良い。

さらに、ステップ５の算出処理では、学習定数をη、エ
ラーの振動を減らして収束を速めるための安定化定数を
αとして、上記学習変数β、を用いて上記各ユニｙト（
ｕ＋ｕ〜ｕｗｙＬ　（ｕｏｔ”ｕｏ、）に対する１番目
のユニットからｊ番目のユニットへの結合係数Ｗ□の変
化量Δｗｊｉを、Δ”ｊ４（ａ・Ｉ）＝η・β（δｅａ
　Ｏｐ＊）＋α・ΔＷｊｉ（ａｌ・・・・・・・第１５
式 なる第１５式にて算出する。

そして、ステップ６の算出処理では、上記ステップ５に
おいて算出された上記結合係数ｗｊムの変化量ΔＷｊ１
に基づいて、第１６式に示すように、上記各ユニット（
ｕｗｔ〜ｕ、１ｙＬ（ｕｏｔ〜ｕ　ｏｓ）の結合係数ｗ
ｊｉを Ｗハ＝ａｙハ＋ΔＷハ　　・・・・・・・・・第１６式
に変更する。

そして、上記ステップｌに戻って、上記信号処環部（１
０〉における入力信号パターンｐに対する上記出力層（
Ｌｏ）の出力値０．Ｊの算出処理を行う。

この学習処理部（２０）は、上述のステップｌないしス
テップ６の動作を繰り返し行い、上記教師信号として与
えられる所望の出力値ＬｅＪと上記出力（１ｏｏｔとの
二乗誤差の総和Ｅ、が十分に小さくなり、上記信号処理
部（ｌＯ〉の出力層（Ｌｏ）に得られる出力値０゜ｊが
上記所望の出力値ＬｅＪに最も近い値になると、上記ス
テップ２の判定動作により、学習処理を完了する。

この実施例の学習処理装置のように、上記各ユニット（
ｕｎ＋〜ｕｗｙ）＋（ｕｏ＋〜ｕｌ、ｌｌ）において、
上記第１４式により算出される学習変数βすなわち入力
値ｏ１の総和ｌ　　ｎｅｔｊｌに正の係数ａを掛けてｌ
を加えた学習変数βを学習定数ηに掛けることにより、
上記結合の強さの係数ＷＪ、の補正比率を増加させなが
ら学習処理を行うことができ、学習がある程度進んでも
上記結合の強さの係数Ｗハの変化量ΔＷＪＩが極端に小
さくなることがなく、学習回数ｎを大幅に減少させて、
高速で安定した学習処理を行うことができる。

Ｈ発明の効果 本発明に係る学習処理装置では、各ユニットにおける入
力値Ｏ，！の総和１　　ｎｅＪ　　ｌに正の係数ａを掛
けてｌを加えた学習変数βを用いて、上記結合の強さの
係数ｗｊｉの補正比率を増加させながら学習処理を行う
ことによって、学習がある程度進んでも上記結合の強さ
の係数Ｗハの変化量ΔＷハが極端に小さくなることがな
く、学習処理時間を短縮して高速で安定した学習処理を
行うことができる。

【図面の簡単な説明】

第１図は本発明に係る学習処理装置の構成を概念的に示
すブロック図、第２図は上記学習処理装置を構成する学
習処理部における学習処理過程を示すフローチャートで
ある。 第３図はバックプロッパゲーシッン学習則の適用される
ニエーラルネットワークの一般的な構成を示す模式図で
ある。 （ｌＯ）・・・・・・・・・・・・・・・信号処理部（
２０〉・・・・・・・・・・・・・・・学習処理部（Ｌ
ｌ）・・・・・・・・・・・・・・入力層（ＬＨ）・・
・・・・・・・・・・・・中間層（ＬＯ）・・・・・・
・・・・・・・・出力層（ｕ、１〜”＋ｚＬ（ｕ□〜Ｕ
□）、（ｕｏヨ〜ｕｏｊ・・・・ｅ・◆ユニット

Claims (1)

1. 【特許請求の範囲】 それぞれニューロンに対応する信号処理を行う複数のユ
   ニットにより構成された入力層、中間層および出力層を
   備える信号処理部と、上記入力層に入力される入力信号
   パターンに対する上記出力層の出力値と教師信号として
   与えられる所望の出力値との誤差情報δ＿ｊ＿ｉに基づ
   いて上記各ユニットの間の結合の強さの係数ｗ＿ｊ＿ｉ
   を上記出力層側から上記入力層側に向かって順次に繰り
   返し計算し、上記結合の強さの係数ｗ＿ｊ＿ｉの学習処
   理を行う学習処理部とを備えて成る学習処理装置におい
   て、上記学習処理部は、上記結合の強さの係数ｗ＿ｊ＿
   ｉの変化量Δｗ＿ｉ＿ｉをη・β（δ＿ｐ＿ｊ・ｏ＿ｐ
   ＿ｉ）に基づいて計算し（但し、ηは学習定数、βは学
   習変数）、ｗ＿ｊ＿ｉ＝ｗ＿ｊ＿ｉ＋Δｗ＿ｊ＿ｉ なる結合の強さの係数ｗ＿ｊ＿ｉを上記信号処理部の各
   ユニットに与えるとともに、上記各ユニットにおける入
   力値ｏ＿ｐ＿ｉの総和ｎｅｔ＿ｊに正の係数ａを掛けて
   １を加えたβ＝１＋ａ・｜ｎｅｔ＿ｊ｜ により示される学習変数βを用いて、上記結合の強さの
   係数ｗ＿ｊ＿ｉの補正比率を増加させながら学習処理を
   行うようにしたことを特徴とする学習処理装置。