JPH03201159A - バックプロパゲーションモデルの学習処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ａ　産業上の利用分野 本発明は、それぞれニューロンに対応する信号処理を行
う複数のユニットにより構成される所謂ニューラルネッ
トワーク（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　：神経回路
網〉を用いた信号処理部に対して、パックプロパゲーシ
ッン（Ｂａｃｋ　ｐｒｏｐａｇａｔｉｏｎ　：逆伝播）
学Ｃ従来の技術 ニューラルネットワークの学習アルゴリズムであるバッ
クプロパゲーシッン学習則ｒ　ｒＰａｒａｌｌｅｌＤｉ
ｓｔｒｉｂｕｔａｄ　ＰｒｏｃｅｓｓｉｎｇＪＶｏｌ、
Ｉ　Ｔｈｅ　ＭＩＴ　Ｐｒｅｓｓ１９８６や日経エレク
トロニクス１９８７年８月１０日号。

Ｎｏ、４２７．ｐＰ１１５−１２４等参照１は、第２図
に示すように、入力層（３１〉と出力層（３３）の間に
中間層（３２）を有する多層構造のニューラルネットワ
ークに適用され、高速画倣処理やパターン認識等の各種
の信号処理への応用が試みられている。

すなわち、第２図に示すように、このニューラルネット
ワークを槽底する各ユニット（Ｕｊ）は、ユニット（Ｕ
ム）からユニット（Ｕｊ）への結合係数Ｗハで結合され
るユニット（Ｕりの出力値Ｏ６の総和すなわち入力の総
和ｎｅｔ７を例えば５１ｇ５ｏｉｄ関数などを用いた状
態遷移関数ｒ　（ｎｅｔｊ）で変換した値Ｏｊを出力す
る。すなわち、パターンＰの値が入力層の各ユニット（
ｕｊ）に入力値としてそれぞれ供給されたとき、中間層
および出力層の各ユニット（ｕｊ）の出力値ＯｅＪは、 ０ｐＪ−ｆｊ（ｎｅ５ｊ） ＝ｆｊ（ΣＷハ・０．ｊＩ）・・・・・第１式なる第１
式で表される。

そして、入力層（３１）から出力層（３３）へ向かって
、各ニューロンに対応するユニット（Ｕｊ）の出力値を
順次計算していくことで、上記出力層（３３）のユニッ
ト（ｕｊ）の出力値Ｏｐｊが得られる。

バックプロパゲーシッン学習アルゴリズムにおいては、
パターンｐを与えたときの、出力層（３３）の各ユニッ
ト（ｕＪ）の実際の出力値１）ｐＪと望ましい出力値Ｌ
１すなわち教師信号との二乗誤差の総和Ｅ。

を極小化するように、結合係数Ｗ□を変える学習処理を
出力層（３３）から入力層（３１）へ向かって順次に行
うことにより、教師信号の値ＬｐＪに最も近い出力値ｏ
１が上記出力層（３３）のユニッ）（ｕｊ）から出力さ
れるようになる。

そして、二乗誤差の総和Ｅ、を小さくする結合係数Ｗｊ
ｉの変化量ΔＷハを、 Ａｗ７１　ｇ　　ａＥ、　／ａＷｊｔ　　・・・・・第
３式と決めると、上記第３式は、 ΔＷｊｔ−Ｗ・δｐｊ’Ｏｐム　・・・・・・・・・・
第４式に変形することができる（この過程は上述の文献
を参照）。

ここで、ηは学習レート（定数）で、ユニットの数や層
の数さらには入出力の値等から経験的に決定される。ま
た、δ、ｊはユニット（ＵＪ）のもつ誤差値である。

従って、上記変化量ΔＷＪｉを決定するためには、上記
誤差値δ、ｊをネットワークの出力層から入力層に向か
って逆向きに求めていけば良い、出力層のユニット（Ｕ
ｊ）の誤差値δ、ｊは、δｐｊ−（ｔｐｊＯｔＪ）ｆ’
ｊ（ｎｅｔｊ）　・・−・・第５式なる第５式で与えら
れ、中間層のユニット（ｕＪ）の誤差値δ、ｊは、その
ユニッ）（ｕｚ）が結合されている各ユニット（Ｕお）
（この例では出力層の各ユニット）の結合係数Ｗｋｊお
よび誤差値δ、を用いて、 δｖａｊ＝　ｆ　’ｊ（ｎｅｔｊ）Σδｏｗ真Ｊ　・・
・・・第６式なる再帰関数により計算される（上記第５
式および第６式を求める過程は上述の文献を参照）。

なお、上記ｆ　’　ｊ（ｎｅｔｊ）は、状態遷移関数ｆ
ｊ（ｎｅｌｊ）の微分値である。

そして、変化量ΔＷｊ！は、上記第５式および第６式の
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 ΔＷＪｉ　１ｍｅｌｌ　−Ｗ　’δｅｔ・ＯＩＩ！　＋
　（Ｘ　・Δ’ｊ！Ｉｓ）・・＝・・・第７式 なる第７弐により求めることで、より安定した結果が得
られる。なお、αはエラーの振動を減らし、収束を速め
るための安定化定数である。

そして、この学習を繰り返し行い、出力値ＯｐＪと教師
信号の値ＬｓＪとの二乗誤差の総和Ｅ、が十分に小さく
なった時点で学習を完了するようにしていた。

Ｄ　発明が解決しようとする課題 ところで、上述の如きパックプロパゲーシツン学習則を
ニューラルネットワークに採用した学習処理装置では、
ニューロンに対応するユニット間の結合の強さの係数の
初期値を設定する場合に、ネットワークが始めから特定
の構造を有していると、ネットワークが一度特定の構造
を持たない状態となり、その後に学習が進むことになり
、学習時間が長くなってしまう。

そこで、本発明は、上述の如き従来の実情に鑑み、ニュ
ーラルネットワークによる信号処理部に対してバックプ
ロパゲーシッン学習則に従った学習処理を施す学習処理
装置において、効率良く且つ確実に学習処理を行うこと
ができるようにすることを目的とする。

Ｅ　課題を解決するための手段 本発明に係るバックプロパゲーションモデルの学習処理
方法は、上述の目的を達成するために、それぞれニュー
ロンに対応する信号処理を行う各ユニットが状態遷移関
数により与えられる出力値の中間値を出力するように、
各ユニットの間の結合の強さの係数の初期値を設定して
、バックブロバゲーシッン学習則に従った学習処理を行
うことを特徴とする。

Ｆ　作用 本発明に係るバックプロパゲーションモデルの学習処理
方法では、それぞれニューロンに対応する信号処理を行
う各ユニットが状態遷移関数により与えられる出力値の
中間値を出力するように、各ユニットの間の結合の強さ
の係数の初期値を設定することにより、上記ユニットに
より構成されるニューラルネットワークが特定の構造を
持たない状態でバックプロパゲーシッン学習則に従った
学習処理を開始する。

特定の構造を持たないニューラルネットワークは、バッ
クプロバゲーシッン学習則に従った学習処理を直ちに進
めることができる。

Ｇ　実施例 以下、本発明に係るバックプロパゲーションモデルの学
習処理方法の一実施例について、詳細に説明する。

それぞれニューロンに対応する信号処理を行う複数のユ
ニットにより構成されるニューラルネットワークは、学
習の初期の段階（初期値設定時も含む）には、ニューロ
ンに対応するユニットへの各人力Ｏムに結合の強さの係
数ＷＪｉを掛けた荷重和の値ｎｅｔｊが非常に小さいた
め、ユニットが上述のｓｉｇ＊ｏｉｄ関数などを用いた
状態遷移関数ｆ（ｎｅｔａ）の線形な領域で動作してい
る。従って、バンクプロパゲーションモデルのような階
層構造モデルでは、 ）’　曽＝　ａ　＋　Ｘ　＋　＋　ａ　ｗ　Ｘ　ｚ　＋
・・・＋ａ１１ｘＩＩ＋θ　・・・・・・第８式なる第
８式で示すように、入力Ｘｌ＋Ｘ１〜Ｘａの一次結合と
して出力ｙ、を示すことができる。

従って、入力ｘ、Ｘ！〜Ｘ、の係数ａｌ＋ａｆｆｉ〜ａ
、ｌをａｌ＝ａ８＝・・・・＝ａｌｌ−０とするように
、各ユニット間の結合の強さの係数Ｗｊｌを設定するこ
とによって、出力Ｆｍは入力ＸＩ＋Ｘｔ〜Ｘ。

の値に拘らず０となり、ネットワークは特定の状態を持
たないように初期化される。

このようにニューラルネットワークが特定の構造を持た
ない状態からパックプロパゲーシッン学習則に従った学
習処理を行うことにより、上記特定の構造を持たないニ
ューラルネットワークは、パックプロパゲーシッン学習
則に従った学習処理を直ちに進めることがき、学習処理
時間を短縮して効率の良い学習処理を施すことができる
。

例えば、第１図に示すように、ニューロンに対応する信
号処理を行う三個のユニット（Ｕ□）。

（ｕ、）、（ｕ□）からなる２層２人力１出力のネット
ワークでは、 ｙ−（ａｅ＋ｂｆ）ｘ、＋　（ｃｅ＋ｄｆ）ｘｔ・・・
・・・第９式 威る第９式で出力ｙを示すことができる。

この場合、 ａ　ｅ＋ｂ　ｆ−ｃ　ｅ＋ｄ　ｆ−０−・・・第１０式
なる第１Ｏ式を壱満たす解の一つは、 ａ＝ｂｍｃｍｄ−ｅ−０，１ ｆ−−０，１ である、上記第１０式を奎満たすように、各ユニット（
ｕ　＋＋）、（ｕ　ｔｔ）、（ｕ□）間の結合係数を初
期設定することにより、上記三個のユニット（Ｕ＋＋Ｌ
　（ｕｌｔＬ　（ｕ□）は、特定の構造を持たない２層
２人力１出力のニューラルネットワークを構成する。

上記第１図に示した２層２人力ｌ出力のネットワークに
対して、このように初期設定して第１表に示す排他的論
理和についてバックプロパゲーシッン学習則に従った学
習処理を行った結果、乱数により初期値を設定した場合
よりも、短い学習時間で上記排他的論理和の学習処理を
終了することができた。

なお、本発明に係るバックプロパゲージロンモデルの学
習処理方法は、上述の第１図に示した２層２人力ｌ出力
のニューラルネットワークのみに適用されるものではな
く、バックプロパゲーションモデルの用途や規模によら
ず利用することができる。

Ｈ発明の効果 以上の述べたように、本発明に係るバックプロパゲーシ
ョンモデルの学習処理方法では、それぞれニエーロンに
対応する信号処理を行う各ユニットが状態遷移関数によ
り与えられる出力値の中間値を出力するように、各ユニ
ットの間の結合の強さの係数の初期値を設定することに
より、上記ユニットにより構成されるニューラルネット
ワークが特定の構造を持たない状態に初期設定すること
ができる。特定の構造を持たないニューラルネットワー
クは、パックブロパゲーシッン学習則に従った学習処理
を直ちに進めることができ、学習回数を大幅に減少させ
て、高速で安定に学習を行うことができる。

【図面の簡単な説明】

第１図は、本発明に係るバックプロパゲーションモデル
の学習処理方法により学習処理を施した２層２人力ｌ出
力のニューラルネットワークを示す回路図である。 第２図は、パックプロッパゲーシッン学習則の適用され
るニューラルネットワークの一般的な構成を示す模式図
である。

Claims (1)

【特許請求の範囲】
1. それぞれニューロンに対応する信号処理を行う各ユニッ
   トが状態遷移関数により与えられる出力値の中間値を出
   力するように、各ユニットの間の結合の強さの係数の初
   期値を設定して、バックプロパゲーション学習則に従っ
   た学習処理を行うことを特徴とするバックプロパゲーシ
   ョンモデルの学習処理方法。