JPH05324598A - ニューラル・ネットワーク学習装置における学習方式 - Google Patents

Abstract

(57)【要約】 【目的】 ニューラル・ネットワーク学習装置において
学習時間を短縮する。 【構成】 入力層と出力層の間に少なくとも１つの隠れ
層を持ち、各層が複数個のユニットから構成されてお
り、又、各層内では結合がなく、層間ではユニット間が
ある重み係数によって結合され、前層の出力に重み係数
を乗算し総和をとったものに非線形または線形関数を施
したものを各ユニットの出力とするニューラル・ネット
ワークにおいて、前記隠れ層、出力層の出力とそれに対
応する教師信号による目標値とを比較して、その層のユ
ニットの出力と前記教師信号による目標値との間の誤差
が無くなったか否かを出力値判定部（Ｅ）で判断し、前
記誤差が無くなったと判断された場合、その特定のユニ
ットに接続した他のユニットとの間の結合の重みの変化
量の計算を以後停止し、重み更新を行わないこととし
た。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラル・ネットワ
ーク学習装置における、学習方式に関する。

【０００２】

【従来の技術】図７は従来のニューラル・ネットワーク
を用いた学習装置である。ニューラル・ネットワークを
用いた学習装置は「学習パターン保持部」（Ａ）と、
「ニューラル・ネットワーク実行部」（Ｂ）と、「重み
更新部」（Ｃ）からなる。以下にその説明を記す。 （Ａ）学習パターン保持部 学習パターン保持部では入力パターンと、それに対する
出力パターンを保持してる。 （Ｂ）ニューラル・ネットワーク実行部 多層のネットワーク構造になっている。各層は多くのユ
ニットで構成されており、各ユニット間には、各々の結
合の重みｗが定義されている。ユニットは以下に示すよ
うにしてネットワークの出力値を計算する。

【０００３】あるユニットが複数のユニットから入力を
受けた場合、その総和に各ユニットのしきい値Θを加え
たものが、入力値になる。（図３参照）

【０００４】

【数１】

【０００５】ユニットの出力値はこの入力総和ｎｅｔ
に、活性化関数を適用して計算される。活性化関数には
微分可能な非線形型関数が用いられる。ここでは、一般
的に用いられるｓｉｇｍｏｉｄ関数を適応すると、ユニ
ットＵ_i の出力値Ｏ_i は

【０００６】

【数２】

【０００７】バックプロパゲーションで用いるネットワ
ークは、一般的には多層のネットワーク構造であるが、
ここでは通常よく用いられる、図４に示すような３層の
ネットワークの場合について述べる。３つの層は入力
層、隠れ層、出力層と呼ばれており、各層は多くのユニ
ットで構成される。

【０００８】入力層の各ユニットにネットワークへの入
力データが与えられる。従って、隠れ層の各ユニットの
出力値ｈは

【０００９】

【数３】

【００１０】また、出力層の各ユニットの出力値ｏは

【００１１】

【数４】

【００１２】（Ｃ）重み更新部 図８に従来の重み更新部の処理の流れを示す。図８のス
テップ５０では、まず誤差計算を行う。ネットワークの
出力が、望ましい出力になるように、ネットワークの重
みを調節する。学習規則としてバックプロパゲーション
法を用いる。あるパターンｐを与えた時の実際の出力値
（ｏ_pi）と、教師信号（ｔ_pi）の平均２乗誤差Ｅｐをと
る。学習させるためには、この誤差Ｅｐを減らすよう
に、ネットワーク中の全ての重みを変える。

【００１３】

【数５】

【００１４】次に、図８のステップ５１で示すように、
隠れ層ユニットと出力層ユニットの間の重み変化量を求
める。

【００１５】

【数６】

【００１６】 δ_pi ＝ （ｔ_pi − ｏ_pi）｛ｏ_pi（１−ｏ_pi）｝ …（７）式 次に、図８のステップ５２で示すように、入力層ユニッ
トと隠れ層ユニットの間の重み変化を求める。

【００１７】

【数７】

【００１８】そして、図８のステップ５３で示すよう
に、重みの更新を行う。 ｗ（ｎ） ＝ ｗ（ｎ−１）＋Δｗ（ｎ） …（１０）式

【００１９】

【発明が解決しようとする問題点】ニューラル・ネット
ワークを用いて学習する場合、従来の方法では学習が完
了するまで、全ての重みの更新を行い続ける。そのた
め、すでに収束しているパターンに関しても、重みを微
少変化させることとなり、それが振動の元となったり、
必要のない計算時間を費やすこととなっている。

【００２０】従って、学習時間を減少させるためには、
すでに収束しているパターンを見つけて、そのパターン
に関係するノードの重みについては、計算量をできるだ
け減らす必要がある。

【００２１】

【問題を解決するための手段】本発明では、前記問題解
決のため、原理図１のように、入力層と出力層の間に少
なくとも１つの隠れ層を持ち、各層が複数個のユニット
から構成されており、又、各層内では結合がなく、層間
ではユニット間がある重み係数によって結合され、前層
の出力に重み係数を乗算し総和をとったものに非線形ま
たは線形関数を施したものを各ユニットの出力とするニ
ューラル・ネットワークと、前記ニューラルネットワー
ク（ＮＷ）への入力パターンとそれに対する望ましい出
力である教師信号を保持する学習パターン保持部（Ａ）
と、この学習パターン保持部（Ａ）の入力パターンをニ
ューラルネットワーク（ＮＷ）に入力し出力値を計算す
る学習実行部（Ｂ）と、所定の学習規則及び学習パラメ
ータを保持するとともにこれら学習規則及び学習パラメ
ータに基づいて、前記学習実行部（Ｂ）でのネットワー
クの出力と教師信号とを比較し、ネットワークの重みを
更新する重み更新部（Ｃ）と、を備えたニューラルネッ
トワーク学習装置において、以下のような解決手段を採
用した。

【００２２】すなわち、前記ニューラルネットワーク
（ＮＷ）の各層の少なくとも一つの層ユニットの出力と
それに対応する教師信号による目標値とを比較して、そ
の層のユニットの出力と前記教師信号による目標値との
間の誤差が無くなったか否かを判断する出力値判定部
（Ｅ）を備え、この出力値判定部（Ｅ）により前記誤差
が無くなったと判断された場合、前記重み更新部は、そ
の特定のユニットに接続した他のユニットとの間の結合
の重みの変化量の計算を以後停止し、重み更新を行わな
いようにした。

【００２３】本発明で、各層ユニットの出力値と教師信
号による目標値との間の誤差が無くなったと判断される
場合とは、誤差が完全に無くなった場合のみならず、誤
差が無いものといってよい状態も含むものとする。

【００２４】より具体的には、ニューラル・ネットワー
クを用いて学習した場合、学習が進むに従って、ある入
力パターンを与えた場合に出力層ユニットの出力値は教
師信号に、隠れ層ユニットの出力値が０か１の値に落ち
着くようになる。

【００２５】従って出力層ユニットの出力値を監視し、
出力層ユニットの出力値が教師信号に連続して数回等し
くなったら、その出力層ユニットに繁がっている隠れ層
のユニット（ノード）との間の結合の重みの更新量は計
算しない。

【００２６】同様に、隠れ層ユニットの出力値を監視
し、隠れ層の出力値が連続して数回０か１の値になった
ら、もしくは０または１に近くになった場合、その隠れ
層のノードに繁がっている入力層のユニット（ノード）
との間の重みについては更新量は計算しない。

【００２７】出力層ユニットの出力値を監視し、また
は、隠れ層ユニットの出力値を監視するためには、各入
力パターンに対する出力層のユニットの出力値の履歴を
保存する出力値保存部、あるいは、各入力パターンに対
する隠れ層のユニットの出力値の履歴を保存する出力値
保存部を備える必要がある。

【００２８】本発明ではニューラルネットワーク（Ｎ
Ｗ）として、入力層、隠れ層、出力層を有する階層型ネ
ットワークを使用できるが、Ｅｌｍａｎ型リカレントネ
ットワークも使用できる。

【００２９】Ｅｌｍａｎ型ネットワークとは、入力層、
隠れ層、出力層を有し、かつ、隠れ層の出力データを複
写して保持するとともに保持した出力データを再度隠れ
層に入力するコンテキスト層を備えたニューラルネット
ワーク（ＮＷ）である。入力層、隠れ層、出力層の各層
はそれぞれ複数のユニット（ノード）を有している。

【００３０】そして、入力層の各ユニットには入力デー
タが入力される。時刻ｔにおける隠れ層の出力値ｗをコ
ンテキスト層にコピーし、このコンテキスト層と入力層
の値が時刻ｔ＋１における隠れ層の入力となる。従っ
て、このコンテキスト層が過去の入力データの履歴を保
持することになる。

【００３１】

【作用】図５に、本方式による学習時の処理の流れを示
す。図５のステップ６０では、従来例の図８のステップ
５０と同様に、出力ユニットの出力値と、教師信号の誤
差計算を行い、過去数回にわたって誤差が０になったか
どうかを判定する。

【００３２】図５のステップ６１では、出力層の出力値
が教師信号に収束していないユニット（図６の○ユニッ
ト）については、従来例と同様に、出力ユニット−隠れ
ユニット間の結合の重み変化量（Δｗ_ij）の計算を行
う。

【００３３】図５のステップ６２では、出力層の出力値
が過去数回にわたって教師信号と等しくなっているユニ
ットについては、出力層のユニット（図６の●ユニッ
ト）に接続している結合（図６の実線部分）の重み変化
量の計算は行わずに、重みの変化量（Δｗ_ij）を０とす
る。

【００３４】図５のステップ６３では、隠れ層の出力値
が過去数回にわたって０或いは１に収束しているかどう
か判断する。図５のステップ６４では、隠れ層の出力値
が０或いは１に収束していないユニット（図６の○ユニ
ット）については、従来例と同じように隠れユニット−
入力ユニットの結合の重み変化量（Δｗ_jk）の計算を行
う。

【００３５】図５のステップ６５では、隠れ層の出力値
が０或いは１に収束しているユニットについては、隠れ
層のユニット（図６の●ユニット）に接続している結合
（図６の実線部分）の重み変化量（Δｗ_jk）の計算は行
わずに、重みの変化量を０とする。

【００３６】図５のステップ６６では、従来例の図８の
ステップ５３と同様に重みの更新を行う。

【００３７】

【実施例】本発明の実施例を示す。図２は本発明の実施
例であるニューラル・ネットワーク学習装置である。
「学習パターン保持部」（Ａ）と、「ニューラル・ネッ
トワーク実行部」（Ｂ）と、「重み更新部」（Ｃ）と、
出力層と隠れ層の出力値を過去数回分保存しておく「出
力値保存部」（Ｄ）からなる。重み更新部（Ｃ）には出
力値を評価するための出力値判定規則を有する出力値判
定部（Ｅ）が存在する。

【００３８】「学習パターン保持部」（Ａ）と、「ニュ
ーラル・ネットワーク実行部」（Ｂ）と、については、
従来例と全く同じである。「出力値保存部」（Ｄ）で
は、出力層ユニットと隠れ層ユニットの出力値を過去数
回分保存しておき、「重み更新部」（Ｃ）にそのデータ
を送る。出力値判定部（Ｅ）は、出力層ユニットと隠れ
層ユニットの出力値を過去数回分についてその目標値と
比較し、重み更新部（Ｃ）での結合の重み更新を行うか
否かの判断をする。

【００３９】学習の流れについて説明する。まず、「学
習パターン保持部」（Ａ）の入力パターンが「ニューラ
ル・ネットワーク実行部」（Ｂ）のニューラル・ネット
ワークに入力され、ニューラル・ネットワークでは“ネ
ットワークの出力”と“ネットワークの結合の重み”を
計算する。また、出力層ユニットに出力値と隠れ層ユニ
ットの出力値が「出力値保存部」（Ｄ）に送られる。

【００４０】「出力値保存部」（Ｄ）では、出力層ユニ
ットの出力値については過去５回分（一例）の、隠れ層
ユニットの出力値については過去３回分（一例）のデー
タを保存してある。そのデータは「重み更新部」（Ｃ）
に送られる。

【００４１】「重み更新部」（Ｃ）では、出力値判定部
（Ｅ）が「出力値保存部」（Ｄ）から送られたデータ
と、出力値判定規則により、重みの更新を行うかどうか
決定する。ここで、出力値判定規則とは、 出力層ユニットの出力値が過去５回にわたって、教師
信号と一致している。

【００４２】隠れ層ユニットの出力値が過去３回にわ
たって、０或いは１になっている。 ＊ なお、比較する過去の出力値の回数は如何なる場合
も同じ回数ではなく、扱うデータなどにより随時可変と
する。 である。

【００４３】上記の条件に合致するものについては、重
みの変化量の計算は行わない。上記の条件を満たさない
ものについては、従来と同様に重みの変化量を学習規
則、学習パラメターをもとに計算する。

【００４４】こうして、更新された重みは、「ニューラ
ルネットワーク実行部」（Ｂ）に送られる。すなわち、
学習にあたり、図５のステップ６０では、出力ユニット
の出力値と、教師信号の誤差計算を行い、過去５回にわ
たって誤差が０になったかどうかを判定する。

【００４５】誤差が０になっていなければ、図５のステ
ップ６１では、出力層の出力値が教師信号に収束してい
ないユニット（図６の○ユニット）については、従来例
と同様に、出力ユニット−隠れユニット間の結合の重み
変化量（Δｗ_ij）の計算を行う。

【００４６】誤差が０であれば、図５のステップ６２で
は、出力層の出力値が過去５回にわたって教師信号と等
しくなっているユニットについては、出力層のユニット
（図６の●ユニット）に接続している結合（図６の実線
部分）の重み変化量の計算は行わずに、重みの変化量
（Δｗ_ij）を０とする。

【００４７】図５のステップ６３では、隠れ層の出力値
が過去３回にわたって０或いは１に収束しているかどう
か判断する。図５のステップ６４では、隠れ層の出力値
が０或いは１に収束していないユニット（図６の○ユニ
ット）については、従来と同じように隠れユニット−入
力ユニットの結合の重み変化量（Δｗ_jk）の計算を行
う。

【００４８】図５のステップ６５では、隠れ層の出力値
が０或いは１に収束しているユニットについては、隠れ
層のユニット（図６の●ユニット）に接続している結合
（図６の実線部分）の重み変化量（Δｗ_jk）の計算は行
わずに、重みの変化量を０とする。

【００４９】図５のステップ６６では、従来例の図８の
ステップ５３と同様に重みの更新を行う。

【００５０】

【発明の効果】本発明によると、重みを更新する際に、
すでに目標値に収束しているパターンについての重みの
更新を省くことができる。従って、従来の方式に比べて
学習時間を大幅に短縮することができる。特に、ほとん
どのパターンが収束に向かった学習の末期の段階で、よ
り大きな効果をあげることができる。

【図面の簡単な説明】

【図１】 本発明の原理図

【図２】 本発明によるニューラル・ネットワーク学習
装置の一実施例

【図３】 ネットワークの入出力特性

【図４】 ネットワークの構造

【図５】 本発明による重みの更新方法

【図６】 出力値判定規則に合致したネットワーク

【図７】 従来のニューラル・ネットワーク学習装置

【図８】 従来の重みの計算方法

【符号の説明】

（Ａ） 学習パターン保持部 （Ｂ） 学習実行部 （Ｃ） 重み更新部 （Ｄ） 出力値保存部 （Ｅ） 出力値判定部 （ＮＷ）ニューラルネットワーク

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力層と出力層の間に少なくとも１つの
   隠れ層を持ち、各層が複数個のユニットから構成されて
   おり、又、各層内では結合がなく、層間ではユニット間
   がある重み係数によって結合され、前層の出力に重み係
   数を乗算し総和をとったものに非線形または線形関数を
   施したものを各ユニットの出力とするニューラル・ネッ
   トワークと、 前記ニューラルネットワーク（ＮＷ）への入力パターン
   とそれに対する望ましい出力である教師信号を保持する
   学習パターン保持部（Ａ）と、 この学習パターン保持部（Ａ）の入力パターンをニュー
   ラルネットワーク（ＮＷ）に入力し出力値を計算する学
   習実行部（Ｂ）と、 所定の学習規則及び学習パラメータを保持するとともに
   これら学習規則及び学習パラメータに基づいて、前記学
   習実行部（Ｂ）でのネットワークの出力と教師信号とを
   比較し、ネットワークの重みを更新する重み更新部
   （Ｃ）と、 を備えたニューラルネットワーク学習装置において、 前記ニューラルネットワーク（ＮＷ）の各層の少なくと
   も一つの層ユニットの出力とそれに対応する教師信号に
   よる目標値とを比較して、その層のユニットの出力と前
   記教師信号による目標値との間の誤差が無くなったか否
   かを判断する出力値判定部（Ｅ）を備え、 この出力値判定部（Ｅ）により前記誤差が無くなったと
   判断された場合、前記重み更新部は、その特定のユニッ
   トに接続した他のユニットとの間の結合の重みの変化量
   の計算を以後停止し、重み更新を行わないことを特徴と
   するニューラルネットワーク学習装置における学習方
   式。
2. 【請求項２】 各入力パターンに対する出力層のユニッ
   トの出力値の履歴を保存する出力値保存部（Ｄ）を有
   し、前記出力値判定部（Ｅ）は、出力値保存部（Ｄ）か
   ら特定出力層のユニットの過去特定回数にわたる出力値
   を受け、その出力値につき過去数回にわたって連続して
   教師信号との間の誤差が無くなったと判断された場合、
   その特定のユニットに接続した他のユニットとの間の結
   合の重みの変化量の計算を以後停止し、重み更新を行わ
   ないことを特徴とする請求項１記載のニューラルネット
   ワーク学習装置における学習方式。
3. 【請求項３】 各入力パターンに対する隠れ層のユニッ
   トの出力値の履歴を保存する出力値保存部（Ｄ）を有
   し、前記出力値判定部（Ｅ）は、出力値保存部（Ｄ）か
   ら特定隠れ層のユニットの過去特定回数にわたる出力値
   を受け、その出力値につき過去数回にわたって連続して
   ０か１の値になった場合、もしくは０または１に近くに
   なった場合、その特定のユニットに接続した他のユニッ
   トとの間の結合の重みの変化量の計算を以後停止し、重
   み更新を行わないことを特徴とする請求項１記載のニュ
   ーラルネットワーク学習装置における学習方式。