JPH0430280A - ニューラルネットワークの学習方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】

この発明は、誤差を用いた学習によるニューラルネット
ワークの学習方法に関する。

【従来の技術】 音声信号や画像信号等の特徴パターンの識別に用いられ
るニューラルネットワークとして、多層パーセプトロン
型ニューラルネットワークがある。 第Ｅ図は３層パーセブトロン型ニューラルネットワーク
の概念図である。この３層パーセブトロン型ニューラル
ネットワークは入力層１．中間層２および出力層３の３
層から構成されている。 上記入力層Ｉには複数のノード５．・・、５を有し、中
間層２には複数のノード６、・、６を有し、出力層３に
は複数のノード７、・・、７を有する。そして、入力層
１の各ノード５、・・、５と中間層２の全ノード６、・
・・、６とはシナプス結合によって接続され、同様に中
間層２の各ノード６、・・、６と出力層３の全ノード７
、・・・、７とはシナプス結合によって接続されてネッ
トワークを形成している。上記構成の３層パーセプトロ
ン型ニューラルネットワークにおいて、あるパターン情
報を表す入力データが入力層ｌの各ノード５．・・・、
５に入力されると、このネットワークの構造に応じた出
力データを出力層３の各ノード７、・・・、７から出力
するのである。 上記中間層２および出力層３を構成する各ノードは、他
のノードからの入力データを受は取ると、受は取ったデ
ータを所定の規則に従って変換して結合された上層の各
ノードに出力する。各ノード間を接続するシナプス結合
には結合の強さを表す重みが付加されている。この重み
は、ノード間の結合の強さを表すものであり、この重み
の値を変えると同じ入力データに対して異なる出力デー
タを出力するようになるのである。 上述のような多層パーセブトロン型ニューラルネットワ
ークの学習とは、あるカテゴリに属する学習パターンを
表す学習データを入力層に入力した際に、出力層から出
力されるデータがこの学習パターンが属するカテゴリを
表すような出力データになるように、各ノード間の結合
の重みの値を設定することである。したがって、学習済
みのニューラルネットワークの入力層に音声信号や画像
信号の特徴パターンを表すデータが入力されると、その
特徴パターンが嘱するカテゴリを識別して識別結果を表
すデータを出力するのである。 上記多層パーセプトロン型ニューラルネットワークの代
表的な学習方法として誤差逆伝播学習間による学習方法
がある。この誤差逆伝播学習間による学習は次のように
して実施される。第１図において、入力層ｌの各ノード
５．・、５に学習データを入力する。さらに、出力層３
の各ノード７・・２７に上記学習データに係る学習パタ
ーンか属するカテゴリを表す教師データを入力する。そ
うすると、中間層２および出力層３の各ノードは、学習
データに基づく実際の出力値とその学習データに対する
望ましい出力データ（すなわち、教師データ）の要素値
との誤差を極小化するように、シナプス結合の重みを変
化させるのである。このような学習過程を種々の学習パ
ターンにおける学習データと教師データとのセットに対
して繰り返し実行するのである。 第２図は多層バーセプトロン型ニューラルネットワーク
の誤差逆伝播学習間による学習時におけるノードの出力
値およびシナプス結合の重みを示す。第２図において、
中間層におけるノードに付加された結合の重みＷは、学
習データに基づく下段のノードからの入力値Ｘと出力デ
ータ０および教師データＴに基づく学習出力値δとによ
って変化する。その際における学習過程毎のノナプス結
合の重み豐の変化量は次のようなものである。 △−、Ｎ　　１（ｎ、■）＝　　η　、６　　Ｑ・ＸＱ
　　ｌ　　＋ｌｊ　　　　　　　　　　　　　　　　１
　　１ａ　・△ｗ”−Ｎ−１（ｎ）　−（１）Ｊ ここで、 △−１Ｎ−１（ｎ＋１）・ ｌコ △−−Ｎ−’（ｎ）： ｌコ （ｎ＋１）回目の学習におけるＮ段 ｉ番目のノードと（Ｎ−１）段ｊ番目 のノードとの間における結合 の重みの変化量 ｎ回目の学習におけるＮ段ｉ番 目のノードと（Ｎ−１）段ｊ番目の ノードとの間における結合の 重みの変化量 値 η：学習定数（例えばη＝０．２５） α：安定化定数（例えばα＝０．９） また、上ｉ２Ｎ２層番目のノードの学習出力値δ９は（
Ｎ−１）段に番目のノードからの学習信号δ１　を用い
て、（２）式によって再帰的に算出される。 ６　”、−ｆ’ｉ’　（ｕｊ）Σ６　：＋１．Ｗ、Ｈｌ
、Ｎ　・（２）ここで、ｒｌ・ｉ番目のノードにおける
出力関数（シグモイド関数） ｆｉ’・ｆｉの微分値 ｕＮ：　Ｎ段ｉ番目のノードの内部状態（２）式におけ
るδの初期値、すなわち、出力層から出力される学習出
力値δｇは（３）式によって与えられる。 δ’ｊ、＝Ｃ０（２−Ｔ（７）ｆ（’（ｕｊ）　＝（３
）ここで、Ｏｇ：出力層における４番目のノード（以下
、出力ノードと言う）の出力値 Ｔ１２・出力層におけるＱ番目の出力ノードに対する教
師データの要素値 すなわち、（ｎ＋１）回目の学習における重みの変化量
△ｗ（ｎ＋１）は、（ｎ＋１）回目の学習における下段
のノードからの当該ノードへの入力値Ｘと当該ノードか
ら上記下段のノードへの学習出力値δとの積の値の学習
定数η倍の値を、ｎ回目の学習における重みの変化量△
ｗ（ｎ）のα倍の値に加算したものである。したがって
、ｎ回目の学習における出力層の各出力ノードから出力
される出力データＯＱと対応する教師データの要素値Ｔ
（との誤差Ｃｏｇ　−ＴＱ）の値に基づく学習出力値δ
２の値が小さくなると、（ｎ＋１）回目の学習時におけ
る重みの値Ｗの変化量△智が小さくなり、学習は収束に
向かうのである。 上述のような誤差逆伝播学旨則による学習の終了は、例
えば次のようにして行う。すなわち、出力層における各
出力ノードからの出力値Ｏ１２と対応する出力ノードに
入力される教師データＴの要素値Ｔｇとの誤差の二乗和
Ｅ、を算出する。 そして、総ての学習データに関する誤差の二乗和Ｅ、の
値の合計値が所定の閾値より小さくなれば、この誤差逆
伝播学習則による学習は収束したと判断して学習を終了
させるのである。 つまり、上記誤差逆伝播学習則による学習においては、
出力層の各出力ノードからの出力値Ｏａと教師データの
要素値Ｔ（との誤差（０ρ−Ｔ（２）の全学習データに
係る合計値が所定の閾値より小さくなるまでは、求めら
れた上記誤差の値に基づく学習出力値δａ力咄力層の各
出力ノードから（Ｎ＋１）層の全ソードへ、さらに出力
層の各出力ノード（Ｎ＋１）層の各ノードからＮ層の全
ノードへと順次伝搬されて、総ての結合に付加された総
ての結合の重みの値が変更されるのである。

【発明が解決しようとする課題】

上述のように、上記誤差逆伝播学習則による多層（３層
）バーセブトロン型ニューラルネットワークの学習にお
いては、総ての学習パターンに関する誤差の二乗和Ｅの
値の合計値が所定の閾値以下になって学習が収束するま
では、出力層の各出力ノードからの出力値と教師データ
の要素値との誤差に基づく学習出力値によって、出力層
および中間層における総ての結合の重みに対する学習が
実行されるので、次のような問題がある。 すなわち、第１図に示す３層パーセブトロン型ニューラ
ルネットワークに対して誤差逆伝播学習則によってパタ
ーン識別の学習を実施する場合において、ある学習パタ
ーンを表す学習データを入力層１に入力した際における
出力層３の各出力ノードからの出力値は、出力信号伝達
経路中における結合の重みの値に応じて種々の値を取る
。その場合において、入力された学習データに係る学習
パターンの識別は、最大値を出力している出力層３の出
力ノードが割り付けられているカテゴリとその最大値と
に基づいて行われる。したがって、小さい値の出力値は
入力された学習データに係るパターンの識別には本来影
響を及ぼさないのである。ところが、上述のように、誤
差逆伝播学習則による学習においては、学習が収束する
までは。 出力値か小さく当該パターンの識別には影響を及ぼさな
いようなノードに係る結合の重みに対しても学習が行わ
れるのである。 一般に、３層バーセプトロン型ニューラルネットワーク
によるパターン識別においては、出力層３の各出力ツー
ドア、・・、７からの出力値に基づいて、入力された学
習データに係る学習パターンがどのカテゴリに属するか
さえ分かれば良いのである。したがって、識別誤りを考
慮して出力層３の各出力ツードア、７．・・・に関する
出力値の誤差の値を累積するとしても、出力値の大きい
順に上位数出力ノードル数十出力ノードからの出力値の
み注目すればよいのである。 このことを具体的に説明すると次のようになる。 識別パターンがＡ”〜“Ｆ′の６パターンであり、パタ
ーンＣを表す学習データが入力された場合の結果につい
て第１表に例示する。この場合における出力層３の出力
ノード数は“６′であり、夫々の出力ツードア、・・、
７は第１表に示すように“Ａ”〜“Ｆ”のパターンのい
ずれかに割り付けられている。 以下、余白 第１表 また、入力された学習データに係るパターンＣに割り付
けられた出力ノードへの教師データの要素値は“！”で
あり、他の出力ノードへの教師データの要素値は“０′
である。 上記３層バーセブトロン型ニューラルネットワークにお
けるパターン識別においては、総ての出力ノードにおけ
る出力値が教師データの要素値と同じ値もしくは近い値
を取る必要はなく、入力された学習データに係るパター
ンの識別に必要な出力ノードにおける出力値が、他の出
力ノードの出値に比較して、対応する教師データの要素
値に近い値を取れば良いのである。 第１表においては、出力ノード“Ｂ”の出力値と出力ノ
ード“Ｃ“の出力値は非常に近い値を示してＬ）る。し
たがって、パターンＣを正しく識別するためには出力ノ
ードＣ′の出力値か更に大きくなり（すなわち、教師デ
ータの値“１．００”に近付き）出力ノードＢ”の出力
値か更に小さくなる（すなわち、教師データの値“０．
００”に近付く）必要かある。 つまり、この場合更に学習か必要なのは出力ノード“Ｂ
”に係る結合の重みと出力ノードＣ′に係る結合の重み
である。一方、出力ノード“Ａ゛、出力ノードＤ”、出
力ノード“Ｅｏおよび出力ノード“Ｆ”の出力値につＬ
ｌては既に十分少さな値となっている。したがって、上
記出力ノード“Ｂ”および出力ノード“Ｃ”に係る結合
の重みに対する学習が続行される際に、上記出力ノード
“Ａ′、出力ノード“Ｄ”出力ノード“Ｅ”および出力
ノード“Ｆ”に係る結合の重みか更に学習されて異なっ
た出力値に変化したとしても、出力ノードＡ”、出力ノ
ード“Ｄ”、出力ノード“Ｅ”および出力ノード°Ｆ”
からの出力値は十分少さな値を保つことができるのでパ
ターンＣの識別結果には影響がないと言える。すなわち
、パターンＣに係る学習時における出力ノード“Ａ。 出力ノード“Ｄ”、出力ノード“Ｅ”および出力ノード
“Ｆ“に係る結合の重みの学習は不必要な学習であると
言える。 上述のように、出力ノード“Ｂ”および出力ノード“Ｃ
”に係る結合の重みの学習の際における出力ノード“Ａ
”２出力ノード“Ｄ”、出力ノード“Ｅ”および出力ノ
ード“Ｆ”に係る結合の重みに対する学習は、パターン
Ｃの識別には影響を及ぼさないのである。ところが、そ
の出力ノードに係るパターン（すなわち、パターンＡま
たはパターンＤまたはパターンＥまたはパターンＦ）を
識別する場合には影響が出て来るのである。特に、学習
パターン数が多い場合には、−回の学習によって出力ノ
ード“Ａ”、出力ノード“Ｄ″、出力ノード“Ｅ”およ
び出力ノード“Ｆ“に係る結合の重みの変化量は僅かで
あるが、パターンＣの識別に係る学習が終了した時点に
おいては、かなりの変化量になるのである。 したがって、例えば次にパターンＡの識別に係る学習を
実施する場合には、出力ノード“Ａ”に係る結合の重み
の値は既に無視できない値と成っている場合がある。 より具体的に説明すれば次のようになる。例えば６２種
の英数字を表す特徴パターンの識別の学習に際して、カ
テゴリＡに割り付けられた出力ノード“Ａ”からの出力
値に注目すると、６２種の学習データを入力層Ｉに入力
した場合に、カテゴリの識別に影響のない出力値を出力
させる（すなわち、不必要な学習をさせる）学習データ
が５０種あったとする。今、仮にこの５０種に係る出力
ノード“Ａ”からの出力値と教師データの要素値との誤
差の平均値を“−０，０ビとする。そうすると、上記出
力ノード“Ａ”に係る結合の重みに対して不必要な学習
をさせるような５０種の学習データに基づく誤差の累計
は、単純に平均値を合計しても−０，５となる。したが
って、上記５０種の学習データによる不必要な学習によ
って、出力ノード“Ａ”に係る結合の重みの値は総て減
少方向に変化するのである。 このような不必要な学習における出力ノード“Ａ”に係
る結合の重みの変化量は、１回１回は僅かであるが総て
の学習について合計すると大きな変化量となる。さらに
、識別対象となるカテゴリ数が多くなるとその傾向は更
に顕著となる。こうして、不必要な学習によって、出力
ノードＡ”に係る結合の重みの値は総て減少方向に大き
く変化してしまうのである。そうすると、カテゴリの識
別に影響を及ぼすような出力値を出力させる１２種の学
習データのうちある学習データに係る必要な学習に際し
て、出力ノード“Ａ”に係る結合の重みの値を正方向に
変化させる場合には学習の進行の妨げになるのである。 換言すれば、不必要な学習を実施することによって、総
ての学習が終了するまでに長時間を要するという問題が
ある。また、学習によってせっかく正しい値に設定され
た結合の重みの値が不必要な学習によって望ましくない
値に変更されてしまい、その結果としてニューラルネッ
トワークの識別能力が低くなってしまうという問題もあ
る。 そこで、この発明の目的は、ニューラルネットワークに
対するトータルの学習時間を短くすると共に、ニューラ
ルネットワークの識別能力を高めることができるニュー
ラルネットワークの学習方法を提供することにある。

【課題を解決するための手段】

上Ｊ己目的を達成するため、第１の発明は、誤差を用い
た学習によるニューラルネットワークの学習方法であっ
て、上記ニューラルネットワークの入力層に学習データ
を入力した際の各出力ノードからの出力値と、上記学習
データに係る学習パターンが属するカテゴリを表す教師
データにおける上記出力ノードに対応する要素値との比
較値を算出し、上記比較値が所定の閾値上り小さい値を
呈する出力ノードが在る場合には、この出力ノードに係
るンナブス結合の重みの値を更新しないことを特徴とし
ている。 また、第２の発明は、誤差を用いた学習にょるニューラ
ルネットワークの学習方法であって、上記ニューラルネ
ットワークの入力層に学習データを入力した際の上記学
習データに係る学習パターンか属するカテゴリに割り付
けられた出力ノードからの出力値と、その他の出力ノー
ドからの出力値との比の値を算出し、上記比の値が所定
の範囲内の値を呈する出力ノードが在る場合には、この
出力ノードに係るノナプス結合の重みの値を更新しない
ことを特徴としている。 さらに、上記第２の発明のニューラルネットワークの学
習方法は、上記比の値か上記所定の範囲内の値を呈しな
い出力ノードの場合には、上記ニューラルネットワーク
の学習の際に用いる当該出力ノードに係る誤差の値を当
該出力ノードにおける上記比の値にすることを特徴とし
ている。 また、第３の発明は、誤差を用いた学習によるニューラ
ルネットワークの学習方法であって、上記ニューラルネ
ットワークの入力層に学習データを入力した際の上記学
習データに係る学習パターンが属するカテゴリに割り付
けられた出力ノードからの出力値と、その他の出力ノー
ドからの出力値との比の値を算出し、上記ニューラルネ
ットワークの学習の際に用いる各出力ノードに係る誤差
の値を、対応する出力ノードにおける上記比の値に応じ
て所定の手順によって変更することを特徴としている。 さらに、上記第３の発明のニューラルネットワークの学
習方法は、上記比の値が所定の範囲内の値を呈する出力
ノードが在る場合には、この出力ノードに係るシナプス
結合の重みの値を更新しないことを特徴としている。

【実施例】

以下、この発明を図示の実施例により詳細に説明する。 第１図は本実施例に係る３層バーセブトロン型ニューラ
ルネットワークの概念図である。このニューラルネット
ワークの構造と動作については既に詳細に説明したので
、ここでは説明を省略する。 但し、本実施例におけるニューラルネットワークは、数
字“０“〜“９”から成る文字画像のパターンを識別す
るニューラルネットワークであり、入力層Ｉの各ノード
５．−９５には文字画像または既知の手法で抽出された
画像特徴のパターンの要素値が入力される。したがって
、入力層ｌのノード数よ入力される文字画像または画像
特徴のパターンの次元数に応じて設定すればよい。出力
層３のノード７、．７は１０個設けられて、夫々“０”
〜“９”の数字に割り付けられる。中間層２のノード数
は静的あるいは動的に任意に設定する。 本実施例におけるニューラルネットワークの中間層２お
よび出力層３の各ノード６、・、７．・・によって実施
される入力データの変換の際に用いられる規則は、ング
モイド関数である。このニューラルネットワークに対し
て実施される学習は誤差逆伝播学習則による学習であり
、その際に用いられる教師データは、学習データに係る
学習パターンが属するカテゴリに割り付けられた出力ノ
ードには“ビを与え、その他の出力ノードには“０”を
与えるようなデータである。 以下、第１図に示す３層パーセプトロン型ニューラルネ
ットワークに係るこの発明の学習方法について、詳細に
述べる。 この発明は、上記（３）式における（０（！　−Ｔ（り
の値を制御することによって、入力された学習データに
係る学習パターンの識別には影響を及ぼさないような出
力ノードに係る結合の重みに対する学習を停止あるいは
抑制する。そうして、ニューラルネットワークの学習を
効率良〈実施し、かつ、学習済みのニューラルネットワ
ークによる識別能力の向上を図るものである。 実施例１ 本実施例においては、ニューラルネットワークに学習デ
ータを入力した際における出力層３からの出力データと
教師データとの誤差の値に応して、学習パターンの識別
に影響を及ぼさないような出力ノードに係る結合の重み
の学習を停止するのである。 第１図に示すニューラルネットワークの入力層１の各ノ
ード５．・・、５に、属しているカテゴリ（“０”〜“
９゛）が既知の文字画像の特徴パターン（学習パターン
）を表す学習データか入力される。そうすると、中間層
２および出力！１３の各ノードは（４）式に従って算出
される値Ｘを出力する。 ｘＷ＝ｆｉ（ｕＮ）　・＋（４） 二こで、ｘＷ：　Ｎ段ｉ番目のノードの出力値（出力層
のノードの場合には出力値ＯＩ２ に対応） その結果、出力層３の各出力ツードア、・・、７からは
出力値Ｏρ（１≦Ｑ≦ＬＬ　　出力ノード数）が出力さ
れる。 一方、出力層３の各出力ツードア、・・・、７には、学
習パターンが属しているカテゴリに割り付けられた出力
ノードに“ビを与えると共に他の出力ノードに“０”を
与える教師データＴを入力して、誤差逆伝播学習則によ
る学習が実施される。 本実施例においては、その際に、上記出力データＯとそ
れに対応する教師データＴとの誤差Ｅ。 を（５）式によって算出する。 Ｅｔｌ＝Ｏρ−Ｔ（７・・・（５） そして、ＩＥｓｇｌの値が閾値ｎより小さければ、その
出力値ＯＱを出力しているＣ番目の出力ノード（以下、
出力ツードアＩ２と表す）に係る誤差Ｅ２１２の値を“
０”に再設定する。すなわち、出力ツードアｇは入力さ
れた学習データに係る学習パターンの識別には影響を及
ぼさないとするのである。一方、Ｅｔｌｌの値が閾値ｎ
以上であれば、その出力値Ｏａを出力している出力ツー
ドアＱに係る誤差の値としてＥ、（２の値をそのまま用
いるのである。 こうして、得られた各出力ツードア、・・７７における
誤差の値に基づいて、上述のようにして、誤差逆伝播学
習則による学習を実施する。その際に、誤差Ｅｔａの値
が“Ｏ”に再設定された出力ツードアｇからは学習出力
値δ３が出力されないので、その出力ツードアｇに係る
結合の重みに対する学習は停止されるのである。 こうすることによって、既に小さい出力値を呈しており
、学習データに係る学習パターンの識別には影響を及ぼ
さないと判定された出力ノードに係る不必要な学習を防
止することができるのである。 第３図は本実施例におけるニューラルネットワークの学
習におけるＸ番目の学習データに対する一回の学習手順
に係るフローチャートである。以下、第３図に従って、
本実施例における学習手順を説明する。 ステップＳ１で、Ｘ番目の学習パターンに係る学習デー
タか入力層１の各ノード５．・、５に入力される。 ステップＳ２て、入力層１に入力された学習データに基
づいて、中間層２の各ノード６、・・、６および出力層
３の各出力ツードア、　、７における出力値が（４）式
によって算出される。 ステップＳ３で、出力ノード番号ｅの初期値が“ビに設
定される。 ステップＳ４で、Ｃ番目の出力ツードアＱに係る出力値
０（２と教師データの要素値ＴＱとの誤差Ｅ、ρの値が
（５）式によって算出される。 ステップＳ５で、上記ステップＳ４において算出された
誤差Ｅ、１の絶対値が、所定の閾値ｎより小さいか否か
が判別される。その結果、閾値ｎよりも小さければステ
ップＳ６に進む。一方、閾値ｎ以上であればステップＳ
６をスキップする。 ステップＳ６で、上記ステップＳ４で算出された誤差Ｅ
ｔＱの値か“０“に再設定される。 ステップＳ７で、総ての出力ツードア、・、７に係る誤
差Ｅ、夕か算出されたか否かが判別される。 その結果算出されていればステップＳ９に進み、そうで
なければステップＳ８に進む。 ステップＳ８で、出力ノード番号Ｑの内容かインクリメ
ントされてステップＳ４に戻り、次の出力ノードに係る
誤差Ｅ、６（７）算出か実行される。 ステップＳ９で、上述のようにして得られた誤差Ｅ、Ｑ
の値を用し１て誤差逆伝播学習則による学習か実行され
る。そうすると、誤差Ｅｔｔ２に基づいて各出力ノード
毎に得られる学習出力値δ８を用いて、（３）式、（２
）式および（１）式によってノナブス結合の重みＷの変
化量△Ｗが算出される。そして、この算出された変化量
△Ｗの値に従って結合の重みＷの値が更新され、に番目
の学習データに関する一回の学習を終了する。 このように、本実施例においては、出力層３の任意のノ
ード７ｇに係る出力値０４と教師データＴの要素値Ｔａ
との誤差Ｅｘ（２の絶対値か、予め定められた閾値ｎよ
り小さい場合には、その出力ノードアＱは当該学習パタ
ーンの識別には影響を及ぼさないとするのである。そし
て、当該学習パターンの識別に影響を及ぼさないような
出力ツードアｇに係る学習を停止するために、上記出力
ツードアｅに係る誤差Ｅ、ρの値を“０”に再設定する
のである。 こうして、当該学習パターンの識別に影響を及ぼすよう
な出力ツードアに係る誤差の値“Ｅ！″と当該学習パタ
ーンの識別には影響を及ぼさないような出力ツードアに
係る誤差の値“０”とに基づいて、３層パーセブトロン
型ニューラルネットワークの誤差逆伝播学習間による学
習が実施されるのである。したがって、当該学習パター
ンの識別には影響を及ぼさないような結合の重みに対す
る不必要な学習が停止されて、学習時間を短縮できる。 また、当該学習パターン（例えば、数字“８“）に係る
学習によって最適に設定された当該学習パターンに割り
付けられた出力ツードア゛に係る結合の重みの値が、こ
の出力ツードア″からの出力値が識別に影響を与えない
ような（すなわち、当該学習パターン“８°と明らかに
異なるパターンを何する）他の学習パターン（例えば、
数字“ｌ”）に係る学習の際に更新されないので、当該
学習パターンが属するカテゴリに割り付けられた出力ツ
ードア°に係る結合の重みに対する望ましくない学習が
未然に防止される。さらに、学習パターン数がカテゴリ
間にばらつきがある場合に、学習パターン数の多いカテ
ゴリに係る学習の際に、他のカテゴリに割り付けられた
出力ノードに係る結合の重みに対する不必要な学習が抑
制される。したがって、学習パターン数の偏りによるカ
テゴリ間の学習の偏りが未然に防止できる。つまり、本
実施例による学習法によって学習されたニューラルネッ
トワークは高いパターン識別能力を有するのである。 また、上述のように、学習パターンの識別７こ影響を及
ぼすような出力ノードに係る結合の重みについてのみ学
習を実施するので、学習を適当な方向に向かわせること
ができる。したがって、局所最適解に陥りにくく、もし
局所最適解に陥ったとしても容易に脱出できるのである
。 上記実施例における閾値ｎの値は経験的に定めた一定値
（例えば、ｎ＝０．２０）てらよいか、学習の進行状況
等によって動的に変化させるようにしてもよい。 上記実施例においては、学習を停止する出力ノードを検
出する際には誤差Ｅ、（の値に基づいて検出するように
している。しかしながら、この発明においてはこれに限
定されるものではなく、例えば出力値ＯＱと教師データ
の要素値Ｔｇとの差の二乗の値等の出力値ＯＱと教師デ
ータの要素値Ｔ（との比較値であればよい。 実施例２ 本実施例においては、ニューラルネットワークに学習デ
ータを入力した際Ｚこ、入力された学習データに係る学
習パターンが属するカテゴリに割り付けられた出力ノー
ドからの出力値とその他の出力ノードからの出力値との
比の値に応じて、学習パターンの識別に影響を及ぼさな
いような出力ノードに係る結合の重みの学習を停止する
のである。 第１図に示すニューラルネットワークの入力層（の各ノ
ーＦ’５．−．５にカテゴリ既知の学習データが入力さ
れる。そうすると、中間層２の各ノード６、−．６およ
び出力層３の各ノード７、・　７は（４）式によって出
力値を算出する。その結果、出力層３の各ノード７、・
、７からは出力値Ｏが出力される。 本実施例においては、その際に、出力層３における上記
学習パターンが属するカテゴリに割り付けられた出力ノ
ードからの出力値Ｏｒとその他のカテゴリに割り付けら
れた出力ノードからの出力値Ｊとの比Ｈσの値を（６）
式によって算出する。 Ｈ１２＝Ｏｚ２１０ｒ−（６） 上述のようにニューラルネットワークの学習に際しては
、学習パターンが属するカテゴリ（例えば、“８”）に
割り付けられた出力ノード（すなわち、出力ツードア°
）からの出力値が“ビとなり、その他の出力ツードア、
７．・からの出力値が“０“となるように学習が行われ
ている。したがって、算出された総ての比Ｊの中１ごビ
より大きい値を示すような出力ノードがない場合には、
正しいカテゴリに割り付けられた出力ノードからの出力
値か最大であり、正しく学習が実施されていることにな
る。また、上記比Ｈ（２の値は、当該学習パターンが属
するカテゴリに割り付けられた出力ノード（すなわち、
当該学習パターンの識別に当然影響を及ぼす出力ノード
）からの出力値に対する他の出力ノードからの出力値の
相対値である。したがって、比ＨＩ２の値は各出力ツー
ドア、・・・、７に係る結合の重みの学習の必要さの度
合いを表していることになるのである。 そこで、本実施例においては、比Ｈ，２の値が閾値ｍよ
り小さい値を出力するような出力ノードがあれば、その
出力ノードは当該学習パターンの識別には影響を及ぼさ
ないとするのである。そして、比Ｈρの値が閾値ｍより
小さな値を呈している出力ツードアＱに係る誤差Ｅｔｇ
　（＝０（２−Ｔ（２）の値を“０“に再設定する。一
方、比Ｈ（２の値が閾値ｍ以上の値を出力するような出
力ノードがあれば、その出力ツードアｅに係る誤差の値
としてＥ２ｇの値をそのまま使用するのである。 こうすることによって、既に当該学習ツクターンが属す
るカテゴリに割り付けられた出力ノードからの出力値に
対して十分少さい出力値を呈しており、学習データ（こ
係る学習パターンの識別には影響を及ぼさないと制定さ
れた出力ノードに係る不必要な学習を防止することがで
きるのである。 第４図は本実施例におけるニューラルネットワークの学
習におけるＸ番目の学習データに対する一回の学習手順
（こ係るフローチャートである。以下、第４図に従って
、本実施例における学習手順を説明する。 ステップＳｌｌで、Ｘ番目の学習パターンに係る学習デ
ータが入力層ｌの各ノード５．・・、−５に入力される
。 ステップＳ１２で、入力層１に入力された学習データに
基づいて、中間層２の各ノード６、・・、６および出力
層３の各出力ツードア、・・・、７における出力値か（
４）式によって算出される。 ステップＳ１３で、出力ノード番号Ｑの初期値が“ビに
設定される。 ステップＳ１４で、Ｑ番目の出力ツードアＱに係る出力
値Ｏａと教師データの要素値Ｔ（との誤差Ｅ、ρの値が
（５）式によって算出される。 ステップＳ１５で、Ｘ番目の学習パターンが属するカテ
ゴリに割り付けられた出力ノードからの出力値ＯｒとＱ
番目の出力ツードアｇからの出力値０１との比ＨＩ２の
値が（６）式によって算出される。 ステップＳ１６で、上記ステップＳ１５において算出さ
れた比Ｈ１の値が、所定の閾値ｍより小さいか否かが判
別される。その結果、閾値ｍよりも小さければステップ
Ｓ１７に進む。一方、閾釦線上であればステップＳ１７
をスキップする。 ステップＳｉ７で、上記ステップＳ１４で算出された誤
差Ｅｖ（ｌの値力び０”に再設定される。 ステップＳ１８で、総ての出力ツードア、・・、７に係
る比Ｈｇが算出されたか否かが判別される。その結果算
出されていればステップＳ２０に進み、そうでなければ
ステップＳ１９に進む。 ステップＳ１９で、出力ノード番号Ｑの内容がイシクリ
メントされてステップＳ１４に戻り、次の出力ノードに
係る誤差Ｅ４に関する処理が実行される。 ステップＳ２０で、上述のようにして得られた誤差Ｅ、
（Ｈの値を用いて誤差逆伝播学習則による学習か実行さ
れ、（３）式、（２）式および（１）式によってノナブ
ス結合の重みＷの変化量△Ｗか算出される。 そして、この算出された変化量へＷの値に従って結合の
重みＷの値が更新され、Ｘ番目の学習データに関する一
回の学習を終了する。 このように、本実施例においては、当該学習パターンが
属するカテゴリに割り付けられた出力ノードからの出力
値Ｏｒとその他の出力ツードアＱからの出力値ＯＱとの
比Ｈ（２の値を（６）式によって算出する。そして、こ
の比ＨＱの値が予め定められた閾値ｍより小さい場合に
は、その出力ツードアｇは当該学習パターンの識別には
影響を及ぼさないとするのである。そして、当該学習パ
ターンの識別に影響を及ぼさないような出力ツードア（
に係る学習を停止するために、上記出力ツードアｔ２に
係る誤差Ｅｖｇの値を“０”に再設定するのである。 したかって、当該学習パターンの識別には影響を及ぼさ
ないような結合の重みに対する不必要な学習を停止して
、学習時間を短縮できる。また、本実施例による学習法
によって学習されたニューラルネットワークは高いパタ
ーン識別能力を有するのである。 上記実施例における閾値ｍの値は経験的に定めた一定値
（例えば、ａ＋＝０．８０）でもよいが、学習の進行状
況等によって動的に変化させてもよい。 上記実施例においては、当該学習パターンが属するカテ
ゴリに割り付けられた出力ノードに係る学習は制御しな
いようにしている。しかしながら、この発明はこれに限
定されるものではなく、当該学習パターンが属するカテ
ゴリに割り付けられた出力ノードには上記実施例Ｉを適
用して、出力値と教師データの要素値との差の値が閾値
以下になったら学習を停止するようにしてもよい。 罠散五３ 上記実施例２において算出される比Ｈ１の値は、当該学
習パターンか属するカテゴリに割り付けられた出力ノー
ド以外の出力ノードに係る結合の重みに対する学習が進
んで、その出力ノードからの出力値か教師データの要素
値Ｔ（の値に近付くと小さな値を呈するようになる。す
なわち、比ＨＱの値は出力ツードアＱに係る結合重みに
対する学習の収束度を表しているのである。このことは
、取りも直さず上記出力）−ドアＱからの出力値０ρと
教師データの要素値Ｔｇとの誤差Ｅｔａの内容と同じ内
容を表していると言うことができる。 そこで、本実施例においては、実施例２における誤差Ｅ
！１２の値として上記比Ｈ（の値を用いるのである。そ
して、上記比ＨＩ２の値が閾値ｍより小さい場合にはそ
の出力ツードアσは当該学習パターンの識別には影響を
及ぼさないとして、出力ツードアｇに係る誤差の値を“
０“にする。一方、比Ｈ（の値が閾値ｍ以上の場合には
その出力ツードアｇに係る誤差の値を上記比Ｈ（の値と
するのである。 このように、出力ツードアＱに係る誤差の値を上記比Ｈ
，２の値とした方が、上記Ｅ、１２の値を用いるよりも
学習か早く収束することが経験的？こ知られている。し
たがって、本実施例によれば、上記実施例２の場合より
も学習時間をさらに短縮できるのである。 実施例４ 本実施例においては、実施例２における比Ｊの値に応じ
て、出力値Ｏｇと教師データＴの要素値Ｔ（との誤差Ｅ
、ρの値を直接変更することによって、学習パターンの
識別に影響を及ぼさないような出力ノードに係る結合の
重みの学習を抑制するのである。 第１図に示すニューラルネットワークの入力層１の各ノ
ード５．．５にカテゴリ既知の学習データが入力される
。そして、出力層３の各出力ツードア、・・、７から出
力される出力値に基づいて上記（６）式によっ・て比Ｈ
５の値が算出される。この場合、上述のように、上記比
ＨＱの値は出力ツードアｅに係る結合の重みに対する学
習の必要さの度合いを表していると言える。 そこで、本実施例においては、比ＨＱの値が小さく、出
力ツードアσに係る結合の重みに対する学習が不必要な
学習である場合には、（７）式によって誤差Ｅ、ｇの値
を比Ｈ（Ｂの値に応じて小さくするのである。 Ｅ、２　＝Ｈ（’ＸＥ４−　（７） （７）式は次のことを意味する。すなわち、誤差Ｅ２Ｉ
２の値か大きく比ＨＱの値が“ビ以上である場合には、
出力ツードアＩ！からの出力値０１に基づくパターン識
別結果は誤りであるため、結合の重みの大幅な変更を要
する。そこで、誤差Ｅ２１２の値をさらに大きくして結
合の重みＷの変化量△Ｗを大きくするのである。また、
誤差Ｅ１ｇの値が大きく比Ｈ（２の値が°ビより小さい
場合には、まだ出力ツードアＱに係る結合の重みの変更
を要する。そこで、誤差Ｅｇｇの値を比ＨＱの値に応じ
て変化させて結合の重みＷの変化量へ豐を誤差Ｅ、ｇ’
の値に応じた値にするのである。また、誤差Ｅ、０．の
値力叶分小さく比Ｈρの値が“ビより小さい場合には、
出力ツードアｇからの出力値はもはや当該学習パターン
の識別には影響を及ぼさないと言える。したがって、出
力ツードアρに係る結合の重みの変更は殆ど必要がない
。そこで、誤差Ｅｔｇの値を十分小さくして結合の重み
Ｗの変化量△Ｗを小さくするのである。 このように、誤差Ｅｚ、２の値を比Ｈ６の値に応じて減
少することによって、既に小さい出力値を呈しており、
学習データが表す学習パターンの識別には影響を及ぼさ
ないと判定された出力ノードに係る不必要な学習を極力
押さえることができるのである。 第５図は本実施例におけるニューラルネットワークの学
習におけるＸ番目の学習データに対する一回の学習手順
に係るフローチャートである。第５図のフローチャート
は第４図のフローチャートとほぼ同じである。但し、本
実施例における誤差Ｅｔｌの変更は、ステップＳ２６に
おいて、（７）式に従って比Ｈｇの値に応じて変更する
点で第４図のフローチャートと異なるのである。 このように、本実施例においては、当該学習パターンが
属するカテゴリに割り付けられた出力ノードからの出力
値Ｏ２とその他の出力ツードアｇに係る出力値Ｏｅとの
比Ｈｐの値を（６）式によって算出する。そして、出力
ツードアｇに係る結合の重みに対する学習の必要さの度
合いを表す上記比Ｈ，２の値に応じて、出力ツードアＱ
に係る誤差Ｅ、σの値を（７）式に従って変更するので
ある。 したがって、当該学習パターンの識別には影響を及ぼさ
ないような結合の重みに対する不必要な学習を極力押さ
えることができる。すなわち、学習済みのニューラルネ
ットワークは高いパターン識別能力を有するのである。 上記実施例における関数Ｅｔａ’は、単調非減少関数で
あることが望ましい。しかしながら、比Ｈρの値が“じ
より小さい場合にはより小さい値を取る一方、比Ｈ１の
値が“ビより大きい場合にはより大きい値をとる関数で
あれば、部分的に減少部分を含んでいる関数であっても
構わない。 上記実施例において、上記実施例２を併用して、比Ｈ（
２の値が所定の閾値以下になった場合には、（７）式に
は関係無く誤差Ｅｔ１２’の値を“０”に設定するよう
にしてもよい。 上記各実施例においては、数字識別用の３層パーセプト
ロン型ニューラルネットワークを用いているが、４層以
上の多層パーセプトロン型ニューラルネットワークであ
っても構わない。また、数字以外のパターン識別用のニ
ューラルネットワークであっても構わない。 この発明に係るニューラルネットワークは多層パーセブ
トロン型ニューラルネットワークに限定されるものでは
ない。要は、用いられる学習則が誤差を用いた学習であ
ればいかなる構造のニューラルネットワークであっても
差し支えないのである。 この発明における誤差Ｅｔ（２およびＥｔ（２’、比Ｈ
ｇの算出アルゴリズムは、上記各実施例に限定されるも
のではない。 【発明の効果］ 以上より明らかなように、第１の発明のニューラルネッ
トワークの学習方法は、出力値と教師データの要素値と
の差の値が閾値上り小さい値を呈するような出力ノード
が在る場合には、この出力ノードに係るンナプス結合の
重みの値を更新しないので、当該学習パターンの識別に
影響を及ぼさないような出力ノードに係る不必要な学習
を停止することができる。したかって、トータルの学習
時間を短くできると共に、ニューラルネットワークの識
別能力を高めることができる。 また、第２の発明のニューラルネットワークの学習方法
は、学習パターンが属するカテゴリに割り付けられた出
力ノードからの出力値とその他の出力ノードからの出力
値との比の値が、所定の範囲内の値を呈するような出力
ノードが在る場合には、二の出力ノードに係るンナブス
結合の重みの値を更新しないので、当該学習パターンの
識別に影響を及ぼさないような出力ノードに係る不必要
な学習を停止することができる。したがって、トータル
の学習時間を短くできると共に、ニューラルネットワー
クの識別能力を高めることができる。 また、第３の発明のニューラルネットワークの学習方法
は、上記ニューラルネットワークの学習の際に用（する
誤差の値を、学習パターンが属するカテゴリに割り付け
られた出力ノードからの出力値とその他の出力ノードか
らの出力値との比の値に応じて、所定の手順によって変
更するので、当該学習パターンの識別に影響を及ぼさな
いような出力ノードに係る不必要な学習を抑制すること
ができる。したがって、ニューラルネットワークの識別
能力を高めることができる。 さらに、上記第３の発明のニューラルネットワークの学
習方法は、上記比の値が所定の範囲内の値を呈するよう
な出力ノードが在る場合には、この出力ノードに係るン
ナプス結合の重みの値を更新しないので、トータルの学
習時間を短くできると共に、さらにニューラルネットワ
ークの識別能力を高めることができる。

【図面の簡単な説明】

第１図はこの発明に係るニューラルネットワークにおけ
る一実施例の概念図、第２図は多層パーセプトロン型ニ
ューラルネットワークにおける出力値およびンナプス結
合の重みの説明図、第３図乃至第５図は各実施例におけ
る一つの字とデータによる一回の学習手順を示すフロー
チャートである。 １・入力層、　　　　　　　　２・中間層、３・・出力
層、　　　　　　　　５．６・・ノード、７・・出力ノ
ード。

Claims (5)

【特許請求の範囲】
1. （１）誤差を用いた学習によるニューラルネットワーク
   の学習方法であって、 上記ニューラルネットワークの入力層に学習データを入
   力した際の各出力ノードからの出力値と、上記学習デー
   タに係る学習パターンが属するカテゴリを表す教師デ一
   夕における上記出力ノードに対応する要素値との比較値
   を算出し、 上記比較値が所定の閾値より小さい値を呈する出力ノー
   ドが在る場合には、この出力ノードに係るシナプス結合
   の重みの値を更新しないことを特徴とするニューラルネ
   ットワークの学習方法。
2. （２）誤差を用いた学習によるニューラルネットワーク
   の学習方法であって、 上記ニューラルネットワークの入力層に学習データを入
   力した際の上記学習データに係る学習パターンが属する
   カテゴリに割り付けられた出力ノードからの出力値と、
   その他の出力ノードからの出力値との比の値を算出し、 上記比の値が所定の範囲内の値を呈する出力ノードが在
   る場合には、この出力ノードに係るシナプス結合の重み
   の値を更新しないことを特徴とするニューラルネットワ
   ークの学習方法。
3. （３）請求項２に記載のニューラルネットワークの学習
   方法において、 上記比の値が上記所定の範囲内の値を呈しない出力ノー
   ドの場合には、上記ニューラルネットワークの学習の際
   に用いる当該出力ノードに係る誤差の値を当該出力ノー
   ドにおける上記比の値にすることを特徴とするニューラ
   ルネットワークの学習方法。
4. （４）誤差を用いた学習によるニューラルネットワーク
   の学習方法であって、 上記ニューラルネットワークの入力層に学習データを入
   力した際の上記学習データに係る学習パターンが属する
   カテゴリに割り付けられた出力ノードからの出力値と、
   その他の出力ノードからの出力値との比の値を算出し、 上記ニューラルネットワークの学習の際に用いる各出力
   ノードに係る誤差の値を、対応する出力ノードにおける
   上記比の値に応じて所定の手順によって変更することを
   特徴とするニューラルネットワークの学習方法。
5. （５）請求項４に記載のニューラルネットワークの学習
   方法において、 　上記比の値が所定の範囲内の値を呈する出力ノードが
   在る場合には、この出力ノードに係るシナプス結合の重
   みの値を更新しないことを特徴とするニューラルネット
   ワークの学習方法。