JPH04216162A - ニューラルネットワークの学習方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、学習能力を有するニュ
ーラルネットワークによりパターン認識を行うためのニ
ューラルネットワークの学習方式に関する。

【０００２】

【従来の技術】学習可能なニューラルネットワークの例
としてバックプロパゲーション型ニューラルネットワー
ク［参考文献　　Ｒｕｍｅｌｈａｒｔ，Ｄ．Ｅ．ｅｔ　
ａｌ．：Ｐａｒａｌｌｅｌ　ＤｉｓｔｒｉｂｕｔｅｄＰ
ｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．ｌ，ＭＩＴ　Ｐｒｅｓｓ
　（１９８６）］を、パターン認識問題の例として手書
き数字認識をとりあげて説明する。

【０００３】図１は、バックプロパゲーション型ニュー
ラルネットワークの構成例を示す図である。図１におい
て、１は入力層のニューロンを、２は中間層のニューロ
ンを、３は出力層のニューロンをそれぞれ示し、入力層
と中間層のニューロンは接続線４で接続され、中間層と
出力層のニューロンは接続線５で接続されている。

【０００４】図２は、従来技術でのニューラルネットワ
ークの学習方式のフローを示す。以下、従来技術につい
て、図２を参照しながら説明する。

【０００５】まず、学習用の特徴パターンの全集合ＳＬ
　　をニューラルネットワーク（ＮＮ）に入力して学習
させる（ステップ１１０）。教師信号には、分類すべき
識別クラスに対応する値、すなわち、ある手書き数字に
所属する特徴パターンを入力するときには、その数字に
対応する出力層のニューロンへの値だけは「１」とし、
その他は「０」とするような値を用いる。

【０００６】次に、学習済みの上記ニューラルネットワ
ーク（ＮＮ）に、未知の特徴パターンを入力してパター
ン認識を行わせる（ステップ１２０）。

【０００７】手書き数字の横方向濃淡頻度分布（横方向
に見たときの黒画素の数の分布）と縦方向濃淡頻度分布
（縦方向に見たときの黒画素の数の分布）を特徴パター
ンの例とした場合の、従来技術によるニューラルネット
ワーク学習およびパターン認識の実験を行った。

【０００８】図３は手書き数字の横方向濃淡頻度分布の
例を示し、図４は縦方向濃淡頻度分布の例を示す。

【０００９】具体的に言うと、７５人分の横方向濃淡頻
度分布あるいは縦方向濃淡頻度分布（ともに３２次元の
特徴パターンで、各数字につき７５個、計７５０個）を
入力とした。ニューラルネットワークの規模は、横方向
入力、縦方向入力ともに、３２個の入力層のニューロン
、１０個の中間層のニューロン、１０個の出力層のニュ
ーロンである。

【００１０】その結果、学習済みニューラルネットワー
クを用いた未知データ（７５人分の手書き数字によるデ
ータ）の認識率は、横方向入力で８３．２０％、縦方向
入力のときには５１．３３％となった。

【００１１】

【発明が解決しようとする課題】このような従来技術で
は、学習用の入力パターン間に類似性があっても、同一
のクラスに所属する学習データに関しては、特に区別す
ることなく、同じ教師信号で同じ回数だけ学習させてい
たために、次のような問題が生じる。

【００１２】図３および図４からわかるように、手書き
数字の縦方向頻度分布では各クラス（数字）に対応する
特徴パターンがよく似ている。例えば、数字「６」と数
字「８」の縦方向分布は比較的類似性が高く、学習用入
力パターンの中にはほとんど区別がつかないようなもの
もある。

【００１３】このような類似した入力パターンに対して
、あるひとつのクラス（通常、正解クラス）に対応する
出力層のニューロンへの値だけは「１」とし、その他は
「０」とするように、断定的な値を教師信号として与え
ると、極めて類似した入力に対して明らかに異なる値を
学習させるという学習上の問題（コンフリクトと呼ぶ）
が生じる。バックプロパゲーションの学習過程という観
点から言うと、いつまで学習させても、他のクラスとよ
く似た入力データでは相当の誤差を生じ続けることにな
る。

【００１４】従って、学習が定常状態に収束しないので
、効果的な学習ができず、未知データの認識率も高くな
らないという問題が生じる。

【００１５】本発明は、上記に鑑みてなされたもので、
その目的とするところは、コンフリクトを軽減して性能
のよいパターン認識を実現し得るニューラルネットワー
クの学習方式を提供することにある。

【００１６】

【課題を解決するための手段】上記目的を達成するため
、本発明のニューラルネットワークの学習方式は、ある
メディアの特徴パターンをニューラルネットワークに入
力し、パターンの認識メカニズムを学習させるニューラ
ルネットワークの学習方式であって、学習用の特徴パタ
ーンの全集合をニューラルネットワークに入力して、一
定期間学習させた後、全集合に対する前記ニューラルネ
ットワークの出力値を調べて、正解クラスに対応するニ
ューロンの出力が第１位とならない要素のうち、出力の
絶対値が第１の所定値以下かまたは第１位との差が第２
の所定値以上になるような要素からなる部分集合を生成
し、この部分集合に含まれる要素だけは呈示する回数を
零にするかまたは他の要素よりも少なくするようにして
、再度全集合を入力として前記ニューラルネットワーク
の学習を行わせ、再度学習させた前記ニューラルネット
ワークで未知のパターン認識を行わせることを要旨とす
る。

【００１７】

【作用】本発明のニューラルネットワークの学習方式で
は、コンフリクトを生じる可能性のある類似パターンを
含む学習用の特徴パターンの全集合を一旦ニューラルネ
ットワークで学習させた後、全集合に対する前記ニュー
ラルネットワークの出力値を調べて、正解クラスに対応
するニューロンの出力が十分でない要素、すなわち出力
値が第１位とならない要素のうち、出力の絶対値が第１
の所定値以下かまたは第１位との差が第２の所定値以上
になるような要素からなる部分集合を生成し、この部分
集合に含まれる要素だけは呈示する回数を零にするかま
たは他の要素よりも少なくするようにして、再度全集合
を入力として前記ニューラルネットワークの学習を行わ
せ、再度学習させた前記ニューラルネットワークで未知
のパターン認識を行わせる。

【００１８】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。

【００１９】この実施例では、ニューラルネットワーク
によるパターン認識の例題として手書き数字認識を、ま
た、入力特徴パターンの例として、横方向濃淡頻度分布
と縦方向濃淡頻度分布を、学習能力を有するニューラル
ネットワークの例として、バックプロパゲーション型ニ
ューラルネットワークをとりあげて、本発明の実施例を
説明する。

【００２０】図５は本発明の一実施例に係わる学習方式
の処理を示すフローチャートである。以下、本方式の処
理について、図５を参照しながら説明する。

【００２１】まず、学習用の特徴パターンの全集合ＳＬ
　をニューラルネットワーク（ＮＮ）に入力して、一定
期間、学習させる（ステップ２１０）。それから、予め
、０以上１以下の範囲で、２つのパラメータαとβを設
定したとき、学習データに対する上記ニューラルネット
ワークの出力値を調べて、正解クラスに対応するニュー
ロンの出力値が第１位とならない要素のうち、出力の絶
対値がα以下になるか、あるいは、誤って第１位となっ
た出力との差がβ以上となるような要素からなる集合Ｓ
’Ｌ　を生成する（ステップ２２０）。

【００２２】次に、集合Ｓ’Ｌ　に含まれる学習データ
だけは呈示する回数をゼロとするか、あるいは、他の学
習データよりも少なくするようにして、再度、全集合Ｓ
Ｌ　を入力として、上記ニューラルネットワーク（ＮＮ
）を学習させる（ステップ２３０）。そして、再度学習
済みのニューラルネットワーク（ＮＮ）で、未知のパタ
ーンを認識させる（ステップ２４０）。

【００２３】実際に、評価実験を行った。従来技術の評
価実験と同様に、７５人分の横方向濃淡頻度分布と縦方
向濃淡頻度を個別の入力とした。ニューラルネットワー
クの規模も従来技術と同様である。

【００２４】本実験では、教師信号として、分類すべき
識別クラスに対応する値、すなわち、ある手書き数字に
所属する特徴パターンを入力するときには、その数字に
対応する出力層のニューロンへの値だけは「１」とし、
その他は「０」とするような値を用いた。

【００２５】また、本実験では、再学習時（ステップ２
３０）、ニューラルネットワークの重みをすべてランダ
ム値にリセットした。

【００２６】実験の結果、学習後のニューラルネットワ
ークによる、７５人分の未知データに対する認識率は以
下のとおりとなった。

【００２７】横方向入力の場合、十分な出力値とならな
い学習データ（α＝０．１０、β＝０．６０として検出
した学習データ）の呈示回数をゼロとしたとき、８３．
６０％の認識率となった。また、最大の出力値とならな
い学習データすべて（α＝１、β＝０として検出した学
習データ）の呈示回数を２分の１としたときには、８４
．６７％の認識率となった。これらはいずれも、従来技
術での認識率８３．２０％を上回っている。

【００２８】縦方向入力の場合、十分な出力値とならな
い学習データ（α＝０．１０、β＝０．３０として検出
した学習データ）の呈示回数をゼロとしたとき、５３．
３３％の認識率となった。また、最大の出力値とならな
い学習データすべて（α＝１、β＝０として検出した学
習データ）の呈示回数を２分の１としたときには、５４
．１３％の認識率となった。これらはいずれも、従来技
術での認識率５１．３３％を上回っている。

【００２９】以上の説明では、呈示回数削減の割合とし
て、出力値によらず、一律にｎ分の１（ｎは正の整数）
とした場合を例にとって説明したが、これ以外の割合を
採用する場合、例えば、出力値に応じて段階的に呈示回
数を少なくする（出力値が小さいデータでは、より呈示
回数を少なくする）ような場合にも適用できることは明
らかである。

【００３０】また、以上の説明では、教師信号として、
入力パターン間の類似性によらず、正解のクラスだけに
「１」を、その他のクラスには「０」を与えるような場
合を例にとって説明したが、これ以外の教師信号を与え
る場合、例えば、類似の入力パターンには、差の少ない
値を教師信号とする場合［参考文献…小原和博、石川勉
：ニューラルネットによるパターン認識のためのコンフ
リクトの少ない学習方式、信学技報、ＮＣ９０−１５，
ｐｐ．１３−２０（１９９０．７）］にも適用できるこ
とは明らかである。

【００３１】さらに、以上の説明では、ニューラルネッ
トワークの重みを、再学習時、すべてランダム値にリセ
ットする場合を例にとって説明したが、最初の学習（ス
テップ２１０）終了後の重みを初期値とする場合にも適
用できることは明らかである。

【００３２】そして、以上の説明では、メディアの例と
して手書き数字をとりあげて説明したが、本発明は、手
書き数字以外の文字、図形、画像などのパターン認識に
も適用できることは明らかである。

【００３３】また、以上の説明では、手書き数字の特徴
パターンとして、横方向濃淡頻度分布と縦方向濃淡頻度
分布を例にとって説明したが、本発明は、ななめ方向の
濃淡頻度分布や、その他の類似性の高い特徴パターンを
採用する場合にも適用できることは明らかである。

【００３４】

【発明の効果】以上説明したように、本発明によれば、
ニューラルネットワークの学習方式において、学習用の
特徴パターンの全集合をニューラルネットワークに入力
して、一定期間、学習させた後、全集合に対する上記ニ
ューラルネットワークの出力値を調べて、正解クラスに
対応するニューロンの出力が十分でない要素からなる部
分集合を生成するとともに、この部分集合に含まれる要
素だけは呈示する回数をゼロとするか、あるいは、少な
くするようにして、再度、全集合を入力として、上記ニ
ューラルネットワークの学習を行わせることで、従来技
術よりもコンフリクトの少ないニューラルネットワーク
の学習が実現でき、従って、未知データに対しても性能
のよいパターン認識を行えるような、ニューラルネット
ワークの学習方式を実現できる。

【図面の簡単な説明】

【図１】バックプロパゲーション型ニューラルネットワ
ークの構成を示す図である。

【図２】従来のニューラルネットワークの学習方式の処
理を示すフローチャートである。

【図３】手書き数字の横方向濃淡頻度分布の例を示す図
である。

【図４】手書き数字の縦方向濃淡頻度分布の例を示す図
である。

【図５】本発明の一実施例に係わるニューラルネットワ
ークの学習方式の処理を示すフローチャートである。

【符号の説明】

１　　入力層のニューロン ２　　中間層のニューロン ３　　出力層のニューロン

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　あるメディアの特徴パターンをニュー
   ラルネットワークに入力し、パターンの認識メカニズム
   を学習させるニューラルネットワークの学習方式であっ
   て、学習用の特徴パターンの全集合をニューラルネット
   ワークに入力して、一定期間学習させた後、全集合に対
   する前記ニューラルネットワークの出力値を調べて、正
   解クラスに対応するニューロンの出力が第１位とならな
   い要素のうち、出力の絶対値が第１の所定値以下かまた
   は第１位との差が第２の所定値以上になるような要素か
   らなる部分集合を生成し、この部分集合に含まれる要素
   だけは呈示する回数を零にするかまたは他の要素よりも
   少なくするようにして、再度全集合を入力として前記ニ
   ューラルネットワークの学習を行わせ、再度学習させた
   前記ニューラルネットワークで未知のパターン認識を行
   わせることを特徴とするニューラルネットワークの学習
   方式。