JP4276319B2 - ニューラルネットワークの学習方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、入力層ニューロンユニット、中間層ニューロンユニット及び出力層ニューロンユニットを備えた階層型のニューラルネットワークを対象とし、特にその汎化能力を向上させるのに適したニューラルネットワークの学習方法に関するものである。
【０００２】
【従来の技術】
ニューラルネットワークは、構造上、階層型に属するものと相互結合型に属するものとに大別される。これらのうち、階層型に属するものの典型的な例として３層構造のものがある。３層構造のニューラルネットワークは、図７に示すように、複数個の入力層ニューロンユニット（以下、入力ユニットと記す。）ｉ1〜ｉmと、それらに結合された１個もしくは複数個の中間層ニューロンユニット（以下、中間ユニットと記す。）ｊ1〜ｊnと、中間層ニューロンユニットｊ1〜ｊnに結合された複数個もしくは１個の出力層ニューロンユニット（以下、出力ユニットと記す。）ｋ1〜ｋrとを有し、それぞれの入力ユニットｉ1〜ｉmとそれぞれの中間ユニットｊ1〜ｊnとの間の結合重み（入力−中間層間結合重み）ｗij、及びそれぞれの中間ユニットｊ1〜ｊnとそれぞれの出力ユニットｋ1〜ｋrとの間の結合重み（中間−出力層間結合重み）ｗjkの各々が所定の値をとるものとして構成される。そして、入力ユニットｉ1〜ｉmのそれぞれに、所定の認識カテゴリに関する入力信号が供給されたとき、出力ユニットｋ1〜ｋrからその認識カテゴリに応答する出力信号が得られる。上記各ユニット間の結合重みｗij及びｗjkの値は、先ず、各々についての初期値の設定がなされたもとで、バックプロパゲーション手法による学習が行われて決定される。この学習は、どの特徴ベクトル（複数の入力信号を要素とするベクトル）がどの認識カテゴリ（例えば紙幣種、文字、音素、など。）に対応するかという情報をあらかじめ用意しておき、このあらかじめ用意されている特徴ベクトルをニューラルネットワークに入力したときに対応する認識カテゴリを受け持つ出力ユニットｋ1〜ｋrの出力値が教師信号の値に近づくように各ユニット間の結合重みｗij及びｗjkを調整する。バックプロパゲーション手法による学習は、通常、複数回繰り返して行われる。そして、有限回の学習の結果、入力ユニットｉに供給された入力信号に応答して出力ユニットｋ1〜ｋrに得られる出力信号が教師信号に十分に近接した状態（学習収束状態）となる。その際、教師信号と出力ユニットｋ1〜ｋrの出力の２乗誤差が最少となるように結合重みｗij及びｗjkを調整する。
【０００３】
【発明が解決しようとする課題】
しかし、上記のようにバックプロパゲーション手法に従った学習を繰り返し、教師信号と出力ユニットｋの出力の２乗誤差が最少となるように結合重みｗij及びｗjkを調整していく従来の方法では、学習収束状態が得られるニューラルネットワーク内部構造が結合重みｗij及びｗjkの初期値に依存するため、バックプロパゲーション手法に従って学習がなされた認識カテゴリと完全に同一の入力データ（数値情報の組）に対してしか対応できない、汎化能力が著しく低いものになる場合がある。本発明が解決しようとする課題は、入力ユニット、中間ユニット及び出力ユニットを備えた階層型に属するニューラルネットワークの汎化能力を確実に高めることができる学習方法を提供することにある。
【０００４】
【課題を解決するための手段】
上記課題を解決するために本発明は、入力ユニット、中間ユニット及び出力ユニットを備えた階層型のニューラルネットワークを対象とし、ニューラルネットワークに学習ベクトル量子化の手法により学習させた後、その学習の結果入力空間内に定義された各カテゴリ領域内にバルーンネットモデルの手法を適用して、各カテゴリ領域内に均等分布する疑似データを発生させ、これら疑似データを教師ベクトルとしてバックプロパゲーションの手法により前記各ユニット間の結合重みを学習させることを特徴とする。
ここで、学習ベクトル量子化（ＬＶＱ：leaning vector quantization）とは、初期結合重みベクトルとして自己組織化Featureマップの学習により形成されたものを用い、入力空間を各認識カテゴリに対応した領域（カテゴリ領域）に分割すべく、学習によって結合重みベクトルを調整することによりカテゴリ識別境界を得る最適化学習則であり、学習ベクトル量子化の手法による学習の結果、理論的に最適なカテゴリ識別境界を与えるベイズ境界が得られる。学習ベクトル量子化の詳細については、文献：「自己組織化マップ」（Ｔ．コホネン著、シュプリンガー・フェアラーク東京、p.227〜p.239、1996）などを参照されたい。
バルーンネットモデル（balloon net model）とは、ｎ点配置問題の一種であるspreading points in a unit square問題、すなわち「１×１の正方形にｎ個の点を配置使用とするときに、すべての組み合わせの２点間の距離のうち最も小さくなるものを最大にするには、ｎ個の点の配置をどのようにすればよいか」といった問題を解くための方法の一つであり、有限の大きさを持つ空間を対象とし、その空間内の任意のｎ個の点に膨張するバルーン（風船）を配置し、ｎ個のすべてのバルーンが互いに同じ大きさに膨張して当該空間を埋め尽くしたときの各バルーンの重心位置を解とするアルゴリズムである。このアルゴリズムを適用したニューラルネットワークでは、各ニューロンは時間ｔにおいて結合をもつ他のニューロンからできるだけ離れるように、自分の値を更新していく。そして、バルーンどうしの距離を離していくことにより、各点間の最小距離を大きくしていくことができる。
バルーンネットモデルの詳細については、文献： An analogue approach to the travelling salesman problem using an elastic net method (Durbin, Richard; Willshaw, David ; Nature, Volume 326, Issue 6114, pp. 689-691 (1987)) や、文献： A balloon net discovering improved solutions in one of unsolved problems in geometry: a problem of spreading points in a unit square (Fujisawa, K. Takefuji, Y. Graduate Sch. of Media & Governance, Keio Univ., Fujisawa ; Neural Networks, 1995. Proceedings., IEEE International Conference on : pp. 2208-2210 vol.5) などを参照されたい。
【０００５】
したがって、学習ベクトル量子化の手法による学習の結果入力空間内に定義された各カテゴリ領域内にバルーンネットモデルの手法を適用することにより、すなわち各カテゴリ領域内の任意の位置にｎ個の疑似データを配置し、各疑似データの位置からバルーンを膨張させることにより、各カテゴリ領域内にｎ個の疑似データを均等分布させることができる。このようにして得られた疑似データはネットワークの初期値に依存しないので、これらを教師ベクトルとしてバックプロパゲーションの手法により前記各ユニット間の結合重みを学習させることにより、ネットワークの初期値に依存せず、統計的に理にかなったカテゴリ識別境界（ベイズ境界に近似される）を持つニューラルネットワークを構築することができる。
バックプロパゲーション手法の詳細については、文献： Learning Internal Representations by Error Propagation (Rumelhart, David E. ; Hinton, Geoffrey E. ; Williams, Ronald J. ; Parallel distributed processing: explorations in the microstructure of cognition, vol. 1: foundations : pp318-362, 1986 MIT press) などを参照されたい。
【０００６】
【発明の実施の形態】
以下、本発明を図面を参照して詳細に説明する。図１に本発明の学習方法が適用されるニューラルネットワークの概念図を示す。このニューラルネットワーク１００は、紙幣の種類、真贋などを識別する紙幣識別装置や、紙幣種毎の枚数をカウントする紙幣カウンタ等のパターン認識部をなすものであり、入力層Ｓ、中間層Ｍ、出力層Ｒの３つの層から概略構成される。入力層Ｓは、多数個の入力ユニットi1〜ｉm（mは２以上の任意の正数）からなり、識別しようとするパターンの数値情報を各入力ユニットi1〜ｉmの入力とし、入力された数値情報に応じた信号を各入力ユニットi1〜ｉmから出力する。中間層Ｍは、多数個の中間ユニットj1〜ｊn（nは２以上の任意の正数）からなり、各中間ユニットｊ1〜ｊnは、入力層Ｓのすべての入力ユニットi1〜ｉmと各中間ユニットｊ1〜ｊnごとに設定される結合重みＷijをもって結合される。出力層Ｒは、多数個の出力ユニットｋ1〜ｋr（ｒは２以上の任意の正数）からなり、各出力ユニットｋ1〜ｋrは、中間層Ｍのすべての中間ユニットｊ1〜ｊnと各出力ユニットｋ1〜ｋrごとに設定される結合重みＷjkをもって結合される。ニューラルネットワーク１００の前段には、紙幣識別対象である紙幣の画像を読み取る図示しないイメージ読取部と、イメージ読取部から入力された画像データに所定の画像処理（モザイク処理など）を施し、その結果得られたパターンに応じた数値情報を入力層Ｓの各入力ユニットiに供給する図示しない前処理部が設けられている。
【０００７】
そして、ニューラルネットワーク１００は、入力層Ｓの各入力ユニットi1〜ｉmに入力される数値情報（０〜１の実数）の組ｓｅｔ（たとえば、{０，１，１，０,・・・,1}）に基づいてパターン認識を行い、認識カテゴリに応答する信号を出力層Ｒの各出力ユニットｋ1〜ｋrから出力する。たとえば、ある数値情報の組ｓｅｔ｛Ａ｝が入力されたときは、出力層Ｒの紙幣Ａに応答する出力ユニットｋ1〜ｋrの出力を他の出力ユニットｋ1〜ｋrのそれよりも大きくし、別の数値情報の組ｓｅｔ｛Ｃ｝が入力されたときは、出力層Ｒの紙幣Ｃに応答する出力ユニットｋの出力を他の出力ユニットｋのそれよりも大きくするといった具合である。この種のニューラルネットワークを構築する際には、従来の技術で述べたように、バックプロパゲーション手法に従った学習が繰り返され、教師信号と出力ユニットｋ1〜ｋrの出力の２乗誤差が最少となるように結合重みｗij及びｗjkを調整することが行われる。しかし、バックプロパゲーション手法に従った学習を単に繰り返したのみでは、学習収束状態が得られるニューラルネットワーク内部構造が結合重みｗij及びｗjkの初期値に依存するため、バックプロパゲーション手法に従って学習がなされた認識カテゴリと完全に同一の入力データ（数値情報の組）に対してしか対応できない、汎化能力が著しく低いものになる場合がある。つまり、学習がなされた紙幣種の特徴を完全に保持している紙幣に対しては、その識別を正しく行うことができるが、実稼働時に紙幣の読み取りを行った際、その紙幣種の特徴を示す部分に汚れや折れなどによる欠陥があると、ニューラルネットワークに未知の入力データ（数値情報の組）が入力されるため、認識不能や他の紙幣種との誤認識が生じることがある。
【０００８】
そこで、本発明では図２に示す手順でニューラルネットワークを学習させる。まず、第１のステップＳ１では、学習ベクトル量子化（ＬＶＱ）の手法を用いて学習させる。すなわち、入力された特徴ベクトルに対して最も距離の近い参照ベクトルに関して、入力された特徴ベクトルと同じカテゴリであれば参照ベクトルを特徴ベクトルに近付け、逆に違うカテゴリであれば遠ざける。用意された特徴ベクトルすべてに対して、同じように処理を繰り返すことにより、この第１のステップＳ１での学習が終了する。その結果、図３に示すような、結合重みベクトルによるカテゴリ識別境界が得られる。この例では、各カテゴリはそれぞれ１つの紙幣種に対応している。つぎに、第２のステップＳ２では、第１のステップＳ１での学習により得られた各カテゴリ領域内にバルーンネットモデルの手法を用いて学習させる。その際、まず図４に示すように、あらかじめカテゴリとの対応が分かっている参照ベクトルを、各カテゴリ領域内の任意の位置に複数（任意の数）個づつ配置し、これら各参照ベクトルをバルーンの中心として各バルーンの半径を増大させていく。バルーン同士が接触したら、各ニューロンユニットは、バルーン同士の反発力を計算し、その値に応じて各バルーンの中心座標を更新していく。更新が行われるたびに、各バルーンの中心座標は他のバルーンの中心座標から遠ざかっていく。これを全てのバルーンが動けなくなるまで繰り返す。その結果、たとえば図５に示すように、各カテゴリ領域内においてバルーンの中心座標が均等に分布するように移動する。これら各カテゴリ領域内に均等に分布した中心座標は、ニューラルネットワーク１００の学習の際、特徴ベクトルの疑似データとして用いられる。
【０００９】
つぎに、第３のステップＳ３では、第２のステップＳ２での学習により得られた疑似データを教師ベクトルとして、バックプロパゲーションの手法により学習させる。上記疑似データは、各カテゴリ領域内に均等に分布した値であるので、これらを教師ベクトルとしてバックプロパゲーションの手法によりニューラルネットワーク１００を学習させることにより、初期値に依存せず、統計的に理にかなったカテゴリ識別境界を有するニューラルネットワーク内部構造をもって学習収束状態に到る。その結果、たとえば図６に示すようなカテゴリ識別境界が得られる。以上のようにして本発明の方法により学習させた結果、ニューラルネットワーク１００の汎化能力を著しく高めることができ、認識しようとするカテゴリに関する未学習のデータが入力された場合でも、正しく認識を行うことが可能となる。したがって、紙幣の種類、真贋などを識別する紙幣識別装置や紙幣カウンタ等のパターン認識部を成すこの種のニューラルネットワークに対し、本発明の方法を用いて、認識しようとする各種紙幣のパターンを学習させておくことにより、実稼働時に紙幣の読み取りを行った際、その紙幣種の特徴を示す部分に汚れや折れなどの欠陥や紙幣の搬送ばらつき等があり、そのために未学習のデータが入力された場合でも、認識不能や他の紙幣種との誤認識が生じる可能性を小さくできる。なお、上記の実施の形態では、紙幣のパターン認識を行うニューラルネットワークを例にとり説明したが、紙幣に限らず、郵便物、投票用紙などその他の枚葉類のパターン認識を行うニューラルネットワーク、さらには文字や音声などのパターン認識を行うニューラルネットワークの学習方法としても有効であることはいうまでもない。
【００１０】
【発明の効果】
以上説明したように、本発明のニューラルネットワークの学習方法では、階層型のニューラルネットワークを対象とし、学習ベクトル量子化の手法により学習させた後、その学習の結果入力空間内に定義された各カテゴリ領域内にバルーンネットモデルの手法を適用して、各カテゴリ領域内に均等分布する疑似データを発生させ、これら疑似データを教師ベクトルとしてバックプロパゲーションの手法により学習させるようにしたことにより、ネットワークの初期値に依存せず、統計的に理にかなったカテゴリ識別境界を有するニューラルネットワーク内部構造をもって学習を収束させることができるので、ニューラルネットワークの汎化能力を著しく高めることができる。
【図面の簡単な説明】
【図１】本発明の学習方法が適用されるニューラルネットワークの概念図である。
【図２】本発明によるニューラルネットワークの学習手順を示したフロー図である。
【図３】学習ベクトル量子化（ＬＶＱ）学習則によって得られた参照ベクトルによるカテゴリ識別境界を例示した概念図である。
【図４】図３中の各カテゴリ領域内にバルーンネットモデルの手法を適用すべく、各カテゴリ領域内の任意の位置にバルーンを配置した状態（初期状態）を示す概念図である。
【図５】図４の状態から各バルーンの半径を拡大させた結果、各バルーンの中心座標が移動した状態（終状態）を示す概念図である。
【図６】本発明の学習方法を実施して得られた結合重みベクトルによるカテゴリ識別境界を例示した概念図である。
【図７】従来の学習方法の説明に用いたニューラルネットワークの概念図である。
【符号の説明】
１００：ニューラルネットワーク、Ｓ：入力層、Ｍ：中間層、Ｒ：出力層、ｉ：入力層ニューロンユニット、ｊ：中間層ニューロンユニット、ｋ：出力層ニューロンユニット

Claims (1)

1. コンピュータを用いて、入力層ニューロンユニット、中間層ニューロンユニット及び出力層ニューロンユニットを備えた階層型のニューラルネットワークを学習する方法であって、
   前記コンピュータが、前記ニューラルネットワークに学習ベクトル量子化の手法によって、入力された特徴ベクトルに対して最も距離の近い参照ベクトルに関して、入力された特徴ベクトルと同じカテゴリであれば参照ベクトルを特徴ベクトルに近付け、逆に違うカテゴリであれば遠ざけるように、予め用意されたすべての特徴ベクトルに対して処理を繰り返すことにより結合重みベクトルによるカテゴリ識別境界を得る第１のステップと、
   予めカテゴリとの対応が分かっている参照ベクトルを、各カテゴリ領域内の任意の位置に複数個づつ配置した状態で、前記コンピュータが、第１のステップで得られた各カテゴリ領域内にバルーンネットモデルの手法を適用して、各参照ベクトルをバルーンの中心として各バルーンの半径を増大させ、バルーン同士が接触したら、バルーン同士の反発力に応じて各バルーンの中心座標を更新し、全てのバルーンが動けなくなるまで繰り返すことで得られるバルーンの中心座標を各カテゴリ領域内に均等分布する疑似データとして発生させる第２のステップと、
   前記コンピュータが、前記疑似データを教師ベクトルとしてバックプロパゲーションの手法を用いて、ニューラルネットワークに入力された特徴ベクトルに対応する認識カテゴリを受け持つ前記出力層ニューロンユニットの出力値が前記教師ベクトルの値に近づくようにニューラルネットワークを構成する各ユニット間の結合重みを調整することにより、前記ニューラルネットワークを学習させる第３のステップと、を有することを特徴とするニューラルネットワークの学習方法。

Images