JP3678071B2 - ニューラルネットワーク入力判別装置 - Google Patents
ニューラルネットワーク入力判別装置 Download PDFInfo
- Publication number
- JP3678071B2 JP3678071B2 JP25278399A JP25278399A JP3678071B2 JP 3678071 B2 JP3678071 B2 JP 3678071B2 JP 25278399 A JP25278399 A JP 25278399A JP 25278399 A JP25278399 A JP 25278399A JP 3678071 B2 JP3678071 B2 JP 3678071B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- input data
- input
- test
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、パターン認識、データマイニング、予測処理、画像処理及び情報検索処理などの幅広い分野に適用可能なニューラルネットワークにおいて、ニューラルネットワークの入力データが未知入力データか判別するニューラルネットワーク入力判別装置に関するものである。
【０００２】
【従来の技術】
ニューラルネットワークには、文献 麻生英樹著、「ニューラルネットワーク情報処理」、産業図書出版などに示されているように、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。これらは、目的に応じて選択され、用いられている。特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが一般に幅広く実用されている。
ここでは、教師付き学習を行う多層ニューラルネットワークを例にとり、ニューラルネットワークの従来技術及び入力データ判別の従来技術について説明する。また、説明を簡単にする為に、パターン認識などに於て見られる２値教師信号を用いて学習させ、出力層から出力ユニットの出力とそれを２値化した２値出力信号を送出させることとする。
【０００３】
先ず、多層ニューラルネットワークの学習処理の構成について説明する。図２は、３層ニューラルネットワークの基本構成図を示し、学習処理の構成を示す。Ｎ個のユニットからなる入力層４、Ｐ個のユニットからなる中間層５及びＭ個のユニットからなる出力層６から構成される。
多層ニューラルネットワーク１への入力データＩは、Ｉ1、Ｉ2、．．ＩNの入力データエレメントを持ったベクトルから構成され、入力端子２を介してそれぞれ対応した入力層４のユニットに入力された後、更に中間層５の各ユニット（隠れユニット）にそれぞれ重み付けされ出力される。中間層５では、入力層４の各ユニットからの重み付けされた出力の総和を入力とし、スレショルド値を差し引いた後、シグモイド関数と呼ばれる非線形入出力特性を持った関数を介して出力される。出力層６においても中間層５と同様な入出力処理が行われた後、出力端子９の各出力層ユニット（９1、９2、・・・ ９M）からそれぞれ対応した出力を端子９を介して送出する。
【０００４】
更に、入力を２値化するスレショルドを持ったスレショルド器１１を介して２値出力信号に変換し、２値出力端子３を介してニューラルネットワーク１の２値出力信号（２値出力信号エレメント、Ｐ1、Ｐ2、．．ＰM）を送出する。３層以上の多層の際にも、各層におけるそれぞれのユニットは、入力側の隣接層の各ユニットの出力に重み付けをした後、それらの総和を入力として得、更にその入力からスレショルド値を差し引いた後、シグモイド関数などを介し出力層側の隣接層に出力を送出する。
【０００５】
このような多層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムがある。
本アルゴリズムを用いた学習過程では、重み係数に対して乱数などを用いて初期値設定した後、予め用意された教師信号Ｔ（教師信号エレメント、Ｔ1、Ｔ2、．．ＴM）と、入力層４に端子２を介して入力された予め用意された学習入力データに対する出力層６の出力ユニットの出力端子９からの出力との誤差信号を減算器１０を介して求め、重み係数制御器７に入力する。
重み係数制御器７では、端子１１を介して入力された各層のユニットからの出力と前記誤差信号とを基に誤差電力を最小にするように各層間の重み係数Ｗ（例えば、Ｗ(1)は入力層と中間層の間の結合重み係数、Ｗ(2)は中間層と出力層間の結合重み係数）の修正値を求め、端子１１を介して３層ニューラルネットワーク１の各重み係数を更新する重み係数適応制御によって学習を行うものである。
【０００６】
この適応制御による学習をすべての学習入力データに対して繰り返し、平均出力誤差電力があるスレショルド以下となると、収束したと見做す。２値教師信号を仮定した場合、該スレショルド器１２を介して２値出力端子３得られた２値出力信号が２値教師信号と同一になれば正答である。
【０００７】
また、平均誤差電力による収束判定以外に、全ての２値出力信号が正答となった後、出力層６の出力ユニットの出力と２値化スレショルドとの差の絶対値を出力の余裕と定義し、その最小値を最小余裕とし、これが与えられたスレショルド以上であれば、収束したとみなす方法もある。
この収束判定法を用いた誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）があるが、このアルゴリズムを用いニューラルネットワークの汎化特性を利用して誤答のテスト入力データを追加学習入力データとする追加学習を繰り返すことにより、学習入力データのみならずテスト入力データに対しても全て正答とすることが簡単に出来る。
【０００８】
以上のような学習により得られた重み係数を設定した学習済みニューラルネットワークを用いて種々の応用システムが構成される。このような応用システムでは、学習入力データやテスト入力データ以外に非常に多くの未知入力データが入力される場合が多く、正答な２値出力信号を送出しているかどうかは必ずしも解らない。この為、高い汎化能力を持ち多くの正答な２値出力信号を出すことができるよう多くの未知入力データを事前にできるだけ収集し、ニューラルネットワーク１を学習させることが重要であるが、未知入力データの判別機能がなければ、これらのデータの収集が困難な場合が多い。
【０００９】
従って、学習済みニューラルネットワークを実行処理させながら、入力データが未知入力データかどうか、更には所望の正しい２値出力信号が得られているかどうか、即ち未知入力データの判別と正答な２値出力信号の識別が、非常に重要である。未知入力データの判別と問い合わせによる誤答の２値出力信号の正しい教師信号の収集とにより、これらの未知入力データの追加学習を行い、学習済みニューラルネットワークの汎化性能のすみやかな改善と、できるだけ多くの正答な２値出力信号を送出させることが出来る。
【００１０】
入力データ判別に関する従来技術としては、学習入力データを記憶した学習データ記憶部とテスト入力データを記憶したテストデータ記憶部とを用意し、学習済みニューラルネットワークの入力データとそれぞれの記憶部に蓄積された全ての学習入力データ或いはテスト入力データとをパターン比較し検索する方式がある。この方式では、学習済みニューラルネットワークを何ら利用することなく、単に入力データと記憶されている全ての学習入力データ或いはテスト入力データとを直接比較することから、比較対象の学習入力データやテスト入力データが多くなると、これらの読み出し処理量やパターン比較の為の処理量が膨大となる。
大規模ニューラルネットワークの高性能化を図る為には、前記の如く追加学習を繰り返し行う必要があるが、追加学習の繰り返し回数と共にその学習入力データ量やテストする為のテスト入力データ量が次第に増加する。このことから、記憶されている学習入力データ或いはテスト入力データの検索処理が膨大となりリアルタイム処理に適さない。また、単なる検索比較を行うことから、未知入力データが学習済みニューラルネットワークでどのような実行処理結果を出力するのか、即ち正答か誤答か、或いは更に正答となる余裕などの情報が得られない。
【００１１】
【発明が解決しようとする課題】
上記の如く、従来方式では、未知入力データを判別する為に、ニューラルネットワークを用いず、学習データ記憶部及びテストデータ記憶部に格納されている全ての学習入力データやテスト入力データをそれぞれ検索比較し、何れも入力データと一致しなければ、未知入力と判別し、何れかと一致すれば、一致したものが読み出された記憶部により学習入力かテスト入力かを判別している。この為に、記憶されている学習入力データやテスト入力データが多くなると、検索及び比較処理量が膨大となり、迅速な未知入力データの判別収集と追加学習とによる大規模ニューラルネットワークの高性能化が図りにくく実用的でない。また、未知入力データに対する２値出力信号の正答／誤答や出力ユニットの出力の余裕などに関する情報も得られず、効果的且つ効率的な追加学習ができない。
【００１２】
本発明の目的は、上記の問題を解決し、学習入力データやテスト入力データの読み出し処理量と、それらと入力データとの比較処理量を大幅に削減することができるニューラルネットワーク入力判別装置を提供することと、更に、未知入力データに対する学習済みニューラルネットワークの２値出力信号の正答／誤答の問い合わせと出力の余裕を元に未知入力データの区分けとを行ない迅速且つ効率的に追加学習を行わせることによる高性能なニューラルネットワークを実現することにある。
【００１３】
【課題を解決するための手段】
以下に課題を解決する手段を示す。
【００１４】
第１の手段は、入力データに対して出力層の出力ユニットから出力及び多値化した多値出力信号を送出する学習済みニューラルネットワーク手段（２４）と、
該入力データに対応した該出力の余裕と学習内一時判定領域とを比較し、学習外判定信号或いは学習内一時判定信号の何れかを送出する学習内一時判定手段（１３）と、
該入力データに対応した該出力の余裕とテスト内一時判定領域とを比較し、テスト外判定信号或いはテスト内一時判定信号の何れかを送出するテスト内一時判定手段（１５）と、
該学習内一時判定信号が入力されると比較対象学習入力データと該入力データとを比較し、何れかと一致すれば学習内検出信号を何れとも不一致ならば学習外検出信号を送出する学習外データ検出手段（１４）と、
該テスト内一時判定信号が入力されると比較対象テスト入力データと該入力データとを比較し、何れかと一致すればテスト内検出信号を何れとも不一致ならばテスト外検出信号を送出するテスト外データ検出手段（１６）と、
該学習外判定信号且つ該テスト外判定信号が入力されると、或いは該学習外検出信号且つ該テスト外検出信号が入力されると該入力データを未知入力と判別し未知入力判別信号を、該学習内検出信号が入力されると該入力データを学習入力
と判別し学習入力判別信号を、該学習外検出信号且つ該テスト内検出信号が入力されると該入力データをテスト入力と判別しテスト入力判別信号とをそれぞれ出力する入力データ判別手段（１７）と、
該入力データ判別手段（１７）から該未知入力判別信号が入力されると、該多値出力信号の正答或いは誤答を問い合わせ、誤答ならば該入力データを追加学習入力データとして、正答な多値出力信号と共に学習データ記憶手段（１８）に送出し、正答ならば該入力データを追加テスト入力データとして、正答な多値出力信号と共にテストデータ記憶手段（１９）に送出する記憶選択手段（２０）と、
該学習入力データと該追加学習入力データと対応した該多値出力信号と該学習内一時判定領域とを記憶し読み出す該学習データ記憶手段（１８）と、
該テスト入力データと該追加テスト入力データと対応した該多値出力信号と該
テスト内一時判定領域とを記憶し読み出す該テストデータ記憶手段（１９）とから少なくとも構成することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００１５】
第２の手段は、第１の手段に記載の該学習データ記憶手段に於て、
該学習内一時判定領域として、同一２値教師信号に対応した該学習入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の出力ユニット毎の正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該学習内一時判定手段（１３）に設定し、該テストデータ記憶手段（１５）に於て、該テスト内一時判定領域として、同一の２値教師信号に対応した該テスト入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の出力ユニット毎の正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該テスト内一時判定手段（１５）に設定することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００１６】
第３の手段は、第１の手段に記載の該学習データ記憶手段に於て、
該学習内一時判定領域として、同一の２値教師信号に対応した該学習入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の全出力ユニット間で正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該学習内一時判定手段（１３）に設定し、該テストデータ記憶手段（１５）に於て、該テスト内一時判定領域として、同一の２値教師信号に対応した該テスト入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の全出力ユニット間で正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該テスト内一時判定手段（１５）に設定することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００１７】
第４の手段は、第１、第２及び第３の手段のいずれかひとつに記載のニューラルネットワーク入力判別装置の該学習外データ検出手段（１４）に於て、
該学習内一時判定信号が入力されると該学習データ記憶手段から記憶されている全ての該学習入力データ及び該追加学習入力データとを該比較対象学習入力データとして読み出し該入力データと比較し、何れかと一致ならば該学習内検出信号を、何れとも不一致ならば該学習外検出信号を送出し、該テスト外データ検出手段（１６）に於て、該テスト内一時判定信号が入力されると該テストデータ記憶手段（１６）から記憶されている全ての該テスト入力データ及び該追加テスト入力データとを該比較対象テスト入力データとして読み出し該入力データと比較し、何れかと一致ならば該テスト内検出信号を、何れとも不一致ならば該テスト外検出信号を送出することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００１８】
第５の手段は、第１、第２及び第３の手段のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該学習外データ検出手段（１４）に於て、該学習内一時判定信号が入力されると、該入力データに対応した該多値出力信号を用いて該学習データ記憶手段（１８）から対応する該学習入力データ及び該追加学習入力データとを読み出し該入力データと比較し、何れかと一致ならば該学習内検出信号を、何れとも不一致ならば該学習外検出信号を送出し、該テスト外データ検出手段（１６）に於て、該テスト内一時判定信号が入力されると、該入力データに対応した該多値出力信号を用いて該テストデータ記憶手段（１９）から対応した該テスト入力データ及び該追加テスト入力データとを読み出し該入力データと比較し、何れかと一致ならば該学習内検出信号を、何れとも不一致ならば学習外検出信号を送出することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００１９】
第６の手段は、第１、第２、第３、第４及び第５の手段のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該記憶選択手段（２０）に該未知入力判別信号が入力されると、該入力データに対応した該多値出力信号が正答か誤答かを問い合わせ、正答の場合、該入力データに対応した多値出力信号が正答となる出力の余裕が予め与えられたスレショルド以下ならば、該追加学習入力データとして該学習データ記憶手段（１８）に追加格納し、該スレショルドを越えておれば、該追加テスト入力データとして該テストデータ記憶手段（１９）に追加格納することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００２０】
第７の手段は、第１、第２、第３、第４及び第５の手段のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該記憶選択手段（２９）に該未知入力判別信号が入力されると、該入力データに対応した該多値出力信号が正答か誤答かを問い合わせ、正答の場合、既に該テストデータ記憶手段（１９）に記憶されている追加テスト入力データ数が予め与えられたスレショルド以下ならば、該追加テスト入力データとして該テストデータ記憶手段（１９）に追加格納し、該スレショルドを越えておれば、格納しないことを特徴としたニューラルネットワーク入力判別装置によるものである。
【００２１】
第８の手段は、第１、第２、第３、第４、第５、第６及び第７の手段のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該学習データ記憶手段（１８）に格納されている該学習入力データと該追加学習入力データとを用い、該学習済みニューラルネットワーク手段（２４）の重み係数を初期値として、該学習済みニューラルネットワーク手段（２４）を再学習させ、収束すると新たな学習済みニューラルネットワーク手段（２４）として設定すると共に、該学習入力データと該追加学習入力データとを用いて該学習内一時判定領域を求め直し、該学習データ記憶手段（１８）に格納し、該テスト入力データ及び該追加テスト入力データとを用いて該テスト内一時判定領域を求め直し、該テストデータ記憶手段（１９）に格納し動作させることを特徴としたニューラルネットワーク入力判別装置によるものである。
【００２２】
上記の課題を解決する手段の如く、本発明のニューラルネットワーク入力判別装置は、学習済みニューラルネットワークを利用している。即ち、正答な多値出力信号を送出させる学習入力データに対する学習済みニューラルネットワークの出力層の出力ユニットの出力の余裕から得られた最大余裕及び最小余裕を用いて形成された学習内一時判定領域と、同様にテスト入力データに対する出力層の出力ユニットの出力の余裕から得られたテスト内一時判定領域をそれぞれ設定しており、入力データに対する出力の余裕がこれらの領域を満たすかどうかの判定を行っている。
【００２３】
これにより、入力データに対する出力層の出力ユニットの出力の余裕がこれらの領域の全てを満足せず学習外判定且つテスト外判定ならば未知入力と直接判別すること、また、該出力の余裕が前記領域を全て満足し、少なくとも学習内一時判定か或いはテスト内一時判定かの何れかの判定がなされた時のみ、入力データと蓄積された入力データとのパターン比較結果により未知入力を判別すること、入力データに対する２値出力信号を用いて比較の為必要最小限の学習入力データと追加学習入力データやテスト入力データと追加テスト入力データとを読み出し用いることから、従来方式の判別装置に比べて著しく格段に処理量が少なく、簡単に未知入力データを判別できる。
【００２４】
また、学習済みニューラルネットワークから得られた未知入力データに対する多値出力信号の正答／誤答判定を外部問い合わせると共に、この判定と正答な多値出力信号に対応した出力ユニットの出力の余裕とを元に未知入力データを区分けして学習データ記憶部或いはテストデータ記憶部に格納している。これによって、学習入力データと追加学習入力データとを用いた学習済みニューラルネットワークの再学習（追加学習）による正答率や汎化能力の改善と新たな学習内一時判定領域の再取得と、テスト入力データと追加テスト入力データを用いた汎化性テストと新たなテスト内一時判定領域の再取得とを効果的に繰り返し行なうことにより、汎化能力に優れ且つ非常に多くの正答２値出力信号を送出することができる高性能な大規模ニューラルネットワークを簡単に実現出来る。
【００２５】
【発明の実施の形態】
以下に本発明の実施形態のニューラルネットワーク入力判別装置の構成及びその動作について、詳細に説明する。尚、ここでは、簡単の為に２値教師信号を用いた場合を例にあげ説明する。
【００２６】
実施形態としての本発明のニューラルネットワーク入力判別装置２３を図１に示す。学習済みニューラルネットワーク２４と、学習内データ一時判定器１３と、テスト内データ一時判定器１５と、学習外データ検出器１４と、テスト外データ検出器１６と、入力データ判別器１７と、学習データ記憶部１８と、テストデータ記憶部１９と記憶選択器２０とからなる。
【００２７】
該学習済みニューラルネットワーク２４は、学習入力データと２値教師信号Ｔとを用いて学習したネットワークであり、入力データに対する実行処理を行う。該学習済みニューラルネットワーク２４の出力層６の出力ユニットの出力を出力端子９から出力ユニットの出力として送出する。また、端子３から該出力を２値化した２値出力信号を送出する。
【００２８】
該学習内データ一時判定器１３は、出力ユニット毎に設定された学習内一時判定領域と、該入力データに対する各出力ユニットに於ける出力の余裕とをそれぞれ比較する。その結果、全ての出力ユニットの出力の余裕がそれぞれの該学習内一時判定領域の範囲内にあれば、該入力データを学習内データと一時判定し、学習内一時判定信号を、それ以外の状態ならば、学習外判定信号を該学習外データ検出器１４及び該入力データ判別器１７にそれぞれ入力する。
【００２９】
テスト内データ一時判定器１５は、出力ユニット毎に設定されたテスト内一時判定領域と、該入力データに対する各出力ユニットに於ける出力の余裕とをそれぞれ比較する。その結果、全ての出力ユニットの出力の余裕がそれぞれの該テスト内一時判定領域の範囲内にあれば、該入力データをテスト内データと一時判定し、テスト内一時判定信号を、それ以外の状態ならば、テスト外判定信号を該テスト外データ検出器１５及び該入力データ判別器１７にそれぞれ入力する。
【００３０】
該学習外データ検出器１４は、該学習データ記憶部１８に記憶されている全ての学習入力データと更に全ての追加学習入力データとを比較対象学習入力データとして、該入力データとパターン比較をそれぞれ行ない、その結果に応じて学習外検出信号か学習内検出信号か何れかを該テスト外データ検出器１６と該入力データ判別器１７にそれぞれ送出する。
【００３１】
該テスト外データ検出器１６は、該テストデータ記憶部１９に記憶されている全てのテスト入力データと更に全ての追加テスト入力データとを比較対象テスト入力データとして、該入力データとパターン比較をそれぞれ行ない、その結果に応じてテスト外検出信号かテスト内検出信号か何れかを該入力データ判別器１７に送出する。
【００３２】
該入力データ判別器１７は、該入力データを未知入力、学習入力或いはテスト入力のいずれかに判別するものである。該学習外判定信号と該テスト外判定信号とが同時に入力されると、未知入力データであると見做し、該入力データ判別器１７の出力信号として未知入力判別信号を該記憶選択器２０と端子２１へ送出する。
【００３３】
一方、該学習外検出信号と該テスト外検出信号とが同時に入力されると、該入力データを未知入力データと見做し、該未知入力判別信号を送出する。更に、該学習内検出信号が入力されると、学習入力判別信号を送出する。
また、該学習外検出信号と該テスト内検出信号とが同時に入力されると、該入力データをテスト内データと見做し、テスト入力判別信号を送出する。
【００３４】
該記憶選択器２０は、該未知入力判別信号が入力されると、端子２１を介して該２値出力信号の正答か誤答かの問い合わせを行う。誤答の場合には、境界領域データと見做し、該入力データを該追加学習入力データとして、また同時にそれに対応した教師信号と共に該学習データ記憶部１８に格納する為にそれぞれ送出する。一方、正答の場合には、出力ユニット毎の出力の最小余裕が予め与えられたスレショルド以下ならば、該入力データを該追加学習入力データとして、それに対応した２値出力信号（教師信号）と共に該学習データ記憶部１８に格納する為にそれぞれ送出する。該スレショルドより大きいならば、該入力データを該追加テスト入力データとして、それに対応した２値出力信号（教師信号）と共に該テストデータ記憶部１９に格納する為に送出する。
【００３５】
該学習データ記憶部１８は、該２値教師信号（正答な２値出力信号）とそれに対応した該学習入力データ及び該追加学習入力データと、該学習内一時判定領域とを記憶する記憶装置である。
該テストデータ記憶部１９は、該２値教師信号（正答な２値出力信号）とそれに対応した該テスト入力データ及び該追加テスト入力データと、該テスト内一時判定領域とを記憶する記憶装置である。
【００３６】
以下、これらの動作について詳細に説明する。該学習済みニューラルネットワーク２４は、端子８の２値教師信号Ｔと端子２の該学習入力データとを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法などにより学習させる。特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、該学習入力データに対して全て正答の２値出力信号を端子３から得ることが出来る。また、該テスト入力データに対しても、全て正答な２値出力信号を得ることができる。
【００３７】
このような学習を終了した該学習済みニューラルネットワーク２４に於て、学習に用いた同一２値教師信号に対応した該学習入力データ間に於いて、正答且つ同一の２値出力信号（２値教師信号）を与える出力層６の各出力ユニット毎の出力の余裕（即ち、出力ユニットに対応した２値出力信号が正答となる時の、該スレショルド回路１２の２値化スレショルドと出力ユニットの出力振幅との差）を夫々求め、これらの余裕内の最大値を最大余裕、最小値を最小余裕として、この範囲を各２値教師信号の出力ユニット毎の該学習内一時判定領域として、該学習データ記憶部１８に該学習入力データと、それに対応した該２値教師信号と、該２値教師信号毎の該学習内一時判定領域とを記憶させる。
また、該テスト内一時判定領域についても同様に、テストに用いた同一２値教師信号に対応した該テスト入力データ間に於いて、正答且つ同一の２値出力信号（２値教師信号）を与える出力層６の各出力ユニット毎の出力の余裕を夫々求め、これらの余裕内の最大値を最大余裕、最小値を最小余裕として、この範囲を各２値教師信号の出力ユニット毎の該テスト内一時判定領域として、該テストデータ記憶部１９に該テスト入力データと、それに対応した該２値教師信号と、該２値教師信号毎の該テスト内一時判定領域とを記憶させる。
【００３８】
このような設定の元に、該学習済みニューラルネットワーク２４の入力データに対する該出力層６の出力ユニット毎の出力の余裕を出力端子９を介して得た後、該学習内データ一時判定器１３と該テスト内データ一時判定器１５と該入力データ判別器１７とにそれぞれ入力する。
更に、２値出力端子３を介して２値出力信号を該入力データ判別器１７と該学習データ記憶部１８と該テストデータ記憶部１９とに入力する。また、該入力データを該学習済みニューラルネットワーク２４と該学習外データ検出器１４と該テスト外データ検出器１６と該記憶選択器２０とにそれぞれ入力する。
【００３９】
端子３からの該２値出力信号を元に該学習データ記憶部１８から読み出され該学習内データ一時判定器１３に設定された該学習内一時判定領域と、出力端子９からの該入力データに対する各出力ユニットに於ける出力の余裕とをそれぞれ比較する。その結果、全ての出力ユニットの出力の余裕がそれぞれの該学習内一時判定領域の範囲内にあれば、該入力データを学習内データと一時判定し、該学習内一時判定信号を、それ以外の状態ならば、該学習外判定信号を該学習外データ検出器１４及び該入力データ判別器１７にそれぞれ入力する。
【００４０】
同様に、端子３からの該２値出力信号を元に該テストデータ記憶部１９から読み出され、該テスト内データ一時判定器１５に設定された該テスト内一時判定領域と、端子９からの該入力データに対する各出力ユニットに於ける出力の余裕とをそれぞれ比較する。その結果、全ての出力ユニットの出力の余裕がそれぞれの該テスト内一時判定領域の範囲内にあれば、該入力データをテスト内データと一時判定し、該テスト内一時判定信号を、それ以外の状態ならば、該テスト外判定信号を該テスト外データ検出器１６及び該入力データ判別器１７にそれぞれ入力する。
【００４１】
該学習内データ一時判定器１３と該テスト内一時判定器１５とから、夫々該学習外判定信号と該テスト外判定信号とが該入力データ判別器１７に同時に入力されると、該入力データ判別器１７ではその時の該入力データを未知入力と判別し、該記憶選択器２０並びに端子２２へ該未知入力判別信号を送出する。
該記憶選択器２０では、該入力データ判別器１７から未知入力判別信号が入力されると、端子２１を介して該２値出力信号の正答／誤答の問い合わせをする。誤答の場合には、境界領域データと見做し、該学習データ記憶部１８に追加学習入力データとしての該入力データとそれに対応した２値教師信号とを格納する。また、正答の場合には、出力ユニット毎の出力の余裕（２値化スレショルドと出力ユニットの出力振幅の差）を求め、出力ユニット間でのそれらの余裕内の最小値、即ち最小余裕が予め与えられたスレショルド以下ならば、正答であるが余裕が少ないことから境界領域データと見做し、該学習データ記憶部１８に該追加学習入力データとして該入力データと、それに対応する２値教師信号とを格納する。
【００４２】
一方、該スレショルドを越えると、正答となる出力の余裕が大きいことから該テストデータ記憶部１９に追加テスト入力データとして該入力データと、それに対応した２値教師信号とを格納する。
尚、ここでは、正答な２値出力信号を送出する未知入力データを該学習データ記憶部１８と該テストデータ記憶部１９とに分けて格納したが、これを全て該テストデータ記憶部１９に格納してもよい。
また、該未知入力判別信号が入力された場合、該学習データ記憶部１８の該追加学習入力データ或いは該テストデータ記憶部１９の該追加テスト入力データに同一のものが既にあれば、該入力データは破棄される。
ここで、該テストデータ記憶部１９内のテスト入力データ量が規定を越えておれば、或いは該入力データに対応した出力ユニットの出力の余裕がスレショルド以上ならば、該未知入力データを格納せず破棄してもよい。
【００４３】
該学習内データ一時判定器１３から該学習外データ検出器１４へ該学習内一時判定信号が入力されると、該入力データと、該学習データ記憶部１８から読み出された全ての学習入力データ及び全ての該追加学習入力データとのパターン比較を行ない、全て不一致ならば、該学習外データ検出器１４の出力信号として学習外検出信号を、何れかと一致すれば、学習内検出信号を該テスト外データ検出器１６と該入力データ判別器１７にそれぞれ送出する。
【００４４】
また、該テスト内データ一時判定器１５から該テスト外データ検出器１６へ該テスト内一時判定信号が入力され、同時に該学習外データ検出器１４から該学習外検出信号が入力された場合には、端子３からの２値出力信号を元に該テストデータ記憶部１９から全ての該テスト入力データと全ての該追加テスト入力データとを読み出し、これらと該入力データとをパターン比較し、何れかと一致すれば該入力データをテスト内データと見做し、該テスト内検出信号を該入力データ判別器１７へ、全て不一致ならば該入力データをテスト外データと見做して、該テスト外検出信号を該入力データ判別器１７へ送出する。一方、該学習内検出信号が入力された場合には、これらの比較処理は行わない。
ここで、該入力データを追加学習入力データや追加テスト入力データとパターン比較した際、同一ならばそれぞれ学習内検出信号或いはテスト内検出信号が送出される。
【００４５】
該入力データ判別器１７では、該学習外データ検出器１４からの該学習外検出信号と該テスト外データ検出器１６からの該テスト内検出信号とが同時に入力されると、該入力データをテスト内データと見做し、テスト入力判別信号を該記憶選択器２０と端子２２へ送出する。
一方、該学習外検出信号と該テスト外検出信号とが入力されると、該入力データを未知入力データと見做し、未知入力判別信号を該記憶選択器２０と端子２２へ送出する。また、該学習外データ検出器１４から学習内検出信号が入力されると、学習入力判別信号を送出する。
【００４６】
上記の説明の如く、該学習済みニューラルネットワーク２４の該入力データに対応した出力ユニット毎の出力の余裕が、該学習内一時判定領域の範囲外であれば学習外判定、該テスト内一時判定領域の範囲外であればテスト外判定とし、同時に学習外判定及びテスト外判定ならば該入力データを未知入力と直接判別することができ、該入力データと記憶されている全ての学習入力データ及びテスト入力データとのパターン比較を行う必要がない。また、該学習外データ検出器１４に於て学習内入力検出となると、該テスト外データ検出器１６でのパターン比較は不要となり、処理量を大幅に削減出来る。
【００４７】
本実施形態では、該学習外データ検出器１４及び該テスト外データ検出器１６に於て、該学習一時判定信号と該テスト一時判定信号がそれぞれ入力されると、記憶されている全ての学習入力データと追加学習入力データとを、また全てのテスト入力データと追加テスト入力データとをそれぞれ読み出している。
ここで、端子３からの該２値出力信号を用いて、該学習データ記憶部１８及びテストデータ記憶部１９を検索し、同一の２値教師信号に対応させて記憶されている学習入力データと追加学習入力データのみを、或いはテスト入力データと追加テスト入力データのみをそれぞれ読み出し、該入力データとのパターン比較をしてもよい。これにより、読み出される学習及びテスト入力データの数は大幅に削減されることから、パターン比較を行う処理量を更に格段に低減することが出来る。
【００４８】
本実施形態では、該学習内一時判定領域として、学習入力データに対して、正答且つ同一の２値出力信号となる出力ユニットの出力の間で出力層の各出力ユニット毎の出力の余裕内から最大余裕と最小余裕を求め、この範囲を該学習内一時判定領域として各該２値出力信号（２値教師信号）に対して準備している。該テスト内一時判定領域についても同様に、テスト入力データに対して、正答且つ同一の２値出力信号となる出力ユニットの出力の間で出力層の各出力ユニット毎の出力の余裕内から最大余裕と最小余裕を求め、この範囲を該テスト内一時判定領域として各該２値出力信号（２値教師信号）に対して準備している。
【００４９】
ここで、上記の該各２値教師信号に対する出力ユニット毎の最大余裕と最小余裕からなる学習内一時判定領域或いはテスト一時判定領域の他に、新たに、該２値教師信号毎の出力ユニット全体での最大余裕と最小余裕とを夫々求めて、出力ユニット間で共通のこの最大余裕と最小余裕とからなる領域をそれぞれ学習内一時判定領域或いはテスト内一時判定領域としてもよい。この場合には、出力ユニットに無関係に２値教師信号毎の学習内一時判定領域及びテスト内一時判定領域を与えることになる。
更に、２値教師信号全体で、即ち、該２値教師信号毎の夫々の最大及び最小余裕の間から新たに最大値及び最小値を求め、それらの範囲を該２値教師信号全体で共通な学習内一時判定領域或いはテスト内一時判定領域としてもよい。この場合には、２値教師信号に無関係に学習内一時判定領域及びテスト内一時判定領域を与えることになる。
【００５０】
尚、実施形態では、２値教師信号と２値化する為のスレショルド器とを用いた２値の場合についてそれぞれ例を示し説明した。ここでは、学習済みニューラルネットワーク２４に対して３値以上の多値教師信号と多値スレショルド器とを用いて学習させたものを用い、該学習データ記憶部１８及び該テストデータ記憶部１９に２値教師信号の代わりに多値教師信号を記憶させてもよい。ニューラルネットワーク入力判別装置としての動作は同様である。
【００５１】
本発明のニューラルネットワーク入力判別装置２３を用いて、追加学習により該学習済みニューラルネットワーク２４の性能向上を図る場合には、該学習入力データと該追加学習入力データとを新たな学習入力データとし、該学習済みニューラルネットワーク２４の重み係数を初期値として、該学習済みニューラルネットワーク２４を再学習（追加学習）する。その後、該テスト入力データと該追加テスト入力データとを新たなテスト入力データとして、汎化特性などをテストし全て正答な２値出力信号が得られれば、新たな学習済みニューラルネットワーク２４として用いればよい。
この場合には、新たに用いた学習入力データに対して学習内一時判定領域を求め直し、同様に新たなテスト入力データに対してテスト内一時判定領域も求め直し、該学習データ記憶部１８及び該テストデータ記憶部１９にそれぞれ格納する。また、これらの処理の後に、該追加学習入力データを消去する。
【００５２】
ここでは、ニューラルネットワークの学習方法として、教師信号を用いたバックプロパゲーション法を前提に説明したが、教師信号を用いない学習方法も適用できる。この場合には、学習済みニューラルネットワーク２４の学習入力データやテスト入力データに対する正答の多値出力信号をここでの実施形態に於ける教師信号として扱い、該学習データ記憶部１８及び該テストデータ記憶部１９に正答の多値出力信号をそれぞれ格納すればよい。この結果、学習方法が異なるだけで、同様な構成の元にニューラルネットワーク入力判別装置２３を動作させることができ、本発明は教師信号を用いて学習させたニューラルネットワークに限る必要はなく、教師信号なしの学習済みニューラルネットワークに対しても適用出来る。
【００５３】
【発明の効果】
以上述べたように、従来方式では、ニューラルネットワークを利用せず、学習データ記憶部１８及びテストデータ記憶部１９に於て記録されている全ての入力データと入力データとのパターン比較を行ない、一致しなければ未知入力と判別している。従って、多くの学習入力データやテスト入力データを記憶している場合は、非常に膨大な処理量を必要とし、入力データの判別時間が非常に長くなり実用的でない。特に、追加学習と追加テストの繰り返し回数が増加するとこの傾向が顕著となり、ニューラルネットワークの性能向上が図りにくい。
【００５４】
このようにリアルタイム処理のニューラルネットワークに於ける未知入力の短時間検出が困難であったが、本発明のニューラルネットワーク入力判別装置により、非常に少ない処理量で未知入力の短時間判別が出来る。従って、限られた学習入力データとテスト入力データとで大規模ニューラルネットワークを設計し、その後、実行処理させることにより未知入力データの迅速な収集とそれらの効果的な追加学習及び追加テストを行うことにより、大規模ニューラルネットワークの性能向上が簡単に図れる。
【００５５】
更に、多値出力信号の正答／誤答の問い合わせによる判定と出力の余裕の状況とにより、未知入力データの効果的な収集と、追加学習入力データとするか、或いは追加テスト入力データとするかの選択により、ニューラルネットワークの効率的な追加学習及び追加テストができ、汎化能力の著しい改善を簡単に図ることが出来る。従って、非常に高い汎化能力が要求されるパターン認識システム、人口知能システム、情報検索システムや画像処理システム、更にはネットワーク障害情報などを処理する通信処理システムなどへの広範囲な応用ができ、非常に幅広い効果を有している。
【図面の簡単な説明】
【図１】 実施形態における本発明のニューラルネットワーク入力判別装置。
【図２】 ニューラルネットワークの基本構成。
【符号の説明】
１ ３層ニューラルネットワーク
２ 入力端子
２1 入力ユニット端子
２2 入力ユニット端子
２N 入力ユニット端子
３ ２値出力端子
３1 ２値出力ユニット端子
３2 ２値出力ユニット端子
３M ２値出力ユニット端子
４ 入力層
４1 入力層ユニット
４2 入力層ユニット
４N 入力層ユニット
５ 中間層
５1 中間層ユニット
５P 中間層ユニット
６ 出力層
６1 出力層ユニット
６2 出力層ユニット
６M 出力層ユニット
７ 重み係数制御器
８ ２値教師信号入力端子
８1 ２値教師信号入力ユニット端子
８2 ２値教師信号入力ユニット端子
８M ２値教師信号入力ユニット端子
９ 出力端子
９1 出力ユニット端子
９2 出力ユニット端子
９M 出力ユニット端子
１０ 減算器
１０1 減算器
１０2 減算器
１０M 減算器
１１ 重み係数入出力端子
１２ スレショルド器
１２1 スレショルド器
１２2 スレショルド器
１２M スレショルド器
１３ 学習内データ一時判定器
１４ 学習外データ検出器
１５ テスト内データ一時判定器
１６ テスト外データ検出器
１７ 入力データ判別器
１８ 学習データ記憶部
１９ テストデータ記憶部
２０ 記憶選択器
２１ 出力問い合わせ入出力端子
２２ 判別出力端子
２３ ニューラルネットワーク入力判別装置
２４ 入力データに対する出力ユニットの出力と多値出力信号とを送出する学習済みニューラルネットワーク
【発明の属する技術分野】
本発明は、パターン認識、データマイニング、予測処理、画像処理及び情報検索処理などの幅広い分野に適用可能なニューラルネットワークにおいて、ニューラルネットワークの入力データが未知入力データか判別するニューラルネットワーク入力判別装置に関するものである。
【０００２】
【従来の技術】
ニューラルネットワークには、文献 麻生英樹著、「ニューラルネットワーク情報処理」、産業図書出版などに示されているように、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。これらは、目的に応じて選択され、用いられている。特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが一般に幅広く実用されている。
ここでは、教師付き学習を行う多層ニューラルネットワークを例にとり、ニューラルネットワークの従来技術及び入力データ判別の従来技術について説明する。また、説明を簡単にする為に、パターン認識などに於て見られる２値教師信号を用いて学習させ、出力層から出力ユニットの出力とそれを２値化した２値出力信号を送出させることとする。
【０００３】
先ず、多層ニューラルネットワークの学習処理の構成について説明する。図２は、３層ニューラルネットワークの基本構成図を示し、学習処理の構成を示す。Ｎ個のユニットからなる入力層４、Ｐ個のユニットからなる中間層５及びＭ個のユニットからなる出力層６から構成される。
多層ニューラルネットワーク１への入力データＩは、Ｉ1、Ｉ2、．．ＩNの入力データエレメントを持ったベクトルから構成され、入力端子２を介してそれぞれ対応した入力層４のユニットに入力された後、更に中間層５の各ユニット（隠れユニット）にそれぞれ重み付けされ出力される。中間層５では、入力層４の各ユニットからの重み付けされた出力の総和を入力とし、スレショルド値を差し引いた後、シグモイド関数と呼ばれる非線形入出力特性を持った関数を介して出力される。出力層６においても中間層５と同様な入出力処理が行われた後、出力端子９の各出力層ユニット（９1、９2、・・・ ９M）からそれぞれ対応した出力を端子９を介して送出する。
【０００４】
更に、入力を２値化するスレショルドを持ったスレショルド器１１を介して２値出力信号に変換し、２値出力端子３を介してニューラルネットワーク１の２値出力信号（２値出力信号エレメント、Ｐ1、Ｐ2、．．ＰM）を送出する。３層以上の多層の際にも、各層におけるそれぞれのユニットは、入力側の隣接層の各ユニットの出力に重み付けをした後、それらの総和を入力として得、更にその入力からスレショルド値を差し引いた後、シグモイド関数などを介し出力層側の隣接層に出力を送出する。
【０００５】
このような多層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムがある。
本アルゴリズムを用いた学習過程では、重み係数に対して乱数などを用いて初期値設定した後、予め用意された教師信号Ｔ（教師信号エレメント、Ｔ1、Ｔ2、．．ＴM）と、入力層４に端子２を介して入力された予め用意された学習入力データに対する出力層６の出力ユニットの出力端子９からの出力との誤差信号を減算器１０を介して求め、重み係数制御器７に入力する。
重み係数制御器７では、端子１１を介して入力された各層のユニットからの出力と前記誤差信号とを基に誤差電力を最小にするように各層間の重み係数Ｗ（例えば、Ｗ(1)は入力層と中間層の間の結合重み係数、Ｗ(2)は中間層と出力層間の結合重み係数）の修正値を求め、端子１１を介して３層ニューラルネットワーク１の各重み係数を更新する重み係数適応制御によって学習を行うものである。
【０００６】
この適応制御による学習をすべての学習入力データに対して繰り返し、平均出力誤差電力があるスレショルド以下となると、収束したと見做す。２値教師信号を仮定した場合、該スレショルド器１２を介して２値出力端子３得られた２値出力信号が２値教師信号と同一になれば正答である。
【０００７】
また、平均誤差電力による収束判定以外に、全ての２値出力信号が正答となった後、出力層６の出力ユニットの出力と２値化スレショルドとの差の絶対値を出力の余裕と定義し、その最小値を最小余裕とし、これが与えられたスレショルド以上であれば、収束したとみなす方法もある。
この収束判定法を用いた誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）があるが、このアルゴリズムを用いニューラルネットワークの汎化特性を利用して誤答のテスト入力データを追加学習入力データとする追加学習を繰り返すことにより、学習入力データのみならずテスト入力データに対しても全て正答とすることが簡単に出来る。
【０００８】
以上のような学習により得られた重み係数を設定した学習済みニューラルネットワークを用いて種々の応用システムが構成される。このような応用システムでは、学習入力データやテスト入力データ以外に非常に多くの未知入力データが入力される場合が多く、正答な２値出力信号を送出しているかどうかは必ずしも解らない。この為、高い汎化能力を持ち多くの正答な２値出力信号を出すことができるよう多くの未知入力データを事前にできるだけ収集し、ニューラルネットワーク１を学習させることが重要であるが、未知入力データの判別機能がなければ、これらのデータの収集が困難な場合が多い。
【０００９】
従って、学習済みニューラルネットワークを実行処理させながら、入力データが未知入力データかどうか、更には所望の正しい２値出力信号が得られているかどうか、即ち未知入力データの判別と正答な２値出力信号の識別が、非常に重要である。未知入力データの判別と問い合わせによる誤答の２値出力信号の正しい教師信号の収集とにより、これらの未知入力データの追加学習を行い、学習済みニューラルネットワークの汎化性能のすみやかな改善と、できるだけ多くの正答な２値出力信号を送出させることが出来る。
【００１０】
入力データ判別に関する従来技術としては、学習入力データを記憶した学習データ記憶部とテスト入力データを記憶したテストデータ記憶部とを用意し、学習済みニューラルネットワークの入力データとそれぞれの記憶部に蓄積された全ての学習入力データ或いはテスト入力データとをパターン比較し検索する方式がある。この方式では、学習済みニューラルネットワークを何ら利用することなく、単に入力データと記憶されている全ての学習入力データ或いはテスト入力データとを直接比較することから、比較対象の学習入力データやテスト入力データが多くなると、これらの読み出し処理量やパターン比較の為の処理量が膨大となる。
大規模ニューラルネットワークの高性能化を図る為には、前記の如く追加学習を繰り返し行う必要があるが、追加学習の繰り返し回数と共にその学習入力データ量やテストする為のテスト入力データ量が次第に増加する。このことから、記憶されている学習入力データ或いはテスト入力データの検索処理が膨大となりリアルタイム処理に適さない。また、単なる検索比較を行うことから、未知入力データが学習済みニューラルネットワークでどのような実行処理結果を出力するのか、即ち正答か誤答か、或いは更に正答となる余裕などの情報が得られない。
【００１１】
【発明が解決しようとする課題】
上記の如く、従来方式では、未知入力データを判別する為に、ニューラルネットワークを用いず、学習データ記憶部及びテストデータ記憶部に格納されている全ての学習入力データやテスト入力データをそれぞれ検索比較し、何れも入力データと一致しなければ、未知入力と判別し、何れかと一致すれば、一致したものが読み出された記憶部により学習入力かテスト入力かを判別している。この為に、記憶されている学習入力データやテスト入力データが多くなると、検索及び比較処理量が膨大となり、迅速な未知入力データの判別収集と追加学習とによる大規模ニューラルネットワークの高性能化が図りにくく実用的でない。また、未知入力データに対する２値出力信号の正答／誤答や出力ユニットの出力の余裕などに関する情報も得られず、効果的且つ効率的な追加学習ができない。
【００１２】
本発明の目的は、上記の問題を解決し、学習入力データやテスト入力データの読み出し処理量と、それらと入力データとの比較処理量を大幅に削減することができるニューラルネットワーク入力判別装置を提供することと、更に、未知入力データに対する学習済みニューラルネットワークの２値出力信号の正答／誤答の問い合わせと出力の余裕を元に未知入力データの区分けとを行ない迅速且つ効率的に追加学習を行わせることによる高性能なニューラルネットワークを実現することにある。
【００１３】
【課題を解決するための手段】
以下に課題を解決する手段を示す。
【００１４】
第１の手段は、入力データに対して出力層の出力ユニットから出力及び多値化した多値出力信号を送出する学習済みニューラルネットワーク手段（２４）と、
該入力データに対応した該出力の余裕と学習内一時判定領域とを比較し、学習外判定信号或いは学習内一時判定信号の何れかを送出する学習内一時判定手段（１３）と、
該入力データに対応した該出力の余裕とテスト内一時判定領域とを比較し、テスト外判定信号或いはテスト内一時判定信号の何れかを送出するテスト内一時判定手段（１５）と、
該学習内一時判定信号が入力されると比較対象学習入力データと該入力データとを比較し、何れかと一致すれば学習内検出信号を何れとも不一致ならば学習外検出信号を送出する学習外データ検出手段（１４）と、
該テスト内一時判定信号が入力されると比較対象テスト入力データと該入力データとを比較し、何れかと一致すればテスト内検出信号を何れとも不一致ならばテスト外検出信号を送出するテスト外データ検出手段（１６）と、
該学習外判定信号且つ該テスト外判定信号が入力されると、或いは該学習外検出信号且つ該テスト外検出信号が入力されると該入力データを未知入力と判別し未知入力判別信号を、該学習内検出信号が入力されると該入力データを学習入力
と判別し学習入力判別信号を、該学習外検出信号且つ該テスト内検出信号が入力されると該入力データをテスト入力と判別しテスト入力判別信号とをそれぞれ出力する入力データ判別手段（１７）と、
該入力データ判別手段（１７）から該未知入力判別信号が入力されると、該多値出力信号の正答或いは誤答を問い合わせ、誤答ならば該入力データを追加学習入力データとして、正答な多値出力信号と共に学習データ記憶手段（１８）に送出し、正答ならば該入力データを追加テスト入力データとして、正答な多値出力信号と共にテストデータ記憶手段（１９）に送出する記憶選択手段（２０）と、
該学習入力データと該追加学習入力データと対応した該多値出力信号と該学習内一時判定領域とを記憶し読み出す該学習データ記憶手段（１８）と、
該テスト入力データと該追加テスト入力データと対応した該多値出力信号と該
テスト内一時判定領域とを記憶し読み出す該テストデータ記憶手段（１９）とから少なくとも構成することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００１５】
第２の手段は、第１の手段に記載の該学習データ記憶手段に於て、
該学習内一時判定領域として、同一２値教師信号に対応した該学習入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の出力ユニット毎の正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該学習内一時判定手段（１３）に設定し、該テストデータ記憶手段（１５）に於て、該テスト内一時判定領域として、同一の２値教師信号に対応した該テスト入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の出力ユニット毎の正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該テスト内一時判定手段（１５）に設定することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００１６】
第３の手段は、第１の手段に記載の該学習データ記憶手段に於て、
該学習内一時判定領域として、同一の２値教師信号に対応した該学習入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の全出力ユニット間で正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該学習内一時判定手段（１３）に設定し、該テストデータ記憶手段（１５）に於て、該テスト内一時判定領域として、同一の２値教師信号に対応した該テスト入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の全出力ユニット間で正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該テスト内一時判定手段（１５）に設定することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００１７】
第４の手段は、第１、第２及び第３の手段のいずれかひとつに記載のニューラルネットワーク入力判別装置の該学習外データ検出手段（１４）に於て、
該学習内一時判定信号が入力されると該学習データ記憶手段から記憶されている全ての該学習入力データ及び該追加学習入力データとを該比較対象学習入力データとして読み出し該入力データと比較し、何れかと一致ならば該学習内検出信号を、何れとも不一致ならば該学習外検出信号を送出し、該テスト外データ検出手段（１６）に於て、該テスト内一時判定信号が入力されると該テストデータ記憶手段（１６）から記憶されている全ての該テスト入力データ及び該追加テスト入力データとを該比較対象テスト入力データとして読み出し該入力データと比較し、何れかと一致ならば該テスト内検出信号を、何れとも不一致ならば該テスト外検出信号を送出することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００１８】
第５の手段は、第１、第２及び第３の手段のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該学習外データ検出手段（１４）に於て、該学習内一時判定信号が入力されると、該入力データに対応した該多値出力信号を用いて該学習データ記憶手段（１８）から対応する該学習入力データ及び該追加学習入力データとを読み出し該入力データと比較し、何れかと一致ならば該学習内検出信号を、何れとも不一致ならば該学習外検出信号を送出し、該テスト外データ検出手段（１６）に於て、該テスト内一時判定信号が入力されると、該入力データに対応した該多値出力信号を用いて該テストデータ記憶手段（１９）から対応した該テスト入力データ及び該追加テスト入力データとを読み出し該入力データと比較し、何れかと一致ならば該学習内検出信号を、何れとも不一致ならば学習外検出信号を送出することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００１９】
第６の手段は、第１、第２、第３、第４及び第５の手段のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該記憶選択手段（２０）に該未知入力判別信号が入力されると、該入力データに対応した該多値出力信号が正答か誤答かを問い合わせ、正答の場合、該入力データに対応した多値出力信号が正答となる出力の余裕が予め与えられたスレショルド以下ならば、該追加学習入力データとして該学習データ記憶手段（１８）に追加格納し、該スレショルドを越えておれば、該追加テスト入力データとして該テストデータ記憶手段（１９）に追加格納することを特徴としたニューラルネットワーク入力判別装置によるものである。
【００２０】
第７の手段は、第１、第２、第３、第４及び第５の手段のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該記憶選択手段（２９）に該未知入力判別信号が入力されると、該入力データに対応した該多値出力信号が正答か誤答かを問い合わせ、正答の場合、既に該テストデータ記憶手段（１９）に記憶されている追加テスト入力データ数が予め与えられたスレショルド以下ならば、該追加テスト入力データとして該テストデータ記憶手段（１９）に追加格納し、該スレショルドを越えておれば、格納しないことを特徴としたニューラルネットワーク入力判別装置によるものである。
【００２１】
第８の手段は、第１、第２、第３、第４、第５、第６及び第７の手段のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該学習データ記憶手段（１８）に格納されている該学習入力データと該追加学習入力データとを用い、該学習済みニューラルネットワーク手段（２４）の重み係数を初期値として、該学習済みニューラルネットワーク手段（２４）を再学習させ、収束すると新たな学習済みニューラルネットワーク手段（２４）として設定すると共に、該学習入力データと該追加学習入力データとを用いて該学習内一時判定領域を求め直し、該学習データ記憶手段（１８）に格納し、該テスト入力データ及び該追加テスト入力データとを用いて該テスト内一時判定領域を求め直し、該テストデータ記憶手段（１９）に格納し動作させることを特徴としたニューラルネットワーク入力判別装置によるものである。
【００２２】
上記の課題を解決する手段の如く、本発明のニューラルネットワーク入力判別装置は、学習済みニューラルネットワークを利用している。即ち、正答な多値出力信号を送出させる学習入力データに対する学習済みニューラルネットワークの出力層の出力ユニットの出力の余裕から得られた最大余裕及び最小余裕を用いて形成された学習内一時判定領域と、同様にテスト入力データに対する出力層の出力ユニットの出力の余裕から得られたテスト内一時判定領域をそれぞれ設定しており、入力データに対する出力の余裕がこれらの領域を満たすかどうかの判定を行っている。
【００２３】
これにより、入力データに対する出力層の出力ユニットの出力の余裕がこれらの領域の全てを満足せず学習外判定且つテスト外判定ならば未知入力と直接判別すること、また、該出力の余裕が前記領域を全て満足し、少なくとも学習内一時判定か或いはテスト内一時判定かの何れかの判定がなされた時のみ、入力データと蓄積された入力データとのパターン比較結果により未知入力を判別すること、入力データに対する２値出力信号を用いて比較の為必要最小限の学習入力データと追加学習入力データやテスト入力データと追加テスト入力データとを読み出し用いることから、従来方式の判別装置に比べて著しく格段に処理量が少なく、簡単に未知入力データを判別できる。
【００２４】
また、学習済みニューラルネットワークから得られた未知入力データに対する多値出力信号の正答／誤答判定を外部問い合わせると共に、この判定と正答な多値出力信号に対応した出力ユニットの出力の余裕とを元に未知入力データを区分けして学習データ記憶部或いはテストデータ記憶部に格納している。これによって、学習入力データと追加学習入力データとを用いた学習済みニューラルネットワークの再学習（追加学習）による正答率や汎化能力の改善と新たな学習内一時判定領域の再取得と、テスト入力データと追加テスト入力データを用いた汎化性テストと新たなテスト内一時判定領域の再取得とを効果的に繰り返し行なうことにより、汎化能力に優れ且つ非常に多くの正答２値出力信号を送出することができる高性能な大規模ニューラルネットワークを簡単に実現出来る。
【００２５】
【発明の実施の形態】
以下に本発明の実施形態のニューラルネットワーク入力判別装置の構成及びその動作について、詳細に説明する。尚、ここでは、簡単の為に２値教師信号を用いた場合を例にあげ説明する。
【００２６】
実施形態としての本発明のニューラルネットワーク入力判別装置２３を図１に示す。学習済みニューラルネットワーク２４と、学習内データ一時判定器１３と、テスト内データ一時判定器１５と、学習外データ検出器１４と、テスト外データ検出器１６と、入力データ判別器１７と、学習データ記憶部１８と、テストデータ記憶部１９と記憶選択器２０とからなる。
【００２７】
該学習済みニューラルネットワーク２４は、学習入力データと２値教師信号Ｔとを用いて学習したネットワークであり、入力データに対する実行処理を行う。該学習済みニューラルネットワーク２４の出力層６の出力ユニットの出力を出力端子９から出力ユニットの出力として送出する。また、端子３から該出力を２値化した２値出力信号を送出する。
【００２８】
該学習内データ一時判定器１３は、出力ユニット毎に設定された学習内一時判定領域と、該入力データに対する各出力ユニットに於ける出力の余裕とをそれぞれ比較する。その結果、全ての出力ユニットの出力の余裕がそれぞれの該学習内一時判定領域の範囲内にあれば、該入力データを学習内データと一時判定し、学習内一時判定信号を、それ以外の状態ならば、学習外判定信号を該学習外データ検出器１４及び該入力データ判別器１７にそれぞれ入力する。
【００２９】
テスト内データ一時判定器１５は、出力ユニット毎に設定されたテスト内一時判定領域と、該入力データに対する各出力ユニットに於ける出力の余裕とをそれぞれ比較する。その結果、全ての出力ユニットの出力の余裕がそれぞれの該テスト内一時判定領域の範囲内にあれば、該入力データをテスト内データと一時判定し、テスト内一時判定信号を、それ以外の状態ならば、テスト外判定信号を該テスト外データ検出器１５及び該入力データ判別器１７にそれぞれ入力する。
【００３０】
該学習外データ検出器１４は、該学習データ記憶部１８に記憶されている全ての学習入力データと更に全ての追加学習入力データとを比較対象学習入力データとして、該入力データとパターン比較をそれぞれ行ない、その結果に応じて学習外検出信号か学習内検出信号か何れかを該テスト外データ検出器１６と該入力データ判別器１７にそれぞれ送出する。
【００３１】
該テスト外データ検出器１６は、該テストデータ記憶部１９に記憶されている全てのテスト入力データと更に全ての追加テスト入力データとを比較対象テスト入力データとして、該入力データとパターン比較をそれぞれ行ない、その結果に応じてテスト外検出信号かテスト内検出信号か何れかを該入力データ判別器１７に送出する。
【００３２】
該入力データ判別器１７は、該入力データを未知入力、学習入力或いはテスト入力のいずれかに判別するものである。該学習外判定信号と該テスト外判定信号とが同時に入力されると、未知入力データであると見做し、該入力データ判別器１７の出力信号として未知入力判別信号を該記憶選択器２０と端子２１へ送出する。
【００３３】
一方、該学習外検出信号と該テスト外検出信号とが同時に入力されると、該入力データを未知入力データと見做し、該未知入力判別信号を送出する。更に、該学習内検出信号が入力されると、学習入力判別信号を送出する。
また、該学習外検出信号と該テスト内検出信号とが同時に入力されると、該入力データをテスト内データと見做し、テスト入力判別信号を送出する。
【００３４】
該記憶選択器２０は、該未知入力判別信号が入力されると、端子２１を介して該２値出力信号の正答か誤答かの問い合わせを行う。誤答の場合には、境界領域データと見做し、該入力データを該追加学習入力データとして、また同時にそれに対応した教師信号と共に該学習データ記憶部１８に格納する為にそれぞれ送出する。一方、正答の場合には、出力ユニット毎の出力の最小余裕が予め与えられたスレショルド以下ならば、該入力データを該追加学習入力データとして、それに対応した２値出力信号（教師信号）と共に該学習データ記憶部１８に格納する為にそれぞれ送出する。該スレショルドより大きいならば、該入力データを該追加テスト入力データとして、それに対応した２値出力信号（教師信号）と共に該テストデータ記憶部１９に格納する為に送出する。
【００３５】
該学習データ記憶部１８は、該２値教師信号（正答な２値出力信号）とそれに対応した該学習入力データ及び該追加学習入力データと、該学習内一時判定領域とを記憶する記憶装置である。
該テストデータ記憶部１９は、該２値教師信号（正答な２値出力信号）とそれに対応した該テスト入力データ及び該追加テスト入力データと、該テスト内一時判定領域とを記憶する記憶装置である。
【００３６】
以下、これらの動作について詳細に説明する。該学習済みニューラルネットワーク２４は、端子８の２値教師信号Ｔと端子２の該学習入力データとを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法などにより学習させる。特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、該学習入力データに対して全て正答の２値出力信号を端子３から得ることが出来る。また、該テスト入力データに対しても、全て正答な２値出力信号を得ることができる。
【００３７】
このような学習を終了した該学習済みニューラルネットワーク２４に於て、学習に用いた同一２値教師信号に対応した該学習入力データ間に於いて、正答且つ同一の２値出力信号（２値教師信号）を与える出力層６の各出力ユニット毎の出力の余裕（即ち、出力ユニットに対応した２値出力信号が正答となる時の、該スレショルド回路１２の２値化スレショルドと出力ユニットの出力振幅との差）を夫々求め、これらの余裕内の最大値を最大余裕、最小値を最小余裕として、この範囲を各２値教師信号の出力ユニット毎の該学習内一時判定領域として、該学習データ記憶部１８に該学習入力データと、それに対応した該２値教師信号と、該２値教師信号毎の該学習内一時判定領域とを記憶させる。
また、該テスト内一時判定領域についても同様に、テストに用いた同一２値教師信号に対応した該テスト入力データ間に於いて、正答且つ同一の２値出力信号（２値教師信号）を与える出力層６の各出力ユニット毎の出力の余裕を夫々求め、これらの余裕内の最大値を最大余裕、最小値を最小余裕として、この範囲を各２値教師信号の出力ユニット毎の該テスト内一時判定領域として、該テストデータ記憶部１９に該テスト入力データと、それに対応した該２値教師信号と、該２値教師信号毎の該テスト内一時判定領域とを記憶させる。
【００３８】
このような設定の元に、該学習済みニューラルネットワーク２４の入力データに対する該出力層６の出力ユニット毎の出力の余裕を出力端子９を介して得た後、該学習内データ一時判定器１３と該テスト内データ一時判定器１５と該入力データ判別器１７とにそれぞれ入力する。
更に、２値出力端子３を介して２値出力信号を該入力データ判別器１７と該学習データ記憶部１８と該テストデータ記憶部１９とに入力する。また、該入力データを該学習済みニューラルネットワーク２４と該学習外データ検出器１４と該テスト外データ検出器１６と該記憶選択器２０とにそれぞれ入力する。
【００３９】
端子３からの該２値出力信号を元に該学習データ記憶部１８から読み出され該学習内データ一時判定器１３に設定された該学習内一時判定領域と、出力端子９からの該入力データに対する各出力ユニットに於ける出力の余裕とをそれぞれ比較する。その結果、全ての出力ユニットの出力の余裕がそれぞれの該学習内一時判定領域の範囲内にあれば、該入力データを学習内データと一時判定し、該学習内一時判定信号を、それ以外の状態ならば、該学習外判定信号を該学習外データ検出器１４及び該入力データ判別器１７にそれぞれ入力する。
【００４０】
同様に、端子３からの該２値出力信号を元に該テストデータ記憶部１９から読み出され、該テスト内データ一時判定器１５に設定された該テスト内一時判定領域と、端子９からの該入力データに対する各出力ユニットに於ける出力の余裕とをそれぞれ比較する。その結果、全ての出力ユニットの出力の余裕がそれぞれの該テスト内一時判定領域の範囲内にあれば、該入力データをテスト内データと一時判定し、該テスト内一時判定信号を、それ以外の状態ならば、該テスト外判定信号を該テスト外データ検出器１６及び該入力データ判別器１７にそれぞれ入力する。
【００４１】
該学習内データ一時判定器１３と該テスト内一時判定器１５とから、夫々該学習外判定信号と該テスト外判定信号とが該入力データ判別器１７に同時に入力されると、該入力データ判別器１７ではその時の該入力データを未知入力と判別し、該記憶選択器２０並びに端子２２へ該未知入力判別信号を送出する。
該記憶選択器２０では、該入力データ判別器１７から未知入力判別信号が入力されると、端子２１を介して該２値出力信号の正答／誤答の問い合わせをする。誤答の場合には、境界領域データと見做し、該学習データ記憶部１８に追加学習入力データとしての該入力データとそれに対応した２値教師信号とを格納する。また、正答の場合には、出力ユニット毎の出力の余裕（２値化スレショルドと出力ユニットの出力振幅の差）を求め、出力ユニット間でのそれらの余裕内の最小値、即ち最小余裕が予め与えられたスレショルド以下ならば、正答であるが余裕が少ないことから境界領域データと見做し、該学習データ記憶部１８に該追加学習入力データとして該入力データと、それに対応する２値教師信号とを格納する。
【００４２】
一方、該スレショルドを越えると、正答となる出力の余裕が大きいことから該テストデータ記憶部１９に追加テスト入力データとして該入力データと、それに対応した２値教師信号とを格納する。
尚、ここでは、正答な２値出力信号を送出する未知入力データを該学習データ記憶部１８と該テストデータ記憶部１９とに分けて格納したが、これを全て該テストデータ記憶部１９に格納してもよい。
また、該未知入力判別信号が入力された場合、該学習データ記憶部１８の該追加学習入力データ或いは該テストデータ記憶部１９の該追加テスト入力データに同一のものが既にあれば、該入力データは破棄される。
ここで、該テストデータ記憶部１９内のテスト入力データ量が規定を越えておれば、或いは該入力データに対応した出力ユニットの出力の余裕がスレショルド以上ならば、該未知入力データを格納せず破棄してもよい。
【００４３】
該学習内データ一時判定器１３から該学習外データ検出器１４へ該学習内一時判定信号が入力されると、該入力データと、該学習データ記憶部１８から読み出された全ての学習入力データ及び全ての該追加学習入力データとのパターン比較を行ない、全て不一致ならば、該学習外データ検出器１４の出力信号として学習外検出信号を、何れかと一致すれば、学習内検出信号を該テスト外データ検出器１６と該入力データ判別器１７にそれぞれ送出する。
【００４４】
また、該テスト内データ一時判定器１５から該テスト外データ検出器１６へ該テスト内一時判定信号が入力され、同時に該学習外データ検出器１４から該学習外検出信号が入力された場合には、端子３からの２値出力信号を元に該テストデータ記憶部１９から全ての該テスト入力データと全ての該追加テスト入力データとを読み出し、これらと該入力データとをパターン比較し、何れかと一致すれば該入力データをテスト内データと見做し、該テスト内検出信号を該入力データ判別器１７へ、全て不一致ならば該入力データをテスト外データと見做して、該テスト外検出信号を該入力データ判別器１７へ送出する。一方、該学習内検出信号が入力された場合には、これらの比較処理は行わない。
ここで、該入力データを追加学習入力データや追加テスト入力データとパターン比較した際、同一ならばそれぞれ学習内検出信号或いはテスト内検出信号が送出される。
【００４５】
該入力データ判別器１７では、該学習外データ検出器１４からの該学習外検出信号と該テスト外データ検出器１６からの該テスト内検出信号とが同時に入力されると、該入力データをテスト内データと見做し、テスト入力判別信号を該記憶選択器２０と端子２２へ送出する。
一方、該学習外検出信号と該テスト外検出信号とが入力されると、該入力データを未知入力データと見做し、未知入力判別信号を該記憶選択器２０と端子２２へ送出する。また、該学習外データ検出器１４から学習内検出信号が入力されると、学習入力判別信号を送出する。
【００４６】
上記の説明の如く、該学習済みニューラルネットワーク２４の該入力データに対応した出力ユニット毎の出力の余裕が、該学習内一時判定領域の範囲外であれば学習外判定、該テスト内一時判定領域の範囲外であればテスト外判定とし、同時に学習外判定及びテスト外判定ならば該入力データを未知入力と直接判別することができ、該入力データと記憶されている全ての学習入力データ及びテスト入力データとのパターン比較を行う必要がない。また、該学習外データ検出器１４に於て学習内入力検出となると、該テスト外データ検出器１６でのパターン比較は不要となり、処理量を大幅に削減出来る。
【００４７】
本実施形態では、該学習外データ検出器１４及び該テスト外データ検出器１６に於て、該学習一時判定信号と該テスト一時判定信号がそれぞれ入力されると、記憶されている全ての学習入力データと追加学習入力データとを、また全てのテスト入力データと追加テスト入力データとをそれぞれ読み出している。
ここで、端子３からの該２値出力信号を用いて、該学習データ記憶部１８及びテストデータ記憶部１９を検索し、同一の２値教師信号に対応させて記憶されている学習入力データと追加学習入力データのみを、或いはテスト入力データと追加テスト入力データのみをそれぞれ読み出し、該入力データとのパターン比較をしてもよい。これにより、読み出される学習及びテスト入力データの数は大幅に削減されることから、パターン比較を行う処理量を更に格段に低減することが出来る。
【００４８】
本実施形態では、該学習内一時判定領域として、学習入力データに対して、正答且つ同一の２値出力信号となる出力ユニットの出力の間で出力層の各出力ユニット毎の出力の余裕内から最大余裕と最小余裕を求め、この範囲を該学習内一時判定領域として各該２値出力信号（２値教師信号）に対して準備している。該テスト内一時判定領域についても同様に、テスト入力データに対して、正答且つ同一の２値出力信号となる出力ユニットの出力の間で出力層の各出力ユニット毎の出力の余裕内から最大余裕と最小余裕を求め、この範囲を該テスト内一時判定領域として各該２値出力信号（２値教師信号）に対して準備している。
【００４９】
ここで、上記の該各２値教師信号に対する出力ユニット毎の最大余裕と最小余裕からなる学習内一時判定領域或いはテスト一時判定領域の他に、新たに、該２値教師信号毎の出力ユニット全体での最大余裕と最小余裕とを夫々求めて、出力ユニット間で共通のこの最大余裕と最小余裕とからなる領域をそれぞれ学習内一時判定領域或いはテスト内一時判定領域としてもよい。この場合には、出力ユニットに無関係に２値教師信号毎の学習内一時判定領域及びテスト内一時判定領域を与えることになる。
更に、２値教師信号全体で、即ち、該２値教師信号毎の夫々の最大及び最小余裕の間から新たに最大値及び最小値を求め、それらの範囲を該２値教師信号全体で共通な学習内一時判定領域或いはテスト内一時判定領域としてもよい。この場合には、２値教師信号に無関係に学習内一時判定領域及びテスト内一時判定領域を与えることになる。
【００５０】
尚、実施形態では、２値教師信号と２値化する為のスレショルド器とを用いた２値の場合についてそれぞれ例を示し説明した。ここでは、学習済みニューラルネットワーク２４に対して３値以上の多値教師信号と多値スレショルド器とを用いて学習させたものを用い、該学習データ記憶部１８及び該テストデータ記憶部１９に２値教師信号の代わりに多値教師信号を記憶させてもよい。ニューラルネットワーク入力判別装置としての動作は同様である。
【００５１】
本発明のニューラルネットワーク入力判別装置２３を用いて、追加学習により該学習済みニューラルネットワーク２４の性能向上を図る場合には、該学習入力データと該追加学習入力データとを新たな学習入力データとし、該学習済みニューラルネットワーク２４の重み係数を初期値として、該学習済みニューラルネットワーク２４を再学習（追加学習）する。その後、該テスト入力データと該追加テスト入力データとを新たなテスト入力データとして、汎化特性などをテストし全て正答な２値出力信号が得られれば、新たな学習済みニューラルネットワーク２４として用いればよい。
この場合には、新たに用いた学習入力データに対して学習内一時判定領域を求め直し、同様に新たなテスト入力データに対してテスト内一時判定領域も求め直し、該学習データ記憶部１８及び該テストデータ記憶部１９にそれぞれ格納する。また、これらの処理の後に、該追加学習入力データを消去する。
【００５２】
ここでは、ニューラルネットワークの学習方法として、教師信号を用いたバックプロパゲーション法を前提に説明したが、教師信号を用いない学習方法も適用できる。この場合には、学習済みニューラルネットワーク２４の学習入力データやテスト入力データに対する正答の多値出力信号をここでの実施形態に於ける教師信号として扱い、該学習データ記憶部１８及び該テストデータ記憶部１９に正答の多値出力信号をそれぞれ格納すればよい。この結果、学習方法が異なるだけで、同様な構成の元にニューラルネットワーク入力判別装置２３を動作させることができ、本発明は教師信号を用いて学習させたニューラルネットワークに限る必要はなく、教師信号なしの学習済みニューラルネットワークに対しても適用出来る。
【００５３】
【発明の効果】
以上述べたように、従来方式では、ニューラルネットワークを利用せず、学習データ記憶部１８及びテストデータ記憶部１９に於て記録されている全ての入力データと入力データとのパターン比較を行ない、一致しなければ未知入力と判別している。従って、多くの学習入力データやテスト入力データを記憶している場合は、非常に膨大な処理量を必要とし、入力データの判別時間が非常に長くなり実用的でない。特に、追加学習と追加テストの繰り返し回数が増加するとこの傾向が顕著となり、ニューラルネットワークの性能向上が図りにくい。
【００５４】
このようにリアルタイム処理のニューラルネットワークに於ける未知入力の短時間検出が困難であったが、本発明のニューラルネットワーク入力判別装置により、非常に少ない処理量で未知入力の短時間判別が出来る。従って、限られた学習入力データとテスト入力データとで大規模ニューラルネットワークを設計し、その後、実行処理させることにより未知入力データの迅速な収集とそれらの効果的な追加学習及び追加テストを行うことにより、大規模ニューラルネットワークの性能向上が簡単に図れる。
【００５５】
更に、多値出力信号の正答／誤答の問い合わせによる判定と出力の余裕の状況とにより、未知入力データの効果的な収集と、追加学習入力データとするか、或いは追加テスト入力データとするかの選択により、ニューラルネットワークの効率的な追加学習及び追加テストができ、汎化能力の著しい改善を簡単に図ることが出来る。従って、非常に高い汎化能力が要求されるパターン認識システム、人口知能システム、情報検索システムや画像処理システム、更にはネットワーク障害情報などを処理する通信処理システムなどへの広範囲な応用ができ、非常に幅広い効果を有している。
【図面の簡単な説明】
【図１】 実施形態における本発明のニューラルネットワーク入力判別装置。
【図２】 ニューラルネットワークの基本構成。
【符号の説明】
１ ３層ニューラルネットワーク
２ 入力端子
２1 入力ユニット端子
２2 入力ユニット端子
２N 入力ユニット端子
３ ２値出力端子
３1 ２値出力ユニット端子
３2 ２値出力ユニット端子
３M ２値出力ユニット端子
４ 入力層
４1 入力層ユニット
４2 入力層ユニット
４N 入力層ユニット
５ 中間層
５1 中間層ユニット
５P 中間層ユニット
６ 出力層
６1 出力層ユニット
６2 出力層ユニット
６M 出力層ユニット
７ 重み係数制御器
８ ２値教師信号入力端子
８1 ２値教師信号入力ユニット端子
８2 ２値教師信号入力ユニット端子
８M ２値教師信号入力ユニット端子
９ 出力端子
９1 出力ユニット端子
９2 出力ユニット端子
９M 出力ユニット端子
１０ 減算器
１０1 減算器
１０2 減算器
１０M 減算器
１１ 重み係数入出力端子
１２ スレショルド器
１２1 スレショルド器
１２2 スレショルド器
１２M スレショルド器
１３ 学習内データ一時判定器
１４ 学習外データ検出器
１５ テスト内データ一時判定器
１６ テスト外データ検出器
１７ 入力データ判別器
１８ 学習データ記憶部
１９ テストデータ記憶部
２０ 記憶選択器
２１ 出力問い合わせ入出力端子
２２ 判別出力端子
２３ ニューラルネットワーク入力判別装置
２４ 入力データに対する出力ユニットの出力と多値出力信号とを送出する学習済みニューラルネットワーク
Claims (8)
- 入力データに対して出力層の出力ユニットから出力及び多値化した多値出力信号を送出する学習済みニューラルネットワーク手段（２４）と、
該入力データに対応した該出力の余裕と学習内一時判定領域とを比較し、学習外判定信号或いは学習内一時判定信号の何れかを送出する学習内一時判定手段（１３）と、
該入力データに対応した該出力の余裕とテスト内一時判定領域とを比較し、テスト外判定信号或いはテスト内一時判定信号の何れかを送出するテスト内一時判定手段（１５）と、
該学習内一時判定信号が入力されると比較対象学習入力データと該入力データとを比較し、何れかと一致すれば学習内検出信号を何れとも不一致ならば学習外検出信号を送出する学習外データ検出手段（１４）と、
該テスト内一時判定信号が入力されると比較対象テスト入力データと該入力データとを比較し、何れかと一致すればテスト内検出信号を何れとも不一致ならばテスト外検出信号を送出するテスト外データ検出手段（１６）と、
該学習外判定信号且つ該テスト外判定信号が入力されると、或いは該学習外検出信号且つ該テスト外検出信号が入力されると該入力データを未知入力と判別し未知入力判別信号を、該学習内検出信号が入力されると該入力データを学習入力と判別し学習入力判別信号を、該学習外検出信号且つ該テスト内検出信号が入力されると該入力データをテスト入力と判別しテスト入力判別信号とをそれぞれ出力する入力データ判別手段（１７）と、
該入力データ判別手段（１７）から該未知入力判別信号が入力されると、該多値出力信号の正答或いは誤答を問い合わせ、誤答ならば該入力データを追加学習入力データとして、正答な多値出力信号と共に学習データ記憶手段（１８）に送出し、正答ならば該入力データを追加テスト入力データとして、正答な多値出力信号と共にテストデータ記憶手段（１９）に送出する記憶選択手段（２０）と、
該学習入力データと該追加学習入力データと対応した該多値出力信号と該学習内一時判定領域とを記憶し読み出す該学習データ記憶手段（１８）と、
該テスト入力データと該追加テスト入力データと対応した該多値出力信号と該テスト内一時判定領域とを記憶し読み出す該テストデータ記憶手段（１９）とから少なくとも構成することを特徴としたニューラルネットワーク入力判別装置。 - 請求項１に記載の該学習データ記憶手段に於て、
該学習内一時判定領域として、同一の２値教師信号に対応した該学習入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の出力ユニット毎の正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該学習内一時判定手段に設定し、該テストデータ記憶手段に於て、該テスト内一時判定領域として、同一の２値教師信号に対応した該テスト入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の出力ユニット毎の正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該テスト内一時判定手段に設定することを特徴としたニューラルネットワーク入力判別装置。 - 請求項１に記載の該学習データ記憶手段に於て、
該学習内一時判定領域として、同一の２値教師信号に対応した該学習入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の全出力ユニット間で正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該学習内一時判定手段に設定し、該テストデータ記憶手段に於て、該テスト内一時判定領域として、同一の２値教師信号に対応した該テスト入力データに対して同一且つ正答な多値出力信号を与える出力層の出力ユニットの出力の全出力ユニット間で正答を与える最小余裕と最大余裕とからなる領域を該多値出力信号毎に予め準備記憶し、該入力データに対する該多値出力信号により読み出し該テスト内一時判定手段に設定することを特徴としたニューラルネットワーク入力判別装置。 - 請求項１、２及び３のいずれかひとつに記載のニューラルネットワーク入力判別装置の該学習外データ検出手段に於て、
該学習内一時判定信号が入力されると該学習データ記憶手段から記憶されている全ての該学習入力データ及び該追加学習入力データとを該比較対象学習入力データとして読み出し該入力データと比較し、何れかと一致ならば該学習内検出信号を、何れとも不一致ならば該学習外検出信号を送出し、該テスト外データ検出手段に於て、該テスト内一時判定信号が入力されると該テストデータ記憶手段から記憶されている全ての該テスト入力データ及び該追加テスト入力データとを該比較対象テスト入力データとして読み出し該入力データと比較し、何れかと一致ならば該テスト内検出信号を、何れとも不一致ならば該テスト外検出信号を送出することを特徴としたニューラルネットワーク入力判別装置。 - 請求項１、２及び３のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該学習外データ検出手段に於て、該学習内一時判定信号が入力されると、該入力データに対応した該多値出力信号を用いて該学習データ記憶手段から対応する該学習入力データ及び該追加学習入力データとを読み出し該入力データと比較し、何れかと一致ならば該学習内検出信号を、何れとも不一致ならば該学習外検出信号を送出し、該テスト外データ検出手段に於て、該テスト内一時判定信号が入力されると、該入力データに対応した該多値出力信号を用いて該テストデータ記憶手段から対応した該テスト入力データ及び該追加テスト入力データとを読み出し該入力データと比較し、何れかと一致ならば該学習内検出信号を、何れとも不一致ならば学習外検出信号を送出することを特徴としたニューラルネットワーク入力判別装置。 - 請求項１、２、３、４及び５のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該記憶選択手段に該未知入力判別信号が入力されると、該入力データに対応した該多値出力信号が正答か誤答かを問い合わせ、正答の場合、該入力データに対応した多値出力信号が正答となる出力層の出力ユニットの出力の余裕が予め与えられたスレショルド以下ならば、該追加学習入力データとして該学習データ記憶手段に追加格納し、該スレショルドを越えておれば、該追加テスト入力データとして該テストデータ記憶手段に追加格納することを特徴としたニューラルネットワーク入力判別装置。 - 請求項１、２、３、４及び５のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該記憶選択手段に該未知入力判別信号が入力されると、該入力データに対応した該多値出力信号が正答か誤答かを問い合わせ、正答の場合、既に該テストデータ記憶手段に記憶されている追加テスト入力データ数が予め与えられたスレショルド以下ならば、該追加テスト入力データとして該テストデータ記憶手段に追加格納し、該スレショルドを越えておれば、格納しないことを特徴としたニューラルネットワーク入力判別装置。 - 請求項１、２、３、４、５、６及び７のいずれかひとつに記載のニューラルネットワーク入力判別装置に於て、
該学習データ記憶手段に格納されている該学習入力データと該追加学習入力データとを用い、該学習済みニューラルネットワーク手段の重み係数を初期値として、該学習済みニューラルネットワーク手段を再学習させ、収束すると新たな学習済みニューラルネットワーク手段として設定すると共に、該学習入力データと該追加学習入力データとを用いて該学習内一時判定領域を求め直し、該学習データ記憶手段に格納し、該テスト入力データ及び該追加テスト入力データとを用いて該テスト内一時判定領域を求め直し、該テストデータ記憶手段に格納し動作させることを特徴としたニューラルネットワーク入力判別装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25278399A JP3678071B2 (ja) | 1999-09-07 | 1999-09-07 | ニューラルネットワーク入力判別装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25278399A JP3678071B2 (ja) | 1999-09-07 | 1999-09-07 | ニューラルネットワーク入力判別装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001075937A JP2001075937A (ja) | 2001-03-23 |
| JP3678071B2 true JP3678071B2 (ja) | 2005-08-03 |
Family
ID=17242217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25278399A Expired - Fee Related JP3678071B2 (ja) | 1999-09-07 | 1999-09-07 | ニューラルネットワーク入力判別装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3678071B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111742329B (zh) * | 2020-05-15 | 2023-09-12 | 安徽中科智能感知科技股份有限公司 | 一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法及平台 |
-
1999
- 1999-09-07 JP JP25278399A patent/JP3678071B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001075937A (ja) | 2001-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5359699A (en) | Method for using a feed forward neural network to perform classification with highly biased data | |
| CN111046664A (zh) | 基于多粒度的图卷积神经网络的假新闻检测方法及系统 | |
| EP3349152A1 (en) | Classifying data | |
| Knowles et al. | On the utility of redundant encodings in mutation-based evolutionary search | |
| CN112085161A (zh) | 一种基于随机信息传递的图神经网络方法 | |
| Rathbun et al. | MLP iterative construction algorithm | |
| Li et al. | The research and implementation of intelligent intrusion detection system based on artificial neural network | |
| JP3675246B2 (ja) | 正誤答判定機能を有するニューラルネットワーク手段 | |
| JP3678071B2 (ja) | ニューラルネットワーク入力判別装置 | |
| CN117472679A (zh) | 结合数据流和控制流漂移发现的异常检测方法及系统 | |
| CN110336631B (zh) | 一种基于深度学习的信号检测方法 | |
| JP3855665B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| JP3757722B2 (ja) | 多層ニューラルネットワークユニット数最適化方法及び装置 | |
| JPH05225163A (ja) | ニューラルネットシステムおよびニューラルネットの学習方法 | |
| CN116170187A (zh) | 一种基于cnn和lstm融合网络的工业互联网入侵监测方法 | |
| Hu et al. | Predicting intrusions with local linear models | |
| JP3891124B2 (ja) | 正誤答判定機能を有する並列ニューラルネットワーク手段 | |
| CN113901810A (zh) | 一种基于多表示学习的跨领域虚假新闻检测方法 | |
| JP3855580B2 (ja) | 並列ニューラルネットワーク装置 | |
| JP4687199B2 (ja) | 連想記憶装置とそのソフトウェア | |
| JPH07121494A (ja) | 並列ニューラルネットワーク | |
| Yao | Learning of decision regions based on the genetic algorithm | |
| JPH1049509A (ja) | ニューラルネットワーク学習方式 | |
| CN116304869A (zh) | 一种联合重构电磁信号的对抗样本攻击检测方法 | |
| Gnanapandithan et al. | Impact of local decision rules in distributed sensor networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050419 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050502 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |