JP3891124B2 - 正誤答判定機能を有する並列ニューラルネットワーク手段 - Google Patents
正誤答判定機能を有する並列ニューラルネットワーク手段 Download PDFInfo
- Publication number
- JP3891124B2 JP3891124B2 JP2003041157A JP2003041157A JP3891124B2 JP 3891124 B2 JP3891124 B2 JP 3891124B2 JP 2003041157 A JP2003041157 A JP 2003041157A JP 2003041157 A JP2003041157 A JP 2003041157A JP 3891124 B2 JP3891124 B2 JP 3891124B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- intermediate layer
- neural network
- correct
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークセキュリティ処理システム、ネットワーク障害検出処理やデータ検索やデータマイニング及び画像処理システムやパターン識別・認識処理システムなどへ幅広く適用可能出力の正誤答判定機能を有した並列ニューラルネットワーク手段に関するものである。
【０００２】
【従来の技術】
従来のニューラルネットワークには、文献麻生英樹著「ニューラルネットワーク情報処理」、産業図書出版などに示されているように、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。
特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが種々幅広く実用されている。ここでは、教師付き学習を行った３層ニューラルネットワークを例にとり、正誤答判定機能を有する並列ニューラルネットワーク手段の従来技術について説明する。また、説明を簡単にする為に、パターン識別・認識などに於いて見られる２値教師信号を用いて学習させ、並列ネットワーク出力として２値出力信号を送出させる場合について明らかにする。
【０００３】
３層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムなどがある。本アルゴリズムを用いた学習過程では、重み係数に対して乱数などを用いて初期値設定した後、予め用意された２値教師信号と、入力層に入力された予め準備された学習入力データを用いて学習させ学習済みニューラルネットワークを得る。学習方法などについては、よく知られており、ここでは省略する。
【０００４】
ローカルミニマムに収束した学習済みのニューラルネットワークを用いて、未知入力データに対して実行処理を行わせる際に、汎化能力が優れていない場合には、学習入力データに近い入力データに対しても多くの誤答の２値出力信号が送出される。実用の際には、学習入力データやテスト入力データ以外の未知入力データが入力される場合が非常に多いが、これらの多くの未知入力データを学習させる為に事前に収集することは困難な場合が多い。従って、未知入力データに対して出来るだけ多くの所望の正答な２値出力信号が得られるかどうか、即ち、汎化能力に優れ、また、送出された該２値出力信号が正答か誤答かを自律的に知る事は、非常に重要である。正答な２値出力信号が送出されていないことが判明した場合には、それらの未知入力データを収集して、それまでの学習入力データと合せて追加学習などを行い、ニューラルネットワークの性能を改善し、できるだけ正答な２値出力信号を多く送出させ汎化能力を改善する必要がある。
【０００５】
従来技術１として、汎化能力を改善する為に、異なる重み係数初期値を設定し学習させ、５０％より若干高い汎化能力を持ったローカルミニマムの状態に収束させ、重み係数が異なった複数個の学習済みニューラルネットワークを入力に対して並列に数多く接続し、それらから送出された２値出力信号を多数決処理して入力データに対する汎化能力を改善し、而も多数決などによって正誤答判定情報を得る並列ニューラルネットワーク手段がある。例えば、D. Sarkar, "Randomness in Generalization Ability: A Source to Improve It," IEEE Trans. Neural Networks Vol.7, No.3, May 1996, pp.676-685. 及び中川徹、他 "複数の乱数化ANNを用いて高信頼なパターン識別とその応用" 電子情報通信学会、信学技報 NC98-155, 1999, 3月などがある。
【０００６】
２値出力信号の多数決判定に従って、正答、或いは誤答の正誤答判定情報を得、然も並列接続された２値出力ニューラルネットワーク手段からの２値出力信号を最終的に選択することから、単体の学習済みニューラルネットワークの汎化能力より高い汎化能力を得ることが出来る。しかしながら、多数決判定における誤答の２値出力に対する誤判定や全２値出力信号が一致しない状態での正答の２値出力信号の効果的な選択送出ができず、少ない並列接続数では高い汎化能力の改善は得られない。然も正答判定の精度は、例えば、８０％程度で飽和し、２０％程度の不明判定となっている。これらの欠点を補うためには、数千個程度のニューラルネットワークを並列接続する必要があることが報告されており、非常に複雑な構成となる。また、この為、設計の為に非常に多くの学習入力データと多くの試行錯誤による作業を必要とする。
【０００７】
次に、従来技術２として、特願平１１−２２９１９２、名称：正誤答判定機能を有するニューラルネットワーク手段に於ける正誤答判定機能を有した並列ニューラルネットワーク手段がある。これを図３をもって説明する。ここでは、２つの学習済みニューラルネットワーク４１及び４４を用いた構成例を示す。
分類カテゴリに割り当てられたラベルの２値コードを直接用いた第１の２値教師信号と学習入力データとを用いて学習させた学習済みニューラルネットワーク４１と該学習済みニューラルネットワーク４１の出力層６のユニットの出力信号を２値変換し２値出力信号を送出するスレショルド回路４２とからなる第１の２値出力ニューラルネットワーク手段４３と、該ラベルに対してランダムな配置を行った、第１の２値教師信号とは異なる第２の２値教師信号と該学習入力データとを用いて学習させた学習済みニューラルネットワーク４４と、該学習済みニューラルネットワーク４４の出力層６のユニットの出力信号を２値に変換し２値出力信号を送出するスレショルド回路４５と該第２の２値教師信号を該第１の２値教師信号、即ち、ラベルに対応した該２値コードに対応した２値出力信号へ逆変換し送出する教師信号コード逆変換器４６とからなる第２の２値出力ニューラルネットワーク手段４７とを入力に対して並列に接続している。
【０００８】
中間層基準出力検出格納器４９、５０では、該スレショルド回路４２及び４５からの夫々の入力データに対する２値出力信号を用いて、予め格納されている中間層基準出力信号を検出し、また、入力データに対する該学習済みニューラルネットワーク４１、４４の中間層５のユニットの出力信号を２値変換して夫々の中間層２値出力信号をスレショルド回路５１、５２を介して得て、同様に中間層出力距離計算器（ハミング距離計算器）５３、５４へ送出する。
該中間層出力距離計算器５３、５４では、該中間層２値出力信号と該中間層基準出力信号との間のハミング距離を求め、中間層出力距離として正誤答推定器５５へ送出する。
【０００９】
一方、テスト領域判定器５７、５８では、該学習済みニューラルネットワーク４１、４４の出力層６の該出力信号の各ユニット毎の正答となる余裕値をそれぞれ求め、該余裕値と該スレショルド回路４２、４５からの２値出力信号に対応して予め準備格納された該テスト領域判定データと比較し、該余裕値がテスト領域内か外かを判定し、テスト領域判定情報として正誤答推定器５５、５６へ送出する。
一致検出器４８では、該第１及び第２値出力ニューラルネットワーク手段４３、４７から送出される２値出力信号を比較し一致或いは不一致を検出し一致検出情報として正誤答推定器５５、５６へ送出する。
【００１０】
該正誤答推定器５５、５６では、該テスト領域判定器５７、５８及び該中間層出力距離計算器５３、５４、更に該一致検出器４８とから、それぞれ入力された該テスト領域判定情報と該中間層出力距離と該一致検出情報とを用いて、該第１及び第２の２値出力ニューラルネットワーク手段４３、４７から送出された夫々の２値出力信号が正答か誤答かを推定し、正誤答推定情報を出力選択処理器５９へ送出する。
該出力選択処理器５９では、該正誤答推定情報と該一致検出情報とを基に該第１及び第２の２値出力ニューラルネットワーク手段４３、４７からの該２値出力信号の何れかを選択し、２値出力信号として送出し、併せて正答か誤答かを判定して正誤答判定情報として送出する。
正誤答判定機能を有する並列ニューラルネットワーク手段４０は、以上の構成となっている。
【００１１】
ここでは、学習入力データと２値教師信号との対応づけに於て、２値教師信号毎に代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとして少なくとも準備し、該学習コアー入力デーアに対する２値出力信号が正答となるよう学習させた前記学習済みニューラルネットワーク４１及び４４を用いる。また、学習が終了した際に、該学習コアー入力データに対する該学習済みニューラルネットワーク４１及び４４の前記中間層５のユニットからの出力信号を前記スレショルド回路５１、５２を介してそれぞれ２値出力信号に変換して、これらをそれぞれの前記中間層基準出力検出格納器４９及び５０に前記中間層基準出力信号として、前記スレショルド回路４２及び４５からの各２値出力信号に対応づけてそれぞれ準備格納する。
【００１２】
また、前記テスト領域判定データとしては、該学習済みニューラルネットワーク４１、４４のテスト入力データに対して、該スレショルド回路４２、４５が正答の２値出力信号を送出するテスト入力データ間で、該学習済みニューラルネットワーク４１、４４の出力層６のユニットからの出力信号のユニット毎の前記余裕値（即ち、該スレショルド回路４２、４５のスレショルド値との差の絶対値）の最小値と最大値とを求め、該テスト領域判定データとし、該スレショルド回路４２、４５からの２値出力信号に対応させて該テスト領域判定器５７、５８にそれぞれ予め準備格納する。
【００１３】
次に、正誤答判定機能を有する並列ニューラルネットワーク手段４０の動作としては、入力データが入力された際に、該中間層基準出力検出格納器４９、５０では、該スレショルド回路４３、４５からの２値出力信号に対応した該中間層基準出力信号を読み出し、前記正規化中間層出力距離計算器５３、５４へそれぞれ送出する。該正規化中間層出力距離計算器５３、５４では、該中間層基準出力信号と該中間層５のユニットの出力信号から該スレショルド回路５１、５２を介して得られた２値出力信号とのハミング距離を測り、前記正誤答推定器５５、５６へそれぞれ該中間層出力距離として送出し、正誤答推定の尺度として用いる。一般に、正答の場合は、このハミング距離は小さく、誤答の場合はこの距離が大きい傾向にある。
【００１４】
該テスト領域判定器５７、５８では、入力データに対応した該スレショルド回路４２、４５からの２値出力信号を用いて該テスト領域判定データを検出し読み出し、この時の該出力層６のユニットからの出力信号の余裕値が該テスト領域判定データであるユニット毎のそれぞれの該最大値と該最小値間の範囲に全て収まればテスト領域内、それ以外の状態をテスト領域外と判定し、テスト領域判定情報を送出する。
【００１５】
該正誤答推定器５５、５６に於て、それぞれ接続されているテスト領域判定器５７、５８からのテスト領域判定情報と正規化中間層出力距離計算器５３、５４からの中間層出力距離と一致検出器４８からの一致検出情報とから、前記２値出力ニューラルネットワーク手段４３、４７から送出された夫々の２値出力信号の正答／誤答を推定する。ここでは、一致検出情報を基に、該２値出力信号の一致検出の場合と不一致検出の場合とに分けて、更にテスト領域判定情報に従って予め準備された出力距離スレショルドから選択された出力距離スレショルドと中間層出力距離との比較により、該出力距離スレショルドを超えておれば誤答推定を、該出力距離スレショルド以下ならば正答推定を行っている。
【００１６】
該出力選択処理器５９では、該正誤答推定情報と該一致検出情報とを用いて、該第１及び２の２値出力ニューラルネットワーク手段４３、４７からの両該２値出力信号が共に正答推定ならば正答と判定し、第１の２値出力ニューラルネットワーク手段４３からの２値出力信号を固定的に、或いは何れかの２値出力信号をランダムに選択送出すると共に正誤答判定情報として正答を送出する。また、何れか一方が正答推定ならば、正答推定である２値出力ニューラルネットワーク手段からの該２値出力信号を選択送出すると共に正誤答判定情報として正答を送出する。また、何れも誤答ならば、第１の２値出力ニューラルネットワーク手段４３からの該２値出力信号を固定的に或いは何れかの２値出力信号をランダムに選択送出するとともに誤答を正誤答判定情報として送出する。ここで、３個以上の並列されたニューラルネットワークが用いられる場合には、一致検出状態として、３出力一致状態、２出力一致状態及び全不一致状態があり、これらと正誤答推定結果とを併せて２値出力信号が選択出力される。
【００１７】
以上の正誤答推定と論理和処理を行うことにより、該２値出力ニューラルネットワーク手段４３、４７からの該２値出力信号の出力選択とその正誤答判定とを行っている。このような構成により、従来技術１より大幅な汎化能力改善と正誤答の非常に高い判定精度と非常に高い正答判定率とを実現している。例えば、シミュレーションによると、従来技術１より非常に少ない並列ニューラルネットワークを用いて１０％程度の高い汎化能力を得ると共に判定精度は９９%以上で、判定率は９５%程度を実現し、何れも従来技術１よりも優れている。
【００１８】
しかしながら、該出力選択処理器５９に於いて、特に、該２値出力ニューラルネットワーク手段４３及び４７からの２値出力信号が全不一致状態の場合、或いは更に多くの２値出力ニューラルネットワーク手段を用い、これら２値出力信号が全不一致状態となった場合、該正誤答推定器５５、５６などからの正誤答推定情報が全て誤答推定であると、何れかの２値出力ニューラルネットワーク手段から固定的に或いはランダムに２値出力信号を選択し送出していることから、誤答推定となった正答な２値出力信号を効果的に選択送出することができない大きな欠点を有している。
また、出力一致状態にある２値出力信号が複数個の正答推定、或いは全誤答推定となった場合にも、最も正答の可能性が高い２値出力信号を最適選択送出することができない欠点も有しており、より一段と高い汎化能力は得られない。
【００１９】
【発明が解決しようとする課題】
上記の如く従来技術１での並列ニューラルネットワーク手段では、学習済みニューラルネットワークは、同一の構造を有し、而も同一の学習アルゴリズムを用いてそれぞれ異なった重み係数初期値を用いて同一の教師信号に対して学習を行っている。従って、これらのニューラルネットワークが同一のグローバルミニマムに収束すると、入力データに対する２値出力信号が正答或いは誤答に関らず殆ど一致してしまうことから、それらを並列接続して、入力データに対するそれぞれの２値出力信号を多数決処理しても、正答の場合には全てが正答となる。一方、誤答や不明の場合にも、全て同様な状態となることから並列接続と多数決処理を用いた効果が非常に小さい。従って、できるだけ異なったローカルミニマムに収束するよう学習させ、それぞれ異なった汎化特性を実現する必要がある。
【００２０】
これらの理由から、それぞれ異なりずれた汎化特性を持たせるには、並列接続される学習済みニューラルネットワークとしてローカルミニマム状態で学習を終了させ使用する必要があり、汎化能力が余り高くなく、誤った２値出力信号を出しやすい。従って、入力データに対して出来るだけ正答な２値出力信号を得、而も精度の高い正誤答判定情報を得る為には、多くの学習済みニューラルネットワークを並列接続し、多数決処理をする必要があり、構成が複雑かつ処理量が増加する欠点がある。また、正答／誤答或いは不明の判定を、単に多数決処理のみで行っており、誤った２値出力信号に対してもお互いに同一な誤りならばそのまま正答とみなすなど、入力データに対する正答判断の精度が然程高くない欠点を持っている。
従って、並列の学習済みニューラルネットワーク数を増加させ多数決処理を行っても、ローカルミニマムに収束していることから正答判定率やその精度に飽和状態が生じ、汎化能力は若干改善されるもの、正答判定の精度や正答判定率は余り改善されない。特に、単体の学習済みネットワークの汎化能力が低く、不明判定が多く発生し、正答の判定が低下すると共にその精度も劣化する。このように、従来技術１では、高い汎化能力と正答判定率とその精度向上とを同時に達成させるには限界がある。
【００２１】
また、従来技術１に於いては、大規模ニューラルネットワークを構成する際に、種々の重み係数の初期値を用いてローカルミニマムに収束させる為の学習処理とテスト入力データに対すると汎化特性の評価を繰り返し行なう試行錯誤が必要となり、満足できる結果を得るには膨大な作業を要し、実用的でない。
【００２２】
一方、従来技術２では、出力選択処理器５９に於いて、特に、２値出力ニューラルネットワーク手段４３及び４７からの２値出力信号が不一致状態の場合、或いは更に多くの２値出力ニューラルネットワーク手段を用いた場合のこれら２値出力信号が全不一致状態となった場合、正誤答推定器５５、５６からの正誤答推定情報が全て誤答推定であると、何れかの２値出力ニューラルネットワーク手段から固定的に或いはランダムに２値出力信号を選択し送出していることから、誤答推定となった正答な２値出力信号を効果的に選択送出することができない大きな欠点がある。同様に、一致状態の該２値出力信号が複数個の正答推定、或いは全誤答推定となった場合にも、最も正答の可能性が高い最適な２値出力信号を選択送出することができない欠点もあり、より一段と高い汎化能力が得られない。
更に、従来技術２の複数個の異なる学習コアー入力データを学習した正誤答判定機能を有する並列ニューラルネットワーク手段を複合的に並列接続する際に、複数個の正答判定或いは全誤答判定となった場合に、複数個の並列ニューラルネットワーク手段からの２値出力信号の最適な選択送出ができない欠点もある。
【００２３】
本発明の目的は、上記の問題を解決する為に、新たに正規化中間層出力距離最小検出器を設け、最小正規化中間層出力距離に基本的に基づき、２値出力ニューラルネットワーク手段からの２値出力信号から最適な２値出力信号を選択送出することにより、従来技術２の正誤答判定機能を有した並列ニューラルネットワーク手段などに比べても、非常に高い汎化能力が達成でき、また、選択送出された２値出力信号の他に、出力情報として、より高精度な正答判定を送出する正誤答判定情報、出力一致情報及び正規化中間層出力距離情報を送出する正誤答判定機能を有する並列ニューラルネットワーク手段を提供することにある。また、同様な構成を持ち異なる学習コア−入力データを学習した本発明の正誤答判定機能を有する並列ニューラルネットワーク手段を複数複合的に並列接続することにより、より一段と非常に高い汎化能力を実現することにある。
【００２４】
【課題を解決するための手段】
以下に主な手段を示す。第１の手段として、分類カテゴリのラベルに対応した多値コードから変換された多値教師信号と、該多値教師信号毎に対応させ設けられた該学習コアー入力データとを少なくとも用いて学習させた第１の学習済みニューラルネットワーク４１と、該第１の学習済みニューラルネットワーク４１の出力層ユニットの出力信号を多値変換し第１の多値出力信号を送出する第１の多値スレショルド手段４２と、該第１の多値出力信号を該多値コードへ逆変換し第２の多値出力信号を送出する第１の教師信号コード逆変換手段４６１とからなる第１の多値出力ニューラルネットワーク手段４３１と、
該第１の多値出力ニューラルネットワーク手段４３１と同一の構成を有し、互いに異なる配置を持った多値教師信号と該学習コアー入力データとを少なくとも用いて学習させた第２の学習済みニューラルネットワーク４４と、第３の多値出力信号を送出する第３の多値スレショルド手段４５と、第４の多値出力信号を送出する第２の教師信号コード逆変換手段４６２とからなる、少なくとも一個以上の、該第１の多値出力ニューラルネットワーク手段４３１の入力に対して並列接続された第２の多値出力ニューラルネットワーク手段４７１と、
該第１及び各該第２の多値出力ニューラルネットワーク手段４３１、４７１内の各該学習済みニューラルネットワーク４１、４４の中間層ユニットからの該学習コアー入力データに対する出力信号を夫々中間層基準出力信号とし、該学習コアー入力データに対する該第１および各第３の多値出力信号に対して該中間層基準出力信号及び正規化スレショルドとをそれぞれ対応づけ予め格納し、入力データに対する該第１及び各第３の多値スレショルド手段４２、４５からの第１及び各第３の多値出力信号を基に夫々対応した該中間層基準出力信号と該正規化スレショルドとを検出し読み出し送出する夫々の中間層基準出力検出格納手段４９、５０と、
該入力データに対する該第１及び各第２の学習済みニューラルネットワーク４１、４４の中間層ユニットからの出力信号と読み出された該中間層基準出力信号との距離を夫々計算し、読み出された該正規化スレショルドにより正規化し正規化中間層出力距離として送出する夫々の正規化中間層出力距離計算手段５３１、５４１と、
該第１及び各第２の教師信号コード逆変換手段４６１、４６２からの第２及び夫々の第４の多値出力信号間の一致状態を検出し一致検出情報を送出する一致検出手段４８と、
該一致検出情報と夫々の該正規化中間層出力距離とから、出力一致状態に対応して検出された最小正規化中間層出力距離と該最小正規化中間層出力距離を持つ多値出力ニューラルネットワーク手段の場所とを最小正規化中間層出力距離情報として送出する正規化中間層出力距離最小検出手段６０と、
各該正規化中間層出力距離と予め対応させて設定された出力距離スレショルドとを比較し正答或いは誤答推定を行い、正誤答推定情報を送出する夫々の正誤答推定手段５５１、５６１と、
該一致検出情報と夫々の該正誤答推定情報と該最小正規化中間層出力距離検出手段６０からの最小正規化中間層出力距離情報とを基に、各該多値出力ニューラルネットワーク手段４３１、４７１からの該第２及び各第４の多値出力信号の何れかを選択し送出する出力選択処理手段５９１とを少なくとも具備し構成する。
【００２５】
第２の手段として、分類カテゴリのラベルに対応した多値コードから変換された多値教師信号と、該多値教師信号毎に対応させ設けられた該学習コアー入力データとを少なくとも用いて学習させた第１の学習済みニューラルネットワーク４１と、該第１の学習済みニューラルネットワークの出力層ユニットの出力信号を多値変換し第１の多値出力信号を送出する第１の多値スレショルド手段４２と、該第１の多値出力信号を該多値コードへ逆変換し第２の多値出力信号を送出する第１の教師信号コード逆変換手段４６１とからなる第１の多値出力ニューラルネットワーク手段４３１と、
該第１の多値出力ニューラルネットワーク手段４３１と同一の構成を有し、互いに異なる配置を持った多値教師信号と該学習コアー入力データとを少なくとも用いて学習させた第２の学習済みニューラルネットワーク４４と、第３の多値出力信号を送出する第３の多値スレショルド手段４５と、第４の多値出力信号を送出する第２の教師信号コード逆変換 手段４６２とからなる、少なくとも一個以上の、該第１の多値出力ニューラルネットワーク手段４３１の入力に対して並列接続された第２の多値出力ニューラルネットワーク手段４７１と、
該第１及び各該第２の多値出力ニューラルネットワーク手段４３１、４７１内の各該学習済みニューラルネットワーク４１、４４の中間層ユニットからの該学習コアー入力データに対する出力信号を多値変換し第１の中間層多値出力信号を送出する夫々の多値スレショルド手段５１と、
各該第１の中間層多値出力信号を中間層基準出力信号とし、該学習コアー入力データに対する該第１および各第３の多値出力信号に対して該中間層基準出力信号及び正規化スレショルドとをそれぞれ対応づけ予め格納し、入力データに対する該第１及び各第３の多値スレショルド手段４２、４５からの第１及び各第３の多値出力信号を基に夫々対応した該中間層基準出力信号と該正規化スレショルドとを検出し読み出し送出する夫々の中間層基準出力検出格納手段４９、５０と、
該入力データに対する該第１及び各第２の学習済みニューラルネットワーク４１、４４の各該多値スレショルド手段５１，５２を介して得られた多値出力信号と読み出された該中間層基準出力信号との距離を夫々計算し、読み出された該正規化スレショルドにより正規化し正規化中間層出力距離として送出する夫々の正規化中間層出力距離計算手段５３１、５４１と、
該第１及び各第２の教師信号コード逆変換手段４６１、４６２からの第２及び夫々の第４の多値出力信号間の一致状態を検出し一致検出情報を送出する一致検出手段４８と、
該一致検出情報と夫々の該正規化中間層出力距離とから、出力一致状態に対応して検出された最小正規化中間層出力距離と該最小正規化中間層出力距離を持つ多値出力ニューラルネットワーク手段の場所とを最小正規化中間層出力距離情報として送出する正規化中間層出力距離最小検出手段６０と、
各該正規化中間層出力距離と予め対応させて設定された出力距離スレショルドとを比較し正答或いは誤答推定を行い、正誤答推定情報を送出する夫々の正誤答推定手段５５１、５６１と、
該一致検出情報と夫々の該正誤答推定情報と該最小正規化中間層出力距離検出手段６０からの最小正規化中間層出力距離情報とを基に、各該多値出力ニューラルネットワーク手段４３１，４７１からの該第２及び各第４の多値出力信号の何れかを選択し送出する出力選択処理手段５９１とを少なくとも具備し構成する
【００２６】
第３の手段として、第１、第２に記載の前記並列ニューラルネットワーク手段の前記正規化中間層出力距離計算手段５３１、５４１に於いて、前記一致検出手段４８からの一致検出情報を基に、前記中間層基準出力検出格納手段４９、５０から読み出された前記正規化スレショルドから、使用する正規化スレショルドを選択し、前記距離を正規化し正規化中間層出力距離を得て送出する構成とする。
【００２７】
第４の手段として、第１、第２及び第３に記載の並列ニューラルネットワーク手段の前記出力選択処理手段５９１において、選択送出された前記多値出力信号の正誤答判定からなる正誤答判定情報と、前記出力一致状態に対応して検出された前記最小正規化中間層出力距離からなる正規化中間層出力距離情報と、前記一致検出情報からなる出力一致情報との何れかを少なくとも送出する構成とする。
【００２８】
第５の手段として、第４の手段に記載の前記並列ニューラルネットワーク手段に於ける、異なった前記学習コア入力データを少なくとも用いて学習させた前記第１及び第２の学習済みニューラルネットワーク４１、４４を有した複数個の前記並列ニューラルネットワーク手段４０１、４０２を複合並列接続し、該複数個の並列ニューラルネットワーク手段４０１、４０２から出力される各前記多値出力信号、正誤答判定情報、正規化中間層出力距離情報及び出力一致情報を夫々入力し、該多値出力信号間の出力一致状態を複合出力一致状態として検出し、該複合出力一致状態と該正誤答判定情報、該正規化中間層出力距離情報及び該出力一致情報とを基に、該多値出力信号から一つの多値出力信号を選択送出し、選択された該多値出力信号に対応した該出力一致情報と該複合出力一致状態とを複合出力一致情報とし、同様に選択された該多値出力信号に対応した該正誤答判定情報を複合正誤答判定情報、更に選択された該多値出力信号に対応した該正規化中間層出力距離情報を複合正規化中間層出力距離情報として夫々送出する複合出力選択処理手段６１とを少なくとも具備し構成する。
【００２９】
【作用】
上記のように、従来技術に於ける問題を解決する具体的な手段としての本発明の正誤答判定機能を有する並列ニューラルネットワーク手段は、それぞれ異なった多値教師信号を用いてグローバルミニマムに収束させ学習させた学習済みニューラルネットワークを入力に対して並列に接続し、第１の多値出力ニューラルネットワークからの多値出力信号と教師信号コード逆変換器を持った多値出力ニューラルネットワークからの多値出力信号との一致検出情報と、中間層基準出力信号と入力データに対する学習済みニューラルネットワークの中間層ユニットからのスレショルド回路を介して得られた中間層２値出力信号とのハミング距離を求め、該一致検出情報に基づき選択された正規化スレショルドにより正規化された正規化中間層出力距離と出力一致状態毎のそれらの最小正規化中間層出力距離情報と該一致検出情報と該多値出力信号の正誤答推定情報とから、特に、全出力不一致状態で、然も全誤答推定の場合にも、正答の可能性の最も高い最適な多値出力信号を選択送出することができ、従来技術２より非常に高い汎化能力を実現できる。
【００３０】
また、従来技術１のような学習の際に重み係数の初期設定に於ける試行錯誤も不要で、迅速且つ簡単に本発明の正誤答判定機能を有した並列ニューラルネットワーク手段を設計することが出来る。
【００３１】
更に、本発明の正誤答判定機能を有する並列ニューラルネットワーク手段は、従来技術２の正誤答判定機能を有する並列ニューラルネットワーク手段に比べても、一段と非常に高い汎化能力を達成でき、高精度且つ安定に正答判定も行える。未知入力データに対して送出される多値出力信号と、出力情報としての正誤答判定情報、出力一致情報及び正規化中間層出力距離情報（選択送出された多値出力信号に対応した最小正規化中間層出力距離）とから、並列接続されたニューラルネットワークに対する追加学習などの為の誤答の出力信号を送出する未知入力データ収集を簡単に行う事ができ、それらを追加学習させ一段とより高い汎化能力と非常に高精度は正誤答判定機能を持った正誤答判定機能を有した並列ニューラルネットワーク手段を簡単に実現出来る。また、本発明の正誤答判定機能を有する並列ニューラルネットワーク手段を複数個複合並列接続し、前記の出力情報を用いた多値出力信号に対して最適な複合出力選択処理をすることにより、入力データ空間の広範囲に渡りこれまでにない非常に高い汎化能力を実現することができる。
【００３２】
【発明の実施の形態】
以下に本発明の実施形態の正誤答判定機能を有する並列ニューラルネットワーク手段の１例をあげ、その構成及びその動作について詳細に説明する。ここでは、従来技術２と同様に２つの学習済みニューラルネットワークを用いた２並列の構成例を示すが、本発明は、２並列に限るものではない。また、同様に３層ニューラルネットワークを例にあげ、説明するが、３層ニューラルネットワークに限るものでなく、教師信号による学習を行う他の中間層を持った構造のニューラルネットワークでもよい。更に、２値教師信号を用いた場合を例にあげ説明するが、２値に限るものではなく、２値以上の多値でもよい。
【００３３】
【第１の実施の形態】
本発明に於ける第１の実施形態としての正誤答判定機能を有する並列ニューラルネットワーク手段の１例を図１に示す。ここで、図１と従来技術２に関する図３での同じ符号は、同一の構成を示すとともに同様の動作をする。また、本発明の１実施形態の正誤答判定機能を有する並列ニューラルネットワーク手段４０１では、上記の従来技術２とは異なり、分類カテゴリに割り当てられたラベルの２値コードに対して、夫々異なったランダムな配置を行った第１及び第２の２値教師信号を用いて夫々学習させた場合の学習済みニューラルネットワーク４１及び４４を用いる。
【００３４】
第１の２値教師信号と学習入力データとを用いて学習させた前記学習済みニューラルネットワーク４１と、該学習済みニューラルネットワーク４１の出力層６のユニットの出力信号を２値変換し２値出力信号を送出するスレショルド回路４２と、該２値出力信号を分類カテゴリに割り当てられた前記ラベルに対応した２値コードに戻す為に逆変換する教師信号コード逆変換器４６１を介し新たな２値出力信号を送出する第１の２値出力ニューラルネットワーク手段４３１と、ラベルに対して該第１の２値教師信号とは異なったランダムな教師信号割り当てを行った第２の２値教師信号と該学習入力データとを用いて学習させた学習済みニューラルネットワーク４４と該学習済みニューラルネットワーク４４の出力層６のユニットの出力信号を２値に変換し２値出力信号を送出するスレショルド回路４５と、該スレショルド回路４５からの２値出力信号を該ラベルに対応した２値コードに戻す為に逆変換する教師信号コード逆変換器４６２を介し新たな２値出力信号を送出する第２の２値出力ニューラルネットワーク手段４７１とを、入力に対して並列に接続し、該スレショルド回路４２及び４５から送出される２値出力信号を用いて、予め格納されている中間層基準出力信号及び正規化スレショルドを検出し送出する中間層基準出力検出格納器４９及び５０と、該学習済みニューラルネットワーク４１及び４４の中間層５のユニットの出力信号を２値変換してそれぞれの中間層２値出力信号を送出するスレショルド回路５１及び５２と、該中間層２値出力信号と対応した該中間層基準出力信号との間のハミング距離を求め、該中間層基準出力検出格納器４９及び５０からの該正規化スレショルドに於いてテスト領域判定器５７及び５８からのテスト領域判定情報と一致検出器４８からの一致検出情報とを基に夫々使用する正規化スレショルドを選択し、該正規化スレショルドにより正規化し正規化中間層出力距離を求め送出する正規化中間層出力距離計算器５３１及び５４１と、該正規化中間層出力距離計算器５３１及び５４１からの正規化中間層出力距離に対して該一致検出器４８からの該一致検出情報の出力一致状態毎に検出された最小正規化中間層出力距離と該最小正規化中間層出力距離を持つ２値出力ニューラルネットワーク手段とを最小正規化中間層出力距離情報として出力選択処理器５９１へ夫々送出する正規化中間層出力距離最小検出器６０と、該学習済みニューラルネットワーク４１及び４４の出力層６の該出力信号の各ユニット毎の正答となる余裕値をそれぞれ求め、該余裕値と該２値出力ニューラルネットワーク手段４３１及び４７１内の該スレショルド回路４２及び４５からの夫々の２値出力信号を基に検出された予め準備格納されたテスト領域判定データとを比較し該余裕値がテスト領域内か外かを判定し、該テスト領域判定情報として夫々送出する該テスト領域判定器５７及び５８と、該第１及び第２値出力ニューラルネットワーク手段４３１及び４７１から送出される夫々の２値出力信号とを比較し一致状態及び不一致状態を検出し該一致検出情報として送出する該一致検出器４８と、該正規化中間層出力距離計算器５３１及び５４１からの該正規化中間層出力距離を用いて該２値出力ニューラルネットワーク手段４３１及び４７１からの夫々の２値出力信号が正答か誤答かを推定した正誤答推定情報を送出する正誤答推定器５５１及び５６１と、該正誤答推定器５５１及び５６１からの該正誤答推定情報と該一致検出器４８からの該一致検出情報と該正規化中間層出力距離最小検出器６０からの２値出力信号の出力一致状態毎に検出された最小正規化中間層出力距離情報とを基に該第１及び第２の２値出力ニューラルネットワーク手段４３１及び４７１からの該２値出力信号の何れかを選択し該並列ニューラルネットワーク手段４０１の２値出力信号として送出し、併せて該正誤答推定情報を基に正答か誤答かを判定した正誤答判定情報と出力一致状態に対応した最小正規化中間層出力距離情報から選択された最小正規化中間層出力距離からなる正規化中間層出力距離情報と該一致検出情報からなる出力一致情報とを送出する出力選択処理器５９１とから構成される。
【００３５】
以下、これらの動作について詳細に説明する。前記学習済みニューラルネットワーク４１及び４４は入力層４、中間層５及び出力層６の３層の同一構成であり、前記第１及び第２の２値教師信号をそれぞれ用いて異なったグローバルミニマムの状態に簡単に学習させることができる。従って、前記第１及び第２の２値出力ニューラルネットワーク手段４３１、４７１からの２値出力信号は、学習入力データに対しては、それぞれ全て同一の正答の出力となり、全て一致する。また、これら学習済みニューラルネットワーク４１、４４は学習アルゴリズムとニューラルネットワークの構造が同一であることから殆ど同様な高い汎化能力が基本的に得られる。
【００３６】
また、異なる教師信号を用いて学習させた前記学習済みニューラルネットワーク４１、４４の汎化能力が高いことから汎化特性に関する正答な２値出力を送出する入力空間領域は広く而もずれており、未知入力データに対して前記２値出力ニューラルネットワーク手段４３１、４７１からの両２値出力信号は幅広く同一となるが、ずれている領域では同一とはならず、何れかが誤答となる。また、両２値出力信号が一致しても誤答の２値出力信号である場合が多くなる。これらを正誤答推定により基本的に識別する。
ここで、学習済みニューラルネットワーク４１、４４の重み係数としては、同一或いはそれぞれ異なった重み係数初期値を設定して学習させたものを用いても良い。それぞれ異なった重み係数の初期値設定を行うと、汎化能力の変化は殆どないが、汎化特性はよりずれた正答の２値出力を送出する入力空間領域を持つ。
【００３７】
該学習済みニューラルネットワーク４１及び４４に対して、入力信号端子２を介して未知入力データが並列に入力され、学習済みの重み係数を用いて実行処理が行われる。前記一致検出器４８に於て該２値出力ニューラルネットワーク手段４３１及び４７１からの２値出力信号が一致した場合には、共に正答の場合が殆どである。しかしながら、前記スレショルド回路４２、４５からの２値出力信号が同じような誤りを発生している場合もあり、誤答であるがお互いに一致する場合も発生率は低いものの発生する。従って、以下の推定処理を行う。
【００３８】
前記正誤答推定器５５１、５６１に於て、それぞれ接続されている前記正規化中間層出力距離計算器５３１、５４１からの正規化中間層出力距離を基に、該２値出力ニューラルネットワーク手段４３１、４７１からのそれぞれの２値出力信号の正答／誤答を推定し、前記出力選択処理器５９１に前記正誤答推定情報としてそれぞれを送出する。ここでは、前記正規化中間層出力距離と、予め準備された出力距離スレショルドとの比較により、正答或いは誤答の推定を行っている。例えば、該正規化中間層出力距離が該出力距離スレショルドより大きいと誤答推定とする。また、その他の状態を正答推定とする。
【００３９】
更に、該出力選択処理器５９１では、該正誤答推定情報からの正誤推定と該一致検出情報からの出力一致状態と及び該最小正規化中間層出力距離情報からの最小正規化中間層出力距離と対応した２値出力ニューラルネットワーク手段とにより、該第１及び２の２値出力ニューラルネットワーク手段４３１、４７１からの両２値出力信号に対する最適な選択送出と正誤答判定とを行い、選択された２値出力信号と、正誤答判定結果からなる正誤答判定情報と、対応して選択された最小正規化中間層出力距離からなる正規化中間層出力距離情報と、該一致検出情報からなる出力一致情報とを夫々２値出力信号端子２６、正誤答判定情報端子２７、正規化中間層出力距離情報端子２７１及び出力一致情報端子２７２から夫々送出する。
ここでは、該第１及び２の２値出力ニューラルネットワーク手段４３１、４７１からの両２値出力信号が一致状態で両正答推定であれば正答と判定し、正答推定の２値出力ニューラルネットワーク手段からの最小正規化中間層出力距離を持った２値出力信号を選択送出すると共に正誤答判定情報として正答判定を送出し、出力一致状態にある正答推定の最小正規化中間層出力距離を正規化中間層出力距離情報として送出する。
【００４０】
一方、出力一致状態で何れか一方のみが正答推定ならば、正答推定である２値出力ニューラルネットワーク手段からの２値出力信号を選択送出すると共に正誤答判定情報として正答判定を送出し、その正答推定の最小正規化中間層出力距離を正規化中間層出力距離情報として送出する。また、出力一致状態で何れも誤答推定ならば、２値出力ニューラルネットワーク手段からの最小正規化中間層出力距離を持った２値出力信号を選択送出するとともに誤答判定を正誤答判定情報として、その最小正規化中間層出力距離を正規化中間層出力距離情報としてそれぞれ送出する。ここでの該２値出力信号は互いに一致していることから、何れの２値出力ニューラルネットワーク手段から選択しても実質的には差がない。
【００４１】
更に、該２値出力信号が出力不一致状態の場合、何れとも正答推定であれば正答と判定し、正誤答判定情報として送出し、２値出力ニューラルネットワーク手段からの最小正規化中間層出力距離を持つ正答推定の２値出力信号を選択送出すると共に、その最小正規化中間層出力距離を正規化中間層出力距離情報として送出する。一方、出力不一致状態で何れか一方が正答推定ならば、２値出力ニューラルネットワーク手段からの正答推定である２値出力信号を選択送出すると共に正誤答判定情報として正答判定を送出し、その正答推定の最小正規化中間層出力距離を正規化中間層出力距離情報として送出する。また、出力不一致状態で何れも誤答推定ならば、２値出力ニューラルネットワーク手段からの最小正規化中間層出力距離を持った２値出力信号を選択送出するとともに誤答判定を正誤答判定情報として、その最小正規化中間層出力距離を正規化中間層出力距離情報としてそれぞれ送出する。
【００４２】
特に、２値出力信号が出力不一致状態で全て誤答推定の場合に、最小正規化中間層出力距離を持った２値出力信号を選択送出することにより、従来技術２に比較して、大幅に汎化能力を改善できる。また、推定結果が同じ状態、即ち選択の為の競合状態となった場合に、最小正規化中間層出力距離を持った２値出力信号を選択することにより、より正答である２値出力信号を選択送出できる。また、これらの送出された最小正規化中間層出力距離からなる正規化中間層出力距離情報と一致検出情報からなる出力一致情報とを確信度として併用することにより、より安全に選択送出された２値出力信号を取り扱うことができ、誤答判定の２値出力信号を送出する未知入力データの追加学習や、本発明の第２の実施形態での複合並列化の際にも有効に利用できる。
【００４３】
また、３つの学習済みニューラルネットワークを並列接続した本発明の正誤答判定機能を有する並列ニューラルネットワーク手段の場合では、３出力一致状態、２出力一致状態及び全出力不一致状態の何れかが発生する。夫々の出力一致状態に応じて、一致状態側２値出力信号間での最小正規化中間層出力距離の検出と、不一致状態側２値出力信号間の最小正規化中間層出力距離の検出とがそれぞれ正規化中間層出力距離最小検出器６０にて行われ、それぞれ対応した２値出力ニューラルネットワーク手段とを最小正規化中間層出力距離情報として送出する。また、出力選択処理器５９１では、一致検出情報からの出力一致状態と正誤答推定情報からのそれらの正誤答推定と、最小正規化中間層出力距離情報からの最小正規化中間層出力距離により、対応した２値出力ニューラルネットワークの２値出力信号が選択される。
【００４４】
例えば、２出力一致状態で、一致状態側２値出力信号が共に誤答推定で、不一致状態側２値出力信号が正答推定の場合、正答推定の２値出力信号とその最小正規化中間層出力距離が出力選択処理器から選択送出される。一方、一致状態側２値出力信号の少なくとも何れかが正答推定の場合、正答推定の２値出力信号とその最小正規化中間層出力距離とが選択送出される。また、一致状態側２値出力信号が共に誤答推定で、不一致状態側２値出力信号も誤答推定の場合、即ち全誤答推定の場合、一致状態側誤答推定の最小正規化中間層出力距離を持つ２値出力信号が選択送出され、その最小正規化中間層出力距離とともに出力選択処理器から送出される。
このように、２値出力信号が同じような推定状態で選択競合の場合に、最小正規化中間層出力距離を用いることにより、効果的により正答の２値出力信号を選択送出することができ、汎化能力を大幅に改善することができる。
【００４５】
ここで、ニューラルネットワークを学習させ該学習済みニューラルネットワーク４１、４４を得る際に、入力空間の代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとして少なくとも準備し、該学習コアー入力デーアに対する２値出力ニューラルネットワーク手段４３１，４７１の２値出力信号が正答となるよう学習させた該学習済みニューラルネットワーク４１及び４４を用いる。学習が終了した際に、該学習コアー入力データに対応した該学習済みニューラルネットワーク４１及び４４の中間層５のユニットからの出力信号を該スレショルド回路５１、５２を介してそれぞれ２値出力信号に変換して、これらをそれぞれの中間層基準出力検出格納器４９及び５０に中間層基準出力信号として、該スレショルド回路４２及び４５からの各２値出力信号に対応づけて、正規化スレショルドと共にそれぞれ格納する。
【００４６】
入力データが入力された際に、該中間層基準出力検出格納器４９、５０では、該スレショルド回路４２，４５からの２値出力信号に対応した該中間層基準出力信号と該正規化スレショルドとを読み出し、該正規化中間層出力距離計算器５３１、５４１へそれぞれ送出する。該正規化中間層出力距離計算器５３１、５４１では、該中間層基準出力信号と該中間層５のユニットの出力信号から該スレショルド回路５１、５２を介して得られた２値出力信号とのハミング距離を求め、該テスト領域判定情報と該一致検出情報とから読み出された正規化スレッショルドから選択された正規化スレショルドにより正規化し、正規化中間層出力距離を得、該正誤答推定器５５１、５６１及び正規化中間層出力距離最小検出器６０へそれぞれ送出する。
ここでは、正誤答推定の尺度として、正規化中間層出力距離を用いているが、一般的に、２値出力ニューラルネットワーク手段４３１、４７１からの２値出力信号が正答の場合は、このハミング距離は正規化スレショルドより小さく、正規化中間層出力距離は１以下となり、誤答の場合はこの距離が１より大きい傾向にある。従って、両該２値出力信号が正答の場合や或いは誤答の場合、最小正規化中間層出力距離を持つ２値出力信号を選択することにより、より正答の出力信号を２値出力信号端子２６から送出することができ汎化能力が大幅に改善される。
【００４７】
該一致検出器４８からの一致検出情報に関して、該２値出力ニューラルネットワーク手段４３１及び４７１の両２値出力信号が一致した場合、正答推定となりやすい大きい正規化スレショルドを選択し、特に該テスト領域判定器５７、５８からのテスト領域情報がテスト領域内であれば、テスト領域外の場合よりもより大きい、正答推定となりやすい正規化スレショルドを選択し、中間層出力距離を正規化する。一方、両該２値出力信号が不一致の場合、例えば、テスト領域情報に無関係に誤答推定となりやすい最も小さい正規化スレショルドを選択し、中間層出力距離を正規化し、正規化中間層出力距離を得る。
【００４８】
ここで、該正規化中間層出力距離計算器５３１、５４１の代わりの正規化ユークリッド距離計算器を用い、スレショルド回路５１及び５２を介さない中間層５からの学習コアー入力データに対応した中間層出力信号を基に準備された中間層基準出力信号と未知入力データに対する中間層出力信号とを用いて、これらの信号間のユークリッド距離を計算し、正規化中間層出力距離を求めもよい。
【００４９】
該テスト領域判定器５７、５８に於ける準備として、該学習済みニューラルネットワーク４１、４４のテスト入力データに対する汎化能力を評価する。この際、該スレショルド回路４２、４５が正答の２値出力信号を送出するテスト入力データ間で、該学習済みニューラルネットワーク４１、４４の出力層６のユニットからの出力信号のユニット毎の正答となる為の余裕値（即ち、該スレショルド回路４２、４５のスレショルド値との差の絶対値）の最小値と最大値とを求め、該テスト領域判定データとし、該正答の２値出力信号に対応させてテスト領域判定器５７、５８にそれぞれ予め準備格納する。
【００５０】
次に、入力データに対応した該スレショルド回路４２、４５からの２値出力信号を用いて対応した該テスト領域判定データを読み出し、この時の該出力層６のユニットからの出力信号の余裕値がユニット毎のそれぞれの該最大値と該最小値間の範囲に全て収まればテスト領域内、それ以外の状態をテスト領域外と判定し、テスト領域判定情報として送出する。ここで、入力データに対する出力層６のユニットからの出力信号がテスト領域外である判定されると、テスト領域内の場合より２値出力ニューラルネットワーク手段４３１、４７１からの２値出力信号が誤答となる場合が多い。従って、テスト領域外の場合は、正規化中間層出力距離計算器５３１、５４１に於いて、小さい正規化スレショルドが用いられ、誤答推定となりやすくなる。
尚、本発明の第１の実施形態に於ける例では、テスト領域判定データとして、ユニット毎の余裕値の最大及び最小値を用いているが、全ユニット間での最大及び最小値を用いても良い。
【００５１】
ここでは、正答の２値出力信号を送出するテスト入力データだけから上記のテスト領域判定データを求めているが、準備されている全てのテスト入力データを元にテスト領域判定データを求める場合には、学習入力データを用いてニューラルネットワークの学習を終了させた後、テストの際に誤答の２値出力信号を送出するテスト入力データがあれば、これらを学習入力データとして、それまでの学習入力データと一緒にして追加学習する。この追加学習を繰り返すことにより、最終的にテスト入力データに対して全て正答の２値出力信号を送出するよう学習させることができる。このような追加学習を行った後、その重み係数を用いて学習済みニューラルネットワーク４１、４４に設定し、これらのテスト入力データに対してテスト領域判定データを求めてもよい。
【００５２】
本発明の第１の実施形態に於ける例は、正規化中間層出力距離計算器５３１、５４１を用い、学習コアー入力データに対応した学習済みニューラルネットワーク４１及び４４の中間層ユニットのそれぞれの出力信号を該スレショルド回路５１、５２を介して２値出力信号を得、それぞれを中間層基準出力信号とし、該スレショルド回路４２、４５からの２値出力信号に対応させ予め準備格納した。ここで、該スレショルド回路５１、５２を介さず中間層ユニットのそれぞれの出力信号をそのまま中間層基準出力信号として該中間層基準出力検出格納器４９、５０に予め格納し、これらを該スレショルド回路４２、４５からの２値出力信号を元にそれぞれ対応した該中間層基準出力信号を読み出し、入力データに対応した中間層ユニットの出力信号とのユニット毎の差の絶対値、或いはその２乗を全ユニットに渡り加算すれば、ハミング距離に変わって、上述のユークリッド中間層出力距離を求めることができ、正規化中間層出力距離を得ても良い。
【００５３】
また、正規化中間層出力距離計算器５３１、５４１に於いて、中間層出力距離を正規化する正規化スレショルドは、２値教師信号に対応した２値出力信号毎に異なる値を設定してもよい。或いは、該２値出力ニューラルネットワーク手段４３１及び４７１に於いて、それぞれの正答の２値出力信号を送出するテスト入力データ間で、対応した中間層出力距離から得られた平均値或いは更に標準偏差とを少なくとも用いて該正規化スレショルドを設定しても良い。
【００５４】
ラベルに対応して配置された互いに異なった２値教師信号としては、前記教師信号逆変換器４６１、４６２によってラベルの２値コードへ逆変換することができれば如何なる互いに異なった２値教師信号でもよい。例えば、ラベルの２値コードをそのまま一つの２値教師信号として用いてもよく、或いは、ラベルの２値コードの２値補数からなる２値教師信号や、配置の対応関係をシフトした２値教師信号を用いてもよい。
【００５５】
本発明の第１の実施形態に於ける例の並列ニューラルネットワーク手段４０１に於いて、上記説明のごとく異なった２値教師信号に対して学習済みの２つの２値出力ニューラルネットワーク手段４３１及び４７１を用いた場合について説明したが、これらの２値出力ニューラルネットワーク手段４３１及び４７１の他に、更に互いに異なった２値教師信号による学習済みの同様の構成を持った新たな２値出力ニューラルネットワーク手段を数個用意し入力データに対して並列接続し、増設された個々の該２値出力ニューラルネットワーク手段には、該２値出力ニューラルネットワーク手段４７１と同様にスレショルド回路５２、正規化中間層出力距離計算器５４１、中間層基準出力検出格納器５０、テスト領域判定器５８及び正誤答推定器５６１とそれぞれ同様なものを準備し、接続して、並列度を増やしてもよい。
【００５６】
尚、本発明の第１の実施形態に於ける例では、２値教師信号と出力層の出力信号を２値化する為のスレショルド回路４２、４５を用いた２値の場合について説明した。また、学習済みニューラルネットワーク４１及び４４に対してそれぞれ異なる２値教師信号を用いて学習させたものを用いたが、これらに対してそれぞれ異なる３値以上の多値教師信号を用いて学習させた学習済み多値ニューラルネットワークを用い、２値化するスレショルド回路４２及び４５に代わり、それぞれ多値スレショルド回路を用いても良い。
【００５７】
また、学習コアー入力データに対して得られる中間層基準出力信号に代わり、スレショルド回路５１、５２に代わる多値スレショルド回路を用いて学習コアー入力データに対する中間層基準出力信号を得、これを該中間層基準出力検出格納器４９、５０に予め準備格納し、正規化中間層出力距離計算器５３１、５４１に於いて、ハミング距離計算の代わりに多値出力信号間距離をリー距離にて測る正規化中間層出力距離計算器を用いてもよい。
【００５８】
入力データに対して並列ニューラルネットワーク手段４０１を動作させた際、２値出力信号端子２６から誤答判定された２値出力信号が得られた場合には、これに対応した入力データを学習入力データとして該学習済みニューラルネットワーク４１，４４の重み係数を初期値として追加学習して、新たな重み係数を得、該学習済みニューラルネットワーク４１、４４に設定し、該並列ニューラルネットワーク手段４０１を動作させてもよい。この一連の追加学習処理を繰り返すことにより汎化能力や汎化特性の更なる大幅な改善が図れ、然もより高い正答判定率とより高い判定精度を得ることが出来る。尚、この追加学習を行った際には、学習入力データを初めとする学習条件が変わり、該学習済みニューラルネットワーク４１、４４の重み係数が変化することから、これらのテスト領域判定データや中間層基準出力信号及び正規化スレショルドをその都度求めなおし、中間層基準出力検出格納器４９、５０、テスト領域判定器５７、５８及び正規化中間層出力距離計算器５３１、５４１に必要な準備データを予めそれぞれ格納する。
【００５９】
上記の実施形態の例に於て、学習済みニューラルネットワーク４１，４４としてローカルミニマム状態に収束させたものを用いてもよいが、汎化能力及び汎化特性ともグローバルミニマム状態で収束した場合より劣化することから、汎化能力及び正誤答判定に於ける判定精度も劣化する。
【００６０】
上記の説明の如く、本発明の第１の実施形態に於ける例では、２値出力ニューラルネットワーク手段４３１、４７１からの２値出力信号が持つ正規化中間層出力距離の最小値を出力一致状態毎に検出することから、出力全不一致状態で、然もこれらが全て誤答推定の場合でも、この最小正規化中間層出力距離を送出する２値出力ニューラルネットワーク手段からの２値出力信号を選択送出することにより、誤答推定の中の正答の２値出力信号を効果的に選択送出でき、大幅に汎化能力を改善できる。
【００６１】
また、全出力不一致状態で、然も複数個の正答推定の場合にも、最小正規化中間層出力距離によって２値出力ニューラルネットワーク手段からのより正答の可能性が高い２値出力信号を選択送出することができ、同様に汎化能力の改善ができる。
更に、出力一致状態にある複数個の正答推定の場合、或いは全誤答推定の競合状態の場合にも、最小正規化中間層出力距離によって２値出力ニューラルネットワーク手段からのより正答の可能性が高い２値出力信号を選択送出することができる。
また、正規化中間層出力距離情報として最小正規化中間層出力距離を選択送出することから、出力一致情報の一致検出状態と併せ、選択送出された２値出力信号の正誤答判定の確信度として利用できる。
【００６２】
本発明の第１の実施形態に於ける例では、全ての２値出力ニューラルネットワーク手段４３１及び４７１に教師信号コード逆変換器４６１、４６２を挿入した例を示したが、従来技術２のように第１の２値出力ニューラルネットワーク手段４３１の２値教師信号を分類カテゴリに割り当てられたラベルの２値コードと同一とした場合には、従来技術２と同様に該教師信号コード逆変換器４６１は必要なく、スレショルド回路４２，４５からの２値出力信号を直接用いれば良い。
また、正誤答推定器５５１、５６１に於いて、正規化中間層出力距離の他に、テスト領域判定器５７、５８からのテスト領域判定情報や一致検出情報を用いて正誤答推定を行ってもよい。更に、学習ずみニューラルネットワーク４１、４４の汎化特性が良い場合には、テスト領域判定器５７、５８を必ずしも用いる必要はない。
【００６３】
【第２の実施の形態】
本発明に於ける第２の実施形態としての２個の正誤答判定機能を有する並列ニューラルネットワーク手段を複合並列接続した複合並列ニューラルネットワーク４０３の１例を図２に示す。正誤答判定機能を有する並列ニューラルネットワーク４０１及び４０２は、同一の構成であるが、学習済みニューラルネットワークの学習コアー入力データが異なっている。これら正誤答判定機能を有する並列ニューラルネットワーク４０１、４０２からの２値出力信号、正誤答判定情報、正規化中間層出力距離情報及び出力一致情報が夫々複合出力選択処理器６１に入力され、複合２値出力信号、複合正誤答判定情報、複合正規化中間層出力距離情報及び複合出力一致情報が送出される。
【００６４】
但し、ここでの複合出力一致情報としては、該並列ニューラルネットワーク４０１、４０２からの該一致検出情報の他に、該並列ニューラルネットワーク４０１、４０２から入力された２値出力信号間の出力一致状態、即ち複合出力一致状態を含めて複合出力一致情報として送出する。
該複合出力選択処理器６１では、入力された両該２値出力信号の一致検出を行い、不一致状態（複合不一致状態）の場合、該出力一致情報に於ける出力一致状態が同一で、且つ正誤答判定情報に於ける正答或いは誤答の判定状態も同一の場合に、該正規化中間層出力距離情報からの正規化中間層出力距離を比較し、最小の正規化中間層出力距離を検出し、それに対応した２値出力信号を最終的に複合２値出力信号として選択送出する。また、対応した正誤答判定を複合正誤答判定情報として、また、その最小の正規化中間層出力距離を複合正規化中間層出力距離情報として送出する。更に、複合不一致状態を該出力一致情報と共に複合出力一致情報として送出する。
【００６５】
一方、入力された両該２値出力信号が一致状態（複合一致状態）の場合、該出力一致情報と共に複合出力一致情報として送出する。
また、何れかの該正誤答判定情報に正答判定があれば、複合正誤答判定情報として正答判定を選択送出する。全て誤答判定であれば、誤答判定を送出する。選択送出された２値出力信号に対応した正規化中間層出力距離を選択し、複合正規化中間層出力距離情報として送出する。
本発明の第２の実施形態に於ける複数個の正誤答判定機能を有する並列ニューラルネットワーク手段は、異なった入力空間の入力データに対して夫々高い汎化能力を持っており、これらを複合並列接続することにより、各正誤答判定情報、正規化中間層出力距離情報及び出力一致情報、更に入力された２値出力信号の一致検出状態とにより、並列ニューラルネットワーク手段からの２値出力信号を効果的に最適選択することから、広い入力空間の領域に於いて、非常に高い汎化特性を実現できる。
【００６６】
【発明の効果】
以上述べたように、並列接続された２値出力ニューラルネットワーク手段４３１、４７１の２値出力信号に対して、一致検出器４８にて、全出力不一致状態が検出され、然も正誤答推定器５５１、５６１に於いて全て誤答推定となった場合にも、最小正規化中間層出力距離を持った正答の２値出力信号が２値出力ニューラルネットワーク手段４３１、４７１の何れかから数多く選択送出されている。従来技術２の正誤答判定機能を有した並列ニューラルネットワーク手段４０の出力選択処理器５９に於いては、予め定められた特定の、或いはランダム選択された２値出力ニューラルネットワーク手段からの２値出力信号を、選択送出することから、前記の正答の２値出力信号が多く送出されているにも関わらず効果的に選択されることがなく汎化特性が劣化している。
【００６７】
上記のように本発明の正誤答判定機能を有した並列ニューラルネットワーク手段４０１の出力選択処理器５９１に於いては、正規化中間層出力距離が最小となる２値出力ニューラルネットワーク手段４３１或いは４７１からの出力を、選択送出することから、前記の正答の２値出力信号が効果的に選択される場合が非常に多くなり汎化特性が大幅に改善される。また、正誤答推定器５５１及び５６１からの夫々の正誤答推定情報が同一の正答推定、或いは誤答推定となる競合した状態でも、最小の正規化中間層出力距離を選択することにより、正答の確率が高い２値出力信号が常に選択される。例えば、学習入力データからハミング距離が１０程離れた入力データに対する汎化能力が、従来技術２では、約４０％程度であるのに対して、本発明の第１の実施形態では６１％と大幅に改善される。
【００６８】
また、正規化中間層出力距離最小検出器６０にて、該一致検出器４８からの一致検出情報の出力一致状態や不一致状態に応じて、それぞれの状態での最小の正規化中間層出力距離が検出され、最小正規化中間層出力距離情報として出力選択処理器５９１に送出され、更に出力選択処理器５９１から選択された最小中間層出力距離が正規化中間層出力距離情報として、出力一致情報と共に送出される。従って、出力一致情報と併せて正誤答判定の確信度として利用できる。例えば、出力一致状態では、最小正規化中間層出力距離が１以下で０に近づくに従い正答判定がより正しいと見なせる。一方、出力不一致状態では、１より大きく離れるに従い誤答判定がより正しいと見なせる。
【００６９】
従って、本発明の第２の実施形態の如く、複数個のこれら正誤答判定機能を有する並列ニューラルネットワーク手段を複合並列する際に、これら情報を用いることにより、一段の広い入力空間の領域に対して非常に高い汎化特性を実現できる。また、追加学習と併せることにより、非常に高い汎化能力と高い正答判定精度が容易に得られることから、これら並列ニューラルネットワーク手段に於て、数多くのニューラルネットワークを用いる必要がなく、構成が簡単になる。
【００７０】
これらの結果から、本発明の正誤判定機能を有する並列ニューラルネットワーク手段をパターン認識システムや状態識別システム等に実用した際、未知入力データの出力信号に対して、非常に汎化特性が優れ、然も正誤答判定に対しても、正規化中間層出力距離情報と出力一致情報とから確信度が得られ、送出された最小正規化中間層出力距離が１よりかなり大きい誤答判定された未知入力データや、正答判定され、最小正規化中間層出力距離が１に近い未知入力データに対応した２値出力信号の正誤答確認による追加学習などを行なうことができ、正誤答判定機能を有する並列ニューラルネットワーク手段４０１の正答判定能力と汎化能力を同時に著しく高めることも出来きる。従って、実用環境に適した非常に優れた汎化能力の高い高性能な並列ニューラルネットワーク手段４０１を少ない並列数を持った比較的簡単で、設計しやすい構成で実現出来る。
【００７１】
上記の長所から、従来技術では実現が困難な大規模並列ニューラルネットワーク手段に対しても本発明の正誤答判定機能を有した並列ニューラルネットワーク手段４０１を用いて短時間で設計し実現することが出来、非常に高性能な正誤答判定能力や高い汎化能力が要求されるネットワークセキュリティシステム、アラームコリレーションが発生するネットワークに於けるネットワーク障害検出システムなどの通信処理システムや、Web情報を初めとする各種検索システム及び画像処理システムなどに於けるパターン識別・認識システムなどへの幅広い応用ができるなど、非常に幅広い効果を有している。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態における正誤答判定機能を有した並列ニューラルネットワーク手段４０１の１構成例
【図２】 本発明の第２の実施形態における正誤答判定機能を有した並列ニューラルネットワーク手段を複合並列接続した複合並列ニューラルネットワーク手段４０３の１構成例
【図３】 従来技術２における正誤答判定機能を有した並列ニューラルネットワーク手段４０の１構成例。
【符号の説明】
２ 入力信号端子
４ 入力層
５ 中間層
６ 出力層
２６ ２値出力信号端子
２６１ ２値出力信号端子
２６２ 複合２値出力信号端子
２７ 正誤答判定情報端子
２７１ 正規化中間層出力距離情報端子
２７２ 出力一致情報端子
２７３ 正誤答判定情報端子
２７４ 正規化中間層出力距離情報端子
２７５ 出力一致情報端子
２７６ 複合正誤答判定情報端子
２７７ 複合正規化中間層出力距離情報端子
２７８ 複合出力一致情報端子
４０ 従来技術２における正誤答判定機能を有する並列ニューラルネットワーク手段
４０１ 本発明の第１の実施形態における正誤答判定機能を有する並列ニューラルネットワーク手段
４０２ 本発明の第１の実施形態における正誤答判定機能を有する並列ニューラルネットワーク手段
４０３ 本発明の第２の実施形態における複合並列ニューラルネットワーク手段
４１ 第１の学習済みニューラルネットワーク
４２ スレショルド回路
４３ 従来技術２に於ける第１の２値出力ニューラルネットワーク手段
４３１ 本発明の実施形態に於ける第１の２値出力ニューラルネットワーク手段
４４ 第２の学習済みニューラルネットワーク
４５ スレショルド回路
４６ 教師信号コード逆変換器
４６１ 教師信号コード逆変換器
４６２ 教師信号コード逆変換器
４７ 従来技術２における第２の２値出力ニューラルネットワーク手段
４７１ 本発明の実施形態における第２の２値出力ニューラルネットワーク手段
４８ 一致検出器
４９ 中間層基準出力検出格納器
５０ 中間層基準出力検出格納器
５１ スレショルド回路
５２ スレショルド回路
５３ 中間層出力距離計算器（ハミング距離計算器）
５３１ 正規化中間層出力距離計算器
５４ 中間層出力距離計算器（ハミング距離計算器）
５４１ 正規化中間層出力距離計算器
５５ 正誤答推定器
５５１ 正誤答推定器
５６ 正誤答推定器
５６１ 正誤答推定器
５７ テスト領域判定器
５８ テスト領域判定器
５９ 出力選択処理器
５９１ 出力選択処理器
６０ 正規化中間層出力距離最小検出器
６１ 複合出力選択処理器
【発明の属する技術分野】
本発明は、ネットワークセキュリティ処理システム、ネットワーク障害検出処理やデータ検索やデータマイニング及び画像処理システムやパターン識別・認識処理システムなどへ幅広く適用可能出力の正誤答判定機能を有した並列ニューラルネットワーク手段に関するものである。
【０００２】
【従来の技術】
従来のニューラルネットワークには、文献麻生英樹著「ニューラルネットワーク情報処理」、産業図書出版などに示されているように、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。
特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが種々幅広く実用されている。ここでは、教師付き学習を行った３層ニューラルネットワークを例にとり、正誤答判定機能を有する並列ニューラルネットワーク手段の従来技術について説明する。また、説明を簡単にする為に、パターン識別・認識などに於いて見られる２値教師信号を用いて学習させ、並列ネットワーク出力として２値出力信号を送出させる場合について明らかにする。
【０００３】
３層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムなどがある。本アルゴリズムを用いた学習過程では、重み係数に対して乱数などを用いて初期値設定した後、予め用意された２値教師信号と、入力層に入力された予め準備された学習入力データを用いて学習させ学習済みニューラルネットワークを得る。学習方法などについては、よく知られており、ここでは省略する。
【０００４】
ローカルミニマムに収束した学習済みのニューラルネットワークを用いて、未知入力データに対して実行処理を行わせる際に、汎化能力が優れていない場合には、学習入力データに近い入力データに対しても多くの誤答の２値出力信号が送出される。実用の際には、学習入力データやテスト入力データ以外の未知入力データが入力される場合が非常に多いが、これらの多くの未知入力データを学習させる為に事前に収集することは困難な場合が多い。従って、未知入力データに対して出来るだけ多くの所望の正答な２値出力信号が得られるかどうか、即ち、汎化能力に優れ、また、送出された該２値出力信号が正答か誤答かを自律的に知る事は、非常に重要である。正答な２値出力信号が送出されていないことが判明した場合には、それらの未知入力データを収集して、それまでの学習入力データと合せて追加学習などを行い、ニューラルネットワークの性能を改善し、できるだけ正答な２値出力信号を多く送出させ汎化能力を改善する必要がある。
【０００５】
従来技術１として、汎化能力を改善する為に、異なる重み係数初期値を設定し学習させ、５０％より若干高い汎化能力を持ったローカルミニマムの状態に収束させ、重み係数が異なった複数個の学習済みニューラルネットワークを入力に対して並列に数多く接続し、それらから送出された２値出力信号を多数決処理して入力データに対する汎化能力を改善し、而も多数決などによって正誤答判定情報を得る並列ニューラルネットワーク手段がある。例えば、D. Sarkar, "Randomness in Generalization Ability: A Source to Improve It," IEEE Trans. Neural Networks Vol.7, No.3, May 1996, pp.676-685. 及び中川徹、他 "複数の乱数化ANNを用いて高信頼なパターン識別とその応用" 電子情報通信学会、信学技報 NC98-155, 1999, 3月などがある。
【０００６】
２値出力信号の多数決判定に従って、正答、或いは誤答の正誤答判定情報を得、然も並列接続された２値出力ニューラルネットワーク手段からの２値出力信号を最終的に選択することから、単体の学習済みニューラルネットワークの汎化能力より高い汎化能力を得ることが出来る。しかしながら、多数決判定における誤答の２値出力に対する誤判定や全２値出力信号が一致しない状態での正答の２値出力信号の効果的な選択送出ができず、少ない並列接続数では高い汎化能力の改善は得られない。然も正答判定の精度は、例えば、８０％程度で飽和し、２０％程度の不明判定となっている。これらの欠点を補うためには、数千個程度のニューラルネットワークを並列接続する必要があることが報告されており、非常に複雑な構成となる。また、この為、設計の為に非常に多くの学習入力データと多くの試行錯誤による作業を必要とする。
【０００７】
次に、従来技術２として、特願平１１−２２９１９２、名称：正誤答判定機能を有するニューラルネットワーク手段に於ける正誤答判定機能を有した並列ニューラルネットワーク手段がある。これを図３をもって説明する。ここでは、２つの学習済みニューラルネットワーク４１及び４４を用いた構成例を示す。
分類カテゴリに割り当てられたラベルの２値コードを直接用いた第１の２値教師信号と学習入力データとを用いて学習させた学習済みニューラルネットワーク４１と該学習済みニューラルネットワーク４１の出力層６のユニットの出力信号を２値変換し２値出力信号を送出するスレショルド回路４２とからなる第１の２値出力ニューラルネットワーク手段４３と、該ラベルに対してランダムな配置を行った、第１の２値教師信号とは異なる第２の２値教師信号と該学習入力データとを用いて学習させた学習済みニューラルネットワーク４４と、該学習済みニューラルネットワーク４４の出力層６のユニットの出力信号を２値に変換し２値出力信号を送出するスレショルド回路４５と該第２の２値教師信号を該第１の２値教師信号、即ち、ラベルに対応した該２値コードに対応した２値出力信号へ逆変換し送出する教師信号コード逆変換器４６とからなる第２の２値出力ニューラルネットワーク手段４７とを入力に対して並列に接続している。
【０００８】
中間層基準出力検出格納器４９、５０では、該スレショルド回路４２及び４５からの夫々の入力データに対する２値出力信号を用いて、予め格納されている中間層基準出力信号を検出し、また、入力データに対する該学習済みニューラルネットワーク４１、４４の中間層５のユニットの出力信号を２値変換して夫々の中間層２値出力信号をスレショルド回路５１、５２を介して得て、同様に中間層出力距離計算器（ハミング距離計算器）５３、５４へ送出する。
該中間層出力距離計算器５３、５４では、該中間層２値出力信号と該中間層基準出力信号との間のハミング距離を求め、中間層出力距離として正誤答推定器５５へ送出する。
【０００９】
一方、テスト領域判定器５７、５８では、該学習済みニューラルネットワーク４１、４４の出力層６の該出力信号の各ユニット毎の正答となる余裕値をそれぞれ求め、該余裕値と該スレショルド回路４２、４５からの２値出力信号に対応して予め準備格納された該テスト領域判定データと比較し、該余裕値がテスト領域内か外かを判定し、テスト領域判定情報として正誤答推定器５５、５６へ送出する。
一致検出器４８では、該第１及び第２値出力ニューラルネットワーク手段４３、４７から送出される２値出力信号を比較し一致或いは不一致を検出し一致検出情報として正誤答推定器５５、５６へ送出する。
【００１０】
該正誤答推定器５５、５６では、該テスト領域判定器５７、５８及び該中間層出力距離計算器５３、５４、更に該一致検出器４８とから、それぞれ入力された該テスト領域判定情報と該中間層出力距離と該一致検出情報とを用いて、該第１及び第２の２値出力ニューラルネットワーク手段４３、４７から送出された夫々の２値出力信号が正答か誤答かを推定し、正誤答推定情報を出力選択処理器５９へ送出する。
該出力選択処理器５９では、該正誤答推定情報と該一致検出情報とを基に該第１及び第２の２値出力ニューラルネットワーク手段４３、４７からの該２値出力信号の何れかを選択し、２値出力信号として送出し、併せて正答か誤答かを判定して正誤答判定情報として送出する。
正誤答判定機能を有する並列ニューラルネットワーク手段４０は、以上の構成となっている。
【００１１】
ここでは、学習入力データと２値教師信号との対応づけに於て、２値教師信号毎に代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとして少なくとも準備し、該学習コアー入力デーアに対する２値出力信号が正答となるよう学習させた前記学習済みニューラルネットワーク４１及び４４を用いる。また、学習が終了した際に、該学習コアー入力データに対する該学習済みニューラルネットワーク４１及び４４の前記中間層５のユニットからの出力信号を前記スレショルド回路５１、５２を介してそれぞれ２値出力信号に変換して、これらをそれぞれの前記中間層基準出力検出格納器４９及び５０に前記中間層基準出力信号として、前記スレショルド回路４２及び４５からの各２値出力信号に対応づけてそれぞれ準備格納する。
【００１２】
また、前記テスト領域判定データとしては、該学習済みニューラルネットワーク４１、４４のテスト入力データに対して、該スレショルド回路４２、４５が正答の２値出力信号を送出するテスト入力データ間で、該学習済みニューラルネットワーク４１、４４の出力層６のユニットからの出力信号のユニット毎の前記余裕値（即ち、該スレショルド回路４２、４５のスレショルド値との差の絶対値）の最小値と最大値とを求め、該テスト領域判定データとし、該スレショルド回路４２、４５からの２値出力信号に対応させて該テスト領域判定器５７、５８にそれぞれ予め準備格納する。
【００１３】
次に、正誤答判定機能を有する並列ニューラルネットワーク手段４０の動作としては、入力データが入力された際に、該中間層基準出力検出格納器４９、５０では、該スレショルド回路４３、４５からの２値出力信号に対応した該中間層基準出力信号を読み出し、前記正規化中間層出力距離計算器５３、５４へそれぞれ送出する。該正規化中間層出力距離計算器５３、５４では、該中間層基準出力信号と該中間層５のユニットの出力信号から該スレショルド回路５１、５２を介して得られた２値出力信号とのハミング距離を測り、前記正誤答推定器５５、５６へそれぞれ該中間層出力距離として送出し、正誤答推定の尺度として用いる。一般に、正答の場合は、このハミング距離は小さく、誤答の場合はこの距離が大きい傾向にある。
【００１４】
該テスト領域判定器５７、５８では、入力データに対応した該スレショルド回路４２、４５からの２値出力信号を用いて該テスト領域判定データを検出し読み出し、この時の該出力層６のユニットからの出力信号の余裕値が該テスト領域判定データであるユニット毎のそれぞれの該最大値と該最小値間の範囲に全て収まればテスト領域内、それ以外の状態をテスト領域外と判定し、テスト領域判定情報を送出する。
【００１５】
該正誤答推定器５５、５６に於て、それぞれ接続されているテスト領域判定器５７、５８からのテスト領域判定情報と正規化中間層出力距離計算器５３、５４からの中間層出力距離と一致検出器４８からの一致検出情報とから、前記２値出力ニューラルネットワーク手段４３、４７から送出された夫々の２値出力信号の正答／誤答を推定する。ここでは、一致検出情報を基に、該２値出力信号の一致検出の場合と不一致検出の場合とに分けて、更にテスト領域判定情報に従って予め準備された出力距離スレショルドから選択された出力距離スレショルドと中間層出力距離との比較により、該出力距離スレショルドを超えておれば誤答推定を、該出力距離スレショルド以下ならば正答推定を行っている。
【００１６】
該出力選択処理器５９では、該正誤答推定情報と該一致検出情報とを用いて、該第１及び２の２値出力ニューラルネットワーク手段４３、４７からの両該２値出力信号が共に正答推定ならば正答と判定し、第１の２値出力ニューラルネットワーク手段４３からの２値出力信号を固定的に、或いは何れかの２値出力信号をランダムに選択送出すると共に正誤答判定情報として正答を送出する。また、何れか一方が正答推定ならば、正答推定である２値出力ニューラルネットワーク手段からの該２値出力信号を選択送出すると共に正誤答判定情報として正答を送出する。また、何れも誤答ならば、第１の２値出力ニューラルネットワーク手段４３からの該２値出力信号を固定的に或いは何れかの２値出力信号をランダムに選択送出するとともに誤答を正誤答判定情報として送出する。ここで、３個以上の並列されたニューラルネットワークが用いられる場合には、一致検出状態として、３出力一致状態、２出力一致状態及び全不一致状態があり、これらと正誤答推定結果とを併せて２値出力信号が選択出力される。
【００１７】
以上の正誤答推定と論理和処理を行うことにより、該２値出力ニューラルネットワーク手段４３、４７からの該２値出力信号の出力選択とその正誤答判定とを行っている。このような構成により、従来技術１より大幅な汎化能力改善と正誤答の非常に高い判定精度と非常に高い正答判定率とを実現している。例えば、シミュレーションによると、従来技術１より非常に少ない並列ニューラルネットワークを用いて１０％程度の高い汎化能力を得ると共に判定精度は９９%以上で、判定率は９５%程度を実現し、何れも従来技術１よりも優れている。
【００１８】
しかしながら、該出力選択処理器５９に於いて、特に、該２値出力ニューラルネットワーク手段４３及び４７からの２値出力信号が全不一致状態の場合、或いは更に多くの２値出力ニューラルネットワーク手段を用い、これら２値出力信号が全不一致状態となった場合、該正誤答推定器５５、５６などからの正誤答推定情報が全て誤答推定であると、何れかの２値出力ニューラルネットワーク手段から固定的に或いはランダムに２値出力信号を選択し送出していることから、誤答推定となった正答な２値出力信号を効果的に選択送出することができない大きな欠点を有している。
また、出力一致状態にある２値出力信号が複数個の正答推定、或いは全誤答推定となった場合にも、最も正答の可能性が高い２値出力信号を最適選択送出することができない欠点も有しており、より一段と高い汎化能力は得られない。
【００１９】
【発明が解決しようとする課題】
上記の如く従来技術１での並列ニューラルネットワーク手段では、学習済みニューラルネットワークは、同一の構造を有し、而も同一の学習アルゴリズムを用いてそれぞれ異なった重み係数初期値を用いて同一の教師信号に対して学習を行っている。従って、これらのニューラルネットワークが同一のグローバルミニマムに収束すると、入力データに対する２値出力信号が正答或いは誤答に関らず殆ど一致してしまうことから、それらを並列接続して、入力データに対するそれぞれの２値出力信号を多数決処理しても、正答の場合には全てが正答となる。一方、誤答や不明の場合にも、全て同様な状態となることから並列接続と多数決処理を用いた効果が非常に小さい。従って、できるだけ異なったローカルミニマムに収束するよう学習させ、それぞれ異なった汎化特性を実現する必要がある。
【００２０】
これらの理由から、それぞれ異なりずれた汎化特性を持たせるには、並列接続される学習済みニューラルネットワークとしてローカルミニマム状態で学習を終了させ使用する必要があり、汎化能力が余り高くなく、誤った２値出力信号を出しやすい。従って、入力データに対して出来るだけ正答な２値出力信号を得、而も精度の高い正誤答判定情報を得る為には、多くの学習済みニューラルネットワークを並列接続し、多数決処理をする必要があり、構成が複雑かつ処理量が増加する欠点がある。また、正答／誤答或いは不明の判定を、単に多数決処理のみで行っており、誤った２値出力信号に対してもお互いに同一な誤りならばそのまま正答とみなすなど、入力データに対する正答判断の精度が然程高くない欠点を持っている。
従って、並列の学習済みニューラルネットワーク数を増加させ多数決処理を行っても、ローカルミニマムに収束していることから正答判定率やその精度に飽和状態が生じ、汎化能力は若干改善されるもの、正答判定の精度や正答判定率は余り改善されない。特に、単体の学習済みネットワークの汎化能力が低く、不明判定が多く発生し、正答の判定が低下すると共にその精度も劣化する。このように、従来技術１では、高い汎化能力と正答判定率とその精度向上とを同時に達成させるには限界がある。
【００２１】
また、従来技術１に於いては、大規模ニューラルネットワークを構成する際に、種々の重み係数の初期値を用いてローカルミニマムに収束させる為の学習処理とテスト入力データに対すると汎化特性の評価を繰り返し行なう試行錯誤が必要となり、満足できる結果を得るには膨大な作業を要し、実用的でない。
【００２２】
一方、従来技術２では、出力選択処理器５９に於いて、特に、２値出力ニューラルネットワーク手段４３及び４７からの２値出力信号が不一致状態の場合、或いは更に多くの２値出力ニューラルネットワーク手段を用いた場合のこれら２値出力信号が全不一致状態となった場合、正誤答推定器５５、５６からの正誤答推定情報が全て誤答推定であると、何れかの２値出力ニューラルネットワーク手段から固定的に或いはランダムに２値出力信号を選択し送出していることから、誤答推定となった正答な２値出力信号を効果的に選択送出することができない大きな欠点がある。同様に、一致状態の該２値出力信号が複数個の正答推定、或いは全誤答推定となった場合にも、最も正答の可能性が高い最適な２値出力信号を選択送出することができない欠点もあり、より一段と高い汎化能力が得られない。
更に、従来技術２の複数個の異なる学習コアー入力データを学習した正誤答判定機能を有する並列ニューラルネットワーク手段を複合的に並列接続する際に、複数個の正答判定或いは全誤答判定となった場合に、複数個の並列ニューラルネットワーク手段からの２値出力信号の最適な選択送出ができない欠点もある。
【００２３】
本発明の目的は、上記の問題を解決する為に、新たに正規化中間層出力距離最小検出器を設け、最小正規化中間層出力距離に基本的に基づき、２値出力ニューラルネットワーク手段からの２値出力信号から最適な２値出力信号を選択送出することにより、従来技術２の正誤答判定機能を有した並列ニューラルネットワーク手段などに比べても、非常に高い汎化能力が達成でき、また、選択送出された２値出力信号の他に、出力情報として、より高精度な正答判定を送出する正誤答判定情報、出力一致情報及び正規化中間層出力距離情報を送出する正誤答判定機能を有する並列ニューラルネットワーク手段を提供することにある。また、同様な構成を持ち異なる学習コア−入力データを学習した本発明の正誤答判定機能を有する並列ニューラルネットワーク手段を複数複合的に並列接続することにより、より一段と非常に高い汎化能力を実現することにある。
【００２４】
【課題を解決するための手段】
以下に主な手段を示す。第１の手段として、分類カテゴリのラベルに対応した多値コードから変換された多値教師信号と、該多値教師信号毎に対応させ設けられた該学習コアー入力データとを少なくとも用いて学習させた第１の学習済みニューラルネットワーク４１と、該第１の学習済みニューラルネットワーク４１の出力層ユニットの出力信号を多値変換し第１の多値出力信号を送出する第１の多値スレショルド手段４２と、該第１の多値出力信号を該多値コードへ逆変換し第２の多値出力信号を送出する第１の教師信号コード逆変換手段４６１とからなる第１の多値出力ニューラルネットワーク手段４３１と、
該第１の多値出力ニューラルネットワーク手段４３１と同一の構成を有し、互いに異なる配置を持った多値教師信号と該学習コアー入力データとを少なくとも用いて学習させた第２の学習済みニューラルネットワーク４４と、第３の多値出力信号を送出する第３の多値スレショルド手段４５と、第４の多値出力信号を送出する第２の教師信号コード逆変換手段４６２とからなる、少なくとも一個以上の、該第１の多値出力ニューラルネットワーク手段４３１の入力に対して並列接続された第２の多値出力ニューラルネットワーク手段４７１と、
該第１及び各該第２の多値出力ニューラルネットワーク手段４３１、４７１内の各該学習済みニューラルネットワーク４１、４４の中間層ユニットからの該学習コアー入力データに対する出力信号を夫々中間層基準出力信号とし、該学習コアー入力データに対する該第１および各第３の多値出力信号に対して該中間層基準出力信号及び正規化スレショルドとをそれぞれ対応づけ予め格納し、入力データに対する該第１及び各第３の多値スレショルド手段４２、４５からの第１及び各第３の多値出力信号を基に夫々対応した該中間層基準出力信号と該正規化スレショルドとを検出し読み出し送出する夫々の中間層基準出力検出格納手段４９、５０と、
該入力データに対する該第１及び各第２の学習済みニューラルネットワーク４１、４４の中間層ユニットからの出力信号と読み出された該中間層基準出力信号との距離を夫々計算し、読み出された該正規化スレショルドにより正規化し正規化中間層出力距離として送出する夫々の正規化中間層出力距離計算手段５３１、５４１と、
該第１及び各第２の教師信号コード逆変換手段４６１、４６２からの第２及び夫々の第４の多値出力信号間の一致状態を検出し一致検出情報を送出する一致検出手段４８と、
該一致検出情報と夫々の該正規化中間層出力距離とから、出力一致状態に対応して検出された最小正規化中間層出力距離と該最小正規化中間層出力距離を持つ多値出力ニューラルネットワーク手段の場所とを最小正規化中間層出力距離情報として送出する正規化中間層出力距離最小検出手段６０と、
各該正規化中間層出力距離と予め対応させて設定された出力距離スレショルドとを比較し正答或いは誤答推定を行い、正誤答推定情報を送出する夫々の正誤答推定手段５５１、５６１と、
該一致検出情報と夫々の該正誤答推定情報と該最小正規化中間層出力距離検出手段６０からの最小正規化中間層出力距離情報とを基に、各該多値出力ニューラルネットワーク手段４３１、４７１からの該第２及び各第４の多値出力信号の何れかを選択し送出する出力選択処理手段５９１とを少なくとも具備し構成する。
【００２５】
第２の手段として、分類カテゴリのラベルに対応した多値コードから変換された多値教師信号と、該多値教師信号毎に対応させ設けられた該学習コアー入力データとを少なくとも用いて学習させた第１の学習済みニューラルネットワーク４１と、該第１の学習済みニューラルネットワークの出力層ユニットの出力信号を多値変換し第１の多値出力信号を送出する第１の多値スレショルド手段４２と、該第１の多値出力信号を該多値コードへ逆変換し第２の多値出力信号を送出する第１の教師信号コード逆変換手段４６１とからなる第１の多値出力ニューラルネットワーク手段４３１と、
該第１の多値出力ニューラルネットワーク手段４３１と同一の構成を有し、互いに異なる配置を持った多値教師信号と該学習コアー入力データとを少なくとも用いて学習させた第２の学習済みニューラルネットワーク４４と、第３の多値出力信号を送出する第３の多値スレショルド手段４５と、第４の多値出力信号を送出する第２の教師信号コード逆変換 手段４６２とからなる、少なくとも一個以上の、該第１の多値出力ニューラルネットワーク手段４３１の入力に対して並列接続された第２の多値出力ニューラルネットワーク手段４７１と、
該第１及び各該第２の多値出力ニューラルネットワーク手段４３１、４７１内の各該学習済みニューラルネットワーク４１、４４の中間層ユニットからの該学習コアー入力データに対する出力信号を多値変換し第１の中間層多値出力信号を送出する夫々の多値スレショルド手段５１と、
各該第１の中間層多値出力信号を中間層基準出力信号とし、該学習コアー入力データに対する該第１および各第３の多値出力信号に対して該中間層基準出力信号及び正規化スレショルドとをそれぞれ対応づけ予め格納し、入力データに対する該第１及び各第３の多値スレショルド手段４２、４５からの第１及び各第３の多値出力信号を基に夫々対応した該中間層基準出力信号と該正規化スレショルドとを検出し読み出し送出する夫々の中間層基準出力検出格納手段４９、５０と、
該入力データに対する該第１及び各第２の学習済みニューラルネットワーク４１、４４の各該多値スレショルド手段５１，５２を介して得られた多値出力信号と読み出された該中間層基準出力信号との距離を夫々計算し、読み出された該正規化スレショルドにより正規化し正規化中間層出力距離として送出する夫々の正規化中間層出力距離計算手段５３１、５４１と、
該第１及び各第２の教師信号コード逆変換手段４６１、４６２からの第２及び夫々の第４の多値出力信号間の一致状態を検出し一致検出情報を送出する一致検出手段４８と、
該一致検出情報と夫々の該正規化中間層出力距離とから、出力一致状態に対応して検出された最小正規化中間層出力距離と該最小正規化中間層出力距離を持つ多値出力ニューラルネットワーク手段の場所とを最小正規化中間層出力距離情報として送出する正規化中間層出力距離最小検出手段６０と、
各該正規化中間層出力距離と予め対応させて設定された出力距離スレショルドとを比較し正答或いは誤答推定を行い、正誤答推定情報を送出する夫々の正誤答推定手段５５１、５６１と、
該一致検出情報と夫々の該正誤答推定情報と該最小正規化中間層出力距離検出手段６０からの最小正規化中間層出力距離情報とを基に、各該多値出力ニューラルネットワーク手段４３１，４７１からの該第２及び各第４の多値出力信号の何れかを選択し送出する出力選択処理手段５９１とを少なくとも具備し構成する
【００２６】
第３の手段として、第１、第２に記載の前記並列ニューラルネットワーク手段の前記正規化中間層出力距離計算手段５３１、５４１に於いて、前記一致検出手段４８からの一致検出情報を基に、前記中間層基準出力検出格納手段４９、５０から読み出された前記正規化スレショルドから、使用する正規化スレショルドを選択し、前記距離を正規化し正規化中間層出力距離を得て送出する構成とする。
【００２７】
第４の手段として、第１、第２及び第３に記載の並列ニューラルネットワーク手段の前記出力選択処理手段５９１において、選択送出された前記多値出力信号の正誤答判定からなる正誤答判定情報と、前記出力一致状態に対応して検出された前記最小正規化中間層出力距離からなる正規化中間層出力距離情報と、前記一致検出情報からなる出力一致情報との何れかを少なくとも送出する構成とする。
【００２８】
第５の手段として、第４の手段に記載の前記並列ニューラルネットワーク手段に於ける、異なった前記学習コア入力データを少なくとも用いて学習させた前記第１及び第２の学習済みニューラルネットワーク４１、４４を有した複数個の前記並列ニューラルネットワーク手段４０１、４０２を複合並列接続し、該複数個の並列ニューラルネットワーク手段４０１、４０２から出力される各前記多値出力信号、正誤答判定情報、正規化中間層出力距離情報及び出力一致情報を夫々入力し、該多値出力信号間の出力一致状態を複合出力一致状態として検出し、該複合出力一致状態と該正誤答判定情報、該正規化中間層出力距離情報及び該出力一致情報とを基に、該多値出力信号から一つの多値出力信号を選択送出し、選択された該多値出力信号に対応した該出力一致情報と該複合出力一致状態とを複合出力一致情報とし、同様に選択された該多値出力信号に対応した該正誤答判定情報を複合正誤答判定情報、更に選択された該多値出力信号に対応した該正規化中間層出力距離情報を複合正規化中間層出力距離情報として夫々送出する複合出力選択処理手段６１とを少なくとも具備し構成する。
【００２９】
【作用】
上記のように、従来技術に於ける問題を解決する具体的な手段としての本発明の正誤答判定機能を有する並列ニューラルネットワーク手段は、それぞれ異なった多値教師信号を用いてグローバルミニマムに収束させ学習させた学習済みニューラルネットワークを入力に対して並列に接続し、第１の多値出力ニューラルネットワークからの多値出力信号と教師信号コード逆変換器を持った多値出力ニューラルネットワークからの多値出力信号との一致検出情報と、中間層基準出力信号と入力データに対する学習済みニューラルネットワークの中間層ユニットからのスレショルド回路を介して得られた中間層２値出力信号とのハミング距離を求め、該一致検出情報に基づき選択された正規化スレショルドにより正規化された正規化中間層出力距離と出力一致状態毎のそれらの最小正規化中間層出力距離情報と該一致検出情報と該多値出力信号の正誤答推定情報とから、特に、全出力不一致状態で、然も全誤答推定の場合にも、正答の可能性の最も高い最適な多値出力信号を選択送出することができ、従来技術２より非常に高い汎化能力を実現できる。
【００３０】
また、従来技術１のような学習の際に重み係数の初期設定に於ける試行錯誤も不要で、迅速且つ簡単に本発明の正誤答判定機能を有した並列ニューラルネットワーク手段を設計することが出来る。
【００３１】
更に、本発明の正誤答判定機能を有する並列ニューラルネットワーク手段は、従来技術２の正誤答判定機能を有する並列ニューラルネットワーク手段に比べても、一段と非常に高い汎化能力を達成でき、高精度且つ安定に正答判定も行える。未知入力データに対して送出される多値出力信号と、出力情報としての正誤答判定情報、出力一致情報及び正規化中間層出力距離情報（選択送出された多値出力信号に対応した最小正規化中間層出力距離）とから、並列接続されたニューラルネットワークに対する追加学習などの為の誤答の出力信号を送出する未知入力データ収集を簡単に行う事ができ、それらを追加学習させ一段とより高い汎化能力と非常に高精度は正誤答判定機能を持った正誤答判定機能を有した並列ニューラルネットワーク手段を簡単に実現出来る。また、本発明の正誤答判定機能を有する並列ニューラルネットワーク手段を複数個複合並列接続し、前記の出力情報を用いた多値出力信号に対して最適な複合出力選択処理をすることにより、入力データ空間の広範囲に渡りこれまでにない非常に高い汎化能力を実現することができる。
【００３２】
【発明の実施の形態】
以下に本発明の実施形態の正誤答判定機能を有する並列ニューラルネットワーク手段の１例をあげ、その構成及びその動作について詳細に説明する。ここでは、従来技術２と同様に２つの学習済みニューラルネットワークを用いた２並列の構成例を示すが、本発明は、２並列に限るものではない。また、同様に３層ニューラルネットワークを例にあげ、説明するが、３層ニューラルネットワークに限るものでなく、教師信号による学習を行う他の中間層を持った構造のニューラルネットワークでもよい。更に、２値教師信号を用いた場合を例にあげ説明するが、２値に限るものではなく、２値以上の多値でもよい。
【００３３】
【第１の実施の形態】
本発明に於ける第１の実施形態としての正誤答判定機能を有する並列ニューラルネットワーク手段の１例を図１に示す。ここで、図１と従来技術２に関する図３での同じ符号は、同一の構成を示すとともに同様の動作をする。また、本発明の１実施形態の正誤答判定機能を有する並列ニューラルネットワーク手段４０１では、上記の従来技術２とは異なり、分類カテゴリに割り当てられたラベルの２値コードに対して、夫々異なったランダムな配置を行った第１及び第２の２値教師信号を用いて夫々学習させた場合の学習済みニューラルネットワーク４１及び４４を用いる。
【００３４】
第１の２値教師信号と学習入力データとを用いて学習させた前記学習済みニューラルネットワーク４１と、該学習済みニューラルネットワーク４１の出力層６のユニットの出力信号を２値変換し２値出力信号を送出するスレショルド回路４２と、該２値出力信号を分類カテゴリに割り当てられた前記ラベルに対応した２値コードに戻す為に逆変換する教師信号コード逆変換器４６１を介し新たな２値出力信号を送出する第１の２値出力ニューラルネットワーク手段４３１と、ラベルに対して該第１の２値教師信号とは異なったランダムな教師信号割り当てを行った第２の２値教師信号と該学習入力データとを用いて学習させた学習済みニューラルネットワーク４４と該学習済みニューラルネットワーク４４の出力層６のユニットの出力信号を２値に変換し２値出力信号を送出するスレショルド回路４５と、該スレショルド回路４５からの２値出力信号を該ラベルに対応した２値コードに戻す為に逆変換する教師信号コード逆変換器４６２を介し新たな２値出力信号を送出する第２の２値出力ニューラルネットワーク手段４７１とを、入力に対して並列に接続し、該スレショルド回路４２及び４５から送出される２値出力信号を用いて、予め格納されている中間層基準出力信号及び正規化スレショルドを検出し送出する中間層基準出力検出格納器４９及び５０と、該学習済みニューラルネットワーク４１及び４４の中間層５のユニットの出力信号を２値変換してそれぞれの中間層２値出力信号を送出するスレショルド回路５１及び５２と、該中間層２値出力信号と対応した該中間層基準出力信号との間のハミング距離を求め、該中間層基準出力検出格納器４９及び５０からの該正規化スレショルドに於いてテスト領域判定器５７及び５８からのテスト領域判定情報と一致検出器４８からの一致検出情報とを基に夫々使用する正規化スレショルドを選択し、該正規化スレショルドにより正規化し正規化中間層出力距離を求め送出する正規化中間層出力距離計算器５３１及び５４１と、該正規化中間層出力距離計算器５３１及び５４１からの正規化中間層出力距離に対して該一致検出器４８からの該一致検出情報の出力一致状態毎に検出された最小正規化中間層出力距離と該最小正規化中間層出力距離を持つ２値出力ニューラルネットワーク手段とを最小正規化中間層出力距離情報として出力選択処理器５９１へ夫々送出する正規化中間層出力距離最小検出器６０と、該学習済みニューラルネットワーク４１及び４４の出力層６の該出力信号の各ユニット毎の正答となる余裕値をそれぞれ求め、該余裕値と該２値出力ニューラルネットワーク手段４３１及び４７１内の該スレショルド回路４２及び４５からの夫々の２値出力信号を基に検出された予め準備格納されたテスト領域判定データとを比較し該余裕値がテスト領域内か外かを判定し、該テスト領域判定情報として夫々送出する該テスト領域判定器５７及び５８と、該第１及び第２値出力ニューラルネットワーク手段４３１及び４７１から送出される夫々の２値出力信号とを比較し一致状態及び不一致状態を検出し該一致検出情報として送出する該一致検出器４８と、該正規化中間層出力距離計算器５３１及び５４１からの該正規化中間層出力距離を用いて該２値出力ニューラルネットワーク手段４３１及び４７１からの夫々の２値出力信号が正答か誤答かを推定した正誤答推定情報を送出する正誤答推定器５５１及び５６１と、該正誤答推定器５５１及び５６１からの該正誤答推定情報と該一致検出器４８からの該一致検出情報と該正規化中間層出力距離最小検出器６０からの２値出力信号の出力一致状態毎に検出された最小正規化中間層出力距離情報とを基に該第１及び第２の２値出力ニューラルネットワーク手段４３１及び４７１からの該２値出力信号の何れかを選択し該並列ニューラルネットワーク手段４０１の２値出力信号として送出し、併せて該正誤答推定情報を基に正答か誤答かを判定した正誤答判定情報と出力一致状態に対応した最小正規化中間層出力距離情報から選択された最小正規化中間層出力距離からなる正規化中間層出力距離情報と該一致検出情報からなる出力一致情報とを送出する出力選択処理器５９１とから構成される。
【００３５】
以下、これらの動作について詳細に説明する。前記学習済みニューラルネットワーク４１及び４４は入力層４、中間層５及び出力層６の３層の同一構成であり、前記第１及び第２の２値教師信号をそれぞれ用いて異なったグローバルミニマムの状態に簡単に学習させることができる。従って、前記第１及び第２の２値出力ニューラルネットワーク手段４３１、４７１からの２値出力信号は、学習入力データに対しては、それぞれ全て同一の正答の出力となり、全て一致する。また、これら学習済みニューラルネットワーク４１、４４は学習アルゴリズムとニューラルネットワークの構造が同一であることから殆ど同様な高い汎化能力が基本的に得られる。
【００３６】
また、異なる教師信号を用いて学習させた前記学習済みニューラルネットワーク４１、４４の汎化能力が高いことから汎化特性に関する正答な２値出力を送出する入力空間領域は広く而もずれており、未知入力データに対して前記２値出力ニューラルネットワーク手段４３１、４７１からの両２値出力信号は幅広く同一となるが、ずれている領域では同一とはならず、何れかが誤答となる。また、両２値出力信号が一致しても誤答の２値出力信号である場合が多くなる。これらを正誤答推定により基本的に識別する。
ここで、学習済みニューラルネットワーク４１、４４の重み係数としては、同一或いはそれぞれ異なった重み係数初期値を設定して学習させたものを用いても良い。それぞれ異なった重み係数の初期値設定を行うと、汎化能力の変化は殆どないが、汎化特性はよりずれた正答の２値出力を送出する入力空間領域を持つ。
【００３７】
該学習済みニューラルネットワーク４１及び４４に対して、入力信号端子２を介して未知入力データが並列に入力され、学習済みの重み係数を用いて実行処理が行われる。前記一致検出器４８に於て該２値出力ニューラルネットワーク手段４３１及び４７１からの２値出力信号が一致した場合には、共に正答の場合が殆どである。しかしながら、前記スレショルド回路４２、４５からの２値出力信号が同じような誤りを発生している場合もあり、誤答であるがお互いに一致する場合も発生率は低いものの発生する。従って、以下の推定処理を行う。
【００３８】
前記正誤答推定器５５１、５６１に於て、それぞれ接続されている前記正規化中間層出力距離計算器５３１、５４１からの正規化中間層出力距離を基に、該２値出力ニューラルネットワーク手段４３１、４７１からのそれぞれの２値出力信号の正答／誤答を推定し、前記出力選択処理器５９１に前記正誤答推定情報としてそれぞれを送出する。ここでは、前記正規化中間層出力距離と、予め準備された出力距離スレショルドとの比較により、正答或いは誤答の推定を行っている。例えば、該正規化中間層出力距離が該出力距離スレショルドより大きいと誤答推定とする。また、その他の状態を正答推定とする。
【００３９】
更に、該出力選択処理器５９１では、該正誤答推定情報からの正誤推定と該一致検出情報からの出力一致状態と及び該最小正規化中間層出力距離情報からの最小正規化中間層出力距離と対応した２値出力ニューラルネットワーク手段とにより、該第１及び２の２値出力ニューラルネットワーク手段４３１、４７１からの両２値出力信号に対する最適な選択送出と正誤答判定とを行い、選択された２値出力信号と、正誤答判定結果からなる正誤答判定情報と、対応して選択された最小正規化中間層出力距離からなる正規化中間層出力距離情報と、該一致検出情報からなる出力一致情報とを夫々２値出力信号端子２６、正誤答判定情報端子２７、正規化中間層出力距離情報端子２７１及び出力一致情報端子２７２から夫々送出する。
ここでは、該第１及び２の２値出力ニューラルネットワーク手段４３１、４７１からの両２値出力信号が一致状態で両正答推定であれば正答と判定し、正答推定の２値出力ニューラルネットワーク手段からの最小正規化中間層出力距離を持った２値出力信号を選択送出すると共に正誤答判定情報として正答判定を送出し、出力一致状態にある正答推定の最小正規化中間層出力距離を正規化中間層出力距離情報として送出する。
【００４０】
一方、出力一致状態で何れか一方のみが正答推定ならば、正答推定である２値出力ニューラルネットワーク手段からの２値出力信号を選択送出すると共に正誤答判定情報として正答判定を送出し、その正答推定の最小正規化中間層出力距離を正規化中間層出力距離情報として送出する。また、出力一致状態で何れも誤答推定ならば、２値出力ニューラルネットワーク手段からの最小正規化中間層出力距離を持った２値出力信号を選択送出するとともに誤答判定を正誤答判定情報として、その最小正規化中間層出力距離を正規化中間層出力距離情報としてそれぞれ送出する。ここでの該２値出力信号は互いに一致していることから、何れの２値出力ニューラルネットワーク手段から選択しても実質的には差がない。
【００４１】
更に、該２値出力信号が出力不一致状態の場合、何れとも正答推定であれば正答と判定し、正誤答判定情報として送出し、２値出力ニューラルネットワーク手段からの最小正規化中間層出力距離を持つ正答推定の２値出力信号を選択送出すると共に、その最小正規化中間層出力距離を正規化中間層出力距離情報として送出する。一方、出力不一致状態で何れか一方が正答推定ならば、２値出力ニューラルネットワーク手段からの正答推定である２値出力信号を選択送出すると共に正誤答判定情報として正答判定を送出し、その正答推定の最小正規化中間層出力距離を正規化中間層出力距離情報として送出する。また、出力不一致状態で何れも誤答推定ならば、２値出力ニューラルネットワーク手段からの最小正規化中間層出力距離を持った２値出力信号を選択送出するとともに誤答判定を正誤答判定情報として、その最小正規化中間層出力距離を正規化中間層出力距離情報としてそれぞれ送出する。
【００４２】
特に、２値出力信号が出力不一致状態で全て誤答推定の場合に、最小正規化中間層出力距離を持った２値出力信号を選択送出することにより、従来技術２に比較して、大幅に汎化能力を改善できる。また、推定結果が同じ状態、即ち選択の為の競合状態となった場合に、最小正規化中間層出力距離を持った２値出力信号を選択することにより、より正答である２値出力信号を選択送出できる。また、これらの送出された最小正規化中間層出力距離からなる正規化中間層出力距離情報と一致検出情報からなる出力一致情報とを確信度として併用することにより、より安全に選択送出された２値出力信号を取り扱うことができ、誤答判定の２値出力信号を送出する未知入力データの追加学習や、本発明の第２の実施形態での複合並列化の際にも有効に利用できる。
【００４３】
また、３つの学習済みニューラルネットワークを並列接続した本発明の正誤答判定機能を有する並列ニューラルネットワーク手段の場合では、３出力一致状態、２出力一致状態及び全出力不一致状態の何れかが発生する。夫々の出力一致状態に応じて、一致状態側２値出力信号間での最小正規化中間層出力距離の検出と、不一致状態側２値出力信号間の最小正規化中間層出力距離の検出とがそれぞれ正規化中間層出力距離最小検出器６０にて行われ、それぞれ対応した２値出力ニューラルネットワーク手段とを最小正規化中間層出力距離情報として送出する。また、出力選択処理器５９１では、一致検出情報からの出力一致状態と正誤答推定情報からのそれらの正誤答推定と、最小正規化中間層出力距離情報からの最小正規化中間層出力距離により、対応した２値出力ニューラルネットワークの２値出力信号が選択される。
【００４４】
例えば、２出力一致状態で、一致状態側２値出力信号が共に誤答推定で、不一致状態側２値出力信号が正答推定の場合、正答推定の２値出力信号とその最小正規化中間層出力距離が出力選択処理器から選択送出される。一方、一致状態側２値出力信号の少なくとも何れかが正答推定の場合、正答推定の２値出力信号とその最小正規化中間層出力距離とが選択送出される。また、一致状態側２値出力信号が共に誤答推定で、不一致状態側２値出力信号も誤答推定の場合、即ち全誤答推定の場合、一致状態側誤答推定の最小正規化中間層出力距離を持つ２値出力信号が選択送出され、その最小正規化中間層出力距離とともに出力選択処理器から送出される。
このように、２値出力信号が同じような推定状態で選択競合の場合に、最小正規化中間層出力距離を用いることにより、効果的により正答の２値出力信号を選択送出することができ、汎化能力を大幅に改善することができる。
【００４５】
ここで、ニューラルネットワークを学習させ該学習済みニューラルネットワーク４１、４４を得る際に、入力空間の代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとして少なくとも準備し、該学習コアー入力デーアに対する２値出力ニューラルネットワーク手段４３１，４７１の２値出力信号が正答となるよう学習させた該学習済みニューラルネットワーク４１及び４４を用いる。学習が終了した際に、該学習コアー入力データに対応した該学習済みニューラルネットワーク４１及び４４の中間層５のユニットからの出力信号を該スレショルド回路５１、５２を介してそれぞれ２値出力信号に変換して、これらをそれぞれの中間層基準出力検出格納器４９及び５０に中間層基準出力信号として、該スレショルド回路４２及び４５からの各２値出力信号に対応づけて、正規化スレショルドと共にそれぞれ格納する。
【００４６】
入力データが入力された際に、該中間層基準出力検出格納器４９、５０では、該スレショルド回路４２，４５からの２値出力信号に対応した該中間層基準出力信号と該正規化スレショルドとを読み出し、該正規化中間層出力距離計算器５３１、５４１へそれぞれ送出する。該正規化中間層出力距離計算器５３１、５４１では、該中間層基準出力信号と該中間層５のユニットの出力信号から該スレショルド回路５１、５２を介して得られた２値出力信号とのハミング距離を求め、該テスト領域判定情報と該一致検出情報とから読み出された正規化スレッショルドから選択された正規化スレショルドにより正規化し、正規化中間層出力距離を得、該正誤答推定器５５１、５６１及び正規化中間層出力距離最小検出器６０へそれぞれ送出する。
ここでは、正誤答推定の尺度として、正規化中間層出力距離を用いているが、一般的に、２値出力ニューラルネットワーク手段４３１、４７１からの２値出力信号が正答の場合は、このハミング距離は正規化スレショルドより小さく、正規化中間層出力距離は１以下となり、誤答の場合はこの距離が１より大きい傾向にある。従って、両該２値出力信号が正答の場合や或いは誤答の場合、最小正規化中間層出力距離を持つ２値出力信号を選択することにより、より正答の出力信号を２値出力信号端子２６から送出することができ汎化能力が大幅に改善される。
【００４７】
該一致検出器４８からの一致検出情報に関して、該２値出力ニューラルネットワーク手段４３１及び４７１の両２値出力信号が一致した場合、正答推定となりやすい大きい正規化スレショルドを選択し、特に該テスト領域判定器５７、５８からのテスト領域情報がテスト領域内であれば、テスト領域外の場合よりもより大きい、正答推定となりやすい正規化スレショルドを選択し、中間層出力距離を正規化する。一方、両該２値出力信号が不一致の場合、例えば、テスト領域情報に無関係に誤答推定となりやすい最も小さい正規化スレショルドを選択し、中間層出力距離を正規化し、正規化中間層出力距離を得る。
【００４８】
ここで、該正規化中間層出力距離計算器５３１、５４１の代わりの正規化ユークリッド距離計算器を用い、スレショルド回路５１及び５２を介さない中間層５からの学習コアー入力データに対応した中間層出力信号を基に準備された中間層基準出力信号と未知入力データに対する中間層出力信号とを用いて、これらの信号間のユークリッド距離を計算し、正規化中間層出力距離を求めもよい。
【００４９】
該テスト領域判定器５７、５８に於ける準備として、該学習済みニューラルネットワーク４１、４４のテスト入力データに対する汎化能力を評価する。この際、該スレショルド回路４２、４５が正答の２値出力信号を送出するテスト入力データ間で、該学習済みニューラルネットワーク４１、４４の出力層６のユニットからの出力信号のユニット毎の正答となる為の余裕値（即ち、該スレショルド回路４２、４５のスレショルド値との差の絶対値）の最小値と最大値とを求め、該テスト領域判定データとし、該正答の２値出力信号に対応させてテスト領域判定器５７、５８にそれぞれ予め準備格納する。
【００５０】
次に、入力データに対応した該スレショルド回路４２、４５からの２値出力信号を用いて対応した該テスト領域判定データを読み出し、この時の該出力層６のユニットからの出力信号の余裕値がユニット毎のそれぞれの該最大値と該最小値間の範囲に全て収まればテスト領域内、それ以外の状態をテスト領域外と判定し、テスト領域判定情報として送出する。ここで、入力データに対する出力層６のユニットからの出力信号がテスト領域外である判定されると、テスト領域内の場合より２値出力ニューラルネットワーク手段４３１、４７１からの２値出力信号が誤答となる場合が多い。従って、テスト領域外の場合は、正規化中間層出力距離計算器５３１、５４１に於いて、小さい正規化スレショルドが用いられ、誤答推定となりやすくなる。
尚、本発明の第１の実施形態に於ける例では、テスト領域判定データとして、ユニット毎の余裕値の最大及び最小値を用いているが、全ユニット間での最大及び最小値を用いても良い。
【００５１】
ここでは、正答の２値出力信号を送出するテスト入力データだけから上記のテスト領域判定データを求めているが、準備されている全てのテスト入力データを元にテスト領域判定データを求める場合には、学習入力データを用いてニューラルネットワークの学習を終了させた後、テストの際に誤答の２値出力信号を送出するテスト入力データがあれば、これらを学習入力データとして、それまでの学習入力データと一緒にして追加学習する。この追加学習を繰り返すことにより、最終的にテスト入力データに対して全て正答の２値出力信号を送出するよう学習させることができる。このような追加学習を行った後、その重み係数を用いて学習済みニューラルネットワーク４１、４４に設定し、これらのテスト入力データに対してテスト領域判定データを求めてもよい。
【００５２】
本発明の第１の実施形態に於ける例は、正規化中間層出力距離計算器５３１、５４１を用い、学習コアー入力データに対応した学習済みニューラルネットワーク４１及び４４の中間層ユニットのそれぞれの出力信号を該スレショルド回路５１、５２を介して２値出力信号を得、それぞれを中間層基準出力信号とし、該スレショルド回路４２、４５からの２値出力信号に対応させ予め準備格納した。ここで、該スレショルド回路５１、５２を介さず中間層ユニットのそれぞれの出力信号をそのまま中間層基準出力信号として該中間層基準出力検出格納器４９、５０に予め格納し、これらを該スレショルド回路４２、４５からの２値出力信号を元にそれぞれ対応した該中間層基準出力信号を読み出し、入力データに対応した中間層ユニットの出力信号とのユニット毎の差の絶対値、或いはその２乗を全ユニットに渡り加算すれば、ハミング距離に変わって、上述のユークリッド中間層出力距離を求めることができ、正規化中間層出力距離を得ても良い。
【００５３】
また、正規化中間層出力距離計算器５３１、５４１に於いて、中間層出力距離を正規化する正規化スレショルドは、２値教師信号に対応した２値出力信号毎に異なる値を設定してもよい。或いは、該２値出力ニューラルネットワーク手段４３１及び４７１に於いて、それぞれの正答の２値出力信号を送出するテスト入力データ間で、対応した中間層出力距離から得られた平均値或いは更に標準偏差とを少なくとも用いて該正規化スレショルドを設定しても良い。
【００５４】
ラベルに対応して配置された互いに異なった２値教師信号としては、前記教師信号逆変換器４６１、４６２によってラベルの２値コードへ逆変換することができれば如何なる互いに異なった２値教師信号でもよい。例えば、ラベルの２値コードをそのまま一つの２値教師信号として用いてもよく、或いは、ラベルの２値コードの２値補数からなる２値教師信号や、配置の対応関係をシフトした２値教師信号を用いてもよい。
【００５５】
本発明の第１の実施形態に於ける例の並列ニューラルネットワーク手段４０１に於いて、上記説明のごとく異なった２値教師信号に対して学習済みの２つの２値出力ニューラルネットワーク手段４３１及び４７１を用いた場合について説明したが、これらの２値出力ニューラルネットワーク手段４３１及び４７１の他に、更に互いに異なった２値教師信号による学習済みの同様の構成を持った新たな２値出力ニューラルネットワーク手段を数個用意し入力データに対して並列接続し、増設された個々の該２値出力ニューラルネットワーク手段には、該２値出力ニューラルネットワーク手段４７１と同様にスレショルド回路５２、正規化中間層出力距離計算器５４１、中間層基準出力検出格納器５０、テスト領域判定器５８及び正誤答推定器５６１とそれぞれ同様なものを準備し、接続して、並列度を増やしてもよい。
【００５６】
尚、本発明の第１の実施形態に於ける例では、２値教師信号と出力層の出力信号を２値化する為のスレショルド回路４２、４５を用いた２値の場合について説明した。また、学習済みニューラルネットワーク４１及び４４に対してそれぞれ異なる２値教師信号を用いて学習させたものを用いたが、これらに対してそれぞれ異なる３値以上の多値教師信号を用いて学習させた学習済み多値ニューラルネットワークを用い、２値化するスレショルド回路４２及び４５に代わり、それぞれ多値スレショルド回路を用いても良い。
【００５７】
また、学習コアー入力データに対して得られる中間層基準出力信号に代わり、スレショルド回路５１、５２に代わる多値スレショルド回路を用いて学習コアー入力データに対する中間層基準出力信号を得、これを該中間層基準出力検出格納器４９、５０に予め準備格納し、正規化中間層出力距離計算器５３１、５４１に於いて、ハミング距離計算の代わりに多値出力信号間距離をリー距離にて測る正規化中間層出力距離計算器を用いてもよい。
【００５８】
入力データに対して並列ニューラルネットワーク手段４０１を動作させた際、２値出力信号端子２６から誤答判定された２値出力信号が得られた場合には、これに対応した入力データを学習入力データとして該学習済みニューラルネットワーク４１，４４の重み係数を初期値として追加学習して、新たな重み係数を得、該学習済みニューラルネットワーク４１、４４に設定し、該並列ニューラルネットワーク手段４０１を動作させてもよい。この一連の追加学習処理を繰り返すことにより汎化能力や汎化特性の更なる大幅な改善が図れ、然もより高い正答判定率とより高い判定精度を得ることが出来る。尚、この追加学習を行った際には、学習入力データを初めとする学習条件が変わり、該学習済みニューラルネットワーク４１、４４の重み係数が変化することから、これらのテスト領域判定データや中間層基準出力信号及び正規化スレショルドをその都度求めなおし、中間層基準出力検出格納器４９、５０、テスト領域判定器５７、５８及び正規化中間層出力距離計算器５３１、５４１に必要な準備データを予めそれぞれ格納する。
【００５９】
上記の実施形態の例に於て、学習済みニューラルネットワーク４１，４４としてローカルミニマム状態に収束させたものを用いてもよいが、汎化能力及び汎化特性ともグローバルミニマム状態で収束した場合より劣化することから、汎化能力及び正誤答判定に於ける判定精度も劣化する。
【００６０】
上記の説明の如く、本発明の第１の実施形態に於ける例では、２値出力ニューラルネットワーク手段４３１、４７１からの２値出力信号が持つ正規化中間層出力距離の最小値を出力一致状態毎に検出することから、出力全不一致状態で、然もこれらが全て誤答推定の場合でも、この最小正規化中間層出力距離を送出する２値出力ニューラルネットワーク手段からの２値出力信号を選択送出することにより、誤答推定の中の正答の２値出力信号を効果的に選択送出でき、大幅に汎化能力を改善できる。
【００６１】
また、全出力不一致状態で、然も複数個の正答推定の場合にも、最小正規化中間層出力距離によって２値出力ニューラルネットワーク手段からのより正答の可能性が高い２値出力信号を選択送出することができ、同様に汎化能力の改善ができる。
更に、出力一致状態にある複数個の正答推定の場合、或いは全誤答推定の競合状態の場合にも、最小正規化中間層出力距離によって２値出力ニューラルネットワーク手段からのより正答の可能性が高い２値出力信号を選択送出することができる。
また、正規化中間層出力距離情報として最小正規化中間層出力距離を選択送出することから、出力一致情報の一致検出状態と併せ、選択送出された２値出力信号の正誤答判定の確信度として利用できる。
【００６２】
本発明の第１の実施形態に於ける例では、全ての２値出力ニューラルネットワーク手段４３１及び４７１に教師信号コード逆変換器４６１、４６２を挿入した例を示したが、従来技術２のように第１の２値出力ニューラルネットワーク手段４３１の２値教師信号を分類カテゴリに割り当てられたラベルの２値コードと同一とした場合には、従来技術２と同様に該教師信号コード逆変換器４６１は必要なく、スレショルド回路４２，４５からの２値出力信号を直接用いれば良い。
また、正誤答推定器５５１、５６１に於いて、正規化中間層出力距離の他に、テスト領域判定器５７、５８からのテスト領域判定情報や一致検出情報を用いて正誤答推定を行ってもよい。更に、学習ずみニューラルネットワーク４１、４４の汎化特性が良い場合には、テスト領域判定器５７、５８を必ずしも用いる必要はない。
【００６３】
【第２の実施の形態】
本発明に於ける第２の実施形態としての２個の正誤答判定機能を有する並列ニューラルネットワーク手段を複合並列接続した複合並列ニューラルネットワーク４０３の１例を図２に示す。正誤答判定機能を有する並列ニューラルネットワーク４０１及び４０２は、同一の構成であるが、学習済みニューラルネットワークの学習コアー入力データが異なっている。これら正誤答判定機能を有する並列ニューラルネットワーク４０１、４０２からの２値出力信号、正誤答判定情報、正規化中間層出力距離情報及び出力一致情報が夫々複合出力選択処理器６１に入力され、複合２値出力信号、複合正誤答判定情報、複合正規化中間層出力距離情報及び複合出力一致情報が送出される。
【００６４】
但し、ここでの複合出力一致情報としては、該並列ニューラルネットワーク４０１、４０２からの該一致検出情報の他に、該並列ニューラルネットワーク４０１、４０２から入力された２値出力信号間の出力一致状態、即ち複合出力一致状態を含めて複合出力一致情報として送出する。
該複合出力選択処理器６１では、入力された両該２値出力信号の一致検出を行い、不一致状態（複合不一致状態）の場合、該出力一致情報に於ける出力一致状態が同一で、且つ正誤答判定情報に於ける正答或いは誤答の判定状態も同一の場合に、該正規化中間層出力距離情報からの正規化中間層出力距離を比較し、最小の正規化中間層出力距離を検出し、それに対応した２値出力信号を最終的に複合２値出力信号として選択送出する。また、対応した正誤答判定を複合正誤答判定情報として、また、その最小の正規化中間層出力距離を複合正規化中間層出力距離情報として送出する。更に、複合不一致状態を該出力一致情報と共に複合出力一致情報として送出する。
【００６５】
一方、入力された両該２値出力信号が一致状態（複合一致状態）の場合、該出力一致情報と共に複合出力一致情報として送出する。
また、何れかの該正誤答判定情報に正答判定があれば、複合正誤答判定情報として正答判定を選択送出する。全て誤答判定であれば、誤答判定を送出する。選択送出された２値出力信号に対応した正規化中間層出力距離を選択し、複合正規化中間層出力距離情報として送出する。
本発明の第２の実施形態に於ける複数個の正誤答判定機能を有する並列ニューラルネットワーク手段は、異なった入力空間の入力データに対して夫々高い汎化能力を持っており、これらを複合並列接続することにより、各正誤答判定情報、正規化中間層出力距離情報及び出力一致情報、更に入力された２値出力信号の一致検出状態とにより、並列ニューラルネットワーク手段からの２値出力信号を効果的に最適選択することから、広い入力空間の領域に於いて、非常に高い汎化特性を実現できる。
【００６６】
【発明の効果】
以上述べたように、並列接続された２値出力ニューラルネットワーク手段４３１、４７１の２値出力信号に対して、一致検出器４８にて、全出力不一致状態が検出され、然も正誤答推定器５５１、５６１に於いて全て誤答推定となった場合にも、最小正規化中間層出力距離を持った正答の２値出力信号が２値出力ニューラルネットワーク手段４３１、４７１の何れかから数多く選択送出されている。従来技術２の正誤答判定機能を有した並列ニューラルネットワーク手段４０の出力選択処理器５９に於いては、予め定められた特定の、或いはランダム選択された２値出力ニューラルネットワーク手段からの２値出力信号を、選択送出することから、前記の正答の２値出力信号が多く送出されているにも関わらず効果的に選択されることがなく汎化特性が劣化している。
【００６７】
上記のように本発明の正誤答判定機能を有した並列ニューラルネットワーク手段４０１の出力選択処理器５９１に於いては、正規化中間層出力距離が最小となる２値出力ニューラルネットワーク手段４３１或いは４７１からの出力を、選択送出することから、前記の正答の２値出力信号が効果的に選択される場合が非常に多くなり汎化特性が大幅に改善される。また、正誤答推定器５５１及び５６１からの夫々の正誤答推定情報が同一の正答推定、或いは誤答推定となる競合した状態でも、最小の正規化中間層出力距離を選択することにより、正答の確率が高い２値出力信号が常に選択される。例えば、学習入力データからハミング距離が１０程離れた入力データに対する汎化能力が、従来技術２では、約４０％程度であるのに対して、本発明の第１の実施形態では６１％と大幅に改善される。
【００６８】
また、正規化中間層出力距離最小検出器６０にて、該一致検出器４８からの一致検出情報の出力一致状態や不一致状態に応じて、それぞれの状態での最小の正規化中間層出力距離が検出され、最小正規化中間層出力距離情報として出力選択処理器５９１に送出され、更に出力選択処理器５９１から選択された最小中間層出力距離が正規化中間層出力距離情報として、出力一致情報と共に送出される。従って、出力一致情報と併せて正誤答判定の確信度として利用できる。例えば、出力一致状態では、最小正規化中間層出力距離が１以下で０に近づくに従い正答判定がより正しいと見なせる。一方、出力不一致状態では、１より大きく離れるに従い誤答判定がより正しいと見なせる。
【００６９】
従って、本発明の第２の実施形態の如く、複数個のこれら正誤答判定機能を有する並列ニューラルネットワーク手段を複合並列する際に、これら情報を用いることにより、一段の広い入力空間の領域に対して非常に高い汎化特性を実現できる。また、追加学習と併せることにより、非常に高い汎化能力と高い正答判定精度が容易に得られることから、これら並列ニューラルネットワーク手段に於て、数多くのニューラルネットワークを用いる必要がなく、構成が簡単になる。
【００７０】
これらの結果から、本発明の正誤判定機能を有する並列ニューラルネットワーク手段をパターン認識システムや状態識別システム等に実用した際、未知入力データの出力信号に対して、非常に汎化特性が優れ、然も正誤答判定に対しても、正規化中間層出力距離情報と出力一致情報とから確信度が得られ、送出された最小正規化中間層出力距離が１よりかなり大きい誤答判定された未知入力データや、正答判定され、最小正規化中間層出力距離が１に近い未知入力データに対応した２値出力信号の正誤答確認による追加学習などを行なうことができ、正誤答判定機能を有する並列ニューラルネットワーク手段４０１の正答判定能力と汎化能力を同時に著しく高めることも出来きる。従って、実用環境に適した非常に優れた汎化能力の高い高性能な並列ニューラルネットワーク手段４０１を少ない並列数を持った比較的簡単で、設計しやすい構成で実現出来る。
【００７１】
上記の長所から、従来技術では実現が困難な大規模並列ニューラルネットワーク手段に対しても本発明の正誤答判定機能を有した並列ニューラルネットワーク手段４０１を用いて短時間で設計し実現することが出来、非常に高性能な正誤答判定能力や高い汎化能力が要求されるネットワークセキュリティシステム、アラームコリレーションが発生するネットワークに於けるネットワーク障害検出システムなどの通信処理システムや、Web情報を初めとする各種検索システム及び画像処理システムなどに於けるパターン識別・認識システムなどへの幅広い応用ができるなど、非常に幅広い効果を有している。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態における正誤答判定機能を有した並列ニューラルネットワーク手段４０１の１構成例
【図２】 本発明の第２の実施形態における正誤答判定機能を有した並列ニューラルネットワーク手段を複合並列接続した複合並列ニューラルネットワーク手段４０３の１構成例
【図３】 従来技術２における正誤答判定機能を有した並列ニューラルネットワーク手段４０の１構成例。
【符号の説明】
２ 入力信号端子
４ 入力層
５ 中間層
６ 出力層
２６ ２値出力信号端子
２６１ ２値出力信号端子
２６２ 複合２値出力信号端子
２７ 正誤答判定情報端子
２７１ 正規化中間層出力距離情報端子
２７２ 出力一致情報端子
２７３ 正誤答判定情報端子
２７４ 正規化中間層出力距離情報端子
２７５ 出力一致情報端子
２７６ 複合正誤答判定情報端子
２７７ 複合正規化中間層出力距離情報端子
２７８ 複合出力一致情報端子
４０ 従来技術２における正誤答判定機能を有する並列ニューラルネットワーク手段
４０１ 本発明の第１の実施形態における正誤答判定機能を有する並列ニューラルネットワーク手段
４０２ 本発明の第１の実施形態における正誤答判定機能を有する並列ニューラルネットワーク手段
４０３ 本発明の第２の実施形態における複合並列ニューラルネットワーク手段
４１ 第１の学習済みニューラルネットワーク
４２ スレショルド回路
４３ 従来技術２に於ける第１の２値出力ニューラルネットワーク手段
４３１ 本発明の実施形態に於ける第１の２値出力ニューラルネットワーク手段
４４ 第２の学習済みニューラルネットワーク
４５ スレショルド回路
４６ 教師信号コード逆変換器
４６１ 教師信号コード逆変換器
４６２ 教師信号コード逆変換器
４７ 従来技術２における第２の２値出力ニューラルネットワーク手段
４７１ 本発明の実施形態における第２の２値出力ニューラルネットワーク手段
４８ 一致検出器
４９ 中間層基準出力検出格納器
５０ 中間層基準出力検出格納器
５１ スレショルド回路
５２ スレショルド回路
５３ 中間層出力距離計算器（ハミング距離計算器）
５３１ 正規化中間層出力距離計算器
５４ 中間層出力距離計算器（ハミング距離計算器）
５４１ 正規化中間層出力距離計算器
５５ 正誤答推定器
５５１ 正誤答推定器
５６ 正誤答推定器
５６１ 正誤答推定器
５７ テスト領域判定器
５８ テスト領域判定器
５９ 出力選択処理器
５９１ 出力選択処理器
６０ 正規化中間層出力距離最小検出器
６１ 複合出力選択処理器
Claims (5)
- 分類カテゴリのラベルに対応した多値コードから変換された多値教師信号と、該多値教師信号毎に対応させ設けられた学習コアー入力データとを少なくとも用いて学習させた第１の学習済みニューラルネットワーク４１と、該第１の学習済みニューラルネットワーク４１の出力層ユニットの出力信号を多値変換し第１の多値出力信号を送出する第１の多値スレショルド手段４２と、該第１の多値出力信号を該多値コードへ逆変換し第２の多値出力信号を送出する第１の教師信号コード逆変換手段４６１とからなる第１の多値出力ニューラルネットワーク手段４３１と、
該第１の多値出力ニューラルネットワーク手段４３１と同一の構成を有し、互いに異なる配置を持った多値教師信号と該学習コアー入力データとを少なくとも用いて学習させた第２の学習済みニューラルネットワーク４４と、第３の多値出力信号を送出する第３の多値スレショルド手段４５と、第４の多値出力信号を送出する第２の教師信号コード逆変換手段４６２とからなる、少なくとも一個以上の、該第１の多値出力ニューラルネットワーク手段４３１の入力に対して並列接続された第２の多値出力ニューラルネットワーク手段４７１と、
該第１及び各該第２の多値出力ニューラルネットワーク手段４３１、４７１内の各該学習済みニューラルネットワーク４１、４４の中間層ユニットからの該学習コアー入力データに対する出力信号を夫々中間層基準出力信号とし、該学習コアー入力データに対する該第１および各第３の多値出力信号に対して該中間層基準出力信号及び正規化スレショルドとをそれぞれ対応づけ予め格納し、入力データに対する該第１及び各第３の多値スレショルド手段４２、４５からの第１及び各第３の多値出力信号を基に夫々対応した該中間層基準出力信号と該正規化スレショルドとを検出し読み出し送出する夫々の中間層基準出力検出格納手段４９、５０と、
該入力データに対する該第１及び各第２の学習済みニューラルネットワーク４１、４４の中間層ユニットからの出力信号と読み出された該中間層基準出力信号との距離を夫々計算し、読み出された該正規化スレショルドにより正規化し正規化中間層出力距離として送出する夫々の正規化中間層出力距離計算手段５３１、５４１と、
該第１及び各第２の教師信号コード逆変換手段４６１、４６２からの第２及び夫々の第４の多値出力信号間の一致状態を検出し一致検出情報を送出する一致検出手段４８と、
該一致検出情報と夫々の該正規化中間層出力距離とから、出力一致状態に対応して検出された最小正規化中間層出力距離と該最小正規化中間層出力距離を持つ多値出力ニューラルネットワーク手段の場所とを最小正規化中間層出力距離情報として送出する正規化中間層出力距離最小検出手段６０と、
各該正規化中間層出力距離と予め対応させて設定された出力距離スレショルドとを比較し正答或いは誤答推定を行い、正誤答推定情報を送出する夫々の正誤答推定手段５５１、５６１と、
該一致検出情報と夫々の該正誤答推定情報と該最小正規化中間層出力距離検出手段６０からの最小正規化中間層出力距離情報とを基に、各該多値出力ニューラルネットワーク手段４３１、４７１からの該第２及び各第４の多値出力信号の何れかを選択し送出する出力選択処理手段５９１と
を少なくとも具備し構成することを特徴とした並列ニューラルネットワーク手段。 - 分類カテゴリのラベルに対応した多値コードから変換された多値教師信号と、該多値教師信号毎に対応させ設けられた学習コアー入力データとを少なくとも用いて学習させた第１の学習済みニューラルネットワーク４１と、該第１の学習済みニューラルネットワークの出力層ユニットの出力信号を多値変換し第１の多値出力信号を送出する第１の多値スレショルド手段４２と、該第１の多値出力信号を該多値コードへ逆変換し第２の多値出力信号を送出する第１の教師信号コード逆変換手段４６１とからなる第１の多値出力ニューラルネットワーク手段４３１と、
該第１の多値出力ニューラルネットワーク手段４３１と同一の構成を有し、互いに異なる配置を持った多値教師信号と該学習コアー入力データとを少なくとも用いて学習させた第２の学習済みニューラルネットワーク４４と、第３の多値出力信号を送出する第３の多値スレショルド手段４５と、第４の多値出力信号を送出する第２の教師信号コード逆変換手段４６２とからなる、少なくとも一個以上の、該第１の多値出力ニューラルネットワーク手段４３１の入力に対して並列接続された第２の多値出力ニューラルネットワーク手段４７１と、
該第１及び各該第２の多値出力ニューラルネットワーク手段４３１、４７１内の各該学習済みニューラルネットワーク４１、４４の中間層ユニットからの該学習コアー入力データに対する出力信号を多値変換し第１の中間層多値出力信号を送出する夫々の多値スレショルド手段５１、５２と、
各該第１の中間層多値出力信号を中間層基準出力信号とし、該学習コアー入力データに対する該第１および各第３の多値出力信号に対して該中間層基準出力信号及び正規化スレショルドとをそれぞれ対応づけ予め格納し、入力データに対する該第１及び各第３の多値スレショルド手段４２、４５からの第１及び各第３の多値出力信号を基に夫々対応した該中間層基準出力信号と該正規化スレショルドとを検出し読み出し送出する夫々の中間層基準出力検出格納手段４９、５０と、
該入力データに対する該第１及び各第２の学習済みニューラルネットワーク４１、４４の各該多値スレショルド手段５１，５２を介して得られた多値出力信号と読み出された該中間層基準出力信号との距離を夫々計算し、読み出された該正規化スレショルドにより正規化し正規化中間層出力距離として送出する夫々の正規化中間層出力距離計算手段５３１、５４１と、
該第１及び各第２の教師信号コード逆変換手段４６１、４６２からの第２及び夫々の第４の多値出力信号間の一致状態を検出し一致検出情報を送出する一致検出手段４８と、
該一致検出情報と夫々の該正規化中間層出力距離とから、出力一致状態に対応して検出された最小正規化中間層出力距離と該最小正規化中間層出力距離を持つ多値出力ニューラルネットワーク手段の場所とを最小正規化中間層出力距離情報として送出する正規化中間層出力距離最小検出手段６０と、
各該正規化中間層出力距離と予め対応させて設定された出力距離スレショルドとを比較し正答或いは誤答推定を行い、正誤答推定情報を送出する夫々の正誤答推定手段５５１、５６１と、
該一致検出情報と夫々の該正誤答推定情報と該最小正規化中間層出力距離検出手段６０からの最小正規化中間層出力距離情報とを基に、各該多値出力ニューラルネットワーク手段４３１，４７１からの該第２及び各第４の多値出力信号の何れかを選択し送出する出力選択処理手段５９１とを少なくとも具備し構成することを特徴とした並列ニューラルネットワーク手段。 - 請求項１又は請求項２に記載の前記並列ニューラルネットワーク手段の前記正規化中間層出力距離計算手段５３１、５４１に於いて、前記一致検出手段４８からの一致検出情報を基に、前記中間層基準出力検出格納手段４９、５０から読み出された前記正規化スレショルドから、使用する正規化スレショルドを選択し、前記距離を正規化し正規化中間層出力距離を得て送出することを特徴とした並列ニューラルネットワーク手段。
- 請求項１、請求項２又は請求項３に記載の並列ニューラルネットワーク手段の前記出力選択処理手段５９１において、選択送出された前記多値出力信号の正誤答判定からなる正誤答判定情報と、前記出力一致状態に対応して検出された前記最小正規化中間層出力距離からなる正規化中間層出力距離情報と、前記一致検出情報からなる出力一致情報との何れかを少なくとも送出することを特徴とした並列ニューラルネットワーク手段。
- 請求項４に記載の前記並列ニューラルネットワーク手段に於ける、異なった前記学習コア入力データを少なくとも用いて学習させた前記第１及び第２の学習済みニューラルネットワーク４１、４４を有した複数個の前記並列ニューラルネットワーク手段４０１、４０２を複合並列接続し、該複数個の並列ニューラルネットワーク手段４０１、４０２から出力される各前記多値出力信号、正誤答判定情報、正規化中間層出力距離情報及び出力一致情報を夫々入力し、該多値出力信号間の出力一致状態を複合出力一致状態として検出し、該複合出力一致状態と該正誤答判定情報、該正規化中間層出力距離情報及び該出力一致情報とを基に、該多値出力信号から一つの多値出力信号を選択送出し、選択された該多値出力信号に対応した該出力一致情報と該複合出力一致状態とを複合出力一致情報とし、同様に選択された該多値出力信号に対応した該正誤答判定情報を複合正誤答判定情報、更に選択された該多値出力信号に対応した該正規化中間層出力距離情報を複合正規化中間層出力距離情報として夫々送出する複合出力選択処理手段６１とを少なくとも具備し構成することを特徴とする複合並列ニューラルネットワーク手段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003041157A JP3891124B2 (ja) | 2003-02-19 | 2003-02-19 | 正誤答判定機能を有する並列ニューラルネットワーク手段 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003041157A JP3891124B2 (ja) | 2003-02-19 | 2003-02-19 | 正誤答判定機能を有する並列ニューラルネットワーク手段 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004252646A JP2004252646A (ja) | 2004-09-09 |
| JP3891124B2 true JP3891124B2 (ja) | 2007-03-14 |
Family
ID=33024814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003041157A Expired - Fee Related JP3891124B2 (ja) | 2003-02-19 | 2003-02-19 | 正誤答判定機能を有する並列ニューラルネットワーク手段 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3891124B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6921526B2 (ja) * | 2016-12-22 | 2021-08-18 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US12020143B2 (en) * | 2018-04-09 | 2024-06-25 | Flashsilicon Incorporation | Digital neuromorphic code processor |
| US10372573B1 (en) * | 2019-01-28 | 2019-08-06 | StradVision, Inc. | Method and device for generating test patterns and selecting optimized test patterns among the test patterns in order to verify integrity of convolution operations to enhance fault tolerance and fluctuation robustness in extreme situations |
| JP7215435B2 (ja) * | 2020-01-17 | 2023-01-31 | トヨタ自動車株式会社 | 内燃機関の状態判定装置、内燃機関の状態判定システム、データ解析装置、および内燃機関の制御装置 |
-
2003
- 2003-02-19 JP JP2003041157A patent/JP3891124B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004252646A (ja) | 2004-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016132468A1 (ja) | データ評価方法および装置、故障診断方法および装置 | |
| CN112052573B (zh) | 基于有限时间观测器的分布式故障识别方法 | |
| CN106712898B (zh) | 基于高斯迭代列消元的信道编码盲识别方法 | |
| JP3675246B2 (ja) | 正誤答判定機能を有するニューラルネットワーク手段 | |
| Aziz | A new multiple decisions fusion rule for targets detection in multiple sensors distributed detection systems with data fusion | |
| Yessembayev et al. | Detection of good and bad sensor nodes in the presence of malicious attacks and its application to data aggregation | |
| JP3891124B2 (ja) | 正誤答判定機能を有する並列ニューラルネットワーク手段 | |
| JP3855665B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| Tuncel | On error exponents in hypothesis testing | |
| Feng et al. | Weighted distributed fault detection for wireless sensor networks Based on the distance | |
| Amani et al. | A case-based reasoning method for alarm filtering and correlation in telecommunication networks | |
| CN113962273A (zh) | 一种基于多指标的时间序列异常检测方法、系统及存储介质 | |
| JP3855582B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| JP3855580B2 (ja) | 並列ニューラルネットワーク装置 | |
| US20080267220A1 (en) | Method of Iterative Signal Processing For Cdma Interference Cancellation and Ising Perceptrons | |
| JP3678071B2 (ja) | ニューラルネットワーク入力判別装置 | |
| Khorasgani | Model-and data-driven approaches to fault detection and isolation in complex systems | |
| JP4687199B2 (ja) | 連想記憶装置とそのソフトウェア | |
| WO2024013853A1 (ja) | トラヒック再印加判定装置、トラヒック再印加判定方法、及び、トラヒック再印加判定プログラム | |
| Yessembayev | Secure Data Aggregation for Sensor Networks in the Presence of Collusion Attack using Local Outlier Factor | |
| Cao et al. | Distributed Detection with Unreliable Reporting Channels: Quantize or Not Quantize? | |
| JP2002358499A (ja) | ニューラルネットワーク教師信号割当て装置とそのプログラムを記憶した記憶媒体 | |
| CN118018237A (zh) | 一种基于多模型数据增强的工控流量异常检测方法及系统 | |
| CN114095808A (zh) | 网络故障检测方法、装置、设备及计算机可读存储介质 | |
| Gnanapandithan | Data detection and fusion in decentralized sensor networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061127 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |