JP3855582B2 - 出力状態判定機能を有する並列ニューラルネットワーク処理システム - Google Patents
出力状態判定機能を有する並列ニューラルネットワーク処理システム Download PDFInfo
- Publication number
- JP3855582B2 JP3855582B2 JP2000060849A JP2000060849A JP3855582B2 JP 3855582 B2 JP3855582 B2 JP 3855582B2 JP 2000060849 A JP2000060849 A JP 2000060849A JP 2000060849 A JP2000060849 A JP 2000060849A JP 3855582 B2 JP3855582 B2 JP 3855582B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- output signal
- signal
- binary
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークアラーム処理、各種パターン認識、データマイニング及び画像処理などの分野に適用可能なニューラルネットワークにおいて、学習済みのニューラルネットワークを用いて入力データを処理する際に、学習入力データやテスト入力データ以外の未知入力データが入力された場合にも、その出力が正しいか誤りか、即ち正答か誤答か、或いは不明かを判定することができる出力状態判定機能を有した並列ニューラルネットワーク処理システムに関するものである。
【０００２】
【従来の技術】
従来のニューラルネットワークには、文献 麻生英樹著、「ニューラルネットワーク情報処理」、産業図書出版などに示されているように、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。
【０００３】
特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが種々幅広く実用されている。ここでは、教師付き学習を行う多層ニューラルネットワークを例にとり、出力状態判定機能として正答／誤答判定機能を有するニューラルネットワーク手段の従来技術について説明する。また、説明を簡単にする為に、パターン認識などにおいて於て見られる２値教師信号を用いて学習させ、２値出力信号を送出させることとする。
【０００４】
先ず、多層ニューラルネットワークの学習処理の構成について説明する。図２は、３層ニューラルネットワークの学習処理の１構成例を示す。Ｎ個のユニットからなる入力層４、Ｐ個のユニットからなる中間層５及びＭ個のユニットからなる出力層６から構成される。
【０００５】
多層ニューラルネットワークへの入力データＩは、Ｉ1、Ｉ２、．．ＩNの入力データエレメントを持ったベクトルから構成され、入力端子２を介してそれぞれ対応した入力層４のユニットに入力された後、更に中間層５の各ユニット（隠れユニット）にそれぞれ重み付けされ出力される。中間層５では、入力層４の各ユニットからの重み付けされた出力の総和を入力とし、スレショルド値を差し引いた後、シグモイド関数と呼ばれる非線形入出力特性を持った関数を介して出力される。出力層６においても中間層５と同様な入出力処理が行われた後、各出力層ユニットからそれぞれ対応した出力信号をスレショルド回路１１を介して２値出力信号に変換し、２値出力端子３を介してニューラルネットワーク１の２値出力信号（２値出力信号エレメント、Ｐ1、Ｐ２、．．ＰM）として送出する。３層以上の多層の際にも、各層におけるそれぞれのユニットは、入力側の隣接層の各ユニットの出力信号に重み付けをした後、それらの総和を入力として得、更にその入力からスレショルド値を差し引いた後、シグモイド関数などを介し出力層側の隣接層に出力信号を送出する。
【０００６】
このような多層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムがある。
【０００７】
本アルゴリズムを用いた学習過程では、結合重み係数に対して乱数などを用いて初期値設定した後、予め用意された２値教師信号Ｔ（教師信号エレメント、Ｔ1、Ｔ２、．．ＴM）と、入力層４に端子２を介して入力された予め用意された学習入力データに対する出力層６のユニットからの出力信号との誤差信号を減算回路１０を介して求め、結合重み係数制御器７に入力する。
【０００８】
結合重み係数制御器７では、端子１１を介して入力された各層のユニットからの出力信号と前記誤差信号とを基に誤差電力を最小にするように各層間の結合重み係数Ｗ（例えば、Ｗ(1)は入力層と中間層の間の結合重み係数、Ｗ(2)は中間層と出力層間の結合重み係数）の修正値を求め、端子１１を介して３層ニューラルネットワーク１の各結合重み係数を更新する結合重み係数適応制御による学習を行うものである。
【０００９】
この適応制御による学習をすべての学習入力データに対して繰り返し、学習過程に於て収束する（平均出力誤差電力がある既定値以下となる）と、学習入力データに対するスレショルド回路１２を介して得られた２値出力信号が２値教師信号と同一となる。しかしながら、誤差電力を極小にするローカルミニマム状態に一旦落ち込むと、全ての学習入力データに対して所望の２値出力信号が必ずしも得られず、２値教師信号と異なる２値出力信号を送出する場合が多い。
【００１０】
このようにローカルミニマムの状態で収束した場合には、学習入力データに似たテスト入力データを入力した際に、所望の２値出力信号を送出する汎化能力があまり良くない。また、設定された結合重み係数の初期値によって正答の出力信号を送出する入力データの領域、即ち汎化領域が異なり、初期値依存性がある。
【００１１】
パターン認識などに於て、このようなローカルミニマムに収束した学習済みのニューラルネットワークを用いて、入力データに対して実行処理を行わせる際に、汎化能力が優れていない場合には、学習入力データに近い入力データに対して正しい２値出力信号が得られず、多くの誤認識が発生する。実用の際には、学習入力データやテスト入力データ以外の未知入力データが入力される場合が非常に多いが、これらの多くの未知入力データを学習させる為に事前に収集することは困難な場合が多い。従って、未知入力データに対して所望の正しい２値出力信号が得られているかどうか、即ち正答な２値出力信号が送出されているかどうかを知る事は、非常に重要である。正答な２値出力信号が送出されていないことが判明した場合には、それらの未知入力データを収集して、追加学習などを行い、ニューラルネットワークの性能を改善し、できるだけ正答な２値出力信号を送出させる必要がある。
【００１２】
従来技術として、異なる結合重み係数初期値を設定して学習させた複数個の学習済みニューラルネットワークを入力に対して並列に接続し、それらの２値出力信号を多数決処理して入力データに対する汎化能力を改善し、而も正答判定や誤答判定、或いは判定不明などの正誤答判定信号を得る並列ニューラルネットワーク処理システムがある。例えば、D. Sarkar, "Randomness in Generalization Ability: A Source to Improve It," IEEE Trans. Neural Networks Vol.7, No.3, May 1996, pp.676-685. 及び中川徹、他 "複数の乱数化ANNを用いて高信頼なパターン識別とその応用" 電子情報通信学会、信学技報 NC98-155, 1999, 3月などがある。この従来方式による並列ニューラルネットワーク処理システムの１例を以下に示す。
【００１３】
図３に、従来方式による入力データに対する正誤答判定或いは不明判定などの正誤答判定信号を送出する並列ニューラルネットワーク処理システム１４の１構成例を示す。上述のように、異なった結合重み係数の初期値を用いてぞれぞれ学習済みの第１、第２及び第３のニューラルネットワーク１５、１８、２１を入力に対して並列接続している。更に、各単体の前記ニューラルネットワーク１５、１８、２１の出力層６のユニットからの出力信号はそれぞれスレショルド回路１６、１９、２２を介して２値出力信号に変換され送出され、３入力の多数決処理器２４にそれぞれ入力される。ここで、第１の２値出力ネットワーク手段１７は、前記第１の学習済みニューラルネットワーク１５と前記スレショルド回路１６から構成される。同様に、第２及び３の２値出力ネットワーク手段２０、２３は、前記第２及び第３の学習済みニューラルネットワーク１８、２１と前記スレショルド回路１９、２２とからそれぞれ構成されている。
【００１４】
前記多数決処理器２４では、前記２値出力ネットワーク手段からの２値出力信号の内２個以上が一致すれば、出力状態判定信号として正答判定信号を端子２７から送出し、同時にその２値出力信号を端子２６から最終出力信号として送出する。また、それ以外の場合には、不明或いは誤答と見做し、端子２７から正誤答判定信号を出力状態判定信号として出力する。不明或いは誤答と判定された場合には、予め定められた２値出力ネットワーク手段からの２値出力信号を並列ニューラルネットワーク処理システム１４の最終出力信号として選択送出する。
【００１５】
このような多数決処理器２４からの多数決判定に従って正答、或いは誤答の正誤答判定信号を得、２値出力ネットワーク手段からの２値出力信号を最終的に選択することから、単体の学習済みニューラルネットワーク１５、１８、２１の汎化能力より若干高い汎化能力を得ることが出来る。しかしながら、異なる結合重み係数初期値の設定を行ないローカルミニマムに各ニューラルネットワークを収束させ学習済みとして用いることから、高い汎化能力は得られない欠点を有している。従って、正答率の高い２値出力信号が得にくく、而も正答の判定精度も低い欠点がある。例えば、正答判定の精度は、８０％程度で飽和している。また、２０％程度の不明判定となっている。
【００１６】
ここでは、多数決処理器２４を用いた場合について説明したが、これに代わり一致検出器を用いる場合もある。一致検出器を用いた場合には、一致すると正答と判定することにより、正答判定の精度は改善されるものの、不明判定や誤答判定が増加する。
【００１７】
【発明が解決しようとする課題】
上記の如く構成した従来の並列ニューラルネットワーク処理システム１４では、学習済みニューラルネットワーク１５、１８、２１は、同一の構造を有し、而も同一の学習アルゴリズムに対して、それぞれ異なった結合重み係数初期値を用いて同一の教師信号に対して学習を行っている。従って、これらのニューラルネットワーク１５、１８、２１が同一のグローバルミニマムに収束すると、入力データに対する２値出力信号が正答或いは誤答に関らず殆ど一致してしまうことから、それらを並列接続して、入力データに対するそれぞれの２値出力信号を多数決処理しても、正答の場合には全てが正答となり、一方、誤答や不明の場合は全て同様な状態となることから並列接続と多数決処理を用いた効果が非常に小さい。従って、できるだけ異なったローカルミニマムに収束するよう学習させ、それぞれ異なった、正答の出力信号を送出する入力データの領域、即ち汎化領域を実現する必要がある。
【００１８】
これらの理由から、それぞれ異なりずれた汎化領域を持たせるには、並列接続される学習済みニューラルネットワークとしてローカルミニマム状態で学習を終了させ使用する必要があり、汎化能力が余り高くなく、誤った２値出力信号を出しやすい。従って、入力データに対して出来るだけ正答な２値出力信号を得、而も精度の高い正誤答判定信号を得る為には、多くの学習済みニューラルネットワークを並列接続し、多数決処理をする必要があり、構成が複雑かつ処理量が増加する欠点がある。また、正答／誤答或いは不明の判定を、単に多数決処理のみで行っており、誤った２値出力信号に対してもお互いに同一な誤りならばそのまま正答とみなすなど、入力データに対する正答判断の精度が然程高くない欠点を持っている。
【００１９】
従って、並列の学習済みニューラルネットワーク数を増加させ多数決処理を行っても、ローカルミニマムに収束していることから正答判定率やその精度に飽和状態が生じ、汎化能力は若干改善されるもの、正答判定の精度や正答判定率は余り改善されない。特に、単体の学習済みネットワークの汎化能力が低く場合には、不明判定が多く発生し、正答の判定が低下すると共にそのの精度も劣化する。このように、従来の方式では、高い汎化能力と正答判定率とその精度向上とを同時に達成させるには限界がある。
【００２０】
また、結合重み係数の初期値によって、正答の出力信号を与える入力データの領域、即ち汎化領域が異なることを利用しているが、初期値によってどの程度異なった汎化領域が得られるかは、落ち込むローカルミニマムにより決まり、予め予測出来ない。従って、実際に種々の初期値を与えニューロネットワークを学習させた後、学習済みニューラルネットワークを並列接続し動作させて、初めて評価されるなどの欠点もある。特に、これらの欠点は、大規模ニューラルネットワークでは、種々の結合重み係数の初期値を用いてローカルミニマムに収束させる為の学習処理とテスト入力データに対する汎化能力と汎化領域との評価を繰り返し行なう試行錯誤が必要となり、満足できる結果を得るには膨大な作業を要し、実用的でない。
【００２１】
本発明の目的は、上記の問題を解決し、従来の正誤答判定機能を有した並列ニューラルネットワーク処理システムなどに比べて、少ない並列度の学習済みニューラルネットワークを用いて、高精度な正答判定或いは誤答判定を送出する正誤答判定信号を得ると共に、単体の学習済みニューラルネットワークよりも汎化能力の非常に優れ、正答判定率の高い多値出力信号を送出することができる正誤答判定機能を有する並列ニューラルネットワーク処理システムを提供することにある。
【００２２】
【課題を解決するための手段】
本発明の特徴は、学習入力データと第１の多値教師信号とを用いて学習した学習済みニューラルネットワーク２９、４１と該学習済みニューラルネットワーク２９、４１の出力層出力信号を多値化し多値直接出力信号を送出する多値スレショルド手段３０、４２とからなる、第１の多値出力ネットワーク手段３１、４３と、
前記第１の多値教師信号を変換し得られた異なる変換多値教師信号と前記学習入力データとを用いて学習した学習済みニューラルネットワーク３２、４４と該学習済みニューラルネットワーク３２、４４の出力層出力信号を多値化し多値出力信号を送出する多値スレショルド手段３３、４５と前記変換多値教師信号から前記第１の多値教師信号への逆変換則を有し、該多値スレショルド手段３３、４５からの該多値出力信号を変換し、変換多値直接出力信号を送出する出力変換手段３４、４６とからなる、少なくとも１つ以上の第２の多値出力ネットワーク手段３５、４７とを、
入力データに対して並列接続し、
前記第１の多値出力ネットワーク手段３１、４３からの前記多値直接出力信号と隣接関係にある多値隣接出力信号を生成する隣接出力生成手段３６、５９と、
一つ以上の前記第２の多値出力ネットワーク手段３５、４７内の前記多値スレショルド手段３３、４５からの前記多値出力信号と隣接関係にある第２多値隣接出力信号をそれぞれ生成し送出する一つ以上の隣接出力生成手段３７、６０と、
前記変換多値教師信号から前記第１の多値教師信号への逆変換則を有し、該第２多値隣接出力信号を変換して、変換多値隣接出力信号をそれぞれ送出する一つ以上の出力変換手段３８、６１と、
前記多値直接出力信号と、一つ以上の前記第２の多値出力ネットワーク手段３５、４７からの夫々の前記変換多値直接出力信号と、前記多値隣接出力信号と、一つ以上の前記出力変換手段３８、６１からの夫々の前記変換多値隣接出力信号との間の一致／不一致状態検出を少なくとも用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の何れかを少なくとも選択する出力状態判定選択処理手段３９、６２とを
少なくとも具備し構成する並列ニューラルネットワーク処理システムにある。
【００２３】
前記多値出力ネットワーク手段４３、４７において、前記多値教師信号毎に対応した学習コアー入力データを含む前記学習入力データを用いて学習させたそれぞれの前記学習済みニューラルネットワーク４１、４４の夫々の中間層ユニットからの、前記学習コアー入力データに対する中間層出力信号を夫々中間層基準出力信号とし、該中間層基準出力信号 を、対応した前記第１の多値教師信号と前記変換多値教師信号夫々を用いて
予め格納し、前記多値直接出力信号と前記第２の多値出力ネットワーク手段４７からの前記多値出力信号とを用いて夫々対応した前記中間層基準出力信号を読み出す２つ以上の中間層基準出力検出格納手段４９、５０と、
前記入力データに対する前記第１多値出力ネットワーク手段４３及び１つ以上の前記第２の多値出力ネットワーク手段４７からの夫々の前記中間層出力信号と前記中間層基準出力検出格納手段４９、５０から夫々読み出され、対応した前記中間層基準出力信号との距離を計算し中間層出力距離として送出する２つ以上の中間層距離計算手段５３、５４と、
前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号との間の一致／不一致状態を検出し、直接出力一致検出信号を送出する直接出力一致検出手段４８と、
２つ以上の前記中間層出力距離のそれぞれと、前記直接出力一致検出信号とを少なくとも用いて、前記多値直接出力信号及び前記変換多値直接出力信号のそれぞれの出力状態推定を行い出力状態推定信号をそれぞれ送出する２つ以上の出力状態推定手段５５、５６とを
少なくとも具備し、
前記出力状態判定選択処理手段６２に於て、２つ以上の前記出力状態推定手段５５、５６からのそれぞれの前記出力状態推定信号と、
前記多値直接出力信号と一つ以上の前記第２の多値出力ネットワーク手段４７からの夫々の前記変換多値直接出力信号と前記多値隣接出力信号と一つ以上の前記出力変換手段６１からの夫々の前記変換多値隣接出力信号との間の前記一致／不一致状態検出とを少なくとも用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の何れかを選択する。
【００２４】
テスト入力データを前記第１及び１つ以上の第２の多値出力ネットワーク手段４３、４７に入力し、対応した前記２値直接出力信号及び該第２の多値出力ネットワーク４７各々からの前記２値出力信号が夫々正答な前記第１の多値教師信号及び前記変換多値教師信号に一致する該テスト入力データに対して、夫々の前記出力層出力信号の出力層ユニット毎の正答を与える出力正答余裕を求め、該出力正答余裕各々の最大値と最小値とからなる範囲を示すテスト内正答出力領域を夫々得、各々の該テスト内正答出力領域を対応した前記第１の多値教師信号と前記変換多値教師信号夫々を用いて予め格納し、前記多値直接出力信号及び前記第２多値出力ネットワーク手段４７からの前記多値出力信号とを夫々用いて、対応した前記テスト内正答出力領域を読み出し、テスト領域内かテスト領域外かを判定し、テスト領域判定信号として夫々送出する２つ以上のテスト領域判定手段５７、５８を具備し、
前記出力状態推定手段５５、５６に於て、更に、それぞれの前記テスト領域判定信号を用いて、対応した出力状態推定をする。
【００２５】
前記出力状態判定選択処理手段６２に於て、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号にそれぞれ対応した前記中間層出力距離を更に用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の何れかを選択する。
【００２６】
前記出力状態判定選択処理手段３９、６２に於て、前記一致／不一致状態検出を少なくとも用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の出力状態判定を夫々行ない、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号から選択された多値出力信号に対応した出力状態判定信号を送出する。
【００２８】
前記出力状態判定選択処理手段３９、６２に於て、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号から選択された多値出力信号を最終出力信号として送出する。
【００２９】
前記出力状態判定選択処理手段３９、６２に於て、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号から選択された多値出力信号に対応した前記学習済みニューラルネットワーク２９、３２、４１、４７からの前記出力層出力信号を最終出力信号として送出する。
【００３０】
本発明の出力状態判定機能を有した並列ニューラルネットワーク処理システムは、第１の多値教師信号を用いて学習させた学習済みニューラルネットワークを持った第１の多値出力ネットワーク手段と、異なった変換多値教師信号を用いて学習させた学習済みニューラルネットワークを持った第２の多値出力ネットワーク手段とを入力に対して並列に接続し、第１の多値出力ネットワーク手段からの多値直接出力信号と、出力変換器を持った第２の多値出力ネットワーク手段からの変換多値直接出力信号との一致／不一致検出或いは多数決処理結果と、中間層基準出力信号と入力データに対する学習済みニューラルネットワークの中間層ユニットからの中間層出力信号との中間層出力距離を求め、中間層出力距離比較と、学習済みニューラルネットワークの出力層ユニットからの出力正答余裕に対するテスト領域判定とを基にした、これらの多値直接出力信号及び変換多値直接出力信号の出力状態推定を行っている。この出力状態推定と、第１の多値出力ネットワーク手段からの多値直接出力信号と、その隣接した多値隣接出力信号と、並列接続されているそれぞれの第２の多値出力ネットワーク手段からの変換直接出力信号とその変換多値隣接出力信号との間の一致／不一致状態の関係を利用することにより、より正確に出力状態判定を行ない、最終出力信号として、多値直接出力信号或いは変換多値直接出力信号からより正答な選択送出ができる。また、それに対応した正確な出力状態判定信号も送出することが出来る。
【００３１】
従って、従来方式の並列ニューラルネットワーク処理システムに比べて非常に高精度に且つ安定に正答／誤答などの出力状態判定を容易に得え、而も汎化能力を非常に高くできる。また、ネットワーク障害検出や種々のパターン認識などへの応用の際に、最終出力信号の出力状態判定信号から、学習済みニューラルネットワークに対する追加学習を必要とする誤答の未知入力データ収集が簡単に行う事ができ、それらを追加学習させることにより、より高い汎化能力と非常に高精度な出力状態判定機能を持った並列ニューラルネットワーク処理システムを簡単に実現出来る。また、従来方式のような学習の際の結合重み係数の初期設定に於ける試行錯誤も不要で、迅速且つ簡単に本発明の並列ニューラルネットワーク処理システムを設計することが出来る。
【００３２】
【発明の実施の形態】
以下に本発明の並列ニューラルネットワーク処理システムの実施形態の例をあげ、その構成及びその動作について、詳細に説明する。ここでは、２値教師信号を用いた場合を例にあげ説明する。
【００３３】
［第１の実施の形態］
本発明の第１の実施形態の並列ニューラルネットワーク処理システム２８を図１に示す。２つのニューラルネットワークを並列接続し、２値の教師信号を用いた構成例を示す。
【００３４】
第１の２値教師信号と学習入力データとを用いて学習させた学習済みニューラルネットワーク２９とスレショルド回路３０とからなり、２値直接出力信号を送出する第１の２値出力ネットワーク手段３１と、前記第１の２値教師信号をコード変換して得た変換２値教師信号と前記学習入力データとを用いて学習させた学習済みニューラルネットワーク３２とスレショルド回路３３と出力変換器３４とからなり、変換２値直接出力信号を送出する第２の２値出力ネットワーク手段３５とを、入力データに対して並列に接続し、前記２値直接出力信号に対応した２値隣接出力信号を生成する隣接出力生成器３６と、前記スレショルド回路３３からの２値出力信号に対応した２値隣接出力信号を生成する隣接出力生成器３７と、該２値隣接出力信号を変換し変換２値隣接出力信号を送出する出力変換器３８と、出力状態判定を行ない、前記２値直接出力信号か前記変換２値直接出力信号かのいずれかを最終出力信号として選択送出し、併せてそれに対応した出力状態判定信号を送出する出力状態判定選択処理器３９とから構成される。
【００３５】
ここで、前記学習済みニューラルネットワーク２９及び３２は、図２に示すように入力層４、中間層５及び出力層６の３層を持ち、同一構成である。前記スレショルド回路３０は、前記学習済みニューラルネットワーク２９の出力層６のユニットの出力信号を２値化した２値出力信号を送出する。前記スレショルド回路３３も、同様に前記学習済みニューラルネットワーク３２の出力層６のユニットの出力信号を２値化し２値出力信号を送出する。
【００３６】
前記出力変換器３４は、前記変換２値教師信号を前記第１の２値教師信号へ逆変換する変換則を有し、前記スレショルド回路３３からの前記２値出力信号を変換し、前記変換２値直接出力信号として第２の２値出力ネットワーク手段３５から送出し、前記出力状態判定選択処理器３９へ入力する。一方、前記出力変換器３８は、前記出力変換器３４と同一の変換則を有し、前記隣接出力生成器３７からの前記２値隣接出力信号を変換し、前記変換２値隣接出力信号として前記出力状態判定選択処理器３９に送出する。
【００３７】
前記隣接出力生成器３６は、前記第１の２値出力ネットワーク手段３１から送出された前記２値直接出力信号を用いて、予め指定されたハミング距離以内の離れた前記２値隣接出力信号を生成し、前記出力状態判定選択処理器３９に送出し、前記隣接出力生成器３７は、前記第２の２値出力ネットワーク手段３５内の前記スレショルド回路３３から送出された前記２値出力信号を用いて、該ハミング距離以内の離れた前記２値隣接出力信号を生成し、前記出力変換器３８に送出する。
【００３８】
前記出力状態判定選択処理器３９は、前記２値直接出力信号と前記変換２値直接出力信号との間の一致／不一致状態検出と、前記２値直接出力信号と相対する前記変換２値隣接出力信号との間の一致／不一致状態検出と、前記変換２値直接出力信号と相対する前記２値隣接出力信号との間、及び前記２値隣接出力信号と相対する前記変換２値隣接出力信号との間のそれぞれの一致／不一致状態検出とを基に、出力状態判定を行ない、前記第１の２値出力ネットワーク手段３１からの前記２値直接出力信号か、前記第２の２値出力ネットワーク手段３５からの前記変換２値直接出力信号かの何れかを選択し、端子２６から並列ニューラルネットワーク処理システム２８の前記最終出力信号として送出し、併せて、それに対応した前記出力状態判定信号としての正誤答判定信号を端子２７から送出する。
【００３９】
以下、これらの動作について詳細に説明する。前記第１の２値出力ネットワーク手段３１は、図２に示す構成の下に、端子８の第１の２値教師信号と端子２の前記学習入力データを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）などにより学習させた前記学習済みニューラルネットワーク２９を用い、その出力層６のユニットからの出力信号を前記スレショルド回路３０を介して２値化し、その２値出力信号を前記２値直接出力信号として送出する。特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、而も前記学習入力データに対して全て正答の前記２値直接出力信号を得ることが出来る。また、同様に第２の２値出力ネットワーク手段３５に於ても、前記学習入力データに対して全て正答の前記変換２値直接出力信号を得ることが出来る。
【００４０】
ここで、学習処理により学習済みニューラルネットワーク２９、３２を得る際に、前記学習入力データと分類カテゴリとしての２値教師信号の対応づけに於て、２値教師信号毎に代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとして少なくとも準備し、該学習コアー入力デーアに対する前記スレショルド回路３０及び３３からの前記２値直接出力信号及び２値出力信号が正答となるよう学習させた前記学習済みニューラルネットワーク２９及び３２を用いる。
【００４１】
また、前記第２の２値出力ネットワーク手段３５では、図２に示すように端子８の前記第１の２値教師信号から教師信号コード変換器１３を介して得えられた前記変換２値教師信号をスイッチ回路９を介して前記減算器１０に入力し、端子２の学習入力データに対して学習させ、グローバルミニマム状態に収束させたニューラルネットワークを前記学習済みニューラルネットワーク３２として用いる。
【００４２】
これらの前記学習済みニューラルネットワーク２９及び３２は、それぞれ前記第１の２値教師信号及び前記変換２値教師信号をそれぞれ用いることから、異なったグローバルミニマムの状態に簡単に収束させることができる。従って、前記第１及び第２の２値出力ネットワーク手段３１、３５からの前記２値直接出力信号及び前記変換２値直接出力信号は、前記学習入力データに対して、全て同一の正答となり、互いに一致する。また、これらの前記学習済みニューラルネットワーク２９、３２は学習アルゴリズムとニューラルネットワークの構造が同一であることから殆ど同様な高い汎化能力が得られる。
【００４３】
従って、前記学習済みニューラルネットワーク２９、３２の前記スレショルド回路３０及び３３から正答の２値直接出力信号及び２値出力信号を送出する入力データの領域、即ち汎化領域は広く、而も互いにずれ一部異なる。この為、未知入力データに対して、前記２値出力ネットワーク手段２８、３５からの前記２値直接出力信号と前記変換２値直接出力信号とは、幅広く同一となるが、ずれている領域では同一とはならず、何れかが誤答となる。ここで、前記学習済みニューラルネットワーク２９及び３２の結合重み係数として、同一或いはそれぞれ異なった結合重み係数初期値を設定して学習させるが、それぞれ異なった結合重み係数の初期値設定を行った場合には、汎化能力の差は殆どないが、汎化領域はより大きくずれた領域を持つ。
【００４４】
次に、前記第１及び第２の２値出力ネットワーク手段２８及び３５に於て、端子２からの入力データに対して実行処理を行った際の前記出力状態判定選択処理器３９の動作について説明する。
【００４５】
前記２値直接出力信号と前記変換２値直接出力信号とが一致した場合には、これらが共に正答となる場合が殆どである。しかしながら、誤答であるがお互いに一致する場合も、発生率は非常に低いものの発生する。
【００４６】
従来技術では、前述したように多数決処理（投票処理）によりこの一致した場合だけを検出し、それらを正答と判定していることから、正答判定の精度も余り高くなく、而も汎化能力を殆ど改善できない。しかしながら、本発明に於ける前記出力状態判定選択処理器３９では、汎化領域がお互いにずれている為に不一致となる、少なくとも何れかに誤りが発生している場合に於ても、正答な出力信号をできるだけ選択送出することから、汎化能力の改善が図れ、而も正確な出力状態判定を行うことができる。
【００４７】
特に、誤答となる前記２値直接出力信号或いは前記変換２値直接出力信号は、正答なものからのハミング距離が１或いは２の比較的小さい誤りパターンを持っている場合が殆どであり、それらの前記２値隣接出力信号内に正答な２値出力信号が存在している確率が高い。従って、前記出力状態判定選択処理器３９では、前記２値直接出力信号と前記変換２値直接出力信号との一致／不一致状態検出と、前記２値直接出力信号と相対する前記変換２値隣接出力信号との間の一致／不一致状態検出と、前記２値隣接出力信号と相対する前記変換２値直接出力信号との間の一致／不一致状態検出と、前記２値隣接出力信号と相対する前記変換２値隣接出力信号との間の一致／不一致状態検出とを利用した以下の出力状態判定処理と出力選択処理を行う。
【００４８】
ここで、先ず、前記２値直接出力信号と前記変換２値直接出力信号とが不一致の場合に於て、以下の５つの場合に分けて、出力信号選択送出処理と出力状態判定処理とを行う例を示す。少なくとも、これらの前記２値直接出力信号と前記変換２値直接出力信号の何れかが誤っている。
【００４９】
尚、ここでは、簡単の為に、出力選択処理と出力状態判定処理を示す下記の表１から表６に於て、前記第１の２値出力ネットワーク手段３１を第１ネットワーク、前記２値直接出力信号を第１直接出力、これに対応した前記２値隣接出力信号を第１隣接出力、前記第２の２値出力ネットワーク手段３５を第２ネットワーク、前記変換２値直接出力信号を第２直接出力、これに対応した前記変換２値隣接出力信号を第２隣接出力とそれぞれ記述する。
【００５０】
第１の２値出力ネットワーク手段３１からの２値直接出力信号と第２の２値出力ネットワーク手段３５からの変換２値直接出力信号が不一致した場合に於て、
【００５１】
（１）第１直接出力と第２隣接出力が一致、且つ第１隣接出力と第２直接出力が一致の場合
表１に出力状態判定処理と出力選択処理の一例を示す。
【００５２】
【表１】
【００５３】
直接出力信号と相対する相手側の隣接出力信号が、それぞれ一致した状況にあれば、少なくとも前記２値直接出力信号か前記変換２値直接出力信号のいずれかが正答である場合が多い。従って、表１に示す出力選択と出力状態判定を行う。
【００５４】
（２）第１直接出力と第２隣接出力が一致、且つ第１隣接出力と第２直接出力が不一致の場合
表２に出力状態判定処理と出力選択処理の一例を示す。
【００５５】
【表２】
【００５６】
前記２値直接出力信号と前記変換２値隣接出力信号が一致していることから、前記第１の２値出力ネットワーク手段３１の前記２値直接出力信号が正答である可能性が大である。従って、表２に示す出力選択と出力状態判定を行う。
【００５７】
（３）第１直接出力と第２隣接出力が不一致、且つ第１隣接出力と第２直接出力が一致の場合
表３に出力状態判定処理と出力選択処理の一例を示す。
【００５８】
【表３】
【００５９】
前記変換２値直接出力信号と前記２値隣接出力信号が一致していることから、前記第２の２値出力ネットワーク手段３５の前記変換２値直接出力信号が正答である可能性が大である。従って、表３に示す出力選択と出力状態判定を行う。
【００６０】
（４）直接出力と隣接出力は不一致、且つ第１隣接出力と第２隣接出力が一致の場合
表４に出力状態判定処理と出力選択処理の一例を示す。
【００６１】
【表４】
【００６２】
前記２値隣接出力信号と前記変換２値隣接出力信号とが一致していることから、両隣接出力信号同士が正答で、前記２値直接出力信号及び前記変換２値直接出力信号とも誤答と考えられる。従って、表４に示す出力選択と出力状態判定を行う。ここでは、特定の２値出力ネットワーク手段の直接出力信号を選択している。
【００６３】
（５）直接出力と隣接出力は不一致、且つ第１隣接出力と第２隣接出力が不一致の場合
表５に出力状態判定処理と出力選択処理の一例を示す。
【００６４】
【表５】
【００６５】
前記直接出力信号と相対する前記隣接出力信号とも全て一致しない。従って、前記両直接出力信号とも誤答と考えられる。従って、表５に示す出力選択と出力状態判定を行う。ここでは、特定の２値出力ネットワーク手段からの直接出力信号を選択している。
【００６６】
次に、前記２値直接出力信号と前記変換２値直接出力信号が一致した場合に於ける、出力状態判定処理と出力選択処理の一例を表６に示す。殆どの場合、正答であることから、予め決められた特定の２値出力ネットワーク手段からの直接出力信号を選択送出する。
【００６７】
【表６】
【００６８】
ここで、第２の実施の形態に於て、詳細を説明するが、学習済みニューラルネットワーク２９、３２の中間層出力信号と中間層基準出力信号間の中間層出力距離を求め、出力状態判定選択処理器３９に於て、更に中間層出力距離をも用いて、出力状態判定処理を行ってもよい。また、多層ニューラルネットワークを仮定して説明したが、教師信号を用いて学習させるニューラルネットワークであればよく、多層ニューラルネットワークに限るものではない。
【００６９】
更に、２値出力ネットワーク手段を更に並列に接続し、隣接出力生成器と出力変換器とをそれぞれ付加することにより、多並列化を図ってもよい。全ての２値出力ネットワーク手段からの２値直接出力信号と変換２値直接出力信号との間で一致／不一致に対する多数決処理（投票処理）した個別出力状態推定と、相対する２値隣接出力信号も含めた多数決処理とにより、上記に説明した出力状態判定処理方法と出力選択処理方法を拡張して用いてもよい。これにより、並列ニューラルネットワーク処理システム２８の汎化能力をより一層改善でき、出力状態判定精度も著しく改善される。
【００７０】
尚、上記では、２値直接出力信号に隣接した２値隣接出力信号を２以下のハミング距離を用いて生成したが、この距離内に限るものではない。また、直接出力信号が３値以上の多値の場合には、リー距離により指定された距離以内の多値隣接出力信号を生成すればよい。連続値の場合には、ユークリッド距離により指定された距離以内の隣接出力信号を生成すればよい。
【００７１】
また、直接出力信号や隣接出力信号が連続値の場合には、２値出力信号や多値出力信号の一致／不一致を検出する直接出力一致検出器の代わりに、各出力層ユニットに於て、出力層出力信号エレメント間の差がお互いにある範囲内であれば、一致とみなす手段を用いればよい。また、出力状態判定選択処理器に於ても、同様な手段で一致／不一致を検出すればよい。
【００７２】
［第２の実施の形態］
第２の実施形態としての本発明の並列ニューラルネットワーク処理システム４０を図４に示す。２つのニューラルネットワークを並列接続した構成例を示す。
【００７３】
第１の２値教師信号と学習入力データとを用いて学習させた学習済みニューラルネットワーク４１とスレショルド回路４２とからなり、２値直接出力信号を送出する第１の２値出力ネットワーク手段４３と、前記第１の２値教師信号をコード変換して得た変換２値教師信号と前記学習入力データとを用いて学習させた学習済みニューラルネットワーク４４とスレショルド回路４５と出力変換器４６とからなり、変換２値直接出力信号を送出する第２の２値出力ネットワーク手段４７とを、入力データに対して並列に接続し、中間層基準出力信号を検出し格納した中間層基準出力検出格納器４９、５０と、中間層出力距離を求めるハミング距離計算器５３、５４と、テスト内正答出力領域を求め格納したテスト領域判定器５７、５８と、前記２値直接出力信号と前記変換２値直接出力信号との間の一致状態を検出する直接出力一致検出器４８と、出力状態推定する出力状態推定器５５、５６と、前記２値直接出力信号に対応する２値隣接出力信号を生成する隣接出力生成器５９と、前記スレショルド回路４５からの２値出力信号に対応する２値隣接出力信号を生成する隣接出力生成器６０と、該２値隣接出力信号を変換し変換２値隣接出力信号を送出する出力変換器６１と、出力状態判定を行ない、前記２値直接出力信号か前記変換２値直接出力信号かのいずれかを最終出力信号として選択送出し、併せてそれに対応した出力状態判定信号を送出する出力状態判定選択処理器６２とから構成される。
【００７４】
ここで、前記学習済みニューラルネットワーク４１及び４４は、図４に示すように入力層４、中間層５及び出力層６の３層を持ち、同一構成である。前記スレショルド回路４２は、前記学習済みニューラルネットワーク４１の出力層６のユニットの出力信号を２値化した２値出力信号を送出する。前記スレショルド回路４５も、同様に前記学習済みニューラルネットワーク４４の出力層６のユニットの出力信号を２値化し２値直接出力信号を送出する。前記スレショルド回路５１、５２は、入力データに対する前記学習済みニューラルネットワーク４１、４４のそれぞれの中間層５のユニットの出力信号を２値化し、中間層２値出力信号として前記ハミング距離計算器５３及び前記中間層基準出力検出格納器４９、５０にそれぞれ送出する。
【００７５】
前記中間層基準出力検出格納器４９、５０は、学習処理が完了した段階で、学習入力データに対応した前記スレショルド回路５１、５２からのそれぞれの前記中間層２値出力信号を、分類カテゴリに対応した２値教師信号毎、及び変換２値教師信号毎に、前記中間層基準出力信号として検出し格納する。更に、実行処理時には、前記入力データに対する前記スレショルド回路４２及び４５からの２値直接出力信号及び２値出力信号を用いて、格納されている前記中間層基準出力信号を検索し読み出し、前記入力データに対応した前記スレショルド回路５１、５２からのそれぞれの前記中間層２値出力信号と該中間層基準出力信号との間の中間層出力距離を計算する為に、該中間層基準出力信号を前記ハミング距離計算器５３、５２にそれぞれ送出する。尚、ここでは、前記入力データに対する前記スレショルド回路４２及び４５からの２値直接出力信号及び２値出力信号を用いて、前記中間層基準出力信号の格納と読み出しを行っているが、２値直接出力信号や変換２値直接出力信号を用いてもよい。
【００７６】
前記ハミング距離計算器５３、５４は、前記スレショルド回路５１、５２からの前記中間層２値出力信号と前記中間層基準出力検出格納器４９、５０からの前記中間層基準出力信号との間のそれぞれのハミング距離を求め、前記中間層出力距離として、前記出力状態推定器５５、５６及び前記出力状態判定選択処理器６２にそれぞれ送出する。前記中間層出力距離は、正誤答推定及び正誤答判定の尺度として用い、一般に、正答の場合は、このハミング距離は小さく、誤答の場合はこの距離が大きい傾向にある。ここで、前記ハミング距離計算器５３、５４の代わりに、多値空間での距離を求めるリー距離計算器や連続値の間での距離を求めるユークリッド距離計算器を用いてもよい。
【００７７】
ユークリッド距離の場合には、例えば、前記スレショルド回路５１、５２を介さず中間層ユニットのそれぞれの出力信号をそのまま中間層基準出力信号として、前記中間層基準出力検出格納器４９、５０に予め格納し、これらを前記スレショルド回路４２、４５からの２値直接出力信号及び２値出力信号を基にそれぞれ読み出し、前記入力データに対する中間層ユニットの前記出力信号とのユニット毎の差の絶対値を全ユニットに渡り加算して中間層出力距離として用いても良い。
【００７８】
前記テスト領域判定器５７、５８は、テスト処理時に、テスト入力データを用いて、分類カテゴリに対応した前記第１の２値教師信号毎、及び前記変換２値教師信号毎に、テスト内正答出力領域を求め格納する。具体的には、前記学習済みニューラルネットワーク４１、４４のテスト入力データに対する汎化能力を評価する際に、前記スレショルド回路４２、４５が正答の２値直接出力信号及び２値出力信号を送出するテスト入力データに対して、前記学習済みニューラルネットワーク４１、４４の出力層６のユニットからの出力信号のユニット毎の出力正答余裕（即ち、前記スレショルド回路４２、４５のスレショルド値とユニット出力信号との差の絶対値）の最小値と最大値とを求め、前記テスト内正答出力領域とし、前記２値教師信号に対応させてテスト領域判定器５７、５８にそれぞれ予め格納する。また、テスト内正答出力領域として、ユニット毎の出力正答余裕の最大及び最小値を用いているが、全ユニット間での最大及び最小値を用いても良い。
【００７９】
更に、実行処理時に、前記入力データに対する前記スレショルド回路４２及び４５からの前記２値直接出力信号及び２値出力信号を用いてそれぞれ前記テスト内正答出力領域を読み出し、前記学習済みニューラルネットワーク４１、４４の出力層６の前記出力信号の各ユニット毎の出力信号を正答と見做した場合の正答となる為の出力余裕、即ち出力正答余裕をそれぞれ求め、該テスト内正答出力領域とそれぞれ比較し、該出力正答余裕が全てのユニットに於て前記テスト内正答出力領域内であれば、テスト領域内、それ以外をテスト領域外と判定するテスト領域判定信号を前記出力状態推定器５５、５６へそれぞれ送出する。ここで、前記入力データに対する出力層６のユニットからの出力信号がテスト領域外である判定されると、その前記入力データを未知入力データと判定し、利用しても良い。
【００８０】
前記出力変換器４６は、前記変換２値教師信号を前記第１の２値教師信号へ逆変換する変換則を有し、前記スレショルド回路４５からの前記２値出力信号を変換し、前記変換２値直接出力信号として第２の２値出力ネットワーク手段４７から送出し、前記直接出力一致検出器４８及び前記出力状態判定選択処理器６２へ入力する。一方、前記出力変換器６１は、前記出力変換器４６と同一の変換則を有し、前記隣接出力生成器６０からの前記２値隣接出力信号を変換し、前記変換２値隣接出力信号として前記出力状態判定選択処理器６２に送出する。
【００８１】
前記直接出力一致検出器４８は、前記第１及び第２の２値出力ネットワーク手段４３、４７からそれぞれ送出された前記２値直接出力信号と前記変換２値直接出力信号とを比較し、一致状態或いは不一致状態を検出した一致検出信号を前記出力状態推定器５５、５６及び前記出力状態判定選択処理器６２へぞれぞれ送出する。
【００８２】
前記出力状態推定器５５、５６は、前記テスト領域判定器５７、５８、及び前記ハミング距離計算器５３、５４、更に前記直接出力一致検出器４８とからそれぞれ入力された、前記テスト領域判定信号と前記中間層出力距離と前記一致検出信号とを用いて、前記第１の２値出力ネットワーク手段４３からの前記２値直接出力信号、及び前記第２の２値出力ネットワーク手段４７からの前記変換２値直接出力信号が、夫々正答か誤答かを推定する正誤答推定信号を前記出力状態判定選択処理器６２にそれぞれ送出する。
【００８３】
前記隣接出力生成器５９は、前記第１の２値出力ネットワーク手段４３から送出された前記２値直接出力信号を用いて、予め指定されたハミング距離以内の離れた前記２値隣接出力信号を生成し、前記出力状態判定選択処理器６２に送出し、前記隣接出力生成器６０は、前記第２の２値出力ネットワーク手段４７内の前記スレショルド回路４５から送出された前記２値出力信号を用いて、該ハミング距離以内の離れた前記２値隣接出力信号を生成し、前記出力変換器６１に送出する。
【００８４】
前記出力状態判定選択処理器６２は、前記２値直接出力信号と前記変換２値直接出力信号との間の一致／不一致状態検出と、前記２値直接出力信号と相対する前記変換２値隣接出力信号との間、前記変換２値直接出力信号と相対する前記２値隣接出力信号との間、前記２値隣接出力信号と相対する前記変換２値隣接出力信号との間のそれぞれの一致／不一致状態検出と、前記出力状態推定器５５、５６からのそれぞれの正誤答推定信号とを基に、最終的な出力状態判定を行ない、前記第１の２値出力ネットワーク手段４３からの前記２値直接出力信号か、前記第２の２値出力ネットワーク手段４７からの前記変換２値直接出力信号かの何れかを選択し、端子２６から並列ニューラルネットワーク処理システム４０の前記最終出力信号として送出し、併せて、それに対応した前記出力状態判定信号としての正誤答判定信号を端子２７から送出する。
【００８５】
以下、これらの動作について詳細に説明する。前記第１の２値出力ネットワーク手段４３は、図２に示す構成の下に、端子８の第１の２値教師信号と端子２の前記学習入力データを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）などにより学習させた前記学習済みニューラルネットワーク４１を用い、その出力層６のユニットからの出力信号を前記スレショルド回路４２を介して２値化し、その２値出力信号を前記２値直接出力信号として送出する。特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、而も前記学習入力データに対して全て正答の前記２値直接出力信号を得ることが出来る。また、同様に第２の２値出力ネットワーク手段４７に於ても、前記学習入力データに対して全て正答の前記変換２値直接出力信号を得ることが出来る。
【００８６】
ここで、学習処理により学習済みニューラルネットワーク４１、４４を得る際に、前記学習入力データと分類カテゴリとしての教師信号の対応づけに於て、２値教師信号毎に代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとして少なくとも準備し、該学習コアー入力デーアに対する前記スレショルド回路４２及び４４からの前記２値出力信号が正答となるよう学習させた前記学習済みニューラルネットワーク４１及び４４を用いる。更に、学習処理が完了した際に、前記学習コアー入力データに対する前記学習済みニューラルネットワーク４１及び４４の中間層５のユニットからの中間層出力信号を前記スレショルド回路５１、５２を介してそれぞれ前記中間層２値出力信号に変換して、これらを前記中間層基準出力信号としてそれぞれの前記中間層基準出力検出格納器４９及び５０に予め格納しておく。この時、前記スレショルド回路４２及び４５からの各前記２値直接出力信号及び２値出力信号を用いて、それぞれ格納する。
【００８７】
また、前記第２の２値出力ネットワーク手段４７では、図２に示すように端子８の前記第１の２値教師信号から教師信号コード変換器１３を介して得えられた前記変換２値教師信号をスイッチ回路９を介して前記減算器１０に入力し、端子２の学習入力データに対して学習させ、グローバルミニマム状態に収束させたニューラルネットワークを前記第２の学習済みニューラルネットワーク４４として用いる。
【００８８】
これらの前記学習済みニューラルネットワーク４１及び４４は、それぞれ前記第１の２値教師信号及び前記変換２値教師信号を用いることから、異なったグローバルミニマムの状態に簡単に収束させることができる。従って、前記第１及び第２の２値出力ネットワーク手段４３、４７からの前記２値直接出力信号及び前記変換２値直接出力信号は、前記学習入力データに対して、全て同一の正答となり、互いに一致する。また、これらの前記学習済みニューラルネットワーク４１、４４は学習アルゴリズムとニューラルネットワークの構造が同一であることから殆ど同様な高い汎化能力が得られる。
【００８９】
従って、前記学習済みニューラルネットワーク４１、４４の前記スレショルド回路４２及び４４から正答の２値出力信号を送出する入力データの領域、即ち汎化領域は広く、而も互いにずれ一部異なる。この為、未知入力データに対して、前記２値出力ネットワーク手段４３、４７からの前記２値直接出力信号と前記変換２値直接出力信号とは、幅広く同一となるが、ずれている領域では同一とはならず、何れかが誤答となる。
【００９０】
次に、前記第１及び第２の２値出力ネットワーク手段４３及び４７に於て、端子２からの入力データに対して実行処理を行った際の前記直接出力一致検出器４８と前記出力状態判定選択処理器６２の動作について説明する。
【００９１】
前記直接出力一致検出器４８では、前記２値直接出力信号と前記変換２値直接出力信号とが一致した場合には、これらが共に正答となる場合が殆どである。しかしながら、誤答であるがお互いに一致する場合も、発生率は非常に低いものの発生する。従来技術では、前述したように多数決処理によりこの一致した場合だけを検出し、それらを正答と判定していることから、正答判定の精度も余り高くなく、而も汎化能力を殆ど改善できない。しかしながら、本発明に於ける前記出力状態判定選択処理器６２では、汎化領域がお互いにずれている為に不一致となり、少なくとも何れかに誤りが発生している場合に於ても、正答な出力信号をできるだけ選択送出することにより、汎化能力の改善が図れ、而も正確な出力状態判定を行うことができる。特に、誤答となる前記２値直接出力信号或いは前記変換２値直接出力信号は、正答なものからのハミング距離が１或いは２の比較的小さい誤りパターンを持っている場合が殆どであり、それらの隣接出力信号内に正答な２値出力信号が存在している確率が高い。従って、前記出力状態推定と前記２値直接出力信号と相対する前記２値隣接出力信号との一致／不一致状態検出とを利用した以下の出力状態判定処理と出力選択処理を行う。
【００９２】
前述のように従来技術では、多数決処理或いは一致処理を満足すれば、正答、満足しなければ誤答と単純に判定している為に、正誤答判定の精度が低い。これに対して、本発明の第２の実施形態では、前記出力状態推定器５５、５６に於て、それぞれ接続されているテスト領域判定器５７、５８からのぞれぞれの前記テスト領域判定信号と前記ハミング距離計算器５３、５４からの前記中間層出力距離と前記直接出力一致検出器４８からの前記２値直接出力信号と前記変換２値直接出力信号との間の一致検出信号とから、前記２値出力ネットワーク手段４３、４７からのそれぞれの前記２値直接出力信号と前記変換２値直接出力信号の正答／誤答をぞれぞれ個別に推定し、前記出力状態判定選択処理器６２に出力状態信号として正誤答推定信号をそれぞれを送出する。
【００９３】
ここでは、前記一致検出信号を基に、一致状態検出の場合と不一致状態検出の場合とに分けて、それぞれ前記中間層出力距離と予め設定された第１、第２、第３、第４及び第５の出力距離スレショルドとの比較結果と、前記テスト領域判定信号とにより、出力状態推定として正答或いは誤答の推定を行っている。例えば、前記２値直接出力信号と前記変換２値直接出力信号とが一致した場合、テスト領域外で且つ前記中間層出力距離が該第１の出力距離スレショルドより大きいと誤答と推定する。また、その他の状態を正答と推定する。一方、不一致の場合、前記テスト領域判定信号に無関係に前記中間層出力距離が前記第２の出力距離スレショルド以上であると、誤答と推定し、それ以外であると正答と推定する。前記出力状態判定選択処理器６２では、これらの個別出力状態推定結果と、更に、前記２値出力ネットワーク手段４３からの前記２値直接出力信号と、前記変換２値直接出力信号と、それらに相対する前記２値隣接出力信号及び前記変換２値隣接出力信号との間の一致／不一致状態検出と、或いは更に夫々の前記中間層出力距離とを用いて、出力状態判定と出力信号としての出力選択を行う。
【００９４】
ここで、先ず、前記２値直接出力信号と前記変換２値直接出力信号とが不一致の場合に於て、以下の５つの場合に分けて、出力信号選択送出処理と出力状態判定処理とを行う例を示す。少なくとも、これらの前記２値直接出力信号と前記変換２値直接出力信号の何れかが誤っている。
【００９５】
尚、ここでは、簡単の為に、出力選択処理と出力状態判定処理を示す下記の表７から表１２に於て、前記第１の２値出力ネットワーク手段４３を第１ネットワーク、前記２値直接出力信号を第１直接出力、これに対応した前記２値隣接出力信号を第１隣接出力、前記第２の２値出力ネットワーク手段４７を第２ネットワーク、前記変換２値直接出力信号を第２直接出力、これに対応した前記変換２値隣接出力信号を第２隣接出力とそれぞれ記述する。
【００９６】
前記２値直接出力信号と前記変換２値直接出力信号とが不一致の場合に於て、
（１）第１直接出力と第２隣接出力が一致、且つ第１隣接出力と第２直接出力が一致の場合
表７に出力状態判定処理と出力選択処理の一例を示す。
【００９７】
【表７】
【００９８】
直接出力信号と相対する相手側の隣接出力信号が、それぞれ一致した状況にあれば、少なくとも前記２値直接出力信号か前記変換２値直接出力信号のいずれかが正答である場合が多い。従って、表７に示す出力選択と出力状態判定を行う。両個別推定結果とも正答推定の場合には、特定の側の出力を選択してもよいが、ここでは、中間層出力距離が小さい方の出力信号を選択送出する。また、両方とも誤答推定の場合にも、特定の側の出力を選択し、正答判定してもよいが、中間層出力距離が小さい方の出力信号を選択送出し、その中間層出力距離が前記第３の出力距離スレショルドHDth3以下ならば、出力状態として正答判定とし、その他の場合は、誤答判定とする。
【００９９】
（２）第１直接出力と第２隣接出力が一致、且つ第１隣接出力と第２直接出力が不一致の場合
表８に出力状態判定処理と出力選択処理の一例を示す。
【０１００】
【表８】
【０１０１】
前記２値直接出力信号と前記変換２値隣接出力信号が一致していることから、前記第１の２値出力ネットワーク手段４３の前記２値直接出力信号が正答である可能性が大である。両個別推定結果が誤答推定の場合に、前記２値直接出力信号を選択送出し、誤答判定としてもよいが、前記第１の２値出力ネットワーク手段４３の中間層出力距離が予め設定された前記第４の出力距離スレショルド（HDth4）以下であれば、正答判定とする。また、その他の場合には、誤答判定とする。
【０１０２】
前記２値直接出力信号が誤答推定で、前記変換２値直接出力信号が正答推定の場合には、前記２値直接出力信号と相対する前記変換２値隣接出力信号との一致の関係から、前記２値直接出力信号を正答、前記変換２値直接出力信号を誤答とすると、推定結果と矛盾する。しかしながら、前記第１の２値出力ネットワーク手段４３の中間層出力距離≦HDth4の場合には、前記２値直接出力信号を選択送出し、出力状態を正答判定とする。その他の場合は、誤答判定とする。
【０１０３】
（３）第１直接出力と第２隣接出力が不一致、且つ第１隣接出力と第２直接出力が一致の場合
表９に出力状態判定処理と出力選択処理の一例を示す。
【０１０４】
【表９】
【０１０５】
前記変換２値直接出力信号と前記２値隣接出力信号が一致していることから、前記第２の２値出力ネットワーク手段４７の前記変換２値直接出力信号が正答である可能性が大である。両個別推定結果が誤答推定の場合に、前記変換２値直接出力信号を選択送出し、誤答判定としてもよいが、前記第２の２値出力ネットワーク手段４３の中間層出力距離が前記第４の出力距離スレショルド（HDth4）以下であれば、正答判定とする。また、その他の場合には、誤答判定とする。
【０１０６】
前記２値直接出力信号が正答推定で、前記変換２値直接出力信号が誤答推定の場合には、前記変換２値直接出力信号と相対する前記２値隣接出力信号との一致の関係から、前記２値直接出力信号を誤答、前記変換２値直接出力信号を正答とすると、推定結果と矛盾する。しかしながら、前記第２の２値出力ネットワーク手段４７の中間層出力距離≦HDth4の場合には、前記変換２値直接出力信号を選択送出し、出力状態を正答判定とする。その他の場合は、誤答判定とする。
【０１０７】
（４）直接出力と隣接出力は不一致、且つ第１隣接出力と第２隣接出力が一致の場合
表１０に出力状態判定処理と出力選択処理の一例を示す。
【０１０８】
【表１０】
【０１０９】
前記２値隣接出力信号と前記変換２値隣接出力信号とが一致していることから、両隣接出力信号が正答で、前記２値直接出力信号及び前記変換２値直接出力信号とも誤答と考えられるが、個別推定結果を優先させる。両方の出力の個別推定結果が、正答推定の場合には、中間層出力距離が小さい方の直接出力信号を選択送出し、その出力状態を正答判定とする。また、両方の出力の個別推定結果が誤答推定の場合には、中間層出力距離が大きい方の直接出力信号を選択送出し、その出力状態を誤答判定とする。
【０１１０】
（５）直接出力と隣接出力は不一致、且つ第１隣接出力と第２隣接出力が不一致の場合
表１１に出力状態判定処理と出力選択処理の一例を示す。
【０１１１】
【表１１】
【０１１２】
前記直接出力信号と相対する前記隣接出力信号とも全て一致しない。従って、前記両直接出力信号とも誤答と考えられるが、個別推定結果を優先させる。この場合がかなり発生することから、誤答判定を基準とする。両方の出力の個別推定結果が正答推定の場合には、中間層出力距離が小さい方の直接出力信号を選択送出し、その出力状態を正答判定とする。また、両方の出力の個別推定結果が誤答推定の場合には、中間層出力距離が大きい方の直接出力信号を選択送出し、その出力状態を誤答判定とする。
【０１１３】
次に、２値直接出力信号と変換２値直接出力信号とが一致した場合の出力状態判定処理と出力選択処理の一例を表１２に示す。
【０１１４】
【表１２】
【０１１５】
前記２値直接出力信号と前記変換２値直接出力信号とが一致する場合には、殆ど正答と考えられ、推定結果に従って、最終出力信号を選択する。但し、両方の直接出力信号の個別推定結果が、同一の場合には、予め決められた特定の側の２値出力ネットワーク手段からの直接出力信号を選択送出する。個別推定結果が、正答推定及び誤答推定と異なる場合には、正答判定としているが、出力信号が誤答推定となっている２値出力ネットワーク手段の中間層出力距離が予め設定された前記第５の出力距離スレショルドHDth5以上大きい場合には、誤答判定としてもよい。これにより、判定精度が改善される。
【０１１６】
上記の正誤答判定処理及び出力選択処理に従って、前記出力状態判定選択処理器６２では、前記正誤答推定信号と、前記２値直接出力信号と前記変換２値直接信号間の一致／不一致状態検出と、及び前記２値直接出力信号と前記変換２値隣接出力信号との間の一致／不一致状態検出と、前記２値隣接出力信号と前記変換２値直接出力信号との間の一致／不一致状態検出と、前記２値隣接出力信号と相対する前記変換２値隣接出力信号との一致／不一致状態検出とを用いて、前記２値直接出力信号或いは前記変換２値直接出力信号のいずれかから、最終出力信号として選択送出すると共に、対応した出力状態判定信号として正誤答判定信号を送出する。
【０１１７】
以上のように、前記第１及び第２の２値出力ネットワーク手段４３、４７の前記中間層出力層距離、前記出力正答余裕、及び前記２値直接出力信号と前記変換２値直接出力信号間の一致／不一致状態検出などによる出力状態推定結果と、更に、前記２値直接出力信号と前記変換２値隣接出力信号間の一致／不一致状態検出と、前記変換２値直接出力信号と相対する前記２値隣接出力信号との一致／不一致状態検出と、前記２値隣接出力信号と相対する前記変換２値隣接出力信号との一致／不一致状態検出とを用いて、より正答な２値出力信号を選択送出でき、出力状態に対しても非常に高い正誤答判定精度を実現することが出来ると共に、並列ニューラルネットワーク処理システム４０としての汎化能力の大幅な改善も図ることができる。
【０１１８】
尚、各前記出力距離スレショルドは、ある一定値でもよいが、２値教師信号に対応した２値出力信号毎に異なる値を設定してもよい。或いは、同一の分類カテゴリとなる正答の２値出力信号を出力する種々のテスト入力データに対して、前記中間層出力距離を求め、その分布の平均値或いは更に標準偏差とを少なくとも用いて前記出力距離スレショルドを求め予め設定しても良い。また、中間層出力距離と出力距離スレショルドとの大小比較でもよいが、中間層距離と出力距離スレショルドとの差の大小関係を比較に用いても良い。
【０１１９】
第２の実施形態では、中間層基準出力検出格納器４９、５０とハミング距離計算器５３をそれぞれ分けて説明したが、これらを一緒にして中間層基準出力信号を格納し、距離計算をする距離計算処理器として構成してもよい。また、第１の実施の形態と同様に、出力状態判定選択処理器６２に於て、最終出力信号として、選択された２値出力信号に対応する出力層出力信号を送出してもよい。
【０１２０】
ここでは、正しい所望の２値出力信号を送出するテスト入力データだけから上記のテスト内正答出力領域を求めたが、準備されている全てのテスト入力データを基にテスト内正答出力領域を求める場合には、前記学習入力データを用いてニューラルネットワークの学習処理を終了させた後、更に誤った２値出力信号を送出するテスト入力データを学習入力データとして追加学習し、この追加学習を繰り返すことにより、最終的に全てのテスト入力データに対して全て正しい２値出力信号を送出するよう学習させることができる。このような追加学習を行った後、その結合重み係数を用いて学習済みニューラルネットワーク４１、４４に設定し、これらの全てのテスト入力データに対してテスト内正答出力領域を収集してもよい。
【０１２１】
本第２の実施形態の並列ニューラルネットワーク処理システム４０において、上記説明のごとく異なった教師信号に対して学習済みの２並列接続された前記第１及び第２の２値出力ネットワーク手段４３、４７を用いているが、ここで、特願平１１−２２９１９２のように、並列度を増やす為に、これらの２値出力ネットワーク手段４３、４７の他に、更に異なった変換２値教師信号による学習済みのニューラルネットワークを用いた、前記第２の２値出力ネットワーク手段４７と同様の構成をもった新たな２値出力ネットワーク手段を用意し、前記入力データに対して並列接続してもよい。この増設された該２値出力ネットワーク手段には、前記２値出力ネットワーク手段４７と同様にスレショルド回路５２、ハミング距離計算器５４、中間層基準出力検出格納器５０、テスト領域判定器５８とそれぞれ同一構成のものを接続し、更に、前記直接出力一致検出器４８の代わりに、多数決処理器を設ければよい。
【０１２２】
更に、全ての２値出力ネットワーク手段からの２値直接出力信号と変換２値直接出力信号との間で一致／不一致に対する多数決処理（投票処理）した個別出力状態推定と、相対する２値隣接出力信号も含めた多数決処理とにより、上記に説明した出力状態判定処理方法と出力選択処理方法を拡張して用いてもよい。これにより、並列ニューラルネットワーク処理システム４０の汎化能力をより一層改善でき、出力状態判定精度も著しく改善される。更に、本発明の並列ニューラルネットワーク処理システムを基本システムとし、特願２０００−０５７２６３の如く、基本システムと、入力変換手段を基本システムの入力段に接続した入力変換基本システムとを並列接続してもよい。これにより、非常に汎化能力の優れ、一段と幅広い入力データ領域に於て正答な最終出力信号が得られ、而もその出力状態判定精度も非常に高くなる。
【０１２３】
尚、第２の実施形態に於て、学習済みニューラルネットワーク４１、４４として、それぞれ異なる２値教師信号を用いて学習させたが、それぞれ異なる３値以上の多値教師信号を用いて学習させ、２値化するスレショルド回路４２、４５の代わりに、多値スレショルド回路を用い、隣接出力生成器３７、３６、５９、６０に於ては、リー距離を用いて多値隣接出力信号を生成すればよい。テスト領域判定器５８も当然多値信号に対して簡単に対応出来る。これにより、正誤答判定信号と多値出力信号とを送出する並列多値ニューラルネットワーク処理システムを構成することも出来る。尚、中間層出力距離や中間層基準信号に関しては、２値、多値、或いは連続値何れでもよい。
【０１２４】
第１及び第２の実施の形態に於て、入力データを入力して並列ニューラルネットワーク処理システム４０を動作させた際、端子２６から誤答判定された最終出力信号が得られた場合には、これに対応した入力データを学習入力データとして、前記学習済みニューラルネットワークの結合重み係数を初期値として追加学習して、新たな結合重み係数を得、前記学習済みニューラルネットワーク４１、４４に設定し、前記並列ニューラルネットワーク処理システム４０を動作させてもよい。この一連の追加学習処理を繰り返すことにより汎化能力や汎化領域の改善が図れ、より高い正答判定率とより高い判定精度を得ることが出来る。
【０１２５】
尚、第２の実施の形態では、この追加学習を行った際には、学習入力データを初めとする学習条件が変わると、前記学習済みニューラルネットワーク４１、４４の結合重み係数が変化することから、これらのテスト内正答出力領域や中間層基準出力信号をその都度求めなおし、中間層基準出力検出格納器４９、５０及びテスト領域判定器５７、５８に予めそれぞれ格納する。従って、出力距離スレショルド及びテスト内出力正答領域も求めなおして設定する必要がある。
【０１２６】
また、上記の第１及び第２の実施の形態に於て、出力状態判定選択処理器３９、６２に於て、選択された２値出力信号に対応する出力層出力信号を最終出力信号として送出してもよいし、選択された２値出力信号も同時に最終出力信号としてもよい。更に、出力状態判定として、正誤答判定の例を説明したが、正答／不明判定などの判定を行っても良く、出力信号の出力状態に対して、少なくとも正答判定とそれ以外の状態に判定できればよい。
【０１２７】
学習方法として、バックプロパゲーション法を前提に説明したが、教師信号を用いた学習ならいずれの学習法でもよい。また、上記の実施形態に於て、学習済みニューラルネットワークとしてローカルミニマム状態に収束させたものを用いてもよいが、汎化能力及び汎化領域ともグローバルミニマム状態で収束した場合より劣化することから、汎化能力及び正誤答判定に於ける判定精度も劣化する。
【０１２８】
また、前記教師信号コード変換器１３を介して得られる前記変換２値教師信号として、前記第１の２値教師信号から、例えば、前記第１の２値教師信号の２値補数からなる２値教師信号や、前記入力データと前記第１の２値教師信号との分類カテゴリとしての対応関係をシフトした２値教師信号を用いてもよい。或いは、前記入力データと前記第１の２値教師信号との分類カテゴリとしての対応ずけをランダムに割当てた新たな２値教師信号を用いてもよい。このコード変換された前記変換２値教師信号としては、前記出力変換器３４、３８、４６、６１に於て前記変換２値教師信号を前記第１の２値教師信号へ逆変換することができれ、如何なる変換２値教師信号でもよい。前述した、教師信号を用いて学習するニューラルネットワークの構成を特定するものではない。また、前述した出力状態判定選択処理器３９、６２及び出力状態推定器５５、５６は、本発明の技術的概念及び見地の範囲の種々の変更、修正及び省略が、当業者によれば容易に行うことができる。従って、前述の説明はあくまで１例であり、何ら制約しようとするものではない。
【０１２９】
以上本発明の実施の形態について、詳述してきたが、具体的な構成例は、上記の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更であっても本発明に含まれる。
【０１３０】
【発明の効果】
以上述べたように、従来方式では、汎化領域をずらす為に、学習の際に種々の異なった結合重み係数の初期値に対してローカルミニマムに収束させる試行錯誤と数多くのニューラルネットワークが必要で、その演算処理量も膨大となり、而も目標とする性能に対して簡単に設計ができない。また、複数個の学習済みニューラルネットワークを入力データに対して並列接続し、入力データに対する２値出力信号の単なる多数決処理や一致検出などによる正答誤答判定や正答不明判定を行っており、汎化能力や正誤答の判定精度や２値出力信号の正答率なども低い。
【０１３１】
一方、本発明の出力状態判定機能を有した並列ニューラルネットワーク処理システムは、それぞれ異なった多値教師信号を用いて学習させ、グローバルミニマムに収束した学習済みニューラルネットワークを用いており、汎化能力も非常に高く安定であり、汎化領域も広く、而も簡単にずらすことができる。従って、少ない数の並列接続のニューラルネットワークを用いればよく、演算処理も少なく学習が簡単で、且つ試行錯誤が不要である。また、それらの学習済みニューラルネットワークの汎化能力及び汎化領域とも高性能で非常に安定していることから、２値出力信号間の一致／不一致状態検出と、ニューラルネットワークの内部状態としての、中間層出力距離やテスト内正答出力領域を用いた精度の高い出力状態推定が得られる。更にこの出力状態推定結果と、それぞれの直接出力信号及び相対する隣接出力信号との間の一致／不一致状態検出とを基に、非常に安定した高い精度の出力状態判定と正答の出力選択送出ができる。従って、高い汎化能力が実現でき、同時に、高い正答判定率と高い判定精度が容易に得られる。このことから、並列ニューラルネットワーク処理システムに於て、必ずしも数多くの並列のニューラルネットワークを用いる必要がなく、構成が簡単になる。
【０１３２】
これらの結果から、本発明の出力状態判定機能を有する並列ニューラルネットワーク処理システムをパターン認識等に実用した際、未知入力データに対する出力信号の正誤答判定が得られ、而もその正誤答判定の精度が非常に高いことから、出力信号が誤答と判定された未知入力データに対しては、正しい教師信号の対応ずけを行ない、並列接続されたそれぞれのニューラルネットワークを追加学習させ、得られた結合重み係数で置き換えるにより、並列ニューラルネットワーク処理システムの汎化能力と正誤答判定精度を急激に向上させることが簡単に出来る。
【０１３３】
従って、パターン認識処理などに用いる際に、詳細な学習入力データを事前に取得した後に、ニューラルネットワークを学習させて使用する必要は必ずしもなく、少なくとも非常に特徴のある学習入力データを学習コアー入力データとしてまず学習させ、現実の使用環境の元で、高い汎化能力と精度の高い出力状態判定能力を利用して、而も誤答の出力信号を送出する未知入力データ収集を迅速に行ない、これらを追加学習させることにより、正誤答判定機能を有する並列ニューラルネットワーク処理システムの正答判定能力と汎化能力を同時に著しく高めることが出来き、実用環境に適したパターン認識率の非常に高い高性能な並列ニューラルネットワーク処理システムを簡単に実現出来る。
【０１３４】
上述のように本発明の出力状態判定機能を有する並列ニューラルネットワーク処理システムは、従来方式に比べて、少ない数の学習済みニューラルネットワークを並列接続し使用しても非常に高い性能が簡単に得られ、構成が簡単になり演算処理量も非常に少ない利点を持つ。また、異なった教師信号を用いてグローバルミニマムに収束させたニューラルネットワークを用いることから、試行錯誤を必要とせず、学習処理が大幅に少なく動作も安定している。
【０１３５】
従って、従来技術では実現が困難な大規模ニューラルネットワークに対しても本発明の並列ニューラルネットワーク処理システムを用いて短時間で設計し実現することが出来、非常に高性能な正誤答判定能力や高い汎化能力が要求される人口知能システムやネットワーク障害情報処理システムなどの通信ネットワーク処理システム、或いは検索システム、画像処理システムなどのシステムへの幅広い応用ができるなど、非常に幅広い効果を有している。
【図面の簡単な説明】
【図１】 第１の実施形態における本発明の出力状態判定機能を有した並列ニューラルネットワーク処理システムの１構成例である。
【図２】 従来方式における３層ニューラルネットワークの学習処理の１構成例である。
【図３】 従来方式による出力状態判定機能を有した並列ニューラルネットワーク処理システムの１構成例である。
【図４】 第２の実施形態における本発明の出力状態判定機能を有した並列ニューラルネットワーク処理システムの１構成例である。
【符号の説明】
１ ３層ニューラルネットワーク
２ 入力信号入力端子
２1 入力ユニット端子
２2 入力ユニット端子
２N 入力ユニット端子
３ ２値出力端子
３1 ２値出力ユニット端子
３2 ２値出力ユニット端子
３M ２値出力ユニット端子
４ 入力層
４１ 入力層ユニット
４２ 入力層ユニット
４Ｎ 入力層ユニット
５ 中間層
５1 中間層ユニット
５P 中間層ユニット
６ 出力層
６1 出力層ユニット
６2 出力層ユニット
６M 出力層ユニット
７ 結合重み係数制御器
８ ２値教師信号入力端子
８1 ２値教師信号入力ユニット端子
８2 ２値教師信号入力ユニット端子
８M ２値教師信号入力ユニット端子
９ スイッチ回路
１０ 減算器
１０1 減算器
１０2 減算器
１０M 減算器
１１ 結合重み係数入出力端子
１２ スレショルド回路
１２1 スレショルド回路
１２2 スレショルド回路
１２M スレショルド回路
１３ 教師信号コード変換器
１４ 従来技術による並列ニューラルネットワーク処理システム
１５ 第１の学習済みニューラルネットワーク
１６ スレショルド回路
１７ 第１の２値出力ネットワーク手段
１８ 第２の学習済みニューラルネットワーク
１９ スレショルド回路
２０ 第２の２値出力ネットワーク手段
２１ 第３の学習済みニューラルネットワーク
２２ スレショルド回路
２３ 第３の２値出力ネットワーク手段
２４ 多数決処理器
２５ 出力選択処理器
２６ 最終出力信号出力端子
２７ 出力状態判定信号出力端子
２８ 本発明の第１の実施形態のニューラルネットワーク処理システム
２９ 学習済みニューラルネットワーク
３０ スレショルド回路
３１ 第１の２値出力ネットワーク手段
３２ 学習済みニューラルネットワーク
３３ スレショルド回路
３４ 出力変換器
３５ 第２の２値出力ネットワーク手段
３６ 隣接出力生成器
３７ 隣接出力生成器
３８ 出力変換器
３９ 出力状態判定選択処理器
４０ 本発明の第２の実施形態における並列ニューラルネットワーク処理システム
４１ 学習済みニューラルネットワーク
４２ スレショルド回路
４３ 第１の２値出力ネットワーク手段
４４ 学習済みニューラルネットワーク
４５ スレショルド回路
４６ 出力変換器
４７ 第２の２値出力ネットワーク手段
４８ 直接出力一致検出器
４９ 中間層基準出力検出格納器
５０ 中間層基準出力検出格納器
５１ スレショルド回路
５２ スレショルド回路
５３ ハミング距離計算器
５４ ハミング距離計算器
５５ 出力状態推定器
５６ 出力状態推定器
５７ テスト領域判定器
５８ テスト領域判定器
５９ 隣接出力生成器
６０ 隣接出力生成器
６１ 出力変換器
６２ 出力状態判定選択処理器
【発明の属する技術分野】
本発明は、ネットワークアラーム処理、各種パターン認識、データマイニング及び画像処理などの分野に適用可能なニューラルネットワークにおいて、学習済みのニューラルネットワークを用いて入力データを処理する際に、学習入力データやテスト入力データ以外の未知入力データが入力された場合にも、その出力が正しいか誤りか、即ち正答か誤答か、或いは不明かを判定することができる出力状態判定機能を有した並列ニューラルネットワーク処理システムに関するものである。
【０００２】
【従来の技術】
従来のニューラルネットワークには、文献 麻生英樹著、「ニューラルネットワーク情報処理」、産業図書出版などに示されているように、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。
【０００３】
特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが種々幅広く実用されている。ここでは、教師付き学習を行う多層ニューラルネットワークを例にとり、出力状態判定機能として正答／誤答判定機能を有するニューラルネットワーク手段の従来技術について説明する。また、説明を簡単にする為に、パターン認識などにおいて於て見られる２値教師信号を用いて学習させ、２値出力信号を送出させることとする。
【０００４】
先ず、多層ニューラルネットワークの学習処理の構成について説明する。図２は、３層ニューラルネットワークの学習処理の１構成例を示す。Ｎ個のユニットからなる入力層４、Ｐ個のユニットからなる中間層５及びＭ個のユニットからなる出力層６から構成される。
【０００５】
多層ニューラルネットワークへの入力データＩは、Ｉ1、Ｉ２、．．ＩNの入力データエレメントを持ったベクトルから構成され、入力端子２を介してそれぞれ対応した入力層４のユニットに入力された後、更に中間層５の各ユニット（隠れユニット）にそれぞれ重み付けされ出力される。中間層５では、入力層４の各ユニットからの重み付けされた出力の総和を入力とし、スレショルド値を差し引いた後、シグモイド関数と呼ばれる非線形入出力特性を持った関数を介して出力される。出力層６においても中間層５と同様な入出力処理が行われた後、各出力層ユニットからそれぞれ対応した出力信号をスレショルド回路１１を介して２値出力信号に変換し、２値出力端子３を介してニューラルネットワーク１の２値出力信号（２値出力信号エレメント、Ｐ1、Ｐ２、．．ＰM）として送出する。３層以上の多層の際にも、各層におけるそれぞれのユニットは、入力側の隣接層の各ユニットの出力信号に重み付けをした後、それらの総和を入力として得、更にその入力からスレショルド値を差し引いた後、シグモイド関数などを介し出力層側の隣接層に出力信号を送出する。
【０００６】
このような多層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムがある。
【０００７】
本アルゴリズムを用いた学習過程では、結合重み係数に対して乱数などを用いて初期値設定した後、予め用意された２値教師信号Ｔ（教師信号エレメント、Ｔ1、Ｔ２、．．ＴM）と、入力層４に端子２を介して入力された予め用意された学習入力データに対する出力層６のユニットからの出力信号との誤差信号を減算回路１０を介して求め、結合重み係数制御器７に入力する。
【０００８】
結合重み係数制御器７では、端子１１を介して入力された各層のユニットからの出力信号と前記誤差信号とを基に誤差電力を最小にするように各層間の結合重み係数Ｗ（例えば、Ｗ(1)は入力層と中間層の間の結合重み係数、Ｗ(2)は中間層と出力層間の結合重み係数）の修正値を求め、端子１１を介して３層ニューラルネットワーク１の各結合重み係数を更新する結合重み係数適応制御による学習を行うものである。
【０００９】
この適応制御による学習をすべての学習入力データに対して繰り返し、学習過程に於て収束する（平均出力誤差電力がある既定値以下となる）と、学習入力データに対するスレショルド回路１２を介して得られた２値出力信号が２値教師信号と同一となる。しかしながら、誤差電力を極小にするローカルミニマム状態に一旦落ち込むと、全ての学習入力データに対して所望の２値出力信号が必ずしも得られず、２値教師信号と異なる２値出力信号を送出する場合が多い。
【００１０】
このようにローカルミニマムの状態で収束した場合には、学習入力データに似たテスト入力データを入力した際に、所望の２値出力信号を送出する汎化能力があまり良くない。また、設定された結合重み係数の初期値によって正答の出力信号を送出する入力データの領域、即ち汎化領域が異なり、初期値依存性がある。
【００１１】
パターン認識などに於て、このようなローカルミニマムに収束した学習済みのニューラルネットワークを用いて、入力データに対して実行処理を行わせる際に、汎化能力が優れていない場合には、学習入力データに近い入力データに対して正しい２値出力信号が得られず、多くの誤認識が発生する。実用の際には、学習入力データやテスト入力データ以外の未知入力データが入力される場合が非常に多いが、これらの多くの未知入力データを学習させる為に事前に収集することは困難な場合が多い。従って、未知入力データに対して所望の正しい２値出力信号が得られているかどうか、即ち正答な２値出力信号が送出されているかどうかを知る事は、非常に重要である。正答な２値出力信号が送出されていないことが判明した場合には、それらの未知入力データを収集して、追加学習などを行い、ニューラルネットワークの性能を改善し、できるだけ正答な２値出力信号を送出させる必要がある。
【００１２】
従来技術として、異なる結合重み係数初期値を設定して学習させた複数個の学習済みニューラルネットワークを入力に対して並列に接続し、それらの２値出力信号を多数決処理して入力データに対する汎化能力を改善し、而も正答判定や誤答判定、或いは判定不明などの正誤答判定信号を得る並列ニューラルネットワーク処理システムがある。例えば、D. Sarkar, "Randomness in Generalization Ability: A Source to Improve It," IEEE Trans. Neural Networks Vol.7, No.3, May 1996, pp.676-685. 及び中川徹、他 "複数の乱数化ANNを用いて高信頼なパターン識別とその応用" 電子情報通信学会、信学技報 NC98-155, 1999, 3月などがある。この従来方式による並列ニューラルネットワーク処理システムの１例を以下に示す。
【００１３】
図３に、従来方式による入力データに対する正誤答判定或いは不明判定などの正誤答判定信号を送出する並列ニューラルネットワーク処理システム１４の１構成例を示す。上述のように、異なった結合重み係数の初期値を用いてぞれぞれ学習済みの第１、第２及び第３のニューラルネットワーク１５、１８、２１を入力に対して並列接続している。更に、各単体の前記ニューラルネットワーク１５、１８、２１の出力層６のユニットからの出力信号はそれぞれスレショルド回路１６、１９、２２を介して２値出力信号に変換され送出され、３入力の多数決処理器２４にそれぞれ入力される。ここで、第１の２値出力ネットワーク手段１７は、前記第１の学習済みニューラルネットワーク１５と前記スレショルド回路１６から構成される。同様に、第２及び３の２値出力ネットワーク手段２０、２３は、前記第２及び第３の学習済みニューラルネットワーク１８、２１と前記スレショルド回路１９、２２とからそれぞれ構成されている。
【００１４】
前記多数決処理器２４では、前記２値出力ネットワーク手段からの２値出力信号の内２個以上が一致すれば、出力状態判定信号として正答判定信号を端子２７から送出し、同時にその２値出力信号を端子２６から最終出力信号として送出する。また、それ以外の場合には、不明或いは誤答と見做し、端子２７から正誤答判定信号を出力状態判定信号として出力する。不明或いは誤答と判定された場合には、予め定められた２値出力ネットワーク手段からの２値出力信号を並列ニューラルネットワーク処理システム１４の最終出力信号として選択送出する。
【００１５】
このような多数決処理器２４からの多数決判定に従って正答、或いは誤答の正誤答判定信号を得、２値出力ネットワーク手段からの２値出力信号を最終的に選択することから、単体の学習済みニューラルネットワーク１５、１８、２１の汎化能力より若干高い汎化能力を得ることが出来る。しかしながら、異なる結合重み係数初期値の設定を行ないローカルミニマムに各ニューラルネットワークを収束させ学習済みとして用いることから、高い汎化能力は得られない欠点を有している。従って、正答率の高い２値出力信号が得にくく、而も正答の判定精度も低い欠点がある。例えば、正答判定の精度は、８０％程度で飽和している。また、２０％程度の不明判定となっている。
【００１６】
ここでは、多数決処理器２４を用いた場合について説明したが、これに代わり一致検出器を用いる場合もある。一致検出器を用いた場合には、一致すると正答と判定することにより、正答判定の精度は改善されるものの、不明判定や誤答判定が増加する。
【００１７】
【発明が解決しようとする課題】
上記の如く構成した従来の並列ニューラルネットワーク処理システム１４では、学習済みニューラルネットワーク１５、１８、２１は、同一の構造を有し、而も同一の学習アルゴリズムに対して、それぞれ異なった結合重み係数初期値を用いて同一の教師信号に対して学習を行っている。従って、これらのニューラルネットワーク１５、１８、２１が同一のグローバルミニマムに収束すると、入力データに対する２値出力信号が正答或いは誤答に関らず殆ど一致してしまうことから、それらを並列接続して、入力データに対するそれぞれの２値出力信号を多数決処理しても、正答の場合には全てが正答となり、一方、誤答や不明の場合は全て同様な状態となることから並列接続と多数決処理を用いた効果が非常に小さい。従って、できるだけ異なったローカルミニマムに収束するよう学習させ、それぞれ異なった、正答の出力信号を送出する入力データの領域、即ち汎化領域を実現する必要がある。
【００１８】
これらの理由から、それぞれ異なりずれた汎化領域を持たせるには、並列接続される学習済みニューラルネットワークとしてローカルミニマム状態で学習を終了させ使用する必要があり、汎化能力が余り高くなく、誤った２値出力信号を出しやすい。従って、入力データに対して出来るだけ正答な２値出力信号を得、而も精度の高い正誤答判定信号を得る為には、多くの学習済みニューラルネットワークを並列接続し、多数決処理をする必要があり、構成が複雑かつ処理量が増加する欠点がある。また、正答／誤答或いは不明の判定を、単に多数決処理のみで行っており、誤った２値出力信号に対してもお互いに同一な誤りならばそのまま正答とみなすなど、入力データに対する正答判断の精度が然程高くない欠点を持っている。
【００１９】
従って、並列の学習済みニューラルネットワーク数を増加させ多数決処理を行っても、ローカルミニマムに収束していることから正答判定率やその精度に飽和状態が生じ、汎化能力は若干改善されるもの、正答判定の精度や正答判定率は余り改善されない。特に、単体の学習済みネットワークの汎化能力が低く場合には、不明判定が多く発生し、正答の判定が低下すると共にそのの精度も劣化する。このように、従来の方式では、高い汎化能力と正答判定率とその精度向上とを同時に達成させるには限界がある。
【００２０】
また、結合重み係数の初期値によって、正答の出力信号を与える入力データの領域、即ち汎化領域が異なることを利用しているが、初期値によってどの程度異なった汎化領域が得られるかは、落ち込むローカルミニマムにより決まり、予め予測出来ない。従って、実際に種々の初期値を与えニューロネットワークを学習させた後、学習済みニューラルネットワークを並列接続し動作させて、初めて評価されるなどの欠点もある。特に、これらの欠点は、大規模ニューラルネットワークでは、種々の結合重み係数の初期値を用いてローカルミニマムに収束させる為の学習処理とテスト入力データに対する汎化能力と汎化領域との評価を繰り返し行なう試行錯誤が必要となり、満足できる結果を得るには膨大な作業を要し、実用的でない。
【００２１】
本発明の目的は、上記の問題を解決し、従来の正誤答判定機能を有した並列ニューラルネットワーク処理システムなどに比べて、少ない並列度の学習済みニューラルネットワークを用いて、高精度な正答判定或いは誤答判定を送出する正誤答判定信号を得ると共に、単体の学習済みニューラルネットワークよりも汎化能力の非常に優れ、正答判定率の高い多値出力信号を送出することができる正誤答判定機能を有する並列ニューラルネットワーク処理システムを提供することにある。
【００２２】
【課題を解決するための手段】
本発明の特徴は、学習入力データと第１の多値教師信号とを用いて学習した学習済みニューラルネットワーク２９、４１と該学習済みニューラルネットワーク２９、４１の出力層出力信号を多値化し多値直接出力信号を送出する多値スレショルド手段３０、４２とからなる、第１の多値出力ネットワーク手段３１、４３と、
前記第１の多値教師信号を変換し得られた異なる変換多値教師信号と前記学習入力データとを用いて学習した学習済みニューラルネットワーク３２、４４と該学習済みニューラルネットワーク３２、４４の出力層出力信号を多値化し多値出力信号を送出する多値スレショルド手段３３、４５と前記変換多値教師信号から前記第１の多値教師信号への逆変換則を有し、該多値スレショルド手段３３、４５からの該多値出力信号を変換し、変換多値直接出力信号を送出する出力変換手段３４、４６とからなる、少なくとも１つ以上の第２の多値出力ネットワーク手段３５、４７とを、
入力データに対して並列接続し、
前記第１の多値出力ネットワーク手段３１、４３からの前記多値直接出力信号と隣接関係にある多値隣接出力信号を生成する隣接出力生成手段３６、５９と、
一つ以上の前記第２の多値出力ネットワーク手段３５、４７内の前記多値スレショルド手段３３、４５からの前記多値出力信号と隣接関係にある第２多値隣接出力信号をそれぞれ生成し送出する一つ以上の隣接出力生成手段３７、６０と、
前記変換多値教師信号から前記第１の多値教師信号への逆変換則を有し、該第２多値隣接出力信号を変換して、変換多値隣接出力信号をそれぞれ送出する一つ以上の出力変換手段３８、６１と、
前記多値直接出力信号と、一つ以上の前記第２の多値出力ネットワーク手段３５、４７からの夫々の前記変換多値直接出力信号と、前記多値隣接出力信号と、一つ以上の前記出力変換手段３８、６１からの夫々の前記変換多値隣接出力信号との間の一致／不一致状態検出を少なくとも用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の何れかを少なくとも選択する出力状態判定選択処理手段３９、６２とを
少なくとも具備し構成する並列ニューラルネットワーク処理システムにある。
【００２３】
前記多値出力ネットワーク手段４３、４７において、前記多値教師信号毎に対応した学習コアー入力データを含む前記学習入力データを用いて学習させたそれぞれの前記学習済みニューラルネットワーク４１、４４の夫々の中間層ユニットからの、前記学習コアー入力データに対する中間層出力信号を夫々中間層基準出力信号とし、該中間層基準出力信号 を、対応した前記第１の多値教師信号と前記変換多値教師信号夫々を用いて
予め格納し、前記多値直接出力信号と前記第２の多値出力ネットワーク手段４７からの前記多値出力信号とを用いて夫々対応した前記中間層基準出力信号を読み出す２つ以上の中間層基準出力検出格納手段４９、５０と、
前記入力データに対する前記第１多値出力ネットワーク手段４３及び１つ以上の前記第２の多値出力ネットワーク手段４７からの夫々の前記中間層出力信号と前記中間層基準出力検出格納手段４９、５０から夫々読み出され、対応した前記中間層基準出力信号との距離を計算し中間層出力距離として送出する２つ以上の中間層距離計算手段５３、５４と、
前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号との間の一致／不一致状態を検出し、直接出力一致検出信号を送出する直接出力一致検出手段４８と、
２つ以上の前記中間層出力距離のそれぞれと、前記直接出力一致検出信号とを少なくとも用いて、前記多値直接出力信号及び前記変換多値直接出力信号のそれぞれの出力状態推定を行い出力状態推定信号をそれぞれ送出する２つ以上の出力状態推定手段５５、５６とを
少なくとも具備し、
前記出力状態判定選択処理手段６２に於て、２つ以上の前記出力状態推定手段５５、５６からのそれぞれの前記出力状態推定信号と、
前記多値直接出力信号と一つ以上の前記第２の多値出力ネットワーク手段４７からの夫々の前記変換多値直接出力信号と前記多値隣接出力信号と一つ以上の前記出力変換手段６１からの夫々の前記変換多値隣接出力信号との間の前記一致／不一致状態検出とを少なくとも用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の何れかを選択する。
【００２４】
テスト入力データを前記第１及び１つ以上の第２の多値出力ネットワーク手段４３、４７に入力し、対応した前記２値直接出力信号及び該第２の多値出力ネットワーク４７各々からの前記２値出力信号が夫々正答な前記第１の多値教師信号及び前記変換多値教師信号に一致する該テスト入力データに対して、夫々の前記出力層出力信号の出力層ユニット毎の正答を与える出力正答余裕を求め、該出力正答余裕各々の最大値と最小値とからなる範囲を示すテスト内正答出力領域を夫々得、各々の該テスト内正答出力領域を対応した前記第１の多値教師信号と前記変換多値教師信号夫々を用いて予め格納し、前記多値直接出力信号及び前記第２多値出力ネットワーク手段４７からの前記多値出力信号とを夫々用いて、対応した前記テスト内正答出力領域を読み出し、テスト領域内かテスト領域外かを判定し、テスト領域判定信号として夫々送出する２つ以上のテスト領域判定手段５７、５８を具備し、
前記出力状態推定手段５５、５６に於て、更に、それぞれの前記テスト領域判定信号を用いて、対応した出力状態推定をする。
【００２５】
前記出力状態判定選択処理手段６２に於て、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号にそれぞれ対応した前記中間層出力距離を更に用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の何れかを選択する。
【００２６】
前記出力状態判定選択処理手段３９、６２に於て、前記一致／不一致状態検出を少なくとも用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の出力状態判定を夫々行ない、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号から選択された多値出力信号に対応した出力状態判定信号を送出する。
【００２８】
前記出力状態判定選択処理手段３９、６２に於て、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号から選択された多値出力信号を最終出力信号として送出する。
【００２９】
前記出力状態判定選択処理手段３９、６２に於て、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号から選択された多値出力信号に対応した前記学習済みニューラルネットワーク２９、３２、４１、４７からの前記出力層出力信号を最終出力信号として送出する。
【００３０】
本発明の出力状態判定機能を有した並列ニューラルネットワーク処理システムは、第１の多値教師信号を用いて学習させた学習済みニューラルネットワークを持った第１の多値出力ネットワーク手段と、異なった変換多値教師信号を用いて学習させた学習済みニューラルネットワークを持った第２の多値出力ネットワーク手段とを入力に対して並列に接続し、第１の多値出力ネットワーク手段からの多値直接出力信号と、出力変換器を持った第２の多値出力ネットワーク手段からの変換多値直接出力信号との一致／不一致検出或いは多数決処理結果と、中間層基準出力信号と入力データに対する学習済みニューラルネットワークの中間層ユニットからの中間層出力信号との中間層出力距離を求め、中間層出力距離比較と、学習済みニューラルネットワークの出力層ユニットからの出力正答余裕に対するテスト領域判定とを基にした、これらの多値直接出力信号及び変換多値直接出力信号の出力状態推定を行っている。この出力状態推定と、第１の多値出力ネットワーク手段からの多値直接出力信号と、その隣接した多値隣接出力信号と、並列接続されているそれぞれの第２の多値出力ネットワーク手段からの変換直接出力信号とその変換多値隣接出力信号との間の一致／不一致状態の関係を利用することにより、より正確に出力状態判定を行ない、最終出力信号として、多値直接出力信号或いは変換多値直接出力信号からより正答な選択送出ができる。また、それに対応した正確な出力状態判定信号も送出することが出来る。
【００３１】
従って、従来方式の並列ニューラルネットワーク処理システムに比べて非常に高精度に且つ安定に正答／誤答などの出力状態判定を容易に得え、而も汎化能力を非常に高くできる。また、ネットワーク障害検出や種々のパターン認識などへの応用の際に、最終出力信号の出力状態判定信号から、学習済みニューラルネットワークに対する追加学習を必要とする誤答の未知入力データ収集が簡単に行う事ができ、それらを追加学習させることにより、より高い汎化能力と非常に高精度な出力状態判定機能を持った並列ニューラルネットワーク処理システムを簡単に実現出来る。また、従来方式のような学習の際の結合重み係数の初期設定に於ける試行錯誤も不要で、迅速且つ簡単に本発明の並列ニューラルネットワーク処理システムを設計することが出来る。
【００３２】
【発明の実施の形態】
以下に本発明の並列ニューラルネットワーク処理システムの実施形態の例をあげ、その構成及びその動作について、詳細に説明する。ここでは、２値教師信号を用いた場合を例にあげ説明する。
【００３３】
［第１の実施の形態］
本発明の第１の実施形態の並列ニューラルネットワーク処理システム２８を図１に示す。２つのニューラルネットワークを並列接続し、２値の教師信号を用いた構成例を示す。
【００３４】
第１の２値教師信号と学習入力データとを用いて学習させた学習済みニューラルネットワーク２９とスレショルド回路３０とからなり、２値直接出力信号を送出する第１の２値出力ネットワーク手段３１と、前記第１の２値教師信号をコード変換して得た変換２値教師信号と前記学習入力データとを用いて学習させた学習済みニューラルネットワーク３２とスレショルド回路３３と出力変換器３４とからなり、変換２値直接出力信号を送出する第２の２値出力ネットワーク手段３５とを、入力データに対して並列に接続し、前記２値直接出力信号に対応した２値隣接出力信号を生成する隣接出力生成器３６と、前記スレショルド回路３３からの２値出力信号に対応した２値隣接出力信号を生成する隣接出力生成器３７と、該２値隣接出力信号を変換し変換２値隣接出力信号を送出する出力変換器３８と、出力状態判定を行ない、前記２値直接出力信号か前記変換２値直接出力信号かのいずれかを最終出力信号として選択送出し、併せてそれに対応した出力状態判定信号を送出する出力状態判定選択処理器３９とから構成される。
【００３５】
ここで、前記学習済みニューラルネットワーク２９及び３２は、図２に示すように入力層４、中間層５及び出力層６の３層を持ち、同一構成である。前記スレショルド回路３０は、前記学習済みニューラルネットワーク２９の出力層６のユニットの出力信号を２値化した２値出力信号を送出する。前記スレショルド回路３３も、同様に前記学習済みニューラルネットワーク３２の出力層６のユニットの出力信号を２値化し２値出力信号を送出する。
【００３６】
前記出力変換器３４は、前記変換２値教師信号を前記第１の２値教師信号へ逆変換する変換則を有し、前記スレショルド回路３３からの前記２値出力信号を変換し、前記変換２値直接出力信号として第２の２値出力ネットワーク手段３５から送出し、前記出力状態判定選択処理器３９へ入力する。一方、前記出力変換器３８は、前記出力変換器３４と同一の変換則を有し、前記隣接出力生成器３７からの前記２値隣接出力信号を変換し、前記変換２値隣接出力信号として前記出力状態判定選択処理器３９に送出する。
【００３７】
前記隣接出力生成器３６は、前記第１の２値出力ネットワーク手段３１から送出された前記２値直接出力信号を用いて、予め指定されたハミング距離以内の離れた前記２値隣接出力信号を生成し、前記出力状態判定選択処理器３９に送出し、前記隣接出力生成器３７は、前記第２の２値出力ネットワーク手段３５内の前記スレショルド回路３３から送出された前記２値出力信号を用いて、該ハミング距離以内の離れた前記２値隣接出力信号を生成し、前記出力変換器３８に送出する。
【００３８】
前記出力状態判定選択処理器３９は、前記２値直接出力信号と前記変換２値直接出力信号との間の一致／不一致状態検出と、前記２値直接出力信号と相対する前記変換２値隣接出力信号との間の一致／不一致状態検出と、前記変換２値直接出力信号と相対する前記２値隣接出力信号との間、及び前記２値隣接出力信号と相対する前記変換２値隣接出力信号との間のそれぞれの一致／不一致状態検出とを基に、出力状態判定を行ない、前記第１の２値出力ネットワーク手段３１からの前記２値直接出力信号か、前記第２の２値出力ネットワーク手段３５からの前記変換２値直接出力信号かの何れかを選択し、端子２６から並列ニューラルネットワーク処理システム２８の前記最終出力信号として送出し、併せて、それに対応した前記出力状態判定信号としての正誤答判定信号を端子２７から送出する。
【００３９】
以下、これらの動作について詳細に説明する。前記第１の２値出力ネットワーク手段３１は、図２に示す構成の下に、端子８の第１の２値教師信号と端子２の前記学習入力データを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）などにより学習させた前記学習済みニューラルネットワーク２９を用い、その出力層６のユニットからの出力信号を前記スレショルド回路３０を介して２値化し、その２値出力信号を前記２値直接出力信号として送出する。特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、而も前記学習入力データに対して全て正答の前記２値直接出力信号を得ることが出来る。また、同様に第２の２値出力ネットワーク手段３５に於ても、前記学習入力データに対して全て正答の前記変換２値直接出力信号を得ることが出来る。
【００４０】
ここで、学習処理により学習済みニューラルネットワーク２９、３２を得る際に、前記学習入力データと分類カテゴリとしての２値教師信号の対応づけに於て、２値教師信号毎に代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとして少なくとも準備し、該学習コアー入力デーアに対する前記スレショルド回路３０及び３３からの前記２値直接出力信号及び２値出力信号が正答となるよう学習させた前記学習済みニューラルネットワーク２９及び３２を用いる。
【００４１】
また、前記第２の２値出力ネットワーク手段３５では、図２に示すように端子８の前記第１の２値教師信号から教師信号コード変換器１３を介して得えられた前記変換２値教師信号をスイッチ回路９を介して前記減算器１０に入力し、端子２の学習入力データに対して学習させ、グローバルミニマム状態に収束させたニューラルネットワークを前記学習済みニューラルネットワーク３２として用いる。
【００４２】
これらの前記学習済みニューラルネットワーク２９及び３２は、それぞれ前記第１の２値教師信号及び前記変換２値教師信号をそれぞれ用いることから、異なったグローバルミニマムの状態に簡単に収束させることができる。従って、前記第１及び第２の２値出力ネットワーク手段３１、３５からの前記２値直接出力信号及び前記変換２値直接出力信号は、前記学習入力データに対して、全て同一の正答となり、互いに一致する。また、これらの前記学習済みニューラルネットワーク２９、３２は学習アルゴリズムとニューラルネットワークの構造が同一であることから殆ど同様な高い汎化能力が得られる。
【００４３】
従って、前記学習済みニューラルネットワーク２９、３２の前記スレショルド回路３０及び３３から正答の２値直接出力信号及び２値出力信号を送出する入力データの領域、即ち汎化領域は広く、而も互いにずれ一部異なる。この為、未知入力データに対して、前記２値出力ネットワーク手段２８、３５からの前記２値直接出力信号と前記変換２値直接出力信号とは、幅広く同一となるが、ずれている領域では同一とはならず、何れかが誤答となる。ここで、前記学習済みニューラルネットワーク２９及び３２の結合重み係数として、同一或いはそれぞれ異なった結合重み係数初期値を設定して学習させるが、それぞれ異なった結合重み係数の初期値設定を行った場合には、汎化能力の差は殆どないが、汎化領域はより大きくずれた領域を持つ。
【００４４】
次に、前記第１及び第２の２値出力ネットワーク手段２８及び３５に於て、端子２からの入力データに対して実行処理を行った際の前記出力状態判定選択処理器３９の動作について説明する。
【００４５】
前記２値直接出力信号と前記変換２値直接出力信号とが一致した場合には、これらが共に正答となる場合が殆どである。しかしながら、誤答であるがお互いに一致する場合も、発生率は非常に低いものの発生する。
【００４６】
従来技術では、前述したように多数決処理（投票処理）によりこの一致した場合だけを検出し、それらを正答と判定していることから、正答判定の精度も余り高くなく、而も汎化能力を殆ど改善できない。しかしながら、本発明に於ける前記出力状態判定選択処理器３９では、汎化領域がお互いにずれている為に不一致となる、少なくとも何れかに誤りが発生している場合に於ても、正答な出力信号をできるだけ選択送出することから、汎化能力の改善が図れ、而も正確な出力状態判定を行うことができる。
【００４７】
特に、誤答となる前記２値直接出力信号或いは前記変換２値直接出力信号は、正答なものからのハミング距離が１或いは２の比較的小さい誤りパターンを持っている場合が殆どであり、それらの前記２値隣接出力信号内に正答な２値出力信号が存在している確率が高い。従って、前記出力状態判定選択処理器３９では、前記２値直接出力信号と前記変換２値直接出力信号との一致／不一致状態検出と、前記２値直接出力信号と相対する前記変換２値隣接出力信号との間の一致／不一致状態検出と、前記２値隣接出力信号と相対する前記変換２値直接出力信号との間の一致／不一致状態検出と、前記２値隣接出力信号と相対する前記変換２値隣接出力信号との間の一致／不一致状態検出とを利用した以下の出力状態判定処理と出力選択処理を行う。
【００４８】
ここで、先ず、前記２値直接出力信号と前記変換２値直接出力信号とが不一致の場合に於て、以下の５つの場合に分けて、出力信号選択送出処理と出力状態判定処理とを行う例を示す。少なくとも、これらの前記２値直接出力信号と前記変換２値直接出力信号の何れかが誤っている。
【００４９】
尚、ここでは、簡単の為に、出力選択処理と出力状態判定処理を示す下記の表１から表６に於て、前記第１の２値出力ネットワーク手段３１を第１ネットワーク、前記２値直接出力信号を第１直接出力、これに対応した前記２値隣接出力信号を第１隣接出力、前記第２の２値出力ネットワーク手段３５を第２ネットワーク、前記変換２値直接出力信号を第２直接出力、これに対応した前記変換２値隣接出力信号を第２隣接出力とそれぞれ記述する。
【００５０】
第１の２値出力ネットワーク手段３１からの２値直接出力信号と第２の２値出力ネットワーク手段３５からの変換２値直接出力信号が不一致した場合に於て、
【００５１】
（１）第１直接出力と第２隣接出力が一致、且つ第１隣接出力と第２直接出力が一致の場合
表１に出力状態判定処理と出力選択処理の一例を示す。
【００５２】
【表１】
直接出力信号と相対する相手側の隣接出力信号が、それぞれ一致した状況にあれば、少なくとも前記２値直接出力信号か前記変換２値直接出力信号のいずれかが正答である場合が多い。従って、表１に示す出力選択と出力状態判定を行う。
【００５４】
（２）第１直接出力と第２隣接出力が一致、且つ第１隣接出力と第２直接出力が不一致の場合
表２に出力状態判定処理と出力選択処理の一例を示す。
【００５５】
【表２】
前記２値直接出力信号と前記変換２値隣接出力信号が一致していることから、前記第１の２値出力ネットワーク手段３１の前記２値直接出力信号が正答である可能性が大である。従って、表２に示す出力選択と出力状態判定を行う。
【００５７】
（３）第１直接出力と第２隣接出力が不一致、且つ第１隣接出力と第２直接出力が一致の場合
表３に出力状態判定処理と出力選択処理の一例を示す。
【００５８】
【表３】
前記変換２値直接出力信号と前記２値隣接出力信号が一致していることから、前記第２の２値出力ネットワーク手段３５の前記変換２値直接出力信号が正答である可能性が大である。従って、表３に示す出力選択と出力状態判定を行う。
【００６０】
（４）直接出力と隣接出力は不一致、且つ第１隣接出力と第２隣接出力が一致の場合
表４に出力状態判定処理と出力選択処理の一例を示す。
【００６１】
【表４】
前記２値隣接出力信号と前記変換２値隣接出力信号とが一致していることから、両隣接出力信号同士が正答で、前記２値直接出力信号及び前記変換２値直接出力信号とも誤答と考えられる。従って、表４に示す出力選択と出力状態判定を行う。ここでは、特定の２値出力ネットワーク手段の直接出力信号を選択している。
【００６３】
（５）直接出力と隣接出力は不一致、且つ第１隣接出力と第２隣接出力が不一致の場合
表５に出力状態判定処理と出力選択処理の一例を示す。
【００６４】
【表５】
前記直接出力信号と相対する前記隣接出力信号とも全て一致しない。従って、前記両直接出力信号とも誤答と考えられる。従って、表５に示す出力選択と出力状態判定を行う。ここでは、特定の２値出力ネットワーク手段からの直接出力信号を選択している。
【００６６】
次に、前記２値直接出力信号と前記変換２値直接出力信号が一致した場合に於ける、出力状態判定処理と出力選択処理の一例を表６に示す。殆どの場合、正答であることから、予め決められた特定の２値出力ネットワーク手段からの直接出力信号を選択送出する。
【００６７】
【表６】
ここで、第２の実施の形態に於て、詳細を説明するが、学習済みニューラルネットワーク２９、３２の中間層出力信号と中間層基準出力信号間の中間層出力距離を求め、出力状態判定選択処理器３９に於て、更に中間層出力距離をも用いて、出力状態判定処理を行ってもよい。また、多層ニューラルネットワークを仮定して説明したが、教師信号を用いて学習させるニューラルネットワークであればよく、多層ニューラルネットワークに限るものではない。
【００６９】
更に、２値出力ネットワーク手段を更に並列に接続し、隣接出力生成器と出力変換器とをそれぞれ付加することにより、多並列化を図ってもよい。全ての２値出力ネットワーク手段からの２値直接出力信号と変換２値直接出力信号との間で一致／不一致に対する多数決処理（投票処理）した個別出力状態推定と、相対する２値隣接出力信号も含めた多数決処理とにより、上記に説明した出力状態判定処理方法と出力選択処理方法を拡張して用いてもよい。これにより、並列ニューラルネットワーク処理システム２８の汎化能力をより一層改善でき、出力状態判定精度も著しく改善される。
【００７０】
尚、上記では、２値直接出力信号に隣接した２値隣接出力信号を２以下のハミング距離を用いて生成したが、この距離内に限るものではない。また、直接出力信号が３値以上の多値の場合には、リー距離により指定された距離以内の多値隣接出力信号を生成すればよい。連続値の場合には、ユークリッド距離により指定された距離以内の隣接出力信号を生成すればよい。
【００７１】
また、直接出力信号や隣接出力信号が連続値の場合には、２値出力信号や多値出力信号の一致／不一致を検出する直接出力一致検出器の代わりに、各出力層ユニットに於て、出力層出力信号エレメント間の差がお互いにある範囲内であれば、一致とみなす手段を用いればよい。また、出力状態判定選択処理器に於ても、同様な手段で一致／不一致を検出すればよい。
【００７２】
［第２の実施の形態］
第２の実施形態としての本発明の並列ニューラルネットワーク処理システム４０を図４に示す。２つのニューラルネットワークを並列接続した構成例を示す。
【００７３】
第１の２値教師信号と学習入力データとを用いて学習させた学習済みニューラルネットワーク４１とスレショルド回路４２とからなり、２値直接出力信号を送出する第１の２値出力ネットワーク手段４３と、前記第１の２値教師信号をコード変換して得た変換２値教師信号と前記学習入力データとを用いて学習させた学習済みニューラルネットワーク４４とスレショルド回路４５と出力変換器４６とからなり、変換２値直接出力信号を送出する第２の２値出力ネットワーク手段４７とを、入力データに対して並列に接続し、中間層基準出力信号を検出し格納した中間層基準出力検出格納器４９、５０と、中間層出力距離を求めるハミング距離計算器５３、５４と、テスト内正答出力領域を求め格納したテスト領域判定器５７、５８と、前記２値直接出力信号と前記変換２値直接出力信号との間の一致状態を検出する直接出力一致検出器４８と、出力状態推定する出力状態推定器５５、５６と、前記２値直接出力信号に対応する２値隣接出力信号を生成する隣接出力生成器５９と、前記スレショルド回路４５からの２値出力信号に対応する２値隣接出力信号を生成する隣接出力生成器６０と、該２値隣接出力信号を変換し変換２値隣接出力信号を送出する出力変換器６１と、出力状態判定を行ない、前記２値直接出力信号か前記変換２値直接出力信号かのいずれかを最終出力信号として選択送出し、併せてそれに対応した出力状態判定信号を送出する出力状態判定選択処理器６２とから構成される。
【００７４】
ここで、前記学習済みニューラルネットワーク４１及び４４は、図４に示すように入力層４、中間層５及び出力層６の３層を持ち、同一構成である。前記スレショルド回路４２は、前記学習済みニューラルネットワーク４１の出力層６のユニットの出力信号を２値化した２値出力信号を送出する。前記スレショルド回路４５も、同様に前記学習済みニューラルネットワーク４４の出力層６のユニットの出力信号を２値化し２値直接出力信号を送出する。前記スレショルド回路５１、５２は、入力データに対する前記学習済みニューラルネットワーク４１、４４のそれぞれの中間層５のユニットの出力信号を２値化し、中間層２値出力信号として前記ハミング距離計算器５３及び前記中間層基準出力検出格納器４９、５０にそれぞれ送出する。
【００７５】
前記中間層基準出力検出格納器４９、５０は、学習処理が完了した段階で、学習入力データに対応した前記スレショルド回路５１、５２からのそれぞれの前記中間層２値出力信号を、分類カテゴリに対応した２値教師信号毎、及び変換２値教師信号毎に、前記中間層基準出力信号として検出し格納する。更に、実行処理時には、前記入力データに対する前記スレショルド回路４２及び４５からの２値直接出力信号及び２値出力信号を用いて、格納されている前記中間層基準出力信号を検索し読み出し、前記入力データに対応した前記スレショルド回路５１、５２からのそれぞれの前記中間層２値出力信号と該中間層基準出力信号との間の中間層出力距離を計算する為に、該中間層基準出力信号を前記ハミング距離計算器５３、５２にそれぞれ送出する。尚、ここでは、前記入力データに対する前記スレショルド回路４２及び４５からの２値直接出力信号及び２値出力信号を用いて、前記中間層基準出力信号の格納と読み出しを行っているが、２値直接出力信号や変換２値直接出力信号を用いてもよい。
【００７６】
前記ハミング距離計算器５３、５４は、前記スレショルド回路５１、５２からの前記中間層２値出力信号と前記中間層基準出力検出格納器４９、５０からの前記中間層基準出力信号との間のそれぞれのハミング距離を求め、前記中間層出力距離として、前記出力状態推定器５５、５６及び前記出力状態判定選択処理器６２にそれぞれ送出する。前記中間層出力距離は、正誤答推定及び正誤答判定の尺度として用い、一般に、正答の場合は、このハミング距離は小さく、誤答の場合はこの距離が大きい傾向にある。ここで、前記ハミング距離計算器５３、５４の代わりに、多値空間での距離を求めるリー距離計算器や連続値の間での距離を求めるユークリッド距離計算器を用いてもよい。
【００７７】
ユークリッド距離の場合には、例えば、前記スレショルド回路５１、５２を介さず中間層ユニットのそれぞれの出力信号をそのまま中間層基準出力信号として、前記中間層基準出力検出格納器４９、５０に予め格納し、これらを前記スレショルド回路４２、４５からの２値直接出力信号及び２値出力信号を基にそれぞれ読み出し、前記入力データに対する中間層ユニットの前記出力信号とのユニット毎の差の絶対値を全ユニットに渡り加算して中間層出力距離として用いても良い。
【００７８】
前記テスト領域判定器５７、５８は、テスト処理時に、テスト入力データを用いて、分類カテゴリに対応した前記第１の２値教師信号毎、及び前記変換２値教師信号毎に、テスト内正答出力領域を求め格納する。具体的には、前記学習済みニューラルネットワーク４１、４４のテスト入力データに対する汎化能力を評価する際に、前記スレショルド回路４２、４５が正答の２値直接出力信号及び２値出力信号を送出するテスト入力データに対して、前記学習済みニューラルネットワーク４１、４４の出力層６のユニットからの出力信号のユニット毎の出力正答余裕（即ち、前記スレショルド回路４２、４５のスレショルド値とユニット出力信号との差の絶対値）の最小値と最大値とを求め、前記テスト内正答出力領域とし、前記２値教師信号に対応させてテスト領域判定器５７、５８にそれぞれ予め格納する。また、テスト内正答出力領域として、ユニット毎の出力正答余裕の最大及び最小値を用いているが、全ユニット間での最大及び最小値を用いても良い。
【００７９】
更に、実行処理時に、前記入力データに対する前記スレショルド回路４２及び４５からの前記２値直接出力信号及び２値出力信号を用いてそれぞれ前記テスト内正答出力領域を読み出し、前記学習済みニューラルネットワーク４１、４４の出力層６の前記出力信号の各ユニット毎の出力信号を正答と見做した場合の正答となる為の出力余裕、即ち出力正答余裕をそれぞれ求め、該テスト内正答出力領域とそれぞれ比較し、該出力正答余裕が全てのユニットに於て前記テスト内正答出力領域内であれば、テスト領域内、それ以外をテスト領域外と判定するテスト領域判定信号を前記出力状態推定器５５、５６へそれぞれ送出する。ここで、前記入力データに対する出力層６のユニットからの出力信号がテスト領域外である判定されると、その前記入力データを未知入力データと判定し、利用しても良い。
【００８０】
前記出力変換器４６は、前記変換２値教師信号を前記第１の２値教師信号へ逆変換する変換則を有し、前記スレショルド回路４５からの前記２値出力信号を変換し、前記変換２値直接出力信号として第２の２値出力ネットワーク手段４７から送出し、前記直接出力一致検出器４８及び前記出力状態判定選択処理器６２へ入力する。一方、前記出力変換器６１は、前記出力変換器４６と同一の変換則を有し、前記隣接出力生成器６０からの前記２値隣接出力信号を変換し、前記変換２値隣接出力信号として前記出力状態判定選択処理器６２に送出する。
【００８１】
前記直接出力一致検出器４８は、前記第１及び第２の２値出力ネットワーク手段４３、４７からそれぞれ送出された前記２値直接出力信号と前記変換２値直接出力信号とを比較し、一致状態或いは不一致状態を検出した一致検出信号を前記出力状態推定器５５、５６及び前記出力状態判定選択処理器６２へぞれぞれ送出する。
【００８２】
前記出力状態推定器５５、５６は、前記テスト領域判定器５７、５８、及び前記ハミング距離計算器５３、５４、更に前記直接出力一致検出器４８とからそれぞれ入力された、前記テスト領域判定信号と前記中間層出力距離と前記一致検出信号とを用いて、前記第１の２値出力ネットワーク手段４３からの前記２値直接出力信号、及び前記第２の２値出力ネットワーク手段４７からの前記変換２値直接出力信号が、夫々正答か誤答かを推定する正誤答推定信号を前記出力状態判定選択処理器６２にそれぞれ送出する。
【００８３】
前記隣接出力生成器５９は、前記第１の２値出力ネットワーク手段４３から送出された前記２値直接出力信号を用いて、予め指定されたハミング距離以内の離れた前記２値隣接出力信号を生成し、前記出力状態判定選択処理器６２に送出し、前記隣接出力生成器６０は、前記第２の２値出力ネットワーク手段４７内の前記スレショルド回路４５から送出された前記２値出力信号を用いて、該ハミング距離以内の離れた前記２値隣接出力信号を生成し、前記出力変換器６１に送出する。
【００８４】
前記出力状態判定選択処理器６２は、前記２値直接出力信号と前記変換２値直接出力信号との間の一致／不一致状態検出と、前記２値直接出力信号と相対する前記変換２値隣接出力信号との間、前記変換２値直接出力信号と相対する前記２値隣接出力信号との間、前記２値隣接出力信号と相対する前記変換２値隣接出力信号との間のそれぞれの一致／不一致状態検出と、前記出力状態推定器５５、５６からのそれぞれの正誤答推定信号とを基に、最終的な出力状態判定を行ない、前記第１の２値出力ネットワーク手段４３からの前記２値直接出力信号か、前記第２の２値出力ネットワーク手段４７からの前記変換２値直接出力信号かの何れかを選択し、端子２６から並列ニューラルネットワーク処理システム４０の前記最終出力信号として送出し、併せて、それに対応した前記出力状態判定信号としての正誤答判定信号を端子２７から送出する。
【００８５】
以下、これらの動作について詳細に説明する。前記第１の２値出力ネットワーク手段４３は、図２に示す構成の下に、端子８の第１の２値教師信号と端子２の前記学習入力データを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）などにより学習させた前記学習済みニューラルネットワーク４１を用い、その出力層６のユニットからの出力信号を前記スレショルド回路４２を介して２値化し、その２値出力信号を前記２値直接出力信号として送出する。特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、而も前記学習入力データに対して全て正答の前記２値直接出力信号を得ることが出来る。また、同様に第２の２値出力ネットワーク手段４７に於ても、前記学習入力データに対して全て正答の前記変換２値直接出力信号を得ることが出来る。
【００８６】
ここで、学習処理により学習済みニューラルネットワーク４１、４４を得る際に、前記学習入力データと分類カテゴリとしての教師信号の対応づけに於て、２値教師信号毎に代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとして少なくとも準備し、該学習コアー入力デーアに対する前記スレショルド回路４２及び４４からの前記２値出力信号が正答となるよう学習させた前記学習済みニューラルネットワーク４１及び４４を用いる。更に、学習処理が完了した際に、前記学習コアー入力データに対する前記学習済みニューラルネットワーク４１及び４４の中間層５のユニットからの中間層出力信号を前記スレショルド回路５１、５２を介してそれぞれ前記中間層２値出力信号に変換して、これらを前記中間層基準出力信号としてそれぞれの前記中間層基準出力検出格納器４９及び５０に予め格納しておく。この時、前記スレショルド回路４２及び４５からの各前記２値直接出力信号及び２値出力信号を用いて、それぞれ格納する。
【００８７】
また、前記第２の２値出力ネットワーク手段４７では、図２に示すように端子８の前記第１の２値教師信号から教師信号コード変換器１３を介して得えられた前記変換２値教師信号をスイッチ回路９を介して前記減算器１０に入力し、端子２の学習入力データに対して学習させ、グローバルミニマム状態に収束させたニューラルネットワークを前記第２の学習済みニューラルネットワーク４４として用いる。
【００８８】
これらの前記学習済みニューラルネットワーク４１及び４４は、それぞれ前記第１の２値教師信号及び前記変換２値教師信号を用いることから、異なったグローバルミニマムの状態に簡単に収束させることができる。従って、前記第１及び第２の２値出力ネットワーク手段４３、４７からの前記２値直接出力信号及び前記変換２値直接出力信号は、前記学習入力データに対して、全て同一の正答となり、互いに一致する。また、これらの前記学習済みニューラルネットワーク４１、４４は学習アルゴリズムとニューラルネットワークの構造が同一であることから殆ど同様な高い汎化能力が得られる。
【００８９】
従って、前記学習済みニューラルネットワーク４１、４４の前記スレショルド回路４２及び４４から正答の２値出力信号を送出する入力データの領域、即ち汎化領域は広く、而も互いにずれ一部異なる。この為、未知入力データに対して、前記２値出力ネットワーク手段４３、４７からの前記２値直接出力信号と前記変換２値直接出力信号とは、幅広く同一となるが、ずれている領域では同一とはならず、何れかが誤答となる。
【００９０】
次に、前記第１及び第２の２値出力ネットワーク手段４３及び４７に於て、端子２からの入力データに対して実行処理を行った際の前記直接出力一致検出器４８と前記出力状態判定選択処理器６２の動作について説明する。
【００９１】
前記直接出力一致検出器４８では、前記２値直接出力信号と前記変換２値直接出力信号とが一致した場合には、これらが共に正答となる場合が殆どである。しかしながら、誤答であるがお互いに一致する場合も、発生率は非常に低いものの発生する。従来技術では、前述したように多数決処理によりこの一致した場合だけを検出し、それらを正答と判定していることから、正答判定の精度も余り高くなく、而も汎化能力を殆ど改善できない。しかしながら、本発明に於ける前記出力状態判定選択処理器６２では、汎化領域がお互いにずれている為に不一致となり、少なくとも何れかに誤りが発生している場合に於ても、正答な出力信号をできるだけ選択送出することにより、汎化能力の改善が図れ、而も正確な出力状態判定を行うことができる。特に、誤答となる前記２値直接出力信号或いは前記変換２値直接出力信号は、正答なものからのハミング距離が１或いは２の比較的小さい誤りパターンを持っている場合が殆どであり、それらの隣接出力信号内に正答な２値出力信号が存在している確率が高い。従って、前記出力状態推定と前記２値直接出力信号と相対する前記２値隣接出力信号との一致／不一致状態検出とを利用した以下の出力状態判定処理と出力選択処理を行う。
【００９２】
前述のように従来技術では、多数決処理或いは一致処理を満足すれば、正答、満足しなければ誤答と単純に判定している為に、正誤答判定の精度が低い。これに対して、本発明の第２の実施形態では、前記出力状態推定器５５、５６に於て、それぞれ接続されているテスト領域判定器５７、５８からのぞれぞれの前記テスト領域判定信号と前記ハミング距離計算器５３、５４からの前記中間層出力距離と前記直接出力一致検出器４８からの前記２値直接出力信号と前記変換２値直接出力信号との間の一致検出信号とから、前記２値出力ネットワーク手段４３、４７からのそれぞれの前記２値直接出力信号と前記変換２値直接出力信号の正答／誤答をぞれぞれ個別に推定し、前記出力状態判定選択処理器６２に出力状態信号として正誤答推定信号をそれぞれを送出する。
【００９３】
ここでは、前記一致検出信号を基に、一致状態検出の場合と不一致状態検出の場合とに分けて、それぞれ前記中間層出力距離と予め設定された第１、第２、第３、第４及び第５の出力距離スレショルドとの比較結果と、前記テスト領域判定信号とにより、出力状態推定として正答或いは誤答の推定を行っている。例えば、前記２値直接出力信号と前記変換２値直接出力信号とが一致した場合、テスト領域外で且つ前記中間層出力距離が該第１の出力距離スレショルドより大きいと誤答と推定する。また、その他の状態を正答と推定する。一方、不一致の場合、前記テスト領域判定信号に無関係に前記中間層出力距離が前記第２の出力距離スレショルド以上であると、誤答と推定し、それ以外であると正答と推定する。前記出力状態判定選択処理器６２では、これらの個別出力状態推定結果と、更に、前記２値出力ネットワーク手段４３からの前記２値直接出力信号と、前記変換２値直接出力信号と、それらに相対する前記２値隣接出力信号及び前記変換２値隣接出力信号との間の一致／不一致状態検出と、或いは更に夫々の前記中間層出力距離とを用いて、出力状態判定と出力信号としての出力選択を行う。
【００９４】
ここで、先ず、前記２値直接出力信号と前記変換２値直接出力信号とが不一致の場合に於て、以下の５つの場合に分けて、出力信号選択送出処理と出力状態判定処理とを行う例を示す。少なくとも、これらの前記２値直接出力信号と前記変換２値直接出力信号の何れかが誤っている。
【００９５】
尚、ここでは、簡単の為に、出力選択処理と出力状態判定処理を示す下記の表７から表１２に於て、前記第１の２値出力ネットワーク手段４３を第１ネットワーク、前記２値直接出力信号を第１直接出力、これに対応した前記２値隣接出力信号を第１隣接出力、前記第２の２値出力ネットワーク手段４７を第２ネットワーク、前記変換２値直接出力信号を第２直接出力、これに対応した前記変換２値隣接出力信号を第２隣接出力とそれぞれ記述する。
【００９６】
前記２値直接出力信号と前記変換２値直接出力信号とが不一致の場合に於て、
（１）第１直接出力と第２隣接出力が一致、且つ第１隣接出力と第２直接出力が一致の場合
表７に出力状態判定処理と出力選択処理の一例を示す。
【００９７】
【表７】
直接出力信号と相対する相手側の隣接出力信号が、それぞれ一致した状況にあれば、少なくとも前記２値直接出力信号か前記変換２値直接出力信号のいずれかが正答である場合が多い。従って、表７に示す出力選択と出力状態判定を行う。両個別推定結果とも正答推定の場合には、特定の側の出力を選択してもよいが、ここでは、中間層出力距離が小さい方の出力信号を選択送出する。また、両方とも誤答推定の場合にも、特定の側の出力を選択し、正答判定してもよいが、中間層出力距離が小さい方の出力信号を選択送出し、その中間層出力距離が前記第３の出力距離スレショルドHDth3以下ならば、出力状態として正答判定とし、その他の場合は、誤答判定とする。
【００９９】
（２）第１直接出力と第２隣接出力が一致、且つ第１隣接出力と第２直接出力が不一致の場合
表８に出力状態判定処理と出力選択処理の一例を示す。
【０１００】
【表８】
前記２値直接出力信号と前記変換２値隣接出力信号が一致していることから、前記第１の２値出力ネットワーク手段４３の前記２値直接出力信号が正答である可能性が大である。両個別推定結果が誤答推定の場合に、前記２値直接出力信号を選択送出し、誤答判定としてもよいが、前記第１の２値出力ネットワーク手段４３の中間層出力距離が予め設定された前記第４の出力距離スレショルド（HDth4）以下であれば、正答判定とする。また、その他の場合には、誤答判定とする。
【０１０２】
前記２値直接出力信号が誤答推定で、前記変換２値直接出力信号が正答推定の場合には、前記２値直接出力信号と相対する前記変換２値隣接出力信号との一致の関係から、前記２値直接出力信号を正答、前記変換２値直接出力信号を誤答とすると、推定結果と矛盾する。しかしながら、前記第１の２値出力ネットワーク手段４３の中間層出力距離≦HDth4の場合には、前記２値直接出力信号を選択送出し、出力状態を正答判定とする。その他の場合は、誤答判定とする。
【０１０３】
（３）第１直接出力と第２隣接出力が不一致、且つ第１隣接出力と第２直接出力が一致の場合
表９に出力状態判定処理と出力選択処理の一例を示す。
【０１０４】
【表９】
前記変換２値直接出力信号と前記２値隣接出力信号が一致していることから、前記第２の２値出力ネットワーク手段４７の前記変換２値直接出力信号が正答である可能性が大である。両個別推定結果が誤答推定の場合に、前記変換２値直接出力信号を選択送出し、誤答判定としてもよいが、前記第２の２値出力ネットワーク手段４３の中間層出力距離が前記第４の出力距離スレショルド（HDth4）以下であれば、正答判定とする。また、その他の場合には、誤答判定とする。
【０１０６】
前記２値直接出力信号が正答推定で、前記変換２値直接出力信号が誤答推定の場合には、前記変換２値直接出力信号と相対する前記２値隣接出力信号との一致の関係から、前記２値直接出力信号を誤答、前記変換２値直接出力信号を正答とすると、推定結果と矛盾する。しかしながら、前記第２の２値出力ネットワーク手段４７の中間層出力距離≦HDth4の場合には、前記変換２値直接出力信号を選択送出し、出力状態を正答判定とする。その他の場合は、誤答判定とする。
【０１０７】
（４）直接出力と隣接出力は不一致、且つ第１隣接出力と第２隣接出力が一致の場合
表１０に出力状態判定処理と出力選択処理の一例を示す。
【０１０８】
【表１０】
前記２値隣接出力信号と前記変換２値隣接出力信号とが一致していることから、両隣接出力信号が正答で、前記２値直接出力信号及び前記変換２値直接出力信号とも誤答と考えられるが、個別推定結果を優先させる。両方の出力の個別推定結果が、正答推定の場合には、中間層出力距離が小さい方の直接出力信号を選択送出し、その出力状態を正答判定とする。また、両方の出力の個別推定結果が誤答推定の場合には、中間層出力距離が大きい方の直接出力信号を選択送出し、その出力状態を誤答判定とする。
【０１１０】
（５）直接出力と隣接出力は不一致、且つ第１隣接出力と第２隣接出力が不一致の場合
表１１に出力状態判定処理と出力選択処理の一例を示す。
【０１１１】
【表１１】
前記直接出力信号と相対する前記隣接出力信号とも全て一致しない。従って、前記両直接出力信号とも誤答と考えられるが、個別推定結果を優先させる。この場合がかなり発生することから、誤答判定を基準とする。両方の出力の個別推定結果が正答推定の場合には、中間層出力距離が小さい方の直接出力信号を選択送出し、その出力状態を正答判定とする。また、両方の出力の個別推定結果が誤答推定の場合には、中間層出力距離が大きい方の直接出力信号を選択送出し、その出力状態を誤答判定とする。
【０１１３】
次に、２値直接出力信号と変換２値直接出力信号とが一致した場合の出力状態判定処理と出力選択処理の一例を表１２に示す。
【０１１４】
【表１２】
前記２値直接出力信号と前記変換２値直接出力信号とが一致する場合には、殆ど正答と考えられ、推定結果に従って、最終出力信号を選択する。但し、両方の直接出力信号の個別推定結果が、同一の場合には、予め決められた特定の側の２値出力ネットワーク手段からの直接出力信号を選択送出する。個別推定結果が、正答推定及び誤答推定と異なる場合には、正答判定としているが、出力信号が誤答推定となっている２値出力ネットワーク手段の中間層出力距離が予め設定された前記第５の出力距離スレショルドHDth5以上大きい場合には、誤答判定としてもよい。これにより、判定精度が改善される。
【０１１６】
上記の正誤答判定処理及び出力選択処理に従って、前記出力状態判定選択処理器６２では、前記正誤答推定信号と、前記２値直接出力信号と前記変換２値直接信号間の一致／不一致状態検出と、及び前記２値直接出力信号と前記変換２値隣接出力信号との間の一致／不一致状態検出と、前記２値隣接出力信号と前記変換２値直接出力信号との間の一致／不一致状態検出と、前記２値隣接出力信号と相対する前記変換２値隣接出力信号との一致／不一致状態検出とを用いて、前記２値直接出力信号或いは前記変換２値直接出力信号のいずれかから、最終出力信号として選択送出すると共に、対応した出力状態判定信号として正誤答判定信号を送出する。
【０１１７】
以上のように、前記第１及び第２の２値出力ネットワーク手段４３、４７の前記中間層出力層距離、前記出力正答余裕、及び前記２値直接出力信号と前記変換２値直接出力信号間の一致／不一致状態検出などによる出力状態推定結果と、更に、前記２値直接出力信号と前記変換２値隣接出力信号間の一致／不一致状態検出と、前記変換２値直接出力信号と相対する前記２値隣接出力信号との一致／不一致状態検出と、前記２値隣接出力信号と相対する前記変換２値隣接出力信号との一致／不一致状態検出とを用いて、より正答な２値出力信号を選択送出でき、出力状態に対しても非常に高い正誤答判定精度を実現することが出来ると共に、並列ニューラルネットワーク処理システム４０としての汎化能力の大幅な改善も図ることができる。
【０１１８】
尚、各前記出力距離スレショルドは、ある一定値でもよいが、２値教師信号に対応した２値出力信号毎に異なる値を設定してもよい。或いは、同一の分類カテゴリとなる正答の２値出力信号を出力する種々のテスト入力データに対して、前記中間層出力距離を求め、その分布の平均値或いは更に標準偏差とを少なくとも用いて前記出力距離スレショルドを求め予め設定しても良い。また、中間層出力距離と出力距離スレショルドとの大小比較でもよいが、中間層距離と出力距離スレショルドとの差の大小関係を比較に用いても良い。
【０１１９】
第２の実施形態では、中間層基準出力検出格納器４９、５０とハミング距離計算器５３をそれぞれ分けて説明したが、これらを一緒にして中間層基準出力信号を格納し、距離計算をする距離計算処理器として構成してもよい。また、第１の実施の形態と同様に、出力状態判定選択処理器６２に於て、最終出力信号として、選択された２値出力信号に対応する出力層出力信号を送出してもよい。
【０１２０】
ここでは、正しい所望の２値出力信号を送出するテスト入力データだけから上記のテスト内正答出力領域を求めたが、準備されている全てのテスト入力データを基にテスト内正答出力領域を求める場合には、前記学習入力データを用いてニューラルネットワークの学習処理を終了させた後、更に誤った２値出力信号を送出するテスト入力データを学習入力データとして追加学習し、この追加学習を繰り返すことにより、最終的に全てのテスト入力データに対して全て正しい２値出力信号を送出するよう学習させることができる。このような追加学習を行った後、その結合重み係数を用いて学習済みニューラルネットワーク４１、４４に設定し、これらの全てのテスト入力データに対してテスト内正答出力領域を収集してもよい。
【０１２１】
本第２の実施形態の並列ニューラルネットワーク処理システム４０において、上記説明のごとく異なった教師信号に対して学習済みの２並列接続された前記第１及び第２の２値出力ネットワーク手段４３、４７を用いているが、ここで、特願平１１−２２９１９２のように、並列度を増やす為に、これらの２値出力ネットワーク手段４３、４７の他に、更に異なった変換２値教師信号による学習済みのニューラルネットワークを用いた、前記第２の２値出力ネットワーク手段４７と同様の構成をもった新たな２値出力ネットワーク手段を用意し、前記入力データに対して並列接続してもよい。この増設された該２値出力ネットワーク手段には、前記２値出力ネットワーク手段４７と同様にスレショルド回路５２、ハミング距離計算器５４、中間層基準出力検出格納器５０、テスト領域判定器５８とそれぞれ同一構成のものを接続し、更に、前記直接出力一致検出器４８の代わりに、多数決処理器を設ければよい。
【０１２２】
更に、全ての２値出力ネットワーク手段からの２値直接出力信号と変換２値直接出力信号との間で一致／不一致に対する多数決処理（投票処理）した個別出力状態推定と、相対する２値隣接出力信号も含めた多数決処理とにより、上記に説明した出力状態判定処理方法と出力選択処理方法を拡張して用いてもよい。これにより、並列ニューラルネットワーク処理システム４０の汎化能力をより一層改善でき、出力状態判定精度も著しく改善される。更に、本発明の並列ニューラルネットワーク処理システムを基本システムとし、特願２０００−０５７２６３の如く、基本システムと、入力変換手段を基本システムの入力段に接続した入力変換基本システムとを並列接続してもよい。これにより、非常に汎化能力の優れ、一段と幅広い入力データ領域に於て正答な最終出力信号が得られ、而もその出力状態判定精度も非常に高くなる。
【０１２３】
尚、第２の実施形態に於て、学習済みニューラルネットワーク４１、４４として、それぞれ異なる２値教師信号を用いて学習させたが、それぞれ異なる３値以上の多値教師信号を用いて学習させ、２値化するスレショルド回路４２、４５の代わりに、多値スレショルド回路を用い、隣接出力生成器３７、３６、５９、６０に於ては、リー距離を用いて多値隣接出力信号を生成すればよい。テスト領域判定器５８も当然多値信号に対して簡単に対応出来る。これにより、正誤答判定信号と多値出力信号とを送出する並列多値ニューラルネットワーク処理システムを構成することも出来る。尚、中間層出力距離や中間層基準信号に関しては、２値、多値、或いは連続値何れでもよい。
【０１２４】
第１及び第２の実施の形態に於て、入力データを入力して並列ニューラルネットワーク処理システム４０を動作させた際、端子２６から誤答判定された最終出力信号が得られた場合には、これに対応した入力データを学習入力データとして、前記学習済みニューラルネットワークの結合重み係数を初期値として追加学習して、新たな結合重み係数を得、前記学習済みニューラルネットワーク４１、４４に設定し、前記並列ニューラルネットワーク処理システム４０を動作させてもよい。この一連の追加学習処理を繰り返すことにより汎化能力や汎化領域の改善が図れ、より高い正答判定率とより高い判定精度を得ることが出来る。
【０１２５】
尚、第２の実施の形態では、この追加学習を行った際には、学習入力データを初めとする学習条件が変わると、前記学習済みニューラルネットワーク４１、４４の結合重み係数が変化することから、これらのテスト内正答出力領域や中間層基準出力信号をその都度求めなおし、中間層基準出力検出格納器４９、５０及びテスト領域判定器５７、５８に予めそれぞれ格納する。従って、出力距離スレショルド及びテスト内出力正答領域も求めなおして設定する必要がある。
【０１２６】
また、上記の第１及び第２の実施の形態に於て、出力状態判定選択処理器３９、６２に於て、選択された２値出力信号に対応する出力層出力信号を最終出力信号として送出してもよいし、選択された２値出力信号も同時に最終出力信号としてもよい。更に、出力状態判定として、正誤答判定の例を説明したが、正答／不明判定などの判定を行っても良く、出力信号の出力状態に対して、少なくとも正答判定とそれ以外の状態に判定できればよい。
【０１２７】
学習方法として、バックプロパゲーション法を前提に説明したが、教師信号を用いた学習ならいずれの学習法でもよい。また、上記の実施形態に於て、学習済みニューラルネットワークとしてローカルミニマム状態に収束させたものを用いてもよいが、汎化能力及び汎化領域ともグローバルミニマム状態で収束した場合より劣化することから、汎化能力及び正誤答判定に於ける判定精度も劣化する。
【０１２８】
また、前記教師信号コード変換器１３を介して得られる前記変換２値教師信号として、前記第１の２値教師信号から、例えば、前記第１の２値教師信号の２値補数からなる２値教師信号や、前記入力データと前記第１の２値教師信号との分類カテゴリとしての対応関係をシフトした２値教師信号を用いてもよい。或いは、前記入力データと前記第１の２値教師信号との分類カテゴリとしての対応ずけをランダムに割当てた新たな２値教師信号を用いてもよい。このコード変換された前記変換２値教師信号としては、前記出力変換器３４、３８、４６、６１に於て前記変換２値教師信号を前記第１の２値教師信号へ逆変換することができれ、如何なる変換２値教師信号でもよい。前述した、教師信号を用いて学習するニューラルネットワークの構成を特定するものではない。また、前述した出力状態判定選択処理器３９、６２及び出力状態推定器５５、５６は、本発明の技術的概念及び見地の範囲の種々の変更、修正及び省略が、当業者によれば容易に行うことができる。従って、前述の説明はあくまで１例であり、何ら制約しようとするものではない。
【０１２９】
以上本発明の実施の形態について、詳述してきたが、具体的な構成例は、上記の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更であっても本発明に含まれる。
【０１３０】
【発明の効果】
以上述べたように、従来方式では、汎化領域をずらす為に、学習の際に種々の異なった結合重み係数の初期値に対してローカルミニマムに収束させる試行錯誤と数多くのニューラルネットワークが必要で、その演算処理量も膨大となり、而も目標とする性能に対して簡単に設計ができない。また、複数個の学習済みニューラルネットワークを入力データに対して並列接続し、入力データに対する２値出力信号の単なる多数決処理や一致検出などによる正答誤答判定や正答不明判定を行っており、汎化能力や正誤答の判定精度や２値出力信号の正答率なども低い。
【０１３１】
一方、本発明の出力状態判定機能を有した並列ニューラルネットワーク処理システムは、それぞれ異なった多値教師信号を用いて学習させ、グローバルミニマムに収束した学習済みニューラルネットワークを用いており、汎化能力も非常に高く安定であり、汎化領域も広く、而も簡単にずらすことができる。従って、少ない数の並列接続のニューラルネットワークを用いればよく、演算処理も少なく学習が簡単で、且つ試行錯誤が不要である。また、それらの学習済みニューラルネットワークの汎化能力及び汎化領域とも高性能で非常に安定していることから、２値出力信号間の一致／不一致状態検出と、ニューラルネットワークの内部状態としての、中間層出力距離やテスト内正答出力領域を用いた精度の高い出力状態推定が得られる。更にこの出力状態推定結果と、それぞれの直接出力信号及び相対する隣接出力信号との間の一致／不一致状態検出とを基に、非常に安定した高い精度の出力状態判定と正答の出力選択送出ができる。従って、高い汎化能力が実現でき、同時に、高い正答判定率と高い判定精度が容易に得られる。このことから、並列ニューラルネットワーク処理システムに於て、必ずしも数多くの並列のニューラルネットワークを用いる必要がなく、構成が簡単になる。
【０１３２】
これらの結果から、本発明の出力状態判定機能を有する並列ニューラルネットワーク処理システムをパターン認識等に実用した際、未知入力データに対する出力信号の正誤答判定が得られ、而もその正誤答判定の精度が非常に高いことから、出力信号が誤答と判定された未知入力データに対しては、正しい教師信号の対応ずけを行ない、並列接続されたそれぞれのニューラルネットワークを追加学習させ、得られた結合重み係数で置き換えるにより、並列ニューラルネットワーク処理システムの汎化能力と正誤答判定精度を急激に向上させることが簡単に出来る。
【０１３３】
従って、パターン認識処理などに用いる際に、詳細な学習入力データを事前に取得した後に、ニューラルネットワークを学習させて使用する必要は必ずしもなく、少なくとも非常に特徴のある学習入力データを学習コアー入力データとしてまず学習させ、現実の使用環境の元で、高い汎化能力と精度の高い出力状態判定能力を利用して、而も誤答の出力信号を送出する未知入力データ収集を迅速に行ない、これらを追加学習させることにより、正誤答判定機能を有する並列ニューラルネットワーク処理システムの正答判定能力と汎化能力を同時に著しく高めることが出来き、実用環境に適したパターン認識率の非常に高い高性能な並列ニューラルネットワーク処理システムを簡単に実現出来る。
【０１３４】
上述のように本発明の出力状態判定機能を有する並列ニューラルネットワーク処理システムは、従来方式に比べて、少ない数の学習済みニューラルネットワークを並列接続し使用しても非常に高い性能が簡単に得られ、構成が簡単になり演算処理量も非常に少ない利点を持つ。また、異なった教師信号を用いてグローバルミニマムに収束させたニューラルネットワークを用いることから、試行錯誤を必要とせず、学習処理が大幅に少なく動作も安定している。
【０１３５】
従って、従来技術では実現が困難な大規模ニューラルネットワークに対しても本発明の並列ニューラルネットワーク処理システムを用いて短時間で設計し実現することが出来、非常に高性能な正誤答判定能力や高い汎化能力が要求される人口知能システムやネットワーク障害情報処理システムなどの通信ネットワーク処理システム、或いは検索システム、画像処理システムなどのシステムへの幅広い応用ができるなど、非常に幅広い効果を有している。
【図面の簡単な説明】
【図１】 第１の実施形態における本発明の出力状態判定機能を有した並列ニューラルネットワーク処理システムの１構成例である。
【図２】 従来方式における３層ニューラルネットワークの学習処理の１構成例である。
【図３】 従来方式による出力状態判定機能を有した並列ニューラルネットワーク処理システムの１構成例である。
【図４】 第２の実施形態における本発明の出力状態判定機能を有した並列ニューラルネットワーク処理システムの１構成例である。
【符号の説明】
１ ３層ニューラルネットワーク
２ 入力信号入力端子
２1 入力ユニット端子
２2 入力ユニット端子
２N 入力ユニット端子
３ ２値出力端子
３1 ２値出力ユニット端子
３2 ２値出力ユニット端子
３M ２値出力ユニット端子
４ 入力層
４１ 入力層ユニット
４２ 入力層ユニット
４Ｎ 入力層ユニット
５ 中間層
５1 中間層ユニット
５P 中間層ユニット
６ 出力層
６1 出力層ユニット
６2 出力層ユニット
６M 出力層ユニット
７ 結合重み係数制御器
８ ２値教師信号入力端子
８1 ２値教師信号入力ユニット端子
８2 ２値教師信号入力ユニット端子
８M ２値教師信号入力ユニット端子
９ スイッチ回路
１０ 減算器
１０1 減算器
１０2 減算器
１０M 減算器
１１ 結合重み係数入出力端子
１２ スレショルド回路
１２1 スレショルド回路
１２2 スレショルド回路
１２M スレショルド回路
１３ 教師信号コード変換器
１４ 従来技術による並列ニューラルネットワーク処理システム
１５ 第１の学習済みニューラルネットワーク
１６ スレショルド回路
１７ 第１の２値出力ネットワーク手段
１８ 第２の学習済みニューラルネットワーク
１９ スレショルド回路
２０ 第２の２値出力ネットワーク手段
２１ 第３の学習済みニューラルネットワーク
２２ スレショルド回路
２３ 第３の２値出力ネットワーク手段
２４ 多数決処理器
２５ 出力選択処理器
２６ 最終出力信号出力端子
２７ 出力状態判定信号出力端子
２８ 本発明の第１の実施形態のニューラルネットワーク処理システム
２９ 学習済みニューラルネットワーク
３０ スレショルド回路
３１ 第１の２値出力ネットワーク手段
３２ 学習済みニューラルネットワーク
３３ スレショルド回路
３４ 出力変換器
３５ 第２の２値出力ネットワーク手段
３６ 隣接出力生成器
３７ 隣接出力生成器
３８ 出力変換器
３９ 出力状態判定選択処理器
４０ 本発明の第２の実施形態における並列ニューラルネットワーク処理システム
４１ 学習済みニューラルネットワーク
４２ スレショルド回路
４３ 第１の２値出力ネットワーク手段
４４ 学習済みニューラルネットワーク
４５ スレショルド回路
４６ 出力変換器
４７ 第２の２値出力ネットワーク手段
４８ 直接出力一致検出器
４９ 中間層基準出力検出格納器
５０ 中間層基準出力検出格納器
５１ スレショルド回路
５２ スレショルド回路
５３ ハミング距離計算器
５４ ハミング距離計算器
５５ 出力状態推定器
５６ 出力状態推定器
５７ テスト領域判定器
５８ テスト領域判定器
５９ 隣接出力生成器
６０ 隣接出力生成器
６１ 出力変換器
６２ 出力状態判定選択処理器
Claims (7)
- 学習入力データと第１の多値教師信号とを用いて学習した学習済みニューラルネットワーク２９、４１と該学習済みニューラルネットワーク２９、４１の出力層出力信号を多値化し多値直接出力信号を送出する多値スレショルド手段３０、４２とからなる、第１の多値出力ネットワーク手段３１、４３と、
前記第１の多値教師信号を変換し得られた異なる変換多値教師信号と前記学習入力データとを用いて学習した学習済みニューラルネットワーク３２、４４と該学習済みニューラルネットワーク３２、４４の出力層出力信号を多値化し多値出力信号を送出する多値スレショルド手段３３、４５と前記変換多値教師信号から前記第１の多値教師信号への逆変換則を有し、該多値スレショルド手段３３、４５からの該多値出力信号を変換し、変換多値直接出力信号を送出する出力変換手段３４、４６とからなる、少なくとも１つ以上の第２の多値出力ネットワーク手段３５、４７とを、
入力データに対して並列接続し、
前記第１の多値出力ネットワーク手段３１、４３からの前記多値直接出力信号と隣接関係にある多値隣接出力信号を生成する隣接出力生成手段３６、５９と、
一つ以上の前記第２の多値出力ネットワーク手段３５、４７内の前記多値スレショルド手段３３、４５からの前記多値出力信号と隣接関係にある第２多値隣接出力信号をそれぞれ生成し送出する一つ以上の隣接出力生成手段３７、６０と、
前記変換多値教師信号から前記第１の多値教師信号への逆変換則を有し、該第２多値隣接出力信号を変換して、変換多値隣接出力信号をそれぞれ送出する一つ以上の出力変換手段３８、６１と、
前記多値直接出力信号と、一つ以上の前記第２の多値出力ネットワーク手段３５、４７からの夫々の前記変換多値直接出力信号と、前記多値隣接出力信号と、一つ以上の前記出力変換手段３８、６１からの夫々の前記変換多値隣接出力信号との間の一致／不一致状態検出を少なくとも用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の何れかを少なくとも選択する出力状態判定選択処理手段３９、６２とを
少なくとも具備し構成することを特徴とした並列ニューラルネットワーク処理システム。 - 前記多値出力ネットワーク手段４３、４７において、前記多値教師信号毎に対応した学習コアー入力データを含む前記学習入力データを用いて学習させたそれぞれの前記学習済みニューラルネットワーク４１、４４の夫々の中間層ユニットからの、前記学習コアー入力データに対する中間層出力信号を夫々中間層基準出力信号とし、該中間層基準出力信号を、対応した前記第１の多値教師信号と前記変換多値教師信号夫々を用いて
予め格納し、前記多値直接出力信号と前記第２の多値出力ネットワーク手段４７からの前記多値出力信号とを用いて夫々対応した前記中間層基準出力信号を読み出す２つ以上の中間層基準出力検出格納手段４９、５０と、
前記入力データに対する前記第１多値出力ネットワーク手段４３及び１つ以上の前記第２の多値出力ネットワーク手段４７からの夫々の前記中間層出力信号と前記中間層基準出力検出格納手段４９、５０から夫々読み出され、対応した前記中間層基準出力信号との距離を計算し中間層出力距離として送出する２つ以上の中間層距離計算手段５３、５４と、
前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号との間の一致／不一致状態を検出し、直接出力一致検出信号を送出する直接出力一致検出手段４８と、
２つ以上の前記中間層出力距離のそれぞれと、前記直接出力一致検出信号とを少なくとも用いて、前記多値直接出力信号及び前記変換多値直接出力信号のそれぞれの出力状態推定を行い出力状態推定信号をそれぞれ送出する２つ以上の出力状態推定手段５５、５６とを
少なくとも具備し、
前記出力状態判定選択処理手段６２に於て、２つ以上の前記出力状態推定手段５５、５６からのそれぞれの前記出力状態推定信号と、
前記多値直接出力信号と一つ以上の前記第２の多値出力ネットワーク手段４７からの夫々の前記変換多値直接出力信号と前記多値隣接出力信号と一つ以上の前記出力変換手段６１からの夫々の前記変換多値隣接出力信号との間の前記一致／不一致状態検出とを少なくとも用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の何れかを選択することを特徴とした請求項１に記載した並列ニューラルネットワーク処理システム。 - テスト入力データを前記第１及び１つ以上の第２の多値出力ネットワーク手段４３、４７に入力し、対応した前記多値直接出力信号及び該第２の多値出力ネットワーク４７各々からの前記多値出力信号が夫々正答な前記第１の多値教師信号及び前記変換多値教師信号に一致する該テスト入力データに対して、夫々の前記出力層出力信号の出力層ユニット毎の正答を与える出力正答余裕を求め、該出力正答余裕各々の最大値と最小値とからなる範囲を示すテスト内正答出力領域を夫々得、各々の該テスト内正答出力領域を対応した前記第１の多値教師信号と前記変換多値教師信号夫々を用いて予め格納し、前記多値直接出力信号及び前記第２多値出力ネットワーク手段４７からの前記多値出力信号とを夫々用いて、対応した前記テスト内正答出力領域を読み出し、テスト領域内かテスト領域外かを判定し、テスト領域判定信号として夫々送出する２つ以上のテスト領域判定手段５７、５８を具備し、
前記出力状態推定手段５５、５６に於て、更に、それぞれの前記テスト領域判定信号を用いて、対応した出力状態推定をすることを特徴とした請求項２に記載した並列ニューラルネットワーク処理システム。 - 前記出力状態判定選択処理手段６２に於て、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号にそれぞれ対応した前記中間層出力距離を更に用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の何れかを選択する
ことを特徴とした請求項２及び３のいずれかに記載した並列ニューラルネットワーク処理システム。 - 前記出力状態判定選択処理手段３９、６２に於て、前記一致／不一致状態検出を少なくとも用いて、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号の出力状態判定を夫々行ない、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号から選択された多値出力信号に対応した出力状態判定信号を送出することを特徴とした請求項１から４のいずれかに記載した並列ニューラルネットワーク処理システム。
- 前記出力状態判定選択処理手段３９、６２に於て、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号から選択された多値出力信号を最終出力信号として送出することを特徴とした請求項１から５のいずれかに記載した並列ニューラルネットワーク処理システム。
- 前記出力状態判定選択処理手段３９、６２に於て、前記多値直接出力信号及び一つ以上の前記変換多値直接出力信号から選択された多値出力信号に対応した前記学習済みニューラルネットワーク２９、３２、４１、４７からの前記出力層出力信号を最終出力信号として送出することを特徴とした請求項１から５のいずれかに記載した並列ニューラルネットワーク処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000060849A JP3855582B2 (ja) | 2000-03-06 | 2000-03-06 | 出力状態判定機能を有する並列ニューラルネットワーク処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000060849A JP3855582B2 (ja) | 2000-03-06 | 2000-03-06 | 出力状態判定機能を有する並列ニューラルネットワーク処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001249912A JP2001249912A (ja) | 2001-09-14 |
| JP3855582B2 true JP3855582B2 (ja) | 2006-12-13 |
Family
ID=18581095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000060849A Expired - Lifetime JP3855582B2 (ja) | 2000-03-06 | 2000-03-06 | 出力状態判定機能を有する並列ニューラルネットワーク処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3855582B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2423395A (en) | 2003-11-17 | 2006-08-23 | Nec Corp | Active learning method and system |
-
2000
- 2000-03-06 JP JP2000060849A patent/JP3855582B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001249912A (ja) | 2001-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0975125B1 (en) | Sequence estimation method and sequence estimator | |
| JP3675246B2 (ja) | 正誤答判定機能を有するニューラルネットワーク手段 | |
| Panella | A hierarchical procedure for the synthesis of ANFIS networks | |
| Risso et al. | Hybrid method for power system state estimation | |
| JP3855665B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| JP3855582B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| Rusiecki | Robust LTS backpropagation learning algorithm | |
| JP3891124B2 (ja) | 正誤答判定機能を有する並列ニューラルネットワーク手段 | |
| Amani et al. | A case-based reasoning method for alarm filtering and correlation in telecommunication networks | |
| JP3855580B2 (ja) | 並列ニューラルネットワーク装置 | |
| Kao et al. | Stability of high-order delayed Markovian jumping reaction-diffusion HNNs with uncertain transition rates | |
| CN109886306B (zh) | 一种电网故障诊断数据清洗方法 | |
| Betta et al. | The use of genetic algorithms for advanced instrument fault detection and isolation schemes | |
| CN115842668A (zh) | 一种信息传播源的确定方法、系统、电子设备及存储介质 | |
| JP3757722B2 (ja) | 多層ニューラルネットワークユニット数最適化方法及び装置 | |
| US20080267220A1 (en) | Method of Iterative Signal Processing For Cdma Interference Cancellation and Ising Perceptrons | |
| JP3678071B2 (ja) | ニューラルネットワーク入力判別装置 | |
| JP3277648B2 (ja) | 並列ニューラルネットワーク | |
| Gu et al. | Distance formulas capable of unifying Euclidian space and probability space | |
| CN116582480B (zh) | 一种寻找最少失效链路使得路由不可达的方法 | |
| JP4687199B2 (ja) | 連想記憶装置とそのソフトウェア | |
| Parra et al. | Learning fault-tolerance in Radial Basis Function Networks. | |
| Padhy et al. | Non-linear channel equalization using adaptive MPNN | |
| Zhang et al. | A merging and splitting algorithm based on mutual information for design neural networks | |
| Gnanapandithan et al. | Decentralised sensor network performance with correlated observations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060904 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |