JP3855665B2 - 出力状態判定機能を有する並列ニューラルネットワーク処理システム - Google Patents
出力状態判定機能を有する並列ニューラルネットワーク処理システム Download PDFInfo
- Publication number
- JP3855665B2 JP3855665B2 JP2001061932A JP2001061932A JP3855665B2 JP 3855665 B2 JP3855665 B2 JP 3855665B2 JP 2001061932 A JP2001061932 A JP 2001061932A JP 2001061932 A JP2001061932 A JP 2001061932A JP 3855665 B2 JP3855665 B2 JP 3855665B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- value
- signal
- intermediate layer
- binary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークアラーム処理、各種パターン認識、データマイニング及び画像処理などの分野に適用可能なニューラルネットワークにおいて、学習済みのニューラルネットワークを用いて入力データを処理する際に、学習入力データやテスト入力データ以外の未知入力データが入力された場合にも、その出力が正しいか誤りか、即ち正答か誤答か、或いは不明かを判定することができる出力状態判定機能を有した並列ニューラルネットワーク処理システムに関するものである。
【０００２】
【従来の技術】
従来のニューラルネットワークには、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。
【０００３】
特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが種々幅広く実用されている。ここでは、教師付き学習を行う多層ニューラルネットワークを例にとり、出力状態判定機能として正答／誤答判定機能を有するニューラルネットワーク手段の従来技術について説明する。また、説明を簡単にする為に、パターン認識などに於て見られる２値教師信号を用いて学習させ、２値出力信号を送出させることとする。
【０００４】
先ず、多層ニューラルネットワークの学習処理の構成について説明する。図２は、３層ニューラルネットワークの学習処理の１構成例を示す。Ｎ個のユニットからなる入力層４、Ｐ個のユニットからなる中間層５及びＭ個のユニットからなる出力層６から構成される。
【０００５】
多層ニューラルネットワークへの入力データＩは、Ｉ１、Ｉ２、．．ＩＮの入力データエレメントを持ったベクトルから構成され、入力端子２を介してそれぞれ対応した入力層４のユニットに入力された後、更に中間層５の各ユニット（隠れユニット）にそれぞれ重み付けされ出力される。中間層５では、入力層４の各ユニットからの重み付けされた出力の総和を入力とし、スレショルド値を差し引いた後、シグモイド関数と呼ばれる非線形入出力特性を持った関数を介して出力される。出力層６においても中間層５と同様な入出力処理が行われた後、各出力層ユニットからそれぞれ対応した出力信号をスレショルド回路１１を介して２値出力信号に変換し、２値出力端子３を介してニューラルネットワーク１の２値出力信号（２値出力信号エレメント、Ｐ１、Ｐ２、．．ＰＭ）として送出する。３層以上の多層の際にも、各層におけるそれぞれのユニットは、入力側の隣接層の各ユニットの出力信号に重み付けをした後、それらの総和を入力として得、更にその入力からスレショルド値を差し引いた後、シグモイド関数などを介し出力層側の隣接層に出力信号を送出する。
【０００６】
このような多層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムがある。
【０００７】
本アルゴリズムを用いた学習過程では、結合重み係数に対して乱数などを用いて初期値設定した後、予め用意された２値教師信号Ｔ（教師信号エレメント、Ｔ１、Ｔ２、．．ＴＭ）と、入力層４に端子２を介して入力された予め用意された学習入力データに対する出力層６のユニットからの出力信号との誤差信号を減算回路１０を介して求め、結合重み係数制御器７に入力する。
【０００８】
結合重み係数制御器７では、端子１１を介して入力された各層のユニットからの出力信号と前記誤差信号とを基に誤差電力を最小にするように各層間の結合重み係数Ｗ（例えば、Ｗ(1)は入力層と中間層の間の結合重み係数、Ｗ(2)は中間層と出力層間の結合重み係数）の修正値を求め、端子１１を介して３層ニューラルネットワーク１の各結合重み係数を更新する結合重み係数適応制御による学習を行うものである。
【０００９】
この適応制御による学習をすべての学習入力データに対して繰り返し、学習過程に於て収束する（平均出力誤差電力がある既定値以下となる）と、学習入力データに対するスレショルド回路１２を介して得られた２値出力信号が２値教師信号と同一、即ち、正答な２値出力信号となる。しかしながら、誤差電力を極小にするローカルミニマム状態に一旦落ち込むと、全ての学習入力データに対して所望の２値出力信号が必ずしも得られず、２値教師信号と異なる２値出力信号、即ち誤答の２値出力信号を送出する場合が多い。
【００１０】
このようにローカルミニマムの状態で収束した場合には、学習入力データに似たテスト入力データを入力した際に、所望の２値出力信号を送出する汎化能力があまり良くない。また、設定された結合重み係数の初期値によって正答の出力信号を送出する入力データの領域、即ち汎化領域が異なり、初期値依存性がある。
【００１１】
パターン認識などに於て、このようなローカルミニマムに収束した学習済みのニューラルネットワークを用いて、入力データに対して実行処理を行わせる際に、汎化能力が優れていない場合には、学習入力データに近い入力データに対して正しい２値出力信号が得られず、多くの誤認識が発生する。実用の際には、学習入力データやテスト入力データ以外の未知入力データが入力される場合が非常に多いが、これらの多くの未知入力データを学習させる為に事前に収集することは困難な場合が多い。
【００１２】
従って、未知入力データに対して所望の正しい２値出力信号が得られているかどうか、即ち正答な２値出力信号が送出されているかどうかを知る事は、非常に重要である。正答な２値出力信号が送出されていないことが判明した場合には、それらの未知入力データを収集して、追加学習などを行い、ニューラルネットワークの性能を改善し、汎化能力を高め、できるだけ正答な２値出力信号を多く送出させる。この為には、２値出力信号の正誤答判定機能を有するニューラルネットワーク処理システムが必要となる。
【００１３】
この正誤答判定機能に関する従来技術として、異なる結合重み係数初期値を設定して学習させた複数個の学習済みニューラルネットワークを入力に対して並列に接続し、それらの２値出力信号を多数決処理（多数投票処理）して入力データに対する汎化能力を改善し、而も正答判定や誤答判定、或いは判定不明などの正誤答判定信号を得る並列ニューラルネットワーク処理システムがある。例えば、D. Sarkar, “Randomness in Generalization Ability: A Source to Improve It”, IEEE Trans. Neural Networks Vol.7, No.3, May 1996, pp.676-685. 及び中川徹、他 “複数の乱数化ANNを用いて高信頼なパターン識別とその応用” 電子情報通信学会、信学技報 NC98-155, 1999, 3月などがある。この従来方式による並列ニューラルネットワーク処理システムの１例を以下に示す。
【００１４】
図３に、従来方式による入力データに対する正誤答判定或いは不明判定などの正誤答判定信号を送出する並列ニューラルネットワーク処理システム１４の１構成例を示す。上述のように、異なった結合重み係数の初期値を用いてそれぞれ学習済みの第１、第２及び第３のニューラルネットワーク１５、１８、２１を入力に対して並列接続している。更に、各単体の前記ニューラルネットワーク１５、１８、２１の出力層６のユニットからの出力信号はそれぞれスレショルド回路１６、１９、２２を介して２値出力信号に変換され送出され、３入力の多数決処理器２４にそれぞれ入力される。ここで、第１の２値出力ネットワーク手段１７は、前記第１の学習済みニューラルネットワーク１５と前記スレショルド回路１６から構成される。同様に、第２及び３の２値出力ネットワーク手段２０、２３は、前記第２及び第３の学習済みニューラルネットワーク１８、２１と前記スレショルド回路１９、２２とからそれぞれ構成されている。
【００１５】
前記多数決処理器２４では、前記２値出力ネットワーク手段からの２値出力信号の内２個以上が一致すれば、出力状態判定信号として正答判定信号を端子２７から送出し、同時にその２値出力信号を端子２６から最終出力信号として送出する。また、それ以外の場合には、不明或いは誤答と見做し、端子２７から誤答判定信号を出力状態判定信号として出力する。更に、一致／不一致状況に応じて予め定められた２値出力ネットワーク手段からの２値出力信号を並列ニューラルネットワーク処理システム１４の最終出力信号として選択送出する。
【００１６】
このような多数決処理器２４からの多数決判定に従って正答、或いは誤答の正誤答判定信号を得、２値出力ネットワーク手段からの２値出力信号を最終的に選択することから、単体の学習済みニューラルネットワーク１５、１８、２１の汎化能力より若干高い汎化能力を得ることが出来る。しかしながら、異なる結合重み係数初期値の設定を行ないローカルミニマムに各ニューラルネットワークを収束させ学習済みとして用いることから、高い汎化能力は得られない欠点と、数百から場合によっては数千個の数多くの２値出力ニューラルネットワーク手段を並列接続する必要があり、非常に複雑となる欠点を有している。また、正答率の高い２値出力信号が得にくく、而も正答／誤答の判定精度も低い欠点がある。例えば、正答判定の精度は、８０％程度で飽和している。また、２０％程度が不明判定となっている。
【００１７】
ここでは、多数決処理器２４を用いた場合について説明したが、これに代わり一致検出器を用いる場合もある。一致検出器を用いた場合には、一致すると正答と判定することにより、正答判定の精度は改善されるものの、不明判定や誤答判定が増加する。
【００１８】
【発明が解決しようとする課題】
上記の如く構成した従来の並列ニューラルネットワーク処理システム１４では、学習済みニューラルネットワーク１５、１８、２１は、同一の構造を有した、而も同一の学習アルゴリズムに対して、それぞれ異なった結合重み係数初期値を用いて同一の教師信号に対して学習を行っている。従って、これらのニューラルネットワーク１５、１８、２１が同一のグローバルミニマムに収束すると、入力データに対する２値出力信号が正答或いは誤答に関らず殆ど一致してしまうことから、それらを並列接続して、入力データに対するそれぞれの２値出力信号を多数決処理しても、正答の場合には全てが正答となり、一方、誤答や不明の場合は全て同様な状態となることから並列接続と多数決処理を用いた効果が無い。従って、できるだけ異なったローカルミニマムに収束するよう学習させ、それぞれ異なった、正答の出力信号を送出する入力データの領域、即ち汎化領域を実現する必要がある。
【００１９】
これらの理由から、それぞれ異なりずれた汎化領域を持たせるには、並列接続される学習済みニューラルネットワークとして、それぞれ異なるローカルミニマム状態で学習を終了させ使用する必要があり、汎化能力が余り高くなく、誤った２値出力信号を出しやすい。従って、入力データに対して出来るだけ正答な最終２値出力信号を得、而も精度の高い正誤答判定信号を得る為には、多くの学習済みニューラルネットワークを並列接続し、多くの２値出力信号の多数決処理をする必要があり、構成が複雑かつ処理量が増加する欠点がある。また、正答／誤答或いは不明の判定を、単に多数決処理のみで行っており、誤った２値出力信号に対してもお互いに同一な誤りの場合には、検出されることなくそのまま正答とみなすなど、入力データに対する正答判断の精度が低い欠点を持っている。
【００２０】
従って、並列接続される学習済みニューラルネットワーク数を多く増加させ多数決処理を行っても、ローカルミニマムに収束していることから、正答判定率やその精度に飽和状態が生じ、汎化能力は若干改善されるもの、正答判定の精度や正答判定率は大幅には改善されない。特に、単体の学習済みネットワークの汎化能力が低く、不明判定が多く発生し、正答の判定が低下すると共にその精度も劣化する。このように、従来の方式では、高い汎化能力と正答判定率とその精度向上とを同時に達成させるには限界がある。
【００２１】
また、結合重み係数の初期値によって、正答の出力信号を与える入力データの領域、即ち汎化領域が異なることを利用しているが、初期値に基づいてどの程度異なった汎化領域が得られるかは、落ち込むローカルミニマムにより決まり、予め予測出来ない。従って、実際に種々の初期値を与えニューラルネットワークを学習させた後、学習済みニューラルネットワークを並列接続し動作させて、学習済みニューラルネットワークの並列接続の有効性が初めて評価されるなどの欠点もある。特に、これらの欠点は、大規模ニューラルネットワークでは、種々の結合重み係数の初期値を用いてローカルミニマムに収束させる為の学習処理と、テスト入力データに対する汎化能力と汎化領域との評価を繰り返し行なう試行錯誤の作業が必要となる事を意味しており、満足できる結果を得るには膨大な作業を要し、実用的でない。
【００２２】
本発明の目的は、上記の問題を解決し、従来の正誤答判定機能を有した並列ニューラルネットワーク処理システムなどに比べて、少ない並列度の学習済みニューラルネットワークを用いて、高精度な正答判定或いは誤答判定を送出する正誤答判定信号を得ると共に、正答判定率の高い正誤答判定機能を有し、単体の学習済みニューラルネットワークよりも汎化能力が非常に優れた並列ニューラルネットワーク処理システムを提供することにある。
【００２３】
【課題を解決するための手段】
本発明の特徴は、学習入力データと第１の多値教師信号とを用いて学習した、中間層からの中間層第１出力信号と出力層からの第１直接出力信号とを送出する学習済みニューラルネットワーク４１と、該第１直接出力信号を多値化し多値第１直接出力信号を送出する多値スレショルド手段４２とからなる、第１の多値出力ネットワーク手段４３と、
該第１の多値教師信号を変換し得られた異なる変換多値教師信号と前記学習入力データとを用いて学習した、中間層からの中間層第２出力信号と出力層からの第２直接出力信号とを送出する学習済みニューラルネットワーク４４と、該第２直接出力信号を多値化し多値第２直接出力信号とを送出する多値スレショルド手段４５と、該変換多値教師信号から前記第１の多値教師信号への逆変換則を有し、該多値スレショルド手段４５からの該多値第２直接出力信号を変換し多値第２変換出力信号を送出する出力変換手段４６とからなる、少なくとも１つ以上の第２の多値出力ネットワーク手段４７とを、入力データに対して並列接続し、
夫々の前記第１の及び前記第２の多値出力ネットワーク手段４３、４７からの前記多値第１及び多値第２直接出力信号と隣接関係にある多値隣接出力信号を夫々生成する２つ以上の隣接出力生成手段５９、６０と、
夫々の前記第１の及び前記第２の多値出力ネットワーク手段４３、４７の前記入力データに対する前記中間層第１及び第２出力信号から２つ以上の多値スレショルド手段５１、５２を夫々介して得た各々の中間層多値第１及び第２出力信号をもとに、前記多値第１及び第２直接出力信号及び前記多値第１及び第２隣接出力信号各々に対応した中間層出力距離を夫々求める２つ以上の中間層出力距離計算手段５３、５４と、
該中間層出力距離計算手段５３、５４各々から得られた、前記入力データに対する前記多値第１及び第２直接出力信号と前記多値第１及び第２隣接出力信号に夫々対応した該中間層出力距離各々を少なくとも用いて、前記多値第１直接出力信号及び一つ以上の前記多値第２変換出力信号の夫々の出力状態推定を行い出力状態推定信号を送出する２つ以上の出力状態推定手段５５、５６と、
前記多値第１直接出力信号と一つ以上の前記多値第２変換出力信号との間の一致状態検出し、一致状態検出信号を送出する出力一致検出手段４８と、
少なくとも、前記多値第１及び第２直接出力信号と前記多値第１及び第２隣接出力信号にそれぞれ対応した前記中間層出力距離間の夫々の最小検出と、夫々の前記出力状態推定信号と、前記一致状態検出信号とから前記多値第１及び第２変換出力信号夫々の出力状態判定を行ない、前記多値第１直接出力信号及び一つ以上の前記多値第２変換出力信号の何れかを選択し、最終出力信号として送出すると共に、対応した出力状態判定信号を送出する出力状態判定選択処理手段６１とを
少なくとも具備し構成する並列ニューラルネットワーク処理システムにある。
【００２４】
前記中間層出力距離計算手段５３、５４において、学習コアー入力データを少なくとも含む前記学習入力データを用いて学習させたそれぞれの前記学習済みニューラルネットワーク４１、４４の中間層からの、該学習コアー入力データに対する前記中間層第１及び第２出力信号から前記多値スレショルド手段５１、５２を介して夫々得られた中間層多値第１及び第２出力信号を夫々中間層基準出力信号とし、該学習コアー入力データに対する該第１の多値教師信号及び該変換多値教師信号に夫々対応させて予め格納記憶し、前記多値第１及び第２直接出力信号及び夫々対応した前記多値第１及び第２隣接出力信号を用いて夫々の該中間層基準出力信号を読み出す一つ以上の中間層基準出力記憶手段４９、５０を少なくとも具備し、前記入力データに対する前記多値第１及び第２直接出力信号及び該多値第１及び第２直接出力信号に夫々対応した前記多値第１及び第２隣接出力信号を用いて呼び出された夫々の前記中間層基準出力信号と、対応した前記中間層多値第１及び第２出力信号との間の中間層出力距離を夫々求める。
【００２５】
少なくとも前記出力一致検出手段４８からの前記一致状態検出信号を基に、予め記憶されている推定用出力距離スレショルドを選択設定し、
前記多値第１及び第２直接出力信号に夫々対応した前記中間層出力距離と比較し、該多値第１直接出力信号及び夫々の前記多値第２変換出力信号の出力状態推定を行う。
【００２６】
予め準備されたテスト入力データに対して、正答な多値第１及び第２直接出力信号を夫々送出する該テスト入力データに対応した夫々の出力層からの前記第１及び第２直接出力信号の出力層ユニット毎の正答を与える出力正答余裕を各々求め、該出力正答余裕の最大値と最小値とからなる範囲を示す該多値第１及び第２直接出力信号毎のテスト内領域を夫々得、該多値第１及び第２直接出力信号夫々対応させて予め格納記憶し、前記入力データに対する前記多値第１及び第２直接出力信号の各々によって、夫々対応した該テスト内領域を夫々読み出し、前記入力データに対する前記出力層出力信号各々と、対応した該テスト内領域と夫々比較しテスト内領域かテスト外領域かを判定し、テスト領域判定信号として送出するテスト領域判定手段５７、５８をそれぞれの前記多値出力ネットワーク手段４３、４７毎に具備し、
夫々の前記出力状態推定手段５５、５６に於て、前記多値第１及び第２直接出力信号夫々に対応した前記テスト領域判定信号を用いて、対応した出力状態推定をする。
【００２７】
前記出力状態判定選択処理手段６１に於て、更に、前記多値第１及び第２直接出力信号にそれぞれ対応した前記中間層出力距離を予め設定された判定用出力距離スレショルドと比較し、夫々の前記出力状態判定を行う。
【００２９】
【作用】
本発明の高精度の出力状態判定機能を有した並列ニューラルネットワーク処理システムは、第１の多値教師信号を用いて学習させた学習済みニューラルネットワークを持った第１の多値出力ネットワーク手段と、異なった変換多値教師信号を用いて学習させた学習済みニューラルネットワークを持った第２の多値出力ネットワーク手段とを入力に対して並列に接続し、第１の多値出力ネットワーク手段からの多値第１直接出力信号と、出力変換器を持った第２の多値出力ネットワーク手段からの多値第２変換出力信号との一致状態検出結果或いは多数決処理結果と、多値第１及び第２直接出力信号の正誤答推定と、該多値第１直接出力信号とその隣接出力信号にそれぞれ対応した中間層基準出力信号と入力データに対応した中間層多値出力信号との中間層出力距離に関する最小検出と該中間層出力距離の判定用出力距離スレショルド比較とを基にした、これらの多値直接出力信号の正誤答判定を行っている。
【００３０】
具体的には、第１の多値出力ネットワーク手段からの多値第１直接出力信号と並列接続されているそれぞれの第２の多値出力ネットワーク手段からの多値第２変換出力信号とが一致状態となった場合、それらの出力推定結果が正答／誤答の異なった出力推定状態或いは全て誤答の推定状態に対して、多値第１直接出力信号とその隣接関係にある多値隣接出力にそれぞれ対応した中間層出力距離を求め、それらの中間層出力距離の最小検出と、及び多値第２直接出力信号とその隣接関係にある多値隣接出力にそれぞれ対応した中間層出力距離を求め、それらの中間層出力距離の最小検出とを行ない、その結果と多値第１及び第２直接出力信号に対応したそれぞれの中間層出力距離の判定用出力距離スレショルド比較とから多値第１及び第２直接出力の正誤答判定を行なうことにより、非常に精度の高い出力状態判定を行うことができる。
【００３１】
ここでは、異なった教師信号を用いてそれぞれのニューラルネットワークを学習入力データに対して全て正答出力信号となるよう学習させ、而も非常に高い汎化特性を実現させると共にそれぞれの汎化領域をずらし、これらを並列接続している。これによって、多値第１直接出力信号と各多値第２変換出力信号との一致状態の割合を増やすと共に、各多値直接出力信号の正確な正誤答推定とを行なっている。而も多値第２直接出力信号が正答の場合には、それに対応した中間層距離が、その隣接関係にある多値隣接出力に対応したいずれの中間層出力距離よりも小さくなること、また、与えられた判定用出力距離スレショルドより小さくなることを基本的に利用して、精度の高い正答／誤答判定を行っている。
【００３２】
従って、従来方式の並列ニューラルネットワーク処理システムに比べて、非常に高精度に且つ安定な正答／誤答などの出力状態判定が容易に得られ、而も汎化能力も非常に高くできる。この結果、ネットワーク障害検出や種々のパターン認識などへの応用の際に、最終出力信号の出力状態判定信号から、学習済みニューラルネットワークに対する追加学習を必要とする誤答出力信号を送出する未知入力データ収集が簡単に行う事ができる。それらを追加学習させることにより、より高い汎化能力と非常に高精度な出力状態判定機能を持った並列ニューラルネットワーク処理システムを簡単に実現出来る。従って、従来方式のような学習の際の結合重み係数の初期設定に於ける試行錯誤も不要で、本発明に示す優れた性能を有し、而も低い並列度を持った並列ニューラルネットワーク処理システムを迅速且つ簡単に設計することが出来る。
【００３３】
【発明の実施の形態】
以下に本発明の並列ニューラルネットワーク処理システムの実施形態の１例をあげ、その構成及びその動作について、詳細に説明する。ここでは、多値教師信号として、２値教師信号を用いた場合を例にあげ説明する。
【００３４】
本発明の実施形態の並列ニューラルネットワーク処理システム４０を図１に示す。２つの学習済みニューラルネットワークを並列接続し、２値の異なる教師信号を用いた構成例を示す。
【００３５】
第１の２値教師信号と学習入力データとを用いて学習させた学習済みニューラルネットワーク４１とスレショルド回路４２とからなり、２値第１直接出力信号と第１直接出力信号と中間層出力信号とを送出する第１の２値出力ネットワーク手段４３と、前記第１の２値教師信号をコード変換して得た２値変換教師信号と前記学習入力データとを用いて学習させた学習済みニューラルネットワーク４４とスレショルド回路４５と出力変換器４６とからなり、２値第２直接出力信号と２値第２変換出力信号と第２直接出力信号と中間層出力信号とを送出する第２の２値出力ネットワーク手段４７とを、入力データに対して並列に接続し、中間層基準出力信号を検出し格納記憶する中間層基準出力メモリ４９、５０と、中間層出力距離を求めるハミング距離計算器５３、５４と、テスト内領域を求め格納記憶するテスト領域判定器５７、５８と、前記２値第１直接出力信号と前記２値第２変換出力信号との間の一致状態を検出する出力一致検出器４８と、出力が正答か誤答か出力状態推定する出力状態推定器５５、５６と、前記２値第１直接出力信号と隣接関係にある２値第１隣接出力信号を生成する隣接出力生成器５９と、前記スレショルド回路４５からの２値第２直接出力信号と隣接関係にある２値第２隣接出力信号を生成する隣接出力生成器６０と、出力状態判定を行ない出力状態判定信号を送出し、前記２値第１直接出力信号か前記２値第２変換出力信号かのいずれかを最終出力信号として選択送出する出力状態判定選択処理器６１とから構成される。
【００３６】
ここで、前記学習済みニューラルネットワーク４１及び４４は、図１に示すように入力層４、中間層５及び出力層６の３層を持ち、同一構成である。前記スレショルド回路４２は、前記学習済みニューラルネットワーク４１の出力層６のユニット出力信号を２値化した２値第１直接出力信号として前記出力一致検出器４８、前記隣接出力生成器５９、前記出力状態判定選択処理器６１、前記中間層基準出力メモリ４９及びテスト領域判定器５７へそれぞれ送出する。前記スレショルド回路４５も、同様に前記学習済みニューラルネットワーク４４の出力層６のユニット出力信号を２値化し２値第２直接出力信号として前記隣接出力生成器６０、前記出力変換器４６、前記中間層基準出力メモリ５０及びテスト領域判定器５８へそれぞれ送出する。前記スレショルド回路５１、５２は、入力データに対する前記学習済みニューラルネットワーク４１、４４のそれぞれの中間層５から送出される中間層出力信号を２値化し、中間層２値第１及び第２出力信号として前記ハミング距離計算器５３及び前記中間層基準出力メモリ４９、５０にそれぞれ送出する。
【００３７】
前記出力変換器４６は、前記第２のネットワーク手段４７の２値変換教師信号を前記第１のネットワーク手段４３の２値教師信号へ逆変換する変換則を有し、前記２値第２直接出力信号を変換し、前記２値第２変換出力信号として第２のネットワーク手段４７から送出し、前記出力一致検出器４８及び前記出力状態判定選択処理器６１へ入力する。
【００３８】
前記出力一致検出器４８は、前記第１及び第２のネットワーク手段４３、４７からそれぞれ送出された前記２値第１直接出力信号と前記２値第２変換出力信号とを比較し、一致状態を検出すると一致状態検出信号を前記出力状態推定器５５、５６及び前記出力状態判定選択処理器６１へそれぞれ送出する。
【００３９】
前記隣接出力生成器５９は、前記２値第１直接出力信号を用いて、予め指定されたハミング距離以内で離れた隣接関係にある前記２値第１隣接出力信号を生成し、前記中間層基準出力メモリ４９に送出する。一方、前記隣接出力生成器６０は、該隣接出力生成器５９と同一の機能を有し、前記２値第２直接出力信号を用いて、該ハミング距離以内で離れた隣接関係にある前記２値第２隣接出力信号を生成する。これらの２値隣接出力信号は前記中間層基準出力メモリ４９、５０にそれぞれ送出する。
【００４０】
前記中間層基準出力メモリ４９、５０は、学習処理が完了した段階で、前記学習入力データに対応したそれぞれの前記中間層２値第１及び第２出力信号を、分類カテゴリに対応した前記２値教師信号毎、及び前記２値変換教師信号毎に、それぞれ前記中間層基準出力信号として格納記憶する。更に、実行処理時には、前記入力データに対する２値第１及び第２直接出力信号、更にはそれぞれに対応した前記２値隣接出力信号とを用いて、格納されている該中間層基準出力信号をそれぞれ検索し読み出し、前記入力データに対応したそれぞれの前記中間層２値出力信号と該中間層基準出力信号との間の中間層出力距離を計算する為に、該中間層基準出力信号を前記ハミング距離計算器５３、５２にそれぞれ送出する。尚、ここでは、前記学習入力データに対応した前記２値第２直接出力信号を用いて、前記中間層基準出力信号の格納記憶を行ない、一方、前記入力データに対応した前記２値第２直接出力信号を用いて読み出しを行っているが、それぞれ出力変換器４６からの２値第２変換出力信号を用いて格納記憶や読み出しを行ってもよい。
【００４１】
前記ハミング距離計算器５３、５４は、前記スレショルド回路５１、５２からの前記入力データに対する前記中間層２値出力信号と、前記２値直接出力信号及びそれに対応した前記２値隣接出力信号を用いて前記中間層基準出力メモリ４９、５０から読み出されたそれぞれの前記中間層基準出力信号との間のハミング距離を求め、前記中間層出力距離として、前記出力状態推定器５５、５６及び前記出力状態判定選択処理器６１にそれぞれ送出する。前記中間層出力距離は、２値直接出力信号の正誤答推定及び正誤答判定に於て用いられる。一般に、２値直接出力信号が正答の場合は、中間層出力距離のハミング距離は小さく、誤答の場合はこの距離が大きい傾向にある。従って、前記出力状態推定器５５、５６及び前記出力状態判定選択処理器６１に於て、与えられた出力距離スレショルドと比較することにより、それぞれ正誤答の推定や判定に利用出来る。
【００４２】
ここで、前記２値空間に於けるハミング距離計算器５３、５４の代わりに、多値空間での距離を求めるリー距離計算器や連続値の間での距離を求めるユークリッド距離計算器をそれぞれの空間で用いてもよい。
【００４３】
例えば、ユークリッド距離の場合には、前記スレショルド回路５１、５２を介さず学習入力データに対応した中間層出力信号をそのまま中間層基準出力信号として、前記中間層基準出力メモリ４９、５０に予め格納記憶し、これらを入力データに対応した２値第１及び第２直接出力信号を基にそれぞれ読み出し、前記入力データに対する中間層出力信号とのユニット毎の差の絶対値或いはその二乗を全ユニットに渡り加算して中間層出力距離として用いても良い。
【００４４】
前記テスト領域判定器５７、５８は、学習済みニューラルネットワーク４１、４４のテスト処理時に、テスト入力データを用いて、分類カテゴリに対応した前記第１のネットワーク手段４３の２値教師信号毎、及び前記第２のネットワーク手段４７の２値変換教師信号毎に、テスト内領域を求め格納記憶する。具体的には、前記２値出力ネットワーク手段４３、４７のテスト入力データに対する汎化能力を評価する際に、正答の２値直接出力信号を送出するテスト入力データに対して、前記学習済みニューラルネットワーク４１、４４の出力層６からの直接出力信号のユニット毎の出力正答余裕（即ち、正答な直接出力信号に於ける、前記スレショルド回路４２、４５のスレショルド値とユニット出力信号との差の絶対値）を求め、その最小値と最大値の範囲を前記テスト内領域とする。これをそれぞれ前記２値教師信号に対応させてテスト領域判定器５７、５８にそれぞれ格納記憶しておく。テスト内領域以外をテスト外領域とする。尚、ここでは、テスト内領域として、ユニット毎の出力正答余裕の最大及び最小値を用いているが、全ユニット間での最大及び最小値を用いても良い。
【００４５】
更に、実行処理時に、前記入力データに対応した２値第１及び第２直接出力信号を用いてそれぞれ前記テスト内領域を読み出すと共に、対応した直接出力信号に対して、各ユニット毎の出力正答余裕をそれぞれ求め、該テスト内領域とそれぞれ比較し、ユニット毎の該直接出力信号が全て該テスト内領域内であれば、テスト内領域判定、それ以外をテスト外領域判定とするテスト領域判定信号を前記出力状態推定器５５、５６へそれぞれ送出する。前記入力データに対する直接出力信号がテスト外領域判定されると、その入力データに対応した２値直接出力信号は、誤答の可能性が高い未知入力データと見做される。この情報を基に判定用出力距離スレショルドの値を、例えば、後述の表１の条件３、４、７ように切り替える。
【００４６】
前記出力状態推定器５５、５６は、前記テスト領域判定器５７、５８、及び前記ハミング距離計算器５３、５４、更に前記出力一致検出器４８とからそれぞれ入力された、前記テスト領域判定信号と前記２値直接出力信号に対応した中間層出力距離と前記一致状態検出信号とを用いて、前記第１のネットワーク手段４３からの前記２値第１直接出力信号、及び前記第２のネットワーク手段４７からの前記２値第２直接出力信号が、夫々正答か誤答かの出力状態を推定する出力状態推定信号を前記出力状態判定選択処理器６１にそれぞれ送出する。
【００４７】
即ち、それぞれ接続されているテスト領域判定器５７、５８からのそれぞれの前記テスト領域判定信号と、前記出力一致検出器４８からの前記２値第１直接出力信号と前記２値第２変換出力信号との間の一致状態検出信号とを基に、予め記憶されている前記推定用出力距離スレショルドを選択設定し、前記ハミング距離計算器５３、５４からの前記中間層出力距離と比較した結果により、前記２値出力ネットワーク手段４３、４７からのそれぞれの前記２値第１及び第２直接出力信号の出力状態推定としての正答／誤答をそれぞれ個別に推定し、前記出力状態判定選択処理器６１に出力状態推定信号をそれぞれを送出する。
【００４８】
設定された前記推定用出力距離スレショルドと該中間層出力距離とを比較し、小さければ正答、大きければ誤答と基本的に推定する。ここで、該テスト領域判定信号がテスト内領域ならば、テスト外領域の場合よりも正答である可能性が高いことから、テスト外領域の場合よりも若干大きい該推定用出力距離スレショルドを準備する。また、該一致状態検出信号が一致状態を示しておれば、正答である可能性が比較的高い為、不一致状態の場合よりも大きい推定用出力距離スレショルドを準備する。このような推定用出力距離スレショルドとの比較により、２値直接出力信号に対して精度の高い正誤答推定を行うことが出来る。
【００４９】
前記出力状態判定選択処理器６１は、前記出力一致検出器４８からの前記一致状態検出信号に於て、前記２値第１直接出力信号と前記２値第２変換出力信号との間の一致状態が検出された場合には、前記出力状態推定器５５、５６を介して得られた前記２値直接出力信号のそれぞれの正誤答出力推定と、前記ハミング距離計算器５３を介して得られた、前記２値第１直接出力信号とその隣接関係の２値第１隣接出力信号とにそれぞれ対応した中間層基準出力と前記入力データに対応した前記中間層２値出力信号との間のハミング距離からなる中間層出力距離の間での最小検出と、同様に前記ハミング距離計算器５４を介して得られた、前記２値第２直接出力信号とその隣接関係の２値第２隣接出力信号にそれぞれ対応した中間層基準出力と前記入力データに対応した前記中間層２値出力信号との間のハミング距離からなる中間層出力距離の間での最小検出と、更に前記２値第１及び第２直接出力信号にそれぞれ対応した中間層出力距離の判定用出力距離スレショルド比較とを基に、最終的な出力状態判定としての正誤答判定を行なう。尚、判定用出力距離スレショルドを予め準備記憶しておく。
【００５０】
更に、前記第１のネットワーク手段４３からの前記２値第１直接出力信号か、前記第２のネットワーク手段４７からの前記２値第２変換出力信号かの何れかを最終出力信号として選択する。その後、端子２６から並列ニューラルネットワーク処理システム４０の前記最終出力信号を送出し、併せて、それに対応した前記出力状態判定信号としての正誤答判定信号を端子２７から送出する。
【００５１】
一方、前記２値第１直接出力信号と前記２値第２変換出力信号との間の不一致状態が検出された場合には、後述の表２に示す正誤判定処理によって、或いは特願２０００−０６０８４９（平成１２年３月６日）に示されている正誤答判定処理によって、正誤答判定を行ない出力状態判定信号として送出する。
【００５２】
以下、これらの動作について詳細に説明する。前記第１のネットワーク手段４３は、図２に示す構成の下に、端子８の第１の２値教師信号と端子２の前記学習入力データとを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）などにより学習させた前記学習済みニューラルネットワーク４１を用い、その出力層６の直接出力信号を前記スレショルド回路４２を介して２値化し、その２値出力信号を前記２値第１直接出力信号として送出する。
【００５３】
特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、而も前記学習入力データに対して全て正答の２値第１直接出力信号を得ることが出来る。
【００５４】
また、前記第２の２値出力ネットワーク手段４７では、図２に示すように端子８の前記第１の２値教師信号から教師信号コード変換器１３を介して得られた前記２値変換教師信号をスイッチ回路９を介して前記減算器１０に入力し、端子２の学習入力データに対して学習させることにより、同様に全て正答の前記２値第２直接出力信号を得ることが出来、前記学習済みニューラルネットワーク４４として用いる。
【００５５】
ここで、学習済みニューラルネットワーク４１、４４を得る際に、前記学習入力データと分類カテゴリとしての教師信号の対応づけに於て、２値教師信号毎に代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとして少なくとも準備する。このような学習コアー入力データを用いて学習させる。
【００５６】
更に、学習処理が完了した際に、前記学習コアー入力データに対する前記学習済みニューラルネットワーク４１及び４４の中間層５からの中間層出力信号を送出し、前記スレショルド回路５１、５２を介してそれぞれ前記中間層２値出力信号に変換し、これらを前記中間層基準出力信号として、それぞれの前記中間層基準出力メモリ４９及び５０に予め格納記憶しておく。この時、前記スレショルド回路４２及び４５からの各前記２値直接出力信号を用いて、それぞれ格納記憶する。
【００５７】
これらの前記学習済みニューラルネットワーク４１及び４４は、それぞれ前記第１の２値教師信号及び前記２値変換教師信号を用いることから、全て正答な２値直接出力信号を送出する異なった状態に簡単に収束させることができる。従って、前記第１及び第２のネットワーク手段４３、４７からの前記２値第１及び第２直接出力信号は、前記学習入力データに対して、全て正答となることから、前記２値第１直接出力信号と前記２値第２変換出力信号とは全て一致する。更に、これらの前記学習済みニューラルネットワーク４１、４４は学習アルゴリズムとニューラルネットワークの構造が同一であることから殆ど同様の非常に高い汎化能力が簡単に得られる。
【００５８】
従って、正答な２値直接出力信号を送出する入力データ領域、即ち汎化領域は広く、而も一部異なり互いにずれている。この為、未知入力データに対して、前記２値第１直接出力信号と前記２値第２変換出力信号とは、殆ど同一となるが、前記のずれている領域では同一とはならず、何れかが正答となる。この正答な２値出力信号を正答判定信号により選択出力することとなる。
【００５９】
尚、前記学習済みニューラルネットワーク４１及び４４の結合重み係数として、同一或いはそれぞれ異なった結合重み係数初期値を設定して学習させるが、それぞれ異なった初期値設定を行った場合には、汎化能力の差は殆どないが、汎化領域はより大きくずれた領域を持つ。従って、本発明に於ては、正誤答判定信号が正しい場合には、汎化特性を改善出来る。
【００６０】
次に、入力データに対して実行処理を行った際の前記出力一致検出器４８と前記出力状態判定選択処理器６１の動作について説明する。
【００６１】
前記出力一致検出器４８では、前記２値第１直接出力信号と前記２値第２変換出力信号とが一致した場合には、これらが共に正答となる場合が殆どである。しかしながら、発生率は非常に低いものの誤答であるがお互いに一致する場合も発生する。従来技術では、前述したように多数決処理によりこの一致した場合だけを検出し、それらを常に正答と単純に判定していることから、正誤答判定の精度が余り高くない。本発明では、一致状態だけでなく、前記２値直接出力信号と前記２値隣接出力信号にそれぞれ対応した中間層出力距離の間での最小検出と正誤答推定結果とを組み合わせ判定していることから、その精度が非常に高くなる。
【００６２】
前記出力状態判定選択処理器６１では、前記２値第１直接出力信号と前記２値第２変換出力信号とが一致しているにも係らず、出力誤りが発生している場合に於ても、正確な出力状態判定を行うことができる。
【００６３】
特に、前記２値第１及び第２直接出力信号が誤答の場合、それらからハミング距離が１或いは２の比較的小さい距離内の前記２値第１及び第２隣接出力信号の中に正答な２値出力信号が存在している場合が殆どであり、その確率は高い。従って、前記２値直接出力信号とそれに対応した前記２値隣接出力信号の何れが正答であるかをそれぞれの中間層出力距離の最小検出により調べることにより、前記２値直接出力信号の正誤答の状況を知ることが出来、正誤答判定精度を改善出来る。また、前記２値第１直接出力信号及び前記第２直接出力信号に対応したそれぞれの中間層出力距離をそれぞれ与えられた判定用出力距離スレショルドと比較することにより、更に一段と正誤答判定精度を高めることが出来る。
【００６４】
従って、前記出力状態推定と前記２値第１直接出力信号と前記２値第２変換出力信号との一致状態検出と、前記２値第１及び第２直接出力信号の正誤答推定と、前記２値第１直接出力信号及び前記２値第１隣接出力信号に対応したそれぞれの中間層出力距離の間の最小検出と、前記２値第１直接出力信号及び前記第２直接出力信号に対応したそれぞれの中間層出力距離の判定用出力距離スレショルド比較とを利用した出力状態判定処理を行う。
【００６５】
上記に説明した前記２値第１直接出力信号と前記２値第２変換出力信号とが一致した場合に於ける出力状態判定処理の一アルゴリズム例を表１示す。
【００６６】
【表１】
【００６７】
前記２値第１直接出力信号と前記２値第２変換出力信号が、一致した状態にあれば、両直接出力信号とも正答か、或いは誤答であり、正答の確率は比較的高い。特に、前記２値第１直接出力信号と前記２値第２変換出力信号が一致し、而も両出力推定結果とも正答推定の場合には、非常に高い精度で正答となる。
【００６８】
一方、両方とも誤答推定の場合、両直接出力信号が正答であることは、非常に稀であることから、２値第１直接出力信号に対応した中間層出力距離が、与えられた判定用出力距離スレショルドTH3より小さく、而もその隣接出力信号に対応した中間層出力距離より小さく、最小であり、同時に２値第２直接出力信号に対応した中間層出力距離も与えられた判定用出力距離スレショルドTH4より小さく、且つその隣接出力信号に対応した中間層出力距離より小さく、最小となる場合のみ、特別に出力状態として正答判定とし、このほかの条件下では、誤答判定とする。
【００６９】
また、前記２値第１及び第２直接出力信号の出力推定結果が互いに異なっている場合、前記２値第１直接出力信号と前記２値第２変換出力信号が一致している状況下では、基本的に正答である確率が比較的高いことから、前記２値第１直接出力信号に対応した中間層出力距離が、与えられた判定用出力距離スレショルドTH1より大きく、而もその隣接出力に対応した中間層出力距離のいずれかよりも大きい、即ち最小でなく、また同時に前記２値第１直接出力信号に対応した中間層出力距離が、与えられた判定用出力距離スレショルドTH2より大きく、而もその隣接出力に対応した中間層出力距離のいずれかよりも大きい場合には、両直接出力信号は誤答である可能性が大である。従って、前記２値直接出力信号を誤答判定とする。この条件以外では、正答判定とする。
【００７０】
上記に説明した出力状態判定選択処理器６１に於ける動作を行わせる１構成例を図４に示す。この構成について、以下簡単に説明する。
【００７１】
第１の２値出力ネットワーク手段４３のハミング距離計算器５３及び第２の２値出力ネットワーク手段４７のハミング距離計算器５４からのそれぞれの前記中間層出力距離が中間層出力距離分配器７０に入力され、これら中間層出力距離を最小中間層出力距離検出器７１に送出する。また、前記２値直接出力信号に対応した中間層出力距離を出力距離スレショルド比較器７２に送出する。
【００７２】
該最小中間層出力距離検出器７１では、これら中間層出力距離の内、２値直接出力信号に対応した中間層出力距離が最小であるかどうかを検出し最小検出信号を正誤答判定／出力選択器７３へ送出する。該出力距離スレショルド比較器７２では、該２値直接出力信号に対応した中間層出力距離とそれぞれの出力距離スレショルドとの比較を行ない、その結果を該正誤答判定／出力選択器７３へ送出する。
【００７３】
該正誤答判定／出力選択器７３では、上記の入力以外に前記第１の２値出力ネットワーク手段４３からの前記２値第１直接出力信号と前記第２の２値出力ネットワーク手段４７からの前記２値第２変換出力信号とが入力され、更に前記出力一致検出器４８からの一致状態検出信号が入力される。該一致状態検出信号に於て、前記２値第１直接出力信号と前記２値第２変換出力信号とが一致状態の場合、表１の方法で正誤答判定を行ないその結果を出力状態信号として端子２７から送出する。また、前記２値第１直接出力信号を最終出力信号として端子２６から送出する。一方、前記２値第１直接出力信号と前記２値第２変換出力信号とが不一致状態の場合には、後述の表２の方法に従って出力状態判定信号を最終出力信号をそれぞれ端子２７及び２６から送出する。
【００７４】
ここで、不一致状態の場合に、表２に示すように推定結果の論理和による正誤答判定処理を行うが、正誤答判定精度を従来方式より改善できる。
【００７５】
不一致状態の場合に更に高い正誤答判定を行う為には、特願２０００−０６０８４９（平成１２年３月６日）に示されている正誤答判定処理によって、正誤答判定処理を行ってもよい。
【００７６】
【表２】
【００７７】
従来技術では、多数決処理或いは一致状態検出処理を満足すれば、正答、満足しなければ誤答と単純に判定している為に、正誤答判定の精度が然程高くない。
【００７８】
本発明では、前記２値第１直接出力信号と前記２値第２変換出力信号とが一致状態の場合の正誤答判定処理に於ける判定精度の大幅な改善について明らかにしたが、不一致状態の場合に関しては、表２のような出力状態判定処理を行うか、或いは、２値出力ネットワーク手段４３、４７間での２値第１直接出力信号と２値第２隣接出力信号間の一致状態検出、及び２値第２直接出力信号と２値第１隣接出力信号間の一致状態検出を利用した正誤答判定処理（特願２０００−０６０８４９ 平成１２年３月６日）に示されている方法を用いてもよい。特に、この方法を用いれば、２値第１直接出力信号と２値第２変換出力信号の不一致状態に於ても、正誤答判定精度を更に著しく改善できる。
【００７９】
以上の説明のように、前記第１及び第２のネットワーク手段４３、４７の前記２値直接出力信号に対応した中間層出力層距離と前記出力正答余裕とを用いた直接出力信号の出力状態推定としての正誤答推定と、前記２値第１直接出力信号と前記２値第２変換出力信号間の一致状態検出と、前記２値直接出力信号及びその２値隣接出力信号にそれぞれ対応した中間層出力距離の間での最小検出と、更には与えられた判定用出力距離スレショルドとの比較とによる出力状態判定を行うことにより、非常に高い正誤答判定精度を実現することが出来る。
【００８０】
特に、正答判定の場合、そのまま出力信号をシステムとして利用する場合が多いことから、この正答判定精度ができる限り高くなることが非常に重要である。また、誤答判定の場合には、その入力データに対する正しい２値出力信号を調べ、追加学習することにより、並列ニューラルネットワーク処理システム４０は非常に高性能となり、学習入力データから非常に離れた未知入力データに対しても正答な出力信号を送出でき、而も一段と正確な正誤答判定信号を送出することになる。
【００８１】
尚、各前記出力距離スレショルドは、ある一定値でもよいが、２値教師信号毎に異なる値を設定してもよい。或いは、同一の分類カテゴリとなる正答な２値直接出力信号を出力する種々のテスト入力データに対して、前記中間層出力距離を求め、その分布の平均値或いは更に標準偏差とを少なくとも用いて前記出力距離スレショルドを求め設定しても良い。また、中間層出力距離と出力距離スレショルドとの大小比較でもよいが、中間層出力距離と出力距離スレショルドとの差の大小関係を比較に用いても良い。
【００８２】
本実施形態では、中間層基準出力メモリ４９、５０とハミング距離計算器５３をそれぞれ分けて説明したが、これらを一緒にして中間層基準出力信号を格納記憶すると共に距離計算をする距離計算処理器として構成してもよい。
【００８３】
また、ここでは、正しい所望の２値出力信号を送出するテスト入力データだけから上記のテスト内領域を求めたが、準備されている全てのテスト入力データを基にテスト内領域を求める場合には、前記学習入力データを用いてニューラルネットワークの学習処理を終了させた後、誤った２値直接出力信号を送出するテスト入力データを学習入力データとして追加学習し、この追加学習を繰り返すことにより、最終的に全てのテスト入力データに対して全て正答な２値出力信号を送出するよう学習させることができる。このような追加学習を行った後、その結合重み係数を用いて学習済みニューラルネットワーク４１、４４に設定し、これらの全てのテスト入力データに対してテスト内領域を収集してもよい。
【００８４】
また、並列ニューラルネットワーク処理システム４０において、上記説明のごとく異なった教師信号に対して学習済みの２並列接続された前記２値出力ネットワーク手段４３、４７を用いているが、ここで、特願平１１−２２９１９２のように、並列度を増やす為に、これらの２値出力ネットワーク手段４３、４７の他に、更に異なった２値変換教師信号による学習済みのニューラルネットワークを用いた、前記第２の２値出力ネットワーク手段４７と同様の構成をもった新たな２値出力ネットワーク手段を用意し、前記入力データに対して並列接続してもよい。この増設された該２値出力ネットワーク手段には、前記２値出力ネットワーク手段４７と同様にスレショルド回路５２、ハミング距離計算器５４、中間層基準出力メモリ５０、テスト領域判定器５８とそれぞれ同一構成のものを接続し、更に、前記出力一致検出器４８の代わりに、多数決処理器（投票処理）を設け、出力状態判定処理方法と出力選択処理方法を拡張して用いてもよい。これにより、並列ニューラルネットワーク処理システム４０の出力状態判定精度もより著しく改善される。
【００８５】
尚、本実施形態に於て、学習済みニューラルネットワーク４１、４４として、それぞれ異なる２値教師信号を用いて学習させたが、それぞれ異なる３値以上の多値教師信号を用いて学習させ、２値化するスレショルド回路４２、４５の代わりに、多値スレショルド回路を用い、隣接出力生成器３７、３６、５９、６０に於ては、リー距離を用いて多値隣接出力信号を生成すればよい。テスト領域判定器５８も当然多値信号に対して簡単に対応出来る。これにより、出力状態判定信号としての正誤答判定信号と最終出力信号としての多値出力信号とを送出する並列多値ニューラルネットワーク処理システムを構成することも出来る。尚、中間層出力距離や中間層基準信号に関しては、２値、多値、或いは連続値何れでもよい。
【００８６】
本実施の形態に於て、入力データを入力して並列ニューラルネットワーク処理システム４０を動作させた際、端子２６から誤答判定された最終出力信号が得られた場合には、これに対応した入力データを学習入力データとして、前記学習済みニューラルネットワークの結合重み係数を初期値として追加学習して、新たな結合重み係数を得、前記学習済みニューラルネットワーク４１、４４に設定し、前記並列ニューラルネットワーク処理システム４０を動作させてもよい。この一連の追加学習処理を繰り返すことにより汎化能力や汎化領域の改善が図れ、より高い正答判定率とより高い判定精度を得ることが出来る。
【００８７】
また、出力状態判定選択処理器６１に於て、選択された２値出力信号に対応する出力層からの直接出力信号を最終出力信号として送出してもよいし、選択された２値出力信号も同時に最終出力信号としてもよい。更に、出力状態判定として、正誤答判定の例を説明したが、正答／不明判定などの判定を行っても良く、出力信号の出力状態に対して、少なくとも正答判定とそれ以外の状態に判定できればよい。
【００８８】
学習方法としては、バックプロパゲーション法を前提に説明したが、教師信号を用いた学習ならいずれの学習法でもよい。また、学習済みニューラルネットワークとしてローカルミニマム状態に収束させたものを用いることもできるが、汎化能力及び汎化領域ともグローバルミニマム状態で収束した場合より劣化することから、汎化能力及び正誤答判定精度も劣化する。
【００８９】
また、前記教師信号コード変換器１３を介して得られる前記２値変換教師信号として、前記第１の２値教師信号から、例えば、前記第１の２値教師信号の２値補数からなる２値教師信号や、前記入力データと前記第１の２値教師信号との分類カテゴリとしての対応関係をシフトした２値教師信号を用いてもよい。或いは、前記入力データと前記第１の２値教師信号との分類カテゴリとしての対応ずけをランダムに割当てた新たな２値教師信号を用いてもよい。このコード変換された前記２値変換教師信号としては、前記出力変換器４６に於て前記２値変換教師信号を前記第１の２値教師信号へ逆変換することができれば、如何なる２値変換教師信号でもよい。
【００９０】
尚、前述した出力状態判定選択処理器６１及び出力状態推定器５５、５６の構成は、本発明の技術的概念及び見地の範囲の種々の変更、修正及び省略が、当業者によれば容易に行うことができる。従って、前述の説明はあくまで１例であり、何ら制約しようとするものではない。
【００９１】
以上本発明の実施の形態について、詳述してきたが、具体的な構成例は、上記の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更であっても本発明に含まれる。
【００９２】
【発明の効果】
以上述べたように、従来方式では、汎化領域をずらす為に、学習の際に種々の異なった結合重み係数の初期値に対してローカルミニマムに収束させる試行錯誤と数多くのニューラルネットワークが必要で、その演算処理量も膨大となり、而も目標とする正誤答判定性能に対して簡単に設計ができない。また、複数個の学習済みニューラルネットワークを入力データに対して並列接続し、入力データに対する２値出力信号の単なる多数決処理や一致状態検出などによる正答誤答判定や正答不明判定を行っており、正誤答判定精度及び汎化能力が低い。
【００９３】
一方、本発明の出力状態判定機能を有した並列ニューラルネットワーク処理システムは、それぞれ異なった多値教師信号を用いて学習させた学習済みニューラルネットワークを用いており、汎化能力も非常に高く安定であり、汎化領域も広く、而もそれを簡単にずらすことができる。従って、少ない数の並列接続のニューラルネットワークを用いればよく、演算処理も少なく学習が簡単で、且つ試行錯誤が不要である。また、それらの学習済みニューラルネットワークの汎化能力及び汎化領域とも高性能で非常に安定していることから、２値直接出力信号と２値変換出力との一致状態検出と、ニューラルネットワークの内部状態としての、中間層出力距離とテスト内／外領域を用いた正誤答出力推定と、直接出力信号及びその隣接出力信号にそれぞれ対応した中間層出力距離の間の最小検出、更には、直接出力信号に対応した中間層出力距離の判定用出力距離スレショルド比較とにより、非常に精度の高い出力状態判定が得られる。
【００９４】
従って、並列ニューラルネットワーク処理システムに於て、必ずしも数多くの並列のニューラルネットワークを用いる必要がなく、構成が簡単になる。
【００９５】
これらの結果から、本発明の出力状態判定機能を有する並列ニューラルネットワーク処理システムをパターン認識等に実用した際、未知入力データに対する出力信号の正誤答判定の精度が非常に高いことから、出力信号が正答と判定されれば、その出力信号をそのまま利用することが出来、一方、誤答と判定された未知入力データに対しては、正しい教師信号の対応ずけを行ない、並列接続されたそれぞれのニューラルネットワークを追加学習させ、得られた結合重み係数で置き換えるにより、並列ニューラルネットワーク処理システムの汎化能力と正誤答判定精度を一段と向上させることが簡単に出来る。
【００９６】
従って、パターン認識処理などに用いる際に、詳細な学習入力データを事前に取得した後に、ニューラルネットワークを学習させて使用する必要は必ずしもなく、少なくとも非常に特徴のある学習入力データを学習コアー入力データとしてまず学習させ、現実の使用環境の元で、高い汎化能力と精度の高い出力状態判定能力とを利用した誤答出力信号を送出する未知入力データ収集を迅速に行なうことが出来る。これらを追加学習させることにより、正誤答判定機能を有する並列ニューラルネットワーク処理システムの正答判定能力と汎化能力を同時に著しく高めることが出来、実用環境に適したパターン認識率の非常に高い高性能な並列ニューラルネットワーク処理システムを簡単に実現出来る。
【００９７】
上述のように本発明の出力状態判定機能を有する並列ニューラルネットワーク処理システムは、従来方式に比べて、少ない数の学習済みニューラルネットワークを並列接続し使用しても非常に高い性能が簡単に得られ、構成が簡単になり演算処理量も非常に少ない利点を持つ。また、異なった教師信号を用いて全て正答な出力信号を送出するよう学習させたニューラルネットワークを用いることから、試行錯誤を必要とせず、学習処理が大幅に少なく、而も動作も安定しており、高い精度の出力状態判定と非常に高い汎化特性を簡単に実現できる。
【００９８】
従って、従来技術では実現が困難な大規模ニューラルネットワークに対しても本発明の並列ニューラルネットワーク処理システムを用いて短時間で設計し実現することが出来、非常に高性能な正誤答判定能力や高い汎化能力が要求される人工知能システム、ネットワーク障害情報処理システムやネットワークセキュリティシステムなどの通信ネットワーク処理システム、或いは検索システム、画像処理システムなどのシステムへの幅広い応用ができるなど、非常に幅広い効果を有している。
【図面の簡単な説明】
【図１】本発明の実施形態における高精度出力状態判定機能を有した並列ニューラルネットワーク処理システムの１構成例。
【図２】従来方式における３層ニューラルネットワークの学習処理の１構成例。
【図３】従来方式による出力状態判定機能を有した並列ニューラルネットワーク処理システムの１構成例。
【図４】出力状態判定選択処理器６１の１構成例。
【符号の説明】
１ ３層ニューラルネットワーク
２ 入力信号入力端子
２１ 入力ユニット端子
２２ 入力ユニット端子
２Ｎ 入力ユニット端子
３ ２値出力端子
３１ ２値出力ユニット端子
３２ ２値出力ユニット端子
３Ｍ ２値出力ユニット端子
４ 入力層
４１ 入力層ユニット
４２ 入力層ユニット
４Ｎ 入力層ユニット
５ 中間層
５１ 中間層ユニット
５Ｐ 中間層ユニット
６ 出力層
６１ 出力層ユニット
６２ 出力層ユニット
６Ｍ 出力層ユニット
７ 結合重み係数制御器
８ ２値教師信号入力端子
８１ ２値教師信号入力ユニット端子
８２ ２値教師信号入力ユニット端子
８Ｍ ２値教師信号入力ユニット端子
９ スイッチ回路
１０ 減算器
１０１ 減算器
１０２ 減算器
１０Ｍ 減算器
１１ 結合重み係数入出力端子
１２ スレショルド回路
１２１ スレショルド回路
１２２ スレショルド回路
１２Ｍ スレショルド回路
１３ 教師信号コード変換器
１４ 従来技術による並列ニューラルネットワーク処理システム
１５ 第１の学習済みニューラルネットワーク
１６ スレショルド回路
１７ 第１の２値出力ネットワーク手段
１８ 第２の学習済みニューラルネットワーク
１９ スレショルド回路
２０ 第２の２値出力ネットワーク手段
２１ 第３の学習済みニューラルネットワーク
２２ スレショルド回路
２３ 第３の２値出力ネットワーク手段
２４ 多数決処理器
２５ 出力選択処理器
２６ 最終出力信号出力端子
２７ 出力状態判定信号出力端子
４０ 本発明の実施形態における並列ニューラルネットワーク処理システム
４１ 学習済みニューラルネットワーク
４２ スレショルド回路
４３ 第１の２値出力ネットワーク手段
４４ 学習済みニューラルネットワーク
４５ スレショルド回路
４６ 出力変換器
４７ 第２の２値出力ネットワーク手段
４８ 出力一致検出器
４９ 中間層基準出力メモリ
５０ 中間層基準出力メモリ
５１ スレショルド回路
５２ スレショルド回路
５３ ハミング距離計算器
５４ ハミング距離計算器
５５ 出力状態推定器
５６ 出力状態推定器
５７ テスト領域判定器
５８ テスト領域判定器
５９ 隣接出力生成器
６０ 隣接出力生成器
６１ 出力状態判定選択処理器
７０ 中間層出力距離分配器
７１ 最小中間層出力距離検出器
７２ 出力距離スレショルド比較器
７３ 正誤答判定／出力選択器
【発明の属する技術分野】
本発明は、ネットワークアラーム処理、各種パターン認識、データマイニング及び画像処理などの分野に適用可能なニューラルネットワークにおいて、学習済みのニューラルネットワークを用いて入力データを処理する際に、学習入力データやテスト入力データ以外の未知入力データが入力された場合にも、その出力が正しいか誤りか、即ち正答か誤答か、或いは不明かを判定することができる出力状態判定機能を有した並列ニューラルネットワーク処理システムに関するものである。
【０００２】
【従来の技術】
従来のニューラルネットワークには、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。
【０００３】
特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが種々幅広く実用されている。ここでは、教師付き学習を行う多層ニューラルネットワークを例にとり、出力状態判定機能として正答／誤答判定機能を有するニューラルネットワーク手段の従来技術について説明する。また、説明を簡単にする為に、パターン認識などに於て見られる２値教師信号を用いて学習させ、２値出力信号を送出させることとする。
【０００４】
先ず、多層ニューラルネットワークの学習処理の構成について説明する。図２は、３層ニューラルネットワークの学習処理の１構成例を示す。Ｎ個のユニットからなる入力層４、Ｐ個のユニットからなる中間層５及びＭ個のユニットからなる出力層６から構成される。
【０００５】
多層ニューラルネットワークへの入力データＩは、Ｉ１、Ｉ２、．．ＩＮの入力データエレメントを持ったベクトルから構成され、入力端子２を介してそれぞれ対応した入力層４のユニットに入力された後、更に中間層５の各ユニット（隠れユニット）にそれぞれ重み付けされ出力される。中間層５では、入力層４の各ユニットからの重み付けされた出力の総和を入力とし、スレショルド値を差し引いた後、シグモイド関数と呼ばれる非線形入出力特性を持った関数を介して出力される。出力層６においても中間層５と同様な入出力処理が行われた後、各出力層ユニットからそれぞれ対応した出力信号をスレショルド回路１１を介して２値出力信号に変換し、２値出力端子３を介してニューラルネットワーク１の２値出力信号（２値出力信号エレメント、Ｐ１、Ｐ２、．．ＰＭ）として送出する。３層以上の多層の際にも、各層におけるそれぞれのユニットは、入力側の隣接層の各ユニットの出力信号に重み付けをした後、それらの総和を入力として得、更にその入力からスレショルド値を差し引いた後、シグモイド関数などを介し出力層側の隣接層に出力信号を送出する。
【０００６】
このような多層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムがある。
【０００７】
本アルゴリズムを用いた学習過程では、結合重み係数に対して乱数などを用いて初期値設定した後、予め用意された２値教師信号Ｔ（教師信号エレメント、Ｔ１、Ｔ２、．．ＴＭ）と、入力層４に端子２を介して入力された予め用意された学習入力データに対する出力層６のユニットからの出力信号との誤差信号を減算回路１０を介して求め、結合重み係数制御器７に入力する。
【０００８】
結合重み係数制御器７では、端子１１を介して入力された各層のユニットからの出力信号と前記誤差信号とを基に誤差電力を最小にするように各層間の結合重み係数Ｗ（例えば、Ｗ(1)は入力層と中間層の間の結合重み係数、Ｗ(2)は中間層と出力層間の結合重み係数）の修正値を求め、端子１１を介して３層ニューラルネットワーク１の各結合重み係数を更新する結合重み係数適応制御による学習を行うものである。
【０００９】
この適応制御による学習をすべての学習入力データに対して繰り返し、学習過程に於て収束する（平均出力誤差電力がある既定値以下となる）と、学習入力データに対するスレショルド回路１２を介して得られた２値出力信号が２値教師信号と同一、即ち、正答な２値出力信号となる。しかしながら、誤差電力を極小にするローカルミニマム状態に一旦落ち込むと、全ての学習入力データに対して所望の２値出力信号が必ずしも得られず、２値教師信号と異なる２値出力信号、即ち誤答の２値出力信号を送出する場合が多い。
【００１０】
このようにローカルミニマムの状態で収束した場合には、学習入力データに似たテスト入力データを入力した際に、所望の２値出力信号を送出する汎化能力があまり良くない。また、設定された結合重み係数の初期値によって正答の出力信号を送出する入力データの領域、即ち汎化領域が異なり、初期値依存性がある。
【００１１】
パターン認識などに於て、このようなローカルミニマムに収束した学習済みのニューラルネットワークを用いて、入力データに対して実行処理を行わせる際に、汎化能力が優れていない場合には、学習入力データに近い入力データに対して正しい２値出力信号が得られず、多くの誤認識が発生する。実用の際には、学習入力データやテスト入力データ以外の未知入力データが入力される場合が非常に多いが、これらの多くの未知入力データを学習させる為に事前に収集することは困難な場合が多い。
【００１２】
従って、未知入力データに対して所望の正しい２値出力信号が得られているかどうか、即ち正答な２値出力信号が送出されているかどうかを知る事は、非常に重要である。正答な２値出力信号が送出されていないことが判明した場合には、それらの未知入力データを収集して、追加学習などを行い、ニューラルネットワークの性能を改善し、汎化能力を高め、できるだけ正答な２値出力信号を多く送出させる。この為には、２値出力信号の正誤答判定機能を有するニューラルネットワーク処理システムが必要となる。
【００１３】
この正誤答判定機能に関する従来技術として、異なる結合重み係数初期値を設定して学習させた複数個の学習済みニューラルネットワークを入力に対して並列に接続し、それらの２値出力信号を多数決処理（多数投票処理）して入力データに対する汎化能力を改善し、而も正答判定や誤答判定、或いは判定不明などの正誤答判定信号を得る並列ニューラルネットワーク処理システムがある。例えば、D. Sarkar, “Randomness in Generalization Ability: A Source to Improve It”, IEEE Trans. Neural Networks Vol.7, No.3, May 1996, pp.676-685. 及び中川徹、他 “複数の乱数化ANNを用いて高信頼なパターン識別とその応用” 電子情報通信学会、信学技報 NC98-155, 1999, 3月などがある。この従来方式による並列ニューラルネットワーク処理システムの１例を以下に示す。
【００１４】
図３に、従来方式による入力データに対する正誤答判定或いは不明判定などの正誤答判定信号を送出する並列ニューラルネットワーク処理システム１４の１構成例を示す。上述のように、異なった結合重み係数の初期値を用いてそれぞれ学習済みの第１、第２及び第３のニューラルネットワーク１５、１８、２１を入力に対して並列接続している。更に、各単体の前記ニューラルネットワーク１５、１８、２１の出力層６のユニットからの出力信号はそれぞれスレショルド回路１６、１９、２２を介して２値出力信号に変換され送出され、３入力の多数決処理器２４にそれぞれ入力される。ここで、第１の２値出力ネットワーク手段１７は、前記第１の学習済みニューラルネットワーク１５と前記スレショルド回路１６から構成される。同様に、第２及び３の２値出力ネットワーク手段２０、２３は、前記第２及び第３の学習済みニューラルネットワーク１８、２１と前記スレショルド回路１９、２２とからそれぞれ構成されている。
【００１５】
前記多数決処理器２４では、前記２値出力ネットワーク手段からの２値出力信号の内２個以上が一致すれば、出力状態判定信号として正答判定信号を端子２７から送出し、同時にその２値出力信号を端子２６から最終出力信号として送出する。また、それ以外の場合には、不明或いは誤答と見做し、端子２７から誤答判定信号を出力状態判定信号として出力する。更に、一致／不一致状況に応じて予め定められた２値出力ネットワーク手段からの２値出力信号を並列ニューラルネットワーク処理システム１４の最終出力信号として選択送出する。
【００１６】
このような多数決処理器２４からの多数決判定に従って正答、或いは誤答の正誤答判定信号を得、２値出力ネットワーク手段からの２値出力信号を最終的に選択することから、単体の学習済みニューラルネットワーク１５、１８、２１の汎化能力より若干高い汎化能力を得ることが出来る。しかしながら、異なる結合重み係数初期値の設定を行ないローカルミニマムに各ニューラルネットワークを収束させ学習済みとして用いることから、高い汎化能力は得られない欠点と、数百から場合によっては数千個の数多くの２値出力ニューラルネットワーク手段を並列接続する必要があり、非常に複雑となる欠点を有している。また、正答率の高い２値出力信号が得にくく、而も正答／誤答の判定精度も低い欠点がある。例えば、正答判定の精度は、８０％程度で飽和している。また、２０％程度が不明判定となっている。
【００１７】
ここでは、多数決処理器２４を用いた場合について説明したが、これに代わり一致検出器を用いる場合もある。一致検出器を用いた場合には、一致すると正答と判定することにより、正答判定の精度は改善されるものの、不明判定や誤答判定が増加する。
【００１８】
【発明が解決しようとする課題】
上記の如く構成した従来の並列ニューラルネットワーク処理システム１４では、学習済みニューラルネットワーク１５、１８、２１は、同一の構造を有した、而も同一の学習アルゴリズムに対して、それぞれ異なった結合重み係数初期値を用いて同一の教師信号に対して学習を行っている。従って、これらのニューラルネットワーク１５、１８、２１が同一のグローバルミニマムに収束すると、入力データに対する２値出力信号が正答或いは誤答に関らず殆ど一致してしまうことから、それらを並列接続して、入力データに対するそれぞれの２値出力信号を多数決処理しても、正答の場合には全てが正答となり、一方、誤答や不明の場合は全て同様な状態となることから並列接続と多数決処理を用いた効果が無い。従って、できるだけ異なったローカルミニマムに収束するよう学習させ、それぞれ異なった、正答の出力信号を送出する入力データの領域、即ち汎化領域を実現する必要がある。
【００１９】
これらの理由から、それぞれ異なりずれた汎化領域を持たせるには、並列接続される学習済みニューラルネットワークとして、それぞれ異なるローカルミニマム状態で学習を終了させ使用する必要があり、汎化能力が余り高くなく、誤った２値出力信号を出しやすい。従って、入力データに対して出来るだけ正答な最終２値出力信号を得、而も精度の高い正誤答判定信号を得る為には、多くの学習済みニューラルネットワークを並列接続し、多くの２値出力信号の多数決処理をする必要があり、構成が複雑かつ処理量が増加する欠点がある。また、正答／誤答或いは不明の判定を、単に多数決処理のみで行っており、誤った２値出力信号に対してもお互いに同一な誤りの場合には、検出されることなくそのまま正答とみなすなど、入力データに対する正答判断の精度が低い欠点を持っている。
【００２０】
従って、並列接続される学習済みニューラルネットワーク数を多く増加させ多数決処理を行っても、ローカルミニマムに収束していることから、正答判定率やその精度に飽和状態が生じ、汎化能力は若干改善されるもの、正答判定の精度や正答判定率は大幅には改善されない。特に、単体の学習済みネットワークの汎化能力が低く、不明判定が多く発生し、正答の判定が低下すると共にその精度も劣化する。このように、従来の方式では、高い汎化能力と正答判定率とその精度向上とを同時に達成させるには限界がある。
【００２１】
また、結合重み係数の初期値によって、正答の出力信号を与える入力データの領域、即ち汎化領域が異なることを利用しているが、初期値に基づいてどの程度異なった汎化領域が得られるかは、落ち込むローカルミニマムにより決まり、予め予測出来ない。従って、実際に種々の初期値を与えニューラルネットワークを学習させた後、学習済みニューラルネットワークを並列接続し動作させて、学習済みニューラルネットワークの並列接続の有効性が初めて評価されるなどの欠点もある。特に、これらの欠点は、大規模ニューラルネットワークでは、種々の結合重み係数の初期値を用いてローカルミニマムに収束させる為の学習処理と、テスト入力データに対する汎化能力と汎化領域との評価を繰り返し行なう試行錯誤の作業が必要となる事を意味しており、満足できる結果を得るには膨大な作業を要し、実用的でない。
【００２２】
本発明の目的は、上記の問題を解決し、従来の正誤答判定機能を有した並列ニューラルネットワーク処理システムなどに比べて、少ない並列度の学習済みニューラルネットワークを用いて、高精度な正答判定或いは誤答判定を送出する正誤答判定信号を得ると共に、正答判定率の高い正誤答判定機能を有し、単体の学習済みニューラルネットワークよりも汎化能力が非常に優れた並列ニューラルネットワーク処理システムを提供することにある。
【００２３】
【課題を解決するための手段】
本発明の特徴は、学習入力データと第１の多値教師信号とを用いて学習した、中間層からの中間層第１出力信号と出力層からの第１直接出力信号とを送出する学習済みニューラルネットワーク４１と、該第１直接出力信号を多値化し多値第１直接出力信号を送出する多値スレショルド手段４２とからなる、第１の多値出力ネットワーク手段４３と、
該第１の多値教師信号を変換し得られた異なる変換多値教師信号と前記学習入力データとを用いて学習した、中間層からの中間層第２出力信号と出力層からの第２直接出力信号とを送出する学習済みニューラルネットワーク４４と、該第２直接出力信号を多値化し多値第２直接出力信号とを送出する多値スレショルド手段４５と、該変換多値教師信号から前記第１の多値教師信号への逆変換則を有し、該多値スレショルド手段４５からの該多値第２直接出力信号を変換し多値第２変換出力信号を送出する出力変換手段４６とからなる、少なくとも１つ以上の第２の多値出力ネットワーク手段４７とを、入力データに対して並列接続し、
夫々の前記第１の及び前記第２の多値出力ネットワーク手段４３、４７からの前記多値第１及び多値第２直接出力信号と隣接関係にある多値隣接出力信号を夫々生成する２つ以上の隣接出力生成手段５９、６０と、
夫々の前記第１の及び前記第２の多値出力ネットワーク手段４３、４７の前記入力データに対する前記中間層第１及び第２出力信号から２つ以上の多値スレショルド手段５１、５２を夫々介して得た各々の中間層多値第１及び第２出力信号をもとに、前記多値第１及び第２直接出力信号及び前記多値第１及び第２隣接出力信号各々に対応した中間層出力距離を夫々求める２つ以上の中間層出力距離計算手段５３、５４と、
該中間層出力距離計算手段５３、５４各々から得られた、前記入力データに対する前記多値第１及び第２直接出力信号と前記多値第１及び第２隣接出力信号に夫々対応した該中間層出力距離各々を少なくとも用いて、前記多値第１直接出力信号及び一つ以上の前記多値第２変換出力信号の夫々の出力状態推定を行い出力状態推定信号を送出する２つ以上の出力状態推定手段５５、５６と、
前記多値第１直接出力信号と一つ以上の前記多値第２変換出力信号との間の一致状態検出し、一致状態検出信号を送出する出力一致検出手段４８と、
少なくとも、前記多値第１及び第２直接出力信号と前記多値第１及び第２隣接出力信号にそれぞれ対応した前記中間層出力距離間の夫々の最小検出と、夫々の前記出力状態推定信号と、前記一致状態検出信号とから前記多値第１及び第２変換出力信号夫々の出力状態判定を行ない、前記多値第１直接出力信号及び一つ以上の前記多値第２変換出力信号の何れかを選択し、最終出力信号として送出すると共に、対応した出力状態判定信号を送出する出力状態判定選択処理手段６１とを
少なくとも具備し構成する並列ニューラルネットワーク処理システムにある。
【００２４】
前記中間層出力距離計算手段５３、５４において、学習コアー入力データを少なくとも含む前記学習入力データを用いて学習させたそれぞれの前記学習済みニューラルネットワーク４１、４４の中間層からの、該学習コアー入力データに対する前記中間層第１及び第２出力信号から前記多値スレショルド手段５１、５２を介して夫々得られた中間層多値第１及び第２出力信号を夫々中間層基準出力信号とし、該学習コアー入力データに対する該第１の多値教師信号及び該変換多値教師信号に夫々対応させて予め格納記憶し、前記多値第１及び第２直接出力信号及び夫々対応した前記多値第１及び第２隣接出力信号を用いて夫々の該中間層基準出力信号を読み出す一つ以上の中間層基準出力記憶手段４９、５０を少なくとも具備し、前記入力データに対する前記多値第１及び第２直接出力信号及び該多値第１及び第２直接出力信号に夫々対応した前記多値第１及び第２隣接出力信号を用いて呼び出された夫々の前記中間層基準出力信号と、対応した前記中間層多値第１及び第２出力信号との間の中間層出力距離を夫々求める。
【００２５】
少なくとも前記出力一致検出手段４８からの前記一致状態検出信号を基に、予め記憶されている推定用出力距離スレショルドを選択設定し、
前記多値第１及び第２直接出力信号に夫々対応した前記中間層出力距離と比較し、該多値第１直接出力信号及び夫々の前記多値第２変換出力信号の出力状態推定を行う。
【００２６】
予め準備されたテスト入力データに対して、正答な多値第１及び第２直接出力信号を夫々送出する該テスト入力データに対応した夫々の出力層からの前記第１及び第２直接出力信号の出力層ユニット毎の正答を与える出力正答余裕を各々求め、該出力正答余裕の最大値と最小値とからなる範囲を示す該多値第１及び第２直接出力信号毎のテスト内領域を夫々得、該多値第１及び第２直接出力信号夫々対応させて予め格納記憶し、前記入力データに対する前記多値第１及び第２直接出力信号の各々によって、夫々対応した該テスト内領域を夫々読み出し、前記入力データに対する前記出力層出力信号各々と、対応した該テスト内領域と夫々比較しテスト内領域かテスト外領域かを判定し、テスト領域判定信号として送出するテスト領域判定手段５７、５８をそれぞれの前記多値出力ネットワーク手段４３、４７毎に具備し、
夫々の前記出力状態推定手段５５、５６に於て、前記多値第１及び第２直接出力信号夫々に対応した前記テスト領域判定信号を用いて、対応した出力状態推定をする。
【００２７】
前記出力状態判定選択処理手段６１に於て、更に、前記多値第１及び第２直接出力信号にそれぞれ対応した前記中間層出力距離を予め設定された判定用出力距離スレショルドと比較し、夫々の前記出力状態判定を行う。
【００２９】
【作用】
本発明の高精度の出力状態判定機能を有した並列ニューラルネットワーク処理システムは、第１の多値教師信号を用いて学習させた学習済みニューラルネットワークを持った第１の多値出力ネットワーク手段と、異なった変換多値教師信号を用いて学習させた学習済みニューラルネットワークを持った第２の多値出力ネットワーク手段とを入力に対して並列に接続し、第１の多値出力ネットワーク手段からの多値第１直接出力信号と、出力変換器を持った第２の多値出力ネットワーク手段からの多値第２変換出力信号との一致状態検出結果或いは多数決処理結果と、多値第１及び第２直接出力信号の正誤答推定と、該多値第１直接出力信号とその隣接出力信号にそれぞれ対応した中間層基準出力信号と入力データに対応した中間層多値出力信号との中間層出力距離に関する最小検出と該中間層出力距離の判定用出力距離スレショルド比較とを基にした、これらの多値直接出力信号の正誤答判定を行っている。
【００３０】
具体的には、第１の多値出力ネットワーク手段からの多値第１直接出力信号と並列接続されているそれぞれの第２の多値出力ネットワーク手段からの多値第２変換出力信号とが一致状態となった場合、それらの出力推定結果が正答／誤答の異なった出力推定状態或いは全て誤答の推定状態に対して、多値第１直接出力信号とその隣接関係にある多値隣接出力にそれぞれ対応した中間層出力距離を求め、それらの中間層出力距離の最小検出と、及び多値第２直接出力信号とその隣接関係にある多値隣接出力にそれぞれ対応した中間層出力距離を求め、それらの中間層出力距離の最小検出とを行ない、その結果と多値第１及び第２直接出力信号に対応したそれぞれの中間層出力距離の判定用出力距離スレショルド比較とから多値第１及び第２直接出力の正誤答判定を行なうことにより、非常に精度の高い出力状態判定を行うことができる。
【００３１】
ここでは、異なった教師信号を用いてそれぞれのニューラルネットワークを学習入力データに対して全て正答出力信号となるよう学習させ、而も非常に高い汎化特性を実現させると共にそれぞれの汎化領域をずらし、これらを並列接続している。これによって、多値第１直接出力信号と各多値第２変換出力信号との一致状態の割合を増やすと共に、各多値直接出力信号の正確な正誤答推定とを行なっている。而も多値第２直接出力信号が正答の場合には、それに対応した中間層距離が、その隣接関係にある多値隣接出力に対応したいずれの中間層出力距離よりも小さくなること、また、与えられた判定用出力距離スレショルドより小さくなることを基本的に利用して、精度の高い正答／誤答判定を行っている。
【００３２】
従って、従来方式の並列ニューラルネットワーク処理システムに比べて、非常に高精度に且つ安定な正答／誤答などの出力状態判定が容易に得られ、而も汎化能力も非常に高くできる。この結果、ネットワーク障害検出や種々のパターン認識などへの応用の際に、最終出力信号の出力状態判定信号から、学習済みニューラルネットワークに対する追加学習を必要とする誤答出力信号を送出する未知入力データ収集が簡単に行う事ができる。それらを追加学習させることにより、より高い汎化能力と非常に高精度な出力状態判定機能を持った並列ニューラルネットワーク処理システムを簡単に実現出来る。従って、従来方式のような学習の際の結合重み係数の初期設定に於ける試行錯誤も不要で、本発明に示す優れた性能を有し、而も低い並列度を持った並列ニューラルネットワーク処理システムを迅速且つ簡単に設計することが出来る。
【００３３】
【発明の実施の形態】
以下に本発明の並列ニューラルネットワーク処理システムの実施形態の１例をあげ、その構成及びその動作について、詳細に説明する。ここでは、多値教師信号として、２値教師信号を用いた場合を例にあげ説明する。
【００３４】
本発明の実施形態の並列ニューラルネットワーク処理システム４０を図１に示す。２つの学習済みニューラルネットワークを並列接続し、２値の異なる教師信号を用いた構成例を示す。
【００３５】
第１の２値教師信号と学習入力データとを用いて学習させた学習済みニューラルネットワーク４１とスレショルド回路４２とからなり、２値第１直接出力信号と第１直接出力信号と中間層出力信号とを送出する第１の２値出力ネットワーク手段４３と、前記第１の２値教師信号をコード変換して得た２値変換教師信号と前記学習入力データとを用いて学習させた学習済みニューラルネットワーク４４とスレショルド回路４５と出力変換器４６とからなり、２値第２直接出力信号と２値第２変換出力信号と第２直接出力信号と中間層出力信号とを送出する第２の２値出力ネットワーク手段４７とを、入力データに対して並列に接続し、中間層基準出力信号を検出し格納記憶する中間層基準出力メモリ４９、５０と、中間層出力距離を求めるハミング距離計算器５３、５４と、テスト内領域を求め格納記憶するテスト領域判定器５７、５８と、前記２値第１直接出力信号と前記２値第２変換出力信号との間の一致状態を検出する出力一致検出器４８と、出力が正答か誤答か出力状態推定する出力状態推定器５５、５６と、前記２値第１直接出力信号と隣接関係にある２値第１隣接出力信号を生成する隣接出力生成器５９と、前記スレショルド回路４５からの２値第２直接出力信号と隣接関係にある２値第２隣接出力信号を生成する隣接出力生成器６０と、出力状態判定を行ない出力状態判定信号を送出し、前記２値第１直接出力信号か前記２値第２変換出力信号かのいずれかを最終出力信号として選択送出する出力状態判定選択処理器６１とから構成される。
【００３６】
ここで、前記学習済みニューラルネットワーク４１及び４４は、図１に示すように入力層４、中間層５及び出力層６の３層を持ち、同一構成である。前記スレショルド回路４２は、前記学習済みニューラルネットワーク４１の出力層６のユニット出力信号を２値化した２値第１直接出力信号として前記出力一致検出器４８、前記隣接出力生成器５９、前記出力状態判定選択処理器６１、前記中間層基準出力メモリ４９及びテスト領域判定器５７へそれぞれ送出する。前記スレショルド回路４５も、同様に前記学習済みニューラルネットワーク４４の出力層６のユニット出力信号を２値化し２値第２直接出力信号として前記隣接出力生成器６０、前記出力変換器４６、前記中間層基準出力メモリ５０及びテスト領域判定器５８へそれぞれ送出する。前記スレショルド回路５１、５２は、入力データに対する前記学習済みニューラルネットワーク４１、４４のそれぞれの中間層５から送出される中間層出力信号を２値化し、中間層２値第１及び第２出力信号として前記ハミング距離計算器５３及び前記中間層基準出力メモリ４９、５０にそれぞれ送出する。
【００３７】
前記出力変換器４６は、前記第２のネットワーク手段４７の２値変換教師信号を前記第１のネットワーク手段４３の２値教師信号へ逆変換する変換則を有し、前記２値第２直接出力信号を変換し、前記２値第２変換出力信号として第２のネットワーク手段４７から送出し、前記出力一致検出器４８及び前記出力状態判定選択処理器６１へ入力する。
【００３８】
前記出力一致検出器４８は、前記第１及び第２のネットワーク手段４３、４７からそれぞれ送出された前記２値第１直接出力信号と前記２値第２変換出力信号とを比較し、一致状態を検出すると一致状態検出信号を前記出力状態推定器５５、５６及び前記出力状態判定選択処理器６１へそれぞれ送出する。
【００３９】
前記隣接出力生成器５９は、前記２値第１直接出力信号を用いて、予め指定されたハミング距離以内で離れた隣接関係にある前記２値第１隣接出力信号を生成し、前記中間層基準出力メモリ４９に送出する。一方、前記隣接出力生成器６０は、該隣接出力生成器５９と同一の機能を有し、前記２値第２直接出力信号を用いて、該ハミング距離以内で離れた隣接関係にある前記２値第２隣接出力信号を生成する。これらの２値隣接出力信号は前記中間層基準出力メモリ４９、５０にそれぞれ送出する。
【００４０】
前記中間層基準出力メモリ４９、５０は、学習処理が完了した段階で、前記学習入力データに対応したそれぞれの前記中間層２値第１及び第２出力信号を、分類カテゴリに対応した前記２値教師信号毎、及び前記２値変換教師信号毎に、それぞれ前記中間層基準出力信号として格納記憶する。更に、実行処理時には、前記入力データに対する２値第１及び第２直接出力信号、更にはそれぞれに対応した前記２値隣接出力信号とを用いて、格納されている該中間層基準出力信号をそれぞれ検索し読み出し、前記入力データに対応したそれぞれの前記中間層２値出力信号と該中間層基準出力信号との間の中間層出力距離を計算する為に、該中間層基準出力信号を前記ハミング距離計算器５３、５２にそれぞれ送出する。尚、ここでは、前記学習入力データに対応した前記２値第２直接出力信号を用いて、前記中間層基準出力信号の格納記憶を行ない、一方、前記入力データに対応した前記２値第２直接出力信号を用いて読み出しを行っているが、それぞれ出力変換器４６からの２値第２変換出力信号を用いて格納記憶や読み出しを行ってもよい。
【００４１】
前記ハミング距離計算器５３、５４は、前記スレショルド回路５１、５２からの前記入力データに対する前記中間層２値出力信号と、前記２値直接出力信号及びそれに対応した前記２値隣接出力信号を用いて前記中間層基準出力メモリ４９、５０から読み出されたそれぞれの前記中間層基準出力信号との間のハミング距離を求め、前記中間層出力距離として、前記出力状態推定器５５、５６及び前記出力状態判定選択処理器６１にそれぞれ送出する。前記中間層出力距離は、２値直接出力信号の正誤答推定及び正誤答判定に於て用いられる。一般に、２値直接出力信号が正答の場合は、中間層出力距離のハミング距離は小さく、誤答の場合はこの距離が大きい傾向にある。従って、前記出力状態推定器５５、５６及び前記出力状態判定選択処理器６１に於て、与えられた出力距離スレショルドと比較することにより、それぞれ正誤答の推定や判定に利用出来る。
【００４２】
ここで、前記２値空間に於けるハミング距離計算器５３、５４の代わりに、多値空間での距離を求めるリー距離計算器や連続値の間での距離を求めるユークリッド距離計算器をそれぞれの空間で用いてもよい。
【００４３】
例えば、ユークリッド距離の場合には、前記スレショルド回路５１、５２を介さず学習入力データに対応した中間層出力信号をそのまま中間層基準出力信号として、前記中間層基準出力メモリ４９、５０に予め格納記憶し、これらを入力データに対応した２値第１及び第２直接出力信号を基にそれぞれ読み出し、前記入力データに対する中間層出力信号とのユニット毎の差の絶対値或いはその二乗を全ユニットに渡り加算して中間層出力距離として用いても良い。
【００４４】
前記テスト領域判定器５７、５８は、学習済みニューラルネットワーク４１、４４のテスト処理時に、テスト入力データを用いて、分類カテゴリに対応した前記第１のネットワーク手段４３の２値教師信号毎、及び前記第２のネットワーク手段４７の２値変換教師信号毎に、テスト内領域を求め格納記憶する。具体的には、前記２値出力ネットワーク手段４３、４７のテスト入力データに対する汎化能力を評価する際に、正答の２値直接出力信号を送出するテスト入力データに対して、前記学習済みニューラルネットワーク４１、４４の出力層６からの直接出力信号のユニット毎の出力正答余裕（即ち、正答な直接出力信号に於ける、前記スレショルド回路４２、４５のスレショルド値とユニット出力信号との差の絶対値）を求め、その最小値と最大値の範囲を前記テスト内領域とする。これをそれぞれ前記２値教師信号に対応させてテスト領域判定器５７、５８にそれぞれ格納記憶しておく。テスト内領域以外をテスト外領域とする。尚、ここでは、テスト内領域として、ユニット毎の出力正答余裕の最大及び最小値を用いているが、全ユニット間での最大及び最小値を用いても良い。
【００４５】
更に、実行処理時に、前記入力データに対応した２値第１及び第２直接出力信号を用いてそれぞれ前記テスト内領域を読み出すと共に、対応した直接出力信号に対して、各ユニット毎の出力正答余裕をそれぞれ求め、該テスト内領域とそれぞれ比較し、ユニット毎の該直接出力信号が全て該テスト内領域内であれば、テスト内領域判定、それ以外をテスト外領域判定とするテスト領域判定信号を前記出力状態推定器５５、５６へそれぞれ送出する。前記入力データに対する直接出力信号がテスト外領域判定されると、その入力データに対応した２値直接出力信号は、誤答の可能性が高い未知入力データと見做される。この情報を基に判定用出力距離スレショルドの値を、例えば、後述の表１の条件３、４、７ように切り替える。
【００４６】
前記出力状態推定器５５、５６は、前記テスト領域判定器５７、５８、及び前記ハミング距離計算器５３、５４、更に前記出力一致検出器４８とからそれぞれ入力された、前記テスト領域判定信号と前記２値直接出力信号に対応した中間層出力距離と前記一致状態検出信号とを用いて、前記第１のネットワーク手段４３からの前記２値第１直接出力信号、及び前記第２のネットワーク手段４７からの前記２値第２直接出力信号が、夫々正答か誤答かの出力状態を推定する出力状態推定信号を前記出力状態判定選択処理器６１にそれぞれ送出する。
【００４７】
即ち、それぞれ接続されているテスト領域判定器５７、５８からのそれぞれの前記テスト領域判定信号と、前記出力一致検出器４８からの前記２値第１直接出力信号と前記２値第２変換出力信号との間の一致状態検出信号とを基に、予め記憶されている前記推定用出力距離スレショルドを選択設定し、前記ハミング距離計算器５３、５４からの前記中間層出力距離と比較した結果により、前記２値出力ネットワーク手段４３、４７からのそれぞれの前記２値第１及び第２直接出力信号の出力状態推定としての正答／誤答をそれぞれ個別に推定し、前記出力状態判定選択処理器６１に出力状態推定信号をそれぞれを送出する。
【００４８】
設定された前記推定用出力距離スレショルドと該中間層出力距離とを比較し、小さければ正答、大きければ誤答と基本的に推定する。ここで、該テスト領域判定信号がテスト内領域ならば、テスト外領域の場合よりも正答である可能性が高いことから、テスト外領域の場合よりも若干大きい該推定用出力距離スレショルドを準備する。また、該一致状態検出信号が一致状態を示しておれば、正答である可能性が比較的高い為、不一致状態の場合よりも大きい推定用出力距離スレショルドを準備する。このような推定用出力距離スレショルドとの比較により、２値直接出力信号に対して精度の高い正誤答推定を行うことが出来る。
【００４９】
前記出力状態判定選択処理器６１は、前記出力一致検出器４８からの前記一致状態検出信号に於て、前記２値第１直接出力信号と前記２値第２変換出力信号との間の一致状態が検出された場合には、前記出力状態推定器５５、５６を介して得られた前記２値直接出力信号のそれぞれの正誤答出力推定と、前記ハミング距離計算器５３を介して得られた、前記２値第１直接出力信号とその隣接関係の２値第１隣接出力信号とにそれぞれ対応した中間層基準出力と前記入力データに対応した前記中間層２値出力信号との間のハミング距離からなる中間層出力距離の間での最小検出と、同様に前記ハミング距離計算器５４を介して得られた、前記２値第２直接出力信号とその隣接関係の２値第２隣接出力信号にそれぞれ対応した中間層基準出力と前記入力データに対応した前記中間層２値出力信号との間のハミング距離からなる中間層出力距離の間での最小検出と、更に前記２値第１及び第２直接出力信号にそれぞれ対応した中間層出力距離の判定用出力距離スレショルド比較とを基に、最終的な出力状態判定としての正誤答判定を行なう。尚、判定用出力距離スレショルドを予め準備記憶しておく。
【００５０】
更に、前記第１のネットワーク手段４３からの前記２値第１直接出力信号か、前記第２のネットワーク手段４７からの前記２値第２変換出力信号かの何れかを最終出力信号として選択する。その後、端子２６から並列ニューラルネットワーク処理システム４０の前記最終出力信号を送出し、併せて、それに対応した前記出力状態判定信号としての正誤答判定信号を端子２７から送出する。
【００５１】
一方、前記２値第１直接出力信号と前記２値第２変換出力信号との間の不一致状態が検出された場合には、後述の表２に示す正誤判定処理によって、或いは特願２０００−０６０８４９（平成１２年３月６日）に示されている正誤答判定処理によって、正誤答判定を行ない出力状態判定信号として送出する。
【００５２】
以下、これらの動作について詳細に説明する。前記第１のネットワーク手段４３は、図２に示す構成の下に、端子８の第１の２値教師信号と端子２の前記学習入力データとを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）などにより学習させた前記学習済みニューラルネットワーク４１を用い、その出力層６の直接出力信号を前記スレショルド回路４２を介して２値化し、その２値出力信号を前記２値第１直接出力信号として送出する。
【００５３】
特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、而も前記学習入力データに対して全て正答の２値第１直接出力信号を得ることが出来る。
【００５４】
また、前記第２の２値出力ネットワーク手段４７では、図２に示すように端子８の前記第１の２値教師信号から教師信号コード変換器１３を介して得られた前記２値変換教師信号をスイッチ回路９を介して前記減算器１０に入力し、端子２の学習入力データに対して学習させることにより、同様に全て正答の前記２値第２直接出力信号を得ることが出来、前記学習済みニューラルネットワーク４４として用いる。
【００５５】
ここで、学習済みニューラルネットワーク４１、４４を得る際に、前記学習入力データと分類カテゴリとしての教師信号の対応づけに於て、２値教師信号毎に代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとして少なくとも準備する。このような学習コアー入力データを用いて学習させる。
【００５６】
更に、学習処理が完了した際に、前記学習コアー入力データに対する前記学習済みニューラルネットワーク４１及び４４の中間層５からの中間層出力信号を送出し、前記スレショルド回路５１、５２を介してそれぞれ前記中間層２値出力信号に変換し、これらを前記中間層基準出力信号として、それぞれの前記中間層基準出力メモリ４９及び５０に予め格納記憶しておく。この時、前記スレショルド回路４２及び４５からの各前記２値直接出力信号を用いて、それぞれ格納記憶する。
【００５７】
これらの前記学習済みニューラルネットワーク４１及び４４は、それぞれ前記第１の２値教師信号及び前記２値変換教師信号を用いることから、全て正答な２値直接出力信号を送出する異なった状態に簡単に収束させることができる。従って、前記第１及び第２のネットワーク手段４３、４７からの前記２値第１及び第２直接出力信号は、前記学習入力データに対して、全て正答となることから、前記２値第１直接出力信号と前記２値第２変換出力信号とは全て一致する。更に、これらの前記学習済みニューラルネットワーク４１、４４は学習アルゴリズムとニューラルネットワークの構造が同一であることから殆ど同様の非常に高い汎化能力が簡単に得られる。
【００５８】
従って、正答な２値直接出力信号を送出する入力データ領域、即ち汎化領域は広く、而も一部異なり互いにずれている。この為、未知入力データに対して、前記２値第１直接出力信号と前記２値第２変換出力信号とは、殆ど同一となるが、前記のずれている領域では同一とはならず、何れかが正答となる。この正答な２値出力信号を正答判定信号により選択出力することとなる。
【００５９】
尚、前記学習済みニューラルネットワーク４１及び４４の結合重み係数として、同一或いはそれぞれ異なった結合重み係数初期値を設定して学習させるが、それぞれ異なった初期値設定を行った場合には、汎化能力の差は殆どないが、汎化領域はより大きくずれた領域を持つ。従って、本発明に於ては、正誤答判定信号が正しい場合には、汎化特性を改善出来る。
【００６０】
次に、入力データに対して実行処理を行った際の前記出力一致検出器４８と前記出力状態判定選択処理器６１の動作について説明する。
【００６１】
前記出力一致検出器４８では、前記２値第１直接出力信号と前記２値第２変換出力信号とが一致した場合には、これらが共に正答となる場合が殆どである。しかしながら、発生率は非常に低いものの誤答であるがお互いに一致する場合も発生する。従来技術では、前述したように多数決処理によりこの一致した場合だけを検出し、それらを常に正答と単純に判定していることから、正誤答判定の精度が余り高くない。本発明では、一致状態だけでなく、前記２値直接出力信号と前記２値隣接出力信号にそれぞれ対応した中間層出力距離の間での最小検出と正誤答推定結果とを組み合わせ判定していることから、その精度が非常に高くなる。
【００６２】
前記出力状態判定選択処理器６１では、前記２値第１直接出力信号と前記２値第２変換出力信号とが一致しているにも係らず、出力誤りが発生している場合に於ても、正確な出力状態判定を行うことができる。
【００６３】
特に、前記２値第１及び第２直接出力信号が誤答の場合、それらからハミング距離が１或いは２の比較的小さい距離内の前記２値第１及び第２隣接出力信号の中に正答な２値出力信号が存在している場合が殆どであり、その確率は高い。従って、前記２値直接出力信号とそれに対応した前記２値隣接出力信号の何れが正答であるかをそれぞれの中間層出力距離の最小検出により調べることにより、前記２値直接出力信号の正誤答の状況を知ることが出来、正誤答判定精度を改善出来る。また、前記２値第１直接出力信号及び前記第２直接出力信号に対応したそれぞれの中間層出力距離をそれぞれ与えられた判定用出力距離スレショルドと比較することにより、更に一段と正誤答判定精度を高めることが出来る。
【００６４】
従って、前記出力状態推定と前記２値第１直接出力信号と前記２値第２変換出力信号との一致状態検出と、前記２値第１及び第２直接出力信号の正誤答推定と、前記２値第１直接出力信号及び前記２値第１隣接出力信号に対応したそれぞれの中間層出力距離の間の最小検出と、前記２値第１直接出力信号及び前記第２直接出力信号に対応したそれぞれの中間層出力距離の判定用出力距離スレショルド比較とを利用した出力状態判定処理を行う。
【００６５】
上記に説明した前記２値第１直接出力信号と前記２値第２変換出力信号とが一致した場合に於ける出力状態判定処理の一アルゴリズム例を表１示す。
【００６６】
【表１】
前記２値第１直接出力信号と前記２値第２変換出力信号が、一致した状態にあれば、両直接出力信号とも正答か、或いは誤答であり、正答の確率は比較的高い。特に、前記２値第１直接出力信号と前記２値第２変換出力信号が一致し、而も両出力推定結果とも正答推定の場合には、非常に高い精度で正答となる。
【００６８】
一方、両方とも誤答推定の場合、両直接出力信号が正答であることは、非常に稀であることから、２値第１直接出力信号に対応した中間層出力距離が、与えられた判定用出力距離スレショルドTH3より小さく、而もその隣接出力信号に対応した中間層出力距離より小さく、最小であり、同時に２値第２直接出力信号に対応した中間層出力距離も与えられた判定用出力距離スレショルドTH4より小さく、且つその隣接出力信号に対応した中間層出力距離より小さく、最小となる場合のみ、特別に出力状態として正答判定とし、このほかの条件下では、誤答判定とする。
【００６９】
また、前記２値第１及び第２直接出力信号の出力推定結果が互いに異なっている場合、前記２値第１直接出力信号と前記２値第２変換出力信号が一致している状況下では、基本的に正答である確率が比較的高いことから、前記２値第１直接出力信号に対応した中間層出力距離が、与えられた判定用出力距離スレショルドTH1より大きく、而もその隣接出力に対応した中間層出力距離のいずれかよりも大きい、即ち最小でなく、また同時に前記２値第１直接出力信号に対応した中間層出力距離が、与えられた判定用出力距離スレショルドTH2より大きく、而もその隣接出力に対応した中間層出力距離のいずれかよりも大きい場合には、両直接出力信号は誤答である可能性が大である。従って、前記２値直接出力信号を誤答判定とする。この条件以外では、正答判定とする。
【００７０】
上記に説明した出力状態判定選択処理器６１に於ける動作を行わせる１構成例を図４に示す。この構成について、以下簡単に説明する。
【００７１】
第１の２値出力ネットワーク手段４３のハミング距離計算器５３及び第２の２値出力ネットワーク手段４７のハミング距離計算器５４からのそれぞれの前記中間層出力距離が中間層出力距離分配器７０に入力され、これら中間層出力距離を最小中間層出力距離検出器７１に送出する。また、前記２値直接出力信号に対応した中間層出力距離を出力距離スレショルド比較器７２に送出する。
【００７２】
該最小中間層出力距離検出器７１では、これら中間層出力距離の内、２値直接出力信号に対応した中間層出力距離が最小であるかどうかを検出し最小検出信号を正誤答判定／出力選択器７３へ送出する。該出力距離スレショルド比較器７２では、該２値直接出力信号に対応した中間層出力距離とそれぞれの出力距離スレショルドとの比較を行ない、その結果を該正誤答判定／出力選択器７３へ送出する。
【００７３】
該正誤答判定／出力選択器７３では、上記の入力以外に前記第１の２値出力ネットワーク手段４３からの前記２値第１直接出力信号と前記第２の２値出力ネットワーク手段４７からの前記２値第２変換出力信号とが入力され、更に前記出力一致検出器４８からの一致状態検出信号が入力される。該一致状態検出信号に於て、前記２値第１直接出力信号と前記２値第２変換出力信号とが一致状態の場合、表１の方法で正誤答判定を行ないその結果を出力状態信号として端子２７から送出する。また、前記２値第１直接出力信号を最終出力信号として端子２６から送出する。一方、前記２値第１直接出力信号と前記２値第２変換出力信号とが不一致状態の場合には、後述の表２の方法に従って出力状態判定信号を最終出力信号をそれぞれ端子２７及び２６から送出する。
【００７４】
ここで、不一致状態の場合に、表２に示すように推定結果の論理和による正誤答判定処理を行うが、正誤答判定精度を従来方式より改善できる。
【００７５】
不一致状態の場合に更に高い正誤答判定を行う為には、特願２０００−０６０８４９（平成１２年３月６日）に示されている正誤答判定処理によって、正誤答判定処理を行ってもよい。
【００７６】
【表２】
従来技術では、多数決処理或いは一致状態検出処理を満足すれば、正答、満足しなければ誤答と単純に判定している為に、正誤答判定の精度が然程高くない。
【００７８】
本発明では、前記２値第１直接出力信号と前記２値第２変換出力信号とが一致状態の場合の正誤答判定処理に於ける判定精度の大幅な改善について明らかにしたが、不一致状態の場合に関しては、表２のような出力状態判定処理を行うか、或いは、２値出力ネットワーク手段４３、４７間での２値第１直接出力信号と２値第２隣接出力信号間の一致状態検出、及び２値第２直接出力信号と２値第１隣接出力信号間の一致状態検出を利用した正誤答判定処理（特願２０００−０６０８４９ 平成１２年３月６日）に示されている方法を用いてもよい。特に、この方法を用いれば、２値第１直接出力信号と２値第２変換出力信号の不一致状態に於ても、正誤答判定精度を更に著しく改善できる。
【００７９】
以上の説明のように、前記第１及び第２のネットワーク手段４３、４７の前記２値直接出力信号に対応した中間層出力層距離と前記出力正答余裕とを用いた直接出力信号の出力状態推定としての正誤答推定と、前記２値第１直接出力信号と前記２値第２変換出力信号間の一致状態検出と、前記２値直接出力信号及びその２値隣接出力信号にそれぞれ対応した中間層出力距離の間での最小検出と、更には与えられた判定用出力距離スレショルドとの比較とによる出力状態判定を行うことにより、非常に高い正誤答判定精度を実現することが出来る。
【００８０】
特に、正答判定の場合、そのまま出力信号をシステムとして利用する場合が多いことから、この正答判定精度ができる限り高くなることが非常に重要である。また、誤答判定の場合には、その入力データに対する正しい２値出力信号を調べ、追加学習することにより、並列ニューラルネットワーク処理システム４０は非常に高性能となり、学習入力データから非常に離れた未知入力データに対しても正答な出力信号を送出でき、而も一段と正確な正誤答判定信号を送出することになる。
【００８１】
尚、各前記出力距離スレショルドは、ある一定値でもよいが、２値教師信号毎に異なる値を設定してもよい。或いは、同一の分類カテゴリとなる正答な２値直接出力信号を出力する種々のテスト入力データに対して、前記中間層出力距離を求め、その分布の平均値或いは更に標準偏差とを少なくとも用いて前記出力距離スレショルドを求め設定しても良い。また、中間層出力距離と出力距離スレショルドとの大小比較でもよいが、中間層出力距離と出力距離スレショルドとの差の大小関係を比較に用いても良い。
【００８２】
本実施形態では、中間層基準出力メモリ４９、５０とハミング距離計算器５３をそれぞれ分けて説明したが、これらを一緒にして中間層基準出力信号を格納記憶すると共に距離計算をする距離計算処理器として構成してもよい。
【００８３】
また、ここでは、正しい所望の２値出力信号を送出するテスト入力データだけから上記のテスト内領域を求めたが、準備されている全てのテスト入力データを基にテスト内領域を求める場合には、前記学習入力データを用いてニューラルネットワークの学習処理を終了させた後、誤った２値直接出力信号を送出するテスト入力データを学習入力データとして追加学習し、この追加学習を繰り返すことにより、最終的に全てのテスト入力データに対して全て正答な２値出力信号を送出するよう学習させることができる。このような追加学習を行った後、その結合重み係数を用いて学習済みニューラルネットワーク４１、４４に設定し、これらの全てのテスト入力データに対してテスト内領域を収集してもよい。
【００８４】
また、並列ニューラルネットワーク処理システム４０において、上記説明のごとく異なった教師信号に対して学習済みの２並列接続された前記２値出力ネットワーク手段４３、４７を用いているが、ここで、特願平１１−２２９１９２のように、並列度を増やす為に、これらの２値出力ネットワーク手段４３、４７の他に、更に異なった２値変換教師信号による学習済みのニューラルネットワークを用いた、前記第２の２値出力ネットワーク手段４７と同様の構成をもった新たな２値出力ネットワーク手段を用意し、前記入力データに対して並列接続してもよい。この増設された該２値出力ネットワーク手段には、前記２値出力ネットワーク手段４７と同様にスレショルド回路５２、ハミング距離計算器５４、中間層基準出力メモリ５０、テスト領域判定器５８とそれぞれ同一構成のものを接続し、更に、前記出力一致検出器４８の代わりに、多数決処理器（投票処理）を設け、出力状態判定処理方法と出力選択処理方法を拡張して用いてもよい。これにより、並列ニューラルネットワーク処理システム４０の出力状態判定精度もより著しく改善される。
【００８５】
尚、本実施形態に於て、学習済みニューラルネットワーク４１、４４として、それぞれ異なる２値教師信号を用いて学習させたが、それぞれ異なる３値以上の多値教師信号を用いて学習させ、２値化するスレショルド回路４２、４５の代わりに、多値スレショルド回路を用い、隣接出力生成器３７、３６、５９、６０に於ては、リー距離を用いて多値隣接出力信号を生成すればよい。テスト領域判定器５８も当然多値信号に対して簡単に対応出来る。これにより、出力状態判定信号としての正誤答判定信号と最終出力信号としての多値出力信号とを送出する並列多値ニューラルネットワーク処理システムを構成することも出来る。尚、中間層出力距離や中間層基準信号に関しては、２値、多値、或いは連続値何れでもよい。
【００８６】
本実施の形態に於て、入力データを入力して並列ニューラルネットワーク処理システム４０を動作させた際、端子２６から誤答判定された最終出力信号が得られた場合には、これに対応した入力データを学習入力データとして、前記学習済みニューラルネットワークの結合重み係数を初期値として追加学習して、新たな結合重み係数を得、前記学習済みニューラルネットワーク４１、４４に設定し、前記並列ニューラルネットワーク処理システム４０を動作させてもよい。この一連の追加学習処理を繰り返すことにより汎化能力や汎化領域の改善が図れ、より高い正答判定率とより高い判定精度を得ることが出来る。
【００８７】
また、出力状態判定選択処理器６１に於て、選択された２値出力信号に対応する出力層からの直接出力信号を最終出力信号として送出してもよいし、選択された２値出力信号も同時に最終出力信号としてもよい。更に、出力状態判定として、正誤答判定の例を説明したが、正答／不明判定などの判定を行っても良く、出力信号の出力状態に対して、少なくとも正答判定とそれ以外の状態に判定できればよい。
【００８８】
学習方法としては、バックプロパゲーション法を前提に説明したが、教師信号を用いた学習ならいずれの学習法でもよい。また、学習済みニューラルネットワークとしてローカルミニマム状態に収束させたものを用いることもできるが、汎化能力及び汎化領域ともグローバルミニマム状態で収束した場合より劣化することから、汎化能力及び正誤答判定精度も劣化する。
【００８９】
また、前記教師信号コード変換器１３を介して得られる前記２値変換教師信号として、前記第１の２値教師信号から、例えば、前記第１の２値教師信号の２値補数からなる２値教師信号や、前記入力データと前記第１の２値教師信号との分類カテゴリとしての対応関係をシフトした２値教師信号を用いてもよい。或いは、前記入力データと前記第１の２値教師信号との分類カテゴリとしての対応ずけをランダムに割当てた新たな２値教師信号を用いてもよい。このコード変換された前記２値変換教師信号としては、前記出力変換器４６に於て前記２値変換教師信号を前記第１の２値教師信号へ逆変換することができれば、如何なる２値変換教師信号でもよい。
【００９０】
尚、前述した出力状態判定選択処理器６１及び出力状態推定器５５、５６の構成は、本発明の技術的概念及び見地の範囲の種々の変更、修正及び省略が、当業者によれば容易に行うことができる。従って、前述の説明はあくまで１例であり、何ら制約しようとするものではない。
【００９１】
以上本発明の実施の形態について、詳述してきたが、具体的な構成例は、上記の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更であっても本発明に含まれる。
【００９２】
【発明の効果】
以上述べたように、従来方式では、汎化領域をずらす為に、学習の際に種々の異なった結合重み係数の初期値に対してローカルミニマムに収束させる試行錯誤と数多くのニューラルネットワークが必要で、その演算処理量も膨大となり、而も目標とする正誤答判定性能に対して簡単に設計ができない。また、複数個の学習済みニューラルネットワークを入力データに対して並列接続し、入力データに対する２値出力信号の単なる多数決処理や一致状態検出などによる正答誤答判定や正答不明判定を行っており、正誤答判定精度及び汎化能力が低い。
【００９３】
一方、本発明の出力状態判定機能を有した並列ニューラルネットワーク処理システムは、それぞれ異なった多値教師信号を用いて学習させた学習済みニューラルネットワークを用いており、汎化能力も非常に高く安定であり、汎化領域も広く、而もそれを簡単にずらすことができる。従って、少ない数の並列接続のニューラルネットワークを用いればよく、演算処理も少なく学習が簡単で、且つ試行錯誤が不要である。また、それらの学習済みニューラルネットワークの汎化能力及び汎化領域とも高性能で非常に安定していることから、２値直接出力信号と２値変換出力との一致状態検出と、ニューラルネットワークの内部状態としての、中間層出力距離とテスト内／外領域を用いた正誤答出力推定と、直接出力信号及びその隣接出力信号にそれぞれ対応した中間層出力距離の間の最小検出、更には、直接出力信号に対応した中間層出力距離の判定用出力距離スレショルド比較とにより、非常に精度の高い出力状態判定が得られる。
【００９４】
従って、並列ニューラルネットワーク処理システムに於て、必ずしも数多くの並列のニューラルネットワークを用いる必要がなく、構成が簡単になる。
【００９５】
これらの結果から、本発明の出力状態判定機能を有する並列ニューラルネットワーク処理システムをパターン認識等に実用した際、未知入力データに対する出力信号の正誤答判定の精度が非常に高いことから、出力信号が正答と判定されれば、その出力信号をそのまま利用することが出来、一方、誤答と判定された未知入力データに対しては、正しい教師信号の対応ずけを行ない、並列接続されたそれぞれのニューラルネットワークを追加学習させ、得られた結合重み係数で置き換えるにより、並列ニューラルネットワーク処理システムの汎化能力と正誤答判定精度を一段と向上させることが簡単に出来る。
【００９６】
従って、パターン認識処理などに用いる際に、詳細な学習入力データを事前に取得した後に、ニューラルネットワークを学習させて使用する必要は必ずしもなく、少なくとも非常に特徴のある学習入力データを学習コアー入力データとしてまず学習させ、現実の使用環境の元で、高い汎化能力と精度の高い出力状態判定能力とを利用した誤答出力信号を送出する未知入力データ収集を迅速に行なうことが出来る。これらを追加学習させることにより、正誤答判定機能を有する並列ニューラルネットワーク処理システムの正答判定能力と汎化能力を同時に著しく高めることが出来、実用環境に適したパターン認識率の非常に高い高性能な並列ニューラルネットワーク処理システムを簡単に実現出来る。
【００９７】
上述のように本発明の出力状態判定機能を有する並列ニューラルネットワーク処理システムは、従来方式に比べて、少ない数の学習済みニューラルネットワークを並列接続し使用しても非常に高い性能が簡単に得られ、構成が簡単になり演算処理量も非常に少ない利点を持つ。また、異なった教師信号を用いて全て正答な出力信号を送出するよう学習させたニューラルネットワークを用いることから、試行錯誤を必要とせず、学習処理が大幅に少なく、而も動作も安定しており、高い精度の出力状態判定と非常に高い汎化特性を簡単に実現できる。
【００９８】
従って、従来技術では実現が困難な大規模ニューラルネットワークに対しても本発明の並列ニューラルネットワーク処理システムを用いて短時間で設計し実現することが出来、非常に高性能な正誤答判定能力や高い汎化能力が要求される人工知能システム、ネットワーク障害情報処理システムやネットワークセキュリティシステムなどの通信ネットワーク処理システム、或いは検索システム、画像処理システムなどのシステムへの幅広い応用ができるなど、非常に幅広い効果を有している。
【図面の簡単な説明】
【図１】本発明の実施形態における高精度出力状態判定機能を有した並列ニューラルネットワーク処理システムの１構成例。
【図２】従来方式における３層ニューラルネットワークの学習処理の１構成例。
【図３】従来方式による出力状態判定機能を有した並列ニューラルネットワーク処理システムの１構成例。
【図４】出力状態判定選択処理器６１の１構成例。
【符号の説明】
１ ３層ニューラルネットワーク
２ 入力信号入力端子
２１ 入力ユニット端子
２２ 入力ユニット端子
２Ｎ 入力ユニット端子
３ ２値出力端子
３１ ２値出力ユニット端子
３２ ２値出力ユニット端子
３Ｍ ２値出力ユニット端子
４ 入力層
４１ 入力層ユニット
４２ 入力層ユニット
４Ｎ 入力層ユニット
５ 中間層
５１ 中間層ユニット
５Ｐ 中間層ユニット
６ 出力層
６１ 出力層ユニット
６２ 出力層ユニット
６Ｍ 出力層ユニット
７ 結合重み係数制御器
８ ２値教師信号入力端子
８１ ２値教師信号入力ユニット端子
８２ ２値教師信号入力ユニット端子
８Ｍ ２値教師信号入力ユニット端子
９ スイッチ回路
１０ 減算器
１０１ 減算器
１０２ 減算器
１０Ｍ 減算器
１１ 結合重み係数入出力端子
１２ スレショルド回路
１２１ スレショルド回路
１２２ スレショルド回路
１２Ｍ スレショルド回路
１３ 教師信号コード変換器
１４ 従来技術による並列ニューラルネットワーク処理システム
１５ 第１の学習済みニューラルネットワーク
１６ スレショルド回路
１７ 第１の２値出力ネットワーク手段
１８ 第２の学習済みニューラルネットワーク
１９ スレショルド回路
２０ 第２の２値出力ネットワーク手段
２１ 第３の学習済みニューラルネットワーク
２２ スレショルド回路
２３ 第３の２値出力ネットワーク手段
２４ 多数決処理器
２５ 出力選択処理器
２６ 最終出力信号出力端子
２７ 出力状態判定信号出力端子
４０ 本発明の実施形態における並列ニューラルネットワーク処理システム
４１ 学習済みニューラルネットワーク
４２ スレショルド回路
４３ 第１の２値出力ネットワーク手段
４４ 学習済みニューラルネットワーク
４５ スレショルド回路
４６ 出力変換器
４７ 第２の２値出力ネットワーク手段
４８ 出力一致検出器
４９ 中間層基準出力メモリ
５０ 中間層基準出力メモリ
５１ スレショルド回路
５２ スレショルド回路
５３ ハミング距離計算器
５４ ハミング距離計算器
５５ 出力状態推定器
５６ 出力状態推定器
５７ テスト領域判定器
５８ テスト領域判定器
５９ 隣接出力生成器
６０ 隣接出力生成器
６１ 出力状態判定選択処理器
７０ 中間層出力距離分配器
７１ 最小中間層出力距離検出器
７２ 出力距離スレショルド比較器
７３ 正誤答判定／出力選択器
Claims (5)
- 学習入力データと第１の多値教師信号とを用いて学習した、中間層からの中間層第１出力信号と出力層からの第１直接出力信号とを送出する学習済みニューラルネットワーク４１と、該第１直接出力信号を多値化し多値第１直接出力信号を送出する多値スレショルド手段４２とからなる、第１の多値出力ネットワーク手段４３と、
該第１の多値教師信号を変換し得られた異なる変換多値教師信号と前記学習入力データとを用いて学習した、中間層からの中間層第２出力信号と出力層からの第２直接出力信号とを送出する学習済みニューラルネットワーク４４と、該第２直接出力信号を多値化し多値第２直接出力信号とを送出する多値スレショルド手段４５と、該変換多値教師信号から前記第１の多値教師信号への逆変換則を有し、該多値スレショルド手段４５からの該多値第２直接出力信号を変換し多値第２変換出力信号を送出する出力変換手段４６とからなる、少なくとも１つ以上の第２の多値出力ネットワーク手段４７とを、入力データに対して並列接続し、
夫々の前記第１の及び前記第２の多値出力ネットワーク手段４３、４７からの前記多値第１及び多値第２直接出力信号と隣接関係にある多値隣接出力信号を夫々生成する２つ以上の隣接出力生成手段５９、６０と、
夫々の前記第１の及び前記第２の多値出力ネットワーク手段４３、４７の前記入力データに対する前記中間層第１及び第２出力信号から２つ以上の多値スレショルド手段５１、５２を夫々介して得た各々の中間層多値第１及び第２出力信号をもとに、前記多値第１及び第２直接出力信号及び前記多値第１及び第２隣接出力信号各々に対応した中間層出力距離を夫々求める２つ以上の中間層出力距離計算手段５３、５４と、
該中間層出力距離計算手段５３、５４各々から得られた、前記入力データに対する前記多値第１及び第２直接出力信号と前記多値第１及び第２隣接出力信号に夫々対応した該中間層出力距離各々を少なくとも用いて、前記多値第１直接出力信号及び一つ以上の前記多値第２変換出力信号の夫々の出力状態推定を行い出力状態推定信号を送出する２つ以上の出力状態推定手段５５、５６と、
前記多値第１直接出力信号と一つ以上の前記多値第２変換出力信号との間の一致状態検出し、一致状態検出信号を送出する出力一致検出手段４８と、
少なくとも、前記多値第１及び第２直接出力信号と前記多値第１及び第２隣接出力信号にそれぞれ対応した前記中間層出力距離間の夫々の最小検出と、夫々の前記出力状態推定信号と、前記一致状態検出信号とから前記多値第１及び第２変換出力信号夫々の出力状態判定を行ない、前記多値第１直接出力信号及び一つ以上の前記多値第２変換出力信号の何れかを選択し、最終出力信号として送出すると共に、対応した出力状態判定信号を送出する出力状態判定選択処理手段６１とを
少なくとも具備し構成することを特徴とした並列ニューラルネットワーク処理システム。 - 前記中間層出力距離計算手段５３、５４において、学習コアー入力データを少なくとも含む前記学習入力データを用いて学習させたそれぞれの前記学習済みニューラルネットワーク４１、４４の中間層からの、該学習コアー入力データに対する前記中間層第１及び第２出力信号から前記多値スレショルド手段５１、５２を介して夫々得られた中間層多値第１及び第２出力信号を夫々中間層基準出力信号とし、該学習コアー入力データに対する該第１の多値教師信号及び該変換多値教師信号に夫々対応させて予め格納記憶し、前記多値第１及び第２直接出力信号及び夫々対応した前記多値第１及び第２隣接出力信号を用いて夫々の該中間層基準出力信号を読み出す一つ以上の中間層基準出力記憶手段４９、５０を少なくとも具備し、前記入力データに対する前記多値第１及び第２直接出力信号及び該多値第１及び第２直接出力信号に夫々対応した前記多値第１及び第２隣接出力信号を用いて呼び出された夫々の前記中間層基準出力信号と、対応した前記中間層多値第１及び第２出力信号との間の中間層出力距離を夫々求めることを特徴とした請求項１に記載した並列ニューラルネットワーク処理システム。
- 少なくとも前記出力一致検出手段４８からの前記一致状態検出信号を基に、予め記憶されている推定用出力距離スレショルドを選択設定し、
前記多値第１及び第２直接出力信号に夫々対応した前記中間層出力距離と比較し、該多値第１直接出力信号及び夫々の前記多値第２変換出力信号の出力状態推定を行うことを特徴とした請求項１及び２のいずれかに記載した並列ニューラルネットワーク処理システム。 - 予め準備されたテスト入力データに対して、正答な多値第１及び第２直接出力信号を夫々送出する該テスト入力データに対応した夫々の出力層からの前記第１及び第２直接出力信号の出力層ユニット毎の正答を与える出力正答余裕を各々求め、該出力正答余裕の最大値と最小値とからなる範囲を示す該多値第１及び第２直接出力信号毎のテスト内領域を夫々得、該多値第１及び第２直接出力信号夫々対応させて予め格納記憶し、前記入力データに対する前記多値第１及び第２直接出力信号の各々によって、夫々対応した該テスト内領域を夫々読み出し、前記入力データに対する前記出力層出力信号各々と、対応した該テスト内領域と夫々比較しテスト内領域かテスト外領域かを判定し、テスト領域判定信号として送出するテスト領域判定手段５７、５８をそれぞれの前記多値出力ネットワーク手段４３、４７毎に具備し、
夫々の前記出力状態推定手段５５、５６に於て、前記多値第１及び第２直接出力信号夫々に対応した前記テスト領域判定信号を用いて、対応した出力状態推定をすることを特徴とした請求項１から３のいずれかに記載した並列ニューラルネットワーク処理システム。 - 前記出力状態判定選択処理手段６１に於て、更に、前記多値第１及び第２直接出力信号にそれぞれ対応した前記中間層出力距離を予め設定された判定用出力距離スレショルドと比較し、夫々の前記出力状態判定を行うことを特徴とした請求項１から４のいずれかに記載した並列ニューラルネットワーク処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001061932A JP3855665B2 (ja) | 2001-03-06 | 2001-03-06 | 出力状態判定機能を有する並列ニューラルネットワーク処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001061932A JP3855665B2 (ja) | 2001-03-06 | 2001-03-06 | 出力状態判定機能を有する並列ニューラルネットワーク処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002259940A JP2002259940A (ja) | 2002-09-13 |
| JP3855665B2 true JP3855665B2 (ja) | 2006-12-13 |
Family
ID=18921146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001061932A Expired - Lifetime JP3855665B2 (ja) | 2001-03-06 | 2001-03-06 | 出力状態判定機能を有する並列ニューラルネットワーク処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3855665B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4857597B2 (ja) * | 2005-05-02 | 2012-01-18 | 富士電機株式会社 | 油入電気機器の劣化診断方法 |
| CN101661114B (zh) * | 2009-06-12 | 2010-10-13 | 中国矿业大学(北京) | 基于ann的矿井煤巷掘进前方小构造预报方法 |
| JP7442964B2 (ja) * | 2018-09-26 | 2024-03-05 | キヤノンメディカルシステムズ株式会社 | 医用情報収集システム及び医用情報収集装置 |
| JP7321690B2 (ja) * | 2018-09-26 | 2023-08-07 | キヤノンメディカルシステムズ株式会社 | 検証システム及び検証装置 |
| JP7215131B2 (ja) * | 2018-12-12 | 2023-01-31 | 株式会社オートネットワーク技術研究所 | 判定装置、判定プログラム、判定方法及びニューラルネットワークモデルの生成方法 |
| CN113010655B (zh) * | 2021-03-18 | 2022-12-16 | 华南理工大学 | 一种机器阅读理解的回答与干扰项生成方法、装置 |
-
2001
- 2001-03-06 JP JP2001061932A patent/JP3855665B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002259940A (ja) | 2002-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3675246B2 (ja) | 正誤答判定機能を有するニューラルネットワーク手段 | |
| Panella | A hierarchical procedure for the synthesis of ANFIS networks | |
| JP3855665B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| Risso et al. | Hybrid method for power system state estimation | |
| Rusiecki | Robust LTS backpropagation learning algorithm | |
| Amani et al. | A case-based reasoning method for alarm filtering and correlation in telecommunication networks | |
| JP3891124B2 (ja) | 正誤答判定機能を有する並列ニューラルネットワーク手段 | |
| JP3855582B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| JP3855580B2 (ja) | 並列ニューラルネットワーク装置 | |
| CN109886306A (zh) | 一种电网故障诊断数据清洗方法 | |
| US20080267220A1 (en) | Method of Iterative Signal Processing For Cdma Interference Cancellation and Ising Perceptrons | |
| JP3757722B2 (ja) | 多層ニューラルネットワークユニット数最適化方法及び装置 | |
| JP3678071B2 (ja) | ニューラルネットワーク入力判別装置 | |
| CN112861115A (zh) | 基于区块链安全认证的加密策略调用方法及云认证服务器 | |
| JP3277648B2 (ja) | 並列ニューラルネットワーク | |
| Iversen et al. | Classification and verification through the combination of the multi-layer perceptron and auto-association neural networks | |
| Zhang et al. | Novel fault class detection based on novelty detection methods | |
| Aeron et al. | Fundamental tradeoffs between sparsity, sensing diversity and sensing capacity | |
| Pan et al. | Neighborhood detection for the identification of spatiotemporal systems | |
| JP4687199B2 (ja) | 連想記憶装置とそのソフトウェア | |
| JP4696529B2 (ja) | 多層ニューラルネットワーク装置とそのソフトウェア | |
| Ji et al. | A fault diagnosis method of communication connectors in wireless receiver front-end circuits | |
| Grzechca et al. | Use of neuro-fuzzy system to time domain electronic circuits fault diagnosis | |
| Li | Distributed decision fusion in the presence of link failures | |
| Połok et al. | Optimization of the neural RBF classifier for the diagnostics of electronic circuit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060407 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060904 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |