JP3855580B2 - 並列ニューラルネットワーク装置 - Google Patents
並列ニューラルネットワーク装置 Download PDFInfo
- Publication number
- JP3855580B2 JP3855580B2 JP2000057263A JP2000057263A JP3855580B2 JP 3855580 B2 JP3855580 B2 JP 3855580B2 JP 2000057263 A JP2000057263 A JP 2000057263A JP 2000057263 A JP2000057263 A JP 2000057263A JP 3855580 B2 JP3855580 B2 JP 3855580B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- neural network
- output signal
- signal
- intermediate layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、パターン認識、データマイニング及び画像処理などの分野に適用可能なニューラルネットワークにおいて、入力データに対してより多くの正しい出力を送出する汎化能力の高い並列ニューラルネットワーク装置に関するものである。
【０００２】
【従来の技術】
従来のニューラルネットワークには、文献 麻生英樹著、「ニューラルネットワーク情報処理」、産業図書出版などに示されているように、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが種々幅広く実用されている。ここでは、並列に接続された学習済みニューラルネットワークにより、入力データに対して正しい正答な出力を得る為の従来技術について説明する。また、説明を簡単にする為に、パターン認識などに於て見られる教師付き学習を行う多層ニューラルネットワークを例に挙げ、２値教師信号を用いて学習させ、２値出力信号を送出させることとする。
【０００３】
多層ニューラルネットワークへの入力データは、入力データエレメントを持ったベクトルから構成され、ニューラルネットワークの対応した入力層のそれぞれのユニットに入力された後、更に中間層（隠れ層）の各ユニット（隠れユニット）にそれぞれ重み付けされ出力される。中間層では、入力層の各ユニットからの重み付けされた出力信号の総和を入力とし、スレショルド値を差し引いた後、シグモイド関数と呼ばれる非線形入出力特性を持った関数を介して出力される。出力層においても中間層と同様な入出力処理が行われた後、各出力層ユニットからそれぞれ対応した出力信号エレメントを送出する。ここで、更に、これらの出力信号を２値化スレショルド回路を介して２値出力信号に変換し、２値出力信号として送出する場合もある。
【０００４】
多層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムがある。結合重み係数に対して乱数などを用いて初期値設定した後、予め用意された教師信号と、入力層に入力される予め用意された学習入力データとを用いて、バック・プロパゲーション・アルゴリズムの基に、出力信号と教師信号との平均誤差電力が最小となるよう結合重み係数を適応更新し、教師信号にできるだけ近い出力信号が出力層から送出されるよう学習を行う。ここで、平均誤差電力が予め定められたスレショルド以下となると、収束したとして学習を終了する。或いは、学習入力データに対する２値出力信号が全て２値教師信号と同一となると、正解として学習を終了する。
【０００５】
次に、予め準備されたテスト入力データとそれに対応した所望の教師信号とを用いて、学習済みニューラルネットワークの汎化特性を評価する。学習入力データの近傍のテスト入力データを入力した際に、教師信号と一致或いは非常に近い値を持った所望の出力信号、即ち正答な出力信号を送出する場合と、教師信号とは異なる誤った出力信号、即ち誤答の出力信号を送出する場合とがある。特に、ニューラルネットワークがローカルミニマムの状態で収束した場合には、誤答出力信号を送出しやすく、汎化率、即ちテスト入力データに対して正答な出力信号を送出する割合が低く、正答な出力信号を送出する能力があまり高くない。ここで、未知入力データに対して正答な出力信号を送出する能力を汎化能力と呼ぶ。また、学習の際に、結合重み係数として設定された初期値によっては、正答な出力信号を送出する入力データの領域、即ち汎化領域が部分的に異なり、汎化領域の初期値依存性がある。
【０００６】
パターン認識などに於て、このようなローカルミニマムに収束した学習済みのニューラルネットワークを用いて、入力データに対して実行処理を行わせた際に、汎化能力が劣る場合には、学習入力データに近い入力データに対しても所望の出力信号が得られず、多くの誤認識が発生する。
【０００７】
このような実行処理の際には、学習入力データやテスト入力データ以外の未知入力データが入力される場合が非常に多いが、これらの多くの未知入力データを事前に収集し、学習入力データ或いはテスト入力データとして用いることは困難な場合が多い。従って、学習或いはテストの際に、汎化能力をできるだけ高くすることが要求される。
【０００８】
ここで、入力データに対する汎化能力を改善する為の従来技術を示す。例えば、入力データに対して学習済みニューラルネットワークを並列接続する方法、D. Sarkar, “Randomness in Generalization Ability: A Source to Improve It,” IEEE Trans. Neural Networks Vol.7, No.3, May 1996, pp.676-685がある。図２に、この従来技術による学習済み３層ニューラルネットワークを３並列接続した並列ニューラルネットワーク手段を示す。入力端子５からの入力データに対して並列接続された学習済みニューラルネットワーク１、２及び３と、多数決出力選択器４とから構成され、出力端子６から改善された汎化能力を持つ出力信号が送出される。
【０００９】
この方法は、夫々のニューラルネットワーク１、２、３を、正答な２値出力信号を送出する入力データの領域、即ち汎化領域が部分的に異なるよう、異なった初期値の結合重み係数を設定して学習させ、それらを複数個並列接続して、それらの出力信号を２値化し、２値出力信号に対して多数決による出力選択（投票モデルとも呼ぶ。即ち、最も数多く一致した２値出力信号を送出する。）を行ない、出来るだけ正答と思われる２値出力信号を送出させ、入力データに対する汎化率を改善する方法である。従って、多数決出力選択器４では、並列接続されている学習済みニューラルネットワーク１、２、３からの出力信号を２値化し、それらの内、いずれかの２個以上が一致すれば、正答と見做し、最も数多く一致した２値出力信号を選択して出力信号として出力端子６から送出し、これ以外の全て異なる場合は、予め定められた特定の、例えば学習済みニューラルネットワーク１からの２値出力信号を選択して、端子６から送出する。
【００１０】
このような多数決出力選択器４に於ける単純な多数決選択処理では、学習済みニューラルネットワークを並列に用いても、単体の学習済みニューラルネットワークの汎化能力より、若干高い汎化能力が得られるにすぎない。
【００１１】
即ち、表１に示すように、学習済みニューラルネットワーク１、２及び３からの２値出力信号の何れかが一致すると、それらの２値出力信号を正答であると見做して選択出力し、いずれも異なる場合には、特定のニューラルネットワーク、例えば、ニューラルネットワーク１からの２値出力信号を選択送出することにより、改善を図っている。この結果、２値出力信号がそれぞれ異なる場合の選択対象である特定のニューラルネットワーク１の汎化能力に加えて、一致した場合は、常に正答であるとの仮定の下に、ニューラルネットワーク２及び３からの２値出力信号が一致する入力データに対してのみ汎化能力が改善されることになる。従って、汎化能力を改善する為には、特定のニューラルネットワーク１の汎化能力をできるだけ高くし、更に、ニューラルネットワーク２及び３からの正答な２値出力信号ができるだけ一致し、而もその汎化領域がニューラルネットワーク１のそれからできるだけずれることが必要となる。
【００１２】
【表１】
【００１３】
しかしながら、同一の学習入力データ及び教師信号を用いてそれぞれ異なる結合重み係数初期値を用いてニューラルネットワークを学習させることから、ローカルミニマムに収束した学習済みニューラルネットワークを用いることとなり、一般に単体としての高い汎化能力が得られない。而も、いずれのニューラルネットワークも並列接続され、同一の入力データが入力されることから、ニューラルネットワーク２及び３に於ける正答な出力信号を送出させる入力データの領域、即ちそれらの汎化領域が、ニューラルネットワーク１の汎化領域とも互いに重なり、大きくずらすことができない。また、どの程度のずれになるかは、設定される結合重み係数の初期値に依存している。
【００１４】
従って、単に結合重み係数の異なった初期値設定により学習したニューラルネットワークを用い、多数決出力選択器４によって、一致した２値出力信号を中心に選択送出し、全て異なる場合には特定のニューラルネットワークの２値出力信号を選択送出する単純な多数決選択処理方法により汎化能力を改善しようとする場合には、適切な汎化領域を得る為にかなりの試行錯誤が必要となる。而も汎化率の大きい改善を図る為には、数十個の非常に多くのニューラルネットワークを並列接続する必要がある。従って、これら並列ニューラルネットワークの設計が複雑となり、回路規模や演算量も膨大となる。
【００１５】
図３に、第２の従来技術による方法を示す。文献 Amanda J. C.Sharkey and Noel E. Sharkey, “Combining Diverse Neural Nets,” The Knowkedge Engineering Review, Vol.12:3, pp.231-247, 1997による構成を示したものである。学習済みニューラルネットーク１、２及び３と多数決出力選択器４とは第１の従来技術と同一の構成であるが、入力データを異なる新たな入力データに変換する非線形入力変換器７、８を設け、学習済みニューラルネットワーク２及び３に対して夫々前段に直列接続している。
【００１６】
学習済みニューラルネットワーク２及び３は、非線形入力変換器７及び８を介して得られたそれぞれの異なる新たな変換学習入力データに対して学習させたものである。従って、学習済みニューラルネットワーク１、２及び３は、同一の教師信号と学習入力データとを、或いはそれぞれ異なった変換学習入力データとを用いて学習していることになる。更に、学習済みニューラルネットワーク１は、非線形入力変換器７、８がそれぞれ直列接続された学習済みニューラルネットワーク２及び３と並列接続されており、それらの出力信号が多数決出力選択器４にそれぞれ入力されている。多数決出力選択処理器４では、第１の従来技術と同様にこれらの出力信号を２値化して、多数決処理により最も数多く一致した２値出力信号の選択送出と、全て互いに異なる場合は、特定のニューラルネットワークからの出力信号の選択送出とを行って、出力信号として送出している。
【００１７】
非線形入力変換器７、８としては、ニューラルネットワークを用いており、入力データの非線形変換を行っている。特に、非線形入力変換器７としての入力変換ニューラルネットワークでは、その出力層からの出力信号を送出し学習済みニューラルネットワーク２に入力している。また、非線形入力変換器８としての入力変換ニューラルネットワークでは、中間層からの中間層出力信号を学習済みニューラルネットワーク３へ入力している。
【００１８】
このような非線形入力変換器７、８を設けることにより、学習済みニューラルネットワーク２及び３に於ける正答な出力信号を送出する入力データ領域、即ち汎化領域を学習済みニューラルネットワーク１のそれからお互いに大きくずらすことができる。このような領域を形成した後に、学習済みニューラルネットワーク１、２及び３からの出力信号を多数決出力選択器４に入力し、２値化した後、前記の多数決処理により出力選択を行っている。しかしながら、学習済みニューラルネットワーク２及び３の汎化領域が互いに大きくずれすぎると、多数決が成立する割合、即ち一致する割合が減る。従って、汎化能力を大きく改善する為には、それぞれの汎化領域が過度に離れないように第１の従来技術と同様に数多くのニューラルネットワークを並列接続すると共に、それぞれの汎化領域のずれを調節する為の試行錯誤が必要となる。
【００１９】
上記の説明の如く、最終的に高い汎化率を得る為には、種々の非線形変換則の試行錯誤と非常に数多くの学習済みニューラルネットワークの並列接続と、更には種々の結合重み係数の初期値設定に対する試行錯誤を必要とする。ここでは、非線形入力変換の為に、自由な変換則の設計が可能なことから、ニューラルネットワークを用いているが、これらのニューラルネットワークの汎化特性によっては、入力データに対して、必ずしも１対１の関係が得られないこと。更に、変換則を学習する際に、ローカルミニマムに収束した場合は、必ずしも入力データを所望のデータに変換できないなどの問題もある。これらは、多くの非線形入力変換を用いた場合に問題となり、これに対しても同様にかなりの試行錯誤が必要となる。
【００２０】
前記の文献では、並列接続されているニューラルネットワーク１、２及び３の出力信号が同時に全て誤答とならないことを前提条件としており、而もニューラルネットワーク１単体として９６％前後の高い汎化率が既に得られている場合に対して、約２％程度の汎化率の改善が図れることを明らかにしている。ニューラルネットワーク１、２及び３の出力信号が全て誤答となる状態が発生するような場合や、単体の汎化率が高くない場合などには、出力信号が一致してもそれらが必ずしも常に正答でないことを考慮すると、改善は殆ど図れない。従って、この方法に於ても、大きな汎化能力の改善を図る為には、非常に数多くのニューラルネットワークの並列接続が必要となり、複雑となると共に演算量も膨大となる。
【００２１】
【発明が解決しようとする課題】
上記の如く、従来技術の並列ニューラルネットワークによる汎化能力の改善方法では、入力データに対して並列接続されている個々の学習済みニューラルネットワークは、それぞれ異なった結合重み係数初期値を設定して同一の教師信号に対して同一の学習アルゴリズムを用いて学習されている。従って、これらのニューラルネットワーク１、２、３がグローバルミニマムに収束すると、夫々のニューラルネットワークの汎化能力は高くなるものの、正答の出力信号を送出する入力データの領域、即ち汎化領域が殆ど同一となってしまい、出力信号はいずれも正答となるか、何れも誤答となる。従って、それらを並列接続効果はあまり無く、それぞれの２値出力信号を多数決処理しても、殆ど汎化能力の改善にはならない。
【００２２】
一方、異なったローカルミニマムにそれぞれ収束した学習済みニューラルネットワークの汎化能力は、入力データの種類やその分布によっては大きく変化し、個々の汎化領域も狭く、誤った２値出力信号を送出しやすい。また、汎化領域はずれるものの、そのずれは必ずしも大きくはない。従って、これらの学習済みニューラルネットワークを並列接続して用いる場合には、汎化領域が比較的大きくずれる結合重み係数を試行錯誤によって捜す必要がある。また、多数決処理により、各学習済みニューラルネットワークからの２値出力信号間で最も数多く一致した２値出力信号を選択送出するだけでは、必ずしもそれらが正答とはならない場合があること。また、一致する発生確率が低いと、並列ニューラルネットワークの汎化能力の改善効果が原理的に余り得られないなどの問題がある。
【００２３】
即ち、出力信号の一致に対する単純な多数決処理では、個々のニューラルネットワークの汎化能力が悪いと、誤答の出力信号が一致する場合もあり、誤った選択をする可能性を無視出来ない。また、全て異なった出力信号の場合には、正答な出力信号を選択することができない。これらの理由から、できるだけ異なったローカルミニマムに収束した数多くの学習済みニューラルネットワークを並列接続させる必要があり、構成が複雑となり、演算量も非常に多くなる欠点がある。
【００２４】
第２の従来技術のように、非線形入力変換器７、８により、入力データを一旦変換して、それぞれ異なる入力データとしてニューラルネットワーク２、３に入力するよう構成することで、大きく異なった汎化領域を形成できるが、余り大きくずれ過ぎた場合には、それぞれの学習ずみニューラルネットワークからの２値出力信号の多数決処理に於ける一致する領域が少なくなり、多数決による正答な出力信号の選択が余りできなくなる。従って、第１の従来技術と同様に、数多くのニューラルネットワークの並列接続を必要とし、それらの演算量が非常に大きくなり、汎化領域のずれを調整する為に多くの試行錯誤が必要となる。また、非線形入力変換器７、８として、自由な非線形変換がしやすいニューラルネットワークを用いているが、そのニューラルネットワークの学習特性と汎化特性が新たな問題となり、必ずしも並列ニューラルネットワークの汎化能力を十分に改善することが出来ない。従って、この入力変換用ニューラルネットワークも上手く設計する必要性が生じ、当然のこととして、これらの試行錯誤と演算量も大きくなる。
【００２５】
これらの従来技術での共通な技術としては、ニューラルネットワークからの正答と思われる出力信号の選択の際に、汎化領域のずれを利用した出力信号の一致に対する多数決選択処理を用い、汎化能力の改善を図っている。異なる結合重み係数の初期値設定や非線形入力変換によってどの程度ずれた汎化領域が得られるかは、落ち込むローカルミニマムやグローバルミニマムによって決まり、予め予測出来ない。従って、種々の結合重み係数初期値や入力データの非線形変換則を与え、個々のニューラルネットワークを学習させた後に、学習済みニューラルネットワークを並列動作させて、初めて汎化能力の改善度が評価できるなど数多くの試行錯誤を必要とする欠点もある。このことは、汎化能力の高い並列ネットワーク装置を簡単に設計できないことを意味する。
【００２６】
上記のこれらの欠点は、大規模ニューラルネットワークを必要とする応用では、種々の結合重み係数の初期値を用いてローカルミニマムに収束させる為の学習処理と、テスト入力データに対する汎化率の評価と、総合的な汎化能力の改善度の評価などを繰り返し行なう試行錯誤と、数多くのニューラルネットワークの並列接続とを必要とすることから、満足できる結果を得るには非常に大量の設計作業と膨大な演算量を要求し、必ずしも実用的でない。
【００２７】
本発明は、上記の問題を解決することを目的としており、先ず、同一の学習入力データと夫々異なった教師信号とを用いたニューラルネットワークの学習により、グローバルミニマムに収束させ高い汎化能力を実現すると同時に、それぞれ全く異なった演算処理体系の下に適度にずれた汎化領域を簡単に得る。更に、このような学習済みニューラルネットワークを並列接続し、而もニューラルネットワークの内部パラメータとしての中間層出力信号及び出力層出力信号と、出力信号間の一致／不一致検出状態とを用いた出力状態判定選択処理手段により、それらの出力信号から出来るだけ正答な出力信号を選択送出すると共に、それに対応した少なくとも正答な出力信号に対する正答判定を表わすことができる非常に精度の高い出力状態判定信号を送出させる。
【００２８】
更に、上記のように構成された出力状態判定機能を有する並列ニューラルネットワークシステムを基本とし、出力状態判定機能を有する並列ニューラルネットワークシステムからなる主ネットワークシステムと、入力データを変換し新たな入力データを得る為の簡単な入力変換手段と、それを前段に接続した、同様な構成を持った出力状態判定機能を有する並列ニューラルネットワークシステムとからなる副ネットワークシステムとを入力データに対してを並列接続して、これらの主及び副ネットワークシステムからそれぞれ送出された出力信号と出力状態判定信号とを用いて、最終出力信号を選択送出すると共に、それに対応した最終出力状態判定信号を送出する出力選択処理手段とを設けている。
【００２９】
このような構成により、単なる出力信号間の一致による多数決処理により汎化能力の改善を図るのでなく、高精度な出力状態判定信号も利用した出力信号の出力選択処理をすることにより、より多くの正答な出力信号を選択送出できることから、少ない数のニューラルネットワークを用いて、非常に高い汎化能力と高精度な出力状態判定能力を持った簡単な構成の並列ニューラルネットワーク装置を実現できる。
【００３０】
【課題を解決するための手段】
以下に主な解決手段を示す。
【００３１】
第１の解決手段として、出力状態判定機能を有する第１並列ニューラルネットワークシステム４０から少なくともなる主ネットワークシステム１０と、入力データを変換する入力変換手段１３と、該入力変換手段１３を前段に直列接続した、出力状態判定機能を有する第２並列ニューラルネットワークシステム４１とからなる、一つ以上の副ネットワークシステム１１と、出力選択処理手段１２とを具備し、前記主ネットワークシステム１０と、前記一つ以上の副ネットワークシステム１１とを夫々前記入力データに対して並列接続し、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からそれぞれ送出される前記入力データに対する出力信号と、同じくそれぞれ送出される少なくとも正誤答判定を示すことができる出力状態判定信号とを少なくとも前記出力選択処理手段１２に入力し、該出力選択処理手段１２にて、それぞれの該出力信号と該出力状態判定信号とを少なくとも用いて、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からの何れかの該出力信号を最終出力信号として選択送出すると共に、該最終出力信号の少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する並列ニューラルネットワーク装置を構成する。
【００３２】
第２の解決手段として、入力データを変換する変換則が夫々互いに異なる入力変換手段１３と、該入力変換手段１３を前段に直列接続した、出力状態判定機能を有する第１並列ニューラルネットワークシステム４０とからなる、主ネットワークシステム１０と、該入力データを変換する入力変換手段１３と、該入力変換手段１３を前段に直列接続した、出力状態判定機能を有する第２並列ニューラルネットワークシステム４１とからなる、一つ以上の副ネットワークシステム１１と、出力選択処理手段１２とを具備し、前記主ネットワークシステム１０と、前記一つ以上の副ネットワークシステム１１とを夫々前記入力データに対して並列接続し、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からそれぞれ送出される前記入力データに対する出力信号と、同じくそれぞれ送出される少なくとも正誤答判定を示すことができる出力状態判定信号とを少なくとも前記出力選択処理手段１２に入力し、該出力選択処理手段１２にて、それぞれの該出力信号と該出力状態判定信号とを少なくとも用いて、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からの何れかの該出力信号を最終出力信号として選択送出すると共に、該最終出力信号の少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する並列ニューラルネットワーク装置を構成する。
【００３３】
第３の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データと第１の教師信号とを用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第１ニューラルネットワークシステム３６と、前記学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、１つ以上の第２ニューラルネットワークシステム３７と、前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する該出力状態判定選択処理手段３５とから構成され、前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、前記学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号とを用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とから構成された第３ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、１つ以上の第４ニューラルネットワークシステム３７と、前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する第１の解決手段の並列ニューラルネットワーク装置を構成する。
【００３４】
第４の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第５ニューラルネットワークシステム３７と、前記二つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、前記入力変換手段１３により前記学習入力データから変換された変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第６ニューラルネットワークシステム３７と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する第１の解決手段の並列ニューラルネットワーク装置を構成する。
【００３５】
第５の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第１ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、一つ以上の第２ニューラルネットワークシステム３７と、前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第３ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、一つ以上の第４ニューラルネットワークシステム３７と、前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する第２の解決手段の並列ニューラルネットワーク装置を構成する。
【００３６】
第６の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、２つ以上の第５ニューラルネットワークシステム３７と、前記２つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの該変換多値出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第６ニューラルネットワークシステム３７と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの該変換多値出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する第２の解決手段の並列ニューラルネットワーク装置を構成する。
【００３７】
第７の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データと第１の教師信号とを用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、前記出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第１ニューラルネットワークシステム３６と、前記学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、前記出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、１つ以上の第２ニューラルネットワークシステム３７と、前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第１ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第１ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、前記学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号とを用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とから構成された第３ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、１つ以上の第４ニューラルネットワークシステム３７と、前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第３ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第３ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する第１の解決手段の並列ニューラルネットワーク装置を構成する。
【００３８】
第８の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第５ニューラルネットワークシステム３７と、前記二つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、前記入力変換手段１３により前記学習入力データから変換された変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第６ニューラルネットワークシステム３７と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する第１の解決手段の並列ニューラルネットワーク装置を構成する。
【００３９】
第９の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第１ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を前記出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、一つ以上の第２ニューラルネットワークシステム３７と、前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第１ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第１ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第３ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、一つ以上の第４ニューラルネットワークシステム３７と、前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第３ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第３ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する第２の解決手段の並列ニューラルネットワーク装置を構成する。
【００４０】
第１０の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、２つ以上の第５ニューラルネットワークシステム３７と、前記２つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの該変換出力層出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第６ニューラルネットワークシステム３７と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの該変換出力層出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する第２の解決手段の並列ニューラルネットワーク装置を構成する。
【００４１】
第１１の解決手段として、前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、前記第１ニューラルネットワークシステム３６に対応した第１比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、予め蓄積されている第１学習中間層基準出力信号及び第１中間層出力距離スレショルドとを読み出し、前記第１学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第１中間層出力距離スレショルドと比較した第１中間層出力距離比較結果を少なくとも用いて、前記第１ニューラルネットワークシステム３６からの前記出力信号の第１出力状態推定結果を得、前記一つ以上の第２ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、予め蓄積されている第２学習中間層基準出力信号と第２中間層出力距離スレショルドをそれぞれ読み出し、対応した前記第２学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第２中間層出力距離スレショルドと比較したそれぞれの第２中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第２出力状態推定結果を得、前記第１出力状態推定結果と、全ての前記第２出力状態推定結果と、前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記第１ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの前記出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、前記第３ニューラルネットワークシステム３６に対応した第３比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、予め蓄積されている第３学習中間層基準出力信号及び第３中間層出力距離スレショルドとを読み出し、前記第３学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第３中間層出力距離スレショルドと比較した第３中間層出力距離比較結果を少なくとも用いて、前記第３ニューラルネットワークシステム３６からの前記出力信号の第３出力状態推定結果を得、前記一つ以上の第４ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、予め蓄積されている第４学習中間層基準出力信号と第４中間層出力距離スレショルドをそれぞれ読み出し、対応した前記第４学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第４中間層出力距離スレショルドと比較したそれぞれの第４中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第４ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第４出力状態推定結果を得、前記第３出力状態推定結果と、全ての前記第４出力状態推定結果と、前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記第３ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第４ニュ ーラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出する第３及び第５の何れか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４２】
第１２の解決手段として、前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、前記二つ以上の第５ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、予め蓄積されている第５学習中間層基準出力信号及び第５中間層出力距離スレショルドとをそれぞれ読み出し、対応した前記第５学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、対応した前記第５中間層出力距離スレショルドと比較したそれぞれの第５中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第５出力状態推定結果を得、全ての前記第５出力状態推定結果と、前記二つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、前記二つ以上の第６ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、予め蓄積されている第６学習中間層基準出力信号及び第６中間層出力距離スレショルドとをそれぞれ読み出し、対応した前記第６学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、対応した前記第６中間層出力距離スレショルドと比較したそれぞれの第６中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第６出力状態推定結果を得、全ての前記第６出力状態推定結果と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から選択送出すると共に、前記出力状態判定信号を送出する第４及び第６の何れか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４３】
第１３の解決手段として、前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、前記第１ニューラルネットワークシステム３６に対応した第１比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、予め蓄積されている第１学習中間層基準出力信号及び第１中間層出力距離スレショルドとを読み出し、前記第１学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第１中間層出力距離スレショルドと比較した第１中間層出力距離比較結果を少なくとも用いて、前記第１ニューラルネットワークシステム３６からの前記出力信号の第１出力状態推定結果を得、前記一つ以上の第２ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、予め蓄積されている第２学習中間層基準出力信号と第２中間層出力距離スレショルドをそれぞれ読み出し、対応した前記第２学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第２中間層出力距離スレショルドと比較したそれぞれの第２中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第２出力状態推定結果を得、前記第１出力状態推定結果と、全ての前記第２出力状態推定結果と、前記第１ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記第１ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、前記第３ニューラルネットワークシステム３６に対応した第３比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、予め蓄積されている第３学習中間層基準出力信号及び第３中間層出力距離スレショルドとを読み出し、前記第３学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第３中間層出力距離スレショルドと比較した第３中間層出力距離比較結果を少なくとも用いて、前記第３ニューラルネットワークシステム３６からの前記出力信号の第３出力状態推定結果を得、前記一つ以上の第４ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、予め蓄積されている第４学習中間層基準出力信号と第４中間層出力距離スレショルドをそれぞれ読み出し、対応した前記第４学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第４中間層出力距離スレショルドと比較したそれぞれの第４中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第４ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第４出力状態推定結果を得、前記第３出力状態推定結果と、全ての前記第４出力状態推定結果と、前記第３ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記第３ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第４ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出する第７及び第９の何れか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４４】
第１４の解決手段として、前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、前記二つ以上の第５ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、予め蓄積されている第５学習中間層基準出力信号及び第５中間層出力距離スレショルドとをそれぞれ読み出し、対応した前記第５学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、対応した前記第５中間層出力距離スレショルドと比較したそれぞれの第５中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第５出力状態推定結果を得、全ての前記第５出力状態推定結果と、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの該信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、前記二つ以上の第６ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、予め蓄積されている第６学習中間層基準出力信号及び第６中間層出力距離スレショルドとをそれぞれ読み出し、対応した前記第６学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、対応した前記第６中間層出力距離スレショルドと比較したそれぞれの第６中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第６出力状態推定結果を得、全ての前記第６出力状態推定結果と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出する第８及び第１０の解決手段の何れか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４５】
第１５の解決手段として、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１内のそれぞれの並列ニューラルネットワークシステムに於て、中間層出力距離信号をも送出し、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からそれぞれの前記中間層出力距離信号を前記出力選択処理手段１２に入力し、該出力選択処理手段１２にて、それぞれの前記出力信号と、前記出力状態判定信号と、前記中間層出力距離信号と前記出力信号間の一致／不一致状態とを少なくとも用いて、前記主ネットワークシステム１０及び前記副ネットワークシステム１１からの何れかの前記出力信号を最終出力信号として選択送出すると共に、該最終出力信号の少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する第１１から第１４の解決手段のいずれか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４６】
第１６の解決手段として、前記出力選択処理手段１２にて、それぞれの前記出力信号と前記出力状態判定信号と前記出力信号間の一致／不一致状態とを少なくとも用いて、前記最終出力信号の少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する第１から第１６の解決手段のいずれか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４７】
本発明では、同一の入力データとそれぞれ異なった教師信号を用いた学習によりグローバルミニマムに収束させた学習済みニューラルネットワークをそれぞれ並列接続し、お互いに適度にずれた汎化領域を利用した出力信号の一致／不一致検出と、入力データに対する学習済みニューラルネットワークの内部パラメータを用いた出力信号の出力状態推定とから、出力信号に対する精度の高い正答／誤答判定などの出力状態判定をすると共に、出来るだけ正答な出力信号を選択送出させ汎化能力を改善した、出力状態判定機能を有する並列ニューラルネットワークシステムを基本構成としている。更に、この出力状態判定機能を有する並列ニューラルネットワークシステムを使用した主ネットワークシステムと、入力データの入力変換手段とその入力変換手段を介して得られた異なる変換学習入力データに対して学習した出力状態判定機能を有する並列ニューラルネットワークシステムとからなる副ネットワークシステムとを入力データに対して並列接続して、それらからの出力信号と出力状態判定信号とを入力とする出力選択処理手段とにより最終出力信号としての選択送出とそれに対応した最終出力状態判定信号とを送出する本発明の並列ニューラルネットワーク装置を構成している。
【００４８】
このような構成の下に、前記出力状態判定機能を有する並列ニューラルネットワークシステムに於て、汎化能力を高め、而も高い精度の少なくとも正答判定を表わす出力状態判定信号と出来るだけ正答な出力信号とを選択送出させる。このような並列ニューラルネットワークシステムを用いた主及び副ネットワークシステムから送出されるそれぞれの出力信号の一致／不一致検出状態と出力状態判定信号とを用い、これらの出力信号から最終出力信号として選択送出すると共に、それに対応した少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する。
【００４９】
並列接続された主及び副ネットワークシステムの入力データに対して正答な出力信号を送出する入力データ領域、即ち汎化領域をお互いに大幅にずらして、それぞれの出力信号間の一致／不一致検出状態と、出力状態判定信号間での少なくとも正答判定の有無に基づいて、最終出力信号としての選択送出とそれに対応した最終出力状態判定信号の送出することから、より一段と改善された非常に高い汎化能力が得られ、より多くの正答な最終出力信号を送出することが出来、而も非常に高い精度の安定した最終出力状態判定信号を送出することができる。
【００５０】
即ち、本発明では、並列ニューラルネットワーク内の各ニューラルネットワークの正答な出力信号を送出する入力データ領域、即ち汎化領域の適度なずれによる、並列ニューラルネットワークシステムの高精度の出力状態判定信号の取得と若干の汎化能力改善とを実現し、更にこのような並列ニューラルネットワークシステムを用いた主及び副ネットワークシステムの汎化領域を互いに大幅に大きくずらし、前記の高い精度の出力状態判定信号と出力信号の一致／不一致検出状態とを利用して大幅に汎化能力を改善することが出来る。
【００５１】
而も、従来技術のような学習の際の結合重み係数初期設定の試行錯誤やニューラルネットワークによる入力変換手段に関する試行錯誤も不要で、迅速な設計ができ、また、精度の高い出力状態判定信号を利用することから少ないニューラルネットワーク数で汎化能力の大幅な改善が出来る。従って、演算量を大幅に削減した簡単な構成の非常に高い汎化能力を持った並列ニューラルネットワーク装置が実現出来る。
【００５２】
【発明の実施の形態】
以下に本発明に於ける第１、第２及び第３の実施形態の並列ニューラルネットワーク装置を例にあげ、その構成及びその動作について、詳細に説明する。ここでは、簡単の為に２値教師信号を用いた場合を例にあげ説明する。但し、本発明は、教師信号として、２値教師信号に限るものではなく、多値或いは連続値であってもよい。
【００５３】
（第１の実施形態）
本発明の第１の実施形態としての並列ニューラルネットワーク装置の基本構成を図１に示す。
【００５４】
出力状態判定機能を有する第１並列ニューラルネットワークシステム４０からなる主ネットワークシステム１０と、入力データに対する入力変換器としての入力データのエレメントの位置を入れ換え送出する入力エレメント位置変換器１３が前段に直列接続された、出力状態判定機能を有する第２並列ニューラルネットワークシステム４１からなる副ネットワークシステム１１と、出力選択処理器１２とを具備している。
【００５５】
前記副ネットワークシステム１１と前記主ネットワークシステム１０とは、端子５からの前記入力データに対して並列接続されており、而も２値出力信号とそれに対応した出力状態判定信号をそれぞれ送出し、前記出力選択処理器１２に入力する。また、前記並列ニューラルネットワークシステム４０及び並列ニューラルネットワークシステム４１は、共に同一構造を持っているとする。
【００５６】
前記出力選択処理器１２は、前記主及び副ネットワークシステム１０及び１１からのそれぞれの前記２値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致検出状態と前記出力状態判定信号とから、最終出力信号として、前記２値出力信号の何れかを選択送出する。更に、それに対応した最終出力状態判定信号を併せて送出する。尚、ここでは、出力状態判定信号として、正答判定信号と誤答判定信号とからなる正誤答判定信号の例を示している。図１は、出力状態判定信号として、正誤答判定信号の場合の第１の実施形態の図である。
【００５７】
ここで、出力状態判定機能を持った学習済み第１及び第２並列ニューラルネットワークシステム４０、４１の基本構成を図６に示す。これについては、特願平１１−２２９１９２に詳細な構成を記述しているが、ここでは、その基本構成に留める。
【００５８】
学習入力データと第１の２値教師信号とを用いて学習した、中間層出力信号と出力層出力信号とをそれぞれ送出する学習済みニューラルネットワーク３０と、前記第１の２値教師信号からコード変換して得られた変換２値教師信号と前記学習入力データとを用いて学習した、中間層出力信号と出力層出力信号とをそれぞれ送出する学習済みニューラルネットワーク３２とを入力に対して並列接続し、更に、前記学習済みニューラルネットワーク３０、３２からの前記出力層出力信号を２値化して２値出力信号を送出する２値化スレショルド回路３１、３３と、前記変換２値教師信号を前記第１の２値教師信号のコードに逆変換する変換則を有し、前記２値化スレショルド回路３３からの２値出力信号を出力変換して新たな変換２値出力信号を送出する出力変換器３４と、出力状態判定選択処理器３５とから構成される。
【００５９】
ここでは、前記出力変換器３４からの変換２値出力信号は、前記２値化スレショルド回路３１の２値出力信号と同様に、第１の２値教師信号で表わされることとなる。
【００６０】
前記出力状態判定選択処理器３５には、前記学習済みニューラルネットワーク３０、３２からのそれぞれの前記中間層出力信号と前記出力層出力信号と、前記２値化スレショルド回路３１、３３からの前記２値出力信号と出力変換器３４からの変換２値出力信号とが入力される。前記２値化スレショルド回路３１、３２からの前記２値出力信号をそれぞれ比較条件パラメータ読み出し情報として用いて、予め記憶されている比較条件パラメータとしての中間層出力距離スレショルドと学習中間層基準出力信号とテスト内正答出力余裕領域とをそれぞれ読み出し、前記中間層出力信号と前記学習中間層基準出力信号とを基に、前記出力状態判定選択処理器３５内の距離計算手段によりこれらの信号間の中間層出力距離をそれぞれ求め、更に前記中間層出力距離スレショルドと比較し、中間層出力距離比較結果をそれぞれ得る。
【００６１】
また、出力層出力信号から求めた出力層ユニット毎の正答出力余裕、即ち、出力層ユニット毎の出力信号エレメントが正しいと仮定した場合の２値化スレショルドとの差の絶対値をそれぞれ正答出力余裕とし、読み出された前記テスト内正答出力余裕領域と出力層ユニット毎に比較し、テスト領域比較結果を得る。ここで、予め記憶されている前記中間層出力距離スレショルド、前記学習中間層基準出力信号及び前記テスト内正答出力余裕領域については、詳細を後述する。
【００６２】
この中間層出力距離比較結果とテスト領域比較結果と、前記出力変換器３４及び２値化スレショルド回路３３からの前記変換２値出力信号と前記２値出力信号と間の一致／不一致検出処理手段を介して得た一致／不一致検出状態とを用いて、前記２値出力信号及び前記変換２値出力信号のそれぞれの出力状態推定を行なう。即ち、２値出力信号が正答状態か或いは誤答状態かの推定をそれぞれ行う。その後、それぞれの出力状態推定結果と前記の一致／不一致検出状態とを用いて出力状態判定を行ない、該出力変換器３４及び２値化スレショルド回路３１からの前記変換２値出力信号及び２値出力信号の何れかを選択送出し、それに対応した出力状態判定信号とを送出する。
【００６３】
例えば、いずれも正答推定ならば、特定の側のニューラルネットワーク、ここでは第１ニューラルネットワークシステム３６からの２値出力信号を、また、いずれか一方が正答推定ならば、正答推定となっている側のニューラルネットワークシステムからの２値出力信号或いは変換２値出力信号を選択送出し、更に出力状態判定信号として正答判定信号を送出する。或いは、何れも誤答推定ならば、特定の側、第１ニューラルネットワークシステム３６からの２値出力信号を選択送出し、出力状態判定信号として、誤答判定信号を送出する。
【００６４】
前記学習済みニューラルネットワーク３０は、前記学習入力データと前記第１の２値教師信号とを、また、前記学習済みニューラルネットワーク３２は、前記学習入力データと前記変換２値教師信号とをそれぞれ用いて学習させており、２値化スレショルド回路３１及び３３からの２値出力信号がそれぞれの前記２値教師信号と比較して全て正答となるまで収束させている。更に、学習が終了した時点で、前記出力状態判定選択処理器３５に於て、前記学習入力データに対する分類カテゴリを示す２値教師信号（正答な２値出力信号）毎に前記学習入力データに対応した中間層出力信号を、前記学習中間層基準出力信号として、対応した２値出力信号を用いてそれぞれ格納しておく。尚、前記学習中間層基準出力信号は、複数個でも良いし、何れか１つを選択し、その学習入力データをコアー学習入力データとし、対応した２値出力信号を用いて比較条件パラメータとして格納してもよい。この格納及び読み出しの際に、比較条件パラメータ書き込み／読み出し情報として、該２値出力信号を用いる。
【００６５】
更に、前記学習済みニューラルネットワーク３０及び３２のテスト時に、正答な２値出力信号を送出する全てのテスト入力データに対応した出力層出力信号に対して、それぞれの２値教師信号と２値化スレショルドとを用いて、前記テスト入力データに対する分類カテゴリを示す２値教師信号（正答な２値出力信号）に対応させて、出力層ユニット毎の出力層出力信号エレメントの２値化スレショルドとの差の絶対値の最大及び最小値をそれぞれ最大出力余裕及び最小出力余裕として求める。これらの余裕の範囲を出力層ユニット毎の前記テスト内正答出力余裕領域として、対応した２値出力信号を比較条件パラメータ書き込み／読み出し情報として用いて、出力状態判定選択処理器３５にそれぞれ格納しておく。
【００６６】
また、同一の分類カテゴリを示す正答な２値出力信号を送出するテスト入力データに関して、その中間層出力信号を２値化した中間層２値出力信号を求め、同じ正答な２値出力信号に対応した前記学習中間層基準出力信号の２値化されたものとの間のハミング距離を距離計算手段により求め、その距離の分布から少なくとも平均値及び偏差値とを用いて前記中間層出力距離スレショルドを定める。更に、前記の対応した正答な２値出力信号を比較条件パラメータ書き込み／読み出し情報として用いて、出力状態判定選択処理器３５に前記中間層出力距離スレショルドをそれぞれ格納しておく。ここで、格納されている前記学習中間層基準出力信号とそれに対応した前記中間層出力距離スレショルドとが、同一の正答な２値出力信号に対して複数個読み出される場合には、中間層２値出力信号とのハミング距離が最も小さい学習中間層基準出力信号を選択し、対応した中間層出力距離スレショルドとを用いて処理すればよい。後述の中間層出力距離を得る場合も同様な処理をすればよい。
【００６７】
前記学習済みニューラルネットワーク３０及び３２の実行処理の場合には、出力状態判定選択処理器３５では、２値化スレショルド回路３１、３３から得られた、入力データに対する２値出力信号を比較条件パラメータ読み出し情報として、予め格納されている対応した前記学習中間層基準出力信号と前記中間層出力距離スレショルドと前記テスト内正答出力余裕領域とをぞれぞれ読み出し、学習済みニューラルネットワーク３０、３２からの入力データに対応した中間層出力信号を２値化した中間層２値出力信号と前記読み出された学習中間層基準出力信号の２値化したものとのハミング距離計算を距離計算手段に於て行なう。これを中間層出力距離とし、前記読み出された中間層出力距離スレショルドと大小比較する。その中間層出力距離比較結果を２値出力信号の出力状態推定に用いる。
【００６８】
同時に、学習済みニューラルネットワーク３０、３２からの出力層出力信号に対して、その２値出力信号が正答であると見做して、出力層ユニット毎の正答出力余裕を求め、前記読み出された出力層ユニット毎のテスト内正答出力余裕領域内に夫々全て含まれれば、テスト領域内とし、一つの出力層ユニットに関しても含まれなければテスト領域外とする。
【００６９】
このテスト領域比較結果と、前記中間層出力距離比較結果と、前記２値化スレショルド回路３１と前記出力変換器３４とからの２値出力信号及び変換２値出力信号間の一致／不一致とを合わせて、前記２値出力信号及び変換２値出力信号のそれぞれの出力状態推定をする。
【００７０】
例えば、前記２値化スレショルド回路３１からの２値出力信号と前記出力変換器３４からの変換２値出力信号とが一致した場合、テスト領域比較結果としてテスト領域外で、中間層出力距離比較結果として、中間層出力距離が中間層出力距離スレショルド以上ならば、誤答推定、その他の場合は正答推定とする。また、不一致の場合には、中間層出力距離が中間層出力距離スレショルド以上ならば、誤答推定とし、その他の場合は正答推定とする。尚、ここでは、中間層出力距離スレショルドとして、一種類用意したが、複数個用意してもよい。例えば、一致／不一致状態、或いはテスト領域内及び外状態で、それぞれ異なる中間層出力距離スレショルドを用いてもよい。
【００７１】
このような正誤答推定の後、前記２値化スレショルド回路３１と前記出力変換器３４とからの２値出力信号及び変換２値出力信号のいずれかが少なくとも正答推定ならば、正答判定とし、正答推定に対応したいずれかの２値出力信号を選択送出する。尚、両方とも正答推定ならば、特定の側の２値出力信号を選択する。また、いずれとも誤答推定ならば、誤答判定とし、誤答推定に対応した特定の２値出力信号を選択送出する。このように、選択された２値出力信号を出力信号として送出し、それに対応した正答判定信号或いは誤答判定信号からなる正誤答判定信号を出力状態判定信号として出力状態判定選択処理器３５から送出する。ここで、これらの２値出力信号間の一致／不一致検出状態も用いて、選択送出方法を構成してもよい。
【００７２】
ここで、学習済みニューラルネットワーク３２では、比較条件パラメータ書き込み／読み出し情報として、２値化スレショルド回路３３からの２値出力信号を用いているが、出力変換器３４からの変換２値出力信号を用いてもよい。また、出力状態判定選択処理器３５に於て、前記２値化スレショルド回路３１と前記出力変換器３４からの２値出力信号及び変換２値出力信号を並列ニューラルネットワークの出力信号として選択送出したが、出力信号として、学習済みニューラルネットワーク３０、３２からの出力層出力信号を選択送出してもよい。但し、この場合には、前記の主及び副ネットワークシステム１０、１１の出力信号も出力層出力信号となる。
【００７３】
先ず、図６におけるこれらの一連の動作について詳細に説明する。学習済みニューラルネットワーク３０では、学習入力データと第１の教師信号とを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）などにより学習させる。特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、而も全て正答の２値出力信号を得ることが出来る。
【００７４】
次に、第１の教師信号から変換２値教師信号への変換則としては、例えば、第１の２値教師信号の２値コード補数変換則や、学習入力データへの分類カテゴリ割当ての際に、第１の２値教師信号をシフト割当配置して得られた新たな２値教師信号を変換２値教師信号とするシフト変換則や、分類カテゴリへの第１の教師信号の割当てを新たにランダムに再配置し、それを変換２値教師信号とするランダム変換則などがある。これらの変換方法によって得られた異なる新たな変換２値教師信号を用いてグローバルミニマムの状態にニューラルネットワーク３２を収束させる。これらの学習済みニューラルネットワーク３０、３２は、それぞれ異なったグローバルミニマム状態に収束していることから、学習入力データに対しては、学習済みニューラルネットワーク３０の２値化スレショルド回路３１からの２値出力信号と、学習済みニューラルネットワーク３２から２値化スレショルド回路３３と出力変換器３３とを介して得られた変換２値出力信号とは、演算環境は全く独立であるが、正答で且つ全て一致する。当然、全て正答推定及び正答判定となる。
【００７５】
また、入力データに対する汎化能力も殆ど同じであるが、学習の際の２値教師信号がそれぞれ異なることから、正答な２値出力信号を送出する入力データの領域、即ち汎化領域が適度にずれる。学習済みニューラルネットワーク３０及び３２とも、入力データが同一であることから大幅なずれとはならない。このような構成により、安定したほぼ同一の高い汎化能力と適度にずれた汎化領域を簡単に得ることが出来る。また、ニューラルネットワーク３２の学習時に、ニューラルネットワーク３０の結合重み係数初期値とは異なった初期値設定も更に行うことにより、汎化能力には殆ど影響無く、汎化領域をより異なった領域に簡単にずらすこともできる。
【００７６】
従って、出力状態判定選択処理器３５では、２値化スレショルド回路３１と出力変換器３４とからの２値出力信号及び変換２値出力信号とが一致状態であれば、両方とも正答であるか或いは両方とも誤答である。多くの場合は正答である。ここで、それぞれの２値出力信号に対する正誤答推定結果を考慮して、最終的な出力状態判定を行なう。即ち、少なくとも何れかが正答推定の場合には正答判定とし、正答推定の２値出力信号のいずれかを選択送出し、併せて正答判定信号を送出する。両方とも正答推定の場合には、特定のニューラルネットワークシステム側の２値出力信号を選択すればよい。また、何れも誤答推定の場合には、誤答判定とし、特定のニューラルネットワークシステム側の２値出力信号を選択送出する。また、正答推定及び誤答推定となっている場合には、正答推定側の２値出力信号を選択送出すればよい。或いは、この場合の判定の精度を上げる為に、誤答推定を持つ２値出力信号に対する中間層出力距離が中間層出力距離スレショルドから一定以上大きく離れておれば、正答判定とするのではなく、誤答判定として、その２値出力信号を選択送出してもよい。
【００７７】
一方、不一致状態が検出されると、両２値出力信号が同時には正答ではないことを意味し、少なくとも何れかが誤答である。従って、正誤答推定結果では、間違って両２値出力信号を正答推定とする場合もある。この場合には、特定のニューラルネットワークシステム側の２値出力信号を選択してもよいし、判定精度を上げる為に、より正答らしい２値出力信号を選択送出してもよい。例えば、中間層出力距離の小さい方や、中間層出力距離スレショルドからより離れた小さい方を選択してもよい。また、正答推定と誤答推定となっている場合には、正答推定側の２値出力信号を選択送出する。或いは、この場合にも判定精度を上げる為に、誤答推定を持つ２値出力信号に対する中間層出力距離が中間層出力距離スレショルドからより大きく離れて大きいならば、正答判定とするのではなく、誤答判定として、その２値出力信号を選択送出してもよい。更に、両方とも誤答推定の場合には、特定のニューラルネットワークシステム側の２値出力信号を選択送出してもよいし、判定精度を上げる為により誤答と考えられる２値出力信号を選択してもよい。例えば、中間層出力距離の大きい方や、中間層出力距離スレショルドからより離れた大きい方を選択してもよい。
【００７８】
以上のように、正答な出力信号を送出する入力データ領域、即ち汎化領域は、同一学習入力データとそれぞれ異なる教師信号とを用いることから簡単に而も適度にずれ、大幅にずれることはない。上記のように並列構成とし、２値出力信号と変換２値出力信号との一致／不一致検出状態と、中間層出力距離と出力層出力信号の正答出力余裕などのニューラルネットワークの内部パラメータを基にした正誤答推定結果とから最終的な正誤答判定を行ない、２値出力信号と変換２値出力信号とが一致しない場合でも、正答な出力信号を選択できることから、第１及び第２並列ニューラルネットワークシステム４０、４１に於て、汎化能力が改善され、また、より精度の高い出力状態判定信号が得られる。
【００７９】
このような出力信号と出力状態判定信号とを送出する出力状態判定機能を有する並列ニューラルネットワークシステム４０、４１を持つ主及び副ネットワークシステム１０、１１に於て、副ネットワークシステム１１に用いられる出力状態判定機能を有する学習済み並列ニューラルネットワークシステム４１に関しては、前記入力エレメント位置変換器１３によって前記学習入力データのエレメントの位置を入れ換えた新たな変換学習入力データを用いて図６のニューラルネットワーク３０、３２からなる第２ニューラルネットワークシステムを学習させ、一方、主ネットワークシステム１０を構成する出力状態判定機能を有する学習済み並列ニューラルネットワークシステム４０に関しては、前記学習入力データを直接用いて図６のニューラルネットワーク３０、３２からなる第１ニューラルネットワークシステムを学習させる。従って、主及び副ネットワークシステム１０、１１の正答な出力信号を送出する入力データ領域、即ち汎化領域は、お互いに非常に大きくずれ、僅かしか重ならない。或いは、全く重ならない場合もある。
【００８０】
ここで、出力選択処理器１２では、主及び副ネットワークシステム１０、１１からそれぞれ送出された第１の２値教師信号に対応した２値出力信号を比較して、一致した場合、その出力状態判定信号の少なくとも何れかが正答判定ならば、その２値出力信号を最終出力信号として選択送出すると共に、正答判定信号を最終出力状態判定信号として送出する。また、それらの出力状態判定信号が全て誤答判定の場合には、そのまま誤答判定信号を最終出力状態判定信号として送出する。
【００８１】
また、全て一致しない場合、それらの出力状態判定信号の内、正答判定信号があれば、それに対応した２値出力信号を選択送出すると共に、最終出力状態判定信号として正答判定信号を送出する。ここで、全て正答判定信号があれば、特定の側の２値出力信号を選択送出する。同様に全て誤答判定信号となっていると、特定の側の２値出力信号を選択して誤答判定信号と共に送出する。
【００８２】
尚、一致しない場合に、出力信号の選択は同様であるが、最終出力状態判定信号として、不明判定信号を送出することもある。
【００８３】
これらの結果、従来技術の如く、２値出力信号の一致状態を単に検出して、多数決処理によりそれを選択送出するだけではなく、汎化領域がお互いに大きくずれたことに起因している２値出力信号の不一致状態に於ても、高い精度で正答判定されている２値出力信号を最終出力信号として選択送出することができることから、主及び副ネットワークシステム１０、１１の単体の汎化能力よりも大幅に高い汎化能力を持ち、而も非常に高精度の最終出力状態判定信号を送出する並列ニューラルネットワーク装置が実現できる。
【００８４】
尚、第１の実施形態では、並列ニューラルネットワークシステム４０、４１内で、図６の如く、２つの学習済みニューラルネットワークを入力に対して並列接続した場合の例を示したが、更に異なった変換２値教師信号に対して学習させた学習済みニューラルネットワークを更に並列接続し、２値化スレショルド回路及び出力変換器を同様に付加して、動作をさせても良い。これにより、より多くの出力状態推定結果と、それらの出力信号の一致／不一致検出状態とから出力状態判定を行なうことによって、更に精度の高い出力状態判定信号の送出とより正答な２値出力信号を選択送出することが出来、第１及び第２並列ニューラルネットワークシステム４０、４１としてのそれぞれの汎化能力の改善も同時に図れる。従って、このような出力状態判定機能を有する並列ニューラルネットワークシステムを用いた主及び副ネットワークシステム１０、１１の汎化能力も当然のことではあるが、更に改善されることとなる。
【００８５】
また、図６に於て、ニューラルネットワーク３０を第１の教師信号で学習させたが、第１の教師信号から変換された新たな異なる変換教師信号を準備し、この変換教師信号を用いて学習させ、２値化スレショルド回路３１を介して、該変換教師信号から第１の教師信号へ逆変換する出力変換器を新たに接続し、その出力を出力状態判定選択処理器３５に入力してもよい。即ち、ニューラルネットワーク３２に関連した同様な構成にし、出力変換器３４を全てのニューラルネットワークシステム内に用いてもよい。ここで、重要なことは出力状態判定選択処理器３５に於て、選択送出される為に入力される出力信号は、どちらも第１の教師信号に相当する出力信号であることである。
【００８６】
尚、ここでは、最終出力信号として、２値出力信号或いは変換２値出力信号を選択送出したが、並列ニューラルネットワークシステム内のニューラルネットワーク３０、３２からの出力層出力信号でもよい。この場合には、出力状態判定選択処理器３５に於て、２値出力信号の代わりに対応した出力層出力信号を選択し、出力信号として送出すればよい。また、２値或いは多値化スレショルド回路を用いず、直接出力層出力信号だけを用いて出力選択する場合には、出力層出力信号を変換して第１の教師信号に相当する出力層出力信号になるような出力変換器を構成する必要がある。例えば、第１の教師信号の値を０及び１とすると、出力変換が必要な出力層ユニットでの出力層出力信号に於て、０、１の反転の如く、０.９は０.１に、０.１は０.９に変換すればよい。即ち、出力変換器として、正の整数からなる多値教師信号の場合には、変換先教師信号が最大及び最小の多値教師信号以外の時は、変換先教師信号の各エレメントに出力層出力信号エレメントの誤差を加算した値を変換出力層出力信号エレメントとし、最大の変換先教師信号では、変換先教師信号各エレメントから出力層出力信号エレメントの誤差を減算した値を、最小の変換先教師信号では、変換先教師信号各エレメントに出力層出力信号エレメントの誤差を加算した値をそれぞれ変換出力層出力信号エレメントとして求める。更に、出力状態判定選択処理器３５及び出力選択処理器１２では、これらの出力信号に対して、一致／不一致検出処理手段による一致／不一致検出をする場合に、上記の説明の如く２値出力信号と変換２値信号とを用いてもよいが、全ての出力層ユニットで、その振幅差がある範囲内にあれば、一致したとして処理すれば、２値出力信号の場合と同様に処理することも出来る。
【００８７】
（第２の実施形態）
本発明の第２の実施形態としての並列ニューラルネットワーク装置の基本構成を図４に示す。
【００８８】
主ネットワークシステム１０と、二つの副ネットワークシステム１１、１５と、入力変換器１７、１８と、出力選択処理器１６とから構成される。
【００８９】
主ネットワークシステム１０は、出力状態判定機能を有する並列ニューラルネットワークシステム４０から構成され、副ネットワークシステム１１及び１５は、それぞれ入力変換器１７、１８を前段に直列接続した出力状態判定機能を有する並列ニューラルネットワークシステム４２及び４３からそれぞれ構成され、主ネットワークシステム１０にそれぞれ並列接続する。ここで、主ネットワークシステム１０と副ネットワークシステム１１及び１５内の並列ニューラルネットワークシステムは、第１の実施形態の図１に示す並列ニューラルネットワークシステムと同じ構成であり、２値出力信号とそれに対応した出力状態判定信号とを送出する。従って、これらの構成と動作についての詳細な説明は省略する。
【００９０】
入力変換器１７、１８はぞれぞれ互いに異なった変換則を有しており、第１の実施形態における入力エレメント位置変換器１３と同じような変換則を用いても良い。また、入力データが２値や多値の場合には、少なくとも一部のエレメントを反転（コンプリメント）する変換則を用いても良い。更に、連続値の場合には、少なくとも一部のエレメントに対して、入出力が一対一の関係を持つ特定の関数を変換則として用いて、その出力を利用してもよい。例えば、関数として、回転など座標変換を行う関数を用いてもよい。
【００９１】
出力選択処理器１６は、主ネットワークシステム１０と副ネットワークシステム１１、１５とから、それぞれの出力状態判定信号と２値出力信号とを入力し、最終出力信号の選択送出とそれに対応した最終出力状態判定信号とを送出する。ここで、出力信号としての２値出力信号の一致状態が検出された場合、それらの出力状態判定信号の内、正答判定信号があれば、最終出力信号として、その一致した２値出力信号を送出すると共に、最終出力状態判定信号として、正答判定信号を送出する。また、一致した２値出力信号の出力状態判定信号が全て誤答判定信号の場合に、その他の出力状態判定信号も正答判定信号でなければ、最終出力状態判定信号として、誤答判定信号を送出する。正答判定信号があれば、その２値出力信号を選択送出し、正答判定信号を送出する。このような出力選択と出力状態判定の一例を表２にまとめて示す。表２では、二つの２値出力信号が一致し、それらの出力状態判定信号が正答判定と誤答判定とに別れた場合、一致したことを重視し、而も片方が正答判定信号であることから、一致した２値出力信号を選択送出し、正答判定信号を送出しているが、ここで、その他の２値出力信号の出力状態判定信号が正答判定信号であれば、最終出力信号として、これを選択送出し、最終出力状態判定信号を正答判定信号としてもよい。
【００９２】
【表２】
【００９３】
一般に、主ネットワークシステムと２つ以上の副ネットワークシステムを用いた場合には、２値出力信号の何れかが一致すると、最も数多く一致した２値出力信号に於て、それらの出力状態判定信号の少なくとも何れかが正答判定ならば、一致した２値出力信号を最終出力信号として選択送出し、正答判定信号を最終出力状態判定信号として送出する。しかしながら、これらが全て誤答判定の場合には、次に多く一致した２値出力信号に対して、正答判定信号があれば、その２値出力信号を選択送出し、正答判定信号を最終出力状態判定信号とする。順次、一致数の少ない２値出力信号に対して以上の選択処理を行う。ここで、一致数が同一で異なる２値出力信号が存在する場合には、正答判定信号の多い方の２値出力信号を選択送出すればよい。また、それらが同一個数ならば、それらの中の特定のネットワークシステムの２値出力信号を選択送出すればよい。全ての２値出力信号が異なり、一致しない場合には、その中で正答判定信号を持つ２値信号があれば、それを選択出力し、最終出力状態信号として正答判定信号を送出する。この時、正答判定信号が複数個ある場合には、それらの中の何れか、或いは特定のネットワークシステムの２値出力信号を最終出力信号として選択送出し、正答判定信号を送出する。全て誤答判定信号であれば、同然のことではあるが、それらの中の何れか、或いは特定のネットワークシステムの２値出力信号を選択出力し、誤答判定信号を送出する。
【００９４】
適用分野によっては、全て一致しない場合、或いは全て誤答判定信号を持つ２値出力信号しかない場合には、最終出力状態信号として不明判定信号を送出する場合もある。また、特定のネットワークシステムの２値出力信号を選択送出する場合に、その出力状態判定信号を不明判定信号とする場合もある。
【００９５】
尚、当然のことではあるが、複数個の正誤答判定信号と複数個の２値出力信号の一致／不一致検出状態とを基にした、最終出力信号及び最終出力状態判定信号の選択処理は、上記に記載の論理に限る必要はなく、それぞれ具体的なアプリケーションに応じて決定されるものである。
【００９６】
上記のような２個以上の複数個の副ネットワークシステムを用いた最終出力信号及び最終出力状態判定信号の選択により、汎化能力を大きく改善できると共に、精度の非常に高い最終出力状態判定信号を得ることが出来る。
【００９７】
（第３の実施形態）
第３の実施形態を図５に示す。第２の実施形態では、主及び副ネットワークシステム１０、１１、１５からの出力選択処理器２３への出力として、２値出力信号と出力状態判定信号とを送出させているが、本実施形態では、図５のように、主及び副ネットワークシステム２０、２１、２２内に用いている並列ニューラルネットワークシステム４３、４４、４５からの夫々の出力として、２値出力信号と出力状態判定信号と、これらの他にその２値出力信号に対応した中間層出力距離、或いは更にその中間層出力距離スレショルドをも併せて送出させる。
【００９８】
これにより、主及び副ネットワークシステム２０、２１、２２からも、それぞれ２値出力信号とそれに対応した中間層出力距離、或いは更にその中間層距離スレショルドとをそれぞれ出力させることができ、出力状態判定信号と合わせて出力させ、出力選択処理器２３に入力する。
【００９９】
出力選択処理器２３に於て、最も数多く一致した２値出力信号に関して、それらの出力状態判定信号の少なくとも何れかが正答判定ならば、正答判定信号を最終出力状態判定信号として送出し、その２値出力信号を最終出力信号として選択送出する。この時、これらのいずれかの中間層出力距離がある一定以上大きいか、或いは中間層出力距離スレショルドよりある一定以上大きい、誤答判定信号を持つ２値出力信号があれば、誤答の２値出力信号であると判断し、正答判定信号があっても選択送出しない。全て誤答判定信号である場合も併せて、次に数多く一致した２値出力信号に対する出力選択処理に移る。ここで、正答判定信号があれば、その２値出力信号を選択送出し、正答判定信号を最終出力状態判定信号とする。この時も同様に、これらの何れかの中間層出力距離がある一定以上大きい場合、或いは中間層出力距離スレショルドよりある一定以上大きい、誤答判定信号を持つ２値出力信号があれば、誤答の２値出力信号であると判断し、正答判定信号があっても選択送出しない。このような出力選択処理を順次繰り返す。
【０１００】
一致した２値出力信号のブループが結果的に全て誤答の２値出力信号である場合には、一致していない２値出力信号の中で、正答判定信号を持つ２値出力信号があればそれを選択送出し、最終出力状態信号として正答判定信号を送出する。この時、複数個の正答判定信号がある場合には、最も小さい中間層出力距離を持った２値出力信号を、或いは対応した中間層出力距離スレショルドから最も離れ小さい中間層出力距離を持った２値出力信号を選択送出する。
【０１０１】
また、同一個数の２値出力信号が一致した複数個の組が存在した場合には、正答判定信号の多い方の２値出力信号を選択送出する。その個数が同じ場合には、小さい中間層出力距離を持った２値出力信号が存在する組の方を、或いは対応した中間層出力距離スレショルドから最も離れ小さい中間層出力距離を持った２値出力信号が存在する組の方を、より正答な２値出力信号であると見做して選択送出する。
【０１０２】
更に、全ての２値出力信号が不一致状態の場合には、正答判定信号があれば、それに対応した２値出力信号と正答判定信号とを最終出力信号及び最終出力状態判定信号として送出する。但し、複数個の正答判定信号があれば、最も小さい中間層出力距離を持った２値出力信号を、或いは対応した中間層出力距離スレショルドから最も離れ小さい中間層出力距離を持った２値出力信号を選択送出する。即ち、より正答な２値出力信号を選択する。また、全て誤答判定信号の場合にも、最も小さい中間層出力距離を持った２値出力信号を、或いは対応したテスト中間層出力距離スレショルドに最も近い中間層出力距離を持った２値出力信号を選択送出し、誤答判定信号を送出する。即ち、誤答ではあるが、その中で最も正答に近い２値出力信号を選択する。
【０１０３】
上記の如く、出力状態判定信号と、２値出力信号間の一致／不一致検出状態と、中間層出力距離、或いは更に中間層出力距離スレショルドとを用いて、常に正答に近い２値出力信号を選択して、最終出力信号として選択送出することにより、汎化能力を大幅に改善出来、また非常に精度の高い最終出力状態判定信号を得ることができる。
【０１０４】
尚、当然のことではあるが、出力状態判定信号と２値出力信号の一致／不一致検出状態と中間層出力距離と、或いは更に中間層出力距離スレショルドとを基にした、最終出力信号とそれに対応した最終出力状態判定信号の選択処理は、上記に記載の論理に限る必要はなく、それぞれ具体的なアプリケーションに応じて選択論理及び判定論理が決定されるものである。
【０１０５】
従来技術では、単に２値出力信号間での多数決論理或いは一致論理を満足すれば、これを正答と見做して、最も数多く一致した２値出力信号を最終出力信号として選択送出しているだけである。従って、汎化能力の改善が小さい。このことから数多くのニューラルネットワークを並列接続する必要がある。
【０１０６】
一方、本発明の並列ニューラルネットワーク装置に於ける出力選択処理器１２、１６、２３では、上記の如く、主及び副ネットワークシステム１０、１１、１５、２０、２１、２２からの２値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致検出状態と、それらの出力状態判定信号内の少なくとも正答判定信号の有無、或いは更に中間層出力距離や中間層出力距離スレショルドとを用いて、最終出力信号の選択と、その最終出力状態信号を送出している。これにより、汎化能力の大幅な改善と非常に精度の高い最終出力状態判定信号を得ることが出来る。
【０１０７】
このように、単に２値出力信号の一致度だけでなく、各主及び副ネットワークシステム１０、１１、１５、２０、２１、２２の内部状態から得られた出力状態判定信号や中間層出力距離をも用いて、正答な２値出力信号を選択送出することから、結果的に少ないニューラルネットワークを用いて汎化能力を大幅に改善することが出来る。
【０１０８】
ここで、上記の実施形態に於て、第１の２値教師信号から変換して得られたそれぞれ異なった変換２値教師信号を用いて並列ニューラルネットワークシステム内の全てのニューラルネットワークを学習させてもよい。但し、この場合には、全てのニューラルネットワークには、それぞれの変換２値教師信号を第１の２値教師信号に逆変換する出力変換器を後段に従属接続する必要がある。
【０１０９】
また、第１の教師信号から変換して得られたそれぞれ異なる変換教師信号は、出力変換器３４に於て第１の教師信号に逆変換することができれば如何なる変換則によって得られたものでもよい。
【０１１０】
また、本発明の実施形態では、学習済みニューラルネットワーク３０、３２として２値教師信号を用いて学習させた場合の例について説明したが、３値以上の多値教師信号を用いて学習させたものを用い、２値化スレショルド回路に代わりそれぞれ多値化スレショルド回路を用い、多値教師信号による学習済みニューラルネットワークを用いて学習入力データに対する学習中間層基準出力信号と中間層出力距離スレショルド、更にはテスト内正答出力余裕領域を得、これらを前記出力状態判定選択処理器３５に予め格納してもよい。中間層出力距離の距離計算手段に於ては、ハミング距離計算を例に挙げたが、中間層出力信号と学習中間層基準出力信号とによるユークリッド距離を用いても良い。更に、多値教師信号の場合には、多値出力信号間の距離を測るリー距離計算を用いてもよい。
【０１１１】
並列ニューラルネットワークシステム４０、４１、４２、４３、４４及び４５では、出力信号として、上記のような離散的な出力信号を用いたが、この代わりに出力層出力信号を用いてもよい。この場合には、図６の出力状態判定選択処理器３５において、２値出力信号や多値出力信号の一致／不一致を検出する一致／不一致検出処理手段の代わりに、各出力層ユニットに於て、出力層出力信号エレメント間の差がお互いにある範囲内であれば、一致とみなす一致／不一致検出処理手段を用いて出力状態判定選択処理を行ってもよい。この場合には、当然のことではあるが、出力変換器３４としては、変換教師信号を第１の教師信号に逆変換する変換則を有し、出力層出力信号エレメントの連続値を第１の教師信号のエレメントに対応した連続値に変換すればよい。更に、図１、４及び５の出力選択処理器１２、１６、２３に於ても、２値出力信号や多値出力信号の一致／不一致を検出する一致／不一致検出処理手段の代わりに、各出力層ユニットに於て、出力層出力信号エレメント間の差がお互いにある範囲内であれば、一致とみなす一致／不一致検出処理手段を用いて出力選択処理を行い、最終出力信号として出力層出力信号を送出してもよい。一致と見做された出力層出力信号の内、複数の正答判定信号がある場合には、最も第１の教師信号に近い出力層出力信号を、最終出力信号として選択送出すればよい。
【０１１２】
尚、図６のニューラルネットワーク３０、３２に於て、中間層出力距離比較とテスト内正答出力余裕領域比較とを用いて、入力データに対応した２値出力信号、或いは出力層出力信号の出力状態推定を行ったが、出力状態推定ができれば、これらのパラメータに限るものではない。
【０１１３】
また、これらのニューラルネットワークとして、多層ニューラルネットワークを前提に説明したが、教師信号を用いて学習するニューラルネットワークであればよい。また、学習方法としては、バックプロパゲーション法を例に説明したが、教師信号を用いた学習ならば、いずれの学習アルゴリズムでもよい。
【０１１４】
また、ニューラルネットワークとしてローカルミニマム状態に収束させたものを用いてもよい。しかしながら、その汎化能力はグローバルミニマム状態で収束した場合より劣化することから、出力状態判定に於ける判定精度も若干劣化する。
【０１１５】
以上説明したように、従来技術では、学習の際に種々の異なる結合重み係数の初期値設定を行ない異なったローカルミニマムに収束させて汎化領域をずらす為の試行錯誤や、多数決出力選択の際の２値出力信号の一致状態が出来るだけ多く検出できるよう汎化領域をずらす為の最適な非線形変換の試行錯誤が必要であり、また、数多くのニューラルネットワークを必要とすることから、その作業量並びに演算量が膨大となる。
【０１１６】
一方、本発明の並列ニューラルネットワーク装置では、並列ニューラルネットワークシステムに於て、それぞれ異なる教師信号を用いて学習しており、而もグローバルミニマムに収束していることから、汎化能力も高く安定であり、汎化領域も広く而も簡単且つ適度にずらすことができる。従って、出力信号の一致／不一致検出状態と出力状態推定とを利用した出力状態判定選択処理を行うことにより、精度の高い出力判定信号を送出することが出来る。
【０１１７】
更に、簡単な変換則を持った入力変換器１３、１７、１８を上記の並列ニューラルネットワークシステムの入力段に直列接続した副ネットワークシステム１１、１５、２１、２２を入力データに対して並列接続することによって、それらの汎化領域をお互いに大幅にずらすことが出来、出力選択処理器１２、１６、２３に於て、出力信号の一致／不一致検出状態と精度の高い出力状態判定信号とを用いることにより、特に互いに不一致状態の出力信号の中からも正答な出力信号を最終出力信号として選択送出することができることから、並列ニューラルネットワーク装置の汎化能力は非常に高くなる。また、精度の高い安定した最終出力状態判定信号を送出することもできる。
【０１１８】
このように、ニューラルネットワークの内部状態を利用した出力状態推定機能や出力状態判定機能と出力信号の一致／不一致検出機能とを利用することにより、少ない数のニューラルネットワークの並列接続を用いて汎化能力の改善や、精度の高い出力状態判定ができ、而も、並列ニューラルネットワークシステムや主及び副ネットワークシステムの汎化領域のずれに関する試行錯誤も不要である。
【０１１９】
尚、これまで、出力状態判定信号や最終出力状態判定信号として、正答判定信号或いは誤答判定信号を送出する場合について説明をしたが、正答判定信号以外に、不明判定信号を、或いは誤答判定信号と不明判定信号とを扱ってもよい。例えば、実施形態１及び２における出力状態判定選択処理器３５で、誤答を不明として扱っても良い。適用分野に応じて、少なくとも正答判定を表わすことができる判定論理を設け、出力状態判定信号を準備すればよい。
【０１２０】
また、中間層出力距離に関して、ニューラルネットワークの内部状態の比較条件パラメータとしての中間層出力距離を中心に、正答或いは誤答推定の区分けを行っているが、中間層出力距離スレショルドの近傍領域をファジー論理などにより、曖昧性を考慮した正誤答推定を行っても良いし、不明推定とすることにより、正答判定及び誤答判定の他に不明判定を設け、不明判定信号を送出してもよい。また、正確な正答判定や誤答判定を要求するシステムでは、出力選択処理器１２、１６、２３に於て正答判定信号及び誤答判定信号がそれぞれ一定個数以上入力されない場合、出力選択送出は同様に行うものの、最終出力状態判定信号として不明判定信号を送出するなどしてもよい。
【０１２１】
尚、副ネットワークシステムが１個或いは２個の場合について図を用いて説明したが、当然のことではあるが、これ以上用意してもよい。
【０１２２】
また、本発明の実施形態では、主ネットワークシステム１０、２０内には、入力変換器を用いていないが、これは、主ネットワークシステム１０、２０に入力される入力データを基準入力データとして、直接用いた場合である。副ネットワークシステム１１、２１、２２内の各入力変換器は、この基準入力データからの変換を意味する。従って、入力データとしての基準入力データをそれぞれ異なった変換入力データに変換する入力変換器を主ネットワークシステム内の並列ニューラルネットワークシステムの前段に導入することも当然できる。この場合には、全て副ネットワークシステムを用いることと等価である。
【０１２３】
上記の実施形態では、最終出力信号を選択送出すると共に、最終出力状態判定信号を送出することを前提に説明したが、最終出力信号だけを選択送出してもよい。
【０１２４】
また、並列ニューラルネットワークシステムにおいて、誤答と判定された未知入力データに対しては、正しい教師信号の対応づけを行ない、学習入力データに追加して、並列接続されているそれぞれの学習済みニューラルネットワークの結合重み係数を追加学習させた新たな結合重み係数で置き換え、並列ニューラルネットワークシステムを構成することにより、並列ニューラルネットワーク装置の汎化能力と最終出力状態判定信号における正答判定能力を一段と向上させることも簡単に出来る。
【０１２５】
【発明の効果】
以上述べたように、従来技術の汎化能力を改善する為の並列ニューラルネットワーク装置では、異なった結合重み係数の初期値を設定し学習させ、ローカルミニマムに収束した複数個の学習済みニューラルネットワークを入力データに対して並列接続し、それらの出力信号の単純な多数決処理による一致出力選択を行うことにより、入力データに対する汎化能力の改善を図っている。即ち、学習済みニューラルネットワークの出力信号間で、少なくともいずれか２つ以上が一致すると、正答な出力信号とみなして選択し送出するよう構成している。
【０１２６】
しかしながら、この方法による汎化領域のずれは、結合重み係数の初期値は無論のこと、学習入力データ、教師信号やニューラルネットワークの構成によって異なり、汎化能力改善の為には多くの試行錯誤が必要となる。また、改善が得られる為には、これらのニューラルネットワーク単体での汎化能力がもともと高いことが前提条件として必要であると共に、改善の為には少なくとも数１０個の数多くのニューラルネットワークを必要とする。
【０１２７】
また、汎化領域をずらす他の従来技術の方法として、入力データを異なった新たな変換入力データに変換する入力変換器を前段に接続した学習済みニューラルネットワークを並列接続する方法があるが、同様に従来の様な多数決処理による出力選択を行う為には、汎化領域をある程度一致させる必要があり、必要以上に大幅なずれが発生した場合には、汎化能力の改善が余り出来ない。従って、相互に余り大幅なずれが発生しないよう入力変換則の試行錯誤も必要となる。また、同様にこのような入力変換器を持った学習済みニューラルネットワークの並列接続が数多く必要となる。
【０１２８】
これらの理由から、入力変換器として自由な変換則が実現できるニューラルネットワークを用いているが、入力変換器としてのニューラルネットワークの利用の際には、変換誤りのない所望の変換則の実現や１対１の入力変換則（汎化能力を持たない）を実現させる必要もあり、設計に困難が伴い、而も演算量も膨大となる更なる問題が生じる。
【０１２９】
また、これらのいずれの従来技術でも、出力信号間だけの単に多数決論理を用いて出力信号を選択していることから、汎化能力の改善の為には、原理的に数１０個の数多くの並列ニューラルネットワークシステムを必要とし、それらの演算量は膨大である。
【０１３０】
一方、本発明に於て用いている出力状態判定機能を有した並列ニューラルネットワークシステム内では、それぞれ異なった教師信号を用いて学習を行ないグローバルミニマムに収束させ、汎化領域がお互いに適度にずれた学習済みニューラルネットワークを簡単に得ており、これらを入力データに対して並列に接続し、更にこれらの出力信号間の一致／不一致検出状態と出力状態推定結果とから、出力状態判定を行ない高精度に正答な出力信号を選択送出している。従って、この並列ニューラルネットワークシステムとしては、数少ないニューラルネットワークを用いて、単体の汎化能力より高い汎化能力を持ち、而も安定した高い精度の出力状態判定信号と正答な出力信号とを簡単に選択送出することができる。
【０１３１】
このような並列ニューラルネットワークシステムを基に、主及び副ネットワークシステムを構成し、特に副ネットワークシステムでは、簡単な入力変換器を入力段に従属接続させ、変換された新たな変換学習入力データに対して並列ニューラルネットワークシステムを学習させることにより、その汎化領域を他のものとお互いに大幅にずらしている。このような状況下で、並列接続された主及び副ネットワークシステムからの出力状態判定信号としての正答判定信号の有無と出力信号間の一致／不一致検出状態とを用いて、最終出力信号を選択送出し、それに対応した最終出力状態判定信号を送出することから、非常に高い汎化能力と、高い精度の最終出力状態判定信号を持った並列ニューラルネットワーク装置が簡単に実現できる。
【０１３２】
また、従来技術のように異なる結合重み係数初期値を用いた学習済みニューラルネットワークや非線形入力変換器の汎化能力改善の為の試行錯誤や、汎化能力改善の為の出力信号間の多数決処理に伴う数多くの並列ニューラルネットワークシステムを必要とせず、簡単に設計でき、構成も簡単なことから、それらの演算処理量も非常に少ない。
【０１３３】
従って、本発明の並列ニューラルネットワーク装置をパターン認識等に適用した際、未知入力データに対して多くの正答な出力信号を送出することができる高い汎化能力を与えるだけでなく、その出力信号に対する信頼度の高い出力状態判定信号が得られる。
【０１３４】
これらの結果から、従来技術では実現が困難であった、非常に高い汎化能力が要求される大規模ニューラルネットワーク装置に対しても、本発明の並列ニューラルネットワーク装置を適用することにより、試行錯誤のない簡単な設計と大幅に少ない演算量のもとに実現することが出来る。従って、非常に高性能な正誤答判定能力や非常に高い汎化能力が要求される電力制御に於ける人口知能システムや各種情報検索システム、画像処理システム、更には、ネットワーク障害情報などを処理するインターネットなどに於ける通信処理システムなどへの幅広い応用ができるなど、非常にその効果は大きい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における出力状態判定機能を有した並列ニューラルネットワーク装置の一構成例である。
【図２】従来技術よる第１の並列ニューラルネットワーク装置である。
【図３】従来技術よる第２の並列ニューラルネットワーク装置である。
【図４】本発明の第２の実施形態における並列ニューラルネットワーク装置の一構成例である。
【図５】本発明の第３の実施形態における主及び副ネットワークシステムが中間層出力距離も送出する場合の並列ニューラルネットワーク装置の一構成例である。
【図６】本発明の第１、第２及び第３の実施形態における主及び副ネットワークシステム内で用いられる出力状態判定機能を有する並列ニューラルネットワークの一構成例である。
【符号の説明】
１ ニューラルネットワーク
２ ニューラルネットワーク
３ ニューラルネットワーク
４ 多数決出力選択器
５ 入力端子
６ 出力端子
７ 非線形入力変換器（入力変換ニューラルネットワーク）
８ 非線形入力変換器（入力変換ニューラルネットワーク）
１０ 主ネットワークシステム
１１ 副ネットワークシステム
１２ 出力選択処理器
１３ 入力エレメント位置変換器
１４ 出力状態判定出力端子
１５ 副ネットワークシステム
１６ 出力選択処理器
１７ 入力変換器
１８ 入力変換器
２０ 主ネットワークシステム
２１ 副ネットワークシステム
２２ 副ネットワークシステム
２３ 出力選択処理器
３０ ニューラルネットワーク
３１ ２値化スレショルド回路
３２ ニューラルネットワーク
３３ ２値化スレショルド回路
３４ 出力変換器
３５ 出力状態判定選択処理器
３６ 第１ニューラルネットワークシステム
３７ 第２ニューラルネットワークシステム
４０ 第１並列ニューラルネットワークシステム
４１ 第２並列ニューラルネットワークシステム
４２ 第２並列ニューラルネットワークシステム
４３ 第１並列ニューラルネットワークシステム
４４ 第２並列ニューラルネットワークシステム
４５ 第２並列ニューラルネットワークシステム
【発明の属する技術分野】
本発明は、パターン認識、データマイニング及び画像処理などの分野に適用可能なニューラルネットワークにおいて、入力データに対してより多くの正しい出力を送出する汎化能力の高い並列ニューラルネットワーク装置に関するものである。
【０００２】
【従来の技術】
従来のニューラルネットワークには、文献 麻生英樹著、「ニューラルネットワーク情報処理」、産業図書出版などに示されているように、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが種々幅広く実用されている。ここでは、並列に接続された学習済みニューラルネットワークにより、入力データに対して正しい正答な出力を得る為の従来技術について説明する。また、説明を簡単にする為に、パターン認識などに於て見られる教師付き学習を行う多層ニューラルネットワークを例に挙げ、２値教師信号を用いて学習させ、２値出力信号を送出させることとする。
【０００３】
多層ニューラルネットワークへの入力データは、入力データエレメントを持ったベクトルから構成され、ニューラルネットワークの対応した入力層のそれぞれのユニットに入力された後、更に中間層（隠れ層）の各ユニット（隠れユニット）にそれぞれ重み付けされ出力される。中間層では、入力層の各ユニットからの重み付けされた出力信号の総和を入力とし、スレショルド値を差し引いた後、シグモイド関数と呼ばれる非線形入出力特性を持った関数を介して出力される。出力層においても中間層と同様な入出力処理が行われた後、各出力層ユニットからそれぞれ対応した出力信号エレメントを送出する。ここで、更に、これらの出力信号を２値化スレショルド回路を介して２値出力信号に変換し、２値出力信号として送出する場合もある。
【０００４】
多層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムがある。結合重み係数に対して乱数などを用いて初期値設定した後、予め用意された教師信号と、入力層に入力される予め用意された学習入力データとを用いて、バック・プロパゲーション・アルゴリズムの基に、出力信号と教師信号との平均誤差電力が最小となるよう結合重み係数を適応更新し、教師信号にできるだけ近い出力信号が出力層から送出されるよう学習を行う。ここで、平均誤差電力が予め定められたスレショルド以下となると、収束したとして学習を終了する。或いは、学習入力データに対する２値出力信号が全て２値教師信号と同一となると、正解として学習を終了する。
【０００５】
次に、予め準備されたテスト入力データとそれに対応した所望の教師信号とを用いて、学習済みニューラルネットワークの汎化特性を評価する。学習入力データの近傍のテスト入力データを入力した際に、教師信号と一致或いは非常に近い値を持った所望の出力信号、即ち正答な出力信号を送出する場合と、教師信号とは異なる誤った出力信号、即ち誤答の出力信号を送出する場合とがある。特に、ニューラルネットワークがローカルミニマムの状態で収束した場合には、誤答出力信号を送出しやすく、汎化率、即ちテスト入力データに対して正答な出力信号を送出する割合が低く、正答な出力信号を送出する能力があまり高くない。ここで、未知入力データに対して正答な出力信号を送出する能力を汎化能力と呼ぶ。また、学習の際に、結合重み係数として設定された初期値によっては、正答な出力信号を送出する入力データの領域、即ち汎化領域が部分的に異なり、汎化領域の初期値依存性がある。
【０００６】
パターン認識などに於て、このようなローカルミニマムに収束した学習済みのニューラルネットワークを用いて、入力データに対して実行処理を行わせた際に、汎化能力が劣る場合には、学習入力データに近い入力データに対しても所望の出力信号が得られず、多くの誤認識が発生する。
【０００７】
このような実行処理の際には、学習入力データやテスト入力データ以外の未知入力データが入力される場合が非常に多いが、これらの多くの未知入力データを事前に収集し、学習入力データ或いはテスト入力データとして用いることは困難な場合が多い。従って、学習或いはテストの際に、汎化能力をできるだけ高くすることが要求される。
【０００８】
ここで、入力データに対する汎化能力を改善する為の従来技術を示す。例えば、入力データに対して学習済みニューラルネットワークを並列接続する方法、D. Sarkar, “Randomness in Generalization Ability: A Source to Improve It,” IEEE Trans. Neural Networks Vol.7, No.3, May 1996, pp.676-685がある。図２に、この従来技術による学習済み３層ニューラルネットワークを３並列接続した並列ニューラルネットワーク手段を示す。入力端子５からの入力データに対して並列接続された学習済みニューラルネットワーク１、２及び３と、多数決出力選択器４とから構成され、出力端子６から改善された汎化能力を持つ出力信号が送出される。
【０００９】
この方法は、夫々のニューラルネットワーク１、２、３を、正答な２値出力信号を送出する入力データの領域、即ち汎化領域が部分的に異なるよう、異なった初期値の結合重み係数を設定して学習させ、それらを複数個並列接続して、それらの出力信号を２値化し、２値出力信号に対して多数決による出力選択（投票モデルとも呼ぶ。即ち、最も数多く一致した２値出力信号を送出する。）を行ない、出来るだけ正答と思われる２値出力信号を送出させ、入力データに対する汎化率を改善する方法である。従って、多数決出力選択器４では、並列接続されている学習済みニューラルネットワーク１、２、３からの出力信号を２値化し、それらの内、いずれかの２個以上が一致すれば、正答と見做し、最も数多く一致した２値出力信号を選択して出力信号として出力端子６から送出し、これ以外の全て異なる場合は、予め定められた特定の、例えば学習済みニューラルネットワーク１からの２値出力信号を選択して、端子６から送出する。
【００１０】
このような多数決出力選択器４に於ける単純な多数決選択処理では、学習済みニューラルネットワークを並列に用いても、単体の学習済みニューラルネットワークの汎化能力より、若干高い汎化能力が得られるにすぎない。
【００１１】
即ち、表１に示すように、学習済みニューラルネットワーク１、２及び３からの２値出力信号の何れかが一致すると、それらの２値出力信号を正答であると見做して選択出力し、いずれも異なる場合には、特定のニューラルネットワーク、例えば、ニューラルネットワーク１からの２値出力信号を選択送出することにより、改善を図っている。この結果、２値出力信号がそれぞれ異なる場合の選択対象である特定のニューラルネットワーク１の汎化能力に加えて、一致した場合は、常に正答であるとの仮定の下に、ニューラルネットワーク２及び３からの２値出力信号が一致する入力データに対してのみ汎化能力が改善されることになる。従って、汎化能力を改善する為には、特定のニューラルネットワーク１の汎化能力をできるだけ高くし、更に、ニューラルネットワーク２及び３からの正答な２値出力信号ができるだけ一致し、而もその汎化領域がニューラルネットワーク１のそれからできるだけずれることが必要となる。
【００１２】
【表１】
しかしながら、同一の学習入力データ及び教師信号を用いてそれぞれ異なる結合重み係数初期値を用いてニューラルネットワークを学習させることから、ローカルミニマムに収束した学習済みニューラルネットワークを用いることとなり、一般に単体としての高い汎化能力が得られない。而も、いずれのニューラルネットワークも並列接続され、同一の入力データが入力されることから、ニューラルネットワーク２及び３に於ける正答な出力信号を送出させる入力データの領域、即ちそれらの汎化領域が、ニューラルネットワーク１の汎化領域とも互いに重なり、大きくずらすことができない。また、どの程度のずれになるかは、設定される結合重み係数の初期値に依存している。
【００１４】
従って、単に結合重み係数の異なった初期値設定により学習したニューラルネットワークを用い、多数決出力選択器４によって、一致した２値出力信号を中心に選択送出し、全て異なる場合には特定のニューラルネットワークの２値出力信号を選択送出する単純な多数決選択処理方法により汎化能力を改善しようとする場合には、適切な汎化領域を得る為にかなりの試行錯誤が必要となる。而も汎化率の大きい改善を図る為には、数十個の非常に多くのニューラルネットワークを並列接続する必要がある。従って、これら並列ニューラルネットワークの設計が複雑となり、回路規模や演算量も膨大となる。
【００１５】
図３に、第２の従来技術による方法を示す。文献 Amanda J. C.Sharkey and Noel E. Sharkey, “Combining Diverse Neural Nets,” The Knowkedge Engineering Review, Vol.12:3, pp.231-247, 1997による構成を示したものである。学習済みニューラルネットーク１、２及び３と多数決出力選択器４とは第１の従来技術と同一の構成であるが、入力データを異なる新たな入力データに変換する非線形入力変換器７、８を設け、学習済みニューラルネットワーク２及び３に対して夫々前段に直列接続している。
【００１６】
学習済みニューラルネットワーク２及び３は、非線形入力変換器７及び８を介して得られたそれぞれの異なる新たな変換学習入力データに対して学習させたものである。従って、学習済みニューラルネットワーク１、２及び３は、同一の教師信号と学習入力データとを、或いはそれぞれ異なった変換学習入力データとを用いて学習していることになる。更に、学習済みニューラルネットワーク１は、非線形入力変換器７、８がそれぞれ直列接続された学習済みニューラルネットワーク２及び３と並列接続されており、それらの出力信号が多数決出力選択器４にそれぞれ入力されている。多数決出力選択処理器４では、第１の従来技術と同様にこれらの出力信号を２値化して、多数決処理により最も数多く一致した２値出力信号の選択送出と、全て互いに異なる場合は、特定のニューラルネットワークからの出力信号の選択送出とを行って、出力信号として送出している。
【００１７】
非線形入力変換器７、８としては、ニューラルネットワークを用いており、入力データの非線形変換を行っている。特に、非線形入力変換器７としての入力変換ニューラルネットワークでは、その出力層からの出力信号を送出し学習済みニューラルネットワーク２に入力している。また、非線形入力変換器８としての入力変換ニューラルネットワークでは、中間層からの中間層出力信号を学習済みニューラルネットワーク３へ入力している。
【００１８】
このような非線形入力変換器７、８を設けることにより、学習済みニューラルネットワーク２及び３に於ける正答な出力信号を送出する入力データ領域、即ち汎化領域を学習済みニューラルネットワーク１のそれからお互いに大きくずらすことができる。このような領域を形成した後に、学習済みニューラルネットワーク１、２及び３からの出力信号を多数決出力選択器４に入力し、２値化した後、前記の多数決処理により出力選択を行っている。しかしながら、学習済みニューラルネットワーク２及び３の汎化領域が互いに大きくずれすぎると、多数決が成立する割合、即ち一致する割合が減る。従って、汎化能力を大きく改善する為には、それぞれの汎化領域が過度に離れないように第１の従来技術と同様に数多くのニューラルネットワークを並列接続すると共に、それぞれの汎化領域のずれを調節する為の試行錯誤が必要となる。
【００１９】
上記の説明の如く、最終的に高い汎化率を得る為には、種々の非線形変換則の試行錯誤と非常に数多くの学習済みニューラルネットワークの並列接続と、更には種々の結合重み係数の初期値設定に対する試行錯誤を必要とする。ここでは、非線形入力変換の為に、自由な変換則の設計が可能なことから、ニューラルネットワークを用いているが、これらのニューラルネットワークの汎化特性によっては、入力データに対して、必ずしも１対１の関係が得られないこと。更に、変換則を学習する際に、ローカルミニマムに収束した場合は、必ずしも入力データを所望のデータに変換できないなどの問題もある。これらは、多くの非線形入力変換を用いた場合に問題となり、これに対しても同様にかなりの試行錯誤が必要となる。
【００２０】
前記の文献では、並列接続されているニューラルネットワーク１、２及び３の出力信号が同時に全て誤答とならないことを前提条件としており、而もニューラルネットワーク１単体として９６％前後の高い汎化率が既に得られている場合に対して、約２％程度の汎化率の改善が図れることを明らかにしている。ニューラルネットワーク１、２及び３の出力信号が全て誤答となる状態が発生するような場合や、単体の汎化率が高くない場合などには、出力信号が一致してもそれらが必ずしも常に正答でないことを考慮すると、改善は殆ど図れない。従って、この方法に於ても、大きな汎化能力の改善を図る為には、非常に数多くのニューラルネットワークの並列接続が必要となり、複雑となると共に演算量も膨大となる。
【００２１】
【発明が解決しようとする課題】
上記の如く、従来技術の並列ニューラルネットワークによる汎化能力の改善方法では、入力データに対して並列接続されている個々の学習済みニューラルネットワークは、それぞれ異なった結合重み係数初期値を設定して同一の教師信号に対して同一の学習アルゴリズムを用いて学習されている。従って、これらのニューラルネットワーク１、２、３がグローバルミニマムに収束すると、夫々のニューラルネットワークの汎化能力は高くなるものの、正答の出力信号を送出する入力データの領域、即ち汎化領域が殆ど同一となってしまい、出力信号はいずれも正答となるか、何れも誤答となる。従って、それらを並列接続効果はあまり無く、それぞれの２値出力信号を多数決処理しても、殆ど汎化能力の改善にはならない。
【００２２】
一方、異なったローカルミニマムにそれぞれ収束した学習済みニューラルネットワークの汎化能力は、入力データの種類やその分布によっては大きく変化し、個々の汎化領域も狭く、誤った２値出力信号を送出しやすい。また、汎化領域はずれるものの、そのずれは必ずしも大きくはない。従って、これらの学習済みニューラルネットワークを並列接続して用いる場合には、汎化領域が比較的大きくずれる結合重み係数を試行錯誤によって捜す必要がある。また、多数決処理により、各学習済みニューラルネットワークからの２値出力信号間で最も数多く一致した２値出力信号を選択送出するだけでは、必ずしもそれらが正答とはならない場合があること。また、一致する発生確率が低いと、並列ニューラルネットワークの汎化能力の改善効果が原理的に余り得られないなどの問題がある。
【００２３】
即ち、出力信号の一致に対する単純な多数決処理では、個々のニューラルネットワークの汎化能力が悪いと、誤答の出力信号が一致する場合もあり、誤った選択をする可能性を無視出来ない。また、全て異なった出力信号の場合には、正答な出力信号を選択することができない。これらの理由から、できるだけ異なったローカルミニマムに収束した数多くの学習済みニューラルネットワークを並列接続させる必要があり、構成が複雑となり、演算量も非常に多くなる欠点がある。
【００２４】
第２の従来技術のように、非線形入力変換器７、８により、入力データを一旦変換して、それぞれ異なる入力データとしてニューラルネットワーク２、３に入力するよう構成することで、大きく異なった汎化領域を形成できるが、余り大きくずれ過ぎた場合には、それぞれの学習ずみニューラルネットワークからの２値出力信号の多数決処理に於ける一致する領域が少なくなり、多数決による正答な出力信号の選択が余りできなくなる。従って、第１の従来技術と同様に、数多くのニューラルネットワークの並列接続を必要とし、それらの演算量が非常に大きくなり、汎化領域のずれを調整する為に多くの試行錯誤が必要となる。また、非線形入力変換器７、８として、自由な非線形変換がしやすいニューラルネットワークを用いているが、そのニューラルネットワークの学習特性と汎化特性が新たな問題となり、必ずしも並列ニューラルネットワークの汎化能力を十分に改善することが出来ない。従って、この入力変換用ニューラルネットワークも上手く設計する必要性が生じ、当然のこととして、これらの試行錯誤と演算量も大きくなる。
【００２５】
これらの従来技術での共通な技術としては、ニューラルネットワークからの正答と思われる出力信号の選択の際に、汎化領域のずれを利用した出力信号の一致に対する多数決選択処理を用い、汎化能力の改善を図っている。異なる結合重み係数の初期値設定や非線形入力変換によってどの程度ずれた汎化領域が得られるかは、落ち込むローカルミニマムやグローバルミニマムによって決まり、予め予測出来ない。従って、種々の結合重み係数初期値や入力データの非線形変換則を与え、個々のニューラルネットワークを学習させた後に、学習済みニューラルネットワークを並列動作させて、初めて汎化能力の改善度が評価できるなど数多くの試行錯誤を必要とする欠点もある。このことは、汎化能力の高い並列ネットワーク装置を簡単に設計できないことを意味する。
【００２６】
上記のこれらの欠点は、大規模ニューラルネットワークを必要とする応用では、種々の結合重み係数の初期値を用いてローカルミニマムに収束させる為の学習処理と、テスト入力データに対する汎化率の評価と、総合的な汎化能力の改善度の評価などを繰り返し行なう試行錯誤と、数多くのニューラルネットワークの並列接続とを必要とすることから、満足できる結果を得るには非常に大量の設計作業と膨大な演算量を要求し、必ずしも実用的でない。
【００２７】
本発明は、上記の問題を解決することを目的としており、先ず、同一の学習入力データと夫々異なった教師信号とを用いたニューラルネットワークの学習により、グローバルミニマムに収束させ高い汎化能力を実現すると同時に、それぞれ全く異なった演算処理体系の下に適度にずれた汎化領域を簡単に得る。更に、このような学習済みニューラルネットワークを並列接続し、而もニューラルネットワークの内部パラメータとしての中間層出力信号及び出力層出力信号と、出力信号間の一致／不一致検出状態とを用いた出力状態判定選択処理手段により、それらの出力信号から出来るだけ正答な出力信号を選択送出すると共に、それに対応した少なくとも正答な出力信号に対する正答判定を表わすことができる非常に精度の高い出力状態判定信号を送出させる。
【００２８】
更に、上記のように構成された出力状態判定機能を有する並列ニューラルネットワークシステムを基本とし、出力状態判定機能を有する並列ニューラルネットワークシステムからなる主ネットワークシステムと、入力データを変換し新たな入力データを得る為の簡単な入力変換手段と、それを前段に接続した、同様な構成を持った出力状態判定機能を有する並列ニューラルネットワークシステムとからなる副ネットワークシステムとを入力データに対してを並列接続して、これらの主及び副ネットワークシステムからそれぞれ送出された出力信号と出力状態判定信号とを用いて、最終出力信号を選択送出すると共に、それに対応した最終出力状態判定信号を送出する出力選択処理手段とを設けている。
【００２９】
このような構成により、単なる出力信号間の一致による多数決処理により汎化能力の改善を図るのでなく、高精度な出力状態判定信号も利用した出力信号の出力選択処理をすることにより、より多くの正答な出力信号を選択送出できることから、少ない数のニューラルネットワークを用いて、非常に高い汎化能力と高精度な出力状態判定能力を持った簡単な構成の並列ニューラルネットワーク装置を実現できる。
【００３０】
【課題を解決するための手段】
以下に主な解決手段を示す。
【００３１】
第１の解決手段として、出力状態判定機能を有する第１並列ニューラルネットワークシステム４０から少なくともなる主ネットワークシステム１０と、入力データを変換する入力変換手段１３と、該入力変換手段１３を前段に直列接続した、出力状態判定機能を有する第２並列ニューラルネットワークシステム４１とからなる、一つ以上の副ネットワークシステム１１と、出力選択処理手段１２とを具備し、前記主ネットワークシステム１０と、前記一つ以上の副ネットワークシステム１１とを夫々前記入力データに対して並列接続し、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からそれぞれ送出される前記入力データに対する出力信号と、同じくそれぞれ送出される少なくとも正誤答判定を示すことができる出力状態判定信号とを少なくとも前記出力選択処理手段１２に入力し、該出力選択処理手段１２にて、それぞれの該出力信号と該出力状態判定信号とを少なくとも用いて、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からの何れかの該出力信号を最終出力信号として選択送出すると共に、該最終出力信号の少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する並列ニューラルネットワーク装置を構成する。
【００３２】
第２の解決手段として、入力データを変換する変換則が夫々互いに異なる入力変換手段１３と、該入力変換手段１３を前段に直列接続した、出力状態判定機能を有する第１並列ニューラルネットワークシステム４０とからなる、主ネットワークシステム１０と、該入力データを変換する入力変換手段１３と、該入力変換手段１３を前段に直列接続した、出力状態判定機能を有する第２並列ニューラルネットワークシステム４１とからなる、一つ以上の副ネットワークシステム１１と、出力選択処理手段１２とを具備し、前記主ネットワークシステム１０と、前記一つ以上の副ネットワークシステム１１とを夫々前記入力データに対して並列接続し、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からそれぞれ送出される前記入力データに対する出力信号と、同じくそれぞれ送出される少なくとも正誤答判定を示すことができる出力状態判定信号とを少なくとも前記出力選択処理手段１２に入力し、該出力選択処理手段１２にて、それぞれの該出力信号と該出力状態判定信号とを少なくとも用いて、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からの何れかの該出力信号を最終出力信号として選択送出すると共に、該最終出力信号の少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する並列ニューラルネットワーク装置を構成する。
【００３３】
第３の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データと第１の教師信号とを用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第１ニューラルネットワークシステム３６と、前記学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、１つ以上の第２ニューラルネットワークシステム３７と、前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する該出力状態判定選択処理手段３５とから構成され、前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、前記学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号とを用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とから構成された第３ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、１つ以上の第４ニューラルネットワークシステム３７と、前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する第１の解決手段の並列ニューラルネットワーク装置を構成する。
【００３４】
第４の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第５ニューラルネットワークシステム３７と、前記二つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、前記入力変換手段１３により前記学習入力データから変換された変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第６ニューラルネットワークシステム３７と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する第１の解決手段の並列ニューラルネットワーク装置を構成する。
【００３５】
第５の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第１ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、一つ以上の第２ニューラルネットワークシステム３７と、前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第３ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、一つ以上の第４ニューラルネットワークシステム３７と、前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する第２の解決手段の並列ニューラルネットワーク装置を構成する。
【００３６】
第６の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、２つ以上の第５ニューラルネットワークシステム３７と、前記２つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの該変換多値出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第６ニューラルネットワークシステム３７と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの該変換多値出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する第２の解決手段の並列ニューラルネットワーク装置を構成する。
【００３７】
第７の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データと第１の教師信号とを用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、前記出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第１ニューラルネットワークシステム３６と、前記学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、前記出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、１つ以上の第２ニューラルネットワークシステム３７と、前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第１ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第１ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、前記学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号とを用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とから構成された第３ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、１つ以上の第４ニューラルネットワークシステム３７と、前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第３ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第３ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する第１の解決手段の並列ニューラルネットワーク装置を構成する。
【００３８】
第８の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第５ニューラルネットワークシステム３７と、前記二つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、前記入力変換手段１３により前記学習入力データから変換された変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第６ニューラルネットワークシステム３７と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する第１の解決手段の並列ニューラルネットワーク装置を構成する。
【００３９】
第９の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第１ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を前記出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、一つ以上の第２ニューラルネットワークシステム３７と、前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第１ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第１ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とからなる第３ニューラルネットワークシステム３６と、前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、一つ以上の第４ニューラルネットワークシステム３７と、前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、前記第３ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、前記第３ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する第２の解決手段の並列ニューラルネットワーク装置を構成する。
【００４０】
第１０の解決手段として、前記第１並列ニューラルネットワークシステム４０に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、２つ以上の第５ニューラルネットワークシステム３７と、前記２つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの該変換出力層出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続し、前記第２並列ニューラルネットワークシステム４１に於て、学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４とからなる、二つ以上の第６ニューラルネットワークシステム３７と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、それぞれの該変換出力層出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、該出力信号の少なくとも正誤答判定を示すことができる前記出力状態判定信号を送出する前記出力状態判定選択処理手段３５とから構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する第２の解決手段の並列ニューラルネットワーク装置を構成する。
【００４１】
第１１の解決手段として、前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、前記第１ニューラルネットワークシステム３６に対応した第１比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、予め蓄積されている第１学習中間層基準出力信号及び第１中間層出力距離スレショルドとを読み出し、前記第１学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第１中間層出力距離スレショルドと比較した第１中間層出力距離比較結果を少なくとも用いて、前記第１ニューラルネットワークシステム３６からの前記出力信号の第１出力状態推定結果を得、前記一つ以上の第２ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、予め蓄積されている第２学習中間層基準出力信号と第２中間層出力距離スレショルドをそれぞれ読み出し、対応した前記第２学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第２中間層出力距離スレショルドと比較したそれぞれの第２中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第２出力状態推定結果を得、前記第１出力状態推定結果と、全ての前記第２出力状態推定結果と、前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記第１ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの前記出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、前記第３ニューラルネットワークシステム３６に対応した第３比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、予め蓄積されている第３学習中間層基準出力信号及び第３中間層出力距離スレショルドとを読み出し、前記第３学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第３中間層出力距離スレショルドと比較した第３中間層出力距離比較結果を少なくとも用いて、前記第３ニューラルネットワークシステム３６からの前記出力信号の第３出力状態推定結果を得、前記一つ以上の第４ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、予め蓄積されている第４学習中間層基準出力信号と第４中間層出力距離スレショルドをそれぞれ読み出し、対応した前記第４学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第４中間層出力距離スレショルドと比較したそれぞれの第４中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第４ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第４出力状態推定結果を得、前記第３出力状態推定結果と、全ての前記第４出力状態推定結果と、前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記第３ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第４ニュ ーラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出する第３及び第５の何れか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４２】
第１２の解決手段として、前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、前記二つ以上の第５ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、予め蓄積されている第５学習中間層基準出力信号及び第５中間層出力距離スレショルドとをそれぞれ読み出し、対応した前記第５学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、対応した前記第５中間層出力距離スレショルドと比較したそれぞれの第５中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第５出力状態推定結果を得、全ての前記第５出力状態推定結果と、前記二つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、前記二つ以上の第６ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、予め蓄積されている第６学習中間層基準出力信号及び第６中間層出力距離スレショルドとをそれぞれ読み出し、対応した前記第６学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、対応した前記第６中間層出力距離スレショルドと比較したそれぞれの第６中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第６出力状態推定結果を得、全ての前記第６出力状態推定結果と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から選択送出すると共に、前記出力状態判定信号を送出する第４及び第６の何れか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４３】
第１３の解決手段として、前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、前記第１ニューラルネットワークシステム３６に対応した第１比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、予め蓄積されている第１学習中間層基準出力信号及び第１中間層出力距離スレショルドとを読み出し、前記第１学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第１中間層出力距離スレショルドと比較した第１中間層出力距離比較結果を少なくとも用いて、前記第１ニューラルネットワークシステム３６からの前記出力信号の第１出力状態推定結果を得、前記一つ以上の第２ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、予め蓄積されている第２学習中間層基準出力信号と第２中間層出力距離スレショルドをそれぞれ読み出し、対応した前記第２学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第２中間層出力距離スレショルドと比較したそれぞれの第２中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第２出力状態推定結果を得、前記第１出力状態推定結果と、全ての前記第２出力状態推定結果と、前記第１ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記第１ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、前記第３ニューラルネットワークシステム３６に対応した第３比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、予め蓄積されている第３学習中間層基準出力信号及び第３中間層出力距離スレショルドとを読み出し、前記第３学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第３中間層出力距離スレショルドと比較した第３中間層出力距離比較結果を少なくとも用いて、前記第３ニューラルネットワークシステム３６からの前記出力信号の第３出力状態推定結果を得、前記一つ以上の第４ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、予め蓄積されている第４学習中間層基準出力信号と第４中間層出力距離スレショルドをそれぞれ読み出し、対応した前記第４学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、対応した前記第４中間層出力距離スレショルドと比較したそれぞれの第４中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第４ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第４出力状態推定結果を得、前記第３出力状態推定結果と、全ての前記第４出力状態推定結果と、前記第３ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記第３ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第４ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出する第７及び第９の何れか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４４】
第１４の解決手段として、前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、前記二つ以上の第５ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、予め蓄積されている第５学習中間層基準出力信号及び第５中間層出力距離スレショルドとをそれぞれ読み出し、対応した前記第５学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、対応した前記第５中間層出力距離スレショルドと比較したそれぞれの第５中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第５出力状態推定結果を得、全ての前記第５出力状態推定結果と、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの該信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、前記二つ以上の第６ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、予め蓄積されている第６学習中間層基準出力信号及び第６中間層出力距離スレショルドとをそれぞれ読み出し、対応した前記第６学習中間層基準出力信号と前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、対応した前記第６中間層出力距離スレショルドと比較したそれぞれの第６中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第６出力状態推定結果を得、全ての前記第６出力状態推定結果と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出する第８及び第１０の解決手段の何れか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４５】
第１５の解決手段として、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１内のそれぞれの並列ニューラルネットワークシステムに於て、中間層出力距離信号をも送出し、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からそれぞれの前記中間層出力距離信号を前記出力選択処理手段１２に入力し、該出力選択処理手段１２にて、それぞれの前記出力信号と、前記出力状態判定信号と、前記中間層出力距離信号と前記出力信号間の一致／不一致状態とを少なくとも用いて、前記主ネットワークシステム１０及び前記副ネットワークシステム１１からの何れかの前記出力信号を最終出力信号として選択送出すると共に、該最終出力信号の少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する第１１から第１４の解決手段のいずれか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４６】
第１６の解決手段として、前記出力選択処理手段１２にて、それぞれの前記出力信号と前記出力状態判定信号と前記出力信号間の一致／不一致状態とを少なくとも用いて、前記最終出力信号の少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する第１から第１６の解決手段のいずれか一つの解決手段の並列ニューラルネットワーク装置を構成する。
【００４７】
本発明では、同一の入力データとそれぞれ異なった教師信号を用いた学習によりグローバルミニマムに収束させた学習済みニューラルネットワークをそれぞれ並列接続し、お互いに適度にずれた汎化領域を利用した出力信号の一致／不一致検出と、入力データに対する学習済みニューラルネットワークの内部パラメータを用いた出力信号の出力状態推定とから、出力信号に対する精度の高い正答／誤答判定などの出力状態判定をすると共に、出来るだけ正答な出力信号を選択送出させ汎化能力を改善した、出力状態判定機能を有する並列ニューラルネットワークシステムを基本構成としている。更に、この出力状態判定機能を有する並列ニューラルネットワークシステムを使用した主ネットワークシステムと、入力データの入力変換手段とその入力変換手段を介して得られた異なる変換学習入力データに対して学習した出力状態判定機能を有する並列ニューラルネットワークシステムとからなる副ネットワークシステムとを入力データに対して並列接続して、それらからの出力信号と出力状態判定信号とを入力とする出力選択処理手段とにより最終出力信号としての選択送出とそれに対応した最終出力状態判定信号とを送出する本発明の並列ニューラルネットワーク装置を構成している。
【００４８】
このような構成の下に、前記出力状態判定機能を有する並列ニューラルネットワークシステムに於て、汎化能力を高め、而も高い精度の少なくとも正答判定を表わす出力状態判定信号と出来るだけ正答な出力信号とを選択送出させる。このような並列ニューラルネットワークシステムを用いた主及び副ネットワークシステムから送出されるそれぞれの出力信号の一致／不一致検出状態と出力状態判定信号とを用い、これらの出力信号から最終出力信号として選択送出すると共に、それに対応した少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する。
【００４９】
並列接続された主及び副ネットワークシステムの入力データに対して正答な出力信号を送出する入力データ領域、即ち汎化領域をお互いに大幅にずらして、それぞれの出力信号間の一致／不一致検出状態と、出力状態判定信号間での少なくとも正答判定の有無に基づいて、最終出力信号としての選択送出とそれに対応した最終出力状態判定信号の送出することから、より一段と改善された非常に高い汎化能力が得られ、より多くの正答な最終出力信号を送出することが出来、而も非常に高い精度の安定した最終出力状態判定信号を送出することができる。
【００５０】
即ち、本発明では、並列ニューラルネットワーク内の各ニューラルネットワークの正答な出力信号を送出する入力データ領域、即ち汎化領域の適度なずれによる、並列ニューラルネットワークシステムの高精度の出力状態判定信号の取得と若干の汎化能力改善とを実現し、更にこのような並列ニューラルネットワークシステムを用いた主及び副ネットワークシステムの汎化領域を互いに大幅に大きくずらし、前記の高い精度の出力状態判定信号と出力信号の一致／不一致検出状態とを利用して大幅に汎化能力を改善することが出来る。
【００５１】
而も、従来技術のような学習の際の結合重み係数初期設定の試行錯誤やニューラルネットワークによる入力変換手段に関する試行錯誤も不要で、迅速な設計ができ、また、精度の高い出力状態判定信号を利用することから少ないニューラルネットワーク数で汎化能力の大幅な改善が出来る。従って、演算量を大幅に削減した簡単な構成の非常に高い汎化能力を持った並列ニューラルネットワーク装置が実現出来る。
【００５２】
【発明の実施の形態】
以下に本発明に於ける第１、第２及び第３の実施形態の並列ニューラルネットワーク装置を例にあげ、その構成及びその動作について、詳細に説明する。ここでは、簡単の為に２値教師信号を用いた場合を例にあげ説明する。但し、本発明は、教師信号として、２値教師信号に限るものではなく、多値或いは連続値であってもよい。
【００５３】
（第１の実施形態）
本発明の第１の実施形態としての並列ニューラルネットワーク装置の基本構成を図１に示す。
【００５４】
出力状態判定機能を有する第１並列ニューラルネットワークシステム４０からなる主ネットワークシステム１０と、入力データに対する入力変換器としての入力データのエレメントの位置を入れ換え送出する入力エレメント位置変換器１３が前段に直列接続された、出力状態判定機能を有する第２並列ニューラルネットワークシステム４１からなる副ネットワークシステム１１と、出力選択処理器１２とを具備している。
【００５５】
前記副ネットワークシステム１１と前記主ネットワークシステム１０とは、端子５からの前記入力データに対して並列接続されており、而も２値出力信号とそれに対応した出力状態判定信号をそれぞれ送出し、前記出力選択処理器１２に入力する。また、前記並列ニューラルネットワークシステム４０及び並列ニューラルネットワークシステム４１は、共に同一構造を持っているとする。
【００５６】
前記出力選択処理器１２は、前記主及び副ネットワークシステム１０及び１１からのそれぞれの前記２値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致検出状態と前記出力状態判定信号とから、最終出力信号として、前記２値出力信号の何れかを選択送出する。更に、それに対応した最終出力状態判定信号を併せて送出する。尚、ここでは、出力状態判定信号として、正答判定信号と誤答判定信号とからなる正誤答判定信号の例を示している。図１は、出力状態判定信号として、正誤答判定信号の場合の第１の実施形態の図である。
【００５７】
ここで、出力状態判定機能を持った学習済み第１及び第２並列ニューラルネットワークシステム４０、４１の基本構成を図６に示す。これについては、特願平１１−２２９１９２に詳細な構成を記述しているが、ここでは、その基本構成に留める。
【００５８】
学習入力データと第１の２値教師信号とを用いて学習した、中間層出力信号と出力層出力信号とをそれぞれ送出する学習済みニューラルネットワーク３０と、前記第１の２値教師信号からコード変換して得られた変換２値教師信号と前記学習入力データとを用いて学習した、中間層出力信号と出力層出力信号とをそれぞれ送出する学習済みニューラルネットワーク３２とを入力に対して並列接続し、更に、前記学習済みニューラルネットワーク３０、３２からの前記出力層出力信号を２値化して２値出力信号を送出する２値化スレショルド回路３１、３３と、前記変換２値教師信号を前記第１の２値教師信号のコードに逆変換する変換則を有し、前記２値化スレショルド回路３３からの２値出力信号を出力変換して新たな変換２値出力信号を送出する出力変換器３４と、出力状態判定選択処理器３５とから構成される。
【００５９】
ここでは、前記出力変換器３４からの変換２値出力信号は、前記２値化スレショルド回路３１の２値出力信号と同様に、第１の２値教師信号で表わされることとなる。
【００６０】
前記出力状態判定選択処理器３５には、前記学習済みニューラルネットワーク３０、３２からのそれぞれの前記中間層出力信号と前記出力層出力信号と、前記２値化スレショルド回路３１、３３からの前記２値出力信号と出力変換器３４からの変換２値出力信号とが入力される。前記２値化スレショルド回路３１、３２からの前記２値出力信号をそれぞれ比較条件パラメータ読み出し情報として用いて、予め記憶されている比較条件パラメータとしての中間層出力距離スレショルドと学習中間層基準出力信号とテスト内正答出力余裕領域とをそれぞれ読み出し、前記中間層出力信号と前記学習中間層基準出力信号とを基に、前記出力状態判定選択処理器３５内の距離計算手段によりこれらの信号間の中間層出力距離をそれぞれ求め、更に前記中間層出力距離スレショルドと比較し、中間層出力距離比較結果をそれぞれ得る。
【００６１】
また、出力層出力信号から求めた出力層ユニット毎の正答出力余裕、即ち、出力層ユニット毎の出力信号エレメントが正しいと仮定した場合の２値化スレショルドとの差の絶対値をそれぞれ正答出力余裕とし、読み出された前記テスト内正答出力余裕領域と出力層ユニット毎に比較し、テスト領域比較結果を得る。ここで、予め記憶されている前記中間層出力距離スレショルド、前記学習中間層基準出力信号及び前記テスト内正答出力余裕領域については、詳細を後述する。
【００６２】
この中間層出力距離比較結果とテスト領域比較結果と、前記出力変換器３４及び２値化スレショルド回路３３からの前記変換２値出力信号と前記２値出力信号と間の一致／不一致検出処理手段を介して得た一致／不一致検出状態とを用いて、前記２値出力信号及び前記変換２値出力信号のそれぞれの出力状態推定を行なう。即ち、２値出力信号が正答状態か或いは誤答状態かの推定をそれぞれ行う。その後、それぞれの出力状態推定結果と前記の一致／不一致検出状態とを用いて出力状態判定を行ない、該出力変換器３４及び２値化スレショルド回路３１からの前記変換２値出力信号及び２値出力信号の何れかを選択送出し、それに対応した出力状態判定信号とを送出する。
【００６３】
例えば、いずれも正答推定ならば、特定の側のニューラルネットワーク、ここでは第１ニューラルネットワークシステム３６からの２値出力信号を、また、いずれか一方が正答推定ならば、正答推定となっている側のニューラルネットワークシステムからの２値出力信号或いは変換２値出力信号を選択送出し、更に出力状態判定信号として正答判定信号を送出する。或いは、何れも誤答推定ならば、特定の側、第１ニューラルネットワークシステム３６からの２値出力信号を選択送出し、出力状態判定信号として、誤答判定信号を送出する。
【００６４】
前記学習済みニューラルネットワーク３０は、前記学習入力データと前記第１の２値教師信号とを、また、前記学習済みニューラルネットワーク３２は、前記学習入力データと前記変換２値教師信号とをそれぞれ用いて学習させており、２値化スレショルド回路３１及び３３からの２値出力信号がそれぞれの前記２値教師信号と比較して全て正答となるまで収束させている。更に、学習が終了した時点で、前記出力状態判定選択処理器３５に於て、前記学習入力データに対する分類カテゴリを示す２値教師信号（正答な２値出力信号）毎に前記学習入力データに対応した中間層出力信号を、前記学習中間層基準出力信号として、対応した２値出力信号を用いてそれぞれ格納しておく。尚、前記学習中間層基準出力信号は、複数個でも良いし、何れか１つを選択し、その学習入力データをコアー学習入力データとし、対応した２値出力信号を用いて比較条件パラメータとして格納してもよい。この格納及び読み出しの際に、比較条件パラメータ書き込み／読み出し情報として、該２値出力信号を用いる。
【００６５】
更に、前記学習済みニューラルネットワーク３０及び３２のテスト時に、正答な２値出力信号を送出する全てのテスト入力データに対応した出力層出力信号に対して、それぞれの２値教師信号と２値化スレショルドとを用いて、前記テスト入力データに対する分類カテゴリを示す２値教師信号（正答な２値出力信号）に対応させて、出力層ユニット毎の出力層出力信号エレメントの２値化スレショルドとの差の絶対値の最大及び最小値をそれぞれ最大出力余裕及び最小出力余裕として求める。これらの余裕の範囲を出力層ユニット毎の前記テスト内正答出力余裕領域として、対応した２値出力信号を比較条件パラメータ書き込み／読み出し情報として用いて、出力状態判定選択処理器３５にそれぞれ格納しておく。
【００６６】
また、同一の分類カテゴリを示す正答な２値出力信号を送出するテスト入力データに関して、その中間層出力信号を２値化した中間層２値出力信号を求め、同じ正答な２値出力信号に対応した前記学習中間層基準出力信号の２値化されたものとの間のハミング距離を距離計算手段により求め、その距離の分布から少なくとも平均値及び偏差値とを用いて前記中間層出力距離スレショルドを定める。更に、前記の対応した正答な２値出力信号を比較条件パラメータ書き込み／読み出し情報として用いて、出力状態判定選択処理器３５に前記中間層出力距離スレショルドをそれぞれ格納しておく。ここで、格納されている前記学習中間層基準出力信号とそれに対応した前記中間層出力距離スレショルドとが、同一の正答な２値出力信号に対して複数個読み出される場合には、中間層２値出力信号とのハミング距離が最も小さい学習中間層基準出力信号を選択し、対応した中間層出力距離スレショルドとを用いて処理すればよい。後述の中間層出力距離を得る場合も同様な処理をすればよい。
【００６７】
前記学習済みニューラルネットワーク３０及び３２の実行処理の場合には、出力状態判定選択処理器３５では、２値化スレショルド回路３１、３３から得られた、入力データに対する２値出力信号を比較条件パラメータ読み出し情報として、予め格納されている対応した前記学習中間層基準出力信号と前記中間層出力距離スレショルドと前記テスト内正答出力余裕領域とをぞれぞれ読み出し、学習済みニューラルネットワーク３０、３２からの入力データに対応した中間層出力信号を２値化した中間層２値出力信号と前記読み出された学習中間層基準出力信号の２値化したものとのハミング距離計算を距離計算手段に於て行なう。これを中間層出力距離とし、前記読み出された中間層出力距離スレショルドと大小比較する。その中間層出力距離比較結果を２値出力信号の出力状態推定に用いる。
【００６８】
同時に、学習済みニューラルネットワーク３０、３２からの出力層出力信号に対して、その２値出力信号が正答であると見做して、出力層ユニット毎の正答出力余裕を求め、前記読み出された出力層ユニット毎のテスト内正答出力余裕領域内に夫々全て含まれれば、テスト領域内とし、一つの出力層ユニットに関しても含まれなければテスト領域外とする。
【００６９】
このテスト領域比較結果と、前記中間層出力距離比較結果と、前記２値化スレショルド回路３１と前記出力変換器３４とからの２値出力信号及び変換２値出力信号間の一致／不一致とを合わせて、前記２値出力信号及び変換２値出力信号のそれぞれの出力状態推定をする。
【００７０】
例えば、前記２値化スレショルド回路３１からの２値出力信号と前記出力変換器３４からの変換２値出力信号とが一致した場合、テスト領域比較結果としてテスト領域外で、中間層出力距離比較結果として、中間層出力距離が中間層出力距離スレショルド以上ならば、誤答推定、その他の場合は正答推定とする。また、不一致の場合には、中間層出力距離が中間層出力距離スレショルド以上ならば、誤答推定とし、その他の場合は正答推定とする。尚、ここでは、中間層出力距離スレショルドとして、一種類用意したが、複数個用意してもよい。例えば、一致／不一致状態、或いはテスト領域内及び外状態で、それぞれ異なる中間層出力距離スレショルドを用いてもよい。
【００７１】
このような正誤答推定の後、前記２値化スレショルド回路３１と前記出力変換器３４とからの２値出力信号及び変換２値出力信号のいずれかが少なくとも正答推定ならば、正答判定とし、正答推定に対応したいずれかの２値出力信号を選択送出する。尚、両方とも正答推定ならば、特定の側の２値出力信号を選択する。また、いずれとも誤答推定ならば、誤答判定とし、誤答推定に対応した特定の２値出力信号を選択送出する。このように、選択された２値出力信号を出力信号として送出し、それに対応した正答判定信号或いは誤答判定信号からなる正誤答判定信号を出力状態判定信号として出力状態判定選択処理器３５から送出する。ここで、これらの２値出力信号間の一致／不一致検出状態も用いて、選択送出方法を構成してもよい。
【００７２】
ここで、学習済みニューラルネットワーク３２では、比較条件パラメータ書き込み／読み出し情報として、２値化スレショルド回路３３からの２値出力信号を用いているが、出力変換器３４からの変換２値出力信号を用いてもよい。また、出力状態判定選択処理器３５に於て、前記２値化スレショルド回路３１と前記出力変換器３４からの２値出力信号及び変換２値出力信号を並列ニューラルネットワークの出力信号として選択送出したが、出力信号として、学習済みニューラルネットワーク３０、３２からの出力層出力信号を選択送出してもよい。但し、この場合には、前記の主及び副ネットワークシステム１０、１１の出力信号も出力層出力信号となる。
【００７３】
先ず、図６におけるこれらの一連の動作について詳細に説明する。学習済みニューラルネットワーク３０では、学習入力データと第１の教師信号とを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）などにより学習させる。特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、而も全て正答の２値出力信号を得ることが出来る。
【００７４】
次に、第１の教師信号から変換２値教師信号への変換則としては、例えば、第１の２値教師信号の２値コード補数変換則や、学習入力データへの分類カテゴリ割当ての際に、第１の２値教師信号をシフト割当配置して得られた新たな２値教師信号を変換２値教師信号とするシフト変換則や、分類カテゴリへの第１の教師信号の割当てを新たにランダムに再配置し、それを変換２値教師信号とするランダム変換則などがある。これらの変換方法によって得られた異なる新たな変換２値教師信号を用いてグローバルミニマムの状態にニューラルネットワーク３２を収束させる。これらの学習済みニューラルネットワーク３０、３２は、それぞれ異なったグローバルミニマム状態に収束していることから、学習入力データに対しては、学習済みニューラルネットワーク３０の２値化スレショルド回路３１からの２値出力信号と、学習済みニューラルネットワーク３２から２値化スレショルド回路３３と出力変換器３３とを介して得られた変換２値出力信号とは、演算環境は全く独立であるが、正答で且つ全て一致する。当然、全て正答推定及び正答判定となる。
【００７５】
また、入力データに対する汎化能力も殆ど同じであるが、学習の際の２値教師信号がそれぞれ異なることから、正答な２値出力信号を送出する入力データの領域、即ち汎化領域が適度にずれる。学習済みニューラルネットワーク３０及び３２とも、入力データが同一であることから大幅なずれとはならない。このような構成により、安定したほぼ同一の高い汎化能力と適度にずれた汎化領域を簡単に得ることが出来る。また、ニューラルネットワーク３２の学習時に、ニューラルネットワーク３０の結合重み係数初期値とは異なった初期値設定も更に行うことにより、汎化能力には殆ど影響無く、汎化領域をより異なった領域に簡単にずらすこともできる。
【００７６】
従って、出力状態判定選択処理器３５では、２値化スレショルド回路３１と出力変換器３４とからの２値出力信号及び変換２値出力信号とが一致状態であれば、両方とも正答であるか或いは両方とも誤答である。多くの場合は正答である。ここで、それぞれの２値出力信号に対する正誤答推定結果を考慮して、最終的な出力状態判定を行なう。即ち、少なくとも何れかが正答推定の場合には正答判定とし、正答推定の２値出力信号のいずれかを選択送出し、併せて正答判定信号を送出する。両方とも正答推定の場合には、特定のニューラルネットワークシステム側の２値出力信号を選択すればよい。また、何れも誤答推定の場合には、誤答判定とし、特定のニューラルネットワークシステム側の２値出力信号を選択送出する。また、正答推定及び誤答推定となっている場合には、正答推定側の２値出力信号を選択送出すればよい。或いは、この場合の判定の精度を上げる為に、誤答推定を持つ２値出力信号に対する中間層出力距離が中間層出力距離スレショルドから一定以上大きく離れておれば、正答判定とするのではなく、誤答判定として、その２値出力信号を選択送出してもよい。
【００７７】
一方、不一致状態が検出されると、両２値出力信号が同時には正答ではないことを意味し、少なくとも何れかが誤答である。従って、正誤答推定結果では、間違って両２値出力信号を正答推定とする場合もある。この場合には、特定のニューラルネットワークシステム側の２値出力信号を選択してもよいし、判定精度を上げる為に、より正答らしい２値出力信号を選択送出してもよい。例えば、中間層出力距離の小さい方や、中間層出力距離スレショルドからより離れた小さい方を選択してもよい。また、正答推定と誤答推定となっている場合には、正答推定側の２値出力信号を選択送出する。或いは、この場合にも判定精度を上げる為に、誤答推定を持つ２値出力信号に対する中間層出力距離が中間層出力距離スレショルドからより大きく離れて大きいならば、正答判定とするのではなく、誤答判定として、その２値出力信号を選択送出してもよい。更に、両方とも誤答推定の場合には、特定のニューラルネットワークシステム側の２値出力信号を選択送出してもよいし、判定精度を上げる為により誤答と考えられる２値出力信号を選択してもよい。例えば、中間層出力距離の大きい方や、中間層出力距離スレショルドからより離れた大きい方を選択してもよい。
【００７８】
以上のように、正答な出力信号を送出する入力データ領域、即ち汎化領域は、同一学習入力データとそれぞれ異なる教師信号とを用いることから簡単に而も適度にずれ、大幅にずれることはない。上記のように並列構成とし、２値出力信号と変換２値出力信号との一致／不一致検出状態と、中間層出力距離と出力層出力信号の正答出力余裕などのニューラルネットワークの内部パラメータを基にした正誤答推定結果とから最終的な正誤答判定を行ない、２値出力信号と変換２値出力信号とが一致しない場合でも、正答な出力信号を選択できることから、第１及び第２並列ニューラルネットワークシステム４０、４１に於て、汎化能力が改善され、また、より精度の高い出力状態判定信号が得られる。
【００７９】
このような出力信号と出力状態判定信号とを送出する出力状態判定機能を有する並列ニューラルネットワークシステム４０、４１を持つ主及び副ネットワークシステム１０、１１に於て、副ネットワークシステム１１に用いられる出力状態判定機能を有する学習済み並列ニューラルネットワークシステム４１に関しては、前記入力エレメント位置変換器１３によって前記学習入力データのエレメントの位置を入れ換えた新たな変換学習入力データを用いて図６のニューラルネットワーク３０、３２からなる第２ニューラルネットワークシステムを学習させ、一方、主ネットワークシステム１０を構成する出力状態判定機能を有する学習済み並列ニューラルネットワークシステム４０に関しては、前記学習入力データを直接用いて図６のニューラルネットワーク３０、３２からなる第１ニューラルネットワークシステムを学習させる。従って、主及び副ネットワークシステム１０、１１の正答な出力信号を送出する入力データ領域、即ち汎化領域は、お互いに非常に大きくずれ、僅かしか重ならない。或いは、全く重ならない場合もある。
【００８０】
ここで、出力選択処理器１２では、主及び副ネットワークシステム１０、１１からそれぞれ送出された第１の２値教師信号に対応した２値出力信号を比較して、一致した場合、その出力状態判定信号の少なくとも何れかが正答判定ならば、その２値出力信号を最終出力信号として選択送出すると共に、正答判定信号を最終出力状態判定信号として送出する。また、それらの出力状態判定信号が全て誤答判定の場合には、そのまま誤答判定信号を最終出力状態判定信号として送出する。
【００８１】
また、全て一致しない場合、それらの出力状態判定信号の内、正答判定信号があれば、それに対応した２値出力信号を選択送出すると共に、最終出力状態判定信号として正答判定信号を送出する。ここで、全て正答判定信号があれば、特定の側の２値出力信号を選択送出する。同様に全て誤答判定信号となっていると、特定の側の２値出力信号を選択して誤答判定信号と共に送出する。
【００８２】
尚、一致しない場合に、出力信号の選択は同様であるが、最終出力状態判定信号として、不明判定信号を送出することもある。
【００８３】
これらの結果、従来技術の如く、２値出力信号の一致状態を単に検出して、多数決処理によりそれを選択送出するだけではなく、汎化領域がお互いに大きくずれたことに起因している２値出力信号の不一致状態に於ても、高い精度で正答判定されている２値出力信号を最終出力信号として選択送出することができることから、主及び副ネットワークシステム１０、１１の単体の汎化能力よりも大幅に高い汎化能力を持ち、而も非常に高精度の最終出力状態判定信号を送出する並列ニューラルネットワーク装置が実現できる。
【００８４】
尚、第１の実施形態では、並列ニューラルネットワークシステム４０、４１内で、図６の如く、２つの学習済みニューラルネットワークを入力に対して並列接続した場合の例を示したが、更に異なった変換２値教師信号に対して学習させた学習済みニューラルネットワークを更に並列接続し、２値化スレショルド回路及び出力変換器を同様に付加して、動作をさせても良い。これにより、より多くの出力状態推定結果と、それらの出力信号の一致／不一致検出状態とから出力状態判定を行なうことによって、更に精度の高い出力状態判定信号の送出とより正答な２値出力信号を選択送出することが出来、第１及び第２並列ニューラルネットワークシステム４０、４１としてのそれぞれの汎化能力の改善も同時に図れる。従って、このような出力状態判定機能を有する並列ニューラルネットワークシステムを用いた主及び副ネットワークシステム１０、１１の汎化能力も当然のことではあるが、更に改善されることとなる。
【００８５】
また、図６に於て、ニューラルネットワーク３０を第１の教師信号で学習させたが、第１の教師信号から変換された新たな異なる変換教師信号を準備し、この変換教師信号を用いて学習させ、２値化スレショルド回路３１を介して、該変換教師信号から第１の教師信号へ逆変換する出力変換器を新たに接続し、その出力を出力状態判定選択処理器３５に入力してもよい。即ち、ニューラルネットワーク３２に関連した同様な構成にし、出力変換器３４を全てのニューラルネットワークシステム内に用いてもよい。ここで、重要なことは出力状態判定選択処理器３５に於て、選択送出される為に入力される出力信号は、どちらも第１の教師信号に相当する出力信号であることである。
【００８６】
尚、ここでは、最終出力信号として、２値出力信号或いは変換２値出力信号を選択送出したが、並列ニューラルネットワークシステム内のニューラルネットワーク３０、３２からの出力層出力信号でもよい。この場合には、出力状態判定選択処理器３５に於て、２値出力信号の代わりに対応した出力層出力信号を選択し、出力信号として送出すればよい。また、２値或いは多値化スレショルド回路を用いず、直接出力層出力信号だけを用いて出力選択する場合には、出力層出力信号を変換して第１の教師信号に相当する出力層出力信号になるような出力変換器を構成する必要がある。例えば、第１の教師信号の値を０及び１とすると、出力変換が必要な出力層ユニットでの出力層出力信号に於て、０、１の反転の如く、０.９は０.１に、０.１は０.９に変換すればよい。即ち、出力変換器として、正の整数からなる多値教師信号の場合には、変換先教師信号が最大及び最小の多値教師信号以外の時は、変換先教師信号の各エレメントに出力層出力信号エレメントの誤差を加算した値を変換出力層出力信号エレメントとし、最大の変換先教師信号では、変換先教師信号各エレメントから出力層出力信号エレメントの誤差を減算した値を、最小の変換先教師信号では、変換先教師信号各エレメントに出力層出力信号エレメントの誤差を加算した値をそれぞれ変換出力層出力信号エレメントとして求める。更に、出力状態判定選択処理器３５及び出力選択処理器１２では、これらの出力信号に対して、一致／不一致検出処理手段による一致／不一致検出をする場合に、上記の説明の如く２値出力信号と変換２値信号とを用いてもよいが、全ての出力層ユニットで、その振幅差がある範囲内にあれば、一致したとして処理すれば、２値出力信号の場合と同様に処理することも出来る。
【００８７】
（第２の実施形態）
本発明の第２の実施形態としての並列ニューラルネットワーク装置の基本構成を図４に示す。
【００８８】
主ネットワークシステム１０と、二つの副ネットワークシステム１１、１５と、入力変換器１７、１８と、出力選択処理器１６とから構成される。
【００８９】
主ネットワークシステム１０は、出力状態判定機能を有する並列ニューラルネットワークシステム４０から構成され、副ネットワークシステム１１及び１５は、それぞれ入力変換器１７、１８を前段に直列接続した出力状態判定機能を有する並列ニューラルネットワークシステム４２及び４３からそれぞれ構成され、主ネットワークシステム１０にそれぞれ並列接続する。ここで、主ネットワークシステム１０と副ネットワークシステム１１及び１５内の並列ニューラルネットワークシステムは、第１の実施形態の図１に示す並列ニューラルネットワークシステムと同じ構成であり、２値出力信号とそれに対応した出力状態判定信号とを送出する。従って、これらの構成と動作についての詳細な説明は省略する。
【００９０】
入力変換器１７、１８はぞれぞれ互いに異なった変換則を有しており、第１の実施形態における入力エレメント位置変換器１３と同じような変換則を用いても良い。また、入力データが２値や多値の場合には、少なくとも一部のエレメントを反転（コンプリメント）する変換則を用いても良い。更に、連続値の場合には、少なくとも一部のエレメントに対して、入出力が一対一の関係を持つ特定の関数を変換則として用いて、その出力を利用してもよい。例えば、関数として、回転など座標変換を行う関数を用いてもよい。
【００９１】
出力選択処理器１６は、主ネットワークシステム１０と副ネットワークシステム１１、１５とから、それぞれの出力状態判定信号と２値出力信号とを入力し、最終出力信号の選択送出とそれに対応した最終出力状態判定信号とを送出する。ここで、出力信号としての２値出力信号の一致状態が検出された場合、それらの出力状態判定信号の内、正答判定信号があれば、最終出力信号として、その一致した２値出力信号を送出すると共に、最終出力状態判定信号として、正答判定信号を送出する。また、一致した２値出力信号の出力状態判定信号が全て誤答判定信号の場合に、その他の出力状態判定信号も正答判定信号でなければ、最終出力状態判定信号として、誤答判定信号を送出する。正答判定信号があれば、その２値出力信号を選択送出し、正答判定信号を送出する。このような出力選択と出力状態判定の一例を表２にまとめて示す。表２では、二つの２値出力信号が一致し、それらの出力状態判定信号が正答判定と誤答判定とに別れた場合、一致したことを重視し、而も片方が正答判定信号であることから、一致した２値出力信号を選択送出し、正答判定信号を送出しているが、ここで、その他の２値出力信号の出力状態判定信号が正答判定信号であれば、最終出力信号として、これを選択送出し、最終出力状態判定信号を正答判定信号としてもよい。
【００９２】
【表２】
一般に、主ネットワークシステムと２つ以上の副ネットワークシステムを用いた場合には、２値出力信号の何れかが一致すると、最も数多く一致した２値出力信号に於て、それらの出力状態判定信号の少なくとも何れかが正答判定ならば、一致した２値出力信号を最終出力信号として選択送出し、正答判定信号を最終出力状態判定信号として送出する。しかしながら、これらが全て誤答判定の場合には、次に多く一致した２値出力信号に対して、正答判定信号があれば、その２値出力信号を選択送出し、正答判定信号を最終出力状態判定信号とする。順次、一致数の少ない２値出力信号に対して以上の選択処理を行う。ここで、一致数が同一で異なる２値出力信号が存在する場合には、正答判定信号の多い方の２値出力信号を選択送出すればよい。また、それらが同一個数ならば、それらの中の特定のネットワークシステムの２値出力信号を選択送出すればよい。全ての２値出力信号が異なり、一致しない場合には、その中で正答判定信号を持つ２値信号があれば、それを選択出力し、最終出力状態信号として正答判定信号を送出する。この時、正答判定信号が複数個ある場合には、それらの中の何れか、或いは特定のネットワークシステムの２値出力信号を最終出力信号として選択送出し、正答判定信号を送出する。全て誤答判定信号であれば、同然のことではあるが、それらの中の何れか、或いは特定のネットワークシステムの２値出力信号を選択出力し、誤答判定信号を送出する。
【００９４】
適用分野によっては、全て一致しない場合、或いは全て誤答判定信号を持つ２値出力信号しかない場合には、最終出力状態信号として不明判定信号を送出する場合もある。また、特定のネットワークシステムの２値出力信号を選択送出する場合に、その出力状態判定信号を不明判定信号とする場合もある。
【００９５】
尚、当然のことではあるが、複数個の正誤答判定信号と複数個の２値出力信号の一致／不一致検出状態とを基にした、最終出力信号及び最終出力状態判定信号の選択処理は、上記に記載の論理に限る必要はなく、それぞれ具体的なアプリケーションに応じて決定されるものである。
【００９６】
上記のような２個以上の複数個の副ネットワークシステムを用いた最終出力信号及び最終出力状態判定信号の選択により、汎化能力を大きく改善できると共に、精度の非常に高い最終出力状態判定信号を得ることが出来る。
【００９７】
（第３の実施形態）
第３の実施形態を図５に示す。第２の実施形態では、主及び副ネットワークシステム１０、１１、１５からの出力選択処理器２３への出力として、２値出力信号と出力状態判定信号とを送出させているが、本実施形態では、図５のように、主及び副ネットワークシステム２０、２１、２２内に用いている並列ニューラルネットワークシステム４３、４４、４５からの夫々の出力として、２値出力信号と出力状態判定信号と、これらの他にその２値出力信号に対応した中間層出力距離、或いは更にその中間層出力距離スレショルドをも併せて送出させる。
【００９８】
これにより、主及び副ネットワークシステム２０、２１、２２からも、それぞれ２値出力信号とそれに対応した中間層出力距離、或いは更にその中間層距離スレショルドとをそれぞれ出力させることができ、出力状態判定信号と合わせて出力させ、出力選択処理器２３に入力する。
【００９９】
出力選択処理器２３に於て、最も数多く一致した２値出力信号に関して、それらの出力状態判定信号の少なくとも何れかが正答判定ならば、正答判定信号を最終出力状態判定信号として送出し、その２値出力信号を最終出力信号として選択送出する。この時、これらのいずれかの中間層出力距離がある一定以上大きいか、或いは中間層出力距離スレショルドよりある一定以上大きい、誤答判定信号を持つ２値出力信号があれば、誤答の２値出力信号であると判断し、正答判定信号があっても選択送出しない。全て誤答判定信号である場合も併せて、次に数多く一致した２値出力信号に対する出力選択処理に移る。ここで、正答判定信号があれば、その２値出力信号を選択送出し、正答判定信号を最終出力状態判定信号とする。この時も同様に、これらの何れかの中間層出力距離がある一定以上大きい場合、或いは中間層出力距離スレショルドよりある一定以上大きい、誤答判定信号を持つ２値出力信号があれば、誤答の２値出力信号であると判断し、正答判定信号があっても選択送出しない。このような出力選択処理を順次繰り返す。
【０１００】
一致した２値出力信号のブループが結果的に全て誤答の２値出力信号である場合には、一致していない２値出力信号の中で、正答判定信号を持つ２値出力信号があればそれを選択送出し、最終出力状態信号として正答判定信号を送出する。この時、複数個の正答判定信号がある場合には、最も小さい中間層出力距離を持った２値出力信号を、或いは対応した中間層出力距離スレショルドから最も離れ小さい中間層出力距離を持った２値出力信号を選択送出する。
【０１０１】
また、同一個数の２値出力信号が一致した複数個の組が存在した場合には、正答判定信号の多い方の２値出力信号を選択送出する。その個数が同じ場合には、小さい中間層出力距離を持った２値出力信号が存在する組の方を、或いは対応した中間層出力距離スレショルドから最も離れ小さい中間層出力距離を持った２値出力信号が存在する組の方を、より正答な２値出力信号であると見做して選択送出する。
【０１０２】
更に、全ての２値出力信号が不一致状態の場合には、正答判定信号があれば、それに対応した２値出力信号と正答判定信号とを最終出力信号及び最終出力状態判定信号として送出する。但し、複数個の正答判定信号があれば、最も小さい中間層出力距離を持った２値出力信号を、或いは対応した中間層出力距離スレショルドから最も離れ小さい中間層出力距離を持った２値出力信号を選択送出する。即ち、より正答な２値出力信号を選択する。また、全て誤答判定信号の場合にも、最も小さい中間層出力距離を持った２値出力信号を、或いは対応したテスト中間層出力距離スレショルドに最も近い中間層出力距離を持った２値出力信号を選択送出し、誤答判定信号を送出する。即ち、誤答ではあるが、その中で最も正答に近い２値出力信号を選択する。
【０１０３】
上記の如く、出力状態判定信号と、２値出力信号間の一致／不一致検出状態と、中間層出力距離、或いは更に中間層出力距離スレショルドとを用いて、常に正答に近い２値出力信号を選択して、最終出力信号として選択送出することにより、汎化能力を大幅に改善出来、また非常に精度の高い最終出力状態判定信号を得ることができる。
【０１０４】
尚、当然のことではあるが、出力状態判定信号と２値出力信号の一致／不一致検出状態と中間層出力距離と、或いは更に中間層出力距離スレショルドとを基にした、最終出力信号とそれに対応した最終出力状態判定信号の選択処理は、上記に記載の論理に限る必要はなく、それぞれ具体的なアプリケーションに応じて選択論理及び判定論理が決定されるものである。
【０１０５】
従来技術では、単に２値出力信号間での多数決論理或いは一致論理を満足すれば、これを正答と見做して、最も数多く一致した２値出力信号を最終出力信号として選択送出しているだけである。従って、汎化能力の改善が小さい。このことから数多くのニューラルネットワークを並列接続する必要がある。
【０１０６】
一方、本発明の並列ニューラルネットワーク装置に於ける出力選択処理器１２、１６、２３では、上記の如く、主及び副ネットワークシステム１０、１１、１５、２０、２１、２２からの２値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致検出状態と、それらの出力状態判定信号内の少なくとも正答判定信号の有無、或いは更に中間層出力距離や中間層出力距離スレショルドとを用いて、最終出力信号の選択と、その最終出力状態信号を送出している。これにより、汎化能力の大幅な改善と非常に精度の高い最終出力状態判定信号を得ることが出来る。
【０１０７】
このように、単に２値出力信号の一致度だけでなく、各主及び副ネットワークシステム１０、１１、１５、２０、２１、２２の内部状態から得られた出力状態判定信号や中間層出力距離をも用いて、正答な２値出力信号を選択送出することから、結果的に少ないニューラルネットワークを用いて汎化能力を大幅に改善することが出来る。
【０１０８】
ここで、上記の実施形態に於て、第１の２値教師信号から変換して得られたそれぞれ異なった変換２値教師信号を用いて並列ニューラルネットワークシステム内の全てのニューラルネットワークを学習させてもよい。但し、この場合には、全てのニューラルネットワークには、それぞれの変換２値教師信号を第１の２値教師信号に逆変換する出力変換器を後段に従属接続する必要がある。
【０１０９】
また、第１の教師信号から変換して得られたそれぞれ異なる変換教師信号は、出力変換器３４に於て第１の教師信号に逆変換することができれば如何なる変換則によって得られたものでもよい。
【０１１０】
また、本発明の実施形態では、学習済みニューラルネットワーク３０、３２として２値教師信号を用いて学習させた場合の例について説明したが、３値以上の多値教師信号を用いて学習させたものを用い、２値化スレショルド回路に代わりそれぞれ多値化スレショルド回路を用い、多値教師信号による学習済みニューラルネットワークを用いて学習入力データに対する学習中間層基準出力信号と中間層出力距離スレショルド、更にはテスト内正答出力余裕領域を得、これらを前記出力状態判定選択処理器３５に予め格納してもよい。中間層出力距離の距離計算手段に於ては、ハミング距離計算を例に挙げたが、中間層出力信号と学習中間層基準出力信号とによるユークリッド距離を用いても良い。更に、多値教師信号の場合には、多値出力信号間の距離を測るリー距離計算を用いてもよい。
【０１１１】
並列ニューラルネットワークシステム４０、４１、４２、４３、４４及び４５では、出力信号として、上記のような離散的な出力信号を用いたが、この代わりに出力層出力信号を用いてもよい。この場合には、図６の出力状態判定選択処理器３５において、２値出力信号や多値出力信号の一致／不一致を検出する一致／不一致検出処理手段の代わりに、各出力層ユニットに於て、出力層出力信号エレメント間の差がお互いにある範囲内であれば、一致とみなす一致／不一致検出処理手段を用いて出力状態判定選択処理を行ってもよい。この場合には、当然のことではあるが、出力変換器３４としては、変換教師信号を第１の教師信号に逆変換する変換則を有し、出力層出力信号エレメントの連続値を第１の教師信号のエレメントに対応した連続値に変換すればよい。更に、図１、４及び５の出力選択処理器１２、１６、２３に於ても、２値出力信号や多値出力信号の一致／不一致を検出する一致／不一致検出処理手段の代わりに、各出力層ユニットに於て、出力層出力信号エレメント間の差がお互いにある範囲内であれば、一致とみなす一致／不一致検出処理手段を用いて出力選択処理を行い、最終出力信号として出力層出力信号を送出してもよい。一致と見做された出力層出力信号の内、複数の正答判定信号がある場合には、最も第１の教師信号に近い出力層出力信号を、最終出力信号として選択送出すればよい。
【０１１２】
尚、図６のニューラルネットワーク３０、３２に於て、中間層出力距離比較とテスト内正答出力余裕領域比較とを用いて、入力データに対応した２値出力信号、或いは出力層出力信号の出力状態推定を行ったが、出力状態推定ができれば、これらのパラメータに限るものではない。
【０１１３】
また、これらのニューラルネットワークとして、多層ニューラルネットワークを前提に説明したが、教師信号を用いて学習するニューラルネットワークであればよい。また、学習方法としては、バックプロパゲーション法を例に説明したが、教師信号を用いた学習ならば、いずれの学習アルゴリズムでもよい。
【０１１４】
また、ニューラルネットワークとしてローカルミニマム状態に収束させたものを用いてもよい。しかしながら、その汎化能力はグローバルミニマム状態で収束した場合より劣化することから、出力状態判定に於ける判定精度も若干劣化する。
【０１１５】
以上説明したように、従来技術では、学習の際に種々の異なる結合重み係数の初期値設定を行ない異なったローカルミニマムに収束させて汎化領域をずらす為の試行錯誤や、多数決出力選択の際の２値出力信号の一致状態が出来るだけ多く検出できるよう汎化領域をずらす為の最適な非線形変換の試行錯誤が必要であり、また、数多くのニューラルネットワークを必要とすることから、その作業量並びに演算量が膨大となる。
【０１１６】
一方、本発明の並列ニューラルネットワーク装置では、並列ニューラルネットワークシステムに於て、それぞれ異なる教師信号を用いて学習しており、而もグローバルミニマムに収束していることから、汎化能力も高く安定であり、汎化領域も広く而も簡単且つ適度にずらすことができる。従って、出力信号の一致／不一致検出状態と出力状態推定とを利用した出力状態判定選択処理を行うことにより、精度の高い出力判定信号を送出することが出来る。
【０１１７】
更に、簡単な変換則を持った入力変換器１３、１７、１８を上記の並列ニューラルネットワークシステムの入力段に直列接続した副ネットワークシステム１１、１５、２１、２２を入力データに対して並列接続することによって、それらの汎化領域をお互いに大幅にずらすことが出来、出力選択処理器１２、１６、２３に於て、出力信号の一致／不一致検出状態と精度の高い出力状態判定信号とを用いることにより、特に互いに不一致状態の出力信号の中からも正答な出力信号を最終出力信号として選択送出することができることから、並列ニューラルネットワーク装置の汎化能力は非常に高くなる。また、精度の高い安定した最終出力状態判定信号を送出することもできる。
【０１１８】
このように、ニューラルネットワークの内部状態を利用した出力状態推定機能や出力状態判定機能と出力信号の一致／不一致検出機能とを利用することにより、少ない数のニューラルネットワークの並列接続を用いて汎化能力の改善や、精度の高い出力状態判定ができ、而も、並列ニューラルネットワークシステムや主及び副ネットワークシステムの汎化領域のずれに関する試行錯誤も不要である。
【０１１９】
尚、これまで、出力状態判定信号や最終出力状態判定信号として、正答判定信号或いは誤答判定信号を送出する場合について説明をしたが、正答判定信号以外に、不明判定信号を、或いは誤答判定信号と不明判定信号とを扱ってもよい。例えば、実施形態１及び２における出力状態判定選択処理器３５で、誤答を不明として扱っても良い。適用分野に応じて、少なくとも正答判定を表わすことができる判定論理を設け、出力状態判定信号を準備すればよい。
【０１２０】
また、中間層出力距離に関して、ニューラルネットワークの内部状態の比較条件パラメータとしての中間層出力距離を中心に、正答或いは誤答推定の区分けを行っているが、中間層出力距離スレショルドの近傍領域をファジー論理などにより、曖昧性を考慮した正誤答推定を行っても良いし、不明推定とすることにより、正答判定及び誤答判定の他に不明判定を設け、不明判定信号を送出してもよい。また、正確な正答判定や誤答判定を要求するシステムでは、出力選択処理器１２、１６、２３に於て正答判定信号及び誤答判定信号がそれぞれ一定個数以上入力されない場合、出力選択送出は同様に行うものの、最終出力状態判定信号として不明判定信号を送出するなどしてもよい。
【０１２１】
尚、副ネットワークシステムが１個或いは２個の場合について図を用いて説明したが、当然のことではあるが、これ以上用意してもよい。
【０１２２】
また、本発明の実施形態では、主ネットワークシステム１０、２０内には、入力変換器を用いていないが、これは、主ネットワークシステム１０、２０に入力される入力データを基準入力データとして、直接用いた場合である。副ネットワークシステム１１、２１、２２内の各入力変換器は、この基準入力データからの変換を意味する。従って、入力データとしての基準入力データをそれぞれ異なった変換入力データに変換する入力変換器を主ネットワークシステム内の並列ニューラルネットワークシステムの前段に導入することも当然できる。この場合には、全て副ネットワークシステムを用いることと等価である。
【０１２３】
上記の実施形態では、最終出力信号を選択送出すると共に、最終出力状態判定信号を送出することを前提に説明したが、最終出力信号だけを選択送出してもよい。
【０１２４】
また、並列ニューラルネットワークシステムにおいて、誤答と判定された未知入力データに対しては、正しい教師信号の対応づけを行ない、学習入力データに追加して、並列接続されているそれぞれの学習済みニューラルネットワークの結合重み係数を追加学習させた新たな結合重み係数で置き換え、並列ニューラルネットワークシステムを構成することにより、並列ニューラルネットワーク装置の汎化能力と最終出力状態判定信号における正答判定能力を一段と向上させることも簡単に出来る。
【０１２５】
【発明の効果】
以上述べたように、従来技術の汎化能力を改善する為の並列ニューラルネットワーク装置では、異なった結合重み係数の初期値を設定し学習させ、ローカルミニマムに収束した複数個の学習済みニューラルネットワークを入力データに対して並列接続し、それらの出力信号の単純な多数決処理による一致出力選択を行うことにより、入力データに対する汎化能力の改善を図っている。即ち、学習済みニューラルネットワークの出力信号間で、少なくともいずれか２つ以上が一致すると、正答な出力信号とみなして選択し送出するよう構成している。
【０１２６】
しかしながら、この方法による汎化領域のずれは、結合重み係数の初期値は無論のこと、学習入力データ、教師信号やニューラルネットワークの構成によって異なり、汎化能力改善の為には多くの試行錯誤が必要となる。また、改善が得られる為には、これらのニューラルネットワーク単体での汎化能力がもともと高いことが前提条件として必要であると共に、改善の為には少なくとも数１０個の数多くのニューラルネットワークを必要とする。
【０１２７】
また、汎化領域をずらす他の従来技術の方法として、入力データを異なった新たな変換入力データに変換する入力変換器を前段に接続した学習済みニューラルネットワークを並列接続する方法があるが、同様に従来の様な多数決処理による出力選択を行う為には、汎化領域をある程度一致させる必要があり、必要以上に大幅なずれが発生した場合には、汎化能力の改善が余り出来ない。従って、相互に余り大幅なずれが発生しないよう入力変換則の試行錯誤も必要となる。また、同様にこのような入力変換器を持った学習済みニューラルネットワークの並列接続が数多く必要となる。
【０１２８】
これらの理由から、入力変換器として自由な変換則が実現できるニューラルネットワークを用いているが、入力変換器としてのニューラルネットワークの利用の際には、変換誤りのない所望の変換則の実現や１対１の入力変換則（汎化能力を持たない）を実現させる必要もあり、設計に困難が伴い、而も演算量も膨大となる更なる問題が生じる。
【０１２９】
また、これらのいずれの従来技術でも、出力信号間だけの単に多数決論理を用いて出力信号を選択していることから、汎化能力の改善の為には、原理的に数１０個の数多くの並列ニューラルネットワークシステムを必要とし、それらの演算量は膨大である。
【０１３０】
一方、本発明に於て用いている出力状態判定機能を有した並列ニューラルネットワークシステム内では、それぞれ異なった教師信号を用いて学習を行ないグローバルミニマムに収束させ、汎化領域がお互いに適度にずれた学習済みニューラルネットワークを簡単に得ており、これらを入力データに対して並列に接続し、更にこれらの出力信号間の一致／不一致検出状態と出力状態推定結果とから、出力状態判定を行ない高精度に正答な出力信号を選択送出している。従って、この並列ニューラルネットワークシステムとしては、数少ないニューラルネットワークを用いて、単体の汎化能力より高い汎化能力を持ち、而も安定した高い精度の出力状態判定信号と正答な出力信号とを簡単に選択送出することができる。
【０１３１】
このような並列ニューラルネットワークシステムを基に、主及び副ネットワークシステムを構成し、特に副ネットワークシステムでは、簡単な入力変換器を入力段に従属接続させ、変換された新たな変換学習入力データに対して並列ニューラルネットワークシステムを学習させることにより、その汎化領域を他のものとお互いに大幅にずらしている。このような状況下で、並列接続された主及び副ネットワークシステムからの出力状態判定信号としての正答判定信号の有無と出力信号間の一致／不一致検出状態とを用いて、最終出力信号を選択送出し、それに対応した最終出力状態判定信号を送出することから、非常に高い汎化能力と、高い精度の最終出力状態判定信号を持った並列ニューラルネットワーク装置が簡単に実現できる。
【０１３２】
また、従来技術のように異なる結合重み係数初期値を用いた学習済みニューラルネットワークや非線形入力変換器の汎化能力改善の為の試行錯誤や、汎化能力改善の為の出力信号間の多数決処理に伴う数多くの並列ニューラルネットワークシステムを必要とせず、簡単に設計でき、構成も簡単なことから、それらの演算処理量も非常に少ない。
【０１３３】
従って、本発明の並列ニューラルネットワーク装置をパターン認識等に適用した際、未知入力データに対して多くの正答な出力信号を送出することができる高い汎化能力を与えるだけでなく、その出力信号に対する信頼度の高い出力状態判定信号が得られる。
【０１３４】
これらの結果から、従来技術では実現が困難であった、非常に高い汎化能力が要求される大規模ニューラルネットワーク装置に対しても、本発明の並列ニューラルネットワーク装置を適用することにより、試行錯誤のない簡単な設計と大幅に少ない演算量のもとに実現することが出来る。従って、非常に高性能な正誤答判定能力や非常に高い汎化能力が要求される電力制御に於ける人口知能システムや各種情報検索システム、画像処理システム、更には、ネットワーク障害情報などを処理するインターネットなどに於ける通信処理システムなどへの幅広い応用ができるなど、非常にその効果は大きい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における出力状態判定機能を有した並列ニューラルネットワーク装置の一構成例である。
【図２】従来技術よる第１の並列ニューラルネットワーク装置である。
【図３】従来技術よる第２の並列ニューラルネットワーク装置である。
【図４】本発明の第２の実施形態における並列ニューラルネットワーク装置の一構成例である。
【図５】本発明の第３の実施形態における主及び副ネットワークシステムが中間層出力距離も送出する場合の並列ニューラルネットワーク装置の一構成例である。
【図６】本発明の第１、第２及び第３の実施形態における主及び副ネットワークシステム内で用いられる出力状態判定機能を有する並列ニューラルネットワークの一構成例である。
【符号の説明】
１ ニューラルネットワーク
２ ニューラルネットワーク
３ ニューラルネットワーク
４ 多数決出力選択器
５ 入力端子
６ 出力端子
７ 非線形入力変換器（入力変換ニューラルネットワーク）
８ 非線形入力変換器（入力変換ニューラルネットワーク）
１０ 主ネットワークシステム
１１ 副ネットワークシステム
１２ 出力選択処理器
１３ 入力エレメント位置変換器
１４ 出力状態判定出力端子
１５ 副ネットワークシステム
１６ 出力選択処理器
１７ 入力変換器
１８ 入力変換器
２０ 主ネットワークシステム
２１ 副ネットワークシステム
２２ 副ネットワークシステム
２３ 出力選択処理器
３０ ニューラルネットワーク
３１ ２値化スレショルド回路
３２ ニューラルネットワーク
３３ ２値化スレショルド回路
３４ 出力変換器
３５ 出力状態判定選択処理器
３６ 第１ニューラルネットワークシステム
３７ 第２ニューラルネットワークシステム
４０ 第１並列ニューラルネットワークシステム
４１ 第２並列ニューラルネットワークシステム
４２ 第２並列ニューラルネットワークシステム
４３ 第１並列ニューラルネットワークシステム
４４ 第２並列ニューラルネットワークシステム
４５ 第２並列ニューラルネットワークシステム
Claims (16)
- 出力状態判定機能を有する第１並列ニューラルネットワークシステム４０を少なくとも有する主ネットワークシステム１０と、
入力データを変換する入力変換手段１３と、該入力変換手段１３を前段に直列接続した、出力状態判定機能を有する第２並列ニューラルネットワークシステム４１とを有する、一つ以上の副ネットワークシステム１１と、
出力選択処理手段１２とを
具備し、
前記主ネットワークシステム１０と、前記一つ以上の副ネットワークシステム１１とを夫々前記入力データに対して並列接続し、
前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からそれぞれ送出される前記入力データに対する出力信号と、同じくそれぞれ送出される少なくとも正誤答判定を示すことができる出力状態判定信号とを少なくとも前記出力選択処理手段１２に入力し、
該出力選択処理手段１２にて、それぞれの該出力信号と該出力状態判定信号とを少なくとも用いて、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からの何れかの該出力信号を最終出力信号として選択送出する
ことを特徴とする並列ニューラルネットワーク装置。 - 入力データを変換する入力変換手段１３と、該入力変換手段１３を前段に直列接続した、出力状態判定機能を有する第１並列ニューラルネットワークシステム４０とからなる、主ネットワークシステム１０と、
該入力データを変換する変換則が夫々互いに異なる入力変換手段１３と、該入力変換手段１３を前段に直列接続した、出力状態判定機能を有する第２並列ニューラルネットワークシステム４１とからなる、一つ以上の副ネットワークシステム１１と、
出力選択処理手段１２とを
具備し、
前記主ネットワークシステム１０と、前記一つ以上の副ネットワークシステム１１とを夫々前記入力データに対して並列接続し、
前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からそれぞれ送出される前記入力データに対する出力信号と、同じくそれぞれ送出される少なくとも正誤答判定を示すことができる出力状態判定信号とを少なくとも前記出力選択処理手段１２に入力し、
該出力選択処理手段１２にて、それぞれの該出力信号と該出力状態判定信号とを少なくとも用いて、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からの何れかの該出力信号を最終出力信号として選択送出する
ことを特徴とする並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０に於て、
学習入力データと第１の教師信号とを用いて学習したニューラルネットワーク３０と、
該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１と
からなる第１ニューラルネットワークシステム３６と、
前記学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、１つ以上の第２ニューラルネットワークシステム３７と、
前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、
前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する該出力状態判定選択処理手段３５と
から構成され、
前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力データに対して並列接続し、
前記第２並列ニューラルネットワークシステム４１に於て、
前記学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号とを用いて学習したニューラルネットワーク３０と、
該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１とから構成された第３ニューラルネットワークシステム３６と、
前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、１つ以上の第４ニューラルネットワークシステム３７と、
前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、
前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、
前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する
ことを特徴とする請求項１に記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０に於て、
学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、二つ以上の第５ニューラルネットワークシステム３７と、
前記二つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
それぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力データに対して並列接続し、
前記第２並列ニューラルネットワークシステム４１に於て、
前記入力変換手段１３により前記学習入力データから変換された変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、二つ以上の第６ニューラルネットワークシステム３７と、
前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
それぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する
ことを特徴とする請求項１に記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０に於て、
学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、
該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１と
からなる第１ニューラルネットワークシステム３６と、
前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、一つ以上の第２ニューラルネットワークシステム３７と、
前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、
前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続し、
前記第２並列ニューラルネットワークシステム４１に於て、
学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、
該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１と
からなる第３ニューラルネットワークシステム３６と、
前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、一つ以上の第４ニューラルネットワークシステム３７と、
前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、
前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの該多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換多値出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する
ことを特徴とする請求項２に記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０に於て、
学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、２つ以上の第５ニューラルネットワークシステム３７と、
前記２つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
それぞれの該変換多値出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続し、
前記第２並列ニューラルネットワークシステム４１に於て、
学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
該多値化スレショルド手段３３に従属接続され、前記変換教師信号から前記第１の教師信号への逆変換則を有し、該多値出力信号を変換して得た変換多値出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、二つ以上の第６ニューラルネットワークシステム３７と、
前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
それぞれの前記出力変換手段３４からの該変換多値出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
それぞれの該変換多値出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する
ことを特徴とする請求項２に記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０に於て、
学習入力データと第１の教師信号とを用いて学習したニューラルネットワーク３０と、
該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、前記出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１と
からなる第１ニューラルネットワークシステム３６と、
前記学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、前記出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、１つ以上の第２ニューラルネットワークシステム３７と、
前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、
前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
前記第１ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
前記第１ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、
前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力データに対して並列接続し、
前記第２並列ニューラルネットワークシステム４１に於て、
前記学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号とを用いて学習したニューラルネットワーク３０と、
該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１と
から構成された第３ニューラルネットワークシステム３６と、
前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、１つ以上の第４ニューラルネットワークシステム３７と、
前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、
前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
前記第３ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
前記第３ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、
前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する
ことを特徴とする請求項１に記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０に於て、
学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、二つ以上の第５ニューラルネットワークシステム３７と、
前記二つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
それぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力データに対して並列接続し、
前記第２並列ニューラルネットワークシステム４１に於て、
前記入力変換手段１３により前記学習入力データから変換された変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、二つ以上の第６ニューラルネットワークシステム３７と、
前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
それぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する
ことを特徴とする請求項１に記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０に於て、
学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、
該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１と
からなる第１ニューラルネットワークシステム３６と、
前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、一つ以上の第２ニューラルネットワークシステム３７と、
前記第１ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、
前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
前記第１ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
前記第１ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかから、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記第１ニューラルネットワークシステム３６と前記一つ以上の第２ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続し、
前記第２並列ニューラルネットワークシステム４１に於て、
学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号を用いて学習したニューラルネットワーク３０と、
該ニューラルネットワーク３０から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３１と
からなる第３ニューラルネットワークシステム３６と、
前記変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを該出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、一つ以上の第４ニューラルネットワークシステム３７と、
前記第３ニューラルネットワークシステム３６内の前記ニューラルネットワーク３０からの少なくとも前記中間層出力信号と、
前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
前記第３ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
前記第３ニューラルネットワークシステム３６からの該出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの該変換出力層出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記第３ニューラルネットワークシステム３６と前記一つ以上の第４ニューラルネットワークシステム３７とを前記入力変換手段１３により変換された変換入力データに対して並列接続する
ことを特徴とする請求項２に記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０に於て、
学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、２つ以上の第５ニューラルネットワークシステム３７と、
前記２つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
それぞれの該変換出力層出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記二つ以上の第５ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続し、
前記第２並列ニューラルネットワークシステム４１に於て、
学習入力データから前記入力変換手段１３を介して得られた変換学習入力データと前記第１の教師信号から変換して得られた異なる変換教師信号とを用いて学習したニューラルネットワーク３２と、
該ニューラルネットワーク３２から出力層出力信号と中間層出力信号とを出力状態判定選択処理手段３５に送出し、該出力層出力信号に対して接続され、多値出力信号を該出力状態判定選択処理手段３５に送出する多値化スレショルド手段３３と、
前記変換教師信号から前記第１の教師信号への逆変換則を有し、該出力層出力信号を変換して得た変換出力層出力信号を該出力状態判定選択処理手段３５に送出する出力変換手段３４と
からなる、二つ以上の第６ニューラルネットワークシステム３７と、
前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記ニューラルネットワーク３２からの少なくとも前記中間層出力信号と、
それぞれの前記出力変換手段３４からの該変換出力層出力信号間の一致／不一致検出処理手段を介して得た一致／不一致状態とを用いて、
それぞれの該変換出力層出力信号のいずれかを、該出力状態判定選択処理手段３５の出力信号として、選択送出すると共に、
該出力信号の少なくとも正誤答判定を示すことができる出力状態判定信号を送出する前記出力状態判定選択処理手段３５と
から構成され、前記二つ以上の第６ニューラルネットワークシステム３７を前記入力変換手段１３により変換された変換入力データに対して並列接続する
ことを特徴とする請求項２に記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、
前記第１ニューラルネットワークシステム３６に対応した第１比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、
予め蓄積されている第１学習中間層基準出力信号及び第１中間層出力距離スレショルドとを読み出し、
前記第１学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、
対応した前記第１中間層出力距離スレショルドと比較した第１中間層出力距離比較結果を少なくとも用いて、
前記第１ニューラルネットワークシステム３６からの前記出力信号の第１出力状態推定結果を得、
前記一つ以上の第２ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、
予め蓄積されている第２学習中間層基準出力信号と第２中間層出力距離スレショルドをそれぞれ読み出し、
対応した前記第２学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、
対応した前記第２中間層出力距離スレショルドと比較したそれぞれの第２中間層出力距離比較結果を少なくとも用いて、
前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第２出力状態推定結果を得、
前記第１出力状態推定結果と、
全ての前記第２出力状態推定結果と、
前記第１ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第２ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、
前記第１ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、
前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、
前記第３ニューラルネットワークシステム３６に対応した第３比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、
予め蓄積されている第３学習中間層基準出力信号及び第３中間層出力距離スレショルドとを読み出し、
前記第３学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、
対応した前記第３中間層出力距離スレショルドと比較した第３中間層出力距離比較結果を少なくとも用いて、前記第３ニューラルネットワークシステム３６からの前記出力信号の第３出力状態推定結果を得、
前記一つ以上の第４ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、
予め蓄積されている第４学習中間層基準出力信号と第４中間層出力距離スレショルドをそれぞれ読み出し、
対応した前記第４学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、
対応した前記第４中間層出力距離スレショルドと比較したそれぞれの第４中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第４ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第４出力状態推定結果を得、
前記第３出力状態推定結果と、
全ての前記第４出力状態推定結果と、
前記第３ニューラルネットワークシステム３６内の前記多値化スレショルド手段３１からの前記多値出力信号と前記一つ以上の第４ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、前記第３ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第４ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出する
ことを特徴とする請求項３及び５の何れか一つに記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、
前記二つ以上の第５ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、
予め蓄積されている第５学習中間層基準出力信号及び第５中間層出力距離スレショルドとをそれぞれ読み出し、
対応した前記第５学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、
対応した前記第５中間層出力距離スレショルドと比較したそれぞれの第５中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第５出力状態推定結果を得、
全ての前記第５出力状態推定結果と、前記二つ以上の第５ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、
前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、
前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、
前記二つ以上の第６ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号及び前記出力変換手段３４からの前記変換多値出力信号のいずれか一つを用いて、
予め蓄積されている第６学習中間層基準出力信号及び第６中間層出力距離スレショルドとをそれぞれ読み出し、
対応した前記第６学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、
対応した前記第６中間層出力距離スレショルドと比較したそれぞれの第６中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第６出力状態推定結果を得、
全ての前記第６出力状態推定結果と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換多値出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、
前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出する
ことを特徴とする請求項４及び６の何れか一つに記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム内の前記出力状態判定選択処理手段３５に於て、
前記第１ニューラルネットワークシステム３６に対応した第１比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、
予め蓄積されている第１学習中間層基準出力信号及び第１中間層出力距離スレショルドとを読み出し、
前記第１学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、
対応した前記第１中間層出力距離スレショルドと比較した第１中間層出力距離比較結果を少なくとも用いて、前記第１ニューラルネットワークシステム３６からの前記出力信号の第１出力状態推定結果を得、
前記一つ以上の第２ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、
予め蓄積されている第２学習中間層基準出力信号と第２中間層出力距離スレショルドをそれぞれ読み出し、
対応した前記第２学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、
対応した前記第２中間層出力距離スレショルドと比較したそれぞれの第２中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第２出力状態推定結果を得、
前記第１出力状態推定結果と、
全ての前記第２出力状態推定結果と、前記第１ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第２ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、
前記第１ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第２ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、
前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、
前記第３ニューラルネットワークシステム３６に対応した第３比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３１からの前記多値出力信号を用いて、
予め蓄積されている第３学習中間層基準出力信号及び第３中間層出力距離スレショルドとを読み出し、
前記第３学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、
対応した前記第３中間層出力距離スレショルドと比較した第３中間層出力距離比較結果を少なくとも用いて、前記第３ニューラルネットワークシステム３６からの前記出力信号の第３出力状態推定結果を得、
前記一つ以上の第４ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、
予め蓄積されている第４学習中間層基準出力信号と第４中間層出力距離スレショルドをそれぞれ読み出し、
対応した前記第４学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して、中間層出力距離をそれぞれ求め、
対応した前記第４中間層出力距離スレショルドと比較したそれぞれの第４中間層出力距離比較結果を少なくとも用いて、前記一つ以上の第４ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第４出力状態推定結果を得、
前記第３出力状態推定結果と、
全ての前記第４出力状態推定結果と、前記第３ニューラルネットワークシステム３６からの前記出力層出力信号と前記一つ以上の第４ニューラルネットワークシステム３７のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、
前記第３ニューラルネットワークシステム３６からの該出力信号及び前記一つ以上の第４ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出する
ことを特徴とする請求項７及び９の何れか一つに記載の並列ニューラルネットワーク装置。 - 前記第１並列ニューラルネットワークシステム４０内の前記出力状態判定選択処理手段３５に於て、
前記二つ以上の第５ニューラルネットワークシステム３７に対応したそれぞれの第２比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、
予め蓄積されている第５学習中間層基準出力信号及び第５中間層出力距離スレショルドとをそれぞれ読み出し、
対応した前記第５学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、
対応した前記第５中間層出力距離スレショルドと比較したそれぞれの第５中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第５出力状態推定結果を得、
全ての前記第５出力状態推定結果と、前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、
前記二つ以上の第５ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出し、
前記第２並列ニューラルネットワークシステム４１内の前記出力状態判定選択処理手段３５に於て、
前記二つ以上の第６ニューラルネットワークシステム３７に対応したそれぞれの第４比較条件パラメータ読み出し情報として、前記多値化スレショルド手段３３からの前記多値出力信号を用いて、
予め蓄積されている第６学習中間層基準出力信号及び第６中間層出力距離スレショルドとをそれぞれ読み出し、
対応した前記第６学習中間層基準出力信号と
前記中間層出力信号とを基に、ハミング距離、リー距離及びユークリッド距離の何れか一つの距離計算手段を介して中間層出力距離をそれぞれ求め、
対応した前記第６中間層出力距離スレショルドと比較したそれぞれの第６中間層出力距離比較結果を少なくとも用いて、前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの前記出力信号の第６出力状態推定結果を得、
全ての前記第６出力状態推定結果と、前記二つ以上の第６ニューラルネットワークシステム３７内のそれぞれの前記出力変換手段３４からの前記変換出力層出力信号間の前記一致／不一致検出処理手段を介して得た前記一致／不一致状態とを少なくとも用いて、
前記二つ以上の第６ニューラルネットワークシステム３７からのそれぞれの該出力信号の内から、該出力状態判定選択処理手段３５の前記出力信号として、選択送出すると共に、前記出力状態判定信号を送出する
ことを特徴とする請求項８及び１０の何れか一つに記載の並列ニューラルネットワーク装置。 - 前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１内のそれぞれの並列ニューラルネットワークシステムに於て、中間層出力距離信号をも送出し、前記主ネットワークシステム１０及び前記一つ以上の副ネットワークシステム１１からそれぞれの前記中間層出力距離信号を前記出力選択処理手段１２に入力し、
該出力選択処理手段１２にて、それぞれの前記出力信号と、前記出力状態判定信号と、前記中間層出力距離信号と前記出力信号間の一致／不一致状態とを少なくとも用いて、前記主ネットワークシステム１０及び前記副ネットワークシステム１１からの何れかの前記出力信号を最終出力信号として選択送出する
ことを特徴とする請求項１１から１４のいずれか一つに記載の並列ニューラルネットワーク装置。 - 前記出力選択処理手段１２にて、それぞれの前記出力信号と前記出力状態判定信号と前記出力信号間の一致／不一致状態とを少なくとも用いて、前記最終出力信号の少なくとも正誤答判定を示すことができる最終出力状態判定信号を送出する
ことを特徴とする請求項１から１５のいずれか一つに記載の並列ニューラルネットワーク装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000057263A JP3855580B2 (ja) | 2000-03-02 | 2000-03-02 | 並列ニューラルネットワーク装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000057263A JP3855580B2 (ja) | 2000-03-02 | 2000-03-02 | 並列ニューラルネットワーク装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001243210A JP2001243210A (ja) | 2001-09-07 |
| JP3855580B2 true JP3855580B2 (ja) | 2006-12-13 |
Family
ID=18578082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000057263A Expired - Lifetime JP3855580B2 (ja) | 2000-03-02 | 2000-03-02 | 並列ニューラルネットワーク装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3855580B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9336770B2 (en) * | 2013-08-13 | 2016-05-10 | Mitsubishi Electric Corporation | Pattern recognition apparatus for creating multiple systems and combining the multiple systems to improve recognition performance and pattern recognition method |
| JP6214073B2 (ja) * | 2017-03-16 | 2017-10-18 | ヤフー株式会社 | 生成装置、生成方法、及び生成プログラム |
| JP7479251B2 (ja) | 2020-09-08 | 2024-05-08 | 株式会社日立製作所 | 計算機システムおよび情報処理方法 |
| JP2022174984A (ja) * | 2021-05-12 | 2022-11-25 | オムロン株式会社 | 作業状態判定装置、方法、及びプログラム |
-
2000
- 2000-03-02 JP JP2000057263A patent/JP3855580B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001243210A (ja) | 2001-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Deep neural network for robust modulation classification under uncertain noise conditions | |
| JPH0310366A (ja) | 人工ニューラルネットワーク | |
| JP3328935B2 (ja) | 並列多値ニューラルネットワーク | |
| JP3675246B2 (ja) | 正誤答判定機能を有するニューラルネットワーク手段 | |
| JP3855580B2 (ja) | 並列ニューラルネットワーク装置 | |
| Wheeler et al. | Semantic communication with conceptual spaces | |
| JP3855665B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| Bravyi et al. | Generating $ k $ EPR-pairs from an $ n $-party resource state | |
| JP3891124B2 (ja) | 正誤答判定機能を有する並列ニューラルネットワーク手段 | |
| US5870728A (en) | Learning procedure for multi-level neural network | |
| JP3855582B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| JP3757722B2 (ja) | 多層ニューラルネットワークユニット数最適化方法及び装置 | |
| JP3277648B2 (ja) | 並列ニューラルネットワーク | |
| CN113517926A (zh) | 光性能监测方法、电子设备及计算机可读存储介质 | |
| JP4687199B2 (ja) | 連想記憶装置とそのソフトウェア | |
| JP3678071B2 (ja) | ニューラルネットワーク入力判別装置 | |
| JP2002358499A (ja) | ニューラルネットワーク教師信号割当て装置とそのプログラムを記憶した記憶媒体 | |
| Caudell et al. | Lateral priming adaptive resonance theory (LAPART)-2: innovation in ART | |
| WO2024123224A1 (en) | Hybrid quantum autoencoder for decoder in the physical layer | |
| JP4696529B2 (ja) | 多層ニューラルネットワーク装置とそのソフトウェア | |
| Lanthier et al. | Classification of backward filtrations and factor filtrations: examples from cellular automata | |
| US20230063344A1 (en) | Communication system, transmission apparatus, reception apparatus, matrix generation apparatus, communication method, transmission method, reception method, matrix generation method and recording medium | |
| Padhy et al. | Non-linear channel equalization using adaptive MPNN | |
| JP2004334671A (ja) | 多層ニューラルネットワーク学習方法 | |
| CN117454125A (zh) | 基于深度残差和多头自注意力的特征耦合信号识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060904 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |