JP3675246B2 - 正誤答判定機能を有するニューラルネットワーク手段 - Google Patents
正誤答判定機能を有するニューラルネットワーク手段 Download PDFInfo
- Publication number
- JP3675246B2 JP3675246B2 JP22919299A JP22919299A JP3675246B2 JP 3675246 B2 JP3675246 B2 JP 3675246B2 JP 22919299 A JP22919299 A JP 22919299A JP 22919299 A JP22919299 A JP 22919299A JP 3675246 B2 JP3675246 B2 JP 3675246B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- value
- neural network
- intermediate layer
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、パターン認識、データマイニング及び画像処理などの分野に適用可能なニューラルネットワークにおいて、学習済みのニューラルネットワークを用いて入力データを処理する際に、学習入力データやテスト入力データ以外の未知入力データが入力された場合にも、その出力が正しいか誤りか、即ち正答か誤答かを判定することができる正誤答判定機能を有したニューラルネットワーク手段に関するものである。
【０００２】
【従来の技術】
従来のニューラルネットワークには、文献 麻生英樹著、「ニューラルネットワーク情報処理」、産業図書出版などに示されているように、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。
【０００３】
特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが種々幅広く実用されている。ここでは、教師付き学習を行う多層ニューラルネットワークを例にとり、正答／誤答判定機能を有するニューラルネットワーク手段の従来技術について説明する。また、説明を簡単にする為に、パターン認識などに於て見られる２値教師信号を用いて学習させ、２値出力信号を送出させることとする。
【０００４】
先ず、多層ニューラルネットワークの学習処理の構成について説明する。図２は、３層ニューラルネットワークの学習処理の１構成例を示す。Ｎ個のユニットからなる入力層４、Ｐ個の出力ユニットからなる中間層５及びＭ個の出力ユニットからなる出力層６から構成される。
【０００５】
多層ニューラルネットワークへの入力データＩは、Ｉ１、Ｉ２、．．ＩＮの入力データエレメントを持ったベクトルから構成され、入力端子２を介してそれぞれ対応した入力層４の出力ユニットに入力された後、更に中間層５の各出力ユニット（隠れユニット）にそれぞれ重み付けされ出力される。中間層５では、入力層４の各出力ユニットからの重み付けされた出力の総和を入力とし、スレショルド値を差し引いた後、シグモイド関数と呼ばれる非線形入出力特性を持った関数を介して出力される。出力層６においても中間層５と同様な入出力処理が行われた後、各出力層出力ユニットからそれぞれ対応した出力信号をスレショルド回路１１を介して２値出力信号に変換し、２値出力端子３を介してニューラルネットワーク１の２値出力信号（２値出力信号エレメント、Ｐ１、Ｐ２、．．ＰＭ）として送出する。３層以上の多層の際にも、各層におけるそれぞれの出力ユニットは、入力側の隣接層の各ユニットの出力信号に重み付けをした後、それらの総和を入力として得、更にその入力からスレショルド値を差し引いた後、シグモイド関数などを介し出力層側の隣接層に出力信号を送出する。
【０００６】
このような多層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムがある。
【０００７】
本アルゴリズムを用いた学習過程では、重み係数に対して乱数などを用いて初期値設定した後、予め用意された２値教師信号Ｔ（教師信号エレメント、Ｔ１、Ｔ２、．．ＴＭ）と、入力層４に端子２を介して入力された予め用意された学習入力データに対する出力層６の出力ユニットからの出力信号との誤差信号を減算回路１０を介して求め、重み係数制御器７に入力する。
【０００８】
重み係数制御器７では、端子１１を介して入力された各層の出力ユニットからの出力信号と前記誤差信号とを基に誤差電力を最小にするように各層間の重み係数Ｗ（例えば、Ｗ(１)は入力層と中間層の間の結合重み係数、Ｗ(２)は中間層と出力層間の結合重み係数）の修正値を求め、端子１１を介して３層ニューラルネットワーク１の各重み係数を更新する重み係数適応制御による学習を行うものである。
【０００９】
この適応制御による学習をすべての学習入力データに対して繰り返し、学習過程に於て収束する（平均出力誤差電力がある既定値以下となる）と、学習入力データに対するスレショルド回路１２を介して得られた２値出力信号が２値教師信号と同一となる。しかしながら、誤差電力を極小にするローカルミニマム状態に一旦落ち込むと、全ての学習入力データに対して所望の２値出力信号が必ずしも得られず、２値教師信号と異なる２値出力信号を送出する場合が多い。
【００１０】
このようにローカルミニマムの状態で収束した場合には、学習入力データに似たテスト入力データを入力した際に、所望の２値出力信号を送出する汎化能力があまり良くない。また、設定された重み係数の初期値によって正答となる入力データの領域、即ち汎化特性が異なり、初期値依存性がある。
【００１１】
パターン認識などに於て、このようなローカルミニマムに収束した学習済みのニューラルネットワークを用いて、入力データに対して実行処理を行わせる際に、汎化能力が優れていない場合には、学習入力データに近い入力データに対して正しい２値出力信号が得られず、多くの誤認識が発生する。実用の際には、学習入力データやテスト入力データ以外の未知データが入力される場合が非常に多いが、これらの多くの未知入力データを学習させる為に事前に収集することは困難な場合が多い。従って、未知入力データに対して所望の正しい２値出力信号が得られているかどうか、即ち正答な２値出力信号が送出されているかどうかを知る事は、非常に重要である。正答な２値出力信号が送出されていないことが判明した場合には、それらの未知入力データを収集して、追加学習などを行い、ニューラルネットワークの性能を改善し、できるだけ正答な２値出力信号を送出させる必要がある。
【００１２】
従来技術として、異なる重み係数初期値を設定して学習させた複数個の学習済みニューラルネットワークを入力に対して並列に接続し、それらの２値出力信号を多数決処理して入力データに対する汎化能力を改善し、而も正答判定や誤答判定、或いは判定不明などの正誤答判定情報を得るニューラルネットワーク手段がある。例えば、D. Sarkar, “Randomness in Generalization Ability: A Source to Improve It,” IEEE Trans. Neural Networks Vol.7, No.3, May 1996, pp.676-685. 及び中川徹、他 “複数の乱数化ANNを用いて高信頼なパターン識別とその応用” 電子情報通信学会、信学技報 NC98-155, 1999, 3月などがある。この従来方式によるニューラルネットワーク手段の１例を以下に示す。
【００１３】
図３に、従来方式による入力データに対する正誤答判定或いは不明判定などの正誤答判定情報を送出するニューラルネットワーク手段１４の１構成例を示す。上述のように、異なった重み係数の初期値を用いてぞれぞれ学習済みの第１、第２及び第３のニューラルネットワーク１５、１８、２１を入力に対して並列接続している。更に、各単体の該ニューラルネットワーク１５、１８、２１の出力層６の出力ユニットからの出力信号はそれぞれスレショルド回路１６、１９、２２を介して２値出力信号に変換され送出され、３入力の多数決処理器２４にそれぞれ入力される。ここで、第１の２値出力ニューラルネットワーク手段１７は、該第１の学習済みニューラルネットワーク１５と該スレショルド回路１６から構成される。同様に、第２及び第３の２値出力ニューラルネットワーク手段２０、２３は、該第２及び第３の学習済みニューラルネットワーク１８、２１と該スレショルド回路１９、２２とからそれぞれ構成されている。
【００１４】
該多数決処理器２４では、該２値出力ニューラルネットワーク手段からの２値出力信号の内２個以上が一致すれば、正誤答判定情報として正答を端子２７から送出し、同時にその２値出力信号を端子２６から送出する。また、それ以外の場合には、不明或いは誤答と見做し、端子２７から正誤答情報として出力する。不明或いは誤答と判定された場合には、予め定められた２値出力ニューラルネットワーク手段からの２値出力信号をニューラルネットワーク手段１４の２値出力信号として送出する。
【００１５】
出力選択処理器２５では、このような多数決処理器２４からの多数決判定に従って正答、或いは誤答の正誤答判定情報を得、２値出力ニューラルネットワーク手段からの２値出力信号を最終的に選択することから、単体の学習済みニューラルネットワーク１５、１８、２１の汎化能力より若干高い汎化能力を得ることが出来る。しかしながら、異なる重み係数初期値の設定を行ないローカルミニマムに各ニューラルネットワークを収束させ学習済みとして用いることから、高い汎化能力は得られない欠点を有している。従って、正答率の高い２値出力信号が得にくく、而も正答の判定精度も低い欠点がある。例えば、正答判定の精度は、８０％程度で飽和している。また、２０％程度の不明判定となっている。
【００１６】
ここでは、多数決処理器２４を用いた場合について説明したが、これに代わり一致検出器を用いる場合もある。一致検出器を用いた場合には、正答判定の精度は改善されるものの、不明判定や誤答判定が増加する。
【００１７】
【発明が解決しようとする課題】
上記の如く構成した従来のニューラルネットワーク手段１４では、学習済みニューラルネットワーク１５、１８、２１は、同一の構造を有し、而も同一の学習アルゴリズムを用いてそれぞれ異なった重み係数初期値を用いて同一の教師信号に対して学習を行っている。従って、これらのニューラルネットワーク１５、１８、２１が同一のグローバルミニマムに収束すると、入力データに対する２値出力信号が正答或いは誤答に関らず殆ど一致してしまうことから、それらを並列接続して、入力データに対するそれぞれの２値出力信号を多数決処理しても、正答の場合には全てが正答となり、一方、誤答や不明の場合は全て同様な状態となることから並列接続と多数決処理を用いた効果が非常に小さい。従って、できるだけ異なったローカルミニマムに収束するよう学習させ、それぞれ異なった汎化特性を実現する必要がある。
【００１８】
これらの理由から、それぞれ異なりずれた汎化特性を持たせるには、並列接続される学習済みニューラルネットワークとしてローカルミニマム状態で学習を終了させ使用する必要があり、汎化能力が余り高くなく、誤った２値出力信号を出しやすい。従って、入力データに対して出来るだけ正答な２値出力信号を得、而も精度の高い正誤答判定情報を得る為には、多くの学習済みニューラルネットワークを並列接続し、多数決処理をする必要があり、構成が複雑かつ処理量が増加する欠点がある。また、正答／誤答或いは不明の判定を、単に多数決処理のみで行っており、誤った２値出力信号に対してもお互いに同一な誤りならばそのまま正答とみなすなど、入力データに対する正答判断の精度がそれほど高くない欠点を持っている。
【００１９】
従って、並列の学習済みニューラルネットワーク数を増加させ多数決処理を行っても、ローカルミニマムに収束していることから正答判定率やその精度に飽和状態が生じ、汎化能力は若干改善されるもの、正答判定の精度や正答判定率は余り改善されない。特に、単体の学習済みネットワークの汎化能力が低く、不明判定が多く発生し、正答の判定が低下すると共にその精度も劣化する。このように、従来の方式では、高い汎化能力と正答判定率とその精度向上とを同時に達成させるには限界がある。
【００２０】
また、重み係数の初期値によって汎化特性が異なることを利用しているが、初期値によってどの程度異なった汎化特性が得られるかは、落ち込むローカルミニマムにより決まり、予め予測出来ない。従って、実際に種々の初期値を与えニューロネットワークを学習させた後、学習済みニューラルネットワークを並列接続し動作させて、初めて評価されるなどの欠点もある。特に、これらの欠点は、大規模ニューラルネットワークでは、種々の重み係数の初期値を用いてローカルミニマムに収束させる為の学習処理とテスト入力データに対する汎化能力と汎化特性との評価を繰り返し行なう試行錯誤が必要となり、満足できる結果を得るには膨大な作業を要し、実用的でない。
【００２１】
本発明の目的は、上記の問題を解決し、従来の正誤答判定機能を有したニューラルネットワーク手段などに比べて、少ない並列度の学習済みニューラルネットワークを用いて、高精度な正答判定或いは誤答判定を送出する正誤答判定情報を得ると共に、単体の学習済みニューラルネットワークより汎化能力の優れ、正答判定率の高い多値出力信号を送出することができる正誤答判定機能を有するニューラルネットワーク手段を提供することにある。
【００２２】
【課題を解決するための手段】
以下に主な手段を示す。第１の手段として、学習入力データと第１の多値教師信号とを用いて学習した学習済みニューラルネットワーク（２９）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（３０）とからなる第１の多値出力ニューラルネットワーク手段（３１）と、
該第１の多値教師信号を変換し得られた第２の多値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワーク（３２）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（３３）と該第２の多値教師信号から該第１の多値教師信号への逆変換機能を有し入力された該多値スレショルド手段（３３）からの該多値出力信号を逆変換し新たな多値出力信号を送出する教師信号コード逆変換手段（３４）とからなる第２の多値出力ニューラルネットワーク手段（３５）とを、入力に対して並列接続し、
更に、少なくとも前記第２の多値出力ニューラルネットワーク手段（３５）と同一の構成を有し該入力に対して並列接続された少なくとも一個以上の新たな多値出力ニューラルネットワーク手段（３９）を設け、他の前記多値教師信号とは異なり該第１の多値教師信号から変換して得られた多値教師信号と該学習入力データとを用いて学習させた学習済みニューラルネットワーク（３６）を用い、該多値出力ニューラルネットワーク手段（３９）内の教師信号コード逆変換手段（３８）に於て学習に用いた該多値教師信号を前記第１の多値教師信号に逆変換させる機能を用い逆変換された多値出力信号を送出させ、並列接続された前記第１及び第２の多値出力ニューラルネットワーク手段（３１）、（３５）と少なくとも一個以上の新たな該多値出力ニューラルネットワーク手段（３９）とからの該多値出力信号間の一致状態を検出する多数決処理手段（２４）と、
該多数決処理手段（２４）からの該一致状態を用いて、該第１及び該第２の多値出力ニューラルネットワーク手段（３１）、（３５）と少なくとも一個以上の新たな該多値出力ニューラルネットワーク手段（３９）とからの該多値出力信号の正誤答判定を行ない、
該多値出力信号の何れかを選択し送出すると共に選択送出された該多値出力信号の正誤答判定情報を送出する出力選択処理手段（２５）とを少なくとも具備し構成する。
【００２３】
第２の手段として、
学習入力データと第１の多値教師信号とを用いて学習した学習済みニューラルネットワーク（４１）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（４２）とからなる第１の多値出力ニューラルネットワーク手段（４３）と、
該第１の多値教師信号を変換し得られた、他とは異なる新たな多値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワーク（４４）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（４５）と該多値教師信号から該第１の多値教師信号への逆変換機能を有し、入力された該多値スレショルド手段（４５）からの該多値出力信号を逆変換し得られた多値出力信号を送出する教師信号コード逆変換手段（４６）とからなる、少なくとも１個以上の第２の多値出力ニューラルネットワーク手段（４７）とを、入力に対して並列接続し、
該第１及び該第２の多値出力ニューラルネットワーク手段（４３）、（４７）とからの各該多値出力信号を比較し一致状態検出情報を送出する一致検出手段（４８）と、
各該多値出力ニューラルネットワーク手段（４３）、（４７）からの各該多値出力信号の正誤答推定を夫々行なう正誤答推定手段（５５）、（５６）と、
各該正誤答推定手段（５５）、（５６）からの正誤答推定情報を用いて、該第１及び該第２の多値出力ニューラルネットワーク手段（４３）、（４７）からの該多値出力信号の正誤答判定を行ない、該多値出力信号の何れかを選択し送出すると共に選択送出された該多値出力信号の正誤答判定情報を送出する出力選択処理手段（５９）とを少なくとも具備し構成する。
【００２４】
第３の手段として、
第２の手段に記載の前記ニューラルネットワーク手段において、前記互いに異なる多値教 師信号に対して学習コアー入力データを設け、該学習コアー入力データを少なくとも用いて学習させた各前記学習済みニューラルネットワーク（４１）、（４４）の中間層出力ユニットからの該学習コアー入力データに対する出力信号を２値変換する各スレショルド回路（５１）、（５２）を設け、得られた２値出力信号を夫々中間層基準２値出力信号とし、該学習コアー入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の前記スレショルド回路（４２）、（４５）からの前記多値出力信号を用いて該中間層基準２値出力信号を夫々対応づけ格納し、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に対応した該中間層基準２値出力信号を検索し読み出す各中間層基準出力格納手段（４９）、（５０）と、
前記多値出力ニューラルネットワーク手段（４３）、（４７）の該中間層出力ユニットからの該スレショルド回路（５１）、（５２）を介して得られた２値出力信号と該中間層基準出力格納手段（４９）、（５０）から読み出された該中間層基準２値出力信号とのハミング距離を計算し中間層出力距離として夫々前記正誤推定手段（５５）、（５６）に送出する各中間層距離計算手段（５３）、（５４）と、
該中間層出力距離と予め設定された出力距離スレショルドとの中間層出力距離比較結果と前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、正答或いは誤答推定を行い夫々前記正誤答推定情報を送出する各前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成する。
【００２５】
第４の手段として、
第２の手段に記載の前記ニューラルネットワーク手段において、前記互いに異なる多値教師信号に対して学習コアー入力データを設け、該学習コアー入力データを少なくとも用いて学習させた各前記学習済みニューラルネットワーク（４１）、（４４）の中間層ユニットからの該学習コアー入力データに対する出力信号を中間層基準出力信号とし、該学習コアー入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の前記スレショルド回路（４２）、（４５）からの前記多値出力信号を用いて該中間層基準出力信号を夫々対応づけ格納し、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に対応した該中間層基準出力信号を検索し読み出す中間層基準出力格納手段（４９）、（５０）と、前記多値出力ニューラルネットワーク手段（４３）、（４７）の該中間層出力ユニットからの該出力信号と該中間層基準出力格納手段（４９）、（５０）から読み出された該中間層基準出力信号との距離を計算し中間層出力距離として、夫々前記正誤推定手段（５５）、（５６）に送出する各中間層距離計算手段（５３）、（５４）と、
該中間層出力距離と予め設定された出力距離スレショルドとの中間層出力距離比較結果と前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、正答或いは誤答推定を行い夫々前記正誤答推定情報を送出する各前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成する。
【００２６】
第５の手段として、
第２の手段に記載の該ニューラルネットワーク手段において、前記互いに異なる多値教師信号に対応して学習コアー入力データを設け、該学習コアー入力データを少なくとも用いて学習させた各前記学習済みニューラルネットワーク（４１）、（４４）の中間層出力ユニットからの該学習コアー入力データに対する出力信号を３以上の多値変換する各スレショルド回路（５１）、（５２）を設け、得られた多値出力信号を夫々中間層基準多値出力信号とし、該学習コアー入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の前記スレショルド回路（４２）、（４５）からの前記多値出力信号を用いて該中間層基準多値出力信号を夫々対応づけ格納し、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に対応した該中間層基準多値出力信号を検索し読み出す中間層基準出力格納手段（４９）、（５０）と、
前記多値出力ニューラルネットワーク手段（４３）、（４７）の該中間層出力ユニット からの出力信号を３以上の多値に変換する該スレショルド回路（５１）、（５２）を介して得られた多値出力信号と該中間層基準出力格納手段（４９）、（５０）から読み出された該中間層基準多値出力信号とのリー距離を計算し中間層出力距離として夫々前記正誤推定手段（５５）、（５６）に送出する各中間層距離計算手段（５３）、（５４）と、
該中間層出力距離と予め設定された出力距離スレショルドとの中間層出力距離比較結果と前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、正答或いは誤答推定を行い夫々前記正誤答推定情報を送出する前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成する。
第６の手段として、
請求項３、４又は５に記載の前記ニューラルネットワーク手段内の前記正誤答推定手段（５５）、（５６）に於て、前記中間層出力距離と、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号が正答となるテスト入力データに対して前記中間層出力距離を前記多値教師信号毎に求め前記中間層出力距離の平均値、或いは更に標準偏差値とを少なくとも用いて予め設定された前記出力距離スレショルドとを比較し、正誤答推定を少なくとも行なう構成とする。
第７の手段として、
第３、４、５、又は６の手段に記載の該ニューラルネットワーク手段に於て、正答な前記多値出力信号を与えるテスト入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の出力層出力ユニットからの出力信号の出力層出力ユニット毎の正答を与える余裕値を求め、該余裕値の最大値と最小値とからなる範囲を示すテスト領域データを得、該テスト領域データを前記多値教師信号と対応させて予め格納し、入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に該テスト領域データを読み出し、該入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の該出力層出力ユニットの出力信号の余裕値と該テスト領域データとを出力層出力ユニット毎に比較し、テスト領域内かテスト領域外かを判定し、テスト領域判定情報として送出するテスト領域判定手段（５７）、（５８）と、該テスト領域判定情報と前記中間層距離計算手段（５３）、（５４）からの前記中間層出力距離比較結果と、前記多値出力ニューラルネットワーク（４３）、（４７）からの多値出力信号を一致比較する前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの該多値出力信号の正誤答を推定する前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成する。
【００２７】
本発明の正誤答判定機能を有したニューラルネットワーク手段は、それぞれ異なった多値教師信号を用いてグローバルミニマムに収束させ学習させた学習済みニューラルネットワークを入力に対して並列に接続し、第１の多値出力ニューラルネットワークからの多値出力信号と教師信号コード逆変換器を持った多値出力ニューラルネットワークからの多値出力信号との一致／不一致検出或いは多数決処理結果と、中間層基準多値出力信号と入力データに対する学習済みニューラルネットワークの中間層出力ユニットからの多値出力信号とのハミング距離或いはリー距離よる比較と、学習済みニューラルネットワークの出力層出力ユニットからの出力信号の余裕に対するテスト領域判定とを元に、これらの２値出力信号の正誤答推定を行ない、更に何れかが正答ならばその２値出力信号を選択することにより、より高い汎化能力と非常に安定した高い精度の正誤答と而も正答判定率の高い２値出力信号を送出することが簡単に実現できる。更に、従来方式のような学習の際の重み係数の初期設定に於ける試行錯誤も不要で、迅速且つ簡単に本発明のニューラルネットワーク手段を設計することも出来る。
【００２８】
また、上記説明のごとく本発明の正誤答判定機能を有するニューラルネットワーク手段は、従来方式のニューラルネットワーク手段に比べて非常に高精度且つ安定に正答／誤答を容易に得、而も汎化能力を高くできることから、種々のパターン認識などに於て、未知入力データに対する多値出力信号の正誤答判定情報から、学習済みニューラルネットワークに対する追加学習などの為の誤答の未知入力データ収集が簡単に行う事ができ、それらを追加学習させより高い汎化能力と非常に高精度な正誤答判定機能を持ったニューラルネットワーク手段を簡単に実現出来る。
【００２９】
【発明の実施の形態】
以下に本発明のニューラルネットワーク手段の実施例１及び２をあげ、その構成及びその動作について、詳細に説明する。ここでは、２値教師信号を用いた場合を例にあげ説明する。
【００３０】
［実施例１］
実施例１としての本発明のニューラルネットワーク手段２８を図１に示す。３つの学習済みニューラルネットワークを用いた構成例を示す。学習入力データと第１の２値教師信号とを用いて学習した学習済みニューラルネットワーク２９と該ニューラルネットワーク２９の出力層出力ユニットの出力信号を２値に変換し２値出力信号を送出するスレショルド回路３０とからなる第１の２値出力ニューラルネットワーク手段３１と、該第１の教師信号からコード変換して得られた第２の２値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワーク３２と該ニューラルネットワーク３２の出力層出力ユニットの出力信号を２値に変換し２値出力信号を送出するスレショルド回路３３と該第２の２値教師信号を該第１の２値教師信号へコード逆変換する機能を有し該スレショルド回路３３からの２値出力信号を逆変換して新たな２値出力信号を送出する教師信号コード逆変換器３４とからなる第２の２値出力ニューラルネットワーク手段３５と、該第２の２値ニューラルネットワーク手段３５と同一の構成を有し該第１の２値教師信号から変換され他の該２値教師信号と異なる第３の２値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワーク３６と該第３の２値教師信号を該第１の２値教師信号へ逆変換する機能を有した教師信号コード逆変換器３８を用いた第３の２値出力ニューラルネットワーク手段３９と、該２値出力ニューラルネットワーク手段３１、３５及び３９からの２値出力信号を入力し多数決処理結果を送出する多数決処理器２４と、該多数決処理結果を元に該第１、第２及び第３の２値出力信号の何れかを選択し送出し、多数決論理を満たすと正答とし、その他の場合を誤答とする正誤答判定情報を送出する出力選択処理器２５から構成される。
【００３１】
以下、これらの動作について詳細に説明する。該第１の多値出力ニューラルネットワーク手段３１は、図１に示す構成により、端子８の第１の２値教師信号Ｔと端子２の該学習入力データを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）などにより学習させる。特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、而も全て正答の２値出力信号を得ることが出来る。この第１の２値教師信号を用いて学習したニューラルネットワークを該第１の学習済みニューラルネットワーク２９として用い、その出力層出力ユニットからの出力信号をスレショルド回路３０を介して２値化し第１の２値出力ニューラルネットワーク手段３１から送出する。また、図１に示すように端子８の該第１の２値教師信号から教師信号コード変換器１３を介して得られた第２の２値教師信号をスイッチ回路９を介して該減算器９に入力し、端子２の学習入力データに対して学習させグローバルミニマム状態に収束させる。この第２の２値教師信号を用いて学習したニューラルネットワークを第２の学習済みニューラルネットワーク３２として用いる。
【００３２】
該教師信号コード逆変換器３４は、該第２の２値教師信号を該第１の２値教師信号に逆変換する機能を有し、該スレショルド回路３３の２値出力信号を新たな２値出力信号に変換し第２の２値出力ニューラルネットワーク手段３５から送出する。同様に第１の２値教師信号から変換し他の２値教師信号と異なる第３の２値教師信号を得、第３の２値教師信号と該学習入力データとを用いてグローバルミニマム状態に収束させたニューラルネットワークを第３の学習済みニューラルネットワークとして第３の２値出力ニューラルネットワーク手段３９に用いる。また、教師信号コード変換器３８は、第３の２値教師信号を第１の２値教師信号に逆変換する機能を有し、該スレショルド３７からの２値出力信号を新たな２値出力信号に変換し第３の２値出力ニューラルネットワーク手段３９から送出する。
【００３３】
該教師信号コード変換器１３を介して得られる該第２及び３の２値教師信号として、該第１の２値教師信号から、例えば２値コード補数変換や、学習入力データと第１の２値教師信号との対応ずけをシフト変換して得られた新たな２値教師信号を用いる。これらの２値教師信号を用いてグローバルミニマムの状態に学習させた該学習済みニューラルネットワーク２９、３２及び３６は、それぞれ異なったグローバルミニマム状態に収束していることから、学習入力データに対しては、第１の２値出力ニューラルネットワーク手段３１からの２値送出信号と他の第２及び第３の２値出力ニューラルネットワーク手段３５、３９からの２値出力信号とは正答で同一となり、全て一致する。また、テスト入力データに対する汎化能力も殆ど同じであるが、学習の際の２値教師信号がそれぞれ異なることから、正答の領域が一部異なった汎化特性を持ち、入力データに対して必ずしも同一の２値出力信号を送出しない。即ち、安定したほぼ同一の汎化能力と正答となる入力データの領域を簡単にずらすと共に、学習入力データに対しては全て正答の２値出力信号を得ることが出来る。また、これらの第２及び第３の学習済みニューラルネットワーク３２、３３に於て、その学習時に更に重み係数のそれぞれ異なった初期値設定を行い、汎化能力の差は余りないものの、汎化特性に於ける正答の領域をより異なった範囲にずらしてもよい。
【００３４】
多数決処理器２４では、該２値出力ニューラルネットワーク手段３１、３５及び３９からの２値出力信号を入力し多数決処理し、２つ以上一致する２値出力信号を検出し多数決処理結果を送出する。出力選択処理器２５では、該多数決処理結果を元に該第１、第２及び第３の２値出力信号の何れかを選択し送出し、多数決論理を満たすと正答と判定し、その他の場合を誤答と判定した正誤答判定情報を送出する。
【００３５】
上記の説明の如くそれぞれ異なった教師信号を使用した学習によりそれぞれ異なったグローバルミニマム状態に収束させた学習済みニューラルネットワークを用いることにより、入力データに対する高い汎化能力が得られ、而も汎化特性の正答な領域を互いに簡単にずらすことができ、該第１、２及び３の２値出力ニューラルネットワーク手段３１、３５、３９からの２値出力信号を該多数決処理器２４に於て多数決処理し何れか２個以上の該２値出力信号が同一ならば正答それ以外を誤答とすることにより高い精度を持った正誤答判定ができる。また、この多数決処理によりニューラルネットワーク手段２８の汎化能力も改善される。
【００３６】
尚、実施例１では、３つの学習済みニューラルネットワークを用いた例を示したが、更に学習済みニューラルネットワーク、スレショルド回路及び教師信号コード逆変換器からなる新たな１つ以上の２値出力ニューラルネットワーク手段を入力に対し並列に接続し、それらの２値出力信号をそれぞれ該多数決処理器２４及び該出力選択処理器２５に入力してもよい。これにより、より高い汎化能力と正答判定率の拡大と正誤答判定の精度を改善出来る。
【００３７】
［実施例２］
実施例２としての本発明のニューラルネットワーク手段４０を図４に示す。２つのニューラルネットワークを用いた構成例を示す。第１の２値教師信号と学習入力データとを用いて学習させた学習済みニューラルネットワーク４１と該学習済みニューラルネットワーク４１の出力層６の出力ユニットの出力信号を２値変換し２値出力信号を送出するスレショルド回路４２とからなる第１の２値出力ニューラルネットワーク手段４３と、該第１の２値教師信号をコード変換して得た第２の２値教師信号と該学習入力データとを用いて学習させた学習済みニューラルネットワーク４４と該学習済みニューラルネットワーク４４の出力層６の出力ユニットの出力信号を２値に変換し２値出力信号を送出するスレショルド回路４５と該第２の２値教師信号を該第１の２値教師信号へ逆変換する機能を有し該スレショルド回路４５からの２値出力信号を新たな２値出力信号に逆変換し送出する教師信号コード逆変換器４６とからなる第２の２値出力ニューラルネットワーク手段４７とを入力に対して並列に接続し、該スレショルド回路４２、４５からの該２値出力信号を用いて予め格納されている中間層基準２値出力信号を検索し送出する中間層基準出力格納器４９、５０と、入力データに対する該学習済みニューラルネットワーク４１、４４の中間層５の出力ユニットの出力信号を２値変換してそれぞれの中間層２値出力信号を得るスレショルド回路５１、５２と、該中間層２値出力信号と該中間層基準２値出力信号との間のハミング距離を求め中間層出力距離として送出するハミング距離計算器５３、５４と、該学習済みニューラルネットワーク４１、４４の出力層６の該出力信号の各出力ユニット毎の余裕値をそれぞれ求め、該余裕値と、該第１の２値出力ニューラルネットワーク手段４３、４７内のスレショルド回路４２、４５からの該２値出力信号によって読み出された予め格納されたテスト領域データとを比較し該余裕値が該テスト領域内か外かを判定し、テスト領域判定情報として送出するテスト領域判定器５７、５８と、該第１及び第２の２値出力ニューラルネットワーク手段４３、４７から送出される該２値出力信号とを比較し一致或いは不一致を検出し一致検出情報として送出する一致検出器４８と、該テスト領域判定器５７、５８及び該ハミング距離計算器５３、５４、更に該一致検出器４８とからそれぞれ入力された該テスト領域判定情報と該中間層出力距離と該一致検出情報とを用いて、該２値出力信号が正答か誤答かを推定し、正誤答推定情報を送出する正誤答推定器５５、５６と、該正誤答推定情報と該一致検出情報とを元に該第１及び第２の２値出力ニューラルネットワーク手段からの該２値出力信号の何れかを選択しニューラルネットワーク手段４０の２値出力信号として送出し、併せて正答か誤答かを判定して正誤答判定情報として送出する出力選択処理器５９とから構成される。
【００３８】
以下、これらの動作について詳細に説明する。該学習済みニューラルネットワーク４１、４４は入力層４、中間層５及び出力層６の３層の同一構成であり、該第１及び第２の２値教師信号をそれぞれ用いて異なったグローバルミニマムの状態に簡単に学習させることができる。従って、該第１及び第２の２値出力ニューラルネットワーク手段４３、４７からの２値送出信号は、学習入力データに対して、それぞれ全て同一の正答の出力となり、一致する。また、これら学習済みニューラルネットワーク４１、４４は学習アルゴリズムとニューラルネットワークの構造が同一であることから殆ど同様な高い汎化能力が得られる。
【００３９】
また、異なる教師信号を用いて学習させた学習済みニューラルネットワーク４１、４４の汎化能力が高いことから汎化特性の正答な領域は広く而もずれており、未知入力データに対して該２値出力ニューラルネットワーク手段４３、４７からの両２値出力信号は幅広く同一となるが、ずれている領域では同一とはならず、何れかが誤答となる。
【００４０】
ここで、学習済みニューラルネットワーク４１、４４の重み係数としては、同一或いはそれぞれ異なった重み係数初期値を設定して学習させたものを用いても良い。それぞれ異なった重み係数の初期値設定を行うと、汎化能力の変化は殆どないが、汎化特性はよりずれた正答の領域を持つ。
【００４１】
該学習済みニューラルネットワーク４１及び４４に対して、端子２を介して入力データが並列に入力され、学習済みの重み係数を用いて実行処理が行われる。該一致検出器４８に於て該２値出力ニューラルネットワーク手段４３及び４７からの２値出力信号が一致した場合には、共に正答の場合が殆どである。しかしながら、該スレショルド回路４２、４５からの２値出力信号が同じような誤りを発生している場合があり、誤答ではあるがお互いに一致する場合も発生率は非常に低いが発生する。この為、以下の推定処理を行っている。
【００４２】
従来技術では、多数決処理或いは一致検出処理に於て、多数決論理或いは一致論理を満足すれば、正答、満足しなければ誤答と単純に判定している為に、正誤答の判定の精度が低い。
【００４３】
これに対して実施例２では、正誤答推定器５５、５６に於て、それぞれ接続されているテスト領域判定器５７、５８からのテスト領域判定情報とハミング距離計算器５３、５４からの中間層出力距離と一致検出器４８からの一致検出情報とから、該２値出力ニューラルネットワーク手段４３、４７からのそれぞれの該２値出力信号の正答／誤答を推定し、２値出力選択処理器５９に正誤答推定情報としてそれぞれを送出する。ここでは、一致検出情報を元に、一致検出の場合と不一致検出の場合とに分けて、それぞれ中間層出力距離と予め定められた出力距離スレショルドとの比較とテスト領域判定情報とにより、正答或いは誤答の推定を行っている。例えば、両該２値出力信号が一致した場合、テスト領域外で且つ中間層出力距離が該出力距離スレショルドより大きいと誤答と推定する。また、その他の状態を正答と推定する。一方、両該２値出力信号が不一致の場合、テスト領域判定に無関係に中間層出力距離が該出力距離スレショルド以上であると、誤答と推定し、それ以外であると正答と推定する。
【００４４】
該出力選択処理器５９では、該正誤答推定情報と該一致検出情報とを用いて、該第１及び２の２値出力ニューラルネットワーク手段４３、４７からの両該２値出力信号が共に正答推定ならば正答と判定し、第１の２値出力ニューラルネットワーク手段４３からの２値出力信号を送出すると共に正誤答情報として正答を送出する。何れか一方が正答推定ならば、正答推定である２値出力ニューラルネットワーク手段からの該２値出力信号を送出すると共に正誤答情報として正答を送出する。また、何れも誤答ならば、第１の２値出力ニューラルネットワーク手段４３からの該２値出力信号を送出するとともに誤答を正誤答情報として送出する。以上の正誤答推定と論理和処理を行う正誤答判定とにより、正誤答の非常に高い判定精度と非常に高い正答判定率とを実現している。例えば、シミュレーションによると判定精度は99%以上で、判定率は95%程度を実現している。
【００４５】
ここで、ニューラルネットワークを学習させ学習済みニューラルネットワーク４１、４４を得る際に、学習入力データと２値教師信号との対応づけに於て、２値教師信号毎に代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとする学習入力データを少なくとも準備し、該学習コアー入力データに対する２値出力信号が正答となるよう学習させた該学習済みニューラルネットワーク４１及び４４を用いる。ここで、学習が終了した際に、該学習コアー入力データに対する該学習済みニューラルネットワーク４１及び４４の中間層５の出力ユニットからの出力信号を該スレショルド回路５１、５２を介してそれぞれ２値出力信号に変換して、これらをそれぞれの中間層基準出力格納器４９及び５０に中間層基準２値出力信号として予め格納しておく。この時、第１及び第２の２値出力ニューラルネットワーク手段４３、４７の夫々の該スレショルド回路４２及び４５からの各２値出力信号、即ち２値教師信号に対応づけてそれぞれ格納する。
【００４６】
入力データが入力された際には、該中間層基準出力格納器４９、５０では、該２値出力ニューラルネットワーク手段４３、４７からの該２値出力信号に対応した該中間層基準２値出力信号を読み出し、該ハミング距離計算器５３、５４へそれぞれ送出する。該ハミング距離計算器５３では、該中間層基準２値出力信号と該中間層５の出力ユニットの出力信号から該スレショルド回路５１、５２を介して得られた２値出力信号とのハミング距離を測り、該正誤答推定器５５、５６へそれぞれ中間層出力距離として送出し、正誤答推定の尺度として用いる。一般に、正答の場合は、このハミング距離は小さく、誤答の場合はこの距離が大きい傾向にある。ここで、３以上の多値の場合には、該ハミング距離計算器５３、５４の代わりにリー距離計算器を用いればよい。
【００４７】
次に、該テスト領域データとしては、該学習済みニューラルネットワーク４１、４４のテスト入力データに対する汎化能力を評価する際に、該スレショルド回路４２、４５が正答の２値出力信号を送出するテスト入力データ間で、該学習済みニューラルネットワーク４１、４４の出力層６の出力ユニットからの出力信号の出力ユニット毎の余裕値（即ち、該スレショルド回路４２、４５の２値化スレショルド値との差の絶対値）の最小値と最大値とを求め、該テスト領域判定データとし、該２値教師信号である２値出力信号に対応させてテスト領域判定器５７、５８にそれぞれ予め格納する。
【００４８】
テスト領域判定器５７、５８では、第１及び第２の２値出力ニューラルネットワーク手段４３、４７の、夫々の入力データに対する該スレショルド回路４２、４５からの２値出力信号を用いて該テスト領域データを読み出し、この時の該出力層６の出力ユニットからの出力信号の該余裕値が全ての出力ユニット毎のそれぞれの該最大値と該最小値間の範囲に収まればテスト領域内、それ以外の状態をテスト領域外と判定し、テスト領域判定情報を送出する。ここで、入力データに対する出力層６の出力ユニットからの出力信号がテスト領域外であると判定されると、この入力データは未知入力データと判定しても良い。また、テスト領域判定データとして、出力ユニット毎の余裕値の最大及び最小値を用いているが、全出力ユニット間での余裕値の最大及び最小値を用いて判定しても良い。
【００４９】
ここでは、正しい所望の２値出力信号を送出するテスト入力データだけから上記のテスト領域判定データを求めればよいが、準備されている全てのテスト入力データを元にテスト領域判定データを求める場合には、学習入力データを用いてニューラルネットワークを学習を終了させた後、更に誤った２値出力信号を送出するテスト入力データを学習入力データとして追加学習し、この追加学習を繰り返すことにより、最終的にテスト入力データに対して全て正しい２値出力信号を送出するよう学習させることができる。このような追加学習を行った後、その重み係数を用いて学習済みニューラルネットワーク手段４３、４７に設定し、これらのテスト入力データに対してテスト領域判定データを収集してもよい。
【００５０】
実施例２に於ては、ハミング距離計算器５３、５４を用い、学習コアー入力データに対応した学習済みニューラルネットワーク４１及び４４の中間層出力ユニットのそれれぞれの出力信号を該スレショルド回路５１、５２を介して２値出力信号を得、それぞれ中間層基準２値出力信号としたが、該スレショルド回路５１、５２を介さず中間層出力ユニットのそれぞれの出力信号をそのまま中間層基準出力信号として該中間層基準出力格納器４９、５０に予め格納し、これらを該スレショルド回路４３、４５からの２値出力信号を元にそれぞれ読み出し、入力データに対応した中間層出力ユニットの出力信号との出力ユニット毎の差の絶対値を全出力ユニットに渡り加算して中間層出力距離として用いても良い。
【００５１】
また、正誤答推定器５５，５６において、中間層出力距離と比較する出力距離スレショルドは、２値教師信号に対応した２値出力信号毎に異なる値を設定してもよい。或いは、正答で同一の２値出力信号で２値教師信号となる種々のテスト入力データに対して、中間層出力距離を求め、この平均値或いは更に標準偏差とを用いて該距離比較スレショルドを設定しても良い。尚、実施例２では、中間層基準出力格納器４９、５０とハミング距離計算器５３をそれぞれ分けて説明したが、これらを一緒にして中間層基準２値出力信号を格納したハミング距離計算処理器として構成してもよい。
【００５２】
コード変換された第１以外の教師信号としては、該教師信号逆変換器４６によって第１の教師信号へ逆変換することができる如何なる教師信号でもよい。例えば、第１の２値教師信号の２値補数からなる２値教師信号や、入力データと第１の２値教師信号との対応関係をシフトした２値教師信号を用いてもよい。または、第１の２値教師信号とは異なる第２の２値教師信号をランダムに発生させ、その対応関係を該教師信号コード逆変換器４７に設定してもよい。
【００５３】
本実施例のニューラルネットワーク手段４０において、上記説明のごとく異なった教師信号に対して学習済みの２つの該２値出力ニューラルネットワーク手段４３、４７を用いているが、ここで、これらの２値出力ニューラルネットワーク手段４３、４７の他に、他とは異なった２値教師信号による学習済みのニューラルネットワークを用い、第２の２値出力ニューラルネットワーク手段と同様の構成をもった新たな２値出力ニューラルネットワーク手段を奇数個用意し入力データに対して並列接続し、増設された個々の該２値出力ニューラルネットワーク手段には、該２値出力ニューラルネットワーク手段４７と同様にスレショルド回路５２、ハミング距離計算器５４、中間層基準出力格納器５０、テスト領域判定器５８及び正誤答推定器５６とそれぞれ同一なものを接続し、更に、該一致検出器４８を多数決処理器に置き換え構成し、並列度を増やしてもよい。
【００５４】
ここで、全ての２値出力ニューラルネットワーク手段からの２値出力信号を多数決論理により処理し、あるスレショルド以上２値出力信号が互いに一致しておれば、一致検出、それ以下ならば不一致検出とする。これにより、ニューラルネットワーク手段の汎化能力をより一層改善でき、正誤答判定能力や精度も著しく改善される。
【００５５】
尚、実施例１及び２に於て、２値教師信号と２値化する為のスレショルド回路を用いた２値の場合についてそれぞれ実施例を示した。ここでは、学習済みニューラルネットワーク２９、３２、３６、４１、４４としてそれぞれ異なる２値教師信号を用いて学習させたものを用いたが、これらに対してそれぞれ異なる３値以上の多値教師信号を用いて学習させたものを用い、２値化するスレショルド回路３０、３３、３７、４２及び４５に対してそれぞれ多値スレショルド回路を、また、学習コアー入力データに対して得られる中間層基準２値出力信号に代わり、多値教師信号による学習済みニューラルネットワークを用いて学習コアー入力データに対する中間層基準多値出力信号を得、これを該中間層基準出力格納器４９、５０に予め格納し、ハミング距離計算器５３、５４の代わりに多値出力信号間の距離を測るリー距離計算器を用いることにより、正誤答判定情報と多値出力信号とを送出する多値ニューラルネットワーク手段を構成することも出来る。
【００５６】
入力データを入力してニューラルネットワーク手段４０を動作させた際、端子２６から誤答判定された２値出力信号が得られた場合には、これに対応した入力データを学習入力データとして該学習済みニューラルネットワークの重み係数を初期値として追加学習して、新たな重み係数を得、該学習済みニューラルネットワーク手段４３、４７に設定し、該ニューラルネットワーク手段４０を動作させてもよい。この一連の処理を繰り返すことにより汎化能力や汎化特性の改善が図れ、より高い正答判定率とより高い判定精度を得ることが出来る。尚、この追加学習を行った際には、学習入力データを初めとする学習条件が変わると、該学習済みニューラルネットワーク４１、４４の重み係数が変化することから、これらのテスト領域判定データや中間層基準２値出力信号をその都度求めなおし、中間層基準出力格納器４９、５０及びテスト領域判定器５７、５８に予めそれぞれ格納する。
【００５７】
学習方法として、バックプロパゲーション法を前提に説明したが、教師信号を用いた学習ならいずれの学習法でもよい。また、上記の実施例に於て、学習済みニューラルネットワークとしてローカルミニマム状態に収束させたものを用いてもよいが、汎化能力及び汎化特性ともグローバルミニマム状態で収束した場合より劣化することから、汎化能力及び正誤答判定に於ける判定精度も劣化する。
【００５８】
以上説明したように、従来方式では、汎化特性の正答の領域をずらす為に、数多くのニューラルネットワークを必要とし、而も学習の際に種々の異なる重み係数の初期値設定を行ない異なったローカルミニマムに収束させる試行錯誤が必要であり、その作業量が膨大である。汎化能力が低く正答の２値出力信号を送出する入力データ領域も狭く、また、正誤答判定の精度も低い。
【００５９】
一方、本発明の如く並列接続して用いられる学習済みニューラルネットワークは、それぞれ異なる２値教師信号を用いて学習しており、而もグローバルミニマムに収束していることから、汎化能力も非常に高く安定であり、汎化特性に於ける正答な２値出力信号を送出する領域も広く而も簡単にずらすことができる。従って、少ない数のニューラルネットワークでよく而も学習が簡単で且つ試行錯誤が不要である。また、それらネットワークの汎化能力及び汎化特性とも高性能で非常に安定していることから、容易に高い正答判定率と精度の高い正誤答推定や判定が実現出来る。
【００６０】
【発明の効果】
以上述べたように、従来方式に於ける異なった重み係数の初期値に対してローカルミニマムに収束した複数個の学習済みニューラルネットワークを入力データに対して並列接続し、入力データに対する２値出力信号の単なる多数決処理や一致検出などによる正答／不明或いは誤答判定を行っており、汎化能力や正誤答の判定精度や２値出力信号の正答率などが低い。
【００６１】
一方、本発明の正誤答判定機能を有したニューラルネットワーク手段は、それぞれ異なった多値教師信号を用いてグローバルミニマムに収束させ学習させた学習済みニューラルネットワークを入力に対して並列に接続し、２値出力信号間の一致／不一致を検出すると共に、中間層基準多値出力信号と入力データに対する中間層出力ユニットからの多値出力信号とのハミング距離或いはリー距離に於ける比較と、出力層出力ユニットからの出力信号の余裕値のテスト領域判定とを元にこれらの２値出力信号の正誤答推定を行ない、更に正答の２値出力信号の論理和による選択をすることにより、より高い汎化能力と非常に安定した高い精度の正誤答と大きい正答判定率の元に２値出力信号を送出することが簡単に実現できる。また、大きい正答判定率と高い正答精度が容易に得られることから、並列ニューラルネットワークに於て、数多くのニューラルネットワークを用いる必要がなく、構成が簡単になる。
【００６２】
これらの結果から、本発明の正誤判定機能を有するニューラルネットワーク手段をパターン認識等に実用した際、未知入力データの多値出力信号に対して正誤答判定が得られ、而もその正答／誤答の精度が非常に高いことから、誤答と判定された未知入力データに対しては、正しい多値教師信号の対応ずけを行ない、並列接続されるそれぞれの学習済みニューラルネットワークの重み係数を追加学習させた重み係数で置き換えることにより、多値出力ニューラルネットワーク手段の汎化能力と正答判定能力を次第に向上させることが簡単に出来る。
【００６３】
従って、パターン認識処理などに用いる際に、詳細な学習入力データを事前に取得した後に、ニューラルネットワークを学習させて使用する必要は必ずしもなく、少なくとも非常に特徴のある学習入力データを学習コアー入力データとしてまず学習させ、現実の使用環境の元で、高い汎化能力と精度の高い正誤答判定能力を利用して、而も誤答の２値出力信号を送出する未知入力データ収集を迅速に行ない、これらを追加学習させることにより、正誤答判定機能を有するニューラルネットワーク手段の正答判定能力と汎化能力を同時に著しく高めることが出来き、実用環境に適したパターン認識率の非常に高い高性能なニューラルネットワーク手段を簡単に実現出来る。
【００６４】
上述のように本発明の正誤答判定機能を有するニューラルネットワーク手段は、従来方式に比べて、少ない数の学習済みニューラルネットワークを並列接続し使用しても非常に高い性能が簡単に得られ、構成が簡単になる利点を持つ。また、異なった多値教師信号を用いてグローバルミニマムに収束させたニューラルネットワークを用いることから、試行錯誤を必要とせず、学習処理が大幅に少ない。
【００６５】
従って、従来技術では実現が困難な大規模ニューラルネットワークに対しても本発明のニューラルネットワークを用いて短時間で設計し実現することが出来、非常に高性能な正誤答判定能力や高い汎化能力が要求される人工知能システムや検索システム、画像処理システムさらにはネットワーク障害情報などを処理する通信処理システムなどへの幅広い応用ができるなど、非常に幅広い効果を有している。
【図面の簡単な説明】
【図１】 実施例１における本発明の正誤答判定機能を有したニューラルネットワーク手段の一構成例である。
【図２】 従来方式における３層ニューラルネットワークの学習処理の一構成例である。
【図３】 従来方式による出力状態情報出力機能を有したニューラルネットワーク網の一構成例である。
【図４】 実施例２における本発明の正誤答判定機能を有したニューラルネットワーク手段の一構成例である。
【符号の説明】
１ ３層ニューラルネットワーク
２ 入力信号入力端子
２１ 入力ユニット端子
２２ 入力ユニット端子
２Ｎ 入力ユニット端子
３ ２値出力端子
３１ ２値出力ユニット端子
３２ ２値出力ユニット端子
３Ｍ ２値出力ユニット端子
４ 入力層
４１ 入力層ユニット
４２ 入力層ユニット
４Ｎ 入力層ユニット
５ 中間層
５１ 中間層出力ユニット
５Ｐ 中間層出力ユニット
６ 出力層
６１ 出力層出力ユニット
６２ 出力層出力ユニット
６Ｍ 出力層出力ユニット
７ 重み係数制御器
８ ２値教師信号入力端子
８１ ２値教師信号入力ユニット端子
８２ ２値教師信号入力ユニット端子
８Ｍ ２値教師信号入力ユニット端子
９ スイッチ回路
１０ 減算器
１０１ 減算器
１０２ 減算器
１０Ｍ 減算器
１１ 重み係数入出力端子
１２ スレショルド回路
１２１ スレショルド回路
１２２ スレショルド回路
１２Ｍ スレショルド回路
１３ 教師信号コード変換器
１４ 従来技術によるニューラルネットワーク手段
１５ 第１の学習済みニューラルネットワーク
１６ スレショルド回路
１７ 第１の２値出力ニューラルネットワーク手段
１８ 第２の学習済みニューラルネットワーク
１９ スレショルド回路
２０ 第２の２値出力ニューラルネットワーク手段
２１ 第３の学習済みニューラルネットワーク
２２ スレショルド回路
２３ 第３の２値出力ニューラルネットワーク手段
２４ 多数決処理器
２５ 出力選択処理器
２６ ２値出力信号端子
２７ 正誤答出力端子
２８ 本発明の第１の実施例におけるニューラルネットワーク手段
２９ 第１の学習済みニューラルネットワーク
３０ スレショルド回路
３１ 第１の２値出力ニューラルネットワーク手段
３２ 第２の学習済みニューラルネットワーク
３３ スレショルド回路
３４ 教師信号コード逆変換器
３５ 第２の２値出力ニューラルネットワーク手段
３６ 第３の学習済みニューラルネットワーク
３７ スレショルド回路
３８ 教師信号コード逆変換器
３９ 第３の２値出力ニューラルネットワーク手段
４０ 本発明の第２の実施例におけるニューラルネットワーク手段
４１ 第１の学習済みニューラルネットワーク
４２ スレショルド回路
４３ 第１の２値出力ニューラルネットワーク手段
４４ 第２の学習済みニューラルネットワーク
４５ スレショルド回路
４６ 教師信号コード逆変換器
４７ 第２の２値出力ニューラルネットワーク手段
４８ 一致検出器
４９ 中間層基準出力格納器
５０ 中間層基準出力格納器
５１ スレショルド回路
５２ スレショルド回路
５３ ハミング距離計算器
５４ ハミング距離計算器
５５ 正誤答推定器
５６ 正誤答推定器
５７ テスト領域判定器
５８ テスト領域判定器
５９ 出力選択処理器
【発明の属する技術分野】
本発明は、パターン認識、データマイニング及び画像処理などの分野に適用可能なニューラルネットワークにおいて、学習済みのニューラルネットワークを用いて入力データを処理する際に、学習入力データやテスト入力データ以外の未知入力データが入力された場合にも、その出力が正しいか誤りか、即ち正答か誤答かを判定することができる正誤答判定機能を有したニューラルネットワーク手段に関するものである。
【０００２】
【従来の技術】
従来のニューラルネットワークには、文献 麻生英樹著、「ニューラルネットワーク情報処理」、産業図書出版などに示されているように、多層（階層）ニューラルネットワークや相互結合ニューラルネットワークなど種々のニューラルネットワークがある。
【０００３】
特に、学習入力データと教師信号とを用いて、学習させた多層ニューラルネットワークが種々幅広く実用されている。ここでは、教師付き学習を行う多層ニューラルネットワークを例にとり、正答／誤答判定機能を有するニューラルネットワーク手段の従来技術について説明する。また、説明を簡単にする為に、パターン認識などに於て見られる２値教師信号を用いて学習させ、２値出力信号を送出させることとする。
【０００４】
先ず、多層ニューラルネットワークの学習処理の構成について説明する。図２は、３層ニューラルネットワークの学習処理の１構成例を示す。Ｎ個のユニットからなる入力層４、Ｐ個の出力ユニットからなる中間層５及びＭ個の出力ユニットからなる出力層６から構成される。
【０００５】
多層ニューラルネットワークへの入力データＩは、Ｉ１、Ｉ２、．．ＩＮの入力データエレメントを持ったベクトルから構成され、入力端子２を介してそれぞれ対応した入力層４の出力ユニットに入力された後、更に中間層５の各出力ユニット（隠れユニット）にそれぞれ重み付けされ出力される。中間層５では、入力層４の各出力ユニットからの重み付けされた出力の総和を入力とし、スレショルド値を差し引いた後、シグモイド関数と呼ばれる非線形入出力特性を持った関数を介して出力される。出力層６においても中間層５と同様な入出力処理が行われた後、各出力層出力ユニットからそれぞれ対応した出力信号をスレショルド回路１１を介して２値出力信号に変換し、２値出力端子３を介してニューラルネットワーク１の２値出力信号（２値出力信号エレメント、Ｐ１、Ｐ２、．．ＰＭ）として送出する。３層以上の多層の際にも、各層におけるそれぞれの出力ユニットは、入力側の隣接層の各ユニットの出力信号に重み付けをした後、それらの総和を入力として得、更にその入力からスレショルド値を差し引いた後、シグモイド関数などを介し出力層側の隣接層に出力信号を送出する。
【０００６】
このような多層ニューラルネットワークの代表的学習方法としては、例えば、前記文献にも記載されているようにバック・プロパゲーション・アルゴリズムがある。
【０００７】
本アルゴリズムを用いた学習過程では、重み係数に対して乱数などを用いて初期値設定した後、予め用意された２値教師信号Ｔ（教師信号エレメント、Ｔ１、Ｔ２、．．ＴＭ）と、入力層４に端子２を介して入力された予め用意された学習入力データに対する出力層６の出力ユニットからの出力信号との誤差信号を減算回路１０を介して求め、重み係数制御器７に入力する。
【０００８】
重み係数制御器７では、端子１１を介して入力された各層の出力ユニットからの出力信号と前記誤差信号とを基に誤差電力を最小にするように各層間の重み係数Ｗ（例えば、Ｗ(１)は入力層と中間層の間の結合重み係数、Ｗ(２)は中間層と出力層間の結合重み係数）の修正値を求め、端子１１を介して３層ニューラルネットワーク１の各重み係数を更新する重み係数適応制御による学習を行うものである。
【０００９】
この適応制御による学習をすべての学習入力データに対して繰り返し、学習過程に於て収束する（平均出力誤差電力がある既定値以下となる）と、学習入力データに対するスレショルド回路１２を介して得られた２値出力信号が２値教師信号と同一となる。しかしながら、誤差電力を極小にするローカルミニマム状態に一旦落ち込むと、全ての学習入力データに対して所望の２値出力信号が必ずしも得られず、２値教師信号と異なる２値出力信号を送出する場合が多い。
【００１０】
このようにローカルミニマムの状態で収束した場合には、学習入力データに似たテスト入力データを入力した際に、所望の２値出力信号を送出する汎化能力があまり良くない。また、設定された重み係数の初期値によって正答となる入力データの領域、即ち汎化特性が異なり、初期値依存性がある。
【００１１】
パターン認識などに於て、このようなローカルミニマムに収束した学習済みのニューラルネットワークを用いて、入力データに対して実行処理を行わせる際に、汎化能力が優れていない場合には、学習入力データに近い入力データに対して正しい２値出力信号が得られず、多くの誤認識が発生する。実用の際には、学習入力データやテスト入力データ以外の未知データが入力される場合が非常に多いが、これらの多くの未知入力データを学習させる為に事前に収集することは困難な場合が多い。従って、未知入力データに対して所望の正しい２値出力信号が得られているかどうか、即ち正答な２値出力信号が送出されているかどうかを知る事は、非常に重要である。正答な２値出力信号が送出されていないことが判明した場合には、それらの未知入力データを収集して、追加学習などを行い、ニューラルネットワークの性能を改善し、できるだけ正答な２値出力信号を送出させる必要がある。
【００１２】
従来技術として、異なる重み係数初期値を設定して学習させた複数個の学習済みニューラルネットワークを入力に対して並列に接続し、それらの２値出力信号を多数決処理して入力データに対する汎化能力を改善し、而も正答判定や誤答判定、或いは判定不明などの正誤答判定情報を得るニューラルネットワーク手段がある。例えば、D. Sarkar, “Randomness in Generalization Ability: A Source to Improve It,” IEEE Trans. Neural Networks Vol.7, No.3, May 1996, pp.676-685. 及び中川徹、他 “複数の乱数化ANNを用いて高信頼なパターン識別とその応用” 電子情報通信学会、信学技報 NC98-155, 1999, 3月などがある。この従来方式によるニューラルネットワーク手段の１例を以下に示す。
【００１３】
図３に、従来方式による入力データに対する正誤答判定或いは不明判定などの正誤答判定情報を送出するニューラルネットワーク手段１４の１構成例を示す。上述のように、異なった重み係数の初期値を用いてぞれぞれ学習済みの第１、第２及び第３のニューラルネットワーク１５、１８、２１を入力に対して並列接続している。更に、各単体の該ニューラルネットワーク１５、１８、２１の出力層６の出力ユニットからの出力信号はそれぞれスレショルド回路１６、１９、２２を介して２値出力信号に変換され送出され、３入力の多数決処理器２４にそれぞれ入力される。ここで、第１の２値出力ニューラルネットワーク手段１７は、該第１の学習済みニューラルネットワーク１５と該スレショルド回路１６から構成される。同様に、第２及び第３の２値出力ニューラルネットワーク手段２０、２３は、該第２及び第３の学習済みニューラルネットワーク１８、２１と該スレショルド回路１９、２２とからそれぞれ構成されている。
【００１４】
該多数決処理器２４では、該２値出力ニューラルネットワーク手段からの２値出力信号の内２個以上が一致すれば、正誤答判定情報として正答を端子２７から送出し、同時にその２値出力信号を端子２６から送出する。また、それ以外の場合には、不明或いは誤答と見做し、端子２７から正誤答情報として出力する。不明或いは誤答と判定された場合には、予め定められた２値出力ニューラルネットワーク手段からの２値出力信号をニューラルネットワーク手段１４の２値出力信号として送出する。
【００１５】
出力選択処理器２５では、このような多数決処理器２４からの多数決判定に従って正答、或いは誤答の正誤答判定情報を得、２値出力ニューラルネットワーク手段からの２値出力信号を最終的に選択することから、単体の学習済みニューラルネットワーク１５、１８、２１の汎化能力より若干高い汎化能力を得ることが出来る。しかしながら、異なる重み係数初期値の設定を行ないローカルミニマムに各ニューラルネットワークを収束させ学習済みとして用いることから、高い汎化能力は得られない欠点を有している。従って、正答率の高い２値出力信号が得にくく、而も正答の判定精度も低い欠点がある。例えば、正答判定の精度は、８０％程度で飽和している。また、２０％程度の不明判定となっている。
【００１６】
ここでは、多数決処理器２４を用いた場合について説明したが、これに代わり一致検出器を用いる場合もある。一致検出器を用いた場合には、正答判定の精度は改善されるものの、不明判定や誤答判定が増加する。
【００１７】
【発明が解決しようとする課題】
上記の如く構成した従来のニューラルネットワーク手段１４では、学習済みニューラルネットワーク１５、１８、２１は、同一の構造を有し、而も同一の学習アルゴリズムを用いてそれぞれ異なった重み係数初期値を用いて同一の教師信号に対して学習を行っている。従って、これらのニューラルネットワーク１５、１８、２１が同一のグローバルミニマムに収束すると、入力データに対する２値出力信号が正答或いは誤答に関らず殆ど一致してしまうことから、それらを並列接続して、入力データに対するそれぞれの２値出力信号を多数決処理しても、正答の場合には全てが正答となり、一方、誤答や不明の場合は全て同様な状態となることから並列接続と多数決処理を用いた効果が非常に小さい。従って、できるだけ異なったローカルミニマムに収束するよう学習させ、それぞれ異なった汎化特性を実現する必要がある。
【００１８】
これらの理由から、それぞれ異なりずれた汎化特性を持たせるには、並列接続される学習済みニューラルネットワークとしてローカルミニマム状態で学習を終了させ使用する必要があり、汎化能力が余り高くなく、誤った２値出力信号を出しやすい。従って、入力データに対して出来るだけ正答な２値出力信号を得、而も精度の高い正誤答判定情報を得る為には、多くの学習済みニューラルネットワークを並列接続し、多数決処理をする必要があり、構成が複雑かつ処理量が増加する欠点がある。また、正答／誤答或いは不明の判定を、単に多数決処理のみで行っており、誤った２値出力信号に対してもお互いに同一な誤りならばそのまま正答とみなすなど、入力データに対する正答判断の精度がそれほど高くない欠点を持っている。
【００１９】
従って、並列の学習済みニューラルネットワーク数を増加させ多数決処理を行っても、ローカルミニマムに収束していることから正答判定率やその精度に飽和状態が生じ、汎化能力は若干改善されるもの、正答判定の精度や正答判定率は余り改善されない。特に、単体の学習済みネットワークの汎化能力が低く、不明判定が多く発生し、正答の判定が低下すると共にその精度も劣化する。このように、従来の方式では、高い汎化能力と正答判定率とその精度向上とを同時に達成させるには限界がある。
【００２０】
また、重み係数の初期値によって汎化特性が異なることを利用しているが、初期値によってどの程度異なった汎化特性が得られるかは、落ち込むローカルミニマムにより決まり、予め予測出来ない。従って、実際に種々の初期値を与えニューロネットワークを学習させた後、学習済みニューラルネットワークを並列接続し動作させて、初めて評価されるなどの欠点もある。特に、これらの欠点は、大規模ニューラルネットワークでは、種々の重み係数の初期値を用いてローカルミニマムに収束させる為の学習処理とテスト入力データに対する汎化能力と汎化特性との評価を繰り返し行なう試行錯誤が必要となり、満足できる結果を得るには膨大な作業を要し、実用的でない。
【００２１】
本発明の目的は、上記の問題を解決し、従来の正誤答判定機能を有したニューラルネットワーク手段などに比べて、少ない並列度の学習済みニューラルネットワークを用いて、高精度な正答判定或いは誤答判定を送出する正誤答判定情報を得ると共に、単体の学習済みニューラルネットワークより汎化能力の優れ、正答判定率の高い多値出力信号を送出することができる正誤答判定機能を有するニューラルネットワーク手段を提供することにある。
【００２２】
【課題を解決するための手段】
以下に主な手段を示す。第１の手段として、学習入力データと第１の多値教師信号とを用いて学習した学習済みニューラルネットワーク（２９）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（３０）とからなる第１の多値出力ニューラルネットワーク手段（３１）と、
該第１の多値教師信号を変換し得られた第２の多値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワーク（３２）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（３３）と該第２の多値教師信号から該第１の多値教師信号への逆変換機能を有し入力された該多値スレショルド手段（３３）からの該多値出力信号を逆変換し新たな多値出力信号を送出する教師信号コード逆変換手段（３４）とからなる第２の多値出力ニューラルネットワーク手段（３５）とを、入力に対して並列接続し、
更に、少なくとも前記第２の多値出力ニューラルネットワーク手段（３５）と同一の構成を有し該入力に対して並列接続された少なくとも一個以上の新たな多値出力ニューラルネットワーク手段（３９）を設け、他の前記多値教師信号とは異なり該第１の多値教師信号から変換して得られた多値教師信号と該学習入力データとを用いて学習させた学習済みニューラルネットワーク（３６）を用い、該多値出力ニューラルネットワーク手段（３９）内の教師信号コード逆変換手段（３８）に於て学習に用いた該多値教師信号を前記第１の多値教師信号に逆変換させる機能を用い逆変換された多値出力信号を送出させ、並列接続された前記第１及び第２の多値出力ニューラルネットワーク手段（３１）、（３５）と少なくとも一個以上の新たな該多値出力ニューラルネットワーク手段（３９）とからの該多値出力信号間の一致状態を検出する多数決処理手段（２４）と、
該多数決処理手段（２４）からの該一致状態を用いて、該第１及び該第２の多値出力ニューラルネットワーク手段（３１）、（３５）と少なくとも一個以上の新たな該多値出力ニューラルネットワーク手段（３９）とからの該多値出力信号の正誤答判定を行ない、
該多値出力信号の何れかを選択し送出すると共に選択送出された該多値出力信号の正誤答判定情報を送出する出力選択処理手段（２５）とを少なくとも具備し構成する。
【００２３】
第２の手段として、
学習入力データと第１の多値教師信号とを用いて学習した学習済みニューラルネットワーク（４１）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（４２）とからなる第１の多値出力ニューラルネットワーク手段（４３）と、
該第１の多値教師信号を変換し得られた、他とは異なる新たな多値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワーク（４４）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（４５）と該多値教師信号から該第１の多値教師信号への逆変換機能を有し、入力された該多値スレショルド手段（４５）からの該多値出力信号を逆変換し得られた多値出力信号を送出する教師信号コード逆変換手段（４６）とからなる、少なくとも１個以上の第２の多値出力ニューラルネットワーク手段（４７）とを、入力に対して並列接続し、
該第１及び該第２の多値出力ニューラルネットワーク手段（４３）、（４７）とからの各該多値出力信号を比較し一致状態検出情報を送出する一致検出手段（４８）と、
各該多値出力ニューラルネットワーク手段（４３）、（４７）からの各該多値出力信号の正誤答推定を夫々行なう正誤答推定手段（５５）、（５６）と、
各該正誤答推定手段（５５）、（５６）からの正誤答推定情報を用いて、該第１及び該第２の多値出力ニューラルネットワーク手段（４３）、（４７）からの該多値出力信号の正誤答判定を行ない、該多値出力信号の何れかを選択し送出すると共に選択送出された該多値出力信号の正誤答判定情報を送出する出力選択処理手段（５９）とを少なくとも具備し構成する。
【００２４】
第３の手段として、
第２の手段に記載の前記ニューラルネットワーク手段において、前記互いに異なる多値教 師信号に対して学習コアー入力データを設け、該学習コアー入力データを少なくとも用いて学習させた各前記学習済みニューラルネットワーク（４１）、（４４）の中間層出力ユニットからの該学習コアー入力データに対する出力信号を２値変換する各スレショルド回路（５１）、（５２）を設け、得られた２値出力信号を夫々中間層基準２値出力信号とし、該学習コアー入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の前記スレショルド回路（４２）、（４５）からの前記多値出力信号を用いて該中間層基準２値出力信号を夫々対応づけ格納し、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に対応した該中間層基準２値出力信号を検索し読み出す各中間層基準出力格納手段（４９）、（５０）と、
前記多値出力ニューラルネットワーク手段（４３）、（４７）の該中間層出力ユニットからの該スレショルド回路（５１）、（５２）を介して得られた２値出力信号と該中間層基準出力格納手段（４９）、（５０）から読み出された該中間層基準２値出力信号とのハミング距離を計算し中間層出力距離として夫々前記正誤推定手段（５５）、（５６）に送出する各中間層距離計算手段（５３）、（５４）と、
該中間層出力距離と予め設定された出力距離スレショルドとの中間層出力距離比較結果と前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、正答或いは誤答推定を行い夫々前記正誤答推定情報を送出する各前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成する。
【００２５】
第４の手段として、
第２の手段に記載の前記ニューラルネットワーク手段において、前記互いに異なる多値教師信号に対して学習コアー入力データを設け、該学習コアー入力データを少なくとも用いて学習させた各前記学習済みニューラルネットワーク（４１）、（４４）の中間層ユニットからの該学習コアー入力データに対する出力信号を中間層基準出力信号とし、該学習コアー入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の前記スレショルド回路（４２）、（４５）からの前記多値出力信号を用いて該中間層基準出力信号を夫々対応づけ格納し、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に対応した該中間層基準出力信号を検索し読み出す中間層基準出力格納手段（４９）、（５０）と、前記多値出力ニューラルネットワーク手段（４３）、（４７）の該中間層出力ユニットからの該出力信号と該中間層基準出力格納手段（４９）、（５０）から読み出された該中間層基準出力信号との距離を計算し中間層出力距離として、夫々前記正誤推定手段（５５）、（５６）に送出する各中間層距離計算手段（５３）、（５４）と、
該中間層出力距離と予め設定された出力距離スレショルドとの中間層出力距離比較結果と前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、正答或いは誤答推定を行い夫々前記正誤答推定情報を送出する各前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成する。
【００２６】
第５の手段として、
第２の手段に記載の該ニューラルネットワーク手段において、前記互いに異なる多値教師信号に対応して学習コアー入力データを設け、該学習コアー入力データを少なくとも用いて学習させた各前記学習済みニューラルネットワーク（４１）、（４４）の中間層出力ユニットからの該学習コアー入力データに対する出力信号を３以上の多値変換する各スレショルド回路（５１）、（５２）を設け、得られた多値出力信号を夫々中間層基準多値出力信号とし、該学習コアー入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の前記スレショルド回路（４２）、（４５）からの前記多値出力信号を用いて該中間層基準多値出力信号を夫々対応づけ格納し、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に対応した該中間層基準多値出力信号を検索し読み出す中間層基準出力格納手段（４９）、（５０）と、
前記多値出力ニューラルネットワーク手段（４３）、（４７）の該中間層出力ユニット からの出力信号を３以上の多値に変換する該スレショルド回路（５１）、（５２）を介して得られた多値出力信号と該中間層基準出力格納手段（４９）、（５０）から読み出された該中間層基準多値出力信号とのリー距離を計算し中間層出力距離として夫々前記正誤推定手段（５５）、（５６）に送出する各中間層距離計算手段（５３）、（５４）と、
該中間層出力距離と予め設定された出力距離スレショルドとの中間層出力距離比較結果と前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、正答或いは誤答推定を行い夫々前記正誤答推定情報を送出する前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成する。
第６の手段として、
請求項３、４又は５に記載の前記ニューラルネットワーク手段内の前記正誤答推定手段（５５）、（５６）に於て、前記中間層出力距離と、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号が正答となるテスト入力データに対して前記中間層出力距離を前記多値教師信号毎に求め前記中間層出力距離の平均値、或いは更に標準偏差値とを少なくとも用いて予め設定された前記出力距離スレショルドとを比較し、正誤答推定を少なくとも行なう構成とする。
第７の手段として、
第３、４、５、又は６の手段に記載の該ニューラルネットワーク手段に於て、正答な前記多値出力信号を与えるテスト入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の出力層出力ユニットからの出力信号の出力層出力ユニット毎の正答を与える余裕値を求め、該余裕値の最大値と最小値とからなる範囲を示すテスト領域データを得、該テスト領域データを前記多値教師信号と対応させて予め格納し、入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に該テスト領域データを読み出し、該入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の該出力層出力ユニットの出力信号の余裕値と該テスト領域データとを出力層出力ユニット毎に比較し、テスト領域内かテスト領域外かを判定し、テスト領域判定情報として送出するテスト領域判定手段（５７）、（５８）と、該テスト領域判定情報と前記中間層距離計算手段（５３）、（５４）からの前記中間層出力距離比較結果と、前記多値出力ニューラルネットワーク（４３）、（４７）からの多値出力信号を一致比較する前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの該多値出力信号の正誤答を推定する前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成する。
【００２７】
本発明の正誤答判定機能を有したニューラルネットワーク手段は、それぞれ異なった多値教師信号を用いてグローバルミニマムに収束させ学習させた学習済みニューラルネットワークを入力に対して並列に接続し、第１の多値出力ニューラルネットワークからの多値出力信号と教師信号コード逆変換器を持った多値出力ニューラルネットワークからの多値出力信号との一致／不一致検出或いは多数決処理結果と、中間層基準多値出力信号と入力データに対する学習済みニューラルネットワークの中間層出力ユニットからの多値出力信号とのハミング距離或いはリー距離よる比較と、学習済みニューラルネットワークの出力層出力ユニットからの出力信号の余裕に対するテスト領域判定とを元に、これらの２値出力信号の正誤答推定を行ない、更に何れかが正答ならばその２値出力信号を選択することにより、より高い汎化能力と非常に安定した高い精度の正誤答と而も正答判定率の高い２値出力信号を送出することが簡単に実現できる。更に、従来方式のような学習の際の重み係数の初期設定に於ける試行錯誤も不要で、迅速且つ簡単に本発明のニューラルネットワーク手段を設計することも出来る。
【００２８】
また、上記説明のごとく本発明の正誤答判定機能を有するニューラルネットワーク手段は、従来方式のニューラルネットワーク手段に比べて非常に高精度且つ安定に正答／誤答を容易に得、而も汎化能力を高くできることから、種々のパターン認識などに於て、未知入力データに対する多値出力信号の正誤答判定情報から、学習済みニューラルネットワークに対する追加学習などの為の誤答の未知入力データ収集が簡単に行う事ができ、それらを追加学習させより高い汎化能力と非常に高精度な正誤答判定機能を持ったニューラルネットワーク手段を簡単に実現出来る。
【００２９】
【発明の実施の形態】
以下に本発明のニューラルネットワーク手段の実施例１及び２をあげ、その構成及びその動作について、詳細に説明する。ここでは、２値教師信号を用いた場合を例にあげ説明する。
【００３０】
［実施例１］
実施例１としての本発明のニューラルネットワーク手段２８を図１に示す。３つの学習済みニューラルネットワークを用いた構成例を示す。学習入力データと第１の２値教師信号とを用いて学習した学習済みニューラルネットワーク２９と該ニューラルネットワーク２９の出力層出力ユニットの出力信号を２値に変換し２値出力信号を送出するスレショルド回路３０とからなる第１の２値出力ニューラルネットワーク手段３１と、該第１の教師信号からコード変換して得られた第２の２値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワーク３２と該ニューラルネットワーク３２の出力層出力ユニットの出力信号を２値に変換し２値出力信号を送出するスレショルド回路３３と該第２の２値教師信号を該第１の２値教師信号へコード逆変換する機能を有し該スレショルド回路３３からの２値出力信号を逆変換して新たな２値出力信号を送出する教師信号コード逆変換器３４とからなる第２の２値出力ニューラルネットワーク手段３５と、該第２の２値ニューラルネットワーク手段３５と同一の構成を有し該第１の２値教師信号から変換され他の該２値教師信号と異なる第３の２値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワーク３６と該第３の２値教師信号を該第１の２値教師信号へ逆変換する機能を有した教師信号コード逆変換器３８を用いた第３の２値出力ニューラルネットワーク手段３９と、該２値出力ニューラルネットワーク手段３１、３５及び３９からの２値出力信号を入力し多数決処理結果を送出する多数決処理器２４と、該多数決処理結果を元に該第１、第２及び第３の２値出力信号の何れかを選択し送出し、多数決論理を満たすと正答とし、その他の場合を誤答とする正誤答判定情報を送出する出力選択処理器２５から構成される。
【００３１】
以下、これらの動作について詳細に説明する。該第１の多値出力ニューラルネットワーク手段３１は、図１に示す構成により、端子８の第１の２値教師信号Ｔと端子２の該学習入力データを用いてバックプロパゲーション法或いは誤差摂動型バックプロパゲーション法（特願平７−７７１６８、特開平８−２４９３０４）などにより学習させる。特に、誤差摂動型バックプロパゲーション法を用いた場合には、３層ニューラルネットワークをグローバルミニマム状態に簡単に収束させることができ、而も全て正答の２値出力信号を得ることが出来る。この第１の２値教師信号を用いて学習したニューラルネットワークを該第１の学習済みニューラルネットワーク２９として用い、その出力層出力ユニットからの出力信号をスレショルド回路３０を介して２値化し第１の２値出力ニューラルネットワーク手段３１から送出する。また、図１に示すように端子８の該第１の２値教師信号から教師信号コード変換器１３を介して得られた第２の２値教師信号をスイッチ回路９を介して該減算器９に入力し、端子２の学習入力データに対して学習させグローバルミニマム状態に収束させる。この第２の２値教師信号を用いて学習したニューラルネットワークを第２の学習済みニューラルネットワーク３２として用いる。
【００３２】
該教師信号コード逆変換器３４は、該第２の２値教師信号を該第１の２値教師信号に逆変換する機能を有し、該スレショルド回路３３の２値出力信号を新たな２値出力信号に変換し第２の２値出力ニューラルネットワーク手段３５から送出する。同様に第１の２値教師信号から変換し他の２値教師信号と異なる第３の２値教師信号を得、第３の２値教師信号と該学習入力データとを用いてグローバルミニマム状態に収束させたニューラルネットワークを第３の学習済みニューラルネットワークとして第３の２値出力ニューラルネットワーク手段３９に用いる。また、教師信号コード変換器３８は、第３の２値教師信号を第１の２値教師信号に逆変換する機能を有し、該スレショルド３７からの２値出力信号を新たな２値出力信号に変換し第３の２値出力ニューラルネットワーク手段３９から送出する。
【００３３】
該教師信号コード変換器１３を介して得られる該第２及び３の２値教師信号として、該第１の２値教師信号から、例えば２値コード補数変換や、学習入力データと第１の２値教師信号との対応ずけをシフト変換して得られた新たな２値教師信号を用いる。これらの２値教師信号を用いてグローバルミニマムの状態に学習させた該学習済みニューラルネットワーク２９、３２及び３６は、それぞれ異なったグローバルミニマム状態に収束していることから、学習入力データに対しては、第１の２値出力ニューラルネットワーク手段３１からの２値送出信号と他の第２及び第３の２値出力ニューラルネットワーク手段３５、３９からの２値出力信号とは正答で同一となり、全て一致する。また、テスト入力データに対する汎化能力も殆ど同じであるが、学習の際の２値教師信号がそれぞれ異なることから、正答の領域が一部異なった汎化特性を持ち、入力データに対して必ずしも同一の２値出力信号を送出しない。即ち、安定したほぼ同一の汎化能力と正答となる入力データの領域を簡単にずらすと共に、学習入力データに対しては全て正答の２値出力信号を得ることが出来る。また、これらの第２及び第３の学習済みニューラルネットワーク３２、３３に於て、その学習時に更に重み係数のそれぞれ異なった初期値設定を行い、汎化能力の差は余りないものの、汎化特性に於ける正答の領域をより異なった範囲にずらしてもよい。
【００３４】
多数決処理器２４では、該２値出力ニューラルネットワーク手段３１、３５及び３９からの２値出力信号を入力し多数決処理し、２つ以上一致する２値出力信号を検出し多数決処理結果を送出する。出力選択処理器２５では、該多数決処理結果を元に該第１、第２及び第３の２値出力信号の何れかを選択し送出し、多数決論理を満たすと正答と判定し、その他の場合を誤答と判定した正誤答判定情報を送出する。
【００３５】
上記の説明の如くそれぞれ異なった教師信号を使用した学習によりそれぞれ異なったグローバルミニマム状態に収束させた学習済みニューラルネットワークを用いることにより、入力データに対する高い汎化能力が得られ、而も汎化特性の正答な領域を互いに簡単にずらすことができ、該第１、２及び３の２値出力ニューラルネットワーク手段３１、３５、３９からの２値出力信号を該多数決処理器２４に於て多数決処理し何れか２個以上の該２値出力信号が同一ならば正答それ以外を誤答とすることにより高い精度を持った正誤答判定ができる。また、この多数決処理によりニューラルネットワーク手段２８の汎化能力も改善される。
【００３６】
尚、実施例１では、３つの学習済みニューラルネットワークを用いた例を示したが、更に学習済みニューラルネットワーク、スレショルド回路及び教師信号コード逆変換器からなる新たな１つ以上の２値出力ニューラルネットワーク手段を入力に対し並列に接続し、それらの２値出力信号をそれぞれ該多数決処理器２４及び該出力選択処理器２５に入力してもよい。これにより、より高い汎化能力と正答判定率の拡大と正誤答判定の精度を改善出来る。
【００３７】
［実施例２］
実施例２としての本発明のニューラルネットワーク手段４０を図４に示す。２つのニューラルネットワークを用いた構成例を示す。第１の２値教師信号と学習入力データとを用いて学習させた学習済みニューラルネットワーク４１と該学習済みニューラルネットワーク４１の出力層６の出力ユニットの出力信号を２値変換し２値出力信号を送出するスレショルド回路４２とからなる第１の２値出力ニューラルネットワーク手段４３と、該第１の２値教師信号をコード変換して得た第２の２値教師信号と該学習入力データとを用いて学習させた学習済みニューラルネットワーク４４と該学習済みニューラルネットワーク４４の出力層６の出力ユニットの出力信号を２値に変換し２値出力信号を送出するスレショルド回路４５と該第２の２値教師信号を該第１の２値教師信号へ逆変換する機能を有し該スレショルド回路４５からの２値出力信号を新たな２値出力信号に逆変換し送出する教師信号コード逆変換器４６とからなる第２の２値出力ニューラルネットワーク手段４７とを入力に対して並列に接続し、該スレショルド回路４２、４５からの該２値出力信号を用いて予め格納されている中間層基準２値出力信号を検索し送出する中間層基準出力格納器４９、５０と、入力データに対する該学習済みニューラルネットワーク４１、４４の中間層５の出力ユニットの出力信号を２値変換してそれぞれの中間層２値出力信号を得るスレショルド回路５１、５２と、該中間層２値出力信号と該中間層基準２値出力信号との間のハミング距離を求め中間層出力距離として送出するハミング距離計算器５３、５４と、該学習済みニューラルネットワーク４１、４４の出力層６の該出力信号の各出力ユニット毎の余裕値をそれぞれ求め、該余裕値と、該第１の２値出力ニューラルネットワーク手段４３、４７内のスレショルド回路４２、４５からの該２値出力信号によって読み出された予め格納されたテスト領域データとを比較し該余裕値が該テスト領域内か外かを判定し、テスト領域判定情報として送出するテスト領域判定器５７、５８と、該第１及び第２の２値出力ニューラルネットワーク手段４３、４７から送出される該２値出力信号とを比較し一致或いは不一致を検出し一致検出情報として送出する一致検出器４８と、該テスト領域判定器５７、５８及び該ハミング距離計算器５３、５４、更に該一致検出器４８とからそれぞれ入力された該テスト領域判定情報と該中間層出力距離と該一致検出情報とを用いて、該２値出力信号が正答か誤答かを推定し、正誤答推定情報を送出する正誤答推定器５５、５６と、該正誤答推定情報と該一致検出情報とを元に該第１及び第２の２値出力ニューラルネットワーク手段からの該２値出力信号の何れかを選択しニューラルネットワーク手段４０の２値出力信号として送出し、併せて正答か誤答かを判定して正誤答判定情報として送出する出力選択処理器５９とから構成される。
【００３８】
以下、これらの動作について詳細に説明する。該学習済みニューラルネットワーク４１、４４は入力層４、中間層５及び出力層６の３層の同一構成であり、該第１及び第２の２値教師信号をそれぞれ用いて異なったグローバルミニマムの状態に簡単に学習させることができる。従って、該第１及び第２の２値出力ニューラルネットワーク手段４３、４７からの２値送出信号は、学習入力データに対して、それぞれ全て同一の正答の出力となり、一致する。また、これら学習済みニューラルネットワーク４１、４４は学習アルゴリズムとニューラルネットワークの構造が同一であることから殆ど同様な高い汎化能力が得られる。
【００３９】
また、異なる教師信号を用いて学習させた学習済みニューラルネットワーク４１、４４の汎化能力が高いことから汎化特性の正答な領域は広く而もずれており、未知入力データに対して該２値出力ニューラルネットワーク手段４３、４７からの両２値出力信号は幅広く同一となるが、ずれている領域では同一とはならず、何れかが誤答となる。
【００４０】
ここで、学習済みニューラルネットワーク４１、４４の重み係数としては、同一或いはそれぞれ異なった重み係数初期値を設定して学習させたものを用いても良い。それぞれ異なった重み係数の初期値設定を行うと、汎化能力の変化は殆どないが、汎化特性はよりずれた正答の領域を持つ。
【００４１】
該学習済みニューラルネットワーク４１及び４４に対して、端子２を介して入力データが並列に入力され、学習済みの重み係数を用いて実行処理が行われる。該一致検出器４８に於て該２値出力ニューラルネットワーク手段４３及び４７からの２値出力信号が一致した場合には、共に正答の場合が殆どである。しかしながら、該スレショルド回路４２、４５からの２値出力信号が同じような誤りを発生している場合があり、誤答ではあるがお互いに一致する場合も発生率は非常に低いが発生する。この為、以下の推定処理を行っている。
【００４２】
従来技術では、多数決処理或いは一致検出処理に於て、多数決論理或いは一致論理を満足すれば、正答、満足しなければ誤答と単純に判定している為に、正誤答の判定の精度が低い。
【００４３】
これに対して実施例２では、正誤答推定器５５、５６に於て、それぞれ接続されているテスト領域判定器５７、５８からのテスト領域判定情報とハミング距離計算器５３、５４からの中間層出力距離と一致検出器４８からの一致検出情報とから、該２値出力ニューラルネットワーク手段４３、４７からのそれぞれの該２値出力信号の正答／誤答を推定し、２値出力選択処理器５９に正誤答推定情報としてそれぞれを送出する。ここでは、一致検出情報を元に、一致検出の場合と不一致検出の場合とに分けて、それぞれ中間層出力距離と予め定められた出力距離スレショルドとの比較とテスト領域判定情報とにより、正答或いは誤答の推定を行っている。例えば、両該２値出力信号が一致した場合、テスト領域外で且つ中間層出力距離が該出力距離スレショルドより大きいと誤答と推定する。また、その他の状態を正答と推定する。一方、両該２値出力信号が不一致の場合、テスト領域判定に無関係に中間層出力距離が該出力距離スレショルド以上であると、誤答と推定し、それ以外であると正答と推定する。
【００４４】
該出力選択処理器５９では、該正誤答推定情報と該一致検出情報とを用いて、該第１及び２の２値出力ニューラルネットワーク手段４３、４７からの両該２値出力信号が共に正答推定ならば正答と判定し、第１の２値出力ニューラルネットワーク手段４３からの２値出力信号を送出すると共に正誤答情報として正答を送出する。何れか一方が正答推定ならば、正答推定である２値出力ニューラルネットワーク手段からの該２値出力信号を送出すると共に正誤答情報として正答を送出する。また、何れも誤答ならば、第１の２値出力ニューラルネットワーク手段４３からの該２値出力信号を送出するとともに誤答を正誤答情報として送出する。以上の正誤答推定と論理和処理を行う正誤答判定とにより、正誤答の非常に高い判定精度と非常に高い正答判定率とを実現している。例えば、シミュレーションによると判定精度は99%以上で、判定率は95%程度を実現している。
【００４５】
ここで、ニューラルネットワークを学習させ学習済みニューラルネットワーク４１、４４を得る際に、学習入力データと２値教師信号との対応づけに於て、２値教師信号毎に代表的な特徴を示している入力データや発生頻度の高い入力データを学習コアー入力データとする学習入力データを少なくとも準備し、該学習コアー入力データに対する２値出力信号が正答となるよう学習させた該学習済みニューラルネットワーク４１及び４４を用いる。ここで、学習が終了した際に、該学習コアー入力データに対する該学習済みニューラルネットワーク４１及び４４の中間層５の出力ユニットからの出力信号を該スレショルド回路５１、５２を介してそれぞれ２値出力信号に変換して、これらをそれぞれの中間層基準出力格納器４９及び５０に中間層基準２値出力信号として予め格納しておく。この時、第１及び第２の２値出力ニューラルネットワーク手段４３、４７の夫々の該スレショルド回路４２及び４５からの各２値出力信号、即ち２値教師信号に対応づけてそれぞれ格納する。
【００４６】
入力データが入力された際には、該中間層基準出力格納器４９、５０では、該２値出力ニューラルネットワーク手段４３、４７からの該２値出力信号に対応した該中間層基準２値出力信号を読み出し、該ハミング距離計算器５３、５４へそれぞれ送出する。該ハミング距離計算器５３では、該中間層基準２値出力信号と該中間層５の出力ユニットの出力信号から該スレショルド回路５１、５２を介して得られた２値出力信号とのハミング距離を測り、該正誤答推定器５５、５６へそれぞれ中間層出力距離として送出し、正誤答推定の尺度として用いる。一般に、正答の場合は、このハミング距離は小さく、誤答の場合はこの距離が大きい傾向にある。ここで、３以上の多値の場合には、該ハミング距離計算器５３、５４の代わりにリー距離計算器を用いればよい。
【００４７】
次に、該テスト領域データとしては、該学習済みニューラルネットワーク４１、４４のテスト入力データに対する汎化能力を評価する際に、該スレショルド回路４２、４５が正答の２値出力信号を送出するテスト入力データ間で、該学習済みニューラルネットワーク４１、４４の出力層６の出力ユニットからの出力信号の出力ユニット毎の余裕値（即ち、該スレショルド回路４２、４５の２値化スレショルド値との差の絶対値）の最小値と最大値とを求め、該テスト領域判定データとし、該２値教師信号である２値出力信号に対応させてテスト領域判定器５７、５８にそれぞれ予め格納する。
【００４８】
テスト領域判定器５７、５８では、第１及び第２の２値出力ニューラルネットワーク手段４３、４７の、夫々の入力データに対する該スレショルド回路４２、４５からの２値出力信号を用いて該テスト領域データを読み出し、この時の該出力層６の出力ユニットからの出力信号の該余裕値が全ての出力ユニット毎のそれぞれの該最大値と該最小値間の範囲に収まればテスト領域内、それ以外の状態をテスト領域外と判定し、テスト領域判定情報を送出する。ここで、入力データに対する出力層６の出力ユニットからの出力信号がテスト領域外であると判定されると、この入力データは未知入力データと判定しても良い。また、テスト領域判定データとして、出力ユニット毎の余裕値の最大及び最小値を用いているが、全出力ユニット間での余裕値の最大及び最小値を用いて判定しても良い。
【００４９】
ここでは、正しい所望の２値出力信号を送出するテスト入力データだけから上記のテスト領域判定データを求めればよいが、準備されている全てのテスト入力データを元にテスト領域判定データを求める場合には、学習入力データを用いてニューラルネットワークを学習を終了させた後、更に誤った２値出力信号を送出するテスト入力データを学習入力データとして追加学習し、この追加学習を繰り返すことにより、最終的にテスト入力データに対して全て正しい２値出力信号を送出するよう学習させることができる。このような追加学習を行った後、その重み係数を用いて学習済みニューラルネットワーク手段４３、４７に設定し、これらのテスト入力データに対してテスト領域判定データを収集してもよい。
【００５０】
実施例２に於ては、ハミング距離計算器５３、５４を用い、学習コアー入力データに対応した学習済みニューラルネットワーク４１及び４４の中間層出力ユニットのそれれぞれの出力信号を該スレショルド回路５１、５２を介して２値出力信号を得、それぞれ中間層基準２値出力信号としたが、該スレショルド回路５１、５２を介さず中間層出力ユニットのそれぞれの出力信号をそのまま中間層基準出力信号として該中間層基準出力格納器４９、５０に予め格納し、これらを該スレショルド回路４３、４５からの２値出力信号を元にそれぞれ読み出し、入力データに対応した中間層出力ユニットの出力信号との出力ユニット毎の差の絶対値を全出力ユニットに渡り加算して中間層出力距離として用いても良い。
【００５１】
また、正誤答推定器５５，５６において、中間層出力距離と比較する出力距離スレショルドは、２値教師信号に対応した２値出力信号毎に異なる値を設定してもよい。或いは、正答で同一の２値出力信号で２値教師信号となる種々のテスト入力データに対して、中間層出力距離を求め、この平均値或いは更に標準偏差とを用いて該距離比較スレショルドを設定しても良い。尚、実施例２では、中間層基準出力格納器４９、５０とハミング距離計算器５３をそれぞれ分けて説明したが、これらを一緒にして中間層基準２値出力信号を格納したハミング距離計算処理器として構成してもよい。
【００５２】
コード変換された第１以外の教師信号としては、該教師信号逆変換器４６によって第１の教師信号へ逆変換することができる如何なる教師信号でもよい。例えば、第１の２値教師信号の２値補数からなる２値教師信号や、入力データと第１の２値教師信号との対応関係をシフトした２値教師信号を用いてもよい。または、第１の２値教師信号とは異なる第２の２値教師信号をランダムに発生させ、その対応関係を該教師信号コード逆変換器４７に設定してもよい。
【００５３】
本実施例のニューラルネットワーク手段４０において、上記説明のごとく異なった教師信号に対して学習済みの２つの該２値出力ニューラルネットワーク手段４３、４７を用いているが、ここで、これらの２値出力ニューラルネットワーク手段４３、４７の他に、他とは異なった２値教師信号による学習済みのニューラルネットワークを用い、第２の２値出力ニューラルネットワーク手段と同様の構成をもった新たな２値出力ニューラルネットワーク手段を奇数個用意し入力データに対して並列接続し、増設された個々の該２値出力ニューラルネットワーク手段には、該２値出力ニューラルネットワーク手段４７と同様にスレショルド回路５２、ハミング距離計算器５４、中間層基準出力格納器５０、テスト領域判定器５８及び正誤答推定器５６とそれぞれ同一なものを接続し、更に、該一致検出器４８を多数決処理器に置き換え構成し、並列度を増やしてもよい。
【００５４】
ここで、全ての２値出力ニューラルネットワーク手段からの２値出力信号を多数決論理により処理し、あるスレショルド以上２値出力信号が互いに一致しておれば、一致検出、それ以下ならば不一致検出とする。これにより、ニューラルネットワーク手段の汎化能力をより一層改善でき、正誤答判定能力や精度も著しく改善される。
【００５５】
尚、実施例１及び２に於て、２値教師信号と２値化する為のスレショルド回路を用いた２値の場合についてそれぞれ実施例を示した。ここでは、学習済みニューラルネットワーク２９、３２、３６、４１、４４としてそれぞれ異なる２値教師信号を用いて学習させたものを用いたが、これらに対してそれぞれ異なる３値以上の多値教師信号を用いて学習させたものを用い、２値化するスレショルド回路３０、３３、３７、４２及び４５に対してそれぞれ多値スレショルド回路を、また、学習コアー入力データに対して得られる中間層基準２値出力信号に代わり、多値教師信号による学習済みニューラルネットワークを用いて学習コアー入力データに対する中間層基準多値出力信号を得、これを該中間層基準出力格納器４９、５０に予め格納し、ハミング距離計算器５３、５４の代わりに多値出力信号間の距離を測るリー距離計算器を用いることにより、正誤答判定情報と多値出力信号とを送出する多値ニューラルネットワーク手段を構成することも出来る。
【００５６】
入力データを入力してニューラルネットワーク手段４０を動作させた際、端子２６から誤答判定された２値出力信号が得られた場合には、これに対応した入力データを学習入力データとして該学習済みニューラルネットワークの重み係数を初期値として追加学習して、新たな重み係数を得、該学習済みニューラルネットワーク手段４３、４７に設定し、該ニューラルネットワーク手段４０を動作させてもよい。この一連の処理を繰り返すことにより汎化能力や汎化特性の改善が図れ、より高い正答判定率とより高い判定精度を得ることが出来る。尚、この追加学習を行った際には、学習入力データを初めとする学習条件が変わると、該学習済みニューラルネットワーク４１、４４の重み係数が変化することから、これらのテスト領域判定データや中間層基準２値出力信号をその都度求めなおし、中間層基準出力格納器４９、５０及びテスト領域判定器５７、５８に予めそれぞれ格納する。
【００５７】
学習方法として、バックプロパゲーション法を前提に説明したが、教師信号を用いた学習ならいずれの学習法でもよい。また、上記の実施例に於て、学習済みニューラルネットワークとしてローカルミニマム状態に収束させたものを用いてもよいが、汎化能力及び汎化特性ともグローバルミニマム状態で収束した場合より劣化することから、汎化能力及び正誤答判定に於ける判定精度も劣化する。
【００５８】
以上説明したように、従来方式では、汎化特性の正答の領域をずらす為に、数多くのニューラルネットワークを必要とし、而も学習の際に種々の異なる重み係数の初期値設定を行ない異なったローカルミニマムに収束させる試行錯誤が必要であり、その作業量が膨大である。汎化能力が低く正答の２値出力信号を送出する入力データ領域も狭く、また、正誤答判定の精度も低い。
【００５９】
一方、本発明の如く並列接続して用いられる学習済みニューラルネットワークは、それぞれ異なる２値教師信号を用いて学習しており、而もグローバルミニマムに収束していることから、汎化能力も非常に高く安定であり、汎化特性に於ける正答な２値出力信号を送出する領域も広く而も簡単にずらすことができる。従って、少ない数のニューラルネットワークでよく而も学習が簡単で且つ試行錯誤が不要である。また、それらネットワークの汎化能力及び汎化特性とも高性能で非常に安定していることから、容易に高い正答判定率と精度の高い正誤答推定や判定が実現出来る。
【００６０】
【発明の効果】
以上述べたように、従来方式に於ける異なった重み係数の初期値に対してローカルミニマムに収束した複数個の学習済みニューラルネットワークを入力データに対して並列接続し、入力データに対する２値出力信号の単なる多数決処理や一致検出などによる正答／不明或いは誤答判定を行っており、汎化能力や正誤答の判定精度や２値出力信号の正答率などが低い。
【００６１】
一方、本発明の正誤答判定機能を有したニューラルネットワーク手段は、それぞれ異なった多値教師信号を用いてグローバルミニマムに収束させ学習させた学習済みニューラルネットワークを入力に対して並列に接続し、２値出力信号間の一致／不一致を検出すると共に、中間層基準多値出力信号と入力データに対する中間層出力ユニットからの多値出力信号とのハミング距離或いはリー距離に於ける比較と、出力層出力ユニットからの出力信号の余裕値のテスト領域判定とを元にこれらの２値出力信号の正誤答推定を行ない、更に正答の２値出力信号の論理和による選択をすることにより、より高い汎化能力と非常に安定した高い精度の正誤答と大きい正答判定率の元に２値出力信号を送出することが簡単に実現できる。また、大きい正答判定率と高い正答精度が容易に得られることから、並列ニューラルネットワークに於て、数多くのニューラルネットワークを用いる必要がなく、構成が簡単になる。
【００６２】
これらの結果から、本発明の正誤判定機能を有するニューラルネットワーク手段をパターン認識等に実用した際、未知入力データの多値出力信号に対して正誤答判定が得られ、而もその正答／誤答の精度が非常に高いことから、誤答と判定された未知入力データに対しては、正しい多値教師信号の対応ずけを行ない、並列接続されるそれぞれの学習済みニューラルネットワークの重み係数を追加学習させた重み係数で置き換えることにより、多値出力ニューラルネットワーク手段の汎化能力と正答判定能力を次第に向上させることが簡単に出来る。
【００６３】
従って、パターン認識処理などに用いる際に、詳細な学習入力データを事前に取得した後に、ニューラルネットワークを学習させて使用する必要は必ずしもなく、少なくとも非常に特徴のある学習入力データを学習コアー入力データとしてまず学習させ、現実の使用環境の元で、高い汎化能力と精度の高い正誤答判定能力を利用して、而も誤答の２値出力信号を送出する未知入力データ収集を迅速に行ない、これらを追加学習させることにより、正誤答判定機能を有するニューラルネットワーク手段の正答判定能力と汎化能力を同時に著しく高めることが出来き、実用環境に適したパターン認識率の非常に高い高性能なニューラルネットワーク手段を簡単に実現出来る。
【００６４】
上述のように本発明の正誤答判定機能を有するニューラルネットワーク手段は、従来方式に比べて、少ない数の学習済みニューラルネットワークを並列接続し使用しても非常に高い性能が簡単に得られ、構成が簡単になる利点を持つ。また、異なった多値教師信号を用いてグローバルミニマムに収束させたニューラルネットワークを用いることから、試行錯誤を必要とせず、学習処理が大幅に少ない。
【００６５】
従って、従来技術では実現が困難な大規模ニューラルネットワークに対しても本発明のニューラルネットワークを用いて短時間で設計し実現することが出来、非常に高性能な正誤答判定能力や高い汎化能力が要求される人工知能システムや検索システム、画像処理システムさらにはネットワーク障害情報などを処理する通信処理システムなどへの幅広い応用ができるなど、非常に幅広い効果を有している。
【図面の簡単な説明】
【図１】 実施例１における本発明の正誤答判定機能を有したニューラルネットワーク手段の一構成例である。
【図２】 従来方式における３層ニューラルネットワークの学習処理の一構成例である。
【図３】 従来方式による出力状態情報出力機能を有したニューラルネットワーク網の一構成例である。
【図４】 実施例２における本発明の正誤答判定機能を有したニューラルネットワーク手段の一構成例である。
【符号の説明】
１ ３層ニューラルネットワーク
２ 入力信号入力端子
２１ 入力ユニット端子
２２ 入力ユニット端子
２Ｎ 入力ユニット端子
３ ２値出力端子
３１ ２値出力ユニット端子
３２ ２値出力ユニット端子
３Ｍ ２値出力ユニット端子
４ 入力層
４１ 入力層ユニット
４２ 入力層ユニット
４Ｎ 入力層ユニット
５ 中間層
５１ 中間層出力ユニット
５Ｐ 中間層出力ユニット
６ 出力層
６１ 出力層出力ユニット
６２ 出力層出力ユニット
６Ｍ 出力層出力ユニット
７ 重み係数制御器
８ ２値教師信号入力端子
８１ ２値教師信号入力ユニット端子
８２ ２値教師信号入力ユニット端子
８Ｍ ２値教師信号入力ユニット端子
９ スイッチ回路
１０ 減算器
１０１ 減算器
１０２ 減算器
１０Ｍ 減算器
１１ 重み係数入出力端子
１２ スレショルド回路
１２１ スレショルド回路
１２２ スレショルド回路
１２Ｍ スレショルド回路
１３ 教師信号コード変換器
１４ 従来技術によるニューラルネットワーク手段
１５ 第１の学習済みニューラルネットワーク
１６ スレショルド回路
１７ 第１の２値出力ニューラルネットワーク手段
１８ 第２の学習済みニューラルネットワーク
１９ スレショルド回路
２０ 第２の２値出力ニューラルネットワーク手段
２１ 第３の学習済みニューラルネットワーク
２２ スレショルド回路
２３ 第３の２値出力ニューラルネットワーク手段
２４ 多数決処理器
２５ 出力選択処理器
２６ ２値出力信号端子
２７ 正誤答出力端子
２８ 本発明の第１の実施例におけるニューラルネットワーク手段
２９ 第１の学習済みニューラルネットワーク
３０ スレショルド回路
３１ 第１の２値出力ニューラルネットワーク手段
３２ 第２の学習済みニューラルネットワーク
３３ スレショルド回路
３４ 教師信号コード逆変換器
３５ 第２の２値出力ニューラルネットワーク手段
３６ 第３の学習済みニューラルネットワーク
３７ スレショルド回路
３８ 教師信号コード逆変換器
３９ 第３の２値出力ニューラルネットワーク手段
４０ 本発明の第２の実施例におけるニューラルネットワーク手段
４１ 第１の学習済みニューラルネットワーク
４２ スレショルド回路
４３ 第１の２値出力ニューラルネットワーク手段
４４ 第２の学習済みニューラルネットワーク
４５ スレショルド回路
４６ 教師信号コード逆変換器
４７ 第２の２値出力ニューラルネットワーク手段
４８ 一致検出器
４９ 中間層基準出力格納器
５０ 中間層基準出力格納器
５１ スレショルド回路
５２ スレショルド回路
５３ ハミング距離計算器
５４ ハミング距離計算器
５５ 正誤答推定器
５６ 正誤答推定器
５７ テスト領域判定器
５８ テスト領域判定器
５９ 出力選択処理器
Claims (7)
- 学習入力データと第１の多値教師信号とを用いて学習した学習済みニューラルネットワーク（２９）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（３０）とからなる第１の多値出力ニューラルネットワーク手段（３１）と、
該第１の多値教師信号を変換し得られた第２の多値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワーク（３２）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（３３）と該第２の多値教師信号から該第１の多値教師信号への逆変換機能を有し入力された該多値スレショルド手段（３３）からの該多値出力信号を逆変換し新たな多値出力信号を送出する教師信号コード逆変換手段（３４）とからなる第２の多値出力ニューラルネットワーク手段（３５）とを、入力に対して並列接続し、
更に、少なくとも前記第２の多値出力ニューラルネットワーク手段（３５）と同一の構成を有し該入力に対して並列接続された少なくとも一個以上の新たな多値出力ニューラルネットワーク手段（３９）を設け、他の前記多値教師信号とは異なり該第１の多値教師信号から変換して得られた多値教師信号と該学習入力データとを用いて学習させた学習済みニューラルネットワーク（３６）を用い、該多値出力ニューラルネットワーク手段（３９）内の教師信号コード逆変換手段（３８）に於て学習に用いた該多値教師信号を前記第１の多値教師信号に逆変換させる機能を用い逆変換された多値出力信号を送出させ、並列接続された前記第１及び第２の多値出力ニューラルネットワーク手段（３１）、（３５）と少なくとも一個以上の新たな該多値出力ニューラルネットワーク手段（３９）とからの該多値出力信号間の一致状態を検出する多数決処理手段（２４）と、
該多数決処理手段（２４）からの該一致状態を用いて、該第１及び該第２の多値出力ニューラルネットワーク手段（３１）、（３５）と少なくとも一個以上の新たな該多値出力ニューラルネットワーク手段（３９）とからの該多値出力信号の正誤答判定を行ない、
該多値出力信号の何れかを選択し送出すると共に選択送出された該多値出力信号の正誤答判定情報を送出する出力選択処理手段（２５）とを少なくとも具備し構成することを特徴とするニューラルネットワーク手段（２８）。 - 学習入力データと第１の多値教師信号とを用いて学習した学習済みニューラルネットワーク（４１）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（４２）とからなる第１の多値出力ニューラルネットワーク手段（４３）と、
該第１の多値教師信号を変換し得られた、他とは異なる新たな多値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワーク（４４）と該ニューラルネットワークの出力層出力ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段（４５）と該多値教師信号から該第１の多値教師信号への逆変換機能を有し、入力された該多値スレショルド手段（４５）からの該多値出力信号を逆変換し得られた多値出力信号を送出する教師信号コード逆変換手段（４６）とからなる、少なくとも１個以上の第２の多値出力ニューラルネットワーク手段（４７）とを、入力に対して並列接続し、
該第１及び該第２の多値出力ニューラルネットワーク手段（４３）、（４７）とからの各該多値出力信号を比較し一致状態検出情報を送出する一致検出手段（４８）と、
各該多値出力ニューラルネットワーク手段（４３）、（４７）からの各該多値出力信号の正誤答推定を夫々行なう正誤答推定手段（５５）、（５６）と、
各該正誤答推定手段（５５）、（５６）からの正誤答推定情報を用いて、該第１及び該第２の多値出力ニューラルネットワーク手段（４３）、（４７）からの該多値出力信号の正誤答判定を行ない、
該多値出力信号の何れかを選択し送出すると共に選択送出された該多値出力信号の正誤 答判定情報を送出する出力選択処理手段（５９）とを少なくとも具備し構成することを特徴とするニューラルネットワーク手段（４０）。 - 請求項２に記載の前記ニューラルネットワーク手段において、前記互いに異なる多値教師信号に対して学習コアー入力データを設け、該学習コアー入力データを少なくとも用いて学習させた各前記学習済みニューラルネットワーク（４１）、（４４）の中間層出力ユニットからの該学習コアー入力データに対する出力信号を２値変換する各スレショルド回路（５１）、（５２）を設け、得られた２値出力信号を夫々中間層基準２値出力信号とし、該学習コアー入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の前記スレショルド回路（４２）、（４５）からの前記多値出力信号を用いて該中間層基準２値出力信号を夫々対応づけ格納し、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に対応した該中間層基準２値出力信号を検索し読み出す各中間層基準出力格納手段（４９）、（５０）と、
前記多値出力ニューラルネットワーク手段（４３）、（４７）の該中間層出力ユニットからの該スレショルド回路（５１）、（５２）を介して得られた２値出力信号と該中間層基準出力格納手段（４９）、（５０）から読み出された該中間層基準２値出力信号とのハミング距離を計算し中間層出力距離として夫々前記正誤推定手段（５５）、（５６）に送出する各中間層距離計算手段（５３）、（５４）と、
該中間層出力距離と予め設定された出力距離スレショルドとの中間層出力距離比較結果と前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、正答或いは誤答推定を行い夫々前記正誤答推定情報を送出する各前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成することを特徴としたニューラルネットワーク手段。 - 請求項２に記載の前記ニューラルネットワーク手段において、前記互いに異なる多値教師信号に対して学習コアー入力データを設け、該学習コアー入力データを少なくとも用いて学習させた各前記学習済みニューラルネットワーク（４１）、（４４）の中間層ユニットからの該学習コアー入力データに対する出力信号を中間層基準出力信号とし、該学習コアー入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の前記スレショルド回路（４２）、（４５）からの前記多値出力信号を用いて該中間層基準出力信号を夫々対応づけ格納し、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に対応した該中間層基準出力信号を検索し読み出す中間層基準出力格納手段（４９）、（５０）と、前記多値出力ニューラルネットワーク手段（４３）、（４７）の該中間層出力ユニットからの該出力信号と該中間層基準出力格納手段（４９）、（５０）から読み出された該中間層基準出力信号との距離を計算し中間層出力距離として、夫々前記正誤推定手段（５５）、（５６）に送出する各中間層距離計算手段（５３）、（５４）と、
該中間層出力距離と予め設定された出力距離スレショルドとの中間層出力距離比較結果と前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、正答或いは誤答推定を行い夫々前記正誤答推定情報を送出する各前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成することを特徴としたニューラルネットワーク手段。 - 請求項２に記載の該ニューラルネットワーク手段において、前記互いに異なる多値教師信号に対応して学習コアー入力データを設け、該学習コアー入力データを少なくとも用いて学習させた各前記学習済みニューラルネットワーク（４１）、（４４）の中間層出力ユニットからの該学習コアー入力データに対する出力信号を３以上の多値変換する各スレショルド回路（５１）、（５２）を設け、得られた多値出力信号を夫々中間層基準多値出力信号とし、該学習コアー入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の前記スレショルド回路（４２）、（４５）からの前記多値出力信号を用いて該中間層基準多値出力信号を夫々対応づけ格納し、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に対応した該中間層基準多値出力信号を検索し読み出す中間層基準出力格納手段（４９）、（５０）と、
前記多値出力ニューラルネットワーク手段（４３）、（４７）の該中間層出力ユニットからの出力信号を３以上の多値に変換する該スレショルド回路（５１）、（５２）を介して得られた多値出力信号と該中間層基準出力格納手段（４９）、（５０）から読み出された該中間層基準多値出力信号とのリー距離を計算し中間層出力距離として夫々前記正誤推定手段（５５）、（５６）に送出する各中間層距離計算手段（５３）、（５４）と、
該中間層出力距離と予め設定された出力距離スレショルドとの中間層出力距離比較結果と前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、正答或いは誤答推定を行い夫々前記正誤答推定情報を送出する前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成することを特徴としたニューラルネットワーク手段。 - 請求項３、４又は５に記載の前記ニューラルネットワーク手段内の前記正誤答推定手段（５５）、（５６）に於て、前記中間層出力距離と、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号が正答となるテスト入力データに対して前記中間層出力距離を前記多値教師信号毎に求め、前記中間層出力距離の平均値、或いは更に標準偏差値とを少なくとも用いて予め設定された前記出力距離スレショルドとを比較し、正誤答推定を少なくとも行なうことを特徴としたニューラルネットワーク手段。
- 請求項３、４、５、又は６に記載の該ニューラルネットワーク手段に於て、正答な前記多値出力信号を与えるテスト入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の出力層出力ユニットからの出力信号の出力層出力ユニット毎の正答を与える余裕値を求め、該余裕値の最大値と最小値とからなる範囲を示すテスト領域データを得、該テスト領域データを前記多値教師信号と対応させて予め格納し、入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）からの前記多値出力信号を元に該テスト領域データを読み出し、該入力データに対する前記多値出力ニューラルネットワーク手段（４３）、（４７）内の該出力層出力ユニットの出力信号の余裕値と該テスト領域データとを出力層出力ユニット毎に比較し、テスト領域内かテスト領域外かを判定し、テスト領域判定情報として送出するテスト領域判定手段（５７）、（５８）と、
該テスト領域判定情報と、前記中間層距離計算手段（５３）、（５４）からの前記中間層出力距離比較結果と、前記多値出力ニューラルネットワーク（４３）、（４７）からの多値出力信号を一致比較する前記一致検出手段（４８）からの前記一致状態検出情報とを用いて、前記多値出力ニューラルネットワーク手段（４３）、（４７）からの該多値出力信号の正誤答を推定する前記正誤答推定手段（５５）、（５６）とを少なくとも具備し構成することを特徴としたニューラルネットワーク手段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22919299A JP3675246B2 (ja) | 1999-08-13 | 1999-08-13 | 正誤答判定機能を有するニューラルネットワーク手段 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22919299A JP3675246B2 (ja) | 1999-08-13 | 1999-08-13 | 正誤答判定機能を有するニューラルネットワーク手段 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001051969A JP2001051969A (ja) | 2001-02-23 |
| JP3675246B2 true JP3675246B2 (ja) | 2005-07-27 |
Family
ID=16888258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22919299A Expired - Fee Related JP3675246B2 (ja) | 1999-08-13 | 1999-08-13 | 正誤答判定機能を有するニューラルネットワーク手段 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3675246B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308517A (zh) * | 2018-09-07 | 2019-02-05 | 中国科学院计算技术研究所 | 面向二值神经网络的二值化装置、方法及应用 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3545743B2 (ja) | 2001-12-13 | 2004-07-21 | 株式会社東芝 | 特徴抽出システム及び半導体集積回路装置 |
| WO2008096582A1 (ja) * | 2007-02-06 | 2008-08-14 | Nec Corporation | 認識器重み学習装置および音声認識装置、ならびに、システム |
| CN106781790B (zh) * | 2016-12-10 | 2022-10-21 | 杭州博世数据网络有限公司 | 一种带有自纠正功能的在线学习系统 |
| EP3474192A1 (en) * | 2017-10-19 | 2019-04-24 | Koninklijke Philips N.V. | Classifying data |
| DE102018214921A1 (de) | 2018-09-03 | 2020-03-05 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Anordnung und Verfahren zur Steuerung einer Vorrichtung |
| JP7321690B2 (ja) * | 2018-09-26 | 2023-08-07 | キヤノンメディカルシステムズ株式会社 | 検証システム及び検証装置 |
| JP7215131B2 (ja) * | 2018-12-12 | 2023-01-31 | 株式会社オートネットワーク技術研究所 | 判定装置、判定プログラム、判定方法及びニューラルネットワークモデルの生成方法 |
| JP7269013B2 (ja) * | 2019-01-09 | 2023-05-08 | 川崎重工業株式会社 | 誤認識を抑制可能な画像認識システムおよび画像認識方法 |
| JP2020187409A (ja) | 2019-05-10 | 2020-11-19 | ソニーセミコンダクタソリューションズ株式会社 | 画像認識装置、固体撮像装置、および画像認識方法 |
| AU2020468806B2 (en) * | 2020-09-18 | 2024-02-29 | Nippon Telegraph And Telephone Corporation | Learning device, learning method, and learning program |
-
1999
- 1999-08-13 JP JP22919299A patent/JP3675246B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308517A (zh) * | 2018-09-07 | 2019-02-05 | 中国科学院计算技术研究所 | 面向二值神经网络的二值化装置、方法及应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001051969A (ja) | 2001-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3675246B2 (ja) | 正誤答判定機能を有するニューラルネットワーク手段 | |
| Sudheer et al. | Radial basis function neural network for modeling rating curves | |
| Mao et al. | Algorithms for minimal model structure detection in nonlinear dynamic system identification | |
| US6601053B1 (en) | Optimized artificial neural networks | |
| US5151969A (en) | Self-repairing trellis networks | |
| EP0975125B1 (en) | Sequence estimation method and sequence estimator | |
| JP3328935B2 (ja) | 並列多値ニューラルネットワーク | |
| Xu et al. | Removal of salt and pepper noise in corrupted image based on multilevel weighted graphs and IGOWA operator | |
| JP3855665B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| JP3891124B2 (ja) | 正誤答判定機能を有する並列ニューラルネットワーク手段 | |
| JP3855582B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| JP3855580B2 (ja) | 並列ニューラルネットワーク装置 | |
| JP3757722B2 (ja) | 多層ニューラルネットワークユニット数最適化方法及び装置 | |
| CN116633758A (zh) | 基于全异构元对比学习模型的网络故障预测方法及系统 | |
| JP3277648B2 (ja) | 並列ニューラルネットワーク | |
| US20080267220A1 (en) | Method of Iterative Signal Processing For Cdma Interference Cancellation and Ising Perceptrons | |
| Koldaev et al. | Neural Network Decoder of Automatic Process Control System | |
| CN112861115A (zh) | 基于区块链安全认证的加密策略调用方法及云认证服务器 | |
| JP3678071B2 (ja) | ニューラルネットワーク入力判別装置 | |
| JP3329202B2 (ja) | ニューラルネットワーク学習方式 | |
| Yao | Learning of decision regions based on the genetic algorithm | |
| JP4687199B2 (ja) | 連想記憶装置とそのソフトウェア | |
| JP4696529B2 (ja) | 多層ニューラルネットワーク装置とそのソフトウェア | |
| JPH05307535A (ja) | 学習型波形認識処理装置 | |
| Billings et al. | Qualitative validation of radial basis function networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050425 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |