JP3303032B2 - ニューラルネット学習装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は多層ニュ−ラルネットの
学習を行なう装置、並びに多層ニュ−ラルネットの各種
応用装置（認識，予測，推定，関数近似，制御等を行な
う装置）の学習方法に関する。

【０００２】

【従来の技術】ニュ−ラルネットの学習は一般に、ある
信号（教師入力信号）をネットワ−クに入力して得られ
たネットワ−クの出力と、この教師入力信号に対応した
望ましい出力（教師出力信号）との偏差を求め、これを
小さくする方向にニュ−ロン間のシナプスの重みを修正
することにより行われる。この学習はバックプロパゲ−
ションと呼ばれ多くの文献で参照できるが、例えば“入
門と学習ニュ−ロコンピュ−タ”（技術評論社）P47に
フロ−チャ−トが記されている。

【０００３】一方、ニュ−ラルネットの汎化能力（推論
能力、認識能力）向上を目差した学習方法の改善手段と
しては、インターナショナル・ニューラル・ネットワー
ク・ソサイアティ（International Neural Network Soc
iety）の論文誌であるニューラル・ネットワークス
（“Neural Networks”）Vol.4, Number 1, P67-P79(19
91)に記載の方法がある。この方法では、教師入力信号
に一定振幅の乱数を重畳するようにしている。

【０００４】また、日本音響学会春期全国大会講演論文
集P29（平成３年、論文番号１−５−１３）にも趣旨を
同じくした記載があり、汎化を行なう環境で教師入力信
号に重畳されるノイズに一致した一定振幅のノイズをあ
らかじめ教師入力デ−タに加算して学習すると、最も汎
化能力の高いネットワ−クが得られるとされている。更
に、ロスアンジェルスのカリフォルニア大学の技術レポ
ート（University ofCalifornia, Los AngelesのTechni
cal Report）、CSD-910068(September 1991)には、汎化
能力を向上させるために乱数の値を一様に減少させ、最
終的に０に至らしめる手法が記されている。

【０００５】

【発明が解決しようとする課題】上述した従来技術で種
々検討されている学習方式は、ニュ−ラルネット演算手
段の性能を、あらゆる問題に対し万能的に向上させるも
のではない。例えば、バックプロパゲ−ションと、教師
入力信号に乱数を重畳させて改善する技法との比較をし
てみる。ネットワ−クで学習する問題が非線形関数の近
似の場合は、単純なバックプロパゲ−ションの方がネッ
トワ−クに高い汎化能力を与えられる。しかし、クラス
タリングやパタ−ン認識の場合は、逆に、教師入力信号
に適当な乱数を重畳することで汎化能力を向上させられ
るときがある。またクラスタリング問題であっても、教
師信号が各クラスタを包含する程度に十分備えられてい
る場合には、単純なバックプロパゲ−ションで高い汎化
能力が得られ、乱数の重畳は処理を煩雑化させるのみで
ある。これに対し、教師信号が不十分な場合には逆に汎
化能力向上に効果が大きい。さらに、中間層ニュ−ロン
数が多く、中間層の自由度が大きい場合には、乱数重畳
は汎化能力を向上させるが、中間層ニュ−ロン数が小さ
い場合には、ネットワ−クが限られた解に収れんするの
を妨げるため、乱数の加算が汎化能力を逆に低下させる
ことがある。

【０００６】従って、従来のニュ−ラルネットの学習装
置は、そのニューラルネット学習装置が解決しようとす
る問題毎に専用の装置として用意され、汎用のニューラ
ルネット学習装置というものは考えられていなかった。

【０００７】また、ニュ−ラルネットがクラスタリング
やパタ−ン認識に用いられる場合、従来学習法であるバ
ックプロパゲ−ションでは、ネットワ−ク出力の教師出
力からの誤差（出力誤差）を最小化する操作と、境界を
理想位置（たとえばクラスタの中間位置）に近づける操
作が直接対応しないため、一定の出力誤差に到達した後
さらに学習を進めて誤差を減少させても、汎化能力が向
上しないことがある。

【０００８】この解決を目的として教師入力信号に乱数
を重畳する前記従来技術は、汎化を行なう環境のノイズ
があらかじめ分かっている場合には、その振幅を教師入
力信号に加算するノイズの振幅とすれば良い。しかし、
ノイズが不明の場合や、あるいは様々な振幅のノイズが
加わったデ−タが汎化の対象となる場合等については考
慮しておらず、このときに教師入力信号に加算すべき乱
数の振幅を容易に特定できないという問題がある。更
に、汎化能力を高める上で最適な乱数の重畳プログラム
が問題に応じて異なっているにもかかわらず、これを考
慮していないため、乱数を重畳することが汎化能力を逆
に低下させる虞がある。例えば、教師入力信号同士の類
似度と、加算する乱数の振幅の関係について考慮されて
いないため、類似した教師入力信号が異なったクラスタ
に属しているとき、過大な乱数の加算によって逆にこれ
らを識別できなくなる問題がある。更にまた、乱数の振
幅を学習の進行とともに漸減させる手法も、教師入出力
信号の特性やネットワ−クの中間層ニュ−ロン数により
最適な減少プログラムが異なるにもかかわらず、これに
ついて配慮していないため常に良好なネットワ−クが得
られないことが問題となる。

【０００９】本発明の第１の目的は、学習すべき問題に
適したアルゴリズムでネットワ−クの学習を行い、汎化
能力に優れたニュ−ラルネットの構築を行うニューラル
ネット学習装置を提供することにある。

【００１０】本発明の第２の目的は、従来の学習方法で
汎化能力向上が困難なクラスタリング（パタ−ン認識、
識別）問題を解決し、ネットワ−クに最大の汎化能力を
与えることのできるニューラルネット学習装置を提供す
ることにある。すなわち、汎化の対象となるデ−タが教
師入力デ−タからどの程度異なっていた場合でも、また
類似な教師入力信号が異なった出力を与える場合であっ
ても、これらに依存せず、最大汎化能力を備えたネット
ワ−クを構築可能なニューラルネット学習装置を提供す
ることにある。

【００１１】

【課題を解決するための手段】上記第１の目的は、ニュ
−ラルネット学習装置に学習アルゴリズムを複数種類設
け、さらにネットワ−クの構成や扱う問題，教師信号の
性質に対応した適当なアルゴリズムを選択し学習に供す
る学習アルゴリズム選択手段を設けることで、達成され
る。

【００１２】上記第２の目的は、各教師信号とこれらが
属するクラスタの境界線との距離（空間距離）を検出す
る空間距離検出手段を設け、検出された距離が特定の教
師信号について小さい値とならないことを目標に学習を
行うことで、達成される。更に好適には、乱数発生手段
と、発生された乱数の振幅を修正したのち教師入力信号
に加算するデ−タ処理手段とを設けると共に、このデ−
タ処理手段に、教師信号の性質を解析する機能と、解析
結果から乱数振幅の初期値を決定する機能と、学習の進
行状況から乱数の振幅を望ましい値に修正する機能を設
けることで、達成される。

【００１３】

【作用】ネットワ−クの学習アルゴリズムとして、教師
信号を繰り返し学習する従来型のバックプロパゲ−ショ
ン、教師信号に適当なノイズを重畳したものを新たに教
師入力信号として学習を行う修正型のバックプロパゲ−
ション、ベクトル量子化手法等の複数種類が用意されて
いるので、学習アルゴリズム選択手段は、これらのうち
実際に用いるアルゴリズムを選択する。この選択は、オ
ペレータが外部から操作して行っても良いし、学習アル
ゴリズム選択手段自身が、予想される学習結果の良否
（ネットワ−クの汎化能力）を基に、自動的に行っても
良い。またオペレータがネットワ−クの汎化能力や学習
の完了速度等から優先すべき項目を指示し、これに基づ
いて学習アルゴリズム選択手段が望ましいアルゴリズム
を選択しても良い。いずれにしてもネットワ−クが扱う
問題や、教師信号の性質に従って最善のアルゴリズムが
選択する機構が備えられる。

【００１４】空間距離検出手段は教師入力信号と、その
信号が属しているクラスタの境界線までの空間距離を検
出する。これを教師入力信号総てについて行い、この値
が特定の教師入力信号について小さくならないようにニ
ュ−ラルネットの内部状態を更新し、学習を行う。

【００１５】デ−タ処理手段は教師信号について、各ク
ラスタ（パタ−ン）に属する教師信号数および異なるク
ラスタに属する教師信号の空間距離から、教師入力信号
に重畳する乱数振幅の初期値を決定する。また積算学習
回数やシナプスの重みの値からネットワ−クの出来上が
り具合を評価し、これを基に乱数振幅値を最適に修正す
る。

【００１６】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。図１は、本発明の一実施例に係るニュ−ラルネ
ット学習装置の構成図である。このニュ−ラルネット学
習装置１０１は、ニュ−ラルネット演算手段１０２、教
師信号メモリ１０３、複数の学習アルゴリズムが用意さ
れた学習アルゴリズム群１０４、この中から実際に学習
に供するアルゴリズムを選択する学習アルゴリズム選択
手段１０５からなる。ニュ−ラルネット演算手段１０２
として、図示する実施例では、３層構造のラメルハ−ト
型ネットワ−クを用いている。各層（入力層１０８，中
間層１０９，出力層１１０）は適当数のニュ−ロンによ
り構成され、層間のニュ−ロンはシナプス１１１で結合
されている。ネットワ−クにおける信号の流れ及び通常
用いられる学習アルゴリズム（バックプロパゲ−ショ
ン）の詳細は、たとえば技術評論社“入門と実習ニュ−
ロコンピュ−タ”のP15（信号の流れ）、P47（学習のア
ルゴリズム）など多数の文献で参照できる。

【００１７】教師信号メモリ１０３には、ニュ−ラルネ
ット演算手段１０２の学習に用いるデ−タが格納されて
いる。具体的には、ニュ−ラルネット演算手段１０２へ
の入力（教師入力信号１０６）と、教師入力信号に対応
した望ましい演算部の出力（教師出力信号１０７）との
ペアが、複数蓄えられている。

【００１８】学習アルゴリズム群１０４には、教師信号
メモリ１０３の内容を用いて、ニュ−ラルネット演算手
段１０２を学習するアルゴリズムが夫々独立したアルゴ
リズムとして複数種類設けられている。アルゴリズムと
しては、（ａ）通常のバックプロパゲ−ション、（ｂ）
University of California, Los AngelesのTechnical R
eport、CSD-910068(September 1991)記載の、教師入力
信号に一様乱数を重畳してネットワ−クに入力しバック
プロパゲ−ションで学習する手法、（ｃ）Springer-Ver
lag の“Complex System and Cognitive Processes”の
P135-137 記載の、kohonenのLearning Vector Quantiza
tion を応用したアルゴリズム、（ｄ）本実施例で新た
に開発した図８に示す学習方法などが、必要に応じて種
々考えられる。尚、これらは必ずしも独立して設ける必
要はなく、共有できる部分は共用化した構成としても良
い。

【００１９】学習アルゴリズム選択手段１０５は、学習
に用いるアルゴリズムを切り替えにより選択する。

【００２０】ニュ−ラルネット学習装置１０１は、図２
のように計算装置（ワ−クステ−ション，パソコン，あ
るいは専用の計算装置）２０１の中のアプリケ−ション
ソフトウェアの一つとして実現されるのが一般的であ
る。実現形態としては、学習済みのニュ−ラルネット演
算手段１０２が計算装置２０１のＩ／Ｏ２０３に対して
演算結果を出力し、対象２０２の運転を行う「学習・演
算一体型」の構造と、図３のように学習結果として、た
とえばシナプス１１１の重みの値だけを演算装置３０１
にダウンロ−ドし、実際の運転はニュ−ラルネット演算
手段１０２を備えた演算装置３０１で行う「学習・演算
分離型」の構造が考えられる。演算の対象は制御，認
識，予測，診断など様々であり、演算装置３０１は場合
に応じて制御用のコントロ−ラ（ＰＩＤコントロ−ラ，
プログラマブルコントロ−ラ，プロセスコントロ−ラ）
や画像認識装置であり、対象２０２は制御プラントや各
種被認識システムである。

【００２１】図４は、学習アルゴリズム選択手段１０２
を外部スイッチ４０１から操作できる構成としたニュー
ラルネット学習装置の例である。ニュ−ラルネット学習
装置１０１がワ−クステ−ション等で実現されている場
合、アルゴリズム選択メニュー画面の中から目的のアル
ゴリズムをキ−ボ−ドを使って選択し、アルゴリズム選
択手段を切り替える構造とするのが一般的であるが、専
用の学習装置で実現する場合には、専用の外部切替スイ
ッチを設けても良い。この場合、学習アルゴリズム選択
手段１０５は、オペレータが外部切替スイッチ４０１に
より設定したアルゴリズムを選択する。報知手段４０２
は、どのアルゴリズムが学習に用いられているかをオペ
レータに報知する。報知手段としては、ワ−クステ−シ
ョンのディスプレイを用いてオペレータに対して表示し
ても良いし、ＬＥＤ等を用いた専用の表示手段をニュ−
ラルネット学習装置に設置しても良い。また音声により
オペレータに知らせることも考えられる。

【００２２】図５は、学習アルゴリズム選択手段１０５
が教師信号メモリ１０３およびニュ−ラルネット演算手
段１０２の内容を取り込み、これを解析して自動的にア
ルゴリズを選択する実施例の説明図である。今仮に、学
習アルゴリズム群１０４に通常のバックプロパゲ−ショ
ン（ＳＢＰ）と、University of California, Los Ange
lesのTechnical Report、CSD-910068(September 1991)
記載の、教師入力信号に一様乱数を重畳してネットワ−
クに入力するバックプロパゲ−ション（ＤＢＰ）で学習
する手法が備えられているとする。これらのバックプロ
パゲーションＳＢＰ，ＤＢＰには、図６に示すような優
劣関係がある。すなわちネットワ−クが学習する問題が
非線形関数近似の場合、ＳＢＰのほうが良好な汎化能力
（ネットワ−クが真の値に近い値を出力する能力）とな
る。一方、クラスタリング問題の場合、University of
California, Los AngelesのTechnical Report、CSD-910
068(September 1991)のP12に記載されているように、一
般にＤＢＰの方が汎化能力（ノイズの加わった文字等を
正しく認識する能力）が高くなるが、たとえば中間層ニ
ュ−ロン数が十分に備えられていない場合には、逆にＳ
ＢＰの汎化能力が高くなる。従って、ニュ−ラルネット
演算手段１０２の応答性やメモリ容量の問題の関係か
ら、中間層のニュ−ロン数に制約が加わる場合には、学
習アルゴリズムとしてＳＢＰを選択した方が良いことに
なる。このため、この優劣関係を勘案して使用する学習
アルゴリズムを選択する。

【００２３】優劣関係の例として、図７に、電気学会論
文誌Ｄ,Vol111-D,No.1.P36-P44(Jan.,1991)記載の車番
認識システムにおいて、中間層ニュ−ロン数を変化さ
せ、ＳＢＰ，ＤＢＰで学習したネットワ−クで認識率を
評価した結果を示す。図７で、中間層ニュ−ロン数が６
個以上のときにはＤＢＰの認識率が勝っているが、ニュ
−ロン数が４個のときには逆にＳＢＰの認識率が上回っ
ている。学習アルゴリズム選択手段１０５は図６の優劣
関係をデ−タとして保持し、パス１により教師信号メモ
リ１０３に備えられている教師信号の数やバラツキ具
合、またパス２によりニュ−ラルネット演算手段１０２
の中間層ニュ−ロン数を検出した上で、選択すべきアル
ゴリズムを判定する。判定規準は、図７に例を示したシ
ミュレ−ションの結果から設定すれば良い。選択枝とし
て他の学習アルゴリズムが加わった場合にも、基本的に
は、条件に応じたこれらの優劣をシミュレ−ション等で
明らかにし、同様の考え方で選択規準を設定できる。ま
たこの場合にもニュ−ラルネット学習装置に図４のよう
な報知手段４０２を備えることが可能である。

【００２４】図８は、学習アルゴリズム群１０４が、ク
ラスタ（カテゴリ）の境界線を各クラスタから均等に隔
たらせるアルゴリズムを備えた例である。実施例ではア
ルゴリズム１として備えた例を示す。入力空間８０１の
ように各クラスタが複数の教師信号で定義されている場
合、クラスタと境界線との距離は、境界線に最も近接す
る信号と境界線との距離で代表できる。また境界線は各
入力に対応したニュ−ラルネット演算手段１０２の出力
から計算できる。検出手段８０２は各クラスタについて
近接した境界との間の距離（ａ，ｂ，ｃ，ｄ，・・・・
・）を計算し、これらをアルゴリズム１に転送する。こ
れを受けてアルゴリズム１は、クラスタ（カテゴリ）の
境界線を各クラスタから均等に隔たらせる。

【００２５】図９は、学習アルゴリズム群１０４が、教
師信号メモリ１０３から取り込んだ信号を適当に修正
し、修正後の信号を用いて学習を行うアルゴリズムを備
えた例である。ここで乱数発生手段９０１は、教師信号
のペアが抽出されたタイミングであらかじめ定められた
仕様の乱数を発生する。教師入力信号が複数の要素を備
えたベクトルであるときは、要素の数に対応した数の乱
数が一度に発生される。本実施例では、学習監視手段９
０２が、学習に繰り返し回数を監視する。すなわち教師
信号のペアがニュ−ラルネット演算手段１０２に提示さ
れた回数が格納される。これはたとえば学習監視手段９
０２にカウンタを備えておき、教師信号メモリ１０３か
らペアが抽出される度にこのカウンタをインクリメント
することにより、容易に実現できる（パス１）。デ−タ
処理手段９０３には、教師信号メモリ１０３から抽出さ
れた教師入力（パス２）と、これに対応して乱数発生手
段９０１から出力された乱数の値が入力される（パス
３）。そして学習監視手段９０２の内容をもとに乱数の
値を修正し（パス４）、これを教師入力に加算する。修
正の内容として、乱数発生手段９０１が一定振幅の乱数
を発生させる場合であれば、たとえば次の第１式のよう
に乱数の振幅値を学習回数に比例して一様に減少させ
る。

【００２６】

【数１】 Ｒm ＝Ｒ×（１−Ｎt／Ｎtotal） …（１） Ｒm ・・・・・・・ 修正された乱数の値 Ｒ ・・・・・・・・ 乱数発生手段１０３から出力された乱数の
値 Ｎt ・・・・・・・ 現在の学習回数 Ｎtotal ・・・ 学習の打切り回数。

【００２７】また、乱数の振幅を学習回数の２乗に比例
して減少させる場合であれば、次の第２式となる。

【００２８】

【数２】 Ｒm ＝Ｒ×［１−（Ｎt／Ｎtotal）・（Ｎt／Ｎtotal）］ …（２）。 教師信号を修正する方法としては、この他に、ゆらぎを
与えて減少させる方法を初め多数考えられる。また学習
監視手段９０２の監視内容としては、ネットワ−クの重
みの更新量や、学習回数に対する重みの増分等を検出し
ても良い。さらに乱数発生手段１０３に学習を監視する
機構を設け、乱数の振幅を直接修正して発生させること
もできる。教師入力信号が複数の要素を備えているとき
は、必要に応じて各要素ごとに異なった内容の修正を行
なってもよい。最終的にニュ−ラルネット演算手段１０
２には、Ｒmを加算された教師入力信号（パス５）と、
教師出力信号（パス６）がペアとして提示され、これに
従って学習が行なわれる。ここで教師信号解析手段９０
４は、教師信号メモリ１０３に蓄えられている信号の数
およびその拡がり具合を検出し（パス７）、この値から
乱数発生手段９０１が発生する乱数の値Ｒを決定する
（パス８）。例えば、クラスタ１とクラスタ２に属する
教師入力信号のうち、入力空間８０１で最も近接する信
号の距離がｒのとき、両クラスタを識別するのに最適な
乱数の振幅値はｒ／２である。そこで教師信号解析手段
９０２は、乱数発生手段９０１が発生する乱数の値を、
Ｒ＝ｒ／２に設定する。第１式，第２式にあるように、
デ−タ処理手段９０３は教師入力信号に対する修正の初
期値をＲ／２から開始することになり、汎化能力の点で
最適化される。

【００２９】

【発明の効果】本発明によれば、複数のニュ−ラルネッ
ト学習アルゴリズムを備え、これらを選択して学習に供
する機能を備えたため、ネットワ−クが実行する演算や
教師信号の特性、ネットワ−ク自身の構成により、最適
な学習アルゴリズムを用いることができる。従ってネッ
トワ−クの汎化能力を常に最大化できる。またクラスタ
の境界と教師入力信号の空間距離を検出する手段を設
け、この値をネットワ−クシナプスの重み更新に反映で
きるようにした。従ってクラスタの境界と特定の教師入
力信号の空間距離が小さくなることを防止でき、クラス
タリングにおける汎化能力を高めることができる。さら
に教師入力信号に乱数を加算してネットワ−クに入力す
る学習アルゴリズムに対して、教師信号の内容を解析
し、乱数振幅の初期値をネットワ−クの汎化能力が最大
になる値に設定する手段と、学習の進行状況を解析し、
振幅値を任意に変更する手段を設けた。これによりクラ
スタリングにおける汎化能力を高めることができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るニューラルネット学習
装置の構成図である。

【図２】学習・演算一体化システムの構成図である。

【図３】学習・演算分離システムの構成図である。

【図４】学習アルゴリズム選択手段を外部切替スイッチ
で切り替える構成のニューラルネット学習装置の構成図
である。

【図５】学習アルゴリズムを自動選択する構成のニュー
ラルネット学習装置の構成図である。

【図６】学習方式による汎化能力の優劣関係図である。

【図７】シミュレ−ション結果の一例を示すグラフであ
る。

【図８】学習アルゴリズム群中にクラスタ（カテゴリ）
の境界線を各クラスタから均等に隔たらせるアルゴリズ
ムを備えた例の説明図である。

【図９】本発明の一実施例に係るニューラルネット学習
装置の動作説明図である。

【符号の説明】

１０１…ニュ−ラルネット学習装置、１０２…ニュ−ラ
ルネット演算手段、１０３…教師信号メモリ、１０４…
学習アルゴリズム群、１０５…学習アルゴリズム選択手
段、１０６…教師入力信号、１０７…教師出力信号、１
０８…入力層、１０９…中間層、１１０…出力層、１１
１…シナプス、２０１…計算装置、２０２…対象、２０
３…Ｉ／Ｏ、３０１…装置、４０１…外部スイッチ、４
０２…報知手段、８０１…入力空間、８０２…検出手
段、９０１…乱数発生手段、９０２…学習監視手段、９
０３…デ−タ処理手段、９０４…教師信号解析手段。

フロントページの続き (56)参考文献 特開 平４−215171（ＪＰ，Ａ) 特開 平３−95666（ＪＰ，Ａ) 特開 平４−51354（ＪＰ，Ａ) 特開 平５−61848（ＪＰ，Ａ) 特開 平４−262453（ＪＰ，Ａ) ＮＥＵＲＯＳＩＭＴＭ／Ｌ−860使用 者の手引き 87ＡＲ−0490−１，日本, 富士通株式会社・発行，1992年 １月31 日，初版，ｐｐ．８−13，19−21，31− 35，45−52，特許庁ＣＳＤＢ文献番号： ＣＳＮＺ199900345001 鹿山・他，「クラスタリング用ニュー ラルネットの学習方式」，情報処理学会 第44回（平成４年前期）全国大会講演論 文集（第２分冊），日本，社団法人情報 処理学会，1992年 ２月24日，第２分 冊，ｐｐ．215−216 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/00 G06G 7/60 ＣＳＤＢ（日本国特許庁) ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 いくつかのニューロンが多層に接続され
   た構成を有し、予め教師信号により入力信号と出力信号
   の関係を学習アルゴリズムに基づいて学習し、学習結果
   を記憶し、入力信号に対して学習結果に基づいた演算を
   行い出力するニューラルネット演算手段と、前記学習ア
   ルゴリズムを複数種類備えこれらのうちから実際の学習
   に用いるアルゴリズムを前記ニューラルネット演算手段
   の解決する問題に合わせて選択する学習アルゴリズム選
   択手段と、を備えたニューラルネット学習装置であっ
   て、 前記学習アルゴリズム選択手段は、前記教師信号および
   ／または前記ニューラルネット演算手段の構造を解析し
   解析結果から選択すべきアルゴリズムを自動決定する手
   段を備えることを特徴とするニューラルネット学習装
   置。
2. 【請求項２】 請求項１において、自動決定する手段
   は、教師信号の個数および／またはバラツキ具合を解析
   するものであることを特徴とするニューラルネット学習
   装置。
3. 【請求項３】 請求項１において、自動決定する手段
   は、前記ニューラルネット演算手段の中間層に存在して
   いるニューロン数を解析するものであることを特徴とす
   るニューラルネット学習装置。
4. 【請求項４】 請求項１乃至請求項３のいずれかにおい
   て、乱数発生機能を有する乱数発生手段と、前記ニュー
   ラルネット演算手段の学習の進行状態を監視する学習監
   視手段と、この監視結果に従って前記乱数発生手段が発
   生した乱数の値を修正し修正された乱数と教師信号とか
   ら実際にニューラルネット演算手段に入力する入力信号
   を作成するデータ処理手段を備えたことを特徴とするニ
   ューラルネット学習装置。
5. 【請求項５】 請求項４において、前記データ処理手段
   は、前記教師信号の内容および学習の進行状態を解析し
   この解析結果から乱数の初期値および修正方法を決定す
   る手段を備えることを特徴とするニューラルネット学習
   装置。