JP3935211B2

JP3935211B2 - 低減縮小されたニューラルネットワーク

Info

Publication number: JP3935211B2
Application number: JP53392597A
Authority: JP
Inventors: トレスプフォルカー; ツィンマーマンハンス―ゲオルク; ノインアイアーラルフ
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1996-03-25
Filing date: 1997-03-11
Publication date: 2007-06-20
Anticipated expiration: 2017-03-11
Also published as: US6311172B1; DE19611732C1; JP2000507376A; DE59703599D1; EP0890153B1; WO1997036248A1; EP0890153A1

Description

近似されるべきトレーニングデータに関し、たんにわずかな情報内容を有する重みを除くことによりそれのディメンション次元性の点で低減されたニューラルネットワークの一般化ないし汎化特性が著しく改善される。更に、低減縮小されたニューラルネットワークをトレーニングするため必要とされるトレーニングデータの数もわずかである。亦、テストフェーズにおける学習及び分類の速度も増大される。
ニューラルネットワークの重みを除くことはプルーニング（Ｐｒｕｎｉｎｇ）と称される。
種々のプルーニング（Ｐｒｕｎｉｎｇ）方法が公知である。例えば文献〔１〕から所謂ＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）法が公知である。この方法では、ニューラルネットワークの個別の重みに基づき除くべき重みを選択するため、誤差関数の２次導関数が使用される。この方法の欠点とするところは、次のような前提のもとでしか、動作、実施できないことである、即ち、トレーニングフェーズが収束しているという前提のもとでのみ動作実施できる、換言すれば、トレーニングフェーズ中最小化される誤差関数が当該誤差関数のローカル局所的最小値又はグローバル大域的最小値に達しているとの前提下でのみ動作実施できないことである。ここで、前記の公知方法の「欠点とするところは、就中、当該の方法において大抵は単に著しくオーバートレーニングされたニューラルネットワークのみしか除くべき重みに関して調べることができないことである。
トレーニングフェーズの収束性の同一前提、従って、亦同一の欠点を、同様に文献〔１〕にて記載された方法も有する。この方法は、ＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）法として知られている。
更に、公知の方法では、誤差関数が最小値に達する前に、トレーニングフェーズはストップされる。この手法は、早期ストップ（ＥｅａｌｙＳｔｏｐｐｉｎｇ）法と称され、例えば、文献〔２〕に記載されている。そこには、除くのに適する重みの評価のためのＯＢＤ法も提案されているが、但し、誤差関数が最小値に達している場合しか重み評価が可能でない（参照７７５頁第２番目最終段落）。
プルーニング（Ｐｒｕｎｉｎｇ）が〔３〕及び〔４〕から公知であり、ここではニューラルネットワークからの重み（Ｗｉ）を除く際どの程度誤差関数の値が変化するかを記述、表示する評価量が利用される。
本発明の基礎を成す課題、問題とするところは、コンピュータを用いてニューラルネットワークから除くのに適する重みを求める手段を有する低減縮小されたニューラルネットワークを提供することにある。
前記課題、問題は、ニューラルネットワークとニューラルネットワークをトレーニングフェーズにおいてトレーニングするコンピュータとコンピュータに、ニューラルネットワークをトレーニングするためトレーニングデータと所属の設定値とから成るトレーニングデータセットを供給する手段とを具備し、コンピュータは、トレーニングデータセットを用いてニューラルネットワークのトレーニングフェーズを実施する手段と、トレーニングフェーズにおいて、供給されたトレーニングデータに対する設定値の差を表す誤差関数が最小値に達する前にニューラルネットワークに対するトレーニングフェーズをストップする手段と、誤差関数が最小値に達しているとの仮定のもとで、ニューラルネットワークの少なくとも１つの重みに対して、少なくとも１つの重みを除くことによる評価を表す第１の変量を求める手段と、重みに対して、重みの変ったとき誤差関数の値が変化する程度を表す第２変量を求める手段と、少なくとも第１変量及び第２変量から、ニューラルネットワークから少なくとも１つの重みを除いたとき、どの程度誤差関数が変化するかを表す基準判定量を求める手段と、基準判定量が所定の第１の限界値を下回る場合、ニューラルネットワークから、当該重みを除くのに適していると判断する手段とを有していることによって解決される。
ＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）又はＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）法の公知方法により求められ、ないし、規定される第１変量を基にして、各被検重みに対して第２変量が求められ、ないし、規定され、該第２変量により、当該の重みの変化の際誤差関数がどのくらい変化するかを記述、表示するものである。従って、第２変量を次のような補正項と見なすことができる、即ち、それにより、トレーニングフェーズの終了を誤差関数が最小値に到達する前に補正する補正項と見なすことができる。今や第１の変量及び第２の変量から、基準判定量が形成され、該基準判定量により、重みに対してその都度、当該の重みがニューラルネットワークから除くのに適するか否かが調べられる。
前述のような方法での第２変量の形成により基準判定量が著しく改善され、該基準判定量を用いて、或１つの重みがニューラルネットワークから除くのに適するか否かの判定がなされる。それにより、実際に次のような重みが、除くのに適するものとして分類される、即ちトレーニングデータに関して最も少ない情報内容を有し、従って、相当に必要とされる情報を失うことなく除くことができる重みとして分類される。それにより、ニューラルネットワークのテストフェーズにおける一般化特性の著しい改善、大した情報損失なしでのトレーニングフェーズの加速、及びテストフェーズにおける著しく一層高速の分類が達成される。
本発明の低減縮小されたニューラルネットワークの更なる利点とするところは、ＥａｒｌｙＳｔｏｐｐｉｎｇに関連して使用されることである。このことは、ＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）及びＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）の手法にとって可能でない。要するに、本発明の低減縮小されたニューラルネットワークにより、ニューラルネットワークの自由度の低減のための２つの有利な方法を相互に組み合わせることが可能である。
本発明の有利な発展形態が従属形請求項形、引用請求項形の請求範囲に示されている。
請求の範囲９による低減縮小されたニューラルネットワークの発展形態により、次のような場合、１度除かれた重みを再び挿入することが可能になる、即ち、更に継続されたトレーニングの枠内で、除かれた重みの情報内容が未だ除かれていない重みより大であることが明らかになった場合、当該の重みの再挿入が可能である。既に除かれた重みを再びニューラルネットワーク中に挿入できるような前記の手法により、当該方法は、そのフレキシビリティが増大され、従って、或る時間の後重みを除いたことが不都合であると明らかになった場合、当該の方法プロセス過程は、再び覆すことが可能、ないし、元に戻すことができる。前記の特性により、公知方法により可能であった場合におけるより最終的に一層最適に形成されたニューラルネットワークの構造が得られる。
本発明の１実施例を図示してあり、以下詳述する。
図１ａ及び１ｂは、重みを除く前（図１ａ）及び重みを除いた後（図１ｂ）の重み及びニューロンを有するニューラルネットワークを示す。
図２は、Ｐｒｕｎｉｎｇ手法を必要に応じて実施するため使用されるコンピュータを表すブロックダイヤグラムを示す。
図３は、本発明の低減縮小されたニューラルネットワークの個々の手段を示す。
図１ａには、ニューラルネットワークＮＮが示してあり、該ニューラルネットワークＮＮは、本実施例では、１０のニューロンＮＥ−これらは、３つの層に分類分布されている−を有する。個々の１０のニューロンＮＥは、本事例ではそれぞれ直ぐ後続する層のすべてのニューロンに結合されている。当該の結合部は、それぞれ重みＷｉで重み付けられている、換言すれば、１つのニューロンＮＥの１つの出力信号がそれぞれ、結合部に対応付けられた重みＷｉと乗算されて入力信号として、直ぐ後続する層の相応のニューロンＮＥに供給される。ここで、インデックスｉは、ニューラルネットワークＮＮの各重みＷｉを一義的に表わし、１とｏとの間の自然数である。ここで、ｏは、ニューラルネットワークＮＮのすべての重みＷｉの数を表す。
図１ｂには、幾つかの重みＷｉを本発明の手段によりニューラルネットワークＮＮから除いた後の低減縮小されたニューラルネットワークＮＮＰを示す。
図１ａ及び図１ｂに示すニューラルネットワークＮＮの構造は、何らの限定をしているものではない。たんに簡単な分かり易い例に即して本発明の低減縮小されたニューラルネットワークのプロシージャを示すものである。
図２には、コンピュータＲを示してあり、該コンピュータＲにより、本発明の低減縮小されたニューラルネットワークが必然的に実施される。
ニューラルネットワークＮＮは、トレーニングフェーズにてトレーニングデータセットＴＤＳを使用してトレーニングされる。トレーニングデータセットＴＤＳはトレーニングデータ及び所属の設定値Ｙｋのデータセット（Ｔｕｐｅｌ）を有する。ニューラルネットワークＮＮに対するトレーニングフェーズの通常の目標とするところは、誤差関数−これは、印加されたトレーニングデータＸｋに対する設定値Ｙｋの差を記述、表示する−を最小化することである。ここで当業者に極めて様々の方法、例えばバックプロパゲーションが公知である。更なる手法、手段を当該の本発明の低減縮小されたニューラルネットワークにて制約を受けずに使用できる。
コンピュータＲではトレーニングフェーズにてトレーニングデータセットＴＤＳ及びニューラルネットワークＮＮから図１ｂに示す低減縮小されたニューラルネットワークＮＮＰが求められる。
図３には、本発明の低減縮小されたニューラルネットワークの個々の手段を示す。誤差関数がローカル又はグローバルな最小値に収束する前にトレーニングフェーズがストップされる。
誤差関数がローカル最小値に収束されているとの仮定のもとで、第１変量ＥＧが、例えば、ＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）法又はＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）〔１〕の使用下でニューラルネットワークＮＮの各々の考慮されるべき重みＷｉに対して求められ、ないし、規定される（３０２）。
ニューラルネットワークＮＮのすべての重みＷｉをそのようにして調べるように設計されている。本発明の低減縮小されたニューラルネットワークのバリエーションによれば、ただ、ニューラルネットワークの重みＷｉの任意の所定数を考慮するものである。
各々の考慮される重みＷｉに対して、第２変量ＺＧが求められ、ないし、規定される（３０３）。当該の第２変量ＺＧによりそれぞれの重みＷｉの変化の際の誤差関数が記述、表示される。
第２の変量ＺＧを、例えば、下記関係式から求める手段が設けられる、即ち、

但し、
ｋは、第１のインデックスを表わし、該第１のインデックスにより、一義的にそれぞれニューラルネットワークのトレーニングデータが表されるものであり、
Ｋは、考慮されるトレーニングデータの数を表わし、Ｘｋは、それぞれ１つのトレーニングデータを表わし、
ＮＮ（Ｘk）は、トレーニングデータＸｋの印加の際生じるニューラルネットワーク（ＮＮ）の出力値を表わし、
Ｙkは、設定値を表わし、該設定値は、ニューラルネットワーク（ＮＮ）へのトレーニングデータＸKの印加の際得られるべきものであり、
∂／∂ｗｉは、それぞれ第２インデックス（ｉ）により指定マーキングされている重みに基づく関数の偏導関数を表わし、
Ｍは、所定の自然数を表わし、
ｍは、所定の自然数を表わし、
１は、所定の偶数の自然数を表わし、
ここで、曲率カーブ変量（Ａｉ）は、下記関係式から得られる、即ち

又は

から得られる。
更に、第２変量を例えば、次のようにして求める手段が設けられる、即ち、第２の変量ＺＧは、下記関係式から得られる、即ち、

但し、
ｓは、所定の自然数を表わすのである。
少なくとも第１変量ＺＧ及び第２変量ＺＧから、基準判定量ＫＧが更なる手段（３０４）で求められ、ないし、規定される。
最終手段３０５にてその都度調べられる重みＷｉが、ニューラルネットワークＮＮからの除くのに適する重みＷｉ−それぞれの重みＷｉの情報内容がわずかである故に−又はニューラルネットワークＮＮからの除くのに不適当な重みに分類される。
本発明の低減縮小されたニューラルネットワークの発展形態では、第３の変量ＫＧが考慮され、当該の第３の変量ＫＧを、下記の規定関係式により形成する手段が設けられる：即ち、

従って、基準判定量ＫＧは、（６）又は（７）から得られる、即ち、
ＫＧ＝ＥＧ十ＺＧ（６）又は
ＫＧ＝ＥＧ＋ＺＧ＋ＤＧ（７）から得られる。
明確に考察すると、前記手段が、意味するところによれば、そこにて、トレーニングフェーズがストップされた点から出発して、誤差関数の点と、誤差関数の局所最小値との間の間隔が推定される。次のような重みがニューラルネットワークＮＮからの除くのに適するものと分類される、即ち、それにより、局所的最小値への誤差関数の近似を行ない得ない、又は、たんにわずかな近似しか行ない得ないようにする重みが前述のようにニューラルネットワークＮＮからの除くのに適するものと分類される。
除くのに適うないし不適の重みへのそれぞれの重みＷｉの分類（３０５）を種々の要領で行うことができる。
当該の分類の手段によれば、基準判定量ＫＧに対して、基準判定量ＫＧが第１の所定の限界値を下回る値を有するか、否かが調べられる。その通りである場合には、重みＷｉは、除くのに適する重みであると分類され、そして、そうでない場合には除くのに適しない重みであると分類される。
本発明の低減縮小されたニューラルネットワークのバリエーションによれば、トレーニングデータに関して重みＷｉの絶対的内容を記述、表示する絶対的限界値でなく、所定数の重みＷｉがニューラルネットワークＮＮから除かれるべきものであり、ここで勿論、できるだけわずかな情報損失を達成すべきである。この場合において、第１の所定の限界値が次のようにした形成される、即ち、すべての考慮される重みＷｉに対して基準判定量ＫＧが相互に比較され、次のような重みＷｉを除く、即ち、それの基準判定量ＫＧの値が最も小さい重みＷｉを除くのである。
除くのに適う重みＷｉを今やニューラルネットワークＮＮから除くと良い（Ｐｒｕｎｉｎｇ）。
本発明の低減縮小されたニューラルネットワークの発展形態によれば、重みＷｉを除くべきであるとされた判定が、トレーニングフェーズないしテストフェーズの更なる経過にて不都合であると判明し得るようにし、及び/又は、既に除かれた重みＷｉよりわずかな情報内容を有する重みが求められ、ないし、規定されるようにすることが可能である。この場合に対して、本発明の発展形態では、重みＷｉを除くことについての判定を覆す、ないし、元に戻すことができ、ここで、各々の除かれた重みＷｉに対して少なくとも第２変量ＺＧ又は基準判定量ＫＧが記憶されるのである。重みＷｉを再び導入しようとする場合、既に除かれた重みＷｉのなかから次のような重みＷｉが再び導入される、即ち、それの第２変量ＺＧが所定の第２限界値を越える重みＷｉが再び導入される。前記の第２の限界値は、先に述べた第１の限界値と同様求めることができ、例えば、所定の百分率により、再び挿入されるべき重みＷｉを求め得る。この場合に対して、すべての除かれた重みＷｉに対して、第２変量ＺＧが相互に比較され、そして、そのつど、最大の値を有する第２変量ＺＧが再びニューラルネットワークＮＮの構造内へとり込まれる。
本発明の低減縮小されたニューラルネットワーク及びそれのすべての発展形態を所謂オフラインラーニングにおいても所謂オンラインラーニングにおいても使用できる。
本明細書中下記刊行物文献が引用されている。
〔１〕Ａ．Ｚｅｌｌ，ＮｅｕｒｏｎａｌｅｒＮｅｔｚｅ［Ｓｉｍｕｌａｔｉｏｎｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓ］，Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ２，ｌｓｔＥｄｉｔｉｏｎ，ＩＳＢＮ３−８９３１９−５５４−８，ｐａｇｅｓ３１９−３２８１９９４
〔２〕Ｗ．Ｆｉｎｎｏｆｆｅｔａｌ．，ＩｍｐｒｏｖｉｎｇＭｏｄｅｌＳｅｌｅｃｔｉｏｎｂｙＮｏｎｃｏｎｖｒｇｅｎｔＭｅｔｈｏｄｓ，ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，Ｖｏｌ．６，ｐａｇｅｓ７７１ｔｏ７８３，１９９３
〔３〕Ｒ．Ｒｅｅｄ，ＰｒｕｎｉｎｇＡｌｇｏｒｉｔｈｍｓ−ＡＳｕｒｖｅｙ，Ｉｎ：ＩＥＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，Ｖｏ１．４，Ｎｏ．５，ｐａｇｅｓ７４０−７４７，Ｓｅｐｔｅｍｂｅｒ１９９３
〔４〕Ｅ，ＤＫａｒｎｉｎ，Ａ，ＳｉｍｐｌｅＰｒｏｃｅｄｕｅｆｏｒＰｒｕｎｉｎｇＢａｃｋ−ＰｒｏｐａｇａｔｉｏｎＴｒａｉｎｅｄＮｅｕｒａｌＮｅｔｗｏｒｋｓ，Ｖｏｌ．１，Ｎｏ．２，ｐａｇｅｓ２３９−２４２，Ｊｕｎｅ１９９０

Claims

ニューラルネットワーク（ＮＮ）と
該ニューラルネットワーク（ＮＮ）をトレーニングフェーズにおいてトレーニングするコンピュータと
該コンピュータに、前記ニューラルネットワークをトレーニングするためトレーニングデータ（Ｘｋ）と所属の設定値（Ｙｋ）とから成るトレーニングデータセット（ＴＤＳ）を供給する手段とを具備し、
前記コンピュータは、前記トレーニングデータセットを用いて前記ニューラルネットワークのトレーニングフェーズを実施する手段と、
前記トレーニングフェーズにおいて、前記供給されたトレーニングデータ（Ｘｋ）に対する設定直（Ｙｋ）の差を表す誤差関数が最小値に達する前に前記ニューラルネットワーク（ＮＮ）に対するトレーニングフェーズをストップする手段と、
前記誤差関数が最小値に達しているとの仮定のもとで、前記ニューラルネットワーク（ＮＮ）の少なくとも１つの重み（Ｗｉ，ｉ＝１…０）に対して、前記少なくとも１つの重み（Ｗｉ）を除くことによる評価を表す第１の変量（ＥＧ）を求める手段と、
前記重み（Ｗｉ）に対して、重み（Ｗｉ）の変ったとき前記誤差関数の値が変化する程度を表す第２変量（ＺＧ）を求める手段と、
少なくとも前記第１変量（ＥＧ）及び前記第２変量（ＺＧ）から、前記ニューラルネットワーク（ＮＮ）から前記少なくとも１つの重み（Ｗｉ）を除いたとき、どの程度誤差関数が変化するかを表す基準判定量（ＫＧ）を求める手段と、
前記基準判定量（ＫＧ）が所定の第１の限界値を下回る場合、前記ニューラルネットワークから、当該重み（Ｗｉ）を除くのに適していると判断する手段とを有していることを特徴とする低減縮小されたニューラルネットワーク。
第１の変量（ＥＧ）を最適脳損傷ダメージＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）の手法で求める手段を有することを特徴とする請求の範囲１記載の低減縮小されたニューラルネットワーク。
第１の変量（ＥＧ）をＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）の手法で求める手段を有することを特徴とする請求の範囲１記載の低減縮小されたニューラルネットワーク。
第２の変量（ＺＧ）を、下記関係式から得る手段を有する、即ち、

但し、
ｋは、第１のインデックスを表わし、該第１のインデックスにより、一義的にそれぞれニューラルネットワークのトレーニングデータが表されるものであり、
Ｋは、考慮されるトレーニングデータの数を表わし、Ｘｋは、それぞれ１つのトレーニングデータを表わし、
ＮＮ（Ｘk）は、トレーニングデータＸｋの印加の際生じるニューラルネットワーク（ＮＮ）の出力値を表わし、
Ｙｋは、設定値を表わし、該設定値は、ニューラルネットワーク（ＮＮ）へのトレーニングデータＸｋの印加の際得られるべきものであり、
∂／∂ｗｉは、それぞれ第２インデックス（ｉ）により指定マーキングされている重みに基づく関数の偏導関数を表わし、
Ｍは、所定の自然数を表わし、
ｍは、所定の自然数を表わし、
１は、所定の偶数の自然数を表わし、
ここで、曲率カーブ変量（Ａｉ）は、下記関係式から得られる、即ち

又は

から得られる、手段を有することを特徴とする請求の範囲１から３までのうちいずれか１項記載の低減縮小されたニューラルネットワーク。
第２の変量（ＺＧ）を、下記関係式から得る手段を有する、即ち、

但し、
ｋは、第１のインデックスを表わし、該第１のインデックスにより、一義的にそれぞれニューラルネットワークのトレーニングデータが表されるものであり、
Ｋは、考慮されるトレーニングデータの数を表わし、Ｘｋは、それぞれ１つのトレーニングデータを表わし、
ＮＮ（Ｘｋ）は、トレーニングデータＸKの印加の際生じるニューラルネットワーク（ＮＮ）の出力値を表わし、
Ｙｋは、設定値を表わし、該設定値は、ニューラルネットワーク（ＮＮ）へのトレーニングデータＸKの印加の際得られるべきものであり
∂／∂ｗｉは、それぞれ第２インデックス（ｉ）により指定マーキングされている重みに基づく関数の偏導関数を表わし、
Ｍは、所定の自然数を表わし、
ｍは、所定の自然数を表わし、
ｓは、所定の自然数を表わし、
ここで、曲率カーブ変量（Ａｉ）は、下記関係式から得られる、即ち

又は

から得られる、手段を有することを特徴とする請求の範囲１から３までのうちいずれか１項記載の低減縮小されたニューラルネットワーク。
第３の変量（ＤＧ）を下記の規定関係式により形成する手段を有する、即ち、

但し、
ｋは、第１のインデックスを表わし、該第１のインデックスにより、一義的にそれぞれニューラルネットワークのトレーニングデータが表されるものであり、
Ｋは、考慮されるトレーニングデータの数を表わし、Ｘkは、それぞれ１つのトレーニングデータを表わし、
ＮＮ（Ｘk）は、トレーニングデータＸKの印加の際生じるニューラルネットワーク（ＮＮ）の出力値を表わし、
Ｙｋは、設定値を表わし、該設定値は、ニューラルネットワーク（ＮＮ）へのトレーニングデータＸKの印加の際得られるべきものであり、
∂／∂ｗｉは、それぞれ第２インデックス（ｉ）により指定マーキングされている重みに基づく関数の偏導関数を表わし、
ｍは、所定の自然数を表わし、
第３の変量（ＤＧ）を基準判定量（ＫＧ）において考慮する、手段を有することを特徴とする請求の範囲１から５までのうちいずれか１項記載の低減縮小されたニューラルネットワーク。
選択可能な第１の限界値は、除くべき重みの所定の百分率から得られ、
重み（Ｗｉ）は、重み（Ｗｉ）に対する基準判定量（ＫＧ）が他の重み（Ｗｉ）の、所定の百分率の数の基準判定量（ＫＧ）を下回る場合、除くのに適する重み（Ｗｉ）として分類されるようにする手段を有することを特徴とする請求の範囲１から６までのうちいずれか１項記載の低減縮小されたニューラルネットワーク。
除くのに適する重み（Ｗｉ）がニューラルネットワーク（ＮＮ）から除かれるようにする手段を有することを特徴とする請求の範囲１から７までのうちいずれか１項記載の低減縮小されたニューラルネットワーク。
少なくとも除かれた重み（Ｗｉ）の第２変量（ＺＧ）を記憶し、
所定数の再び導入されるべき既に除かれた重みを再び導入し、ここで、再挿入されるべき重みを次のような重みから得る、即ち、所定の第２の限界値より大である記憶された第２の変量（ＺＧ）の値を有する重みから得る手段を有することを特徴とする請求の範囲８記載の低減縮小されたニューラルネットワーク。
選択可能な第２の限界値を再挿入されるべき重みの所定の百分率から得て、
重み（Ｗｉ）に対する少なくとも第２の変量（ＺＧ）が他の重み（Ｗｉ）の所定の百分率の数の少なくとも第２の変量（ＺＧ）の値を越える場合、前記重み（Ｗｉ）を再挿入する手段を有することを特徴とする請求の範囲９記載の低減縮小されたニューラルネットワーク。
基準判定量（ＫＧ）を第１変量（ＥＧ）と第２変量（ＺＧ）との和から得る手段を有することを特徴とする請求の範囲１項から１０項までのうち何れか１項記載の低減縮小されたニューラルネットワーク。
基準判定量（ＫＧ）を、第１変量（ＥＧ）と第２変量（ＺＧ）との和と第３変量（ＤＧ）との差から得る手段を有することを特徴とする請求の範囲６記載の低減縮小されたニューラルネットワーク。