JPH04501327A - パターン伝達ニューラルネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 パターン伝達ニューラルネットワーク この発明は、特徴を取り出し、パターンを認識する装置に係り、特に、信号にお ける特徴の同一性を確認する為に必要なアルゴリズムを内部で発達できるか、又 は「学習」することができるニューラルネットワークに関する。

２、検討 パターン認識の能力は、生物学的のシステムの知覚能力にマツチした人ニジステ ムの開発の大きな部分である。スピーチ、及び視覚パターン認識の２分野は、従 来のコンピュータでは非常に不十分な領域である。これらや他の仕事を行うこと のできる人ニジステムを開発する努力において、信号から特徴を抽出する信号処 理（ｐｒｏｃｅｓ＠ｉｎｇ）技術は、多数開発されている。これらの技術は、典 型的に広範な処理を必要とする。このような処理には、例えば、パルス幅計測、 増幅、上昇下降時間、周波数などが必要である。これらの特徴が抽出されると、 これらは信号の分類や同一性を確認する為に収納されたパターンと照合させるこ とができる。これらのステップを達成する為に要求されるソフトウェアは非常に 複雑であり、開発に時間がかかる。更に、従来のデジタル信号処理は、視覚パタ ーンが傾いたり、スピーチを認識する際に話す人が違うなどの入力信号のわずか な変化をも許容することができない。

近年での直列処理を行う通常のノイマン（Ｎ！ｕｍａｎｏ）型のコンピュータは 、脳のような生物学的システムで行われている並列処理とは殆ど類似していない 。従来の信号処理技術は、人類の知覚による仕事を正確には行うことができない のは、当然である。したがって、脳のニューラルモデルに基いた新しい方法が知 覚の仕事を行う為に開発されている。

これらのシステムは、ニューラルネットワーク、神経形状（ｎＣｕｒｏｍｏｒｐ ｈｉｃ）システム、学習機械、平行分配プロセッサ、自己組織化システム、又は 適応論理回路など種々知られている。このような名前の種々のモデルは、並列処 理で操作され、生物学的ニューラルネットワークの回想されるパターンが配置さ れる、多数の非線形計算部材を利用している。各計算部材又は「ニューロン」は 、動作を改良する為にトレーニングの間に典型的に適合される重み（ｗｅｉｇｈ ｔ）又は「シナプス」を介して接続される。よって、これらのシステムは、特別 な入力に応じて正確な出力が得られるまでシナプスの重みを変化させて自己学習 を行う。一旦トレーニングさせると、ニューラルネットは、ターゲット信号を認 識することができ、入力が不完全であったり、背景（ｂａｃｋｇｒｏｕｎｄ）ノ イズに埋もれていても要求された出力を出すことができる。また、ニューラルネ ットは、個々の部分接続を有する多数の処理ノード（ｎｏｄりがあるので、ノイ マン型のシーケンシャルコンピュータよりもより荒く、失敗を許容するように振 る舞う。幾らかのノード又はリンクス（ｌｉｎｋｓ）が障害を受けても、全ての 動作が重大に悪くなることがない。

種々の位相数学（ｔｏｐｏｌｏｇｉｅｓ）、ニューロン特性、トレーニング、又 は学習ルールを用いた広い種類のニューラルネ・ソトモデルがある。学習ルール は、動作を良くする為に、内部セット重みを指定し、用いられている間又は、ト レーニングの間にいかに重みを適合できるか示す。イラストにより、これらのニ ューラルネットモデルの幾つかは以下の資料に記載されている。Ｆ６　ルーゼン ブラット（Ｒｏｓｅｎｂｌｓ（１）氏に与えられた米国特許第３，２８７，６４ ９号公報に記載られたノく−セプトロン（ｔ’ｅｔｃｅｐｔｔｏｎ）、Ｊ、ホ’ ンプフィールド（Ｂｏｐ［１ｅｌｄ）氏に与えられた米国特許、第４，６６０， １６６号公報、及び第４．７１９．５９１号公報に記載されたホ・ツブフィール ドネット（Ｂｏｐｆｉｅｌｄ　Ｎｒｔ）、ＩＥＥＥ　ＡＳＳＰ７ガジンの１９８ ７年４月号４〜２２ページに記載された［ニューラルネットにより計算するイン トロダクション（Ａｍ　Ｉ＋Ｉｔｏｄｕｃｌｉｏｍｔｏ　Ｃｏｍｐｕｔｉｎｇ　 ｗｉｔｈ　Ｎｅｕｒａｌ　Ｎｅｔｓ）Ｊと題されたＲｏす・ツブマン（Ｌｉｐｐ ｍａｎ）氏による／Ｘミングネ・ントおよびコホホネン自己組織化マツプ（ｊｈ ＣＲａｍｍｉｎｇ　Ｎｅｔ　■ｄ　Ｋｏｈｏｈｏｎｅｎ　ｓ＊ｌｆ−ｏｒｇａｎ ｉｘｉｎｇ　Ｌｌｉｐｓ）、平行分配処理（Ｐａｒｓ山Ｉ　Ｄｉｓｔｒｉｂｕｔ ｅｄＰｒｏｃｅｓｓｉｎｇ）に記載された「エラー伝ばんによる内部表現学習（ ＬＣａｒｎｉｎｇ　Ｉｎ１ｔｒｎｉｌ　Ｒｅｐｒｅｓｅｎｌｘ目ｏｓｓ　ｂ７　 ＥｒｒｏｒＰｒｏｐＢｉｌｉｏｎ）Ｊと題され、Ｄ、Ｅ、ルメル／１ルト（Ｒｕ ｍｅｌｈａｒｔ）氏とＪ、Ｌ、マッククレランド（ＭｃＣＩＣｌｌｉｎｄ）氏（ Ｅｄｓ、）により編集され、ルメルハルト（Ｒｕｍｅｌｈａｒり氏、ヒルトン（ Ｂｉｔｌｏｎ）氏、ウィリアムス（Ｗｉｌｌｉｘｍｓ）氏らにより記述された多 層化されたバーセブトロンの為の一般化されたデルタ規則（ｌｈ＜Ｇｃｎｅｒｓ ｌｉｕｄ　Ｄｃｌｌａ　Ｒｕ１ｅ　ｒｏｔ　Ｍｕｌ目ＩＢｅｒｅｄ　Ｐｅｔｃｃ ｐｊｔｏｎｓ）、ＭＩＴプレス（１９８６年）のボリューム１の基礎編（［ｏｕ ｎｄｘｌｉｏｎｓ）の平行微小構造による認識に記載される探究（Ｅｘｐｌｏｒ ａｔｉｏｎｓ）。

ニューラルネットワークの実際の例での障害の１つは、正確に問題を解決する為 のネットワークの訓練には、広範囲のトレーニングが必要である。他の障害は、 かなり複雑な問題を解決する為には比較的サイズが大きく、複雑なネットワーク が必要となる。特に、多数のニューロンと接続部とが必要であるので、高価で、 大きいなどのためシステムは製造するのが難しい。

よって、従来のニューラルネットワークよりもトレーニングに要求される時間が 短いニューラルネットワークが要求されている。更に、ニューロン及び接続部の 必要な数における複雑さを減少させたニューラルネットワークを提供する必要が ある。

発明の概要 この発明の説明において、パターン伝達ニューラルネットワーク（Ｐａｔｔｅｒ ｎ　Ｐｒｏｐａｇａｔｉｏｎ　Ｎｅｕｔｉｌ　Ｎｅｌｗｏｒｋ　、ＰＰＮＮ）は 、入力ニューロンにトレーニング入力を示し、出力ニューロンにトレーニング出 力を示してトレーニングする。加えて、同様の必要な出力が内部ニューロンに同 様に示される。この方法では、パターン伝達ニューラルネットワークは「学び」 、そして出力ニューロンだけでなく、内部ニューロンでも同様に入力に応じて必 要な出力を適合させる。

実施例の詳細な説明 この発明の説明について、方法及び装置は、ニューラルネットワークのトレーニ ングの為に設けられる。この発明の目的の１つは、ある特定の問題を解決する為 にネットワークに必要なトレーニング及びニューラルネットワーク装置を提供す ることにある。

図１は、従来のニューラルネットワーク１０を示した図である。ニューラルネッ トワーク１０は、多層パーセブトロン（ｐｓｒｅｒｐｌｒｏｎ）として知られた 通常の分類の配列に配置されている、複数の列の独立したプロセッサ、又は「ニ ューロン」を有している。この発明の実施例が多層バーセプトロンに適用されて いるが、この発明の技術は、他のニューラルネットワークアーキテクチャにも同 様に適用できる。図１に示された、多層パーセブトロン１０において、ニューロ ンは、３つ或いはそれ以上にの層内に配置されている。各ニューロンハ、その入 力による所定の幾つかの機能に応じた出力を発生させる。第１又は入力層は、入 力ニューロン１２と呼ばれるニューロンを有し、最終層は、出力ニューロン１４ と呼ばれるニューロンを有する。これらのニューロン１２．１４は、種々の従来 のデジタル又はアナログデバイスから構成されている。

例えば、オペアンプ（ｏｐ　ａｍｐ）を有する回路がニューロン１２．１４に用 いられる。１つ又はそれ以上の内部層は、内部又は隠れニューロン１６と呼ばれ る付加ニューロンを有している。

各層内での僅かな数のニューロンが図１で示され、解決されるべき問題の複雑さ に応じて幾つかの数のニューロンが用いられるのが理解できる。多層パーセブト ロンの特性に応じて、各層内の各ニューロンは、各々近接した各ニューロンに接 続される。よって、各入力ニューロン１２は、近接した層の各隠れニューロン１ ６に接続されている。同様に、各隠れニューロン１６は、次の近接した層内の各 ニューロンに接続される。この次の層は、隠れニューロン１６を有するか、又は 、出力ニューロン１４を有している。多層バーセプトロンにおいて、特筆すべき は、同一層でのニューロンは接続できるにもかかわらず、同一層の他のニューロ ンには接続されていない。

ニューロンの間の各々の接続は、重み付けされた「シナプス（ｓ７ｎｍｐｔｉｃ ）　Ｊ接続である。これらのシナプス接続１８は、ゲインを可変できるアンプと 、キャパシタを有するＦＥＴ制御デバイスと、又は他の適切な回路との間の抵抗 を可変できる。シナプス接続１８は、ニューロンの間の接続の強さを増加、或い は減少させることができる。シナプス接続１８は、１本の接続で示されているが 、トレーニング処置の間に必要な、２つの独立した線が２つの方向に信号を伝達 させる為に用いられているのが理解できる。各シナプス接続１８の接続の強さの 値は、所定の最大値からゼロまで変化させることができる。重みがゼロのとき、 実際に２つのニューロンの間は接続されていない。シナプス重みの動作効果は、 本来正負の両方の強さを示す。

特別な信号を認識する為のニューラルネットワーク１０をトレーニングする過程 は、特別な入力に反応して必要な出力が発生されるまで、反復形態で各シナプス 接続１８の接続の強さの適合を要求する。更には、この実施例において、この発 明は、後方（ｂａｃｋｗａｔｄ）エラー伝達と呼ばれる技術を用いている。この 後方エラー伝達技術は、この参照例として示されたルメルヘルト（Ｒｕｍｅｌｈ ａｒｔ）とりツブマン（Ｌｉｐｐｍａｎ）による上述の従来技術に詳しく説明さ れる。トレーニングの間、この後方エラー伝達技術により、知られた波形又はタ ーゲット波形２０を含む信号は、入力ニューロン１２に送られる。この入力信号 は、入力ニューロン１２に供給される一連の２進数又は連続的な入力値を有する 。例えば、ニューラルネットワーク１０がスピーチを認識する装置として使われ るなら、入力は、ある時間の間の取り出されるフィルターバンクスペクトラルア ナライザからの出力エンベロープ量であろうし、出力信号により識別された分類 が、異なった母音を示す。イメージ分類において、人力は、画像の各ピクセルの グレイスケールレベルであり、分類分けは、異なった対象物（ｏＪ＊ｃｔｓ）を 示す。入力信号２０の性質にかかわらず、この入力に応じて、各ニューロンにお ける処理と、各シナプス接続１８の重み量との関数により出力ニューロン１４か ら特定の出力が発生される。

図２に示された１つの例の従来のトレーニングアルゴリズムにおいて、出力ニュ ーロン１４の出力は、必要な出力と比較され、動作出力と必要な出力との間の差 が、計算される。

必要な出力と動作出力とを比較する工程は、出力ニューロン１４での影により示 される。必要な出力２２は、各出力ニューロン１４への２進数墓として示されて いる。必要な出力は、所定の範囲内の連続的な値であるのは重要なことである。

必要な出力と動作の出力との差に基づいて、エラー信号が発生され、エラー信号 はエラーの量を減少させるようにシナプス接続１８を適合させるように用いられ る。各出力ニューロン１４へのエラー信号は、前に置かれた覆われた層での各ニ ューロンに伝達され、シナプス接続１８の次の層での重みは、それらの眉へ計算 されたこれらのエラー信号に応じて適合される。新しいエラー信号は前のエラー 信号と前の重みとを合せた関数（ｆｕｎｃｔｉｏｎ）である。

従来の後方伝達トレーニングアルゴリズムにおいて、エラー信号が受容できるレ ベルへ減少できるまで、上述の処理が繰り返され、ニューラルネットワーク１０ がトレーニング入力２０に応じた必要な出力を発生させる。トレーニングが開始 されると、トレーニング信号２０が導かれる方法と同様な方法により、識別され るか分類されるべき信号は入力ニューロン１２へ送られる。識別されるべき信号 は、トレーニング信号を含むか含まないか、又は、トレーニング信号２０の雑音 が多いか品位が低いかの種類を有する。トレーニング信号２０が幾つかの形態で あるなら、トレーニングされたニューラルネットワーク１０は、トレーニングの 間、トレーニング信号２０に応じた出力に応じて反応する。トレーニング信号２ ０が存在していないなら、異なった反応を発生させるか又は発生させないであろ う。

後方エラー伝達技術の説明の間に、出力ニューロン１４の動作出力は、出力ニュ ーロン１４内に影で示される必要な出力２２と比較されるのが思い出される。エ ラー信号がこの差に基づいて計算されると、エラー信号は、ニューロンによって のみ変更されて各々の上にあるニューロンへ伝達され、シナプス接続１８の重み は、信号が伝達されるニューロンを移動される。よって、必要な出力のみが出力 ニューロン１４に与えられる。必要な出力が出力ニューロン１４で動作されると き要求されるので、このアプローチは一般に知られている。

しかしながら、出願人は驚くべきことに、必要な出力が出力ニューロン１４だけ でなく、内部ニューロン１６にも示されたなら、ニューラルネットワークの学習 、及び動作は非常に改良されることを見出だした。

図２では、この発明に係るパターン伝達ニューラルネツトワーク（Ｐａ目ｅｒｎ 　Ｐｔｏｐｘｇａｊｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｊｗｏｔｋ、　Ｐ　Ｐ　Ｎ　Ｎ ）３０が示されている。ＰＰＮＮ３０は、図２でのこれらのニューロンの全部の 影で示される出力ニューロン１４と同様に内部ニューロン１６へ必要な出力２２ を与えることによりトレーニングされる。必要な出力２２、内部ニューロン１６ 、及び出力ニューロン１４が示されたとき、各ニューロンの動作出力と必要な出 力２２との間の差の機能がエラー信号を発生させる。よって、ＰＰＮＮ３０は、 必要な出力により近くなるように出力層と同様に、内部層へ出力を変化させるよ うに重みを適合させる。ニューラルネットのトレーニングの従来のアプローチは 、必要な出力２２を発生させる為に出力ニューロン１４に必要であり、出力ニュ ーロン１４による必要な出力を最もよく達成させる為に幾つかの他の出力が内部 ニューロン１６により発生されるべきであるとゆう仮定に基づいていることが注 目される。

この発明に係る上述の実施例におけるＰＰＮＮ３０のトレーニングの技術は、以 下により詳しく説明する。図２を参照すると、入力ニューロン１２、内部ニュー ロン１６、出力ニューロン１４は、１つ又はそれ以上の入力を有し、１つの出力 信号を発生する類似の処理装置を全て有している。各ニューロンは、連続的に異 ならしめる入力の非線形又は準線形の機能である出力を発生させる。放射（ａｃ ｔｉｖｉｌｉｏｎ）関数と呼ばれるこの関数は、Ｓ字形（ｓｉｇｍｏｉｄ）論理 非線形の一般的な式： ｙ′　は層ｉのニューロンｊの出力であり、（ｉｊ） Σｉ　”ｊｉｙ（ｉｊ）は、前の層からのニューロンｊへ入力の合計であり、ｙ （ｉｉ）は、前の層での各ニューロンｊの出力であり、ｗｌ、は、各ニューロン ｊへの前の層でのニューロンの間の各へ同様に残され、各シナプス接続１８の重 みは変調される。

みは以下の式により変調され： δ、はその線に沿って入力を受容する認識できるニューロ！ ンヘエラー信号であり、ｙ、は、その線に沿った動作を送るニューロンの出力で あり、ηは、学習率と呼ばれる割合墓である。

エラー信号δの測定は、出力装置による開始による。第１に、トレーニング信号 ２０は、入力ニューロン１２に伝達される。出力信号が発生されるまで、これに より、ＰＰＮＮ３０を通って信号が伝えられるようになる。この出力は、必要な 出力と比較される。これは、線２３により、内部ニューロン１６と同様に出力ニ ューロンへ必要な出力２２を示すことにより達成される。例えば、特定のトレー ニング信号２゜に応じて、出力ニューロン２４の１つが“オン”、他が“オフ” であるような、図２に示された出力２２のような２進数には、必要な値は１かゼ ロであるが、例えば１．１や、９の世がターゲットの値として用いられる。各出 力ニューロン１４により各内部ニューロン１６へ発生された動作出力は、必要な 出力と比較され、エラー信号は、この差から計算される。この計算は、ニューロ ン１４．１６へ内、又は外で計算される。全てのニューロン１４．１６において 、＝ｙ、（１−ｙ、）　（ｄ、−ｙ−） １６と同様に出力ニューロン１４へ用いられるのは特筆すべきことである。従来 の後部伝達技術において、等式（３）は、ューロン１６へ計算される。

等式（２）において、学習率ηは、エラー信号δが伝達される各時間を変える重 みがいくらかであるかに影響するかがわかる。より大きい学習率では、重みがよ り大きく変化し、学習率も早く変化する。もし、学習率が大きくなりすぎたら、 システムは発信することができる。発信は、モーメント項便を用いて大きい学習 率においてもやめさせることができる。

例えば： （４）　Δ實、−ηδ、＋（支）ΔＷ、　ここで、θく（支）くｌ＋１　１ Δｗ、はシナプス接続１８への前の重みの変化量である。

定数■は、効率的に高い周波数変化を除く重み空間での動きの流れ方向での後の 重み変化を決める。

図４では、内部ニューロン１６の１つの層のみを有するＰＰＮＮ３０の１つの実 施例が示されている。加えて、内部ニューロン１６とは数が異なる出力ニューロ ン１４がある。

この場合、与えられる出力ニューロン１４へ与えられた必要な出力２２の１部分 が内部ニューロン１６よりも大きい。

図３にＰＰＮＮ３０のトレーニングアルゴリズムの全体が示される。第１に、重 みＷ及びθのようなニューロンオフセットは、ちいさなランダムな値である（ス テップ３４）。トレーニング信号２０は、入力ニューロン１２に示される（ステ ップ３６）。トレーニング信号２０はニューロンの各層に伝達されたあと、全て のニューロンへの出力及び重みの結果により、出力値は各出力ニューロンから出 力される。次に、動作出力は必要な各出力ニューロン１４への必要な出力２２と 比較され、等式（３）でのエラー信号　が計算される（ステップ４０）。エラー 信号は、プリセットされたしきい値と比較される（ステップ４２）。エラーが許 容量よりも大きいなら、等式（２）、（４）により各出力ニューロン１４へのシ ナプス接続１８への重みの新しい値を決めるためにエラー信号が用いられる（ス テップ４４）。

次に、判定ダイヤモンド（ｄｅｃｉｓｉｏｎ　ｄｉｘｍｏｎｄ）４６での、ＰＰ ＮＮ３０は、次の層が入力層であるか否かを判断する。

もし、次の層が入力層であるなら、エラーが受容できるレベルへ減少されるまで トレーニング信号２０が再び提供され、重みは再び適合される（ステップ３６− ４４）。ステップ４６において、次の層が入力層でないときは、次の層の各ニュ ーロンの動作出力は、必要な出力と比較され、等式（３）によりエラー信号が発 生される（ステップ４８）。次に、このエラー信号はこの（ｃｕｒｒｅｎｌ）層 内の全ての重みを適合させる為に用いられる（ステップ４４）。ステップ４４か らステップ４８までは入力層に到達するまで繰り返され、トレーニングステップ （ステップ３６−４８）が繰り返される。出力層でのエラー信号が遂にプリセッ トされた許容量よりも小さくなったとき（ステップ４２）、トレーニング信号２ ０のトレーニング順序が完了する（ステップ５０）。

ＰＰＮＮ３０は次に新しいトレーニング信号により再びトレーニングする。全て のトレーニング信号によるトレーニングが完了すると、知られていない信号が入 力ニューロン１２に入力される（ステップ５２）。ネットワークにこの信号が伝 達された後、出力ニューロン１４は出力信号を発生させるであろう。もし、知ら れていない信号にいくつかの形においてトレーニング信号２０が存在していたな ら、ＰＰＮＮ３０は入力を正確に識別または、分類して必要な出力２２を発生さ せる（ステップ５４）。

上述の１次元及び２次元の問題を解決した後、ＰＰＮＮ３０は、検知データ混合 （［ｕｓｔｏｎ）、自然言語処理、リアルタイム（エキスパートを必要としない ）総合エキスパートシステム、多次元最適化分類の問題、結合メモリアプリケー ションを有する他の古典的なパターン認識問題、などの多次元の問題に適合でき る。ＰＰＮＮ３０の基本構成は、ソフトウェアによるか、又はアナログＶＬＳ　 Ｉ回路と同様な従来のアナログか、デジタルの電気回路による。同様に、光学装 置をＰＰＮＮ３０の機能の幾つか又は全てとして用いることができる。光学装置 の例は、ホログラフィの記憶（ｂｏｌｏｇｒｓｐｈｉｃｓｔｏｒａｇｅ）、相接 合（ｐｈａｓｅ　ｃｏｎｊｕｇａｌｔ）光学、波面変調及び混合などの領域に近 年発達しているので、実行できる。加えて、ＰＰＮＮ３０は特別の波面を認識さ せる為に、一旦トレーニングさせると、ＰＰＮＮ３０は、すでにトレーニングさ れたＰＰＮＮ３０と同じ固定されたシナプス重みを有するＰＰＮＮ３０の正確な コピーを作ることによりいくらでも再生産できる。この方法では、ＰＰＮＮ３０ の大量生産が再度のトレーニング工程なしに可能である。

前の記述から、この発明が、ソフトウェアなしで低価格の構成で複雑でなく自己 学習ができる高い速度のパターン伝達ニューラルネットワーク３０が提供できる ことが評価できるであろう。従来の信号プロセッサよりも誤りの許容量が増加し 、粗削りな方法でターゲットを識別できる。ＰＰＮＮ３０は、ターゲットの全て 新しい分類へも再度トレーニングさせることができる。この発明におけるＰＰＮ Ｎ３０の学習順序は、必要なトレーニングの時間が減少でき、問題を解決するた めに必要なネットワークの複雑さを減少させることができる。この技術に習熟し た当業者は、この発明を用いることにより他の利点が得られると共に、明細書、 図面、及び請求の範囲を学んだ後、この発明の観点から外れることなく変形する ことができる。

図面の簡単な説明 この発明の種々の利点は、以下に示された図面、以下に記載された明細書により 、明らかにされるであろう。

図１は、従来技術のニューラルネットワークトレーニングの手順を示した図であ り； 図２は、この発明で用いられるトレーニング技術の段階を示した図であり： 図３は、この発明に係るニューラルネットワークのトレーニング技術の段階のフ ローチャートを示した図であり；図４は、この発明に係るニューラルネットワー クの１実施例を示した図である。

悶ＩｆｌＩ審縮牛

Claims (7)

【特許請求の範囲】
1. １．少なくとも３層のニューロン（１２、１４、１６）を有し、 入力信号（２０）を受けるために適合される入力層と、１つ又はそれ以上の内部 層と、 出力を発生させるために適合される出力層とを含み、入力に応じて上記シナプス の重みの量を変化させて必要な出力を発生させる為に適合させることができるニ ューラルネットワーク（３０）において、 上記３層のニューロン（１２、１４、１６）は、トレーニング中の間に上記必要 な出力を発生させる為に上記重みを変化させる手段と、トレーニング（２３）の 間出力ニューロンと入力ニューロンとの両方に上記必要な出力を与える手段と、 上記複数回のトレーニング中の後、上記ニューラルネットワーク（３０）は、上 記トレーニング入力（２０）に類似の新しい入力信号に応じては上記必要な出力 を与えることを特徴とするニューラルネットワーク。
2. ２．上記重みを変化させる手段は、トレーニングの間内部ニューロン及び出力ニ ューロンの動作出力と上記必要な出力との差を計算する手段と、上記動作出力と 必要な出力との差を最小にさせる為に上記重みを適合させる手段とを更に有して いることを特徴とする請求項１に記載のニューラルネットワーク。
3. ３．上記必要な出力（２２）は上記出力ニューロン（１４）の選ばれた１つによ り発生された２進数信号であることを特徴とする請求項１に記載のニューラルネ ットワーク。
4. ４．上記必要な出力は、上記出力ニューロン（１４）の選ばれた１つにより発生 された連続量信号であることを特徴とする請求項１に記載のニューラルネットワ ーク。
5. ５．上記層内のニューロン（１２、１４、１６）は、以下に記載されたシグモイ ド（ｓｉｇｍｏｉｄ）非線形関数により、出力が発生され、 ▲数式、化学式、表等があります▼ ｙ′（ｉｉ）は、ニューロンが接続された前の層内の各ニューロンの出力であり 、Ｗ（ｉｊ）は、前の層内のニューロンと与えられた層内のニューロンとを接続 する各シナプスに設けられた重みであり、θｊは一定のしきい値であることを特 徴とする請求項１に記載のニューラルネットワーク。
6. ６．出力ニューロンと内部ニューロンと（１２、１４、１６）の動作出力と、上 記必要な出力との差を計算する上記手段は、以下に記載された式によるエラー項 を発生させ、δｊ＝ｙｊ（ｌ−ｙｊ）（ｄｊ−ｙｊ）ｙｊはニューロンの動作出 力であり、ｄｊはニューロンの必要な出力であることを特徴とする請求項２に記 載のニューラルネットワーク。
7. ７．上記必要な出力と、動作出力（１２、１４、１６）との差を最小にさせる為 に重みを適合させる上記手段は、以下の式により計算されるΔＷによりシナプス 重みを適合させる手段を有し、 ΔＷ＝ηδｊｙｉ ηは、ゲイン項であり、ｙｉはシナプス接続に沿って伝えられる信号のニューロ ンの出力であることを特徴とする請求項２に記載のニューラルネットワーク。