JPH05242063A - ニューラルネットワークシステム - Google Patents

Abstract

(57)【要約】 【目的】 ニューラルネットワークシステムのフィード
バック機構を容易に構築することを可能とすることであ
る。 【構成】 システムは第１のニューラルネット１〜４，
６と、第１のネット１〜４，６の構造を調節するフィー
ドバック機構５を備える。フィードバック機構５は、第
１のニューラルネット１〜４，６に事例パターンを入力
した際、その出力が教示出力のいずれかに実質的に一致
するような第１のニューラルネット１〜４，６の構造を
自動的に探し、その出力と構造の関係を第２のニューラ
ルネット１７に学習させる。被判別パターンが第１のニ
ューラルネット１〜４，６に入力された際、フィードバ
ック機構５は第２のニューラルネット１７の出力に応じ
て、第１のニューラルネット１〜４，６の構造を調整す
る。構造調整後の第１のニューラルネットワーク１〜
４，６の出力信号が確定出力となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クシステムに関し、特に、ニューラルネットワークの出
力をフィードバックすることにより、ニューラルネット
ワークの構造、例えば、複数のサブニューラルネットワ
ークの寄与率を調節するニューラルネットワークシステ
ムに関する。

【０００２】

【従来の技術】ニューラルネットは人間の脳の神経回路
網を模擬した演算装置であり、現在、認識や制御など様
々な分野で用いられている。しかしながら、現在広く用
いられているバックプロパゲーションと呼ばれる学習ア
ルゴリズムによって構築された単一のニューラルネット
では、実用上の幾つかの問題点がある。

【０００３】その一つは、ニューラルネットを認識処理
などに用いた場合、その性能が人間による認識と比較し
て不十分な点である。この点を解決するためにニューラ
ルネットの構造化とフィードバック機構の導入がなされ
ている。この方法は認識性能の改善には有効であるが、
フィードバック機構を作る際に、フィードバックの方法
を専門家が厳密に記述しなければならないという新たな
問題を生じる。

【０００４】以下にこの問題を、文字を認識するニュー
ラルネットを例として説明する。ニューラルネットは神
経細胞に対応するユニット（人工ニューロン）と、それ
らを結ぶシナプスに対応するリンクからなる。文字認識
には例えば図１０に示すような、ユニット群が入力層、
中間層、出力層を成す３層のニューラルネットが最もよ
く用いられる。このニューラルネットでは、ある文字
（図１０では３）のパターンが入力層に入力されると、
その文字の種類に対応する出力ユニットが大きな出力を
出すことによって文字を認識する。例えば、３番目の出
力ユニットだけが大きな出力を出せば、入力された文字
パターンは「３」であると判定され、８番目の出力ユニ
ットだけが大きな出力を出せば、入力された文字パター
ンは「８」であると判定される。

【０００５】しかし、図１１に示されるように「３」と
「８」の両方に類似した文字パターンが入力された場
合、このような形態のニューラルネットでは３番目の出
力ユニットと８番目の出力ユニットが共に幾らかの出力
を出す状態になり、文字の種類を確定することは出来な
い。この点、人間であれば、無意識的に「３」と「８」
とを区別するのに重要な文字中心部分に焦点を当て、そ
の文字パターンを「３」という文字を分類することがで
きる。

【０００６】ニューラルネットの構造化とフィードバッ
ク機構は上記のような人間の自動的な視点の変化を模擬
したものである。これは、例えば、図１２のように文字
パターンを幾つかの部分に分割し、それらの部分パター
ンを別々のサブニューラルネット（ＮＮi; i＝1,…,n)
に入力し、それらの出力を統合することによって出力を
作るものである。この場合、各サブニューラルネットの
出力の統合部へのリンクの重み係数は、その部分の情報
の重要度を示し、これを変えることは文字パターンのど
の部分を注視するかに対応する。フィードバック機構
は、出力パターンからこれらのリンクの重み係数を変化
させるものである。この例では、出力ユニットの「３」
と「８」に同時に同程度の出力が出た時に、文字中心部
に対応するニューラルネットから統合部へのリンクの重
み係数を増加させる。すると、統合部に入る情報のう
ち、文字中心部の情報が占める割合が増し、「３」と判
定される。

【０００７】このような手法は人間の認識過程とも対応
がとれた有効な方法であるが、この例でも分かるように
フィードバックの方法は人間が設計しなければならな
い。この文字認識の例と同様の問題は、他の応用分野、
例えば診断や監視などでも起こり、それを解決するため
のフィードバック機構の設計には文字認識以上の専門的
知識が必要になる。

【０００８】

【発明が解決しようとする課題】以上説明したように、
従来のフィードバック機構を用いたニューラルネットで
は、フィードバック機構を構築する際に、学習対象に関
する専門的な知識が必要であるという問題点があった。
本発明の目的は上記実情に鑑みてなされたもので、容易
にフィードバック機構を設計できるニューラルネットワ
ークシステムを提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、この発明の一観点にかかるニューラルネットワーク
システムは、第１のニューラルネットワークと、第１の
ニューラルネットワークの出力信号をフィードバックす
ることにより第１のニューラルネットワーク中の構造、
例えば、第１のニューラルネットワークを構成するサブ
ニューラルネットの寄与率を調節（修正）するフィード
バック機構を備える。

【００１０】フィードバック機構は、第２のニューラル
ネットワークを備え、複数の事例パターンを第１のニュ
ーラルネットワークに入力した時に、第１のニューラル
ネットワークの出力が教示出力のいずれかに実質的に一
致するような構造を求め、ニューラルネットワークのも
との出力と教示出力に実質的に一致するような構造の関
係を第２のニューラルネットワークに記憶する。

【００１１】被判別事例パターンがシステムに入力され
た場合、第１のニューラルネットワークの出力信号と学
習内容に従って、第２のニューラルネットワークは第１
のニューラルネットワークの構造を調整する。構造を調
整した後の第１のニューラルネットワークの出力信号が
確定した出力信号となる。

【００１２】

【作用】フィードバック機構は、事例パターンを第１の
ニューラルネットワークに入力した時に、第１のニュー
ラルネットワークの出力が教示出力のいずれかに実質的
に一致するような第１のニューラルネットワークの構造
を探索する。第２のニューラルネットワークは、複数の
事例パターンについて、第１のニューラルネットワーク
の元の出力（構造を修正する前の出力）とその出力が教
示出力のいずれかに実質的に一致するような第１のニュ
ーラルネットワークの構造を、入出力として学習する。

【００１３】被判別パターンが第１のニューラルネット
ワークに入力されると、第１のニューラルネットワーク
はフィードバック機構が作動しない状態で、一旦、信号
を出力する。その後、フィードバック機構は、第１のニ
ューラルネットワークの出力信号に応じて、第１のニュ
ーラルネットワークの構造を調整する。構造の調整によ
り、第１のニューラルネットワークの出力も変化する。
構造調整後の第１のニューラルネットワークの出力信号
がシステムの出力信号となる。

【００１４】第２のニューラルネットワークは、学習し
たパターンの間を補う一種の補間機能を備えるので、未
学習の被判別事例パターンが入力された場合でも、第１
のニューラルネットワークの構造を適切に修正でき、シ
ステムとして適切な出力を得ることができる。

【００１５】従って、本発明のニューラルネットワーク
システムは、代表パターンとそれに対応する教示出力、
及び複数の事例パターンを用意するだけで、フィードバ
ック機構を学習対象に関する専門的な知識を用いずに構
築することができる。

【００１６】

【実施例】以下、図面を参照して、本発明の一実施例に
かかるニューラルネットワークシステムを説明する。

【００１７】初めに、本実施例にかかるニューラルネッ
トワークシステムの概要を説明する。本実施例のニュー
ラルネットワークシステムの学習の対象は図３に示す構
造化ニューラルネットであり、本実施例のニューラルネ
ットは電力系統における電圧のパターンを認識し、その
パターンを評価するものである。この例では、ある地域
内のノードを一つのグループとし、入力パターンを地域
ごとの総合的な電圧強度を特徴とする部分ベクトルから
構成する。図５に電力系統モデルを、また、図６に代表
的電圧パターンの一部を示す。

【００１８】図３のニューラルネットの評価層は１２個
の評価項目に対応する。例えば、出力ユニット１は「昼
間パターン」、出力ユニット５は「電圧低下」、出力ユ
ニット１０は「エリア５」に対する評価である。このニ
ューラルネットでは、ある任意の電圧パターンが事例パ
ターンとして入力層に入力されたときに、そのパターン
に対して有効な評価項目に対応する出力ユニットが大き
な出力を出す。入力されたパターンが図６（ａ）乃至
（ｆ）の８つの代表パターンのいずれかに近い場合に
は、入力パターンはその代表パターンの同類であるとし
て、その代表パターンと同じ評価出力が出力ユニットに
よって与えられる。

【００１９】しかし、文字認識において、区別が難しい
文字パターンが入力される場合があるように、ニューラ
ルネットに学習させた代表パターンから相当かけ離れた
電圧パターンが入力される場合がある。このような場合
には文字認識と同様、フィードバック機構を用いなけれ
ばならない。本実施例は、このフィードバック機構を専
門知識をあまり必要とせず自動的に構築することを可能
とするものである。

【００２０】次に、本実施例に使用される構造化ニュー
ラルネットの詳細を図３を参照して説明する。図３の構
造化ニューラルネットは、通常知られているように、入
力層、特徴層、連合層、出力層となる評価層、及びフィ
ードバック機構からなり、フィードバック機構以外の部
分については、公知の学習手法で既に構築は完了してい
るものとする。

【００２１】入力層へは、電圧パターンが、図５の電力
系統内のエリア１から５の部分電圧パターンにグループ
分けされて入力される。入力層の各ユニットは入力信号
をそのまま出力する。特徴層は、電圧パターンベクトル
を構成する部分ベクトルの特徴を抽出するのもであり、
特徴層の各ユニットは入力層の各ユニットの出力を受け
て、その反応特性及び結合荷重に従って、反応強度を求
め、出力する。連合層は特徴層の出力を組み合わせるた
めのものであり、連合層の各ユニットは特徴層の各ユニ
ットの出力を受けて、最大強度の出力を選択して出力す
る。

【００２２】連合層の出力は評価層に供給される。評価
層は連合層の出力に応じてニューラルネットワークの出
力を提供する。評価層はアンド（ＡＮＤ）ユニットを含
む。このアンドユニットは図４に示されるように、複数
の入力（連合層からの）を所定の重みＷ1 〜Ｗn で加算
し、加算値を所定のシグモイド関数で変換して、出力す
るものであり。フィードバック機構によりその荷重値が
修正される。この荷重値の修正により、サブニューラル
ネットワークの寄与率が修正されることになる。 本実
施例では、入力層から連合層までが各グループ（エリア
１〜５）に対応するサブニューラルネットの集合体（図
１２のＮＮ１〜ＮＮｎに対応する）を構成し、ＡＮＤ型
ユニットが統合部（図１２における統合部に対応する）
になっている。連合層からＡＮＤ型ユニットへのリンク
の重み係数Ｗ1 〜Ｗ5 （図３）が各グループの情報の相
対的な重要度を表す。フィードバック機構は評価層の出
力が入力され、相対寄与率ｆ_n を出力する。相対寄与率
ｆ_n は次式で定義される。 ^ｗn ＝ｆ_n ／Ｎg (2) ここで、ｗⁿ はグループｎの特徴層からＡＮＤ型ユニッ
トへのリンクの重み係数、Ｎｇはグループ数である。

【００２３】このネットワークは、フィードバックによ
ってリンクの重み係数（相対寄与率）を変化させること
により、ニューラルネットワークの補間機能を制御する
ことができる。次に、本実施例にかかるシステム全体の
構成を説明する。

【００２４】本発明によるシステムの構成は図１のよう
に、図３の構造化ニューラルネットの入出力特性を実現
する構造化ニューラルネット部７と、入力パターン（代
表パターンと事例パターン）および代表パターンと対を
なす教示パターン（出力）を蓄えるパターンデータベー
ス８と、入力データを選択するデータ選択器１０と、フ
ィードバック機構によって決められた荷重値をそのとき
の出力値によって評価する評価器９、出力装置１１、出
力部１２、入力装置１３、及び入力部１４から成る。

【００２５】代表パターンとは、それに付随する教示パ
ターンと共にそれらの関係をニューラルネットに学習さ
せたパターンであり、事例パターンとは、代表パターン
とはややかけ離れた任意のパターンである。

【００２６】構造化ニューラルネット部７は、ユニット
の出力状態を示す状態テーブル１、ユニット間のリンク
の重み係数を格納する荷重値テーブル６、ユニットの状
態を決定するユニット状態演算部４、学習時に荷重値を
更新する荷重値演算部３、そして、荷重値を調節するフ
ィードバック機構５からなる。

【００２７】また、フィードバック機構５は図２のよう
に、後述する相対寄与率の組み合わせ｛ｆ_n ｝を順次変
更して発生するためのパラメータ調節器１５と、構造化
ニューラルネット部７の出力が所定の教示パターンに実
質的に一致する時の相対寄与率の組み合わせ｛ｆ_n ｝を
記憶するパラメータ記憶部１６と、構造化ニューラルネ
ット部７の出力と相対寄与率の組み合わせ｛ｆ_n ｝を記
憶するするニューラルネット部１７からなる。次に本実
施例にかかるニューラルネットシステムの動作を説明す
る。まず、ある入力パターンに対するニューラルネット
部７の出力が計算される過程にしたがって、各構成要素
の関係を説明する。

【００２８】ニューラルネット部７への入力パターンは
パターンデータベース８の中の入力パターンの一つがデ
ータ選択器１０によって選び出されるか、あるいは入力
装置１３から入力される。この入力パターンは入力部１
４を通ってニューラルネット部７に入力される。なお、
ニューラルネット部７は図３の構造化ニューラルネット
の特性を模擬する装置であり公知のものである。

【００２９】ニューラルネット部７のユニット状態テー
ブル１には、全ユニットの出力が書き込まれている。こ
の実施例では、入力されたパターンはそのまま入力層ユ
ニットの出力としてテーブルの入力層に書き込まれる。
荷重値テーブル６には入力層ユニットと特徴層ユニット
間のリンクの重み係数が登録されている。荷重値テーブ
ル６に登録されている重み係数群とユニット状態テーブ
ル１登録された入力層ユニットの出力群を用いて演算部
４は特徴層ユニットの出力を計算し、ユニット状態テー
ブル１の特徴層部に書き込む。

【００３０】荷重値テーブル６には特徴層ユニットと連
合層ユニット間のリンクの重み係数も登録されており、
演算部４は同様にして連合層ユニットの出力を計算し、
ユニット状態テーブル１の連合層部に書き込む。以後、
同様にして、最終的にユニット状態テーブル１の評価層
部に評価層ユニットの出力が書き込まれる。この値は、
ニューラルネット部７の出力として、出力部１２から出
力される。

【００３１】次に、本実施例におけるフィードバック機
構５の構築手法について述べる。まず、パターンデータ
ベース８から、ある事例パターンがデータ選択器１０お
よび入力部１４を通してニューラルネット部７に与えら
れる。ニューラルネット部７は前述の手順で出力部１２
に評価層ユニットの出力値を与える。最初は、フィード
バック機構５は働かせない。すなわち、この時には相対
寄与率ｆ_n はすべて等しく1.0 になっている。与えられ
た事例パターンが、代表パターンとかなりかけ離れてい
ると、このパターンに対する評価層ユニットの出力値
は、代表パターンに対する出力パターン（教示パター
ン）とは異なる曖昧な出力パターンとなる。そこで本実
施例では、この出力パターンを教示パターンのいずれか
に近付けるような相対寄与率の組み合わせ｛ｆ_n ｝を自
動的に探索する。

【００３２】適切な相対寄与率｛ｆ_n ｝の探索は、例え
ば、次のように行われる。まずフィードバック機構５の
中のパラメータ調整器１５が｛ｆ_n ｝の候補を発生す
る。本実施例では、パラメータ調整器１５は相対寄与率
ｆ_n （n=1,…, 5 ）のうちｆ₁,f₂ ，ｆ₃ ，ｆ₄ を(3)
式によって変化させ、ｆ₅ は前述の（2)式を満たすよう
に設定する。 ｆ_n ＝ｆ_n ＋０．２＊Ｒ (3） （n=1,…,4)

【００３３】(3) 式のＲは−１と０と１を等確率でとる
数であり、疑似乱数によって作られる。パラメータ調整
器１５はこの式に従って次々に｛ｆ_n ｝を変えるが、そ
れに従ってフィードバック部５は荷重値テーブル６を変
更し、それに従い構造化ニューラルネット部７が出力部
１２に与える出力パターンも変化する。評価器９は、こ
の次々に変わる出力パターンをパターンデータベース８
内のすべての教示パターンと比較する。この比較は本実
施例では、出力パターンと教示パターンをベクトルと考
えて、そのベクトル距離を計算することによって行う。
ある｛ｆ_n ｝によって作られる出力パターンが、たまた
まある教示パターンに実質的に一致した場合（即ち、両
ベクトルの距離が所定基準値以下となった場合）には、
この｛ｆ_n ｝はフィードバック導入前のニューラルネッ
ト部５の出力パターンに対して、良好なフィードバック
と見なすことができる。パラメータ記憶部１６はこのと
きのニューラルネットの出力（フィードバック機構５が
働いていない状態での出力）とｆ_n の組合せを記憶す
る。

【００３４】図７に、ある事例データを入力したときに
相対寄与率ｆ_n を前述の手法で変化させたときの、教示
パターン１乃至３と出力パターンの距離の変化の様子を
示す。この場合、相対寄与率の更新回数が１３９のとき
に出力パターンとパターン２の距離が“０”となり、出
力パターンとパターン２が一致する。従って、パラメー
タ記憶部１６はこのときのニューラルネットの出力（フ
ィードバック機構５が働いていない状態）とｆ_n の組合
せをパラメータ記憶部１６は記憶する。

【００３５】上記の手段により全ての事例データについ
て正しいフィードバックが求められた後、フィードバッ
ク機構５のニューラルネット１７に入出力対として、フ
ィードバック無しのときの出力とそれに対応する適切な
相対寄与率を与えて学習を行う。学習法としては、例え
ば、バックプロパゲーションが考えられる。学習後、こ
のフィードバック機構のニューラルネット１７は、本体
のニューラルネットの出力１２（フィードバックが働い
ていない状態）に応じて適切な相対寄与率をパラメータ
調整器１５に出力し、荷重値テーブル６中の相対寄与率
が調整される。相対寄与率の調整により、出力１２が適
切な内容に変化し、これがニューラルネット部７の確定
した（又は最終的な）出力、即ちシステムの出力とな
る。上述のシステムの動作をまとめると次のようになる
（フィードバック機構を除くニューラルネット部７の学
習は終了しているものとする）。

【００３６】step 1: フィードバック機構５をオフし、
事例パターンをニューラルネット部７に入力し、ニュー
ラルネット部７の出力を得る。次に、フィードバック機
構５をオンし、寄与率の組みを順次変更する。寄与率の
組みの変化に応じてニューラルネット部７の出力も変化
する。ニューラルネット部７の出力が教示出力パターン
のいずれかに実質的に一致する時の寄与率の組みをニュ
ーラルネット部７の元の出力と共に記憶する。全ての事
例パターンについて、step 1を繰り返す。

【００３７】step 2: 前記事例パターンから得られたニ
ューラルネットワーク部７の元の出力と寄与率の関係を
入出力関係としてフィードバック機構５のニューラルネ
ット部１７に学習させる。 step 3: フィードバック機構５をオフした状態で、ニュ
ーラルネットワーク部７に処理対象信号（パターン）を
供給する、 step 4: ニューラルネットワーク部７の出力をニューラ
ルネットワーク部１７に供給する。 step 5: ニューラルネットワーク部１７の出力に従っ
て、ニューラルネットワーク部７内の寄与率を修正す
る。

【００３８】step 6: 寄与率が修正された状態で、ニュ
ーラルネットワーク部７に処理対象信号の処理を再び行
わせ、その出力信号をシステムの（最終的な）出力信号
とする。 （実験結果）

【００３９】上記構成のフィードバック機構をもつネッ
トワークを実際に構築し、実験をおこなった。実験例と
して、図８のパターンを入力例を示す。図８のパターン
は図６（ｃ）と（ｆ）の代表パターンを４：６で混合し
たものである。

【００４０】この入力に対して、このニューラルネット
ワーク部７は、相対寄与率が均一の状態（ｆ_n ＝1.0 、
n=1 ，…，５；フィードバック無しの場合）では図９
(a) の出力信号を出力したが、前記の手順によって得ら
れたフィードバック機構が働き、相対寄与率が ｆ₁ 〜
ｆ₄ ＝０．８，ｆ₅ ＝１．８に調整されて、図９(b) の
最終出力が得られた。

【００４１】図８の入力パターンに関して、ネットワー
クは図９(a) のように電圧低下傾向は無いと判断してい
る。しかし、フィードバックが働くと、入力パターンの
もつ特徴に対する注目度が相対寄与率の変化によって変
わり、ネットワークは図９(b) のようにエリア５に電圧
低下が見られると評価している。これは専門家がエリア
５の微妙な電圧低下に注目するのに似ており、フィード
バック機構が有効に機能していることが確認された。

【００４２】以上説明したように、本実施例によれば、
フィードバック機構にニューラルネットワークと適切な
寄与率を自動的に探索する手段を配置したので、代表パ
ターンとそれに付随する教示パターン、及びいくつかの
事例パターンを用意することにより、設計者が学習対象
に関する専門的な知識を持たない場合にも容易に、正確
なフィードバック機構を構築できる。

【００４３】なお、フィードバック機構のニューラルネ
ット部１７の学習終了後は、ニューラルネット部１７の
出力に応じて荷重値テーブル６の書き替る機能を確保で
きる範囲で、パラメータ調整部１５やパラメータ記憶部
１６を取り除いてもよい。

【００４４】さらに、本願発明は上記実施例に限定され
ない。例えば、ニューラルネットワーク部７の出力段に
出力を鮮明にするための変換器等の他の回路を設けても
よい。また、例えば、上記実施例では、電力系統におけ
る電圧パターンを評価するシステムに本願発明を応用し
た例を示したが、これに限定されず、認識、分類等の他
の広い分野に応用可能である。

【００４５】また、上記実施例では、複数のサブニュー
ラルネットの出力を統合する構造化ニューラルネットワ
ークシステムに本願発明を応用したが、単一のニューラ
ルネットからなるシステムに本願発明を応用することも
当然可能である。この場合、例えば、任意の１または複
数の層のリンクの重みを変更すればよい。

【００４６】また、上記実施例では、フィードバック機
構により複数のサブニューラルネットの出力を統合する
際の寄与率を修正したが、サブニューラルネット内のユ
ニット間のリンクの重み係数やユニットの発火し易さ
（反応特性）等の他の構成・構造を変更するようにして
もよい。また、ユニットの反応特性も、シグモイド関数
型に限定されず、公知の他の特性、例えば、釣り鐘型の
反応特性等でもよいことは当然である。

【００４７】

【発明の効果】以上説明したように、本発明によれば、
フィードバック機構を備えるニューラルネットワークシ
ステムにおいて、フィードバック機構を自動的に構築す
る機能をもたせることにより、設計者が学習対象に関す
る専門的な知識を持たない場合にも容易に、正確なフィ
ードバック機構を構築できる。

【図面の簡単な説明】

【図１】本発明の一実施例にかかるニューラルネットシ
ステムのブロック図。

【図２】図１のニューラルネットシステムのフィードバ
ック機構のブロック図。

【図３】図１に示されるニューラルネットを構成する構
造化ニューラルネットを説明する図。

【図４】構造化ニューラルネットの評価層のユニットを
示す図であり、相対寄与率を説明する図。

【図５】本発明の適用例である電力系統を説明する図。

【図６】図５の電力系統の状態評価に適用した際の代表
パターンを示す図。

【図７】フィードバック機構におけるパラメータ探索を
説明する図。

【図８】電力系統の状態評価における入力例を示す図。

【図９】電力系統状態評価における出力例を示す図であ
り、（ａ）はフィードバックが働かないときの出力を示
す図、（ｂ）はフィードバックが働いたときの出力を示
す図である。

【図１０】３層ニューラルネットを説明する図。

【図１１】類似文字パターンを説明する図。

【図１２】ニューラルネットの構造化とフィードバック
の効果を説明するための図。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数のサブニューラルネットと前記複数
   のサブニューラルネットの出力を統合して最終出力を得
   る統合部を備える第１のニューラルネットワークと、前
   記第１のニューラルネットワークの出力に応じて、前記
   複数のサブニューラルネットワークの出力信号の相対寄
   与率を調節するフィードバック機構部、を有するニュー
   ラルネットワークシステムにおいて、 前記フィードバック機構部は、前記第１のニューラルネ
   ットへの代表入力パターンとそれに対応する教示出力パ
   ターン、及び事例パターンを記憶する手段と、前記複数
   の事例パターンの各々についてその事例パターンが前記
   第１のニューラルネットに入力された時の出力が前記教
   示出力パターンのいずれかに実質的に一致する時の前記
   寄与率を求める手段と、前記事例パターンから得られた
   第１のニューラルネットワークの出力と前記寄与率の関
   係を入出力の関係として学習する第２のニューラルネッ
   トワークと、前記第２のニューラルネットワークの出力
   する寄与率に従って、前記寄与率を修正する手段、を備
   え、前記第１のニューラルネットワークの出力信号に応
   じて前記寄与率を自動的に修正し、寄与率修正後の前記
   第１のニューラルネットワークの出力信号をシステムの
   出力信号とすることを特徴とするニューラルネットワー
   クシステム。
2. 【請求項２】 第１のニューラルネットワークと、前記
   第１のニューラルネットワークの出力信号に応答して前
   記第１のネットワーク中の構造を修正する第２のニュー
   ラルネットワークを含むフィードバック機構を備えるニ
   ューラルネットワークシステムの動作方法であって、 複数の事例パターンを前記第１のニューラルネットに入
   力し、事例パターン各々について、前記第１のニューラ
   ルネットの出力が教示出力パターンのいずれかに実質的
   に一致するような前記第１のニューラルネットワークの
   構造を求めることと、 前記事例パターンから得られた第１のニューラルネット
   ワークの元の出力と前記第１のニューラルネットワーク
   の構造を第２のニューラルネットワークに学習させるこ
   とと、 前記第１のニューラルネットワークに処理対象信号を供
   給することと、 前記第１のニューラルネットワークの出力を前記第２の
   ニューラルネットワークに供給することと、 前記第２のニューラルネットワークの出力に応じて前記
   第１のニューラルネットワークの構造を修正し、修正後
   の前記第１のニューラルネットワークの出力をシステム
   の出力信号とすること、を備えることを特徴とするニュ
   ーラルネットワークシステムの動作方法。
3. 【請求項３】 第１のニューラルネットワークと、前記
   第１のニューラルネットワークの出力信号に従って前記
   第１のニューラルネットワークの構造を修正するフィー
   ドバック機構を備えるニューラルネットワークシステム
   において、 前記フィードバック機構は、事例パターンを前記第１の
   ニューラルネットワークに入力した時の出力とその出力
   が所定の教示パターンに実質的に一致するような第１の
   ニューラルネットワークの構造を入出力の対として学習
   した第２のニューラルネットワークを含むことを特徴と
   するニューラルネットワークシステム。
4. 【請求項４】 第１のニューラルネットワークと、前記
   第１のニューラルネットワークの出力信号に従って前記
   第１のニューラルネットワークの構造を修正するフィー
   ドバック機構を備えるニューラルネットワークシステム
   において、 前記フィードバック機構は第２のニューラルネットワー
   クを含むことを特徴とするニューラルネットワークシス
   テム。