JPH02309447A - 相互結合型ニューラルネットワークの学習方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】

本発明は、画像認識、音声認識等のパターン認識及びエ
キスパートシステムの推論、検索等への応用を意図した
人間の神経回路網を模擬した相互結合型のニューラルネ
ットワークによる連想記憶のための学習方法に関係する
。

【従来技術】

人間の記憶・情報処理機能を模擬したニューラルネット
ワークモデルとし、現在、第２図の階層型ニューラルネ
ットワークと第１図の相互結合型のニューラルネットワ
ークが提案されている。これらのネットワークは、神経
網のニューロンに相当する素子１．、１．、　Ｌ、　）
１．、　Ｆｌ、、　Ｈ，、０，、Ｏ，、Ｏ，と、各素子
間を結ぶ神経網のシナプスに相当する結合経路り、、Ｌ
、、　　−、Ｌ、から構成されている。そして、各素子
では、その素子に接続されている各結合経路はその結合
経路によって直接接続されている素子の出力値に各結合
経路毎に設定される所定の係数、即ち、結合係数を掛け
た値がそれぞれの素子の入力値きなる。又、それらの入
力値の和の所定の関数値がその素子の出力値となる。こ
の出力値は、素子の状態を表した量、即ち、状態量とし
て定義することができる。したがって、以下、素子の出
力値と素子の状態量とは同一の意味で使用する。 このように、ニューラルネットワークの特性は、全入力
値からその出力値、即ち、素子の状態量を決定する入出
力関数と、結合係数とによって決定され、パターン認識
等における特徴的情報の記憶は、結合経路の結合係数の
値によって行われる。 ｉ番目の素子の出力値、即ち、状態量ｘ１は、第３図に
示すように、素子の非線型特性（入出力関数）をｆとす
ると、 結合係数（Ｗ　Ｉ　Ｊ　）を決めることを学習と呼ぶが
、第２図の階層型ネットワークでは、最終出力の誤差の
二乗和を最小に警る方式として、近年逆伝搬法が考案さ
れ、画像認識、音声認識等のパターン認識等に広く利用
されている。しかし、階層型ニューラルネットワークで
は、ネットワーク構成の自由度が低く、また、素子の相
互間の情報を利用しておらず、単に、入出力変換装置と
しての機能しか持っていない。 一方、第１図の相互結合型のニューラルネットワークは
、素子間の結合を自由にとることができネットワーク構
成の自由度が高い。ホップフィールドは、この系のエネ
ルギーを Ｅ＝　　ＥＥ　Ｗｓ）・ＸＩ”　ＸＪ　　曲（２）２　
日 によって定義した。 ここで、Ｘ　Ｌ、　Ｘ　Ｊはそれぞれの素子の出力値（
状態量）であり、ＷＩＪは、各素子間の結合係数である
。又、各結合路は、双方向性が成立し、Ｗ、、＝＝Ｗ、
、が成立するとしている。 又、各素子の状態量は、（１）式によって表される。 そして、素子の状態量Ｘを変化させることにより、（２
）式のエネルギーＥは単調に減少し、最終的には、平衡
点として、エネルギーの最小（極小）値に落ち着くこと
が示されている。 相互結合型のニューラルネットワークの学習方式として
は、従来、相関学習と呼ばれるＷ　＝　Ｅ　Ｘ　ｋ”　
’Ｗ　ｔ、Ｉ””””　　（３）で、結合係数Ｗ（行列
）を求める学習方式が採用されている。 但し、ｋは記憶パターンの数であり、×に、　ｙ　ｔｋ
は、それぞれ、入力ベクトル、出力ベクトルであり、Ｗ
は結合係数行列である。また、ｘｋは縦ベクトル、Ｘ□
は、ｘｋを転置して得られる横ベクトルである。この場
合に個のパターン行列Ｘ、。 ×２．パ、Ｘ、が相互に略直交している場合には、×。 を入力ベクトルとした場合の出力値Ｗ　−ｘ　ｐはＷ−
ｘ　、＝　Ｖ　ｐ　　Ｉ　　Ｘｓ　！　”　　　　　　
　−−−（４）で表される。しかし、これは各×、が直
交している場合に限られ、直交ベクトルでない場合には
、望ましい出力が得られず、例えば、入力ベクトルを１
．−１のランダム・ベクトルを用いる等の工夫が成され
るが、基本的な問題は解決せず、余り精度の良くない学
習方式である。 一方、近年、ボルツマン・マシンとして、素子の出力を
確率的に求める方式が提案されている。 これは′５（１）式に相当する に従って、Ｑｉを素子ｉの状態量が１となる確率分布と
見做し、この確率分布に従って、素子ｌの状態量Ｘ、を
具体的に０又は１に割り当てる。なお、（５）式のＴは
温度と呼び、時間経過と共に、高温から低温に推移させ
る。又、ボルツマン・マシンの学習方式は、学習、反学
習の２段階を設定し、ΔＷＩＪ＝ε（Ｑ”　ｌ　Ｊ−Ｑ
−ｔ　Ｊ）　　　　　　　　　　−（６）で結合係数の
補正量を求め、多数回の学習により結合係数を微小量Δ
Ｗｌ、だけ補正するものである。 ここで、０＋、は学習時の平衡状態における素子ｌ。 ｊの期待値の積であり、Ｑ−、□は反学習時の平衡状態
における素子ｌ、ｊの期待値の積である。又、εは十分
小さな値に設定する必要がある。

【発明が解決しようとする問題点】

このように、ボルツマン・マシンの学習方式では、素子
の状態量は、０又はｌに２値化されており、アナログ量
のデータ処理には対応できない。 又、素子の０か１かの状態量を確率分布で求めているた
め、（６）式の期待値の計算に時間がかかるという問題
もある。 そこで、本発明者らは、相互結合型ニューラルネットワ
ークの平衡点をホップフィールドのエネルギーの極小点
として求め、学習方式として学習−反学習の考えを用い
、その期待値に平衡点での値を用いることを着想した。

【問題点を解決するための手段】　　　・上記課題を解
決するための発明の構成は、相互結合型ニューラルネッ
トワークにおける結合係数の学習方法において、 前記結合係数を所定の値に初期設定する初期設定過程と
、 入力素子及び出力素子の状態量を、学習対象に応じて前
記；ユーラルネットワークにおける所定の入力値及びそ
の入力値に対する所定の出力値に固定して、全素子の状
態量が平衡状態に達した時の全素子の状態量を所定の入
出力関数によって求める学習過程と、 前記入出力素子の一部の素子の状態量のみ学習対象に応
じて前記ニューラルネットワークにおける所定の入力値
又は出力値に固定して、全素子の状態量が平衡状態に達
した時の全素子の状態量を所定の入出力関数によって求
める反学習過程と、前記各結合係数の修正に当たり、そ
の１つの結合係数により結合されている２つの素子にお
いて、前記学習過程で得られたその２つの素子の状態量
の積と、前記反学習過程で得られた２つの素子の状態量
の積との差に応じた量だけ、その結合係数を補正すると
いう処理を全結合係数について行う結合係数修正過程と
、 １つの学習対象に対して、前記学習過程と前記反学習過
程と前記結合係数修正過程とを実行して、結合係数を学
習させ、他の学習対象に対し、更に、上記処理を繰り返
して、全ての学習対象に対して、前記ニューラルネット
ワークを学習させる過程とで構成される。 次に、上記学習方法の基本原理について説明する。 前述の（２）式で表現されるエネルギーを用いて学習、
反学習時のエネルギー差を Ｇ　（１！ｌ）＝　Ｓ　Ｐ　（ｒ）・（Ｅ　”（ｒ）　
−Ｅ−（ｒ））　　　　−（７）とする。ここでＰ　（
ｒ）はｒのパターンの与えられる確率、Ｅ　”　（ｒ）
、　Ｅ　−（ｒ）は学習、反学習時に得られる（２）式
のエネルギーである。 反学習時には学習時よりも素子の自由度が高いことから Ｅ”（ｒ）≧Ｅ−ｂ）　　　　　　　　　　　　　−・
（８）の関係がある。すなわち Ｇ　（Ｗ）≧Ｏ−（９） の関係があり、（２）式を（７）式に代入して、その（
７）式を微分すると、 −ｘ　Ｉ−（ｒ）・ｘ　ｊ−（ｒ）　）　　　　　　　
　０口である。そして、 とおいて、各学習パターンに対して、 Ｘ、”Ｘｊ”＝　Ｘ、−ＸＪ−−・σりの時に、（７）
式は極小値を持つ。 従って、 ΔＷ、、＝ε（Ｘｔ”Ｘｊ”　　ＸＩ−ＸＪ−）　　　
　　　−αＪだけ、結合係数を学習の度に補正すること
で、最小エネルギーの系、即ち、学習の完了した二二一
ラルネットワークが得られる。 このように、本発明では、ボルツマンマシンのように確
率論的にではなく、決定論的な学習方式として、学習、
反学習の概念が適用できることになる。 次に、詳細な構成について説明する。 ■相互結合型ニューラルネットワーク 第１図に示した相互結合型ニューラルネットワークはニ
ューロンに相当する素子と、素子間を結ぶシナプス相当
の結合経路から構成される。各素子は第３図に示される
ように、その素子に結合している他の素子の出力に結合
係数倍された線型和を入力とし、シグモイド関数、ステ
ップ関数等の有界の関数を介して出力とする。結合経路
の重み係数（結合係数）は双方向でありＷＩＪ＝Ｗｊｔ
の関係があるとする。 素子の種別としては、入力素子、隠れ素子、出力素子の
３種とするが、入力素子、出力素子は必ずしも特定の素
子に限定されるのではなく、学習時の教示パターンに応
じて、任意に設定される。 ■学習方式 上記相互結合型ニューラルネットワークの結合係数を決
めるための学習方式を流れ図として第４図に示す。この
流れ図は次の内容から構成される。 ｔｌｏｘｌ、ニューラルネットワークの結合係数の初期
化 Ｂｏｘ２．学習のための学習パターンを選定する。 Ｂｏｘ３．　Ｂｏｘ２の学習パターンとニューラルネッ
トワークの入力素子■、出力素子０の対応を付け、隠れ
素子Ｈの状態量Ｘ＋、ｌ（出力値）を求める。隠れ素子
を設定しない場合は、入力素子■と出力素子０の対応付
は及びそれぞれの状態量Ｘ“１．　Ｘ　−０の設定のみ
となる。この段階を学習と呼ぶ。 ＢＯＸ４．ＢＯＸ３０入力素子、出力素子の一部の状態
量を設定せず、自由な状態として、この自由な状態の入
出力素子、及び隠れ素子の状態量を求める。 この段階での各素子の状態量をｘ　−！、　ｘ−０，Ｘ
−０とする。この段階をＢｏｘ３に対比させて反学習と
呼ぶ。 ＢＯＸ５、Ｂｏｘ３、ＢＯＸ４で得られた各素子の状態
量から０式で定義されるように、素子間の相関Ｘ−・Ｘ
Ｊ＋とＸｔ−・ＸＪ−の差に比例した値を学習補正量Δ
Ｗ１．とする。 Ｂｏｘ６．　Ｂｏｘ５の学習補正量を用いて、確率的降
下法に従ってニューラルネットワークの結合係数を若干
量修正する。 Ｂｏｘ６．収束判定を行い、未収束ならば、Ｂｏｘ２へ
行き次のパターンにより学習を繰り返す。

【作用】

■ネットワークの素子の状態量の生成作用Ｂｏｘ３の隠
れ素子の状態量の生成、また、Ｂｏｘ４の初期状態で乱
数で自由に設定された入出力素子、及び隠れ素子の状態
量の生成には、（１）式が用いられる。これは（２）式
のエネルギーの極小点として得られる。この条件として
は入出力関数ｆが有界である。２素子間の結合係数間に
Ｗ、＝Ｗ、ｔの関係があるのみで良く、状態量として、
アナログ値を扱う場合にはシグモイド関数が、また（０
．１）の２値の場合にはステップ関数が使える等、入出
力関数の選定に、問題に応じた自由度がある。 ■学習−反学習による学習方式 Ｂｏｘ３の学習過程での状態量Ｘ”、ＢＯＸ４での反学
習過程での状態量Ｘ−から学習補正量としてα罎式を使
うことにより（４）式の相関学習に比して精度の向上が
計られる。例えばａｂ式にみられるように平衡状態でＢ
ｏｘ３を教示データとみれば教示データ間の相関と、Ｂ
ｏｘ４での想起時の相関が等しく直交学習に近い精度が
得られる。 また、ボルツマン・マシンでは（５）式の確率分布から
得られる素子の期待値を用い（６）式により結合係数を
補正しているのに対し、本発明では（１）、（２）式に
より、平衡点の値として、素子の状態量を求め、αつ式
で結合係数を補正しているので、計算時間の短縮が計ら
れる。 ■確率的降下法 ０式を直接つかうことにより、階層型のニューラルネッ
トワークの逆伝搬法等で用いられている確率的降下法 ΔＷ、１”’＝ａ−ΔＷＩＪ’＋１：　（Ｘ　ｌ”Ｘ　
、＋−ｘｌ−”Ｘ　ｊ−）−・・０荀 Ｗ　、　、ｋ”　’　＝＝　Ｗ　Ｉ　Ｊ’＋ΔＷＩＪｋ
＋１　　　　　　・−（Ｘ！９を用いることができる。 ここでα、εは、０から１までの数で問題に応じて適当
に選ばれる。 αΔＷＩＪｋは慣性項と呼ばれ、解の収束を早めるため
に使われる。特に、シグモイド関数を用いてアナログ量
を扱う場合にこの効果は大きい。 ■相互結合型ニューラルネットワーク 第１図の相互結合型ニューラルネットワークで、第４図
の流れ図に従って学習を行う場合、特定の二つのｉ、ｊ
素子を学習、反学習時に固定として、Ｘ　ｌ＋＝Ｘ　ｌ
−＋　　Ｘ　ｊ”＝　Ｘ　ｊ−とすると、αり式からΔ
ＷＩｊ＝０であり、ｌ＋Ｊ素子間の結合は学習されない
。 口０×４の自由にする素子には自由度があり、通常入力
素子Ｉ又は出力素子０等を自由にして使用される。入力
素子Ｉを自由にすると入力データ間の相関が得られ、ア
ナログデータの相関解析に用いられる。又、出力素子０
を自由にすると、出力データ間の排反関係が得られ、認
識問題の場合に認識精度をあげることができる。又、両
方必要な場合には、入力素子Ｉを自由にした場合と出力
素子０を自由にした場合を交互に反学習のデータとして
用いることができる。

【実施例】

上記の学習方法はハードウェアで構戊される二二−ラル
ネットワークの結合係数を学習させる方法として用いる
ことができるが、そのニューラルネットワーク及び結合
係数の決定をコンピュータによってショレーションした
結果を以下実施例として説明する。 実施例１：論理演算回路の設計 素子の入出力関数として第７図（ｂ）に示すステップ関
数 ｒ　（ｕ）＝１　、　　ｕ＞　０ ＝０．　ｕ≦Ｏ・°αｅ を用いてＡＮＤ、ＯＲ，排他ＯＲの論理回路の設計を行
った。 初期の相互結合型ニューラル・ネットを第５図に示す。 第４図の学習方式に従って教示パターンを第６図の４組
を採り、ランダムに選択して逐次教示パターンとした。 学習段階では、入出力素子を固定とし、隠れ素子を自由
とした。反学習段階では入力素子のみを固定とし、出力
素子、隠れ素子を自由とした。結合係数は学習の初期に
は零とし、学習、反学習時の学習補正量０３式を求め、
α乃αつ式から結合係数を修正する。なお、α◇式で、
α＝０．ε＝１とした。これを１回の学習とし、更に、
第６図のパターンから一つを選択して、学習を繰り返し
た。約２０００程度で収束した。結果として、第７図（
ａ）を得た。第７図（ａ）は隠れ素子も不要であり、入
出力素子のみで構戊される最小構成の論理回路であると
いえる。 実施例２：正弦波の係数推定 素子の入出力関数として、シグモイド関数ｆ　（ｕ）　
＝　１　／　（１＋　ｅｘｐ（−ｕ）　）　　　　　−
−α１を用いて振動波形としての正弦波の振幅の推定を
行った。初期の相互結合型ニューラルネットワークを第
８図に示す。教示正弦波としては、Ｐ（θ）＝ａ−ｓｉ
ｎθとし、Δθ＝４／１０間隔で１１点の関数値を入力
素子の入力値とし、振幅ａを出力素子の出力値とした。 教示パターンは、振幅ａをランダムに発生し、それに対
応する正弦波形の各点の値を求めた。学習方式は実施例
１と同じく学習段階では入出力素子を固定とし、隠れ素
子のみを自由とし、反学習段階では、入力素子のみを固
定とし、出力素子、隠れ素子を自由とした。ａａ式の係
数として、α＝０．８．　　ε：０．２を用いた。５０
００回程度０学習で略収束した。その時に構成されたネ
ットワークを第９図に示す。第１０図は正弦波を入力し
たときの振幅ａの推定誤差を示し、路線型の関係を得て
いる。第１１図は、結合係数が相関といろ形で得られ Ｗ＋ｗ、ｏｔ＋ｔ＝／　ｆ（ａ）’ｆ（ａ’ｓｔａθ、
）ｄａ！＝Ｉｓｉｎθ、−ｆ　ｆ（ａ）−ａ−ｄａ　　
　　　　　　−α桓で略正弦波形に近い形で得られる。 この実施例の場合には本学習方式は、（３）式の単純な
相関学習ではないが、結合係数が相関という非常に分か
り易い形で得られるのが一つの特徴である。これはデー
タ分析機能を持ったエキスパート・システム構築を可能
とするものである。 実施例３：数字のパターン認識 素子の入出力関数として、６０式のステップ関数を用い
て第１２図に示す数字のパターン認識を行った。各数字
は３Ｘ５の要素パターンで表現し、これを入力素子に対
応する入力値とした。出力素子は、各数字に対応する１
０種を準備した。この入出力素子及び隠れ素子で構成し
た相互結合型ニューラルネットワークを第１３図に示す
。 入出力関数としては、ステップ関数を用いた。 学習方式は実施例１．２と同じく学習時には入出力素子
を固定とし隠れ素子を自由とし、反学習時には入力素子
を固定とし出力素子、隠れ素子を自由とした。ｃ４）式
の係数としてはα＝０．ε＝１を用いた。この学習方式
で得られた学習結果としての各数字に対応した出力素子
と、その出力素子と入力素子との結合係数を第１４図に
示す。各数字パターンの要素の特徴を示す部位の結合係
数が大きくなっており、本学習方式で数字を分離Ｕｉ識
する際の特徴が抽出されたことになる。 第１５図に、テストパターンの認識結果を示す。 複数記述しであるのは、両方の可能性ありと認識したも
のである。完全な間違いは６個であり、人間にも難しい
程度の認識をある程度実施したことになる。実際の応用
に際しては、更に、学習データの工夫、学習カリキユラ
ムの工夫次第で、更に精度の向上は可能と思われる。 上記実施例で、本発明の学習方法が具体的に示されたが
、上記実施例に限らず、もっと種々の分野に適用可能で
ある。又、上記各実施例に関し次の変形例がある。 変形例１：論理演算回路の設計 実施例１では、入出力関数として用いたステップ関数の
代わりに、シグモイド関数を用いて得られた結合係数と
、それから構成されるネットワークを第１６図（ａ）に
、また各結合係数を第１６図（ｂ）に示す。実施例１と
は異なり、アナログ演算を行っている為に、隠れ素子と
して、状態量１の素子を必要としている。又、逆に、演
算に必要な隠れ素子が自動的に生成されることが、本学
習方式の主要な特徴である。 変形例２： 実施例２では、正弦波の振幅の推定を行ったが振幅に限
らず学習時に出力素子の状態量として何を教示するかに
よって信号波形に含まれる各種のパラメータを推定する
ことができる。第１７図及び第１８図に入力波形として
、Ｆ（θ）＝ｓｉｎ（θ＋τ）。 Ｐ（θ）＝ｓｉｎ（ωθ）とした場合の位相（τ）及び
周波数（ω）の推定曲線を示す。ともにほぼ線型の関係
を得ている。 変形例３： 実施例３で入出力関数として用いたステップ関数の代わ
りにシグモイド関数を用いて、テストパターンを認識し
た結果を第１９図に示す。第１９図には入力された各数
字パターンと対応する出力素子の数字及びその出力値を
示している。 実施例１に比してアナログ量のため、認識精度が向上し
、全熱認識できなかったのは２例のみである。

【発明の効果】

本発明は、相互結合型二二−ラルネットワークにおける
結合係数の学習方法に右いて、入力素子及び出力素子の
状態量を、学習対象に応じた入力値及び出力値に固定し
て、全素子の状態量が平衡状態に達した時の全素子の状
態量を所定の入出力関数によって求める学習過程と、入
出力素子の一部の素子の状態量のみ学習対象に応じた入
力値又は出力値に固定して、全素子の状態量が平衡状態
に達した時の全素子の状態量を所定の入出力関数によっ
て求める反学習過程と、任意の結合係数において、その
結合係数で結合されている２つの素子の学習過程で得ら
れた状態量の積と、反学習過程で得られた状態量の積と
の差に応じた量だけ、その結合係数を補正するという処
理を全結合係数について行う結合係数修正過程を、他の
学習対象についても繰り返し実行して結合係数を学習さ
せるようにしたものである。従って、学習、反学習時の
平衡状態の状態量を直接、学習の補正量に用いているた
め、学習速度が速いという効果を有する。また、平衡状
態の状態量を用いているため、誤差二乗和を減少させる
という学習法に比較して、学習回数が少なくて済むとい
う効果をも持つ。 また、入出力関数として、２値問題のためのステップ関
数のみでなく、連続量としてのシグモイド関数を問題に
応じて選択することができるために、２値を用いたパタ
ーン＆２［よりも、アナログ処理により、認識精度を向
上させることができる等の効果を持つとともに、さらに
は各素子を連続量で扱うことが可能であるので、連続量
を入力、出力とするデータ処理の分野にも本ニューラル
ネットワークは応用できる。

【図面の簡単な説明】

第１図は相互結合型ニューラルネッヮークの構造図、第
２図は階層型ニューラルネッヮークの構造図、第３図は
１つの素子の入出力関係を示した説明図、第４図は本発
明の学習方法を示したフローチャート、第５図は第１実
施例に係る論理演算回路の設計に関する相互結合型ニュ
ーラルネッヮークの初期構造を示した構造図、第６図は
第１実施例に係る論理演算回路の設計に関する教示デー
タを示した説明図、第７図は第１実施例において学習の
結果得られた最終の二二一うルネッヮークの構造と入出
力関数とを示した説明図、第８図は第２実施例に係る正
弦波の振幅推定のためのニューラルネットワークの初期
構造を示した構造図、第９図は第２実施例において学習
の結果得られた最終のニューラルネッヮークの構造を示
した構造図、第１０図は第２実施例において学習回数と
振幅推定の誤差との関係を示した特性図、第１１図は第
２実施例の学習の結果得られた最終の結合係数を示した
説明図、第１２図は第３実施例におけるパターン認識の
教示用データを示した説明図、第１３図は第３実施例の
パターン認識のためのニューラルネットワークの構造図
、第１４図は第３実施例で学習された最終の結合係数を
示した説明図、第１５図は第３実施例で学習されたニュ
ーラルネットワークによるパターン認識におけるパター
ンと認識結果を示した説明図、第１６図は第１変形例に
おいて得られた最終の二二−ラルネットワークの構造と
その結合係数を示した説明図、第１７図は第２変形例に
おける学習回数と位相推定の誤差との関係を示した特性
図、第１８図は第２変形例における学習回数と周波数推
定の誤差との関係を示した特性図、第１９図は第３変形
例において学習されたニューラルネットワークによるパ
ターン認識におけるパターンと認識結果を示した説明図
である。 ！１〜Ｉ　、−人力素子 ０１〜０．°出力素子 ■、〜Ｈ５−隠れ素子

Claims (1)

1. 【特許請求の範囲】 　相互結合型ニューラルネットワークにおける結合係数
   の学習方法において、 前記結合係数を所定の値に初期設定する初期設定過程と
   、 入力素子及び出力素子の状態量を、学習対象に応じて前
   記ニューラルネットワークにおける所定の入力値及びそ
   の入力値に対する所定の出力値に固定して、全素子の状
   態量が平衡状態に達した時の全素子の状態量を所定の入
   出力関数によって求める学習過程と、 前記入出力素子の一部の素子の状態量のみ学習対象に応
   じて前記ニューラルネットワークにおける所定の入力値
   又は出力値に固定して、全素子の状態量が平衡状態に達
   した時の全素子の状態量を所定の入出力関数によって求
   める反学習過程と、前記各結合係数の修正に当たり、そ
   の１つの結合係数により結合されている２つの素子にお
   いて、前記学習過程で得られたその２つの素子の状態量
   の積と、前記反学習過程で得られた２つの素子の状態量
   の積との差に応じた量だけ、その結合係数を補正すると
   いう処理を全結合係数について行う結合係数修正過程と
   、 １つの学習対象に対して、前記学習過程と前記反学習過
   程と前記結合係数修正過程とを実行して、結合係数を学
   習させ、他の学習対象に対し、更に、上記処理を繰り返
   して、全ての学習対象に対して、前記ニューラルネット
   ワークを学習させる過程とから成る相互結合型ニューラ
   ルネットワークの学習方法。