JPH04340157A - 連想学習方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像・音声パターンや
キーワード等によるデータベース等の連想記憶検索を動
的に行う連想記憶モデルの記憶辞書と記憶項目間の関係
の、学習方式に関するものである。

【０００２】

【従来の技術】従来の連想記憶検索では、メモリアドレ
スと記憶項目を対にして蓄える内容番付け記憶方式とし
て、キーワードからアドレスを算出するハッシュ・コー
ド法や、入力データの線形変換から出力データを想起す
る相互想起連想記憶方式等が知られている（（１）　Ｔ
．Ｋｏｈｏｎｅｎ：“Ａｓｓｏｃｉａｔｉｖｅ　Ｍｅｍ
ｏｒｙ，　Ａ　Ｓｙｓｔｅｍ−Ｔｈｅｏｒｅｔｉｃａｌ
　Ａｐｐｒｏａｃｈ”，Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａ
ｇ，’７７　）。これらのうち、記憶項目の衝突がない
線形相互想起連想記憶モデルでは、入出力層間の結合重
み値を入出力パターンの相関行列で設定する相関型連想
記憶モデルより、一般逆行列で設定した直交射影型連想
記憶モデルの方が高い連想能力を持つことが知られてい
る。一般逆行列の計算を効率的な局所演算で実現する方
法に関しては、松岡氏が図１０に示すような相互抑制結
合の中間層を持つ３層モデルを提案している（（２）　
Ｋ．Ｍａｔｓｕｏｋａ：“Ａ　Ｍｏｄｅｌ　ｏｆ　Ｏｒ
ｔｈｏｇｏｎａｌ　Ａｕｔｏ−Ａｓｓｏｓｉａｔｉｖｅ
　Ｎｅｔｗｏｒｋｓ”，Ｂｉｏｌ　Ｃｙｂｅｒｎ　６２
，ｐｐ．２４３−２４８，’９０、（３）　Ｋ．Ｍａｔ
ｓｕｏｋａ：“Ａｎ　Ａｓｓｏｃｉａｔｉｖｅ　Ｎｅｔ
ｗｏｒｋ　ｗｉｔｈ　Ｃｒｏｓｓ　Ｉｎｈｉｂｉｔｏｒ
ｙ　Ｃｏｎｎｅｃｔｉｏｎｓ”，Ｂｉｏｌ　Ｃｙｂｅｒ
ｎ　６２，ｐｐ．３９３−３９９，’９０、（４）　松
岡（九工大）：“直交射影型連想記憶回路の種々の構造
について”，電子情報通信学会論文誌，Ｖｏｌ．Ｊ７３
−ＤＩＩ，Ｎｏ．４，ＰＰ．６４１−６４７，Ａｐｒｉ
ｌ，９０．参照）。これは、複雑な一般逆行列の計算を
簡単なネット構造の回路で実現するのみならず、記憶辞
書である結合重み値の学習もプロトタイプパターンの付
加によって簡単に実現できるのでＬＳＩ化にも適してい
る。

【０００３】従来の連想記憶モデルでは、図１１に示す
ように、画像等の分散的なパターン同士の連想を直接行
うように素子間の結合がなされている。すなわち図１１
の例の場合、各項目例えば色信号の項目の入出力層およ
び中間層は、他の項目である形信号の項目および香り信
号の項目の各入力層および出力層に対する直接的な結合
を有している。関連する連想項目が多いと項目間の結合
重みである記憶辞書が膨大になってしまうという問題点
があった。また、このような連想記憶モデルは、記憶辞
書の静的なプロトタイプパターンからの記憶・想起を示
すもので、現実的な変形パターンの連想想起には十分と
は言えなかった。すなわち、図９の（ａ）に示すような
記憶パターン以外の変形入力に対しては同図（ｂ）のよ
うにノイズ成分が残ってしまい、この入力に関連する連
想記憶項目を正しく想起するには、非常に沢山の変形パ
ターンを記憶しなければならなかった。

【０００４】このような問題を解決するために、本発明
者は、図３に示すような中間層に相互抑制結合を持つ３
層フィードバック連想記憶モデルを、図４に示すように
中間層を通じて複数接続して、変動のある分散的な入力
パターンから変動成分を除去しながら、圧縮表現された
概念・記号的な中間層出力パターンに動的に変換して、
入力に関連する種々の記憶項目を連想想起する連想記憶
モデルを発明した（この連想記憶モデルは本願と同日付
けで、本出願人により出願された）。

【０００５】

【発明が解決しようとする課題】本発明は、上述の図４
に示す連想記憶モデルにおいて、学習用パターン組提示
毎に、各連想記憶モデルの記憶辞書としきい値、および
他の連想記憶モデルとの記憶項目間の関係の学習を容易
かつ効率的に行うことのできる連想記憶学習方式を提供
することを目的とするものである。

【０００６】

【問題を解決するための手段】本発明は、中間層に相互
抑制結合を持つフィードバック連想記憶モデルを素子数
の少ない中間層において複数接続し、変動のある分散的
な入力パターンから概念・記号的中間層出力パターンに
動的に変換しながら、入力に関連する種々の記憶項目を
連想想起する連想記憶モデル（図４）の連想学習方式で
あって、学習用パターン組の提示毎に、記憶辞書（Ｗ）
とフィードバック入力パターン（Ｗｆ（ｙ，ａ））との
差分によって、各連想記憶モデルの記憶辞書（Ｗ）とし
きい値（ａ／２）を除々に学習しながら、他の連想記憶
モデルとの中間層間の結合重み（Ｖ）をも学習すること
を特徴とする。

【０００７】

【作用】本発明の連想学習方式の適用によって学習され
る中間層に相互抑制結合を持つ３層フィードバック連想
記憶モデルでは、パターン分離能力の高い一般的行列の
近似計算が中間層の相互抑制結合によって行うとともに
、入力パターンが出力層に再現されてフィードバックす
る時、中間層の非線形関数でノイズ除去が行われる。 さらに、互いに異なる概念を表現する複数の連想記憶モ
デルを圧縮表現された中間層を通じて接続したことによ
り結合数を少なくできるという利点がある。本発明の連
想学習方式は、上記のように連想記憶モデルに対して、
自動的な学習が可能であることを見出した。すなわち、
この方式は、学習用パターン組の提示毎に、記憶辞書と
フィードバック入力パターンとの差分によって、各連想
記憶モデルの記憶辞書としきい値を除々に学習しさせる
とともに、他の連想記憶モデルとの中間層間の結合重み
をも学習するということによって、自動的な学習を容易
に行うことが可能となった。本発明の連想学習方式によ
れば、学習パターン提示毎に、各連想記憶モデルでは、
たとえば後述する（１）’〜（５）式に従って、各記憶
辞書Ｗとしきい値ａｊ／２が若干修正される。この学習
では、記憶辞書とフィードバック入力パターンとの差分
の確率近似最小化によって、提示した入力パターンに辞
書を若干近づけながら、発火する素子についてはしきい
値を下げてより発火しやすくし、発火しない素子はしき
い値を上げてより発火しないように、各中間層素子のし
きい値が調整される。これと同時に、他の連想記憶モデ
ルとの結合重み値が、たとえば（６）式に示されるよう
な相関学習に従って修正される。すなわち、他の連想記
憶モデルとの互いに関連する連想項目がより想起されや
すいように学習が行われる。

【０００８】

【実施例】

（本発明の学習方式を適用する連想記憶方式）まず、本
発明の学習方式を適用する対象である連想記憶方式につ
いて説明する。図４は本発明の学習方式の適用対象であ
る連想記憶モデルの一例を示す図である。この連想記憶
モデルは、中間層に相互抑制結合を持つ複数の３層フィ
ードバック連想記憶モデル１１，１２，１３と、それぞ
れの中間層の素子どうしを結合する結合部１４とからな
っている。この例では３個の３層フィードバック連想記
憶モデル１１，１２，１３はそれぞれ色信号ｘ（１）、
形信号ｘ（２）、香り信号ｘ（３）の３つの連想項目の
入出力に割り当てられている。なお、図４には結合部１
４は、各連想記憶モデルの中間層素子の出力がそれぞれ
節点に接続され、節点どうしを相互接続するように図示
されているが、結合関係を分り易くするために節点を示
したものであって、実際は直接に中間層素子どうしが接
続される。

【０００９】図３は、図４において簡略的に示されてい
る各３層フィードバック連想記憶モデルの１個の構成を
より詳細に示す図である。ただし、図中には、着目した
中間層素子ｋへの結合のみが示されている。このモデル
において、中間層素子ｋは入力層からの結合の外に、他
の中間層素子からの出力がしきい関数を介して抑制信号
Ｒとして入力される抑制結合を有している。この抑制結
合は他の中間素子についても同様である。また、入力パ
ターンが出力層に再現される。

【００１０】図５は図４に示すような連想記憶モデルの
システム構成の一例を示すものである。各３層フィード
バック連想記憶モデル１１，１２，１３は、それぞれ入
力パターンｘ（ｍ）またはフィードバック出力ｘ’（ｔ
）により更新された値を保持する入出力レジスタ１１１
，１２１，１３１と、微小時間後の入力層の状態の変化
分Δｘすなわち後述する（２）式におけるｄｘｉ（ｔ）
を求めるとともに、その変化分Δｘを入出力レジスタ１
１１，１２１，１３１の値に加算して更新する差分加算
状態更新器１１２，１２２，１３２と、後述する（１）
式におけるΣｉＷｉｊｘｉ（ｔ）を演算する積和演算器
１１３，１２３，１３３と、（２）式におけるΣｊＷｉ
ｊｆｊ（ｙｊ，ａｊ）すなわちフィードバック信号を求
める積和演算器１１４，１２４，１３４と、微小時間後
の中間層の状態を求めるとともにその変化分Δｙすなわ
ち後述する（１）式におけるｄｙｊ（ｔ）を求め、その
変化分Δｙを非線形処理部１１６，１２６，１３６のレ
ジスタに保持されている非線形処理結果ｙｊに加算して
更新する差分加算状態更新器１１５，１２５，１３５と
、更新されたｙｊに（１）式における非線形処理ｆｊ（
ｙｊ，ａｊ）を施しその結果をレジスタに保持する非線
形処理器１１６，１２６，１３６と、相互抑制結合成分
である（１）式におけるΣｋＲｋｊｆｋ（ｙｋ，ａｋ）
を演算する積和演算器１１７，１２７，１３７とからな
る。また、各３層フィードバック連想記憶モデルを相互
に結合し、統合するための演算ΣｌＩ（ｌ）を行う積和
演算器１４を有している。図５に示す実施例の装置の各
演算器は、連続時間を離散化することにより汎用の計算
機上でのプログラムや、専用のアナログまたはディジタ
ル演算回路で実現することができる。各層の素子の状態
は、それぞれのレジスタに記憶され、結合重み値は積和
演算器のメモリに記憶される。

【００１１】図６と図７は、それぞれ本実施例における
各連想記憶モデルの連想想起処理と連想記憶モデルの複
数接続時の連想想起処理手順を示すフローチャートであ
る。以下では、まず記憶辞書である結合重み値と入力の
許容変動範囲を規定する中間層素子のしきい値ａ／２が
既に設定されているとして、一つの連想記憶モデルの連
想想起処理の例を説明した後に、複数接続時の連想想起
処理の例について説明する。図６のフローチャートに従
って、図３に示す本発明における連想記憶モデルの連想
想起処理を説明する。まず、下記の（３）式に示す初期
設定をする（Ｓｔｅｐ０）。概念（カテゴリ）ｍに属す
る入力パターンｘ（ｍ）を入出力レジスタ１１１に設定
する。 そして、次の（１）式と（２）式に従って、微小時間Δ
ｔ後の変化量Δｘ，Δｙの計算をする（Ｓｔｅｐ１）。

【００１２】 τｙｄｙｊ（ｔ）／ｄｔ＝−ｆｊ（ｙｊ，ａｊ）＋Σｋ
Ｒｋｊｆｋ（ｙｋ，ａｋ）＋ΣｉＷｉｊｘｉ（ｔ）　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　（１）τｘｄｘｉ（ｔ）／ｄｔ＝−ｘｉ（ｔ）＋Σ
ｊＷｉｊｆｊ（ｙｊ，ａｊ）　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　（２）ｘ（０）＝ｘ（ｍ） ｙ（０）＝０ 　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　（３）ここで、Ｒ＝−Ｗ
ＷＴ＋ＩＭ， 辞書行列：Ｗ＝［ｘ（１），ｘ（２），……ｘ（Ｍ）］
Ｔ，各概念の辞書パターン：ｘ（ｉ）＝｛ｘ（ｉ）１，
……ｘ（ｉ）Ｎ｝ とし、ＩＭはＭ次元単位行列で、Ｔは転置行列を表す。 非線形関数ｆｊ（ｙｊ，ａｊ）は、 ｆｊ（０，ａｊ）＝０， ｆｊ（１，ａｊ）＝１， ｆｊ（ａｊ／２，ａｊ）＝ａｊ／２， ｆｊ（ｙｊ，ａｊ）＜ｙｊ（ｙｊ＜ａｊ／２），ｆｊ（
ｙｊ，ａｊ）＞ｙｊ（ｙｊ＞ａｊ／２）．の条件を満足
するものとする。

【００１３】（１）式に従って、中間層の相互抑制結合
Ｒによって一般逆行列が近似的に計算され、（２）式の
非線形関数とフィードバック信号でノイズ除去が行われ
る。（１）式における−ｆｊ（ｙｊ，ａｊ）は図３の非
線形処理器１６１によって処理される。図８は中間層出
力ｙにしきい値処理を施すための非線形関数の一例を示
す図である。非線形処理器１１６はこの非線形関数に従
って出力を決定する。また、（１）式におけるΣｋＲｋ
ｊｆｋ（ｙｋ，ａｋ）の演算は積和演算器１１７によっ
て行われる。また、（１）式におけるΣｉＷｉｊｘｉ（
ｔ）の演算は積和演算器１１３によって行われる。また
、フィードバック出力（再現入力）である（２）式にお
けるΣｊＷｉｊｆｊ（ｙｊ，ａｊ）の演算は、積和演算
器１１４により行われる。

【００１４】これらの演算結果を基に、微小時間Δｔ後
の状態更新を行う（Ｓｔｅｐ２） ｘ（ｔ＋Δｔ）＝ｘ（ｔ）＋Δｘ ｙ（ｔ＋Δｔ）＝ｙ（ｔ）＋Δｙ すなわち、Δｙは、差分加算状態更新器１１５を用いた
（１）式の右辺の前記のように既に計算した全部の項の
加算すなわち非線形処理器１１６、積和演算器１１３お
よび差分加算状態更新器１１７の各出力の和により求め
られる。そして、差分加算状態更新器１１５はその求め
たΔｙと非線形処理器１６１に内蔵されるレジスタに保
持されているΔｔ時間前の非線形処理された中間層出力
の値ｙとの加算を行って、そのｙの値を更新するまた、
（２）式全体の演算すなわちΔｘの演算と、フィードバ
ックされる再現入力の演算は、差分加算状態更新器１１
２により行われる。そして、差分加算状態更新器１５１
はその求めたΔｘと入出力るレジスタ１１１に保持され
ているΔｔ時間前のｘのとの加算を行って、その入出力
レジスタ１１１の値を更新する。この時、中間層出力ｆ
ｊ（ｙｊ，ａｊ）の全ての要素が誤差εの範囲で０か１
に収束しているか否かを判定し、Ｙｅｓであれば、処理
を終了する。そうでなければ、（１）式と（２）式の処
理を同様に繰り返す。（１）式と（２）式の処理の繰り
返しによって、出力層の再現入力パターンは除々に該当
する記憶辞書パターンに近づいて、その概念を表す中間
層素子が発火（値１に収束）する。なお、各概念は複数
の中間層素子で分散的に表現しても良い。すなわち２以
上の中間層素子の発火により一つの概念を表すようにし
てもよい。以上の動作の説明においては、一つの連想記
憶モデル１１について説明したが、他の連想記憶モデル
１２，１３も同様の動作をする。

【００１５】次に図７のフローチャートに従って、図１
に示す本発明の複数接続時の連想想起処理を説明する。 まず、いくつかの連想記憶モデル（部分的で良い）にそ
れぞれ異なる概念の初期入力パターンを与える（Ｓｔｅ
ｐ０）。次に、各連想記憶モデルにおいて（１）式と（
２）式による微小時間Δｔ後の状態の更新を行う（Ｓｔ
ｅｐ１）。これは図６により前述した通りであり、ここ
では説明を省略する。

【００１６】この時、下記の（１）’式に従って各中間
層出力は重み付けられて他の連想記憶モデルの中間層へ
の入力Ｉ（ｌ）として相互に入力される（Ｓｔｅｐ２）
。この（１）’式における入力Ｉ（ｌ）の総和ΣｌＩ（
ｌ）ｊは、図５の積和演算器１４によって計算される。 そして、（１）’式、（２）式による微小時間Δｔ後の
状態更新をする（Ｓｔｅｐ３）。その後、連想記憶モデ
ルにおいてそれぞれの（１）’式と（２）式の処理が収
束されるまで繰り返される。

【００１７】 τｙｄｙｊ（ｔ）／ｄｔ＝−ｆｊ（ｙｊ，ａｊ）＋Σｋ
Ｒｋｊｆｋ（ｙｋ，ａｋ）＋ΣｉＷｉｊｘｉ（ｔ）＋Σ
ｌＩ（ｌ）ｊ 　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　…（１）’但し、Ｉ（ｌ）ｊは他の連想記憶モ
デルｌの各中間層出力からの重みつき入力を表す。

【００１８】図４および図５に示す構成では、互いに異
なる概念を表現する複数の連想記憶モデルを接続する例
を示したが、トリー状や階層的な接続で、系列的な連想
想起を行うような構成としても良い。

【００１９】（連想学習方式）以上に説明した図５の構
成の連想記憶方式における記憶辞書およびしきい値を学
習する本発明による連想学習方式の実施例について説明
する。図１はその実施例の構成を示す図である。この学
習処理のシステムは、前述の図５に示す連想記憶方式の
構成に学習のために必要なその他の構成を付加した構成
を有する。すなわち、この学習処理システムは、図５の
構成にさらに差分加算状態更新器１５，１１８，１１９
，１２８，１２９，１３８，１３９が図１に示すような
結合関係で付加されている。差分加算状態更新器１１８
，１２８，１３８は後述する（４）式の演算を行うこと
により結合重みの差分ΔＷを得て、辞書である結合重み
値Ｗを更新するものである。差分加算状態更新器１１９
，１２９，１３９は後述する（５）式の演算を行うこと
により差分Δａを得て、先のしきい値ａ／２を更新する
ものである。差分加算状態更新器１５は後述する（６）
式の演算を行うことにより各連想記憶モデル間の中間素
子の結合重みの差分ΔＶを演算し、異なる連想記憶モデ
ルの中間素子間の結合重みを更新するものである。

【００２０】図２は、以上に述べた学習システムによる
学習の処理手順を示すフローチャートである。このフロ
ーチャートに従って本発明の学習処理を説明する。まず
、図３に示す各連想記憶モデルの記憶辞書を学習パター
ンの平均値のようなプロトタイプパターンかまたはラン
ダムパターンで、図４に示す異なる連想記憶モデルの中
間層素子間の関係を記述する重み値をランダムに初期設
定する。この時、各連想記憶モデルの中間層素子のしき
い値（０＜ａｊ（ｌ）／２＜１）も初期設定する（Ｓｔ
ｅｐ０）。

【００２１】次に図４において、いくつかの連想記憶モ
デル（部分的でも良い）にそれぞれ異なる概念の入力パ
ターンが学習用の入力パターンとして与えられたとする
（Ｓｔｅｐ１）。

【００２２】ここで、一定時間の学習処理が行われ、結
合重みＷ（ｌ），中間層抑制結合重みＲ（ｌ）としきい
値ａ（ｌ）／２を修正する（Ｓｔｅｐ２）。すなわち、
まず、各連想記憶モデルにおいて下記の（１）式と（２
）式による連想想起処理が行われる（なお、下記の（１
）式、（１）’式および（２）式には右肩に（ｌ）の添
え字があるが、これはｌ番目の連想記憶モデルであるこ
とを表しており、実質的には前述の（１）式および（２
）式と同じものである）。この（１）式および（２）式
による連想想起処理は、図６により前に説明したのと同
じであり、ここではその説明を省略する。また、同時に
、（１）’式に従って各中間層出力は重み付けられて他
の連想記憶モデルの中間層に相互に入力され、（２）式
によってフィードバック入力が計算される。（１）’に
よる連想想起処理も図７により前に説明したのと同じで
あり、ここではこれらの式による説明も省略する。これ
と同時に、各連想記憶モデルで（４）式と（５）式によ
って記憶辞書ときい値、および中間層素子間の結合重み
Ｒ（Ｒ＝−ＷＷＴ＋ＩＭ）が学習によって修正され、（
６）式の相関学習によって関連する他の連想記憶モデル
との関係を表す結合重みが修正される。その後、それぞ
れ（１）’〜（６）式の処理が収束するまで繰り返され
る。

【００２３】 τｙｄｙｊ（ｌ）（ｔ）／ｄｔ＝−ｆｊ（ｙｊ（ｌ），
ａｊ（ｌ））＋ΣｋＲｋｊ（ｌ）ｆｋ（ｙｋ（ｌ），ａ
ｋ（ｌ））＋ΣｉＷｉｊ（ｌ）ｘｉ（ｔ）　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　…（１）τｙｄｙｊ（ｌ）（ｔ）／ｄｔ＝−ｆ
ｊ（ｙｊ（ｌ），ａｊ（ｌ））＋ΣｋＲｋｊ（ｌ）ｆｋ
（ｙｋ（ｌ），ａｋ（ｌ））＋ΣｉＷｉｊ（ｌ）ｘｉ（
ｔ）＋Σ（ｐ）ｍＶｍｊ（ｐ）（ｌ）ｆｍ（ｐ）　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　…（１）’τｘｄｘｉ（ｌ）（ｔ）／ｄ
ｔ＝−ｘｉ（ｌ）（ｔ）＋ΣｊＷｉｊ（ｌ）ｆｊ（ｙｊ
（ｌ），ａｊ（ｌ））　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　…（２）ｘ
（ｌ）（０）＝（初期入力パターン），ｙ（ｌ）（０）
＝０　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　…（３）τｗｄＷｉｊ（ｌ）
（ｔ）／ｄｔ＝−γＷｉｊ＋｛ｘｉ（ｌ）−ΣｓＷｉｓ
（ｌ）ｆｓ（ｙｓ（ｌ），ａｓ（ｌ））｝ｆｊ（ｙｊ（
ｌ），ａｊ（ｌ））　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　…（４）τａ
ｄａｊ（ｌ）（ｔ）／ｄｔ＝τｙ（ｄｒｆｊ（ｙｊ（ｌ
），ａｊ（ｌ））／ｄｒａｊ（ｌ））（ｄｙｊ（ｌ）（
ｔ）／ｄｔ） 　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　…（５）τＶｄＶｍｊ（ｐ）（ｌ
）（ｔ）／ｄｔ＝−γＶｍｊ（ｐ）（ｌ）＋ｙｍ（ｐ）
（ｔ）ｙｊ（ｌ）（ｔ）　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　…（
６）ここで各連想記憶モデル（ｌ）について、中間層素
子間の抑制結合重み：Ｒ＝−Ｗ（ｌ）Ｗ（ｌ）Ｔ＋ＩＭ
（ｌ）， 辞書行列：Ｗ（ｌ）＝［ｘ（１）（ｌ），ｘ（２）（ｌ
），……ｘ（Ｍ）（ｌ）］Ｔ， 各カテゴリの辞書パターン：ｘ（ｉ）（ｌ）＝｛ｘ（ｉ
）１（ｌ），……，ｘ（ｉ）Ｎ（ｌ）｝とし、ＩＭ（ｌ
）はＭ次元単位行列で、Ｔは転置行列、Ｖｍｊ（ｐ）（
ｌ）は各連想記憶モデル（ｐ−１）間の中間層素子（ｍ
とｊ）の結合重みを表し、τａ，τｗ＞＞τｘ＞τｙと
する。 非線形関数ｆｊ（ｙｊ（ｌ），ａｊ（ｌ））は、ｆｊ（
０，ａｊ（ｌ））＝０， ｆｊ（１，ａｊ（ｌ））＝１， ｆｊ（ａｊ（ｌ）／２，ａｊ（ｌ））＝ａｊ（ｌ）／２
，　　ｆｊ（ｙｊ（ｌ），ａｊ（ｌ））＜ｙｊ（ｌ）　
　　　　　（ｙｊ（ｌ）＜ａｊ（ｌ）／２），　　ｆｊ
（ｙｊ（ｌ），ａｊ（ｌ））＞ｙｊ（ｌ）　　　　　　
（ｙｊ（ｌ）＞ａｊ（ｌ）／２），の条件を満足するも
のとする。なお、（５）式のｄｒは偏微分の記号として
用いている。

【００２４】学習パターン提示毎に、各連想記憶モデル
では（１）’〜（５）式に従って各記憶辞書Ｗとしきい
値ａｊ／２が若干修正される。すなわち、この学習では
、（４）式に示すように、記憶辞書Ｗｉｊとフィードバ
ック入力パターンとの差分の確率近似最小化によって、
提示した入力パターンに辞書を若干近づける。この（４
）式の演算は、差分加算状態更新器１１８、１２８、１
３８により行われる。差分加算状態更新器１１８は辞書
メモリ（この辞書メモリは図示されていない。積和演算
器１１３，１１４，１１７，１１８からアクセスできる
ように設ければよい）からの記憶辞書である結合重み値
Ｗｉｊと、非線形処理器１１６からの中間層素子出力ｆ
（ｙ，ａ）に基づいて（４）式を演算し、結合重み値の
変化分を求め、その変化分により辞書メモリ内の辞書Ｗ
ｉｊを更新する。他の差分加算状態更新器１２８，１３
８も同様に動作する。それと共に、（５）式に示すよう
に発火する素子についてはしきい値を下げてより発火し
やすくし、発火しない素子はしきい値を上げてより発火
しないように、各中間層素子のしきい値が調整される。 （５）式の演算は、差分加算状態更新器１１９、１２９
、１３９により行われる。差分加算状態更新器１１９は
非線形処理器１１６からのしきい処理された中間層素子
出力ｆ（ｙ，ａ）およびしきい値ａ／２に基づいて（５
）式を演算し、しきい値の変化分を求め、その変化分に
より非線形処理器１１６内のしきい値を更新する。 他の差分加算状態更新器１２９，１３９も同様に動作す
る。これと同時に、他の連想記憶モデルとの結合重み値
が（６）式の相関学習に従って修正される。すなわち、
他の連想記憶モデルとの互いに関連する連想項目がより
想起されやすいように学習が行われる。以上に説明した
Ｓｔｅｐ１〜Ｓｔｅｐ２の学習処理は学習用のすべての
パターンについて繰返し行われる。

【００２５】学習用の全てのパターンについてＳｔｅｐ
１〜Ｓｔｅｐ２の学習処理が終ったら、学習した辞書お
よびしきい値を用いて、（１）’〜（３）式により、連
想想起処理を行う（Ｓｔｅｐ３）。学習パターンが正し
く想起できるまで、再度入力パターンを順に提示して、
以上に説明した操作を繰り返す（Ｓｔｅｐ４）。図９の
（ｃ）は、本実施例の連想学習方式により記憶辞書およ
びしきい値を学習後に、同図（ａ）のような変形パター
ンの入力に対して連想想起処理を行ったときの認識結果
を示すもので、かなり変形した曖昧なパターンでもノイ
ズが除去され、正確なパターンが再現されていることが
分る。上記の学習・認識処理を行う図１の装置の各演算
部は、連続時間を離散化することで汎用の計算機上での
プログラムや、専用のアナログ（またはディジタル）演
算回路で実現できる。なお、各層の素子の状態は、それ
ぞれのレジスタに記憶され、結合重み値は積和演算器に
よってアクセス可能なメモリに記憶される。

【００２６】

【発明の効果】本発明は、学習用パターン組の提示毎に
、記憶辞書とフィードバック入力パターンとの差分によ
って、各連想記憶モデルの記憶辞書としきい値を除々に
学習しながら、他の連想記憶モデルとの中間層間の結合
重みをも学習するようにしたので、各連想記憶モデルの
記憶辞書としきい値、および他の連想記憶モデルとの記
憶項目間の関係の学習を容易かつ効率的に行うことがで
きる。

【図面の簡単な説明】

【図１】　　本発明の学習処理を行うためのシステム構
成の１実施例を示すものである。

【図２】　　本発明の実施例の学習処理の概略を示すフ
ローチャートである。

【図３】　　本発明の各連想記憶モデルを示す図である
。

【図４】　　本発明の学習処理が適用される連想記憶モ
デルすなわち中間層を通じて接続された複数の連想記憶
モデルの構成例を示すものである。

【図５】　　本発明の学習処理が適用される連想記憶モ
デルのシステム構成の１例を示す図である。

【図６】　　各連想記憶モデルの連想想起処理を示すフ
ローチャートである。

【図７】　　複数接続時の連想想起処理を示すフローチ
ャートである。

【図８】　　中間層出力にしきい値処理を施すための非
線形関数の一例を示す図である。

【図９】　　ノイズ入力（ａ）に対する各連想記憶モデ
ルの従来モデルの連想想起結果（再現入力パターン）（
ｂ）と本発明の連想想起結果（再現入力パターン）（ｃ
）を示す図である。

【図１０】　　従来の直交射影型フィードフォワード連
想記憶モデルを示す図である。

【図１１】　　複数の異なる概念項目を想起するための
、従来の連想記憶モデルによる構成例を示す図である。 但し、図中には注目した中間層素子への結合のみが示さ
れている。

【符号の説明】

１１，１２，１３…中間層に相互抑制結合を持つ３層フ
ィードバック連想記憶モデル、　　１１１，１２１，１
３１…入出力レジスタ、　　１１２，１２２，１３２…
差分加算状態更新器、　　１１３，１２３，１３３…積
和演算器、１１４，１２４，１３４…積和演算器、１１
５，１２５，１３５…差分加算状態更新器、１１６，１
２６，１３６…非線形処理器、　　１１７，１２７，１
３７…積和演算器、１１８，１２８，１３８…差分加算
状態更新器、１１９，１２９，１３９…差分加算状態更
新器、１４…積和演算器、　　１５…差分加算状態更新
器。

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　中間層に相互抑制結合を持つフィード
   バック連想記憶モデルを素子数の少ない中間層において
   複数接続し、変動のある分散的な入力パターンから概念
   ・記号的中間層出力パターンに動的に変換しながら、入
   力に関連する種々の記憶項目を連想想起する連想記憶モ
   デルの連想学習方式であって、学習用パターン組の提示
   毎に、記憶辞書とフィードバック入力パターンとの差分
   によって、各連想記憶モデルの記憶辞書としきい値を除
   々に学習しながら、他の連想記憶モデルとの中間層間の
   結合重みも学習することを特徴とする連想学習方式。