JPH04340156A - 連想記憶方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像や音声のパターン
の検索や、キーワードによるデータベース等の検索を、
連想記憶検索により動的に行う連想記憶方式に関するも
のである。

【０００２】

【従来の技術】従来の連想記憶検索では、メモリアドレ
スと記憶項目を対にして蓄える内容番付け記憶方式とし
て、キーワードからアドレスを算出するハッシュ・コー
ド法や、入力データの線形変換から出力データを想起す
る相互想起連想記憶方式等が知られている（（１）　Ｔ
．Ｋｏｈｏｎｅｎ：“Ａｓｓｏｃｉａｔｉｖｅ　Ｍｅｍ
ｏｒｙ，　Ａ　Ｓｙｓｔｅｍ−Ｔｈｅｏｒｅｔｉｃａｌ
　Ａｐｐｒｏａｃｈ”，Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａ
ｇ，’７７　）。これらのうち、記憶項目の衝突がない
線形相互想起連想記憶モデルでは、入出力層間の結合重
み値を入出力パターンの相関行列で設定する相関型連想
記憶モデルより、一般逆行列で設定した直交射影型連想
記憶モデルの方が高い連想能力を持つことが知られてい
る。一般逆行列の計算を効率的な局所演算で実現する方
法に関しては、松岡氏が図８に示すような相互抑制結合
の中間層を持つ３層モデルを提案している（（２）　Ｋ
．Ｍａｔｓｕｏｋａ：“Ａ　Ｍｏｄｅｌ　ｏｆ　Ｏｒｔ
ｈｏｇｏｎａｌ　Ａｕｔｏ−ＡｓｓｏｓｉａｔｉｖｅＮ
ｅｔｗｏｒｋｓ”，Ｂｉｏｌ　Ｃｙｂｅｒｎ　６２，ｐ
ｐ．２４３−２４８，’９０、（３）　Ｋ．Ｍａｔｓｕ
ｏｋａ：“Ａｎ　Ａｓｓｏｃｉａｔｉｖｅ　Ｎｅｔｗｏ
ｒｋ　ｗｉｔｈ　Ｃｒｏｓｓ　Ｉｎｈｉｂｉｔｏｒｙ　
Ｃｏｎｎｅｃｔｉｏｎｓ”，Ｂｉｏｌ　Ｃｙｂｅｒｎ　
６２，ｐｐ．３９３−３９９，’９０、（４）　松岡（
九工大）：“直交射影型連想記憶回路の種々の構造につ
いて”，電子情報通信学会論文誌，Ｖｏｌ．Ｊ７３−Ｄ
ＩＩ，Ｎｏ．４，ＰＰ．６４１−６４７，Ａｐｒｉｌ，
９０）。これは、複雑な一般逆行列の計算を簡単なネッ
ト構造の回路で実現するのみならず、記憶辞書である結
合重み値の学習もプロトタイプパターンの付加によって
簡単に実現できるのでＬＳＩ化にも適している。

【０００３】

【発明が解決しようとする課題】従来の連想記憶モデル
では、図９に示すように、画像等の分散的なパターン同
士の連想を直接行うように素子間の結合がなされている
。すなわち図９の例の場合、各項目例えば色信号の項目
の入出力層および中間層は、他の項目である形信号の項
目および香り信号の項目の各入力層および出力層に対す
る直接的な結合を有している。関連する連想項目が多い
と項目間の結合重みである記憶辞書が膨大になってしま
うという問題点があった。また、このような連想記憶モ
デルは、記憶辞書の静的なプロトタイプパターンからの
記憶・想起を示すもので、現実的な変形パターンの連想
想起には十分とは言えなかった。すなわち、図７の（ａ
）に示すような記憶パターン以外の変形入力に対しては
同図（ｂ）のようにノイズ成分が残ってしまい、この入
力に関連する連想記憶項目を正しく想起するには、非常
に沢山の変形パターンを記憶しなければならなかった。

【０００４】本発明は、このような従来技術の問題点を
解消することを目的とするものである。すなわち、本発
明は記憶辞書の容量を増大させることなく、入力に関連
する連想記憶項目を正しく想起することのできる連想記
憶方式を提供することを目的とするものである。

【０００５】

【問題を解決するための手段】本発明は、図１に示すよ
うに、中間層に相互抑制結合を持つ複数の３層フィード
バック連想記憶モデル（１１，１２，１３）と、その複
数の３層フィードバック連想記憶モデル相互間を、それ
らの中間層同士の重みを有する結合により、結合する結
合部（１４）とを備えたことを特徴とする。

【０００６】

【作用】この連想記憶方式に用いる各３層フィードバッ
ク連想記憶モデルは、パターン分離能力の高い一般逆行
列の近似計算が中間層の相互抑制結合によって行われる
。また、入力パターンが出力層に再現されてフィードバ
ックする時、中間層の非線形関数でノイズ除去が行われ
る。そして、この連想記憶方式は、互いに異なる概念（
カテゴリ）を表現する上記の複数の３連想記憶モデルを
中間層において接続し、変動のある分散的な入力パター
ンから概念・記号的な中間層出力パターンに動的に変換
しながら、入力に関連する種々の記憶項目を連想想起す
る。各３層フィードバック連想記憶モデルを相互接続す
る結合部は、圧縮表現された中間層により行われるので
、結合数を少なくすることができ、したがって、結合重
みである記憶辞書の容量も大きくなることはない。従っ
て、本発明によれば、記憶パターンからは変形している
曖昧な入力パターンにも柔軟に機能する連想記憶検索を
効率的に実現することができる。

【０００７】

【実施例】図１は本発明による中間層を通じて複数接続
された連想記憶モデルの一例を示す図である。この連想
記憶モデルは、中間層に相互抑制結合を持つ複数の３層
フィードバック連想記憶モデル１１，１２，１３と、そ
れぞれの中間層の素子同士を結合する結合部１４とから
なっている。この例では、３個の３層フィードバック連
想記憶モデル１１，１２，１３はそれぞれ色信号、形信
号、香り信号の３つの連想項目の入出力に割り当てられ
ている。なお、図１には結合部１４は、各連想記憶モデ
ルの中間層素子の出力がそれぞれ節点に接続され、節点
同士を相互接続するように図示されているが、結合関係
を分り易くするために節点を示したものであって、実際
は直接に中間層素子同士が接続される。

【０００８】図２は、図１において簡略的に示されてい
る各３層フィードバック連想記憶モデルの１個の構成を
より詳細に示す図である。ただし、図中には、着目した
中間層素子ｋへの結合のみが示されている。このモデル
において、中間層素子ｋは入力層からの結合の外に、他
の中間層素子からの出力がしきい関数を介して抑制信号
Ｒとして入力される抑制結合を有している。この抑制結
合は他の中間素子についても同様である。また、入力パ
ターンが出力層に再現されてフィードバックする恒等写
像が近似的に実現される。

【０００９】図３は図１に示すような本発明の連想記憶
モデルのシステム構成の一実施例を示すものである。各
３層フィードバック連想記憶モデル１１，１２，１３は
、それぞれ入力パターンｘ（ｍ）またはフィードバック
出力ｘ’（ｔ）により更新された値を保持する入出力レ
ジスタ３１１，３１２，３１３と、微小時間後の入力層
の状態の変化分Δｘすなわち後述する（２）式における
ｄｘｉ（ｔ）を求めるとともに、その変化分Δｘを入出
力レジスタ３１１，３１２，３１３の値に加算して更新
する差分加算状態更新器３２１，３２２，３２３と、後
述する（１）式におけるΣｉＷｉｊｘｉ（ｔ）を演算す
る積和演算器３３１，３３２，３３３と、（２）式にお
けるΣｊＷｉｊｆｊ（ｙｊ，ａｊ）すなわちフィードバ
ック信号を求める積和演算器３４１，３４２，３４３と
、微小時間後の中間層の状態を求めるとともにその変化
分Δｙすなわち後述する（１）式におけるｄｙｊ（ｔ）
を求め、その変化分Δｙを非線形処理部３６１，３６２
，３６３のレジスタに保持されている非線型処理結果ｙ
ｊに加算して更新する差分加算状態更新器３５１，３５
２，３５３と、更新されたｙｊに（１）式における非線
形処理ｆｊ（ｙｊ，ａｊ）を施しその結果をレジスタに
保持する非線形処理器３６１，３６２，３６３と、相互
抑制結合成分である（１）式におけるΣｋＲｋｊｆｋ（
ｙｋ，ａｋ）を演算する積和演算器３７１，３７２，３
７３とからなる。 また、各３層フィードバック連想記憶モデルを相互に結
合し、統合するための演算ΣｌＩ（ｌ）を行う積和演算
器３８を有している。図３に示す実施例の装置の各演算
器は、連続時間を離散化することにより汎用の計算機上
でのプログラムや、専用のアナログまたはディジタル演
算回路で実現することができる。各層の素子の状態は、
それぞれのレジスタに記憶され、結合重み値は積和演算
器のメモリに記憶される。

【００１０】図４と図５は、それぞれ本実施例における
各連想記憶モデルの連想想起処理と連想記憶モデルの複
数接続時の連想想起処理手順を示すフローチャートであ
る。以下では、まず記憶辞書である結合重み値と入力の
許容変動範囲を規定する中間層素子のしきい値ｆ（ｙ）
が既に設定されているとして、単一の連想記憶モデルの
連想想起処理の例を説明した後に、複数接続時の連想想
起処理の例について説明する。図４のフローチャートに
従って、図２に示す本発明における連想記憶モデルの連
想想起処理を説明する。まず、下記の（３）式に示す初
期設定をする（Ｓｔｅｐ０）。概念ｍに属する入力パタ
ーンｘ（ｍ）を入出力レジスタ３１１に設定する。そし
て、次の（１）式と（２）式に従って、微小時間Δｔ後
の変化量Δｘ，Δｙの計算をする（Ｓｔｅｐ１）。

【００１１】 τｙｄｙｊ（ｔ）／ｄｔ＝−ｆｊ（ｙｊ，ａｊ）＋Σｋ
Ｒｋｊｆｋ（ｙｋ，ａｋ）＋ΣｉＷｉｊｘｉ（ｔ）　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　（１）τｘｄｘｉ（ｔ）／ｄｔ＝−ｘｉ（ｔ）＋Σ
ｊＷｉｊｆｊ（ｙｊ，ａｊ）　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　（２）ｘ（０）＝ｘ（ｍ） ｙ（０）＝０ 　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　（３）ここで、Ｒ＝−Ｗ
ＷＴ＋ＩＭ， 辞書行列：Ｗ＝［ｘ（１），ｘ（２），……ｘ（Ｍ）］
Ｔ，各概念の辞書パターン：ｘ（ｉ）＝｛ｘ（ｉ）１，
……ｘ（ｉ）Ｎ｝ とし、ＩＭはＭ次元単位行列で、Ｔは転置行列を表す。 非線形関数ｆｊ（ｙｊ，ａｊ）は、 ｆｊ（０，ａｊ）＝０， ｆｊ（１，ａｊ）＝１， ｆｊ（ａｊ／２，ａｊ）＝ａｊ／２， ｆｊ（ｙｊ，ａｊ）＜ｙｊ（ｙｊ＜ａｊ／２），ｆｊ（
ｙｊ，ａｊ）＞ｙｊ（ｙｊ＞ａｊ／２）．の条件を満足
するものとする。

【００１２】（１）式に従って、中間層の相互抑制結合
Ｒによって一般逆行列が近似的に計算され、（２）式の
非線形関数とフィードバック信号でノイズ除去が行われ
る。（１）式における−ｆｊ（ｙｊ，ａｊ）は図３の非
線形処理器３６１によって処理される。図６は中間層出
力ｙにしきい値処理を施すための非線形関数の一例を示
す図である。非線形処理器３６１はこの非線形関数に従
って出力を決定する。また、（１）式におけるΣｋＲｋ
ｊｆｋ（ｙｋ，ａｋ）の演算は積和演算器３７１によっ
て行われる。また、（１）式におけるΣｉＷｉｊｘｉ（
ｔ）の演算は積和演算器３３１によって行われる。また
、フィードバック出力（再現入力）である（２）式にお
けるΣｊＷｉｊｆｊ（ｙｊ，ａｊ）の演算は、積和演算
器３４１により行われる。

【００１３】これらの演算結果を基に、微小時間Δｔ後
の状態更新を行う（Ｓｔｅｐ２） ｘ（ｔ＋Δｔ）＝ｘ（ｔ）＋Δｘ ｙ（ｔ＋Δｔ）＝ｙ（ｔ）＋Δｙ すなわち、Δｙは、差分加算状態更新器３５１を用いた
（１）式の右辺の前記のように既に計算した全部の項の
加算すなわち非線形処理器３６１、積和演算器３３１お
よび差分加算状態更新器３７１の各出力の和により求め
られる。　　そして、差分加算状態更新器３５１はその
求めたΔｙと非線形処理器３６１に内蔵されるレジスタ
に保持されているΔｔ時間前の非線形処理された中間層
出力の値ｙとの加算を行って、そのｙの値を更新するま
た、（２）式全体の演算すなわちΔｘの演算と、フィー
ドバックされる再現入力の演算は、差分加算状態更新器
３２１により行われる。そして、差分加算状態更新器３
５１はその求めたΔｘと入出力るレジスタ３１１に保持
されているΔｔ時間前のｘのとの加算を行って、その入
出力レジスタ３１１の値を更新する。この時、中間層出
力ｆｊ（ｙｊ，ａｊ）の全ての要素が誤差εの範囲で０
か１に収束しているか否かを判定し、Ｙｅｓであれば、
処理を終了する。そうでなければ、（１）式と（２）式
の処理を同様に繰り返す。（１）式と（２）式の処理の
繰り返しによって、出力層の再現入力パターンは除々に
該当する記憶辞書パターンに近づいて、その概念を表す
中間層素子が発火（値１に収束）する。なお、各概念は
複数の中間層素子で分散的に表現しても良い。すなわち
２以上の中間層素子の発火により概念を表すようにして
もよい。以上の動作の説明においては、ひとつの連想記
憶モデル１１について説明したが、他の連想記憶モデル
１２，１３も同様の動作をする。

【００１４】次に図５のフローチャートに従って、図１
に示す本発明の複数接続時の連想想起処理を説明する。 まず、いくつかの連想記憶モデル（部分的で良い）にそ
れぞれ異なる概念の初期入力パターンを与える（Ｓｔｅ
ｐ０）。次に、各連想記憶モデルにおいて（１）式と（
２）式による微小時間Δｔ後の状態の更新を行う（Ｓｔ
ｅｐ１）。これは図４により前述した通りであり、ここ
では説明を省略する。

【００１５】この時、下記の（１）’式に従って各中間
層出力は重み付けられて他の連想記憶モデルの中間層へ
の入力Ｉ（ｌ）として相互に入力される（Ｓｔｅｐ２）
。この（１）’式における入力Ｉ（ｌ）の総和ΣｌＩ（
ｌ）ｊは、図３の積和演算器３８によって計算される。 そして、（１）’式、（２）式による微小時間Δｔ後の
状態更新をする（Ｓｔｅｐ３）。その後、連想記憶モデ
ルにおいてそれぞれの（１）’式と（２）式の処理が収
束されるまで繰り返される。

【００１６】 τｙｄｙｊ（ｔ）／ｄｔ＝−ｆｊ（ｙｊ，ａｊ）＋Σｋ
Ｒｋｊｆｋ（ｙｋ，ａｋ）＋ΣｉＷｉｊｘｉ（ｔ）＋Σ
ｌＩ（ｌ）ｊ． 　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　（１）’但し、Ｉ（ｌ）ｊは他の連想
記憶モデルｌの各中間層出力からの重みつき入力を表す
。

【００１７】図１、図３に示す構成では、互いに異なる
概念を表現する複数の連想記憶モデルを接続する例を示
したが、トリー状や階層的な接続で、系列的な連想想起
を行うような構成としても良い。

【００１８】

【発明の効果】本発明のの連想記憶方式は、互いに異な
る概念を表現する複数の３連想記憶モデルを中間層にお
いて接続し、変動のある分散的な入力パターンから概念
・記号的な中間層出力パターンに動的に変換しながら、
入力に関連する種々の記憶項目を連想想起する。各３層
フィードバック連想記憶モデルを相互接続する結合部は
、圧縮表現された中間層により行われるので、結合数を
少なくすることができ、結合重みである記憶辞書の容量
も大きくなることはない。従って、本発明によれば、記
憶パターンからは変形している曖昧な入力パターンにも
柔軟に機能する連想記憶検索を効率的に実現することが
できる。

【図面の簡単な説明】

【図１】　　本発明の中間層を通じて接続された複数の
連想記憶モデルよる構成例を示すものである。

【図２】　　本発明の各連想記憶モデルを示す図である
。 但し、図中には注目した中間層素子への結合のみが示さ
れている。

【図３】　　本発明の学習処理を行うためのシステム構
成の１実施例を示すものである。

【図４】　　本発明の実施例の各連想記憶モデルの連想
想起処理を示すフローチャートである。

【図５】　　本発明の実施例における複数接続時の連想
想起処理を示すフローチャートである。

【図６】　　中間層出力にしきい値処理を施すための非
線形関数の例を示す図である。

【図７】　　ノイズ入力（ａ）に対する各連想記憶モデ
ルの従来モデルの連想想起結果（再現入力パターン）（
ｂ）と本発明の連想想起結果（再現入力パターン）（ｃ
）を示す図である。

【図８】　　従来の直交射影型フィードフォワード相互
想起連想記憶モデルを示す図である。

【図９】　　複数の異なる概念項目を想起するための、
従来の連想記憶モデルによる構成例を示す図である。

【符号の説明】

１１，１２，１３…中間層に相互抑制結合を持つ３層フ
ィードバック連想記憶モデル、　　３１１，３１２，３
１３…入出力レジスタ、　　３２１，３２１，３２３…
差分加算状態更新器、　　３３１，３３２，３３３…積
和演算器、３４１，３４２，３４３…積和演算器、　　
３５１，３５２，３５３…差分加算状態更新器、　　３
６１，３６２，３６３…非線形処理器、　　３７１，３
７２，３７３…積和演算器、　　３８…積和演算器。

Claims (1)

【特許請求の範囲】
1. 【請求項１】中間層に相互抑制結合を持つ複数の３層フ
   ィードバック連想記憶モデルと、その複数の３層フィー
   ドバック連想記憶モデル相互間を、それらの中間層同士
   の重みを有する結合により、結合する結合部とを備えた
   ことを特徴とする連想記憶方式。