JPH06131468A - パターン記憶装置およびパターン記憶方法 - Google Patents
パターン記憶装置およびパターン記憶方法Info
- Publication number
- JPH06131468A JPH06131468A JP27892292A JP27892292A JPH06131468A JP H06131468 A JPH06131468 A JP H06131468A JP 27892292 A JP27892292 A JP 27892292A JP 27892292 A JP27892292 A JP 27892292A JP H06131468 A JPH06131468 A JP H06131468A
- Authority
- JP
- Japan
- Prior art keywords
- correlation matrix
- layer
- pattern
- neural network
- integrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】すでに記憶済みのパターンに影響を及ぼすこと
なく、新たなパターンの追加や素子の追加が容易に行え
る連想記憶型神経回路網のパターン記憶装置およびパタ
ーン記憶方法を得ることにある。 【構成】各対について相関行列を演算し、この演算した
全ての相関行列を足し合わせた統合の相関行列を演算す
る相関行列演算手段２１と、この相関行列演算手段２で
統合した相関行列の最大要素の２分の１倍以上の値にマ
イナス符号を付加して用意するバイアス行列を、統合し
た相関行列に足し合わせると共に、最大要素の正数倍以
上の逆数として用意するスケール係数を乗算することに
より拡張された相関行列を作成する正規化手段２２と、
正規化手段２２により得られた拡張された相関行列の各
要素を前記第１層に属する全ての素子と第２層に属する
全ての素子との間に結合の重みを設定する重み設定手段
２３を具備したもの。
なく、新たなパターンの追加や素子の追加が容易に行え
る連想記憶型神経回路網のパターン記憶装置およびパタ
ーン記憶方法を得ることにある。 【構成】各対について相関行列を演算し、この演算した
全ての相関行列を足し合わせた統合の相関行列を演算す
る相関行列演算手段２１と、この相関行列演算手段２で
統合した相関行列の最大要素の２分の１倍以上の値にマ
イナス符号を付加して用意するバイアス行列を、統合し
た相関行列に足し合わせると共に、最大要素の正数倍以
上の逆数として用意するスケール係数を乗算することに
より拡張された相関行列を作成する正規化手段２２と、
正規化手段２２により得られた拡張された相関行列の各
要素を前記第１層に属する全ての素子と第２層に属する
全ての素子との間に結合の重みを設定する重み設定手段
２３を具備したもの。
Description
【０００１】
【産業上の利用分野】本発明は、すでに記憶済みのパタ
ーンに影響を及ぼすことなく、新たなパターンの追加や
素子の追加が容易に行える連想記憶型神経回路網のパタ
ーン記憶装置およびパターン記憶方法に関する。
ーンに影響を及ぼすことなく、新たなパターンの追加や
素子の追加が容易に行える連想記憶型神経回路網のパタ
ーン記憶装置およびパターン記憶方法に関する。
【０００２】
【従来の技術】この種の従来のパターン認識装置の一例
として、図４のように構成されたものがある。連想記憶
装置１０は、マンマシンインタェース１１が設けられ、
このマンマシンインタェース１１にはキーボード１、Ｃ
ＲＴディスプレイ２等の入出力装置が接続され、内部的
には入出力装置からのマンマシンインタェース１１を介
してパターンが格納されるパターン格納部１２と、この
パターン格納部１２のパターンを受けて学習によりパタ
ーンを記憶する双方向連想記憶型神経回路網（ニューラ
ルネットワーク、以下単に神経回路網と称する）１３
と、この神経回路網１３の学習によって得られた結合係
数を格納するシナプス荷重格納部１４と、マンマシンイ
ンタェース１１から送られてくる例えば入力信号をスケ
ール変換して、例えば−１〜１間の連続量よりなる被連
想用パターンを得る前処理部１５と、この前処理部１５
によって変換された被連想用パターンが神経回路網１３
に入力され、この神経回路網１３によってシナプス荷重
格納部１４の結合係数を用いて類推連想によって得られ
る出力パターンを処理しやすい形のデータに変換してマ
ンマシンインタェース１１に送出する後処理部１６とに
より構成されている。
として、図４のように構成されたものがある。連想記憶
装置１０は、マンマシンインタェース１１が設けられ、
このマンマシンインタェース１１にはキーボード１、Ｃ
ＲＴディスプレイ２等の入出力装置が接続され、内部的
には入出力装置からのマンマシンインタェース１１を介
してパターンが格納されるパターン格納部１２と、この
パターン格納部１２のパターンを受けて学習によりパタ
ーンを記憶する双方向連想記憶型神経回路網（ニューラ
ルネットワーク、以下単に神経回路網と称する）１３
と、この神経回路網１３の学習によって得られた結合係
数を格納するシナプス荷重格納部１４と、マンマシンイ
ンタェース１１から送られてくる例えば入力信号をスケ
ール変換して、例えば−１〜１間の連続量よりなる被連
想用パターンを得る前処理部１５と、この前処理部１５
によって変換された被連想用パターンが神経回路網１３
に入力され、この神経回路網１３によってシナプス荷重
格納部１４の結合係数を用いて類推連想によって得られ
る出力パターンを処理しやすい形のデータに変換してマ
ンマシンインタェース１１に送出する後処理部１６とに
より構成されている。
【０００３】神経回路網１３は、外部信号が入出力可能
な端子を持つ複数個の素子１７１，１７２，…，１
７ｍ、１８１，１８２，…，１８ｎからなる第１層１７
および第２層１８を持ち、第１層１７に属する素子１７
１〜１７ｍと第２層１８に属する素子１８１〜１８ｎの
間に所定の重みで重み付けし、この重み付けされた信号
が双方向に流れるリンク（結合）１９を有している。
な端子を持つ複数個の素子１７１，１７２，…，１
７ｍ、１８１，１８２，…，１８ｎからなる第１層１７
および第２層１８を持ち、第１層１７に属する素子１７
１〜１７ｍと第２層１８に属する素子１８１〜１８ｎの
間に所定の重みで重み付けし、この重み付けされた信号
が双方向に流れるリンク（結合）１９を有している。
【０００４】第１層１７は、前処理部部１５から入力さ
れる被連想用パターンを信号変換して第２層１８へ送出
する。この第２層１８は、第１層１７からの出力信号を
取込んで信号変換して後処理部１６へ送出する。この場
合、第２層１８では被連想用パターンを識別させるため
に都合のよい形の信号に変換する。
れる被連想用パターンを信号変換して第２層１８へ送出
する。この第２層１８は、第１層１７からの出力信号を
取込んで信号変換して後処理部１６へ送出する。この場
合、第２層１８では被連想用パターンを識別させるため
に都合のよい形の信号に変換する。
【０００５】このような構成の双方向連想記憶型神経回
路網１３は、各要素が｛０，１｝の値からなるベクトル
の対Ｐ＝（Ｘ，Ｙ）を記憶させるのに用いられる。この
記憶させるベクトルの対（以下パターンと称する）が１
組に限らず、複数個の記憶が可能である。この記憶後
は、２層１７，１８の内のいずれかの層に、あるパター
ンを入力すると、信号が２層間を連続的に往復し、記憶
済みの１パターンが次第に両層に現れる。双方向連想記
憶型神経回路網１３の特徴は、層状ネットでありながら
信号の流れが、１方向に限られていないことである。
路網１３は、各要素が｛０，１｝の値からなるベクトル
の対Ｐ＝（Ｘ，Ｙ）を記憶させるのに用いられる。この
記憶させるベクトルの対（以下パターンと称する）が１
組に限らず、複数個の記憶が可能である。この記憶後
は、２層１７，１８の内のいずれかの層に、あるパター
ンを入力すると、信号が２層間を連続的に往復し、記憶
済みの１パターンが次第に両層に現れる。双方向連想記
憶型神経回路網１３の特徴は、層状ネットでありながら
信号の流れが、１方向に限られていないことである。
【０００６】普通、双方向連想記憶型神経回路網１３へ
のパターンの記憶は、バイポーラ化と呼ばれる工程を経
て生成される相関行列の重ね合わせで実現する。すなわ
ち、、第１層１７がｍ次元、第２層１８がｎ次元である
双方向連想記憶型神経回路網１３であるとき、Ｎ組のパ
ターン、 Ｐ1 ＝（Ｘ1 ，Ｙ1 ），Ｐ2 ＝（Ｘ2 ，Ｙ2 ），…，ＰN ＝（ＸN ，ＹN ） …（１） となり、以下これらの記憶について、図５のフローチャ
ートを参照して説明する。すなわち、ステップ（以下単
にＳ）４１で動作が開始され、Ｓ４２でパターンカウン
タｉを初期化する。Ｓ４３でパターンカウンタｉをイン
クリメントし、Ｓ４４でパターンのバイポーラ化を行
う。
のパターンの記憶は、バイポーラ化と呼ばれる工程を経
て生成される相関行列の重ね合わせで実現する。すなわ
ち、、第１層１７がｍ次元、第２層１８がｎ次元である
双方向連想記憶型神経回路網１３であるとき、Ｎ組のパ
ターン、 Ｐ1 ＝（Ｘ1 ，Ｙ1 ），Ｐ2 ＝（Ｘ2 ，Ｙ2 ），…，ＰN ＝（ＸN ，ＹN ） …（１） となり、以下これらの記憶について、図５のフローチャ
ートを参照して説明する。すなわち、ステップ（以下単
にＳ）４１で動作が開始され、Ｓ４２でパターンカウン
タｉを初期化する。Ｓ４３でパターンカウンタｉをイン
クリメントし、Ｓ４４でパターンのバイポーラ化を行
う。
【０００７】すなわち、パターンＰi ＝（Ｘi ，Ｙi ）
の各要素Ｘij（１≦ｊ≦ｍ）およびＹik（１≦ｋ≦ｎ）
を、次の（２），（３）式に従い｛０，１｝から｛−
１，１｝に変換する。
の各要素Ｘij（１≦ｊ≦ｍ）およびＹik（１≦ｋ≦ｎ）
を、次の（２），（３）式に従い｛０，１｝から｛−
１，１｝に変換する。
【０００８】
【数１】 Ｓ４５において、各パターンＰi （i ＝1,…, N ）の
【数２】 を、Ｓ４４で変換したパターンについて演算する。
【０００９】Ｍi ＝Ｙ' i Ｘ' i T
…（４） Ｓ４７で全てのパ
ターンについて相関行列を演算したかをチェックし、演
算済みであれば、Ｓ４８に進み、演算が済んでいなけれ
ばＳ４３に戻る。
…（４） Ｓ４７で全てのパ
ターンについて相関行列を演算したかをチェックし、演
算済みであれば、Ｓ４８に進み、演算が済んでいなけれ
ばＳ４３に戻る。
【００１０】Ｓ４６で、（５）式のように、Ｓ４５で演
算した全ての相関行列Ｍ1 ，Ｍ2 ，…，ＭN を足し合わ
せて、全体としての相関行列Ｍを得る。
算した全ての相関行列Ｍ1 ，Ｍ2 ，…，ＭN を足し合わ
せて、全体としての相関行列Ｍを得る。
【００１１】
【数３】 Ｓ４８で、第１層１７の第ｊ素子および第２層１８の第
ｋ素子間の荷重ｗkjを相関行列Ｍの第ｋ行ｊ列要素の値
に設定する。ただし、j ＝m,…, n 、k ＝1 ,…, n
）。Ｓ４９でパターン記憶手順が終了する。
ｋ素子間の荷重ｗkjを相関行列Ｍの第ｋ行ｊ列要素の値
に設定する。ただし、j ＝m,…, n 、k ＝1 ,…, n
）。Ｓ４９でパターン記憶手順が終了する。
【００１２】このようにしてパターンを記憶した双方向
連想型神経回路網は、いかなる入力に対してもある局所
的安定点に達する性質を有している。次元の新しい新た
なパターンＰ（N +1）＝［Ｘ（N + 1 ），Ｙ（N +1）］
を追加する場合には、既にできあがっている相関行列Ｍ
上に、前述の手順Ｓ４４、Ｓ４５と同様にして演算され
る当該パターンＰ（N +1）の相関行列Ｍ（N + 1 ）を重
ね合わせるだけでよい。
連想型神経回路網は、いかなる入力に対してもある局所
的安定点に達する性質を有している。次元の新しい新た
なパターンＰ（N +1）＝［Ｘ（N + 1 ），Ｙ（N +1）］
を追加する場合には、既にできあがっている相関行列Ｍ
上に、前述の手順Ｓ４４、Ｓ４５と同様にして演算され
る当該パターンＰ（N +1）の相関行列Ｍ（N + 1 ）を重
ね合わせるだけでよい。
【００１３】また、ｍ，ｎより小さな次元ｑ，ｒ（０＜
ｑ≦ｍ，０＜ｒ≦ｎ）の新たなパターンＱ＝（ＸＱ，Ｙ
Ｑ）を追加する場合には、前処理としてパターンＱを
ｍ，ｎ次元のパターンＰＱ＝（ＸＰＱ，ＹＰＱ）に拡張
する。すなわち、（６），（７）式によりパターンＰＱ
の要素を求める。
ｑ≦ｍ，０＜ｒ≦ｎ）の新たなパターンＱ＝（ＸＱ，Ｙ
Ｑ）を追加する場合には、前処理としてパターンＱを
ｍ，ｎ次元のパターンＰＱ＝（ＸＰＱ，ＹＰＱ）に拡張
する。すなわち、（６），（７）式によりパターンＰＱ
の要素を求める。
【００１４】
【数４】 その後、前述の手順のＳ４４，Ｓ４５と同様にして演算
されるパターンＰＱの相関行列Ｍに重ね合わせればよ
い。以上のように双方向連想型神経回路網においては、
容易にパターンの記憶、追加を行うことができる。
されるパターンＰＱの相関行列Ｍに重ね合わせればよ
い。以上のように双方向連想型神経回路網においては、
容易にパターンの記憶、追加を行うことができる。
【００１５】
【発明が解決しようとする課題】しかながら、現在の連
想記憶の次元ｍ，ｎより大きな次元μ，ν（ｍ≦μ，ｎ
≦ν）を持つ新たなパターンを追加する場合には、連想
記憶自体の素子数を増やす必要がある。ここで、従来の
パターン記憶方法では、素子数を増やした後、既に記憶
していたパターンＰ1 , Ｐ2 , …, ＰN の次元を（６）
式および（７）式と同様にして擬似的に増やし、改めて
前述のＳ４１〜Ｓ４９により相関行列をし直す必要があ
る。すなわち、N +1個のパターンの相関行列を全て演算
し直す手間が生じるという問題点がある。
想記憶の次元ｍ，ｎより大きな次元μ，ν（ｍ≦μ，ｎ
≦ν）を持つ新たなパターンを追加する場合には、連想
記憶自体の素子数を増やす必要がある。ここで、従来の
パターン記憶方法では、素子数を増やした後、既に記憶
していたパターンＰ1 , Ｐ2 , …, ＰN の次元を（６）
式および（７）式と同様にして擬似的に増やし、改めて
前述のＳ４１〜Ｓ４９により相関行列をし直す必要があ
る。すなわち、N +1個のパターンの相関行列を全て演算
し直す手間が生じるという問題点がある。
【００１６】本発明は、すでに記憶済みのパターンに影
響を及ぼすことなく、新たなパターンの追加や素子の追
加が容易に行える連想記憶型神経回路網のパターン記憶
装置およびパターン記憶方法を提供することを目的とす
る。
響を及ぼすことなく、新たなパターンの追加や素子の追
加が容易に行える連想記憶型神経回路網のパターン記憶
装置およびパターン記憶方法を提供することを目的とす
る。
【００１７】
【課題を解決するための手段】前記目的を達成するた
め、請求項１に対応する発明は、外部信号が入出力可能
な端子を持つ複数個の素子からなる第１層および第２層
を持ち、前記第１層に属する素子と前記第２層に属する
素子の間に所定の重みで重み付けし、この重み付けされ
た信号が双方向に流れる結合を有する連想記憶型神経回
路網に、０ないし１の信号でなる第１層の出力ベクトル
および第２層の出力ベクトルの対を複数個記憶させるパ
ターン記憶装置において、前記各対について相関行列を
演算し、この演算した全ての相関行列を足し合わせた統
合の相関行列を演算する相関行列演算手段と、この相関
行列演算手段で統合した相関行列の最大要素の２分の１
倍以上の値にマイナス符号を付加して用意するバイアス
行列を、統合した相関行列に足し合わせると共に、最大
要素の正数倍以上の逆数として用意するスケール係数を
乗算することにより拡張された相関行列を作成する正規
化手段と、この正規化手段により得られた拡張された相
関行列の各要素を前記第１層に属する全ての素子と前記
第２層に属する全ての素子との間に結合の重みを設定す
る重み設定手段とを具備した連想記憶型神経回路網のパ
ターン記憶装置である。
め、請求項１に対応する発明は、外部信号が入出力可能
な端子を持つ複数個の素子からなる第１層および第２層
を持ち、前記第１層に属する素子と前記第２層に属する
素子の間に所定の重みで重み付けし、この重み付けされ
た信号が双方向に流れる結合を有する連想記憶型神経回
路網に、０ないし１の信号でなる第１層の出力ベクトル
および第２層の出力ベクトルの対を複数個記憶させるパ
ターン記憶装置において、前記各対について相関行列を
演算し、この演算した全ての相関行列を足し合わせた統
合の相関行列を演算する相関行列演算手段と、この相関
行列演算手段で統合した相関行列の最大要素の２分の１
倍以上の値にマイナス符号を付加して用意するバイアス
行列を、統合した相関行列に足し合わせると共に、最大
要素の正数倍以上の逆数として用意するスケール係数を
乗算することにより拡張された相関行列を作成する正規
化手段と、この正規化手段により得られた拡張された相
関行列の各要素を前記第１層に属する全ての素子と前記
第２層に属する全ての素子との間に結合の重みを設定す
る重み設定手段とを具備した連想記憶型神経回路網のパ
ターン記憶装置である。
【００１８】前記目的を達成するため、請求項２に対応
する発明は、外部信号が入出力可能な端子を持つ複数個
の素子からなる第１および第２の層を持ち、前記第１層
に属する素子と前記第２層に属する素子の間に所定の重
みで重み付けし、この重み付けされた信号が双方向に流
れる結合を有する連想記憶型神経回路網に、０ないし１
の信号でなる第１層の出力ベクトルおよび第２層の出力
ベクトルの対を複数個記憶させる場合、前記各対につい
て相関行列を演算し、この演算した全ての相関行列を足
し合わせた統合の相関行列を演算する第１ステップと、
この第１ステップで統合した相関行列の最大要素の２分
の１倍以上の値にマイナス符号を付加して用意するバイ
アス行列を、統合した相関行列に足し合わせると共に、
最大要素の正数倍以上の逆数として用意するスケール係
数を乗算することにより拡張された相関行列を作成する
第２ステップと、この第２ステップにより得られた拡張
された相関行列の各要素を前記第１層に属する全ての素
子と前記第２層に属する全ての素子との間に結合の重み
を設定する第３ステップと、を含んだ連想記憶型神経回
路網のパターン記憶方法である。
する発明は、外部信号が入出力可能な端子を持つ複数個
の素子からなる第１および第２の層を持ち、前記第１層
に属する素子と前記第２層に属する素子の間に所定の重
みで重み付けし、この重み付けされた信号が双方向に流
れる結合を有する連想記憶型神経回路網に、０ないし１
の信号でなる第１層の出力ベクトルおよび第２層の出力
ベクトルの対を複数個記憶させる場合、前記各対につい
て相関行列を演算し、この演算した全ての相関行列を足
し合わせた統合の相関行列を演算する第１ステップと、
この第１ステップで統合した相関行列の最大要素の２分
の１倍以上の値にマイナス符号を付加して用意するバイ
アス行列を、統合した相関行列に足し合わせると共に、
最大要素の正数倍以上の逆数として用意するスケール係
数を乗算することにより拡張された相関行列を作成する
第２ステップと、この第２ステップにより得られた拡張
された相関行列の各要素を前記第１層に属する全ての素
子と前記第２層に属する全ての素子との間に結合の重み
を設定する第３ステップと、を含んだ連想記憶型神経回
路網のパターン記憶方法である。
【００１９】
【作用】請求項１および請求項２に対応する発明によれ
ば、記憶するパターンをバイポーラ化せずに相関行列を
演算し、各演算結果を足し合わせて得られた相関行列
に、別途用意されるバイアス行列を加算し、スケール係
数を乗算したものを、連想記憶型神経回路網に設定する
ようにしたので、全てのパターンが相殺されることなく
残るため、新たなパターンを追加する際にも、この相関
行列に新たな相関行列を足し合わせ、スケール係数およ
びバイアス行列を再設定するだけでよく、相関行列の演
算が一度ですむ。特に、新たなパターンがすでに記憶済
みのパターンと異なる次元を持っていても同様な処理が
可能である。
ば、記憶するパターンをバイポーラ化せずに相関行列を
演算し、各演算結果を足し合わせて得られた相関行列
に、別途用意されるバイアス行列を加算し、スケール係
数を乗算したものを、連想記憶型神経回路網に設定する
ようにしたので、全てのパターンが相殺されることなく
残るため、新たなパターンを追加する際にも、この相関
行列に新たな相関行列を足し合わせ、スケール係数およ
びバイアス行列を再設定するだけでよく、相関行列の演
算が一度ですむ。特に、新たなパターンがすでに記憶済
みのパターンと異なる次元を持っていても同様な処理が
可能である。
【００２０】
【実施例】以下、図面を参照して本発明の実施例につい
て説明する。図１は本発明の概略構成を示すブロック図
であり、マンマシンインタフェース１１が設けられ、こ
のマンマシンインタフェース１１にはキーボード１、Ｃ
ＲＴディスプレイ２等の入出力装置が接続され、内部的
には入出力装置からのマンマシンインタフェース１１を
介してパターンが格納されるパターン格納部１２と、こ
のパターン格納部１２のパターンを受けて学習によりパ
ターンを記憶する双方向連想記憶型神経回路網（ニュー
ラルネットワーク）１３と、この神経回路網１３の学習
によって得られた結合係数を格納するシナプス荷重格納
部１４と、マンマシンインタフェース１１から送られて
くる例えば入力信号をスケール変換して、例えば−１〜
１間の連続量よりなる被連想用パターンを得る前処理部
１５と、この前処理部１５によって変換された被連想用
パターンが神経回路網１３に入力され、この神経回路網
１３によってシナプス荷重格納部１４の結合係数を用い
て類推連想によって得られる出力パターンを処理しやす
い形のデータに変換してマンマシンインタフェース１１
に送出する後処理部１６とにより構成されている。
て説明する。図１は本発明の概略構成を示すブロック図
であり、マンマシンインタフェース１１が設けられ、こ
のマンマシンインタフェース１１にはキーボード１、Ｃ
ＲＴディスプレイ２等の入出力装置が接続され、内部的
には入出力装置からのマンマシンインタフェース１１を
介してパターンが格納されるパターン格納部１２と、こ
のパターン格納部１２のパターンを受けて学習によりパ
ターンを記憶する双方向連想記憶型神経回路網（ニュー
ラルネットワーク）１３と、この神経回路網１３の学習
によって得られた結合係数を格納するシナプス荷重格納
部１４と、マンマシンインタフェース１１から送られて
くる例えば入力信号をスケール変換して、例えば−１〜
１間の連続量よりなる被連想用パターンを得る前処理部
１５と、この前処理部１５によって変換された被連想用
パターンが神経回路網１３に入力され、この神経回路網
１３によってシナプス荷重格納部１４の結合係数を用い
て類推連想によって得られる出力パターンを処理しやす
い形のデータに変換してマンマシンインタフェース１１
に送出する後処理部１６とにより構成されている。
【００２１】神経回路網１３は、外部信号が入出力可能
な端子を持つｍ個の素子ＵＸ1 〜ＵＸm からなる第１層
ＵＸおよびｎ個の素子ＵＹ1 〜ＵＹn からなる第２層Ｕ
Ｙを持ち、第１層ＵＸと第２層ＵＹは、
な端子を持つｍ個の素子ＵＸ1 〜ＵＸm からなる第１層
ＵＸおよびｎ個の素子ＵＹ1 〜ＵＹn からなる第２層Ｕ
Ｙを持ち、第１層ＵＸと第２層ＵＹは、
【数５】 で表される荷重値をもつリンク１９で結合されている。
すなわち、第１層ＵＸの第ｉ素子および第２層ＵＹの第
ｊ素子間のリンク荷重ｗjiは、 ｗji＝Ｍj,i …（８） である。全素子ＵＸ1 〜ＵＸm 、ＵＹ1 〜ＵＹn は、
（９）式のような出力関数ｆを有している。
すなわち、第１層ＵＸの第ｉ素子および第２層ＵＹの第
ｊ素子間のリンク荷重ｗjiは、 ｗji＝Ｍj,i …（８） である。全素子ＵＸ1 〜ＵＸm 、ＵＹ1 〜ＵＹn は、
（９）式のような出力関数ｆを有している。
【００２２】 ｆ（ｘ）＝ｘ …（９） 神経回路網１３は、後述する推論過程およびパターン記
憶処理時には、以下のように動作する。神経回路網１３
にある入力Ｘ（０）が与えられたとき、第２層ＵＹに
は、 Ｙ（０）＝Ｍ・Ｘ（０）
…（１０）なる信号が現れる。
憶処理時には、以下のように動作する。神経回路網１３
にある入力Ｘ（０）が与えられたとき、第２層ＵＹに
は、 Ｙ（０）＝Ｍ・Ｘ（０）
…（１０）なる信号が現れる。
【００２３】次に、第１層ＵＸには、 Ｘ（１）＝ＭT ・Ｙ（０）＝ＭT ・Ｍ・Ｘ（０） …（１１） のような信号が現れる。引続き信号は（１２）式、（１
３）式のように第１層ＵＸと第２層ＵＹを往復する。
３）式のように第１層ＵＸと第２層ＵＹを往復する。
【００２４】 Ｙ（ｉ）＝Ｍ・Ｘ（ｉ） …（１２） Ｘ（ｉ＋１）＝ＭT ・Ｙ（ｉ） …（１３） その結果、両層ＵＸ，ＵＹの出力はある値Ｘ（Ｔ），Ｙ
（Ｔ）に収束する。この値が推論結果である。
（Ｔ）に収束する。この値が推論結果である。
【００２５】また、神経回路網１３のパターン記憶処理
は、以下のように行われる。Ｎ組のパターンの場合、 Ｐ1 ＝（Ｘ1 ，Ｙ1 ），Ｐ2 ＝（Ｘ2 ，Ｙ2 ），…，ＰN ＝（ＸN ，ＹN ） …（１４） の記憶を、図２のフローチャートのように行われる。
は、以下のように行われる。Ｎ組のパターンの場合、 Ｐ1 ＝（Ｘ1 ，Ｙ1 ），Ｐ2 ＝（Ｘ2 ，Ｙ2 ），…，ＰN ＝（ＸN ，ＹN ） …（１４） の記憶を、図２のフローチャートのように行われる。
【００２６】本発明は、以上のような機能を実施するた
め、次に述べる構成を具備している。すなわち、各対に
ついて相関行列を演算し、この演算した全ての相関行列
を足し合わせた統合の相関行列を演算する相関行列演算
手段２１と、この相関行列演算手段２１で統合した相関
行列の最大要素の２分の１倍以上の値にマイナス符号を
付加して用意するバイアス行列を、統合した相関行列に
足し合わせると共に、最大要素の整数倍以上の逆数とし
て用意するスケール係数ａを乗算することにより拡張さ
れた相関行列を作成する正規化手段２２と、正規化手段
２２により得られた拡張された相関行列の各要素を前記
第１層に属する全ての素子と第２層に属する全ての素子
との間に結合の重みを設定する重み設定手段２３を具備
したものである。
め、次に述べる構成を具備している。すなわち、各対に
ついて相関行列を演算し、この演算した全ての相関行列
を足し合わせた統合の相関行列を演算する相関行列演算
手段２１と、この相関行列演算手段２１で統合した相関
行列の最大要素の２分の１倍以上の値にマイナス符号を
付加して用意するバイアス行列を、統合した相関行列に
足し合わせると共に、最大要素の整数倍以上の逆数とし
て用意するスケール係数ａを乗算することにより拡張さ
れた相関行列を作成する正規化手段２２と、正規化手段
２２により得られた拡張された相関行列の各要素を前記
第１層に属する全ての素子と第２層に属する全ての素子
との間に結合の重みを設定する重み設定手段２３を具備
したものである。
【００２７】以下、このように構成されたパターン記憶
装置の動作について、図２および図３のフローチャート
を参照して説明するが、初めにパターン記憶処理につい
て図２を参照して説明する。Ｓ１で開始し、Ｓ２でパタ
ーンカウンタｉの初期化を行い、次に、Ｓ３でパターン
カウンタｉのインクリメントする。Ｓ４で、各パターン
Ｐi （i=1,…, N ）の
装置の動作について、図２および図３のフローチャート
を参照して説明するが、初めにパターン記憶処理につい
て図２を参照して説明する。Ｓ１で開始し、Ｓ２でパタ
ーンカウンタｉの初期化を行い、次に、Ｓ３でパターン
カウンタｉのインクリメントする。Ｓ４で、各パターン
Ｐi （i=1,…, N ）の
【数６】 をパターンＸi ，Ｙi について演算する。
【００２８】 Ｍi ＝Ｙi Ｘi T …（１５） Ｓ５で全てのパターンについて相関行列を演算したかを
チェックし、演算済みであれば、Ｓ６に進み、演算が済
んでいなければ、Ｓ３に戻る。Ｓ６において、Ｓ４で演
算した全ての相関行列Ｍ１，…，ＭＮを足し合わせて、
統合した相関行列Ｍを演算する。
チェックし、演算済みであれば、Ｓ６に進み、演算が済
んでいなければ、Ｓ３に戻る。Ｓ６において、Ｓ４で演
算した全ての相関行列Ｍ１，…，ＭＮを足し合わせて、
統合した相関行列Ｍを演算する。
【００２９】
【数７】 Ｓ７で、スケール係数ａおよびバイアス行列Ｂを演算、
例えば
例えば
【数８】 で演算される。
【００３０】Ｓ８で拡張された相関行列ＭＥを、（２
０）式により演算する。
０）式により演算する。
【００３１】 ＭＥ＝ａ（Ｍ＋Ｂ） …（２０） Ｓ９で、第１層第ｊ素子および第２層第ｋ素子間の荷重
ｗkjを拡張された相関行列ＭＥの第ｋ行ｊ列要素の値に
設定する。Ｓ１０で終了するが、通常は、Ｓ７で処理を
終了し、神経回路網１３は、バイポーラ化せず、演算し
統合された相関行列Ｍ、スケール係数ａおよびバイアス
行列Ｂを保存する。そして、実際に推論を行う際に、Ｓ
８、Ｓ９を実行し、重みを設定するようにする。
ｗkjを拡張された相関行列ＭＥの第ｋ行ｊ列要素の値に
設定する。Ｓ１０で終了するが、通常は、Ｓ７で処理を
終了し、神経回路網１３は、バイポーラ化せず、演算し
統合された相関行列Ｍ、スケール係数ａおよびバイアス
行列Ｂを保存する。そして、実際に推論を行う際に、Ｓ
８、Ｓ９を実行し、重みを設定するようにする。
【００３２】次に、図３のフローチャートを参照してパ
ターン追加処理について説明する。神経回路網１３にお
いて、記憶済みのパターンＰ1 ，Ｐ2 ，…，ＰN に、新
たなパターンＰπ＝（Ｘπ，Ｙπ）を追加して記憶させ
る方法について述べる。Ｓ２１において開始し、Ｓ２２
では記憶済みパターンを現す相関行列Ｍの拡張を行う。
ターン追加処理について説明する。神経回路網１３にお
いて、記憶済みのパターンＰ1 ，Ｐ2 ，…，ＰN に、新
たなパターンＰπ＝（Ｘπ，Ｙπ）を追加して記憶させ
る方法について述べる。Ｓ２１において開始し、Ｓ２２
では記憶済みパターンを現す相関行列Ｍの拡張を行う。
【００３３】すなわち、拡張後の相関行列Ｍ0 の次元を
ｎ0 ×ｍ0 とすると、これらは、（２１），（２２）式
で演算される。
ｎ0 ×ｍ0 とすると、これらは、（２１），（２２）式
で演算される。
【００３４】 ｍ0 ＝ｍａｘ（ｍπ，ｍ） …（２１） ｎ0 ＝ｍａｘ（ｎπ，ｎ） …（２２） ここで、拡張は（２３）式に基づいて行う。
【００３５】
【数９】 Ｓ２３で新たなパターンＰπの拡張を行う。すなわち、
拡張後のＸπ，Ｙπの次元は、それぞれＳ２２で求めた
ｍ0 およびｎ0 に等しい。拡張された新たなパターン
を、Ｐπ0 ＝（Ｘπ0 ，Ｙπ0 ）とすると、これらは
（２４）式、（２５）で）演算される。
拡張後のＸπ，Ｙπの次元は、それぞれＳ２２で求めた
ｍ0 およびｎ0 に等しい。拡張された新たなパターン
を、Ｐπ0 ＝（Ｘπ0 ，Ｙπ0 ）とすると、これらは
（２４）式、（２５）で）演算される。
【００３６】
【数１０】 Ｓ２４は新たなパターンに関する相関行列演算を行う。
すなわち、Ｓ２３で求めた拡張された新たなパターンＰ
π0 より、相関行列Ｍπを（２６）式のように演算す
る。
すなわち、Ｓ２３で求めた拡張された新たなパターンＰ
π0 より、相関行列Ｍπを（２６）式のように演算す
る。
【００３７】 Ｍπ＝Ｙπ・（Ｘπ）T …（２６） Ｓ２５で新たな相関行列Ｍ0 Ｐを（２７）式により演算
する。
する。
【００３８】 Ｍ0 Ｐ＝Ｍ0 π＋Ｍπ …（２７） Ｓ２６で連想記憶の拡張をを行う。すなわち、新たな相
関行列Ｍo Ｐに合わせて、連想記憶の素子数を調節す
る。
関行列Ｍo Ｐに合わせて、連想記憶の素子数を調節す
る。
【００３９】Ｓ２７で連想記憶への記憶を行う。すなわ
ち、Ｓ７へ戻り、Ｓ２５で得られたＭ0 Ｐを、統合され
た相関行列Ｍとする。
ち、Ｓ７へ戻り、Ｓ２５で得られたＭ0 Ｐを、統合され
た相関行列Ｍとする。
【００４０】以上述べた第１の実施例によれば、パター
ンを追加する場合、相関行列の演算を１度で済ませるこ
とができる。また、追加するパターンと次元が異なって
いてもよい。特に、追加するパターンが記憶済みパター
ンより大きな次元を持っていても全く同様に処理でき
る。
ンを追加する場合、相関行列の演算を１度で済ませるこ
とができる。また、追加するパターンと次元が異なって
いてもよい。特に、追加するパターンが記憶済みパター
ンより大きな次元を持っていても全く同様に処理でき
る。
【００４１】本発明は、以上述べた実施例に限らず、例
えば以下のように変形して実施できる。
えば以下のように変形して実施できる。
【００４２】１）前述の実施例では、スケール係数ａお
よびバイアス行列Ｂの演算に、（１８）式および（１
９）式を用いたが、これに限らず、（１９）式のｃより
も大きくもよい。また、（１８）式中のｃのバイアスを
十分に大きくとれば、図２に示すパターン記憶手順中の
Ｓ７は最初の一度でよい。
よびバイアス行列Ｂの演算に、（１８）式および（１
９）式を用いたが、これに限らず、（１９）式のｃより
も大きくもよい。また、（１８）式中のｃのバイアスを
十分に大きくとれば、図２に示すパターン記憶手順中の
Ｓ７は最初の一度でよい。
【００４３】２）前述の実施例では、図４の双方向連想
記憶回路を構成する素子１７１，…，１７ｍ，１８１，
…，１８ｎの出力関数としてｆ（ｘ）＝ｘの線形関数を
用いたが、ｆ（ｘ）＝１÷（１＋ｅ-x）等のシグモイド
型の関数を用いてもよい。
記憶回路を構成する素子１７１，…，１７ｍ，１８１，
…，１８ｎの出力関数としてｆ（ｘ）＝ｘの線形関数を
用いたが、ｆ（ｘ）＝１÷（１＋ｅ-x）等のシグモイド
型の関数を用いてもよい。
【００４４】３）前述実施例においては、新たなパター
ン追加について述べたが、本発明はこれに限らず、すで
に記憶したパターンの一部を引算、すなわち１回の−Ｍ
ｉとして加算してもよい。
ン追加について述べたが、本発明はこれに限らず、すで
に記憶したパターンの一部を引算、すなわち１回の−Ｍ
ｉとして加算してもよい。
【００４５】
【発明の効果】本発明によれば、すでに記憶済みのパタ
ーンに影響を及ぼすことなく、新たなパターンの追加や
素子の追加が容易に行える連想記憶型神経回路網のパタ
ーン記憶装置およびパターン記憶方法を提供することが
できる。
ーンに影響を及ぼすことなく、新たなパターンの追加や
素子の追加が容易に行える連想記憶型神経回路網のパタ
ーン記憶装置およびパターン記憶方法を提供することが
できる。
【図１】本発明の連想記憶型神経回路網のパターン記憶
装置装置の一実施例の概略構成を示すブロック図。
装置装置の一実施例の概略構成を示すブロック図。
【図２】本発明の連想記憶型神経回路網のパターン記憶
方法の一実施例を示すフローチャート。
方法の一実施例を示すフローチャート。
【図３】図２における追加パターンの処理手順を示すフ
ローチャート。
ローチャート。
【図４】従来の連想記憶型神経回路網の概略構成を示す
ブロック図。
ブロック図。
【図５】従来の連想記憶型神経回路網におけるパターン
記憶手順を示すフローチャート。
記憶手順を示すフローチャート。
１…キーボード、２…ＣＲＴ表示器、１１…マンマシン
インタェース、１２…パターン格納部、１４…荷重格納
部、１５…前処理部、１６…後処理部、２１…相関行列
演算手段、２２…正規化手段、２３…重み設定手段。
インタェース、１２…パターン格納部、１４…荷重格納
部、１５…前処理部、１６…後処理部、２１…相関行列
演算手段、２２…正規化手段、２３…重み設定手段。
Claims (2)
- 【請求項１】 外部信号が入出力可能な端子を持つ複数
個の素子からなる第１および第２層を持ち、前記第１層
に属する素子と前記第２層に属する素子の間に所定の重
みで重み付けし、この重み付けされた信号が双方向に流
れるリンクを有する連想記憶型神経回路網に、０ないし
１の信号でなる第１層の出力ベクトルおよび第２層の出
力ベクトルの対を複数個記憶させるパターン記憶装置に
おいて、 前記各対について相関行列を演算し、この演算した全て
の相関行列を足し合わせた統合の相関行列を演算する相
関行列演算手段と、 この相関行列演算手段で統合した相関行列の最大要素の
２分の１倍以上の値にマイナス符号を付加して用意する
バイアス行列を、統合した相関行列に足し合わせると共
に、最大要素の正数倍以上の逆数として用意するスケー
ル係数を乗算することにより拡張された相関行列を作成
する正規化手段と、 この正規化手段により得られた拡張された相関行列の各
要素を前記第１層に属する全ての素子と前記第２層に属
する全ての素子との間に結合の重みを設定する重み設定
手段と、 を具備した連想記憶型神経回路網のパターン記憶装置。 - 【請求項２】外部信号が入出力可能な端子を持つ複数個
の素子からなる第１層および第２層を持ち、前記第１層
に属する素子と前記第２層に属する素子の間に所定の重
みで重み付けし、この重み付けされた信号が双方向に流
れるリンクを有する連想記憶型神経回路網に、０ないし
１の信号でなる第１層の出力ベクトルおよび第２層の出
力ベクトルの対を複数個記憶させる場合、 前記各対について相関行列を演算し、この演算した全て
の相関行列を足し合わせた統合の相関行列を演算する第
１ステップと、 この第１ステップで統合した相関行列の最大要素の２分
の１倍以上の値にマイナス符号を付加して用意するバイ
アス行列を、統合した相関行列に足し合わせると共に、
最大要素の正数倍以上の逆数として用意するスケール係
数を乗算することにより拡張された相関行列を作成する
第２ステップと、 この第２ステップにより得られた拡張された相関行列の
各要素を前記第１層に属する全ての素子と前記第２層に
属する全ての素子との間に結合の重みを設定する第３ス
テップと、 を含んだ連想記憶型神経回路網のパターン記憶方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27892292A JPH06131468A (ja) | 1992-10-16 | 1992-10-16 | パターン記憶装置およびパターン記憶方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27892292A JPH06131468A (ja) | 1992-10-16 | 1992-10-16 | パターン記憶装置およびパターン記憶方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06131468A true JPH06131468A (ja) | 1994-05-13 |
Family
ID=17603958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27892292A Pending JPH06131468A (ja) | 1992-10-16 | 1992-10-16 | パターン記憶装置およびパターン記憶方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06131468A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012101933A1 (ja) * | 2011-01-24 | 2012-08-02 | 日本電気株式会社 | 運用管理装置、運用管理方法、及びプログラム |
-
1992
- 1992-10-16 JP JP27892292A patent/JPH06131468A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012101933A1 (ja) * | 2011-01-24 | 2012-08-02 | 日本電気株式会社 | 運用管理装置、運用管理方法、及びプログラム |
| JP5532150B2 (ja) * | 2011-01-24 | 2014-06-25 | 日本電気株式会社 | 運用管理装置、運用管理方法、及びプログラム |
| US8930757B2 (en) | 2011-01-24 | 2015-01-06 | Nec Corporation | Operations management apparatus, operations management method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gelenbe et al. | Function approximation with spiked random networks | |
| CN107679582A (zh) | 一种基于多模态分解模型进行可视问答的方法 | |
| JPH06509195A (ja) | 分散型比較ニューラル・ネットワーク | |
| US6446054B1 (en) | Fuzzy inference system or adaptive neuro-fuzzy inference system, and intelligent agent for the dynamic generation and retrieval of user interface software modules | |
| CN115222566A (zh) | 国际金融与金融计量学教学用学习方法及其系统 | |
| CN113516133B (zh) | 一种多模态图像分类方法及系统 | |
| CN112818764A (zh) | 一种基于特征重建模型的低分辨率图像人脸表情识别方法 | |
| Fokina et al. | Growing axons: greedy learning of neural networks with application to function approximation | |
| CN113298235A (zh) | 一种多分支深度自注意力变换网络的神经网络架构及实现方法 | |
| JPH07191951A (ja) | ニューラルネットワーク回路 | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| JP3043539B2 (ja) | ニューラル・ネットワーク | |
| JPH06131468A (ja) | パターン記憶装置およびパターン記憶方法 | |
| CN113283986B (zh) | 算法交易系统及基于该系统的算法交易模型的训练方法 | |
| CN116542315A (zh) | 一种基于张量分解的大规模神经网络参数压缩方法及系统 | |
| Rafik et al. | Learning and Predictive Energy Consumption Model based on LSTM recursive neural networks | |
| Davidson et al. | Template learning in morphological neural nets | |
| JPH01114899A (ja) | ダイナミックなニューラルネットワーク | |
| JPH096881A (ja) | ニューラルネットワーク | |
| JP2020030702A (ja) | 学習装置、学習方法及び学習プログラム | |
| JP3491317B2 (ja) | フィードフォワード型ニューラルネットワークの構築方法 | |
| JP3082530B2 (ja) | ニューラルネットワーク回路 | |
| Reddy | Self-Replicating AI: Integrating New Neural Networks Through a Natural Selection Process | |
| JP3289517B2 (ja) | 連想記憶装置及び思考模擬装置 | |
| Imai et al. | Chaotic analog associative memory |